本技術(shù)涉及人工智能，具體是一種基于全流雙向融合網(wǎng)絡(luò)的6d位姿估計方法。

背景技術(shù)：

1、6d位姿估計是得到從目標對象坐標系到相機坐標系的剛性轉(zhuǎn)換，包括3d旋轉(zhuǎn)矩陣r和3d平移矩陣t。6d姿態(tài)估計是許多現(xiàn)實應(yīng)用中的重要組成部分，例如在工業(yè)機器人領(lǐng)域，準確地識別待抓取物體的6d位姿可以提高抓取或裝配的準確性；在增強現(xiàn)實領(lǐng)域，準確的6d位姿估計可以將虛擬對象準確地放置在現(xiàn)實世界中，增強沉浸式體驗。在自動駕駛領(lǐng)域，準確的6d位姿估計可以準確的識別周圍環(huán)境中其他車輛、行人和障礙物的位置和方向，幫助自動駕駛汽車做出安全決策。

2、從實際應(yīng)用來看，目前6d位姿估計方法可分為三種。第一類是利用rgb圖像，rgb圖像提供了豐富的顏色信息，有利于特征提取和物體識別。但是由于缺乏深度信息，對光照變化和遮擋敏感，可能會導(dǎo)致在紋理缺乏或重復(fù)紋理的情況下表現(xiàn)不佳。第二類是僅利用深度圖像或點云，可以提供精確的三維空間信息，但對于點云數(shù)據(jù)本身的一些噪聲敏感，在點云稀疏或遮擋情況下難以處理。第三類是利用rgb-d圖，結(jié)合了rgb圖像的顏色信息和深度傳感器的精確距離測量。he?y(he?y.ffb6d:a?full?flow?bidirectional?fusion?networkfor?6d?pose?estimation.[j].2021)提出了一種全流雙向融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)在rgb-d圖像的學(xué)習(xí)過程中對每個編碼和解碼層進行融合。在學(xué)習(xí)到外觀和幾何信息后，利用物體模型的紋理和幾何信息得到物體的3d關(guān)鍵點，然后利用pnp算法計算計算6d位姿參數(shù)。然而工件的表面缺乏紋理信息和表面反光問題使得工件的3d關(guān)鍵點提取變困難，使網(wǎng)絡(luò)的效果受到影響。

技術(shù)實現(xiàn)思路

1、本技術(shù)的目的在于提供一種基于全流雙向融合網(wǎng)絡(luò)的6d位姿估計方法，以解決上述背景技術(shù)中提出的技術(shù)問題。

2、為實現(xiàn)上述目的，本技術(shù)公開了以下技術(shù)方案：一種基于全流雙向融合網(wǎng)絡(luò)的6d位姿估計方法，該方法包括以下步驟：

3、步驟s1：采集估計對象的rgb-d圖像，并根據(jù)相機內(nèi)參將rgb-d圖像轉(zhuǎn)化為點云數(shù)據(jù)；

4、步驟s2：將rgb-d圖像先輸入到預(yù)訓(xùn)練好的resnet-34網(wǎng)絡(luò)中進行編碼；再將編碼數(shù)據(jù)輸入到pspnet網(wǎng)絡(luò)中，對圖像進行解碼，得到特征圖像；將轉(zhuǎn)化的點云數(shù)據(jù)輸入到pointnet++網(wǎng)絡(luò)中進行編碼解碼，得到拼接的局部-全局的點云特征；

5、步驟s3：進行特征雙向融合，所述特征雙向融合包括像素到點和點到像素的雙向融合過程；

6、其中，像素到點的融合過程具體包括：從圖像特征到點云特征的像素到點的融合模塊中，找到每個3d點在xyz圖中的kr2p最近點，記錄該最近點在rgb特征圖中的外觀特征fri；使用最大池化和多層感知機整合壓縮外觀特征fri，得到集成的外觀特征fr2p；將點云特征fpoint和集成的外觀特征fr2p連接，通過mlps獲取融合的點特征

7、點到像素的融合過程具體包括：從點云特征到圖像特征的像素到點融合模塊中，找到每個具有xyz坐標的特征像素的最近點，記錄該最近點在點云特征圖中的幾何特征fpj；使用最大池化和多層感知機整合壓縮幾何特征fpj，得到集成的點特征fp2r，將圖像特征frgb和集成的點特征fp2r連接，得到融合的圖像特征

8、步驟s4：進行像素密集融合，將每個點的幾何信息與利用相機內(nèi)參得到的投影像素進行關(guān)聯(lián)；連接對應(yīng)像素的點特征和圖像特征得到特征ffr；將連接后的特征ffr輸入到多層感知機中進行整合并壓縮，將整合后的特征輸入到對稱約簡函數(shù)得到固定大小的全局特征向量fg；拼接特征ffr和全局特征向量fg得到逐像素特征ffrg；將逐像素特征ffrg輸入到最終網(wǎng)絡(luò)中預(yù)測每個像素點的估計位姿；通過訓(xùn)練學(xué)習(xí)，不斷降低損失函數(shù)的值，最終選擇損失函數(shù)值最小的作為逐像素點的預(yù)測位姿；

9、步驟s5：將所有像素點的預(yù)測位姿輸入最終的多層感知機，對置信度進行平均最大池化，采用回歸的方式預(yù)測估計對象的6d位姿；通過訓(xùn)練學(xué)習(xí)，不斷降低估計對象整體損失函數(shù)的值，最終選擇整體損失函數(shù)值最小的輸出作為估計對象的整體估計位姿。

10、作為優(yōu)選，在所述步驟s3中，所述的使用最大池化和多層感知機整合壓縮外觀特征fri，得到集成的外觀特征fr2p，具體通過以下公式計算得到：

11、

12、其中，fri是rgb紋理特征的第i個最近像素。

13、作為優(yōu)選，在所述步驟s3中，所述的將點云特征fpoint和集成的外觀特征fr2p連接，通過mlps獲取融合的點特征具體通過以下公式計算得到：

14、

15、其中，是連接操作。

16、作為優(yōu)選，在所述步驟s3中，使用最大池化和多層感知機整合壓縮幾何特征fpj，得到集成的點特征fp2r，具體通過以下公式計算得到：

17、

18、其中，fpi表示第j個最近的點特征。

19、作為優(yōu)選，在所述步驟s3中，所述的將圖像特征frgb和集成的點特征fp2r連接，得到融合的圖像特征具體通過以下公式計算得到：

20、

21、其中，是連接操作。

22、作為優(yōu)選，在所述步驟s3中，在進行特征雙向融合時，將提取到的rgb圖像特征和點云特征進行有效融合，通過內(nèi)參矩陣將像素級特征與點級特征關(guān)聯(lián)；利用最近鄰插值算法調(diào)整xyz圖尺寸，確保特征像素與3d坐標的對應(yīng)關(guān)系。

23、作為優(yōu)選，在所述步驟s4中，特征ffr表示為：

24、

25、其中，cat(·)表示通道拼接操作；

26、全局特征向量fg表示為：

27、fg＝ap(mlp(ffr))

28、其中，ap(·)表示平均池化操作；

29、逐像素特征ffrg表示為：

30、ffrg＝cat(ffr，fg)。

31、作為優(yōu)選，在所述步驟s4中，當所述估計對象是非對稱對象時，姿態(tài)估計的損失量定義為在實際姿態(tài)下從物體模型中采樣的點與由預(yù)測姿態(tài)轉(zhuǎn)換的同一模型上的對應(yīng)點之間的距離，具體公式為：

32、

33、其中，li為該距離，xj代表從物體的3d模型中隨機選擇的m個3d點中的第j個點，[rg|tg]是真實位姿，是從第i個密集像素的融合中生成的預(yù)測姿態(tài)：

34、作為優(yōu)選，在所述步驟s4中，當所述估計對象是對稱對象時，將姿態(tài)估計的損失定義為最小化估計模型方向上的每個點與真實模型上最近點之間的距離，具體公式為：

35、

36、其中，li為該距離，xj代表從物體的3d模型中隨機選擇的m個3d點中的第j個點，[rg|tg]是真實位姿，是從第i個密集像素的融合中生成的預(yù)測姿態(tài)。

37、作為優(yōu)選，在所述步驟s5中，所述估計對象整體損失函數(shù)通過估計對象的位姿估計損失函數(shù)與置信度分數(shù)結(jié)合形成，該估計對象整體損失函數(shù)l的計算公式為：

38、

39、其中，ci為第i個采樣像素點預(yù)測位姿的置信度，ω為置信度的權(quán)重，其為一個平衡超參數(shù)，n為隨機抽取的密集像素特征的個數(shù)。

40、有益效果：本技術(shù)的基于全流雙向融合網(wǎng)絡(luò)的6d位姿估計方法，引入像素到點和點到像素的雙向融合模塊，不僅充分利用了rgb圖像中的視覺信息，還深入挖掘了點云數(shù)據(jù)中的幾何特征，從而在特征層面實現(xiàn)了高度的信息互補和增強；同時還采用了像素密集融合技術(shù)對每個像素特征進行獨立處理和預(yù)測，顯著提升了位姿估計的準確性和魯棒性。