本發(fā)明涉及自動化機器人，具體涉及一種基于點云和rgbd圖像的光伏組件抓取方法。

背景技術(shù)：

1、隨著可再生能源的快速發(fā)展，光伏組件的安裝需求日益增長。傳統(tǒng)的光伏組件安裝方法主要依賴人工操作，存在勞動強度大、效率低下、安裝精度不高等問題。近年來，自動化技術(shù)在制造業(yè)中的應(yīng)用逐漸增多，但在光伏組件安裝領(lǐng)域，由于組件的多樣性和不規(guī)則性，自動化抓取技術(shù)仍面臨挑戰(zhàn)。

2、自動抓取系統(tǒng)可以大幅提高光伏組件的生產(chǎn)和安裝速度，減少人力成本。相比傳統(tǒng)手動方式，自動化抓取設(shè)備能夠在更短的時間內(nèi)完成大量組件的搬運和安裝。自動系統(tǒng)可以設(shè)定最佳的抓取力度和速度，確保每一個組件都得到適當?shù)奶幚?，減少損壞和浪費，且自動化系統(tǒng)能更好地滿足市場對光伏組件的需求不斷增長需求，確保及時交付，所以關(guān)于光伏組件的自動抓取方法極為重要。

3、目前常見的，對光伏組件的自動化抓取方法依賴于2d圖像處理技術(shù)，但這些方法在處理具有復(fù)雜表面和空間結(jié)構(gòu)的光伏組件時，往往難以達到理想的精度和魯棒性，此外，深度信息的缺失也限制了抓取策略的制定和執(zhí)行。

技術(shù)實現(xiàn)思路

1、為了解決自動化抓取方法依賴于2d圖像處理技術(shù)，其在處理具有復(fù)雜表面和空間結(jié)構(gòu)的光伏組件時，往往難以達到理想的精度和魯棒性的技術(shù)問題，本發(fā)明的目的在于提供一種基于點云和rgbd圖像的光伏組件抓取方法，所采用的技術(shù)方案具體如下：

2、生成初始環(huán)境點云數(shù)據(jù)，使用三維目標識別算法識別運料車位置；

3、引導(dǎo)機械臂末端夾爪到達運料車位置的上方，使得運料車上的光伏組件進入夾爪上的rgbd相機的視野；

4、使用機械臂末端夾爪上的rgbd相機，通過位姿估計算法實時預(yù)測光伏組件的位姿；根據(jù)預(yù)測到的光伏組件的位姿，引導(dǎo)機械臂末端夾爪移向光伏組件，抓取并抬高光伏組件；

5、再次生成環(huán)境點云數(shù)據(jù)，并識別光伏支架上待安裝組件的位置；

6、引導(dǎo)機械臂末端夾爪到達待安裝組件的位置的上方，使得支架上的檁條進入夾爪上的rgbd相機的視野；

7、使用機械臂末端夾爪上的rgbd相機，通過位姿估計算法實時預(yù)測檁條的位姿；根據(jù)預(yù)測到的檁條位姿，引導(dǎo)機械臂末端夾爪移向檁條，對準光伏組件和檁條的位置，松開夾爪實現(xiàn)光伏板安裝。

8、優(yōu)選的，所述通過位姿估計算法實時預(yù)測光伏組件的位姿，包括：

9、設(shè)計抓取位姿估計網(wǎng)絡(luò)模型：抓取位姿估計網(wǎng)絡(luò)模型采用rgb-d輸入，采用編碼-解碼的結(jié)構(gòu)對抓取位姿估計網(wǎng)絡(luò)模型進行端到端訓(xùn)練。

10、優(yōu)選的，所述采用編碼-解碼(encoder-decoder)的結(jié)構(gòu)對抓取位姿估計網(wǎng)絡(luò)模型進行端到端訓(xùn)練，包括：

11、編碼器由下采樣模塊和殘差模塊組成，下采樣模塊之后添加深度可分離卷積殘差模塊；

12、深度可分離卷積是將傳統(tǒng)卷積分解為深度卷積和逐點卷積進行運算；

13、標準卷積參數(shù)量p1和計算量f1的計算公式為：

14、p1＝hk×wk×cin×cout；

15、f1＝hk×wk×cin×hout×wout×cout；

16、其中，hk為卷積核的高；wk為卷積核的寬；cin為輸入特征圖通道數(shù)；cout為輸出特征圖的通道數(shù)；hout為輸出特征圖的高；wout為輸出特征圖的寬；

17、深度可分離卷積參數(shù)量p2和計算量f2的計算公式為：

18、p2＝hk×wk×cin×1+1×1×cin×cout；

19、f2＝hk×wk×cin×hout×wout×1+hout×wout×cin×cout×1×1；

20、深度可分離卷積和標準卷積的參數(shù)量之比rp、計算量之比rf的公式如下：

21、

22、優(yōu)選的，所述深度可分離卷積殘差模塊的設(shè)計，包括：

23、用深度可分離卷積替代傳統(tǒng)殘差模塊中的標準卷積；3×3的深度卷積將每個輸入通道分別與不同的卷積核進行卷積操作，從而生成多個輸出通道特征圖，然后將多個通道的結(jié)果堆疊在一起形成輸出張量；

24、在3×3深度卷積后加入1×1逐點卷積，進行通道間信息融合，將輸入的每個特征圖中的每一個像素點與權(quán)重矩陣相乘并累加得到輸出的每個像素點。

25、優(yōu)選的，在殘差模塊中加入bn層和relu激活函數(shù)。

26、優(yōu)選的，抓取光伏組件時的抓取檢測，包括：

27、在圖像上預(yù)測目標的抓取矩形框，獲取抓取位姿：g＝(p,w,θ)，其中，p為抓取坐標；w為夾爪的夾持器張開的寬度；θ為每個可抓取點上的抓取角度。

28、優(yōu)選的，抓取位姿的估計網(wǎng)絡(luò)模型的損失函數(shù)，包括：

29、

30、

31、其中，為抓取位姿的估計網(wǎng)絡(luò)模型的損失函數(shù)，為真實值；為預(yù)測值；n為抓取矩形框的數(shù)量；i為抓取矩形框?qū)?yīng)的序號；p為抓取坐標；w為夾爪的夾持器張開的寬度；θ為每個可抓取點上的抓取角度；cos(2θ)和sin(2θ)為抓取角度的姿勢；mi為第i個抓取矩形框內(nèi)可抓取點的抓取坐標和抓取角度的姿勢的集合。

32、本發(fā)明實施例至少具有如下有益效果：

33、高精度定位與識別：通過先點云定位、后rgbd估計位姿的兩步走方式，實現(xiàn)了對運料車及光伏支架的高精度定位與識別，確保了機械臂操作的準確性。

34、實時位姿預(yù)測：通過rgbd相機獲取的深度信息和顏色信息，位姿估計算法能夠?qū)崟r預(yù)測光伏組件和檁條的位姿，提高了機械臂操作的響應(yīng)速度和靈活性。

35、操作自動化：從識別、定位到抓取、抬升、安放的全過程實現(xiàn)了自動化，減少了人工干預(yù)，降低了操作人員的勞動強度，提高了作業(yè)效率和安全性。

36、提高安裝精度：位姿估計算法和機械臂的精確控制確保了光伏組件在安裝過程中的位置精度，有助于提升整個光伏系統(tǒng)的安裝質(zhì)量和性能。

技術(shù)特征：

1.一種基于點云和rgbd圖像的光伏組件抓取方法，其特征在于，該方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于點云和rgbd圖像的光伏組件抓取方法，其特征在于，所述通過位姿估計算法實時預(yù)測光伏組件的位姿，包括：

3.根據(jù)權(quán)利要求2所述的基于點云和rgbd圖像的光伏組件抓取方法，其特征在于，所述采用編碼-解碼(encoder-decoder)的結(jié)構(gòu)對抓取位姿估計網(wǎng)絡(luò)模型進行端到端訓(xùn)練，包括：

4.根據(jù)權(quán)利要求3所述的基于點云和rgbd圖像的光伏組件抓取方法，其特征在于，所述深度可分離卷積殘差模塊的設(shè)計，包括：

5.根據(jù)權(quán)利要求3所述的基于點云和rgbd圖像的光伏組件抓取方法，其特征在于，在殘差模塊中加入bn層和relu激活函數(shù)。

6.根據(jù)權(quán)利要求1所述的基于點云和rgbd圖像的光伏組件抓取方法，其特征在于，抓取光伏組件時的抓取檢測，包括：

7.根據(jù)權(quán)利要求6所述的基于點云和rgbd圖像的光伏組件抓取方法，其特征在于，抓取位姿的估計網(wǎng)絡(luò)模型的損失函數(shù)，包括：

技術(shù)總結(jié)
本發(fā)明涉及自動化機器人技術(shù)領(lǐng)域，具體涉及一種基于點云和RGBD圖像的光伏組件抓取方法。該方法通過兩步走的方式識別光伏板位置，引導(dǎo)機械臂自動抓取和安放光伏板。提高光伏組件安裝的自動化水平、精度和效率。通過結(jié)合點云數(shù)據(jù)的高精度空間信息和RGBD圖像的顏色及深度信息，本發(fā)明能夠?qū)崿F(xiàn)對光伏組件的快速識別、定位和準確抓取，從而減少人工干預(yù)，提高安裝過程的安全性和可靠性。

技術(shù)研發(fā)人員：楊彪,沈汀,陳浩天,俞燦楠,翁樂偉,黃靖樂,鄔凌霄,向陽
受保護的技術(shù)使用者：浙江華東工程建設(shè)管理有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2