本發(fā)明涉及3d點(diǎn)云特征提取與分類分割的，尤其是指一種基于自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)的3d點(diǎn)云分類分割方法。

背景技術(shù)：

1、直接從3d點(diǎn)云中提取特征用于分類和分割是機(jī)器人、自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)等應(yīng)用中的迫切需求。不同于2d圖像，點(diǎn)云是無序和非結(jié)構(gòu)化的，使得設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來處理它們具有挑戰(zhàn)性。

2、這個(gè)問題有兩種解決方法，一是設(shè)計(jì)幾何結(jié)構(gòu)提取器和卷積操作獲取點(diǎn)云局部幾何特征。由于普通卷積在3d點(diǎn)云上的適用效果差，對(duì)點(diǎn)云數(shù)據(jù)間的銜接不敏感，因此應(yīng)用該種方法存在提取性能低的問題；二是運(yùn)用多頭注意力機(jī)制來提取全局特征。但是這種方法會(huì)帶來較大的計(jì)算開銷，使得實(shí)時(shí)任務(wù)不能達(dá)到快速迭代的效果。并且，這兩種解決方法在處理稀疏和受噪聲干擾的點(diǎn)云時(shí)，都會(huì)發(fā)生性能驟降的問題，魯棒性差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)的3d點(diǎn)云分類分割方法，能夠有效提取點(diǎn)云數(shù)據(jù)的局部和全局特征，在網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)上追求輕量化，減少非必要的額外開銷。并且，該方法在處理稀疏點(diǎn)云和受噪聲干擾的點(diǎn)云時(shí)，不會(huì)發(fā)生準(zhǔn)確率驟降的問題，魯棒性強(qiáng)。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)的3d點(diǎn)云分類分割方法，包括以下步驟：

3、1)使用公開的3d點(diǎn)云數(shù)據(jù)集，該數(shù)據(jù)集包含真值點(diǎn)云類別標(biāo)簽和若干點(diǎn)云，并對(duì)該數(shù)據(jù)集進(jìn)行預(yù)處理得到數(shù)量統(tǒng)一和分布均勻的點(diǎn)云數(shù)據(jù)；

4、2)使用最遠(yuǎn)點(diǎn)采樣算法和球查詢算法，對(duì)預(yù)處理后得到的點(diǎn)云數(shù)據(jù)進(jìn)行采樣分組，將點(diǎn)云數(shù)據(jù)分為若干個(gè)球域組，每個(gè)球域組具有一個(gè)中心點(diǎn)，每個(gè)球域組包含以指定半徑形成的球體內(nèi)的全部點(diǎn)云；

5、3)對(duì)經(jīng)過采樣分組得到的多個(gè)球域組進(jìn)行特征提取，提取出相應(yīng)的特征向量，包括中心點(diǎn)特征和鄰域特征，其中，所述鄰域特征是指球域組內(nèi)除中心點(diǎn)之外的其它點(diǎn)云的特征；

6、4)設(shè)計(jì)包含了向量注意力的拉普拉斯特征卷積機(jī)制，將特征向量利用拉普拉斯特征卷積機(jī)制自適應(yīng)分配注意力權(quán)重，并根據(jù)注意力權(quán)重大小分別強(qiáng)化球域組中點(diǎn)云的中心點(diǎn)特征和鄰域特征，實(shí)現(xiàn)中心點(diǎn)特征和鄰域特征間的卷積；

7、5)設(shè)計(jì)包含了相似性匹配計(jì)算的增強(qiáng)模塊，用于進(jìn)一步增強(qiáng)提取到的特征向量，來提高網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確性；

8、6)使用特征向量訓(xùn)練自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)，使用多分類交叉熵作為損失函數(shù)，并輸出對(duì)應(yīng)點(diǎn)云類別；其中，所述自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)為改進(jìn)的拉普拉斯卷積網(wǎng)絡(luò)，其改進(jìn)是在原拉普拉斯卷積網(wǎng)絡(luò)的基礎(chǔ)上加入向量注意力，自適應(yīng)獲得拉普拉斯權(quán)重，增加跳過連接的多尺度融合方式，輸入點(diǎn)云，使用分組采樣得到的球域組分別進(jìn)行特征提取，獲取點(diǎn)云數(shù)據(jù)的局部和全局特征，使其獲得對(duì)應(yīng)空間上的整體特征更完善；

9、7)應(yīng)用訓(xùn)練好的自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)，將待測的3d點(diǎn)云數(shù)據(jù)輸入網(wǎng)絡(luò)，得到點(diǎn)云所屬類別和各部件分割效果。

10、進(jìn)一步，在步驟2)中，對(duì)預(yù)處理后得到的點(diǎn)云數(shù)據(jù)進(jìn)行采樣分組，具體過程如下：

11、輸入點(diǎn)云數(shù)據(jù)u＝{u1,u2,...,un}，其中un表示第n個(gè)點(diǎn)云；中心點(diǎn)集ucm＝{uc1,uc2,...,ucm}的選取使用迭代最遠(yuǎn)點(diǎn)采樣算法選擇，其中ucm表示第m個(gè)中心點(diǎn)；ucm＝fps{u}，對(duì)于采樣的中心點(diǎn)集ucm，使用球查詢算法來根據(jù)距離大小確定每個(gè)中心點(diǎn)集ucm的鄰域ncm＝{ucm|um1,um2,...,umj}，其中umj表示以u(píng)cm為中心的第j個(gè)點(diǎn)相鄰點(diǎn)，ncm表示以u(píng)cm為中心點(diǎn)的球域組，ncm＝queryball{ucm}，ncm是由ucm經(jīng)過球查詢算法得到的。

12、進(jìn)一步，在步驟3)中，使用自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)的自適應(yīng)拉普拉斯骨干部分對(duì)球域組進(jìn)行特征提取，提取的特征向量包括中心點(diǎn)特征和鄰域特征；所述自適應(yīng)拉普拉斯骨干部分由6個(gè)參數(shù)不同的卷積模塊堆疊而成，這些卷積模塊之間通過多尺度特征融合，以確保提取更全面的局部信息，所述卷積模塊不僅包括線性層、卷積操作和激活函數(shù)，還結(jié)合了向量注意力機(jī)制，以提高特征提取的效果和精度。

13、進(jìn)一步，在步驟4)中，向量注意力和拉普拉斯特征卷積機(jī)制的具體實(shí)施如下：

14、向量注意力：隨機(jī)生成一組服從標(biāo)準(zhǔn)正態(tài)分布的參數(shù)op，將op歸一化并轉(zhuǎn)化為可學(xué)習(xí)的參數(shù)，權(quán)重wa由經(jīng)過softmax函數(shù)的op和ncm的點(diǎn)積獲得，而ncm與所有中心點(diǎn)集ucm＝{uc1,uc2,...,ucm}通過全連接層拼接在一起，最后得到輸出fon，如以下公式所示：

15、fon＝conv1d(concat(ucm,sum(wancm)))

16、式中，sum是求和操作，concat是使用concatenate操作，沿著向量維度進(jìn)行拼接，拼接后的數(shù)據(jù)再經(jīng)過conv1d，conv1d是一維卷積操作，向量注意力通過注意力方法來計(jì)算權(quán)重；

17、拉普拉斯特征卷積機(jī)制：通過拉普拉斯卷積模塊的輸入記為fin，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的拉普拉斯特征的加權(quán)和表示為fa，fa和fin之間的關(guān)系用以下公式表示：

18、fa＝∑softmax(θ·(ncm-ucm))·(ncm-ucm)

19、fin＝ncm-ucm

20、式中，θ＝(θ1,θ2,..,θm)是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的參數(shù)，θm表示學(xué)習(xí)到的第m個(gè)參數(shù)；所述拉普拉斯特征卷積機(jī)制通過引入深度學(xué)習(xí)中的自適應(yīng)策略，使其不僅等效于使用神經(jīng)網(wǎng)絡(luò)層來推理權(quán)重，還在點(diǎn)云分類和分割任務(wù)中引入了更高的靈活性和準(zhǔn)確性，它采用了一種與現(xiàn)有技術(shù)截然不同的離散化方式，摒棄了對(duì)均勻離散化或特定幾何信息的依賴，從而實(shí)現(xiàn)了對(duì)復(fù)雜幾何形狀的更深入理解，使得網(wǎng)絡(luò)能夠根據(jù)具體數(shù)據(jù)的特點(diǎn)，動(dòng)態(tài)強(qiáng)化球域組中中心點(diǎn)特征和鄰域特征之間的關(guān)系。

21、進(jìn)一步，在步驟5)中，所述增強(qiáng)模塊的具體實(shí)施如下：

22、利用相似性匹配計(jì)算鄰域特征與真值點(diǎn)云類別標(biāo)簽間的關(guān)系，再通過與自適應(yīng)拉普拉斯骨干部分得到的向量特征進(jìn)行線性插值，實(shí)現(xiàn)對(duì)特征的增強(qiáng)，相似性匹配計(jì)算公式如下：

23、lpre＝exp(-γ·(1-∑fs·ltt))·ltt

24、式中，fs是進(jìn)行相似性匹配計(jì)算的特征，lt是真值點(diǎn)云類別標(biāo)簽，ltt為lt的矩陣轉(zhuǎn)置，γ是測定的匹配系數(shù)，用于控制匹配計(jì)算過程的靈敏度，線性插值公式如下：

25、lcls＝λq·lpre+λn·fb

26、式中，lpre是相似性匹配計(jì)算得出的結(jié)果，fb是自適應(yīng)拉普拉斯骨干部分提取到的特征總和，兩者進(jìn)行線性插值得到最終的預(yù)測值lcls，λq和λn是測定的參數(shù)，分別用來控制兩者插值的程度，從而實(shí)現(xiàn)對(duì)特征增強(qiáng)的調(diào)控效果；通過引入相似性匹配計(jì)算的增強(qiáng)模塊，能夠有效地整合真實(shí)標(biāo)簽信息與提取的特征，使得網(wǎng)絡(luò)在訓(xùn)練過程中對(duì)特征的重要性有所區(qū)分。

27、進(jìn)一步，在步驟6)中，所述自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)處理點(diǎn)云分割和分類，采用的損失函數(shù)為多分類交叉熵，以最小化預(yù)測值與真值點(diǎn)云類別標(biāo)簽之間的距離；網(wǎng)絡(luò)的輸出是一個(gè)概率值，指示屬于n個(gè)類別的概率；對(duì)于多分類問題，真值點(diǎn)云類別標(biāo)簽是一個(gè)獨(dú)熱編碼的向量，指示樣本屬于哪個(gè)類別；整個(gè)網(wǎng)絡(luò)的輸出是一個(gè)向量，指示每個(gè)類別的概率，由softmax函數(shù)處理；假設(shè)有n個(gè)點(diǎn)，每個(gè)點(diǎn)都有c個(gè)類別，網(wǎng)絡(luò)輸出的概率分布為p，真值點(diǎn)云類別標(biāo)簽為y；用于點(diǎn)云分類的損失函數(shù)表示為：

28、

29、式中，n是點(diǎn)數(shù)，c是類別數(shù)，yij是點(diǎn)i屬于類別j的真實(shí)標(biāo)簽，而網(wǎng)絡(luò)預(yù)測的該點(diǎn)屬于類別j的概率為pij，類別j作為網(wǎng)絡(luò)的輸出，訓(xùn)練好的自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)就能夠用來完成點(diǎn)云的分類分割任務(wù)。

30、進(jìn)一步，在步驟7)中，應(yīng)用訓(xùn)練好的自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)完成3d點(diǎn)云分類分割的具體步驟如下：

31、71)通過傳感器掃描需要進(jìn)行分類和分割的物體，獲取待測物體的完整3d點(diǎn)云數(shù)據(jù)，將獲取的3d點(diǎn)云數(shù)據(jù)經(jīng)過預(yù)處理后送入訓(xùn)練好的自適應(yīng)拉普拉斯卷積網(wǎng)絡(luò)；

32、72)經(jīng)過步驟71)處理后，對(duì)獲取的點(diǎn)云數(shù)據(jù)采樣分組得到不同的球域組，根據(jù)不同的球域組分別提取對(duì)應(yīng)的特征，采用拉普拉斯特征卷積機(jī)制進(jìn)行深層次的局部特征提取，最后使用特征增強(qiáng)模塊完成增強(qiáng)提取到的全局和局部特征；

33、73)經(jīng)過上述步驟72)特征提取后，針對(duì)分類任務(wù)輸出該待測物體的類別；針對(duì)分割任務(wù)中，輸出該待測物體的各個(gè)部件的分割效果。

34、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)與有益效果：

35、1、本發(fā)明將拉普拉斯卷積應(yīng)用到了3d點(diǎn)云數(shù)據(jù)上，對(duì)于點(diǎn)云的局部細(xì)節(jié)捕捉能力強(qiáng)，能夠有效提取特征。

36、2、本發(fā)明提出了一種向量注意力方法，使用神經(jīng)網(wǎng)絡(luò)自適應(yīng)地學(xué)習(xí)拉普拉斯權(quán)重，使拉普拉斯卷積不再依賴于均勻的離散化方法，而是能根據(jù)不同的任務(wù)自適應(yīng)地進(jìn)行調(diào)整。

37、3、本發(fā)明的神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用輕量化的設(shè)計(jì)理念，在保證高分類分割準(zhǔn)確率的同時(shí)減少了冗余計(jì)算。

38、4、本發(fā)明可以處理較為稀疏和帶噪聲的點(diǎn)云，魯棒性強(qiáng)。

39、5、本發(fā)明的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，引入點(diǎn)云特征增強(qiáng)分支，可以提供更多特征信息，使分類分割更準(zhǔn)確。