本發(fā)明涉及點(diǎn)云分割，特別涉及一種基于曲線特征的塊注意力點(diǎn)云分割方法。

背景技術(shù)：

1、隨著高性能硬件設(shè)備的廣泛應(yīng)用以及智能化技術(shù)的高速發(fā)展，三維點(diǎn)云配準(zhǔn)技術(shù)在人臉識(shí)別、無(wú)人駕駛、醫(yī)療影像等多個(gè)領(lǐng)域已發(fā)揮著關(guān)鍵作用，并被廣泛應(yīng)用于科研工作和工程項(xiàng)目中。比如，在室內(nèi)物體點(diǎn)云配準(zhǔn)任務(wù)中，點(diǎn)云分割即為將室內(nèi)前景點(diǎn)云與背景點(diǎn)云進(jìn)行分離的核心。然而，在作業(yè)過(guò)程中，室內(nèi)三維場(chǎng)景的物體種類繁多且與背景環(huán)境點(diǎn)云容易混淆，點(diǎn)云數(shù)據(jù)具有離散分布、非結(jié)構(gòu)化、無(wú)序性的特點(diǎn)，給分割任務(wù)造成了障礙。

2、為了解決上述問(wèn)題，傳統(tǒng)的點(diǎn)云分割方法通常是將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為其他形式的數(shù)據(jù)，比如體素或者圖像等，然后通過(guò)機(jī)器學(xué)習(xí)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和配準(zhǔn)。但是這種方式需要更多的計(jì)算資源和時(shí)間。為了解決該問(wèn)題，本領(lǐng)域技術(shù)人員開(kāi)始考慮對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行處理，比如通過(guò)pct(point?cloud?transformer，點(diǎn)云transformer)網(wǎng)絡(luò)直接將坐標(biāo)映射到高維空間，并引入transformer保留點(diǎn)云置換不變性的同時(shí)處理點(diǎn)序列，對(duì)于非結(jié)構(gòu)化、無(wú)序、區(qū)域不規(guī)則的部分點(diǎn)云數(shù)據(jù)處理具有先進(jìn)性能。

3、然而，上述方式雖然是一種有效的全局特征提取網(wǎng)絡(luò)，但是對(duì)于局部特征利用不足，尤其在室內(nèi)場(chǎng)景中，局部領(lǐng)域信息對(duì)于區(qū)分不同形態(tài)的物體和理解場(chǎng)景結(jié)構(gòu)至關(guān)重要。而現(xiàn)有方案忽略了這些信息，導(dǎo)致在執(zhí)行室內(nèi)環(huán)境中物體形態(tài)各異、前景物體與背景點(diǎn)云之間的界限不明顯的分割任務(wù)時(shí)，點(diǎn)云分割精度較差。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，針對(duì)以上不足，有必要提出一種基于曲線特征的塊注意力點(diǎn)云分割方法，以提高點(diǎn)云分割精度。

2、本發(fā)明提供了一種基于曲線特征的塊注意力點(diǎn)云分割方法，包括：

3、獲取待分割點(diǎn)云的點(diǎn)云坐標(biāo)數(shù)據(jù)；

4、基于采樣分組對(duì)所述點(diǎn)云坐標(biāo)數(shù)據(jù)中各點(diǎn)的局部鄰居特征進(jìn)行提取和聚合，得到鄰域嵌入輸出特征；

5、基于偏移注意力機(jī)制對(duì)所述待分割點(diǎn)云進(jìn)行逐點(diǎn)運(yùn)算，計(jì)算自注意特征與所述鄰域嵌入輸出特征之間的偏移差異，得到偏移注意力輸出特征；

6、對(duì)所述點(diǎn)云坐標(biāo)數(shù)據(jù)按照一定規(guī)則進(jìn)行曲線連接，并將得到的曲線特征和構(gòu)成曲線的曲線點(diǎn)特征進(jìn)行融合，得到曲線輸出特征；

7、基于塊注意力機(jī)制對(duì)所述曲線輸出特征和所述偏移注意力輸出特征進(jìn)行全局上下文信息的提取，得到點(diǎn)特征；

8、對(duì)所述點(diǎn)特征進(jìn)行池化處理，得到池化特征；

9、對(duì)所述池化特征和所述點(diǎn)特征進(jìn)行融合處理，得到全局特征；

10、利用所述全局特征進(jìn)行分割處理，得到待分割點(diǎn)云的分割結(jié)果。

11、優(yōu)選的，所述基于采樣分組對(duì)所述點(diǎn)云坐標(biāo)數(shù)據(jù)中各點(diǎn)的局部鄰居特征進(jìn)行提取和聚合，包括：

12、采用最遠(yuǎn)采樣算法對(duì)所述點(diǎn)云坐標(biāo)數(shù)據(jù)進(jìn)行下采樣，得到采樣特征；

13、針對(duì)待分割點(diǎn)云中的每個(gè)采樣點(diǎn)，計(jì)算當(dāng)前采樣點(diǎn)與其k個(gè)最近鄰點(diǎn)之間特征差異；

14、將各采樣點(diǎn)所對(duì)應(yīng)的特征差異進(jìn)行拼接，得到局部差異特征；

15、將所述局部差異特征與所述采樣特征進(jìn)行拼接，得到差異融合特征；其中，拼接前所述采樣特征重復(fù)k次以匹配局部差異特征維度；

16、將所述差異融合特征經(jīng)過(guò)兩個(gè)lbr網(wǎng)絡(luò)進(jìn)行特征提取和變換，并通過(guò)最大池化操作，輸出所述鄰域嵌入輸出特征；其中，所述lbr網(wǎng)絡(luò)由線性層、批標(biāo)準(zhǔn)化層和relu激活函數(shù)層構(gòu)成。

17、優(yōu)選的，所述基于偏移注意力機(jī)制對(duì)所述待分割點(diǎn)云進(jìn)行逐點(diǎn)運(yùn)算，計(jì)算自注意特征與所述鄰域嵌入輸出特征之間的偏移差異，包括：

18、計(jì)算各注意力層的注意力權(quán)重矩陣；

19、基于所述鄰域嵌入輸出特征，計(jì)算各注意力層的層輸出特征；

20、對(duì)各注意力層的層輸出特征進(jìn)行融合，得到所述偏移注意力輸出特征。

21、優(yōu)選的，

22、所述計(jì)算各注意力層的注意力權(quán)重矩陣時(shí)，利用如下計(jì)算式計(jì)算注意力權(quán)重矩陣中的各注意力權(quán)重：

23、

24、其中αi,j用于表征注意力權(quán)重，用于表征對(duì)進(jìn)行縮放處理后得到的注意力權(quán)重，是通過(guò)計(jì)算查詢矩陣q與鍵矩陣k的轉(zhuǎn)置的乘積得到的歸一化注意力得分；

25、和/或，

26、所述基于所述鄰域嵌入輸出特征計(jì)算各注意力層的層輸出特征時(shí)，利用如下計(jì)算式計(jì)算得到所述層輸出特征：

27、

28、其中，表征第n個(gè)注意力層的輸出，表征第n個(gè)注意力層輸入的特征，當(dāng)n＝1時(shí)，為所述鄰域嵌入輸出特征，fsa為自注意力特征，an為第n個(gè)注意力層的注意力權(quán)重矩陣，lbr為由線性層、批標(biāo)準(zhǔn)化層和relu激活函數(shù)層構(gòu)成的網(wǎng)絡(luò)；

29、和/或，

30、所述對(duì)各注意力層的層輸出特征進(jìn)行融合，包括利用如下計(jì)算式實(shí)現(xiàn)：

31、

32、其中，fconcat表征偏移注意力輸出特征，n表征注意力層的總層數(shù)，w表征線性層的權(quán)重參數(shù)。

33、優(yōu)選的，所述對(duì)所述點(diǎn)云坐標(biāo)數(shù)據(jù)按照一定規(guī)則進(jìn)行曲線連接，并將得到的曲線特征和構(gòu)成曲線的曲線點(diǎn)特征進(jìn)行融合，包括：

34、基于所述點(diǎn)云坐標(biāo)數(shù)據(jù)構(gòu)建無(wú)向圖g＝(f，e)；其中，點(diǎn)集f為點(diǎn)云中的離散點(diǎn)特征，邊集e為點(diǎn)與鄰近點(diǎn)之間的連接關(guān)系；

35、根據(jù)定義的隨機(jī)游走策略在無(wú)向圖g上隨機(jī)游走，形成一條曲線c；其中，曲線c被定義為一個(gè)點(diǎn)特征序列；

36、分別在分組曲線c上應(yīng)用注意力池化操作學(xué)習(xí)得到曲線間特征向量和曲線內(nèi)特征向量；其中，所述曲線間特征向量用于表征不同曲線之間的相互關(guān)系，曲線內(nèi)特征向量用于表征每條曲線內(nèi)的內(nèi)部關(guān)系；其中，所述分組曲線為針對(duì)不同的起始點(diǎn)應(yīng)用隨機(jī)游走策略得到的曲線c的集合；

37、將所述曲線點(diǎn)特征、所述曲線間特征向量和所述曲線內(nèi)特征向量進(jìn)行融合，得到所述曲線輸出特征。

38、優(yōu)選的，所述根據(jù)定義的隨機(jī)游走策略在無(wú)向圖g上隨機(jī)游走形成一條曲線c，包括：

39、通過(guò)迭代執(zhí)行如下計(jì)算式l次對(duì)所述點(diǎn)集f進(jìn)行分組：

40、si+1＝π(si),0≤i∈z+≤l

41、其中，曲線c定義為c＝{s1,…,sl|s∈f}，si為構(gòu)成曲線的第i個(gè)點(diǎn)的點(diǎn)特征，π(·)為所述隨機(jī)游走策略，具體通過(guò)如下計(jì)算式得到：

42、

43、其中，為k最鄰近算法的狀態(tài)描述符，由點(diǎn)特征si和曲線描述符ri共同構(gòu)成，ns用于表征與當(dāng)前狀態(tài)s相關(guān)的鄰近點(diǎn)的集合。

44、優(yōu)選的，所述將所述曲線點(diǎn)特征、所述曲線間特征向量和所述曲線內(nèi)特征向量進(jìn)行融合，包括：

45、將所述曲線點(diǎn)特征、曲線間特征向量和所述曲線內(nèi)特征向量分別輸入到第一多層感知機(jī)、第二多層感知機(jī)和第三多層感知機(jī)，分別輸出第一輸出特征、第二輸出特征和第三輸出特征；

46、將所述第二輸出特征輸入第四多層感知機(jī)，得到第四輸出特征；

47、將所述第三輸出特征輸入第五多層感知機(jī)，得到第五輸出特征；

48、將所述第一輸出特征與所述第二輸出特征進(jìn)行融合，得到第六輸出特征；

49、將所述第六輸出特征與所述第四輸出特征進(jìn)行融合，得到第七輸出特征；

50、將所述第一輸出特征與所述第三輸出特征進(jìn)行融合，得到第八輸出特征；

51、將所述第八輸出特征與所述第五輸出特征進(jìn)行融合，得到第九輸出特征；

52、將所述第七輸出特征與所述第九輸出特征進(jìn)行融合，并通過(guò)第六多層感知機(jī)輸出，得到所述曲線輸出特征。

53、優(yōu)選的，所述基于塊注意力機(jī)制對(duì)所述曲線輸出特征和所述偏移注意力輸出特征進(jìn)行全局上下文信息的提取，包括：

54、將所述待分割點(diǎn)云分割成m個(gè)實(shí)例基的集合{s1,s2,…,sm}；

55、對(duì)每個(gè)實(shí)例基中的組合特征進(jìn)行融合，得到估計(jì)基；其中，所述組合特征由曲線輸出特征和偏移注意力輸出特征組合而成；

56、利用所述估計(jì)基對(duì)所述組合特征進(jìn)行重新估計(jì)，得到重估計(jì)特征；

57、將所述重估計(jì)特征與所述組合特征進(jìn)行差值化處理，輸出得到所述點(diǎn)特征。

58、優(yōu)選的，所述對(duì)每個(gè)實(shí)例基中的組合特征進(jìn)行融合，包括利用如下計(jì)算式計(jì)算得到估計(jì)基：

59、

60、其中，bm為第m個(gè)實(shí)例基中的組合特征融合后得到的實(shí)例基特征，fi為點(diǎn)pi的組合特征，ωi為歸一化因子，b為估計(jì)基，變換函數(shù)為一個(gè)包含線性層和relu激活函數(shù)的多層感知機(jī)；

61、所述利用所述估計(jì)基對(duì)所述組合特征進(jìn)行重新估計(jì)，包括利用如下計(jì)算式組計(jì)算得到重估計(jì)特征：

62、

63、其中，a用于表征由估計(jì)基構(gòu)造的注意力圖網(wǎng)絡(luò)結(jié)構(gòu)，q用于表征a所要關(guān)注的重要特征，d′表征b的維度，n表征待分割點(diǎn)云中點(diǎn)的總數(shù)；

64、所述將所述重估計(jì)特征與所述組合特征進(jìn)行差值化處理，包括利用如下計(jì)算式計(jì)算得到點(diǎn)特征：

65、

66、其中，foutput用于表征輸出的點(diǎn)特征，用于標(biāo)準(zhǔn)表征所述組合特征，φ(·)為由一個(gè)線性層和一個(gè)relu層構(gòu)成的多層感知機(jī)。

67、優(yōu)選的，所述對(duì)所述點(diǎn)特征進(jìn)行池化處理，包括：

68、對(duì)所述點(diǎn)特征進(jìn)行最大池化處理，得到最大池化特征；

69、對(duì)所述點(diǎn)特征進(jìn)行平均池化處理，得到平均池化特征；

70、將所述最大池化特征和所述平均池化特征融合，得到所述池化特征。

71、由上述技術(shù)方案可知，本發(fā)明提供的基于曲線特征的塊注意力點(diǎn)云分割方法中，首先獲取待分割點(diǎn)云的點(diǎn)云坐標(biāo)數(shù)據(jù)，然后基于采樣分組對(duì)點(diǎn)云坐標(biāo)數(shù)據(jù)中各點(diǎn)的局部領(lǐng)域特征進(jìn)行提取和聚合，得到鄰域嵌入輸出特征，如此充分考慮了局部領(lǐng)域信息對(duì)區(qū)分不同步形態(tài)的物體和理解場(chǎng)景結(jié)構(gòu)的重要性，從而能夠大大提高點(diǎn)云分割精度；進(jìn)一步通過(guò)偏移注意力機(jī)制計(jì)算自注意特征與鄰域嵌入輸出特征之間的偏移差異得到偏移注意力輸出特征，如此能夠通過(guò)銳化注意力權(quán)重，減少在分割物體點(diǎn)云時(shí)周圍環(huán)境節(jié)點(diǎn)對(duì)結(jié)果的影響，進(jìn)而提高分割的準(zhǔn)確性；然后對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行曲線連接，并將得到的曲線特征和構(gòu)成曲線的曲線點(diǎn)特征進(jìn)行融合得到曲線輸出特征，相比于傳統(tǒng)局部特征聚合方法，通過(guò)曲線特征提取聚合能夠增強(qiáng)點(diǎn)云的幾何信息表示，并捕捉到點(diǎn)云中更長(zhǎng)距離的幾何關(guān)系，進(jìn)而在點(diǎn)云分割中提取聚合出更加準(zhǔn)確的特征信息；進(jìn)一步基于塊注意力機(jī)制進(jìn)行全局上下文信息的提取得到點(diǎn)特征，如此能夠捕獲長(zhǎng)距離的依賴關(guān)系，通過(guò)衡量各特征之間的關(guān)聯(lián)性來(lái)不過(guò)點(diǎn)云的全局上下文信息，從而動(dòng)態(tài)地關(guān)注和學(xué)習(xí)重要特征；最后通過(guò)對(duì)點(diǎn)特征進(jìn)行池化得到池化特征，并與池化特征融合后進(jìn)行分割處理，得到待分割點(diǎn)云的分割結(jié)果。由此可見(jiàn)，本方案能夠大大提高點(diǎn)云分割的精度。