本發(fā)明涉及點(diǎn)云分割方法，具體涉及一種三維場景點(diǎn)云分割增強(qiáng)方法、設(shè)備、存儲介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、三維室內(nèi)空間的大規(guī)模點(diǎn)云數(shù)據(jù)，通常用于計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)領(lǐng)域的研究和應(yīng)用，作為三維感知技術(shù)的核心資源，其應(yīng)用范圍極為廣泛，覆蓋了從室內(nèi)導(dǎo)航與定位、物體識別與分割，到環(huán)境建模、空間規(guī)劃與管理等多個關(guān)鍵領(lǐng)域。以下是一些三維點(diǎn)云數(shù)據(jù)的應(yīng)用場景：1.室內(nèi)導(dǎo)航和定位：點(diǎn)云數(shù)據(jù)為構(gòu)建高精度室內(nèi)地圖提供了堅(jiān)實(shí)基礎(chǔ)，助力開發(fā)先進(jìn)的導(dǎo)航與定位系統(tǒng)，服務(wù)于機(jī)器人導(dǎo)航、智能家居控制、無人機(jī)室內(nèi)作業(yè)及增強(qiáng)現(xiàn)實(shí)體驗(yàn)等前沿領(lǐng)域。2.三維物體識別和分割：利用點(diǎn)云數(shù)據(jù)訓(xùn)練和優(yōu)化算法，可顯著提升對室內(nèi)環(huán)境中復(fù)雜物體的識別與分割能力，這對于自動駕駛輔助、智能安防監(jiān)控及環(huán)境監(jiān)測等應(yīng)用至關(guān)重要。3.室內(nèi)環(huán)境分析：通過點(diǎn)云數(shù)據(jù)分析，實(shí)現(xiàn)對室內(nèi)空間的精細(xì)劃分、家具布局識別及環(huán)境特征提取，為室內(nèi)設(shè)計(jì)優(yōu)化、建筑智能管理及虛擬現(xiàn)實(shí)仿真等提供強(qiáng)大支持。4.深度學(xué)習(xí)研究：作為深度學(xué)習(xí)研究中的寶貴資源，三維點(diǎn)云數(shù)據(jù)推動了神經(jīng)網(wǎng)絡(luò)架構(gòu)的創(chuàng)新與發(fā)展，特別是在卷積神經(jīng)網(wǎng)絡(luò)(cnn)和循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)等模型的訓(xùn)練和測試方面。5.基礎(chǔ)設(shè)施規(guī)劃和管理：城市規(guī)劃借助點(diǎn)云數(shù)據(jù)，能夠更加精準(zhǔn)地規(guī)劃和管理城市內(nèi)部空間，包括建筑物布局、交通網(wǎng)絡(luò)優(yōu)化及公共服務(wù)設(shè)施配置等。

2、三維點(diǎn)云數(shù)據(jù)以其獨(dú)特的三維笛卡爾坐標(biāo)體系，精準(zhǔn)地捕捉并表示了真實(shí)世界中的物體及其屬性，包括顏色、反射強(qiáng)度等多元信息。與二維圖像相比，點(diǎn)云數(shù)據(jù)展現(xiàn)出更為復(fù)雜的特性——稀疏性與無序性，即便是對同一物體的多次觀測，其點(diǎn)云表示也可能存在顯著差異。這些特性要求研究人員必須開發(fā)出專門針對三維點(diǎn)云的處理方法，以充分挖掘其潛在價值。

3、隨著技術(shù)的不斷進(jìn)步，三維點(diǎn)云數(shù)據(jù)已在自動駕駛、產(chǎn)品質(zhì)量檢測、以及機(jī)器人技術(shù)等前沿領(lǐng)域展現(xiàn)出巨大潛力。特別是在這些應(yīng)用中，點(diǎn)云分割技術(shù)的重要性愈發(fā)凸顯。點(diǎn)云分割旨在將復(fù)雜的點(diǎn)云數(shù)據(jù)劃分為一系列具有明確語義意義的子集，這一過程不僅有助于提升對點(diǎn)云信息的理解與處理效率，更是實(shí)現(xiàn)高級應(yīng)用功能(如障礙物識別、路徑規(guī)劃等)的關(guān)鍵前提。

4、目前，針對點(diǎn)云分割任務(wù)，學(xué)者們已提出了眾多方法，其中基于u-net結(jié)構(gòu)的方法以其出色的性能脫穎而出。u-net作為一種經(jīng)典的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以其獨(dú)特的u形設(shè)計(jì)聞名，該架構(gòu)巧妙地結(jié)合了編碼器、解碼器以及跳躍連接三大關(guān)鍵組件，實(shí)現(xiàn)了對圖像或點(diǎn)云數(shù)據(jù)的深度特征提取與精準(zhǔn)分割。編碼器模塊通過多個特征聚合層和下采樣層，從輸入數(shù)據(jù)中捕捉豐富的上下文和空間信息，同時減少數(shù)據(jù)的空間尺寸并增加特征通道數(shù)，以便網(wǎng)絡(luò)能夠捕獲全局上下文和更高層次的特征。解碼器模塊則利用特征插值層和上采樣層，逐步恢復(fù)數(shù)據(jù)的空間維度至原始大小，并基于編碼器提供的粗略特征進(jìn)行精確定位。而跳躍連接模塊則在整個過程中發(fā)揮著至關(guān)重要的作用，它通過連接編碼器和解碼器之間的相應(yīng)層，確保了低級空間信息與高級上下文信息的有效融合，從而保留了復(fù)雜細(xì)節(jié)并實(shí)現(xiàn)了精準(zhǔn)分割。

5、基于u-net的方法由于在編碼器和解碼器上進(jìn)行了深度特征提取，在圖像分割方面取得了卓越的成就。例如：pointnet++創(chuàng)新性地通過分層聚合和采樣點(diǎn)云來學(xué)習(xí)不同的細(xì)粒度特征，這種方法使其成為最早采用u型框架的點(diǎn)云分割網(wǎng)絡(luò)之一。kpconv采用了可變形卷積算子。這些算子允許卷積核自適應(yīng)地調(diào)整其形狀，以適應(yīng)點(diǎn)云數(shù)據(jù)中存在的各種幾何結(jié)構(gòu)。

6、盡管基于u-net的方法在圖像分割領(lǐng)域取得了顯著成就，但針對點(diǎn)云數(shù)據(jù)的無序性和稀疏性，傳統(tǒng)u-net方法在處理時仍面臨挑戰(zhàn)。由于缺乏全局特征信息的提取模塊，大多數(shù)現(xiàn)有的基于u-net的方法為圖像數(shù)據(jù)定制提取的局部和非局部特征對于點(diǎn)云分割任務(wù)來說不適用。眾所周知，點(diǎn)云具有無序和稀疏的特點(diǎn)，因此全局特征對于高精度分割至關(guān)重要。具體來說，無序特征是指點(diǎn)云中沒有預(yù)先確定的排列或結(jié)構(gòu)，這意味著從單個點(diǎn)之間的聯(lián)系和關(guān)系的角度來看，點(diǎn)云中相距較遠(yuǎn)的兩個點(diǎn)實(shí)際上可能成為彼此的鄰點(diǎn)；另一方面，在數(shù)據(jù)采集過程中，由于樣本非常有限，點(diǎn)云的稀疏性導(dǎo)致傳統(tǒng)的基于u-net的方法難以有效地學(xué)習(xí)到良好而豐富的表示特征。因此，提取全局特征信息對于處理點(diǎn)云數(shù)據(jù)非常關(guān)鍵。

7、因此，如何融合全局關(guān)注機(jī)制與u-net架構(gòu)，實(shí)現(xiàn)對三維點(diǎn)云數(shù)據(jù)的分割增強(qiáng)，已成為當(dāng)前本領(lǐng)域技術(shù)人員亟待攻克的技術(shù)難題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種三維場景點(diǎn)云分割增強(qiáng)方法、設(shè)備、存儲介質(zhì)及程序產(chǎn)品，以克服現(xiàn)有技術(shù)中基于u-net框架的三維點(diǎn)云分割方法，由于跳躍連接的處理相對簡單、導(dǎo)致無法全面了解點(diǎn)云數(shù)據(jù)中的細(xì)粒度紋理的問題問題。

2、本發(fā)明通過下述技術(shù)方案來解決上述技術(shù)問題：

3、一種三維場景點(diǎn)云分割增強(qiáng)方法，包括以下步驟：

4、步驟一、獲取待分割的點(diǎn)云數(shù)據(jù)，經(jīng)編碼處理得到當(dāng)前樣本集的輸入特征fin和全局點(diǎn)的特征fglb；

5、步驟二、對當(dāng)前樣本集的輸入特征fin和全局點(diǎn)的特征fglb進(jìn)行逐層有序的提取，并執(zhí)行線性變換生成查詢矩陣q、密鑰矩陣k和值矩陣v；

6、步驟三、通過矩陣點(diǎn)積計(jì)算查詢矩陣q和密鑰矩陣k的注意力權(quán)重，得到注意力權(quán)重矩陣a；

7、步驟四、通過使用注意力權(quán)重矩陣a中相應(yīng)的注意力權(quán)重對值矩陣v中的值向量進(jìn)行加權(quán)求和，得到注意力層的輸出特征fattn；

8、步驟五、基于殘差網(wǎng)絡(luò)的原理，融合注意力層的輸出特征fattn和當(dāng)前樣本集的輸入特征fin，隨機(jī)丟棄網(wǎng)絡(luò)分支，防止過擬合，得到注意力跳躍模塊的輸出特征fout；

9、步驟六、將注意力跳躍模塊的輸出特征fout與更深層注意力跳躍模塊的輸出特征進(jìn)行融合，完成三維場景點(diǎn)云分割的增強(qiáng)。

10、進(jìn)一步地，步驟二中的查詢矩陣q、密鑰矩陣k和值矩陣v分別為：

11、q＝fin·wq+δin?(4-1)

12、k＝fglb·wk+δglb?(1-5)

13、v＝fglb·wv+δglb?(1-6)

14、其中，wq、wk、wv均為可共享學(xué)習(xí)的線性變換，no為原始數(shù)據(jù)的點(diǎn)數(shù)，ni為從原始數(shù)據(jù)下采樣到當(dāng)前尺度下的點(diǎn)云點(diǎn)數(shù)，do為原始數(shù)據(jù)的特征維度，查詢向量的維度為da，關(guān)鍵詞向量和值向量的維度均為di，δ表示位置嵌入，通過對相應(yīng)輸入點(diǎn)的坐標(biāo)進(jìn)行非線性變換獲得，δin為輸入點(diǎn)的位置嵌入，δglb為全局點(diǎn)的位置嵌入。

15、進(jìn)一步地，步驟三中的注意力權(quán)重矩陣a具體為：

16、

17、其中，kt為關(guān)鍵詞矩陣k的轉(zhuǎn)置，為縮放因子，softmax()為行歸一化矩陣函數(shù)。

18、進(jìn)一步地，步驟四中的注意力層的輸出特征fattn具體為：

19、fattn＝a·v?(2-2)

20、進(jìn)一步地，步驟五中的注意力跳躍模塊的輸出特征fout具體為:

21、fout＝lbr(fattn)+fin?(2-3)

22、其中，lbr()表示線性變換、批量歸一化及relu函數(shù)。

23、進(jìn)一步地，步驟六能夠采用如下過程替換：基于查詢矩陣q、密鑰矩陣k、值矩陣v、注意力權(quán)重矩陣a、注意力層的輸出特征fattn以及注意力跳躍模塊的輸出特征fout，得到經(jīng)低秩分解壓縮后的注意力跳躍模塊的輸出特征矩陣，再將經(jīng)低秩分解壓縮后的注意力跳躍模塊的輸出特征矩陣與更深層經(jīng)低秩分解壓縮后的注意力跳躍模塊的輸出特征矩陣進(jìn)行融合，完成三維場景點(diǎn)云分割的增強(qiáng)。

24、進(jìn)一步地，步驟六中，得到經(jīng)低秩分解壓縮后的注意力跳躍模塊的輸出特征矩陣，具體包括以下步驟：

25、整合上述表達(dá)式(1-1)、(1-2)、(1-3)、(2-1)、(2-2)及(2-3)，得到算子ga，具體為：

26、

27、其中，fl為被查詢點(diǎn)云，fr為查詢點(diǎn)云，為右乘的特征維度變換矩，表示算子ga需要在點(diǎn)數(shù)大小為nl和nr的兩個點(diǎn)云之間做注意力計(jì)算，為查詢點(diǎn)云左乘因子矩陣；

28、調(diào)用算子ga，得到注意力跳躍模塊的輸出特征矩陣，具體為：

29、

30、其中，代表其對應(yīng)的ga算子需要完成從ni到n0個點(diǎn)的注意力計(jì)算；fi為下采樣的特征矩陣，ni和ci分別為從原始數(shù)據(jù)下采樣到當(dāng)前尺度下的點(diǎn)云點(diǎn)數(shù)和特征維度；全局點(diǎn)的特征no和co分別為原始數(shù)據(jù)的點(diǎn)數(shù)和特征維度；為大小為ni×n0的得分矩陣，代表fi和fglb之間的點(diǎn)向相似度；為施加在fglb上的線性變換矩陣；

31、對得分矩陣做如下低秩分解：

32、

33、對線性變換矩陣做如下低秩分解：

34、

35、其中，代表fi和ffps之間的點(diǎn)向相似度；代表ffps和fglb之間的點(diǎn)向相似度；為使用低秩分解方法后施加在fglb上的線性變換矩陣；為使用低秩分解方法后施加在ffps上的線性變換矩陣；ffps為全局代表點(diǎn)云，其點(diǎn)數(shù)nfps對應(yīng)公式(5)、(6)中低秩分解的秩，并且nfps<<min{ni，no}；

36、將低秩分解后的得分矩陣公式(5)和低秩分解后的線性變換矩陣公式(6)代入注意力跳躍模塊的輸出特征矩陣(4)，得到經(jīng)低秩分解壓縮后的注意力跳躍模塊的輸出特征矩陣，具體為：

37、

38、一種電子設(shè)備，包括：存儲器，處理器；

39、存儲器，用于存儲計(jì)算機(jī)程序；

40、處理器，用于執(zhí)行計(jì)算機(jī)程序以實(shí)現(xiàn)如上述上述三維場景點(diǎn)云分割增強(qiáng)方法的步驟。

41、一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)執(zhí)行指令，計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時用于實(shí)現(xiàn)上述三維場景點(diǎn)云分割增強(qiáng)方法的步驟。

42、一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，當(dāng)計(jì)算機(jī)程序代碼被計(jì)算設(shè)備執(zhí)行時，計(jì)算設(shè)備執(zhí)行上述三維場景點(diǎn)云分割增強(qiáng)方法的步驟。

43、與現(xiàn)有技術(shù)相比，本發(fā)明的積極進(jìn)步效果在于：本發(fā)明提供的三維場景點(diǎn)云分割增強(qiáng)方法，基于注意力機(jī)制的方法，通過設(shè)計(jì)良好的注意力跳躍模塊，有效納入全局信息，提升分割精度，有效解決了現(xiàn)有基于u-net框架的三維點(diǎn)云分割方法中跳躍連接處理簡單、無法全面捕捉點(diǎn)云數(shù)據(jù)中細(xì)粒度紋理信息的問題；同時，基于低秩注意力分解的模型壓縮方法，引入低秩全局注意力跳躍模塊，用于減輕處理由于注意力跳躍模塊的計(jì)算密集性，在處理復(fù)雜點(diǎn)云場景時帶來的計(jì)算負(fù)擔(dān)，提高模型效率。

44、本發(fā)明提供的三維場景點(diǎn)云分割增強(qiáng)設(shè)備可以插入現(xiàn)有的u-net框架，替代傳統(tǒng)的“跳躍連接模塊”，通過注意力跳躍模塊可以輕松地將全局特征與來自編碼器和解碼器的局部和非局部特征融合在一起，從而獲得更好的點(diǎn)云表示。并且，對原始跳躍連接的替換是無縫的，無需任何額外的工作。