本技術(shù)屬于圖像處理，尤其涉及一種基于sce-net的目標(biāo)輪廓提取方法、裝置、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)：

1、隨著三維傳感器的不斷發(fā)展，點(diǎn)云數(shù)據(jù)的采集變得越來越容易，而近年來隨著深度學(xué)習(xí)技術(shù)的發(fā)展，尤其是卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像處理領(lǐng)域展示出了極大的優(yōu)勢，使用深度學(xué)習(xí)技術(shù)處理點(diǎn)云數(shù)據(jù)為點(diǎn)云數(shù)據(jù)處理任務(wù)提供了新的解決方案。

2、然而，點(diǎn)云本身具有的無序性、非結(jié)構(gòu)性、密度不一致性和信息不完整性的特點(diǎn)也為使用深度學(xué)習(xí)技術(shù)處理點(diǎn)云數(shù)據(jù)帶來了阻礙。首先是大多現(xiàn)有技術(shù)往往以小規(guī)模點(diǎn)云為處理目標(biāo)，很多處理大規(guī)模點(diǎn)云數(shù)據(jù)的技術(shù)也是需要對點(diǎn)云進(jìn)行切割處理，這可能會造成點(diǎn)云整體信息的丟失；此外，掃描對象的相互遮擋很容易導(dǎo)致信息丟失，也為點(diǎn)云數(shù)據(jù)處理帶來很大的影響；另外，點(diǎn)云數(shù)據(jù)中的噪聲會導(dǎo)致形狀識別等任務(wù)精度的降低，此外，對于同一模型，旋轉(zhuǎn)不同角度仍表示同一對象，但網(wǎng)絡(luò)識別結(jié)果可能會因?yàn)辄c(diǎn)云數(shù)據(jù)的旋轉(zhuǎn)而產(chǎn)生差異。

3、此外，隨著點(diǎn)云數(shù)據(jù)采集技術(shù)的不斷進(jìn)步以及對于基于深度學(xué)習(xí)技術(shù)處理點(diǎn)云數(shù)據(jù)的方法的研究不斷深入，點(diǎn)云數(shù)據(jù)處理相關(guān)的任務(wù)也不斷提出，主要包括三維形狀分類、三維目標(biāo)檢測與跟蹤，、三維點(diǎn)云分割、三維點(diǎn)云配準(zhǔn)、三維重建與6自由度姿態(tài)估計(jì)等。為解決這些任務(wù)，一些深度學(xué)習(xí)技術(shù)將點(diǎn)云數(shù)據(jù)體素化或者轉(zhuǎn)化為二維視圖然后再進(jìn)行分析，然而這類技術(shù)都有一定的局限性，基于體素進(jìn)行點(diǎn)云數(shù)據(jù)分析的深度學(xué)習(xí)技術(shù)其性能往往會被體素的分辨率所限制，基于二維圖像對點(diǎn)云數(shù)據(jù)進(jìn)行分析的方法雖然在完成形狀分類和檢索任務(wù)時(shí)候性能優(yōu)越，但是在面臨復(fù)雜任務(wù)時(shí)仍然有一定的困難，基于特征的深度學(xué)習(xí)技術(shù)會受到手動提取到的特征對于點(diǎn)云數(shù)據(jù)的表示能力的限制。

4、傳統(tǒng)的針對點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)輪廓點(diǎn)識別的方法大多數(shù)基于先驗(yàn)知識，或者基于點(diǎn)云的局部特征，例如協(xié)方差矩陣、曲率、法向量等，這些方法得到的結(jié)果往往是實(shí)際幾何過度簡化的模型，因此傳統(tǒng)的針對點(diǎn)云的三維重建技術(shù)往往針對某一特定類別的數(shù)據(jù)具有較好的效果，但通用性不強(qiáng)，目前點(diǎn)云目標(biāo)輪廓提取的有關(guān)研究仍然聚焦于某一實(shí)體如工業(yè)零件等對象之上，并未以包含多個(gè)物體的某一場景的點(diǎn)云數(shù)據(jù)作為點(diǎn)云目標(biāo)輪廓點(diǎn)提取技術(shù)的研究對象，并且很少有相關(guān)技術(shù)充分將點(diǎn)云目標(biāo)輪廓提取技術(shù)與點(diǎn)云目標(biāo)分割技術(shù)相互結(jié)合，在解決針對場景點(diǎn)云的點(diǎn)云目標(biāo)輪廓提取問題時(shí)具備一定的劣勢。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的，在于提供一種基于sce-net的目標(biāo)輪廓提取方法、裝置、系統(tǒng)及存儲介質(zhì)，針對現(xiàn)有點(diǎn)云目標(biāo)輪廓提取技術(shù)的不足，實(shí)現(xiàn)從場景點(diǎn)云數(shù)據(jù)中提取點(diǎn)云目標(biāo)輪廓的功能。

2、為了達(dá)成上述目的，本技術(shù)的解決方案是：

3、第一方面，本技術(shù)實(shí)施例提供一種基于sce-net的目標(biāo)輪廓提取方法，包括：

4、獲取原始點(diǎn)云數(shù)據(jù)；構(gòu)建sce-net網(wǎng)絡(luò)，sce-net網(wǎng)絡(luò)包括點(diǎn)云目標(biāo)分割模塊和點(diǎn)云目標(biāo)輪廓提取模塊，點(diǎn)云目標(biāo)分割模塊和點(diǎn)云目標(biāo)輪廓提取模塊串聯(lián)連接；

5、其中，點(diǎn)云目標(biāo)分割模塊包括依次連接的第一多層感知機(jī)嵌入層、第一編碼器、第一解碼器和分割分類器；第一編碼器包括n層第一子編碼器，第一解碼器包括n層第一子解碼器；

6、將原始點(diǎn)云數(shù)據(jù)輸入第一多層感知機(jī)嵌入層進(jìn)行處理，得到點(diǎn)云數(shù)據(jù)特征；將點(diǎn)云數(shù)據(jù)特征輸入第一編碼器進(jìn)行處理，得到不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征；

7、將不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征輸入第一解碼器進(jìn)行處理，第一解碼器中的每層第一子解碼器以上一層第一子解碼器輸出的點(diǎn)云數(shù)據(jù)特征和對應(yīng)層級的第一子編碼器輸入的點(diǎn)云數(shù)據(jù)特征作為輸入，得到所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征；將所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征輸入分割分類器進(jìn)行處理，得到不同類別的點(diǎn)云個(gè)體數(shù)據(jù)；

8、點(diǎn)云目標(biāo)輪廓提取模塊包括依次連接的第二多層感知機(jī)嵌入層、第二編碼器、第二解碼器和輪廓分類器；第二編碼器包括n層第二子編碼器，第二解碼器包括n層第二子解碼器；

9、通過第二多層感知機(jī)嵌入層將不同類別的點(diǎn)云個(gè)體數(shù)據(jù)嵌入特征空間，通過第二編碼器和第二解碼器對不同類別的點(diǎn)云個(gè)體數(shù)據(jù)進(jìn)行處理，得到不同類別的點(diǎn)云個(gè)體數(shù)據(jù)中每個(gè)點(diǎn)的復(fù)合點(diǎn)云數(shù)據(jù)特征；

10、通過輪廓分類器將復(fù)合點(diǎn)云數(shù)據(jù)特征對不同類別的點(diǎn)云個(gè)體數(shù)據(jù)中的所有點(diǎn)進(jìn)行二元分類，得到整個(gè)場景的點(diǎn)云目標(biāo)輪廓提取結(jié)果。

11、根據(jù)本技術(shù)實(shí)施例的上述方法，還可以具有以下附加技術(shù)特征：

12、進(jìn)一步的，將原始點(diǎn)云數(shù)據(jù)輸入第一多層感知機(jī)嵌入層進(jìn)行處理，得到點(diǎn)云數(shù)據(jù)特征，包括：

13、在第一多層感知機(jī)嵌入層建立非線性映射，通過第一多層感知機(jī)嵌入層提取原始點(diǎn)云數(shù)據(jù)的特征值，并將原始點(diǎn)云數(shù)據(jù)的特征值映射到特征空間，輸出點(diǎn)云數(shù)據(jù)特征，公式如下所示：

14、γ：rn×m→rn×c

15、其中n表示原始點(diǎn)云數(shù)據(jù)中點(diǎn)的數(shù)目，m表示原始點(diǎn)云數(shù)據(jù)特征的維度，c表示輸入第一編碼器用于點(diǎn)云數(shù)據(jù)特征提取所需要的特征維度。

16、進(jìn)一步的，將點(diǎn)云數(shù)據(jù)特征輸入第一編碼器進(jìn)行處理，得到不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征，包括：

17、在第一編碼器中通過下采樣對點(diǎn)云數(shù)據(jù)特征進(jìn)行處理，第一編碼器包括n層第一子編碼器，每層第一子編碼器輸入的點(diǎn)云數(shù)據(jù)特征維度為c″，每層第一子編碼器輸出的點(diǎn)云數(shù)據(jù)特征維度為2×c″；

18、每層第一子編碼器輸入的點(diǎn)云數(shù)據(jù)規(guī)模為n′，每層第一子編碼器輸出的點(diǎn)云數(shù)據(jù)規(guī)模為n′/s，其中，s表示下采樣過程中的點(diǎn)云數(shù)據(jù)規(guī)?？s小倍率，下采樣完成后通過圖卷積技術(shù)對點(diǎn)云數(shù)據(jù)特征進(jìn)行特征聚合并提取出不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征。

19、進(jìn)一步的，將不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征輸入第一解碼器進(jìn)行處理，第一解碼器中的每層第一子解碼器以上一層第一子解碼器輸出的點(diǎn)云數(shù)據(jù)特征和對應(yīng)層級的第一子編碼器輸入的點(diǎn)云數(shù)據(jù)特征作為輸入，得到所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征，包括：

20、在第一解碼器中通過上采樣對不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征進(jìn)行處理，第一解碼器包括n層第一子解碼器，每層第一子解碼器輸入的點(diǎn)云數(shù)據(jù)特征維度為c″′，每層第一子解碼器輸出的點(diǎn)云數(shù)據(jù)特征的維度為c″′/2；

21、每層第一子解碼器輸入的點(diǎn)云數(shù)據(jù)規(guī)模為n″，每層第一子解碼器輸出的點(diǎn)云數(shù)據(jù)規(guī)模為n″×s，其中s為上采樣過程中的點(diǎn)云數(shù)據(jù)規(guī)模放大倍率，上采樣完成后通過圖卷積技術(shù)對不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征進(jìn)行特征聚合并提取出所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征。

22、進(jìn)一步的，將所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征輸入分割分類器進(jìn)行處理，得到不同類別的點(diǎn)云個(gè)體數(shù)據(jù)，包括：

23、在分割分類器中，預(yù)測所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征中每個(gè)點(diǎn)的語義標(biāo)簽，將語義標(biāo)簽相同的點(diǎn)劃分為同一類別，將語義標(biāo)簽不同的點(diǎn)進(jìn)行分割，得到不同類別的點(diǎn)云個(gè)體數(shù)據(jù)。

24、進(jìn)一步的，點(diǎn)云目標(biāo)輪廓提取模塊的第二子解碼器中，除末層第二子解碼器外，各層第二子解碼器以上一層第二子解碼器輸出的特征和對應(yīng)層級第二子編碼器的輸入點(diǎn)云數(shù)據(jù)特征作為輸入，末層解碼器將點(diǎn)云目標(biāo)分割模塊得到的所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征、對應(yīng)層級第二子編碼器輸入的點(diǎn)云數(shù)據(jù)特征和上一層第二子解碼器輸出的特征相互融合作為輸入，得到不同類別的點(diǎn)云個(gè)體數(shù)據(jù)中每個(gè)點(diǎn)的復(fù)合點(diǎn)云數(shù)據(jù)特征。

25、進(jìn)一步的，在點(diǎn)云目標(biāo)輪廓提取模塊中引入復(fù)合損失函數(shù)，復(fù)合損失函數(shù)包括倒角距離損失函數(shù)和加權(quán)二元分類交叉熵?fù)p失函數(shù)，其中，倒角距離損失函數(shù)公式如下所示：

26、

27、其中，lcd表示倒角距離損失函數(shù)，ng表示實(shí)際點(diǎn)云目標(biāo)的輪廓點(diǎn)數(shù)量，s1表示實(shí)際點(diǎn)云目標(biāo)的輪廓點(diǎn)集合，pi表示s1中第i個(gè)輪廓點(diǎn)的坐標(biāo)，s2表示預(yù)測點(diǎn)云目標(biāo)的輪廓點(diǎn)集合，pj表示s2中第i個(gè)輪廓點(diǎn)的坐標(biāo)，np表示預(yù)測點(diǎn)云目標(biāo)的輪廓點(diǎn)數(shù)量；

28、加權(quán)二元分類交叉熵?fù)p失函數(shù)公式如下所示：

29、

30、其中，lce表示加權(quán)二元分類交叉熵?fù)p失函數(shù)，qi表示點(diǎn)云數(shù)據(jù)中各個(gè)點(diǎn)的輪廓點(diǎn)識別標(biāo)簽的獨(dú)熱編碼，wi表示點(diǎn)云數(shù)據(jù)中第i個(gè)點(diǎn)的損失計(jì)算權(quán)重矩陣，wi＝{1，ng1/np1}，ng1表示實(shí)際點(diǎn)云數(shù)據(jù)中非輪廓點(diǎn)數(shù)目，np1表示實(shí)際點(diǎn)云數(shù)據(jù)中輪廓點(diǎn)數(shù)目，yi表示點(diǎn)云數(shù)據(jù)中第i個(gè)點(diǎn)的計(jì)算結(jié)果集合，

31、復(fù)合損失函數(shù)公式如下所示：

32、l＝αlcd+βlce

33、其中，l表示復(fù)合損失函數(shù)，α和β分別表示lcd和lce的權(quán)重，α+β＝1。

34、第二方面，本技術(shù)實(shí)施例提供一種基于sce-net的目標(biāo)輪廓提取裝置，包括：

35、數(shù)據(jù)獲取模塊，被配置為用于獲取原始點(diǎn)云數(shù)據(jù)；

36、網(wǎng)絡(luò)構(gòu)建模塊，被配置為用于構(gòu)建sce-net網(wǎng)絡(luò)，sce-net網(wǎng)絡(luò)包括點(diǎn)云目標(biāo)分割模塊和點(diǎn)云目標(biāo)輪廓提取模塊，點(diǎn)云目標(biāo)分割模塊和點(diǎn)云目標(biāo)輪廓提取模塊串聯(lián)連接，其中，點(diǎn)云目標(biāo)分割模塊包括依次連接的第一多層感知機(jī)嵌入層、第一編碼器、第一解碼器和分割分類器；第一編碼器包括n層第一子編碼器，第一解碼器包括n層第一子解碼器；點(diǎn)云目標(biāo)輪廓提取模塊包括依次連接的第二多層感知機(jī)嵌入層、第二編碼器、第二解碼器和輪廓分類器；第二編碼器包括n層第二子編碼器，第二解碼器包括n層第二子解碼器；

37、數(shù)據(jù)處理模塊，被配置為用于將原始點(diǎn)云數(shù)據(jù)輸入第一多層感知機(jī)嵌入層進(jìn)行處理，得到點(diǎn)云數(shù)據(jù)特征；將點(diǎn)云數(shù)據(jù)特征輸入第一編碼器進(jìn)行處理，得到不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征；將不同尺度點(diǎn)云數(shù)據(jù)的不同維度點(diǎn)云數(shù)據(jù)特征輸入第一解碼器進(jìn)行處理，第一解碼器中的每層第一子解碼器以上一層第一子解碼器輸出的點(diǎn)云數(shù)據(jù)特征和對應(yīng)層級的第一子編碼器輸入的點(diǎn)云數(shù)據(jù)特征作為輸入，得到所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征；將所有點(diǎn)的點(diǎn)云數(shù)據(jù)特征輸入分割分類器進(jìn)行處理，得到不同類別的點(diǎn)云個(gè)體數(shù)據(jù)；通過第二多層感知機(jī)嵌入層將不同類別的點(diǎn)云個(gè)體數(shù)據(jù)嵌入特征空間，通過第二編碼器和第二解碼器對不同類別的點(diǎn)云個(gè)體數(shù)據(jù)進(jìn)行處理，得到不同類別的點(diǎn)云個(gè)體數(shù)據(jù)中每個(gè)點(diǎn)的復(fù)合點(diǎn)云數(shù)據(jù)特征；通過輪廓分類器將復(fù)合點(diǎn)云數(shù)據(jù)特征對不同類別的點(diǎn)云個(gè)體數(shù)據(jù)中的所有點(diǎn)進(jìn)行二元分類，得到整個(gè)場景的點(diǎn)云目標(biāo)輪廓提取結(jié)果。

38、第三方面，本技術(shù)實(shí)施例提供了一種基于sce-net的目標(biāo)輪廓提取系統(tǒng)，系統(tǒng)包括處理器和存儲器，存儲器中存儲有計(jì)算機(jī)程序，計(jì)算機(jī)程序由處理器加載并執(zhí)行，以實(shí)現(xiàn)如本技術(shù)實(shí)施例第一方面提供的基于sce-net的目標(biāo)輪廓提取方法。

39、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，存儲介質(zhì)中存儲有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，用于實(shí)現(xiàn)如本技術(shù)實(shí)施例第一方面的基于sce-net的目標(biāo)輪廓提取方法。

40、采用本技術(shù)實(shí)施例提供的基于sce-net的目標(biāo)輪廓提取方法，與現(xiàn)有技術(shù)相比，具有如下有益技術(shù)效果：

41、本技術(shù)實(shí)施例通過獲取原始點(diǎn)云數(shù)據(jù)，確保了分析的起點(diǎn)是真實(shí)世界的三維數(shù)據(jù)，為后續(xù)處理提供了豐富的空間信息，適用于多種來源的點(diǎn)云數(shù)據(jù)，如激光掃描、雷達(dá)掃描或三維重建等，增強(qiáng)了方法的通用性和適用性。

42、本技術(shù)實(shí)施例通過構(gòu)建sce-net網(wǎng)絡(luò)，將點(diǎn)云目標(biāo)分割模塊和點(diǎn)云目標(biāo)輪廓提取模塊串聯(lián)連接，實(shí)現(xiàn)了從粗到細(xì)的處理流程，既保證了分割的準(zhǔn)確性，又提升了輪廓提取的精細(xì)度，整個(gè)網(wǎng)絡(luò)可以從原始點(diǎn)云數(shù)據(jù)直接輸出分割和輪廓提取結(jié)果，減少了人工干預(yù)，提高了自動化程度。

43、本技術(shù)實(shí)施例的點(diǎn)云目標(biāo)分割模塊通過第一多層感知機(jī)嵌入層初步提取點(diǎn)云數(shù)據(jù)的全局和局部特征，為后續(xù)處理奠定基礎(chǔ)，通過第一編碼器進(jìn)行多尺度特征提取，通過不同層級的編碼器，捕捉點(diǎn)云數(shù)據(jù)的不同尺度特征，增強(qiáng)了網(wǎng)絡(luò)對不同尺度目標(biāo)的處理能力；通過第一解碼器融合第一編碼器的多尺度特征，有助于恢復(fù)空間信息，提高分割精度；通過分割分類器，基于提取的特征，對點(diǎn)云中的每個(gè)點(diǎn)進(jìn)行類別判定，實(shí)現(xiàn)精確的目標(biāo)分割。

44、本技術(shù)實(shí)施例的點(diǎn)云目標(biāo)輪廓提取模塊通過第二多層感知機(jī)嵌入層將分割后的點(diǎn)云數(shù)據(jù)進(jìn)一步嵌入到更適合輪廓提取的特征空間中，為后續(xù)處理優(yōu)化數(shù)據(jù)表示；通過第二編碼器與第二解碼器進(jìn)行更精細(xì)的編碼-解碼過程，提取并融合不同層級的特征，生成每個(gè)點(diǎn)的復(fù)合點(diǎn)云數(shù)據(jù)特征，進(jìn)一步增強(qiáng)對于輪廓的判定；通過輪廓分類器進(jìn)行二元分類，將復(fù)合點(diǎn)云數(shù)據(jù)特征用于二元分類，判斷每個(gè)點(diǎn)是否屬于目標(biāo)輪廓，從而準(zhǔn)確提取出整個(gè)場景的點(diǎn)云目標(biāo)輪廓。