本發(fā)明屬于點云數(shù)據(jù)處理，具體涉及一種基于神經(jīng)網(wǎng)絡(luò)的3d語義場景圖構(gòu)建方法。

背景技術(shù)：

1、了解復(fù)雜的3d真實世界環(huán)境對于包括機器人、ar/vr和導(dǎo)航在內(nèi)的各種應(yīng)用至關(guān)重要。在此背景下，三維語義場景圖(3dssg)的預(yù)測得到了廣泛的關(guān)注。其重點在于預(yù)測3d點云環(huán)境中的實例類別，并確定它們的潛在關(guān)系。對于任意的主體-客體實例對，關(guān)系三元組<主體類別，主客體關(guān)系，客體類別>結(jié)構(gòu)化的表征了二者的信息，同時也是構(gòu)成3d語義場景圖的基本元素。

2、傳統(tǒng)的方法主要集中在全局場景處理上，而同時識別這些復(fù)雜場景中的所有實例及其潛在關(guān)系使得其無法進行更精細的細粒度特征提取。其主要的局限性來自三個因素：

3、(1)所使用的3d包圍盒采樣算法獲取的點云子場景粗糙且不均勻，導(dǎo)致用于特征提取的上下文環(huán)境信息不完整；

4、(2)依賴于單尺度點云特征提取，無法提供實例識別所需的細粒度局部模式和實例對關(guān)系預(yù)測所需的大感受野特征；

5、(3)局部上下文信息提取過程中采用的pointnet算法缺乏對復(fù)雜環(huán)境的感知能力。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，實現(xiàn)提升3d語義場景中實例分類預(yù)測效果的目的，本發(fā)明采用如下的技術(shù)方案：

2、一種基于神經(jīng)網(wǎng)絡(luò)的3d語義場景圖構(gòu)建方法，包括如下步驟：

3、步驟1：獲取點云信息，從點云信息的實例場景中剝離出主體實例、客體實例及其上下文環(huán)境點云的子場景；

4、步驟2：構(gòu)建多層次的特征提取骨干神經(jīng)網(wǎng)絡(luò)，進行不同層次的特征提?。煌ㄟ^多局部聚合的點云編碼，先對子場景進行各點的局部上下文特征提取，再對子場景中的各點進行多層次的實例和實例對的特征聚合，尋找并聚合多個包含自身特征點的局部點集中目標(biāo)點的特征，增強各點對周圍鄰域的模式識別能力，實現(xiàn)多局部特征的交互；

5、步驟3：基于多層次的特征提取骨干神經(jīng)網(wǎng)絡(luò)，獲取實例和實例對的語義特征并對其解碼，得到實例類別和主、客體關(guān)系；

6、步驟4：返回步驟1直至遍歷完全局子場景，得到所有關(guān)系三元組，以構(gòu)建完整的3d語義場景圖。

7、進一步地，所述步驟1中，確定主、客體實例對，采用自適應(yīng)包絡(luò)方法，通過最遠點采樣法對實例進行關(guān)鍵點的均勻采樣，提取一系列實例中的關(guān)鍵點集合，采用球形采樣捕獲關(guān)鍵點周邊的上下文點云信息，由于物體的包絡(luò)結(jié)構(gòu)可由有限個球體接近，該算法可以自適應(yīng)的得到實例的周邊環(huán)境；融合主、客體實例的周邊環(huán)境，生成三元組特征提取所需的子場景。從而避免引入與目標(biāo)主體-客體無關(guān)的遠距離點云，同時，盡可能的保留了連續(xù)且重要的實例周邊上下文環(huán)境點云。

8、進一步地，所述子場景生成公式如下：

9、

10、其中，分別表示主、客體實例，f(·)表示最遠點采樣算法，分別表示主、客體關(guān)鍵點，n、n’分別表示主、客體關(guān)鍵點的數(shù)量，b(·)表示球形采樣算法，r表示球形采樣的半徑，分別表示主、客體實例的周邊環(huán)境，表示主、客體實例對的上下文環(huán)境點云的子場景，優(yōu)選的，采樣半徑為1m。

11、進一步地，所述步驟1中進行子場景特征附加，計算子場景點云中各點與主、客體實例的距離，通過前述剝離的子場景點云進行進一步的距離屬性附加，能夠輔助實例間空間關(guān)系的提取；子場景各點距離目標(biāo)實例的距離特征需要經(jīng)過標(biāo)準(zhǔn)化，以優(yōu)化神經(jīng)網(wǎng)絡(luò)的特征提取，計算公式如下：

12、

13、其中，表示子場景s中的第m個點，dist(·)表示點到實例的最近距離，max(·)表示取最大值操作，表示第m個點與主體實例的距離特征，表示第m個點與客體實例的距離特征。

14、進一步地，所述步驟2中，對于子場景中每個點的局部點集，引入位置與距離編碼，提升對主客體實例位置的感知；

15、對于中心點xa的局部鄰域點集引入位置與距離編碼來表征集合內(nèi)任意點xi與中心的相對幾何關(guān)系，編碼的計算過程表示如下：

16、

17、其中，pa表示中心點位置信息，pi表示任意點位置信息，表示中心點與主體實例的距離，表示任意點與主體實例的距離，表示中心點與客體實例的距離，表示任意點與客體實例的距離，cat(·)表示拼接函數(shù)，mlppos(·)表示該編碼的特征映射函數(shù)；

18、將點的原始特征與其對應(yīng)的編碼相加，得到經(jīng)過相對空間特征增強的點特征及對應(yīng)更新后的點集

19、進一步地，所述步驟2中，對于中心點xa的局部鄰域點集采用自注意力算法對對子場景進行各點的局部上下文特征提取，公式如下：

20、

21、其中，q、k和v表示自注意力機制的查詢、鍵和值，wq、wk和wv分別表示q、k和v對應(yīng)的可訓(xùn)練權(quán)重矩陣，t表示矩陣的轉(zhuǎn)置，dk表示鍵的維度，表示尺度因子，表示編碼后的點集特征。

22、進一步地，所述特征聚合，采用k近鄰算法對每個目標(biāo)點搜索其鄰近點集合對于以鄰近點為中心的局部點集中，提取該點集中與采樣點xa有關(guān)的編碼特征表示與采樣點xa有關(guān)的編碼后的點集特征，并行抽取所有鄰近點中的相關(guān)特征，以構(gòu)建多鄰域視角下的采樣點特征集合并在獲得特征集合后，該編碼使用一組共享參數(shù)的mlp(shared?mlp)在特征通道維度進行特征聚合，最終得到聚合后的特征ga，特征聚合的后，屬于實例和實例對的基本幾何屬性也以特征編碼的形式附加于聚合特征，公式如下：

23、

24、其中，s表示子場景，knn(·)表示k近鄰算法函數(shù)，a表示采樣點編號，b、c表示采樣點的鄰近點編號，xk表示第k個鄰近點，ga(·)表示通道層面的特征聚合函數(shù)。

25、進一步地，所述步驟1中進行子場景特征附加，向剝離的子場景中添加主體-客體實例掩膜，以指導(dǎo)關(guān)系三元組中的實例辨別；所述步驟3中，在骨干神經(jīng)網(wǎng)絡(luò)中具有不同分辨率的兩個特定階段，分別通過主體-客體實例掩膜，剝離并聚合子場景中主體、客體實例以及二者實例對的特征，主體、客體實例的特征為其實例掩膜對應(yīng)特征圖的聚合特征，主體-客體實例對的特征為二者特征圖并集的聚合特征。

26、進一步地，所述步驟1中，使用點云語義分割算法對原始點云中的各類別實例進行分割，并采用點云聚類算法進行單個實例的聚類，得到環(huán)境中各實例的掩膜，公式如下：

27、

28、其中，表示環(huán)境中的各個實例，對于每個實例，均分配一個不重復(fù)的實例掩膜{m1,...,mn}，cluster(·)表示聚類算法，seg(·)表示室內(nèi)點云語義分割算法。

29、進一步地，所述步驟3中，為單個實例以及實例對附加表征物體基本幾何屬性的特征編碼，減少因骨干網(wǎng)絡(luò)下采樣導(dǎo)致的基本幾何屬性的丟失；

30、對于單個實例所補充的基本幾何特征，包括物體幾何中心的三維坐標(biāo)g＝(gx,gy,gz)和物體包圍盒的尺寸s＝(sx,sy,sz)，下標(biāo)x、y、z分別表示三維分量；

31、對于實例對所補充的基本幾何特征，包括兩物體的幾何中心差值、包圍盒尺寸差值，以及物體體積v＝sxsysz的差值；

32、對于兩類特征補充，分別采用兩組多層感知機進行編碼，算法公式如下：

33、

34、δrel＝mlprel(cat(gi-gj,si-sj,ln(vi/vj)))

35、其中，mlpins(·)和mlprel(·)分別表示實例編碼函數(shù)和關(guān)系編碼函數(shù)，cat(·)表示特征拼接函數(shù)，表示編碼后的第i個實例特征，δrel表示編碼后的實力對特征，優(yōu)選的，對于物體間體積的差值采用對數(shù)函數(shù)進行處理，以減小數(shù)值范圍，穩(wěn)定網(wǎng)絡(luò)訓(xùn)練；

36、再通過兩組多層感知機mlp對實例特征及實例對特征進行解碼，得到預(yù)測的關(guān)系三元組，模型使用加權(quán)的組合損失作為總損失，優(yōu)選的，對于實例類別的預(yù)測，選用cross-entropy作為損失函數(shù)，對于實例對的關(guān)系預(yù)測，選用binary-cross-entropy作為損失函數(shù)。

37、本發(fā)明的優(yōu)勢和有益效果在于：

38、本發(fā)明的一種基于神經(jīng)網(wǎng)絡(luò)的3d語義場景圖構(gòu)建方法，通過精細全面的子場景構(gòu)建、多尺度針對性的點云特征提取網(wǎng)絡(luò)以及融合多局部點集特征的編碼器，實現(xiàn)高精度的場景圖構(gòu)建，建立了3d場景圖預(yù)測的新范式。實驗表明，本發(fā)明達到了目前3d語義場景圖預(yù)測的最好效果，尤其提升了復(fù)雜場景中的實例分類效果。