本發(fā)明涉及場(chǎng)景點(diǎn)云強(qiáng)度圖像檢索，尤其涉及一種基于動(dòng)態(tài)卷積提取點(diǎn)云特征實(shí)現(xiàn)點(diǎn)云場(chǎng)景檢索的方法。

背景技術(shù)：

1、近年來，三維掃描技術(shù)的興起推動(dòng)了眾多依賴三維點(diǎn)云數(shù)據(jù)的應(yīng)用，例如高精度地圖創(chuàng)建、自動(dòng)駕駛、機(jī)器人導(dǎo)航。除了點(diǎn)云外，點(diǎn)云強(qiáng)度圖是一個(gè)重要的特征，它可以提供關(guān)于每個(gè)點(diǎn)的額外信息，比如反射率、信號(hào)強(qiáng)度等。將點(diǎn)云與其強(qiáng)度圖結(jié)合使用，可以在許多應(yīng)用中增強(qiáng)數(shù)據(jù)的解釋性和可用性。

2、目前，很多激光點(diǎn)云和點(diǎn)云強(qiáng)度圖的分析方法采用神經(jīng)網(wǎng)絡(luò)模型，對(duì)于同一場(chǎng)景而言，從不同的角度采樣能夠獲取不同的點(diǎn)云強(qiáng)度圖像，建圖的神經(jīng)網(wǎng)絡(luò)模型的輸入需要結(jié)合多種角度的點(diǎn)云強(qiáng)度圖像和點(diǎn)云，因此，在訓(xùn)練時(shí)，需要針對(duì)同一場(chǎng)景，采集該場(chǎng)景點(diǎn)云和點(diǎn)云不同視角的場(chǎng)景點(diǎn)云強(qiáng)度圖像，構(gòu)建每個(gè)點(diǎn)云對(duì)應(yīng)多個(gè)視角場(chǎng)景點(diǎn)云強(qiáng)度圖像的數(shù)據(jù)集來訓(xùn)練建圖的神經(jīng)網(wǎng)絡(luò)，這需要根據(jù)激光點(diǎn)云從海量的場(chǎng)景點(diǎn)云強(qiáng)度圖像檢索出相應(yīng)的場(chǎng)景點(diǎn)云強(qiáng)度圖像。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本發(fā)明提供一種基于動(dòng)態(tài)卷積提取點(diǎn)云特征實(shí)現(xiàn)點(diǎn)云場(chǎng)景檢索的方法。

2、第一方面，本發(fā)明提供一種基于動(dòng)態(tài)卷積提取點(diǎn)云特征實(shí)現(xiàn)點(diǎn)云場(chǎng)景檢索的方法，包括：

3、通過基于動(dòng)態(tài)卷積的點(diǎn)云特征編碼網(wǎng)絡(luò)來提取目標(biāo)激光點(diǎn)云的點(diǎn)云特征；其中，構(gòu)建的所述點(diǎn)云特征編碼網(wǎng)絡(luò)包括：用于提取點(diǎn)云局部特征的堆疊的特征旋轉(zhuǎn)層和動(dòng)態(tài)卷積層，動(dòng)態(tài)卷積層采用不同設(shè)定半徑的球掃描激光點(diǎn)云，以獲取不同尺度局域的點(diǎn)云局部特征，最后一個(gè)動(dòng)態(tài)卷積層連接用于聚合點(diǎn)云局部特征的最大池化層，將得到點(diǎn)云全局特征和點(diǎn)云局部特征進(jìn)行特征融合后得到點(diǎn)云特征；

4、通過場(chǎng)景點(diǎn)云強(qiáng)度圖像特征編碼網(wǎng)絡(luò)來提取候選場(chǎng)景點(diǎn)云強(qiáng)度圖像的圖像特征；

5、采用輕量級(jí)的多層感知機(jī)作為投影層，將方位編碼和圖像特征映射成圖像對(duì)比對(duì)象，將方位編碼和點(diǎn)云特征映射成點(diǎn)云對(duì)比對(duì)象；

6、采用輕量級(jí)的多層感知機(jī)作為投影層，將點(diǎn)云特征和圖像特征分別映射成點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象；

7、利用點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象的相似性進(jìn)行對(duì)比學(xué)習(xí)，來匹配目標(biāo)激光點(diǎn)云與場(chǎng)景點(diǎn)云強(qiáng)度圖像。

8、更進(jìn)一步的，動(dòng)態(tài)卷積層的卷積核實(shí)現(xiàn)方式如下：通過設(shè)定半徑的球掃描目標(biāo)激光點(diǎn)云，球以目標(biāo)激光點(diǎn)云中的點(diǎn)為中心，獲取中心點(diǎn)與其全部鄰點(diǎn)之間的位置關(guān)系記作：，為中心點(diǎn)的鄰點(diǎn)總數(shù)；

9、通過預(yù)訓(xùn)練的權(quán)重系數(shù)網(wǎng)絡(luò)分析中心點(diǎn)與其每個(gè)鄰點(diǎn)之間的位置關(guān)系，得到表征該位置關(guān)系與位置關(guān)聯(lián)權(quán)重矩陣集合中全部位置關(guān)聯(lián)權(quán)重矩陣之間關(guān)聯(lián)性的權(quán)重系數(shù)：

10、；

11、其中，表示多層感知機(jī)形成的非線性映射，表示softmax層，表示個(gè)權(quán)重系數(shù)的集合，表示為，為表征中心點(diǎn)與其每個(gè)鄰點(diǎn)之間的位置關(guān)系與位置關(guān)聯(lián)權(quán)重矩陣集合中位置關(guān)聯(lián)權(quán)重矩陣之間關(guān)聯(lián)性的權(quán)重系數(shù)；

12、對(duì)于每個(gè)位置關(guān)系，利用權(quán)重系數(shù)與權(quán)重矩陣的乘積的和來構(gòu)建動(dòng)態(tài)卷積核：

13、；

14、對(duì)于中心點(diǎn)與其全部鄰點(diǎn)之間的位置關(guān)系：，有組，表示為，則得到相應(yīng)的組卷積核，表示為：。

15、更進(jìn)一步的，隨機(jī)初始化生成設(shè)定數(shù)量的位置關(guān)聯(lián)權(quán)重矩陣，，將不同的位置關(guān)聯(lián)權(quán)重矩陣進(jìn)行正則化，得到表征點(diǎn)之間不同位置關(guān)系的位置關(guān)聯(lián)權(quán)重矩陣集合。

16、更進(jìn)一步的，所述權(quán)重系數(shù)網(wǎng)絡(luò)包括多層感知機(jī)，多層感知機(jī)的最后一層全連接網(wǎng)絡(luò)連接softmax層。

17、更進(jìn)一步的，特征旋轉(zhuǎn)層分為兩支，其中一支通過卷積層、歸一化層和激活函數(shù)處理輸入目標(biāo)激光點(diǎn)云數(shù)據(jù)后，通過全連接層將數(shù)據(jù)映射成能夠形成正則化旋轉(zhuǎn)矩陣的9個(gè)數(shù)，將9個(gè)數(shù)轉(zhuǎn)化成正則化的旋轉(zhuǎn)矩陣后，旋轉(zhuǎn)矩陣與另一支的目標(biāo)激光點(diǎn)云數(shù)據(jù)的處理結(jié)果相乘。

18、更進(jìn)一步的，所述場(chǎng)景點(diǎn)云強(qiáng)度圖像特征編碼網(wǎng)絡(luò)采用串聯(lián)的多層級(jí)的具備下采樣層的resnet卷積網(wǎng)絡(luò)來從候選場(chǎng)景點(diǎn)云強(qiáng)度圖像中抽象出多層級(jí)不同尺度的圖像特征，將不同尺度的圖像特征進(jìn)行特征融合融合得到圖像特征。

19、更進(jìn)一步的，所述對(duì)比學(xué)習(xí)利用同一場(chǎng)景的相應(yīng)跨模態(tài)的點(diǎn)云特征和圖像特征作為正對(duì)，利用所有不同場(chǎng)景的點(diǎn)云特征和圖像特征作為負(fù)對(duì)，其中，對(duì)于任意場(chǎng)景，計(jì)算該場(chǎng)景與所有其他場(chǎng)景的圖像特征的余弦相似度，并保留余弦相似度最低的設(shè)定數(shù)量個(gè)其他場(chǎng)景來與該場(chǎng)景組成負(fù)對(duì)；

20、在增強(qiáng)后的點(diǎn)云、場(chǎng)景點(diǎn)云強(qiáng)度圖像的數(shù)據(jù)域中，模型被優(yōu)化為最大化正對(duì)中點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象的余弦相似性，且最小化負(fù)對(duì)中點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象的余弦相似性，以使模型能夠建模能夠區(qū)分正對(duì)和負(fù)對(duì)的有效特征；

21、其中，對(duì)比學(xué)習(xí)過程中的優(yōu)化模型的損失函數(shù)為：

22、；

23、其中，a為目標(biāo)的總數(shù)量，b為負(fù)對(duì)的總數(shù)量，為相似度函數(shù)，為自然對(duì)數(shù)的指數(shù)函數(shù)，為點(diǎn)云對(duì)比對(duì)象，為點(diǎn)云對(duì)比對(duì)象的正對(duì)中的圖像對(duì)比對(duì)象，為點(diǎn)云對(duì)比對(duì)象的負(fù)對(duì)中的圖像對(duì)比對(duì)象，為靈敏度系數(shù)。

24、更進(jìn)一步的，在對(duì)比學(xué)習(xí)過程中，采用數(shù)據(jù)增強(qiáng)處理點(diǎn)云和場(chǎng)景點(diǎn)云強(qiáng)度圖像，數(shù)據(jù)增強(qiáng)的過程如下：應(yīng)用旋轉(zhuǎn)、縮放和隨機(jī)翻轉(zhuǎn)對(duì)點(diǎn)云和場(chǎng)景點(diǎn)云強(qiáng)度圖像進(jìn)行變換得到增強(qiáng)處理后的點(diǎn)云和場(chǎng)景點(diǎn)云強(qiáng)度圖像。

25、第二方面，本發(fā)明提供一種基于動(dòng)態(tài)卷積提取點(diǎn)云特征實(shí)現(xiàn)點(diǎn)云場(chǎng)景檢索裝置，包括：至少一處理單元，通過總線單元將處理單元、存儲(chǔ)單元互聯(lián)，所述存儲(chǔ)單元存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理單元執(zhí)行時(shí)，實(shí)現(xiàn)所述的基于動(dòng)態(tài)卷積提取點(diǎn)云特征實(shí)現(xiàn)點(diǎn)云場(chǎng)景檢索的方法。

26、第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)所述的基于動(dòng)態(tài)卷積提取點(diǎn)云特征實(shí)現(xiàn)點(diǎn)云場(chǎng)景檢索的方法。

27、本發(fā)明實(shí)施例提供的上述技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)：

28、本技術(shù)通過點(diǎn)云特征編碼網(wǎng)絡(luò)提取目標(biāo)激光點(diǎn)云的點(diǎn)云特征；點(diǎn)云特征編碼網(wǎng)絡(luò)包括：用于提取點(diǎn)云局部特征的堆疊的特征旋轉(zhuǎn)層和動(dòng)態(tài)卷積層，最后一個(gè)動(dòng)態(tài)卷積層連接用于聚合點(diǎn)云局部特征的最大池化層，將得到點(diǎn)云全局特征和點(diǎn)云局部特征進(jìn)行特征融合后得到點(diǎn)云特征；得到的卷積核為適應(yīng)位置關(guān)系的動(dòng)態(tài)卷積核，動(dòng)態(tài)卷積核與點(diǎn)云特征圖相乘，能夠更加靈活的建模三維點(diǎn)云的不規(guī)則幾何結(jié)構(gòu)。通過場(chǎng)景點(diǎn)云強(qiáng)度圖像特征編碼網(wǎng)絡(luò)來提取候選場(chǎng)景點(diǎn)云強(qiáng)度圖像的圖像特征；采用輕量級(jí)的多層感知機(jī)作為投影層，將方位編碼和圖像特征映射成圖像對(duì)比對(duì)象，將方位編碼和點(diǎn)云特征映射成點(diǎn)云對(duì)比對(duì)象；利用點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象的相似性進(jìn)行對(duì)比學(xué)習(xí)來匹配目標(biāo)激光點(diǎn)云與場(chǎng)景點(diǎn)云強(qiáng)度圖像。在點(diǎn)云圖像的數(shù)據(jù)域中，模型被優(yōu)化為最大化正對(duì)中點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象的余弦相似性，且最小化負(fù)對(duì)中點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象的余弦相似性，以使模型能夠建模能夠區(qū)分正對(duì)和負(fù)對(duì)的有效特征。在本技術(shù)中待匹配的點(diǎn)云通過點(diǎn)云特征編碼網(wǎng)絡(luò)和投影層配合映射成建模了表征點(diǎn)云中與圖像相關(guān)的變換不變屬性的點(diǎn)云對(duì)比對(duì)象，候選場(chǎng)景點(diǎn)云強(qiáng)度圖像被場(chǎng)景點(diǎn)云強(qiáng)度圖像特征編碼網(wǎng)絡(luò)和投影層配合映射成建模了表征圖像中與點(diǎn)云相關(guān)的變換不變屬性圖像對(duì)比對(duì)象。利用點(diǎn)云對(duì)比對(duì)象和圖像對(duì)比對(duì)象的相似性進(jìn)行對(duì)比學(xué)習(xí)來匹配目標(biāo)激光點(diǎn)云與場(chǎng)景點(diǎn)云強(qiáng)度圖像，有效實(shí)現(xiàn)點(diǎn)云和圖像的匹配。