本發(fā)明涉及多光譜圖像處理，具體涉及一種基于深度學(xué)習(xí)的多光譜圖像局部特征提取方法及系統(tǒng)。

背景技術(shù)：

1、特征點匹配是計算機視覺和圖像處理領(lǐng)域的一個重要研究問題，廣泛應(yīng)用于圖像檢索、3d重建、定位以及slam等任務(wù)中。手工特征匹配主要分為三步：特征點提取，計算主方向，提取描述子。利用特征點鄰域區(qū)域建立與特征點相關(guān)聯(lián)的描述子是特征點匹配的關(guān)鍵問題?；谌斯ぴO(shè)計的特征，一般采用梯度及其變種形式，例如sift、surf、orb等。然而，對于多光譜圖像而言，基于梯度的方法對于多光譜圖像中的非線性輻射扭曲(nonlinearradiation?distortion,nrd)的特征效果不佳。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的局部特征提取技術(shù)逐漸被廣泛應(yīng)用。

2、然而現(xiàn)有的算法在針對多光譜圖像的描述子提取上效果表現(xiàn)不佳，現(xiàn)有方法廣泛使用偽孿生網(wǎng)絡(luò)進(jìn)行多光譜特征提取，需要針對不同種類的多光譜圖像進(jìn)行特意訓(xùn)練，且輸入圖像需要已知圖像光譜分類。

3、現(xiàn)有的多光譜圖像特征提取方法，基于手工特征的描述符如(sift)的抽象能力不足，依賴角點、梯度等特征，然而由于熱紅外成像的熱擴(kuò)散效應(yīng)，梯度平滑和邊緣模糊可能導(dǎo)致熱紅外成像中的特征提取失敗。現(xiàn)有的基于深度學(xué)習(xí)的特征提取方法，如cmmnet(cross-modality?matching?network)[4]等在提取特征圖像時，使用偽孿生網(wǎng)絡(luò)分別提取不同光譜圖像如可將光-遠(yuǎn)紅外圖像對的基礎(chǔ)圖像特征，此種方法需要針對每一種多光譜圖像對進(jìn)行特定訓(xùn)練。在特征提取網(wǎng)絡(luò)訓(xùn)練方面，使用簡單的三元損失函數(shù)訓(xùn)練，效果不佳。

4、現(xiàn)有的多光譜圖像特征提取算法存在的主要技術(shù)問題：基于手工特征的描述符的局限性：如sift等傳統(tǒng)手工特征描述符主要依賴于角點、梯度等低級特征，這些方法的抽象能力不足。特別是在熱紅外成像中，由于熱擴(kuò)散效應(yīng)導(dǎo)致的梯度平滑和邊緣模糊，這些手工特征的提取方法可能會失敗?；谏疃葘W(xué)習(xí)的特征提取方法的特定性：如cmmnet(cross-modality?matching?network)等深度學(xué)習(xí)方法在提取特征時，使用偽孿生網(wǎng)絡(luò)分別處理不同光譜的圖像(例如可見光與遠(yuǎn)紅外圖像對)。這種方法需要對每一種多光譜圖像對進(jìn)行特定的訓(xùn)練，限制了其泛化能力和應(yīng)用范圍。特征提取網(wǎng)絡(luò)訓(xùn)練的效率問題：在訓(xùn)練特征提取網(wǎng)絡(luò)時，僅使用包含錨樣本、正樣本和負(fù)樣本作為訓(xùn)練的三元損失函數(shù)，在訓(xùn)練多光譜特征時，可能造成，錨樣本與正樣本拉近，錨樣本與負(fù)樣本拉遠(yuǎn)的同時，但正樣本和負(fù)樣本之間的距離未拉遠(yuǎn)，甚至拉近，這樣會導(dǎo)致配準(zhǔn)的失敗。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于深度學(xué)習(xí)的多光譜圖像局部特征提取方法及系統(tǒng)，設(shè)計一個根據(jù)特征自適應(yīng)激活神經(jīng)網(wǎng)絡(luò)通道的光譜選擇網(wǎng)絡(luò)，可以同時接受多個來自不同光譜的圖像進(jìn)行訓(xùn)練，設(shè)計包含更多負(fù)樣本的對比損失函數(shù)提取多光譜圖像特征，以解決上述背景技術(shù)中存在的至少一項技術(shù)問題。

2、為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案：

3、第一方面，本發(fā)明提供一種基于深度學(xué)習(xí)的多光譜圖像局部特征提取方法，包括：

4、獲取待處理的一對多光譜圖像；

5、利用光譜選擇網(wǎng)絡(luò)將獲取的一對多光譜圖像提取淺層特征；

6、利用特征提取網(wǎng)絡(luò)對淺層特征進(jìn)行處理，生成圖中的每個像素點的特征向量；其中，在訓(xùn)練階段使用提出的損失函數(shù)訓(xùn)練，在推理階段根據(jù)匹配需要提取描述子；其中，采用最鄰近算法對已有描述子進(jìn)行粗匹配，并使用ransac方法進(jìn)行過濾，得到最終的匹配結(jié)果。

7、進(jìn)一步的，將圖像輸入原始的主干網(wǎng)絡(luò)中，生成一個由輸入圖像決定的自適應(yīng)的門函數(shù)，然后將門函數(shù)對應(yīng)乘積到卷積網(wǎng)絡(luò)的濾波器中，只激活部分網(wǎng)絡(luò)的卷積核以提取圖像的淺層特征。

8、進(jìn)一步的，提取圖像的淺層特征為：

9、

10、其中，表示第，層第i個通道的特征圖輸出，表示第，層的第i個卷積核，表示對網(wǎng)絡(luò)的，層的第i個卷積核是否激活，φ表示非線性激活函數(shù)；如果未激活，則輸出未0，激活，則對特征圖il(x)進(jìn)行卷積操作。

11、進(jìn)一步的，仿照信息熵?fù)p失函數(shù)構(gòu)建訓(xùn)練多光譜局部特征的損失函數(shù)，當(dāng)圖像輸入到神經(jīng)網(wǎng)絡(luò)后，針對原有圖像位置的每個點生成一個長度為128維度的向量。

12、進(jìn)一步的，在訓(xùn)練過程中，利用光譜選擇網(wǎng)絡(luò)生成針對多光譜圖像中每個像素點的長度未128維度的描述子；在引入了更多負(fù)樣本后，損失函數(shù)能夠減少傳統(tǒng)三元組損失函數(shù)帶來的問題，提高多光譜圖像配準(zhǔn)的準(zhǔn)確度。

13、進(jìn)一步的，所述損失函數(shù)l為：

14、

15、其中，n是樣本的總數(shù)，zi代表第i個樣本的特征表示，zi+表示與zi匹配的特征zi-j表示不同圖之間的負(fù)樣本，zi-m表示與zi相同圖片內(nèi)相鄰負(fù)樣本，zi-n表示與zi+相同圖片內(nèi)的相鄰負(fù)樣本，τ、τ2和τ3分別代表異圖負(fù)樣本和同圖負(fù)樣本的溫度值，溫度值的設(shè)置為了使樣本訓(xùn)練后具有更好的區(qū)分度。

16、第二方面，本發(fā)明提供一種基于深度學(xué)習(xí)的多光譜圖像局部特征提取系統(tǒng)，包括：

17、獲取模塊，用于獲取待處理的一對多光譜圖像；

18、提取模塊，用于利用光譜選擇網(wǎng)絡(luò)將獲取的一對多光譜圖像提取淺層特征；

19、處理模塊，用于利用特征提取網(wǎng)絡(luò)對淺層特征進(jìn)行處理，生成圖中的每個像素點的特征向量；其中，在訓(xùn)練階段使用提出的損失函數(shù)訓(xùn)練，在推理階段根據(jù)匹配需要提取描述子；其中，采用最鄰近算法對已有描述子進(jìn)行粗匹配，并使用ransac方法進(jìn)行過濾，得到最終的匹配結(jié)果。

20、第三方面，本發(fā)明提供一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時，實現(xiàn)如第一方面所述的基于深度學(xué)習(xí)的多光譜圖像局部特征提取方法。

21、第四方面，本發(fā)明提供一種計算機設(shè)備，包括存儲器和處理器，所述處理器和所述存儲器相互通信，所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令執(zhí)行如第一方面所述的基于深度學(xué)習(xí)的多光譜圖像局部特征提取方法。

22、第五方面，本發(fā)明提供一種電子設(shè)備，包括：處理器、存儲器以及計算機程序；其中，處理器與存儲器連接，計算機程序被存儲在存儲器中，當(dāng)電子設(shè)備運行時，所述處理器執(zhí)行所述存儲器存儲的計算機程序，以使電子設(shè)備執(zhí)行實現(xiàn)如第一方面所述的基于深度學(xué)習(xí)的多光譜圖像局部特征提取方法的指令。

23、術(shù)語解釋：

24、infonce損失函數(shù)：對比學(xué)習(xí)領(lǐng)域的常見損失函數(shù)。

25、三元損失函數(shù)：在學(xué)習(xí)區(qū)分一個錨點樣本(anchor)與正樣本(positive)之間的距離與錨點樣本與負(fù)樣本(negative)之間的距離。它通過最小化錨點與正樣本之間的距離同時最大化錨點與負(fù)樣本之間的距離，來促進(jìn)模型學(xué)習(xí)到更好的區(qū)分不同類別的特征表示。

26、ransac(random?sample?consensus)：隨機抽樣一致方法，針對匹配的點進(jìn)行過濾。

27、本發(fā)明有益效果：設(shè)計一個根據(jù)特征自適應(yīng)激活神經(jīng)網(wǎng)絡(luò)通道的光譜選擇網(wǎng)絡(luò)，可以同時接受多個來自不同光譜的圖像進(jìn)行訓(xùn)練，同時設(shè)計包含更多負(fù)樣本的對比損失函數(shù)以提取多光譜圖像特征。

28、本發(fā)明附加方面的優(yōu)點，將在下述的描述部分中更加明顯的給出，或通過本發(fā)明的實踐了解到。