本發(fā)明涉及圖像處理，尤其涉及一種基于深度學(xué)習(xí)的多源圖像配準(zhǔn)方法。

背景技術(shù)：

1、圖像配準(zhǔn)是計算機(jī)視覺和圖像處理領(lǐng)域的關(guān)鍵技術(shù)，其目標(biāo)是將不同時間、不同視角或不同傳感器獲取的多幅圖像對齊，使它們在空間上達(dá)到一致。這一過程在醫(yī)學(xué)成像、遙感圖像處理、計算機(jī)圖形學(xué)等領(lǐng)域有著廣泛的應(yīng)用。在醫(yī)學(xué)成像中，圖像配準(zhǔn)可以用于不同模態(tài)的圖像融合，例如將ct圖像與mri圖像對齊，以提供更全面的診斷信息；在遙感圖像處理中，圖像配準(zhǔn)可用于多時相圖像的變化檢測，從而監(jiān)測環(huán)境變化或災(zāi)害評估。

2、近年來，隨著多源圖像融合需求的增加，針對多源圖像的配準(zhǔn)方法得到了廣泛的關(guān)注和發(fā)展。多源圖像融合的目的是將來自不同傳感器的圖像信息進(jìn)行整合，以生成包含更全面信息的圖像，從而增強(qiáng)圖像的解釋力和應(yīng)用價值。在這一過程中，圖像配準(zhǔn)是至關(guān)重要的一步，它決定了融合圖像的質(zhì)量和效果。用傳統(tǒng)的算法(包括基于互信息算法、相位相關(guān)算法、圖像梯度信息算法)解決將面臨嚴(yán)峻挑戰(zhàn)，主要表現(xiàn)在：(1)需要遍歷大量像素值，計算互信息的過程非常耗時，難以滿足實(shí)時配準(zhǔn)的要求；(2)相位相關(guān)法假設(shè)圖像之間是剛性變換，對于存在旋轉(zhuǎn)、縮放等變換的情況效果較差；(3)在多模態(tài)圖像中，梯度特征可能不一致，尤其是紅外圖像和可見光圖像的邊緣響應(yīng)會有很大差異；(4)這些傳統(tǒng)方法雖然在單模態(tài)配準(zhǔn)中表現(xiàn)良好，但在面對多模態(tài)圖像時，通常由于傳感器差異、噪聲干擾、初始對齊誤差等因素，表現(xiàn)不夠魯棒。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)的不足，提供一種基于深度學(xué)習(xí)的多源圖像配準(zhǔn)方法，通過結(jié)合深度學(xué)習(xí)的特征提取和匹配技術(shù)，解決紅外圖像與可見光圖像配準(zhǔn)中的特征匹配不穩(wěn)定、配準(zhǔn)精度不高的問題。

2、為解決上述技術(shù)問題，本發(fā)明所采取的技術(shù)方案是：一種基于深度學(xué)習(xí)的多源圖像配準(zhǔn)方法，包括以下步驟：

3、步驟1：對紅外和可見光圖像分別進(jìn)行圖像預(yù)處理，降低模態(tài)差異，增強(qiáng)圖像特征的一致性；

4、步驟1.1：使用高斯濾波平滑紅外圖像，減小紅外圖像與可見光圖像之間的噪聲；

5、步驟1.2：對濾波后的紅外圖像以及可見光圖像分別進(jìn)行標(biāo)準(zhǔn)化處理，使兩幅圖像的像素值歸一化至相同的范圍，以減少光照強(qiáng)度和傳感器響應(yīng)差異的影響；

6、步驟2：構(gòu)建并訓(xùn)練特征點(diǎn)提取模型，對預(yù)處理后的紅外和可見光圖像分別進(jìn)行特征點(diǎn)及描述符的提?。?/p>

7、所述特征點(diǎn)提取模型對標(biāo)準(zhǔn)化處理后的紅外與可見光圖像分別進(jìn)行特征信息提??；所述特征信息包括特征點(diǎn)和描述符；

8、所述特征點(diǎn)提取模型采用superpoint網(wǎng)絡(luò)，superpoint網(wǎng)絡(luò)對預(yù)處理后的紅外和可見光圖像分別進(jìn)行特征點(diǎn)及描述符的提取；所述superpoint網(wǎng)絡(luò)包括一個共享編碼器和兩個解碼器；兩個解碼器分別為興趣點(diǎn)解碼器和描述符解碼器；在特征點(diǎn)提取過程中，通過對興趣點(diǎn)解碼器進(jìn)行自監(jiān)督訓(xùn)練和微調(diào)處理，進(jìn)一步提升特征點(diǎn)提取模型在紅外與可見光多模態(tài)圖像中的特征點(diǎn)檢測能力；

9、首先將興趣點(diǎn)解碼器作為預(yù)訓(xùn)練模型；接著，在配準(zhǔn)好的紅外與可見光圖像數(shù)據(jù)集中，手動標(biāo)記少量有標(biāo)簽樣本，作為初步訓(xùn)練的監(jiān)督信號；為了充分利用紅外與可見光圖像數(shù)據(jù)集，采用自監(jiān)督學(xué)習(xí)算法，在有標(biāo)簽樣本基礎(chǔ)上，進(jìn)一步對無標(biāo)簽樣本進(jìn)行訓(xùn)練，利用無標(biāo)簽樣本預(yù)測出特征點(diǎn)位置；訓(xùn)練過程中，設(shè)計一個基于紅外與可見光圖像中對應(yīng)位置的特征點(diǎn)一致性的損失函數(shù)，通過最小化兩幅圖像中特征點(diǎn)位置的差異，優(yōu)化特征點(diǎn)檢測結(jié)果；

10、損失函數(shù)定義如下：

11、

12、其中，和分別表示紅外和可見光圖像中對應(yīng)的特征點(diǎn)位置；

13、通過多輪迭代訓(xùn)練，不斷優(yōu)化模型權(quán)重，使特征點(diǎn)提取模型能夠在無標(biāo)簽樣本上更好地預(yù)測特征點(diǎn)；最后，經(jīng)過微調(diào)，優(yōu)化后的權(quán)重被應(yīng)用于紅外與可見光圖像的特征點(diǎn)檢測，顯著提升特征點(diǎn)提取模型在實(shí)際場景中的表現(xiàn)；

14、步驟3：采用特征點(diǎn)匹配模型對步驟2提取的特征點(diǎn)進(jìn)行特征匹配，獲得高精度的匹配點(diǎn)對；

15、所述特征點(diǎn)匹配模型采用lightglue網(wǎng)絡(luò)對特征點(diǎn)進(jìn)行特征匹配，將全局自注意力機(jī)制替換為局部自注意力，在自注意力單元中，每個圖像的特征點(diǎn)只與該圖像中空間上最相似的前k個特征點(diǎn)進(jìn)行交互；

16、在自注意力單元中，每個圖像中的特征點(diǎn)僅從同一圖像中空間上最相似的前k個特征點(diǎn)中獲取信息；通過計算每個點(diǎn)的查詢向量qi和鍵向量ki的線性變換，得到特征點(diǎn)之間的自注意力分?jǐn)?shù)：

17、

18、其中，r(pj-pi)是對點(diǎn)pj與pi間相對位置的旋轉(zhuǎn)編碼，wij是一個權(quán)重系數(shù)，用于表示調(diào)整點(diǎn)i對特征點(diǎn)j的局部相關(guān)性；

19、在交叉注意力單元中，將每個圖像中的點(diǎn)從另一圖像的點(diǎn)獲取信息，只計算鍵向量之間的相似度，得到特征點(diǎn)之間的交叉注意力分?jǐn)?shù)：

20、

21、其中，分別是紅外圖像特征點(diǎn)i與可見光圖像特征點(diǎn)j的鍵向量,是紅外圖像點(diǎn)i和可見光圖像點(diǎn)j的權(quán)重，表示它們之間的局部相似性；

22、經(jīng)過若干層自注意力和交叉注意力單元后，特征點(diǎn)匹配網(wǎng)絡(luò)生成了一組更新后的特征表示；

23、然后通過計算點(diǎn)與點(diǎn)之間的相似性得分來預(yù)測匹配關(guān)系；

24、首先，計算圖像a和圖像b中每對點(diǎn)的相似性得分：

25、

26、其中，sij為圖像a中點(diǎn)和圖像b中點(diǎn)的相似性得分，linear()是帶有偏置項的線性變換；

27、再對每個點(diǎn)賦予一個匹配性得分σi，用來表示該點(diǎn)是否可匹配：

28、σi＝sigmoid(linear(xi))??????(5)

29、該分?jǐn)?shù)表示點(diǎn)i在另一圖像中找到匹配的概率；

30、最終，結(jié)合相似性得分和匹配性得分，生成一個匹配概率矩陣m，表示每對點(diǎn)的匹配概率mij：

31、

32、步驟4：對匹配點(diǎn)對進(jìn)行魯棒的匹配點(diǎn)篩選和配準(zhǔn)優(yōu)化并計算紅外和可見光圖像間的幾何變換矩陣h；

33、采用magsac算法，對匹配點(diǎn)對進(jìn)行魯棒的匹配點(diǎn)篩選和配準(zhǔn)優(yōu)化并計算紅外和可見光圖像間的幾何變換矩陣，具體為：

34、輸入步驟3獲取到的兩幅不同模態(tài)圖像的特征匹配點(diǎn)；設(shè)定最大噪聲尺度σmax為算法所允許的最大噪聲級別；選擇要估計的幾何模型，確定最大迭代次數(shù)n；隨機(jī)從匹配點(diǎn)對中采樣一個子集t，通過采樣子集估計幾何模型θ，并利用最小二乘法擬合該幾何模型，生成初始幾何模型估計；計算每個匹配點(diǎn)對的殘差ri(θ)，殘差ri(θ)反映幾何模型θ對每個點(diǎn)對的擬合誤差；通過對噪聲尺度σ進(jìn)行邊緣化來決定此特征點(diǎn)是否是內(nèi)點(diǎn)，并由此優(yōu)化模型質(zhì)量；使用加權(quán)最小二乘法來進(jìn)行幾何模型的估計；

35、在每次迭代中，根據(jù)當(dāng)前幾何模型的質(zhì)量和內(nèi)點(diǎn)概率來判斷是否繼續(xù)采樣，最終找到最優(yōu)的幾何模型并輸出幾何變換矩陣h；

36、步驟5：通過紅外和可見光圖像間的幾何變換矩陣h，對紅外圖像每個像素點(diǎn)進(jìn)行幾何變換，將其轉(zhuǎn)換到可見光圖像的坐標(biāo)系中得到紅外圖像與可見光圖像最終配準(zhǔn)結(jié)果。

37、采用上述技術(shù)方案所產(chǎn)生的有益效果在于：本發(fā)明提供的一種基于深度學(xué)習(xí)的多源圖像配準(zhǔn)方法，(1)通過深度學(xué)習(xí)自適應(yīng)特征提取和匹配，不依賴于傳統(tǒng)的手工設(shè)計特征，因此在多模態(tài)圖像之間的模態(tài)差異較大時，仍能獲得穩(wěn)定的配準(zhǔn)效果，極大提高了多模態(tài)圖像配準(zhǔn)的魯棒性；(2)通過使用配準(zhǔn)圖像數(shù)據(jù)集訓(xùn)練特征點(diǎn)檢測網(wǎng)絡(luò)，能夠提取高質(zhì)量的特征點(diǎn)，結(jié)合優(yōu)化后的注意力機(jī)制，利用高效的輕量級特征匹配網(wǎng)絡(luò)，準(zhǔn)確找到多模態(tài)圖像間的對應(yīng)點(diǎn)，配準(zhǔn)精度顯著優(yōu)于傳統(tǒng)的基于關(guān)鍵點(diǎn)匹配的方法。同時，使用基于隨機(jī)一致性采樣的魯棒算法對匹配點(diǎn)進(jìn)行篩選與優(yōu)化，進(jìn)一步提升了配準(zhǔn)結(jié)果的準(zhǔn)確性；(3)本發(fā)明的網(wǎng)絡(luò)結(jié)構(gòu)在計算效率上也進(jìn)行了優(yōu)化，特征點(diǎn)檢測與特征匹配的高效流程使得該方法能夠在實(shí)際應(yīng)用中滿足實(shí)時需求，適用于自動駕駛、智能監(jiān)控、無人機(jī)等多模態(tài)圖像融合場景。