本申請屬于遙感圖像處理，更具體地，涉及一種基于多模態(tài)圖像特征融合的超分辨率重建方法及系統(tǒng)。

背景技術(shù)：

1、圖像超分辨率重構(gòu)作為數(shù)字圖像處理中的一項重要任務，在醫(yī)學圖像、遙感成像、視頻監(jiān)控和圖像修復等領域具有廣泛應用，其目的是在盡可能地保留圖像紋理細節(jié)的情況下提高圖像的分辨率。近年來隨著深度學習技術(shù)的快速發(fā)展，基于深度學習的圖像超分辨率重構(gòu)算法取得了重大的突破，基于深度學習的圖像超分辨率重構(gòu)已經(jīng)成為該領域的主流方法，然而，該領域仍存在一些問題有待探究。一方面，現(xiàn)有的基于深度學習的圖像超分辨率重建方法大多只針對單個模態(tài)的圖像進行重構(gòu)，可用信息有限，對于紋理信息相近目標的重建效果不好；另一方面，深層特征的高效提取和充分利用也是影響圖像重建質(zhì)量的重要因素。因此，現(xiàn)有技術(shù)還需進一步改進和發(fā)展。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的缺陷，本申請的目的在于提供一種基于多模態(tài)圖像特征融合的超分辨率重建方法及系統(tǒng)，旨在解決紋理信息相近的目標圖像的超分辨率重建效果不佳且深層特征利用不充分的問題。

2、為實現(xiàn)上述目的，第一方面，本申請?zhí)峁┝艘环N基于多模態(tài)圖像特征融合的超分辨率重建方法，包括以下步驟：

3、步驟一：將多光譜圖像和紅外圖像分別放大到超分辨率圖像的尺度；

4、步驟二：將變換尺度后的多光譜圖像和紅外圖像輸入到偽暹羅特征提取網(wǎng)絡，分別得到多光譜圖像的淺層特征和紅外圖像的淺層特征；其中，淺層特征用于表征紋理結(jié)構(gòu)信息；

5、步驟三：將多光譜圖像的淺層特征和紅外圖像的淺層特征疊加得到一個總的淺層特征；

6、步驟四：將步驟二得到的多光譜圖像的淺層特征和紅外圖像的淺層特征分別輸入到雙分支全局殘差網(wǎng)絡中，得到多光譜圖像的深層特征和紅外圖像的深層特征；其中，深層特征用于表征抽象本質(zhì)；

7、步驟五：將步驟四獲取的多光譜圖像的深層特征和紅外圖像的深層特征疊加得到一個總的深層特征；

8、步驟六：將總的淺層特征和總的深層特征輸入到特征融合網(wǎng)絡，得到多光譜與紅外圖像的融合特征；其中，融合特征同時具有紋理結(jié)構(gòu)信息和抽象本質(zhì)信息；

9、步驟七：將步驟六獲取的融合特征輸入到圖像重建網(wǎng)絡，獲取超分辨率的圖像。

10、進一步優(yōu)選地，步驟四中雙分支全局殘差網(wǎng)絡為網(wǎng)絡結(jié)構(gòu)相同但權(quán)值不共享的雙分支網(wǎng)絡，單支網(wǎng)絡由多個殘差塊組成；殘差塊均具有一個跳躍連接。

11、進一步優(yōu)選地，殘差塊的運算方法為：將輸入的多光譜圖像的淺層特征或紅外圖像的淺層特征經(jīng)過一次卷積和批標準化，再使用prelu函數(shù)進行激活，再次進行一次卷積和批標準化后將結(jié)果與輸入進行逐元素求和。

12、進一步優(yōu)選地，步驟六中特征融合網(wǎng)絡的融合過程為：

13、r＝fhigh-flow

14、f＝c3×3[c1×1(r)]+fhigh

15、其中，c3×3表示3*3卷積；c1×1表示1*1卷積；r表示一個源中存在而另一個源中不存在的信息；fhigj表示總的深層特征；flow表示總的淺層特征。

16、進一步優(yōu)選地，偽暹羅特征提取網(wǎng)絡是雙分支并且具有相同結(jié)構(gòu)的獨立卷積流。

17、第二方面，本申請?zhí)峁┝艘环N多模態(tài)圖像特征融合的超分辨率重建系統(tǒng)，包括：

18、尺度變換模塊，用于將多光譜圖像和紅外圖像分別放大到超分辨率圖像的尺度；

19、淺層特征提取模塊，用于將變換尺度后的多光譜圖像和紅外圖像輸入到偽暹羅特征提取網(wǎng)絡，分別得到多光譜圖像的淺層特征和紅外圖像的淺層特征；其中，淺層特征用于表征紋理結(jié)構(gòu)信息；

20、第一特征疊加模塊，用于將多光譜圖像的淺層特征和紅外圖像的淺層特征疊加得到一個總的淺層特征；

21、深層特征提取模塊，用于將多光譜圖像的淺層特征和紅外圖像的淺層特征分別輸入到雙分支全局殘差網(wǎng)絡中，得到多光譜圖像的深層特征和紅外圖像的深層特征；其中，深層特征用于表征抽象本質(zhì)；

22、第二特征疊加模塊，用于將多光譜圖像的深層特征和紅外圖像的深層特征疊加得到一個總的深層特征；

23、特征融合模塊，用于將總的淺層特征和總的深層特征進行融合，得到同時具有紋理結(jié)構(gòu)信息和抽象本質(zhì)信息的融合特征；

24、重建模塊，用于將融合特征輸入圖像重建網(wǎng)絡，獲得超分辨率圖像。

25、進一步優(yōu)選地，深層特征提取模塊中雙分支全局殘差網(wǎng)絡為網(wǎng)絡結(jié)構(gòu)相同但權(quán)值不共享的雙分支網(wǎng)絡，單支網(wǎng)絡由多個殘差塊組成；殘差塊均具有一個跳躍連接。

26、進一步優(yōu)選地，殘差塊結(jié)構(gòu)從輸入到輸出依次為第一卷積層、第一批標準化層、激活函數(shù)、第二卷積層和第二批標準化層。

27、進一步優(yōu)選地，特征融合模塊中特征融合網(wǎng)絡的融合方法為：

28、r＝fjigh-flow

29、f＝c3×3[c1×1(r)]+fhigh

30、其中，c3×3表示3*3卷積；c1×1表示1*1卷積；r表示一個源中存在而另一個源中不存在的信息；fhigh表示總的深層特征；flow表示總的淺層特征。

31、進一步優(yōu)選地，淺層特征提取模塊中偽暹羅特征提取網(wǎng)絡是雙分支并且具有相同結(jié)構(gòu)的獨立卷積流。

32、第三方面，本申請?zhí)峁┮环N電子設備，包括：至少一個存儲器，用于存儲程序；至少一個處理器，用于執(zhí)行存儲器存儲的程序，當存儲器存儲的程序被執(zhí)行時，處理器用于執(zhí)行第一方面或第一方面的進一步優(yōu)選地實現(xiàn)方式所描述的方法。

33、第四方面，本申請?zhí)峁┮环N計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序，當計算機程序在處理器上運行時，使得處理器執(zhí)行第一方面或第一方面的進一步優(yōu)選地實現(xiàn)方式所描述的方法。

34、第五方面，本申請?zhí)峁┮环N計算機程序產(chǎn)品，當計算機程序產(chǎn)品在處理器上運行時，使得處理器執(zhí)行第一方面或第一方面的進一步優(yōu)選地實現(xiàn)方式所描述的方法。

35、可以理解的是，上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。

36、總體而言，通過本申請所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下有益效果：

37、本申請?zhí)峁┝艘环N基于多模態(tài)圖像特征融合的超分辨率重建方法，通過引入紅外特征信息解決紋理信息相近目標圖像重建質(zhì)量差的問題；其次，采用雙分支全局殘差網(wǎng)絡高效提取圖像的深層特征。此外，采用特征融合網(wǎng)絡充分利用圖像的淺層特征和深層特征，使得獲取的超分辨率圖像質(zhì)量優(yōu)于其他重建方法。

技術(shù)特征：

1.一種多模態(tài)圖像特征融合的超分辨率重建方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的超分辨率重建方法，其特征在于，步驟四中雙分支全局殘差網(wǎng)絡為網(wǎng)絡結(jié)構(gòu)相同但權(quán)值不共享的雙分支網(wǎng)絡，單支網(wǎng)絡由多個殘差塊組成；殘差塊均具有一個跳躍連接。

3.根據(jù)權(quán)利要求2所述的超分辨率重建方法，其特征在于，殘差塊的運算方法為：將輸入的多光譜圖像的淺層特征或紅外圖像的淺層特征經(jīng)過一次卷積和批標準化，再使用prelu函數(shù)進行激活，再次進行一次卷積和批標準化后將結(jié)果與輸入進行逐元素求和。

4.根據(jù)權(quán)利要求1至3任一所述的超分辨率重建方法，其特征在于，步驟六中特征融合網(wǎng)絡的融合方法為：

5.根據(jù)權(quán)利要求1所述的超分辨率重建方法，其特征在于，偽暹羅特征提取網(wǎng)絡是雙分支并且具有相同結(jié)構(gòu)的獨立卷積流。

6.一種多模態(tài)圖像特征融合的超分辨率重建系統(tǒng)，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的超分辨率重建系統(tǒng)，其特征在于，深層特征提取模塊中雙分支全局殘差網(wǎng)絡為網(wǎng)絡結(jié)構(gòu)相同但權(quán)值不共享的雙分支網(wǎng)絡，單支網(wǎng)絡由多個殘差塊組成；殘差塊均具有一個跳躍連接。

8.根據(jù)權(quán)利要求7所述的超分辨率重建系統(tǒng)，其特征在于，殘差塊結(jié)構(gòu)從輸入到輸出依次為第一卷積層、第一批標準化層、激活函數(shù)、第二卷積層和第二批標準化層。

9.根據(jù)權(quán)利要求6至8任一所述的超分辨率重建系統(tǒng)，其特征在于，特征融合模塊中特征融合網(wǎng)絡的融合方法為：

10.根據(jù)權(quán)利要求6所述的超分辨率重建系統(tǒng)，其特征在于，淺層特征提取模塊中偽暹羅特征提取網(wǎng)絡是雙分支并且具有相同結(jié)構(gòu)的獨立卷積流。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N基于多模態(tài)圖像特征融合的超分辨率重建方法及系統(tǒng)，屬于遙感圖像處理技術(shù)領域，方法為：獲取多光譜圖像和紅外圖像的淺層特征，并疊加得到總的淺層特征；將多光譜圖像和紅外圖像的淺層特征分別輸入到雙分支全局殘差網(wǎng)絡中，得到對應的深層特征，并疊加得到總的深層特征；將總的淺層特征和總的深層特征輸入到特征融合網(wǎng)絡，得到多光譜與紅外圖像的融合特征；將融合特征輸入到圖像重建網(wǎng)絡，獲取超分辨率的圖像。本申請能夠獲取高質(zhì)量的超分辨率圖像。

技術(shù)研發(fā)人員：湯書路,陳曦怡,李明剛
受保護的技術(shù)使用者：中國船舶集團有限公司第七〇九研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2