本發(fā)明涉及一種遙感影像超分辨率重建方法，具體涉及一種基于注意力機制的sentinel-2遙感影像超分辨率重建方法。

背景技術(shù)：

1、遙感衛(wèi)星影像在林業(yè)應用中發(fā)揮著重要作用，它不僅為森林資源的調(diào)查和監(jiān)測提供了高效、精確的技術(shù)手段，還在森林健康評估、碳儲量研究和植被覆蓋度提取等方面發(fā)揮了關(guān)鍵作用。然而，遙感影像的空間分辨率常常受到傳感器技術(shù)、觀測高度和成本等因素的限制，難以滿足許多應用場景的需求。隨著對遙感影像精細化分析需求的增加，提升遙感影像的空間分辨率成為一個重要的研究課題。

2、sentinel-2是歐洲航天局(european?spaceagency,esa)研發(fā)的對地觀測衛(wèi)星，攜帶一枚多光譜成像儀(msi)，由兩顆相同的衛(wèi)星2a和2b組成。sentinel-2遙感影像是遙感影像的一種重要類型，具有多光譜成像能力、高空間分辨率、大范圍覆蓋、免費開放等特點，提供了豐富的光譜信息和精細的地表細節(jié)，可應用于森林損失變化監(jiān)測、葉綠素含量估算等方面。sentinel-2遙感影像共包括13個譜段，具有三種不同的空間分辨率：10m、20m和60m。由于sentinel-2遙感影像中部分波段的空間分辨率較低，僅為20m，這會影響圖像的細節(jié)捕捉和精細化分析，限制了其在某些應用中的有效性。因此，提高這些波段的空間分辨率具有重要意義。

3、圖像超分辨率(superresolution，sr)是一項備受關(guān)注的計算機視覺任務，旨在將低分辨率(low?resolution，lr)圖像轉(zhuǎn)換為細節(jié)更加豐富、視覺質(zhì)量更高的高分辨率(highresolution，hr)圖像。隨著深度學習技術(shù)的不斷發(fā)展，使用深度學習技術(shù)實現(xiàn)圖像超分辨率取得了顯著進展，很多基于卷積神經(jīng)網(wǎng)絡的超分辨率重建方法被廣泛應用并取得了顯著性效果。

4、近年來基于學習的方法備受關(guān)注，2010年，yang等人首次將稀疏表示用在了超分辨率重建領(lǐng)域，該算法結(jié)合稀疏編碼理論，分別構(gòu)建高低分辨率的圖像字典，通過學習字典之間的映射關(guān)系重構(gòu)出高分辨率圖像。隨著深度學習技術(shù)的不斷發(fā)展，很多基于卷積神經(jīng)網(wǎng)絡的超分辨率重建方法被廣泛應用并取得了顯著性效果。srcnn首次將卷積神經(jīng)網(wǎng)絡應用于圖像超分任務，采用三層卷積結(jié)構(gòu)將低分辨率的特征映射為高分辨率特征，使得最終重建的高分辨率圖像具有較高質(zhì)量。為了學習遙感圖像的多層次表征，包括局部細節(jié)和全局環(huán)境先驗，lei等設計了一種“分支”結(jié)構(gòu)的網(wǎng)絡(local-global?combined?network，lgcnet)，來學習遙感圖像的多尺度表示。ledig等人首次將gan應用于圖像sr領(lǐng)域中，提出了srgan網(wǎng)絡模型，將感知損失和對抗損失進行組合，通過生成對抗的方式訓練網(wǎng)絡?？紤]到sentinel-2衛(wèi)星同時擁有高分辨率和低分辨率波段圖像，因此可結(jié)合遙感圖像融合的思想來提高sentinel-2影像的分辨率。全色銳化作為多源遙感圖像融合的重要技術(shù)之一，通過將低空間分辨率的多光譜圖像與高空間分辨率的單波段全色圖像融合，從而實現(xiàn)生成高空間分辨率的多光譜圖像的目標。在一項比較研究中，vaiopoulos和karantzalos評估了21種全色銳化算法，以增強sentinel-2的20m可見光和近紅外(vnir)以及短波紅外(swir)波段。palsson等人提出了一種融合精細空間分辨率波段和粗略空間分辨率波段的方法，以獲得粗略波段的更精細空間分辨率。

5、無論是卷積神經(jīng)網(wǎng)絡(cnn)還是其他算法，都存在一定局限性。稀疏表示方法在對高分辨遙感圖像進行退化處理的過程中會丟失很多的信息。基于卷積神經(jīng)網(wǎng)絡的方法層數(shù)較少，不能很好的擬合遙感影像中高低分辨率之間的關(guān)系。srgan網(wǎng)絡模型通過生成對抗的方式訓練網(wǎng)絡，但該方法的psnr和ssim等客觀評價指標相對較低。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于注意力機制的sentinel-2遙感影像超分辨率重建方法，該方法在遙感影像超分辨率過程中，結(jié)合sentinel-2衛(wèi)星影像的特點進行網(wǎng)絡設計，從而提升遙感影像分辨率。

2、本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

3、一種基于注意力機制的sentinel-2遙感影像超分辨率重建方法，包括如下步驟：

4、步驟一、獲取sentinel-2遙感影像數(shù)據(jù)集，根據(jù)空間分辨率的不同，將sentinel-2遙感影像波段分為三類：10m、20m和60m，對于每一個波段，只擁有唯一的空間分辨率；

5、步驟二、對sentinel-2遙感影像數(shù)據(jù)進行預處理，將原始空間分辨率為10m和20m的波段分別下采樣兩倍，將原始分辨率為20m波段的衛(wèi)星圖像作為地面真實數(shù)據(jù)參考，過程如下式所示：

6、x10↓2→x'10

7、x20↓2→x'20

8、t(x'10,x'20)→y20

9、其中，x10表示原始10m波段圖像，x20表示原始20m波段圖像，↓2表示下采樣兩倍，x’10表示下采樣后的10m波段圖像，x’20表示下采樣后的20m波段圖像，t(·)表示超分辨率架構(gòu)，y20表示超分后的20m波段圖像；

10、步驟三、將預處理后sentinel-2遙感影像數(shù)據(jù)隨機劃分為訓練集和測試集；

11、步驟四、搭建基于注意力機制的sentinel-2遙感影像超分辨率方法的深度學習模型結(jié)構(gòu)：

12、所述基于注意力機制的sentinel-2遙感影像超分辨率方法的深度學習模型由空間特征提取分支、通道特征提取分支和主干組成，其中：

13、所述空間特征提取分支通過使用空間注意力機制提取ya包含的空間信息，ya為原始10m波段圖像經(jīng)過下采樣兩倍后得到的高分辨率圖像；

14、所述通道特征提取分支通過使用通道注意力機制提取y’b包含的通道信息，yb為原始20m波段圖像經(jīng)過下采樣兩倍后得到的低分辨率圖像，使用雙線性插值上采樣兩倍將其變?yōu)榕cya具有相同空間維度的圖像y’b；

15、所述空間特征提取分支和通道特征提取分支提取到的特征通過主干進行融合后，使用卷積和殘差縮放機制再次進行特征提取，最后通過殘差結(jié)構(gòu)獲得最終結(jié)果；

16、所述空間注意力機制將高分辨率輸入進行全局平均池化和全局最大池化，得到有效的特征描述符，之后按照通道維度將其進行級聯(lián)后送入一個標準卷積層，經(jīng)過sigmoid函數(shù)得到空間注意力圖，最后將原始輸入與空間注意力圖進行相乘，重新縮放原始輸入；

17、所述空間注意力圖的計算表示為：

18、gavg＝avgpool(g)

19、gmax＝maxpool(g)

20、gs＝σ(ω(gavg+gmax))

21、其中，g為輸入特征圖，gavg為經(jīng)過全局平均池化后的特征圖，gmax為經(jīng)過全局最大池化后的特征圖：g∈rc×h×w，gavg∈r1×h×w，gmax∈r1×h×w，ω表示濾波器尺寸為3×3的卷積運算，σ表示sigmoid函數(shù)，c、h、w分別代表使用的遙感影像的波段數(shù)、長和寬；

22、所述通道注意力機制通過使用全局平均池化將通道方向的全局空間信息轉(zhuǎn)化為通道特征描述符，再經(jīng)過一個卷積激活層得到每一個通道的權(quán)重系數(shù)，將權(quán)重系數(shù)和原來的特征相乘得到縮放后的通道注意力圖，實現(xiàn)對不同通道的特征重新進行加權(quán)分配，最后使用殘差，將原始輸入和提取到的通道注意力圖進行相加；

23、所述通道注意力圖的計算表示為：

24、fc＝fc-1+r(f)·f

25、

26、其中，fc-1和f是整個大殘差塊的輸入和輸出，favg指經(jīng)過全局平均池化后的特征圖，r(·)表示通道注意力，ω1表示濾波器尺寸為3×3的卷積運算，ω2表示濾波器尺寸為1×1的卷積運算，表示relu激活函數(shù)，σ表示sigmoid函數(shù)；

27、步驟五、使用訓練集對搭建好的模型進行訓練；

28、步驟六、使用訓練好的模型對測試集進行測試，得到sentinel-2遙感影像超分圖像。

29、相比于現(xiàn)有技術(shù)，本發(fā)明具有如下優(yōu)點：

30、1、空間信息與光譜信息的充分利用：傳統(tǒng)方法通常只注重空間分辨率的提升，可能忽略了光譜信息的有效利用。本發(fā)明通過空間注意力機制提取高分辨率圖像中的空間特征信息，利用通道注意力機制提取低分辨率圖像中的光譜特征信息，能夠同時保留和利用圖像中的空間和光譜信息，提升圖像的整體質(zhì)量。

31、2、多分辨率特征融合：將高分辨率和低分辨率圖像中提取的特征進行融合，并進行二次特征提取，綜合利用不同分辨率圖像的優(yōu)勢，提升了超分辨率重建的效果。

32、3、針對性強：專門針對sentinel-2衛(wèi)星影像的特點進行設計，能夠更好地適應和發(fā)揮該衛(wèi)星影像的優(yōu)勢，提高超分圖像的質(zhì)量。

33、4、超分辨率質(zhì)量：由于本發(fā)明充分利用sentinel-2衛(wèi)星影像特點，分別提取高低分辨率影像信息，因此在遙感影像超分任務中，往往能夠得到質(zhì)量更高的超分影像。

34、5、應用優(yōu)勢：在遙感影像超分辨率中，本發(fā)明能有效提高sentinel-2遙感影像波段的空間分辨率，提高影像數(shù)據(jù)在農(nóng)業(yè)監(jiān)測、環(huán)境保護和城市規(guī)劃等領(lǐng)域的應用精度和可靠性，推動相關(guān)領(lǐng)域的研究和應用發(fā)展。

35、6、本發(fā)明充分利用了sentinel-2衛(wèi)星圖像的特點，并結(jié)合遙感圖像融合思想，提高了超分圖像的質(zhì)量，增強了地表信息的精確性與可靠性，相比傳統(tǒng)的預測方法在空間信息與光譜信息的充分利用、多分辨率特征融合以及提高遙感影像質(zhì)量等方面都有明顯的優(yōu)勢，為后續(xù)sentinel-2衛(wèi)星影像在各個領(lǐng)域的應用提供數(shù)據(jù)支持。