本發(fā)明涉及遙感圖像處理，特別涉及一種基于光譜特征引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)高光譜遙感圖像銳化方法。

背景技術(shù)：

1、遙感圖像技術(shù)廣泛應(yīng)用于資源勘探、地球研究和軍事等多個(gè)領(lǐng)域，同時(shí)隨著這些領(lǐng)域技術(shù)的不斷發(fā)展，對遙感圖像的空間分辨率和光譜分辨率有了更高的要求。然而，由于傳感器的物理限制，通常很難直接獲得高空間分辨率的高光譜圖像。為了克服這一限制，通常的做法是同時(shí)獲取兩種類型的圖像數(shù)據(jù)：一種是具有高光譜分辨率但較低空間分辨率的高光譜圖像，另一種是具有高空間分辨率但單一波段的全色圖像，再通過銳化技術(shù)將二者融合，以生成具有高空間分辨率和高光譜分辨率的遙感圖像。傳統(tǒng)的高光譜圖像全色銳化方法可以分為三個(gè)類別，包括成分替代法、多分辨率分析法以及基于模型優(yōu)化的方法。成分替代法主要包括主成分分析法和施密特正交變換法等一系列基于域變換技術(shù)的銳化方法；多分辨率分析法則以小波變換法及其變種、拉普拉斯金字塔變換法以及基于亮度平滑濾波調(diào)節(jié)算法等為代表；而基于模型優(yōu)化的方法則主要包括基于稀疏表示的方法和貝葉斯算法等。

2、隨著卷積神經(jīng)網(wǎng)絡(luò)在銳化方面取得的顯著進(jìn)展，基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像銳化方法表現(xiàn)出比傳統(tǒng)方法更出色的銳化效果。這些方法利用卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)大特征提取能力，同時(shí)處理高光譜圖像和全色圖像，以提高圖像質(zhì)量。然而在全色圖像和高光譜圖像空間分辨率比較大時(shí)，銳化結(jié)果的光譜失真非常嚴(yán)重。而且現(xiàn)存銳化卷積網(wǎng)絡(luò)很多以整體的銳化效果出發(fā)，通過堆疊更深的卷積層，讓網(wǎng)絡(luò)自發(fā)地關(guān)注高光譜圖像的空譜關(guān)系；但缺乏明確的引導(dǎo)，再加上遙感圖像數(shù)據(jù)集數(shù)據(jù)量少的特點(diǎn)，使得卷積網(wǎng)絡(luò)難以充分學(xué)習(xí)背后的光譜映射關(guān)系，導(dǎo)致現(xiàn)有銳化結(jié)果光譜保真度較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于光譜特征引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)高光譜遙感圖像銳化方法，提高了高空間分辨率高光譜遙感圖像銳化的光譜保真度。

2、第一方面，本發(fā)明提供了一種基于光譜特征引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)高光譜遙感圖像銳化方法，包括：

3、獲取同一區(qū)域的高光譜圖像和全色圖像，并進(jìn)行預(yù)處理；

4、根據(jù)預(yù)處理后的高光譜圖像和全色圖像，構(gòu)建訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；

5、構(gòu)建包括光譜特征提取模塊、特征融合模塊和光譜引導(dǎo)模塊的銳化卷積神經(jīng)網(wǎng)絡(luò)模型；

6、基于所述訓(xùn)練數(shù)據(jù)集對所述銳化卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；將所述測試數(shù)據(jù)集中的高光譜圖像和全色圖像輸入所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，得到高空間分辨率高光譜圖像。

7、可選地，所述預(yù)處理包括：

8、對所述高光譜圖像和所述全色圖像分別進(jìn)行低通濾波處理，得到第一高光譜圖像和第一全色圖像；其中，所述全色圖像和所述高光譜圖像的空間分辨率不同；

9、對所述第一高光譜圖像和所述第一全色圖像進(jìn)行下采樣，得到第二高光譜圖像和第二全色圖像；其中，所述第二全色圖像和所述第一高光譜圖像的空間分辨率相同；

10、采用多項(xiàng)式插值法對所述第二高光譜圖像進(jìn)行上采樣，得到第三高光譜圖像；其中，所述第三高光譜圖像和所述第一高光譜圖像的空間分辨率相同。

11、可選地，所述銳化卷積神經(jīng)網(wǎng)絡(luò)模型還包括：光譜緩沖卷積層、光譜重建卷積層和光譜補(bǔ)償層；

12、所述基于所述訓(xùn)練數(shù)據(jù)集對所述銳化卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：

13、將所述訓(xùn)練數(shù)據(jù)集中的高光譜圖像輸入所述光譜特征提取模塊，輸出光譜特征圖；并將所述訓(xùn)練數(shù)據(jù)集中的高光譜圖像和對應(yīng)該高光譜圖像的全色圖像輸入所述特征融合模塊，輸出融合特征圖；

14、將所述光譜特征圖和所述融合特征圖輸入所述光譜引導(dǎo)模塊，輸出第一特征圖；

15、將所述第一特征圖輸入所述光譜緩沖卷積層中，輸出第二特征圖；

16、將所述第二特征圖輸入所述光譜重建卷積層中，輸出第三特征圖；

17、將所述訓(xùn)練數(shù)據(jù)集中的高光譜圖像和所述第三特征圖輸入所述光譜補(bǔ)償層中，輸出預(yù)測圖像。

18、可選地，所述光譜緩沖卷積層包括64個(gè)感受野為1×1的卷積核；所述光譜重建卷積層包括64個(gè)感受野為1×1的卷積核；所述光譜補(bǔ)償層用于對所述訓(xùn)練數(shù)據(jù)集中的高光譜圖像和所述第三特征圖進(jìn)行逐像素相加處理。

19、可選地，所述光譜特征提取模塊包括三個(gè)串聯(lián)的第一三維卷積層、三個(gè)串聯(lián)的第二三維卷積層、三個(gè)串聯(lián)的第三三維卷積層和聚合卷積層；其中，所述第一三維卷積層的卷積核大小小于所述第二三維卷積層的卷積核大小，且所述第二三維卷積層的卷積核大小小于所述第三三維卷積層的卷積核大小。

20、可選地，所述特征融合模塊包括：卷積核為3×3的第一特征融合卷積層、卷積核為5×5的第二特征融合卷積層、卷積核為7×7的第三特征融合卷積層；

21、所述特征融合模塊用于輸入所述訓(xùn)練數(shù)據(jù)集中的高光譜圖像和對應(yīng)該高光譜圖像的全色圖像，輸出融合特征圖，包括：

22、將該高光譜圖像輸入第一特征融合卷積層，輸出第一融合特征圖；

23、將所述第一融合特征圖和該全色圖像輸入串聯(lián)的兩個(gè)所述第二特征融合卷積層，輸出第二融合特征圖；

24、將所述第二融合特征圖和該全色圖像輸入串聯(lián)的兩個(gè)所述第三特征融合卷積層，輸出第三融合特征圖；

25、將所述第三融合特征圖和該全色圖像輸入所述第一特征融合卷積層，輸出融合特征圖。

26、可選地，所述光譜引導(dǎo)模塊包括：光譜引導(dǎo)卷積層、光譜融合卷積層、光譜引導(dǎo)卷積層、光譜融合卷積層；

27、所述光譜引導(dǎo)模塊用于將該光譜特征圖輸入光譜引導(dǎo)卷積層，輸出第一引導(dǎo)特征圖；將所述第一引導(dǎo)特征圖和所述特征融合模塊輸出的融合特征圖輸入所述光譜融合卷積層后再經(jīng)所述光譜引導(dǎo)卷積層，得到第二引導(dǎo)特征圖；將所述第二引導(dǎo)特征圖和所述融合特征圖輸入所述光譜融合卷積層，輸出第一特征圖。

28、第二方面，本發(fā)明提供了一種基于光譜特征引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)高光譜遙感圖像銳化裝置，包括：

29、預(yù)處理模塊，用于獲取同一區(qū)域的高光譜圖像和全色圖像，并進(jìn)行預(yù)處理；

30、構(gòu)建模塊，用于根據(jù)預(yù)處理后的高光譜圖像和全色圖像，構(gòu)建訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；構(gòu)建包括光譜特征提取模塊、特征融合模塊和光譜引導(dǎo)模塊的銳化卷積神經(jīng)網(wǎng)絡(luò)模型；

31、訓(xùn)練模塊，用于基于所述訓(xùn)練數(shù)據(jù)集對所述銳化卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；將所述測試數(shù)據(jù)集中的高光譜圖像和全色圖像輸入所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，得到高空間分辨率高光譜圖像。

32、第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算設(shè)備，包括存儲器和目標(biāo)處理器，所述存儲器中存儲有計(jì)算機(jī)程序，所述目標(biāo)處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)本說明書任一第一方面所述的方法。

33、第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)中執(zhí)行時(shí)，令計(jì)算機(jī)執(zhí)行本說明書任一第一方面所述的方法。

34、本發(fā)明提供了一種基于光譜特征引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)高光譜遙感圖像銳化方法，該方法首先獲取了同一區(qū)域的高光譜圖像和與之配準(zhǔn)的全色圖像，并進(jìn)行預(yù)處理，然后根據(jù)預(yù)處理后的高光譜圖像和全色圖像對構(gòu)建訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，設(shè)計(jì)包括光譜特征提取模塊、特征融合模塊和光譜引導(dǎo)模塊的銳化卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過訓(xùn)練后得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，此時(shí)將測試數(shù)據(jù)集輸入該目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中，便能得到高空間分辨率高光譜圖像。如此，本發(fā)明設(shè)計(jì)了光譜特征引導(dǎo)的銳化卷積神經(jīng)網(wǎng)絡(luò)，能夠有效提取輸出高光譜圖像的光譜特征，以便根據(jù)光譜特征的矢量性，引導(dǎo)高光譜圖像和全色圖像的融合，提高銳化結(jié)果的光譜保真度，有效地提升整體銳化性能。