本發(fā)明涉及遙感圖像處理領(lǐng)域，特別涉及一種基于空間-光譜調(diào)制條件擴(kuò)散模型的高光譜圖像全色銳化方法。

背景技術(shù)：

1、衛(wèi)星遙感旨在提供地球表面充足和準(zhǔn)確的觀察信息，然后由于衛(wèi)星傳感器的硬件約束，高光譜圖像的空間分辨率受到其光譜分辨率的影響，導(dǎo)致微小的空間紋理和邊界細(xì)節(jié)等信息的丟失。因?yàn)榭紤]到現(xiàn)有大多數(shù)實(shí)際的應(yīng)用需要在高空間分辨率的高光譜圖像的基礎(chǔ)上進(jìn)行，所以需要借助近年備受關(guān)注的高光譜圖像全色銳化方法。將配對(duì)的單波段高空間分辨率的全色圖像與原始觀測(cè)到的低空間分辨率高光譜圖像進(jìn)行融合處理，最后得到理想的高空間分辨率的高光譜圖像。

2、最初的高光譜圖像全色銳化技術(shù)是基于傳統(tǒng)的多光譜圖像銳化方法拓展而來(lái)，其中主要包括三類(lèi)，分別為基于組件替代、基于多分辨率分析和基于變分優(yōu)化。然而這些方法都是采用固定的數(shù)據(jù)先驗(yàn)，其中基于組件替代和多分辨率分析的方法普遍存在光譜和空間的畸變現(xiàn)象，而基于變分優(yōu)化的方法需要花費(fèi)較長(zhǎng)時(shí)間的迭代優(yōu)化過(guò)程。隨著深度學(xué)習(xí)的快速興起，借助神經(jīng)網(wǎng)絡(luò)的強(qiáng)大的特征學(xué)習(xí)能力，基于深度學(xué)習(xí)的全色銳化方法在融合精度和效率方面都要優(yōu)于傳統(tǒng)方法，然而大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的銳化網(wǎng)絡(luò)大多數(shù)使用的是逐像素的均方誤差損失函數(shù)進(jìn)行網(wǎng)絡(luò)參數(shù)的優(yōu)化的，這會(huì)導(dǎo)致最后得到的融合結(jié)果過(guò)于平均，以至于出現(xiàn)模糊效果以及造成不必要的細(xì)節(jié)缺少。

3、近年來(lái)，隨著生成模型在圖像生成領(lǐng)域的迅速發(fā)展，其中去噪擴(kuò)散模型表現(xiàn)最為出色，其通過(guò)迭代學(xué)習(xí)對(duì)后驗(yàn)分布的預(yù)測(cè)過(guò)程，逐漸將一個(gè)高斯分布樣本轉(zhuǎn)移到目標(biāo)生成樣本中。在應(yīng)用到全色銳化過(guò)程中，通過(guò)將全色圖像和高光譜圖像作為條件信息，注入到去噪預(yù)測(cè)網(wǎng)絡(luò)中，引導(dǎo)模型生成理想的高空間分辨率的高光譜圖像。相比于基于生成對(duì)抗模型的全色銳化方法，其很好的緩解了所出現(xiàn)的模型奔潰以及效果保真度不足等問(wèn)題。然而目前大多數(shù)已有的基于擴(kuò)散模型的全色銳化方法，并沒(méi)有更多考慮全色圖像和高光譜圖像兩種不同模態(tài)圖像的特征，將其直接作為條件信息輸入到去噪網(wǎng)絡(luò)中，會(huì)造成光譜和空間信息的混亂，最終導(dǎo)致生成結(jié)果出現(xiàn)局部黑影以及空間細(xì)節(jié)保真度不足等問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)中基于擴(kuò)散模型的全色銳化技術(shù)的不足，本發(fā)明的目的在于提供一種基于空間-光譜調(diào)制條件擴(kuò)散模型的高光譜圖像全色銳化方法。

2、本發(fā)明包含了兩個(gè)過(guò)程，即正向加噪過(guò)程和反向去噪過(guò)程。其中正向加噪過(guò)程，是以馬爾可夫鏈過(guò)程對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行逐步加噪為一個(gè)隨機(jī)正態(tài)分布的采樣高斯噪聲，該過(guò)程也是在為模型訓(xùn)練創(chuàng)建所對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)，以此作為訓(xùn)練噪聲預(yù)測(cè)網(wǎng)絡(luò)的優(yōu)化目標(biāo)。為了能夠更有效地利用好全色和高光譜圖像這兩種不同狀態(tài)的條件信息，我們?cè)谠O(shè)計(jì)噪聲預(yù)測(cè)網(wǎng)絡(luò)中，使用了兩個(gè)結(jié)構(gòu)相似的編碼器分別作為這兩種條件信息的注入網(wǎng)絡(luò)，在將這兩個(gè)編碼器各層級(jí)特征信息同時(shí)連接到相應(yīng)尺度的解碼器層級(jí)，在解碼器中，本方法設(shè)計(jì)了一個(gè)光譜-空間調(diào)制模塊，用于強(qiáng)調(diào)不同條件輸入的重要信息并進(jìn)行融合，以免出現(xiàn)不必要的信息混亂導(dǎo)致最后的生成效果不佳。在反向去噪過(guò)程中，將訓(xùn)練完成的噪聲預(yù)測(cè)網(wǎng)絡(luò)，按照設(shè)定好的時(shí)間步，進(jìn)行迭代去噪生成目標(biāo)輸出。

3、本發(fā)明的目的通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

4、一種基于空間-光譜調(diào)制條件擴(kuò)散模型的高光譜圖像全色銳化方法，包括：

5、獲取數(shù)據(jù)庫(kù)中配對(duì)的高光譜圖像和全色圖像，經(jīng)過(guò)裁剪及數(shù)據(jù)增強(qiáng)處理后得到訓(xùn)練集、驗(yàn)證集和測(cè)試集；

6、對(duì)初始數(shù)據(jù)進(jìn)行加噪操作構(gòu)建預(yù)測(cè)網(wǎng)絡(luò)所需數(shù)據(jù)；

7、構(gòu)建空間-光譜調(diào)制噪聲預(yù)測(cè)網(wǎng)絡(luò)，所述空間-光譜調(diào)制噪聲預(yù)測(cè)網(wǎng)絡(luò)包括時(shí)間步編碼器、兩個(gè)條件編碼器、中間層及解碼器；

8、訓(xùn)練空間-光譜調(diào)制噪聲預(yù)測(cè)網(wǎng)絡(luò)，得到訓(xùn)練好的空間-光譜調(diào)制噪聲預(yù)測(cè)網(wǎng)絡(luò)；

9、使用訓(xùn)練好的空間-光譜調(diào)整噪聲預(yù)測(cè)網(wǎng)絡(luò)，進(jìn)行高光譜圖像全色銳化。

10、進(jìn)一步，將數(shù)據(jù)庫(kù)中的原始高光譜圖像按照設(shè)定的比例進(jìn)行模糊和下采樣得到模擬的低分辨率高光譜圖像，低分辨率高光譜圖像經(jīng)過(guò)雙線性插值和全色圖像相同尺寸，構(gòu)成配對(duì)的大幅圖像對(duì)，按照設(shè)定尺寸進(jìn)行裁剪并通過(guò)翻轉(zhuǎn)和旋轉(zhuǎn)的數(shù)據(jù)增強(qiáng)手段生成指定數(shù)量的訓(xùn)練集、驗(yàn)證集以及測(cè)試集。

11、進(jìn)一步，所述加噪計(jì)算公式具體為：

12、

13、其中，εt表示隨機(jī)采樣的高斯噪聲，xt表示t時(shí)間步對(duì)應(yīng)的噪聲圖像，αi為預(yù)設(shè)好的權(quán)重參數(shù)，其隨時(shí)間步的增加而線性增加，x0表示參考的高分辨率高光譜圖像與插值后的低分辨率高光譜圖像之間的差值，所述參考是指低分辨率高光譜圖像對(duì)應(yīng)的高分辨率高光譜參照?qǐng)D。

14、進(jìn)一步，所述加噪操作具體為：設(shè)置加噪的總時(shí)間步長(zhǎng)t，在區(qū)間0-t中隨機(jī)采樣一個(gè)時(shí)間步t，按照加噪計(jì)算公式得到所述時(shí)間步t時(shí)刻對(duì)應(yīng)的噪聲圖像xt。

15、進(jìn)一步，

16、所述時(shí)間步編碼器，輸入t∈(0,t)的整數(shù)，經(jīng)過(guò)時(shí)間步編碼器得到一維向量，通過(guò)linear線性層嵌入到噪聲預(yù)測(cè)網(wǎng)絡(luò)的各個(gè)層級(jí)中；

17、所述兩個(gè)條件編碼器分別為全色條件注入編碼器和高光譜圖像注入編碼器，全色條件注入編碼器的輸入為噪聲圖像及全色圖像，高光譜圖像注入編碼器的輸入為噪聲圖像及高光譜圖像；

18、所述中間層，兩個(gè)條件編碼器的輸出經(jīng)過(guò)通道維進(jìn)行拼接后輸入中間層，然后進(jìn)行特征融合后輸入解碼器；

19、所述解碼器，包括四個(gè)解碼層及一個(gè)輸出層，解碼層包括一個(gè)空間-光譜調(diào)制模塊、兩個(gè)卷積層和一個(gè)兩倍上采樣層，所述輸出層用于調(diào)整輸出通道及輸出正確的數(shù)據(jù)格式。

20、進(jìn)一步，所述空間-光譜調(diào)制模塊包括一個(gè)光譜增強(qiáng)注意力層及一個(gè)局部空間高頻增強(qiáng)注意力層。

21、進(jìn)一步，所述中間層包括兩層殘差卷積層及一個(gè)全局自注意力層。

22、進(jìn)一步，訓(xùn)練空間-光譜調(diào)制噪聲預(yù)測(cè)網(wǎng)絡(luò)中，每一次更新訓(xùn)練中，從訓(xùn)練集和驗(yàn)證集中選取一個(gè)批次的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行加噪操作得到噪聲及噪聲圖像，將噪聲圖像、時(shí)間步編碼器、全色圖像及高光譜圖像輸入到噪聲預(yù)測(cè)網(wǎng)絡(luò)中，再將噪聲與噪聲預(yù)測(cè)網(wǎng)絡(luò)的輸出進(jìn)行損失計(jì)算，并進(jìn)行通過(guò)反向傳播算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行迭代更新，直到損失值穩(wěn)定收斂。

23、進(jìn)一步，所述使用訓(xùn)練好的空間-光譜調(diào)整噪聲預(yù)測(cè)網(wǎng)絡(luò)，進(jìn)行高光譜圖像全色銳化，具體為：

24、將訓(xùn)練好的噪聲預(yù)測(cè)網(wǎng)絡(luò)，按照設(shè)定的總時(shí)間步長(zhǎng)t，基于馬爾科夫鏈的過(guò)程，從正態(tài)分布中采用一個(gè)隨機(jī)噪聲作為輸入xt，然后在每一次迭代過(guò)程中，輸入當(dāng)前時(shí)間步t編碼以及測(cè)試條件信息[pan,hs]，以及噪聲圖像xt，其中計(jì)算過(guò)程如下，到t＝0結(jié)束生成，得到最后的銳化結(jié)果；

25、

26、其中αt為權(quán)重參數(shù)，z為隨機(jī)高斯噪聲。

27、進(jìn)一步，αi取值為(0.0001，0.02)。

28、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)和有益效果：

29、本發(fā)明提出了一種基于空間-光譜調(diào)制條件擴(kuò)散模型的高光譜全色銳化方法，該方法設(shè)計(jì)了一種空間-光譜調(diào)制噪聲預(yù)測(cè)網(wǎng)絡(luò)，其中使用兩個(gè)結(jié)構(gòu)相同的條件注入編碼器分別接受兩種不同模態(tài)的條件信息，然后將來(lái)自?xún)蓚€(gè)編碼器的信息輸入到一個(gè)空間-光譜調(diào)制模塊，分別對(duì)這兩種不同狀態(tài)的條件信息中的重要特征進(jìn)行強(qiáng)化，在將其融合進(jìn)行解碼得到相應(yīng)的輸出。在擴(kuò)散模型強(qiáng)大的生成過(guò)程中，通過(guò)這個(gè)空間-光譜噪聲預(yù)測(cè)網(wǎng)絡(luò)可以更有效的利用不同模態(tài)的條件信息，以免出現(xiàn)信息混亂，造成最終的銳化結(jié)果出現(xiàn)不利的效果。