本發(fā)明屬于遙感影像處理領(lǐng)域，尤其涉及一種多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法。

背景技術(shù)：

1、我國對(duì)地觀測(cè)遙感衛(wèi)星發(fā)射已進(jìn)入高速增長期，同時(shí)具有高空間、高光譜和高時(shí)間分辨率的遙感影像，在環(huán)境監(jiān)測(cè)、智慧農(nóng)業(yè)、資源調(diào)查等領(lǐng)域發(fā)揮重要作用。然而，受衛(wèi)星傳感器硬件和成像條件的限制，單一遙感系統(tǒng)空間、光譜和時(shí)間分辨率存在固有矛盾，限制了其在復(fù)雜地表環(huán)境下的動(dòng)態(tài)精細(xì)監(jiān)測(cè)潛力。影像融合技術(shù)旨在集成多源遙感數(shù)據(jù)的分辨率互補(bǔ)優(yōu)勢(shì)，生成高空間、高光譜和高時(shí)間分辨率的遙感影像，能夠?yàn)橛^測(cè)應(yīng)用提供精確可靠的數(shù)據(jù)支持。

2、目前，大量的遙感影像融合方法被提出，其中大部分基本可分為三類:空-譜融合，時(shí)-空融合，以及時(shí)-空-譜融合。前兩類方法已經(jīng)進(jìn)行了大量研究，在一定程度上提升了遙感成像質(zhì)量，但是它們僅兼顧空間、時(shí)間和光譜分辨率之間的兩兩融合，各種融合技術(shù)的發(fā)展相對(duì)獨(dú)立，難以滿足多傳感器間互補(bǔ)觀測(cè)的需求。

3、時(shí)-空-譜融合技術(shù)能夠綜合利用多源、多時(shí)相數(shù)據(jù)，生成高時(shí)-空-譜分辨率的遙感影像，主要分為兩類融合方法：分步式的時(shí)-空-譜融合方法和一體化的時(shí)-空-譜融合方法。分步式的時(shí)-空-譜融合方法簡(jiǎn)潔直觀，其核心是執(zhí)行多項(xiàng)獨(dú)立的增強(qiáng)或融合方法，通過分辨率逐次提升，最后實(shí)現(xiàn)空間、時(shí)間和光譜分辨率的全面提升。但是分步式的方法容易在子任務(wù)間誤差累計(jì)，同時(shí)難以得到全局的最優(yōu)解，在框架上仍有很大的改進(jìn)空間。一體化的時(shí)-空-譜融合方法在多源觀測(cè)影像和理想影像間建立完備的映射關(guān)系，同步提升影像的空間、時(shí)間和光譜分辨率，方法更加高效，相較于分布式的方法具有一定優(yōu)勢(shì)，然而，現(xiàn)有的遙感影像時(shí)-空-譜融合方法在解決非線性空間、時(shí)間和光譜保真時(shí)表現(xiàn)不佳，局限于處理季節(jié)性光譜變化，難以應(yīng)用于異質(zhì)地表觀測(cè)信息重建。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是克服現(xiàn)有技術(shù)中的不足，提供一種多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法.

2、這種多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法,包括以下步驟：

3、s1、建立多源多時(shí)相的時(shí)-空-譜融合數(shù)據(jù)集；

4、s2、建立耦合的空-譜聯(lián)合增強(qiáng)任務(wù)和時(shí)間變化預(yù)測(cè)任務(wù)，并對(duì)原始高光譜和多光譜影像進(jìn)行初始融合，得到初始特征；

5、s3、構(gòu)建空間增強(qiáng)單元、誤差校正單元和誤差校正單元，進(jìn)行空-譜聯(lián)合增強(qiáng)任務(wù)，構(gòu)建交替尺度投影模塊，將多光譜信息注入高光譜影像中，空-譜聯(lián)合增強(qiáng)的融合影像；

6、s4、進(jìn)行時(shí)間變化預(yù)測(cè)任務(wù)，構(gòu)建光譜微調(diào)網(wǎng)絡(luò)，將高光譜影像調(diào)制至目標(biāo)時(shí)域內(nèi)，并借助差分影像強(qiáng)化變化區(qū)域感知，重建時(shí)-空-譜的最終融合結(jié)果。

7、作為優(yōu)選，步驟s3包括，s3.1、空間增強(qiáng)單元對(duì)初始特征進(jìn)行上采樣并與多光譜級(jí)聯(lián)，利用通道注意力機(jī)制來模擬光譜特征，再通過加權(quán)向量對(duì)通道特征進(jìn)行增強(qiáng)重構(gòu)合理的光譜信息，通過密集連接進(jìn)行更新，得到細(xì)化的特征；s3.2、誤差校正單元對(duì)細(xì)化特征進(jìn)行重采樣獲得低分辨率的版本和模糊版本，做差生成高頻紋理細(xì)節(jié)，并對(duì)其進(jìn)行下采樣后反饋至原細(xì)化特征圖中，通過密集連接進(jìn)行更新，得到優(yōu)化的融合結(jié)果；s3.3、誤差校正單元得到高分辨率特征，將高分辨率特征作為殘差分量與雙三次插值影像連接，得到空-譜聯(lián)合增強(qiáng)的結(jié)果。

8、作為優(yōu)選，步驟s4中，構(gòu)建帶有殘差塊和卷積塊的注意力模塊的權(quán)重生成器，學(xué)習(xí)目標(biāo)時(shí)相多光譜深層次的低秩光譜信息，再使用全局平均池化層從特征域中抽象出仿射函數(shù)參數(shù)，對(duì)空-譜聯(lián)合增強(qiáng)輸出的高維冗余特征進(jìn)行光譜降維，并在仿射變換后膨脹至原始維度。

9、作為優(yōu)選，步驟s4中，根據(jù)光譜覆蓋情況劃分出重疊區(qū)間和非重疊區(qū)間，在重疊區(qū)間里通過門控對(duì)高互補(bǔ)的光譜信息維度擴(kuò)展，將擴(kuò)展特征投影到非重疊區(qū)間，通過光譜微調(diào)網(wǎng)絡(luò)將高光譜影像調(diào)制至目標(biāo)時(shí)域內(nèi)，與目標(biāo)時(shí)相的多光譜影像進(jìn)行級(jí)聯(lián)，得到空間和光譜信息的初步融合結(jié)果；在初步融合結(jié)果中引入差分影像，加入sigmoid非線性函數(shù)抑制差分影像中的低相關(guān)背景噪聲，得到優(yōu)化后的融合結(jié)果。

10、作為優(yōu)選，步驟s4中，將優(yōu)化融合結(jié)果通過三組密集連接的卷積塊投影到深度特征空間，進(jìn)一步使用卷積塊的注意力模塊細(xì)化空間和光譜信息，并采用大小1×1的卷積層對(duì)光譜通道重構(gòu)，從而得到時(shí)間變化預(yù)測(cè)的融合結(jié)果，時(shí)間變化預(yù)測(cè)的融合結(jié)果即為時(shí)-空-譜的最終融合結(jié)果。

11、作為優(yōu)選，步驟s4后還存在步驟s5，步驟s5具體為，通過加權(quán)損失函數(shù)對(duì)步驟s4中重建的時(shí)-空-譜的最終融合結(jié)果進(jìn)行優(yōu)化。

12、本發(fā)明的有益效果是：

13、1)本發(fā)明構(gòu)建了空-譜聯(lián)合增強(qiáng)任務(wù)和時(shí)間變化預(yù)測(cè)任務(wù)耦合框架，提出了一種雙任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合模型，該模型可克服現(xiàn)有方法難以在時(shí)間變換關(guān)系復(fù)雜的場(chǎng)景下的時(shí)-空-譜融合技術(shù)瓶頸，加強(qiáng)異質(zhì)土地覆蓋下信息的還原能力，滿足復(fù)雜場(chǎng)景下時(shí)間、空間和光譜信息協(xié)同處理需求，生產(chǎn)高時(shí)-空-譜分辨率的遙感影像數(shù)據(jù)。

14、2)本發(fā)明構(gòu)建的雙任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合模型，能夠有效提升時(shí)-空-譜融合在異質(zhì)地表覆蓋的保真度，通過在空-譜聯(lián)合增強(qiáng)任務(wù)中構(gòu)建交替尺度投影模塊，將多光譜信息低損地注入高光譜影像中，生成具有高空間和高光譜分辨率的融合影像；其次，在時(shí)間變化預(yù)測(cè)任務(wù)中構(gòu)建光譜微調(diào)網(wǎng)絡(luò)，調(diào)制高光譜影像至目標(biāo)時(shí)域內(nèi)，并借助差分影像強(qiáng)化變化區(qū)域感知，重建高時(shí)-空-譜分辨率遙感影像。

技術(shù)特征：

1.一種多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法，其特征在于，步驟s3包括，s3.1、空間增強(qiáng)單元對(duì)初始特征進(jìn)行上采樣并與多光譜級(jí)聯(lián)，利用通道注意力機(jī)制來模擬光譜特征，再通過加權(quán)向量對(duì)通道特征進(jìn)行增強(qiáng)重構(gòu)合理的光譜信息，通過密集連接進(jìn)行更新，得到細(xì)化的特征；s3.2、誤差校正單元對(duì)細(xì)化特征進(jìn)行重采樣獲得低分辨率的版本和模糊版本，做差生成高頻紋理細(xì)節(jié)，并對(duì)其進(jìn)行下采樣后反饋至原細(xì)化特征圖中，通過密集連接進(jìn)行更新，得到優(yōu)化的融合結(jié)果；s3.3、誤差校正單元得到高分辨率特征，將高分辨率特征作為殘差分量與雙三次插值影像連接，得到空-譜聯(lián)合增強(qiáng)的結(jié)果。

3.根據(jù)權(quán)利要求1所述的多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法，其特征在于，步驟s4中，構(gòu)建帶有殘差塊和卷積塊的注意力模塊的權(quán)重生成器，學(xué)習(xí)目標(biāo)時(shí)相多光譜深層次的低秩光譜信息，再使用全局平均池化層從特征域中抽象出仿射函數(shù)參數(shù)，對(duì)空-譜聯(lián)合增強(qiáng)輸出的高維冗余特征進(jìn)行光譜降維，并在仿射變換后膨脹至原始維度。

4.根據(jù)權(quán)利要求1所述的多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法，其特征在于，步驟s4中，根據(jù)光譜覆蓋情況劃分出重疊區(qū)間和非重疊區(qū)間，在重疊區(qū)間里通過門控對(duì)高互補(bǔ)的光譜信息維度擴(kuò)展，將擴(kuò)展特征投影到非重疊區(qū)間，通過光譜微調(diào)網(wǎng)絡(luò)將高光譜影像調(diào)制至目標(biāo)時(shí)域內(nèi)，與目標(biāo)時(shí)相的多光譜影像進(jìn)行級(jí)聯(lián)，得到空間和光譜信息的初步融合結(jié)果；在初步融合結(jié)果中引入差分影像，加入sigmoid非線性函數(shù)抑制差分影像中的低相關(guān)背景噪聲，得到優(yōu)化后的融合結(jié)果。

5.根據(jù)權(quán)利要求4所述的多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法，其特征在于，步驟s4中，將優(yōu)化融合結(jié)果通過三組密集連接的卷積塊投影到深度特征空間，進(jìn)一步使用卷積塊的注意力模塊細(xì)化空間和光譜信息，并采用大小1×1的卷積層對(duì)光譜通道重構(gòu)，從而得到時(shí)間變化預(yù)測(cè)的融合結(jié)果，時(shí)間變化預(yù)測(cè)的融合結(jié)果即為時(shí)-空-譜的最終融合結(jié)果。

6.根據(jù)權(quán)利要求1所述的多任務(wù)協(xié)同的遙感影像時(shí)-空-譜融合方法，其特征在于，步驟s4后還存在步驟s5，步驟s5具體為，通過加權(quán)損失函數(shù)對(duì)步驟s4中重建的時(shí)-空-譜的最終融合結(jié)果進(jìn)行優(yōu)化。

技術(shù)總結(jié)
本發(fā)明涉及一種多任務(wù)協(xié)同的遙感影像時(shí)?空?譜融合方法，包括以下步驟：建立耦合的空?譜聯(lián)合增強(qiáng)任務(wù)和時(shí)間變化預(yù)測(cè)任務(wù)，并對(duì)原始高光譜和多光譜影像進(jìn)行初始融合，得到初始特征；構(gòu)建空間增強(qiáng)單元、誤差校正單元和誤差校正單元，進(jìn)行空?譜聯(lián)合增強(qiáng)任務(wù)，構(gòu)建交替尺度投影模塊，將多光譜信息注入高光譜影像中，空?譜聯(lián)合增強(qiáng)的融合影像；進(jìn)行時(shí)間變化預(yù)測(cè)任務(wù)，構(gòu)建光譜微調(diào)網(wǎng)絡(luò)，將高光譜影像調(diào)制至目標(biāo)時(shí)域內(nèi)，并借助差分影像強(qiáng)化變化區(qū)域感知，重建時(shí)?空?譜的最終融合結(jié)果。本發(fā)明的有益效果是：加強(qiáng)異質(zhì)土地覆蓋下信息的還原能力，滿足復(fù)雜場(chǎng)景下時(shí)間、空間和光譜信息協(xié)同處理需求，生產(chǎn)高時(shí)?空?譜分辨率的遙感影像數(shù)據(jù)。

技術(shù)研發(fā)人員：孟祥超,陳旭,張夢(mèng)婧,楊剛,孫偉偉
受保護(hù)的技術(shù)使用者：寧波大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23