本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，是一種多尺度幾何遙感圖像融合方法，可用于目標(biāo)識(shí)別、地物分類(lèi)、遙感監(jiān)測(cè)和森林資源調(diào)查。

背景技術(shù)：

遙感圖像，包含全色圖像和多光譜圖像。全色圖像，是指包含了0.38-0.76μm的全部可見(jiàn)光波段的圖像，傳感器獲取的全色圖像一般為灰度圖像。多光譜圖像，是指利用兩個(gè)以上的傳感器各自接收地物反射的電磁波信息的不同波段所得到的一種特殊圖像，傳感器獲取的多光譜圖像一般為四個(gè)波段。

多光譜圖像與全色圖像的融合旨在將信息優(yōu)勢(shì)互補(bǔ)起來(lái)獲得一幅同時(shí)具有高空間分辨率和高光譜分辨率的融合圖像。由于設(shè)備硬件條件和成像環(huán)境方面的限制，為了獲得同時(shí)具有高空間分辨率和高光譜分辨率的融合圖像，需要使用遙感圖像融合技術(shù)來(lái)實(shí)現(xiàn)圖像信息的融合，現(xiàn)有的融合算法主要集中在像素級(jí)的多分辨率融合?，F(xiàn)有的融合算法可歸結(jié)為三類(lèi)：1)成分替換法；2)多尺度細(xì)節(jié)注入法；3)基于模型的復(fù)原法。影響融合結(jié)果的因素主要分為兩個(gè)方面：1)因替換或注入的高分辨空間信息不匹配或信息冗余而造成融合結(jié)果的顏色失真及光譜扭曲；2)抽取的高分辨率信息與多光譜圖像缺少的信息量不一致時(shí)，使得融合后圖像的空間分辨率受到制約。

多尺度分析工具具有多尺度，多方向，各向異性的特性，輪廓波變換是一種有很好的空域和頻域局部特性、多方向性、多分辨率、各向異性的完備變換。可以用不同頻率和尺度的子帶更加精準(zhǔn)的保留圖像中的輪廓和紋理細(xì)節(jié)信息。而非采樣的輪廓波變換在繼承了輪廓波變換的特征的基礎(chǔ)上還消除了吉布斯現(xiàn)象，并且具有平移不變性，是一種超完備的多尺度變換方法。非采樣的輪廓波變換由非采樣金字塔濾波器組和非采樣方向?yàn)V波器組兩部分組成。

近年來(lái)，壓縮感知和稀疏表示的理論的發(fā)展使得基于退化模型為理論的模型復(fù)原的圖像融合方法得以發(fā)展。參見(jiàn)Shutao Li,and Bin Yang,“A new pan-sharpening method using a compressed sensing technique,”IEEE Transactions on Geoscience and Remote Sensing,vol.49,no.2,pp.738-746,February 2011。該方法中稀疏先驗(yàn)信息被用來(lái)重構(gòu)高分辨率多光譜圖像，通過(guò)高分辨率的字典原子線性組合得到高分辨的多光譜圖像。該方法的局限性在于構(gòu)造字典原子的真實(shí)數(shù)據(jù)集無(wú)法通過(guò)遙感衛(wèi)星獲得，字典原子包含的信息不能充分的表示高分辨的多光譜圖像，造成融合結(jié)果的光譜扭曲。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明目的在于結(jié)合非采樣的輪廓波變換提取細(xì)節(jié)的精準(zhǔn)性，克服基于模型復(fù)原法中字典原子的局限性，提出一種基于深度稀疏自編碼的多尺度幾何遙感圖像融合方法，以消除冗余，保持光譜分辨率，提高融合結(jié)果的高空間分辨率。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是：將高空間分辨率全色圖像和低空間分辨率多光譜圖像信息優(yōu)勢(shì)進(jìn)行互補(bǔ)，消除冗余得到一幅同時(shí)具有高空間分辨率和高光譜分辨率的融合圖，其步驟包括如下：

(1)分別輸入低分辨率多光譜圖像和高分辨率全色圖像，并提取低分辨多光譜圖像的第一主成分C1；

(2)通過(guò)非采樣輪廓波變換，分別獲得低分辨多光譜圖像的第一主成分低通系數(shù)L_M與帶通系數(shù)H_M，及高分辨全色圖像的低通系數(shù)L_P與帶通系數(shù)H_P；

(3)將低分辨多光譜圖像的第一主成分低通系數(shù)L_M與全色圖像的低通系數(shù)L_P融合，獲得融合后的低通系數(shù)L_N；

(4)獲得空間自相似字典D_S：

4a)將多光譜圖像第一主成分的帶通系數(shù)H_M和全色圖像的帶通系數(shù)H_P進(jìn)行分塊，得到多光譜圖像第一主成分的帶通系數(shù)小塊M1和全色圖像的帶通系數(shù)小塊P1；

4a)分別對(duì)每一個(gè)光譜圖像第一主成分的帶通系數(shù)小塊M1和全色圖像的帶通系數(shù)小塊P1進(jìn)行近鄰擴(kuò)充，得到擴(kuò)充后的第一主成分帶通系數(shù)I_M和擴(kuò)充后的全色圖像的帶通系數(shù)I_P，該I_M和I_P的中心分別為H_M和H_P；

4b)分別對(duì)擴(kuò)充后的多光譜圖像的第一主成分帶通系數(shù)I_M和擴(kuò)充后的全色圖像的帶通系數(shù)I_P以1為步長(zhǎng)劃窗取塊,再將塊列向量化作為字典原子,將擴(kuò)充后的第一主成分帶通系數(shù)I_M的字典原子進(jìn)行組合得到多光譜圖像第一主成分字典D_M，將擴(kuò)充后的全色圖像的帶通系數(shù)I_P的字典原子進(jìn)行組合得到全色字典D_P；將多光譜圖像第一主成分字典D_M與全色字典D_P進(jìn)行組合，獲得空間自相似字典D_S；

(5)將低分辨多光譜圖像的第一主成分帶通系數(shù)H_M與全色圖像的帶通系數(shù)H_P進(jìn)行融合，獲得融合后的帶通系數(shù)H_N；

(6)根據(jù)融合后的帶通系數(shù)H_N獲得多級(jí)殘差稀疏自編碼的帶通系數(shù)

6a)計(jì)算融合后的帶通系數(shù)H_N分別與低分辨多光譜圖像的第一主成分帶通系數(shù)H_M的殘差R1和與全色圖像的帶通系數(shù)H_P的殘差R2；

6b)將步驟6a)獲得的兩個(gè)殘差R1和R2按照區(qū)域能量最大的規(guī)則進(jìn)行融合，獲得帶通殘差系數(shù)

6c)將帶通殘差系數(shù)與融合后的帶通系數(shù)H_N相加，獲得殘差稀疏自編碼帶通系數(shù)

6d)重復(fù)6a)-6c)共S次，獲得多級(jí)殘差稀疏自編碼帶通系數(shù)1≤S≤4；

(7)對(duì)融合后的低通系數(shù)L_N和多級(jí)殘差稀疏自編碼帶通系數(shù)同時(shí)進(jìn)行非采樣輪廓波變換的逆變換，獲得融合后的第一主成分C2；

(8)獲得空域多級(jí)深度稀疏自編碼主成分C_S：

8a)計(jì)算融合后的第一主成分C2與低分辨多光譜圖像第一主成分C1的殘差R3，計(jì)算融合后的第一主成分C2與全色圖像的殘差R4；

8b)將8a)中獲得的兩個(gè)殘差R3和R4按照深度稀疏自編碼的融合方法得到融合后的空域殘差

8c)將融合后的空域殘差與融合后的第一主成分C2相加獲得空域深度稀疏自編碼主成分C₁；

8d)重復(fù)8a)-8c)共S次，獲得空域多級(jí)深度稀疏自編碼主成分C_S，1<S≤4；

(9)將空域多級(jí)深度稀疏自編碼主成分C_S進(jìn)行逆主成分分析變換，獲得高分辨多光譜圖像。

本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn)：

第一，本發(fā)明由于對(duì)低通系數(shù)在過(guò)完備離散余弦變換字典下進(jìn)行稀疏表示，保證了細(xì)節(jié)信息的完整；同時(shí)由于本發(fā)明依據(jù)圖像區(qū)域局部相似性的特征，構(gòu)造帶通系數(shù)的空間自相似字典，并對(duì)帶通系數(shù)在空間自相似字典下進(jìn)行稀疏編碼，克服了因抽取的高分辨率信息與多光譜圖像缺少的信息量不一致所造成的空間分辨率的降低，克服了不匹配注入造成的色彩失真及光譜扭曲，提高了融合后圖像的空間分辨率，保持多光譜圖像的光譜信息。

第二，本發(fā)明由于將稀疏自編碼推廣至空間自相似字典下的多級(jí)稀疏自編碼，引入了非采樣輪廓波變換和空間自相似字典下多級(jí)稀疏自編碼相結(jié)合的融合算法，實(shí)現(xiàn)了對(duì)圖像紋理和輪廓的準(zhǔn)確提取，減少了不匹配細(xì)節(jié)的注入，使得注入到多光譜圖像的高頻信息更加精準(zhǔn)，改善了融合后多光譜圖像空間扭曲。

仿真結(jié)果表明，本發(fā)明得到的融合后多光譜圖像比現(xiàn)有技術(shù)的融合圖像能更好的保持光譜分辨率，提高空間分辨率。

附圖說(shuō)明

圖1為本發(fā)明的實(shí)現(xiàn)流程圖；

圖2為本發(fā)明的仿真結(jié)果圖。

具體實(shí)施方法

以下結(jié)合附圖為本發(fā)明做進(jìn)一步詳細(xì)描述：

參照?qǐng)D1，本發(fā)明的具體實(shí)施方式如下：

步驟1，分別輸入低分辨率多光譜圖像M和高分辨率全色圖像P，并提取低分辨多光譜圖像的第一主成分C1；

本發(fā)明實(shí)施例中輸入的低分辨多光譜圖像大小為64×64×4，分辨率為2m；高分辨率的全色圖像大小為256×256，分辨率為0.5m；

將低分辨多光譜圖像經(jīng)過(guò)4倍上采樣變換，使它的大小達(dá)到256×256×4；

對(duì)上采樣后的多光譜圖像進(jìn)行主成分分析變換PCA，提取主成分分析變換后的第一主成分，定義該主成分為多光譜圖像的第一主成分C1，C1的大小為256×256。

步驟2，通過(guò)非采樣輪廓波變換獲得低分辨多光譜圖像的第一主成分低通系數(shù)L_M與帶通系數(shù)H_M。

非采樣輪廓波變換，是由金字塔濾波器和方向?yàn)V波器組兩部分組成，在非采樣輪廓波變換過(guò)程中先由金字塔濾波器進(jìn)行多尺度變換，再由方向?yàn)V波器組進(jìn)行多方向變換。

本實(shí)施例中使用的金字塔濾波器類(lèi)型為“9-7”，方向?yàn)V波器組類(lèi)型為“pkva”。對(duì)低分辨多光譜圖像的第一主成分C1進(jìn)行非采樣輪廓波變換，其操作如下：

首先，將多光譜圖像的第一主成分先經(jīng)過(guò)非采樣輪廓波變換的金字塔濾波器進(jìn)行多尺度變換，得到多光譜圖像第一主成分的低通系數(shù)L_M；

然后，將多光譜圖像的第一主成分經(jīng)過(guò)非采樣輪廓波變換的方向?yàn)V波器組進(jìn)行多方向變換，得到多光譜圖像第一主成分的帶通系數(shù)H_M。

步驟3，通過(guò)非采樣輪廓波變換獲得高分辨全色圖像P的低通系數(shù)L_P與帶通系數(shù)H_P。

3.1)將全色圖像先經(jīng)過(guò)非采樣輪廓波變換的金字塔濾波器進(jìn)行多尺度變換，得到全色圖像的低通系數(shù)L_P；

3.2)再將全色圖像經(jīng)過(guò)非采樣輪廓波變換的方向?yàn)V波器組進(jìn)行多方向變換，得到全色圖像的帶通系數(shù)H_P。

步驟4，生成二維的過(guò)完備離散余弦變換字典D。

4.1)定義二維過(guò)完備離散余弦變換字典D中原子的長(zhǎng)度l，和二維過(guò)完備離散余弦變換字典D的原子個(gè)數(shù)N，本實(shí)施例中l(wèi)＝25，N＝256；

4.2)生成一維離散余弦變換字典D¹：

$D^1=\mathrm{\&alpha;}\left(k\right)cos\frac{nk\mathrm{\&pi;}}{\sqrt{N}},$

其中：n是一維離散余弦變換字典D¹中原子的長(zhǎng)度，k是一維離散余弦變換字典D¹的原子個(gè)數(shù)，

4.3)計(jì)算二維的過(guò)完備離散余弦變換字典是張量乘積的符號(hào)。

步驟5，獲得多光譜圖像第一主成分的低通稀疏系數(shù)A1。

5.1)將多光譜圖像第一主成分的低通系數(shù)L_M按5×5大小進(jìn)行分塊，得到多光譜圖像第一主成分的低通系數(shù)小塊；

5.2)將多光譜圖像第一主成分的低通系數(shù)小塊列向量化，得到多光譜圖像第一主成分的低通系數(shù)列向量；

5.3)根據(jù)每一個(gè)多光譜圖像第一主成分的低通系數(shù)列向量在離散余弦變換字典D下的稀疏表示：L_M＝DA1，得到多光譜圖像第一主成分低通稀疏系數(shù)A1。

步驟6，獲得全色圖像低通稀疏系數(shù)A2。

6.1)將全色圖像的低通系數(shù)L_M按5×5大小進(jìn)行分塊，得到全色圖像的低通系數(shù)小塊；

6.2)將全色圖像的低通系數(shù)小塊列向量化，得到全色圖像的低通系數(shù)列向量；

6.3)根據(jù)每一個(gè)全色圖像的低通系數(shù)在離散余弦變換字典D下的稀疏表示：L_P＝DA2，得到全色圖像低通稀疏系數(shù)A2；

步驟7，獲得融合后的低通系數(shù)L_N。

7.1)將步驟5和步驟6得到的兩個(gè)低通稀疏系數(shù)A1和A2進(jìn)行并集，得到融合后的低通稀疏系數(shù)對(duì)于這兩個(gè)低通稀疏系數(shù)A1和A2相同位置元素均為非零的情況，則選取模值最大的低通系數(shù)作為融合后的低通稀疏系數(shù)

7.2)將融合后的低通稀疏系數(shù)與過(guò)完備離散余弦變換字典D相乘，獲得融合后的低通系數(shù)L_N。

步驟8，獲得多光譜圖像第一主成分字典D_M。

8.1)將多光譜圖像第一主成分的帶通系數(shù)H_M按5×5大小進(jìn)行分塊，得到多光譜圖像第一主成分的帶通系數(shù)小塊M1；

8.2)本實(shí)施例中使用大小為21的鄰域?qū)Χ喙庾V圖像第一主成分的帶通系數(shù)小塊M1進(jìn)行近鄰擴(kuò)充，獲得大小為21×21的擴(kuò)充后的多光譜圖像第一主成分帶通系數(shù)I_M，且I_M的中心為M1；

8.3)對(duì)每一個(gè)擴(kuò)充后的多光譜圖像第一主成分帶通系數(shù)I_M用5×5大小的窗口，以1為步長(zhǎng)，按“Z”字形劃窗取塊，得到多光譜帶通系數(shù)小塊；

8.4)將多光譜帶通系數(shù)小塊列向量化，每一個(gè)多光譜帶通系數(shù)小塊列向量化后，得到大小為25×1的多光譜帶通系數(shù)列向量；

8.5)將多光譜帶通系數(shù)列向量進(jìn)行組合得到大小為25×289的多光譜圖像第一主成分字典D_M。

步驟9，獲得全色字典D_P。

9.1)將全色圖像的帶通系數(shù)H_P按5×5大小進(jìn)行分塊，得到全色圖像帶通系數(shù)小塊P1；

9.2)本實(shí)施例中使用大小為21的鄰域?qū)θ珗D像帶通系數(shù)小塊P1進(jìn)行近鄰擴(kuò)充，獲得大小為21×21的擴(kuò)充后的全色圖像帶通系數(shù)I_P，且I_P的中心為P1；

9.3)對(duì)每一個(gè)擴(kuò)充后的全色圖像帶通系數(shù)I_P用5×5大小的窗口，以1為步長(zhǎng)，按“Z”字形劃窗取塊，得到全色圖像系數(shù)小塊；

9.4)對(duì)全色圖像帶通系數(shù)小塊列向量化，每一個(gè)全色圖像帶通系數(shù)小塊列向量化后，得到大小為25×1的全色帶通系數(shù)列向量；

9.5)將全色帶通系數(shù)列向量進(jìn)行組合，得到大小為25×289的全色字典D_P。

步驟10，獲得空間自相似字典D_S。

本實(shí)施例中將大小為25×289的全色字典D_M和大小為25×289的全色字典D_P進(jìn)行組合，獲得大小為25×578的空間自相似字典D_S。

步驟11，獲得多光譜圖像第一主成分的帶通稀疏系數(shù)A3。

11.1)將多光譜圖像第一主成分的帶通系數(shù)小塊M1列向量化，得到多光譜圖像第一主成分的帶通系數(shù)列向量X_M；

11.2)根據(jù)每一個(gè)多光譜圖像第一主成分的帶通系數(shù)列向量X_M在對(duì)應(yīng)的空間自相似字典D_S下的稀疏表示：X_M＝D_SA3，得到多光譜圖像第一主成分低通稀疏系數(shù)A3。

步驟12，獲得全色圖像帶通稀疏系數(shù)A4。

12.1)將全色圖像的帶通系數(shù)小塊P1列向量化，得到全色圖像的帶通系數(shù)列向量X_P；

12.2)根據(jù)每一個(gè)全色圖像的帶通系數(shù)列向量在對(duì)應(yīng)的空間自相似字典D_S下的稀疏表示：X_P＝D_SA4，得到全色圖像低通稀疏系數(shù)A4；

步驟13，獲得融合后的帶通系數(shù)H_N。

13.1)將步驟11和步驟12得到的兩個(gè)帶通稀疏系數(shù)A3和A4進(jìn)行并集，得到融合后的帶通稀疏系數(shù)當(dāng)于這兩個(gè)帶通稀疏系數(shù)A3和A4在相同位置的元素均為非零的情況時(shí)，則選取模值最大的帶通系數(shù)作為融合后的帶通稀疏系數(shù)

13.2)將每一個(gè)融合后的帶通稀疏系數(shù)與對(duì)應(yīng)的空間自相似字典D_S相乘，獲得融合后的帶通系數(shù)H_N。

步驟14，獲得多級(jí)殘差稀疏自編碼的帶通系數(shù)

14.1)計(jì)算融合后的帶通系數(shù)H_N與低分辨多光譜圖像的第一主成分帶通系數(shù)H_M的殘差R1＝H_M-H_N；

14.2)計(jì)算融合后的帶通系數(shù)H_N與全色圖像帶通系數(shù)H_P的殘差R2＝H_p-H_N；

14.3)將步驟14.1)和步驟14.2)得到的兩個(gè)帶通系數(shù)殘差R1和R2按照區(qū)域能量最大的規(guī)則進(jìn)行融合，獲得帶通殘差系數(shù)

14.4)將帶通殘差系數(shù)與融合后的帶通系數(shù)H_N相加，獲得殘差稀疏自編碼帶通系數(shù)

14.5)重復(fù)步驟14.1)-14.4)的操作共4次，獲得多級(jí)殘差稀疏自編碼帶通系數(shù)

步驟15，獲得融合后的第一主成分C2。

將步驟7獲得的融合后的低通系數(shù)L_N和步驟14獲得的多級(jí)殘差稀疏自編碼帶通系數(shù)，進(jìn)行非采樣輪廓波的逆變換過(guò)程，得到融合后的第一主成分C2。

步驟16，獲得空域多級(jí)深度稀疏自編碼主成分C_S。

16.1)計(jì)算融合后的第一主成分C2與低分辨多光譜圖像第一主成分C1的殘差R3＝C1-C2；

16.2)計(jì)算融合后的第一主成分C2與全色圖像P的殘差R4＝P-C2；

16.3)將步驟16.1)和16.2)中得到的兩個(gè)殘差R3和R4，按照深度稀疏自編碼的融合方法，得到融合后的空域殘差

16.4)將融合后的空域殘差與融合后的第一主成分C2相加，獲得空域深度稀疏自編碼主成分

16.5)重復(fù)16.1)-16.4)共4次，獲得空域多級(jí)深度稀疏自編碼主成分C_S，1<S≤4。

步驟17，獲得高分辨多光譜圖像。

將步驟16中獲得的空域多級(jí)深度稀疏自編碼主成分C_S，經(jīng)過(guò)逆主成分分析變換，獲得高分辨多光譜圖像。

本發(fā)明的效果可以通過(guò)以下仿真實(shí)驗(yàn)作進(jìn)一步說(shuō)明。

1.實(shí)驗(yàn)仿真環(huán)境為MATLAB R2012a on PC with Intel(R)core(TM)/3.10G/4G，在該仿真環(huán)境下，

2.仿真內(nèi)容

仿真1，使用本發(fā)明方法，對(duì)低分辨的多光譜圖像和高分辨的全色圖像進(jìn)行融合，得到高分辨的多光譜圖像，結(jié)果如圖2。其中

圖2(a)是低分辨的多光譜圖像，圖2(b)是高分辨的全色圖像，圖2(c)是參考圖像，這三幅圖像選自GeoEye，圖2(d)是采用本發(fā)明對(duì)圖2(a)和圖2(b)進(jìn)行融合后獲得的高分辨多光譜圖像。

由圖2(d)與圖2(a)的比較可見(jiàn)，圖2(a)的細(xì)節(jié)不清晰而且光譜也保持的不好，如道路的清晰度，房屋的色彩等，而圖2(d)在空間分辨率、光譜信息、視覺(jué)效果上明顯優(yōu)于圖2(a)好。

仿真2，為了證明本發(fā)明的效果，用本發(fā)明的方法和現(xiàn)有的代表性融合算法，分別對(duì)圖2(a)和圖2(b)的圖像進(jìn)行融合，并通過(guò)常用評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比，結(jié)果如表1。

表1各算法融合結(jié)果評(píng)價(jià)指標(biāo)

表1中的常用評(píng)價(jià)指標(biāo)包括：相關(guān)系數(shù)CC、通用圖像質(zhì)量指標(biāo)UIQI、均方根誤差RMSE、整體圖像質(zhì)量指數(shù)Q4、光譜弧度SAM、相對(duì)整體維數(shù)綜合誤差ERGAS。

現(xiàn)有的代表性融合算法包括：基于主成分分析變換的融合算法PCA、基于小波變換的融合算法AWLP、基于非采樣輪廓波變換的融合算法NSCT、基于壓縮感知融合算法CS。

從表1數(shù)據(jù)對(duì)比表明，本發(fā)明融合結(jié)果的相關(guān)系數(shù)CC、通用圖像質(zhì)量指標(biāo)UIQI和整體圖像質(zhì)量指數(shù)Q4均大于現(xiàn)有代表性融合算法的指標(biāo)；其均方根誤差RMSE、光譜弧度SAM和相對(duì)整體維數(shù)綜合誤差ERGAS均小于代表性融合算法的指標(biāo)。

可見(jiàn)，本發(fā)明的融合圖像優(yōu)于現(xiàn)有代表性融合算法的結(jié)果，且與參考圖像最接近，光譜扭曲程度最小，圖像整體質(zhì)量最優(yōu)，融合結(jié)果最好。