本發(fā)明涉及衛(wèi)星圖像處理領(lǐng)域，特別是涉及一種基于金字塔模型的pansharpen融合優(yōu)化方法。

背景技術(shù)：

衛(wèi)星能夠同時(shí)獲取同一區(qū)域兩種不同類型的影像：含有高分辨率信息的全色影像以及含有光譜信息的多光譜影像。由于多光譜影像缺少高分辨率信息，全色影像缺少光譜信息，因此上述兩種影像自身都會(huì)限制遙感影像的使用范圍。為了解決上述問題，融合應(yīng)運(yùn)而生。時(shí)至今日，影像融合的方法很多，但是現(xiàn)有方法很難很好的滿足實(shí)際生產(chǎn)的需要，紋理畸變和光譜畸變是降低融合結(jié)果質(zhì)量的普遍現(xiàn)象，尤其是隨著衛(wèi)星制造技術(shù)的發(fā)展，全色影像的光譜范圍由傳統(tǒng)的可見光譜段延伸到了近紅外譜段，部分地物在近紅外譜段和可見光譜段表現(xiàn)的光譜差異導(dǎo)致傳統(tǒng)的真彩色影像融合方法將引入巨大的光譜畸變，例如將水域的顏色從藍(lán)色變?yōu)楹谏蛘邔⒅脖粎^(qū)域的顏色由深綠色變?yōu)榱辆G色，嚴(yán)重影響到了遙感影像后續(xù)的判讀和偵查應(yīng)用。為了滿足實(shí)際生產(chǎn)的需要，亟需研制一種新的影像融合方法，克服上述的光譜畸變問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種基于金字塔模型的pansharpen融合優(yōu)化方法，用于解決現(xiàn)有技術(shù)中造成影像融合過程中出現(xiàn)的植被和水域區(qū)域的光譜畸變問題，實(shí)現(xiàn)可見光影像的高精度真彩色融合處理。

本發(fā)明的技術(shù)解決方案是：一種基于金字塔模型的pansharpen融合優(yōu)化方法，包括以下步驟：

步驟1：對(duì)全色影像和多光譜影像進(jìn)行配準(zhǔn)處理，并對(duì)多光譜影像進(jìn)行上采樣，使得多光譜影像的寬和高與全色影像保持一致；

步驟2：將步驟1中獲取的全色影像建立全色影像三層金字塔結(jié)構(gòu)、步驟1中獲取的多光譜影像建立多光譜影像三層金字塔結(jié)構(gòu)，然后對(duì)全色影像進(jìn)行下采樣，分別獲取第一、二、三層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像，對(duì)多光譜影像進(jìn)行下采樣，分別獲取第一、二、三層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像；

步驟3：分別計(jì)算得到全色影像、多光譜影像相同層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像的融合比例系數(shù)；

步驟4：對(duì)步驟3獲得的全色影像、多光譜影像相同層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像的融合比例系數(shù)進(jìn)行最小二乘迭代處理，得到最優(yōu)的融合比例系數(shù)；

步驟5：利用步驟4獲取的融合比例系數(shù)對(duì)步驟1結(jié)果中的全色影像和多光譜影像進(jìn)行融合處理，獲取最終的融合圖像。

所述的步驟1中所述的對(duì)全色影像和多光譜影像進(jìn)行配準(zhǔn)處理的方法，包括如下步驟：

步驟11：對(duì)全色影像和多光譜影像分別進(jìn)行分塊處理；

步驟12：對(duì)步驟11進(jìn)行分塊處理得到的不同影像塊采取SIFT算子提取同名點(diǎn)；

步驟13：構(gòu)建全色影像和多光譜影像的仿射變換模型，并利用步驟12提取的同名點(diǎn)解算仿射變換模型參數(shù)；

步驟14：使用仿射變換模型對(duì)多光譜影像進(jìn)行仿射變換處理，完成影像配準(zhǔn)。

所述的步驟1中獲取的全色影像建立全色影像三層金字塔結(jié)構(gòu)的方法與步驟1中獲取的多光譜影像建立多光譜影像三層金字塔結(jié)構(gòu)的方法相同，對(duì)全色影像進(jìn)行下采樣，分別獲取第一、二、三層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像與對(duì)多光譜影像進(jìn)行下采樣，分別獲取第一、二、三層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像的方法相同，其中，將步驟1中獲取的全色影像建立全色影像三層金字塔結(jié)構(gòu)，然后對(duì)全色影像進(jìn)行下采樣，分別獲取第一、二、三層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像的方法包括如下步驟：

步驟21：構(gòu)建128像素*128像素,1024像素*1024像素,4096像素*4096像素大小的全色影像三層金字塔；

步驟22：分別計(jì)算全色影像三層金字塔中不同層的寬、高與步驟1得到的全色影像寬高的比例，并對(duì)應(yīng)分別作為全色影像三層金字塔不同層的下采樣比例系數(shù)；

步驟23：使用步驟22得到的下采樣比例系數(shù)分別對(duì)步驟1得到的全色影像進(jìn)行下采樣處理，獲取全色影像第一、二、三層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像。

所述的分別計(jì)算得到全色影像、多光譜影像相同層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像的融合比例系數(shù)的方法包括如下步驟：

步驟31：構(gòu)建全色影像第j層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像、多光譜影像的光譜能量關(guān)系函數(shù)，j等于一或二或三；其中，光譜能量關(guān)系函數(shù)為P表示全色影像的某一個(gè)像素的灰度值，α_i表示譜段i對(duì)應(yīng)的能量配比系數(shù)，M表示多光譜影像上對(duì)應(yīng)的同名像素的灰度值，i表示多光譜的譜段個(gè)數(shù)；

步驟32：引入不等條件約束，保證光譜能量關(guān)系函數(shù)中待求解的參數(shù)α_i均大于0，進(jìn)而得到不等條件約束方程；所述的不等條件約束方程包括不等條件約束、光譜能量關(guān)系函數(shù)；

步驟32：將全色影像、多光譜影像第j層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像所有像素的灰度值代入到方程中，進(jìn)行迭代求解，得到第j層對(duì)應(yīng)的光譜能量關(guān)系函數(shù)中待求解的參數(shù)α_i的解，遍歷所有的j，得到所有層對(duì)應(yīng)的光譜能量關(guān)系函數(shù)中待求解的參數(shù)α_i的解，并作為融合比例系數(shù)。

所述的對(duì)步驟3獲得的全色影像、多光譜影像相同層金字塔結(jié)構(gòu)對(duì)應(yīng)的遙感影像的融合比例系數(shù)進(jìn)行最小二乘迭代處理，得到最優(yōu)的融合比例系數(shù)的方法為：將三組不同的融合比例系數(shù)代入到線性最小二乘模型中，將線性最小二乘模型的解作為最優(yōu)的融合比例系數(shù)。

本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)：

(1)本發(fā)明利用多光譜的譜段信息，構(gòu)建全色和多光譜之間的能量配比關(guān)系，能夠有效抑制影像中出現(xiàn)的光譜畸變現(xiàn)象；

(2)本發(fā)明通過引入不等條件約束方程，限定能量配比系數(shù)的大小，避免了融合過程中出現(xiàn)“黑洞”現(xiàn)象，導(dǎo)致紋理細(xì)節(jié)丟失；

(3)本發(fā)明通過引入金字塔模型，避免了大數(shù)據(jù)的迭代計(jì)算，節(jié)省了計(jì)算資源并提高了計(jì)算效率；

(4)本發(fā)明可以達(dá)到融合影像的細(xì)節(jié)保持度優(yōu)于95％，光譜保真度優(yōu)于98％，基本克服了光譜畸變的影響。

附圖說明

圖1為SIFT算子DOG尺度空間局部極值檢測(cè)示意圖

圖2為本發(fā)明的基于金字塔模型的pansharpen融合優(yōu)化方法算法流程圖。

具體實(shí)施方式

本發(fā)明提出了一種基于金字塔模型的pansharpen融合優(yōu)化方法，該方法通過求取全色影像和多光譜影像之間的能量配比系數(shù)，有效的克服了傳統(tǒng)影像融合方法中造成的現(xiàn)有遙感影像融合時(shí)出現(xiàn)的水域和植被區(qū)域較大的光譜畸變現(xiàn)象，同時(shí)該方法通過構(gòu)建不等條件約束方程，約束能量配比系數(shù)的大小，從而確保融合結(jié)果中不會(huì)出現(xiàn)無效數(shù)據(jù)，從整體上提高了影像融合中細(xì)節(jié)保留度和光譜保真度，最后該方法引入金字塔模型，簡(jiǎn)化了計(jì)算復(fù)雜度，提高了計(jì)算效率。

如圖2所示為基于金字塔模型的pansharpen融合優(yōu)化方法算法流程，本發(fā)明的具體步驟如下：

步驟1：對(duì)全色影像和多光譜影像進(jìn)行配準(zhǔn)處理，并對(duì)多光譜影像進(jìn)行上采樣，使得多光譜影像的寬和高與全色影像保持一致。

i.利用SIFT算子提取同名點(diǎn)

SIFT特征算子高精度同名點(diǎn)提取方法主要包含兩個(gè)部分：特征點(diǎn)提取，特征點(diǎn)匹配以及粗差剔除。

SIFT特征算子是基于多尺度空間理論來進(jìn)行特征點(diǎn)提取的，為了有效的在尺度空間檢測(cè)到穩(wěn)定的關(guān)鍵點(diǎn)，SIFT算子提出了高斯差分尺度空間(DOG scale-space)。利用不同尺度的高斯差分核與圖像卷積生成。

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

DOG算子計(jì)算簡(jiǎn)單，是尺度歸一化的LOG算子的近似。為了尋找尺度空間的極值點(diǎn)，每一個(gè)采樣點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。如圖1所示，中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。

通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度(達(dá)到亞像素精度)，同時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈OG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng))，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。

在獲取了特征點(diǎn)后需要對(duì)不同影像的特征點(diǎn)進(jìn)行匹配處理，本發(fā)明采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取全色圖像中的某個(gè)關(guān)鍵點(diǎn)，并找出其與多光譜圖像中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距離少于某個(gè)比例閾值，則接受這一對(duì)匹配點(diǎn)，否則不接受這對(duì)匹配點(diǎn)，如此反復(fù)計(jì)算獲取全部同名點(diǎn)的像素位置信息。

ii.構(gòu)建仿射變換模型

仿射變換模型的公式如下所示：

式中,x、y表示多光譜影像上同名點(diǎn)的像素坐標(biāo)，x'、y'表示全色影像上同名點(diǎn)的像素坐標(biāo)，m₀₀、m₀₁、m₀₂、m₁₀、m₁₁、m₁₂表示仿射變換系數(shù)。

由于仿射變換系數(shù)有6個(gè)，因此至少要有4對(duì)同名點(diǎn)的像素位置關(guān)系才能進(jìn)行系數(shù)解算處理。

iii.多光譜影像上采樣處理

在獲取了仿射變換系數(shù)后，可以對(duì)多光譜影像進(jìn)行仿射變換處理。先構(gòu)建幾何關(guān)系格網(wǎng)，建立仿射變換結(jié)果與原始圖像之間的幾何關(guān)系，通過位置之間的關(guān)系將原始圖像的灰度值填充到放射變換結(jié)果中，最后對(duì)多光譜影像進(jìn)行上采樣處理，上采樣方法為將1個(gè)像素變?yōu)?*2的像素矩陣，且用該像素值填充像素矩陣。

步驟2：對(duì)步驟1中獲取的配準(zhǔn)影像分別建立三層金字塔，并通過下采樣獲取不同金字塔對(duì)應(yīng)的灰度影像：

i.計(jì)算不同層寬高與配準(zhǔn)后影像寬高的比例關(guān)系作為下采樣比例

由于三層金字塔的大小分別為128*128，1024*1024，4096*4096，因此需要首先計(jì)算下采樣的比例系數(shù)，才能從原始影像中獲取不同層的縮略圖，其中金字塔的大小是在考慮現(xiàn)有遙感影像的實(shí)際幅寬大小以及計(jì)算資源的大小基礎(chǔ)上決定的，比例系數(shù)的計(jì)算公式如下：

x＝N/n,y＝M/m

式中，M和N表示原始影像的大小，m和n表示金字塔的大小，x和y表示下采樣的比例系數(shù)。

ii.分別對(duì)配準(zhǔn)后的全色影像和多光譜影像進(jìn)行下采樣處理：

利用上一步中獲取的下采樣比例系數(shù)，下采樣方法為在X方向，x個(gè)像素合并為一個(gè)像素，Y方向上，y個(gè)像素合并為一個(gè)像素。

步驟3：構(gòu)建不等條件約束模型，分別求取不同層金子塔模型下的融合比例系數(shù)。

i.構(gòu)建全色影像和多光譜影像的能量配比函數(shù)：

考慮到全色影像的光譜范圍涵蓋了多光譜的可將光和近紅外4個(gè)譜段的光譜范圍，因此可以認(rèn)為，在同樣的拍攝模式下，即衛(wèi)星載荷“五譜合一”器件的光學(xué)結(jié)構(gòu)設(shè)計(jì)下，獲取的全色影像和多光譜影像之間應(yīng)該滿足如下的線性函數(shù)關(guān)系：

式中，P表示全色影像的某一個(gè)像素的DN值，α表示能量配比系數(shù)，M表示多光譜影像上對(duì)應(yīng)的同名像素的DN值，i表示多光譜的譜段個(gè)數(shù)。

ii.引入不等條件約束方程，保證配比函數(shù)中待求解參數(shù)均大于0：

為了求解能量配比函數(shù)中的參數(shù)，需要構(gòu)建如下方程

式中，γ表示不等條件函數(shù)的比例系數(shù)。對(duì)其求偏微分，獲取如下方程：

對(duì)上式進(jìn)行離散化處理，獲取如下方程：

式中，τ表示迭代間隔大小，N的最大值取值為n。通過上述迭代方程，即可求解能量配比函數(shù)中的參數(shù)值。

iii.用同樣方式對(duì)不同層采取同樣的迭代方式獲取不同層的融合比例系數(shù)

步驟4：對(duì)獲得的不同層比例系數(shù)進(jìn)行最小二乘迭代處理，獲取最優(yōu)的融合比例系數(shù)。

將三個(gè)不同的融合系數(shù)代入到現(xiàn)行最小二乘模型中，獲取全色影像和多光譜影像最優(yōu)的能量配比關(guān)系參數(shù)，做為最終的融合系數(shù)。

本發(fā)明說明書中未作詳細(xì)描述的內(nèi)容屬本領(lǐng)域技術(shù)人員的公知技術(shù)。