一種基于混合模型的圖像融合方法
【專利摘要】本發(fā)明公開了一種基于混合模型的圖像融合方法，包括以下步驟：首先通過IHS變換將彩色圖像從RGB空間變換到IHS空間，進而通過NSCT理論形成了高頻和低頻兩個部分。然后再采用絕對值選大法和第二類切比雪夫多項式分別對高頻部分和低頻部分進行融合。最后再利用反變換以及強度反變換得到融合結(jié)果，并通過IHS逆變換得到最終的RGB融合圖像。本發(fā)明的方法相比于其他現(xiàn)有的融合方法，具有信息量豐富、清晰度高等優(yōu)點。
【專利說明】
-種基于混合模型的圖像融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種圖像融合方法，具體設(shè)及一種基于混合模型的圖像融合方法，屬 于圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 圖像融合是指將多源信道所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過圖像處理和 計算機技術(shù)等，最大限度的提取各自信道中的有利信息，最后綜合成高質(zhì)量的圖像，W提高 圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分 辨率，利于監(jiān)測。圖像融合的方法可分為兩類:基于多分辨率分解和基于估計理論。
[0003] 基于多分辨率分解的圖像融合步驟可分為:首先將原圖像分別變換到一定的變換 域上，然后在變換域上設(shè)計一定的融合規(guī)則，根據(jù)運些規(guī)則創(chuàng)建變換域上的融合圖像，最后 再逆變換得到最終的融合圖像。其中小波變換W其良好的時頻分析特性，而被廣泛地應(yīng)用 于各個領(lǐng)域的圖像融合。但由于小波變換在方向性和各向異性上的缺陷，基于Contourlet 變換的融合方法應(yīng)運而生。近來有學(xué)者提出一種通過Contourlet變換的多尺度幾何分析的 多模態(tài)圖像融合，具有較高的亮度、對比度和更詳細(xì)的視覺信息。但是，Contourlet變換因 下采樣而存在著不滿足平移不變性和頻譜泄露、混疊等缺陷，所W有學(xué)者在基于非下采樣 Contourlet變換理論即NSCT理論的上進行圖像融合，并且取得不錯的效果。
[0004] 系統(tǒng)與人眼強烈感知紅、綠、藍Ξ原色的事實能很好的匹配，但是RGB模型和其他 類似的彩色模型不能很好的適應(yīng)世界上人所識別的顏色，即提出了 HSI(色調(diào)、飽和度和強 度)彩色模型。IHS空間是圖像融合中比較經(jīng)典的方法，其彩色空間的編碼方法又被稱為亮 度-色相-飽和度法?；贖IS空間和NSCT模型的第二類切比雪夫正交多項式算法具有較高 的細(xì)節(jié)保持。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的不足，提供一種基于混合模型的 圖像融合方法，該方法相比于現(xiàn)有其他的融合方法，具有信息量豐富、清晰度高等優(yōu)點。
[0006] 為實現(xiàn)發(fā)明目的，本發(fā)明采用W下技術(shù)方案：
[0007] -種基于混合模型的圖像融合方法，包括如下步驟：
[000引步驟(1):利用HISS角變換將圖像的RGB空間轉(zhuǎn)換成HIS空間；
[0009] 步驟(2):在HIS空間中使用NSCT變換將圖像中的I分量進行分頻，得到高頻部分和 低頻部分；
[0010] 步驟（3):分別對高頻部分和低頻部分進行融合，然后使用NSCT反變換得到1/分 量；
[0011] 步驟(4):用1/分量替換圖像中的I分量，最后利用HIS逆變換把圖像的HIS空間轉(zhuǎn) 換成RGB空間，得到融合結(jié)果。
[0012] 上述步驟（1)所述的利用HISS角變換將圖像的RGB空間轉(zhuǎn)換成HIS空間通過下式 計算：
[0013]
[0014] 上述步驟(2)所述的將I分量進行分頻得到高頻和低頻是通過NSCT變換進行多分 辨率分解得到。
[0015] 上述步驟(3)所述的高頻部分采用絕對值選大法進行融合，低頻部分用第二類切 比雪夫正交多項式進行融合，差分絕對值選大法的其基本思想是:選取相鄰3個像素(或像 素累加值)兩兩相減，即兩兩作差分，取3個值的絕對值最大者為差分絕對值最大法結(jié)果;作 為本發(fā)明的核屯、第二類切比雪夫正交多項式融合算法如下：
[0016] 在多尺度領(lǐng)域假設(shè)圖像偏移或者噪聲服從第二類切比雪夫正交多項式的混合模 型，應(yīng)用期望值最大算法估計出融合圖像。圖像的成像模型為：
[0017] Ζ?(1)=β?8(1)+ει(1)
[001引其中i = l，2,…，q為傳感器的序號，1表示圖像經(jīng)過NSCT變換分解后的圖像位置。Ζ 為傳感器的實際成像的圖像，S為真實的場景，β表示傳感器的挑選因子，0￡{-1，0，1}，6表 示隨機擾動或噪聲，貝化階混合第二類切比雪夫正交多項式混合模型為：
[0024] 其中 Σwj = l，χe[0，l]，KN是余弦展開式中的截斷點，KN-Nl/s，l/se[0.2,0.33]， 迭代步驟如下：
[0025] Step 1初始化，初始化真實場景s(l)如下：
[0026]
[0027]其中wi=l/q，使0=1，代表能反映真實場景中的傳感器，然后再用K-means進行初 始化分割，得到師,1。
[002引step 2 E步，計算條件概率密度函數(shù)化11化（1))，公式如下：
[0029]
[0030] 式中k = l，2，...，K;i = l，2，...，q;l = l，2，...，L。
[0031] Step 3 Μ步，將似然函數(shù)最大化迭代更新參數(shù)值。
[0032] (1)更新參數(shù)βι，使得護1選擇Q最大，即：
[0033]
[0034] (2)根據(jù)護1，重新計算gk,ii(Zi(l))，然后再重新計算使得S(j)更新為S'(j)
[0035]
[0036] (3)重新計算條件概率密度函數(shù)阱,ii(Zi(l))，W及S'(j)、w'k,i、a'k,i,j:
[0037]
[00；3 引
[0039] St邱4重復(fù)Step2、Step3直到參數(shù)達到最大似然估計值。
[0040] 上述步驟(4)所述的用1/分量替換圖像中的I分量，最后利用HIS逆變換得到融合 結(jié)果圖。逆變換公式如下：
[0041]
[0042] 本發(fā)明的優(yōu)點和有益效果：
[0043] 1、一般從傳感器得到的圖像都是有噪聲的，通過融合來降低噪聲，本發(fā)明的方法 噪聲的含量小，不容易導(dǎo)致局部細(xì)節(jié)丟失；
[0044] 2、本發(fā)明所述的方法融合結(jié)果的平均梯度值大，相比于其他的算法，本發(fā)明獲得 的圖像更加的清晰；在邊緣強度方面，本發(fā)明獲得的圖像邊緣信息更加豐富;賭值大，交叉 賭小，本發(fā)明獲得的圖像的細(xì)節(jié)信息更為豐富且融合結(jié)果與源圖像之間的差異很?。环逯?信噪比的值高，圖像的質(zhì)量和融合效果好;而且本發(fā)明算法在圖像局部信息的保持度比較 好；
[0045] 3、本發(fā)明的圖像融合方法可W根據(jù)需要綜合處理多源通道的信息，從而有效地提 高了圖像信息的利用率、系統(tǒng)對目標(biāo)探測識別地可靠性及系統(tǒng)的自動化程度。消除多傳感 器信息之間可能存在的冗余和矛盾，W增強影像中信息透明度，改善解譯的精度、可靠性W 及使用率，W形成對目標(biāo)的清晰、完整、準(zhǔn)確的信息描述。
[0046] 4、本發(fā)明的圖像融合方法可W應(yīng)用在很多方面，比如醫(yī)學(xué)、遙感、計算機視覺、氣 象預(yù)報及軍事目標(biāo)識別等方面。
【附圖說明】
[0047] 圖1為本發(fā)明基于混合模型的圖像融合方法的步驟流程圖，
[0048] 圖2為采用差分絕對值選大法所截取的小區(qū)域圖像及像素坐標(biāo)。
【具體實施方式】
[0049] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，W下結(jié)合附圖及實施例，對 本發(fā)明進行進一步的詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用于解釋本發(fā)明， 并不用于限定本發(fā)明。
[0050] 如圖1所示，為本發(fā)明的一種基于混合模型的圖像融合方法，具體步驟如下：
[0051] 步驟(1):利用HISS角變換將圖像的RGB空間轉(zhuǎn)換成HIS空間；
[0052] 步驟(2):在HIS空間中使用NSCT變換將圖像中的I分量進行分頻，得到高頻部分和 低頻部分；
[0053] 步驟（3):分別對高頻部分和低頻部分進行融合，然后使用NSCT反變換得到1/分 量；
[0054] 步驟(4):用1/分量替換圖像中的I分量，最后利用HIS逆變換把圖像的HIS空間轉(zhuǎn) 換成RGB空間，得到融合結(jié)果。
[0055] 本發(fā)明選定兩幅彩色RBG圖像，步驟（1)所述的利用HISS角變換將圖像的RGB空間 轉(zhuǎn)換成HIS空間通過下式計算：
[0056]
(1,)
[0057] 步驟(2)所述的將I分量進行分頻得到高頻和低頻是通過NSCT進行多分辨率分解 得到。
[0058] 步驟(3)所述的高頻部分采用絕對值選大法進行融合，低頻部分用第二類切比雪 夫正交多項式進行融合，第二類切比雪夫正交多項式融合算法如下：
[0059] 在多尺度領(lǐng)域假設(shè)圖像偏移或者噪聲服從第二類切比雪夫正交多項式的混合模 型，應(yīng)用期望值最大算法估計出融合圖像。圖像的成像模型為：
[0060] Ζ?(1)=β?8(1)+ει(1) (2)
[0061] 其中i = l，2,…，q為傳感器的序號，1表示圖像經(jīng)過NSCT分解后的圖像位置。Ζ為傳 感器的實際成像的圖像，S為真實的場景，β表示傳感器的挑選因子，0￡{-1，〇，1}，6表示隨 機擾動或噪聲，貝化階混合第二類切比雪夫正交多項式混合模型為：
[0065] 第二類切比雪夫正交多項式混合模型的概率密度函數(shù)為：
[0066]
(5)
[0067]其中 Σwj = l，χe[0，l]，KN是余弦展開式中的截斷點，KNsNl/s，l/se[0.2,0.33]， 再使用EM算法來迭代模型中的參數(shù)，迭代步驟如下：
[0068] Step 1初始化，初始化真實場景s(l)如下：
[0069]
煩
[0070] 其中Wi= 1/q，使β= 1，代表能反映真實場景中的傳感器，然后再用K-means進行初 始化分割，得到師,1。
[oow step 2 E步，計算條件概率密度函數(shù)阱,ii化（1))，公式如下：
[007^
(7)
[0073] 式中k = l，2，...，K;i = l，2，...，q;l = l，2，...，L。
[0074] Step 3 Μ步，將似然函數(shù)最大化迭代更新參數(shù)值。
[00對 （1)更新參數(shù)βι，使得β/1選擇Q最大，即
[0076]
[0082] St邱4重復(fù)Step2、Step3直到參數(shù)達到最大似然估計值。
[0083] 對于高頻部分采用差分絕對值選大法進行融合，差分絕對值選大法的其基本思想 是:選取相鄰3個像素(或像素累加值)兩兩相減，即兩兩作差分，取3個值的絕對值最大者為 差分絕對值最大法結(jié)果。圖2所示為差分坐標(biāo)圖。差分絕對值最大法可W描述為：
[0084] D(i)=max{ |P(i+l)-P(i) I，|P(i)-P(i-l) I，|P(i-l)-P(i+l) I} (12)
[0085] 式中D(i)差分最大值；i為小區(qū)域橫坐標(biāo)，i = l，2，-，w-l;w為小區(qū)域?qū)挾龋╓像素 為單位）;P( i)為坐標(biāo)i所在列灰度值之和，可W表示為： 隣]
(1扣
[0087] 式中h為小區(qū)域高度m像素為單位）；Cx為小區(qū)域中屯、的橫坐標(biāo)，i = l，2,…W。由 于采用了兩次平移和差分，差分絕對值最大法增強了微弱信號。為克服其在一定程度上將 導(dǎo)致虛假信號的缺點，在從D( i)中選取目標(biāo)峰值點前先對式(12)進行平滑濾波：
[0088]
(14)
[0089] 式中r為步長，通常取2，i = l，2，…w-l。
[0090] 步驟(4)所述的用1/分量替換圖像中的I分量，最后利用HIS逆變換得到融合結(jié)果 圖。逆變換公式如下：
[0091]
(1巧
[0092] W上所述，僅為本發(fā)明較佳的【具體實施方式】。當(dāng)然，本發(fā)明還可有其它多種實施 例，在不背離本發(fā)明精神及其實質(zhì)的情況下，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員，當(dāng)可根據(jù)本 發(fā)明作出各種相應(yīng)的等效改變和變形，都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍。
【主權(quán)項】
1. 一種基于混合模型的圖像融合方法，其特征在于，包括以下步驟： 步驟（1 )、利用HI S三角變換將圖像的RGB空間轉(zhuǎn)換成HI S空間； 步驟(2 )、在HI S空間中使用NSCT變換將圖像中的I分量進行分頻，得到高頻部分和低頻 部分； 步驟(3)、分別對高頻部分和低頻部分進行融合，然后使用NSCT反變換得到V分量； 步驟(4)、用1'分量替換圖像中的I分量，最后利用HIS逆變換把圖像的HIS空間轉(zhuǎn)換成 RGB空間，得到融合結(jié)果。2. 根據(jù)權(quán)利要求書1所述的一種基于混合模型的圖像融合方法，其特征在于，步驟（1) 所述的利用HIS三角變換將圖像的RGB空間轉(zhuǎn)換成HIS空間，通過下式計算：3. 根據(jù)權(quán)利要求書1所述的一種基于混合模型的圖像融合方法，其特征在于，步驟(2) 所述的將I分量進行分頻得到高頻部分和低頻部分是由NSCT變換進行多分辨率分解得到。4. 根據(jù)權(quán)利要求書1所述的一種基于混合模型的圖像融合方法，其特征在于，步驟(3) 所述的高頻部分采用絕對值選大法進行融合，低頻部分用第二類切比雪夫正交多項式進行 融合，所述第二類切比雪夫正交多項式融合算法如下： 在多尺度領(lǐng)域假設(shè)圖像偏移或者噪聲服從第二類切比雪夫正交多項式的混合模型，應(yīng) 用期望值最大算法估計出融合圖像。圖像的成像模型為： Zi(l) =Pis(l)+ei(l) 其中i = l，2,…，q為傳感器的序號，1表示圖像經(jīng)過NSCT變換分解后的圖像位置。Z為傳 感器的實際成像的圖像，s為真實的場景，β表示傳感器的挑選因子，06{-1，〇，1}，￡表示隨 機擾動或噪聲，則k階混合第二類切比雪夫正交多項式混合模型為：根據(jù)下式，再使用EM算法來迭代模型中的參數(shù)：其中2￥產(chǎn)1^[[〇，1]，心是余弦展開式中的截斷點，&?#/8，1^^[〇.2,0.33]，迭代 步驟如下： Step 1初始化，初始化真實場景s(l)如下：其中Wi = 1/q，使β= 1，代表能反映真實場景中的傳感器，然后再用κ-means進行初始化 分割，得到Wk,i; Step 2 E步，計算條件概率密度函數(shù)gk.nUKl))，公式如下：式中 1?=1，2，···，Κ;? = 1，2，···，α;1 = 1，2，···，?; Step 3 Μ步，將似然函數(shù)最大化迭代更新參數(shù)值 (1) 更新參數(shù)&，使得f i選擇Q最大，即：(2) 根據(jù)β、，重新計算gk.uUKl))，然后再重新計算使得s(j)更新為Slj)(3) 通過下式重新計算條件概率密度函數(shù)gk.nUKl))，以及Step 4重復(fù)Step2、Step3直到參數(shù)達到最大似然估計值。5.根據(jù)權(quán)利要求書1所述的一種基于混合模型的圖像融合方法，其特征在于，步驟(4) 所述的用口分量替換圖像中的I分量，最后利用HIS逆變換得到融合結(jié)果圖，所述逆變換公 式如下：
【文檔編號】G06T5/50GK105825491SQ201610153364
【公開日】2016年8月3日
【申請日】2016年3月17日
【發(fā)明人】陳超, 劉志, 閆青, 李強
【申請人】江蘇科技大學(xué)