一種基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法
【專(zhuān)利摘要】本發(fā)明請(qǐng)求保護(hù)一種基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，本發(fā)明首先對(duì)需要融合的多幅圖像進(jìn)行分塊處理，得到m個(gè)n×n的塊。其次，分別對(duì)每一個(gè)塊進(jìn)行離散正交多項(xiàng)式變換，得到對(duì)應(yīng)的變換系數(shù)，利用空間頻率SF與離散正交多項(xiàng)式變換系數(shù)之間的關(guān)系得到每一個(gè)塊的空間頻率大小。然后，比較多幅圖像對(duì)應(yīng)的每一塊的空間頻率大小，根據(jù)空間頻率最大的融合規(guī)則融合多幅圖像。最后，將融合后的圖像進(jìn)行一致性驗(yàn)證，得到融合后的圖像。相較于傳統(tǒng)的多聚焦圖像融合方法，該方法首創(chuàng)性的用到了離散多項(xiàng)式變換域，并將圖像的空間頻率與離散多項(xiàng)式變換系數(shù)建立了聯(lián)系，節(jié)省了融合的時(shí)間，并有效的提高了圖像的融合效果。
【專(zhuān)利說(shuō)明】
一種基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，屬于數(shù)字圖像處 理、機(jī)器視覺(jué)的技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 視覺(jué)是人類(lèi)從大自然中獲取信息的最主要的手段。據(jù)統(tǒng)計(jì)，在人類(lèi)獲取的信息中， 視覺(jué)信息約占60%。由此可見(jiàn)，視覺(jué)信息對(duì)于人類(lèi)的重要性，而圖像正是人類(lèi)獲取視覺(jué)信息 的主要途徑。從20世紀(jì)60年代起，隨著計(jì)算機(jī)技術(shù)的不斷提高和普及，圖像在人類(lèi)生活中開(kāi) 始發(fā)揮著越來(lái)越重要的作用，隨之，數(shù)字圖像處理進(jìn)入高速發(fā)展時(shí)期。
[0003] 所謂數(shù)字圖像處理就是利用數(shù)字計(jì)算機(jī)或者其他數(shù)字硬件，對(duì)從圖像信息轉(zhuǎn)換而 得的電信號(hào)進(jìn)行某些數(shù)學(xué)運(yùn)算，以提高圖像的實(shí)用性，滿足人的視覺(jué)心里和應(yīng)用需求?？偟?來(lái)說(shuō)，數(shù)字圖像處理主要包括：（1)圖像變換；（2)圖像編碼壓縮：（3)圖像增強(qiáng)和復(fù)原；（4)圖 像分割；（5)圖像融合。在實(shí)際應(yīng)用中，根據(jù)不同的情況采取相應(yīng)的措施以滿足人類(lèi)的視覺(jué) 需求。
[0004] 多聚焦圖像融合是多元圖像融合領(lǐng)域的一個(gè)重要分支，主要用于同一光學(xué)傳感器 在相同成像條件下獲取的聚焦目標(biāo)不同的多幅圖像的融合處理。由于光學(xué)鏡頭的聚焦范圍 有限，光學(xué)成像系統(tǒng)不能將焦點(diǎn)內(nèi)外的所有目標(biāo)同時(shí)清晰成像，導(dǎo)致圖像分析時(shí)需要耗費(fèi) 大量時(shí)間和精力。多聚焦圖像融合是一種解決光學(xué)成像系統(tǒng)聚焦范圍局限性問(wèn)題的有效方 法，可以有效提高圖像信息的利用率，擴(kuò)大系統(tǒng)工作范圍，增強(qiáng)系統(tǒng)可靠性，更加準(zhǔn)確的描 述場(chǎng)景中的目標(biāo)信息。
[0005] 本文所提出的基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，首次將離散正交 多項(xiàng)式變換應(yīng)用到多聚焦圖像融合領(lǐng)域，并巧妙的利用了空間頻率與離散正交多項(xiàng)式變換 系數(shù)之間的關(guān)系，直接通過(guò)離散正交多項(xiàng)式變換系數(shù)得到空間頻率的大小。避免了將離散 正交多項(xiàng)變換系數(shù)逆變換到空域再計(jì)算空間頻率的過(guò)程，為多聚焦圖像融合的過(guò)程節(jié)省了 時(shí)間，提高了融合效果。

【發(fā)明內(nèi)容】

[0006] 針對(duì)以上技術(shù)的不足，提出了一種方法。本發(fā)明的技術(shù)方案如下:一種基于離散正 交多項(xiàng)式變換的多聚焦圖像融合方法，其包括以下步驟：
[0007] 步驟一:首先對(duì)待融合的多幅圖像進(jìn)行分塊處理，得到m個(gè)nXn的圖像塊，n表示圖 像塊矩陣的維數(shù)；
[0008] 步驟二:分別對(duì)步驟一的每一個(gè)圖像塊的矩陣進(jìn)行離散正交多項(xiàng)式變換，得到每 一個(gè)圖像塊對(duì)應(yīng)的離散正交多項(xiàng)式變換矩陣F;
[0009] 步驟三：利用空間頻率SF與離散正交多項(xiàng)式變換系數(shù)之間的推導(dǎo)關(guān)系公式
E(u，v)為對(duì)應(yīng)的加權(quán)系數(shù)，得到每一個(gè)圖像塊的空間 頻率SF大小，然后比較多幅待融合圖像對(duì)應(yīng)的每個(gè)圖像塊的空間頻率SF大小，根據(jù)空間頻 率SF最大的融合規(guī)則融合多幅圖像；
[0010]步驟四：將融合后的圖像進(jìn)行一致性驗(yàn)證，消除塊效應(yīng)，最后得到融合后的圖像。
[0011] 進(jìn)一步的，步驟二中根據(jù)正交多項(xiàng)式變換方法，得到圖像中每個(gè)塊對(duì)應(yīng)的正交多 項(xiàng)式變換系數(shù)的離散正交多項(xiàng)式變換公式如下：
[0012] F = C*f*Ct (1)
[0013] 其中，f為nXn待融合的圖像塊矩陣，C為離散正交多項(xiàng)式變換矩陣，滿足實(shí)數(shù)矩 陣、正交矩陣和酉矩陣三個(gè)特性，C矩陣大小為nXn，（和待融合圖像塊的n維數(shù)一樣)每行代 表不同階數(shù)的離散正交多項(xiàng)式，C為C的轉(zhuǎn)置矩陣，
[0014]當(dāng)n = 8時(shí)，典型的8X8離散切比雪夫正交多項(xiàng)式變換矩陣系數(shù)如下： _ 0.3536 0.3536 0,3536 0.3536 0.3536 0.3536 0.3536 0.3536' -0.5401 -0.3H58 -0.2315 -0.0772 0 0772 0.2315 0.3858 0.5401 0.5401 0.0772 -0.2315 -0.3858 -0.3858 -0.2315 0.0772 0.5401 , -0.4308 0.3077 0.430S 0.1846 -0.1846 -0,4308 -0.3077 0.4308 L0015」 -〇2s2〇 -0.5238 -0.1209 0.3626 0.3626 -0.1109 -0.5538 0.2820 -0.1-198 0.4922 -0,3638 -0.3210 0.3210 0.3638 -0.4922 0.1498 0.0615 -0.3077 0.5539 -0.3077 -0.3077 0.5539 -0.3077 0.0615 -0.017J 0.1J95 -0.3585 0.5974 -0.5974 0.3585 -0.1J95 0.0171
[0016] 離散正交多項(xiàng)式變換的逆變換公式如下：
[0017] f = Ct*F*C (2)。
[0018]進(jìn)一步的，所述步驟三中，n=8時(shí)對(duì)應(yīng)的加權(quán)系數(shù)
[0019] 8X8的E(u，v)矩陣系數(shù)如下： "0 0,1667 0.6667 1,3788 2.0909 2.7051 3.2424 3.7497" 0.1667 0.3333 0.8333 1.5455 2,2576 2.8718 3.4091 3.9161 0.6667 0.8333 1.3333 2.0455 2.7576 3.3718 3.9091 4.4161 1.3788 1.5455 2.0455 2.7576 3.4697 4.0839 4.6212 5.1282
[0020] E. = . . . 〇 2.0909 2.2576 2.7576 3.4697 4.1818 4.7%〇 5.3333 5.8403 2.7051 2.87)8 3.37)8 4.0839 4.7960 5.4103 5.9476 6.4545 3.2424 3.4091 3.9091 4.6212 5.3333 5.9476 6.4848 6.9918 3.7497 3.9161 4,4161 5.1282 5.8403 6.4545 6.9918 7.4988
[0021] 進(jìn)一步的，所述步驟四的一致性驗(yàn)證應(yīng)用多數(shù)篩選法，即如果合成圖像中的某個(gè) 系數(shù)來(lái)自于圖像X，而這個(gè)系數(shù)鄰域內(nèi)的其他系數(shù)以來(lái)自于圖像Y的居多，則將其修正為來(lái) 自圖像Y，鄰域選用3x3或5x5的模板；
[0022] 進(jìn)一步的，所述多數(shù)篩選法具體包括步驟：
[0023] 將計(jì)算后的對(duì)應(yīng)圖像塊的空間頻率值進(jìn)行比較，創(chuàng)建一個(gè)決策圖w記錄特征比較 結(jié)果，規(guī)則如下： 1 SFA.^SFB^.
[0024] wi4 = | -1 SFA^. < SFB, , (3) 0 otherwise
[0025]其中A、B表示待融合的兩幅輸入圖像，SFAi, j、SFBi,」分別表示A、B圖像通過(guò)公式(3) 計(jì)算得到的空間頻率。
[0026] 采用一個(gè)nxn的濾波器獲得最終的決策圖R:
[0027] Ritj - ￡ ￡ H，v,r ⑷ 1 v=v-l
[0028] 最后，根據(jù)決策圖R進(jìn)行融合： 'A,, /?,',>〇
[0029] 巧,廣< B,, /?,,<0 (5) JA,.+B,.)/2 <,=0
[0030] 本發(fā)明的優(yōu)點(diǎn)及有益效果如下：
[0031] 本發(fā)明相較于傳統(tǒng)的多聚焦圖像融合方法，本方法首創(chuàng)性的提出基于離散正交多 項(xiàng)式變換域的圖像融合，并將圖像塊的空間頻率(SF)與離散正交多項(xiàng)式變換系數(shù)建立了聯(lián) 系，節(jié)省了融合的時(shí)間，并有效的提高了圖像的融合效果。
[0032]基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，目標(biāo)是利用離散正交多項(xiàng)式變 換系數(shù)與空間頻率之間的關(guān)系，直接通過(guò)離散正交多項(xiàng)式變換系數(shù)計(jì)算每一個(gè)對(duì)應(yīng)圖像塊 的空間頻率大小。然后通過(guò)比較對(duì)應(yīng)圖像塊，按照空間頻率最大的原則進(jìn)行多聚焦圖像融 合。這一方法首創(chuàng)性的將正交多項(xiàng)式變換應(yīng)用到多聚焦圖像融合中，并巧妙的利用了正交 多項(xiàng)式變換系數(shù)與空間頻率之間的關(guān)系快速的得到對(duì)應(yīng)圖像塊的空間頻率大小，節(jié)省了融 合時(shí)間并且提高了融合效果，滿足了圖像在多聚焦圖像融合方面的需求。
【附圖說(shuō)明】
[0033] 圖1是本發(fā)明提供優(yōu)選實(shí)施例基于離散正交多項(xiàng)式變換的多聚焦圖像融合的流程 圖；
[0034] 圖2是本發(fā)明一個(gè)實(shí)施例待融合的圖像A和B:
[0035] 圖3是采用本發(fā)明方法融合后的圖像。
【具體實(shí)施方式】
[0036] 以下結(jié)合附圖，對(duì)本發(fā)明作進(jìn)一步說(shuō)明：
[0037]如圖1所示，一種基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，包括如下步 驟：
[0038]第一步:首先對(duì)待融合的多幅圖像進(jìn)行分塊處理，得到m個(gè)nXn的圖像塊；
[0039]第二步:分別對(duì)每一個(gè)圖像塊進(jìn)行離散正交多項(xiàng)式變換，得到對(duì)應(yīng)的離散正交多 項(xiàng)式變換系數(shù)；
[0040] 第三步：利用空間頻率（SF)與離散正交多項(xiàng)式變換系數(shù)之間的推導(dǎo)關(guān)系公式
得到每一個(gè)塊的空間頻率大小，然后比較多幅待融合圖 像對(duì)應(yīng)的每一塊的空間頻率大小，根據(jù)空間頻率最大的融合規(guī)則融合多幅圖像；
[0041] 第四步:將融合后的圖像進(jìn)行一致性驗(yàn)證，最后得到融合后的圖像。
[0042]為了驗(yàn)證本發(fā)明的效果，進(jìn)行了如下實(shí)驗(yàn)：
[0043] 在一臺(tái)計(jì)算機(jī)上進(jìn)行驗(yàn)證實(shí)驗(yàn)，該計(jì)算機(jī)的配置為i5處理器(3GHz)和8G內(nèi)存，編 程語(yǔ)言為MATLAB 2012b。
[0044] 實(shí)驗(yàn)方法：
[0045] 如圖2所示為在本實(shí)驗(yàn)過(guò)程中，所選用的圖像是柯達(dá)圖像數(shù)據(jù)庫(kù)中的圖像，待融合 的2幅圖像分別為同一場(chǎng)景下不同部位聚焦的圖像。通過(guò)本發(fā)明提出的基于離散正交多項(xiàng) 式變換的圖像融合方法，對(duì)多聚焦圖像的清晰部位進(jìn)行融合，得到最后的融合圖像見(jiàn)圖3;
[0046] 以下為圖像塊的空間頻率(SF)與離散正交多項(xiàng)式變換系數(shù)之間關(guān)系推導(dǎo)過(guò)程，空 間頻率（SF)的定義為行頻率(Row Frequency，RF)與列頻率(Co lumn Frequency，CF)的平方 和：
[0047] SF2 = RF2+CF2 (6)
[0048]其中行頻率(RF)定義如下：
(7)
[0050] 同理，列頻率(RF)定義如下：
(8)
[0052]為得到空間頻率與離散正交多項(xiàng)式變換系數(shù)之間的關(guān)系，設(shè)如下3個(gè)nXn矩陣：
[0056] 可以得到如下關(guān)系： Av - fh - CFCCBC = CFBC ,、
[0057] A 1 A；,- - b' f = (CBCy CFC - CB'FC
[0058] 其中C為nXn離散多項(xiàng)式變換矩陣，f為待融合的nXn圖像塊，F(xiàn)，B分別為f，b離散 正交多項(xiàng)式變換后的系數(shù)。由于：
[0059] trace (f f *) = trace (FF*) ； trace (AB ) = trace (BA) (A_2)
[0060] 其中trace( ?)為矩陣的跡。所以，
[0064] 其中：
[0065] D = B*Bt (A-6)
[0066] E(u,v) = (D(u,u)+D(v,v)) (A_7)
[0067] 8\8的￡(11^)矩陣系數(shù)如下： _ 0 0.1667 0.6667 1.3788 2.0909 2.7051 3.2424 3.7497' 0.1667 0.3333 0.8333 1.5455 2.2576 2.8718 3.4091 3.9161 0.6667 0.8333 1.3333 2.0455 2,7576 3,3718 3.9091 4.4161 1.3788 1.5455 2.0455 2.7576 3.4697 4.0839 4.6212 5.1282
[0068] E=.. ....... 2.0909 2.2576 2.7576 3.4697 4.1818 4.7960 5.3333 5.8403 2.7051 2.8718 3.3718 4.0839 4.7960 5.4103 5.9476 6.4545 3.2424 3.4091 3.9091 4.6212 5.3333 5.9476 6.4848 6.9918 3.7497 3.916! 4.4161 5.1282 5.8403 6.4545 6.9918 7.4988
[0069] 以上這些實(shí)施例應(yīng)理解為僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的保護(hù)范圍。在 閱讀了本發(fā)明的記載的內(nèi)容之后，技術(shù)人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等效變 化和修飾同樣落入本發(fā)明權(quán)利要求所限定的范圍。
【主權(quán)項(xiàng)】
1. 一種基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，其特征在于，包括以下步驟： 步驟一:首先對(duì)待融合的多幅圖像進(jìn)行分塊處理，得到m個(gè)nXn的圖像塊，η表示圖像塊 矩陣的維數(shù)； 步驟二:分別對(duì)步驟一的每一個(gè)圖像塊的矩陣進(jìn)行離散正交多項(xiàng)式變換，得到每一個(gè) 圖像塊對(duì)應(yīng)的離散正交多項(xiàng)式變換矩陣F; 步驟三：利用空間頻率SF與離散正交多項(xiàng)式變換系數(shù)之間的推導(dǎo)關(guān)系公式E(u，v)為對(duì)應(yīng)的加權(quán)系數(shù)，得到每一個(gè)圖像塊的空間 頻率SF大小，然后比較多幅待融合圖像對(duì)應(yīng)的每個(gè)圖像塊的空間頻率SF大小，根據(jù)空間頻 率SF最大的融合規(guī)則融合多幅圖像； 步驟四：將融合后的圖像進(jìn)行一致性驗(yàn)證，消除塊效應(yīng)，最后得到融合后的圖像。2. 根據(jù)權(quán)利要求1所述的基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，其特征在 于，步驟二中根據(jù)正交多項(xiàng)式變換方法，得到圖像中每個(gè)塊對(duì)應(yīng)的正交多項(xiàng)式變換系數(shù)的 離散正交多項(xiàng)式變換公式如下： F = Of^Ct (1) 其中，f為nXn待融合的圖像塊矩陣，C為離散正交多項(xiàng)式變換矩陣，滿足實(shí)數(shù)矩陣、正 交矩陣和酉矩陣三個(gè)特性，C矩陣大小為ηΧη，每行代表不同階數(shù)的離散正交多項(xiàng)式，CtSC 的轉(zhuǎn)置矩陣， 當(dāng)η = 8時(shí)，典型的8X8離散切比雪夫正交多項(xiàng)式變換矩陣系數(shù)如下：離散正交多項(xiàng)式變換的逆變換公式如下： f = Ct*F*C (2)。3. 根據(jù)權(quán)利要求2所述的基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，其特征在 于，所述步驟三中，n = 8時(shí)對(duì)應(yīng)的加權(quán)系數(shù) 8X8的E(u，V)矩陣系數(shù)如下：4. 根據(jù)權(quán)利要求3所述的基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，其特征在 于，所述步驟四的一致性驗(yàn)證應(yīng)用多數(shù)篩選法，即如果合成圖像中的某個(gè)系數(shù)來(lái)自于圖像 X，而這個(gè)系數(shù)鄰域內(nèi)的其他系數(shù)以來(lái)自于圖像Y的居多，則將其修正為來(lái)自圖像Y，鄰域選 用3x3或5x5的模板。5.根據(jù)權(quán)利要求4所述的基于離散正交多項(xiàng)式變換的多聚焦圖像融合方法，其特征在 于，所述多數(shù)篩選法具體包括步驟： 將計(jì)算后的對(duì)應(yīng)圖像塊的空間頻率值進(jìn)行比較，創(chuàng)建一個(gè)決策圖w記錄特征比較結(jié)果， 規(guī)則如下：其中A、B表示待融合的兩幅輸入圖像，SFA1^SFBu分別表示A、B圖像通過(guò)公式⑶計(jì)算 得到的空間頻率。 采用一個(gè)ηχη的濾波器獲得最終的決策圖R:最后，根據(jù)決策圖R進(jìn)行融合：
【文檔編號(hào)】G06T5/50GK105931209SQ201610213236
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年4月7日
【發(fā)明人】肖斌, 姜彥君, 李偉生, 王國(guó)胤
【申請(qǐng)人】重慶郵電大學(xué)