專利名稱：基于塊分割的多聚焦圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于塊分割的多聚焦圖像融合方法，是信息融合領(lǐng)域中的一項多聚焦圖像信息融合方法，在光學(xué)成像、目標監(jiān)視、安全檢查等系統(tǒng)中均有廣泛應(yīng)用。
作為圖像融合研究內(nèi)容之一的多聚焦圖像融合，它是指在相同的成像條件下，鏡頭聚焦目標不同的多個圖像，通過圖像融合可得到一個所有目標都聚焦清晰的融合后圖像。在處理多聚焦圖像的融合方法中，具有代表性的方法是多分辨圖像融合方法。其基本思想就是在將輸入原圖像分解得到不同分辨率表示的基礎(chǔ)上，分別對它們進行融合運算得到一個融合的圖像多分辨率表示，經(jīng)多分辨率重構(gòu)獲得融合后圖像。然而采用多分辨率圖像融合方法對多聚焦原圖像進行融合處理所得到的融合結(jié)果，與原圖像的清晰區(qū)域相比，其對應(yīng)區(qū)域的圖像質(zhì)量有所降低；而與原圖像的模糊區(qū)域相比，其對應(yīng)區(qū)域的圖像質(zhì)量得到提高，這也就是說，多分辨率圖像融合方法通過降低圖像清晰區(qū)域的圖像質(zhì)量來提升圖像模糊區(qū)域的圖像質(zhì)量以得到目標均“清晰”的融合結(jié)果。其融合結(jié)果與理想融合結(jié)果存在一定程度的偏差，并造成圖像中一些邊緣信息的丟失。
為實現(xiàn)這樣的目的，本發(fā)明技術(shù)方案的創(chuàng)新點在于將圖像進行區(qū)域劃分并作相應(yīng)的融合處理。在將多聚焦輸入原圖像分割成若干個大小相等的塊區(qū)域的基礎(chǔ)上，在對輸入原圖像進行非降采樣小波分解后，得到圖像的低頻分量、垂直高頻分量、水平高頻分量以及對角線高頻分量的基礎(chǔ)上，以塊區(qū)域內(nèi)各點的高頻分量與低頻分量之比的絕對值之和求得的平均值作為該區(qū)域的局部對比度。以此反映圖像聚焦清晰區(qū)域與聚焦模糊區(qū)域之間的差異。在進行圖像的各區(qū)域劃分時，首先利用塊區(qū)域局部對比度將整個圖像劃分成清晰區(qū)域和模糊區(qū)域，然后再將清晰區(qū)域與模糊區(qū)域相鄰的所有塊區(qū)域劃為邊界區(qū)域，以此得到圖像的三個不同的區(qū)域劃分并以圖像區(qū)域標記圖的形式進行表示。對于清晰區(qū)域和模糊區(qū)域，由于輸入原圖像在這兩個區(qū)域是互補的，在進行融合處理時，直接選取清晰塊區(qū)域作為融合后的相應(yīng)塊區(qū)域。對于邊界區(qū)域，首先求取其中每一個像素所處的鄰域內(nèi)的低頻分量，以像素點的高頻分量與低頻分量之比的絕對值之和為像素點的對比度，最后選取輸入圖像邊界區(qū)域內(nèi)相應(yīng)像素點其鄰域內(nèi)的各點對比度之和較大的像素值為融合后該點的像素值，如此采用這種基于像素選取的方法處理邊界區(qū)域。
本發(fā)明的一種基于塊分割的多聚焦圖像融合方法包括如下具體步驟1.在將多聚焦輸入原圖像分割成若干個大小相等的塊區(qū)域后，計算圖像塊區(qū)域的局部對比度。在對輸入原圖像進行非降采樣小波分解后，得到圖像的低頻分量、垂直高頻分量、水平高頻分量以及對角線高頻分量，然后將塊區(qū)域內(nèi)各點的高頻分量與低頻分量之比的絕對值之和求得的平均值作為該區(qū)域的局部對比度。以此來反映輸入原圖像塊區(qū)域的模糊和清晰程度的不同。通過塊區(qū)域的局部對比度大小來區(qū)別塊區(qū)域的清晰程度。塊區(qū)域的清晰程度越高，其局部對比度越大，反之，塊區(qū)域越模糊，其對比度越小。另外也可采用塊區(qū)域的平均梯度或它包含的信息熵的大小來區(qū)別塊區(qū)域的清晰程度。
2.通過比較輸入圖像相對應(yīng)塊區(qū)域?qū)Ρ榷鹊拇笮?，可將整個圖像劃分成清晰區(qū)域和模糊區(qū)域。塊區(qū)域?qū)Ρ榷却蟮臑榍逦鷫K區(qū)域；對比度小的為模糊塊區(qū)域。然而，由于實際成像等因素的影響，使得個別塊區(qū)域會出現(xiàn)錯誤的劃分。為此作如下處理
1).根據(jù)輸入圖像的大小，使得圖像塊區(qū)域的選取不宜太小，一般為32*32、32*16、16*32、16*16；2).對圖像按塊區(qū)域進行逐行掃描，找出尚未歸屬的塊區(qū)域；3).以該區(qū)域為中心檢索其周圍的相鄰像素，同屬一類塊類型的將它們合并；4).以新合并的區(qū)域為中心，執(zhí)行步驟2)，檢索新區(qū)域的鄰域，直到區(qū)域不能進行擴張；5).返回步驟1)，直到未發(fā)現(xiàn)沒有歸屬的塊區(qū)域；6).對得到各區(qū)域計算其所包含塊的數(shù)量，當小于一定個數(shù)(3或5)時，改變該區(qū)域內(nèi)塊區(qū)域的所屬類型，認為是這些塊區(qū)域為錯誤選取的塊區(qū)域；當大于一定個數(shù)時，該區(qū)域內(nèi)塊區(qū)域的所屬類型不發(fā)生變化。
然后再將清晰區(qū)域與模糊區(qū)域相鄰的所有塊區(qū)域劃為邊界區(qū)域，以此得到圖像的三個不同的區(qū)域劃分。通過上述處理后，就可得到融合所需的圖像區(qū)域標記圖。
3.在得到圖像區(qū)域標記圖后，可針對不同類型的區(qū)域分別進行圖像塊的融合處理。對于清晰區(qū)域和模糊區(qū)域，由于輸入原圖像在這兩個區(qū)域是互補的，即圖像A的清晰區(qū)域?qū)?yīng)圖像B的模糊區(qū)域，反之，圖像A的模糊區(qū)域?qū)?yīng)圖像B的清晰區(qū)域。在進行融合處理時，直接選取清晰塊區(qū)域作為融合后的相應(yīng)塊區(qū)域。對于邊界區(qū)域，提出了基于對比度的像素選取融合方法進行融合處理。具體如下1).對邊界區(qū)域中的每一個像素點，求取其所處的鄰域內(nèi)的低頻分量；2).獲得該像素點的對比度。該像素點的高頻分量與低頻分量之比的絕對值之和為該像素點的對比度；3).選取輸入圖像中邊界區(qū)域內(nèi)相應(yīng)像素點鄰域內(nèi)的各點對比度之和較大的像素值為融合后該點的像素值。
4).考慮相鄰像素的相關(guān)性，對圖像中的任一像素，若其相鄰的像素均選自另一輸入原圖像，那么該像素的選取將與相鄰像素的選取相同。本發(fā)明的圖像融合方法具有如下有益效果
在對圖像區(qū)域劃分的基礎(chǔ)上，針對不同的區(qū)域進行不同的融合處理。對于清晰區(qū)域和模糊區(qū)域，直接選取清晰區(qū)域作為融合后相應(yīng)的區(qū)域，這使得融合后的這部分區(qū)域，未引入任何偏差，能夠得到最優(yōu)的圖像效果；對于圖像的邊界區(qū)域，采用基于對比度的像素選取融合方法進行融合處理，這樣能夠很好地保留圖像的邊緣信息，同時與圖像的清晰區(qū)域結(jié)合地自然、平滑，整個融合后圖像更接近于理想的融合結(jié)果。采用基于塊分割的多聚焦圖像融合方法大大提高了融合后圖像質(zhì)量，對于應(yīng)用系統(tǒng)的后續(xù)處理和圖像顯示具有重要意義和實用價值。
如圖所示，在將多聚焦輸入原圖像分割成若干個大小相等的塊區(qū)域的基礎(chǔ)上，通過比較輸入圖像相對應(yīng)塊區(qū)域?qū)Ρ榷鹊拇笮?，可將整個圖像劃分成清晰區(qū)域、模糊區(qū)域和邊界區(qū)域。在得到圖像區(qū)域標記圖后，針對不同類型的區(qū)域分別進行圖像塊的融合處理。
圖2為聚焦不同的塊區(qū)域圖像對照圖。
其中，圖2(a)，圖2(b)為第一組對照圖；圖2(c)，圖2(d)為第二組對照圖；圖2(e)，圖2(f)為第三組對照圖；圖2(g)，圖2(h)為第四組對照圖。
圖3為圖像融合結(jié)果對照。
其中，圖3(a)，圖3(b)為輸入原圖像；圖3(c)為塊區(qū)域大小為32*32的融合后圖像；圖3(d)為塊區(qū)域大小為16*16的融合后圖像；圖3(e)為拉普拉斯金字塔算法融合后圖像；圖3(f)為離散小波變換算法融合后圖像。


圖1為本發(fā)明提出的一種基于塊分割多聚焦圖像融合方法的融合方法示意圖。各部分具體實施細節(jié)如下1.圖像塊區(qū)域的局部對比度將多聚焦輸入原圖像分割成若干個大小相等的塊后，采用塊區(qū)域局部對比度來反映圖像聚焦清晰區(qū)域與聚焦模糊區(qū)域之間的差異。
圖像對比度D的定義
D＝(L-LB)/LB(1)其中，L為圖像的局部亮度，它相當于圖像局部灰度；LB為圖像的局部背景亮度，它相當于圖像局部低頻分量；那么L-LB相當于圖像局部高頻分量。這里利用小波分解來得到圖像塊區(qū)域局部對比度。假設(shè)原圖像為f，在對圖像f進行小波分解時，不進行濾波后下采樣，以確保分解后的圖像分量與原圖像大小保持不變，以便于圖像分析。設(shè)A1f、D1f、D2f和D3f分別為圖像的低頻分量、垂直高頻分量、水平高頻分量以及對角線高頻分量。圖像的塊區(qū)域局部對比度Ci可定義為Ci=1ni(Σ(m,n)∈i|D1f(m,n)A1f(m,n)|+Σ(m,n)∈i|D2f(m,n)A1f(m,n)|+Σ(m,n)∈i|D3f(m,n)A1f(m,n)|)---(2)]]>其中i為圖像塊；ni為圖像塊中的像素數(shù)；圖2給出了四組聚焦不同的塊區(qū)域圖，表1給出其相應(yīng)的對比度結(jié)果。
表1圖像塊的對比度結(jié)果

2.圖像各區(qū)域的劃分設(shè)CiX為圖像X的第i塊區(qū)域的局部對比度；IiX(x，y)為圖像X的第i塊區(qū)域內(nèi)的像素灰度值。那么對圖像A有

同理，對于圖像B有

對于灰度值等于0的塊區(qū)域，其表示為模糊塊區(qū)域；灰度值等于1的塊區(qū)域表示為清晰塊區(qū)域。將清晰塊與模糊塊相鄰的這些塊區(qū)域?qū)⑵浠叶戎底優(yōu)?，定為邊界塊區(qū)域。由此，能夠得到一幅圖像區(qū)域標記圖。就一般情況而言，若如此來劃分區(qū)域，邊界塊區(qū)域絕大多數(shù)分布在清晰區(qū)域與模糊區(qū)域的交界處，但是由于實際成像等因素的影響，使得個別邊界塊區(qū)域分布在清晰區(qū)域和模糊區(qū)域中，區(qū)域劃分不理想。為此，需要進行某些處理之后，再來確定邊界區(qū)域。
首先對圖像塊的大小進行選取時，從大量的仿真中可知，圖像塊不宜選取得太小(相對于整個圖像而言)，否則會增加邊界塊區(qū)域在清晰區(qū)域和模糊區(qū)域中的存在，出現(xiàn)塊的錯誤選取，融合后圖像會有明顯的塊效應(yīng)；若圖像塊選取太大，那么邊界區(qū)域會變大，這會影響圖像的融合結(jié)果，使得其融合效果不能有較大幅度的提高。圖像塊的大小一般選取為32*32、32*16、16*32、16*16。
若整個圖像中的任何一個塊區(qū)域或相連的若干個同類塊區(qū)域它們的所有相鄰塊區(qū)域均為另一類塊區(qū)域，那么規(guī)定這樣的塊區(qū)域或若干相連同類塊區(qū)域的類型發(fā)生改變，將變成相鄰塊區(qū)域的類型。那么也就是說，只有超過一定個數(shù)的相連同類塊區(qū)域才能構(gòu)成一類區(qū)域，否則將被認為是選取錯誤的塊區(qū)域。選取相鄰的塊區(qū)域的個數(shù)為不超過3(或5)，超過3(或5)塊的相連塊區(qū)域就被認為是一個區(qū)域。這樣通過上述處理后，就可得到融合所需的圖像區(qū)域標記圖。
3.塊區(qū)域的融合處理在得到圖像區(qū)域標記圖后，可針對不同類型的區(qū)域分別進行圖像塊的融合處理。
對于清晰區(qū)域和模糊區(qū)域，由于輸入原圖像在這兩個區(qū)域是互補的，即圖像A的清晰區(qū)域?qū)?yīng)圖像B的模糊區(qū)域，反之，圖像A的模糊區(qū)域?qū)?yīng)圖像B的清晰區(qū)域。在進行融合處理時，直接選取清晰塊區(qū)域作為融合后的相應(yīng)塊區(qū)域。
對于邊界區(qū)域，在計算圖像塊區(qū)域的局部對比度時的小波分解基礎(chǔ)上提出了基于對比度的像素選取融合方法進行處理。
第一步對邊界區(qū)域中的每一個像素點，求取其所處的鄰域內(nèi)的低頻分量AZ。AZ=1nZΣ(m,n)∈ZA1f(m,n)---(5)]]>其中，nZ為鄰域Z內(nèi)的像素個數(shù)；A1f(m，n)為(m，n)像素點的低頻分量。
第二步獲得(m，n)像素點的對比度。

其中，D1f(m，n)、D2f(m，n)和D3f(m，n)分別為(m，n)像素點的垂直高頻分量、水平高頻分量以及對角線高頻分量。
第三步基于對比度進行像素的選取。

其中，F(xiàn)(m，n)為融合后選取的像素值；IA(m，n)，IB(m，n)為輸入原圖像的像素值；X為(m，n)的鄰域。
第四步考慮相鄰像素的相關(guān)性，對圖像中的任一像素，若其相鄰的像素均選自另一輸入原圖像，那么該像素的選取將與相鄰像素的選取相同。
圖3所示為基于塊分割多聚焦圖像融合方法與小波變換融合方法及拉普拉斯金字塔融合方法的融合結(jié)果對照；表2為相應(yīng)的融合結(jié)果性能評價。
表2圖像融合結(jié)果指標評價

權(quán)利要求
1.一種基于塊分割的多聚焦圖像融合方法，其特征在于包括如下具體步驟1)在對輸入原圖像進行非降采樣小波分解后，獲取圖像的低頻分量、垂直高頻分量、水平高頻分量以及對角線高頻分量，將塊區(qū)域內(nèi)各點的高頻分量與低頻分量之比的絕對值之和求得的平均值作為該區(qū)域的局部對比度；2)利用塊區(qū)域局部對比度將整個圖像劃分成清晰區(qū)域和模糊區(qū)域，然后再將清晰區(qū)域與模糊區(qū)域相鄰的所有塊區(qū)域劃為邊界區(qū)域，以此得到圖像的三個不同的區(qū)域劃分，通過限制圖像塊區(qū)域的大小及規(guī)定只有超過一定個數(shù)的相連同類塊區(qū)域才能構(gòu)成一類區(qū)域的方法來消除錯誤選取的圖像塊區(qū)域，得到融合所需的圖像區(qū)域標記圖；3)進行塊區(qū)域的融合處理，對于清晰區(qū)域和模糊區(qū)域，直接選取清晰塊區(qū)域作為融合后的相應(yīng)塊區(qū)域，對于邊界區(qū)域，在計算圖像塊區(qū)域的局部對比度時的小波分解基礎(chǔ)上，求取其中每一個像素所處的鄰域內(nèi)的低頻分量，以像素點的高頻分量與低頻分量之比的絕對值之和為像素點的對比度，最后選取輸入圖像邊界區(qū)域內(nèi)相應(yīng)像素點其鄰域內(nèi)的各點對比度之和較大的像素值為融合后該點的像素值。
全文摘要
一種基于塊分割的多聚焦圖像融合方法，在將多聚焦輸入原圖像分割成若干個大小相等的塊區(qū)域的基礎(chǔ)上，對每個塊區(qū)域求取其局部對比度來反映圖像聚焦清晰區(qū)域與聚焦模糊區(qū)域之間的差異。利用塊區(qū)域局部對比度將整個圖像劃分成清晰區(qū)域和模糊區(qū)域，再將清晰區(qū)域與模糊區(qū)域相鄰的所有塊區(qū)域劃為邊界區(qū)域，得到圖像的三個不同的區(qū)域劃分并以圖像區(qū)域標記圖的形式進行表示。對于清晰區(qū)域和模糊區(qū)域，直接選取清晰塊區(qū)域作為融合后的相應(yīng)塊區(qū)域，對于邊界區(qū)域，采用基于對比度的像素選取融合方法進行融合處理。本發(fā)明使融合后的圖像質(zhì)量得到大幅度地提高，對于各種應(yīng)用系統(tǒng)的后續(xù)處理和圖像顯示具有重要意義和實用價值。
文檔編號G06T7/60GK1402191SQ0213705
公開日2003年3月12日 申請日期2002年9月19日 優(yōu)先權(quán)日2002年9月19日
發(fā)明者敬忠良, 李建勛, 王宏 申請人:上海交通大學(xué)