多聚焦序列圖像融合方法
【專利摘要】一種多聚焦圖像融合方法，其包括以下步驟：1)計(jì)算兩幅聚焦于同一場(chǎng)景中不同位置圖像的平均值圖像，并將該平均值轉(zhuǎn)化到LUV色彩空間；2)采用Mean-Shift方法對(duì)平均圖像進(jìn)行分割，至少形成兩個(gè)自然分割區(qū)域；3)以每一個(gè)自然分割區(qū)域?yàn)樽饔糜?，采用清晰度評(píng)價(jià)因子SF進(jìn)行區(qū)域清晰度的量化計(jì)算，確定相對(duì)較大清晰度評(píng)價(jià)因子SF值所對(duì)應(yīng)的區(qū)域，建立分割標(biāo)記圖；4)利用形態(tài)學(xué)濾波方法去除分割標(biāo)記圖中清晰區(qū)域和模糊區(qū)域相鄰區(qū)域的二義性，得到處理后的分割標(biāo)記圖；5)從序列圖像中提取標(biāo)記對(duì)應(yīng)的像素并將該像素融合為最終的大景深清晰圖像。本發(fā)明不但能有效拓展光學(xué)成像系統(tǒng)的景深，且能極大提升融合圖像的主客觀品質(zhì)。
【專利說(shuō)明】多聚焦序列圖像融合方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于光學(xué)圖像處理領(lǐng)域，涉及一種多聚焦序列圖像融合方法，尤其涉及一種基于Mean-Shift彩色圖像分割的Reg1n Based應(yīng)用于拓展光學(xué)成像系統(tǒng)景深的彩色或具有灰度序列圖像的多聚焦序列圖像融合方法。

【背景技術(shù)】
[0002]由于光學(xué)鏡頭景深的限制，成像系統(tǒng)通常只能對(duì)物方一定區(qū)域以內(nèi)的目標(biāo)清晰成像，而超出這一區(qū)域的目標(biāo)則無(wú)法被清晰成像。較淺的光學(xué)景深對(duì)目標(biāo)屬性的識(shí)別是不利的，一個(gè)典型的例子就是顯微成像系統(tǒng)(Microscopic System)。高數(shù)值孔徑的顯微成像系統(tǒng)雖然具備較高的空間分辨率，但其所具有的光學(xué)景深非常之淺，以至于每次只能針對(duì)目標(biāo)樣本極薄的一個(gè)縱切面進(jìn)行清晰成像。此時(shí)，為了獲得完整的樣本圖像信息，就必須不斷調(diào)節(jié)對(duì)焦平面。然而，這種方式既費(fèi)時(shí)又費(fèi)力，而且無(wú)法利用一幅圖像完成對(duì)樣本特征的準(zhǔn)確提取和判別。因此，擴(kuò)展光學(xué)成像系統(tǒng)的景深就成為了學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)，而多聚焦圖像融合是實(shí)現(xiàn)這一目的有效技術(shù)途徑之一。
[0003]改變光學(xué)鏡頭的對(duì)焦平面位置，就可以獲得對(duì)焦于目標(biāo)場(chǎng)景中不同深度位置的多聚焦圖像序列。每一幅位于序列中的圖像，都由聚焦清晰的像素集合和散焦的像素集合組成。如果能夠?qū)⑦@些圖像中的清晰像素提取出來(lái)并再次組合，那么就可以構(gòu)建一幅場(chǎng)景中不同深度位置都清晰的大景深圖像——這就是多聚焦序列圖像融合的基本思路。多聚焦序列圖像融合既可以在空間域進(jìn)行，也可以在頻率域進(jìn)行。在空間域，依靠清晰度評(píng)價(jià)因子FM (Focus Measure),就能夠從序列圖像中識(shí)別并找出目標(biāo)場(chǎng)景各個(gè)空間位置處最清晰的像素，從而直接融合獲得大景深圖像。在頻率域，序列圖像首先被轉(zhuǎn)化到變換域，比如離散傅里葉變換域、小波變換域等；之后，選出各頻率分量中的系數(shù)最大值作為融合圖像相應(yīng)頻率的系數(shù)；最后通過(guò)反變換得到大景深圖像。
[0004]對(duì)于空間域融合來(lái)說(shuō)，清晰度評(píng)價(jià)因子的計(jì)算是最為重要的第一環(huán)。根據(jù)計(jì)算FM作用域的不同，空間域多聚焦序列圖像融合方法可以被分為三類:像素級(jí)融合(PixelBased)、規(guī)則分塊級(jí)融合(Block Based)以及不規(guī)則分區(qū)域級(jí)融合(Reg1n Based)。
[0005]由于清晰度評(píng)價(jià)因子FM本質(zhì)上屬于高頻濾波算子，所以圖像中的噪聲，尤其是平坦區(qū)域會(huì)對(duì)其計(jì)算的準(zhǔn)確性帶來(lái)干擾。因此，在實(shí)施像素級(jí)融合時(shí)，一方面，依靠評(píng)價(jià)因子給出的目標(biāo)圖像相應(yīng)空間位置處最清晰的像素屬于序列中哪一幅圖像的判斷可能出現(xiàn)錯(cuò)誤；另一方面，由于計(jì)算所采用的信息僅僅來(lái)自于該像素周?chē)鷺O為有限的鄰域，所以像素之間的物理關(guān)聯(lián)并不能被反應(yīng)出來(lái)。在這種情況下，就會(huì)出現(xiàn)聚焦清晰像素與散焦像素相互滲透，嚴(yán)重耦合，互為類似噪聲的現(xiàn)象(圖1中原始場(chǎng)景左邊清晰右邊模糊，圖2中原始場(chǎng)景左邊模糊右邊清晰，圖3中深色代表融合圖像該位置的像素來(lái)自于原始場(chǎng)景的左邊，而淺色則代表來(lái)自于原始場(chǎng)景的右邊)(如圖1、圖2以及圖3所示)，從而需要復(fù)雜的后處理算法進(jìn)行修正。此時(shí)，融合圖像的視覺(jué)品質(zhì)就難以保證，甚至可能出現(xiàn)融合失敗的情況。
[0006]為了提升融合圖像的品質(zhì)，規(guī)則分塊級(jí)融合方法(Block Based)被提出。這種方法首先將圖像分割為NxN個(gè)規(guī)則區(qū)域，之后將每一個(gè)塊作為清晰度評(píng)價(jià)因子FM計(jì)算的作用域。對(duì)于每一個(gè)塊，給出一個(gè)清晰與否的判斷，并將挑選出的塊作為最小單元獲取融合圖像。然而，這種方法有可能會(huì)在相鄰兩個(gè)塊連接的邊緣出現(xiàn)明顯的人工融合邊界。另外，當(dāng)每一個(gè)區(qū)域只有一個(gè)像素時(shí)，這種方法實(shí)際上就退化成了像素級(jí)的融合方法。因此，當(dāng)每一個(gè)分割塊所含像素較少時(shí)，依然存在如圖3所示情況的可能。
[0007]考慮到像素級(jí)融合和規(guī)則分塊級(jí)融合所存在的天然缺陷，不規(guī)則區(qū)域級(jí)融合方法(Reg1n Based)被提出。在這種融合方法中，首先利用圖像分割算法獲得多個(gè)自然分割區(qū)域，并以此作為清晰度評(píng)價(jià)因子FM計(jì)算的作用域。與規(guī)則分塊級(jí)融合方法相比，這種方法最大的優(yōu)勢(shì)在于保證像素之間的物理關(guān)系不被人為地破壞(比如人像圖像中屬于臉部的像素依然被劃分到同一個(gè)集合中)，因而從根源上消除了誤識(shí)別清晰像素和散焦像素的相互干擾問(wèn)題，而且由于更加符合人眼觀察事物特征的規(guī)律，所以從理論上來(lái)講，其所獲得的最終的融合圖像品質(zhì)在上述三種方法中應(yīng)該是最高的。因此，不規(guī)則區(qū)域級(jí)融合方法(Reg1n Based)成為了目前研究的熱點(diǎn)。
[0008]目前，已有的文獻(xiàn)中針對(duì)該類方法的研究存在兩個(gè)明顯的問(wèn)題:(I)多采用兩幅圖像進(jìn)行，這對(duì)融合效果的驗(yàn)證過(guò)于簡(jiǎn)化，因?yàn)楫?dāng)序列圖像的數(shù)量大于2時(shí)，算法的適用性將有待考量；(2)融合多在灰度或亮度空間進(jìn)行，不符合現(xiàn)有彩色圖像占主流應(yīng)用的現(xiàn)狀，而且針對(duì)彩色圖像的分割和清晰度評(píng)價(jià)從策略上與單通道應(yīng)用存在差別。


【發(fā)明內(nèi)容】

[0009]為了解決【背景技術(shù)】中存在的上述技術(shù)問(wèn)題，本發(fā)明提供了一種不但能有效拓展光學(xué)成像系統(tǒng)的景深且能極大提升融合圖像的主客觀品質(zhì)的多聚焦序列圖像融合方法。
[0010]本發(fā)明的技術(shù)解決方案是:本發(fā)明提供了一種多聚焦圖像融合方法，其特殊之處在于:所述多聚焦圖像融合方法包括以下步驟:
[0011]I)計(jì)算兩幅聚焦于同一場(chǎng)景中不同位置的圖像的平均圖像并將該平均值轉(zhuǎn)化到LUV色彩空間；
[0012]2)在LUV色彩空間中，采用Mean-Shift方法對(duì)步驟I)所獲得的兩幅聚焦于同一場(chǎng)景中不同位置的圖像的平均圖像進(jìn)行分割，至少形成兩個(gè)自然分割區(qū)域；
[0013]3)以每一個(gè)自然分割區(qū)域?yàn)樽饔糜?，采用清晰度評(píng)價(jià)因子SF在LUV色彩空間中的作用域進(jìn)行區(qū)域清晰度的量化計(jì)算，確定相對(duì)較大清晰度評(píng)價(jià)因子SF值所對(duì)應(yīng)的區(qū)域，同時(shí)根據(jù)該相對(duì)較大清晰度評(píng)價(jià)因子SF值所對(duì)應(yīng)的區(qū)域建立分割標(biāo)記圖；
[0014]4)利用形態(tài)學(xué)濾波方法去除由步驟3)所獲得的分割標(biāo)記圖中清晰區(qū)域和模糊區(qū)域相鄰區(qū)域的二義性，得到處理后的分割標(biāo)記圖；
[0015]5)以步驟4)所得到的處理后的分割標(biāo)記圖為基礎(chǔ)，從序列圖像中提取標(biāo)記對(duì)應(yīng)的像素并將該像素融合為最終的大景深清晰圖像。
[0016]一種基于如上所述的多聚焦圖像融合方法的多聚焦序列圖像融合方法，其特殊之處在于:所述多聚焦序列圖像融合方法包括以下步驟:
[0017]I)獲取同一場(chǎng)景的不同位置的圖像；
[0018]2)判斷步驟I)所獲取的圖像是否是多序列，若是則進(jìn)行步驟4);若否，則進(jìn)行步驟3);所述多序列包括N個(gè)圖像，所述N> 2;
[0019]3)按照如上所記載的多聚焦圖像融合方法對(duì)兩幅聚焦于同一場(chǎng)景中不同位置的圖像進(jìn)行融合，并得到大景深清晰圖像；
[0020]4)相鄰兩幅聚焦于同一場(chǎng)景中不同位置的圖像按照如權(quán)利要求1所記載的多聚焦圖像融合方法對(duì)兩幅聚焦于同一場(chǎng)景中不同位置的圖像進(jìn)行融合，將融合后的圖像組成新序列，所述新序列中的圖像數(shù)目比步驟2)中的多序列中的圖像少一個(gè)；重復(fù)本步驟直至新序列中的圖像僅存在一幅圖像為止；輸出最后一幅圖像作為融合結(jié)果。
[0021]本發(fā)明的優(yōu)點(diǎn)在于:
[0022]本發(fā)明首先將Mean-Shift彩色圖像分割理論引入多聚焦圖像融合領(lǐng)域，并在均勻色彩空間——LUV空間中通過(guò)該理論獲得用于清晰度評(píng)價(jià)的自然分割區(qū)域；之后利用空間頻率清晰度評(píng)價(jià)因子SF(Spatial Frequency)挑選清晰區(qū)域作為候選融合單元；最后通過(guò)形態(tài)學(xué)濾波處理融合邊界以獲得高的融合視覺(jué)品質(zhì)。除此之外，本發(fā)明還提出了一種有效的策略，使該方法不但能夠適用于兩幅圖像，而且也能夠適用于序列圖像融合。與已有的商用軟件所獲得融合效果相比，本發(fā)明提出的融合方法可以獲得更好的視覺(jué)品質(zhì)，無(wú)論是主觀評(píng)價(jià)還是客觀評(píng)價(jià)都證明了這一點(diǎn)，因此是對(duì)該領(lǐng)域研究工作的重要貢獻(xiàn)，具體體現(xiàn)在:
[0023](I)Mean-Shift彩色圖像分割在五維空間(其中(x，y)代表2個(gè)空間維度，而(L，U，V)則代表3個(gè)彩色維度)中進(jìn)行，覆蓋了彩色圖像主要特性。另外，Mean-Shift本質(zhì)上屬于模式聚類，而考慮了色彩的分割結(jié)果與人眼觀察高度匹配，因?yàn)槿搜蹖?duì)色彩更加敏感，而這是傳統(tǒng)的規(guī)則分塊級(jí)融合方法無(wú)法比擬的。
[0024](2)在LUV色彩空間中進(jìn)行清晰度評(píng)價(jià)因子SF的計(jì)算，其靈敏度比傳統(tǒng)RGB空間、HSV空間等都高，因此可以更準(zhǔn)確地區(qū)分細(xì)小清晰區(qū)域的歸屬。
[0025](3)對(duì)分割標(biāo)記圖不需要進(jìn)行復(fù)雜的后處理，只需進(jìn)行形態(tài)學(xué)濾波(開(kāi)或閉操作)，就可以消除原始分割標(biāo)記圖中存在的二義性邊緣毛刺，使清晰區(qū)域與模糊區(qū)域兩者之間的邊緣的不確定性得到合理地處理，從而極大地提升了最終融合圖像的品質(zhì)。
[0026](4)針對(duì)多聚焦序列圖像的融合采用多級(jí)融合策略，使的每幅圖像在融合的過(guò)程中都起到了承上啟下的作用，從根源上保證了最終的融合效果。
[0027]本發(fā)明不但能有效拓展光學(xué)成像系統(tǒng)的景深，而且利用形態(tài)學(xué)濾波后處理技術(shù)極大提升了融合圖像的主客觀品質(zhì)。本發(fā)明所提出的多聚焦序列圖像融合方法屬于空間域不規(guī)則分塊級(jí)融合，而該類融合方法實(shí)施的關(guān)鍵在于采用合適的分割策略來(lái)獲得用于清晰度評(píng)價(jià)因子計(jì)算的作用域。

【專利附圖】

【附圖說(shuō)明】
[0028]圖1是聚焦于同一場(chǎng)景中不同位置的圖像；
[0029]圖2是與圖1同聚焦于同一場(chǎng)景中不同位置的另一圖像；
[0030]圖3是圖1和圖2互為類似噪聲的現(xiàn)象的圖像；
[0031]圖4是本發(fā)明所提供的多聚焦圖像融合方法的流程示意圖；
[0032]圖5是本發(fā)明所提供的應(yīng)用于多聚焦序列圖像的融合過(guò)程示意圖；
[0033]圖6是聚焦于同一場(chǎng)景中不同區(qū)域的圖像；
[0034]圖7是與圖6同聚焦于同一場(chǎng)景中不同位置的另一圖像；
[0035]圖8是圖6和圖7所示的兩幅圖像的平均圖像；
[0036]圖9是圖8基于Mean-shift彩色圖像分割的結(jié)果示意圖；
[0037]圖10是通過(guò)計(jì)算相應(yīng)分割區(qū)域的清晰度評(píng)價(jià)因子SF給出的分割標(biāo)記圖；
[0038]圖11對(duì)圖10所產(chǎn)生的分割標(biāo)記圖實(shí)施形態(tài)學(xué)濾波后處理的效果圖；
[0039]圖12是對(duì)圖10所產(chǎn)生的分割標(biāo)記圖實(shí)施形態(tài)學(xué)濾波后的差異圖；
[0040]圖13是利用處理后的分割標(biāo)記圖進(jìn)行融合的效果圖；
[0041]圖14是未融合前的參考圖像；
[0042]圖15是一組HeliconSoft公司提供的用于測(cè)試的多聚焦序列圖像；
[0043]圖16是基于本發(fā)明所提供融合方法對(duì)圖15進(jìn)行融合后的效果圖；
[0044]圖17是HeliconSoft公司針對(duì)圖15給出的融合效果圖。

【具體實(shí)施方式】
[0045]本發(fā)明提出了一種基于不規(guī)則區(qū)域分割的Reg1n Based多聚焦序列彩色圖像融合方法。與現(xiàn)有商用軟件的融合效果的對(duì)比研究表明:本發(fā)明所提出的融合方法從主客觀評(píng)價(jià)的角度都具有更好的視覺(jué)品質(zhì)。
[0046]本發(fā)明所提供的多聚焦圖像融合方法，其過(guò)程如圖4所示:該融合方法由以下五個(gè)步驟組成:
[0047](I)計(jì)算兩幅聚焦于場(chǎng)景中不同位置的圖像的平均值，并將其轉(zhuǎn)化到LUV色彩空間。
[0048](2)在LUV色彩空間中，引入Mean-shift技術(shù)對(duì)(I)獲得的兩幅聚焦不同的圖像的平均圖像進(jìn)行分割。
[0049](3)以每一個(gè)分割所獲得的自然區(qū)域?yàn)樽饔糜?，?yīng)用清晰度評(píng)價(jià)因子SF確定較大SF值對(duì)應(yīng)的區(qū)域——更加清晰的區(qū)域來(lái)自哪一幅圖像，并建立類似于如圖1所示的分割標(biāo)記圖。
[0050](4)利用形態(tài)學(xué)濾波技術(shù)去除由(3)所獲得的分割標(biāo)記圖中存在的毛刺邊緣(二義性)，降低SF計(jì)算不確定性對(duì)融合品質(zhì)的影響。
[0051](5)以處理后的分割標(biāo)記圖為參考，提取標(biāo)記對(duì)應(yīng)的像素并將其融合為最終的大景深清晰圖像。
[0052]雖然圖4所示的流程是以兩幅多聚焦圖像融合為例進(jìn)行說(shuō)明的，但是同樣適用于序列圖像的融合。如圖5所示，本發(fā)明提出了一種融合策略，可以將圖4所示的融合方法直接應(yīng)用于多聚焦序列圖像的融合中?？梢钥吹?，這種融合策略類似多級(jí)融合，以迭代的方式工作:(1)相鄰的兩幅具有一定離焦差異的圖像分別利用圖4的流程進(jìn)行融合，并將融合后的圖像組成新的序列，此時(shí)新序列中的圖像數(shù)目比原始序列少一個(gè)；⑵重復(fù)步驟⑴直到新的圖像序列中僅僅剩下一幅圖像為止；(3)輸出該圖像作為融合結(jié)果。
[0053]本發(fā)明所提出的算法具有以下幾個(gè)特點(diǎn):
[0054]首先，本發(fā)明首次將Mean-Shift彩色圖像分割理論應(yīng)用于多聚焦圖像融合領(lǐng)域，并據(jù)此構(gòu)建用于清晰度評(píng)價(jià)的自然分割區(qū)域。
[0055]Mean-Shift作為一種強(qiáng)大且靈活的模式聚類方法,與其他聚類算法如K_means、IS0DATA等相比，是一種確定性方法，無(wú)需假設(shè)數(shù)據(jù)的分布模型，對(duì)起始點(diǎn)的選擇依賴性不強(qiáng)，無(wú)需提前指定聚類數(shù)目，而是根據(jù)數(shù)據(jù)特點(diǎn)自行設(shè)定最終的聚類數(shù)目，所以減少了人工干預(yù)。具體將Mean-Shift理論應(yīng)用于彩色圖像分割的過(guò)程中時(shí)，實(shí)際上是構(gòu)造了一個(gè)運(yùn)行于五維空間(其中包含2個(gè)空間維度和3個(gè)色彩維度)中的模式選擇迭代驅(qū)動(dòng)機(jī)，而這一較高的復(fù)雜度在保證其分割效果的穩(wěn)定性的同時(shí)，也由于涵蓋了彩色圖像的主要特征，使得分割結(jié)果更符合人眼觀察對(duì)目標(biāo)場(chǎng)景的理解。
[0056]其次，如上所述，對(duì)彩色圖像而言，其特征空間包含兩個(gè)方面:空間域和色度域。Mean-Shift機(jī)理能夠保證在絕大多數(shù)情況下的都有好的分割效果，但是研究表明:色度域——色彩空間的選擇，對(duì)分割結(jié)果存在較大的影響，所以選擇一個(gè)適合做分割的顏色空間非常重要。
[0057]由于在基于Mean-shift的分割過(guò)程中，用到了歐式距離來(lái)衡量?jī)蓚€(gè)像素之間的距離，所以選用的色彩空間要適合計(jì)算歐式距離。經(jīng)典的RGB顏色空間是非均勻線性的，適合顯示系統(tǒng)，但不適合圖像分割，因?yàn)槿齻€(gè)變量高度相關(guān)，且在空間上的相同距離不能代表視覺(jué)上具有相同的差異，所以在本發(fā)明中，一改傳統(tǒng)融合及清晰度評(píng)價(jià)多是在RGB、HSV或HIS等色彩空間進(jìn)行的慣例，采用LUV空間——這種均勻彩色模型作為算法實(shí)施的色彩空間。
[0058]另外，除了適合進(jìn)行分割，LUV色彩空間還具有以下兩個(gè)適用于多聚焦圖像融合的特點(diǎn):(1)該色彩空間與視覺(jué)空間是統(tǒng)一的；(2)在該空間進(jìn)行清晰度評(píng)價(jià)因子的計(jì)算具有更高的靈敏度，可以更準(zhǔn)確地提取細(xì)小的清晰像素區(qū)域。
[0059]再次，用簡(jiǎn)潔的形態(tài)學(xué)濾波替代傳統(tǒng)復(fù)雜的后處理技術(shù)，在有效消除融合標(biāo)記分割圖中邊緣毛刺二義性的同時(shí)，提升了最終融合圖像的品質(zhì)。
[0060]最后，提出了一種有效的多級(jí)過(guò)融合策略，使上述適用于兩幅圖像的融合方法可直接應(yīng)用于大數(shù)目量序列圖像的融合。
[0061]具體來(lái)說(shuō)，本發(fā)明所提出的序列彩色多聚焦圖像融合流程及效果可以由圖6?圖17予以說(shuō)明。其中，圖6?圖14是針對(duì)兩幅多聚焦圖像給出的融合流程說(shuō)明，而圖15、圖16以及圖17給出了一個(gè)序列圖像融合實(shí)例以及與商用軟件融合效果的對(duì)比。
[0062]如上所述，本發(fā)明提出的多聚焦圖像融合流程由以下五個(gè)步驟組成:
[0063](I)計(jì)算兩幅聚焦于場(chǎng)景中不同位置的圖像的平均值(如圖8所示)，并將其轉(zhuǎn)化到LUV色彩空間。
[0064](2)在LUV色彩空間中，引入Mean-Shift技術(shù)對(duì)兩幅多聚焦圖像的平均圖像進(jìn)行分割(如圖9所示)。
[0065](3)以每一個(gè)分割所獲得的自然區(qū)域?yàn)樽饔糜颍瑧?yīng)用清晰度評(píng)價(jià)因子SF確定較大SF值對(duì)應(yīng)的區(qū)域——更加清晰的區(qū)域來(lái)自哪一幅圖像，并建立分割標(biāo)記圖(如圖10所示)。
[0066](4)利用形態(tài)學(xué)濾波技術(shù)去除由(3)所獲得的分割標(biāo)記圖中存在的毛刺邊緣，降低SF計(jì)算不確定性對(duì)融合品質(zhì)的影響(如圖11以及圖12所示)。
[0067](5)以處理后的分割標(biāo)記圖為參考，提取標(biāo)記對(duì)應(yīng)的像素并將其融合為最終的大景深清晰圖像(如圖13以及圖14所示)。
[0068]由圖14可以看到，本發(fā)明所提出的多聚焦彩色圖像融合方法可以獲得視覺(jué)效果很好的融合圖像。通過(guò)與參考圖像進(jìn)行量化比較，兩者之間的視覺(jué)差異非常小，而高達(dá)0.99以上的相關(guān)系數(shù)從客觀評(píng)價(jià)的角度也肯定了高的融合品質(zhì)。
[0069]與兩幅多聚焦圖像融合相比，序列多聚焦圖像的融合更具有實(shí)際意義。當(dāng)所希望擴(kuò)展的景深范圍變得更大時(shí)，兩幅聚焦于不同位置的圖像不足以產(chǎn)生高品質(zhì)的融合圖像，因?yàn)檩^少的圖像對(duì)應(yīng)于較大的景深就意味著有限數(shù)目的圖像中離焦區(qū)域?qū)?yīng)的離焦尺度過(guò)大，可能導(dǎo)致無(wú)法獲取足夠多的清晰像素集合來(lái)構(gòu)建場(chǎng)景完整的大景深融合圖像。此時(shí)，包含有十幾、甚至幾十幅圖像的圖像序列可以將景深范圍進(jìn)行更細(xì)的劃分，這樣就能夠保證場(chǎng)景所有位置處都存在清晰像素的可能。然而，序列多聚焦圖像融合需要借助合理的策略，否則融合效果也可能打折扣。
[0070]在本發(fā)明中，提出了一種多級(jí)融合策略，并且以迭代的方式工作:(1)相鄰的兩幅具有一定離焦差異的圖像分別利用圖4的流程進(jìn)行融合，并將融合后的圖像組成新的序列，此時(shí)新序列中的圖像數(shù)目比原始序列少一個(gè)；⑵重復(fù)步驟⑴直到新的圖像序列中僅僅剩下一幅圖像為止；(3)輸出該圖像作為融合結(jié)果。這種融合策略使每一幅圖像在整個(gè)融合框架中都起到了承上啟下的鏈條紐扣作用，因而保證了最終融合圖像的品質(zhì)。
[0071]圖15給出了 HeliconSoft公司用于測(cè)試多聚焦序列圖像融合效果的測(cè)試用例。圖16以及圖17給出了基于本發(fā)明的融合效果及其與HeliconSoft公司開(kāi)發(fā)的商用軟件(基于pyramid分解法)的對(duì)比效果?？梢钥吹剑瑑烧叩囊曈X(jué)效果是非常接近的，但是基于空間頻域清晰度評(píng)價(jià)因子的計(jì)算表明(本發(fā)明的效果(評(píng)價(jià)因子SF為32.59419), HeliconSoft公司的效果(評(píng)價(jià)因子SF為24.77727))，基于本發(fā)明的融合圖像具有更好的品質(zhì)，從而從量化的角度證明了本發(fā)明所提出的融合方法和融合策略的有效性。
【權(quán)利要求】
1.一種多聚焦圖像融合方法，其特征在于:所述多聚焦圖像融合方法包括以下步驟: 1)計(jì)算兩幅聚焦于同一場(chǎng)景中不同位置的圖像的平均值圖像，并將該平均值轉(zhuǎn)化到LUV色彩空間； 2)在LUV色彩空間中，采用Mean-Shift方法對(duì)步驟I)所獲得的兩幅聚焦于同一場(chǎng)景中不同位置的圖像的平均圖像進(jìn)行分割，至少形成兩個(gè)自然分割區(qū)域； 3)以每一個(gè)自然分割區(qū)域?yàn)樽饔糜?，采用清晰度評(píng)價(jià)因子SF在LUV色彩空間中的作用域進(jìn)行區(qū)域清晰度的量化計(jì)算，確定相對(duì)較大清晰度評(píng)價(jià)因子SF值所對(duì)應(yīng)的區(qū)域，同時(shí)根據(jù)該相對(duì)較大清晰度評(píng)價(jià)因子SF值所對(duì)應(yīng)的區(qū)域建立分割標(biāo)記圖； 4)利用形態(tài)學(xué)濾波方法去除由步驟3)所獲得的分割標(biāo)記圖中清晰區(qū)域和模糊區(qū)域相鄰區(qū)域的二義性，得到處理后的分割標(biāo)記圖； 5)以步驟4)所得到的處理后的分割標(biāo)記圖為基礎(chǔ)，從序列圖像中提取標(biāo)記對(duì)應(yīng)的像素并將該像素融合為最終的大景深清晰圖像。
2.一種基于如權(quán)利要求1所述的多聚焦圖像融合方法的多聚焦序列圖像融合方法，其特征在于:所述多聚焦序列圖像融合方法包括以下步驟: 1)獲取同一場(chǎng)景的不同位置的圖像； 2)判斷步驟I)所獲取的圖像是否是多序列，若是則進(jìn)行步驟4);若否，則進(jìn)行步驟3);所述多序列包括N個(gè)圖像,所述N > 2 ; 3)按照如權(quán)利要求1所記載的多聚焦圖像融合方法對(duì)兩幅聚焦于同一場(chǎng)景中不同位置的圖像進(jìn)行融合，并得到大景深清晰圖像； 4)相鄰兩幅聚焦于同一場(chǎng)景中不同位置的圖像按照如權(quán)利要求1所記載的多聚焦圖像融合方法對(duì)兩幅聚焦于同一場(chǎng)景中不同位置的圖像進(jìn)行融合，將融合后的圖像組成新序列，所述新序列中的圖像數(shù)目比步驟2)中的多序列中的圖像少一個(gè)；重復(fù)本步驟直至新序列中的圖像僅存在一幅圖像為止；輸出最后一幅圖像作為融合結(jié)果。
【文檔編號(hào)】G06T5/50GK104182952SQ201410408775
【公開(kāi)日】2014年12月3日 申請(qǐng)日期:2014年8月19日 優(yōu)先權(quán)日:2014年8月19日
【發(fā)明者】趙惠, 郝星星, 劉靜 申請(qǐng)人:中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所, 西安電子科技大學(xué)