專利名稱：相機(jī)自動(dòng)聚焦適應(yīng)性模糊匹配模型擬合的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及圖像獲取，更具體地講，涉及響應(yīng)于適應(yīng)性模糊匹配模型擬合的基于模糊差異的自動(dòng)圖像聚焦機(jī)制。
背景技術(shù)：
圖像拍攝裝置(尤其是相機(jī))提供用于得到對(duì)被攝體的正確聚焦的自動(dòng)化機(jī)制。自動(dòng)聚焦(AF)通常響應(yīng)于向快門釋放開(kāi)關(guān)略微施壓來(lái)運(yùn)行，比如在向著快門釋放方向按壓快門釋放開(kāi)關(guān)到中途。在一些應(yīng)用中，在拍攝圖像之前，或者在拍攝圖像序列或視頻的同時(shí)，自動(dòng)聚焦特征連續(xù)地保持聚焦。在自動(dòng)聚焦期間，相機(jī)鏡頭對(duì)三維場(chǎng)景自動(dòng)聚焦并且相對(duì)于深度來(lái)控制聚焦。在本領(lǐng)域中已知多種自動(dòng)聚焦機(jī)制。一種典型的自動(dòng)聚焦機(jī)制是例如利用來(lái)自圖像梯度的自動(dòng)聚焦曲線，搜索自動(dòng)聚焦曲線中的峰值。響應(yīng)于變得越來(lái)越被聚焦的被分析區(qū)域，圖像梯度變得越來(lái)越大。自動(dòng)聚焦算法的目的在于通過(guò)最少量的相機(jī)聚焦位置，在要求平移的同時(shí)得到自動(dòng)聚焦曲線的峰值。然而，現(xiàn)有的聚焦機(jī)制慢并且經(jīng)常沒(méi)能集中在正確的焦點(diǎn)并且可能繼續(xù)“搜尋”正確的聚焦位置。聚焦有可能是在拍攝所需圖像的過(guò)程中最關(guān)鍵的度量標(biāo)準(zhǔn)，這導(dǎo)致用于估計(jì)或獲得正確相機(jī)焦距的各式各 樣系統(tǒng)的發(fā)展。因?yàn)橄鄼C(jī)-鏡頭系統(tǒng)具有多個(gè)相關(guān)的元件和特性，所以對(duì)這些元件及其相關(guān)特性進(jìn)行簡(jiǎn)要討論。大體上，攝影鏡頭的兩個(gè)主要光學(xué)參數(shù)是最大光圈和焦距。焦距確定視角和對(duì)于距物體的給定距離(物距)的相對(duì)于對(duì)象(物體)尺寸的圖像尺寸。最大光圈(f數(shù)、或f級(jí)數(shù))限制圖像的亮度和可用于給定設(shè)置(焦距/有效光圈)的最快快門速度，其中，數(shù)字越小指示提供到焦平面的光越多，焦平面通?？梢员灰暈楹?jiǎn)易數(shù)碼相機(jī)中的圖像傳感器的表面。在典型簡(jiǎn)易鏡頭(技術(shù)上，具有單個(gè)元件的鏡頭)的一種形式中，提供單個(gè)焦距并且這個(gè)鏡頭也被稱為“定焦鏡頭”。在使用單焦距鏡頭聚焦相機(jī)時(shí)，鏡頭和焦平面之間的距離發(fā)生改變，從而導(dǎo)致焦點(diǎn)變化，在焦點(diǎn)處，攝影物體圖像被引導(dǎo)到焦平面上。因此，盡管單焦距鏡頭具有固定光學(xué)關(guān)系和焦距，它也可以用在相機(jī)中，用于在聚焦范圍跨度上對(duì)物體進(jìn)行聚焦。不應(yīng)該把鏡頭的固定焦距與使用該鏡頭能在相機(jī)上得到的焦距范圍混淆，并且將注意到，通過(guò)相對(duì)于焦平面調(diào)節(jié)鏡頭的位置，改變焦距。在使用單焦距鏡頭的過(guò)程中，調(diào)節(jié)光圈，以相對(duì)于所需快門速度選擇光量，并且根據(jù)物距調(diào)節(jié)聚焦(也被稱為焦距)，在此之后拍攝一個(gè)或多個(gè)圖像。通常，宏設(shè)置對(duì)于不同的單焦距鏡頭提供不同的焦距選項(xiàng)，以允許拍攝特寫鏡頭。相比之下，遠(yuǎn)攝鏡頭為非常窄的視角提供高放大倍數(shù)，以用遠(yuǎn)處物體的圖像填充幀。多焦距鏡頭常常被稱為“變焦”鏡頭，因?yàn)橐暻闆r而定，圖像放大倍數(shù)可以被“縮放”或“取消縮放”。變焦鏡頭允許用戶選擇物體的放大量，或者換句話講，選擇物體填充幀的程度。重要的是理解，這些鏡頭或相機(jī)-鏡頭系統(tǒng)的變焦功能在概念上與聚焦控制和光圈控制分開(kāi)，盡管在實(shí)際的變焦鏡頭操作中(即使系統(tǒng)處于最佳狀況時(shí))仍然對(duì)其它設(shè)置略有影響。然而不管是利用單焦距鏡頭還是多焦距鏡頭，一直必須對(duì)于給定物距正確聚焦鏡頭。對(duì)于給定聚焦設(shè)置的可接受聚焦范圍被稱為“景深”，景深是對(duì)象空間或物體空間中的可接受銳度的深度的度量。例如，對(duì)于15英尺的物距，對(duì)于高清晰相機(jī)，可接受的聚焦范圍可以是大約數(shù)英寸的量級(jí)，而最佳聚焦可以要求甚至更精確。將理解的是，隨著聚焦從中間距離朝外向著“無(wú)限遠(yuǎn)”移動(dòng)(例如，拍攝遠(yuǎn)處的山、云等的圖像)(在這個(gè)范圍，當(dāng)然具有無(wú)限的景深)時(shí)，景深增大。對(duì)于處于給定光圈設(shè)置的單焦距鏡頭，對(duì)于從相機(jī)到物體的給定距離(物距)，存在單個(gè)最佳聚焦設(shè)置。比相機(jī)的焦距更近或更遠(yuǎn)的物體的部分將以一定量的模糊出現(xiàn)在所拍攝的圖像中，所述一定量的模糊取決于影響景深的許多因素。然而，在多焦距鏡頭中，對(duì)于鏡頭能得到的每個(gè)鏡頭放大倍數(shù)(鏡頭焦距)，存在最佳焦點(diǎn)。為了增加實(shí)用性，鏡頭制造商明顯降低了對(duì)響應(yīng)于變焦設(shè)置而重新聚焦的需要，然而，重新聚焦的需要取決于所使用的特定相機(jī)-鏡頭系統(tǒng)。另外，光圈設(shè)置可以需要響應(yīng)于變焦放大倍數(shù)的不同水平而改變。在早期的相機(jī)中，可以只響應(yīng)于操作者的識(shí)別和手動(dòng)聚焦調(diào)節(jié)來(lái)確定和校正聚焦。然而，響應(yīng)于正確聚焦的臨界性質(zhì)，容易采用輔助。在更近期的時(shí)間，成像設(shè)備通常提供對(duì)物體進(jìn)行自動(dòng)聚焦的能力，這種功能現(xiàn)今通常被稱為“自動(dòng)聚焦”。聚焦繼續(xù)成為密集技術(shù)發(fā)展點(diǎn)，因?yàn)樵S多現(xiàn)有的自動(dòng)聚焦機(jī)制的都各自具有一些缺點(diǎn)和取舍。存在大體兩類自動(dòng)聚焦(AF)系統(tǒng)，(I)主動(dòng)自動(dòng)聚焦和(2)被動(dòng)自動(dòng)聚焦。在主動(dòng)自動(dòng)聚焦中，利用一個(gè)或多個(gè)圖像傳感器確定距焦點(diǎn)的距離，或者以其他方式檢測(cè)圖像拍攝鏡頭系統(tǒng)外部的聚焦。主動(dòng)AF系統(tǒng)可以執(zhí)行快速聚焦，盡管它們通常將不通過(guò)窗口提供正確的聚焦，或者在其它特定應(yīng)用中，因?yàn)槁暡ê图t外光被玻璃和其它表面反射。在被動(dòng)自動(dòng)聚焦系統(tǒng)中，使用所觀看到的圖像的特性來(lái)檢測(cè)和設(shè)置聚焦。高端單鏡頭反射式(SLR)相機(jī)中的大部分當(dāng)前使用的是穿過(guò)鏡頭光學(xué)AF傳感器，這些傳感器還可以例如被用作照度計(jì)。這些現(xiàn)代AF系統(tǒng)的聚焦能力通常可以具有比通過(guò)普通取景器手動(dòng)實(shí)現(xiàn)的精度更高的精度。在一種形式的被動(dòng)AF中，利用相位檢測(cè)，比如，通過(guò)用分束器將入射光分成成對(duì)的圖像并且在AF傳感器上比較它們。兩個(gè)光學(xué)棱鏡捕捉來(lái)自鏡頭相對(duì)兩側(cè)的光線并且將光線偏轉(zhuǎn)到AF傳感器，從而形成簡(jiǎn)易測(cè)距儀，其基線等于鏡頭的直徑。響應(yīng)于校驗(yàn)類似的光強(qiáng)度圖案來(lái)確定聚焦，并且計(jì)算出相位差，以確定對(duì)象被視為在焦點(diǎn)前方或者在正確焦點(diǎn)位置的后方。在另一種類型的被動(dòng)AF系統(tǒng)中，在通過(guò)鏡頭的傳感器視場(chǎng)內(nèi)進(jìn)行對(duì)比度測(cè)量。系統(tǒng)調(diào)節(jié)焦點(diǎn)，以使通常指示正確圖像焦點(diǎn)的相鄰像素之間的強(qiáng)度差異最大。因此，執(zhí)行聚焦，直到得到最大對(duì)比度水平為止。這種形式的聚焦比主動(dòng)AF花的時(shí)間更長(zhǎng)(比主動(dòng)AF慢)，尤其是當(dāng)在昏暗光線下操作時(shí)，但是這種形式的聚焦是低端成像設(shè)備中利用的通用方法。眾所周知，被動(dòng)系統(tǒng)在低對(duì)比度條件下決定焦點(diǎn)方面表現(xiàn)差，特別是對(duì)于大型單色表面(固體表面、天空等)或者在弱光條件下。被動(dòng)系統(tǒng)取決于對(duì)物體某種程度的照明(無(wú)論是用自然方式還是其它方式)，而如果需要，主動(dòng)系統(tǒng)即使是在漆黑條件下也可以正確地聚焦。另外，在使用其曲線不是一直匹配校準(zhǔn)模型的模糊匹配時(shí)，出現(xiàn)一些問(wèn)題。因此，需要存在以更穩(wěn)固且確定的方式使用模糊匹配來(lái)控制相機(jī)聚焦的系統(tǒng)和方法。在本發(fā)明內(nèi)滿足這些需要和其它需要，從而克服之前研發(fā)出的自動(dòng)聚焦系統(tǒng)和方法的缺陷。

發(fā)明內(nèi)容
本發(fā)明教導(dǎo)了一種模糊匹配方法和其在自動(dòng)聚焦系統(tǒng)中用于提供快速和精確聚焦的用途。發(fā)明人之前的自動(dòng)聚焦系統(tǒng)教導(dǎo)了在模糊匹配方法中利用兩張照片匹配和多張照片組合。本發(fā)明教導(dǎo)了通過(guò)提供適應(yīng)性模型擬合算法來(lái)提高這些聚焦系統(tǒng)中使用的模糊匹配的機(jī)制。適應(yīng)性模型確保即使當(dāng)由于飽和、截止和噪聲導(dǎo)致信號(hào)失真時(shí)，模糊匹配也正確操作，從而導(dǎo)致聚焦精度提高。通過(guò)使用最大絕對(duì)偏差，可以提供擬合聚焦模糊模型的數(shù)據(jù)的度量，其中，大偏差指示模型和匹配數(shù)據(jù)之間不匹配。本發(fā)明教導(dǎo)了通過(guò)調(diào)節(jié)匹配數(shù)據(jù)樣本的斜率或者調(diào)節(jié)模型的參數(shù)來(lái)校正這個(gè)誤差。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種控制自動(dòng)聚焦的裝置，包括:(i)用于拍攝多個(gè)對(duì)象圖像的裝置；(ii)用于估計(jì)所拍攝的圖像對(duì)之間的深度，以得到深度估計(jì)的裝置；(iii)用于執(zhí)行模糊匹配曲線和校準(zhǔn)模型之間的斜率校正的裝置；(iv)用于確定深度估計(jì)的加權(quán)平均以及包括過(guò)去的深度估計(jì)和當(dāng)前的深度估計(jì)在內(nèi)的方差的裝置；和(0用于通過(guò)響應(yīng)于所述深度估計(jì)的所述加權(quán)平均而執(zhí)行的聚焦移動(dòng)來(lái)調(diào)節(jié)聚焦的裝置。進(jìn)一步地，控制自動(dòng)聚焦的裝置還包括用于響應(yīng)于將匹配迭代數(shù)乘以常數(shù)對(duì)模糊匹配數(shù)據(jù)進(jìn)行斜率校正以精確擬合模糊匹配的校準(zhǔn)模型的裝置。進(jìn)一步地，控制自動(dòng)聚焦的裝置還包括用于通過(guò)將斜率乘以常數(shù)對(duì)模糊匹配的校準(zhǔn)模型進(jìn)行斜率校正以精確擬合匹配數(shù)據(jù)樣本的裝置。進(jìn)一步地，重復(fù)運(yùn)行裝置(i)至(V)直到得到所需的聚焦精度水平為止。進(jìn)一步地，當(dāng)確定所述方差達(dá)到指示已獲得正確聚焦位置的充分置信度的值時(shí)，得到所述所需的聚焦精度水平。進(jìn)一步地，控制自動(dòng)聚焦的裝置還包括用于當(dāng)確定已執(zhí)行了過(guò)多次數(shù)的聚焦移動(dòng)時(shí)，在當(dāng)前聚焦位置終止自動(dòng)聚焦，或者向估計(jì)結(jié)果分配較大的方差并且繼續(xù)執(zhí)行自動(dòng)聚焦，或者放棄深度估計(jì)并且拍攝另一對(duì)對(duì)象圖像的裝置，其中根據(jù)所述另一對(duì)對(duì)象圖像進(jìn)行用于繼續(xù)所述自動(dòng)聚焦的另一個(gè)深度估計(jì)。進(jìn)一步地，作為只利用近期的深度估計(jì)的替代方式，通過(guò)組合當(dāng)前的深度估計(jì)和以前的深度估計(jì)，響應(yīng)于自動(dòng)聚焦處理的每次重復(fù)來(lái)調(diào)節(jié)聚焦。進(jìn)一步地，在所拍攝的圖像對(duì)之間進(jìn)行所述深度估計(jì)，并且基于確定所述圖像對(duì)內(nèi)的所拍攝的圖像之間的模糊差異量來(lái)估計(jì)實(shí)際深度，所述圖像對(duì)中的每個(gè)圖像是在不同聚焦位置拍攝的。
進(jìn)一步地，使用被攝體深度的最大似然估計(jì)(MLE)進(jìn)行所述深度估計(jì)。進(jìn)一步地,響應(yīng)于通過(guò)下式給出的加權(quán)平均d來(lái)確定所述深度估計(jì):
權(quán)利要求
1.一種控制自動(dòng)聚焦的裝置，包括: (i)用于拍攝多個(gè)對(duì)象圖像的裝置； (ii)用于估計(jì)所拍攝的圖像對(duì)之間的深度，以得到深度估計(jì)的裝置； (iii)用于執(zhí)行模糊匹配曲線和校準(zhǔn)模型之間的斜率校正的裝置； (iv)用于確定深度估計(jì)的加權(quán)平均以及包括過(guò)去的深度估計(jì)和當(dāng)前的深度估計(jì)在內(nèi)的方差的裝置；和 (V)用于通過(guò)響應(yīng)于所述深度估計(jì)的所述加權(quán)平均而執(zhí)行的聚焦移動(dòng)來(lái)調(diào)節(jié)聚焦的裝置。
2.根據(jù)權(quán)利要求1所述的裝置，還包括用于響應(yīng)于將匹配迭代數(shù)乘以常數(shù)對(duì)模糊匹配數(shù)據(jù)進(jìn)行斜率校正以精確擬合模糊匹配的校準(zhǔn)模型的裝置。
3.根據(jù)權(quán)利要求1所述的裝置，還包括用于通過(guò)將斜率乘以常數(shù)對(duì)模糊匹配的校準(zhǔn)模型進(jìn)行斜率校正以精確擬合匹配數(shù)據(jù)樣本的裝置。
4.根據(jù)權(quán)利要求1所述的裝置，其中重復(fù)運(yùn)行裝置(i)至(V)直到得到所需的聚焦精度水平為止。
5.根據(jù)權(quán)利要求1所述的裝置，還包括用于當(dāng)確定已執(zhí)行了過(guò)多次數(shù)的聚焦移動(dòng)時(shí)，在當(dāng)前聚焦位置終止自動(dòng)聚焦，或者向估計(jì)結(jié)果分配較大的方差并且繼續(xù)執(zhí)行自動(dòng)聚焦，或者放棄深度估計(jì)并且拍攝另一對(duì)對(duì)象圖像的裝置，其中根據(jù)所述另一對(duì)對(duì)象圖像進(jìn)行用于繼續(xù)所述自動(dòng)聚焦的另一個(gè)深度估計(jì)。
6.根據(jù)權(quán)利要求1所述的裝置，其中，作為只利用近期的深度估計(jì)的替代方式，通過(guò)組合當(dāng)前的深度估計(jì)和以前的深度估計(jì)，響應(yīng)于自動(dòng)聚焦處理的每次重復(fù)來(lái)調(diào)節(jié)聚焦。
7.根據(jù)權(quán)利要求1所述的裝置，其中，在所拍攝的圖像對(duì)之間進(jìn)行所述深度估計(jì)，并且基于確定所述圖像對(duì)內(nèi)的所拍攝的圖像之間的模糊差異量來(lái)估計(jì)實(shí)際深度，所述圖像對(duì)中的每個(gè)圖像是在不同聚焦位置拍攝的。
8.根據(jù)權(quán)利要求1所述的裝置，其中，使用被攝體深度的最大似然估計(jì)(MLE)進(jìn)行所述深度估計(jì)。
9.一種用電子方式拍攝圖像的裝置，包括: 成像設(shè)備； 聚焦控制元件，耦接到所述成像設(shè)備并且向所述成像設(shè)備提供聚焦范圍； (i)用于拍攝對(duì)象的多個(gè)圖像的裝置； (ii)用于估計(jì)所拍攝的圖像對(duì)之間的深度，以得到深度估計(jì)的裝置； (iii)用于當(dāng)最大絕對(duì)偏差大于預(yù)定閾值時(shí)，執(zhí)行一組模糊匹配結(jié)果和校準(zhǔn)模型之間的斜率校正的裝置； (iv)用于確定深度估計(jì)的加權(quán)平均和包括過(guò)去和當(dāng)前采集的圖像對(duì)在內(nèi)的方差的裝置；和 (V )用于響應(yīng)于所述深度估計(jì)的所述加權(quán)平均來(lái)調(diào)節(jié)聚焦的裝置。
10.一種自動(dòng)調(diào)節(jié)相機(jī)聚焦的方法，所述方法包括: (a)用相機(jī)設(shè)備拍攝第一對(duì)象圖像； (b)用所述相機(jī)設(shè)備拍攝額外的對(duì)象圖像； (C)響應(yīng)于把所拍攝的對(duì)象圖像之間的模糊差異值輸入到聚焦匹配模型，估計(jì)所拍攝的圖像對(duì)之間的深度，其中求解所述聚焦匹配模型以產(chǎn)生深度估計(jì)； Cd)執(zhí)行一組模糊匹配結(jié)果和校準(zhǔn)模型之間的斜率校正； (e)確定所述深度估計(jì)的加權(quán)平均以及包括過(guò)去的深度估計(jì)和當(dāng)前的深度估計(jì)在內(nèi)的方差；和 (f)響應(yīng)于所述深度估計(jì)的加權(quán)平均，利用自動(dòng)聚焦處理內(nèi)的相機(jī)聚焦移動(dòng)來(lái)調(diào)節(jié)相機(jī)聚焦位置。
全文摘要
在示意性地?cái)M合每個(gè)聚焦調(diào)節(jié)迭代之后，響應(yīng)于之前的模糊差異深度估計(jì)的加權(quán)和執(zhí)行自動(dòng)聚焦。還確定過(guò)去的估計(jì)和當(dāng)前的估計(jì)的方差，從而提供對(duì)于給定照片的當(dāng)前聚焦位置的置信度度量。在一個(gè)實(shí)施方案中，重復(fù)聚焦調(diào)節(jié)，直到方差充分低，以指示已獲得正確聚焦的置信度。該方法通過(guò)利用之前的深度估計(jì)提高聚焦的精度和速度，同時(shí)適應(yīng)匹配數(shù)據(jù)以克服失真，如，由于飽和、截止和噪聲造成的失真。
文檔編號(hào)H04N5/232GK103209298SQ20131000390
公開(kāi)日2013年7月17日 申請(qǐng)日期2013年1月7日 優(yōu)先權(quán)日2012年1月13日
發(fā)明者李平山 申請(qǐng)人:索尼公司