專利名稱：成像方法和成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種允許獲得高質(zhì)量的靜止圖像、運動圖像等的成像方法和成像裝置。
背景技術(shù)：
有關(guān)申請的交叉參考本發(fā)明包含涉及于2005年9月16日在日本專利局提交的日本專利申請JP 2005-269632的主題，該專利申請的整個內(nèi)容被結(jié)合于此以作參考。
有關(guān)技術(shù)的說明由于來自處于低光強度的條件的物體的少量入射光減少了成像裝置的電荷的存儲量，所以包含在作為來自圖像傳感器的捕獲信號輸出的信號中的諸如散射噪聲之類的隨機噪聲分量相應地增加。結(jié)果，捕獲信號的S/N比惡化。當長時間曝光圖像傳感器時，電荷的存儲量增加，而隨機噪聲分量相應地減少。因此，捕獲信號的S/N比可以得到改善。然而，如果長時間曝光圖像傳感器，則由于成像裝置可能被用戶的手抖動，所以在捕獲的圖像中可能出現(xiàn)模糊(在下文中，這種模糊有時被稱為曝光模糊)。因此，在有關(guān)技術(shù)中必須用三腳架等來固定成像裝置。
為了解決上述問題，有關(guān)技術(shù)的參考文獻已經(jīng)被公開為日本專利申請公開No.9-261526。在該有關(guān)技術(shù)的參考文獻中，以例如1/30秒的快門速度來連續(xù)地捕獲物體的圖像，該快門速度幾乎防止圖像具有曝光模糊，以及大多數(shù)捕獲的圖像的抖動被補償，并且組合所補償?shù)膱D像。抖動以曝光周期的間隔來發(fā)生，例如一場或一幀。另一有關(guān)技術(shù)的參考文獻已經(jīng)被公開為日本專利申請公開No.11-75105。在該有關(guān)技術(shù)的參考文獻中，整個曝光周期被分成多個曝光段，對在曝光段中獲得的圖像補償抖動，并且組合所補償?shù)膱D像。結(jié)果，可以獲得高質(zhì)量的圖像。

發(fā)明內(nèi)容
如在這些有關(guān)技術(shù)的參考文獻中所述，多個已經(jīng)補償了抖動的圖像被簡單地組合。因此，存儲器容量隨著待組合的圖像的數(shù)量的增加而增加。因此，可被組合的圖像數(shù)量受到限制，這取決于存儲器的存儲容量。結(jié)果，作為這些有關(guān)技術(shù)的參考文獻的問題，不能充分地改善最終圖像的S/N比。此外，如果圖像包含不必要的運動物體或者圖像的對比度低，則補償圖像抖動的運動向量的準確度變低。結(jié)果，不能充分地改善圖像質(zhì)量。
鑒于上述，所希望的是提供一種即使在低光強度的條件下也允許高質(zhì)量地捕獲圖像而沒有抖動的成像方法和成像裝置。
根據(jù)本發(fā)明的實施例，提供一種成像方法。捕獲多個按時間順序不同的圖像。檢測所述多個圖像的運動并產(chǎn)生運動信息。確定運動信息的可靠性。根據(jù)運動信息，補償在所述多個圖像中發(fā)生的抖動。通過遞歸濾波器來濾波已經(jīng)補償了抖動的圖像。濾波過程的特征根據(jù)運動信息的可靠性而改變。
根據(jù)本發(fā)明的實施例，提供一種成像裝置。該成像裝置包括圖像捕獲部件、運動檢測部件、可靠性確定部件、抖動補償部件、以及濾波部件。該圖像捕獲部件捕獲多個按時間順序不同的圖像。該運動檢測部件檢測所述多個圖像的運動并產(chǎn)生運動信息。該可靠性確定部件確定運動信息的可靠性。該抖動補償部件根據(jù)運動信息來補償在多個圖像中發(fā)生的抖動。該濾波部件通過利用遞歸濾波器來濾波已經(jīng)補償了抖動的圖像。該濾波部件的特性根據(jù)運動信息的可靠性而改變。
根據(jù)本發(fā)明的實施例，在即使在低光強度的條件下也防止圖像具有曝光模糊的存儲時間中連續(xù)地捕獲圖像。在這種情況下，多個圖像被捕獲并被補償抖動。結(jié)果，產(chǎn)生了沒有抖動的圖像。此外，通過遞歸濾波器來處理該沒有抖動的圖像。因此，可以產(chǎn)生具有高S/N比的圖像。由于遞歸濾波器是沿時間方向操作的，所以與簡單地組合圖像的方法不同，可以長時間地捕獲圖像而沒有圖像數(shù)量的限制。根據(jù)本發(fā)明的實施例，由于低對比度圖像和捕獲的圖像中的不必要的運動物體使運動向量的可靠性惡化，所以根據(jù)可靠性來控制濾波系數(shù)。結(jié)果，可以改善圖像質(zhì)量。
根據(jù)下面對如附圖中所示的本發(fā)明的最佳模式實施例的詳細描述，本發(fā)明的這些和其他目的、特征和優(yōu)點將變得更加明顯。


根據(jù)下面結(jié)合附圖的詳細描述，本發(fā)明將得到更全面的理解，其中類似的附圖標記表示類似的元件，其中圖1是示出根據(jù)本發(fā)明實施例的整體結(jié)構(gòu)的框圖；圖2是示出根據(jù)本發(fā)明實施例的抖動檢測部件的實例的框圖；圖3是描述根據(jù)本發(fā)明實施例的運動檢測的示意圖；圖4是示出在檢測運動向量時評價值和偏差(deviation)的三維關(guān)系的示意圖；圖5是示出在檢測運動向量時評價值和偏差的二維關(guān)系的示意圖；圖6是示出根據(jù)本發(fā)明實施例的濾波器的實例的框圖；圖7是示出根據(jù)本發(fā)明實施例的過程的流程圖；圖8是描述根據(jù)本發(fā)明實施例的可靠性檢測過程的示意圖；圖9是描述根據(jù)本發(fā)明另一實施例的塊的示意圖；以及圖10是示出根據(jù)本發(fā)明另一實施例在檢測運動向量時評價值和偏差的二維關(guān)系的示意圖。
具體實施例方式
接著將參考附圖來描述本發(fā)明的實施例。圖1示出本發(fā)明實施例的整體結(jié)構(gòu)。在圖1中，附圖標記110表示成像光學系統(tǒng)。該成像光學系統(tǒng)110包括放大和縮小從物體捕獲的圖像的尺寸的變焦透鏡、調(diào)整焦距的聚焦透鏡、調(diào)整光量的光圈(光闌)、中性密度(ND)濾光片、以及驅(qū)動這些透鏡和光圈的驅(qū)動電路。變焦透鏡、聚焦透鏡、光圈、以及ND濾波片由驅(qū)動器111驅(qū)動。
物體的光通過成像光學系統(tǒng)110進入圖像傳感器120，該圖像傳感器120采用電荷耦合器件(CCD)、互補金屬氧化物半導體(CMOS)等等。該圖像傳感器120根據(jù)物體的光而輸出捕獲的圖像信號。成像裝置的實例是數(shù)碼相機。代之以，成像裝置可以是個人數(shù)字助理(PDA)、移動電話等。代之以，成像裝置可以是捕獲運動圖像的設備。
圖像傳感器120可以是原色型或補色型。圖像傳感器120將進入成像光學系統(tǒng)110的物體的光來光電地轉(zhuǎn)換成RGB原色模擬信號或補色模擬信號。定時信號發(fā)生器(圖1中縮寫為TG)121提供各種定時信號給圖像傳感器120。根據(jù)從定時信號發(fā)生器121提供的定時信號來驅(qū)動圖像傳感器120。定時信號發(fā)生器121產(chǎn)生導致圖像傳感器120驅(qū)動的各種定時信號。
將來自圖像傳感器120的圖像信號提供給結(jié)合在集成電路(IC)內(nèi)的模擬信號處理部件130。該模擬信號處理部件130采樣保持彩色信號，根據(jù)自動增益控制(AGC)控制該彩色信號，并且將模擬信號轉(zhuǎn)換成數(shù)字信號。結(jié)果，模擬信號處理部件130輸出數(shù)字圖像信號。
將來自模擬信號處理部件130的數(shù)字圖像信號提供給存儲器控制器150、抖動檢測部件140、以及亮度檢測部件180。該抖動檢測部件140檢測多個捕獲的圖像的運動并輸出作為運動信息的運動向量。該抖動檢測部件140由運動向量檢測部件141和特征提取部件142組成。該運動向量檢測部件141檢測來自從模擬信號處理部件130輸出的時序數(shù)字圖像信號的運動向量。該特征提取部件142從該時序數(shù)字圖像信號中提取特征信息。該特征信息是對應于檢測的運動向量的評價值。該亮度檢測部件180檢測從模擬信號處理部件130輸出的信號的亮度級。
將檢測的運動向量、提取的特征信息和檢測的亮度級提供給系統(tǒng)控制器170。該系統(tǒng)控制器170基于特征信息和亮度級來計算檢測的運動向量的可靠性。
該存儲器控制器150控制圖像存儲器151。該圖像存儲器151是用來調(diào)整抖動檢測時間和補償時間的相位的存儲器。從模擬信號處理部件130輸出的數(shù)字圖像信號通過存儲器控制器150被存儲在圖像存儲器151中。該圖像存儲器151延遲該輸入數(shù)字圖像信號以檢測運動向量。此后，從圖像存儲器151中讀取該延遲的數(shù)字圖像信號。此外，該存儲器控制器150基于由系統(tǒng)控制器170指定的抖動補償量來補償數(shù)字圖像信號的抖動。
將其抖動已經(jīng)由存儲器控制器150補償?shù)臄?shù)字圖像信號提供給濾波器160。該濾波器160是包括數(shù)字電路的遞歸濾波器。該濾波器160具有用于一場或一幀的存儲器。該濾波器160輸出其S/N比已經(jīng)得到改善并且已經(jīng)補償了抖動的圖像信號。將該輸出圖像信號進行壓縮并記錄在諸如存儲卡之類的記錄介質(zhì)中。此外，將該輸出圖像信號在諸如液晶顯示器(LCD)之類的圖像顯示部件上進行顯示。
該系統(tǒng)控制器170控制驅(qū)動器111、定時信號發(fā)生器121和模擬信號處理部件130。將來自運動向量檢測部件141、特征提取部件142和亮度檢測部件180的運動向量、特征信息和亮度級分別提供給系統(tǒng)控制器170。此外，該系統(tǒng)控制器170控制存儲器控制器150以補償圖像信號的抖動，基于分別由特征提取部件142和亮度檢測部件180提供的特征量和亮度級來確定運動向量的可靠性，并且基于該可靠性來控制濾波器160的濾波系數(shù)。
此外，該亮度檢測部件180產(chǎn)生自動聚焦(AF)控制信號、自動曝光信號和自動白平衡信號。將這些信號提供給系統(tǒng)控制器170。該系統(tǒng)控制器170產(chǎn)生導致該圖像光學系統(tǒng)110被控制的信號。將所產(chǎn)生的控制信號提供給驅(qū)動器111。
此外，為了減少進入圖像傳感器120的物體的圖像的抖動，該系統(tǒng)控制器170控制定時信號發(fā)生器121以設置電子快門速度與防止捕獲的圖像具有曝光模糊的速度一樣快。通常認為防止捕獲的圖像具有曝光模糊的快門速度是“1/焦距”(等于35mm)。該焦距是系統(tǒng)控制器170對于聚焦控制獲得的值。
在低光強度的條件下，該系統(tǒng)控制器170控制圖像捕獲操作，以使以防止捕獲的圖像具有曝光模糊的快門速度而不是用于長時間曝光的低快門速度來以一場或一幀的預定間隔捕獲多個圖像。捕獲的圖像數(shù)量取決于物體的亮度。可替換地，可以捕獲預定數(shù)量的圖像。當成像裝置是靜止圖像照相機時，捕獲的多個圖像是相同的圖像，除非物體被改變以及照相機被抖動。通過抖動補償多個捕獲的圖像并濾波所補償?shù)膱D像來獲得輸出圖像。
抖動檢測部件140根據(jù)代表(representative)點匹配系統(tǒng)來檢測圖像平面的全部運動，這是利用塊匹配操作的運動檢測方法之一。該系統(tǒng)假定在待比較的幀中物體幾乎是相同的。因此，當物體在幀中是很大不同時，該系統(tǒng)是不合適的。
圖2示出抖動檢測部件140的結(jié)構(gòu)的實例。圖像輸入201是其運動向量將被檢測的圖像數(shù)據(jù)的輸入部分。將從圖像輸入201輸入的圖像數(shù)據(jù)提供給濾波器處理電路210，該濾波器處理電路210除去對于檢測運動不必要的頻率分量。濾波器處理電路210的輸出被提供給代表點提取電路220。該代表點提取電路220在每個由輸入圖像數(shù)據(jù)的多個像素組成的區(qū)域中的預定位置(在下文中，預定位置被稱為代表點)提取像素數(shù)據(jù)，并且存儲所提取的像素數(shù)據(jù)的亮度級。
減法設備230從自濾波器處理電路210輸出的像素數(shù)據(jù)中減去自代表點提取電路220輸出的代表點。對每個區(qū)域執(zhí)行這個減法過程。絕對值轉(zhuǎn)換電路240計算自減法設備230輸出的差信號的絕對值。
運動向量檢測電路250檢測具有差信號(在下文中，該差信號被稱為剩余差)的絕對值的運動向量。該運動向量檢測電路250輸出檢測的運動向量260。該運動向量檢測部件141包括濾波器處理電路210、代表點提取電路220、減法設備230、絕對值轉(zhuǎn)換電路240和運動向量檢測電路250。
還將由運動向量260表示的坐標位置的評價值提供給特征提取部件142。該特征提取部件142根據(jù)檢測的運動向量260輸出作為特征信息261的評價值。
圖3示出在代表點匹配系統(tǒng)上的運動向量檢測方法。將一個捕獲的圖像(例如一幀圖像)分成許多區(qū)域。在圖3中，檢測區(qū)域301是從中在時間n檢測到幀的運動向量的搜索區(qū)域。在圖3所示的實例中，指定了(5×5)像素的區(qū)域。在檢測區(qū)域301中，與代表點在亮度上具有最強相關(guān)性的像素被檢測為運動向量。在時間m的幀的參考區(qū)域306中指定了代表點302。在時間n的幀的檢測區(qū)域301在空間位置上對應于在時間m的幀的參考區(qū)域306。代表點302是在時間m的圖像的一個像素，該圖像是比較的基圖像。時間n和時間m之間的間隔是多個圖像被連續(xù)捕獲的間隔，例如一場或一幀。
像素303表示檢測區(qū)域301中的任何一個像素。將檢測區(qū)域301的每個像素與代表點302進行比較。運動向量304表示檢測的運動向量的實例。有陰影線的像素305存在于運動向量指示的坐標處。
在每幀中指定許多對參考區(qū)域306和檢測區(qū)域301。對于每對而言，計算代表點302的亮度級與檢測區(qū)域301的每個像素的亮度級之間的剩余差。計算在檢測區(qū)域301的(5×5)像素的位置處的剩余差。結(jié)果，計算出一個圖像的(5×5)像素的評價值。在評價值分布中最小值的位置處的坐標被檢測為運動向量。
在時間m時坐標(u，v)處的代表點的亮度級由km(u，v)來表示。在時間n時坐標(x，y)處的亮度級由kn(x，y)來表示。在這種情況下，根據(jù)代表點匹配系統(tǒng)用于檢測運動向量的剩余差的計算公式可由下面的公式(1)來表示。
P′(x，y)＝|km(u，v)-kn(x，y)|...(1)所獲得的剩余差是用于一對參考區(qū)域306和檢測區(qū)域301。以相同的方式獲得整個幀的許多對剩余差，并且累積在坐標(x，y)處的剩余差。結(jié)果，獲得在坐標(x，y)處的評價值。在圖3中所示的實例中，產(chǎn)生了在25(＝5×5)個像素位置處的評價值。
圖4示出偏差和評價值的關(guān)系的實例。在其評價值為局部最小值的點“a”處的坐標與代表點的坐標之間的剩余差變成運動向量mv(x，y)。當將一幀的整個圖像平面的代表點移動到點“a”處的坐標位置時，點“a”處的坐標的評價值變成局部最小值。這種關(guān)系可由下面的公式(2)表示。在公式(2)中，P(x，y)表示在坐標(x，y)處的評價值(即剩余差的絕對值的累積值)。
mv＝(x-u，y-v)for min{P(x，y)}...(2)當代表點的坐標是(0，0)時，運動向量可由下面的公式(3)表示。
mv＝(x，y)for min{P(x，y)}...(3)特征提取部件142是輸出圖4中所示的點“a”處的評價值的電路。換句話說，特征提取部件142輸出下面的公式(4)以作為特征信息L。
L＝min{P(x，y)}...(4)接著將描述檢測的運動向量的可靠性的確定。圖5示出偏差和評價值的二維關(guān)系。圖5中的曲線示出在從一個穿過評價值最小的點“a”并平行于圖4的x軸和y軸之一的平面觀察偏差和評價值的二維關(guān)系時評價值的變化。
偏差中的局部最小值在點“a”的x軸或y軸的坐標值上。
在圖5中，實線401表示在正常抖動發(fā)生時評價值的變化。當在偏差中檢測到運動向量時，在最小值點處的評價值的絕對值十分小。除偏差中最小值點處之外的圖像的相關(guān)性小。在這種情況下，可以確定檢測到的運動向量的可靠性高。
相反，可以確定基于低對比度狀態(tài)中的評價值的變化而檢測到的運動向量的可靠性低。在圖5中，虛線402表示低對比度狀態(tài)中的評價值的變化。當在偏差中檢測到運動向量時，在最小值點處的評價值的絕對值十分小。在所有偏差中圖像的相關(guān)性高。然而，由于在這種情況下檢測到的運動向量易受到噪聲的影響，所以運動向量的可靠性低。在低對比度狀態(tài)下，由于代表點的亮度級與在檢測區(qū)域中每個像素的亮度級之間的差通常較小，所以通常的評價值較小。結(jié)果，由于運動向量受到噪聲的影響，檢測準確度可能惡化，或者可以檢測到除了抖動之外的運動向量。為了改善待檢測的運動向量的可靠性，有必要檢測到低對比度狀態(tài)并將其排除。
根據(jù)這個實施例，利用由下面的公式(5)表示的評價值之和，確定低對比度狀態(tài)是否發(fā)生。在公式(5)中，X和Y分別表示在檢測區(qū)域的水平方向上的像素數(shù)和在檢測區(qū)域的垂直方向上的像素數(shù)。通過像素數(shù)(X×Y它對應于檢測區(qū)域的面積)來歸一化在坐標處評價值P(x，y)之和。當所得到的值S小時，確定物體的對比度低。
S=Σy=0Y-1Σx=0X-1P(x,y)X×Y---(5)]]>接著將參考圖8A來描述利用通過公式(5)獲得的值S來獲得可靠性指數(shù)Rs的過程。當可靠性低時，即S值小于閾值thrA，將可靠性指數(shù)Rs設置為0。相反，當可靠性高時，即S值大于閾值thrB，將可靠性指數(shù)Rs設置為1。否則，將可靠性Rs設置為由下面的公式(6)表示的值，如圖8A中所示。
Rs=S-thrAthrB-thrA---(6)]]>在圖5中，點劃線403表示在所捕獲的多個圖像包含運動物體的情況下評價值的變化。當在偏差中檢測到運動向量時，在最小值點處的評價值的絕對值相對較大。在所有偏差中圖像的相關(guān)性低。當運動物體出現(xiàn)時，由于圖像的相關(guān)性變低，所以在最小值點處的評價值的絕對值的水平變大。由于圖像的相關(guān)性低，所以檢測到的運動向量的可靠性低。因此，不可能利用檢測到的運動向量來補償。結(jié)果，利用在最小值點處的評價值L來確定可靠性。在最小值點處的評價值L可由公式(7)表示。當評價值L為大時，確定運動物體出現(xiàn)。
L＝min{P(x，y)}...(7)接著將參考圖8B來描述利用通過公式(7)獲得的值L來獲得可靠性指數(shù)RL的過程。當可靠性高時，即L值小于閾值thrC，將可靠性指數(shù)RL設置為1。相反，當可靠性低時，即L值大于閾值thrD，將可靠性指數(shù)RL設置為0。否則，將可靠性指數(shù)RL設置為由下面的公式(8)表示的值，如圖8B中所示。
RL=L-thrDthrC-thrD---(8)]]>運動向量檢測部件141將其中結(jié)合有前述兩個可靠性指數(shù)Rs與RL的可靠性指數(shù)R和根據(jù)公式(9)檢測到的運動向量輸出到系統(tǒng)控制器170。當可靠性指數(shù)R低時，運動向量的可靠性低。相反，當可靠性指數(shù)R大時，運動向量的可靠性高。代之以，該運動向量檢測部件141可以提供評價值到系統(tǒng)控制器170，并且系統(tǒng)控制器170可以計算可靠性指數(shù)。
R＝Rs×RL ...(9)圖6示出在圖1中所示的濾波器160的結(jié)構(gòu)的實例。自存儲器控制器150輸出的數(shù)據(jù)X(z)501被輸入到濾波器160。輸出Y(z)502從濾波器160的加法器520中提取。通過放大器510以放大系數(shù)k放大輸入數(shù)據(jù)X(z)501的水平，并將放大的數(shù)據(jù)提供給加法器520。濾波系數(shù)k(其中0≤k≤1)由系統(tǒng)控制器170指定。
加法器520的輸出數(shù)據(jù)被作為輸出Y(z)提取，并被提供給延遲設備530。延遲設備530的輸出數(shù)據(jù)通過放大器511被提供給加法器520。該放大器511以放大系數(shù)(1-k)放大自延遲設備530輸出的信號。該延遲設備530是將輸出Y(z)502延遲一個采樣周期的延遲設備。一個采樣周期是包含代表點的參考區(qū)域的時間與檢測區(qū)域的時間之差。一個采樣周期例如是一場或一幀。
當圖6中所示的濾波器160的濾波系數(shù)k是1(即k＝1)時，從放大器511提供給加法器520的前一時間的輸出分量是0。在這種情況下，輸入數(shù)據(jù)X(z)501直接作為輸出數(shù)據(jù)Y(z)502被提取。當濾波器160的濾波系數(shù)k不是1(即k≠1)時，從放大器511提供給加法器520的前一時間的輸出分量不是0。該加法器520將前一時間的輸出分量添加到輸入數(shù)據(jù)X(z)501上。不同時間的信號分量相關(guān)，而隨機噪聲分量不相關(guān)。因此，加法器520的加法過程允許減少噪聲分量。
接著將描述濾波系數(shù)Ky。如圖8C中所示，根據(jù)圖像傳感器120的信號電平Y(jié)來計算該濾波系數(shù)Ky，該信號電平Y(jié)是來自亮度檢測部件180的輸出。當亮度級包含大的噪聲分量時，即信號電平Y(jié)小于閾值thrE，濾波系數(shù)Ky可由公式(10)表示。相反，當亮度級不包含大的噪聲分量時，即信號電平Y(jié)等于或大于閾值thrE，將濾波系數(shù)Ky設置成預定濾波系數(shù)Kmax。
Ky=KMAX-KMINthrEY+KMIN---(10)]]>通過公式(11)根據(jù)可靠性指數(shù)R和亮度級來利用濾波系數(shù)Ky可以計算圖6中所示的濾波器160的濾波系數(shù)k。然而，僅僅對于初始圖像，將濾波系數(shù)k設置為1以便消除濾波器的瞬態(tài)響應。
k＝R×Ky...(11)接著將參考圖7來描述由系統(tǒng)控制器170執(zhí)行的控制操作。以捕獲多個圖像的間隔例如一場或一幀來執(zhí)行該控制操作。執(zhí)行次數(shù)的數(shù)目被表示為計數(shù)器值。在低光強度的條件下，以防止圖像具有曝光模糊的快門速度來連續(xù)地捕獲圖像。預定數(shù)目的圖像被補償抖動并濾波。在已經(jīng)處理了預定數(shù)目的圖像并且計數(shù)器值已經(jīng)達到預定值后，該過程完成并將所得到的圖像看作是最終捕獲的圖像。
在步驟S10，確定計數(shù)器值(在下文中簡單地稱為計數(shù)器)是否為0，每當執(zhí)行控制操作，該計數(shù)器的值就加1。當在步驟S10確定的結(jié)果為真，即計數(shù)器為0，則該流程前進到步驟S11。當在步驟S10確定的結(jié)果為假，即計數(shù)器不為0，則該流程前進到步驟S20。
在步驟S11，關(guān)閉抖動補償。換句話說，存儲器控制器150不對在圖像存儲器151中存儲的圖像補償抖動，而是直接輸出該圖像。如果其可靠性為低的狀態(tài)持續(xù)，則在其計數(shù)器為0的初始狀態(tài)中，捕獲初始圖像以便輸出補償過抖動的信號。
在步驟S12，將濾波器160的濾波系數(shù)k設置為1。執(zhí)行該設置以消除處于初始狀態(tài)的濾波器的瞬態(tài)響應。在步驟S13，計數(shù)器加1。此后，該過程完成。在一場或一幀之后輸入的下一圖像的該過程從步驟S10開始。
在步驟S20，檢測抖動并進行補償。換句話說，系統(tǒng)控制器170根據(jù)由運動向量檢測部件141檢測到的運動向量來通知存儲器控制器150用于消除抖動分量的補償量。存儲器控制器150使得圖像存儲器151輸出已經(jīng)補償了抖動的圖像。
在步驟S21，根據(jù)可靠性指數(shù)R和濾波系數(shù)Ky來計算濾波器的系數(shù)k，如由前述公式(11)所表示。在步驟S13，計數(shù)器加1。此后，該過程完成。將由系統(tǒng)控制器170計算的濾波系數(shù)k提供給濾波器160。將該濾波器160的濾波系數(shù)設置為適當?shù)闹怠?br> 根據(jù)本發(fā)明的前述實施例，產(chǎn)生用于整個圖像平面的運動向量。代之以，該圖像平面可分成多個塊?？蓪γ繅K執(zhí)行抖動補償和濾波過程。根據(jù)本發(fā)明的另一實施例，對于每塊執(zhí)行過程。
根據(jù)本發(fā)明此實施例的成像裝置的整體結(jié)構(gòu)與圖1中所示的根據(jù)前述實施例的相同。因此，圖1中所示的結(jié)構(gòu)元件的附圖標記也用于此實施例的描述。根據(jù)此實施例，包括運動向量檢測部件141和特征提取部件142的抖動檢測部件140對(I×J)塊中的每塊執(zhí)行過程，該(I×J)塊是通過將圖像傳感器120的捕獲的圖像平面在垂直方向上分成J個部分并在水平方向上分成I個部分而產(chǎn)生的。在每塊中，指定了多個參考區(qū)域和多個檢測區(qū)域。因此，對每塊執(zhí)行存儲器控制器150的抖動補償操作和濾波器160的過程。亮度檢測部件180對每塊檢測自模擬信號處理部件130輸出的信號的亮度級。
類似于前述實施例，在低光強度的條件下，以防止圖像具有曝光模糊的快門速度連續(xù)地捕獲圖像，并且對所獲得的多個圖像補償抖動，以及通過遞歸濾波器進行處理。然而，根據(jù)此實施例，對每塊執(zhí)行抖動補償和濾波過程。
根據(jù)代表點系統(tǒng)檢測到運動向量的結(jié)構(gòu)與根據(jù)前述實施例的結(jié)構(gòu)相同(參考圖2)。如參考圖3所述，計算在參考區(qū)域中的代表點的亮度級與檢測區(qū)域301中的每個像素的亮度級之間的剩余差的絕對值。在這種情況下，當將在時間m時的塊(i，j)(其中i＝0，1，2，...I-1， j＝0，1，2，...，J-1)的坐標(u，v)的代表點的亮度級由km，i，j(x，y)表示，并將在時間n時的坐標(x，y)的亮度級為由kn，i，j(x，y)表示時，別根據(jù)代表點匹配系統(tǒng)的用于檢測運動向量的剩余差計算公式可以通過公式(12)來表示。
P′i，j(x，y)＝|km，i，j(u，v)-kn，i，j(x，y)|...(12)所獲得的剩余差是用于一對參考區(qū)域306和檢測區(qū)域301的。同樣，可以為每塊的許多對獲得剩余差。當累積坐標(x，y)的剩余差時，獲得了坐標(x，y)的評價值。在此實施例中，為每塊獲得25(＝5×5)個像素位置的評價值。
為每塊獲得圖4中所示的偏差與評價值的關(guān)系。其評價值為局部最小值的點“a”和代表點的坐標之間的剩余差是塊(i，j)的運動向量mvi，j(x，y)。當一塊的代表點移動到點“a”時，點“a”的評價值變成局部最小值。每塊的運動向量mvi，j(x，y)可由下面的公式(13)表示。在公式(13)中，Pij(x，y)表示塊(i，j)的坐標(x，y)的評價值(即剩余差的絕對值的評價值)。
mvi，j＝(x-u，y-v)for min{Pi，j(x，y)}...(13)當代表值的坐標是(0，0)時，塊(i，j)的運動向量可由下面的公式(14)表示。
mvi，j＝(x，y)...(14)特征提取部件142是根據(jù)為每塊獲得的運動向量而輸出評價值的電路。換句話說，特征提取部件142輸出下面的公式(15)的結(jié)果以作為塊(i，j)的特征信息。
Li，j＝min{Pi，j(x，y)}...(15)圖10示出每塊的偏差和評價值的二維關(guān)系。類似于前述實施例(圖5中所示)，在圖10中實線601表示在發(fā)生正常抖動時評價值的變化。當在偏差中檢測到運動向量時，在最小值點處的評價值的絕對值十分小。在除了最小值點的偏差中，圖像的相關(guān)性小。在這種情況下，可以確定檢測到的運動向量的可靠性高。
另一方面，可以確定相應于處于低對比度狀態(tài)中的評價值的變化而檢測到的運動向量的可靠性低。在圖10中，虛線602表示處于低對比度狀態(tài)中的評價值的變化。當在偏差中檢測到運動向量時，在最小值點處的評價值的絕對值十分小。在所有偏差中，圖像的相關(guān)性高。然而，由于檢測到的運動向量往往易于受到噪聲影響，所以運動向量的可靠性低。在低對比度狀態(tài)中，由于在代表點的亮度級與檢測區(qū)域的每個像素的亮度級之間的差變得通常較小，所以通常的評價值變得較小。結(jié)果，由于運動向量受到噪聲等的影響，存在這樣的可能性，即檢測準確度惡化以及可能檢測到除了抖動之外的運動向量。因此，為了增強待檢測的運動向量的可靠性，有必要檢測低對比度狀態(tài)并將它排除。
根據(jù)此實施例，利用由公式(16)表示的每塊的評價值之和sum Si，j來確定物體的對比度是否為低。在公式(16)中，X和Y分別表示在檢測區(qū)域的水平方向上的像素數(shù)和在垂直方向上的像素數(shù)。通過用像素數(shù)(X×Y它對應于檢測區(qū)域的面積)歸一化在坐標處的評價值Pi，j(x，y)之和來獲得值Si，j。當該值Si，j小時，確定物體的對比度低。
Si,j=Σy=0Y-1Σx=0X-1Pi,j(x,y)X×Y---(16)]]>類似于前述實施例，當通過公式(16)獲得的塊(i，j)的值Si，j小于閾值thrA時，將可靠性指數(shù)Rsi，j設置為0。當可靠性指數(shù)Rsi，j高時，即值Si，j大于閾值thrB，將可靠性指數(shù)Rsi，j設置為1。否則，將可靠性指數(shù)Rsi，j設置為由下面的公式(17)表示的值。
Rsi,j=Si,j-thrAthrB-thrA---(17)]]>從運動向量檢測部件141輸出的每塊的運動向量可能包含除了抖動分量之外的運動物體的分量。為了減少由于運動物體導致的故障，有必要只提取抖動分量，并使存儲器控制器150根據(jù)運動向量來補償抖動。除了補償抖動之外，還有必要檢測來自運動向量的除抖動之外的分量并計算可靠性指數(shù)RLi，j，以使濾波器160不結(jié)合該分量。
抖動分量可由公式(18)表示。在公式(18)中，MD表示中值濾波器。系統(tǒng)控制器170使存儲器控制器150補償抖動分量mvMD。
mvMD＝(MD{xi，j}，MD{yi，j})...(18)接著將描述運動物體的檢測和可靠性。相關(guān)塊包含運動物體的程度被確定為運動向量分量與抖動分量之間的偏差度。偏差度Li，m可由公式(19)表示。當偏差度Li，j大時，確定出現(xiàn)運動物體。
Li，j＝|mvi，j-mvMD|...(19)在這種情況下，如圖8B中所示，以與前述實施例相同的方式利用偏差度Li，j計算塊(i，j)的可靠性指數(shù)RLi，j。當可靠性指數(shù)RLi，j高時，即偏差度Li，j小于閾值thrC，將可靠性指數(shù)RLi，j設置為1。當可靠性指數(shù)RLi，j低時，即偏差度Li，j大于閾值thrD，將可靠性指數(shù)RLi，j設置為0。否則，將可靠性指數(shù)RLi，j設置為由公式(20)表示的值。
RLi,j=Li,j-thrDthrC-thrD---(20)]]>當由運動向量檢測部件141檢測到的每塊(i，j)的運動向量的可靠性由Ri，j表示時，則可由公式(21)表示可靠性指數(shù)Ri，j。當可靠性指數(shù)Ri，j低時，則運動向量的可靠性低。相反，當可靠性指數(shù)Ri，j大時，則運動向量的可靠性高。
Ri，j＝Rsi，j×RLi，j...(21)對于已經(jīng)補償了抖動的圖像的每塊的濾波器具有與圖6中所示的前述實施例的結(jié)構(gòu)相同的結(jié)構(gòu)。然而在此實施例中，為每塊設置濾波系數(shù)。每塊的濾波系數(shù)由ki，j(其中0≤ki，j≤1)表示。
接著將描述塊(i，j)的濾波系數(shù)kyi，j。類似于前述實施例，如圖8C所示，利用自亮度檢測部件180輸出的圖像傳感器120的信號電平Y(jié)i，j計算濾波系數(shù)kyi，j。當亮度級包含大的噪聲分量時，即信號電平Y(jié)i，j小于閾值thrE，可由公式(22)表示濾波系數(shù)kyi，j。相反，當亮度級不包含大的噪聲分量時，即信號電平Y(jié)i，j等于或大于閾值thrE，將濾波系數(shù)kyi，j設置為預定濾波系數(shù)kmax。
KYi,j=KMAX-KMINthrEYi,j+KMIN---(22)]]>類似于前述實施例，通過公式(23)根據(jù)可靠性指數(shù)R和亮度級來利用濾波系數(shù)指數(shù)kyi，j計算濾波系數(shù)ki，j。然而，僅僅對于初始圖像，將濾波系數(shù)k設置為1以便消除濾波器的瞬態(tài)響應。
Ki，j＝Ri，j×KYi，j...(23)根據(jù)此實施例，如圖7中所示以與前述實施例相同的方式來執(zhí)行系統(tǒng)控制器170的控制操作。然而，根據(jù)前述實施例，對每場或每幀執(zhí)行控制操作。相反，根據(jù)此實施例，有必要對每塊執(zhí)行控制操作。在已經(jīng)處理了預定數(shù)目圖像的所有塊并且計數(shù)器值已經(jīng)達到預定值之后，該過程完成。所得到的圖像被看作是最終捕獲圖像。
根據(jù)本發(fā)明的此實施例，由于控制多個塊中的每塊而不同于前述實施例中的控制每幀或每場，所以可以根據(jù)圖像的局部特征來控制濾波系數(shù)。因此，根據(jù)本發(fā)明的此實施例，圖像質(zhì)量可以比前述實施例的圖像質(zhì)量得到更多的改善。
本領(lǐng)域技術(shù)人員應該理解，根據(jù)設計要求和其他因素，可能出現(xiàn)各種修改、組合、再組合和變更，只要它們在所附權(quán)利要求書及其等同物的范圍內(nèi)。例如，可以由除了代表點系統(tǒng)之外的系統(tǒng)來檢測運動向量。
權(quán)利要求
1.一種成像方法，包括下列步驟捕獲多個按時間順序不同的圖像；檢測所述多個圖像的運動并產(chǎn)生運動信息；確定所述運動信息的可靠性；根據(jù)所述運動信息來補償在所述多個圖像中發(fā)生的抖動；以及通過利用遞歸濾波器來濾波已經(jīng)補償了抖動的圖像，其中所述濾波過程的特征根據(jù)所述運動信息的可靠性而改變。
2.如權(quán)利要求1所述的成像方法，其中通過在防止發(fā)生曝光模糊的存儲時間中捕獲所述多個圖像中的每個來執(zhí)行所述捕獲步驟。
3.如權(quán)利要求1所述的成像方法，其中對所述多個圖像中首先捕獲的圖像不執(zhí)行所述抖動補償步驟。
4.如權(quán)利要求1所述的成像方法，其中對所述多個圖像中首先捕獲的圖像改變所述遞歸濾波器的特性。
5.如權(quán)利要求1所述的成像方法，其中在所述可靠性確定步驟中，將從低對比度物體中捕獲的圖像中所獲得的所述運動信息的可靠性確定為低。
6.如權(quán)利要求1所述的成像方法，其中在所述可靠性確定步驟中，將從所述多個圖像中獲得的所述運動信息的可靠性確定為低，所述多個圖像的一部分包括運動物體。
7.如權(quán)利要求1所述的成像方法，其中將所捕獲的圖像中的每個分成多塊，以及其中對所述多塊中的每個執(zhí)行所述運動檢測步驟、可靠性確定步驟、抖動補償步驟、濾波步驟以及改變所述濾波過程的特征的過程。
8.一種成像裝置，包括用于捕獲多個按時間順序不同的圖像的圖像捕獲裝置；用于檢測所述多個圖像的運動并產(chǎn)生運動信息的運動檢測裝置；用于確定所述運動信息的可靠性的可靠性確定裝置；用于根據(jù)所述運動信息來補償在所述多個圖像中發(fā)生的抖動的抖動補償裝置；以及用于通過利用遞歸濾波器來濾波已經(jīng)補償了抖動的圖像的濾波裝置，其中所述濾波裝置的特性根據(jù)所述運動信息的可靠性而改變。
9.一種成像裝置，包括捕獲多個按時間順序不同的圖像的圖像捕獲部件；檢測所述多個圖像的運動并產(chǎn)生運動信息的運動檢測部件；確定所述運動信息的可靠性的可靠性確定部件；根據(jù)所述運動信息來補償在所述多個圖像中發(fā)生的抖動的抖動補償部件；以及通過利用遞歸濾波器來濾波已經(jīng)補償了抖動的圖像的濾波部件，其中所述濾波部件的特性根據(jù)所述運動信息的可靠性而改變。
全文摘要
公開了一種成像裝置。該成像裝置包括圖像捕獲部件，運動檢測部件，可靠性確定部件，抖動補償部件和濾波部件。該圖像捕獲部件捕獲多個按時間順序不同的圖像。該運動檢測部件檢測該多個圖像的運動并產(chǎn)生運動信息。該可靠性確定部件檢測運動信息的可靠性。該抖動補償部件根據(jù)該運動信息來補償在該多個圖像中發(fā)生的抖動。該濾波部件通過利用遞歸濾波器來濾波已經(jīng)補償了抖動的圖像。該濾波部件的特性根據(jù)該運動信息的可靠性而改變。
文檔編號H04N5/232GK1933557SQ200610153960
公開日2007年3月21日 申請日期2006年9月15日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者野村博文, 熊木甚洋, 島田淳司, 西乃武夫, 孟龍 申請人:索尼株式會社