專利名稱：修正手震模糊的數(shù)碼圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對于數(shù)碼圖像的處理方法，特別涉及有關(guān)于修正因為手 震模糊的數(shù)碼圖像處理方法。
背景技術(shù)：
在數(shù)碼相機發(fā)展快速的今天，許多人會利用攝影來記錄值得紀(jì)念的一 刻。但無論在底片相機或數(shù)碼相機上，往往會因為使用者對相機把持不穩(wěn)定， 而導(dǎo)致拍攝時產(chǎn)生模糊圖像。只要是徒手拿取相機，多多少少都存在著震動 的問題。差別是每個人手持的穩(wěn)定程度均有所不同，導(dǎo)致按下快門瞬間會不 自主的位移。所以為了避免因為手震而使得拍攝產(chǎn)生模糊圖像，數(shù)碼相機廠 商會通過硬件方式來避免手震或以軟件方式來對校正已模糊的數(shù)碼圖像。
所以在每一家數(shù)碼相機廠商在自家的產(chǎn)品中，均加入不同的防手震機 制。防手震機制是要在拍攝過程中，檢測并抑制因為手部晃動而造成的圖像 模糊現(xiàn)象。防手震技術(shù)主要通過硬件或軟件的方式來達成。
硬件的方式一般都是利用感光元件防手震以及機械式防手震。感光元件
防手震是為提高感光度(International Standards Organization,以下簡稱ISO) 能力?；旧咸岣逫SO只是讓快門可以在感受到震動之前完成動作，但提高 ISO同時也會帶來更高的噪聲。而機械式防手震在數(shù)碼相機中設(shè)置一運動檢 測元件。當(dāng)數(shù)碼相機檢測到發(fā)生手震的同時，數(shù)碼相機會根據(jù)手震的方向來 將鏡頭移向反方向，借以補償因為位移所造成的圖像模糊。另外一種防手震 方法是放大光圈的方式，用以增加入光量借以縮短快門時間。但是光圈大小 取決于鏡頭組的組合架構(gòu)。 一般而言，大光圈的鏡頭具有較高的成本與體積。 所以不易被設(shè)置于消費型的數(shù)碼相機中。

發(fā)明內(nèi)容
鑒于以上的問題，本發(fā)明的主要目的在于提供一種修正手震模糊的數(shù)碼
4圖像修正方法，應(yīng)用于數(shù)碼相機在拍攝時手震所造成的圖像模糊。
本發(fā)明提出一種修正手震模糊的數(shù)碼圖像修正方法，包括下列步驟取 得數(shù)碼相機的安全快門時間；進行曝光調(diào)整程序，分別調(diào)整數(shù)碼相機的光圈 大小與感光度，并重新取得數(shù)碼相機調(diào)整后的快門時間；進行拍攝程序；若 數(shù)碼相機的快門時間大于安全快門時間，則拍攝多張數(shù)碼圖像；根據(jù)這些數(shù) 碼圖像執(zhí)行圖像補償程序，將這些數(shù)碼圖像中相同的圖像物件將對應(yīng)的像素 逐一對齊，并將這些每一個像素逐一疊加，用以產(chǎn)生一輸出圖像。
本發(fā)明提出一種對數(shù)碼相機拍攝中因手震而產(chǎn)生的模糊圖像的修正方 法。本發(fā)明從連續(xù)且相近的數(shù)碼圖像中提取相似的區(qū)域來對模糊圖像進行圖 像的修補，借以產(chǎn)生新的合成圖像。通過相似的數(shù)碼圖像來對其修補，可以 提高數(shù)碼圖像的清晰度。
有關(guān)本發(fā)明的特征與內(nèi)容，現(xiàn)配合附圖和優(yōu)選實施例詳細(xì)說明如下。


圖la為本發(fā)明的運作流程圖。
圖lb為曝光調(diào)整程序的運作流程圖。
圖lc為圖像補償程序的運作流程圖。
圖ld為邊界模糊檢測手段的運作流程圖。
圖le為光流計算程序的運作流程圖。
圖2為圖像拍攝的時間示意圖。
圖3a為選取視窗對圖像的示意圖。
圖3b為選取視窗對圖像的示意圖。
圖4為利用位置偏移量取代相應(yīng)像素的示意圖。
圖5為產(chǎn)生位置偏移量的示意圖。
圖6為產(chǎn)生暫存圖像的示意圖。
并且，上述附圖中的附圖標(biāo)記說明如下-
211 第一圖像
212 第二圖像
311 基礎(chǔ)圖像
312 比對圖像313 第一選取視窗
314 第二選取視窗
3141 第二選取視窗子區(qū)域
315 暫存圖像
具體實施例方式
請參考圖la所示，其為本發(fā)明的運作流程圖。修正手震模糊的數(shù)碼圖
像處理方法中包括以下步驟首先，取得數(shù)碼相機的安全快門時間，如步驟
SllO。進行曝光調(diào)整程序，分別調(diào)整數(shù)碼相機的光圈大小與感光度，并重新 取得數(shù)碼相機調(diào)整后的快門時間，如步驟S120。進行拍攝程序，如步驟S130。 判斷相機快門時間是否小于安全快門，如步驟S140。若數(shù)碼相機的快門時間 小于安全快門時間，則拍攝單張數(shù)碼圖像，如步驟S141。若數(shù)碼相機的快門 時間大于安全快門時間，則拍攝多張數(shù)碼圖像，如步驟S142。根據(jù)這些數(shù)碼 圖像執(zhí)行圖像補償程序，對這些數(shù)碼圖像進行補償，產(chǎn)生一輸出圖像，如步 驟S150。
為了清楚解說每一步驟的運作，以下將針對個別步驟進行細(xì)部運作的解 釋。于步驟S110中，數(shù)碼相機的安全快門時間依據(jù)數(shù)碼相機的感光值 (International Organization for Standardization,簡稱ISO)與光圈值所決定。安 全快門指的是小于此一快門時間時，使用者發(fā)生手震的機率會最小。 一般而 言，安全快門的設(shè)定為焦距的倒數(shù)。舉例來說，若鏡頭的焦距為50mm時， 安全快門為(l/50)秒。所以在較大的焦距值，數(shù)碼相機的安全快門時間就越 短，反之亦然。除此之外，數(shù)碼相機的光圈值也會影響安全快門的時間。因 為在相同的快門時間，較大光圈值的入光量比小光圈值的入光量來的高，使 得數(shù)碼相機可以在更短的快門時間中完成感光的動作。所以數(shù)碼相機可以利 用較短時間的快門進行拍攝的動作。
數(shù)碼相機在取得此一環(huán)境拍攝時的相應(yīng)安全快門后，數(shù)碼相機根據(jù)安全 快門進行曝光調(diào)整程序。請參考圖lb所示，其為曝光調(diào)整程序的運作流程 圖。在本實施例中曝光調(diào)整程序中包括以下步驟縮短快門時間，如步驟 S121。根據(jù)縮短后的快門時間判斷其是否小于安全快門時間，如步驟S122。 若縮短后的快門時間小于安全快門時，則進行步驟S130。若縮短后的快門時間大于安全快門時，則調(diào)整光圈值用以縮短快門時間，如步驟S123。根據(jù)縮 短后的快門時間判斷其是否小于安全快門時間，如步驟S124。若縮短后的快 門時間仍大于安全快門時，則調(diào)整感光值用以縮短快門時間，如步驟S125。
根據(jù)步驟S125的結(jié)果，判斷調(diào)整后的快門時間是否小于安全快門。若 是快門時間小于安全快門時進行拍攝程序，則數(shù)碼相機拍攝單張圖像。若是 快門時間大于安全快門時進行拍攝程序，則拍攝多張數(shù)碼圖像，如對應(yīng)步驟 S142。其中，根據(jù)當(dāng)前數(shù)碼相機的快門速度決定拍攝數(shù)碼圖像的張數(shù)。舉例 來說，若是快門時間大于兩倍的安全快門時間，則拍攝至少兩張數(shù)碼圖像； 若是快門時間大于四倍的安全快門時間，則在此一快門時間拍攝至少四張以 上的數(shù)碼圖像。因為快門時間大于安全快門時，數(shù)碼相機產(chǎn)生手震的機率會 提高。本實施例在此一快門時間中分別拍攝多張數(shù)碼圖像，并根據(jù)這些數(shù)碼 圖像執(zhí)行圖像補償程序。
特別需要說明的是，本實施例中所采用的數(shù)碼圖像由感光元件所輸出的 原始圖像(RAW)。 RAW檔包含兩種類型的信息圖像畫素本身及圖像的中 繼數(shù)據(jù)(metadata)。中繼數(shù)據(jù)就是相機每次拍照所產(chǎn)生的"數(shù)據(jù)的數(shù)據(jù)"。舉 例來說，不論是RAW檔或JPEG檔，都包含EXIF的中繼數(shù)據(jù)，其中包 括相機型號、序號、快門速度、光圈大小、焦距、閃燈有沒有亮……等信 息。拍攝過程中，只有三種相機設(shè)定會影響RAW檔光圈、快門與感光度。 除此之外，攝影者都可以在轉(zhuǎn)換過程做各種控制不論是白平衡闡釋，或色
彩、階調(diào)與細(xì)節(jié)(銳利化與噪聲處理)的處理，都有很大彈性的調(diào)整空間。 甚至可以針對曝光補償重新做解釋。
請參考圖lc所示，其為圖像補償程序的運作流程圖。圖像補償程序包 括以下步驟在步驟S125所得到的安全快門時間中的第一時間拍攝第一圖 像以及第二時間拍攝第二圖像，如步驟S151。將第一圖像與第二圖像分別執(zhí) 行邊界模糊檢測手段，在兩者之間決定一者為基礎(chǔ)圖像另一者為比對圖像， 如步驟S152。進行光流計算程序，如步驟S153，用以對齊基礎(chǔ)圖像與比對 圖像中的相同圖像物件的每一像素位置，并產(chǎn)生輸出圖像。根據(jù)步驟S125 所得到的安全快門時間，判斷是否重復(fù)執(zhí)行步驟S151 步驟S153，如步驟 S154。
請參考圖ld所示，其為邊界模糊檢測手段的運作流程圖。在步驟S152
7中所述的邊界模糊檢測手段中還包括以下步驟分別對第一圖像與第二圖像 進行區(qū)域?qū)故侄危绮襟ES1521。分別比對第一圖像與第二圖像的區(qū)域?qū)?br> 焦中的邊界比對值是否符合邊界閾值，如步驟S1522。若第一圖像與第二圖 像的邊界比對值的任一大于邊界閾值，則選擇邊界比對值最大者作為基礎(chǔ)圖 像，另一者則為比對圖像，如步驟S1523。若第一圖像的邊界比對值與第二 圖像的邊界比對值均小于邊界閾值的話，重新執(zhí)行提取第一圖像與第二圖 像，如步驟S1524。
請參考圖le所示，其為光流計算程序的運作流程圖。在步驟S153中所 述的光流計算程序中還包括下列步驟設(shè)定第一選取視窗與第二選取視窗， 如步驟S1531。第一選取視窗用以選取基礎(chǔ)圖像的部分圖像。第二選取視窗 用以選取比對圖像的部分圖像，且第一選取視窗小于第二選取視窗。計算第 一選取視窗比對第二選取視窗中相應(yīng)位置的像素的位置偏移量，如步驟 S1532。根據(jù)每一位置偏移量從比對圖像中找出與基礎(chǔ)圖像中相同圖像物件 的每一像素，如步驟S1533。進行一除噪聲程序，如步驟S1534，用以去除 比對圖像中與基礎(chǔ)圖像中相同圖像物件中的噪聲像素。將這些像素與基礎(chǔ)圖 像中相應(yīng)位置的像素相疊合產(chǎn)生輸出圖像，如步驟S1535。
為清楚說明本實施例中的圖像補償程序的運作流程，在此以下例作為說 明，其中所使用的各項設(shè)定并非僅局限于此說明所示，所以在此先作此說明。 假設(shè)安全快門時間為1/100秒，當(dāng)前快門時間為1/60秒。因為當(dāng)前快門時間 大于兩倍的安全快門時間，所以本實施例中設(shè)定在快門時間中拍攝兩張數(shù)碼 圖像。分別于第一時間與第二時間中拍攝第一圖像與第二圖像。
請另外配合圖2所示，其為圖像拍攝的時間示意圖。舉例來說，將原本 快門時間為1/60秒的拍攝時間，再細(xì)分成快門時間各為1/120秒的第一時間 與第二時間進行拍攝。將第一圖像與第二圖像分別執(zhí)行邊界模糊檢測手段， 在兩者之間決定一者為基礎(chǔ)圖像另一者為比對圖像。其中，數(shù)碼相機執(zhí)行邊 界模糊檢測手段，用以分別對第一圖像與第二圖像進行區(qū)域?qū)故侄?，如?應(yīng)步驟S1521。分別比對第一圖像的邊界比對值與第二圖像的區(qū)域?qū)怪械?邊界比對值是否符合邊界閾值，如對應(yīng)步驟S1522。邊界比對值指的是對焦 時對于圖像物件間的交界清晰度。若是圖像物件間的邊界間距越明顯的話， 則邊界比對值越高，反之亦然。計算邊界比對值可以通過圖像物件邊界的間距寬度來作為計算的依據(jù)。比較第一圖像211與第二圖像212的邊界比對值。 若第一圖像的邊界比對值與第二圖像的邊界比對值的任一大于邊界閾值的 話，選擇邊界比對值較大者作為基礎(chǔ)圖像，較小者則為比對圖像，如對應(yīng)步 驟S1523。若第一圖像的邊界比對值與第二圖像的邊界比對值均小于邊界閾 值的話，重新執(zhí)行提取第一圖像與第二圖像，如對應(yīng)步驟S1524。
對比對圖像與基礎(chǔ)圖像執(zhí)行光流計算，用以從比對圖像中找出相對于基 礎(chǔ)圖像的像素所在位置的位置偏移量。光流(optical flow)指的是數(shù)碼圖像中 的圖像物件在多張不同圖像的移動位移量。因為拍攝的過程中發(fā)生手震，使 得比對圖像與基礎(chǔ)圖像中的相同圖像物件不會坐落于相同的位置上。在本實 施例中利用光流計算用以對齊比對圖像與基礎(chǔ)圖像中相同圖像物件的每一
請配合圖le，以下為光流計算的詳細(xì)運作步驟首先，設(shè)定第一選取視 窗與設(shè)定第二選取視窗。第一選取視窗用以選取基礎(chǔ)圖像的部分圖像。第二 選取視窗用以選取比對圖像的部分圖像，且第一選取視窗小于第二選取視 窗。計算第一選取視窗比對第二選取視窗中相應(yīng)位置的像素的位置偏移量。 在拍攝的過程因為手震的緣故，會使得基礎(chǔ)圖像311中的物件的像素位置不 一定會落在與比對圖像312相同的像素位置上。所以為了能找出比對圖像312 中與基礎(chǔ)圖像311相同的物件的所在位置。
請參考圖3a、圖3b與圖4所示，其分別為選取視窗對圖像的示意圖、 利用位置偏移量取代相應(yīng)像素的示意圖。在圖3a中，在基礎(chǔ)圖像中利用第 一選取視窗313來選取其部分的圖像區(qū)域；在圖3b中，在比對圖像中利用 第二選取視窗314來選取其部分的圖像區(qū)域。
其中，第一選取視窗313的圈選范圍取決于第二選取視窗314。第二選 取視窗314中選定一個第二選取視窗子區(qū)域3141，第二視窗子區(qū)域3141的 大小等同于第一選取視窗313。第二選取視窗子區(qū)域3141分別依序且重疊的 方式從第二選取視窗314中選取各個區(qū)域。第一選取視窗313從第二選取視 窗314由左到右、由上至下的方向進行選取。計算第二選取視窗子區(qū)域3141 和第一選取窗313的相似度。相似度計算請參考式l，其為第一選取視窗在 第二選取視窗中的第(i，j)像素與其周圍的像素的相似度計算(Xk,》)為比對圖像與基礎(chǔ)圖像中具有相同圖像物件的像素位置；Wij: 第(i,j)像素的權(quán)重值；Wi,:第(i,j)像素的噪聲濾波器；II:為比對圖像;12: 為基礎(chǔ)圖像。當(dāng)Cost值越小代表這兩個像素的相似度越高，換句話說，就是 兩個像素越相似。特別值得注意的是，在本實施例中還利用噪聲濾波器對噪 聲像素進行其像素值的調(diào)整。借以避免之后在進行像素疊合時，因為直接將 噪聲像素與原始像素疊加會導(dǎo)致疊加后的像素出現(xiàn)失真。當(dāng)比對圖像(或基礎(chǔ)
圖像)的第(Xk,力)個像素為噪聲像素時，則將Wijn設(shè)為0，反之則將Wij"設(shè)為1。
舉例來說，假設(shè)第一選取視窗313為5*5像素陣列；第二選取視窗314 為9*9像素陣列。將第一選取視窗313從第二選取視窗314由左到右、由上 至下的方向進行選取。并且逐一比對第一選取視窗313相應(yīng)于第二選取視窗 314的像素。在此一實施例中需要對第二選取視窗314進行25回合的相似度 計算。并得到25個Cost值。再從25個Cost值中選取最小的Cost值，將其 視為第二選取視窗相應(yīng)于第一選取視窗的相同圖像物件的像素。重復(fù)的執(zhí)行 此一步驟，用以找出圖像物件的其他相應(yīng)位置的像素。
在本實施例中利用光流計算所產(chǎn)生的位置偏移量對比對圖像312的像素 位置進行修正，用以找出在基礎(chǔ)圖像311中相應(yīng)的像素。在基礎(chǔ)圖像311與 比對圖像312中的相同圖像像素利用斜紋方格作為代表。圖4右方代表的是 基礎(chǔ)圖像311與比對圖像312的相同像素的所在位置。請參考圖5所示，其 為產(chǎn)生位置偏移量的示意圖。
若是以坐標(biāo)值來解說的話，基礎(chǔ)圖像311的相同像素位置為(2， 3);比 對圖像312的相同像素位置為(4， 5)。將比對圖像312與基礎(chǔ)圖像311的像 素位置進行相減，可以得到比對圖像312對基礎(chǔ)圖像311的像素的相對位置。 兩者相對位置的修正值為(2， 2)，其代表將比對圖像312的像素減掉修正值 即為在基礎(chǔ)圖像311中相應(yīng)像素位置。分別計算每一個比對圖像312對基礎(chǔ) 圖像311的相對位置修正值，根據(jù)這些修正值從基礎(chǔ)圖像311中找出像素。 并將所找出的像素依序的組合，使其產(chǎn)生暫存圖像315。請參考圖6所示， 其為產(chǎn)生暫存圖像的示意圖。
最后，將這些像素與基礎(chǔ)圖像中相應(yīng)位置的像素相疊合產(chǎn)生輸出圖像。 將暫存圖像315中的像素對齊于基礎(chǔ)圖像311中的相應(yīng)像素，再對暫存圖像 315與基礎(chǔ)圖像311進行圖像合并處理。圖像合并處理可以直接將基礎(chǔ)圖像
10311與暫存圖像315找出相同的位置的像素，再將其疊合起來。RAW檔所存 儲的中繼數(shù)據(jù)可以提供亮度的疊合補償，所以當(dāng)兩張圖像相疊合時，可以得 到相對應(yīng)量的快門時間。最后將兩張疊合后的圖像輸出為一清晰的輸出圖 像。
本發(fā)明提出一種對數(shù)碼相機拍攝中因手震而產(chǎn)生的模糊圖像的修正方 法。本發(fā)明從連續(xù)且相近的數(shù)碼圖像中提取相似的區(qū)域來對模糊圖像進行圖 像的修補，借以產(chǎn)生新的輸出圖像。通過相似的數(shù)碼圖像來對其修補，可以 提高數(shù)碼圖像的清晰度。
權(quán)利要求
1.一種修正手震模糊的數(shù)碼圖像處理方法，修正一數(shù)碼相機在拍攝時手震造成的模糊圖像，該圖像修正方法包括下列步驟取得該數(shù)碼相機的一安全快門時間；進行一曝光調(diào)整程序，分別調(diào)整該數(shù)碼相機的一光圈大小與一感光度，并重新取得該數(shù)碼相機調(diào)整后的快門時間；進行一拍攝程序；若該數(shù)碼相機的快門時間大于該安全快門時間，則拍攝多張數(shù)碼圖像；以及根據(jù)所述多個數(shù)碼圖像執(zhí)行一圖像補償程序用以疊合所述多個數(shù)碼圖像中相同圖像物件的每一像素，借以產(chǎn)生一輸出圖像。
2. 如權(quán)利要求1所述的修正手震模糊的數(shù)碼圖像處理方法，其中該圖像 補償程序包括以下步驟在該安全快門時間中的一第一時間拍攝一第一圖像以及一第二時間拍 攝一第二圖像；將該第一圖像與該第二圖像分別執(zhí)行一邊界模糊檢測手段，在兩者之間 決定一者為一基礎(chǔ)圖像另一者為一比對圖像；以及進行一光流計算程序，用以對齊該基礎(chǔ)圖像與該比對圖像中的相同圖像 物件的每一像素位置，并產(chǎn)生該輸出圖像。
3. 如權(quán)利要求2所述的修正手震模糊的數(shù)碼圖像處理方法，其中該邊界 模糊檢測手段中還包括以下步驟分別對該第一圖像與該第二圖像進行區(qū)域?qū)?；分別比對該第一圖像與該第二圖像的區(qū)域?qū)怪械倪吔绫葘χ凳欠穹?合一邊界閾值；若該第一圖像與該第二圖像的邊界比對值的任一大于該邊界閾值，則選 擇邊界比對值最大者作為該基礎(chǔ)圖像，另一者則為該比對圖像；以及若該第一圖像的邊界比對值與該第二圖像的邊界比對值均小于該邊界 閾值的話，重新執(zhí)行提取該第一圖像與該第二圖像。
4. 如權(quán)利要求2所述的修正手震模糊的數(shù)碼圖像處理方法，其中執(zhí)行該 光流計算程序中還包括下列步驟從該比對圖像中找出相對于該基礎(chǔ)圖像的像素所在位置的一位置偏移設(shè)定一第一選取視窗，用以選取該基礎(chǔ)圖像的部分圖像； 設(shè)定一第二選取視窗，用以選取該比對圖像的部分圖像，且該第一選取視窗小于該第二選取視窗；計算該第一選取視窗比對該第二選取視窗中相應(yīng)位置的像素的該位置偏移量；根據(jù)每一該位置偏移量從該比對圖像中找出與該基礎(chǔ)圖像中相同圖像物件的每一像素；進行一除噪聲程序，用以去除該比對圖像中與該基礎(chǔ)圖像中相同圖像物件中的噪聲像素；以及將這些像素與該基礎(chǔ)圖像中相應(yīng)位置的像素相疊合，產(chǎn)生該輸出圖像。
5.如權(quán)利要求1所述的修正手震模糊的數(shù)碼圖像處理方法，其中進行該拍攝程序后還包括以下步驟若該數(shù)碼相機的快門時間小于該安全快門時間，則拍攝單張數(shù)碼圖像。
全文摘要
本發(fā)明公開一種修正手震模糊的數(shù)碼圖像處理方法，修正數(shù)碼相機在拍攝時因為手震所造成的模糊圖像，處理方法包括下列步驟取得數(shù)碼相機的安全快門時間；進行曝光調(diào)整程序，分別調(diào)整數(shù)碼相機的光圈大小與感光度，并重新取得數(shù)碼相機調(diào)整后的快門時間；進行拍攝程序；若數(shù)碼相機的快門時間大于安全快門時間，則拍攝多張數(shù)碼圖像；根據(jù)這些數(shù)碼圖像執(zhí)行圖像補償程序，將這些數(shù)碼圖像中相同的圖像物件對齊并將數(shù)碼圖像的每一個像素逐一疊加，用以輸出一輸出圖像。
文檔編號H04N5/232GK101577791SQ20081009569
公開日2009年11月11日 申請日期2008年5月7日 優(yōu)先權(quán)日2008年5月7日
發(fā)明者周宏隆, 楊智淵 申請人:華晶科技股份有限公司