專利名稱：圖像處理方法、圖像處理裝置及其使用的計算機程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法、圖像處理裝置及其使用的計算機程序。特別地，本發(fā)明涉及一種通過使用在閃光發(fā)射(flash emission)下拍攝的圖像和無閃光發(fā)射下拍攝的圖像、估計最佳閃光(flash)亮度、并根據(jù)估計結(jié)果執(zhí)行校正來進行像素值校正處理、而產(chǎn)生高質(zhì)量圖像的圖像處理方法和裝置及其中使用的計算機程序。
背景技術(shù)：
閃光，諸如電閃光或頻閃(strobe)，在照相機拍攝圖像時用作輔助光源。近年來，數(shù)字靜態(tài)照相機(DSCs)已經(jīng)迅速開始推廣。DSCs在拍攝圖像時經(jīng)常使用閃光發(fā)射。閃光發(fā)射的使用使得各種類型的圖像拍攝成為可能，例如補充(fill-in)光線(一種當太暗的陰影出現(xiàn)在人臉上時對陰影進行弱化的技術(shù))、逆光校正(一種拍攝背對太陽的人像時防止人臉變暗的技術(shù))、潮濕面反光(catchlight)(一種通過在眼睛的瞳孔中設(shè)置“閃光點(twinkling lightpoints)”而拍攝具有美麗瞳孔人像的技術(shù))和日光同步(一種在白天和夜間使用閃光燈作為輔助光的技術(shù))。然而使用閃光發(fā)射的圖像拍攝可能破壞色彩的均衡并可能產(chǎn)生曝光過度高亮區(qū)(overexposed highlight)。
通常，在DSCs中進行白平衡控制以便將白色對象的圖像拍攝成白色。例如，當在其中發(fā)射到拍攝對象的光諸如自然光、照明光、或閃光光線(頻閃)具有高的色溫，包含強的藍色分量的光分量環(huán)境下進行圖像拍攝時，則要抑制對藍色分量的感光度和相對地提高對紅色分量的感光度。反之，當在發(fā)射到拍攝對象的光具有低的色溫和包含強的紅色分量的光分量環(huán)境下進行圖像拍攝時，則進行白平衡控制，例如抑制對紅色分量的感光度和相對地提高對藍色分量的感光度。
在白平衡控制中，通常要進行校正處理，其中校正參數(shù)是根據(jù)圖像拍攝中使用的光源來設(shè)置。例如，在進行使用閃光發(fā)射的拍攝圖像時，以根據(jù)使用的閃光光線(flashlight)的光分量的參數(shù)為基礎(chǔ)進行白平衡控制。
然而，在除了閃光光線之外存在外部光的情況下使用閃光發(fā)射進行圖像拍攝時，兩種類型的光，即閃光光線和外部光，發(fā)射到拍攝對象上。由該對象反射的光到達照相機的成像元件，因而產(chǎn)生圖像拍攝。在以上圖像拍攝的情況下，通過根據(jù)閃光光線來進行的白平衡，將拍攝對象接收到大量閃光光線的部分調(diào)整為具有自然色彩。然而，對于由于閃光發(fā)射并沒有到達照相機的成像元件其圖像被拍攝為僅由外部光產(chǎn)生的反射光的圖像的區(qū)域，例如，背景圖像區(qū)域，在基于根據(jù)閃光光線光分量的參數(shù)設(shè)置進行白平衡控制時，不能進行合適的白平衡控制，以致該區(qū)域以具有非自然的色彩的形式輸出。
相反，在匹配背景區(qū)域進行白平衡控制的情況下，也就是說，假設(shè)只有外部光用于圖像的拍攝在全部所攝的圖像上進行白平衡控制，則接收到大量閃光光線的部分調(diào)整為具有非自然的色彩。
目前已經(jīng)提出了幾種用于解決上述問題的構(gòu)造。例如，日本未審查(unexamined)專利申請公開No.8-51632公開了一種構(gòu)造，其完成獲取無閃光發(fā)射下拍攝的圖像和有閃光發(fā)射下拍攝的圖像，把兩幅拍攝的圖像分成多個區(qū)塊，在每一區(qū)塊中比較亮度(luminance)，并且，基于比較的結(jié)果，對于有閃光發(fā)射下拍攝的圖像在每一區(qū)塊中執(zhí)行不同的白平衡控制。
關(guān)于白平衡控制，選擇并執(zhí)行在每一區(qū)塊中匹配閃光光線的白平衡控制、匹配閃光光線和外部光之間的中間光的白平衡控制、和匹配外部光的白平衡控制中的一種。在該構(gòu)造中，處理必須以區(qū)塊為單位進行。因此，在引起區(qū)塊錯位的問題發(fā)生時和拍攝對象移動時，不可能進行適當?shù)奶幚怼?br> 日本未審查專利申請公開No.2000-308068公開了如下構(gòu)造。特別地，首先，在閃光發(fā)射下拍攝一幅圖像，打開光圈，縮短曝光時間。之后，在初始預(yù)期的曝光條件下不使用閃光發(fā)射拍攝一幅圖像。前者稱為“第一圖像”，后者稱為“第二圖像”。在第一圖像里，具有等于或大于預(yù)定值的值的像素登記為主要對象區(qū)域，在第二圖像中的其它像素登記為背景區(qū)域。之后，根據(jù)閃光發(fā)射對第一圖像進行白平衡控制，根據(jù)外部光對第二圖像進行白平衡控制。通過組合第一圖像中的主要對象區(qū)域和第二圖像中的背景區(qū)域，形成最終的記錄圖像。
然而，在這種構(gòu)造中，不可能在既接收外部光又接收閃光光線的對象上執(zhí)行白平衡控制。
日本未審查專利申請公開No.2000-307940公開了一種包括日本未審查專利申請公開No.2000-308068中的構(gòu)造和圖像模糊檢測裝置的構(gòu)造。在檢測到模糊處時，把以上的第一圖像用作記錄圖像而不做改變，并且不把第一和第二圖像組合。因此，在檢測到模糊處時，不能消除由閃光發(fā)射和外部光之間色溫的差別所產(chǎn)生的圖像內(nèi)不自然(in-image unnaturalness)。
日本未審查專利申請公開No.8-340542公開了一種構(gòu)造，該構(gòu)造將有閃光發(fā)射下拍攝的圖像的像素亮度除以無閃光發(fā)射下拍攝的圖像的相應(yīng)像素的亮度以得到閃光光線的分攤比率(contribution ratio)，并基于該分攤比率，對閃光發(fā)射下拍攝的圖像進行白平衡控制。
在該構(gòu)造中，對于由閃光光線和外部光混合情況下所拍攝的圖像，基于閃光光線的分攤比率而簡單地內(nèi)插用于閃光光線和外部光的白平衡控制參數(shù)，以此生成最終圖像。然而，在考慮到光的物理反射模型時，必須將閃光光線分量和外部光分量分開處理。因而，僅僅通過處理閃光光線和外部光混合情況下所拍攝的圖像不能產(chǎn)生最優(yōu)的最終圖像。

發(fā)明內(nèi)容
本發(fā)明的目的之一是為了校正在用閃光發(fā)射拍攝圖像中產(chǎn)生的上述不利的現(xiàn)象。
本發(fā)明的另一方面是提供一種對在具有外部光和閃光光線兩者的環(huán)境中拍攝的圖像進行最優(yōu)的白平衡控制的圖像處理方法和裝置，其中，當閃光光線的強度(intensity)太強或太弱時，通過估計最優(yōu)的閃光光線強度并基于與估計的最優(yōu)閃光光線強度相應(yīng)的調(diào)節(jié)圖像執(zhí)行校正，生成高質(zhì)量圖像，并提供其使用的計算機程序。
根據(jù)本發(fā)明的一個方面，提供一種圖像處理方法，其包括基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和有閃光發(fā)射下所拍攝的第二圖像數(shù)據(jù)來計算閃光分量圖像數(shù)據(jù)的閃光分量圖像計算步驟；為閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值的強度調(diào)節(jié)值計算步驟；通過使用強度調(diào)節(jié)值計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)的強度調(diào)節(jié)閃光分量圖像計算步驟；以及基于第一圖像數(shù)據(jù)和強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)而生成最終調(diào)節(jié)圖像數(shù)據(jù)的最終調(diào)節(jié)圖像生成步驟。
優(yōu)選地，閃光分量圖像計算步驟包括計算差值(differential)圖像數(shù)據(jù)的步驟，該差值圖像數(shù)據(jù)表示在第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之間的差別；和基于對應(yīng)于閃光光線分量的參數(shù)對該差值圖像數(shù)據(jù)進行白平衡控制的步驟，以及在所述強度調(diào)節(jié)值計算步驟中，對于進行白平衡控制的閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值。
在最終調(diào)節(jié)圖像生成步驟中，可以基于下面所述生成最終調(diào)節(jié)圖像數(shù)據(jù)(a)通過基于對應(yīng)于外部光分量的參數(shù)對第一圖像數(shù)據(jù)執(zhí)行白平衡控制而獲得的白平衡控制的第一圖像數(shù)據(jù)，和(b)通過對閃光分量圖像數(shù)據(jù)進行強度調(diào)節(jié)而得到的強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)，其中該閃光分量圖像數(shù)據(jù)是通過基于對應(yīng)于閃光光線分量的參數(shù)執(zhí)行強度調(diào)節(jié)而得到的。
在強度調(diào)節(jié)值計算步驟中，可以把強度調(diào)節(jié)值作為用于減少以下這樣的像素的數(shù)量的調(diào)節(jié)值計算，這樣的像素是指具有飽和值并包含在基于組合圖像數(shù)據(jù)而產(chǎn)生的非線性變換圖像中的像素，該組合圖像數(shù)據(jù)通過組合第一圖像數(shù)據(jù)和閃光分量圖像數(shù)據(jù)而產(chǎn)生，其中基于對應(yīng)于外部光分量的參數(shù)對第一圖像數(shù)據(jù)執(zhí)行白平衡控制，基于對應(yīng)于閃光光線分量的參數(shù)對閃光分量圖像數(shù)據(jù)執(zhí)行白平衡控制。
用于非線性變換圖像的非線性變換可以是伽馬(gamma)校正，在強度調(diào)節(jié)值計算步驟中，可以把強度調(diào)節(jié)值作為用于減少具有飽和值并包含在伽馬校正圖像中的像素的數(shù)目的調(diào)節(jié)值計算。
強度調(diào)節(jié)值計算步驟可以包含從閃光分量圖像數(shù)據(jù)生成由具有等于或大于預(yù)定閾值的值的像素組成的閃光遮蔽(mask)Mf的閃光遮蔽生成步驟，其中的閃光分量圖像數(shù)據(jù)是基于對應(yīng)于閃光光線分量的參數(shù)對其執(zhí)行白平衡控制的閃光分量圖像數(shù)據(jù)，和通過使用以下表達式計算用于調(diào)節(jié)的增益g的增益計算步驟g＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非線性變換T的逆變換，max表示最大輸出像素值，k表示預(yù)定的階次(scalar)值，avg1表示在用于第一圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)I1′的對應(yīng)于閃光遮蔽Mf的一部分中的亮度平均值，avgF表示基于閃光分量圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)F′的對應(yīng)于閃光遮蔽Mf的一部分中的亮度平均值，和stdrslt表示形成非線性變換圖像數(shù)據(jù)T(F′+I1′)的對應(yīng)于閃光遮蔽Mf的一部分的像素值的標準差。
在強度調(diào)節(jié)閃光分量圖像計算步驟中，通過使用用于調(diào)節(jié)的增益g，可以基于以下表達式計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)F″F″＝gF′
其中F′表示白平衡控制圖像數(shù)據(jù)，并且，在最終調(diào)節(jié)圖像生成步驟中，可以基于以下表達式計算最終調(diào)節(jié)圖像數(shù)據(jù)RR＝I1+F″其中I1表示校正圖像數(shù)據(jù)I1，F(xiàn)″表示強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)。
圖像處理方法還可以包括基于第一圖像數(shù)據(jù)和無閃光發(fā)射下拍攝的第三圖像數(shù)據(jù)執(zhí)行運動檢測的運動檢測步驟，和對在運動檢測步驟中檢測到的運動部分執(zhí)行像素值校正的步驟。
圖像處理方法還可以包括通過控制閃光發(fā)射執(zhí)行拍攝包含第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的多圖像數(shù)據(jù)的圖像拍攝步驟。
根據(jù)本發(fā)明的另一方面，提供一種圖像處理裝置，其包括基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和有閃光發(fā)射下拍攝的第二圖像數(shù)據(jù)來計算閃光分量圖像數(shù)據(jù)的閃光分量圖像計算單元；用于為閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值的強度調(diào)節(jié)值計算單元；用于通過使用強度調(diào)節(jié)值來計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)的強度調(diào)節(jié)閃光分量圖像計算單元；以及用于基于第一圖像數(shù)據(jù)和強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)生成最終調(diào)節(jié)圖像數(shù)據(jù)的最終調(diào)節(jié)圖像生成單元。
優(yōu)選地，閃光分量圖像計算單元包括用于計算差值圖像數(shù)據(jù)的差值圖像計算單元，該差值圖像數(shù)據(jù)表示在第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之間的差別；和用于基于對應(yīng)于閃光光線分量的參數(shù)對該差值圖像數(shù)據(jù)進行白平衡控制的白平衡控制單元；并且所述強度調(diào)節(jié)值計算單元對于進行白平衡控制的閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值。
最終調(diào)節(jié)圖像生成單元可以基于以下所述生成最終調(diào)節(jié)圖像數(shù)據(jù)(a)通過基于對應(yīng)于外部光分量的參數(shù)對第一圖像數(shù)據(jù)執(zhí)行白平衡控制而獲得的白平衡控制第一圖像數(shù)據(jù)，和(b)通過對閃光分量圖像數(shù)據(jù)進行強度調(diào)節(jié)而得到的強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)，其中該閃光分量圖像數(shù)據(jù)是通過基于對應(yīng)于閃光光線分量的參數(shù)執(zhí)行強度調(diào)節(jié)而得到的。
強度調(diào)節(jié)值計算單元可以把強度調(diào)節(jié)值作為用于減少以下所述像素數(shù)目的調(diào)節(jié)值計算，其中該像素具有飽和值并包含在基于組合圖像數(shù)據(jù)而產(chǎn)生的非線性變換圖像中，該組合圖像數(shù)據(jù)通過組合第一圖像數(shù)據(jù)和閃光分量圖像數(shù)據(jù)而產(chǎn)生，其中基于對應(yīng)于外部光分量的參數(shù)對該第一圖像數(shù)據(jù)執(zhí)行白平衡控制，基于對應(yīng)于閃光光線分量的參數(shù)對該閃光分量圖像數(shù)據(jù)執(zhí)行白平衡控制。
非線性變換可以是伽馬校正，強度調(diào)節(jié)值計算單元可以把強度調(diào)節(jié)值作為用于減少具有飽和值并包含在伽馬校正圖像中的像素的數(shù)目的調(diào)節(jié)值來計算。
強度調(diào)節(jié)值計算單元可以從閃光分量圖像數(shù)據(jù)產(chǎn)生由具有等于或大于預(yù)定閾值的值的像素組成的閃光遮蔽Mf，其中該閃光分量圖像數(shù)據(jù)是基于對應(yīng)于閃光光線分量的參數(shù)執(zhí)行白平衡控制的閃光分量圖像數(shù)據(jù)，并且，強度調(diào)節(jié)值計算單元可以通過使用以下表達式計算用于調(diào)節(jié)的增益gg＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非線性變換T的逆變換，max表示最大輸出像素值，k表示預(yù)定的階次值，avg1表示在用于第一圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)I1′的對應(yīng)于閃光遮蔽Mf的一部分中的亮度平均值，avgF表示在基于閃光分量圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)F′的對應(yīng)于閃光遮蔽Mf的一部分中的亮度平均值，和stdrslt表示形成非線性變換圖像數(shù)據(jù)T(F′+I1′)的對應(yīng)于閃光遮蔽Mf的一部分的像素值的標準差。
強度調(diào)節(jié)閃光分量圖像計算單元可以通過使用用于調(diào)節(jié)的增益g基于以下表達式計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)F″F″＝gF′其中F′表示白平衡控制圖像，并且，最終調(diào)節(jié)圖像生成單元可以基于以下表達式計算最終調(diào)節(jié)圖像數(shù)據(jù)RR＝I1+F″其中I1表示校正圖像數(shù)據(jù)I1，F(xiàn)″表示強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)。
圖像處理裝置還可以包括基于第一圖像數(shù)據(jù)和無閃光發(fā)射下拍攝的第三圖像數(shù)據(jù)進行運動檢測的運動檢測單元；和對在運動檢測單元中檢測到的運動部分進行像素值校正的像素值校正單元。
圖像處理裝置還可以包括用于通過控制閃光發(fā)射來拍攝包含第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的多圖像數(shù)據(jù)的圖像拍攝單元。
根據(jù)本發(fā)明的再一方面，提供一種用于執(zhí)行圖像處理的計算機程序。該程序包括基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和有閃光發(fā)射下拍攝的第二圖像數(shù)據(jù)來計算閃光分量圖像數(shù)據(jù)的閃光分量圖像計算步驟；為閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值的強度調(diào)節(jié)值計算步驟；通過使用強度調(diào)節(jié)值來計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)的強度調(diào)節(jié)閃光分量圖像計算步驟；以及基于第一圖像數(shù)據(jù)和強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)而生成最終調(diào)節(jié)圖像數(shù)據(jù)的最終調(diào)節(jié)圖像生成步驟。
本發(fā)明的計算機程序可以通過以計算機可讀形式提供的存儲介質(zhì)或通信媒介來提供，例如，諸如CD、FD、或MO這樣的存儲介質(zhì)，或諸如網(wǎng)絡(luò)這樣的通信媒介，用于能夠執(zhí)行各種類型程序代碼的多用途計算機系統(tǒng)。通過以計算機可讀形式提供該計算機程序，在該計算機系統(tǒng)中運行根據(jù)該程序的處理。
根據(jù)本發(fā)明，可以產(chǎn)生其中在通過諸如伽馬校正的非線性變換而獲得的圖像中具有飽和值的像素、即曝光過度高亮區(qū)被減少的圖像。因而，本發(fā)明可應(yīng)用于校正例如數(shù)字照相機所拍攝的圖像。
根據(jù)本發(fā)明，使用對應(yīng)于每一幅圖像的參數(shù)進行最優(yōu)白平衡控制。因此，本發(fā)明可應(yīng)用于校正例如數(shù)字照相機所拍攝的圖像。
本發(fā)明更多的目的、特征和益處將通過如下結(jié)合附圖的示例性實施例的描述變得清楚。


圖1是顯示本發(fā)明的圖像處理裝置構(gòu)造的框圖；圖2是說明本發(fā)明的圖像處理方法步驟的流程圖；圖3是說明在本發(fā)明的圖像處理方法中、基于多圖像數(shù)據(jù)的白平衡控制處理的流程圖；圖4是說明在圖像處理方法中用于產(chǎn)生強度調(diào)節(jié)閃光分量圖像的處理的流程圖；圖5是在圖像處理方法中用于產(chǎn)生強度調(diào)節(jié)閃光分量圖像的處理的詳圖；圖6是在圖像處理方法中用于產(chǎn)生強度調(diào)節(jié)閃光分量圖像的處理的詳圖；圖7是說明在圖像處理方法中用于產(chǎn)生強度調(diào)節(jié)閃光分量圖像的處理的詳細圖表；圖8是顯示在本發(fā)明的圖像處理中、基于多圖像數(shù)據(jù)的像素值調(diào)節(jié)處理的框圖。
具體實施例方式
下面參照附圖描述本發(fā)明的詳細情況。圖1顯示了本發(fā)明的圖像處理裝置的示例。該圖像形成裝置包含成像單元。
圖1中所示的圖像處理裝置包括透鏡101、光圈(diaphragm)102、固態(tài)圖像傳感設(shè)備103、相關(guān)雙采樣電路(correlated double sampling circuit，CDS)104、模數(shù)(A/D)轉(zhuǎn)換器105、數(shù)字信號處理部件106、定時發(fā)生器107、數(shù)模(D/A)轉(zhuǎn)換器108、視頻編碼器109、視頻監(jiān)視器110、編/解碼器(CODEC)111、存儲器112、中央處理單元(CPU)113、輸入設(shè)備114、閃光控制單元115、和閃光發(fā)射器116。
輸入設(shè)備114包括操作按鈕如重新編碼(recoding)和其它按鈕。數(shù)字信號處理部件106是一個包括信號處理器和圖像RAM的功能性部件，在該部件中可以對存儲在圖像RAM中的圖像數(shù)據(jù)執(zhí)行程序化的圖像處理。數(shù)字信號處理部件106在以后簡稱為“DSP 106”。
下面描述圖像處理裝置的整體操作過程。
在穿過光學(xué)系統(tǒng)后到達固態(tài)圖像傳感設(shè)備103的入射光首先到達成像平面上的光接收單元。由光接收單元將該入射光光電轉(zhuǎn)換成為電信號。由CDS104從該電信號中去除噪聲。將該去除噪聲的信號由A/D轉(zhuǎn)換器105轉(zhuǎn)換為數(shù)字信號，暫時存儲在DSP 106中。如果需要的話，通過使用閃光控制單元115，可以在攝影時控制閃光發(fā)射器116發(fā)出光。
在攝影模式中，定時發(fā)生器107控制信號處理系統(tǒng)以便使圖像拍攝保持在一恒定的幀速率。像素流也以恒定的速率發(fā)送到DSP 106。DSP 106對該發(fā)送的像素流進行近似(approximate)圖像處理以產(chǎn)生圖像數(shù)據(jù)。將該圖像數(shù)據(jù)發(fā)送到D/A轉(zhuǎn)換器108和CODEC 111之一或兩者。D/A轉(zhuǎn)換器108把從DSP 106發(fā)送來的圖像數(shù)據(jù)轉(zhuǎn)換成模擬信號。視頻編碼器109把該模擬信號轉(zhuǎn)換成視頻信號。該視頻信號由視頻監(jiān)視器110監(jiān)控。在本實施例中，視頻監(jiān)視器110用作照相機取景器(finder)。CODEC 111對從DSP 106發(fā)送來的圖像數(shù)據(jù)進行編碼。將該編碼圖像數(shù)據(jù)存儲在存儲器112中。存儲器112可以是使用記錄介質(zhì)例如半導(dǎo)體記錄介質(zhì)，磁光記錄介質(zhì)或光學(xué)記錄介質(zhì)的記錄單元。
上面的描述說明了圖像處理裝置的整體結(jié)構(gòu)。用于校正所拍攝圖像的圖像處理主要由DSP 106執(zhí)行。下面描述圖像處理的細節(jié)。
通過對輸入DSP 106的圖像信號流順序執(zhí)行在預(yù)定的程序代碼中描述的處理來進行圖像處理。在以下描述中，參照流程圖描述處理的程序化(in-program)執(zhí)行順序。不僅可以通過以下的程序運行形式實現(xiàn)本發(fā)明，也可以由具有執(zhí)行處理序列功能的硬件構(gòu)造實現(xiàn)(在下面描述)。
圖2是說明包含由DSP 106對輸入圖像信號流執(zhí)行的白平衡控制處理的像素值校正處理的流程圖。
在步驟S101，通過使用預(yù)設(shè)的光圈和快門速度在無閃光發(fā)射下拍攝一幅圖像。在步驟S102，把在無閃光發(fā)射下拍攝的圖像作為圖像數(shù)據(jù)I1存儲在存儲器中。在步驟S103，通過類似于步驟S101的情況使用預(yù)設(shè)的光圈和快門速度，在閃光發(fā)射下拍攝一幅圖像。在步驟S104，把在閃光發(fā)射下拍攝的圖像作為圖像數(shù)據(jù)I2存儲在存儲器中。
在步驟S105，通過類似于步驟S101的情況使用預(yù)設(shè)的光圈和快門速度，在無閃光發(fā)射下再次拍攝一幅圖像。在步驟S106，把在無閃光發(fā)射下拍攝的圖像作為圖像數(shù)據(jù)I3存儲在存儲器中。
以連續(xù)攝像的形式例如，以1/100秒的間隔連續(xù)攝像執(zhí)行步驟S101、步驟S103和步驟S105中的圖像拍攝。把上述步驟中得到的圖像通過像素值校正例如白平衡調(diào)節(jié)進行處理以生成最終調(diào)節(jié)圖像，該最終調(diào)節(jié)圖像是具有最終校正像素的圖像。
假設(shè)存儲在存儲器中的圖像I1、I2和I3是對于由于手的移動引起的模糊進行了校正的圖像。換句話說，當由于手的移動引起的圖像模糊發(fā)生在拍攝三幅圖像I1、I2、I3時，在存儲到存儲器之前將圖像模糊校正。換句話說，當拍攝的圖像具有由于手的移動引起的圖像模糊時，在步驟S101和S102之間，在步驟S103和S104之間，或在步驟S105和S106之間，由于手的移動引起的圖像模糊得以校正并把該校正的圖像存儲在存儲器中。因此，存儲在存儲器中的圖像I1、I2和I3類似于使用固定在照相機三角架上的數(shù)字照相機連續(xù)拍攝出的圖像。
已知的常規(guī)處理可用作對由于手的移動引起的圖像模糊的校正。該處理包括，例如，使用加速度傳感器檢測移位并移動透鏡的方法；通過使用成像元件來拍攝具有大于目標分辨率的分辨率的圖像、讀取適當?shù)牟糠忠允挂莆徊粫l(fā)生的方法；和不使用傳感器只通過使用圖像處理校正由于手的移動引起的圖像模糊的方法。
在步驟S107，確定在步驟S101、步驟S103和步驟S105中拍攝三幅圖像期間由對象本身所產(chǎn)生的圖像模糊是否已經(jīng)發(fā)生。通過比較三幅圖像之中的兩幅圖像來確定由對象自身產(chǎn)生的圖像模糊是否已經(jīng)發(fā)生。例如，通過使用圖像I1和I3，可以檢測到運動。作為舉例，說明一種方法，其中，在檢測圖像I1和I3之間的像素值的差值后，當該差值等于或大于閾值時，將該像素登記為運動部分。如果確定由對象自身產(chǎn)生的圖像模糊沒有發(fā)生(在步驟108中的否)，則處理進入步驟S112。如果確定由對象自身產(chǎn)生的圖像模糊已經(jīng)發(fā)生(在步驟108中的是)，則處理進入步驟S109。
在步驟S109，確定對步驟S107中檢測的運動部分是否能執(zhí)行用于適當?shù)陌灼胶庹{(diào)節(jié)的校正。該確定使用一種基于在步驟S107中作為運動部分登記的像素數(shù)目與構(gòu)成圖像的像素的數(shù)目的比率的確定方法。例如，當作為運動部分登記的像素數(shù)目與構(gòu)成圖像的像素的數(shù)目的比率[ratioA]等于或大于預(yù)定的常量閾值[threshold]時，確定不能執(zhí)行校正。相反，當比率[ratioA]小于閾值時，確定可以執(zhí)行校正。
如果在步驟S109，確定不能執(zhí)行校正，則處理進入步驟S113。如果在步驟S109，確定可以執(zhí)行校正，則處理進入步驟S110。
在步驟S113，通過對在閃光發(fā)射下拍攝的圖像I2執(zhí)行白平衡控制，生成輸出圖像R并且處理結(jié)束。在白平衡控制中使用的參數(shù)是根據(jù)外部光分量設(shè)置的參數(shù)、根據(jù)閃光光線分量設(shè)置的參數(shù)、和基于外部光和閃光光線之間的中間分量設(shè)置的參數(shù)的其中之一。執(zhí)行設(shè)置以上參數(shù)之一的白平衡控制。白平衡控制是一種常規(guī)地進行的方法。因此，省略它的詳細描述。使用的參數(shù)以一個3×3的矩陣表示。該矩陣用于轉(zhuǎn)換形成每一像素顏色的顏色分量。作為該3×3矩陣，使用在其中除了對角元素以外的元素都設(shè)為零的矩陣。
在步驟S110，處理執(zhí)行包括基于多圖像數(shù)據(jù)的白平衡控制的像素值校正。在步驟S110，只校正除在步驟S107中的運動部分檢測中檢測到的運動部分之外的像素值。在步驟S111，校正運動部分的像素值?？商鎿Q地，在步驟S110，對所有像素，執(zhí)行包含白平衡控制的像素值校正，在步驟S111，只對作為運動部分的像素的執(zhí)行校正。
在步驟S111作為運動部分的像素值的校正是通過例如將徑向(radial)基函數(shù)(basis function)應(yīng)用到其中的處理、將平滑濾波器應(yīng)用到其中的處理或類似的處理來進行的。在其申請人與本發(fā)明的受讓人相同的日本專利申請No.2003-312630中描述了這些處理的詳細情況。
下面描述在各個步驟S110和S112中基于多圖像數(shù)據(jù)的白平衡控制。
步驟S110和S112是相同的。換句話說，在步驟S112，當步驟S107在運動檢測中沒有檢測到運動時，對全部圖像執(zhí)行像素值校正。在步驟S110，以相同的處理順序執(zhí)行除了步驟S107中檢測到的運動部分之外的像素的值的校正，或者全部像素值的校正。下面將參照附圖3描述各個步驟S110和S112的詳細情況。
在步驟S201，檢測在閃光發(fā)射下拍攝的圖像I2和在無閃光發(fā)射下拍攝的圖像I1之間的每一顏色分量(例如，每一R、G、和B通道(channel)中)的差以生成差值圖像F(＝I2-I1)。把該差值圖像F(＝I2-I1)作為閃光分量圖像存儲在存儲器中。假定在無閃光發(fā)射下拍攝圖像的步驟S101和閃光發(fā)射下拍攝圖像的步驟S103期間內(nèi)拍攝對象沒有移動，則差值圖像F(＝I2-I1)等效于下述這樣拍攝的圖像，即在完全沒有外部光的情況下，只有閃光發(fā)射入射至拍攝對象并由拍攝對象反射的光入射到照相機的固態(tài)成像設(shè)備上，也就是說，為閃光分量圖像。
在步驟S202，根據(jù)閃光發(fā)射的色溫對差值圖像F進行白平衡控制。換句話說，基于根據(jù)閃光分量的參數(shù)，對為閃光分量圖像的差值圖像F進行白平衡控制。此外，在閃光發(fā)射太亮或太暗時，執(zhí)行級別(level)調(diào)整以便圖像亮度最優(yōu)，以此產(chǎn)生作為校正閃光分量圖像的校正差值圖像F′。
在步驟S203，根據(jù)外部光對在無閃光發(fā)射下拍攝的圖像I1進行白平衡控制。換句話說，基于對應(yīng)于外部光分量的參數(shù)，對在無閃光發(fā)射下拍攝的圖像I1執(zhí)行白平衡控制以產(chǎn)生校正的圖像I1′。
由常規(guī)已知的白平衡控制執(zhí)行該處理。例如，可以使用日本未審查專利申請公開No.2001-78202中所描述的技術(shù)。在日本未審查專利申請公開No.2001-78202中，基于在閃光發(fā)射下拍攝的圖像I2和在無閃光發(fā)射下拍攝的圖像I1之間的差值圖像F和已知的光譜特征，找到拍攝對象的顏色分量數(shù)據(jù)和外部光光譜分布作為發(fā)光(lighting)分量數(shù)據(jù)。通過使用該發(fā)光分量數(shù)據(jù)來對閃光發(fā)射下拍攝的圖像I1執(zhí)行白平衡控制，產(chǎn)生校正的圖像I1′。
在步驟S204，通過調(diào)節(jié)校正差值圖像F′的強度(增益)而產(chǎn)生強度調(diào)節(jié)差值圖像F″作為增益調(diào)節(jié)閃光分量圖像，所述校正差值圖像F′是通過在閃光發(fā)射太亮或太暗時執(zhí)行校正以使最終的圖像具有最優(yōu)亮度而獲得的。
用于產(chǎn)生強度調(diào)節(jié)差值圖像F″的整個過程如下所述通過利用諸如基于校正差值圖像F′、校正圖像I1′和這些圖像像素值的直方圖的統(tǒng)計量和涉及對于組合圖像″F′+Ii′″進行諸如伽馬校正這樣的非線性變換而獲得的圖像的統(tǒng)計量，找出校正差值圖像F′的最優(yōu)增益，強度調(diào)節(jié)差值圖像F″作為具有調(diào)節(jié)了的亮度的增益調(diào)節(jié)閃光分量圖像而產(chǎn)生。
在步驟S204執(zhí)行的用于產(chǎn)生強度調(diào)節(jié)差值圖像F″(增益調(diào)節(jié)閃光分量圖像F″)的處理過程，將參照圖4所示的流程在下面描述。
在步驟S301，基于已經(jīng)進行過白平衡控制的校正差值圖像F′生成閃光遮蔽Mf。閃光遮蔽Mf表示圖像的一部分，在該部分中認為在接收閃光發(fā)射的條件下來拍攝對象的圖像。在下面將描述用于生成閃光遮蔽Mf的特定方法的一個舉例。
首先，在校正差值圖像F′中，檢測具有等于或大于預(yù)設(shè)閾值(Th1)的亮度的像素。計算所檢測到的、具有等于或大于預(yù)設(shè)閾值(Th1)的亮度的像素的亮度的平均值。當所檢測到的、組成校正差值圖像F′的像素的亮度大于該計算的平均值時，就可以說部分校正差值圖像F′將大大影響組合了外部光效果和閃光效果的最終圖像。
關(guān)于對應(yīng)于參照附圖2描述的在步驟S107中檢測到的拍攝對象運動的像素，有可能該運動以閃光分量的形式而出現(xiàn)。因此，把在步驟S107中檢測到的像素從處于閃光遮蔽設(shè)定(setting)的像素排除。在圖2中所示步驟S111中執(zhí)行運動部分的像素值校正。
換句話說，由滿足兩個條件的像素區(qū)域構(gòu)成的閃光遮蔽生成為閃光遮蔽Mf。這兩個條件如下(a)具有大于預(yù)定閾值的亮度的、校正差值圖像F′中的像素；和(b)不對應(yīng)于拍攝對象本身的圖像運動部分的像素。
在步驟S302及其后，通過分析對應(yīng)于由滿足條件(a)和(b)的像素區(qū)域組成的閃光遮蔽Mf的圖像的部分，并計算校正差值圖像F′的最優(yōu)增益g，以下面形式找出增益調(diào)節(jié)差值圖像F″F″＝gF′下面參照附圖5、6、和7描述步驟S302及其后的步驟。
在步驟S302，計算校正差值圖像F′和校正圖像I1′中的閃光遮蔽Mf部分的平均亮度。
圖5的部分(1)顯示了頻率分布圖，表示校正圖像I1′中閃光遮蔽Mf部分中亮度(像素值)的頻率。在該圖中，水平軸表示像素值，垂直軸表示相應(yīng)的頻率。例如，每一個像素值表示在0(最小值)和255(最大值)之間的一個亮度。雖然為了描述的簡潔使用一幅圖來描述，但是，例如，在RGB彩色圖像的情況下，生成對應(yīng)RGB通道的圖像并對每一通道進行下面的處理。
形成校正圖像I1′中閃光遮蔽Mf部分的像素亮度(像素值)分布在最小值例如0，到最大值例如255之間。校正圖像I1′中閃光遮蔽Mf部分中亮度的平均值(此后稱為“avg1”)用“AVERAGE(avg1)”表示。
圖5的部分(2)顯示了頻率分布圖，表示校正差值圖像F′中閃光遮蔽Mf部分中亮度(像素值)的頻率。形成校正差值圖像F′中閃光遮蔽Mf部分的像素的亮度(像素值)的平均值用“AVERAGE(avgF)”表示。
在圖4中所示的步驟S302，通過生成頻率分布圖，計算頻率分布圖中的平均值，即校正圖像I1′中閃光遮蔽Mf部分中亮度(像素值)的平均值avg1，和校正差值圖像F′中閃光遮蔽Mf部分中亮度(像素值)的平均值avgF。
在步驟S303，產(chǎn)生通過組合校正圖像I1′和校正差值圖像F′獲得的組合圖像Rtmp(＝I1′+F′)。組合圖像Rtmp通過相加校正圖像I1′的像素值和校正差值圖像F′的相應(yīng)像素值而生成。
圖5的部分(3)顯示了頻率分布圖，表示通過組合校正圖像I1′和校正差值圖像F′而得到的組合圖像Rtmp(＝I1′+F′)中閃光遮蔽Mf部分的亮度(像素值)的頻率。設(shè)置形成組合圖像Rtmp(＝I1′+F′)中閃光遮蔽Mf部分的像素亮度(像素值)使其能完全移位到最大像素值。組合圖像Rtmp(＝I1′+F′)中閃光遮蔽Mf部分中的亮度平均值用“AVERAGE(avg1+F)”表示。
形成從固態(tài)圖像傳感設(shè)備103輸出的圖像的像素的亮度與入射到固態(tài)圖像傳感設(shè)備103的光量具有線性關(guān)系。作為普通數(shù)字靜態(tài)照相機輸出的最終圖像的圖像是例如伽馬校正這樣的非線性變換，是對從固態(tài)成像傳感設(shè)備輸出的圖像進行的。伽馬校正是一種用于顯示圖像的精確亮度和顏色的精確色度的校正處理。當使用數(shù)字靜態(tài)照相機拍攝一幅圖像得到的像素無變化地輸出時，在人眼觀察時該像素可能變得不自然。為了解決這個問題，通過使用預(yù)定的伽馬曲線，對輸入像素值和輸出像素值進行非線性變換。這稱為“伽馬校正”。
在后面將該非線性變換表示為“T”。在步驟S304，產(chǎn)生由Rtmp(＝I1′+F′)表示的圖像，其中校正圖像I1′和校正差值圖像F′的組合圖像Rtmp(＝I1′+F′)進行了非線性變換。
非線性變換圖像Rtmp′(＝T(F′+I1′))表示通過對組合圖像Rtmp(＝F′+I1′)的每一個像素的每一通道，例如每一RGB通道的像素值進行非線性變換T所得到的非線性變換圖像。
圖6是頻率分布圖，顯示了非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的亮度(像素值)頻率，其中非線性變換圖像是通過對圖5的第(3)部分所示的、校正圖像I1′和校正差值圖像F′的組合圖像(F′+I1′)像素的每一通道的像素進行非線性變換T而得到的。設(shè)置形成非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的像素的亮度(像素值)使其完全能移位到最大像素值。
在步驟S305，從圖6所示的頻率分布圖計算標準差。形成非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的像素值的平均值用“AVERAGE(avgrslt)”表示，如圖6所示。此外，標準差表示為“stdrslt”。
如圖6所示，在包含形成非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的像素值的頻率分布圖中，許多像素值分布在最大值，例如像素值255的附近。因此可以認為出現(xiàn)了曝光過度高亮區(qū)。曝光過度高亮區(qū)的像素由圖6所示的曝光過度高亮區(qū)201表示。換句話說，伽馬校正設(shè)置像素值為最大(最大亮度)，即飽和像素值。這一狀態(tài)就是所謂的“曝光過度高亮狀態(tài)(overexposed highlight state)”，其中像素值中的原始差值不能表示。
一幅理想的圖像應(yīng)是足夠明亮的并且不處于曝光過度高亮狀態(tài)。一幅由伽馬校正產(chǎn)生的、如圖6所示具有許多飽和像素值的圖像，具有理想圖像的特征。
因此，在本發(fā)明，將用于調(diào)節(jié)的增益g作為降低具有飽和值、并包含在非線性變換圖像中的像素的數(shù)目的調(diào)節(jié)值來計算，其中該非線性變換圖像是以基于校正圖像I1′和校正差值圖像F′的組合圖像為基礎(chǔ)所產(chǎn)生的，該校正圖像I1′通過以基于外部光分量的參數(shù)執(zhí)行白平衡控制而得到，及校正差值圖像F′是通過基于閃光分量執(zhí)行白平衡控制而作為閃光分量圖像得到的。通過使用計算的增益g，使校正差值圖像F′得到校正而生成強度調(diào)節(jié)閃光分量圖像。
如上所述，在本發(fā)明中，通過以調(diào)節(jié)校正差值圖像F′的增益g來對閃光發(fā)射的增益進行實際(virtual)調(diào)節(jié)，從而生成最終圖像(最終調(diào)節(jié)圖像)。
在步驟S306，生成一幅明亮并且不處于曝光過度高亮狀態(tài)的圖像作為最終調(diào)節(jié)圖像。因此，通過利用圖5的部分(1)所示校正圖像I1′中閃光遮蔽Mf部分中的亮度平均值avg1、圖5的部分(2)所示校正差值圖像F′中閃光遮蔽Mf部分中的亮度平均值avgF、和圖6中所示形成非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的像素的標準差stdrslt，計算出校正差值圖像F′的最優(yōu)增益g。在步驟S307，通過對校正差值圖像F′的每一通道上的像素值乘以增益g，生成強度調(diào)節(jié)差值圖像F″。換句話說，通過使用下述表達式得到強度調(diào)節(jié)差值圖像F″F″＝gF′通常，當測量的像素值分布與正態(tài)分布一致時，大約68％的測量像素值處于“平均值”±“標準差”的范圍里，大約95％的測量像素值處于“平均值”±“兩倍標準差”的范圍里。并且在像素值分布與正態(tài)分布不一致的情況下，也能發(fā)現(xiàn)相似的趨勢。
因此，當如形成非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的像素的圖6中的像素值直方圖中所示的那樣、許多曝光過度亮區(qū)出現(xiàn)時，在很多情況下，閃光遮蔽Mf部分中的亮度的平均值和標準差之和，即由圖6所示的點A所表示的值大于最大像素值。
在步驟S306中校正差值圖像F′的增益g的計算中，將增益g設(shè)置為使“平均值”±“k倍標準差”(k表示預(yù)定的固定階次值，即1、1.5、2、......)的范圍不大于最大像素值并表示足夠的亮度，其中“平均值”±“k倍標準差”是從形成非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的像素的像素值直方圖求得的。
表示沒有曝光過度亮區(qū)或包含小塊曝光過度亮區(qū)的理想圖像可能由例如圖7中所示。
通過將非線性變換圖像T(gF′+I1′)中閃光遮蔽Mf部分的亮度的直方圖設(shè)置為如圖7所示的形式，并基于強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)生成最終的輸出圖像，可以得到?jīng)]有曝光過度高亮區(qū)并且具有足夠亮度的圖像。
圖7所示的直方圖中的平均值用“avg′rslt”表示， 該直方圖中的標準差用“std′rslt”表示。
由平均值和標準差之和表示的點A，表示圖7中所示的小于最大值的像素值。平均值“avg′rslt”代表具有足夠亮度的像素值。例如，平均值avg′rslt在像素值(亮度)上大于由“(最小值+最大值)/2”表示的中間像素值。
此處假設(shè)圖7所示的直方圖是關(guān)于強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)中閃光遮蔽Mf部分的亮度直方圖。
在該實施例中，為了使強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)中閃光遮蔽Mf部分具有少量曝光過度高亮區(qū)并且具有足夠亮度，調(diào)節(jié)增益g以便強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)中閃光遮蔽Mf部分中的亮度直方圖(圖7)的平均值avg′rslt等于從最大亮度值減去k倍標準差std′rslt所得到的值。
使用增益g生成的強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)中閃光遮蔽Mf部分是包含少量曝光過度高亮區(qū)和具有足夠亮度的局部圖像。
在計算出生成最優(yōu)圖像的增益g的情況下，當增益g不是太大或太小時，可以認為在非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的亮度的標準差與強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)中閃光遮蔽Mf部分的亮度標準差之間沒有大的差別。假設(shè)圖7所示的直方圖，即強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)中閃光遮蔽Mf部分的亮度直方圖中的標準差std′rslt在大小上等于圖6所示的直方圖，即在強度調(diào)節(jié)前的狀態(tài)下的非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的亮度直方圖中的標準差。換句話說，std′rslt＝stdrslt。
假設(shè)以“T(avg1+g×avgF)”表示的、通過對平均值“avg1”和平均值“avgF”的和“avg1+avgF”進行非線性變換T而計算出的、通過使用增益g得到的階次值、等于由“fF′+I1′”所表示的最終強度調(diào)節(jié)非線性變換圖像中閃光遮蔽Mf部分中的亮度平均值“avg′rslt”，其中平均值“avg1”是關(guān)于校正圖像I1的圖5的部分(1)中所示直方圖中的平均值，而平均值“avgF”，是校正差值圖像F′中閃光遮蔽Mf部分中亮度的平均值。換句話說，假設(shè)avg ′rslt＝T(avg1+g×avgF)。
換句話說，求得的強度調(diào)節(jié)非線性變換圖像T(gF′+I1′)的平均值avg′rslt等于T(avg1+g×avgF)。當該值等于(max-k×stdrslt)時，設(shè)置了一幅對應(yīng)于圖7中所示直方圖的圖像。結(jié)果，形成了與包含少量曝光過度高亮區(qū)并具有足夠亮度的圖像一致的直方圖。
換句話說，T(avg1+g×avgF)＝max-k×stdrslt(1)只需要計算滿足表達式(1)的增益g。將通過轉(zhuǎn)換表達式(1)得到的表達式(2)用作計算增益g的表達式。
g＝{T-1(max-k×stdrslt)-avg1}/avgF(2)這里T-1表示非線性變換T的逆變換.
在圖4的步驟S306中，基于表達式(2)計算增益g作為用于閃光分量圖像(校正差值圖像F′)的增益調(diào)節(jié)值。如從表達式(2)理解的那樣，可以基于下述每項計算增益ga)圖5的部分(1)中所示校正圖像I1′中閃光遮蔽Mf部分中的亮度的平均值avg1；b)校正差值圖像F′中閃光遮蔽Mf部分中亮度的平均值avgF；c)形成非線性變換圖像T(F′+I1′)中閃光遮蔽Mf部分的像素值的標準差stdrslt；和d)固定階次值k。
固定階次值k是一個預(yù)設(shè)值，例如k＝1或k＝1.5。
在步驟S307，通過對校正差值圖像F′的每一像素的每一通道上的值乘以增益g，計算出強度調(diào)節(jié)差值圖像F″。這可以使用下面的表達式表示F″＝gF′該計算的強度調(diào)節(jié)差值圖像F″設(shè)置為在生成最終調(diào)節(jié)圖像中使用的閃光分量圖像。
在圖3所示的步驟S204中執(zhí)行已經(jīng)描述的該處理。增益g的自動計算已經(jīng)進行了描述。然而，使用者可以隨意設(shè)置增益g以調(diào)節(jié)所需的閃光發(fā)射強度。
在結(jié)束步驟S204后，在步驟S205，通過組合強度調(diào)節(jié)差值圖像F″和設(shè)置為閃光分量圖像的圖像I1′，產(chǎn)生白平衡控制圖像R。換句話說，白平衡控制圖像R生成為R＝I1′+F″。
以上的處理是圖2所示的步驟S112和S110的詳細處理過程。
當在步驟S107沒有檢測到運動時，白平衡控制圖像R用作最終調(diào)節(jié)圖像，其中白平衡控制圖像通過組合作為閃光分量圖像得到的強度調(diào)節(jié)差值圖像F″和圖像I1′而得到。這可用R＝I1′+F″表示。對最終調(diào)節(jié)圖像執(zhí)行非線性變換處理，例如伽馬校正，并輸出該處理過的圖像。
當在步驟S107檢測到運動時，得到在步驟S110中獲得的由R＝I1′+F″表示的白平衡控制圖像R。接著，在步驟S111，對運動部分執(zhí)行像素值校正。步驟S111的運動部分像素值校正的執(zhí)行是通過諸如在上述日本專利申請No.2003-312630中所描述的將徑向基函數(shù)應(yīng)用到其中的處理、或?qū)⑵交瑸V波器應(yīng)用到其中的處理來進行的，該日本專利申請No.2003-312630的申請人與本發(fā)明的受讓人相同。
當在步驟S107檢測到運動時，在步驟S111，將其中運動部分中的像素值得到校正的圖像用作為最終校正圖像。
在步驟S110中的像素值校正中，對所有的形成圖像的像素進行校正，而不管運動部分中的像素和其它部分中的像素之間的差別，并且在步驟S110，生成由R＝I1′+F″表示的白平衡控制圖像R。接著，在步驟S111，可以只對步驟S107檢測到的像素值(在運動部分中)進行特別的校正以校正白平衡控制圖像R。特別地，可以使用一種方法，該方法接收在閃光發(fā)射下拍攝的圖像I2的運動部分中的像素值，參考圖像R中不運動部分的像素值，并組合圖像以生成一幅最終的圖像。
圖8是顯示根據(jù)本實施例執(zhí)行處理過程的數(shù)字信號處理器(DSP)(對應(yīng)于圖1所示的DSP 106)的功能結(jié)構(gòu)框圖。
下面將對比圖2所示的流程圖來描述圖8中所示的DSP的處理過程。
無閃光發(fā)射下拍攝的圖像I1、在閃光發(fā)射下拍攝的圖像I2和無閃光發(fā)射下拍攝的圖像I3在步驟S101到S106分別存儲在幀存儲器301、302和303。作為存儲圖像的幀存儲器，可以使用DSP的內(nèi)置存儲器或總線連接存儲器(圖1所示存儲器112)。
在運動檢測單元309中執(zhí)行步驟S107的運動檢測。運動檢測是以基于無閃光發(fā)射下拍攝的圖像I1和無閃光發(fā)射下拍攝的圖像I3的差值數(shù)據(jù)為基礎(chǔ)進行的檢測處理。
基于多圖像數(shù)據(jù)在步驟S110和S112的每一個中進行的白平衡控制是已經(jīng)參照附圖3和4進行描述了的處理。
基于無閃光發(fā)射下拍攝的圖像I1和在閃光發(fā)射下拍攝的圖像I2，由F＝I2-I1表示的差值圖像數(shù)據(jù)在閃光分量圖像計算部分330(圖2，S201)的差值圖像計算單元304中進行計算。接下來，通過根據(jù)基于白平衡控制單元307中的閃光分量設(shè)置的參數(shù)對差值圖像數(shù)據(jù)F進行的白色平衡控制來生成作為閃光分量圖像的校正差值圖像F′(圖3，S202)，所述差值圖像數(shù)據(jù)F對應(yīng)于只有閃光發(fā)射的照明條件下所拍攝的圖像。
白平衡控制單元305根據(jù)基于在外部光估計單元306中所得到的外部光估計值設(shè)置的參數(shù)對無閃光發(fā)射下拍攝的圖像I1進行白平衡控制(圖3，S203)。
強度調(diào)節(jié)值計算單元321計算增益g，作為防止校正差值圖像F′沒有曝光過度高亮區(qū)或包含少量曝光過度高亮區(qū)的調(diào)節(jié)值。強度調(diào)節(jié)閃光分量圖像計算單元322計算由F″＝gF′表示的強度調(diào)節(jié)閃光分量圖像。該處理是圖3中的步驟S203，即對應(yīng)圖4所示流程圖的處理。
最終調(diào)節(jié)圖像計算單元(像素值加法器)308把從白平衡控制單元305輸出的校正圖像I1′的像素值和從強度調(diào)節(jié)閃光分量圖像計算單元322輸出的強度調(diào)節(jié)差值圖像F″的像素值相加(圖3，S205)。
當所拍攝的圖像不合運動部分時，具有在最終調(diào)節(jié)圖像計算單元308中相加的像素值的圖像數(shù)據(jù)，通過輸出開關(guān)單元312作為白平衡控制圖像輸出，而不進行運動部分校正像素值計算單元310中的處理。圖像數(shù)據(jù)輸出到D/A轉(zhuǎn)換器108(見圖1)、用于執(zhí)行編碼的編解碼器111等。
此外，當在步驟S309作為使用基于無閃光發(fā)射下拍攝的圖像I1和無閃光發(fā)射下拍攝的圖像I3的差值數(shù)據(jù)的運動檢測的結(jié)果，檢測到拍攝對象本身的運動部分時，在運動部分校正像素值計算單元310中，運動部分的像素值通過執(zhí)行例如應(yīng)用徑向基函數(shù)的處理或使用平滑濾波器的處理這樣的處理而得以校正，并將其中運動部分由校正的像素值替換的圖像通過輸出開關(guān)單元312輸出。
白平衡控制單元311執(zhí)行圖2所示的流程圖中的步驟113。換句話說，當確定不可能進行校正時，例如，盡管由運動檢測單元309檢測到運動部分，但相對于全部圖像該運動部分的比率很高的情況下，通過輸入在閃光發(fā)射下拍攝的圖像I2并根據(jù)預(yù)定的參數(shù)進行白平衡控制，通過輸出開關(guān)單元312輸出所產(chǎn)生的圖像。
盡管在圖8所示的結(jié)構(gòu)里，為了描述功能將處理單元分開顯示，在實際操作中，該功能可通過在DSP中內(nèi)置的處理器根據(jù)按照上述流程執(zhí)行處理的程序進行。
已經(jīng)參照特定實施例對本發(fā)明進行了充分的描述。然而，很明顯的是，本領(lǐng)域技術(shù)人員可以改正或替換前面的實施例而不脫離本發(fā)明的要旨。換句話說，已經(jīng)以例證的形式公開了本發(fā)明。因此，本發(fā)明不應(yīng)解釋為有限的意義(sense)。為了理解本發(fā)明的要點，應(yīng)該考慮本發(fā)明所附的權(quán)利要求。
盡管在前面的實施例中，當拍攝對象在較暗的環(huán)境時，把發(fā)出光的照明設(shè)備用詞語“閃光”描述，也可以把它稱為“頻閃”。因此它不限于閃光?？梢詫⒈景l(fā)明應(yīng)用到當拍攝對象在較暗的環(huán)境時發(fā)出光的普通的照明設(shè)備。
可以使用硬件、軟件或兩者的組合執(zhí)行本說明書中所述的連續(xù)處理過程。在使用軟件執(zhí)行處理的情況下，可以通過把記錄處理序列的程序安裝在專用硬件組成的計算機的存儲器中，或把該程序安裝在能進行各種類型處理的多用途計算機中來執(zhí)行處理。
例如，可以把程序記錄到作為記錄介質(zhì)的硬盤或只讀存儲器(ROM)里?？商鎿Q地，可以把程序暫時或永久地存儲(記錄)在可移動記錄介質(zhì)中，例如軟盤(flexible disk)、CD-ROM、磁光(magneto-optical)盤、數(shù)字通用盤(digitalversatile disk，DVD)、磁盤或半導(dǎo)體存儲器。可以將這種類型的可移動記錄介質(zhì)作為所謂的“程序包(package)軟件”提供。
可以把程序從以上的可移動記錄介質(zhì)安裝到計算機。此外，可以將該程序通過無線電傳送到計算機，或可以使用線路通過網(wǎng)絡(luò)如互聯(lián)網(wǎng)傳送到計算機。計算機可以接收并以上面的方式將傳輸?shù)某绦虬惭b在內(nèi)置記錄介質(zhì)例如硬盤里。
本說明書中所述的處理步驟不僅僅可以根據(jù)說明書以時間序列方式執(zhí)行，也可以根據(jù)執(zhí)行步驟的裝置的處理能力或根據(jù)需要以并行或分離的方式執(zhí)行。在本說明書中，詞語“系統(tǒng)”是多個裝置的邏輯集合，而不限于一個將其中具有結(jié)構(gòu)的裝置放置在單一的外殼中的設(shè)備。
權(quán)利要求
1.一種圖像處理方法，包括閃光分量圖像計算步驟，用于基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和有閃光發(fā)射下拍攝的第二圖像數(shù)據(jù)計算閃光分量圖像數(shù)據(jù)；強度調(diào)節(jié)值計算步驟，用于為閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值；強度調(diào)節(jié)閃光分量圖像計算步驟，用于通過使用強度調(diào)節(jié)值計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)；以及最終調(diào)節(jié)圖像生成步驟，用于基于第一圖像數(shù)據(jù)和強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)而生成最終調(diào)節(jié)圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1的圖像處理方法，其中所述閃光分量圖像計算步驟包括計算表示第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之間的差別的差值圖像數(shù)據(jù)的步驟；和基于對應(yīng)于閃光光線分量的參數(shù)對該差值圖像數(shù)據(jù)執(zhí)行白平衡控制的步驟；以及在所述強度調(diào)節(jié)值計算步驟中，為進行了白平衡控制的閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值。
3.根據(jù)權(quán)利要求1的圖像處理方法，其中，在所述最終調(diào)節(jié)圖像生成步驟中，基于以下所述生成最終調(diào)節(jié)圖像數(shù)據(jù)(a)通過基于對應(yīng)于外部光分量的參數(shù)對第一圖像數(shù)據(jù)執(zhí)行白平衡控制而獲得的白平衡控制第一圖像數(shù)據(jù)；和(b)通過對閃光分量圖像數(shù)據(jù)執(zhí)行強度調(diào)節(jié)而獲得的強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)，其中該閃光分量圖像數(shù)據(jù)是通過基于對應(yīng)于閃光光線分量的參數(shù)執(zhí)行強度調(diào)節(jié)而獲得的。
4.根據(jù)權(quán)利要求1的圖像處理方法，其中在所述強度調(diào)節(jié)值計算步驟中，把強度調(diào)節(jié)值作為用于減少具有飽和值并包含在基于組合圖像數(shù)據(jù)而產(chǎn)生的非線性變換圖像中的像素的數(shù)目的調(diào)節(jié)值計算，該組合圖像數(shù)據(jù)通過組合第一圖像數(shù)據(jù)和閃光分量圖像數(shù)據(jù)而產(chǎn)生，其中對第一圖像數(shù)據(jù)基于對應(yīng)于外部光分量的參數(shù)執(zhí)行白平衡控制，對閃光分量圖像數(shù)據(jù)基于對應(yīng)于閃光光線分量的參數(shù)執(zhí)行白平衡控制。
5.根據(jù)權(quán)利要求4的圖像處理方法，其中用于非線性變換圖像的非線性變換是伽馬校正；以及在所述強度調(diào)節(jié)值計算步驟中，把強度調(diào)節(jié)值作為減少具有飽和值并包含在伽馬校正圖像中的像素的數(shù)目的調(diào)節(jié)值計算。
6.根據(jù)權(quán)利要求1的圖像處理方法，其中所述強度調(diào)節(jié)值計算步驟包括從閃光分量圖像數(shù)據(jù)產(chǎn)生由具有等于或大于預(yù)定閾值的值的像素組成的閃光遮蔽Mf的步驟，其中基于對應(yīng)于閃光光線分量的參數(shù)對所述閃光分量圖像數(shù)據(jù)執(zhí)行白平衡控制；和通過使用下述表達式計算用于調(diào)節(jié)的增益g的增益計算步驟g＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非線性變換T的逆變換；max表示最大輸出像素值；k表示預(yù)定的階次值；avg1表示第一圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)I1′的對應(yīng)于閃光遮蔽Mf的部分中的亮度平均值；avgF表示基于閃光分量圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)F′的對應(yīng)于閃光遮蔽Mf的部分中的亮度平均值；和stdrslt表示形成非線性變換圖像數(shù)據(jù)T(F′+I1′)的對應(yīng)于閃光遮蔽Mf的部分的像素值的標準差。
7.根據(jù)權(quán)利要求6的圖像處理方法，其中在所述強度調(diào)節(jié)閃光分量圖像計算步驟中，通過使用用于調(diào)節(jié)的增益g，基于下述表達式計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)F″F″＝gF′其中F′表示白平衡控制圖像數(shù)據(jù)；和在所述最終調(diào)節(jié)圖像生成步驟中，基于下述表達式計算最終調(diào)節(jié)圖像數(shù)據(jù)RR＝I1+F″其中I1表示校正圖像數(shù)據(jù)I1，F(xiàn)″表示強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求1的圖像處理方法，還包括運動檢測步驟，基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和第三圖像數(shù)據(jù)執(zhí)行運動檢測；和對在運動檢測步驟中檢測到的運動部分執(zhí)行像素值校正的步驟。
9.根據(jù)權(quán)利要求1的圖像處理方法，還包括圖像拍攝步驟，通過控制閃光發(fā)射執(zhí)行拍攝包含第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的多圖像數(shù)據(jù)。
10.一種圖像處理裝置，包括閃光分量圖像計算單元，用于基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和有閃光發(fā)射下拍攝的第二圖像數(shù)據(jù)計算閃光分量圖像數(shù)據(jù)；強度調(diào)節(jié)值計算單元，用于為閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值；強度調(diào)節(jié)閃光分量圖像計算單元，用于通過使用強度調(diào)節(jié)值來計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)；以及最終調(diào)節(jié)圖像生成單元，用于基于第一圖像數(shù)據(jù)和強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)用來生成最終調(diào)節(jié)圖像數(shù)據(jù)。
11.根據(jù)權(quán)利要求10的圖像處理裝置，其中所述閃光分量圖像計算單元包括差值圖像計算單元，用于計算表示第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之間差別的差值圖像數(shù)據(jù)；和白平衡控制單元，用于基于對應(yīng)于閃光光線分量的參數(shù)對該差值圖像數(shù)據(jù)執(zhí)行白平衡控制；并且所述強度調(diào)節(jié)值計算單元為閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值，其中的閃光分量圖像數(shù)據(jù)是對其進行了白平衡控制的閃光分量圖像數(shù)據(jù)。
12.根據(jù)權(quán)利要求10的圖像處理裝置，其中所述最終調(diào)節(jié)圖像生成單元基于以下所述生成最終調(diào)節(jié)圖像數(shù)據(jù)(a)通過基于對應(yīng)于外部光分量的參數(shù)對第一圖像數(shù)據(jù)執(zhí)行白平衡控制而獲得的白平衡控制第一圖像數(shù)據(jù)；和(b)通過對閃光分量圖像數(shù)據(jù)執(zhí)行強度調(diào)節(jié)而獲得的強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)，其中的閃光分量圖像數(shù)據(jù)是通過基于對應(yīng)于閃光光線分量的參數(shù)執(zhí)行強度調(diào)節(jié)而獲得的閃光分量圖像數(shù)據(jù)。
13.根據(jù)權(quán)利要求10的圖像處理裝置，其中所述強度調(diào)節(jié)值計算單元把強度調(diào)節(jié)值作為減少具有飽和值并包含在基于組合圖像數(shù)據(jù)而產(chǎn)生的非線性變換圖像中的像素的數(shù)目的調(diào)節(jié)值計算，該組合圖像數(shù)據(jù)通過組合第一圖像數(shù)據(jù)和閃光分量圖像數(shù)據(jù)而產(chǎn)生，其中的第一圖像數(shù)據(jù)是基于對應(yīng)于外部光分量的參數(shù)對其執(zhí)行白平衡控制的第一圖像數(shù)據(jù)，閃光分量圖像數(shù)據(jù)是基于對應(yīng)于閃光光線分量的參數(shù)對其執(zhí)行白平衡控制的閃光分量圖像數(shù)據(jù)。
14.根據(jù)權(quán)利要求13的圖像處理裝置，其中用于非線性變換圖像的非線性變換是伽馬校正；并且所述強度調(diào)節(jié)值計算單元把強度調(diào)節(jié)值作為減少具有飽和值并包含在伽馬校正圖像中的像素的數(shù)目的調(diào)節(jié)值來計算。
15.根據(jù)權(quán)利要求10的圖像處理裝置，其中所述強度調(diào)節(jié)值計算單元從閃光分量圖像數(shù)據(jù)產(chǎn)生由具有等于或大于預(yù)定閾值的值的像素組成的閃光遮蔽Mf，其中的閃光分量圖像數(shù)據(jù)是基于對應(yīng)于閃光光線分量的參數(shù)對其執(zhí)行白平衡控制的閃光分量圖像數(shù)據(jù)；以及所述強度調(diào)節(jié)值計算單元通過使用以下表達式計算用于調(diào)節(jié)的增益gg＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非線性變換T的逆變換；max表示最大輸出像素值；k表示預(yù)定的階次值；avg1表示第一圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)I1′的對應(yīng)于閃光遮蔽Mf的部分中的亮度平均值；avgF表示基于閃光分量圖像數(shù)據(jù)的白平衡控制圖像數(shù)據(jù)F′的對應(yīng)于閃光遮蔽Mf的部分中的亮度平均值；以及stdrslt表示形成非線性變換圖像數(shù)據(jù)T(F′+I1′)的對應(yīng)于閃光遮蔽Mf的部分的像素值的標準差。
16.根據(jù)權(quán)利要求15的圖像處理裝置，其中所述強度調(diào)節(jié)閃光分量圖像計算單元基于以下表達式通過使用用于調(diào)節(jié)的增益g計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)F″F″＝gF′其中F′表示白平衡控制圖像；以及所述最終調(diào)節(jié)圖像生成單元基于以下表達式計算最終調(diào)節(jié)圖像數(shù)據(jù)RR＝I1+F″其中I1表示校正圖像數(shù)據(jù)I1，F(xiàn)″表示強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)。
17.根據(jù)權(quán)利要求10的圖像處理裝置，還包括運動檢測單元，用于基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和第三圖像數(shù)據(jù)執(zhí)行運動檢測；和像素值校正單元，用于對由運動檢測單元檢測到的運動部分執(zhí)行像素值校正。
18.根據(jù)權(quán)利要求10的圖像處理裝置，還包括圖像拍攝單元，用于通過控制閃光發(fā)射執(zhí)行拍攝包含第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的多圖像數(shù)據(jù)。
19.一種用于執(zhí)行圖像處理的計算機程序，該程序包括閃光分量圖像計算步驟，用于基于無閃光發(fā)射下拍攝的第一圖像數(shù)據(jù)和有閃光發(fā)射下拍攝的第二圖像數(shù)據(jù)計算閃光分量圖像數(shù)據(jù)；強度調(diào)節(jié)值計算步驟，用于為閃光分量圖像數(shù)據(jù)計算強度調(diào)節(jié)值；強度調(diào)節(jié)閃光分量圖像計算步驟，用于通過使用強度調(diào)節(jié)值計算強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)；以及最終調(diào)節(jié)圖像生成步驟，用于基于第一圖像數(shù)據(jù)和強度調(diào)節(jié)閃光分量圖像數(shù)據(jù)而生成最終調(diào)節(jié)圖像數(shù)據(jù)。
全文摘要
一種圖像處理方法和裝置進行下述處理基于無閃光發(fā)射下拍攝的第一圖像和有閃光發(fā)射下拍攝的第二圖像計算閃光分量圖像數(shù)據(jù)，通過使用強度調(diào)節(jié)閃光分量圖像生成最終調(diào)節(jié)圖像，其中的強度調(diào)節(jié)閃光分量圖像是通過對閃光分量圖像數(shù)據(jù)執(zhí)行強度調(diào)節(jié)而產(chǎn)生的強度調(diào)節(jié)閃光分量圖像。該方法和裝置可以生成高質(zhì)量的圖像，其中減少了非線性變換圖像中的飽和像素，即曝光過度高亮區(qū)。
文檔編號H04N5/235GK1645914SQ20051005187
公開日2005年7月27日 申請日期2005年1月24日 優(yōu)先權(quán)日2004年1月23日
發(fā)明者山田類 申請人:索尼株式會社