專利名稱：圖像拾取裝置和方法、圖像處理裝置、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像拾取裝置、圖像拾取方法、圖像處理裝置、圖像處理 方法和圖像處理程序。具體而言，本發(fā)明涉及具有白平衡功能的圖像拾取 裝置、圖像拾取方法、圖像處理裝置、圖像處理方法、圖像處理程序。
背景技術(shù)：
近年來，諸如數(shù)字靜態(tài)照相機(jī)和數(shù)字視頻攝像機(jī)之類的數(shù)字圖像拾取 裝置被越來越多的使用，并且這些產(chǎn)品變得越來越精密復(fù)雜。因此，圖像 拾取裝置的制造者想要通過為其產(chǎn)品提供更先進(jìn)的功能來增加其產(chǎn)品的商 業(yè)價(jià)值。自動(dòng)白平衡功能就是一種這樣的圖像拾取裝置功能。在自動(dòng)白平衡功能中，通過將RGB (紅、綠、藍(lán))的比例設(shè)為相同，可以將原始的白色再 現(xiàn)為白，以自動(dòng)地適應(yīng)對象的光源的色調(diào)(tint)變化。一般來說，具有自動(dòng)白平衡功能的圖像拾取裝置執(zhí)行顏色控制，在該 顏色控制中，對象上的無彩色部分(achromatic color portion)被提取并且 被設(shè)定為無色的。在該控制中，由于對象的顏色取決于光而變化，因此在 自然光下無彩色部分的顏色范圍被認(rèn)為是無彩色檢測范圍。但是，由于在低色溫光源下，臉部皮膚顏色非常接近于無彩色部分的 色調(diào)，因此該控制可能錯(cuò)誤地判定皮膚顏色是無色的。尤其是當(dāng)圖像具有 很大的皮膚顏色區(qū)域時(shí)，這一可能性很高。這造成白平衡增益的偏移，從 而導(dǎo)致圖像偏藍(lán)。因此，已知一種白平衡增益設(shè)定方法(例如參見日本未經(jīng)實(shí)審專利申 請公布No. 2003-189325)。在該方法中，當(dāng)通過檢測所拾取的圖像中包括 的臉部來檢測臉部時(shí)，通過將用于設(shè)定白平衡增益的白平衡估計(jì)值獲取區(qū) 域移動(dòng)到除臉部外的區(qū)域，可以防止執(zhí)行臉部部分白平衡的計(jì)算。 發(fā)明內(nèi)容在該白平衡增益設(shè)定方法中，由于白平衡估計(jì)值獲取區(qū)域在被設(shè)定之 前被從臉部部分移開并且白平衡估計(jì)值被獲取，因此當(dāng)所拾取的圖像包括 多個(gè)臉部時(shí)，除臉部之外的區(qū)域是不規(guī)則的，從而使得難以獲取白平衡估 計(jì)值。此外，在所拾取的圖像包括多個(gè)臉部的情況下，當(dāng)由于錯(cuò)誤檢測而存 在未檢測到的臉部時(shí)，存在這樣一個(gè)問題，即自動(dòng)白平衡處理受未檢測到 的臉部的皮膚顏色的影響。本發(fā)明是考慮到上述情況而作出的。希望提供用于促進(jìn)白平衡控制的 圖像拾取裝置、圖像拾取方法、圖像處理裝置、圖像處理方法和圖像處理 程序。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種用于通過用固態(tài)圖像傳感器件 來拾取圖像的圖像拾取裝置。該圖像拾取裝置包括顏色分量獲取單元， 其獲取表示拾取的圖像的顏色分量的拾取圖像顏色分量信號；臉部檢測單 元，其從拾取的圖像中檢測臉部；皮膚顏色區(qū)域顏色分量獲取單元，其在 拾取的圖像包括臉部時(shí)獲取基于臉部檢測結(jié)果的皮膚顏色區(qū)域顏色分量信號；皮膚顏色已消除分量信號信息創(chuàng)建單元，其創(chuàng)建皮膚顏色已消除分量信號信息，該皮膚顏色已消除分量信號信息是通過從由顏色分量獲取單元 所獲得的拾取圖像顏色分量信號中消除由皮膚顏色區(qū)域顏色分量獲取單元所獲得的皮膚顏色區(qū)域顏色分量信號而獲得的；白平衡增益設(shè)定單元，其 通過使用皮膚顏色已消除分量信號信息來設(shè)定白平衡增益；以及白平衡控 制單元，其通過使用白平衡增益來執(zhí)行拾取的圖像的顏色分量的白平衡調(diào) 整。根據(jù)該圖像拾取裝置，顏色分量獲取單元獲取表示拾取的圖像的顏色 分量的拾取圖像顏色分量信號。臉部檢測單元從拾取的圖像中檢測臉部； 當(dāng)拾取的圖像包括臉部時(shí)，皮膚顏色區(qū)域顏色分量獲取單元獲取基于臉部 檢測結(jié)果的皮膚顏色區(qū)域顏色分量信號。然后，皮膚顏色已消除分量信號 信息創(chuàng)建單元?jiǎng)?chuàng)建皮膚顏色已消除分量信號信息，該皮膚顏色已消除分量 信號信息是通過從由顏色分量獲取單元所獲得的拾取圖像顏色分量信號中 消除由皮膚顏色區(qū)域顏色分量獲取單元所獲得的皮膚顏色區(qū)域顏色分量信 號而獲得的。白平衡增益設(shè)定單元通過使用皮膚顏色已消除分量信號信息 來設(shè)定白平衡增益。白平衡控制單元通過使用白平衡增益來執(zhí)行拾取的圖 像的顏色分量的白平衡調(diào)整。根據(jù)本發(fā)明的一個(gè)實(shí)施例，當(dāng)拾取的圖像包括臉部時(shí)，基于臉部檢測 結(jié)果的皮膚顏色區(qū)域顏色分量信號，以及通過從拾取圖像顏色分量信號中 消除皮膚顏色區(qū)域顏色分量信號而獲得的皮膚顏色已消除分量信號信息被 創(chuàng)建。皮膚顏色已消除分量信號信息被用于設(shè)定白平衡增益。從而，即使 所拾取的圖像包括多個(gè)臉部，也可從臉部檢測結(jié)果中指定要經(jīng)歷檢測的區(qū) 域。因此，促進(jìn)了白平衡控制。尤其地，在通過對拾取圖像顏色分量信號分別進(jìn)行積分來生成顏色分 量積分值，通過對檢測到的臉部的顏色分量信號分別進(jìn)行積分來生成皮膚 顏色區(qū)域顏色分量積分值，通過使用皮膚顏色區(qū)域顏色分量積分值來計(jì)算 閾值并獲取滿足閾值的拾取圖像顏色分量積分值，并且通過計(jì)算顏色分量 積分值和滿足閾值的顏色分量積分值之間的差來創(chuàng)建皮膚顏色已消除分量 信號信息的情況下，可以實(shí)現(xiàn)十分精確的白平衡控制。


圖1是示出根據(jù)本發(fā)明第一實(shí)施例的圖像拾取裝置的配置的框圖；圖2是示出根據(jù)第一實(shí)施例的圖像拾取裝置的操作的流程圖； 圖3是所拾取的圖像的圖示；圖4是在所拾取的圖像上的臉部檢測的結(jié)果的圖示； 圖5是示出根據(jù)本發(fā)明第二實(shí)施例的圖像拾取裝置的操作的流程圖； 圖6是示出根據(jù)第二實(shí)施例的圖像拾取裝置的操作的流程圖； 圖7是示出用于計(jì)算皮膚顏色閾值的方法的圖； 圖8是使用閾值的檢測的結(jié)果的圖示；圖9是示出根據(jù)第一和第二實(shí)施例的圖像拾取裝置的操作的示意圖。 具體實(shí)施方式
以下參考附圖描述本發(fā)明的實(shí)施例。圖1是示出根據(jù)本發(fā)明第一實(shí)施例的圖像拾取裝置1的配置的框圖。圖像拾取裝置1包括光學(xué)塊2、驅(qū)動(dòng)器2a、驅(qū)動(dòng)單元2b、圖像傳感器 3、定時(shí)生成電路(TG) 3a、 AFE (模擬前端)電路4、 WB (白平衡)放 大器5、信號處理電路6、壓縮/轉(zhuǎn)換電路7、信號檢測單元8、系統(tǒng)控制器 9、操作單元IO、圖形界面ll和顯示器(圖像監(jiān)視器)lla。光學(xué)塊2包括透鏡單元，用于將來自光源的入射光和來自對象的光 (反射光)聚集到圖像傳感器3;驅(qū)動(dòng)機(jī)構(gòu)，用于通過移動(dòng)透鏡單元來執(zhí) 行聚焦和變焦；快門機(jī)構(gòu)；以及光圈機(jī)構(gòu)，用于通過根據(jù)對象的照度調(diào)整 透鏡光闌(lens stop)來確定經(jīng)過透鏡單元的光量，即曝光。基于來自系統(tǒng)控制器9的控制信號，驅(qū)動(dòng)器2a輸出驅(qū)動(dòng)信號，用于控 制光學(xué)塊2中的機(jī)構(gòu)的驅(qū)動(dòng)(例如光闌驅(qū)動(dòng))。驅(qū)動(dòng)單元2b響應(yīng)于來自驅(qū)動(dòng)器2a的驅(qū)動(dòng)信號，驅(qū)動(dòng)光學(xué)塊2的驅(qū)動(dòng) 機(jī)構(gòu)。圖像傳感器3例如是CCD (電荷耦合器件)型或CMOS (互補(bǔ)金屬氧 化物半導(dǎo)體)型的固態(tài)圖像傳感器件。圖像傳感器3對經(jīng)過光學(xué)塊2的光 圖像進(jìn)行光電轉(zhuǎn)換，并且將轉(zhuǎn)換后的信號發(fā)送到AFE電路4。在系統(tǒng)控制器9的控制下，TG 3a輸出用于控制圖像傳感器3的驅(qū)動(dòng) 的定時(shí)信號。AFE電路4包括保持和增益控制電路41和A/D (模數(shù))轉(zhuǎn)換電路 42。 AFE電路4例如形成為單個(gè)IC (集成電路)。保持和增益控制電路 41通過執(zhí)行CDS (相關(guān)雙采樣)來對從圖像傳感器3輸出的圖像信號執(zhí)行 采樣和保持，以維持良好的S/N (信號/噪聲)比，并且還執(zhí)行AGC (自 動(dòng)增益控制)處理以控制增益。A/D轉(zhuǎn)換電路42通過執(zhí)行A/D轉(zhuǎn)換來輸 出數(shù)字圖像信號。用于執(zhí)行CDS處理的電路可以與圖像傳感器3形成在同 一襯底上?；谳斎氲淖詣?dòng)白平衡增益(白平衡控制信號)，WB放大器5生成 具有經(jīng)調(diào)整的白平衡的圖像信號。具體而言，在白平衡調(diào)整中，RGB增益
中的每一個(gè)根據(jù)白平衡控制信號而被調(diào)整，并且從A/D轉(zhuǎn)換電路42輸出 的圖像信號的RGB幅度中的每一個(gè)被放大。以下將WB放大器5所進(jìn)行 的控制稱為"自動(dòng)白平衡控制"。信號處理電路6對輸入的圖像信號執(zhí)行數(shù)字信號處理，例如線性矩陣 處理、伽瑪處理和色差矩陣處理。信號處理電路6通過根據(jù)來自系統(tǒng)控制器9的控制信號對來自WB放 大器5的圖像信號執(zhí)行各種類型的圖像質(zhì)量校正，來生成對象的視頻信號 (亮度和色差信號)。信號處理電路6還具有從輸入圖像中檢測人的臉部的功能。信號處理 電路6從來自WB放大器5的圖像信號中檢測包括人的臉部的區(qū)域，并且 將檢測結(jié)果提供給系統(tǒng)控制器9。壓縮/轉(zhuǎn)換電路7基于亮度和色差信號而執(zhí)行壓縮編碼。被壓縮/轉(zhuǎn)換 電路7壓縮的信號作為圖像文件被記錄在記錄介質(zhì)(未示出)上。信號檢測單元8從信號中檢測用于白平衡控制的RGB分量。根據(jù)本 發(fā)明的一個(gè)實(shí)施例，信號檢測單元8在圖像拾取裝置中形成顏色分量獲取 單元和皮膚顏色區(qū)域顏色分量獲取單元的每個(gè)主要部分。信號檢測單元8 的細(xì)節(jié)在后面描述。系統(tǒng)控制器9是微控制器，其例如包括CPU (中央處理單元)、 ROM (只讀存儲(chǔ)器)和RAM (隨機(jī)訪問存儲(chǔ)器)。通過執(zhí)行存儲(chǔ)在ROM 等等之中的程序，系統(tǒng)控制器9總體地控制圖像拾取裝置1的部分，例如 光學(xué)塊2、圖像傳感器3、 AFE電路4、 WB放大器5和信號處理電路6， 從而自動(dòng)聚焦、自動(dòng)曝光和白平衡被自動(dòng)控制，以生成圖像被拾取的對象 的優(yōu)選視頻信號。根據(jù)本發(fā)明的一個(gè)實(shí)施例，系統(tǒng)控制器9在圖像拾取裝 置中形成皮月夫顏色已消除分量信號信息(skin-color-eliminated component signal information)創(chuàng)建單元和白平衡增益設(shè)定單元中的每一個(gè)的主要部 分。操作單元10例如包括諸如快門開關(guān)按鈕，手柄和調(diào)節(jié)控制盤之類的 各種操作鍵，并且基于用戶的輸入操作向系統(tǒng)控制器9輸出控制信號。圖形界面11從通過系統(tǒng)控制器9由信號處理電路6提供的圖像信號中 生成用于在顯示器lla上顯示圖像的圖像信號。通過提供生成的圖像信 號，圖形界面11在顯示器lla上顯示圖像。顯示器lla例如是由LCD (液晶顯示器)形成的，并且基于記錄在記錄介質(zhì)(未示出)上的數(shù)據(jù)而 顯示圖像，例如被拾取的經(jīng)過照相機(jī)的圖像和重放的圖像。在圖像拾取裝置1中，來自對象的圖像光(反射光)在光學(xué)塊2中會(huì) 聚并且入射在圖像傳感器3上。入射在圖像傳感器3上的圖像光被光電轉(zhuǎn) 換成電信號。所獲得的電信號被輸入到保持和增益控制電路41，并且通過 保持和增益控制電路41中的采樣和增益控制而獲得的信號被輸入到A/D 轉(zhuǎn)換電路42。輸入到A/D轉(zhuǎn)換電路42的信號被轉(zhuǎn)換成數(shù)字信號，并且該 數(shù)字信號被輸入到WB放大器5和信號檢測單元8。在用于白平衡控制的RGB分量被從數(shù)字信號中檢測出之后，檢測結(jié) 果被信號檢測單元8發(fā)送到系統(tǒng)控制器9。此時(shí)，信號處理電路6為輸入到系統(tǒng)控制器9的輸入數(shù)字信號檢測包 括人的臉部的區(qū)域。當(dāng)包括臉部時(shí)，系統(tǒng)控制器9設(shè)定自動(dòng)白平衡增益 值，以便原始白色由白表示。WB放大器5基于設(shè)定的自動(dòng)白平衡增益值生成調(diào)整了白平衡的圖像 信號，并且將生成的圖像信號輸入到信號處理電路6。信號處理電路6對 輸入的圖像信號執(zhí)行數(shù)字信號處理，例如線性矩陣處理。處理后的信號被 壓縮/轉(zhuǎn)換電路7壓縮和轉(zhuǎn)換，并且所獲得的信號作為圖像文件被記錄在記 錄介質(zhì)(未示出)上。接下來，根據(jù)第一實(shí)施例的圖像拾取裝置1的操作描述如下。 圖2是示出根據(jù)第一實(shí)施例的圖像拾取裝置1的操作的流程圖。圖3 是所拾取的圖像的圖示。在步驟Sl中，系統(tǒng)控制器9將所拾取的圖像中的全屏幕區(qū)域21 (見 圖3)設(shè)定為信號檢測框，并且向信號檢測單元8發(fā)送信號檢測請求。在步驟Sll中，通過利用預(yù)設(shè)的無彩色提取參數(shù)在全屏幕區(qū)域21上 執(zhí)行信號檢測，信號檢測單元8計(jì)算全屏幕區(qū)域21中的顏色分量信號的 積分值(由IR、 EG和EB表示)和積分面積(由A表示)，作為全屏幕 區(qū)域信號檢測結(jié)果，并將其發(fā)送到系統(tǒng)控制器9。
在步驟S2中，系統(tǒng)控制器9獲取全屏幕區(qū)域信號檢測結(jié)果并將其存儲(chǔ)在RAM中。積分面積(A)表示所拾取的圖像中實(shí)際經(jīng)歷積分的區(qū)域 的面積(即像素?cái)?shù)目)。在步驟S3中，基于來自信號處理電路6的檢測信號，系統(tǒng)控制器9 確定是否在全屏幕區(qū)域21中檢測到臉部。如果在全屏幕區(qū)域21未檢測到臉部(步驟S3中的"否")，則系統(tǒng) 控制器9前進(jìn)到步驟S7。或者，如果在全屏幕區(qū)域21中檢測到了臉部(步驟S3中的 "是")，則系統(tǒng)控制器9創(chuàng)建用于消除臉部的皮膚顏色的信息。更具體 而言，在步驟S4中，在每個(gè)檢測到的臉部區(qū)域22中(見圖3)設(shè)定用于 自動(dòng)白平衡控制的信號檢測框，并且將針對臉部區(qū)域22的信號檢測請求 發(fā)送到信號檢測單元8。在步驟S12中，信號檢測單元8通過使用與步驟Sll中使用的參數(shù)相 同的參數(shù)在臉部區(qū)域22上執(zhí)行信號檢測，并且計(jì)算臉部的皮膚顏色區(qū)域 中的顏色分量積分值(由ERF、 EGF和IBF表示)和皮膚顏色積分面積 (由Ap表示)，作為臉部區(qū)域信號檢測結(jié)果，并將其發(fā)送到系統(tǒng)控制器 9。在步驟S5中，系統(tǒng)控制器9獲取臉部區(qū)域信號檢測結(jié)果。在步驟S6 中，通過計(jì)算臉部區(qū)域22中的顏色分量積分值(ERF、 EGf和IBf)和皮 膚顏色積分面積(AF)與全屏幕區(qū)域21中的顏色分量積分值(LR、 EG 和EB)和積分面積(A)(在步驟S2中獲得)的差，系統(tǒng)控制器9計(jì)算 用于自動(dòng)白平衡控制的積分值(皮膚顏色已消除分量信號信息)和積分面 積(皮膚顏色已消除分量信號信息)。皮膚顏色積分面積(AF)表示臉部 區(qū)域22中實(shí)際經(jīng)歷積分的每個(gè)區(qū)域的面積(像素?cái)?shù)目)。所獲得的積分值(ERw、 EGw、 EBW)和積分面積(Aw)由表示為IXw= IK- ERfI]Gw = EG - HGfDBw = EB - EBfAw = A — AF
在步驟S7中，系統(tǒng)控制器9通過利用所獲得的積分值來計(jì)算用于自 動(dòng)白平衡控制的最終自動(dòng)白平衡增益。具體而言，當(dāng)在全屏幕區(qū)域21未檢測到臉部時(shí)，通過使用積分值(LR、 EG、 EB)和積分面積(A)來計(jì) 算自動(dòng)白平衡增益。如果在全屏幕區(qū)域21檢測到了臉部，則通過使用積 分值(ERw、 IPw、 IBw)和積分面積(Aw)來計(jì)算RGB分量相等的自 動(dòng)白平衡增益。雖然，在步驟Sll的檢測中基本上將整個(gè)圖像設(shè)定為信號檢測框，但 實(shí)際上可能不檢測圖像的所有像素信號。例如，可以只檢測亮度值等于或 大于預(yù)定的亮度閾值的像素。或者，可以以某些間隔來設(shè)定檢測區(qū)域。類 似地，在步驟S12的檢測中，可能不檢測臉部區(qū)域22中的所有像素信 號。例如，在步驟S12中，可以將與步驟Sll中不同的亮度閾值設(shè)定為臉 部檢測特定的檢測參數(shù)，并且可以只檢測亮度值等于或大于所設(shè)定的亮度 閾值的像素。如上所述，當(dāng)在步驟Sll和S12中設(shè)定不同的檢測參數(shù)時(shí)， 在步驟S7中，通過使用以積分值(ERw、 EGw、 EBw)除以積分面積 (Aw)獲得的平均值來計(jì)算自動(dòng)白平衡增益，可以提高計(jì)算精度。在步驟S8中，系統(tǒng)控制器9向WB放大器5輸出計(jì)算出的自動(dòng)白平 衡增益。WB放大器5將自動(dòng)白平衡增益應(yīng)用到輸入的圖像信號，從而調(diào) 整白平衡。如上所述，在根據(jù)第一實(shí)施例的圖像拾取裝置1中，當(dāng)臉部被信號處 理電路6檢測時(shí)，臉部區(qū)域22的皮膚顏色上的信號檢測被執(zhí)行，并且， 通過計(jì)算臉部區(qū)域22中的顏色分量積分值(ERF、 SGF、 EBF)和皮膚顏 色積分面積(AF)與全屏幕區(qū)域21中的顏色分量積分值(ER、 EG、 LB)和積分面積(A)的差，可以計(jì)算用于自動(dòng)白平衡控制的積分值和積 分面積。這樣就從自動(dòng)白平衡增益的計(jì)算中排除了臉部皮膚顏色的影響。 從而，可以實(shí)現(xiàn)十分精確的自動(dòng)白平衡控制。此外，即使所拾取的圖像包括多個(gè)臉部，圖像拾取裝置1也對臉部的 檢測區(qū)域做出響應(yīng)，換言之，圖像拾取裝置1只是簡單地執(zhí)行具有矩形信 號檢測框的檢測。因此，不論臉部數(shù)目為多少，通過指定臉部區(qū)域22，可 以防止由于皮膚顏色影響而引起的自動(dòng)白平衡增益的錯(cuò)誤控制(設(shè)定)。
雖然，在第一實(shí)施例中，臉部檢測是由信號處理電路6執(zhí)行的，但是 并不局限于此，通過提供專用的單獨(dú)的臉部檢測電路，全屏幕區(qū)域21中 的臉部可被檢測。如上所述，當(dāng)所拾取的圖像包括多個(gè)臉部時(shí)，如果由于錯(cuò)誤檢測而存 在未檢測到的臉部，則存在這樣的問題，即自動(dòng)白平衡處理受到未檢測到 的臉部的皮膚顏色的影響。圖4是在所拾取的圖像中的臉部檢測的結(jié)果的圖示。如圖4所示，由于錯(cuò)誤檢測，只有全屏幕區(qū)域21中的右面臉部被檢 測并且被設(shè)定為臉部區(qū)域22。在這種情況下，未檢測到的左面的臉部區(qū)域 23處于用于計(jì)算顏色分量積分值(ERF、 SGF、 EBF)的信號檢測范圍之 外。從而，在自動(dòng)白平衡增益中出現(xiàn)誤差。下面描述根據(jù)本發(fā)明第二實(shí)施 例的用于解決此問題的圖像拾取裝置。對于根據(jù)第二實(shí)施例的圖像拾取裝置，主要描述與第一實(shí)施例的差 異，省略相似的描述。下面描述根據(jù)第二實(shí)施例的圖像拾取裝置的操作。圖5和6是示出根據(jù)本發(fā)明第二實(shí)施例的圖像拾取裝置的操作的流程圖。圖5中的系統(tǒng)控制器9的步驟Sla至S4a和信號檢測單元8的步驟 S21a和S22a分別與圖2中的系統(tǒng)控制器9的步驟Sl至S4和信號檢測單 元8的步驟S11和S12相似。因此，下面省略對它們的描述。在執(zhí)行步驟S4a之后，在步驟S5a中，系統(tǒng)控制器9獲取臉部區(qū)域信 號檢測結(jié)果。在步驟S6a中，系統(tǒng)控制器9計(jì)算在計(jì)算出的臉部區(qū)域22的 積分值繪于色差圖時(shí)獲得的皮膚顏色閾值。此處理是通過使用(B-Y， R-Y)平面為例來描述的。圖7是示出用于計(jì)算皮膚顏色閾值的方法的圖。如圖7所示，在步驟S5a中獲得的臉部檢測區(qū)域中的顏色分量積分值被繪制在色差平面上一般表示皮膚顏色的區(qū)域中。在這種情況下，被置于 離所繪坐標(biāo)預(yù)定距離處以圍繞該坐標(biāo)的Y軸最大值(R-Ymax)和最小值(R-Ymin)以及X軸最大值(B-Ymax)和最小值(B-Ymin)被設(shè)定為皮膚
顏色閾值。通過預(yù)先在ROM等之中存儲(chǔ)Y目x和Ymin的多個(gè)組合，并且相應(yīng)于所繪坐標(biāo)，讀取Y,和Ymin (即坐標(biāo)存在于由閾值限定的區(qū)域中的值)的一個(gè)組合，可以確定皮膚顏色閾值。此外，存儲(chǔ)的YmajB YwJ勺組合可以對應(yīng)于預(yù)先為自動(dòng)白平衡控制而確定的光源類型(例如日光、電燈泡、熒光在步驟S7a中，系統(tǒng)控制器9將全屏幕區(qū)域21設(shè)定為信號檢測框，并 且向信號檢測單元8發(fā)送針對全屏幕區(qū)域21的信號檢測請求，以便使用 皮膚顏色閾值進(jìn)行檢測。在步驟S23a中，信號檢測單元8使用皮膚顏色閾值來在全屏幕區(qū)域 21上執(zhí)行信號檢測。信號檢測單元8計(jì)算滿足全屏幕區(qū)域21中的閾值 (換言之，對應(yīng)于由閾值圍繞的區(qū)域中的值)的顏色分量積分值(由 ER'、 EG，、 EB'表示)和積分面積(由A')表示，作為基于閾值的全屏 幕區(qū)域信號檢測結(jié)果，并將其發(fā)送到系統(tǒng)控制器9。圖8是使用閾值的檢測的結(jié)果的圖示。在步驟S22a的處理中，除了右面臉部24的顏色分量積分值之外，在 步驟S3a中未從臉部檢測信號中檢測到的左面臉部25的顏色分量積分值 也被包括在基于閾值的全屏幕區(qū)域信號檢測結(jié)果中。在步驟S8a中，系統(tǒng)控制器9獲取基于閾值的全屏幕區(qū)域信號檢測結(jié) 果。在步驟S9a中，通過計(jì)算滿足閾值的顏色分量積分值(LR'、 EG'、 EB')和積分面積(A')與全屏幕區(qū)域21中的顏色分量積分值(IR、 〗:G、 EB)和積分面積(A)(在步驟S2a中獲得)的差，系統(tǒng)控制器9 計(jì)算用于自動(dòng)白平衡控制的積分值(皮膚顏色已消除分量信號信息)和積 分面積(皮膚顏色已消除分量信號信息)。所獲得的積分值(由ERw、 EGW1、 EBw表示)和積分面積(由AW1 表示)表示為<formula>formula see original document page 15</formula>
AW1 = A _ A，在步驟S10a中，系統(tǒng)控制器9通過使用所獲得的積分值來計(jì)算用于 自動(dòng)白平衡控制的最終自動(dòng)白平衡增益。具體而言，當(dāng)在全屏幕區(qū)域21 未檢測到臉部時(shí)，通過用積分值(IR、 ZG、 IB)和積分面積(A)來計(jì) 算自動(dòng)白平衡增益。如果在全屏幕區(qū)域21檢測到了臉部，則通過使用積 分值(IRW1、 EGW1、 EBW1)和積分面積(AW1)來計(jì)算自動(dòng)白平衡增.、/ irff.。在步驟Slla中，系統(tǒng)控制器9向WB放大器5輸出計(jì)算出的自動(dòng)白 平衡增益。然后，WB放大器5通過使用自動(dòng)白平衡增益來執(zhí)行自動(dòng)白平衡控 制，以使得R二G-B。圖9是示出根據(jù)第一和第二實(shí)施例的圖像拾取裝置的操作的示意圖。在圖9中，標(biāo)號PI表示在存在未檢測到的臉部時(shí)由根據(jù)第二實(shí)施例 的圖像拾取裝置的操作獲得的用于自動(dòng)白平衡控制的積分值。標(biāo)號P2表 示在存在未檢測到的臉部時(shí)由根據(jù)第一實(shí)施例的圖像拾取裝置1的操作獲 得的用于自動(dòng)白平衡控制的積分值。從圖9可以發(fā)現(xiàn)，在使用積分值P2 的自動(dòng)白平衡控制中，圖像偏藍(lán)，因?yàn)锽分量的增益比使用積分值Pl的 自動(dòng)白平衡控制中B分量的增益要高。按照根據(jù)第二實(shí)施例的圖像拾取裝置，獲得了與第一實(shí)施例中類似的 優(yōu)點(diǎn)。按照根據(jù)第二實(shí)施例的圖像拾取裝置，基于檢測到的臉部區(qū)域的顏色 信息，閾值限定所拾取的圖像中的皮膚顏色區(qū)域，并且該閾值被用于檢測 全屏幕區(qū)域21中的皮膚顏色。如果在步驟S3a中存在未檢測到的臉部， 則在步驟S6a至S8a中的圖像拾取裝置的操作中，未檢測到的臉部的皮膚 顏色被提取，從而實(shí)現(xiàn)不受皮膚顏色影響的自動(dòng)白平衡控制。此外，按照根據(jù)第二實(shí)施例的圖像拾取裝置，不僅可以提取臉部的顏 色，而且可以提取滿足皮膚顏色閾值的所有皮膚顏色，即導(dǎo)致自動(dòng)白平衡 控制中的錯(cuò)誤檢測的皮膚顏色(例如人手臂的皮膚顏色、紙板顏色等 等)。從而實(shí)現(xiàn)了十分精確的自動(dòng)白平衡控制。
雖然，在第二實(shí)施例中，設(shè)定閾值使得皮膚顏色區(qū)域是矩形的，但是 該區(qū)域并不限于矩形，可以設(shè)定閾值使得皮膚區(qū)域是橢圓的。如上所述，已經(jīng)參考附圖描述了根據(jù)本發(fā)明實(shí)施例的圖像拾取裝置、 圖像拾取方法、圖像處理裝置、圖像處理方法和圖像處理程序，但是本發(fā) 明并不限于上述實(shí)施例。每個(gè)組件的配置可由具有類似功能的任意組件所 替換。此外，在本發(fā)明的實(shí)施例中，可以添加任意的不同要素和步驟。此外，本發(fā)明的實(shí)施例可以具有前述實(shí)施例中的每一個(gè)中的兩個(gè)或更 多個(gè)任意的特征。對于本發(fā)明的實(shí)施例所應(yīng)用到的圖像拾取裝置并沒有特別限制。這種 圖像拾取裝置例如包括數(shù)字靜態(tài)照相機(jī)、數(shù)字視頻攝像機(jī)、蜂窩電話和 PDA (個(gè)人數(shù)字助理)。雖然，在前述每個(gè)實(shí)施例中，本發(fā)明都被應(yīng)用到圖像拾取裝置，但是 并不限于此，本發(fā)明也可應(yīng)用到用于處理輸入圖像的圖像處理裝置。對于 圖像處理裝置沒有特別限制。例如，它們包括打印機(jī)。上述處理功能可由計(jì)算機(jī)實(shí)現(xiàn)(具體而言，通過允許計(jì)算機(jī)執(zhí)行預(yù)定 的圖像處理程序來實(shí)現(xiàn))。在這種情況下，提供了描述圖像拾取裝置和圖 像處理裝置的處理細(xì)節(jié)的程序。通過在計(jì)算機(jī)上執(zhí)行程序，在計(jì)算機(jī)上實(shí) 現(xiàn)了處理功能。描述處理細(xì)節(jié)的程序可被記錄在計(jì)算機(jī)可讀的記錄介質(zhì) 上。計(jì)算機(jī)可讀記錄介質(zhì)例如包括磁記錄設(shè)備、光盤、磁光記錄介質(zhì)和半導(dǎo)體存儲(chǔ)器。磁記錄設(shè)備例如包括HDD (硬盤驅(qū)動(dòng)器)、FD (柔性盤) 和磁帶。光盤例如包括DVD (數(shù)字多功能盤)、DVD-RAM (隨機(jī)訪問存 儲(chǔ)器)、CD-ROM (緊致盤只讀存儲(chǔ)器)禾n CD-R (可記錄)禾n CD-RW (可改寫)。磁光記錄介質(zhì)例如包括MO (磁光盤)。程序發(fā)布時(shí)，例如，包含程序的諸如DVD和CD-ROM之類的便攜式 記錄介質(zhì)被銷售。此外，通過將程序存儲(chǔ)在服務(wù)器計(jì)算機(jī)的存儲(chǔ)設(shè)備中， 程序可被從服務(wù)器計(jì)算機(jī)傳送到另一計(jì)算機(jī)。執(zhí)行程序的計(jì)算機(jī)在其存儲(chǔ)設(shè)備中存儲(chǔ)了例如便攜式記錄介質(zhì)中包含 的程序或者從服務(wù)器計(jì)算機(jī)傳送來的程序。計(jì)算機(jī)從其存儲(chǔ)設(shè)備讀取程序 并且根據(jù)該程序執(zhí)行處理。計(jì)算機(jī)還可通過直接從便攜式記錄介質(zhì)讀取程 序來根據(jù)程序執(zhí)行處理。此外，每當(dāng)程序被從服務(wù)器計(jì)算機(jī)傳送來時(shí)，計(jì) 算機(jī)就可根據(jù)接收到的程序順序地執(zhí)行處理。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行 各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物 的范圍之內(nèi)。本發(fā)明包含與2006年10月20日向日本專利局遞交的日本專利申請 JP 2006-286017相關(guān)的主題，這里通過引用將其全部內(nèi)容并入。
權(quán)利要求
1.一種用于通過使用固態(tài)圖像傳感器件來拾取圖像的圖像拾取裝置，該圖像拾取裝置包括顏色分量獲取單元，其獲取表示拾取的圖像的顏色分量的拾取圖像顏色分量信號；臉部檢測單元，其從所述拾取的圖像中檢測臉部；皮膚顏色區(qū)域顏色分量獲取單元，其在所述拾取的圖像包括臉部時(shí)獲取基于臉部檢測結(jié)果的皮膚顏色區(qū)域顏色分量信號；皮膚顏色已消除分量信號信息創(chuàng)建單元，其創(chuàng)建皮膚顏色已消除分量信號信息，該皮膚顏色已消除分量信號信息是通過從由所述顏色分量獲取單元獲得的所述拾取圖像顏色分量信號中消除由所述皮膚顏色區(qū)域顏色分量獲取單元獲得的所述皮膚顏色區(qū)域顏色分量信號而獲得的；白平衡增益設(shè)定單元，其通過使用所述皮膚顏色已消除分量信號信息來設(shè)定白平衡增益；以及白平衡控制單元，其通過使用所述白平衡增益來執(zhí)行所述拾取的圖像的顏色分量的白平衡調(diào)整。
2. 如權(quán)利要求1所述的圖像拾取裝置，其中所述顏色分量獲取單元通過對所述拾取圖像顏色分量信號分別進(jìn)行積 分來生成顏色分量積分值；所述皮膚顏色區(qū)域顏色分量獲取單元通過對由所述臉部檢測單元檢測 到的臉部的顏色分量信號分別進(jìn)行積分來生成皮膚顏色區(qū)域顏色分量積分值；并且所述皮膚顏色已消除分量信號信息創(chuàng)建單元通過計(jì)算所述顏色分量積 分值和所述皮膚顏色區(qū)域顏色分量積分值之間的差來創(chuàng)建所述皮膚顏色已 消除分量信號信息。
3. 如權(quán)利要求1所述的圖像拾取裝置，其中，所述皮膚顏色區(qū)域顏色 分量獲取單元計(jì)算限定從所述臉部檢測結(jié)果提取的皮膚顏色區(qū)域的顏色分量閾值，并且使用所述顏色分量閾值來獲取表示所述拾取的圖像中的皮膚顏色區(qū)域的顏色分量信號。
4. 如權(quán)利要求3所述的圖像拾取裝置，其中所述顏色分量獲取單元通過對所述拾取圖像顏色分量信號分別進(jìn)行積 分來生成顏色分量積分值；在所述皮膚顏色區(qū)域顏色分量獲取單元通過對所述臉部檢測單元所檢 測的臉部的顏色分量信號分別進(jìn)行積分而生成皮膚顏色區(qū)域顏色分量積分 值之后，所述皮膚顏色區(qū)域顏色分量獲取單元通過使用所述皮膚顏色區(qū)域 顏色分量積分值來計(jì)算所述顏色分量閾值，并且獲取滿足所述顏色分量閾值的所述拾取的圖像的顏色分量積分值；并且所述皮膚顏色已消除分量信號信息創(chuàng)建單元通過計(jì)算所述顏色分量積 分值和滿足所述顏色分量閾值的所述拾取的圖像的顏色分量積分值之間的 差，來創(chuàng)建所述皮膚顏色已消除分量信號信息。
5. —種用于通過使用固態(tài)圖像傳感器件來拾取圖像的圖像拾取方法， 該圖像拾取方法包括以下步驟獲取表示拾取的圖像的顏色分量的拾取圖像顏色分量信號； 從所述拾取的圖像中檢測臉部；在所述拾取的圖像包括臉部時(shí)，獲取基于臉部檢測結(jié)果的皮膚顏色區(qū) 域顏色分量信號；創(chuàng)建皮膚顏色已消除分量信號信息，該皮膚顏色已消除分量信號信息 是通過從所述拾取圖像顏色分量信號中消除所述皮膚顏色區(qū)域顏色分量信 號而獲得的；通過使用所述皮膚顏色已消除分量信號信息來設(shè)定白平衡增益；以及 通過使用所述白平衡增益來執(zhí)行所述拾取的圖像的顏色分量的白平衡 調(diào)整。
6. —種用于對輸入圖像執(zhí)行白平衡處理的圖像處理裝置，該圖像處理 裝置包括顏色分量獲取單元，其獲取表示所述輸入圖像的顏色分量的輸入圖像 顏色分量信號；臉部檢測單元，其從所述輸入圖像中檢測臉部；皮膚顏色區(qū)域顏色分量獲取單元，其在所述輸入圖像包括臉部時(shí)獲取 基于臉部檢測結(jié)果的皮膚顏色區(qū)域顏色分量信號；皮膚顏色已消除分量信號信息創(chuàng)建單元，其創(chuàng)建皮膚顏色已消除分量 信號信息，該皮膚顏色已消除分量信號信息是通過從由所述顏色分量獲取 單元獲得的所述輸入圖像顏色分量信號中消除由所述皮膚顏色區(qū)域顏色分量獲取單元獲得的所述皮膚顏色區(qū)域顏色分量信號而獲得的；白平衡增益設(shè)定單元，其通過使用所述皮膚顏色已消除分量信號信息來設(shè)定白平衡增益；以及白平衡控制單元，其通過使用所述白平衡增益來執(zhí)行所述輸入圖像的顏色分量的白平衡調(diào)整。
7. —種用于對輸入圖像執(zhí)行白平衡處理的圖像處理方法，該圖像處理 方法包括以下步驟獲取表示所述輸入圖像的顏色分量的輸入圖像顏色分量信號； 從所述輸入圖像中檢測臉部；在所述輸入圖像包括臉部時(shí)，獲取基于臉部檢測結(jié)果的皮膚顏色區(qū)域 顏色分量信號；創(chuàng)建皮膚顏色已消除分量信號信息，該皮膚顏色已消除分量信號信息 是通過從所述輸入圖像顏色分量信號中消除所述皮膚顏色區(qū)域顏色分量信 號而獲得的；通過使用所述皮膚顏色已消除分量信號信息來設(shè)定白平衡增益；以及 通過使用所述白平衡增益來執(zhí)行所述輸入圖像的顏色分量的白平衡調(diào)整。
8. —種用于對輸入圖像執(zhí)行白平衡處理的圖像處理程序，該圖像處理 程序允許計(jì)算機(jī)充當(dāng)顏色分量獲取單元，其獲取表示所述輸入圖像的顏色分量的輸入圖像 顏色分量信號；臉部檢測單元，其從所述輸入圖像中檢測臉部；皮膚顏色區(qū)域顏色分量獲取單元，其在所述輸入圖像包括臉部時(shí)獲取 基于臉部檢測結(jié)果的皮膚顏色區(qū)域顏色分量信號；皮膚顏色已消除分量信號信息創(chuàng)建單元，其創(chuàng)建皮膚顏色己消除分量 信號信息，該皮膚顏色已消除分量信號信息是通過從由所述顏色分量獲取 單元獲得的所述輸入圖像顏色分量信號中消除由所述皮膚顏色區(qū)域顏色分量獲取單元獲得的所述皮膚顏色區(qū)域顏色分量信號而獲得的；白平衡增益設(shè)定單元，其通過使用所述皮膚顏色己消除分量信號信息來設(shè)定白平衡增益；以及白平衡控制單元，其通過使用所述白平衡增益來執(zhí)行所述輸入圖像的 顏色分量的白平衡調(diào)整。
全文摘要
一種圖像拾取裝置包括顏色分量獲取單元，其獲取表示拾取的圖像的顏色分量的拾取圖像顏色分量信號；臉部檢測單元，其檢測臉部；皮膚顏色區(qū)域顏色分量獲取單元，其在拾取的圖像包括臉部時(shí)獲取基于臉部檢測結(jié)果的皮膚顏色區(qū)域顏色分量信號；皮膚顏色已消除分量信號信息創(chuàng)建單元，其創(chuàng)建皮膚顏色已消除分量信號信息，該皮膚顏色已消除分量信號信息是通過從由顏色分量獲取單元所獲得的拾取圖像顏色分量信號中消除由皮膚顏色區(qū)域顏色分量獲取單元所獲得的皮膚顏色區(qū)域顏色分量信號而獲得的；白平衡增益設(shè)定單元，其通過使用皮膚顏色已消除分量信號信息來設(shè)定白平衡增益；以及白平衡控制單元，其通過用白平衡增益來執(zhí)行拾取的圖像的顏色分量的白平衡調(diào)整。
文檔編號H04N9/73GK101166286SQ200710162889
公開日2008年4月23日 申請日期2007年10月22日 優(yōu)先權(quán)日2006年10月20日
發(fā)明者黃華坤 申請人:索尼株式會(huì)社