圖像處理裝置、圖像處理方法及程序的制作方法

文檔序號：7663362閱讀：100來源：國知局

專利名稱：圖像處理裝置、圖像處理方法及程序的制作方法
技術領域：
本發(fā)明涉及圖像處理裝置、圖^f象處理方法及禾呈序，更具體地，涉及用于將圖 <象中面部的顏色才交正為適合該面部的面部顏色的圖像處理裝置、圖像處理方法及程序。
背景技術：
在相關技術中，被配置為執(zhí)行拍攝圖像的顏色校正，使得將圖像中的特定顏色4史正為人們在潛意識中記憶并感覺最美麗的顏色，即，記憶色的圖像拍攝裝置是可用的。例如，這種類型的圖像拍攝裝置將圖像中人物的膚色校正為預定顏色(例如，參見日本未審查專利申請公開第2004-297698號)。

發(fā)明內容
面部顏色由于人物的不同而改變。如果圖<象中不同人物的面部顏色被校正為相同的預定顏色，那么校正圖像將變得不自然。
因A匕，期望爿尋圖 <象中面部的顏色才交正為適合該面部的面部顏色。
根據(jù)本發(fā)明的一個實施例，提供了一種包括下列元件的圖像處
理裝置面部圖像存儲裝置，用于將面部圖像存儲為注冊面部圖像，該面部圖像是預定面部的圖像；顏色存儲裝置，用于存儲面部顏色信息，面部顏色信息是關于注冊面部圖像的面部顏色的信息；檢測裝置，用于檢測輸入圖像中的面部圖像；沖交正裝置，用于校正在輸入圖像中檢測的面部圖像的面部顏色信息；以及比較裝置，用于將在輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，并獲得與檢測出的面部圖像最相似的注冊面部圖像作為比較結果。校正裝置基于存儲在顏色存儲裝置中的用作比較結果的注冊面部圖像的面部顏色信息來校正在下一個輸入圖像中檢測的面部圖像的面部顏
圖像處理裝置還可包括用于調節(jié)輸入圖像的白平衡的調節(jié)裝置，并且;f全測裝置可^f金測經過白平^f調節(jié)的輸入圖^f象中的面部圖像。
圖j象處理裝置還可包括確定裝置，用于基于顏色信息的統(tǒng)計量確定該確定裝置是否對經過白平衡調節(jié)的輸入圖像具有自信，其
中，顏色信息是關于未經過白平衡調節(jié)的輸入圖像的顏色的信息；以及存儲控制裝置，用于在確定裝置被確定對經過白平衡調節(jié)的輸入圖像具有自信的情況下，將在經過白平衡調節(jié)的輸入圖像中檢測的面部圖 <象的面部顏色信息作為用作面部圖^象的比4交結果的注冊面部圖像的面部顏色信息存儲在顏色存儲裝置中。在確定裝置被確定對經過白平衡調節(jié)的輸入圖像不具有自信的情況下，校正裝置可基于存儲在顏色存儲裝置中的用作比較結杲的注冊面部圖像的面部顏色信息，校正在經過白平衡調節(jié)的輸入圖像之后的下一個輸入圖l象中才企測的面部圖4象的面部顏色信息。
相關聯(lián)的表格。確定裝置可基于未經過白平衡調節(jié)的輸入圖像的顏色信息的統(tǒng)計量，從表格中讀取與統(tǒng)計量相關聯(lián)的自信度，并基于自信度確定該確定裝置是否對經過白平《軒調節(jié)的輸入圖像具有自信。
在圖像處理裝置中，校正裝置可基于存儲在顏色存儲裝置中的用作比較結果的注冊面部圖像的面部顏色信息，通過調節(jié)下一個輸入圖像的白平衡來校正下一個輸入圖像的面部顏色信息。
才艮據(jù)本發(fā)明的另一個實施例，才是供了一種圖像處理方法，包括
以下步驟檢測輸入圖像中的面部圖像，該面部圖像是面部的圖像；將在輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖像，并獲得與檢測出的面部圖像最相似的注冊面部圖像作為比較結果；以及基于關于用作比較結果的注冊面部圖像的預先存儲的面部顏色信息，4交正在下一個輸入圖像中沖全測的面部圖4象的面部顏色4言息。
才艮據(jù)本發(fā)明的又一個實施例，4是供了一種程序，用于使計算機執(zhí)行包括下列步驟的處理檢測輸入圖像中的面部圖像，該面部圖像是面部的圖像；將在輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖像，并荻得與檢測出的面部圖像最相似的注冊面部圖像作為比較結果；以及基于關于用作比較結果的注冊面部圖像的預先存儲的面部顏色信息，校正在下一個輸入圖像中檢測的面部圖像的面部顏色信息。
根據(jù)本發(fā)明的前述實施例，在輸入圖像中檢測作為面部的圖像的面部圖像。將在輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖像。獲得與檢測出的面部圖像最相似的注冊面部圖像作為比較結果?；谟米鞅容^結果
的注冊面部圖像的預先存儲的面部顏色信息，才交正在下一個輸入圖像中;f全測的面部圖像的面部顏色信息。
根據(jù)本發(fā)明的再一實施例，提供了一種包括下列元件的圖像處
理裝置面部圖像存儲裝置，用于將面部圖像存儲作為注冊面部圖像，該面部圖像是預定面部的圖像；顏色存儲裝置，用于存儲面部顏色信息，面部顏色信息是關于注冊面部圖像的面部顏色的信息；比較裝置，用于檢測輸入圖像中的面部圖像，將該面部圖像與注冊面部圖像進行比較，并獲得與面部圖像最相似的注冊面部圖像作為比較結果；以及校正裝置，用于基于存儲在顏色存4諸裝置中的用作比較結果的注冊面部圖像的面部顏色信息，校正在輸入圖像中檢測的面部圖像的面部顏色信息。
圖像處理裝置還可包括用于調節(jié)輸入圖像的白平衡的調節(jié)裝置。比較裝置可檢測未經過或經過白平衡調節(jié)的輸入圖像中的面部圖像。校正裝置可基于用作比較結果的注冊面部圖像的面部顏色信息，校正在經過白平衡調節(jié)的輸入圖像中檢測的面部圖像的面部顏
色4&息、。
圖像處理裝置還可包括確定裝置，用于基于顏色信息的統(tǒng)計量確定該確定裝置是否對經過白平衡調節(jié)的輸入圖像具有自信，其
中，顏色信息是關于未經過白平衡調節(jié)的輸入圖像的顏色的信息；以及存儲控制裝置，用于在確定裝置被確定對經過白平衡調節(jié)的輸入圖像具有自信的情況下，將在經過白平衡調節(jié)的輸入圖像中檢測的面部圖像的面部顏色信息作為用作面部圖像的比較結果的注冊面部圖像的面部顏色信息存儲在顏色存儲裝置中。在確定裝置被確定對經過白平衡調節(jié)的輸入圖像不具有自信的情況下，校正裝置可基于存儲在顏色存儲裝置中的用作比較結果的注冊面部圖像的面部顏色信息，校正在經過白平衡調節(jié)的輸入圖像中檢測的面部圖像的面部顏色^f言息。
圖像處理裝置還可包括表格存儲裝置，用于存儲未經過白平衡調節(jié)的顏色信息的統(tǒng)計量與經過白平衡調節(jié)的顏色信,l的自信度相關聯(lián)的表格。確定裝置可基于未經過白平衡調節(jié)的輸入圖像的顏色信息的統(tǒng)計量，從表格中讀取與統(tǒng)計量相關聯(lián)的自信度，并基于自信度確定確定裝置是否對經過白平衡調節(jié)的輸入圖像具有自信。
在圖像處理裝置中，校正裝置可基于存儲在顏色存儲裝置中的用作比較結果的注冊面部圖像的面部顏色信息，通過調節(jié)輸入圖像的白平衡來校正輸入圖像的面部顏色信息。
才艮據(jù)本發(fā)明的另一個實施例，提供了一種圖像處理方法，包括
以下步驟檢測輸入圖像中的面部圖像，該面部圖像是面部的圖像；將面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖像，并獲得與面部圖像最相似的注冊面部圖像作為比較結果；以及基于用作比4交結果的注冊面部圖 <象的預先存〗諸的面部顏色信息來校正在輸入圖像中檢測的面部圖像的面部顏色信息。
根據(jù)本發(fā)明的又一實施例，才是供了一種程序，用于使計算積4丸行包括下列步驟的處理檢測輸入圖像中面部圖像，該面部圖像是面部的圖像；將面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖像，并荻得與面部圖像最相似的注冊面部圖像作為比較結果；以及基于用作比較結果的注冊面部圖^象的預先存儲的面部顏色信息來校正在輸入圖像中檢測的面部圖像的面部顏色信息。
才艮據(jù)本發(fā)明的前述實施例，在輸入圖像中檢測作為面部的圖像的面部圖像。將面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖 <象。獲得與面部圖 <象最相似的注冊面部圖像作為比較結果。基于用作比較結果的注冊面部圖像的預先存儲的
面部顏色信息，校正在輸入圖像中檢測的面部圖像的面部顏色信息。
因此，圖<象可#皮才交正。此外，可將圖^象中的面部的顏色沖交正為適合該面吾卩的面部顏色。

圖1是根據(jù)本發(fā)明實施例的數(shù)碼相機的示例型構造的框圖2是控制器的示例型詳細構造的框圖3示出了由顏色再生單元執(zhí)行的面部顏色校正；
圖4示出了由顏色再生單元執(zhí)4亍的面部顏色4交正；
圖5示出了示例型面部顏色表才各；
圖6是圖像拍攝處理的流程圖7是自信確定處理的流程圖8是面部識別處理的流程圖9是控制器的另一個示例型詳細構造的框圖IO是示出在Y信號查找表(LUT)中平均Y信號和自信度之間的關系的圖表；
圖11是另一個自信確定處理的流程圖12是控制器的又一示例型詳細構造的框圖；圖13是另一個圖像拍攝處理的流程圖；以及圖14是計算機的示例型構造的框圖。
具體實施例方式
在描述本發(fā)明實施例之前，在下面論述權利要求書的特征和在
的對應關系。該描述目的在于確保支持所要求發(fā)明的實施例在說明書或附圖中進行了描迷。因此，即使以下實施例中的元件沒有被描述為與i兌明書或附圖中的本發(fā)明的特定特;f正相關，也不一定意p未該元件不與權利要求的特征相關。相反，即使在本文中將元件描述為與權利要求的特定特征相關，也不一定意味該元件不與權利要求的其它特4正相關。
根據(jù)本發(fā)明實施例的圖像處理裝置(例如，圖1所示的數(shù)碼相機l)包括下列元件面部圖像存儲裝置(例如，圖2所示的面部圖像存儲單元61),用于將面部圖像存儲作為注冊面部圖像，面部圖像是預定面部的圖像；顏色存儲裝置(例如，圖2所示的面部顏色存儲單元62),用于存儲面部顏色信息，面部顏色信息是關于注冊面部圖〗象的面部顏色的^f言息；4企測裝置(例如，圖2所示的沖全測器43)，用于檢測輸入圖像中的面部圖像；校正裝置(例如，圖2 所示的顏色再生單元44 )用于校正在輸入圖像中檢測到的面部圖像的面部顏色信息；以及比較裝置(例如圖2所示的比較器51),用于將在輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，并獲得與檢測出的面部圖像最相似的注冊面部圖像作為比較結果?；?存儲在顏色存儲裝置中的用作比較結果的注冊面部圖像的面部顏色信息，校正裝置校正在下一個輸入圖像中檢測的面部圖像的面部顏色4言息。
圖像處理裝置還包括調節(jié)裝置(例如，圖2所示的白平衡(WB)
調節(jié)器41),用于調節(jié)輸入圖像的白平衡，并且檢測裝置檢測經過
白平衡調節(jié)的輸入圖像中的面部圖像。
圖像處理裝置還包括確定裝置(例如，圖2所示的自信確定單元46),用于基于顏色信息的統(tǒng)計量確定確定裝置是否對經過白平衡調節(jié)的輸入圖像具有自信，顏色信息是關于未經過白平衡調節(jié)的輸入圖像的顏色的信息；以及存儲控制裝置(例如，圖2所示的生成器52),用于在確定裝置被確定對經過白平衡調節(jié)的輸入圖像具有自信的情況下，將在經過白平衡調節(jié)的輸入圖像中檢測的面部圖像的面部顏色信息作為用作面部圖像的比較結果的注冊面部圖像的面部顏色信息存儲在顏色存儲裝置中。在確定裝置一皮確定對經過白平衡調節(jié)的輸入圖像不具有自信的情況下，校正裝置基于存儲在顏色存儲裝置中的用作比較結果的注冊面部圖像的面部顏色信息，才交正在經過白平#f調節(jié)的輸入圖像之后的下一個輸入圖像中沖全測的面部圖 <象的面部顏色^[言息。
圖像處理裝置還包括表格存儲裝置(例如，圖9所示的查找表
(LUT)存儲單元91)，用于存儲未經過的白平4軒調節(jié)顏色信息的
統(tǒng)計量與經過白平衡調節(jié)的顏色信息的自信度相關聯(lián)的表格。確定
裝置基于未經過白平衡調節(jié)的輸入圖像的顏色信息的統(tǒng)計量，從表格中讀取與統(tǒng)計量相關聯(lián)的自信度，并基于自信度確定確定裝置是
否對經過白平^H周節(jié)的輸入圖像具有自信。
才艮據(jù)本發(fā)明另一個實施例的圖 <象處理方法或程序包括以下步驟檢測輸入圖像中的面部圖像(例如，圖6的步驟S19)，面部圖像是面部的圖像；將在輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖像，并獲得與檢測出的面部圖像最相似的注冊面部圖像作為比較結果(例如，圖8 的步驟S43 );以及基于關于用作比較結果的注冊面部圖像的預先存
儲的面部顏色信息，校正在下一個輸入圖像中檢測的面部圖像的面
部顏色信息(例如，圖6的步驟S21 )。
才艮據(jù)本發(fā)明另一個實施例的圖"f象處理裝置(例如，圖1所示的
數(shù)碼相才幾l)包括下列元件面部圖像存儲裝置(例如，圖12所示的面部圖像存儲單元61 ),用于將面部圖像存儲作為注冊面部圖像，該面部圖像是預定面部的圖像；顏色存儲裝置(例如，圖12所示的面部顏色存儲單元62),用于存儲面部顏色信息，面部顏色信息是關于注冊面部圖像的面部顏色的信息；比較裝置(例如，圖12 所示的比較器121)，用于檢測輸入圖像中的面部圖像，將面部圖像與注冊面部圖像進行比較，并獲得與面部圖像最相似的注冊面部圖像作為比較結果；以及校正裝置(例如，圖12所示的顏色再生單元112)，用于基于存儲在顏色存儲裝置中的用作比較結果的注冊面部圖像的面部顏色信息，校正在輸入圖像中檢測的面部圖像的面部顏色信息。
圖像處理裝置還包括調節(jié)裝置(例如，圖2所示的WB調節(jié)器 41)，用于調節(jié)輸入圖像的白平衡。比較裝置檢測未經過或經過白平衡調節(jié)的輸入圖像中的面部圖像。校正裝置基于用作比較結果的注冊面部圖像的面部顏色信息，校正在經過白平#f調節(jié)的輸入圖 <象中檢測的面部圖 <象的面部顏色信息。
圖像處理裝置還包括確定裝置(例如，圖2所示的自信確定單元46),用于基于顏色信息的統(tǒng)計量，確定確定裝置是否對經過白平衡調節(jié)的輸入圖像具有自信，顏色信息是關于未經過白平衡調節(jié) 的輸入圖像的顏色的信息；以及存儲控制裝置(圖12所示的生成器122),用于在確定裝置被確定對經過白平衡調節(jié)的輸入圖像具有自信的情況下，將在經過白平衡調節(jié)的輸入圖像中檢淚'J的面部圖像的面部顏色信息作為用作面部圖#>的比4交結果的注冊面部圖l象的面部顏色信息存儲在顏色存儲裝置中。在確定裝置4皮確定對經過白
平衡調節(jié)的輸入圖像不具有自信的情況下，校正裝置基于存儲在顏色存儲裝置的用作比較結果的注冊面部圖像的面部顏色信息，校正在經過白平衡調節(jié)的輸入圖像中檢測的面部圖像的面部顏色信息。
圖像處理裝置還包括表格存儲裝置(例如，同圖9中的一樣，
添加至圖12所示控制器16的LUT存+者單元91 ),用于存儲未經過白平衡調節(jié)的顏色信息的統(tǒng)計量與經過白平衡調節(jié)的顏色信息的
自信度相關聯(lián)的表格。確定裝置基于未經過白平衡調節(jié)的輸入圖像的顏色信息，從表格中讀取與統(tǒng)計量相關聯(lián)的自信度，并基于自信度確定確定裝置是否對經過白平衡調節(jié)的輸入圖像具有自信。
根據(jù)本發(fā)明另一個實施例的圖^象處理方法或程序包括以下步驟檢測輸入圖像中的面部圖像，該面部圖像是面部的圖像；將面部圖像與注冊面部圖像進行比較，注冊面部圖像是預先存儲的預定面部圖像，并獲得與面部圖像最相似的注冊面部圖像作為比較結果 (例如，圖13的步-驟S66);以及基于用作比4交結果的注冊面部圖像的預先存儲的面部顏色信息來才交正在輸入圖 <象中才僉測的面部圖像的面部顏色信息(例如，圖13的步驟S")。
下面，將參照附圖詳細描述本發(fā)明的具體實施例。
圖1是根據(jù)本發(fā)明實施例的數(shù)碼相機1的示例型構造的框圖。
圖1所示的數(shù)碼相機1包括透鏡系統(tǒng)11、電荷耦合裝置(CCD ) 12、采樣/保持(S/H)電路13、自動增益控制(AGC)電路14、模/數(shù)(A/D)轉換電路15、控制器16、外部接口 (I/F) 17、顯示單元18、以及輸入單元19。數(shù)碼相機1拍攝目標圖像并校正拍攝圖^象中面部的顏色。
透鏡系統(tǒng)ll包括快門、光圈、聚光器等。透鏡系統(tǒng)ll通過入
射到其上的光照射CCD 12，以在CCD 12的光4妾收面上形成目標圖像。根據(jù)由輸入單元19提供的圖像拍攝開始指令，CCD12對形成在CCD 12的光接收面上的目標圖像(光)才丸行光電轉換，以生成以紅、綠、和藍(RGB)顏色系統(tǒng)表示的模擬圖像信號(下文中稱為"RGB信號")，并將RGB信號提供給S/H電路13。在該實例中， CCD 12被用作圖像拾取裝置。代替使用CCD 12,例如，互補金屬氧化物半導體(CMOS)傳感器可被用作圖像拾取裝置。
S/H電路13對由CCD 12提供的模擬RGB信號應用例如相關雙采樣，并將采樣信號4是供給AGC電3各14。
AGC電路14調節(jié)由S/H電路13提供的模擬RGB信號的增益，并將調節(jié)信號提供給A/D轉換電路15。
A/D轉換電路15執(zhí)行由AGC電路14提供的模擬RGB信號的 A/D轉換，并將作為A/D轉換結果所獲得的數(shù)字RGB圖像作為RGB 圖像提供給控制器16。
控制器16對由A/D轉換電路15提供的RGB圖像執(zhí)行諸如白平衡調節(jié)、YCbCr顏色系統(tǒng)的轉換、以及顏色校正的圖像處理。根據(jù)由輸入單元19提供的圖像拍攝指令，控制器16將拍攝的圖像(以作為圖4象處理結果而獲得的YCbCr顏色系統(tǒng)表示的圖4象)經外部 I/F 17提供給外部裝置(未示出)，使得將拍攝圖像記錄在外部裝置中。此外，控制器16將作為圖像處理結果所獲得的拍攝圖像提供給顯示單元18，使得拍攝圖像被顯示在顯示單元18上。將參照圖 2描述控制器16的細節(jié)。
外部I/F 17與外部裝置(未示出)交換信號。例如，外部I/F 17 將由控制器16提供的拍攝圖像記錄在外部裝置中。根據(jù)從外部裝置發(fā)出的請求，外部I/F 17從控制器16獲得拍攝圖像并將拍攝圖像存儲在外部裝置中。
顯示單元18顯示由控制器16提供的拍攝圖像。輸入單元19 接收由用戶輸入的指令。例如，輸入單元19接收由用戶輸入的指令以將操作模式設定為用于拍攝目標圖像的圖像拍攝模式，并根據(jù) 指令將圖像拍攝開始指令提供給CCD 12。輸入單元19接收由用戶輸入的指令來拍攝圖像，并根據(jù)指令將圖像拍攝指令提供給控制器 16。
圖2是圖1所示控制器16的示例型詳細構造的框圖。
圖2所示的控制器16包^^圖^象處理器31、面部識別單元32、參數(shù)計算器33、以及存儲器34?？刂破?6計算關于拍攝圖像中面部的顏色校正的參數(shù)，并基于這些參數(shù)校正下一個拍攝圖像中面部的《貞色。
圖像處理器31包括白平衡(WB)調節(jié)器41、 YC轉換器42 和45、 4全測器43、顏色再生單元44、以及自信確定單元46。圖像處理器31對從圖1所示A/D轉換電路15 4是供并存4諸在存儲器34 的圖像存儲單元60中的RGB圖像執(zhí)行圖像處理。
WB調節(jié)器41讀取存儲在圖像存儲單元60中的RGB圖像，并將RGB圖像的像素值乘以相關的預定系數(shù)來調節(jié)RGB圖像的白
衡。WB調節(jié)器41將調節(jié)的RGB圖像提供給YC轉換器42。
YC轉換器42執(zhí)行由WB調節(jié)器41提供的RGB圖像的YC轉換，以將顏色系統(tǒng)從RGB顏色系統(tǒng)轉換為YCbCr顏色系統(tǒng)。具體地，YC轉換器42對RGB圖像應用YC矩陣處理以及對色度分量
應用頻帶限制，從而生成以YCbCr顏色系統(tǒng)表示的圖像。YC轉換器42將以YCbCr顏色系統(tǒng)表示的圖像作為拍才聶圖像提供4全測器 43。
檢測器43檢測由YC轉換器42提供的拍攝圖像中的面部圖像，該面部圖像是面部的圖像。檢測器43將用于指定檢測面部圖像的區(qū)域的信息(下文中稱為"區(qū)域信息")和拍攝圖像提供給參數(shù)計算器33和顏色再生單元44。
基于由參數(shù)計算器33提供的參數(shù)、檢測器43提供的區(qū)域信息、以及自信確定單元46提供的確定結果，顏色再生單元44校正包括在由檢測器43提供的拍攝圖像中的面部圖像的面部顏色。顏色再生單元44將已經校正面部顏色的拍攝圖像提供給圖像存儲單元60, 使得拍攝圖像被存儲在其中。基于區(qū)域信息，顏色再生單元44從已經校正面部顏色的拍攝圖像中提取面部圖像并將提取的面部圖像提供給面部識別單元32。
才艮據(jù)確定結果，顏色再生單元44不改變由4全測器43^是供的拍攝圖像并將拍攝圖像照原樣提供給圖像存儲單元60,使得拍攝圖像被存儲在其中。基于確定結果和區(qū)域信息，顏色再生單元44 ^v由檢測器43提供的拍攝圖像中提取面部圖像并將面部圖像提供給面部識另ll單元32。
YC轉換器45讀取存儲在圖像存儲單元60中的RGB圖像，并且如YC轉換器42所做的執(zhí)行RGB圖像的YC轉換。YC轉換器 45將作為YC轉換結果所獲得的以YCbCr顏色系統(tǒng)表示的圖Y象提供》會自信確定單元46。
基于由YC轉換器45所提供的以YCbCr顏色系統(tǒng)表示的圖像的平均值，自信確定單元46確定其是否對從YC轉換器42輸出的
拍攝圖像具有自信。在下面的描述中，假設WB調節(jié)器41執(zhí)行在
室外日光下拍攝的圖像的最佳白平衡調節(jié)。自信確定單元46根據(jù)
拍攝圖像是否是在室外日光下拍攝的圖像來確定其是否對拍攝圖
像中具有自信。自信確定單元46將確定結果l是供給面部識別單元 32和顏色再生單元44。
面部識別單元32執(zhí)行識別包括在拍攝圖像中的面部圖像中的面部的面部識別處理。例如，在日本未審查的專利申諱〃>開第 2004-302644號中描述了面部識別處理。
面部識別單元32包纟舌比4交器51和生成器52。
比較器51將由顏色再生單元44提供的面部圖像與注冊在存儲器34的面部圖像存儲單元61中的面部圖像(下文中稱為"注冊面部圖像，，)進行比較。比較器51在面部圖像存儲單元61中注冊與所登記的面部圖像都不相似的面部圖像作為新的注冊面部圖像。具體地，比較器51向注冊面部圖像特有的人名添加給新的注冊面部圖像，并將與新的注冊面部圖像相關的人名存儲在面部圖像存儲單元61中。
才艮據(jù)由自信確定單元46才是供的確定結果，比較器51將與作為比較結果的與面部圖像最相似的注冊面部圖像相對應的人名提供給參數(shù)計算器33。根據(jù)由自信確定單元46 4是供的確定結果，比較器51將比較結果和面部圖像提供給生成器52。
基于由比較器51提供的面部圖像，生成器52生成關于面部顏色的信息的面部顏色信息，并將面部顏色信息與用作比較結果的人名相關聯(lián)的面部顏色表才各存儲在存Y諸器34的面部顏色存儲單元62中。
基于由面部識別單元32的比較器51提供的比較結果，參數(shù)計算器33從存儲在面部顏色存儲單元62中的面部顏色表格中讀取與用作比較結果的人名相關聯(lián)的面部顏色信息?；谟蓹z測器43揭_ 供的區(qū)域信息，參數(shù)計算器33從由檢測器43提供的拍攝圖像中提
耳又面部圖Y象。
基于提取的面部圖像和讀取的面部顏色信息，參數(shù)計算器33 計算用于將面部圖像的面部顏色才交正為由面部顏色信息定義的面部顏色的參數(shù)，并將參數(shù)提供給顏色再生單元44。利用參數(shù)，顏色再生單元44校正包括在下一個拍攝圖像中的面部圖像的面部顏色。因此，顏色再生單元44可在下一個拍攝圖像所包括的面部圖^f象中再生由與包括在拍攝圖像中的面部圖像最相似的注冊面部圖像的面部顏色信息定義的、存儲在面部顏色存儲單元62中的面部顏色。
存儲器34包括圖像存儲單元60、面部圖像存儲單元61、以及面部顏色存4諸單元62。
圖像存儲單元60存儲由圖1所示A/D轉換電路15提供的RGB 圖像。圖像存儲單元60存儲由顏色再生單元44提供的拍攝圖像。將圖像拍攝指令從輸入單元19提供給圖像存儲單元60。根據(jù)圖像拍攝指令，圖像存儲單元60讀取存儲在其中的拍攝圖像并將拍攝圖像提供給外部I/F 17,使得拍攝圖像被存儲在外部裝置中。
將拍攝圖像獲得請求從外部I/F 17提供給圖像存儲單元60。根據(jù)該請求，圖像存儲單元60將拍攝圖像提供給外部I/F17。此外，圖像存儲單元60將存儲在其中的拍攝圖像提供給顯示單元18，使得拍4聶圖^f象i皮顯示在單元18上。面部圖像存儲單元61存儲由比較器51提供的彼此相關聯(lián)的人
名和注冊面部圖i^象。面部顏色存^f諸單元62存^f諸由生成器52纟是供的人名與面部顏色信息相關聯(lián)的面部顏色表格。
現(xiàn)在，將參照圖3和4，描述通過顏色再生單元44才丸行的面部
顏色校正。
圖3示出了在室外日光下拍攝的拍攝圖像71。
圖3所示的拍攝圖像71包括特定人物的面部圖像72。在拍攝圖像71被拍攝的情況下，由于拍攝圖像71是在室外日光下拍才聶的圖像，所以自信確定單元46確定其對從YC轉換器42輸出的拍攝圖像71具有自信。在這種情況下，顏色再生單元44不執(zhí)行拍攝圖像71的面部顏色校正并將拍攝圖像71照原樣4是供給圖像存儲單元 60，使得拍攝圖像71被存儲在其中。結果，將沒有任何校正的拍才聶圖^f象71顯示在顯示單元18上。
基于從拍攝圖像71提取的面部圖像72,生成器52生成面部顏色信息，并將面部顏色信息與用作由比較器51獲得的比較結果的人名相關聯(lián)的面部顏色表格存儲在面部顏色存儲單元62中。
圖4示出了在允許日光進入的焚光房間內拍攝到的拍攝圖像81。
圖4所示的拍攝圖像81包括與圖3所示面部圖像72相同的人物的面部圖像82。在拍攝圖像81被拍攝的情況下，由于拍才聶圖像 81不是在室外日光下拍攝的圖像，所以自信確定單元46確定其對從YC轉換器42輸出的拍攝圖像81不具有自信。在這種情況下，顏色再生單元44例如4吏用基于存4諸在面部顏色存〗諸單元62中與面
部圖像82相對應的人名相關聯(lián)的圖3所示面部圖像72的面部顏色信息而計算的參數(shù)，執(zhí)行面部圖像82的面部顏色校正。
因此，包括在執(zhí)行最佳白平衡調節(jié)的室外日光下拍攝的拍攝圖像71中的特定人物的面部圖像72的面部顏色可在難以執(zhí)行最佳白平衡調節(jié)的在兩個光源(即，日光和熒光燈)下拍攝的相同人物的面部圖4象82中凈皮再生。
圖5示出了存^f諸在圖2所示面部顏色存4諸單元62中的示例型面部顏色表才各。
在圖5示出的面部顏色表格中，每個人名與用作具有該名字的人物的面部顏色信息的YCbCr顏色系統(tǒng)中的Y信號、Cb信號和 Cr信號的值相關聯(lián)。
在圖5示出的實例中，名字"Mr.A，，是與用作Mr.A的面吾pj頁色信息的Y信號值"145"、 Cb信號值"-9"和Cr信號值"13"相關耳關。即，在室外日光下拍4聶的Mr.A的面部圖Y象的Y信號具有佳: 145、 Cb信號具有值-9、以及Cr信號具有值13。
名字"Mr.B"還沒有與任何面部顏色信息相關聯(lián)。即，沒有在室外曰光下拍t聶的Mr.B的圖<象。
此外，名字"Mr.C"與用作Mr.C的面部顏色4言息的Y4言號Y直 "160"、 Cb信號值"-4"、和Cr信號值"10"相關聯(lián)。即，在室夕卜曰光下拍攝的Mr.C的面部圖像的Y信號具有值160、 Cb信號具有值-4、以及Cr信號具有值lO。
代替YCbCr顏色系統(tǒng)中的信號值，面部顏色表格中的面部顏色信息可包4舌其它顏色系統(tǒng)(例如，RGB顏色系統(tǒng))中的信號4直，在轉^:為預定顏色系統(tǒng)期間所獲得的統(tǒng)計量，或者預定顏色系鄉(xiāng)克中信號的直方圖。
現(xiàn)在參照圖6，將描述利用圖1所示的數(shù)碼相機1拍攝作為目標的人物的面部圖像的圖像拍攝處理。在用于將操作模式設定為圖像拍攝模式的用戶指令已被接收的情況下，在每個預定時間執(zhí)行圖像拍攝處理，直到給出圖像拍攝指令或用于改變操作模式的指令。
在步驟Sll中，響應于由輸入單元19提供的圖像拍攝開始指
令，圖1所示的CCD 12通過執(zhí)行形成在CCD 12的光接收面上的目標圖像的光電轉換獲得模擬RGB信號，并將RGB信號沖是供給 S/H電路13。在步驟Sll中的處理之后，處理進行到步驟S12, S/H 電路13對由CCD 12提供的模擬RGB信號應用相關雙采樣并將采樣信號4是供皇會AGC電^各14。
在步驟S12中的處理之后，處理進行到步驟S13, AGC電^各 14調節(jié)由S/H電路13提供的模擬RGB信號的增益并將調節(jié)信號提供給A/D轉換電^各15。在步驟S13中的處理之后，處理進4亍到步驟S14, A/D轉換電路15執(zhí)行由AGC電路14提供的模擬RGB信號的A/D轉換并將作為A/D轉換結果的數(shù)字RGB信號作為RGB 圖像提供給控制器16的圖像存儲單元60 (圖2 ),使得RGB圖像被存儲在圖像存儲單元60中。
在步驟S14中的處理之后，處理進行到步艱《S15，圖2所示的 YC轉換器45讀取存儲在圖像存儲單元60中的RGB圖像并執(zhí)行 RGB圖像的YC轉換。YC轉換器45將作為YC轉換結果獲得的以 YCbCr顏色系統(tǒng)表示的圖像提供給自信確定單元46。
在步驟S15中的處理之后，處理進行到步驟S16，自信確定單
元46執(zhí)行確定其是否對在YC轉換器42輸出的拍攝圖像具有自信的自信確定處理。稍后將參照圖7詳細描述自信確定處理。
在步驟S16中的處理之后，處理進行到步驟S17, WB調解器 41讀取存儲在圖像存儲單元60中的RGB圖像，調節(jié)RGB圖^f象的白平衡，并將調節(jié)的RGB圖像提供給YC轉換器42 。
在步驟S17中的處理之后，處理進行到步驟S18, YC轉換器 42對由WB調節(jié)器41提供的RGB圖像執(zhí)行YC轉換，并將作為 YC轉換結果獲得的以YCbCr顏色系統(tǒng)表示的圖像作為拍攝圖像提供給檢測器43。
在步驟S18中的處理之后，處理進行到步驟S19，檢測器43 檢測由YC轉換器42提供的拍攝圖像中的面部圖像，該面部圖像是面部的圖像。檢測器43將檢測面部圖像的區(qū)域信息和拍攝圖像提供主合參數(shù)計算器33和顏色再生單元44。
在步驟S19中的處理之后，處理進行到步驟S20,顏色再生單元44基于由自信確定單元46提供的執(zhí)行自信確定處理的確定結果，確定其是否對從YC轉換器42輸出的拍攝圖像具有自信。
在步驟S20中確定顏色再生單元44對從YC轉換器42輸出的
拍攝圖像不具有自信的情況下，處理進行到步驟S21，顏色再生單元44基于由參數(shù)計算器33提供的參數(shù)和由檢測器43提供的區(qū)域信息，校正包括在由檢測器43提供的拍攝圖像中的面部圖像的面部顏色。顏色再生單元44將已經校正了面部顏色的拍攝圖像提供給圖像存儲單元60，使得拍攝圖像被存儲在其中。
在步驟S21中的處理之后，處理進行到步驟S22，顏色再生單元44基于由檢測器43提供的區(qū)域信息從已經校正面部顏色的拍攝圖像中提取面部圖像并將提取的面部圖像提供鄉(xiāng)會面部識別單元32 。
在步驟S22中的處理之后，處理進行到步驟S23,面部識別單元32執(zhí)行面部識別處理。稍后將參照圖8詳細描述面部識別處理。
在步驟S23中的處理之后，處理進行到步-驟S24,參數(shù)計算器 33基于作為執(zhí)4于面部識別處理的結果所獲得并由面部識別單元32 提供的比較結果，從存儲在面部顏色存儲單元62中的面部顏色表格中讀取與用作比較結果的人名相關聯(lián)而記錄的面部顏色信息。
如果還沒有存儲與用作比4交結果的人名相關聯(lián)的面部顏色4言息，例如，在圖5所示面部顏色表格被存儲在面部顏色存儲單元62 中且比較結果表示"Mr.B"的情況下，參數(shù)計算器33讀取作為初始值而設定的Y信號、Cb信號、和Cr信號的值作為面部顏色信息。
在步驟S24中的處理之后，處理進行到步驟S25,參數(shù)計算器 33基于由檢測器43提供的區(qū)域信息從由檢測器43提供的拍攝圖像中提取面部圖像，以及基于面部圖像和面部顏色信息，計算用于將該面部圖Y象的面部顏色才交正為由面部顏色J言息定義的面部顏色的參數(shù)。
具體地，參數(shù)計算器33根據(jù)等式1計算Y信號的參數(shù)a:
Y' = aY ... (1)
其中，Y表示面部圖像Y信號的平均值，Y'表示面部顏色信息的Y 信號值，以及參數(shù)a在預定范圍內取值。
在等式l中的參數(shù)a是預定范圍外的值的情況下，參數(shù)計算器 33將參數(shù)a設定為預定范圍最接近的值。
此外，參數(shù)計算器33使用具有旋轉矩陣的等式2計算Cb信號的參數(shù)P和Cr信號的參數(shù)0:
<formula>formula see original document page 29</formula>其中，Cb表示面部圖像的Cb信號的平均值，Cr表示面部圖像的 Cr信號的平均值，Cb'表示面部顏色信息的Cb信號值，以及Cr'表示面部顏色信息的Cr信號值。
參數(shù)計算器33將以前述方法計算的參數(shù)a、 |3、和e提供給顏色再生單元44,然后圖像拍攝處理結束。
此后，在步驟S22中，顏色再生單元44^f吏用由參凄t計算器33 提供的參數(shù)a來計算等式1，其中，Y是包括在由檢測器43提供的拍攝圖像中面部圖像的面部顏色的Y信號的平均值。顏色再生單元 44 4吏用作為計算結果獲得的Y'作為4交正面部顏色的Y信號值，并校正拍攝圖像的面部顏色的Y信號。
使用由參數(shù)計算器33提供的參數(shù)p和e,顏色再生單元44計算等式2，其中，Cb和Cr是包括在由檢測器43提供的拍攝圖像中的面部圖像的面部顏色的Cb信號和Cr信號的平均值。顏色再生單元44使用作為計算結果獲得的Cb'和Cr'作為校正面部顏色的Cb信號值和Cr信號值并校正拍攝圖像的面部顏色的Cb信號和Cr信號。
在上面的描述中，已經根據(jù)等式1使用參數(shù)a校正了面部顏色的Y信號?？蛇x地，可通過4丸行伽瑪(Y) 一交正來4交正面部顏色的 Y信號。例如，在日本未審查的專利申請公開第2004-297698號中描述的才交正面部顏色的方法可用于才交正面部《貞色。
相反，在步驟S20中確定顏色再生單元44對從YC轉換器42
輸出的拍攝圖像具有自信的情況下，處理進行到步驟S26,顏色再生單元44不改變由檢測器43提供的拍攝圖〗象并將拍攝圖像照原樣輸出給圖像存儲單元60，使得拍攝圖像被存儲在其中。處理進行到步驟S27。
在步驟S27中，顏色再生單元44基于確定結果和區(qū)域信息,人由檢測器43提供的拍攝圖像中提取面部圖像并將面部圖像提供給面部識別單元32,然后處理進行到步驟S28。在步驟S28中，面部識別單元32沖丸4于如步-驟S23的面部識別處理。
在步驟S28中的處理之后，處理進行到步驟S29,生成器52 基于由比較器51提供的面部圖像生成面部顏色信息，并將面部顏
顏色存^f諸單元62中。處理結束。
在上述方法中，圖2所示的控制器16基于作為對拍攝圖像執(zhí) 行面部識別處理結果所獲得的人名相關聯(lián)存儲的面部顏色信息校正下一個拍攝圖像的面部顏色。因此，控制器16可將在任何環(huán)境下拍攝的圖像所包括的人物的面部顏色校正為適合該人物的面部
的l貞色。
由于在確定控制器16對拍攝圖像具有自信，即，已經執(zhí)行了最佳白平衡調節(jié)的情況下，圖2所示的控制器16存儲拍攝圖像的面部顏色信息，并基于面部顏色信息計算參凄t，所以用戶不必^T入參#:。因此，為用戶減少了麻煩。
30
在圖6所示的圖^4白才聶處理之后，例如，在用戶"^喿作輸入單元
19以輸入圖像拍攝指令的情況下，在步驟S21緊前校正的拍攝圖像被作為圖像拍攝結果顯示在顯示單元18上或者經由外部I/F 17被記錄在外部裝置中。
現(xiàn)在參照圖7,將描述在圖6的步驟S16中沖丸行的自信確定處理。
在步驟S30中，自信確定單元46計算由YC轉換器45提供的以YCbCr顏色系統(tǒng)表示的圖像的Y信號的平均值，然后處理進行到步驟S31。在步驟S31中，自信確定單元46確定平均Y信號是否大于或等于預置的參考值。即，自信確定單元46確定由YC轉換器45提供的以YCbCr顏色系統(tǒng)表示的圖像是否是在室外拍攝的圖像。
在步驟S31中確定平均Y信號大于或等于參考值的情況下，處理進行到步驟S32,自信確定單元46計算以YCbCr顏色系統(tǒng)表示的圖像的與大于或等于預定值的Y信號相對應的Cb信號的平均值和Cr信號的平均值。處理進行到步驟S33。
在步驟S33中，自信確定單元46確定在步驟S32中計算的平均Cb信號和平均Cr信號是否在距離室外日光下拍攝的普通圖像的 Cb信號和Cr信號的平均值(下文中稱為"參考平均值，，)預定范圍之內。即，自信確定單元46確定由YC轉換器45提供的以YCbCr 顏色系統(tǒng)表示的圖像是否是在室外日光下拍攝的圖像。
在步驟S33確定在步驟S32中計算的平均值在距離參考平均值預定范圍內的情況下，處理進行到步驟S34,自信確定單元46確定其對從YC轉換器42輸出的拍攝圖像具有自信。自信確定卄尋確定結果才是供纟合面部識別單元32和顏色再生單元44，然后處理返回圖6的步驟S16。
相反，在步驟S31中確定平均Y信號小于參考值的情況下，或者在步驟S33中確定在步驟S32中計算的平均值不在距離參考平均值預定范圍內的情況下，處理進行到步驟S35,自信確定單元46 確定其對從YC轉換器42輸出的拍攝圖像不具有自信。自信確定單元46將確定結果提供給面部識別單元32和顏色再生單元44,然后處理返回圖6的步多聚S16。
現(xiàn)在參照圖8，將描述在圖6的步驟S23和S28中4丸行的面部 i只別處理。
在步驟S41中，比較器51將由顏色再生單元44提供的面部圖像與存儲在面部圖像存儲單元61中的注冊面部圖像進行比較，然后處理進行到步驟S42。
在步驟S42中，比較器51確定是否有存在與由顏色再生單元 44提供的面部圖像相似的任何注冊面部圖像。在確定存在相似注冊面部圖像的情況下，處理進行到步驟S43。
在步驟S43中，比較器51將與由顏色再生單元44提供的面部
圖像最相似的注冊面部圖像相對應的人名作為比較結果輸出給參 :數(shù)計算器33，然后處理返回圖6的步驟S"?？蛇x地，比較器51 將比較結果和面部圖像輸出給生成器52,然后處理返回圖6的步驟
相反，在步驟S42中確定不存在與由顏色再生單元44提供的面部圖像相似的注冊面部圖像的情況下，處理進行到步驟S44，比
較器51將由顏色再生單元4 4提供的面部圖像作為新的注冊面部圖 4象注冊在面部圖4象存4諸單元61中。
在步驟S44中的處理之后，處理進行到步驟S45,比較器51 將在步驟S44中注冊的面部圖像相對應的人名作為比較結果輸出給參數(shù)計算器33,然后處理返回圖6的步驟S23?？蛇x地，比較器51 將比較結果和面部圖像輸出給生成器52，然后處理返回圖6的步驟 S28。
圖9是圖1所示控制器16的另一個示例型詳細構造的框圖。
圖9所示的控制器16包括面部識別單元32、參數(shù)計算器33、存儲器34、以及圖像處理器90。
圖像處理器90包括WB調節(jié)器41、 YC轉換器42和45、檢測器43、顏色再生單元44、查找表(LUT)存儲單元91、以及自信確定單元92。使用存儲在LUT存儲單元91中的查找表(LUT), 控制器16凈丸行自信確定處理。與圖2所示相同的元件由相同的參考數(shù)字來表示，并省略了其重復描述以避免贅言。
LUT存儲單元91存儲以YCbCr顏色系統(tǒng)表示的圖像的Y信號的平均值與對從對應于Y信號的RGB圖像獲得的拍攝圖像的自信度相關聯(lián)的Y信號LUT。此外，LUT存儲單元91存儲以YCbCr 顏色系統(tǒng)表示的圖像的Cb信號平均值和Cr信號平均值與對從對應于Cb信號和Cr信號的RGB圖像獲得的拍攝圖像的自信度相關聯(lián) 的C信號LUT。
基于由YC轉換器45提供的以YCbCr顏色系統(tǒng)表示的圖像的平均值，自信確定單元92從LUT存儲單元91讀取對Y信號的自信度以及Cr信號和Cb信號的自信度。自信確定單元92將兩個讀
取的自信度相加，并才艮據(jù)相加結果確定其是否對從YC轉換器42 輸出的拍攝圖像具有自信。自信確定單元92將確定結果輸出給面部識別單元32和顏色再生單元44。
圖IO是示出存儲在圖9所示LUT存儲單元91中的Y信號LUT 中的平均Y信號和自信度之間的關系的圖表。
在圖IO所示的實例中，在Y信號平均值距離零預定值Ym的范圍內，自信度隨著平均Y信號的變大而變高。在Y信號平均值為預定值YM的情況下，自信度最高。在Y信號平均值超出預定值 YM的情況下，自信度隨著Y信號平均值的變大而變低。
Y信號平均值和自信度之間的關系依賴于WB調節(jié)器41的特性而改變，并不限于圖IO所示的變化。
現(xiàn)在參照圖11，將描述通過圖9所示自信確定單元92執(zhí)行的
自信確定處理。
在步驟S51中，自信確定單元92基于由YC轉換器45提供的以YCbCr顏色系統(tǒng)表示的圖像的Y信號平均值、Cb信號平均值和 Cr信號平均值，從LUT存儲單元91中讀取自信度。
具體地，自信確定單元92從存儲在LUT存儲單元91中的Y 信號LUT中讀取與由YC轉換器45提供的以YCbCr顏色系統(tǒng)表示的圖像的Y信號的平均值相關聯(lián)的自信度。此外，自信確定單元 92從存儲在LUT存儲單元91中的C信號LUT中讀取與由YC轉換器45 4是供的以YCbCr顏色系統(tǒng)表示的圖像的Cb信號的平均值和Cr信號的平均值相關聯(lián)的自信度。
在步驟S51中的處理之后，處理進行到步驟S52，自信確定單元92將對Y信號的自信度和對Cb信號和Cr信號的自信度相加，并獲得相加結果作為最終的自信度。處理進行到步驟S53。
在步驟S53中，自信確定單元92確定最終的自信度是否大于參考值。在確定最終的自信度大于參考值的情況下，處理進行到步驟S54。
在步驟S54中，自信確定單元92確定其對,人YC轉4灸器42輸出的拍攝圖像具有自信，并將確定結果提供給面部識別單元32和顏色再生單元44。處理返回到圖6的步-驟S16。
相反，在步驟S53中確定最終的自信度小于等于參考值的情況下，處理進行到步驟S55,自信確定單元92確定其對從YC轉換器 42輸出的拍攝圖4象不具有自信，并將確定結果沖是供給面部識別單元 32和顏色再生單元44。處理返回圖6的步-驟S16。
圖12是圖1所示控制器16的又一示例型詳細構造的框圖。
圖12所示的控制器16包括參數(shù)計算器33、存儲器34、圖像處理器IOO、以及面部識別單元IOI?？刂破?6 4吏用4艮據(jù)對拍4聶圖像執(zhí)行面部識別處理的結果所計算的參數(shù)來校正拍攝圖像中面部的J貞色。
圖像處理器100包括WB調節(jié)器41、 YC轉換器42、自信確定單元46、 YC轉4奐器110、；險測器lll、以及顏色再生單元112。與
圖2所示相同的元件由相同的參考數(shù)字表示，并省略其重復描述以避免贅言。
如圖2所示的YC轉換器45, YC轉換器110讀取存i渚在圖像存儲單元60中的RGB圖像并執(zhí)行RGB圖像的YC轉換。YC轉換器110將作為YC轉換結果所獲得的以YCbCr顏色系統(tǒng)表示的圖像 4是供給自^f言確定單元46詳。面部i口、別單元101。
如圖2所示的檢測器43，檢測器111檢測由YC轉換器42提供的拍攝圖像中的面部圖像。檢測器111將檢測面部圖像的區(qū)域信息和拍攝圖像提供給參數(shù)計算器33、面部識別單元101以及顏色再生單元112。
如圖2所示的顏色再生單元44,顏色再生單元112基于由參凄丈計算器33提供的參數(shù)、檢測器111提供的區(qū)域信息和自信確定單元 46提供的確定結果，校正包括在由檢測器43提供的拍攝圖像中的面部圖l象的面部顏色。如圖2所示的顏色再生單元44,顏色再生單元112將已經校正面部顏色的拍攝圖像提供給圖像存儲單元60,使得拍攝圖像被存儲在其中。
如圖2所示的顏色再生單元44， #4居確定結果，顏色再生單元 112不改變由檢測器43提供的拍攝圖像并將拍攝圖像照原樣提供給圖像存儲單元60，使得拍攝圖像被存儲在其中。
面部識別單元101包i舌比4交器121和生成器122。
比較器121從由YC轉換器110提供的以YCbCr顏色系統(tǒng)表示
的圖像中提取面部圖像，并將面部圖像與存儲在面部圖像存儲單元 61中的注冊面部圖像進行比較。如圖2所示的比較器51,比較器 121將與注冊面部圖像均不相似的面部圖像作為注冊面部圖像注冊在面部圖4象存儲單元61中。
如圖2所示的比較器51,根據(jù)由自信確定單元46提供的確定結果，比較器121將與面部圖像最相似的注冊面部圖像相對應的人名作為比較結果提供給參數(shù)計算器33。此外，如圖2所示的比較器 51，比較器121根據(jù)由自信確定單元446提供的確定結果將比較結果提供給生成器122。
基于由檢測器lll提供的區(qū)域信息，生成器122從由檢測器111
提供的拍4聶圖像中提取面部圖像。基于面部圖〗象，生成器122生成面部顏色信息，并將面部顏色信息與用作由比專交器121提供的比較結果的人名相關聯(lián)的面部顏色表格存儲在面部顏色存儲單元62中。
在圖12中，面部識別單元IOI使用以YCbCr顏色系統(tǒng)表示的未經過白平衡調節(jié)的圖像執(zhí)行面部識別處理。然而，可選地，面部識別單元101可4吏用作為以YCbCr顏色系統(tǒng)表示的經過白平tf調節(jié) 的圖像的拍攝圖像執(zhí)行面部識別處理。
現(xiàn)在參照圖13，在圖1所示控制器16具有圖U所示構造的情況下，將描述利用數(shù)碼相機1拍攝作為目標的人物的面部圖像的圖像拍攝處理。例如，在用于將操作模式設定為圖像拍攝模式的用戶指令已被接收的情況下，在每個預定時間執(zhí)行圖像拍攝處理直到給出圖像拍攝指令或用于改變操作模式的指令。
由于步驟S61到S69中沖丸行的處理與圖6的步驟S11到S19中
，執(zhí)行的處理相似，所以省略其描述以避免贅言。
在步驟S69中的處理之后，處理進行到步驟S70,比較器l21 從由YC轉換器IIO提供的以YCbCr顏色系統(tǒng)表示的圖像中提取面部圖像。處理進行到步驟S71。
由于步驟S71到S74中的處理與在圖6的步驟S20和S23到
S25中執(zhí)行的處理相似，所以省略其描述以避免贅言。
在步驟S74中的處理之后，處理進行到步驟S75，顏色再生單元112基于在步驟S74中計算的參數(shù)和由片企測器111 ^是供的區(qū)域信息，校正包括在由檢測器lll提供的拍攝圖像中的面部圖像的面部顏色。顏色再生單元112將已經校正了面部顏色的拍攝圖像提供給圖像存儲單元60,使得拍攝圖像被存儲在其中。
相反，在步驟S71中確定顏色再生單元44對/人YC轉換器42 輸出的拍攝圖像中具有自信的情況下，處理進行到步驟S76,面部識別單元101 #1行如圖6步驟S28中面部識別處理。
在步驟S76中的處理之后，處理進行到步驟S77，生成器122 基于由檢測器111提供的區(qū)域信息從由檢測器111提供的拍攝圖像中揭L耳又面部圖l象，基于面部圖<象生成面部顏色<言息，以及卩尋面部顏色信息與用作比較結果的人名相關聯(lián)的面部顏色表格存儲在面部顏色存〗諸單元62中。
在步驟S77中的處理之后，處理進行到步驟S78，顏色再生單元112不改變由檢測器111提供的拍攝圖像并將拍攝圖像照原樣輸出給圖像存儲單元60,使得拍攝圖像存儲在其中。處理結束。
盡管在圖中沒有示出，圖12所示的控制器16還可以包括圖9 所示的LUT存儲單元91，并且圖12所示的自信確定單元46還可以使用Y信號LUT和C信號LUT執(zhí)行自信確定處理。
在上面的描述中，盡管以YCbCr顏色系統(tǒng)表示的圖像的平均值用于4丸行自信確定處理，4旦是代替平均值，包括直方圖或分布的其它統(tǒng)計量也可以用于^U于自4言確定處理。
在上面的描述中，在拍攝圖像是在室外日光下拍攝的圖像的情況下，確定控制器16對拍攝圖像中具有自信。然而，控制器16被
確定具有自信的圖像不制于此。例如，在拍攝圖像是可由Y信號、 Cb信號和Cr信號的統(tǒng)計量識別的并且是利用WB調節(jié)器41可執(zhí) 行最佳白平衡調節(jié)的光線所拍攝的圖像的情況下，控制器16也可以被確定對拍攝圖像具有自信。
此外，在上面的描述中，人名與注冊面部圖^f象和其面部顏色4言息相關寫關。然而，與注冊面部圖像和其面部顏色信息相關耳關的〗言息不限于人名；用于指定注冊面部圖像的任4可信息都可與注冊面部圖像和其面部顏色信息相關聯(lián)。
在上面的描述中，基于面部圖4象和面部顏色信息計算關于面部顏色才交正的參數(shù)。然而，可基于面部圖^象和面部顏色信息計算關于白平衡調節(jié)的參數(shù)。在這種情況下，參數(shù)不被提供給顏色再生單元 44或112,而是提供給WB調節(jié)器41,并且WB調節(jié)器41使用參數(shù)調節(jié)白平4軒，從而4交正拍攝圖像的面部顏色。在這種情況下，控制器16可不必包4舌顏色再生單元44或112。
上述一系列處理可通過石更件或軟件來才丸4亍。在通過硬件才丸4亍一系列處理的情況下，將構成軟件的程序從程序記錄介質安裝到包括在專用硬件內的計算機上，或者例如能夠使用各種安裝在其上的程序執(zhí)行各種功能的通用個人計算機上。
圖14是利用程序寸丸行上述一系列處理的個人計算機的示例型構造的框圖。中央處理單元(CPU) 201 4艮據(jù)存儲在只讀存儲器 (ROM ) 202或存儲單元209中的程序凈丸4亍各種處理。隨才幾存4諸器 (RAM) 203根據(jù)需要存儲由CPU 201執(zhí)行的程序和數(shù)據(jù)。CPU 201 、 ROM 202和RAM 203經由總線204相互連接。輸入/輸出接口 205經由總線204連接至CPU 201。輸入/車#出接口 205連接至一皮配置為拍才氛目標圖像的圖像拍攝單元206、包括鍵盤、鼠標、麥克風和4皮配置為接收從遠程遙控器(未示出)發(fā)出的指令的接收單元的輸入單元207、以及包括顯示器和擴音器的輸出單元208。 CPU 201響應于從輸入單元207專命入的指令才丸4亍各種處理。CPU201將處理結果輸出給輸出單元208。
連接至輸入/輸出接口 205的存儲單元209包括例如硬盤，并存儲由CPU 201執(zhí)行的程序和各種數(shù)據(jù)。通信單元210經由諸如互聯(lián) 網或局域網(LAN)的網絡與外部裝置進行通信。
可經由通信單元210獲得程序并將其存儲在存儲單元209中。
當可移動媒介212被安裝在其上的時候，連接至輸入/輸出接口 205的驅動器211驅動包括石茲盤、光盤、一磁光盤或半導體存〗諸器的可移動介質212，并獲得存〗渚在可移動介質212上的程序和lt據(jù)。如果必要，將獲得的程序和數(shù)據(jù)傳送給存儲單元209并存儲在存儲單元209中。
在本說明書中，定義記錄在程序記錄介質上的程序的步驟可包括以所描述的順序連續(xù)4丸行的程序，并且還包括不必連續(xù)而是并行或單獨4丸行的程序。
本領域的^支術人員應該理解，根據(jù)設計要求和其它因素，可以有多種修改、組合、再組合和改進，均應包含在本發(fā)明的權利要求或等同物的范圍之內。
權利要求
1.一種圖像處理裝置，包括面部圖像存儲裝置，用于將面部圖像存儲為注冊面部圖像，所述面部圖像是預定面部的圖像；顏色存儲裝置，用于存儲面部顏色信息，所述面部顏色信息是關于所述注冊面部圖像的面部顏色的信息；檢測裝置，用于檢測輸入圖像中的面部圖像；校正裝置，用于校正在所述輸入圖像中檢測的面部圖像的面部顏色信息；以及比較裝置，用于將在所述輸入圖像中檢測的面部圖像與所述注冊面部圖像進行比較，并獲得與所檢測出的面部圖像最相似的注冊面部圖像作為比較結果，其中，所述校正裝置基于存儲在所述顏色存儲裝置中的、用作所述比較結果的注冊面部圖像的面部顏色信息，校正在下一個輸入圖像中檢測的面部圖像的面部顏色信息。
4. 根據(jù)權利要求3所述的圖像處理裝置，還包括表格存儲裝置，用于存儲未經過白平#f調節(jié)的顏色信息的統(tǒng)計量與對經過白平衡調節(jié)的顏色信息的自信度相關聯(lián)的表格，其中，基于所述未經過白平4軒調節(jié)的輸入圖像的顏色信息的統(tǒng)計量，所述確定裝置從所述表4各中讀取與所述統(tǒng)計量相關聯(lián)的自信度，并基于所述自信度來確定所述確定裝置是否對所述經過白平衡調節(jié)的輸入圖像具有自信。
5. 根據(jù)權利要求1所述的圖像處理裝置，其中，所述校正裝置基于存儲在所述顏色存儲裝置中的、用作所述比較結果的注冊面部圖像的面部顏色信息，通過調節(jié)下一個輸入圖像的白平衡來才交正所述下一個豸lr入圖<象的面部顏色4言息。
6. —種圖"f象處理方法，包4舌以下步-驟檢測輸入圖像中的面部圖像，所述面部圖像是面部的圖像；將在所述輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，并獲得與所檢測出的面部圖像最相似的注冊面部圖像作為比較結果，所述注冊面部圖像是預先存儲的預定面部圖像；以及基于關于用作所述比較結果的注冊面部圖像的預先存儲的面部顏色信息，校正在下一個輸入圖像中檢測的面部圖像的面部顏色信息。
7. —種用于<吏計算枳4丸4亍處理的程序，所述處理包4舌以下步艱《沖企測輸入圖像中的面部圖像，所述面部圖像是面部的圖像；將在所述輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，并獲得與所檢測出的面部圖像最相似的注冊面部圖像作為比較結果，所述注冊面部圖^象是預先存儲的預定面部圖像；以及基于關于用作所述比較結果的注冊面部圖像的預先存4諸的面部顏色信息，校正在下一個輸入圖像中檢測的面部圖像的面吾卩l(xiāng)貞色〗言息。
8. —種圖像處理裝置，包括面部圖像存儲裝置，用于將面部圖像存儲為注冊面部圖像，所述面部圖像是預定面部的圖像；顏色存儲裝置，用于存儲面部顏色信息，所述面部顏色信息是關于所述注冊面部圖像的面部顏色的信息；比較裝置，用于檢測輸入圖像中的面部圖像，將所述面部圖像與所述注冊面部圖像進行比較，并獲得與所述面部圖像最相似的注冊面部圖卩象作為比較結果；以及校正裝置，用于基于存儲在所述顏色存儲裝置中的、用作所述比較結果的注冊面部圖像的面部顏色信息，校正在所述輸入圖像中4企測的面部圖 <象的面部顏色信息。
9.根據(jù)權利要求8所述的圖像處理裝置，還包括用于調節(jié)所述輸入圖像的白平衡的調節(jié)裝置，其中，所述比較裝置檢測未經過或經過白平衡調節(jié)的輸入圖{象中的面部圖{象，以及其中，所述校正裝置基于用作所述比4交結果的注冊面部圖像的面部顏色信息，才交正在所述經過白平tf調節(jié)的輸入圖像中沖企測的面部圖 <象的面部顏色信息。
10.根據(jù)權利要求9所述的圖像處理裝置，還包括確定裝置，用于基于顏色信息的統(tǒng)計量確定所述確定裝置是否對所述經過白平纟軒調節(jié)的輸入圖^象具有自信，所述顏色信息是關于所述經過未白平衡調節(jié)的輸入圖像的顏色的信息；以及存儲控制裝置，用于在所述確定裝置^皮確定對所述經過白平衡調節(jié)的輸入圖像具有自信的情況下，將在所述經過白平衡調節(jié)的輸入圖像中檢測的面部圖像的面部顏色信息作為用作所述面部圖像的比較結果的注冊面部圖像的面部顏色信息存儲在所述顏色存儲裝置中，其中，在所述確定裝置^皮確定對所述經過白平4軒調節(jié)的輸入圖像中不具有自信的情況下，所述校正裝置基于存儲在所述顏色存儲裝置中的用作所述比較結果的注冊面部圖像的面部顏色信息，校正在所述經過白平#f調節(jié)的輸入圖像中4企測的面部圖4象的面部顏色^f言息。
11. 根據(jù)權利要求10所述的圖像處理裝置，還包括表格存儲裝置，用于存儲未經過白平衡調節(jié)的顏色信息的統(tǒng)計量與對經過白平衡調節(jié)的顏色信息的自信度相關聯(lián)的表格，其中，基于所述未經過白平衡調節(jié)的輸入圖像的顏色信息的統(tǒng)計量，所述確定裝置>^人所述表才各中讀耳又與所述統(tǒng)計量相關聯(lián)的自信度，并基于所述自信度確定所述確定裝置是否對所述經過白平衡調節(jié)的輸入圖像具有自信。
12. 根據(jù)權利要求8所述的圖像處理裝置，其中，所述校正裝置基于存儲在所述顏色存儲裝置中的、用作所述比較結果的注冊面部圖像的面部顏色信息，通過調節(jié)所述輸入圖像的白平衡來校正所述輸入圖像的面部顏色信息。
13. —種圖4象處理方法，包括以下步驟才企測輸入圖像中的面部圖像，將所述面部圖像與注冊面部圖像進行比較，并獲得與所述面部圖像最相似的注冊面部圖像作為比較結果，其中，所述面部圖像是面部的圖像，所述注冊面部圖像是預先存儲的預定面部圖像；以及基于用作所述比較結果的注冊面部圖像的預先存儲的面部顏色信息，校正在所述輸入圖像中檢測的面部圖像的面部顏色1言息。
14. 一種用于使計算機執(zhí)行處理的程序，所述處理包括以下步驟檢測輸入圖像中的面部圖像，將所述面部圖像與注冊面部圖像進行比較，并獲得與所述面部圖像最相似的注冊面部圖像作為比較結果，其中，所述面部圖像是面部的圖像，所述注冊面部圖像是預先存儲的預定面部圖像；以及基于用作所述比較結果的注冊面部圖像的預先存儲的面部顏色信息，校正在所述輸入圖像中檢測的面部圖像的面部顏色4言息。
15. —種圖l象處理裝置，包^":面部圖l象存儲單元，一皮配置為將面部圖^f象存儲為注冊面部圖像，所述面部圖像是預定面部的圖像；顏色存儲單元，被配置為存儲面部顏色信息，所述面部顏色信息是關于所述注冊面部圖像的面部顏色的信息；檢測器，被配置為檢測輸入圖像中的面部圖像；才交正單元，— 皮配置為才交正在所述豸餘入圖l象中才企測的面部圖l象的面部顏色信息；以及比較器，被配置為將在所述輸入圖像中檢測的面部圖像與所述注冊面部圖像進行比較，并獲得與所檢測出的面部圖像最相似的注冊面部圖像作為比較結果，其中，所述校正單元基于存儲在所述顏色存儲單元中的、用作所述比較結果的注冊面部圖像的面部顏色信息，校正在下一個輸入圖像中檢測的面部圖像的面部顏色信息。
16. —種圖像處理裝置，包括面部圖i象存儲單元，一皮配置為將面部圖4象存儲為注冊面部圖像，所述面部圖像是預定面部的圖像；顏色存儲單元，纟皮配置為存儲面部顏色信息，所述面部顏色信息是關于所述注冊面部圖 <象的面部顏色的信息；比較器，被配置為檢測輸入圖像中的面部圖像，將所述面部圖像與所述注冊面部圖像進行比較，并獲得與所述面部圖像最相似的注冊面部圖像作為比較結果；以及校正單元，被配置為基于存儲在所述顏色存儲單元中的、用作所述比較結果的注冊面部圖像的面部顏色信息，校正在所述車IT入圖^象中4全測的面部圖 <象的面部顏色信息。
全文摘要
一種圖像處理裝置，包括面部圖像存儲單元，用于將預定面部的面部圖像存儲為注冊面部圖像；顏色存儲單元，用于存儲面部顏色信息，該面部顏色信息是關于注冊面部圖像的面部顏色的信息；檢測器，用于檢測輸入圖像中的面部圖像；校正單元，用于校正在輸入圖像中檢測的面部圖像的面部顏色信息；以及比較器，用于將在輸入圖像中檢測的面部圖像與注冊面部圖像進行比較，并獲得與檢測出的面部圖像最相似的注冊面部圖像作為比較結果。校正單元基于存儲在顏色存儲單元中的用作比較結果的注冊面部圖像的面部顏色信息，校正在下一個輸入圖像中檢測的面部圖像的面部顏色信息。
文檔編號H04N9/64GK101179746SQ20071016623
公開日2008年5月14日申請日期2007年11月6日優(yōu)先權日2006年11月6日
發(fā)明者德世明申請人:索尼株式會社

完整全部詳細技術資料下載