專利名稱：成像設(shè)備及其控制方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像設(shè)備，具體而言涉及能夠在所攝圖像(captured image 中檢測諸如面部之類的對象(object)的成像設(shè)備、用于控制該成像設(shè)備 的方法，以及使得計算機可以執(zhí)行該方法的程序。
背景技術(shù)：
近年來，諸如數(shù)碼相機之類的用于記錄諸如人之類的被攝體 (subject)的圖像來作為所攝圖像的成像設(shè)備已得到了廣泛普及。此外， 已經(jīng)提出了用于在所攝圖像中檢測人的面部并且設(shè)定用于優(yōu)美地記錄所檢 測到的面部的最佳成像參數(shù)的成像設(shè)備。例如，存在這樣一種成像設(shè)備， 其能夠從所攝圖像中檢測人的面部，基于與檢測到的面部相關(guān)聯(lián)的信息在 所攝圖像中的面部上設(shè)定自動聚焦目標(biāo)區(qū)域，并且適當(dāng)?shù)鼐劢乖谒鶖z圖像 中的面部上。
此外，存在這樣一種成像設(shè)備，當(dāng)在所攝圖像中檢測到多個面部時， 該成像設(shè)備能夠從這些面部中判定作為主要面部的優(yōu)先面部(priority face)，并且針對該優(yōu)先面部來設(shè)定最佳成像參數(shù)。
另外，已經(jīng)提出了一種成像設(shè)備，用于檢測所攝圖像中示出的人的面 部，并且基于與檢測到的面部相關(guān)聯(lián)的大小信息和位置信息來計算該面部 的最終重要程度，以判定所攝圖像中的該人的重要程度(例如，參見日本 未實審專利申請公布No. 2007-201980 (圖l))。

發(fā)明內(nèi)容
根據(jù)上述現(xiàn)有技術(shù)，在考慮所攝圖像中示出的人的面部的大小和位置 的情況下，可以很準(zhǔn)確地判定該面部的重要程度。此外，可以基于被判定 為具有較高重要程度的面部來執(zhí)行曝光控制。假定多個人被拍攝，在一些情況下，希望根據(jù)拍攝者或被拍攝者的偏 好來記錄所攝圖像，而不依賴于人的面部的大小或者位置。例如，假定在 孩子的入學(xué)儀式那天拍攝父母和孩子的紀(jì)念照。很有可能父親希望記錄其 中孩子的面部看起來最美的所攝圖像。而對于相同的構(gòu)圖，例如，母親可 能希望記錄其中她的面部看起來最美的所攝圖像。
如上所述，拍攝者和被拍攝者的偏好是變化多端的。能夠很容易地根 據(jù)拍攝者或被拍攝者的偏好來記錄所攝圖像，是很重要的。
因此，希望能很容易地根據(jù)用戶的偏好來記錄所攝圖像。
本發(fā)明是為了解決上述問題而作出的。根據(jù)本發(fā)明的第一實施例，成 像設(shè)備包括以下元件。操作接受裝置接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的 操作輸入。成像裝置將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像。對象檢測裝 置檢測所攝圖像中包括的一個或多個對象。屬性判定裝置判定每個檢測到 的對象的屬性。優(yōu)先對象確定裝置基于所指定的屬性和所判定的屬性，確 定檢測到的對象中的至少一個來作為優(yōu)先對象。在此實施例中，優(yōu)先對象 是被賦予比所攝圖像中包括的其他預(yù)定對象更高優(yōu)先級的預(yù)定對象。例 如，優(yōu)先對象在成像控制中被賦予優(yōu)先級。涉及聚焦和曝光的成像控制是 基于優(yōu)先對象來執(zhí)行的。有利的是，此實施例具有以下效果檢測所攝圖 像中包括的一個或多個對象，判定每個檢測到的對象的屬性，并且基于所 指定的屬性和所判定的屬性，確定檢測到的對象中的至少一個來作為優(yōu)先 對象。
在本發(fā)明的第一實施例中，成像設(shè)備還可以包括成像控制裝置，用于 基于優(yōu)先對象來設(shè)定預(yù)定的成像參數(shù)，以執(zhí)行成像控制。因此，第一實施 例具有基于優(yōu)先對象來設(shè)定預(yù)定的成像參數(shù)以執(zhí)行成像控制的效果。
在第一實施例中，成像控制裝置可以基于所指定的屬性來設(shè)定成像參 數(shù)，以執(zhí)行成像控制。因此，此實施例具有基于所指定的屬性來設(shè)定成像 參數(shù)的效果。
在第一實施例中，成像控制裝置可以基于優(yōu)先對象來設(shè)定作為成像參 數(shù)的白平衡、顏色平衡、曝光和聚焦中的至少一種，以執(zhí)行成像控制。因 此，此實施例具有基于優(yōu)先對象來設(shè)定作為成像參數(shù)的白平衡、顏色平衡、曝光和聚焦中的至少一種的效果。
在第一實施例中，該設(shè)備還可以包括記錄控制裝置，用于將在確定優(yōu) 先對象時通過成像裝置轉(zhuǎn)換的所攝圖像記錄到預(yù)定的記錄介質(zhì)上。因此， 的效果。此實施例具有將在確定優(yōu)先對象時獲得的所攝圖像記錄到預(yù)定記 錄介質(zhì)上的效果。
在第一實施例中，操作接受裝置可以接受指定與預(yù)定對象相關(guān)聯(lián)的多 個屬性的操作輸入，并且優(yōu)先對象確定裝置可以基于所指定的屬性和所判 定的屬性來確定優(yōu)先對象。因此，此實施例具有基于所指定的屬性和所判 定的屬性來確定優(yōu)先對象的效果。
在第一實施例中，操作接受裝置可以接受指定與預(yù)定對象相關(guān)聯(lián)的第 一屬性和第二屬性的操作輸入，第一屬性和第二屬性屬于兩個不同的類 別，并且優(yōu)先對象確定裝置可以基于所指定的第一屬性和第二屬性以及所 判定的屬性來確定優(yōu)先對象。因此，此實施例具有基于所指定的第一和第 二屬性以及所判定的屬性來確定優(yōu)先對象的效果。
在第一實施例中，優(yōu)先對象確定裝置可以從檢測到的對象中選擇具有 與所指定的屬性相匹配的所判定的屬性的對象，以確定優(yōu)先對象。因此， 此實施例具有選擇具有與所指定的屬性相匹配的所判定的屬性的對象的效 果。
在第一實施例中，對象檢測裝置可以判定所攝圖像中的每個檢測到的
對象的大小、位置和方向(orientation)中的至少一種。當(dāng)選擇了多個對象 時，優(yōu)先對象確定裝置可以基于每個對象的大小、位置和方向中的至少一 種來從所選擇的對象中確定優(yōu)先對象。因此，此實施例具有判定所攝圖像 中的每個檢測到的對象的大小、位置和方向中的至少一種并且基于每個對 象的大小、位置和方向中的至少一種來從所選擇的對象中確定優(yōu)先對象的 效果。
在第一實施例中，對象檢測裝置可以確定所攝圖像中的每個檢測到的 對象的大小和位置。該設(shè)備還可以包括對象位置標(biāo)記生成裝置，用于基 于優(yōu)先對象的大小和位置，生成指示出所攝圖像中優(yōu)先對象的位置的優(yōu)先 對象位置標(biāo)記；疊加裝置，用于將所生成的優(yōu)先對象位置標(biāo)記疊加在所攝圖像上；以及顯示裝置，用于顯示所得到的圖像。因此，此實施例具有以 下效果確定所攝圖像中的對象的大小和位置，基于優(yōu)先對象的大小和位 置生成優(yōu)先對象位置標(biāo)記，并且顯示其上疊加了優(yōu)先對象位置標(biāo)記的所攝 圖像。
在第一實施例中，對象位置標(biāo)記生成裝置可以基于每個檢測到的對象 的大小和位置來生成對象位置標(biāo)記，該標(biāo)記指示出所攝圖像中除了優(yōu)先對 象外的檢測到的對象的位置，并且具有與優(yōu)先對象位置標(biāo)記的模式不同的 模式。疊加裝置可以將所生成的對象位置標(biāo)記疊加在所攝圖像上。因此， 此實施例具有基于對象的大小和位置生成對象位置標(biāo)記并且顯示其上疊加 了對象位置標(biāo)記的所攝圖像的效果。
在第一實施例中，對象可以是人的面部。因此，此實施例具有以下效 果檢測所攝圖像中包括的至少一個人的面部，判定檢測到的面部的屬 性，并且基于所指定的面部屬性和所判定的面部屬性，確定檢測到的面部 中的至少一個來作為優(yōu)先面部。
根據(jù)本發(fā)明的第二實施例，成像裝置包括以下元件。操作接受裝置接 受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入。成像裝置將來自被攝體的進(jìn) 入光轉(zhuǎn)換成所攝圖像。對象檢測裝置檢測所攝圖像中包括的一個或多個對 象。屬性判定裝置判定每個檢測到的對象的屬性。圖像記錄指示裝置從檢 測到的對象中選擇具有與所指定的屬性相匹配的所判定的屬性的對象，并 且指示將在選擇時通過成像裝置轉(zhuǎn)換的所攝圖像記錄到預(yù)定的記錄介質(zhì) 上。有利的是，此實施例具有以下效果檢測所攝圖像中包括的至少一個 對象，判定每個檢測到的對象的屬性，從檢測到的對象中選擇具有與所指 定的屬性相匹配的所判定的屬性的對象，并且指示將在選擇時獲得的所攝 圖像記錄到預(yù)定的記錄介質(zhì)上。
在本發(fā)明的第二實施例中，操作接受裝置可以接受指定與預(yù)定對象相
關(guān)聯(lián)的多個屬性的操作輸入。圖像記錄指示裝置可以從檢測到的對象中選 擇具有與所指定的屬性相匹配的所判定的屬性的對象。因此，此實施例具
有從檢測到的對象中選擇具有與所指定的屬性相匹配的所判定的屬性的對 象的效果。在第二實施例中，操作接受裝置可以接受指定與預(yù)定對象相關(guān)聯(lián)的第 一屬性和第二屬性的操作輸入，第一屬性和第二屬性屬于兩個不同的類 別。圖像記錄指示裝置可以從檢測到的對象中選擇具有與所指定的第一屬 性和第二屬性相匹配的所判定的屬性的對象。因此，此實施例具有從檢測 到的對象中選擇具有與所指定的第一和第二屬性相匹配的所判定的屬性的 對象的效果。
在第二實施例中，第一屬性可以與對象的表面上的變化相關(guān)，并且第 二屬性可以與對象的類型相關(guān)。因此，此實施例具有基于與對象表面上的 變化相關(guān)的屬性和與對象的類型相關(guān)的屬性來選擇對象的效果。
在第二實施例中，優(yōu)選地，對象是人的面部，第一屬性與人的面部表 情相關(guān)，并且第二屬性與人的類型相關(guān)。因此，此實施例具有基于與人的 面部表情相關(guān)的屬性和與人的類型相關(guān)的屬性來選擇對象的效果。
根據(jù)本發(fā)明的第三實施例，提供了一種用于控制成像設(shè)備的方法，該 成像設(shè)備具有用于接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入的操作接 受裝置。該方法包括以下步驟將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像；
檢測所攝圖像中包括的一個或多個對象；判定每個檢測到的對象的屬性；
以及基于所指定的屬性和所判定的屬性，確定檢測到的對象中的至少一個 來作為優(yōu)先對象。
根據(jù)本發(fā)明的第四實施例，提供了一種使計算機可以執(zhí)行用于成像設(shè) 備的方法的程序，該成像設(shè)備具有用于接受指定與預(yù)定對象相關(guān)聯(lián)的屬性
的操作輸入的操作接受裝置。該方法包括以下步驟將來自被攝體的進(jìn)入 光轉(zhuǎn)換成所攝圖像；檢測所攝圖像中包括的一個或多個對象；判定每個檢 測到的對象的屬性；以及基于所指定的屬性和所判定的屬性，確定檢測到 的對象中的至少一個來作為優(yōu)先對象。
有利的是，根據(jù)本發(fā)明的任何實施例，可以很容易地記錄符合用戶的 偏好的所攝圖像。


圖1是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的功能結(jié)構(gòu)的框圖；圖2A和2B是根據(jù)本發(fā)明實施例的成像設(shè)備100的透視圖3是示出根據(jù)本發(fā)明實施例的液晶面板201上的顯示示例的圖4A和4B是示出根據(jù)本發(fā)明實施例的面部圖像的正規(guī)化的示例的
圖5是示出根據(jù)本發(fā)明實施例用于針對正規(guī)化面部圖像(normalized face image)進(jìn)行的判定的多個判定辭典的圖6示出了作為根據(jù)本發(fā)明實施例由正規(guī)化單元140正規(guī)化的面部圖 像的示例的正規(guī)化面部圖像350;
圖7示出了根據(jù)本發(fā)明實施例通過成像單元110攝取的圖像的示例；
圖8示意性地示出了根據(jù)本發(fā)明實施例的包含面部屬性判定結(jié)果和與 面部相關(guān)聯(lián)的信息塊的優(yōu)先面部確定信息集合420;
圖9A和9B示出了根據(jù)本發(fā)明實施例的所攝圖像400的顯示示例，其 中優(yōu)先面部位置標(biāo)記被指派給所確定的優(yōu)先面部；
圖IOA和10B示出了根據(jù)本發(fā)明實施例的所攝圖像400的顯示示例， 其中優(yōu)先面部位置標(biāo)記被指派給優(yōu)先面部，并且面部位置標(biāo)記被指派給其 他面部；
圖IIA和11B示出了根據(jù)本發(fā)明實施例的所攝圖像400的顯示示例， 其中優(yōu)先面部位置標(biāo)記被指派給優(yōu)先面部，并且面部位置標(biāo)記被指派給其 他面部；
圖12是示出根據(jù)本發(fā)明實施例由成像設(shè)備IOO進(jìn)行的成像控制的過 程的流程圖13是示出根據(jù)本發(fā)明實施例在由成像設(shè)備100進(jìn)行的成像控制的 過程中的面部屬性判定的過程的流程圖14是示出根據(jù)本發(fā)明實施例在由成像設(shè)備100進(jìn)行的面部屬性判 定過程中的判定過程的流程圖15是示出根據(jù)本發(fā)明實施例在由成像設(shè)備100進(jìn)行的成像控制的 過程中的優(yōu)先面部確定的過程的流程圖16是示出根據(jù)本發(fā)明另一實施例的成像設(shè)備500的功能結(jié)構(gòu)的框
圖；圖17A和17B示出了根據(jù)本發(fā)明實施例的液晶面板201上的顯示示 圖18示出了根據(jù)本發(fā)明實施例通過成像單元110攝取的圖像的示
例；
圖19示意性地示出了根據(jù)本發(fā)明實施例的包含由屬性判定單元150 進(jìn)行的面部屬性判定的結(jié)果的面部屬性判定信息集合600;并且
圖20是示出根據(jù)本發(fā)明實施例由成像設(shè)備500進(jìn)行的所攝圖像記錄 控制的過程的流程圖。
具體實施例方式
將參考附圖詳細(xì)描述本發(fā)明的實施例。
圖1是示出根據(jù)本發(fā)明第一實施例的成像設(shè)備100的功能結(jié)構(gòu)的框 圖。成像設(shè)備100包括成像單元110、面部檢測單元120、眼睛檢測單元 130、正規(guī)化單元140、屬性判定單元150、優(yōu)先面部確定單元160、面部 位置標(biāo)記生成單元170、疊加單元180、成像控制單元191、記錄控制單元 192、顯示單元200、圖像存儲單元210、操作接受單元220、辭典存儲單 元300以及工作存儲器301。成像設(shè)備IOO例如可以由具有面部檢測功能 的數(shù)碼相機來實現(xiàn)。
成像單元110接收從被攝體反射的、經(jīng)過成像透鏡101 (參見圖2) 的進(jìn)入光，將該光轉(zhuǎn)換成電信號以生成根據(jù)所接收到的光的量的圖像信 號，并且對該圖像信號執(zhí)行各種信號處理。所得到的圖像信號作為所攝圖 像被輸出到面部檢測單元120、成像控制單元191、記錄控制單元192和 疊加單元180。
面部檢測單元120檢測從成像單元IIO提供來的所攝圖像中包括的面 部并且向眼睛檢測單元130和正規(guī)化單元140輸出面部圖像，作為包括所 攝圖像中檢測到的面部的圖像片段。此外，面部檢測單元120將關(guān)于檢測 到的面部的面部信息輸出到優(yōu)先面部確定單元160和面部位置標(biāo)記生成單 元170。關(guān)于檢測到的面部的面部信息例如指示出所攝圖像中面部的位 置、大小或方向。當(dāng)從成像單元110提供來的所攝圖像包括多個面部時，面部檢測單元120檢測這些面部。例如，當(dāng)從成像單元IIO輸出的所攝圖
像400如圖7所示包括四個人的面部405至408時，這些面部405至408
被檢測。至于檢測面部的方法，例如可以使用記錄有面部亮度分布信息的 模板與實際圖像之間的匹配來檢測面部的方法，以及基于表示所攝圖像中
包括的膚色的圖像片段或者人臉的特征量來檢測面部的方法。面部檢測單 元120可以從所攝圖像中檢測具有預(yù)先指定的大小或者預(yù)先指定的方向的 面部。預(yù)先指定的大小例如可以被設(shè)定成所攝圖像中的預(yù)定或更大的大 小。至于預(yù)先指定的方向，當(dāng)檢測到的面部與正面視圖的接近量(以下稱 為正面方向量)等于或大于預(yù)定的值時，面部可以被認(rèn)為是具有預(yù)先指定 的方向的面部。
眼睛檢測單元130檢測從面部檢測單元120輸出的面部圖像中包括的 雙眼，并且將關(guān)于面部圖像中檢測到的眼睛的位置的信息輸出到正規(guī)化單 元140。例如，在圖4B所示的面部圖像250中包括的面部251中檢測到由 點線十字252和253指示的眼睛位置。
正規(guī)化單元140保存正規(guī)化模板，并且利用正規(guī)化模板，基于關(guān)于面 部圖像中的雙眼的位置的信息，來對從面部檢測單元120輸出的面部圖像 進(jìn)行正規(guī)化，所述信息是從眼睛檢測單元130輸出的。正規(guī)化模板例如可 以包括這樣一個模板其中，面部圖像中的雙眼的位置被用作基準(zhǔn)集，如 圖4A所示。正規(guī)化單元140改變從面部檢測單元120輸出的面部圖像的 分辨率，并且對面部圖像執(zhí)行旋轉(zhuǎn)和縮放，使得由眼睛檢測單元130檢測 到的眼睛的位置與正規(guī)化模板中的基準(zhǔn)眼睛位置相匹配，從而對面部圖像 進(jìn)行正規(guī)化。正規(guī)化面部圖像被輸出到屬性判定單元150。在下文中將參 考圖4A和4B來描述面部圖像的正規(guī)化和正規(guī)化模板。
屬性判定單元150利用存儲在辭典存儲單元300中的多個用于判定的 辭典(以下稱為判定辭典)來判定從正規(guī)化單元140輸出的正規(guī)化面部圖 像的面部屬性，并將判定結(jié)果輸出到優(yōu)先面部確定單元160。存儲在辭典 存儲單元300中的判定辭典被順序提供給工作存儲器301，從而一個判定 辭典被存儲在工作存儲器301中。面部屬性判定的過程是利用存儲在工作 存儲器301中的一個判定辭典來執(zhí)行的。具體而言，屬性判定單元150提取從正規(guī)化單元140輸出的正規(guī)化面部圖像的各個部分的亮度來作為特征 的量(以下稱為特征量)，并且利用所提取的亮度和判定辭典來執(zhí)行面部
屬性判定過程。在下文中將參考圖6至8詳細(xì)描述由屬性判定單元150進(jìn) 行的面部屬性判定過程。
辭典存儲單元300存儲用于針對從正規(guī)化單元140輸出的正規(guī)化面部 圖像進(jìn)行的判定的多個判定辭典，該判定是由屬性判定單元150執(zhí)行的。 所存儲的判定辭典被順序提供給工作存儲器301。下文中將參考圖5來詳 細(xì)描述這些判定辭典。
工作存儲器301對存儲在辭典存儲單元300中的判定辭典中的一個進(jìn) 行存儲，并且將所存儲的判定辭典的內(nèi)容提供給屬性判定單元150。
優(yōu)先面部確定單元160從由面部檢測單元120檢測到的面部中，確定 符合由操作接受單元220指定的面部屬性的條件的面部，來作為優(yōu)先面 部。優(yōu)先面部確定單元160向面部位置標(biāo)記生成單元170和成像控制單元 191輸出關(guān)于所確定的優(yōu)先面部的信息(優(yōu)先面部的位置和大小)。換言 之，優(yōu)先面部確定單元160基于通過操作接受單元220指定的面部屬性和 從屬性判定單元150輸出的面部屬性判定的結(jié)果，來從面部檢測單元120 所檢測的面部中確定優(yōu)先面部。具體而言，當(dāng)操作接受單元220接受到指 定面部屬性的操作輸入時，優(yōu)先面部確定單元160保存所指定的面部屬 性，然后基于從屬性判定單元150輸出的面部屬性判定的結(jié)果來選擇符合 所保存的面部屬性的條件的面部。在此情況下，比起所攝圖像中示出的其 他的人面部來說，賦予優(yōu)先面部更高的優(yōu)先級。例如，在成像控制方面， 優(yōu)先面部被賦予較高的優(yōu)先級。成像控制單元191設(shè)定用于基于優(yōu)先面部 來進(jìn)行聚焦和曝光的成像參數(shù)，以執(zhí)行成像控制。在所攝圖像的顯示控制 中，優(yōu)先面部被賦予比其他面部更高的優(yōu)先級，以便被用戶優(yōu)先識別出 來。當(dāng)多個符合所保存的面部屬性的條件的面部被選擇為優(yōu)先候選時，在 這些所選擇的優(yōu)先候選中，具有最高評估值的優(yōu)先候選被確定為優(yōu)先面 部。至于評估值，例如，可以使用關(guān)于面部檢測單元120檢測到的面部的 面部信息。例如，可以使用指示出面部的大小的數(shù)值、指示出從面部到所 攝圖像的中心的距離的數(shù)值、以及指示出正面方向量的數(shù)值?；蛘撸梢詫⑦@些數(shù)值的總和用作評估值。當(dāng)一個面部被檢測到時，該面部被確定為 優(yōu)先面部。如果基于從屬性判定單元150輸出的面部屬性判定的結(jié)果難以 選擇符合所保存的面部屬性的條件的面部，則基于評估值來確定優(yōu)先面
部。下文中將參考圖7至9B來詳細(xì)描述優(yōu)先面部的確定。
面部位置標(biāo)記生成單元170基于從優(yōu)先面部確定單元160輸出的關(guān)于 優(yōu)先面部的信息來生成指示出所攝圖像中優(yōu)先面部的位置的優(yōu)先面部位置 標(biāo)記。面部位置標(biāo)記生成單元170將所生成的優(yōu)先面部位置標(biāo)記輸出到疊 加單元180。此外，面部位置標(biāo)記生成單元170基于從面部檢測單元120 輸出的關(guān)于其他面部的面部信息來生成指示出所攝圖像中除優(yōu)先面部外的 面部的位置的面部位置標(biāo)記，并且將所生成的面部位置標(biāo)記輸出到疊加單 元180。在此情況下，面部位置標(biāo)記生成單元170所生成的面部位置標(biāo)記 和優(yōu)先面部位置標(biāo)記彼此模式不同。可以根據(jù)通過操作接受單元220提供 的操作輸入來改變面部位置標(biāo)記生成單元170將要生成的面部位置標(biāo)記或 優(yōu)先面部位置標(biāo)記的類型。將參考圖9A至IIB來詳細(xì)描述優(yōu)先面部位置 標(biāo)記的類型和面部位置標(biāo)記的類型和顯示示例。
疊加單元180把從面部位置標(biāo)記生成單元170輸出的優(yōu)先面部位置標(biāo) 記或面部位置標(biāo)記疊加在從成像單元IIO輸出的所攝圖像上。疊加單元 180向顯示單元200輸出所得到的其上疊加了優(yōu)先面部位置標(biāo)記或面部位 置標(biāo)記的圖像。
成像控制單元191對通過成像單元IIO攝取的圖像執(zhí)行成像控制。成 像控制包括對各種成像參數(shù)的控制，所述成像參數(shù)例如是白平衡、顏色平 衡(例如紅(R)、綠(G)和藍(lán)(B)之間的平衡)、曝光和聚焦。此 外，當(dāng)優(yōu)先面部確定單元160輸出關(guān)于優(yōu)先面部的信息時，成像控制單元 191基于關(guān)于優(yōu)先面部的信息來執(zhí)行成像控制。例如，成像控制單元191 將所攝圖像中優(yōu)先面部的位置設(shè)定為AF區(qū)域(聚焦區(qū)域)并且執(zhí)行自動 聚焦控制。另外，成像控制單元191對白平衡、顏色平衡和曝光執(zhí)行自動 控制，以獲得針對優(yōu)先面部的最佳拍攝條件。如果優(yōu)先面部確定單元160 未輸出關(guān)于優(yōu)先面部的信息，成像控制單元191則執(zhí)行典型成像控制，而 不執(zhí)行針對面部的控制。例如，成像控制單元191基于通過操作接受單元220設(shè)定的成像條件來執(zhí)行控制。
當(dāng)操作接受單元220接受用于指定面部屬性的操作輸入時，成像控制 單元191保存所指定的面部屬性。當(dāng)優(yōu)先面部確定單元160輸出關(guān)于與所 保存的面部屬性相關(guān)的優(yōu)先面部的信息時，成像控制單元191可以利用針 對所保存的面部屬性的成像參數(shù)來執(zhí)行成像控制。例如，當(dāng)"兒童"被指 定為面部屬性時，成像控制單元191控制曝光，以使得曝光值(EV)被設(shè) 定到正1/3檔或者正2/3檔。
記錄控制單元192控制圖像存儲單元210以記錄從成像單元110輸出 的所攝圖像。具體而言，當(dāng)操作接受單元220接受按壓快門開關(guān)221 (在 圖2中示出)時的操作輸入時，記錄控制單元192允許圖像存儲單元210 對響應(yīng)于操作輸入而通過成像單元110攝取并從中輸出的圖像進(jìn)行記錄。
顯示單元200顯示從疊加單元180輸出的圖像。
圖像存儲單元210在記錄控制單元192的控制下記錄從成像單元110 輸出的所攝圖像。圖像存儲單元210例如可以包括諸如閃存或盤狀存儲卡 之類的半導(dǎo)體存儲器，以及諸如可移動記錄介質(zhì)(例如數(shù)字多功能盤 (DVD))之類的永久記錄介質(zhì)。圖像存儲單元210可以被置于成像設(shè)備 100中，或者可以與成像設(shè)備100分離。
操作接受單元220包括各種操作按鍵和開關(guān)。當(dāng)通過這些按鍵中的任 何一個接收到操作輸入時，操作接受單元220將指示出所接受的操作輸入 的描述的信息輸出到優(yōu)先面部確定單元160、面部位置標(biāo)記生成單元170 以及成像控制單元191或記錄控制單元192。例如，當(dāng)接收到用于指定用 來確定優(yōu)先面部的面部屬性的操作輸入時，操作接受單元220向優(yōu)先面部 確定單元160和成像控制單元191輸出所指定的面部屬性。此外，當(dāng)接收 到用于指定優(yōu)先面部位置標(biāo)記或面部位置標(biāo)記的類型的操作輸入時，操作 接受單元220向面部位置標(biāo)記生成單元170輸出關(guān)于所指定的優(yōu)先面部位 置標(biāo)記或面部位置標(biāo)記的類型的信息。當(dāng)接收到用于根據(jù)所指定的面部屬 性設(shè)定各種成像條件的操作輸入時，操作接受單元220向成像控制單元 191輸出關(guān)于各種成像條件的信息。在本發(fā)明的實施例中，如圖2A和2B 所示，操作接受單元220接收通過操作構(gòu)件輸入的操作輸入，所述操作構(gòu)
16件即快門開關(guān)221、變焦按鈕222和液晶面板201。換言之，操作接受單 元220作為觸摸面板被結(jié)合到顯示單元200中。
圖2A和2B是根據(jù)本發(fā)明的此實施例的成像設(shè)備100的透視圖。圖 2A示出了成像設(shè)備100的正面，其中布置了朝向被攝體的透鏡。圖2B示 出了成像設(shè)備100的背面，其中設(shè)置了朝向拍攝者亦即用戶的液晶面板 201。
成像設(shè)備100包括成像透鏡101、液晶面板201、快門開關(guān)221和變 焦按鈕222?？扉T開關(guān)221和變焦按鈕222對應(yīng)于圖1所示的操作接受單 元220。液晶面板201對應(yīng)于圖1所示的顯示單元200和操作接受單元 220。雖然成像設(shè)備100包括作為操作接受單元220的其他操作構(gòu)件(例 如電源開關(guān))，但是其他操作構(gòu)件在圖2A和2B中未示出，并且對其的描 述被省略。
成像透鏡101包括用于會聚來自被攝體的光的多個透鏡(包括變焦透 鏡和聚焦)。這些透鏡被布置在成像設(shè)備100的機殼中。經(jīng)過各個透鏡的 光的量(即，曝光量)由光圈(未示出)控制，因此成像單元110根據(jù)來 自被攝體的光形成所攝圖像，該光經(jīng)過這些透鏡和光圈。
液晶面板201顯示從成像單元110輸出的所攝圖像。在面部位置標(biāo)記 生成單元170生成優(yōu)先面部位置標(biāo)記或面部位置標(biāo)記的情況下，液晶面板 201顯示其上疊加有優(yōu)先面部位置標(biāo)記或面部位置標(biāo)記的所攝圖像。下文 中將參考圖9A至IIB來詳細(xì)描述所攝圖像的顯示示例。液晶面板201還 充當(dāng)觸摸面板，該觸摸面板能夠顯示各種選擇按鈕，并且接收通過用手指 觸摸與這些選擇按鈕中的任何一個相對應(yīng)的區(qū)域而輸入的操作輸入。下文 中將參考圖3、 17A和17B來詳細(xì)描述選擇按鈕的顯示示例。
在拍攝者想要記錄所攝圖像時，快門開關(guān)221被按壓。在拍攝者利用 成像設(shè)備100執(zhí)行成像操作(即拍攝照片)的情況下，拍攝者識別出液晶 面板201中的所需被攝體，然后按壓快門開關(guān)221。當(dāng)快門開關(guān)221被按 壓時，基于對快門開關(guān)221的按壓的信號被從操作接受單元220提供到記 錄控制單元192。當(dāng)接收到來自操作接受單元220的基于對快門開關(guān)221 的按壓的信號時，記錄控制單元192允許圖像存儲單元210在接收到基于對快門開關(guān)221的按壓的信號后記錄從成像單元110輸出的所攝圖像。
在控制變焦放大倍率時，變焦按鈕222被操作。具體而言，變焦按鈕 222包括廣角(W)鍵和遠(yuǎn)攝(T)鍵，如圖2B所示。當(dāng)W鍵被按壓時， 變焦透鏡向廣角端(廣角位置)移動。當(dāng)T鍵被按壓時，變焦透鏡向遠(yuǎn)攝 端(遠(yuǎn)攝位置)移動。
圖3是示出根據(jù)本發(fā)明的此實施例的液晶面板201上的顯示示例的 圖。參考圖3，液晶面板201顯示面部屬性指定窗口，用于指定將要被優(yōu) 先面部確定單元160確定的優(yōu)先面部的面部屬性。面部屬性指定窗口包括 指定按鈕231至235。面部屬性指定窗口可以根據(jù)例如通過操作接受單元 220輸入的預(yù)定操作輸入而被顯示在液晶面板201上。
在本發(fā)明的實施例中，將描述這樣一種情況，其中，指定與人的類型 相關(guān)的面部屬性，即與人緊密相關(guān)的屬性，例如世代或性別，或者與面部 表情相關(guān)的面部屬性，例如微笑。換言之，將描述從屬于兩個不同類別的 面部屬性中指定至少一個面部屬性的情況。在此實施例中，將要指定的面 部屬性不與拍攝者相關(guān)聯(lián)，而是與被攝體相關(guān)聯(lián)。
為了指定優(yōu)先面部的面部屬性，將要按壓指定按鈕231至235。例 如，"男性"指定按鈕231用于將所攝圖像中包括的男性面部設(shè)定為優(yōu)先 面部。"女性"指定按鈕232、"成人"指定按鈕233、"兒童"指定按 鈕234、和"嬰兒"指定按鈕235類似地用于指定與該按鈕的顯示區(qū)域中 顯示的字符相對應(yīng)的面部屬性。
在此示例中，將描述用于與人的類型相關(guān)的面部屬性的五個指定按鈕 被顯示并且其中的至少一個被選擇的情況?？梢燥@示用于指定另外的面部 屬性的另外的指定按鈕，以便能夠指定另外的面部屬性。例如，可以選擇 與面部表情相關(guān)的面部屬性。在此示例中，將描述指定一個面部屬性的情 況。當(dāng)多個面部屬性被指定并且符合所指定的面部屬性的條件的面部被確 定為優(yōu)先面部時，本發(fā)明的此實施例可以應(yīng)用到這種情況。在此情況下， 指定多個面部屬性，使得面部屬性不會相互矛盾。指定彼此矛盾的面部屬 性例如是指定"男性"和"女性"或者指定"成人"和"兒童"。
圖4A和4B是示出根據(jù)本發(fā)明實施例的面部圖像的正規(guī)化的示例的圖。圖4A示出了用于對面部圖像進(jìn)行正規(guī)化的正規(guī)化模板141。圖4B示 出了包括由面部檢測單元120檢測到的面部251的面部圖像250的轉(zhuǎn)變。 正規(guī)化模板141被正規(guī)化單元140保存，并且被用于由正規(guī)化單元140進(jìn) 行的正規(guī)化。在正規(guī)化模板141中，定義了基準(zhǔn)位置142和143，該基準(zhǔn) 位置142和143充當(dāng)為正規(guī)化設(shè)定的基準(zhǔn)。以下描述涉及這樣一種情況， 其中，面部圖像在經(jīng)歷旋轉(zhuǎn)和縮放的同時，其分辨率被改變，使得面部圖 像中由眼睛檢測單元130檢測到的眼睛的位置與正規(guī)化模板141中的基準(zhǔn) 位置142和143匹配。
包括由面部檢測單元120檢測到的面部251的面部圖像250是從成像 單元IIO輸出的所攝圖像的圖像片段。面部圖像250中的眼睛位置252和 253被眼睛檢測單元130檢測。在此情況下，假定每只眼睛的中心被設(shè)定 為眼睛位置。在面部圖像250中的眼睛位置252和253如上所述被檢測到 的情況下，眼睛位置252和253例如通過仿射變換而被變換，以使得眼睛 位置252和253與圖4A所示的正規(guī)化模板141中的基準(zhǔn)位置142和143 相匹配。例如，當(dāng)如圖4B所示面部圖像250的分辨率被改變并且面部圖 像250被旋轉(zhuǎn)時，面部圖像250被正規(guī)化以生成正規(guī)化面部圖像260。在 正規(guī)化面部圖像260中，眼睛位置262和263與圖4A所示的正規(guī)化模板 141中的相應(yīng)基準(zhǔn)位置142和143相匹配。在本發(fā)明的此實施例中，假定 面部圖像的分辨率被改變到48x48像素以生成正規(guī)化面部圖像。
至于基準(zhǔn)位置，可以使用除了面部的眼睛之外的另一特征的位置。例 如，可以檢測面部的鼻子，并且基于鼻子的位置來對面部圖像進(jìn)行正規(guī) 化。面部的特征的位置可以被用作基準(zhǔn)位置。例如，可以使用眼睛的位置 和鼻子的位置。
圖5示出了在本發(fā)明的此實施例中用于將要對正規(guī)化面部圖像執(zhí)行的 各個判定的多個判定辭典。這些判定辭典是用于將要對由正規(guī)化單元140 正規(guī)化的面部圖像執(zhí)行的各個判定的判定信息集合，這些判定是由屬性判 定單元150執(zhí)行的。判定辭典被存儲在辭典存儲單元300中。將在假定判 定辭典包括世代(成人/兒童)判定辭典310、性別(男性/女性)判定辭典 320和嬰兒判定辭典330的情況下來描述該實施例。在此情況下，用于面部屬性判定的判定辭典充當(dāng)包含僅與判定標(biāo)準(zhǔn)相 關(guān)的數(shù)據(jù)、而不包含圖像的判定信息集合。因此，可以減小存儲容量并且 迅速地執(zhí)行判定。
每個判定辭典存儲數(shù)據(jù)元素的t個組合。每個組合的數(shù)據(jù)元素指示出
正規(guī)化面部圖像中的兩個位置pix-l(x, y)和pix-2(x， y)、位置pix-l(x, y)處 的亮度和位置pix-2(x, y)處的亮度之間的差的閾值0，以及基于閾值0與位 置pix-l(x， y)處的亮度和位置pix-2(x, y)處的亮度之間的差之間的比較結(jié)果 而將要添加或減去的權(quán)重a。各個數(shù)據(jù)元素的這些值是利用通過諸如 AdaBoost之類的機器學(xué)習(xí)算法獲得的數(shù)據(jù)元素的最有效的前100個組合來 設(shè)定的。由于各個判定辭典如上所述具有相同的結(jié)構(gòu)，因此可以根據(jù)同一 算法來執(zhí)行多個判定。參考圖5，各個辭典中的數(shù)據(jù)元素"pix-l(x, y)"、 "pix-2(x，y)" 、 "0"和"of"由不同的符號來表達(dá)。例如，在世代判定辭 典310中，數(shù)據(jù)元素"pix畫l(x, y)"被表達(dá)為"pix隱generation-l(x, y)"，數(shù) 據(jù)元素"pix-2(x, y)"被表達(dá)為"pix-generation隱2(x, y)"，數(shù)據(jù)元素"0" 被表達(dá)為"世代0",數(shù)據(jù)元素被表達(dá)為"世代a"。
在此情況下，利用世代判定辭典310來判定所檢測到的面部是成人還 是兒童時的基準(zhǔn)年齡例如可以被設(shè)定到12歲。換言之，看起來為12歲或 12歲以上的面部可以被判定為"成人"，而看起來為12歲以下的面部可 以被判定為"兒童"?；蛘?，可以利用另外的年齡作為基準(zhǔn)來進(jìn)行世代判 定。此外，可以進(jìn)行更詳細(xì)的世代判定，例如作為被攝體的人是兒童、中 年人還是老年人的判定。另外，將某個年齡范圍劃分成組，并且可以判定 所檢測到的面部屬于哪個組。
現(xiàn)在將參考圖5和6詳細(xì)描述正規(guī)化面部圖像經(jīng)歷使用判定辭典進(jìn)行 的判定的情況。
圖6示出作為根據(jù)本發(fā)明的此實施例由正規(guī)化單元140正規(guī)化的面部 圖像的示例的正規(guī)化面部圖像350。在此示例中，假定原點被定義在圖6 中的正規(guī)化面部圖像350的左上角，橫軸被設(shè)定成x軸，縱軸被設(shè)定成y 軸，并且正規(guī)化面部圖像350經(jīng)歷利用世代判定辭典310 (參見圖5)進(jìn) 行的判定。例如，在正規(guī)化面部圖像350中，位置351被設(shè)定為與存儲在世代判定辭典310的第一行中的數(shù)據(jù)元素"pix-generation-l(x， y)"相對應(yīng) 的位置。位置352被設(shè)定為與存儲在其第一行中的數(shù)據(jù)元素"pix-generation-2(x, y)"的值相對應(yīng)的位置。位置353被設(shè)定為與存儲在其第二 行中的數(shù)據(jù)元素"pix-genemtion-l(x, y)"相對應(yīng)的位置。位置354被設(shè)定 為與存儲在其第二行中的數(shù)據(jù)元素"pix-genemtion-2(x, y)"的值相對應(yīng)的 位置。位置355被設(shè)定為與存儲在其第三行中的數(shù)據(jù)元素"pix-generation-l(x, y)"相對應(yīng)的位置。位置356被設(shè)定為與存儲在其第三行中的數(shù)據(jù)元 素"pix-generation-2(x,y)"的值相對應(yīng)的位置。
首先，將零設(shè)定為判定的得分S的值，并且利用存儲在世代判定辭典 310的第一行中的數(shù)據(jù)元素的各個值來執(zhí)行計算。具體而言，提取與存儲 在世代判定辭典310的第一行中的數(shù)據(jù)元素"pix-generation-l(x， y)"的值 相對應(yīng)的位置351中的亮度A(l)和與存儲在其第一行中的數(shù)據(jù)元素"pix-generation-2(x, y)"的值相對應(yīng)的位置352中的亮度B(l)。利用以下式子來 計算所提取的亮度之間的差C(l)
C(l"A(l)-B(l)
然后，將計算出的亮度之間的差C(l)與指示存儲在世代判定辭典310 的第一行中的閾值的數(shù)據(jù)元素"世代『相比較。換言之，判定差C(l)的 值是否小于閾值"世代0"的值。當(dāng)差C(l)小于閾值"世代0"時，向得 分S添加指示存儲在世代判定辭典310的第一行中的權(quán)重的數(shù)據(jù)元素"世 代a"的值。另一方面，當(dāng)差C(l)不小于閾值"世代0"時，從得分S中 減去世代判定辭典310的第一行中的權(quán)重"世代a"。
然后，利用存儲在世代判定辭典310的第二行中的數(shù)據(jù)元素的各個值 來重復(fù)上述計算。具體而言，提取與存儲在世代判定辭典310的第二行中 的數(shù)據(jù)元素"pix-genemtion-l(x， y)"的值相對應(yīng)的位置353中的亮度A(2) 和與存儲在其第二行中的數(shù)據(jù)元素"pix-genemtion-2(x， y)"的值相對應(yīng)的 位置354中的亮度B(2)。利用以下式子來計算所提取的亮度之間的差C(2)
C(2) = A(2)_ B(2)
然后，將計算出的亮度之間的差C(2)與存儲在世代判定辭典310的第 二行中的閾值"世代0"的值相比較。換言之，判定計算出的差C(2)是否小于閾值"世代0"。當(dāng)差C(2)小于閾值"世代0"時，向得分S添加存
儲在世代判定辭典310的第二行中的權(quán)重"世代a"。另一方面，當(dāng)差 C(2)不小于閾值"世代0"時，從得分S中減去世代判定辭典310的第二 行中的權(quán)重"世代a"。
然后，利用世代判定辭典310的第三行至第t行的每一行中的數(shù)據(jù)元 素的各個值來重復(fù)上述計算。
換言之，為了利用世代判定辭典310對正規(guī)化面部圖像350進(jìn)行判 定，利用存儲在世代判定辭典310的第一至第t行的每一行中的數(shù)據(jù)元素 的各個值，通過以下式(1)計算差C(i)。判定計算出的差C(i)是否滿足以 下式(2)。在此情況下，變量i是在從l到t范圍內(nèi)的整數(shù)。
<formula>formula see original document page 22</formula>1)
<formula>formula see original document page 22</formula>2)
當(dāng)計算出的差C(i)滿足式(2)時，向得分S添加權(quán)重《i)。當(dāng)計算出 的差C(i)不滿足式(2)時，從得分S中減去權(quán)重《i)。在此情況下，令 A(i)為與存儲在第i行中的數(shù)據(jù)元素"pix-generation-l(x， y)"相對應(yīng)的亮 度，令B(i)為與存儲在第i行中的數(shù)據(jù)元素"pix-generation-2(x, y)"相對 應(yīng)的亮度，令0(i)為存儲在第i行中的閾值"世代『，并且令《i)為存儲 在第i行中的權(quán)重"世代a"。
在利用存儲在世代判定辭典310的第t行中的數(shù)據(jù)元素的各個值進(jìn)行 計算后，判定得分是否大于0。
例如，假定根據(jù)上述機器學(xué)習(xí)算法，在成人判定成功時獲得的學(xué)習(xí)樣 本被作為正值被學(xué)習(xí)，而在成人判定不成功時獲得的學(xué)習(xí)樣本被作為負(fù)值 被學(xué)習(xí)。在利用存儲在世代判定辭典310的第一行至第t行中的數(shù)據(jù)元素 的各個值進(jìn)行計算后，如果得分S大于0，則經(jīng)歷判定的正規(guī)化面部圖像 被判定為目標(biāo)圖像。換言之，在利用世代判定辭典310進(jìn)行判定時，經(jīng)歷 判定的正規(guī)化面部圖像中包括的面部被判定為成人面部。這同樣適用于其 他判定辭典。例如，在利用性別判定辭典320進(jìn)行判定時，假定在成功判 定面部為男性面部時獲得的學(xué)習(xí)樣本被作為正值被學(xué)習(xí)，那么當(dāng)?shù)梅諷大 于0時，經(jīng)歷判定的正規(guī)化面部圖像中包括的面部被判定為男性面部。另外，在利用嬰兒判定辭典330進(jìn)行判定時，假定在成功判定面部為嬰兒面 部時獲得的學(xué)習(xí)樣本被作為正值被學(xué)習(xí)，那么當(dāng)?shù)梅諷大于0時，經(jīng)歷判 定的正規(guī)化面部圖像中包括的面部被判定為嬰兒面部。
另一方面，假定根據(jù)上述機器學(xué)習(xí)算法，在成功判定時獲得的學(xué)習(xí)樣 本被作為正值被學(xué)習(xí)，并且在非成功判定時獲得的學(xué)習(xí)樣本作為負(fù)值被學(xué) 習(xí)，那么當(dāng)在利用存儲在判定辭典的第一行至第t行中的數(shù)據(jù)元素的各個
值進(jìn)行計算后，得分s不大于0時，經(jīng)歷判定的正規(guī)化面部圖像被判定為 非目標(biāo)圖像。例如，在利用世代判定辭典310進(jìn)行判定時，假定成功的成 人判定的學(xué)習(xí)樣本作為正值被學(xué)習(xí)，那么當(dāng)?shù)梅諷小于0時，經(jīng)歷判定的 正規(guī)化面部圖像中包括的面部被判定為兒童面部。此外，在利用性別判定 辭典320進(jìn)行判定時，假定成功的男性判定的學(xué)習(xí)樣本作為正值被學(xué)習(xí)， 那么當(dāng)?shù)梅諷小于0時，經(jīng)歷判定的正規(guī)化面部圖像中包括的面部被判定 為女性面部。在利用嬰兒判定辭典330進(jìn)行判定時，假定成功的嬰兒判定 的學(xué)習(xí)樣本作為正值被學(xué)習(xí)，那么當(dāng)?shù)梅諷小于0時，經(jīng)歷判定的正規(guī)化 面部圖像中包括的面部被判定為非嬰兒面部。
在本發(fā)明的此實施例中，針對在利用判定辭典中的至少一個進(jìn)行判定 時將得分S與0相比較的情況進(jìn)行了說明。非零的值可以被用于判定。換 言之，可以適當(dāng)?shù)卣{(diào)整將要與得分S相比較的值。
在此情況下，在利用存儲在判定辭典的第一行至第t行的每一行中的 數(shù)據(jù)元素的各個值來進(jìn)行計算之后獲得的得分S可以表達(dá)為下式
S = H [sign(0 (i)—pixl (i)+pix2(i))Xa(i)]
其中sign(x)表示在x > 0時等于1、在x幼時等于-1的函數(shù)。
如上所述，經(jīng)歷判定的正規(guī)化面部圖像的分辨率被設(shè)定到相同的值， 并且用于判定的特征量被標(biāo)準(zhǔn)化為正規(guī)化面部圖像的兩點處的亮度之間的 差。因此，判定辭典中的任何一個都可以被切換到另一個。多個屬性信息 塊可以根據(jù)同 一算法來生成。現(xiàn)在將參考附圖描述所攝圖像包括多個面部的情況下的判定。
圖7是示出根據(jù)本發(fā)明實施例通過成像單元110攝取的圖像的圖。圖
7所示的所攝圖像400是通過例如經(jīng)由成像設(shè)備100拍攝由四個人構(gòu)成的 家庭的照片來獲得的。所攝圖像400示出兒子401、父親402、女兒403 和母親404。在所攝圖像400中，兒子401、父親402、女兒403和母親 404分別具有面部405、 406、 407和408。兒子401和女兒403是12歲以 下的兒童，并且各自被判定為"兒童"。
當(dāng)所攝圖像如圖7所示包括多個面部時，面部檢測單元120檢測出各 個面部。例如，從所攝圖像400中檢測出面部405至408。與檢測到的面 部相對應(yīng)的面部圖像被正規(guī)化，并且正規(guī)化面部圖像經(jīng)歷面部屬性判定。
圖8是示意性地示出根據(jù)本發(fā)明的此實施例由屬性判定單元150進(jìn)行 的面部屬性判定的結(jié)果以及包含關(guān)于由面部檢測單元120檢測到的面部的 信息塊的優(yōu)先面部確定信息集合420的圖。優(yōu)先面部確定信息集合420由 優(yōu)先面部確定單元160保存。
優(yōu)先面部確定信息集合420包含標(biāo)識(ID)號421、屬性信息"成人/ 兒童(世代)"422、屬性信息"男性/女性(性別)"423、屬性信息"嬰 兒/非嬰兒"424、面部信息"面部大小"425、以及面部信息"面部位置" 426，使得每個ID號與相應(yīng)的信息塊相關(guān)。
ID號421被指派給由面部檢測單元120檢測到的面部。例如，ID號 "001"被指派給兒子401的面部405， ID號"002"被指派給父親402的 面部406， ID號"003"被指派給女兒403的面部407，并且ID號"004" 被指派給母親404的面部408。
屬性信息"成人/兒童(世代)"422、屬性信息"男性/女性(性 別)"423和屬性信息"嬰兒/非嬰兒"424對應(yīng)于屬性判定單元150利用 相應(yīng)判定辭典進(jìn)行面部屬性判定的結(jié)果。例如，對于屬性信息"成人/兒童 (世代)"422，作為利用世代判定辭典310對圖7所示的面部405至408
進(jìn)行判定的每個結(jié)果，信息"成人"或"兒童"被存儲。對于屬性信息 "男性/女性(性別)"423，作為利用性別判定辭典320對圖7所示的面 部405至408進(jìn)行判定的每個結(jié)果，信息"男性"或"女性"被存儲。對于屬性信息"嬰兒/非嬰兒"424，作為利用嬰兒判定辭典330對圖7所示 的面部405至408進(jìn)行判定的每個結(jié)果，信息"嬰兒"或"非嬰兒"被存儲。
面部信息"面部大小"425和面部信息"面部位置"426涉及由面部 檢測單元120檢測到的面部。例如，對于面部信息"面部大小"425，指 示出由面部檢測單元120檢測到的、圖7所示的面部405至408中每一個 的大小的信息被存儲。對于面部信息"面部位置"426，指示出由面部檢 測單元120檢測到的面部405至408中的每一個的位置的信息被存儲。
優(yōu)先面部確定單元160利用優(yōu)先面部確定信息集合420中包含的各個 信息塊，來從由面部檢測單元120檢測到的面部中確定優(yōu)先面部。
例如，假定在圖3所示的液晶面板201中，"成人"指定按鈕233被 按壓，從而使得"成人"被指定為優(yōu)先面部的面部屬性，那么被存儲為屬 性信息"成人/兒童(世代)"422的與信息"成人"相關(guān)的面部被選擇為 優(yōu)先候選。如果所選擇的優(yōu)先候選的數(shù)目為一個，則這個所選擇的優(yōu)先候 選被確定為優(yōu)先面部。當(dāng)選擇了多個優(yōu)先候選時，基于關(guān)于與所選擇的優(yōu) 先候選相對應(yīng)的面部的信息塊，來確定優(yōu)先面部。例如，可以基于被存儲 為面部信息塊"面部大小"425的面部的大小，來確定具有最大大小的所 檢測到的面部為優(yōu)先面部。或者，可以基于面部信息塊"面部位置" 426，來將位于最靠近所攝圖像中心的位置的所檢測到的面部確定為優(yōu)先 面部。
在此情況下，將描述在假定"成人"被指定為優(yōu)先面部的面部屬性的 情況下，如何利用被存儲為面部信息塊"面部位置"426的面部位置來確 定圖7的所攝圖像400中的優(yōu)先面部。由于圖7的所攝圖像400包括兩個 成人(即，父親402和母親404)，因此與兩個成人的面部相關(guān)聯(lián)的、存 儲的屬性信息塊"成人/兒童(世代)"422各自指示"成人"。當(dāng)將所攝 圖像400中父親402的面部406的位置與母親404的面部408的位置相比 較時，父親402的面部406比起母親404的面部408來距離所攝圖像400 的中心更近。因此，雖然父親402的面部406和母親404的面部408被選 擇為優(yōu)先候選，但位于離中心更近的位置處的父親402的面部406被確定為優(yōu)先面部。圖9A示出了父親402的面部406被這樣確定為優(yōu)先面部的 顯示示例。
類似地，將描述在假定在圖3所示的液晶面板201上"兒童"指定按 鈕234被按壓從而"兒童"被指定為優(yōu)先面部的面部屬性的情況下，如何 利用被存儲為面部信息塊"面部位置"426的面部位置來確定圖7的所攝 圖像400中的優(yōu)先面部。由于圖7的所攝圖像400示出兩個兒童(即，兒 子401和女兒403)，因此與兩個兒童的面部相關(guān)聯(lián)的、存儲的屬性信息 塊"成人/兒童(世代)"422各自指示"兒童"。此外，當(dāng)將所攝圖像 400中兒子401的面部405的位置與女兒403的面部407的位置相比較 時，女兒403的面部407比起兒子401的面部405來距離所攝圖像400的 中心更近。因此，雖然兒子401的面部405和女兒403的面部407被選擇 為優(yōu)先候選，但距離所攝圖像400的中心更近的女兒403的面部407被確 定為優(yōu)先面部。圖9B示出了女兒403的面部407被這樣確定為優(yōu)先面部 的顯示示例。
通過判定計算出的得分S可以被存儲作為由優(yōu)先面部確定信息集合 420進(jìn)行的面部屬性判定的結(jié)果。當(dāng)多個優(yōu)先候選被選擇時，具有最高得 分S的優(yōu)先候選可以被確定為優(yōu)先面部。
圖9A和9B示出了根據(jù)本發(fā)明實施例的所攝圖像400的顯示示例，其 中優(yōu)先面部位置標(biāo)記被指派給所攝圖像400中的所確定的優(yōu)先面部。圖 9A示出了父親402的面部406被確定為所攝圖像400中的優(yōu)先面部的顯示 示例。圖9B示出了女兒403的面部407被確定為所攝圖像400中的優(yōu)先 面部的顯示示例。
參考圖9A和9B，優(yōu)先面部位置標(biāo)記412和413中的每一個可以被指 派給優(yōu)先面部，并且面部位置標(biāo)記不被指派給除了優(yōu)先面部之外的面部。 當(dāng)優(yōu)先面部被改變到另一面部時，優(yōu)先面部位置標(biāo)記被移動到改變后的優(yōu) 先面部。
圖IOA、 IOB、 IIA和11B示出了根據(jù)本發(fā)明實施例的所攝圖像400 的其他顯示示例。在每個顯示示例中，優(yōu)先面部位置標(biāo)記被指派給所確定 的優(yōu)先面部，并且面部位置標(biāo)記被指派給所攝圖像400中其他面部。在圖IOA至11B中，假定母親404的面部408被確定為所攝圖像400中的優(yōu)先 面部。
參考圖IOA，實線矩形框形式的優(yōu)先面部位置標(biāo)記414被指派給優(yōu)先 面部408以便圍繞面部408，并且各自為虛線矩形框形式的面部位置標(biāo)記 415至417分別被指派給面部405至407。
參考圖IOB，粗實線矩形框形式的優(yōu)先面部位置標(biāo)記414被指派給面 部408以便圍繞該面部，并且各自為細(xì)實線矩形框形式的面部位置標(biāo)記 415至417分別被指派給面部405至407。
參考圖IIA，具有四角標(biāo)記的實線矩形框形式的優(yōu)先面部位置標(biāo)記 414被指派給面部408以便圍繞該面部，并且各自為實線矩形框形式的面 部位置標(biāo)記415至417分別被指派給面部405至407。在此示例中，角標(biāo) 記被分別指派給框的四個角，如圖IIA所示。不向框的各邊的中央部分指 派任何標(biāo)記。
參考圖IIB，優(yōu)先面部位置標(biāo)記414具有與面部位置標(biāo)記415至417 不同的透過率，并且優(yōu)先面部位置標(biāo)記414和面部位置標(biāo)記415至417分 別被指派給面部408和其他面部405至407。例如，指派給優(yōu)先面部的優(yōu) 先面部位置標(biāo)記414的透過率被降低，以顯示暗標(biāo)記，而指派給除了優(yōu)先 面部之外的各個面部的面部位置標(biāo)記415至417中的每一個的透過率被提 高，以顯示亮標(biāo)記。
如上所述，指派給優(yōu)先面部的優(yōu)先面部位置標(biāo)記被顯示得與指派給其 他面部的面部位置標(biāo)記不同，從而優(yōu)先面部可以很容易被識別。此外，除 了優(yōu)先面部之外的面部也可以很容易被識別。根據(jù)通過操作接受單元220 輸入的操作輸入，標(biāo)記的顯示樣式被切換到另一個。
可以利用與圖9A至IIB所示不同的樣式來顯示優(yōu)先面部位置標(biāo)記和 面部位置標(biāo)記以便它們與彼此相區(qū)別。例如，可以利用不同的模式，例如 不同的顏色、閃爍和非閃爍狀態(tài)、或者標(biāo)記內(nèi)外不同的亮度和顏色，來識 別標(biāo)記。至于每個標(biāo)記的形狀，只要每個標(biāo)記能夠指示出目標(biāo)面部的位 置，就可以使用另外的形狀。例如，可以使用圓圈、橢圓、指向目標(biāo)面部 的箭頭?，F(xiàn)在將參考附圖來描述根據(jù)本發(fā)明的本實施例的成像設(shè)備100的操作。
圖12是示出根據(jù)本發(fā)明的此實施例由成像設(shè)備100進(jìn)行的成像控制
的過程的流程圖?，F(xiàn)在將描述成像控制單元191基于所確定的優(yōu)先面部來 執(zhí)行成像控制的情況。假定優(yōu)先面部確定單元160保存通過操作接受單元 220指定的面部屬性。
首先，初始化優(yōu)先候選(步驟S901)。然后，成像單元110將來自被 攝體的進(jìn)入光轉(zhuǎn)換成電信號，從而形成所攝圖像(步驟S902)。面部檢測 單元120檢測至少一個人的面部，即所攝圖像中示出的一個或多個面部
(步驟S903)。面部信息也通過面部檢測被檢測到。然后，與每個檢測到 的面部相對應(yīng)的圖像片段(以下稱為"面部圖像")中的眼睛位置被檢 測，并且正規(guī)化單元140基于檢測到的眼睛位置來對面部圖像進(jìn)行正規(guī)化
(步驟S904)。
屬性判定單元150針對每個正規(guī)化面部圖像判定面部屬性(步驟 S920)。下文中將參考圖13來詳細(xì)描述面部屬性判定。
優(yōu)先面部確定單元160基于由屬性判定單元150獲得的面部屬性判定 的結(jié)果，從由面部檢測單元120檢測到的面部中確定優(yōu)先面部(步驟 S950)。下文中將參考圖15來詳細(xì)描述優(yōu)先面部確定。
面部位置標(biāo)記生成單元170基于關(guān)于所確定的優(yōu)先面部的信息生成優(yōu) 先面部位置標(biāo)記，并且還基于關(guān)于至少一個除了優(yōu)先面部之外的面部的面 部信息來生成面部位置標(biāo)記(步驟S905)。疊加單元180將所生成的優(yōu)先 面部位置標(biāo)記和面部位置標(biāo)記疊加在所攝圖像上(步驟S906)。所得到的 其上疊加了優(yōu)先面部位置標(biāo)記和面部位置標(biāo)記被顯示在顯示單元200上 (步驟S907)。
成像控制單元191基于所確定的優(yōu)先面部來執(zhí)行成像控制(步驟 S908)。當(dāng)優(yōu)先面部被確定時，優(yōu)先面部確定單元160可以向記錄控制單 元192給出記錄所攝圖像的指示，以便所攝圖像被記錄?；蛘撸?dāng)優(yōu)先面 部被確定時，優(yōu)先面部確定單元160可以輸出語音消息，以便將優(yōu)先面部 的確定通知給用戶。圖13是示出根據(jù)本發(fā)明的本實施例在由成像設(shè)備100進(jìn)行的成像控 制的過程中的面部屬性判定的過程(圖12中的步驟S920)的流程圖。以 下描述涉及所有判定辭典都用來判定面部屬性的情況?？梢岳靡粋€判定 辭典來判定面部屬性。
首先，從輸出自正規(guī)化單元140的正規(guī)化面部圖像中提取一個正規(guī)化 面部圖像(步驟S921)。然后，從所獲得的正規(guī)化面部圖像中提取亮度 (步驟S922)。然后，將尚未用于判定的判定辭典從存儲多個判定辭典的 辭典存儲單元300加載到工作存儲器301中(步驟S923)。然后，利用加 載在工作存儲器301中的判定辭典來判定面部屬性(步驟S930)。下文中 將參考圖14詳細(xì)描述該判定。
面部屬性的判定的結(jié)果被存儲為與經(jīng)歷判定的面部相關(guān)聯(lián)的面部屬性 信息(步驟S924)。然后，判定存儲在辭典存儲單元300中的判定辭典中 的至少一個是否尚未用于判定(步驟S925)。當(dāng)在辭典存儲單元300中存 在未使用的判定辭典時(步驟S925中的"是")，過程返回到步驟 S923，并且處理步驟(即步驟S923、 S930和S924)被重復(fù)，以在同一面 部上進(jìn)行面部屬性判定。然而，當(dāng)在辭典存儲單元300中沒有未使用的判 定辭典時(步驟S925中的"否")，判定從正規(guī)化單元140輸出的所有 正規(guī)化面部圖像是否都已被提取(步驟S926)。
當(dāng)并非從正規(guī)化單元140輸出的所有正規(guī)化面部圖像都己被提取時 (步驟S926中的"否")，過程返回到步驟S921，并且處理步驟(即用 于面部屬性判定的步驟S921、 S922、 S923、 S930、 S924和S925)被重 復(fù)。然而，如果從正規(guī)化單元140輸出的所有正規(guī)化面部圖像都已經(jīng)被提 取(步驟S926中的"是")，過程返回到圖12中的步驟S920。
圖14是示出根據(jù)本發(fā)明的此實施例在由成像設(shè)備IOO進(jìn)行的面部屬 性判定過程中的判定過程(圖13中的步驟S930)的流程圖。將針對相關(guān) 正規(guī)化面部圖像是否是目標(biāo)圖像的判定來描述本發(fā)明的實施例。
首先，得分S被初始化到"0"(步驟S931)。變量i被初始化到 "1"(步驟S932)。然后，從提取自正規(guī)化面部圖像的亮度中選擇出與 加載在工作存儲器301中的判定辭典的第i行中的位置pix-l(x, y)和pk-2(x, y)相對應(yīng)的亮度(步驟S933)。然后，利用式(1)，用兩個所選擇 的亮度來計算差C(i)(步驟S934)。
然后，判定計算出的兩個亮度之間的差C(i)是否小于閾值0(i)(步驟 S935)。當(dāng)差C(i)小于閾值0(i)時(步驟S935中的"是")，向得分S添 加權(quán)重a (步驟S936)。而當(dāng)差C(i)不小于閾值0(i)時(步驟S935中的 "否")，從得分S中減去權(quán)重o(i)(步驟S937)。
然后，向變量i添加值"l"(步驟S938)。判定變量i是否大于上限 t (步驟S939)。當(dāng)變量i不大于上限t時(步驟S939中的"否")，意 味著利用加載在工作存儲器301中的判定辭典的每一行中的值進(jìn)行的判定 未完成。因此，過程返回到步驟S933，并且利用相同的判定辭典重復(fù)步驟 S933至S938。然而，當(dāng)變量i大于上限t時(步驟S939中的"是")， 意味著利用加載在工作存儲器301中的判定辭典的每一行中的值進(jìn)行的判 定己完成。因此，過程前進(jìn)到步驟S940。判定得分S是否大于0 (步驟 S940)。
當(dāng)?shù)梅諷大于0時(步驟S940中的"是")，經(jīng)歷判定的正規(guī)化面 部圖像被判定為目標(biāo)圖像(步驟S941)。然而，當(dāng)?shù)梅諷不大于O時(步 驟S940中的"否")，經(jīng)歷判定的正規(guī)化面部圖像被判定為非目標(biāo)圖像 (步驟S942)。然后，過程返回到圖13中的步驟S930。
圖15是示出根據(jù)本發(fā)明的此實施例在由成像設(shè)備100進(jìn)行的成像控 制的過程中的優(yōu)先面部確定的過程(圖12中的步驟S950)的流程圖。
首先，優(yōu)先面部確定單元160從輸出自屬性判定單元150的判定結(jié)果 中包括的一個或多個面部中提取一個面部(步驟S951)。然后，優(yōu)先面部 確定單元160判定所提取的面部的屬性是否被賦予優(yōu)先級(步驟S952)。 換言之，優(yōu)先面部確定單元160判定與所提取的面部相關(guān)聯(lián)地存儲的每個 面部屬性的判定結(jié)果是否與所保存的面部屬性相匹配。
當(dāng)所提取的面部的屬性未被賦予優(yōu)先級時(步驟S952中的 "否")，所提取的面部不符合指定的面部屬性的條件。因此，過程前進(jìn) 到步驟S956。然而，當(dāng)所提取的面部的屬性被賦予優(yōu)先級時(步驟S952 中的"是")，優(yōu)先面部確定單元160判定是否存在優(yōu)先候選(步驟S953)。
當(dāng)不存在優(yōu)先候選時(步驟S953中的"否")，優(yōu)先面部確定單元 160將所提取的面部保存為優(yōu)先候選(步驟S955)。然而，當(dāng)存在優(yōu)先候 選時(步驟S953中的"是")，優(yōu)先面部確定單元160利用關(guān)于所檢測 的面部的面部信息塊作為評估值，判定所提取的面部的評估值是否大于優(yōu) 先候選的評估值(步驟S954)。至于評估值，可以使用表示面部的大小、 位置或方向的值。或者，可以使用與這些參數(shù)的組合相對應(yīng)的值。
當(dāng)所提取的面部的評估值大于優(yōu)先候選的值時(步驟S954中的 "是")，優(yōu)先面部確定單元160刪除當(dāng)前保存的優(yōu)先候選并且將所提取 的面部保存為優(yōu)先候選(步驟S955)。然而，當(dāng)所提取的面部的評估值不 大于優(yōu)先候選的值時(步驟S954中的"否")，判定所提取的面部不是 優(yōu)先面部，并且過程前進(jìn)到步驟S956。
然后，優(yōu)先面部確定單元160判定從屬性判定單元150輸出的判定結(jié) 果中包括的所有面部是否都已被提取(步驟S956)。如果并非所有面部都 已被提取(步驟S956中的"否")，則過程返回到步驟S951。然而，當(dāng) 所有面部都己被提取時(步驟S956中的"是")，優(yōu)先面部確定單元160 判定是否存在優(yōu)先候選(步驟S957)。
當(dāng)存在優(yōu)先候選時(步驟S957中的"是")，優(yōu)先面部確定單元160 判定當(dāng)前保存的優(yōu)先候選為優(yōu)先面部(步驟S963)。然而，當(dāng)不存在優(yōu)先 候選時(步驟S957中的"否")，過程前進(jìn)到步驟S958。換言之，如果 不存在優(yōu)先候選，則意味著不存在符合指定的面部屬性的條件的面部。因 此，關(guān)于檢測到的面部的面部信息塊被用作評估值以確定優(yōu)先面部。
優(yōu)先面部確定單元160從輸出自屬性判定單元150的判定結(jié)果中包括 的一個或多個面部中提取一個面部(步驟S958)。然后，優(yōu)先面部確定單 元160判定是否存在優(yōu)先候選(步驟S959)。
當(dāng)不存在優(yōu)先候選時(步驟S959中的"否")，優(yōu)先面部確定單元 160將所提取的面部保存為優(yōu)先候選(步驟S961)。然而，當(dāng)存在優(yōu)先候 選時(步驟S959中的"是")，優(yōu)先面部確定單元160判定所提取的面 部的評估值是否大于優(yōu)先候選的評估值(步驟S960)。當(dāng)所提取的面部的評估值大于優(yōu)先候選的值時(步驟S960)，優(yōu)先面 部確定單元160刪除當(dāng)前保存的優(yōu)先候選并且將所提取的面部保存為優(yōu)先 候選(步驟S961)。然而，當(dāng)所提取的面部的評估值不大于優(yōu)先候選的值 時(步驟S960中的"否")，判定所提取的面部不是優(yōu)先面部，并且過 程前進(jìn)到步驟S962。
優(yōu)先面部確定單元160判定從屬性判定單元150輸出的判定結(jié)果中包 括的所有面部是否都已被提取(步驟S962)。當(dāng)并非所有面部都已被提取 時，則過程返回到步驟S958。然而，當(dāng)所有面部都已被提取時(步驟 S962中的"是")，過程前進(jìn)到步驟S963。
已經(jīng)描述了基于面部屬性判定的結(jié)果來確定優(yōu)先面部的情況。現(xiàn)在將 描述成像設(shè)備100基于面部屬性判定的結(jié)果自動執(zhí)行成像操作(即拍攝操 作)的情況。
圖16是示出根據(jù)本發(fā)明第二實施例的成像設(shè)備500的功能結(jié)構(gòu)的框 圖。成像設(shè)備500是通過部分修改圖l所示的成像設(shè)備IOO來獲得的。具 體而言，成像設(shè)備500包括圖像記錄指示單元510和記錄控制單元520， 用來取代成像設(shè)備100中包括的優(yōu)先面部確定單元160和記錄控制單元 192。在成像設(shè)備500中，假定除了圖5所示的判定辭典外，辭典存儲單 元300還存儲微笑面部判定辭典、哭泣面部判定辭典、憤怒面部判定辭 典、以及張口面部判定辭典。由于成像設(shè)備500中除了圖像記錄指示單元 510和記錄控制單元520之外的組件與圖1所示的成像設(shè)備100的那些組 件相同，因此對其他組件的說明將被省略。
圖像記錄指示單元510基于與人的類型相關(guān)的面部屬性(即與人緊密 相關(guān)的屬性，例如世代或性別)以及與面部表情相關(guān)的面部屬性(例如微 笑面部或哭泣面部)，來指示記錄控制單元520何時記錄所攝圖像。具體 而言，圖像記錄指示單元510基于從屬性判定單元150輸出的面部屬性判 定的結(jié)果，來判定在通過面部檢測單元120檢測到的面部中是否存在這樣 的面部該面部滿足通過操作接受單元220指定的與人的類型相關(guān)的面部 屬性以及與面部表情相關(guān)的面部屬性的條件。當(dāng)存在滿足條件的面部時， 圖像記錄指示單元510指示記錄控制單元520記錄所攝圖像。將參考圖18至20來詳細(xì)描述記錄所攝圖像的指示。
記錄控制單元520根據(jù)來自圖像記錄指示單元510的指示來控制從成 像單元IIO輸出的所攝圖像在圖像存儲單元210上的記錄。具體而言，當(dāng) 從圖像記錄指示單元510接收到記錄所攝圖像的指示時，記錄控制單元 520將接收到指示時從成像單元110輸出的所攝圖像記錄到圖像存儲單元 210上。由于記錄控制單元520的其他結(jié)構(gòu)與圖1所示的記錄控制單元192 的相同，因此對它的其他結(jié)構(gòu)的描述將被省略。
圖17A和17B示出了根據(jù)本發(fā)明第二實施例的液晶面板201上的顯示 示例。圖17A示出了用于指定與人的類型相關(guān)的面部屬性的面部屬性指定 窗口。由于面部屬性指定窗口與圖3所示的相同，因此相同的組件用相同 的標(biāo)號來指定，并且對其的描述將被省略。圖17B示出了用于指定與面部 表情相關(guān)的面部屬性的面部表情指定窗口。在面部表情指定窗口中，示出 了指定按鈕241至245。面部表情指定窗口例如可以在面部屬性指定窗口 中指定按鈕231至235的至少一個被按壓時被顯示。面部表情指定窗口和 面部屬性指定窗口可以同時被顯示在液晶面板201上。
指定按鈕241至245是用于指定與面部表情相關(guān)的面部屬性的按鈕。 例如，為了自動記錄示出微笑面部的所攝圖像，按壓"微笑面部"指定按 鈕241。類似地，按壓"非微笑面部"指定按鈕242、"哭泣面部"指定 按鈕243、"憤怒面部"指定按鈕244和"張口面部"指定按鈕245中的 每一個，以指定與對應(yīng)于該按鈕的顯示區(qū)域中顯示的字符的面部表情相關(guān) 的面部屬性。
將針對與面部表情相關(guān)的面部屬性的五個指定按鈕被顯示并且其中的 任何一個被選擇的情況來描述第二實施例?？梢燥@示用于指定面部表情相 關(guān)的另外面部屬性的另外的指定按鈕，以便能夠指定另外的面部屬性。此 外，以下描述涉及與面部表情相關(guān)的一個面部屬性被指定的情況。本發(fā)明 的第二實施例適用于下述情況多個面部屬性被指定，并且符合所指定的 面部屬性的條件的面部被確定為優(yōu)先面部。注意，面部屬性是以面部屬性 不會相互矛盾的方式被指定的。指定相互矛盾的面部屬性例如是指定"微 笑面部"和"非微笑面部"。類似地，可以指定與人的類型相關(guān)的多個面部屬性。此外，可以指定與人的類型相關(guān)的多個面部屬性和與面部表情相 關(guān)的多個面部屬性。
圖18示出根據(jù)本發(fā)明的此實施例通過成像單元110攝取的圖像。圖
18所示的指示為700的所攝圖像是通過經(jīng)由成像設(shè)備500拍攝由四個人 (即父母和孩子)組成的家庭來獲得的。所攝圖像700示出了兒子401、 父親402、女兒403和母親404。所攝圖像700與圖7所示的所攝圖像400 相同，只不過父親402和女兒403沒有微笑。因此，將省略對所攝圖像 700的詳細(xì)描述。
圖19示意性地示出了根據(jù)本發(fā)明的此實施例的包含由屬性判定單元 150獲得的面部屬性判定的結(jié)果的面部屬性判定信息集合600。圖像記錄 指示單元510保存面部屬性判定信息集合600。
面部屬性判定信息集合600包含標(biāo)識(ID)號601、屬性信息"成人/ 兒童(世代)"602、屬性信息"男性/女性(性別)"603、屬性信息"嬰 兒/非嬰兒"604、屬性信息"微笑面部/非微笑面部"605、屬性信息"哭 泣面部/非哭泣面部"606、屬性信息"憤怒面部/非憤怒面部"607、以及 屬性信息"張口面部湖口面部"608，使得每個ID號與相應(yīng)的屬性信息塊 相關(guān)聯(lián)。由于ID號601、屬性信息"成人/兒童(世代)"602、屬性信息 "男性/女性(性別)"603和屬性信息"嬰兒/非嬰兒"604與圖8所示的 相同，因此對其的描述將被省略。與屬性信息"成人/兒童(世代)" 602、屬性信息"男性/女性(性別)"603和屬性信息"嬰兒/非嬰兒"604 相關(guān)的判定的結(jié)果是與人的類型(人的屬性)相關(guān)的面部屬性判定結(jié)果， 其他判定的結(jié)果是與面部表情相關(guān)的面部屬性判定結(jié)果。
屬性信息"微笑面部/非微笑面部"605、屬性信息"哭泣面部/非哭泣 面部"606、屬性信息"憤怒面部/非憤怒面部"607和屬性信息"張口面 部/閉口面部"608是由于通過屬性判定單元150利用判定辭典進(jìn)行面部屬 性判定而獲得的。例如，對于屬性信息"微笑面部/非微笑面部"605，作 為利用微笑面部判定辭典對圖18所示的面部405至408中的每一個進(jìn)行判 定的結(jié)果，指示出"微笑面部"或"非微笑面部"的屬性信息被存儲。對 于屬性信息"哭泣面部/非哭泣面部"606，作為利用哭泣面部判定辭典對圖18所示的面部405至408中的每一個進(jìn)行判定的結(jié)果，指示出"哭泣面 部"或"非哭泣面部"的屬性信息被存儲。對于屬性信息"憤怒面部/非憤 怒面部"607，作為利用憤怒面部判定辭典對圖18所示的面部405至408 中的每一個進(jìn)行判定的結(jié)果，指示出"憤怒面部"或"非憤怒面部"的屬 性信息被存儲。對于屬性信息"張口面部/閉口面部"608，作為利用憤怒 張口面部判定辭典對圖18所示的面部405至408中的每一個進(jìn)行判定的結(jié) 果，指示出"張口面部"或"閉口面部"的屬性信息被存儲。
基于面部屬性判定信息集合600中包含的各個信息塊，給出指示，該 指示用于記錄示出符合面部表情指定窗口和面部屬性指定窗口中指定的面 部屬性的條件的面部的所攝圖像。
例如，假定在圖17A所示的面部屬性指定窗口中"成人"指定按鈕 23被按壓，并且在圖17B所示的面部表情指定窗口中"微笑面部"指定按 鈕241被按鈕。在此情況下，當(dāng)與作為屬性信息"成人/兒童(世代)" 602的"成人"和作為屬性信息"微笑面部/非微笑面部"605的"微笑面 部"相關(guān)聯(lián)的面部被從面部屬性判定信息集合600中檢測到時，圖像記錄 指示單元510向記錄控制單元520發(fā)送記錄所攝圖像的指示，從而所攝圖 像被記錄。
參考圖18，由于所攝圖像700示出兩個成人(即，父親402和母親 404)，因此"成人"被存儲為與兩個成人的面部中的每一個相關(guān)聯(lián)的屬 性信息"成人/兒童(世代)"422。在此情況下，母親404在微笑，因此
"微笑面部"被存儲為與母親404 (由ID號"004"指示)相關(guān)聯(lián)的屬性 信息"微笑面部/非微笑面部"605。另一方面，由于父親402 (由ID號
"002"指示)沒有微笑，因此"非微笑面部"被存儲為與父親402相關(guān) 聯(lián)的屬性信息"微笑面部/非微笑面部"605。因此，從面部屬性判定信息 集合600中檢測出符合條件的母親404。因此，圖像記錄指示單元510向 記錄控制單元520發(fā)送記錄所攝圖像的指示，從而所攝圖像被記錄。
圖20是示出根據(jù)本發(fā)明第二實施例由成像設(shè)備500進(jìn)行的所攝圖像 記錄控制的過程的流程圖。假定圖像記錄指示單元510保存通過操作接受 單元220指定的與人的類型相關(guān)的面部屬性和與面部表情相關(guān)的面部屬性。步驟S971至S973以及S920與圖12中的步驟S902至S904以及S920
相同，對其的描述將被省略。
圖像記錄指示單元510從輸出自屬性判定單元150的判定結(jié)果中包括 的一個或多個面部中提取一個面部(步驟S974)。圖像記錄指示單元510 判定所提取的面部的面部屬性是否與通過操作接受單元220指定的與人的 類型相關(guān)的面部屬性相匹配(步驟S975)。具體而言，圖像記錄指示單元 510判定與所提取的面部相關(guān)聯(lián)地存儲的判定結(jié)果中存儲的屬性信息"成 人/兒童(世代)"602、屬性信息"男性/女性(性別)"603和屬性信息 "嬰兒/非嬰兒"604中的每一個是否匹配所保存的與人的類型相關(guān)的面部 屬性。
當(dāng)所提取的面部的屬性不與所指定的與人的類型相關(guān)的面部屬性相同 時(步驟S975中的"否")，過程前進(jìn)到步驟S978。然而，當(dāng)所提取的 面部的屬性與所指定的與人的類型相關(guān)的面部屬性相匹配時(步驟S975 中的"是")，圖像記錄指示單元510判定所提取的面部的屬性是否與通 過操作接受單元220指定的與面部表情相關(guān)的面部屬性相同(步驟 S976)。具體而言，圖像記錄指示單元510判定與所提取的面部相關(guān)聯(lián)地 存儲的判定結(jié)果中的屬性信息"微笑面部/非微笑面部"605、屬性信息 "哭泣面部/非哭泣面部"606、屬性信息"憤怒面部/非憤怒面部"607和 屬性信息"張口面部/閉口面部"608中的每一個是否匹配所保存的與面部 表情相關(guān)的面部屬性。
當(dāng)所提取的面部的屬性不與所指定的與面部表情相關(guān)的面部屬性相同 時(步驟S976中的"否")，過程前進(jìn)到步驟S978。然而，當(dāng)所提取的 面部的屬性與所指定的與面部表情相關(guān)的面部屬性相同時(步驟S976中 的"是")，圖像記錄指示單元510向記錄控制單元520輸出記錄所攝圖 像的指示(步驟S977)。當(dāng)接收到記錄所攝圖像的指示時，記錄控制單元 520將在接收到指示時從成像單元110輸出的所攝圖像記錄到圖像存儲單 元210上。
另外，圖像記錄指示單元510判定從屬性判定單元150輸出的判定結(jié) 果中包括的所有面部是否已都被提取(步驟S978)。當(dāng)并非所有面部都己被提取時(步驟S978中的"否")，過程返回到步驟S974。然而，當(dāng)所 有面部都已經(jīng)被提取時(步驟S978中的"是")，用于所攝圖像記錄控 制的過程終止。
如上所述，根據(jù)本發(fā)明的第一實施例，具有在液晶面板201中指定的 面部屬性的人的面部可以被確定為優(yōu)先面部。因此，可以基于優(yōu)先面部來 設(shè)定各種成像參數(shù)以記錄所攝圖像，從而可以清楚且優(yōu)美地記錄具有指定 的面部屬性的人的面部。此外，可以向優(yōu)先面部指派優(yōu)先面部位置標(biāo)記， 使得拍攝者可以很容易地識別被確定為優(yōu)先面部的人。另外，除了優(yōu)先面 部之外的人可以被顯示為帶有面部位置標(biāo)記，使得拍攝者可以很容易地區(qū) 分優(yōu)先面部和其他面部。例如，為了拍攝以成人為背景的兒童，拍攝者按 壓面部屬性指定窗口中的"兒童"指定按鈕234，然后執(zhí)行拍攝操作。因 此，比起成人來，可以更加清楚和優(yōu)美地拍攝成人前面的兒童的臉。
根據(jù)本發(fā)明的第二實施例，當(dāng)檢測到具有在液晶面板201中指定的與 人的類型相關(guān)的面部屬性和與面部表情相關(guān)的面部屬性的面部時，可以記 錄檢測時的所攝圖像。因此，可以很容易地記錄與用戶指定的人的類型相 對應(yīng)的人的照片來作為所攝圖像，使得該人具有用戶喜愛的面部表情。例 如，為了拍攝以成人為背景的具有微笑面部的兒童，用戶按壓面部屬性指 定窗口中的"兒童"指定按鈕234，并且還按壓面部表情指定窗口中的 "微笑面部"指定按鈕241，然后執(zhí)行拍攝操作。因此，雖然即使在背景 中的成人微笑時記錄所攝圖像的操作也未被執(zhí)行，但是當(dāng)該兒童微笑時， 記錄所攝圖像的操作可以被自動執(zhí)行。換言之，可以很容易地記錄符合用 戶的偏好的所攝圖像。
已經(jīng)針對就面部屬性"成人/兒童(世代)"、"男性/女性(性 別)"、"嬰兒/非嬰兒"、"微笑面部/非微笑面部"、"哭泣面部/非哭 泣面部"、"憤怒面部/非憤怒面部"和"張口面部/閉口面部"進(jìn)行判定 的情況描述了本發(fā)明的第一和第二實施例。本發(fā)明的實施例可以應(yīng)用到就 面部是否具有另一面部屬性進(jìn)行判定的情況。其他面部屬性例如可以與雙 眼的位置、眼睛的開/閉狀態(tài)、面部表情、種族、面部拍攝狀況和面部方向 相關(guān)。已經(jīng)針對辭典存儲單元300存儲多個判定辭典的情況描述了本發(fā)明的實施例。本發(fā)明的實施例可以應(yīng)用到辭典存儲單元300存儲一個判定辭 典的情況。已經(jīng)針對存儲在辭典存儲單元300中的各個判定辭典被用作針 對關(guān)于正規(guī)化面部圖像是否是目標(biāo)圖像的判定所設(shè)定的評估信息的情況描 述了本發(fā)明的實施例?？梢允褂昧硗獾目捎脕砭驼?guī)化面部圖像是否是目 標(biāo)圖像進(jìn)行判定的評估信息。
已經(jīng)針對檢測所攝圖像中示出的人的面部并且判定與檢測到的面部相 關(guān)聯(lián)的面部屬性的情況描述了本發(fā)明的實施例。本發(fā)明的實施例可以應(yīng)用 到從所攝圖像中檢測除人臉之外的另外的對象并且判定與檢測到的對象相 關(guān)聯(lián)的屬性的情況。所攝圖像中示出的除人臉之外的其他對象例如可以包 括寵物(例如貓或狗)的面部、動物(例如馬或牛)的面部、以及交通 工具(例如汽車或火車)的面部。
已經(jīng)針對屬于一個類別的對象屬性是與人的面部表情相關(guān)的面部屬性 并且屬于另一類別的對象屬性是與人的類型相關(guān)的屬性的情況描述了本發(fā) 明的實施例。本發(fā)明的實施例可以應(yīng)用到下述情況屬于一個類別的對象 屬性是與對象的表面上的變化相關(guān)的屬性，屬于另一類別的對象屬性是與 對象的類型相關(guān)的屬性。
已經(jīng)針對選擇多個優(yōu)先候選并且從優(yōu)先候選中確定一個優(yōu)先面部的情 況描述了本發(fā)明的第一實施例。多個優(yōu)先候選可以被用作優(yōu)先面部，并且 可以基于優(yōu)先面部來執(zhí)行諸如曝光之類的成像控制。
已經(jīng)針對作為示例的成像設(shè)備描述了本發(fā)明的第一和第二實施例。本 發(fā)明的實施例可以應(yīng)用到各種成像設(shè)備，例如攝取靜止圖像和運動圖像的 攝像機、以及具有成像功能的移動電話。
本發(fā)明的實施例是用于實現(xiàn)本發(fā)明的示例。雖然在權(quán)利要求的特征和 本發(fā)明的實施例中的特定要素之間存在對應(yīng)關(guān)系(如后所述)，但是本發(fā) 明并不限于這些實施例。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計要求和 其他因素，可以進(jìn)行各種修改、組合、子組合和變更，只要它們處于所附 權(quán)利要求或其等同物的范圍之內(nèi)。
操作接受單元220例如對應(yīng)于根據(jù)本發(fā)明實施例的操作接受裝置。成
像單元110例如對應(yīng)于根據(jù)實施例的成像裝置。面部檢測單元120例如對應(yīng)于根據(jù)實施例的對象檢測裝置。屬性判定單元150例如對應(yīng)于根據(jù)實施 例的屬性判定裝置。
優(yōu)先面部確定單元160例如對應(yīng)于根據(jù)本發(fā)明實施例的優(yōu)先對象確定 裝置。
成像控制單元191例如對應(yīng)于根據(jù)本發(fā)明實施例的成像控制裝置。 記錄控制單元192例如對應(yīng)于根據(jù)本發(fā)明實施例的記錄控制裝置。 面部位置標(biāo)記生成單元170例如對應(yīng)于根據(jù)本發(fā)明實施例的對象位置
標(biāo)記生成裝置。疊加單元180例如對應(yīng)于根據(jù)實施例的疊加裝置。顯示單
元200例如對應(yīng)于根據(jù)實施例的顯示裝置。
圖像記錄指示單元510例如對應(yīng)于根據(jù)本發(fā)明實施例的圖像記錄指示裝置。
步驟S902例如對應(yīng)于根據(jù)本發(fā)明實施例的成像步驟。步驟S903例如 對應(yīng)于根據(jù)實施例的對象檢測步驟。步驟S920例如對應(yīng)于根據(jù)實施例的 屬性判定步驟。步驟S950例如對應(yīng)于根據(jù)實施例的優(yōu)先對象確定步驟。
在前述本發(fā)明實施例中的每一個中描述的處理步驟可以被視為包括這 些處理步驟的方法、使得計算機可以執(zhí)行這些處理步驟的程序、或者記錄 該程序的記錄介質(zhì)。
本發(fā)明包含與2007年11月2日向日本專利局提交的日本專利申請JP 2007-286657相關(guān)的主題，這里通過引用將該申請的全部內(nèi)容并入。
權(quán)利要求
1. 一種成像設(shè)備，包括操作接受裝置，用于接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入；成像裝置，用于將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像；對象檢測裝置，用于檢測所述所攝圖像中包括的一個或多個對象；屬性判定裝置，用于判定每個檢測到的對象的屬性；以及優(yōu)先對象確定裝置，用于基于所指定的屬性和所判定的屬性，確定檢測到的對象中的至少一個來作為優(yōu)先對象。
2. 根據(jù)權(quán)利要求1所述的設(shè)備，還包括-成像控制裝置，用于基于所述優(yōu)先對象來設(shè)定預(yù)定的成像參數(shù)，以執(zhí) 行成像控制。
3. 根據(jù)權(quán)利要求2所述的設(shè)備，其中所述成像控制裝置基于所述所指 定的屬性來設(shè)定所述成像參數(shù)，以執(zhí)行所述成像控制。
4. 根據(jù)權(quán)利要求2所述的設(shè)備，其中所述成像控制裝置基于所述優(yōu)先 對象來設(shè)定作為所述成像參數(shù)的白平衡、顏色平衡、曝光和聚焦中的至少 一種，以執(zhí)行所述成像控制。
5. 根據(jù)權(quán)利要求1所述的設(shè)備，還包括記錄控制裝置，用于將在確定所述優(yōu)先對象時通過所述成像裝置轉(zhuǎn)換 的所攝圖像記錄到預(yù)定的記錄介質(zhì)上。
6. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述操作接受裝置接受指定與所述預(yù)定對象相關(guān)聯(lián)的多個屬性的操作 輸入，并且所述優(yōu)先對象確定裝置基于所指定的屬性和所判定的屬性來確定所述 優(yōu)先對象。
7. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述操作接受裝置接受指定與所述預(yù)定對象相關(guān)聯(lián)的第一屬性和第二 屬性的操作輸入，所述第一屬性和第二屬性屬于兩個不同的類別，并且 所述優(yōu)先對象確定裝置基于所指定的第一屬性和第二屬性以及所判定的屬性來確定所述優(yōu)先對象。
8. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述優(yōu)先對象確定裝置從檢測到 的對象中選擇具有與所指定的屬性相匹配的所判定的屬性的對象，以確定 所述優(yōu)先對象。
9. 根據(jù)權(quán)利要求8所述的設(shè)備，其中所述對象檢測裝置判定所述所攝圖像中的每個檢測到的對象的大小、 位置和方向中的至少一種，當(dāng)選擇了多個對象時，所述優(yōu)先對象確定裝置基于每個對象的大小、 位置和方向中的至少一種來從所選擇的多個對象中確定所述優(yōu)先對象。
10. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述對象檢測裝置確定所述所攝圖像中的每個檢測到的對象的大小和 位置，并且所述設(shè)備還包括-對象位置標(biāo)記生成裝置，用于基于所述優(yōu)先對象的大小和位置，生成 指示出所述所攝圖像中所述優(yōu)先對象的位置的優(yōu)先對象位置標(biāo)記；疊加裝置，用于將所生成的優(yōu)先對象位置標(biāo)記疊加在所述所攝圖像 上；以及顯示裝置，用于顯示所得到的圖像。
11. 根據(jù)權(quán)利要求10所述的設(shè)備，其中所述對象位置標(biāo)記生成裝置基于每個檢測到的對象的大小和位置來生 成對象位置標(biāo)記，該標(biāo)記指示出所述所攝圖像中除了所述優(yōu)先對象外的檢 測到的對象的位置，并且具有與所述優(yōu)先對象位置標(biāo)記的模式不同的模 式，并且所述疊加裝置將所生成的對象位置標(biāo)記疊加在所述所攝圖像上。
12. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述對象是人的面部。
13. —種成像設(shè)備，包括操作接受裝置，用于接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入； 成像裝置，用于將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像； 對象檢測裝置，用于檢測所述所攝圖像中包括的一個或多個對象； 屬性判定裝置，用于判定每個檢測到的對象的屬性；以及圖像記錄指示裝置，用于從檢測到的對象中選擇具有與所指定的屬性 相匹配的所判定的屬性的對象，并且指示將在選擇時通過所述成像裝置轉(zhuǎn) 換的所攝圖像記錄到預(yù)定的記錄介質(zhì)上。
14. 根據(jù)權(quán)利要求13所述的設(shè)備，其中所述操作接受裝置接受指定與所述預(yù)定對象相關(guān)聯(lián)的多個屬性的操作 輸入，并且所述圖像記錄指示裝置從檢測到的對象中選擇具有與所指定的屬性相 匹配的所判定的屬性的對象。
15. 根據(jù)權(quán)利要求13所述的設(shè)備，其中所述操作接受裝置接受指定與所述預(yù)定對象相關(guān)聯(lián)的第一屬性和第二 屬性的操作輸入，所述第一屬性和第二屬性屬于兩個不同的類別，并且所述圖像記錄指示裝置從檢測到的對象中選擇具有與所指定的第一屬 性和第二屬性相匹配的所判定的屬性的對象。
16. 根據(jù)權(quán)利要求15所述的設(shè)備，其中 所述第一屬性與對象的表面上的變化相關(guān)，并且 所述第二屬性與對象的類型相關(guān)。
17. 根據(jù)權(quán)利要求15所述的設(shè)備，其中 所述對象是人的面部， 所述第一屬性與人的面部表情相關(guān)，并且 所述第二屬性與人的類型相關(guān)。
18. —種用于控制成像設(shè)備的方法，該成像設(shè)備具有用于接受指定與 預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入的操作接受裝置，所述方法包括以下步 驟將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像； 檢測所述所攝圖像中包括的一個或多個對象； 判定每個檢測到的對象的屬性；以及基于所指定的屬性和所判定的屬性，確定檢測到的對象中的至少一個 來作為優(yōu)先對象。
19. 一種使計算機可以執(zhí)行用于成像設(shè)備的方法的程序，該成像設(shè)備具有用于接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入的操作接受裝置， 所述方法包括以下步驟將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像；檢測所述所攝圖像中包括的 一個或多個對象；判定每個檢測到的對象的屬性；以及基于所指定的屬性和所判定的屬性，確定檢測到的對象中的至少一個 來作為優(yōu)先對象。
20. —種成像設(shè)備，包括操作接受單元，接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入； 成像單元，將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像； 對象檢測單元，檢測所述所攝圖像中包括的一個或多個對象； 屬性判定單元，判定每個檢測到的對象的屬性；以及 優(yōu)先對象確定單元，基于所指定的屬性和所判定的屬性，確定檢測到 的對象中的至少一個來作為優(yōu)先對象。
21. —種成像設(shè)備，包括操作接受單元，接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入； 成像單元，將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像； 對象檢測單元，檢測所述所攝圖像中包括的一個或多個對象； 屬性判定單元，判定每個檢測到的對象的屬性；以及 圖像記錄指示單元，從檢測到的對象中選擇具有與所指定的屬性相匹配的所判定的屬性的對象，并且指示將在選擇時通過所述成像單元轉(zhuǎn)換的所攝圖像記錄到預(yù)定的記錄介質(zhì)上。
全文摘要
本發(fā)明提供了成像設(shè)備及其控制方法以及程序。一種成像設(shè)備包括以下元件。操作接受單元接受指定與預(yù)定對象相關(guān)聯(lián)的屬性的操作輸入。成像單元將來自被攝體的進(jìn)入光轉(zhuǎn)換成所攝圖像。對象檢測單元檢測所述所攝圖像中包括的一個或多個對象。屬性判定單元判定每個檢測到的對象的屬性。優(yōu)先對象確定單元基于所指定的屬性和所判定的屬性，確定檢測到的對象中的至少一個來作為優(yōu)先對象。
文檔編號H04N5/232GK101426088SQ20081017552
公開日2009年5月6日 申請日期2008年11月3日 優(yōu)先權(quán)日2007年11月2日
發(fā)明者小川要 申請人:索尼株式會社