專利名稱：圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，具體地講，涉及一種識別包括在圖像中 的特定對象的圖像處理設(shè)備和成像設(shè)備及其處理方法以及使得計算機執(zhí) 行該方法的程序。
背景技術(shù)：
近年來，在數(shù)字相機、數(shù)字攝像機(例如， 一體型相機/錄像機) 和蜂窩電話中實現(xiàn)的諸如微型相機的成像設(shè)備的性能得到提高。最近， 識別對象為何物的對象識別技術(shù)得到廣泛關(guān)注。作為這種對象識別技 術(shù)，例如提出了面部檢測技術(shù)，在該面部檢測技術(shù)中，通過圖像處理從 成像圖像中檢測人的面部。提出了如下的技術(shù)(所謂的面部屬性確定技術(shù))利用這種面部檢 測技術(shù)，通過對檢測到的面部進行圖像處理進一步確定諸如面部表情、 年齡、年齡組等的各種類型的面部屬性。例如，提出了一種成像設(shè)備， 利用該成像設(shè)備，在成人和兒童均作為對象包括在成像圖像中的情況 下，基于確定的面部屬性(例如，面部的年齡和年齡組)，與成人相 比，優(yōu)先對兒童進行成像從而使得看起來更好。另外，例如，提出了一 種成像設(shè)備，其中，針對檢測到的面部利用面部檢測技術(shù)計算關(guān)于特定 面部表情的面部表情評價值(例如，微笑程度)，并且在該面部表情評 價值超過閾值的情況下，自動執(zhí)行成像圖像的記錄操作(例如，參見日 本未審專利申請乂>報No. 2008-42319 )。發(fā)明內(nèi)容根據(jù)上述的現(xiàn)有技術(shù)，能夠利用針對檢測到的面部確定的面部屬性 來執(zhí)行成像圖像的記錄操作。然而，沒有考慮針對檢測到的面部是否是特定人的面部進行確定并且針對特定人的面部執(zhí)行各記錄操作的情況。
現(xiàn)在，例如，在安全領(lǐng)域中提出了用于識別特定人的面部的個人識 別技術(shù)?？梢韵氲降氖?，可以通過對成像設(shè)備應(yīng)用該個人識別技術(shù)以最 佳方式對特定人執(zhí)行對焦、膝光加倍、膚色調(diào)整等的控制。
為了執(zhí)行這種個人識別，例如，用于識別要進行識別的特定人的特 定個人信息(例如，關(guān)于特定人的面部的特征量)必須登記在成像設(shè)備 中。另外，為了執(zhí)行高精度的個人識別，登記適宜的特定個人信息是重 要的。例如，將諸如特定人的面部的朝向、眼睛的開/閉狀態(tài)、面部表 情等的可變要素設(shè)置到標準狀態(tài)，然后必須登記關(guān)于這樣的面部的特定 個人信息。作為這種特定個人信息的登記方法，例如，可以想到如下的 登記方法，其中，在執(zhí)行要登記的人的成像操作的同時通過手動用戶操 作將特定個人信息登記在成像設(shè)備。然而，初學(xué)者通過這種登記方法登 記適宜的特定個人信息有可能是困難的。
另外，例如，特定個人信息有可能隨著時間改變。因此，在適宜定 時更新適宜的特定個人信息是重要的，但是在通過手動用戶操作登記特 定個人信息的情況下，有可能特定個人信息不會在適宜定時被更新。因 此，預(yù)先登記適宜的特定個人信息并且然后適宜地執(zhí)行個人識別是重要 的。
已發(fā)現(xiàn)期望適宜地執(zhí)行個人識別。
根據(jù)本發(fā)明的實施例，提供了一種圖像處理設(shè)備、其處理方法和使
得計算機執(zhí)行該方法的程序，該圖像處理設(shè)備包括對象信息存儲單 元，用于存儲與多個對象相關(guān)的特征量和屬性；對象檢測單元，用于 檢測包括在圖像中的對象；屬性確定單元，用于確定所檢測到的對象 的屬性；特征量提取單元，用于提取與所檢測到的對象相關(guān)的特征 量；以及相似度計算單元，用于基于所確定的屬性，從存儲在所述對 象信息存儲單元中的與多個對象相關(guān)的特征量中選擇一個或多個特征 量，從而基于所選擇的特征量和所提取的特征量計算對應(yīng)于所選擇的 特征量的對象與所檢測到的對象之間的相似度。因此，提供了一種操 作，其中，基于縮確定的屬性從與多個對象相關(guān)的特征量中選擇一個或多個特征量，并且基于選擇的特征量和提取的特征量計算對應(yīng)于選 擇的特征量的對象與檢測到的對象之間的相似度。
所述對象檢測單元可檢測包括在所述圖像中的人的面部作為對
象；所述屬性確定單元將年齡或性別中的至少 一個確定為所檢測到的 人的面部的屬性；并且所述相似度計算單元從存儲在所述對象信息存
性別的面部，并且從對應(yīng)于所選擇的面部的特征量中選擇一個或多個 特征量。因此，提供了一種操作，其中，從存儲在對象信息存儲單元
面部，并且從對應(yīng)于所選擇的面部的特征量中選擇一個或多個特征
該圖像處理設(shè)備還可以包括對象信息登記單元，用于確定所計算 的相似度和所確定的屬性是否滿足登記條件，并且在確定了滿足所述 登記條件的情況下，將所提取的特征量和所確定的屬性存儲在所述對 象信息存儲單元中。因此，提供了一種操作，其中，在確定了所計算 的相似度和所確定的屬性滿足登記條件的情況下，存儲所提取的特征 量和所確定的屬性。
所述對象檢測單元可檢測包括在所述圖4象中的人的面部作為對 象；所述屬性確定單元將面部相像程度、面部朝向的正向程度、眼睛 崢開的程度和微笑程度中的至少 一個確定為檢測到的面部的屬性；并 且所述對象信息登記單元采用所計算的相似度超過闊值，且面部相像 程度、面部朝向的正向程度和眼睛睜開的程度中的至少一個超過閾值 并且所確定的微笑程度不超過閾值的條件作為登記條件，并且在確定 了滿足所述登記條件的情況下，將所提取的特征量和所確定的屬性存 儲在對象信息存儲單元中。因此，提供了一種操作，其中，在確定了 滿足登記條件即計算出的相似度超過閾值，且面部相像程度、面部取 向的正向程度和眼睛崢開的程度中的至少一個超過閾值并且確定的微 笑程度不超過閾值的情況下，存儲提取的特征量和確定的屬性。
所述對象信息存儲單元可針對每個所述對象存儲在存儲與所述對象相關(guān)的特征量和屬性時的日期和時間；所述對象信息登記單元在確 定了滿足所述登記條件的情況下，確定對應(yīng)于存儲在所述對象信息存 儲單元中的所選擇的特征量的日期和時間是否過去了 一定時間以上， 并且在確定了對應(yīng)于所選擇的特征量的日期和時間過去了 一定時間以 上的情況下，將所提取的特征量和所確定的屬性存儲在所述對象信息 存儲單元中。因此，提供了一種操作，其中，在確定了滿足登記條件 的情況下，確定對應(yīng)于存儲在所述對象信息存儲單元中的所選擇的特 征量的日期和時間是否過去了一定時間以上，并且在確定了對應(yīng)于所 選擇的特征量的日期和時間過去了 一定時間以上的情況下，存儲所提
取的特征量和所確定的屬性。
所述對象信息登記單元可在用作被確定為滿足所述登記條件的相 似度計算目標的存儲在所述對象信息存儲單元中的特征量以及與該特 征量對應(yīng)的屬性上寫入并存儲所提取的特征量和所確定的屬性。因 此，提供了一種操作，其中，在用作被確定為滿足所述登記條件的相 似度計算目標的存儲在所述對象信息存儲單元中的特征量以及與該特 征量對應(yīng)的屬性上寫入并存儲所提取的特征量和所確定的屬性。
根據(jù)本發(fā)明的實施例，提供了一種成像設(shè)備、其處理方法和使得 計算機執(zhí)行該方法的程序，該成像設(shè)備包括對象信息存儲單元，用 于存儲與多個對象相關(guān)的特征量和屬性；成像單元，用于對對象進行 成像以產(chǎn)生成像圖像；對象檢測單元，用于檢測包括在所述成像圖像 中的對象；屬性確定單元，用于確定所檢測到的對象的屬性；特征量 提取單元，用于提取與所檢測到的對象相關(guān)的特征量；記錄指示單 元，用于確定所確定的屬性是否滿足用于所述成像圖像的記錄操作的 記錄操作條件，并且在確定了滿足所述記錄操作條件的情況下，指示 記錄所述成像圖像；相似度計算單元，用于基于所確定的屬性從存儲 在所述對象信息存儲單元中的與多個對象相關(guān)的特征量中選擇一個或 多個特征量，從而基于所選擇的特征量和所提取的特征量計算對應(yīng)于 所選擇的特征量的對象與所檢測到的對象之間的相似度；以及對象信 息登記單元，用于確定所計算的相似度和所確定的屬性是否滿足登記條件，并且在確定了滿足所述登記條件的情況下，將所提取的特征量 和所確定的屬性存儲在所述對象信息存儲單元中。因此，提供了一種 操作，其中，在確定了所確定的屬性滿足記錄操作條件的情況下，指 示記錄所述成像圖像，基于所確定的屬性從與多個對象相關(guān)的特征量 中選捧一個或多個特征量，從而基于所選擇的特征量和所提取的特征
量計算對應(yīng)于所選擇的特征量的對象與所檢測到的對象之間的相似 度，并且在確定了所計算的相似度和所確定的屬性滿足所述登記條件 的情況下，存儲所提取的特征量和所確定的屬性。
與所確定的屬性相關(guān)的所述記錄操作條件和所述登記條件的設(shè)置 內(nèi)容可以不同。因此，提供了一種操作，其中，在假定與所確定的屬 性相關(guān)的所述記錄操作條件和所述登記條件的設(shè)置內(nèi)容不同的情況下 執(zhí)行成像圖像的記錄指令以及所提取的特征量和所確定的屬性的存 儲。
所述對象檢測單元可檢測包括在圖像中的人的面部作為對象；所 述屬性確定單元將面部相像程度和微笑程度中的至少一個確定為所檢 測到的人面部的屬性；并且所述記錄指示單元采用所計算的相似度超 過閾值，且所確定的面部相像程度和微笑程度超過閾值的條件作為所 述記錄操作條件，并且在滿足所述記錄操作條件的情況下，指示記錄 所述成像圖像。因此，提供了一種操作，其中，在確定了滿足記錄操 作條件即計算出的相似度超過閾值并且所確定的面部相像程度和微笑 程度超過閾值的情況下，指示記錄成像圖像。
根據(jù)以上結(jié)構(gòu)，提供了如下的出色優(yōu)點可以適宜地執(zhí)行個人識別。


圖1是示出了根據(jù)本發(fā)明實施例的成像設(shè)備的功能結(jié)構(gòu)示例的框
圖2是示出了根據(jù)本發(fā)明實施例的面部檢測單元的功能結(jié)構(gòu)示例的
框圖；圖3是示出了根據(jù)本發(fā)明實施例的個人識別單元的功能結(jié)構(gòu)示例以 及個人識別單元、圖像RAM、圖像總線和特定個人信息存儲單元之間 的示意性關(guān)系的框圖4是示出了根據(jù)本發(fā)明實施例的在對作為包括由面部檢測單元檢 測到的面部的周邊圖像的面部圖像進行正規(guī)化的情況下的正規(guī)化示例的 圖5A和5B是示意性示出了才艮據(jù)本發(fā)明實施例的用作屬性確定單 元的面部屬性確定目標的面部圖像的圖6是示出了根據(jù)本發(fā)明實施例的屬性確定單元執(zhí)行屬性確定時利 用的屬性確定字典的結(jié)構(gòu)示例的圖7A到7C是示出了與由根據(jù)本發(fā)明實施例的屬性確定單元針對 正規(guī)化面部圖像利用屬性確定字典獲得的各面部屬性相關(guān)的累積結(jié)果值 的范圍的圖8是示出了根據(jù)本發(fā)明實施例的從屬性確定單元輸出的與各屬性 相關(guān)的確定結(jié)果和累積結(jié)果值的示例的圖9A到9C是示出了根據(jù)本發(fā)明實施例的用于計M設(shè)置到由正 規(guī)化單元產(chǎn)生的正規(guī)化面部圖像的特征點的位置的特征點位置計算方法 的示例的圖10是示出了根據(jù)本發(fā)明實施例的當在由正規(guī)化單元產(chǎn)生的正規(guī) 化面部圖像上設(shè)置特征點的情況下的布局示例的圖11A到11C是示出了根據(jù)本發(fā)明實施例的當在由正規(guī)化單元產(chǎn) 生的正規(guī)化面部圖像上設(shè)置特征點的情況下的布局示例的圖12A和12B是示出了表示由根據(jù)本發(fā)明實施例的面部特征量提 取單元利用的Gabor濾波器和Gabor濾波器中的一個濾波器的系數(shù)的 曲線圖的示例的圖13是示出了根據(jù)本發(fā)明實施例的用作由正規(guī)化單元產(chǎn)生的正規(guī) 化面部圖像的示例的正規(guī)化面部圖4象的圖14是示意性示出了作為由根據(jù)本發(fā)明實施例的面部特征量提取 單元提取的特征量的集合的面部特征量的圖；圖15是示意性示出了根據(jù)本發(fā)明實施例的存儲在特定個人信息存 儲單元中的各信息的圖16是示意性示出了根據(jù)本發(fā)明實施例的保持在相似度計算基準 數(shù)據(jù)保持單元中的相似度計算字典的圖17是示出了根據(jù)本發(fā)明實施例的在由相似度計算單元計算要確 定的面部的相似度時利用的相似度計算字典的結(jié)構(gòu)示例的圖18是示意性示出了根據(jù)本發(fā)明實施例的相似度計算單元用來計 算要確定的面部的相似度的相似度計算方法的圖19是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元計算 要確定的面部的相似度的相似度計算字典的示例的圖20是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元計算 要確定的面部的相似度的相似度計算字典的示例的圖21是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元計算 要確定的面部的相似度的相似度計算字典的示例的圖22是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元計算 要確定的面部的相似度的相似度計算字典的示例的圖23是示出了根據(jù)本發(fā)明實施例的相似度計算單元的相似度計算 方法的概要的圖24A和24B是示意性示出了由根據(jù)本發(fā)明實施例的正規(guī)化單元 產(chǎn)生的正規(guī)化面部圖像與由根據(jù)本發(fā)明實施例的屬性確定單元計算出的 累積結(jié)果值之間的關(guān)系的圖25A和25B是示意性示出了由根據(jù)本發(fā)明實施例的正規(guī)化單元 產(chǎn)生的正規(guī)化面部圖像與由根據(jù)本發(fā)明實施例的屬性確定單元計算出的 累積結(jié)果值之間的關(guān)系的圖26是示出根據(jù)本發(fā)明實施例的成像設(shè)備的個人識別處理的過程 的流禾呈圖27是示出根據(jù)本發(fā)明實施例的成像設(shè)備的個人識別處理的過程 的面部屬性確定過程的流程圖28是示出根據(jù)本發(fā)明實施例的成像設(shè)備的面部屬性確定處理的
ii過程的流程圖29是示出根據(jù)本發(fā)明實施例的成像設(shè)備的個人識別處理的過程 的面部相似度計算過程的流程圖30是示出根據(jù)本發(fā)明實施例的成像設(shè)備的面部相似度計算處理 的過程的相似度計算過程的流程圖31是示出根據(jù)本發(fā)明實施例的成像設(shè)備的個人識別處理的過程 的面部屬性確定過程的流程圖32是示出根據(jù)本發(fā)明實施例的成像設(shè)備的特定個人信息登記處 理的過程的流程圖33是示出根據(jù)本發(fā)明實施例的成像設(shè)備的特定個人信息登記處 理的過程的特定個人信息登記確定過程的流程圖；以及
圖34是示出根據(jù)本發(fā)明實施例的成像設(shè)備的靜止圖像記錄處理的 過程的流程圖。
具體實施例方式
接下來，將參照附圖詳細描述本發(fā)明的實施例。圖l是示出根據(jù)本 發(fā)明的實施例的成傳J殳備100的功能結(jié)構(gòu)示例的4醫(yī)圖。成像設(shè)備100的 示例包括諸如數(shù)字相機、數(shù)字攝像機等的成像設(shè)備或者諸如屬于如蜂窩 電話、個人計算機等的終端裝置的相機的成像設(shè)備。
成像設(shè)備100包括CPU (中央處理單元)110、鏡頭單元121、圖 像傳感器122、相機信號處理單元123和圖像RAM (隨機存取存儲 器)130。另外，成像設(shè)備100包括圖像壓縮/解壓縮單元140、顯示單 元150、操作接收單元160、存儲介質(zhì)170、易失性/非易失性存儲介質(zhì) 180、圖像總線l卯和GPS信號處理單元195。另外，成像設(shè)備100包 括面部檢測單元200、個人識別單元300和特定個人信息存儲單元 380。要注意，利用直接交換、或者經(jīng)由作為共享存儲器的圖像RAM 130或圖像總線190的交換，執(zhí)行成像設(shè)備100的各個塊之間的圖像信 號的發(fā)送/接收。
CPU 110是基于存儲在存儲器(未示出)中的各種類型的控制程序
12對成像設(shè)備的各單元進行控制的CPU。要注意，CPU 110是在發(fā)明內(nèi)
容部分中記載的記錄指示單元的示例。
鏡頭單元121由諸如對聚透鏡、變焦透鏡等的多個透鏡構(gòu)成，并且 將經(jīng)由這些透鏡輸入的來自對象的入射光輸出到圖像傳感器122。另 外，由CPU 110執(zhí)行在鏡頭單元121處的光闌控制和對焦控制。
圖像傳感器122對通過鏡頭單元121的入射光進行光電轉(zhuǎn)換以產(chǎn)生 電信號，并且將產(chǎn)生的電信號輸出到相機信號處理單元123。
相機信號處理單元123對從圖像傳感器122輸出的電信號進行各種 類型的信號處理，然后將經(jīng)歷了信號處理的圖像數(shù)據(jù)輸出到圖像RAM 130、圖像壓縮/解壓縮單元140、顯示單元150和面部檢測單元200。 相機信號處理單元123的信號處理的示例包括白平衡調(diào)整、降噪處理、 電平校正處理、A/D轉(zhuǎn)換處理和色彩校正處理。要注意，圖像傳感器 122和相機信號處理單元123是發(fā)明內(nèi)容中記載的成像單元的示例。
圖像RAM 130存儲用作成像設(shè)備100的處理目標的圖像數(shù)據(jù)。
圖像壓縮/解壓縮單元140根據(jù)各圖像處理對輸入的各種類型的圖 像數(shù)據(jù)進行壓縮或解壓縮。例如，由圖像壓縮/解壓縮單元140進行了 壓縮處理的圖像數(shù)據(jù)被輸出到存儲介質(zhì)170并^皮記錄。另外，由圖像壓 縮/解壓縮單元140進行了解壓縮處理的圖像數(shù)據(jù)被輸出到圖像RAM 130、顯示單元150和面部檢測單元200。要注意，例如可以采用JPEG (聯(lián)合圖像專家組)格式作為壓縮格式。
顯示單元150是顯示與由相機信號處理單元123或者圖像壓縮/解 壓縮單元140輸出的圖像數(shù)據(jù)對應(yīng)的圖像的顯示單元。
操作接收單元160是接收由用戶執(zhí)行的各種類型的操作并且將接收 的操作內(nèi)容輸出給CPU110的操作接收單元。例如，作為操作接收單元 160，各種類型的梯:作構(gòu)件包括在成像設(shè)備100中。該操作構(gòu)件的示例 包括特定個人信息登記按鈕、特定個人信息自動更新模式設(shè)置/解除按 鈕、靜止圖像記錄模式設(shè)置/解除按鈕、快門按鈕、笑臉靜止圖像記錄 模式設(shè)置/解除按鈕、運動圖像記錄模式設(shè)置/解除按鈕和記錄按鈕。特 定個人信息登記按鈕是在登記關(guān)于包括在現(xiàn)在正在成像的圖像中的面部的特定個人信息時要按壓的按鈕。該特定個人信息是關(guān)于特定人的信 息，它的示例是諸如關(guān)于特定人的面部的特征量、其面部的屬性(面部 屬性)等的信息。特定個人信息自動更新模式設(shè)置/解除按鈕是當包括 在現(xiàn)在正在成像的圖像中的面部是特定人并且滿足一定條件時，用于設(shè) 置或解除更新模式的按鈕，在該更新模式中，自動更新或者附加登記關(guān) 于其面部的特定個人信息。靜止圖像記錄模式設(shè)置/解除按鈕是用于設(shè) 置或者解除靜止圖像記錄模式的按鈕，在靜止圖像記錄模式中，靜止圖 像的記錄被設(shè)置為可記錄狀態(tài)?？扉T按鈕是在已設(shè)置靜止圖像記錄模式 或者運動圖像記錄模式的情況下在記錄現(xiàn)在正在成像的圖像時要按壓的 按鈕。笑臉靜止圖像記錄模式設(shè)置/解除按鈕是用于設(shè)置或者解除笑臉 靜止圖像記錄模式的按鈕，在笑臉靜止圖像記錄模式中，在確定了包括 在現(xiàn)在正在成像的圖像中的面部是笑臉時，自動記錄它的靜止圖像。運 動圖像記錄模式設(shè)置/解除按鈕是用于設(shè)置或者解除運動圖像記錄模式 的按鈕，在運動圖像記錄模式中，運動圖像的記錄被設(shè)置為可記錄狀 態(tài)。記錄按鈕是在設(shè)置了運動圖像記錄模式的情況下在開始或結(jié)束運動
圖像的記錄時要按壓的按鈕。要注意，顯示單元150和操作接收單元 160可以被一體地構(gòu)成為觸摸面板，或者可以用液晶顯示器(LCD)作 為顯示單元150并且用諸如D-pad等的硬件鍵作為操作接收單元160而 分別構(gòu)成。
存儲介質(zhì)170是存儲從圖像壓縮/解壓縮單元140輸出的圖像數(shù)據(jù) 的存儲介質(zhì)。另外，存儲介質(zhì)170將存儲的圖像數(shù)據(jù)輸出到圖像壓縮/ 解壓縮單元140。要注意，圖像存儲介質(zhì)的示例包括磁盤、光盤、半導(dǎo) 體存儲介質(zhì)和磁帶。另外，圖像存儲介質(zhì)可以是可從外部分開的存儲介 質(zhì)或者是內(nèi)置存儲介質(zhì)。
易失性/非易失性存儲介質(zhì)180是存儲各種類型的信息的易失性/非 易失性存儲介質(zhì)。
圖像總線l卯是用于傳播圖像數(shù)據(jù)的共享總線。
GPS信號處理單元195基于從GPS信號接收天線(未示出)接收 到的GPS信號計算位置信息，并且將計算出的位置信息輸出到CPU110。要注意，計算出的位置信息包括諸如綿度、經(jīng)度、海拔、方向、
時刻等的數(shù)值數(shù)據(jù)。
面部檢測單元200檢測包括在與輸入的圖像數(shù)據(jù)對應(yīng)的圖像中的人 的面部，并且經(jīng)由圖像總線190將包括檢測到的面部的作為其周邊圖像 的面部圖像輸出到圖像RAM 130。另外，面部檢測單元200將關(guān)于檢 測到的面部的信息輸出到個人識別單元300。要注意，將參照圖2詳細 描述面部檢測單元200。另外，面部檢測單元200是發(fā)明內(nèi)容中記載的
對IM^測單元的示例。
個人識別單元300計算指示由面部檢測單元200檢測到的面部是否 是與特定個人信息存儲在特定個人信息存儲單元380中的人(登記人) 的面部相同的面部的相似度，并且將計算出的相似度輸出到CPU 110。 也就是說，個人識別單元300確定由面部檢測單元200檢測到的面部是 否是與登記面部相同的面部。CPU 110可以基于計算出的相似度執(zhí)行各 種控制。例如，對于成4象圖4象，可以向確定為與登記人的面部相同的面 部添加標記。另外，例如，對于成像圖4象，能夠執(zhí)行用于對確定為與登 記人的面部相同的面部進行優(yōu)化的成像控制(例如，諸如對焦、曝光調(diào) 整、膚色調(diào)整等的成像控制)。另外，在確定了包括在現(xiàn)在正在成像的 圖像中的面部是特定人并且還滿足一定條件的情況下，個人識別單元 300自動更新或者附加登記關(guān)于該面部的特定個人信息。要注意，將參 照圖3詳細描述個人識別單元300。
特定個人信息存儲單元380存儲特定個人信息，并且經(jīng)由圖像總線 l卯將存儲的特定個人信息提供給個人識別單元300。另外，特定個人 信息存儲單元380針對每個人覆寫或者另外記錄從個人識別單元300輸 出的特定個人信息。要注意，將參照圖3和圖15詳細描述特定個人信 息380。另外，特定個人信息存儲單元380是發(fā)明內(nèi)容中記載的對象信 息存儲單元的示例。
現(xiàn)在，在由操作接收單元160接收到快門按鈕的按壓操作的情況 下，CPU 110控制圖像傳感器122、相機信號處理單元123、圖像壓縮/ 解壓縮單元140等執(zhí)行靜止圖像的記錄操作。例如，當按壓快門按鈕時，經(jīng)相機信號處理單元123處理的一幀的圖像數(shù)據(jù)被提供給圖像壓縮 /解壓縮單元140，并且根據(jù)預(yù)定的編碼方法被圖像壓縮/解壓縮單元140 壓縮和編碼。接下來，經(jīng)歷了壓縮處理的圖像數(shù)據(jù)被輸出到存儲介質(zhì) 170并且被記錄。另外，在設(shè)置了運動圖像記錄模式的情況下并且在由 操作接收單元160接收到記錄#^的按壓操作的情況下，CPU 110控制 圖像傳感器122、相機信號處理單元123、圖像壓縮/解壓縮單元140等 執(zhí)行運動圖像的記錄操作。例如，當按壓了記錄按鈕時，經(jīng)相機信號處 理單元123處理的圖像數(shù)據(jù)被連續(xù)提供給圖像壓縮/解壓縮單元140并 且根據(jù)預(yù)定的編碼方法被圖像壓縮/解壓縮單元140進行壓縮和編碼。
要注意，可以向圖像設(shè)備100提供輸入/輸出端子，從而在CPU 110的控制下，將由圖像壓縮/解壓縮單元140輸出的圖像數(shù)據(jù)輸出到諸 如外部存儲介質(zhì)的外部設(shè)備并且將從外部存儲介質(zhì)輸入的圖像數(shù)據(jù)輸出
到圖<象壓縮/解壓縮單元140。
圖2是示出根據(jù)本發(fā)明的實施例的面部檢測單元200的功能結(jié)構(gòu)示 例的框圖。面部檢測單元200包括控制器210、圖^象縮i欠單元220、圖 像保持單元230、基準面部數(shù)據(jù)保持單元240和確定單元250。
控制器210根據(jù)來自CPU110的指令，控制面部檢測單元200的各 單元。
圖像縮放單元220對從相機信號處理單元123或者圖像壓縮/解壓 縮單元140輸出的圖像數(shù)據(jù)或者與存儲在圖像RAM 130中的圖像數(shù)據(jù) 對應(yīng)的圖像，進行放大或縮小處理以產(chǎn)生適于面部的檢測的圖像。要注 意，基于來自CPU110的指令確定圖像的放大率或縮小率。
圖像保持單元230是用于保持由圖像縮放單元220進行了放大處理 或縮小處理的圖像，并且用于將保持的圖像數(shù)據(jù)直接輸出到確定單元 250并且經(jīng)由圖像總線190輸出到圖像RAM 130的圖^M!"儲器。
基準面部數(shù)據(jù)保持單元240保持在用于進行面部檢測時用作基準的 面部數(shù)據(jù)，并且將保持的面部數(shù)據(jù)輸出到確定單元250。用作基準的面 部數(shù)據(jù)的示例包括面部圖像自身和關(guān)于人的面部的特征數(shù)據(jù)庫。
確定單元250確定在保持在圖像保持單元230中的圖像中是否包括面部，并且將面部檢測結(jié)果輸出到CPU 110和個人識別單元300。具體 地講，確定單元250以一定的窗口尺寸取出保持在圖像保持單元230中 的圖像，執(zhí)行取出的圖像與保持在基準面部數(shù)據(jù)保持單元240中的面部 數(shù)據(jù)之間的模板匹配處理，基于相關(guān)性的高低計算面部相像度，并且基 于計算出的面部相^象度確定取出的圖像是否是面部圖像。例如，在計算 出的面部相像度足夠高的情況下，取出的圖像被確定為面部圖像。重復(fù) 地執(zhí)行這種確定，結(jié)果，檢測在保持在圖《象保持單元230中的圖像中包 括的面部。
另外，確定單元250基于關(guān)于保持在基準面部數(shù)據(jù)保持單元240中 的圖像數(shù)據(jù)的相關(guān)性的高低，提取與在保持在圖像保持單元230中的圖 像中包括的面部相關(guān)的各種類型的數(shù)據(jù)，并且將提取的各種類型的數(shù)據(jù) 輸出到CPU 110和個人識別單元300作為面部檢測結(jié)果。面部檢測結(jié)果 包括面部區(qū)域的坐標、面部區(qū)域的大小、面部朝向、面部相〗象度等。這 些面部檢測結(jié)果存儲在CPU 110中。
圖3是示出根據(jù)本發(fā)明的實施例的個人識別單元300的功能結(jié)構(gòu)示 例以及個人識別單元300、圖像RAM130、圖像總線190和特定個人信 息存儲單元380之間的示意性關(guān)系的框圖。
個人識別單元300包括控制器310、正規(guī)化單元320、屬性確定單 元330、屬性確定基準數(shù)據(jù)保持單元331、特征點計算單元340和特征 點坐標表保持單元341。另外，個人識別單元300包括面部特征量提取 單元350、相似度計算單元360、相似度計算基準數(shù)據(jù)保持單元361和 特定個人信息登記單元370。另外，個人識別單元300經(jīng)由圖像總線 190輸入包括在存儲在圖像RAM 130中的圖像中包括的面部的面部圖 <象。另外，個人識別單元300獲得存儲在特定個人信息存儲單元380中 的特定個人信息以執(zhí)行相似度計算，并且將滿足一定條件的特定個人信 息記錄在特定個人信息存儲單元380中。
控制器310才艮據(jù)來自CPU 110的指令，控制個人識別單元300的各 單元。
正規(guī)化單元320基于包括在從面部檢測單元200輸出的面部檢測結(jié)果中的面部區(qū)域的坐標和大小，從存儲在圖像RAM 130中的圖像讀取 面部圖像，以針對讀取的面部圖像執(zhí)行正規(guī)化，并且將經(jīng)正規(guī)化的面部 圖像(正規(guī)化面部圖像)輸出到屬性確定單元330和特征點計算單元 340。具體地講，例如，為了使得包括在從圖像RAM 130讀取的面部圖 像中的面部達到一定大小，正規(guī)化單元320對它的面部圖像進行分辨率 轉(zhuǎn)換(例如，64x64像素等)，并且對它的面部圖像進行旋轉(zhuǎn)處理以產(chǎn) 生正規(guī)化面部圖像，從而使得包括在該面部中的兩只眼睛保持水平。要 注意，將參照圖4詳細描述面部圖像的正規(guī)化。
屬性確定單元330利用保持在屬性確定基準數(shù)據(jù)保持單元331中的 屬性確定基準數(shù)據(jù)，確定包括在從正規(guī)化單元320輸出的正規(guī)化面部圖 像中的面部的屬性，并且將確定結(jié)果(面部屬性信息、累積結(jié)果值等) 輸出到特定點計算單元340、面部特征量提取單元350、相似度計算單 元360和特定個人信息登記單元370。例如，關(guān)于從正規(guī)化單元320輸 出的正規(guī)化面部圖像，針對保持在屬性確定基準數(shù)據(jù)保持單元331中的 屬性確定基準數(shù)據(jù)在多大程度上得到滿足進行計算，由此獲得了關(guān)于各 屬性的累積結(jié)果值。這里，由屬性確定單元330確定的面部屬性的示例 包括面部表情、年齡或年齡組、性別、眼睛的開/閉、種族、有眼鏡/無 眼鏡、眼鏡的類型、已刮臉/未刮臉、胡須的類型、有/無帽子、帽子的 類型、有/無首飾、首飾的類型、發(fā)型以及面部朝向。要注意，面部表 情的示例包括孩i笑、嚴肅、悲傷和憤怒。要注意，將參照圖5A到圖8 詳細描述面部屬性的確定。
屬性確定基準數(shù)據(jù)保持單元331保持屬性確定字典，該屬性確定字 典由用于供屬性確定單元330針對各面部屬性進行確定的多個屬性確定 基準數(shù)據(jù)組成。該屬性確定基準數(shù)據(jù)是預(yù)先充分地學(xué)習(xí)了由屬性確定單 元330確定的面部屬性的基準數(shù)據(jù)。要注意，將參照圖6詳細描述屬性 確定字典。
特征點計算單元340計算并確定要設(shè)置在包括在從正規(guī)化單元320 輸出的正規(guī)化面部圖像中的面部上的特征點的位置，并且將包括計算出 的特征點的位置的正規(guī)化的面部圖像輸出到面部特征量提取單元350。
18具體地講，特征點計算單元340基于從屬性確定單元330輸出的確定結(jié) 果，針對在保持在特定點坐標表保持單元341中的特征點坐標表中包括 的特征點的坐標執(zhí)行修改等，并且計算并確定要^L置在包括在從正規(guī)化 單元320輸出的正規(guī)化面部圖像中的面部上的特征點的位置。要注意， 將參照圖9A到11C詳細描述要設(shè)置在包括在正規(guī)化面部圖像中的面部 上的特征點的位置的計算。
特征點坐標表保持單元341保持用于供特征點計算單元340計算特 征點的位置的特征點坐標表。要注意，將參照圖9A到9C詳細描述特 征點坐標表。
面部特征量提取單元350提取面部特征量(其是包括在從特征點計 算單元340輸出的正規(guī)化面部圖像中的各特征點處的特征量)，并且將 提取的面部特征量輸出到相似度計算單元360和特定個人信息登記單元 370。對于本發(fā)明的實施例，將描述利用Gabor (蓋博)濾波器的提取 方法作為用于提取特征點處的特征量的方法。要注意，利用Gabor濾 波器提取的特征量稱作Gabor jet。另外，對于本發(fā)明的實施例，將基 于從屬性確定單元330輸出的確定結(jié)果，執(zhí)行Gabor濾波器的修改 等。要注意，將參照圖12A到圖14詳細描述利用Gabor濾波器的特征 量的提取方法。另外，面部特征量提取單元是發(fā)明內(nèi)容中記載的特征量 提取單元的示例。
相似度計算單元360計算從面部特征量提取單元350輸出的面部特 征量與從特定個人信息存儲單元380讀取的面部特征量之間的相似度， 并且將計算出的相似度輸出到CPU 110和特定個人信息登記單元370。 具體地講，相似度計算單元360利用保持在相似度計算基準數(shù)據(jù)保持單 元361中的相似度計算基準數(shù)據(jù)，將從面部特征量提取單元350輸出的 面部特征量與從特定個人信息存儲單元380讀取的面部特征量進行比 較，并且基于該比較結(jié)果計算這些特定特征量之間的相似度。該計算出 的相似度是這樣的相似度，其指示由面部檢測單元200檢測到的面部是 否是與面部特征量存儲在特定個人信息存儲單元380中的特定人相同的 人的面部。對于本發(fā)明的實施例，基于從屬性確定單元330輸出的確定結(jié)果，執(zhí)行用于計算相似度的相似度計算基準數(shù)據(jù)的修改等。要注意，
將參照圖15到圖22詳細描述相似度的計算。
相似度計算基準數(shù)據(jù)保持單元361保持相似度計算字典，該相似度 計算字典由用于相似度計算單元360的針對各面部屬性進行的確定的多 個相似度計算基準數(shù)據(jù)構(gòu)成。該相似度計算基準數(shù)據(jù)是這樣的基準數(shù) 據(jù)，其中預(yù)先充分學(xué)習(xí)了由相似度計算單元360計算出的面部相似度。 將參照圖17詳細描勤目似度計算字典。
特定個人信息登記單元370基于控制器310的指令，將滿足一定條 件的特定個人信息登記在特定個人信息存儲單元380中。具體地講，在 用戶指示登記特定個人信息的情況下或者當在成像設(shè)備100內(nèi)確定滿足 了一定條件的情況下，執(zhí)行登記處理。將參照圖23、 25A和25B詳細 描述該登記處理。要注意，特定個人信息登記單元370是發(fā)明內(nèi)容中記 載的對象信息登記單元的示例。
特定個人信息存儲單元380針對每個人以相關(guān)的方式存儲針對特定 人的面部提取的面部特征量以及針對該特定人確定的面部屬性，并且經(jīng) 由圖像總線190將存儲的面部特征量和面部屬性提供給相似度計算單元 360。另外，特定個人信息存儲單元380覆寫或附加記錄從特定個人信 息登記單元370輸出的面部特征量。要注意，將參照圖15詳細描述特 定個人信息存儲單元380的存儲內(nèi)容。
接下來，將參照附圖詳細描述對面部圖像進行正規(guī)化的情況。圖4 是示出了根據(jù)本發(fā)明的實施例的在對面部圖像(即，包括由面部檢測單 元200檢測到的面部的周邊圖像)進行正規(guī)化的情況下的正規(guī)化示例的 圖。
在圖4中，(a)是示出了與從相機信號處理單元123輸出的圖像數(shù) 據(jù)對應(yīng)的成像圖像400的圖?？梢哉f，人401的面部402包括在成像圖 像400中。在這種情況下，當通過面部檢測單元200從成像圖像400檢 測到面部402時，面部402的檢測結(jié)果從面部檢測單元200輸出到個人 識別單元300。當個人識別單元300輸入了面部402的檢測結(jié)果時，從 圖像RAM 130讀取包括面部402的面部圖像403，并且讀取的面部圖像403被輸入到正規(guī)化單元320。
在圖4中，(b)和(c)是示出了在對包括由面部檢測單元200檢 測到的面部402的面部圖像403進行正規(guī)化的情況下的轉(zhuǎn)變的圖。在這 個示例中，規(guī)定了在對面部圖像進行正規(guī)化時用作基準的基準位置 410?；鶞饰恢?10是這樣的基準位置，其用于變換面部圖像，例如， 使得包括在由面部檢測單元200檢測到的面部中的兩只眼睛大致保持水 平并且位于正規(guī)化面部圖像的特定位置。要注意，作為用于檢測雙眼的 方法，與面部檢測方法相似，例如可以采用根據(jù)模板匹配處理的眼睛檢 測方法。
例如，對從成像圖像400取出的面部圖像403進行分辨率變換從而 使包括在面部圖像403中的面部402變?yōu)樘囟ù笮?。隨后，通過仿射變 換等對面部圖^f象403進行旋轉(zhuǎn)處理從而4吏包括在面部402中的眼睛404 和405的中心位置與基準位置410的線匹配并且大致保持水平，由此產(chǎn) 生正規(guī)化面部圖像420。
要注意，對于本發(fā)明的實施例，將描述利用以雙眼的中心位置作為 基準執(zhí)行正規(guī)化的情況，但是也可以利用包括在面部中的雙眼以外的其 它器官的位置作為基準。
接下來，將參照附圖詳細描述面部屬性的確定。圖5A和5B是示 意性示出了才艮據(jù)本發(fā)明的實施例的用作屬性確定單元330的面部屬性確 定目標的面部圖像的圖。圖5A示出了包括正常面部431的正規(guī)化面部 圖像430,圖5B示出了包括笑臉441的正規(guī)化面部圖像440。這里，在 將正常面部與笑臉進行比較的情況下，通常，對于笑臉，常常出現(xiàn)特征 點，諸如眼睛變窄、眉毛和眼睛的外角下拉、臉頰的位置上升、鼻子側(cè) 向擴展、嘴側(cè)向擴展、嘴張開、以及嘴角上升。因此，與笑臉的這些特 征狀態(tài)對應(yīng)的屬性確定基準數(shù)據(jù)預(yù)先保持在屬性確定基準數(shù)據(jù)保持單元 331中，該屬性確定基準數(shù)據(jù)用于笑臉的屬性確定或者笑臉的程度確 定。將參照圖6到圖8詳細描述利用該屬性確定基準數(shù)據(jù)的該確定方 法。另外，將參照圖6詳細描述圖5B中所示的位置442到447。
圖6是示出了在才艮據(jù)本發(fā)明的實施例的屬性確定單元330執(zhí)行屬性確定時使用的屬性確定字典的結(jié)構(gòu)示例的圖。對于本發(fā)明的實施例，將 描述利用根據(jù)正規(guī)化面部圖像的像素差的相關(guān)性確定方法來執(zhí)行面部屬 性的確定的情況。
構(gòu)成屬性確定字典450的屬性確定基準數(shù)據(jù)由正規(guī)化面部圖像的坐 標0(x， y)451和坐標l(x， y) 452、坐標0與坐標1之間的電平差 (亮度差)的閾值(e) 453、以及基準數(shù)據(jù)的權(quán)重(a) 454構(gòu)成。正 規(guī)化面部圖像的坐標0 (x， y) 451和坐標1 (x， y) 452是指示正規(guī)化 面部圖像的兩點的位置的坐標。坐標0和坐標1之間的電平差(亮度 差)的閾值(e) 453是關(guān)于坐標0與坐標1之間的電平差(亮度差) 的閾值。基準數(shù)據(jù)的權(quán)重(a) 454是基于坐標0和坐標1之間的電平 差的值與坐標0和坐標1之間的電平差的閾值(e) 453之間的比較結(jié) 果加入的權(quán)重系數(shù)。另外，由這些值的組合構(gòu)成的n個基準數(shù)據(jù)被存儲 在屬性確定字典450中。要注意，本發(fā)明的實施例中所示的基準數(shù)據(jù)稱 作弱判別器(弱假設(shè))。
利用通過諸如AdaBoost等的機器學(xué)習(xí)算法學(xué)習(xí)的最有效的300到 IOOO組的組合，設(shè)置構(gòu)成屬性確定基準數(shù)據(jù)的各個值。因此，各屬性確 定字典的格式相同，因此，可以通過相同的算法執(zhí)^f亍多個確定處理。
接下來，將參照附圖詳細描述利用屬性確定字典執(zhí)行關(guān)于正規(guī)化面 部圖^f象的面部屬性的確定的情況。在這個示例中，將描述如下的情況 將圖5B所示的正規(guī)化面部圖像440的左上角作為原點，將水平軸作為 x軸，將垂直軸作為y軸，執(zhí)行利用屬性確定字典450的屬性確定處 理。
例如，假定與存儲在屬性確定字典450的第一行(基準數(shù)據(jù)0)中 的坐標0 (x， y) 451的值對應(yīng)的正規(guī)化面部圖像440的位置為位置 442，并且與坐標1 (x， y) 452的值對應(yīng)的正規(guī)化面部圖像440的位置 為位置443。另外，假定與存儲在屬性確定字典450的第二行(基準數(shù) 據(jù)l)中的坐標O (x， y) 451的值對應(yīng)的正規(guī)化面部圖像440的位置為 位置444，并且與坐標l (x， y) 452的值對應(yīng)的正規(guī)化面部圖像440的 位置為位置445。另外，假定與存儲在屬性確定字典450的第三行(基準數(shù)據(jù)2)中的坐標0 (x， y) 451的值對應(yīng)的正規(guī)化面部圖像440的位 置為位置446，并且與坐標1 (x， y) 452的值對應(yīng)的正規(guī)化面部圖像 440的位置為位置447。
首先，將用于進行確定的得分S的值設(shè)置為零，并且執(zhí)行利用包括 在屬性確定字典450的基準數(shù)據(jù)O中的各個值的計算。具體地講，提取 與包括在屬性確定字典450的基準數(shù)據(jù)0中的坐標0 (x, y) 451的值 對應(yīng)的位置442處的亮度值A(chǔ) (0)以及與坐標1 (x, y) 452的值對應(yīng) 的位置443處的亮度值B (0)。隨后，利用下式計算所提取的亮度值之 間的差C (0)。
C(0)=A(0) -B(O)
隨后，將計算出的亮度值之間的差值C (0)與包括在屬性確定單 元450的基準數(shù)據(jù)0中的閾值(9) 453進行比較，以確定計算出的值C (0)是否大于閾值(e) 453。在計算出的值C (0)等于或小于閾值 (e) 453的情況下，將包括在屬性確定字典450的基準數(shù)據(jù)0中的權(quán) 重(a) 454的值加到得分S。另一方面，在計算出的值C (0)大于閾 值(e) 453的情況下，不將包括在屬性確定字典450的基準數(shù)據(jù)0中 的權(quán)重(a) 454的值加到得分S。
隨后，利用包括在屬性確定字典450的基準數(shù)據(jù)1中的各個值重復(fù) 以上計算。具體地講，提取與包括在屬性確定字典450的基準數(shù)據(jù)1中 的坐標O (x， y) 451的值對應(yīng)的位置444處的亮度值A(chǔ) (1)和與坐標 1 (x， y) 452的值對應(yīng)的位置445處的亮座^值B (1)。隨后，利用下式 計算所提取的亮度值之間的差C (1 )。
C (1) =A (1) -B (1)
隨后，將計算出的亮度值之間的差值C (1)與包括在屬性確定字 典450的基準數(shù)據(jù)1中的閾值(e) 453的值進行比較，以確定計算出 的值C (1)是否大于閾值(e) 453。在計算出的值C (1)等于或小于 閾值(e) 453的情況下，將包括在屬性確定字典450的基準數(shù)據(jù)1中 的權(quán)重(a) 454的值加到得分S。另一方面，在計算出的值C (1)大 于閾值(e) 453的情況下，不將包括在屬性確定字典450的基準數(shù)據(jù)1中的權(quán)重(a) 454的值加到得分S。
隨后，利用從屬性確定字典450的基準數(shù)據(jù)2到基準數(shù)據(jù)n-l的各個值重復(fù)以上計算。
也就是說，在針對正規(guī)化面部圖像440利用屬性確定字典執(zhí)行確定處理的情況下，依次使用包括在屬性確定字典450的基準數(shù)據(jù)0到n-l中的各個值利用式1計算C (i),隨后，確定計算出的C (i)是否滿足式2。這里，變量i是整數(shù)，指示O到n-l的值。
C (i) =A (0 -B (i)...式l
C (i) >e (i)...式2
隨后，在計算出的C (i)滿足式2的情況下，不將a (i)的值加到得分S,并且在計算出的C (i)不滿足式2的情況下，將a(i)的值加到得分S。這里，與包括在基準數(shù)據(jù)i中的坐標O (x， y)451對應(yīng)的亮度值由A (i)表示，與包括在基準數(shù)據(jù)i中的坐標1 (x， y) 452對應(yīng)的亮度值由B (i)表示。另外，包括在基準數(shù)據(jù)i中的閾值(e) 453的值由6 (i)表示，包括在基準數(shù)據(jù)i中的權(quán)重(a) 454的值由a (i)表示。
隨后，在利用包括在屬性確定字典450的基準數(shù)據(jù)n-1中的各個值進行的各計算結(jié)束后，基于得分S的值(累積結(jié)果值)確定各屬性?，F(xiàn)在，利用包括在屬性確定字典的基準數(shù)據(jù)0到n-l中的各個值
的各計算后的得分Sn (P)可由下面的式3表示。
n- 1
Sn(P)= H ai h(P(xi0, yi0)-P(Xil， yilHi)i =0
式3
這里，Sn (P)表示基準數(shù)據(jù)O到n-l的累積結(jié)果值，ai表示包括在基準數(shù)據(jù)i中的權(quán)重(a) 454的值，P (Xi。， yi())表示與包括在基準數(shù)據(jù)i中的坐標0 (x， y) 451對應(yīng)的亮度值。此外，P (xu， yu)表示與包括在基準數(shù)據(jù)i中的坐標l (x, y) 452對應(yīng)的亮度值，n表示基準數(shù)據(jù)的數(shù)量。另外，h (z)表示一函數(shù)，該函數(shù)在z>0的情況下為0并且在z50的情況下為1。接下來，將參照附圖詳細描述一種基于利用包括在屬性確定字典的
基準數(shù)據(jù)0到n-1中的各個值計算出的累積結(jié)果值來確定面部屬性的
確定方法。
圖7A到7C是示出了與由根據(jù)本發(fā)明實施例的屬性確定單元330針對正規(guī)化面部圖像利用屬性確定字典獲得的各個面部屬性相關(guān)的累積結(jié)果值的范圍的圖。圖7A示出了與作為面部屬性的笑臉相關(guān)的累積結(jié)杲值的范圍，圖7B示出了與作為面部屬性的性別相關(guān)的累積結(jié)果值的范圍，圖7C示出了與作為面部屬性的年齡相關(guān)的累積結(jié)果值的范圍。例如，假定圖7A到7C所示的關(guān)于各屬性的累積結(jié)果值的范圍在-1000到+1000的范圍內(nèi)。
例如，假定如下的情況通過上述機器學(xué)習(xí)算法進行學(xué)習(xí)時的笑臉的學(xué)習(xí)采樣被作為正側(cè)學(xué)習(xí)，非笑臉的學(xué)習(xí)采樣被作為負側(cè)學(xué)習(xí)。在這種情況下，在將笑臉確定為面部屬性的情況下，利用圖7A所示的閾值461和462確定笑臉/非笑臉。
例如，對于與圖7A所示的笑臉相關(guān)的累積結(jié)果值的范圍，在作為利用包括在屬性確定字典的基準數(shù)據(jù)0到n-l中的各個值計算出的累積結(jié)果值的得分Sn (P)小于閾值461的情況下，確定為"非笑臉"。另一方面，在得分Sn (P)大于閾值462的情況下，確定為"笑臉"。另外，在得分Sn (P)位于閾值461到462的范圍內(nèi)的情況下，確定為既不是笑臉也不是非笑臉，而是"含糊"。另外，也按照與圖7A相同的方式確定圖7B和7C所示的各屬性。這些確定結(jié)果和累積結(jié)果值從屬性確定單元330輸出到特征點計算單元340、面部特征量提取單元350和相似度計算單元360。
圖8是示出了根據(jù)本發(fā)明實施例的與從屬性確定單元330輸出的各屬性相關(guān)的確定結(jié)果和累積結(jié)果值的示例的圖。圖8利用列表示意性示出了從屬性確定單元330輸出作為面部屬性確定結(jié)果470的確定結(jié)果和累積結(jié)果值。要注意，圖8所示的識別編號001、 002等是用于識別用作確定目標的面部圖像的編號。如圖8所示，關(guān)于每個正規(guī)化面部圖像，從屬性確定單元330輸出確定結(jié)果和累積結(jié)果值。例如，關(guān)于作為面部屬性的笑臉/非笑臉471，"笑臉"、"非笑臉"或"含糊"^皮作為確定結(jié)果輸出，并且得分Sn (P)的值被作為累積結(jié)果值輸出。關(guān)于作為面部屬性的男性/女性(性別)472以及成人/兒童(年齡)473，以相同方式輸出確定結(jié)果和累積結(jié)果值。
接下來，將參照附圖詳細描述正規(guī)化面部圖像的特征點的位置的計算。
圖9A到9C是示出了根據(jù)本發(fā)明實施例的用于計算要設(shè)置到由正規(guī)化單元320產(chǎn)生的正規(guī)化面部圖像的特征點的位置的特征點位置計算方法的示例的圖。圖9A是示出了特征點坐標表500的圖，特征點坐標表500是在計算要設(shè)置到正規(guī)化面部圖像的特征點的位置的情況下使用的特征點坐標表的示例。特征點坐標表500保持要設(shè)置到正規(guī)化面部圖像的特征點的坐標，并且保持在特征點坐標表保持單元341中。在圖9A中，用作設(shè)置目標的正規(guī)化面部圖像的大小用白色正方形表示，并且與設(shè)置了特征點的坐標對應(yīng)的位置用黑色圓形表示。例如，假定預(yù)先根據(jù)成人的面部圖像確定各坐標，作為特征點坐標的缺省值。另外，在圖9A到圖11C中，為了便于說明，示出了稍微減少了特征點的數(shù)目的示例。
圖9B是示出了作為由正規(guī)化單元320產(chǎn)生的正規(guī)化面部圖像的正規(guī)化面部圖像510的示例的圖。現(xiàn)在，假定包括在正規(guī)化面部圖像510中的面部511是相對普通的成人的面部。圖9C是示出了如下情況的圖關(guān)于圖9B所示的正規(guī)化面部圖像510，特征點被設(shè)置到包括在圖9A所示的特征點表500中的坐標。要注意，圖9C以黑色圓形示出了置于正規(guī)化面部圖像520上的特征點。因此，在包括在由正規(guī)化單元320產(chǎn)生的正規(guī)化面部圖像510中的面部是相對普通的成人的面部的情況下，特征點被設(shè)置到與包括在特征點坐標表500中的坐標對應(yīng)的位置，由此可將特征點設(shè)置到相對適宜的位置。
然而，已經(jīng)基于雙眼的位置對用作相似度計算目標的正規(guī)化面部圖像進行了正規(guī)化，但是取決于包括在正規(guī)化面部圖像中的人的屬性，常常出現(xiàn)各部分之間的差異。因此，存在難以唯一地對要:^殳置到正規(guī)化面部圖像的特征點坐標進行設(shè)置的情況。因此，對于本發(fā)明的實施例，基
于由屬性確定單元330確定的面部屬性，改變或添加設(shè)置特征點的位置 以適于包括在正規(guī)化面部圖像中的面部。
圖10是示出了根據(jù)本發(fā)明實施例的在由正規(guī)化單元320產(chǎn)生的正 規(guī)化面部圖像上設(shè)置特征點的情況下的布局示例的圖。圖10的(a)中 所示的正規(guī)化面部圖像520與圖9C所示的正規(guī)化面部圖像520相同， 圖10的(b)是示出了包括兒童的面部的正規(guī)化面部圖像531的圖，圖 10的(c)是示出了包括西方人的面部的正規(guī)化面部圖像532的圖。另 外，圖10的(d)是示出了包括東方人的面部的正規(guī)化面部圖像533的 圖，圖10的(e)是示出了包括左向面部的正規(guī)化面部圖像534的圖， 圖10的(f)是示出了包括右向面部的正規(guī)化面部圖像535的圖。
如圖10的(b)所示， 一般，對于兒童的面部，諸如眼睛、鼻子、 嘴等的器官經(jīng)常集中到中心。例如，作為關(guān)于年齡的面部屬性的確定結(jié) 果，我們假定確定為兒童的情況(在兒童的程度相對較高的情況下)。 在這種情況下，根據(jù)作為累積結(jié)果值的兒童的程度，將其中成人的面部 長度通常長于兒童的面部長度的成人的特征點(與包括在特征點坐標表 500中的坐標對應(yīng)的位置)改變，從而在垂直方向上縮小(或者在水平 方向上》文大)。
另外，如圖10的(c)所示， 一般，西方人的面部常常具有相對長 的面部長度。另一方面，如圖10的(d)所示， 一般，東方人的面部常 常是圓形面部。例如，在將包括在正規(guī)化面部圖像532中的西方人的面 部的水平寬度Ll與包括在正規(guī)化面部圖像533中的東方人的面部的水 平寬度L2進行比較的情況下，東方人的水平寬度L2的值較大。因 此，基于關(guān)于種族的面部屬性的確定結(jié)果，將與包括在特征點坐標表 500中的坐標對應(yīng)的位置改變，從而在水平方向上縮小或放大。
另外，如圖10的(e)或(f)所示，對于朝左或朝右的面部，根 據(jù)面部朝向，諸如眼睛、鼻子、嘴等的面部器官向左或向右集中。因 此，基于關(guān)于面部朝向的面部屬性的確定結(jié)果，將與包括在特征點坐標 表500中的坐標對應(yīng)的位置改變，從而在水平方向上移動。如圖10的(b)到(f)所示，基于面部屬性的確定結(jié)果改變特征點的位置，由此 可以針對用作相似度計算目標的面部執(zhí)行最佳特征點設(shè)置，并且還可以 以更高精度計算特征點。因此，能夠進一步提高個人識別精度。
圖IIA到UC是示出了根據(jù)本發(fā)明的實施例的在由正規(guī)化單元320 產(chǎn)生的正規(guī)化面部圖像上設(shè)置特征點的情況下的布局示例的圖。圖11A 到11C所示的正規(guī)化面部圖像520與圖9C所示的正規(guī)化面部圖像520 相同。
圖11A所示的正規(guī)化面部圖像540是將眼鏡541添加到包括在正規(guī) 化面部圖像520中的面部511的情況下的正規(guī)化面部圖《象。圖IIB所示 的正規(guī)化面部圖像550是將胡須551添加到包括在正規(guī)化面部圖像520 中的面部511的情況下的正規(guī)化面部圖像。圖11C所示的正規(guī)化面部圖 像560是將帽子561添加到包括在正規(guī)化面部圖像520中的面部511的 情況下的正規(guī)化面部圖像。
如圖IIA所示，在作為檢測到的面部屬性的目艮鏡的累積結(jié)果值高的 情況下(在確定為有眼鏡的情況下)，將特征點添加到視為眼鏡的周圍 的位置。例如，將特征點542到545附加地布置在眼鏡541的周圍。另 外，如圖IIB所示，在作為檢測到的面部屬性的胡須的累積結(jié)果值高的 情況下(在確定為未刮臉的情況下)，將特征點添加到視為胡須的周圍 的位置。例如，將特征點552和553附加地布置在胡須551的周圍。要 注意，如圖11A和11B所示，替代添加特征點，可以在眼鏡或胡須周 圍移動其它特征點。在能夠確定眼鏡的類型和形狀或者胡須的位置和寬 度的情況下，可以根據(jù)這些確定結(jié)果切換特征點坐標。
現(xiàn)在，帽子具有特征，但是是頻繁改變的屬性。因此，如圖11C所 示，在作為檢測到的面部屬性的帽子的累積結(jié)果值高的情況下(在確定 為有帽子的情況下)，將包括在視為與頭的位置等同的范圍中的特征點 消除。例如，對于圖11C所示的正規(guī)化面部圖^f象520，將由虛線562包 圍的特征點消除。另外，在存在諸如眼鏡、胡須、帽子等的多個屬性的 情況下，根據(jù)這些屬性執(zhí)行上述的添加或消除。如圖11A到11C所 示，基于面部屬性的確定結(jié)果添加或消除特征點，由此能夠針對用作相似度計算目標的面部執(zhí)行最佳特征點設(shè)置，并且還能夠以更高精度計算 特征點。因此，能夠進一步提高個人識別精度。
以保持在特征點坐標表保持單元341中的特征點坐標表500作為缺 省值并且以所述缺省值的坐標作為基準，基于面部屬性的確定結(jié)果，通 過諸如放大或縮小等的計算執(zhí)行這些特征點坐標的計算。另外，可以直 接從CPU110加載特征點坐標。另外，可以將這兩種方式組合。另外， 與面部屬性的確定結(jié)果對應(yīng)的多個特征點坐標表被預(yù)先保持在特征點坐 標表保持單元341中，可以根據(jù)面部屬性的確定結(jié)果選擇一個特征點坐 標表。另外，可以根據(jù)累積結(jié)果值的大小執(zhí)行特征點坐標的位置的諸如 放大或縮小等的計算。
接下來，將參照附圖詳細描述設(shè)置到正規(guī)化面部圖像的特征點處的 特征量的提取。如圖9A到11C所示，在各特征點被i殳置到由正規(guī)化單 元320產(chǎn)生的正規(guī)化面部圖像后，關(guān)于各特征點執(zhí)行特征量提取處理。 要注意，對于本發(fā)明的實施例，將描述利用Gabor濾波器的提取方法 作為特征量提取方法示例。
圖12A和12B是示出了表示根據(jù)本發(fā)明實施例的面部特征量提取 單元350使用的Gabor濾波器以及Gabor濾波器的一個濾波器的系數(shù) 的曲線圖示例的圖。
圖12A示出了用于由面部特征量提取單元350提取特征點處的特征 量的Gabor濾波器的示例。對于Gabor濾波器，主要提供了兩個參 數(shù)要提取的頻帶以及將濾波器應(yīng)用于圖像上的角度。對于圖12A所示 的Gabor濾波器，水平方向表示角度的類型，垂直方向表示頻帶的類 型。對于該示例，頻帶的類型當其方向從底部向頂部前進時從低頻變成 高頻。另外，角度的類型旋轉(zhuǎn)22.5度。具體地講，以相等的間隔設(shè)置角 度的類型，諸如O度、22.5度、45度、67.5度、90度、112.5度、135 度和157.5度的。因此，對于本發(fā)明的實施例，作為示例，將描述由用 作用以從具有各種屬性的面部提取特征量的參數(shù)設(shè)置的、5種類型的頻 率和8種類型的角度組成的40種類型的濾波器。要注意，對于本發(fā)明 的實施例，作為示例，將描述用作以平均面部作為目標的^lt設(shè)置的40種類型的濾波器，濾波器的數(shù)目等可以適當增加或減少。例如，角度被 進一步細分設(shè)置為角度的類型，由此能夠提取高精度的特征量。例如，
在10種類型被設(shè)置為角度的類型的情況下，能夠以相等的間隔設(shè)置角
度，諸如18度、36度、54度、72度........162度。另外，在12種
類型被設(shè)置為角度的類型的情況下，能夠以相等的間隔設(shè)置角度，諸如
15度、30度、45度、60度........165度。這里，在角度被細分設(shè)置
為角度的類型的情況下，數(shù)據(jù)處理量根據(jù)角度的類型的增加而增加。因 此，可以在考慮處理速度與處理設(shè)備的規(guī)才莫之間的平衡的同時設(shè)置角度 的類型。
圖12B示出了一個曲線圖，其中，在三維空間上表示圖12A所示 的40種類型的Gabor濾波器中的一個濾波器600的系數(shù)。濾波器600 是針對圖像上的45度方向提取相對高頻帶的濾波器。另外，如圖12B 所示，濾波器600的系數(shù)的特征點處的振幅達到峰值，用作包絡(luò)線。
圖13是示出了根據(jù)本發(fā)明實施例的用作由正規(guī)化單元320產(chǎn)生的 正規(guī)化面部圖像的示例的正規(guī)化面部圖像630的圖。將在這里描述如下 的示例在包括在正規(guī)化面部圖像630中的面部640上設(shè)置的多個特征 點中，面部特征量提取單元350利用三個特征點641到643來提取特征
特征點641到643是設(shè)置于包括在正規(guī)化面部圖像630中的面部 640上的特征點，特征點641布置在左眼下方附近，特征點642布置在 右眼的外角附近，特征點643布置在鼻尖附近。
在利用Gabor濾波器提取特征點處的特征量的情況下，利用特征 點的像素和包括位于它的周圍的像素的相鄰像素。例如，可將以特征點 為中心的20像素x20像素用作相鄰像素。例如，假定在圖13所示的正 規(guī)化面部圖《象630上^L置的特征點641到643的相鄰l象素用虛線方框指 示為相鄰《象素645到647。
隨后，利用特征點的相鄰像素以及包括在Gabor濾波器中的各個 頻帶系數(shù)和各個角度系數(shù)，執(zhí)行下面的式4中所示的巻積計算。因此， 作為用于識別特定個人的有效值，獲得了作為特征點處的特征量的Gabor jet。針對每個特征點順序地執(zhí)行該巻積計算，由此能夠獲得每個
特征點處的特征量(Gaborjet)。
n m
c(x，y)= 2 2 P(x，y)' g(x,y)
y=nO x=niO
式4
這里，p (x， y)表示相鄰像素的亮度，g (x, y)表示Gabor濾 波器系數(shù)，c (x， y)表示巻積結(jié)果值。
這里，對于本發(fā)明的實施例，面部特征量提取單元350加載Gabor 濾波器的參數(shù)的缺省值，并且基于由屬性確定單元330確定的面部屬性 的確定結(jié)果，改變Gabor濾波器的參數(shù)的缺省值。也就是說，面部特 征量提取單元350基于由屬性確定單元330確定的面部屬性的確定結(jié) 果，切換作為Gabor濾波器的參數(shù)的通過頻帶和特征提取角度。
例如，作為通過屬性確定單元330對面部屬性的確定結(jié)果，在"兒 童"或"嬰兒"的累積結(jié)果值高的情況下(在確定為"兒童，，或"嬰兒"的情 況下)，能夠通過增加低頻帶濾波器的類型的數(shù)目來優(yōu)化參數(shù)。另一方 面，在"成人"的累積結(jié)果值高的情況下(在確定為"成人"的情況下)， 能夠通過增加高頻帶濾波器的類型的數(shù)目來優(yōu)化參數(shù)?，F(xiàn)在， 一般，與 "成人，，相比，"兒童"或"嬰兒"的面部常具有光滑的皮膚(皮膚紋理斜率 緩慢變化)。因此，在面部的表面是光滑皮膚的情況下，面部的表面幾 乎沒有變化。因此，在針對"兒童"或"嬰兒"的面部提取特征量的情況 下，與高頻帶相比，更重視低頻帶，由此能夠提取更高精度的特征量。 另一方面，在針對"成人"的面部提取特征量的情況下，與低頻帶相比， 更重視高頻帶，由此能夠提取更高精度的特征量。另外，例如，在笑臉 的累積結(jié)果值高的情況下,執(zhí)行切換到最適合笑臉的Gabor濾波器頻 帶或者切換到最適合笑臉的Gabor濾波器角度。因此，基于面部屬性 的確定結(jié)果改變Gabor濾波器，由此能夠提取更高精度特征點處的特 征量。
要注意，Gabor濾波器的參數(shù)的缺省值可以保持在內(nèi)部存儲器中或 者可以從CPU 110進行設(shè)置。圖14是示意性示出了根據(jù)本發(fā)明實施例的作為由面部特征量提取 單元350提取的特征量集合的面部特征量的圖。圖14示意性示出了作 為在利用圖12A所示的Gabor濾波器提取設(shè)置到正規(guī)化面部圖像的特 征點處的特征量的情況下的各特征量的集合的面部特征量650。
面部特征量650指示在將20個特征點設(shè)置到正規(guī)化面部圖像的情 況下以及在利用由5種類型的頻帶和8種類型的角度構(gòu)成的Gabor濾 波器提取各特征點處的特征量的情況下的Gabor jet的集合。例如，面 部特征量650以由行651到655和列656到659的矩陣的方式表示針對 各特征點提取的20個Gabor jet。另夕卜，構(gòu)成一個Gabor jet的各特征 量的大小才艮據(jù)其大小由單色級別指示。要注意，圖14所示的Gabor jet 的布局結(jié)構(gòu)是一個示例，并且與存儲格式無關(guān)。另外，將參照圖18詳 細描述利用面部特征量的相似度計算。
圖15是示意性示出了根據(jù)本發(fā)明實施例的存儲在特定個人信息存 儲單元380中的各條信息的圖。特定個人信息存儲單元380存儲關(guān)于特 定人的面部的各條特定個人信息。具體地講，關(guān)于特定人的面部的面部 特征量、關(guān)于其面部的面部屬性信息、包括其面部的登記面部圖像、與 這些信息關(guān)聯(lián)的關(guān)聯(lián)信息按照相關(guān)的方式存儲。例如，笑臉/非笑臉 382、男性/女性(性別)383、成A/兒童(年齡)384、開/閉眼睛385、 面部朝向386、已刮臉/未刮臉387和有目艮鏡/無眼鏡388浮皮存儲為面部 屬性信息，并且登記日期和時間389以及登記地點3卯被存儲為關(guān)聯(lián)信 息。
圖15例示了關(guān)于作為特定人的三個人的特定個人信息存儲在特定 個/v信息存儲單元380中的情況。另外，假定三條不同的特定個人信息 存儲作為關(guān)于各特定人的特定個人信息。例如，假定關(guān)于A先生的3組 特定個人信息分別以"101"、 "102，，和"103，，按照相關(guān)的方式存儲在識別 編號381"100"中。相似地，假定關(guān)于B先生的3組特定個人信息分別 以"201"、 "202，，和"203，，按照相關(guān)的方式存儲在識別編號381"200"中。 另外，假定關(guān)于C先生的3組特定個人信息分別以"301"、 "302，，和 "303，，按照相關(guān)的方式存儲在識別編號381"300"中。例如，由屬性確定單元330計算的累積結(jié)果值被存儲為諸如笑臉/ 非笑臉382、男性/女性(性別)383等的面部屬性信息。能夠通過該累 積結(jié)果值確定各面部屬性。在圖1S中，在各累積結(jié)果值下方，在括號 內(nèi)指示通過該累積結(jié)果值確定的面部屬性。要注意，指示從面部檢測單 元200輸出的面部朝向和面部相像度的數(shù)值可以存儲作為面部屬性信 息。
存儲特定個人信息時的日期和時間被存儲在登記的日期和時間389 中。例如，基于從CPU 110輸出的日期和時間信息，存儲該日期和時 間。另外，存儲特定個人信息時的地點被存儲在登記地點3卯中。關(guān)于 該地點，基于由GPS信號處理單元195計算的位置信息，由CPU 110 確定地點(例如，就城市而言)，然后存儲該確定的地點。
作為針對正規(guī)化面部圖像提取的Gabor jet的集合的面部特征量存 儲在面部特征量391中。在圖15中，省去了存儲在面部特征量391中 的面部特征量。
存儲特定個人信息時的正規(guī)化面部圖像的圖像數(shù)據(jù)(已壓縮或已解 壓縮)存儲在登記面部圖像392中。在圖15中，存儲在登記面部圖像 392中的正規(guī)化面部圖像的圖像數(shù)據(jù)被描繪和示出為面部圖像。要注 意，例如，通過來自用戶的指令操作，能夠在顯示單元150上顯示存儲 在登記面部圖像392中的正規(guī)化面部圖像。因此，用戶能夠適當?shù)卮_認 登記的面部。
因此，關(guān)于一個特定人存儲不同的多個特定個人信息，由此，即使 在成像狀態(tài)和面部表情改變的情況下仍能夠適宜地執(zhí)行個人識別。例 如，在從包括微笑的A先生的成像圖像中識別A先生的面部的情況 下，在關(guān)于A先生的3組特定個人信息之中，能夠利用識別編號 381"102"計算相似度。另外，例如，在從包括普通A先生的成像圖像識 別A先生的面部的情況下，在關(guān)于A先生的3組特定個^U言息之中， 能夠利用識別編號381"101，，計算相似度。另外，例如，在從包括朝左的 A先生的成像圖像識別A先生的面部的情況下，在關(guān)于A先生的3組 特定個人信息之中，能夠利用識別編號381"103"計算相似度。因此，關(guān)于A先生存儲了 3組特定個人信息，即使在成像狀態(tài)或面部表情改變的 情況下，也能夠適當識別A先生的面部。要注意，對于這個示例，示出 了關(guān)于一個特定人存儲了 3組特定個人信息的示例，但是關(guān)于一個特定 人也可存儲l組、2組或4組以上的特定個人信息。另選地，可以針對 每個特定人通過手動設(shè)置等改變特定個人信息的數(shù)目。另外，特定個人 信息的數(shù)目可以根據(jù)存儲容量適當?shù)馗淖?。要注意，將參照圖23、 25A 和25B詳細描述關(guān)于特定個人信息存儲單元380的特定個人信息的登記 方法。
圖16是示意性示出了根據(jù)本發(fā)明實施例的保持在相似度計算基準 數(shù)據(jù)保持單元361中的相似度計算字典的圖。相似度計算基準數(shù)據(jù)保持 單元361是內(nèi)部存儲器，其保持在計算面部特征量之間的相似度的情況 下的有限數(shù)目的最適當?shù)南嗨贫扔嬎阕值?。例如?一般字典701、兒童 用字典702、成人用字典703、閉眼用字典704和崢眼用字典705 4皮保 持在相似度計算基準數(shù)據(jù)保持單元361中。另外，例如，右向字典 706、正面字典707、左向字典708、胡須用字典709和眼鏡用字典710 被保持在相似度計算基準數(shù)據(jù)保持單元361中。 一般字典701是對年齡 和性別進行平均以保持僅最適于一般面部的基準數(shù)據(jù)的字典。另一方 面，兒童用字典702到眼鏡用字典710是按照限制為預(yù)定面部屬性的方 式已學(xué)習(xí)并且保持最適于與預(yù)定面部屬性對應(yīng)的面部的基準數(shù)據(jù)的字 典。
圖17是示出了根據(jù)本發(fā)明實施例的在通過相似度計算單元360計 算要確定的面部的相似度時利用的相似度計算字典的結(jié)構(gòu)示例的圖。圖 17例示了利用從設(shè)置到正規(guī)化面部圖像的各特征點提取的Gabor jet來 計算要確定的面部的相似度的情況。另外，對于本發(fā)明的實施例，將描
述如下的示例與面部屬性確定相似，利用才艮據(jù)差的相關(guān)性確定方法計 算面部的相似度。
構(gòu)成相似度計算字典660的相似度計算基準數(shù)據(jù)由面部特征量的坐 標0 (x， y) 661和坐標1 (x， y) 662、坐標0與坐標1之間的電平差 的閾值(e) 663和基準數(shù)據(jù)的權(quán)重(a) 664組成。面部特征量的坐標0 (x， y) 661和坐標1 (x, y) 662是指示面部特征量的兩個點的位置 的坐標。坐標0與坐標1之間的電平差的閾值(e) 663是關(guān)于坐標0 和坐標1的面部特征量的差值的閾值?；鶞蕯?shù)據(jù)的權(quán)重(a) 664是基 于坐標0和坐標1的面部特征量的差值與坐標0和坐標1之間的電平差 的閣值(e)663之間的比較結(jié)果而添加的權(quán)重系數(shù)。另外，相似度計 算字典660存儲由這些值的組合構(gòu)成的n個基準數(shù)據(jù)。要注意，可以利 用其它位置信息來替代指示面部特征量的兩個點的面部特征量的坐標。 例如，可以布置為預(yù)先對每個Gabor jet給予識別編號，將每個Gabor jet的識別編號、該Gabor jet的頻帶類型和角度類型用作位置信息。
接下來，將參照附圖詳細描述利用相似度計算字典計算要確定的面 部的相似度的示例。
圖18是示意性示出了由根據(jù)本發(fā)明實施例的相似度計算單元360 進行用來計算要確定的面部的相似度的相似度計算方法的圖。圖18例 示了一種計算方法，其中，利用從設(shè)置到正規(guī)化面部圖像的各特征點提 取的Gaborjet來計算要確定的面部的相似度。
要確定的面部特征量670是由從設(shè)置到正規(guī)化面部圖像的各特征點 提取的多個Gabor jet構(gòu)成的面部特征量。另外，登記面部特征量680 是由存儲在特定個人信息存儲單元380中的關(guān)于特定人的面部的多個 Gabor jet構(gòu)成的面部特征量，要確定的面部特征量670和登記面部特 征量680例如對應(yīng)于圖14所示的面部特征量650，并且假定要確定的面 部特征量670和登記面部特征量680具有相同的格式，并且還存儲了相 同數(shù)目的Gaborjet。
對于該示例，將描述如下的情況以要確定的面部特征量670和登 記面部特征量680的左上角作為原點，以水平軸作為x軸，以垂直軸作 為y軸，利用相似度計算字典660計算要確定的面部特征量670與登記 面部特征量680之間的相似度。
例如，假定采用與存儲在相似度計算字典660的第一行(基準數(shù)據(jù) 0)中的坐標0 (x， y) 661的值對應(yīng)的要確定的面部特征量670的位置 作為位置671，采用與坐標0 (x， y) 661的值對應(yīng)的登記面部特征量680的位置作為位置681。另外，假定采用與坐標1 (X, y) 662的值對 應(yīng)的要確定的面部特征量670的位置作為位置672，并且采用與坐標1
(x， y) 662的值對應(yīng)的登記面部特征量680的位置作為位置682。要 注意，對于要確定的面部特征量670和登記面部特征量680，與坐標0
(x， y) 661和坐標1 ( x， y) 662對應(yīng)的位置是構(gòu)成一個Gabor jet的 各特征量中的一個特征量的位置。這個特征量的位置是與圖14所示的 面部特征量650的4亍651和列656對應(yīng)的一個Gabor jet (位于左上角 的Gabor jet)的一個特征量(用單色級別指示的方形)的位置。
首先，將用于計算相似度的得分Sl的值i殳置為零，并且執(zhí)行利用 包括在相似度計算字典660的基準數(shù)據(jù)0中的各個值的計算。具體地 講，取得與包括在相似度計算字典660的基準數(shù)據(jù)0中的坐標0 (x, y) 661的值對應(yīng)的要確定的面部特征量670的位置671處的特征量的值 AO (0 )和登記面部特征量680的位置681處的特征量的值BO ( 0 )。隨 后，利用下式計算取得的特征量值之間的差的絕對值CO (0) (691)。 CO(O) = |A0(0) - B0(0)|
隨后，取得與包括在相似度計算字典660的基準數(shù)據(jù)0中的坐標1
(x， y) 662的值對應(yīng)的要確定的面部特征量670的位置672處的特征 量的值A(chǔ)1(0)和登記面部特征量680的位置682處的特征量的值Bl(O)。 隨后，利用下式計算取得的特征量值之間的差的絕對值Cl(O) (692)。 Cl(O) = |A1(0) - Bl(O)l
隨后，利用下式計算計算出的絕對值CO (0)與計算出的絕對值 Cl (0)之間的差的絕對值C2 (0) (693)。 C2(0) = |C0(0) - Cl(O)l
隨后，將計算出的絕對值C2 (0)與包括在相似度計算字典660的 基準數(shù)據(jù)0中的闊值(e) 663進行比較，以確定計算出的絕對值C2
(0)是否大于閾值(0) 663的值。在計算出的絕對值C2 (0)等于或 小于閾值(e) 663的值的情況下，將包括在相似度計算字典660的基 準數(shù)據(jù)0中的權(quán)重(a) 664的值加到得分Sl。另一方面，在計算出的 絕對值C2 (0)大于閾值(e) 663的值的情況下，不將包括在相似度計算字典660的基準數(shù)據(jù)0中的權(quán)重(a) 664的值加到得分S1。
隨后，順序地利用基準數(shù)據(jù)1到基準數(shù)據(jù)n-1的各個值重復(fù)上述 的計算。也就是說，在針對要確定的面部特征量670和登記面部特征量 680利用相似度計算字典660執(zhí)4亍相似度計算處理的情況下，順序地利 用包括在相似度計算字典660的基準數(shù)據(jù)0到n-l中的各個值。接下 來，利用式5到式7計算C2 (i),并且確定計算出的C2 (i)是否滿足 式8。這里，變量i是整數(shù)，并且指示O到n-l的值。 CO(i) - |AO(i) - BO(i)| …式5 Cl(i) - |Al(i) - Bl(i)l ...式6 C2(i) = |CO(i) - Cl(i)l …式7 C2(i)>e(i) ...式8
在計算出的C2 (i)滿足式8的情況下，不將a (i)的值加到得分 Sl，而在計算出的C2 (i)不滿足式8的情況下，將a (i)的值加到得 分Sl。這里，與包括在基準數(shù)據(jù)i中的坐標0 (x， y) 661對應(yīng)的要確 定的面部特征量670的特征量用AO (i)表示，登記面部特征量680的 特征量用BO(i)表示。另外，與包括在基準數(shù)據(jù)i中的坐標l (x， y) 662對應(yīng)的要確定的面部特征量670的特征量用Al (i)表示，登記面 部特征量680的特征量用Bl (i)表示。另外，包括在基準數(shù)據(jù)i中的 閾值(0) 663的值用e (i)表示，包括在基準數(shù)據(jù)i中的權(quán)重(a) 664 的值用a (i)表示。
隨后，在利用包括在相似度計算字典660的基準數(shù)據(jù)n-l中的各 個值的各計算完成后，作為累積結(jié)果值的得分的值被作為指示相似度的 值輸出。因此，在保持在Gabor jet狀態(tài)中的登記面部特征量與要確定 的面部特征量之間在兩個階段上計算相似度。
這里，利用下面的式9表示在利用包括在相似度計算字典660的基 準數(shù)據(jù)0到n - 1中的各個值的各計算后的得分Sln (P )。
<formula>formula see original document page 37</formula>式9Sln (P)表示基準數(shù)據(jù)0到n-l的累積結(jié)果值，(Xi表示包括在基 準數(shù)據(jù)i中的權(quán)重(a) 664的值。另外，P。 (Xi。， yi())表示與包括在基 準數(shù)據(jù)i中的坐標0 (x， y) 661對應(yīng)的要確定的面部特征量670的特 征量的值。另外，R (Xio, yw)表示與包括在基準數(shù)據(jù)i中的坐標0 (x， y) 661對應(yīng)的登記面部特征量680的特征量的值。另外，P0 (xu， yu)表示與包括在基準數(shù)據(jù)i中的坐標l (x， y) 662對應(yīng)的要確 定的面部特征量670的特征量的值。另外，& (Xil， yu)表示與包括在 基準數(shù)據(jù)i中的坐標1 (x， y) 662對應(yīng)的登記面部特征量680的特征 量的值，ej表示包括在基準數(shù)據(jù)i中的閾值(0) 663的值，n表示基準 數(shù)據(jù)的數(shù)目。另外，h (z)表示一函數(shù)，該函數(shù)在z>0的情況下為0 并且在z^0的情況下為1。
要注意，通過基于面部屬性的確定結(jié)果或者面部屬性的累積結(jié)果值 改變權(quán)重(a) 664的值或者閾值(e) 663的值，可以實現(xiàn)優(yōu)化。例 如，可將權(quán)重(a) 664的值或者閾值(e) 663的值與和面部屬性的確 定結(jié)果或者面部屬性的累積結(jié)果值對應(yīng)的值相乘。
接下來，將參照附圖詳細描述在計算要確定的面部的相似度的情況 下利用的相似度計算字典。
圖19是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元360 計算要確定的面部的相似度的相似度計算字典的示例的圖。對于該示
例，根據(jù)關(guān)于年齡的面部屬性的確定結(jié)果，選擇相似度計算字典。
例如，如圖19所示，首先，不管面部屬性的確定結(jié)果如何，使用 一般字典701。 一般字典701是由適于一般相似度計算的1000組相似度 計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。在利用一般字典701的相似度計 算處理完成后，根據(jù)關(guān)于年齡的面部屬性的確定結(jié)果是成人還是兒童， 利用兒童用字典702或成人用字典703執(zhí)行相似度計算處理。兒童用字 典702是由適于兒童相似度計算的1000組相似度計算基準數(shù)據(jù)構(gòu)成的 相似度計算字典。另外，成人用字典703是由適于成人相似度計算的 500組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。這里， 一般認為兒 童與成人相比較具有較少的個人差異，并且提取特征量困難，因此，對于成人用字典703使用500組相似度計算基準數(shù)據(jù)，而另一方面，對于兒童用字典702使用1000組相似度計算基準數(shù)據(jù)。因此，相似度計算基準數(shù)據(jù)的組數(shù)根據(jù)提取特征量的難度而改變并且被保持，由此，能夠利用最適于要確定的面部的最適當組數(shù)的相似度計算基準數(shù)據(jù)，來執(zhí)行相似度計算處理，并且能夠?qū)崿F(xiàn)高精度個人識別。
圖20是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元360計算要確定的面部的相似度的相似度計算字典的示例的圖。對于該示
例，根據(jù)關(guān)于眼睛的開/閉的面部屬性的確定結(jié)果，選擇相似度計算字典。
例如，如圖20所示，首先，不管面部屬性的確定結(jié)果如何，使用一般字典701。隨后，在利用一般字典701的相似度計算處理完成后，才艮據(jù)關(guān)于眼睛的開/閉的面部屬性的確定結(jié)果，利用凈眼用字典705或閉眼用字典704執(zhí)行相似度計算處理。降眼用字典705是由適于崢眼狀態(tài)下的面部相似度計算的300組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。另外，閉眼用字典704是由適于閉目艮狀態(tài)下的面部相似度計算的300組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。
另外，考慮如下的情況針對通過特定個人信息存儲單元380的開/閉眼睛385的累積結(jié)果值而確定為"開，，的登記面部(登記人的面部)計算相似度。例如，在針對要確定的面部的關(guān)于眼睛的開/閉的面部屬性的確定結(jié)果為"閉，，的情況下，在利用一般字典701的相似度計算處理完成后，利用閉目艮用字典704執(zhí)行相似度計算處理。在這種情況下，例如，可以減小構(gòu)成閉眼用字典704的相似度計算基準數(shù)據(jù)的權(quán)重。另選地，可以設(shè)置為，在利用一般字典701的相似度計算處理完成后，不利用閉眼用字典704執(zhí)4亍相似度計算處理，并且中斷處理。這樣，切換到最適于登記面部的屬性的相似度計算，能夠獲得更加準確的相似度。
圖21是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元360計算要確定的面部的相似度的相似度計算字典的示例的圖。對于該示
例，根據(jù)關(guān)于面部朝向的面部屬性的確定結(jié)果，選擇相似度計算字典。例如，如圖21所示，首先，不管面部屬性的確定結(jié)果如何，利用一般字典701。隨后，在利用一般字典701的相似度計算處理完成后，根據(jù)關(guān)于面部朝向的面部屬性的確定結(jié)果，利用右向字典706、正面字典707或左向字典708執(zhí)行相似度計算處理。右向字典706是由最適于右向狀態(tài)下的面部相似度計算的300組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。另外，正面字典707是由最適于正面狀態(tài)下的面部相似度計算的300組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。另外，左向字典708是由最適于左向狀態(tài)下的面部相似度計算的300組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。因此，根據(jù)面部朝向選擇相似度計算字典，由此，即使在登記面部和要確定的面部沒有面向相同方向的情況下也能夠用最適宜的加權(quán)執(zhí)行相似度計算處理，因此能夠獲得更加準確的相似度。
圖22是示出了根據(jù)本發(fā)明實施例的用于通過相似度計算單元360計算要確定的面部的相似度的相似度計算字典的示例的圖。對于該示
例，根據(jù)關(guān)于有眼鏡/無眼鏡以及已刮臉/未刮臉的面部屬性的確定結(jié)果，選擇相似度計算字典。
例如，如圖22所示，首先，不管面部屬性的確定結(jié)果如何，利用一般字典701。隨后，在利用一般字典701的相似度計算處理完成后，根據(jù)關(guān)于有眼鏡/無眼鏡的面部屬性的瑜定結(jié)果，選擇是利用眼鏡用字典710進一步執(zhí)行相似度計算處理還是結(jié)束相似度計算處理。在這種情況下，選擇利用眼鏡用字典710進一步執(zhí)^f相似度計算處理，并且在該相似度計算處理完成后，根據(jù)關(guān)于已刮臉/未刮臉的面部屬性的確定結(jié)果選擇是利用胡須用字典709進一步執(zhí)行相似度計算處理還是結(jié)束相似度計算處理。目艮鏡用字典710是由最適于有眼鏡狀態(tài)下的面部相似度計算的500組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。胡須用字典709是由最適于未刮臉狀態(tài)下的面部相似度計算的500組相似度計算基準數(shù)據(jù)構(gòu)成的相似度計算字典。因此，根據(jù)有眼鏡/無眼鏡以及已刮臉/未刮臉選擇相似度計算字典，由此，能夠根據(jù)有眼鏡/無眼鏡以及已刮臉/未刮臉用最適宜的加權(quán)執(zhí)行相似度計算處理，因此，能夠獲得更加準確的相似度。因此，根據(jù)面部屬性的確定結(jié)果選擇相似度計算字典，由此，能夠執(zhí)行最適于要確定的面部的相似度計算處理，因此，能夠獲得更加準確的相似度。另外，對于要確定的面部不執(zhí)行利用不必要的相似度計算基準數(shù)據(jù)的相似度計算處理，因此，能夠?qū)崿F(xiàn)處理時間的減少。
另外，在面部屬性之中，對于諸如發(fā)型、眼鏡、胡須等的面部屬性，可以想到，即使對于同一人，根據(jù)成像時段和成像地點而改變的因素也較高。因此，對于這種面部屬性項目，將對應(yīng)的相似度計算基準數(shù)據(jù)的權(quán)重設(shè)置得較小，由此根據(jù)面部屬性的差異能夠防止同一人的相似度損失。
另外，對要確定的面部的面部屬性的確定結(jié)果與存儲在特定個人信
息存儲單元380中的面部屬性進行比較，并且在面部屬性的相似度明顯低的情況下，可以中斷相似度計算處理。具體地講，相似度計算單元360對從屬性確定單元330輸出的面部屬性的確定結(jié)果與存儲在特定個人信息存儲單元380中的面部屬性進行比較，并且在面部屬性的相似度明顯低的情況下，相似度計算單元360將用以中斷相似度計算處理的信息輸出到控制器310。當接收到該輸出時，控制器310將停止關(guān)于要確定的面部的各處理的指令輸出到特征點計算單元340、面部特征量提取單元350和相似度計算單元360。例如，在存儲在特定個人信息存儲單元380中的面部屬性指示兒童的程度十分高的情況下，在要確定的面部的面部屬性的確定結(jié)果確定了兒童的程度十分低的情況下，可將這二者確定為不同的人。因此，能夠在較早階段中斷特征點坐標計算處理、面部特征量提取過程和相似度計算處理。這有助于提高處理速度。
另外，在存儲在特定個人信息存儲單元380中的特定個人信息的數(shù)目大的情況下，相似度計算處理的處理時間可能會延長。因此，例如，從存儲在特定個人信息存儲單元380中的特定個人信息中選擇適于相似度計算的一個或多個特定個人信息。僅所選擇的一個或多個特定個人信息被視為相似度計算目標。因此，即使在存在大量特定個人信息的情況下，仍能夠迅速地執(zhí)行相似度計算處理。將在下面參照附圖詳細描述選擇適于相似度計算的一個或多個特定個人信息并且對其進行相似度計算處理的情況。
圖23是示出了根據(jù)本發(fā)明實施例的相似度計算單元360的相似度 計算方法的概要的圖。在圖23中，將描述針對包括在成像圖像800中 的人801到803的面部804到806執(zhí)行相似度計算的情況。要注意，假 定人801是兒童，而人802和803是成人。另外，人801和803是男 性，而人802是女性。另外，假定圖23所示的特定個人信息存儲單元 380是一部分被省略的圖15所示的特定個人信息存儲單元380，并且被 省略的內(nèi)容與圖15所示的內(nèi)容相同。
例如，面部檢測單元200從成像圖像800檢測到面部804到806， 正規(guī)化單元320從這些面部804到806產(chǎn)生正規(guī)化面部圖像811到 813。針對產(chǎn)生的正規(guī)化面部圖像811到813，屬性確定單元330確定各 面部屬性。在圖23中，針對正規(guī)化面部圖像811到813輸出的確定結(jié) 果的一部分在各正規(guī)化面部圖像的下部示出。
隨后，在計算檢測到的面部與登記面部之間的相似度之前，相似度 計算單元360對檢測到的面部與登記面部的面部屬性進行比較。例如， 對諸如性別、年齡(年齡組)等的幾乎不隨時間而改變的屬性進行比 較，并且選擇具有高相似度的特定個人信息。例如，包括在正規(guī)化面部 圖《象811中的面部是兒童的面部，因此，"成人/兒童，，的值(年齡得分) 為高值。也就是說，針對包括在正規(guī)化面部圖像811中的面部計算出的 年齡得分是確定為兒童的值。然而，存儲在特定個人信息存儲單元380 的成人/兒童(年齡)384中的各個值是低值，并且所有的值被確定為成 人。因此，正規(guī)化面部圖像811與記錄在特定個人信息存儲單元380中 的特定個人信息相似的可能性低，因此不執(zhí)行相似度計算處理。
另外，包括在正規(guī)化面部圖像812中的面部是成人女性的面部，因 此"成人/兒童，，的值(年齡得分)是低值，并且"男性/女性，，的值(性別 得分)是高值。也就是說，針對包括在正規(guī)化面部圖像812中的面部計 算出的年齡得分是確定為成人的值，并且性別得分是確定為女性的值。 因此，選擇特定個人信息，其中，特定個人信息存儲單元380的成人/ 兒童(年齡)384的值是確定為成人的值。例如，如圖15所示，選擇與識別編號381的"100"到"300，，關(guān)聯(lián)的各特定個人信息。另外，在這些特 定人信息之中，選擇其中特定個人信息存儲單元380的男性/女性(性 別)383的值是確定為女性的值的特定個人信息。例如，如圖15所示， 選捧與識別編號381的"101"到"103"關(guān)聯(lián)的各特定個人信息。
相似地，包括在正規(guī)化面部圖像813中的面部是成人男性的面部， 因此"成人/兒童"的值(年齡得分)是低值，并且"男性/女性，，的值(性 別得分)是低值。也就是說，針對包括在正規(guī)化面部圖〗象813中的面部 計算出的年齡得分是確定為成人的值，并且性別得分是確定為男性的 值。因此，選擇特定個人信息，其中，特定個人信息存儲單元380的成 A/兒童(年齡)384的值是確定為成人的值。另外，在這些特定人信息 之中，選擇其中特定個人信息存儲單元380的男性/女性(性別)383的 值是確定為男性的值的特定個人信息。例如，如圖15所示，選擇與識 別編號381的"200"和"300"關(guān)聯(lián)的各特定個人信息。
因此，利用諸如性別、年齡等的幾乎不隨時間改變的面部屬性，由 此能夠僅選擇用作相似度計算目標的適宜的特定個人信息。另外，可以 從利用其它面部屬性選擇的特定個人信息中選擇用作相似度計算目標的 適宜的特定個人信息。也就是說，可以進一步選擇與檢測到的面部具有 高相似度的登記面部。
例如，可以設(shè)置成，針對每個屬性按照順序計算針對檢測到的面部 計算出的累積結(jié)果值與包括在特定個人信息中的累積結(jié)果值之間的差 值，并且針對每個屬性選擇用以使該差值變得最小的特定個人信息。另 選地，可以僅選擇用以使該差值包括在一定范圍內(nèi)的特定個人信息。另 外，可以設(shè)置成，獲得針對每個屬性計算的差值的總和，并且僅選擇用 以使差值的總和值變得最小的特定個人信息。
另選地，可以設(shè)置成，在針對檢測到的面部計算的累積結(jié)果值之 中，提取絕對值最大的累積結(jié)果值，選擇用以使與提取的累積結(jié)果值的 差值最小的特定個人信息。在這種情況下，例如，利用與已利用的屬性 (例如，性別和年齡的屬性)不同的屬性。在圖23中，例如，在針對 正規(guī)化面部圖像812計算的累積結(jié)果值之中，絕對值最大的累積結(jié)果值(不同于"男性/女性，，和"成人/兒童，，)是開/閉眼睛"520"。因此，能夠 選擇用以使該最大累積結(jié)果值"520 (眼睛的開/閉)，，與選擇的各特定個 人信息(識別編號381"101"到"103")的開/閉眼睛385的累積結(jié)果值之 間的差值變得最小的特定個人信息(識別編號381"101")。另外，例 如，在針對正規(guī)化面部圖像813計算出的累積結(jié)果值之中，絕對值最大 的累積結(jié)果值是有眼鏡/無眼鏡"589"。因此，可以選擇用以使該最大累 積結(jié)果值"589 (有眼鏡/無眼鏡)"與各個選擇的特定個人信息(識別編 號381"200，，和"300")的有目艮鏡/無眼鏡388的累積結(jié)果值之間的差值變 得最小的特定個人信息(識別編號381"202")。要注意，可以設(shè)置成， 在針對正規(guī)化面部圖像計算出的累積結(jié)果值之中，利用預(yù)定數(shù)目的絕對 值大的累積結(jié)果值來選擇特定個人信息。
因此，在利用已完成了處理的屬性確定結(jié)果縮減了用作相似度計算 目標的特定個人信息后，能夠執(zhí)行相似度計算處理。例如，對于圖23 所示的示例，在相似度計算單元360計算針對正規(guī)化面部圖像811到 813計算出的面部特征量與記錄在特定個人信息存儲單元380中的所有 面部特征量之間的相似度的情況下，必須執(zhí)行24 (3x8)種的計算。另 一方面，例如，在選擇用以使與絕對值最大的累積結(jié)果值的差值變得最
小的特定個人信息并且計算關(guān)于該特定個人信息的面部特征量的相似度 的情況下，應(yīng)該執(zhí)行兩種計算。因此，能夠大幅減少用作計算目標的組 合的數(shù)目。因此，能夠?qū)崿F(xiàn)特定個人信息的恒定更新。
另外，例如，當計算相似度時可以根據(jù)關(guān)于檢測到的面部的面部屬 性的相似度的值執(zhí)行加權(quán)。例如，對關(guān)于檢測到的面部的面部屬性的相 似度高的特定個人信息應(yīng)用高加權(quán)。因此，能夠進一步提高相似度計算 的精度。
接下來，將參照附圖詳細描述一種靜止圖像記錄方法，其中，基于 利用屬性確定字典計算出的累積結(jié)果值執(zhí)行包括笑臉的靜止圖像的記錄操作。
圖24A和24B是示意性示出了根據(jù)本發(fā)明實施例的正規(guī)化單元320 產(chǎn)生的正規(guī)化面部圖像與根據(jù)本發(fā)明實施例的屬性確定單元330計算出的累積結(jié)果值之間的關(guān)系的圖。要注意，圖24A所示的正規(guī)化面部圖像 430與圖SA所示的正規(guī)化面部圖像430相似，并且圖24B所示的正規(guī) 化面部圖像440與圖5B所示的正規(guī)化面部圖像440相似。因此，對其 附加相同的參考標號，并且省去了對它的詳細描述。
圖24A示出了4十對正規(guī)化面部圖像430計算出的累積結(jié)果值，圖 24B示出了針對正規(guī)化面部圖像440計算出的累積結(jié)果值。要注意，在 指示累積結(jié)果值的條狀范圍之中，指示計算出的累積結(jié)果值的范圍用陰 影線指示。另外，這些條狀范圍對應(yīng)于圖7A到圖7C所示的累積結(jié)果 值范圍。
通常，在對普通面部(非笑臉)與笑臉進行比較的情況下，與普通 面部相比，在笑臉中笑臉得分(圖15所示的笑臉/非笑臉382的值) 高。因此，笑臉得分486高于笑臉得分482。另外，如上所迷，對于笑 臉，常出現(xiàn)使眼睛變窄的特征點，因此與普通面部相比，在笑臉中睜眼 得分(圖15所示的眼睛的開/閉的值)較低。因此，崢眼得分488低于 睜眼得分484。要注意，包括在正規(guī)化面部圖像430和440中的所有面 部都是朝向前方的，因此正面得分(圖15所示的面部朝向386的值) 483和487成為基本相同的值。另外，已經(jīng)對包括在正規(guī)化面部圖像 430和440中的所有面部進行了相當精細的成像，因此面部相像度得分 481和485成為基本相同的值。
現(xiàn)在，對于本發(fā)明的實施例，將描述如下的示例利用笑臉得分和 面部相像度得分執(zhí)行包括笑臉的靜止圖像的記錄操作。另外，對于該示 例，假定已經(jīng)設(shè)置了笑臉靜止圖像記錄模式。具體地講，在針對正規(guī)化 面部圖像計算出的面部相像度得分超過閾值Tfl并且針對該正規(guī)化面部 圖像計算出的笑臉得分超過閾值Tsl的情況下，CPU IIO指示開始靜止 圖像的記錄操作。例如，在圖24A中，面部相像度得分481超過閣值 Tfl，但笑臉得分482沒有超過閾值Tsl。因此，在檢測到圖24A所示 的普通面部的情況下，不指示開始靜止圖像的記錄操作。另一方面，在 圖24B中，面部相像度得分485超過閾值Tfl，并且笑臉得分486超過 閾值Tsl。因此，在檢測到圖24B所示的笑臉441的情況下，指示開始靜止圖像的記錄操作。
要注意，可以利用除面部相像度得分以外的其它得分(面部屬性信 息)執(zhí)行包括笑臉的靜止圖像的記錄操作。另外，例如，可以采用確定 特定人包括在成像圖像中并且確定該特定人的面部是笑臉的情況作為條 件。這種情況下的確定基準可以與登記特定個人信息時的確定基準不 同。例如，與登記特定個人信息時的確定基準相比，可以放松執(zhí)行靜止 圖像的記錄時的特定人的確定基準。
接下來，將參照附圖詳細描述一種特定個人信息登記方法，其中， 基于利用屬性確定字典計算出的累積結(jié)果值登記特定個人信息。
圖25A和25B是示意性示出了根據(jù)本發(fā)明實施例的正規(guī)化單元320 產(chǎn)生的正規(guī)化面部圖像與根據(jù)本發(fā)明實施例的屬性確定單元330計算出 的累積結(jié)果值之間的關(guān)系的圖。要注意，圖25A和25B所示的正規(guī)化 面部圖像和累積結(jié)果值與圖24A和24B所示的相同，僅僅闞值不同。 因此，與圖24A和24B所示相同的部分由相同的參考標號指示，并且 省去了對它們的詳細描述。
對于該示例，將描述如下的情況利用面部相像度得分、笑臉得 分、正面得分和崢眼得分確定是否更新特定個人信息。另外，對于該示 例，將描述已經(jīng)設(shè)置了特定個人信息自動更新模式的情況作為示例。具 體地講，特定個人信息登記單元370基于從相似度計算單元360輸出的 相似度，確定從面部特征量提取單元350輸入的面部特征量與存儲在特 定個人信息存儲單元380中的面部特征量之間的相似度是否極高。例 如，可以采用相似度等于或大于特定值(例如，比相似度確定大的值) 作為條件。隨后，在確定該相似度極高的情況下，特定個人信息登記單 元370確定按照與確定了相似度極高的特定個人信息關(guān)聯(lián)的方式存儲的 登記日期和時間(圖15所示的登記日期和時間389 )是否是一定時長以 上之前的日期和時間。也就是說，確定是否從最后的登記或更新開始經(jīng) 過了一定時長。關(guān)于該一定時長，例如，可以設(shè)置一年單位、 一月單 位、 一天單位或者一秒以下的單位(例如，圖像的幾幀的單位)。例 如，在將較長的時間設(shè)置為該一定時長的情況下，能夠處理特定人的隨時間的變化(變老或者外貌變化)。另外，例如，在將較短的時間設(shè)置 為該一定時長的情況下，能夠恒定地定期搜索適于特定人的本人認證的 面部。
隨后，在確定從最后的登記或更新開始已過去一定時長的情況下，
特定個人信息登記單元370確定是否滿足更新特定個人信息的條件?？?以對更新特定個人信息的該條件進行設(shè)置，例如，面部相像度得分、正 面得分和崢眼得分分別超過閾值Tf2、 Ty2和Tb2并且笑臉得分小于閾 值Ts2。隨后，在確定滿足更新特定個人信息的條件的情況下，特定個 人信息登記單元370開始確定為相似度極高的特定個人信息的更新操 作。也就是說，特定個人信息登記單元370用要比較的個信息來覆寫 確定為相似度極高的特定個人信息存儲單元380的特定個人信息的各項 目。例如，用從面部特征量提取單元350輸入的面部特征量覆寫面部特 征量391,用由屬性確定單元330計算出的各累積結(jié)果值覆寫諸如笑臉/ 非笑臉382等的面部屬性信息。另外，用由正規(guī)化單元320產(chǎn)生的正規(guī) 化面部圖像覆寫登記面部圖像392，將進行該更新時的日期和時間記錄 在登記日期和時間389中，并且將利用進行該更新時計算出的位置信息 確定的地點記錄在登記地點390中。要注意，在存儲區(qū)域包括關(guān)于要更 新的特定人的空間區(qū)域的情況下，可以附加登記要更新的特定個人信 息。另外，在關(guān)于要更新的特定人存在多組特定個人信息的情況下，在 這些組中，可以更新一組特定個人信息，在該組特定個人信息中，面部 相像度得分、笑臉得分、正面得分和崢眼得分的各個值對于對應(yīng)閾值是 最低的。另選地，可以更新登記日期和時間最老的一組特定個人信息。
另選地，例如，可以參照圖15所示的登記地點390更新存儲有與 當前地點相同的地點(或者當前地點的最近地點)的特定個人信息。例 如，可以想到，在在用戶的工作地點執(zhí)行成像操作的情況與在用戶的家 附近執(zhí)行成像操作的情況之間，面部表情大為不同。因此，能夠在考慮 這種心理因素的同時執(zhí)行更新處理。因此，例如，在用戶的工作地點執(zhí)
行成像操作的情況下和在用戶的家附近執(zhí)行成像操作的情況下，能夠提 高個人識別精度。因此，可以參照諸如登記地點等的關(guān)聯(lián)信息執(zhí)行更新因此，在更新(或另外加入)特定個人信息的情況下，例如，確定 要確定的面部是否不接近極端笑臉而是接近普通面部。在確定了要確定 的面部接近普通面部并且適于個人識別的情況下，執(zhí)行該特定個人信息 的更新。也就是說，可以采用與自動記錄笑臉的靜止圖像時的條件不同 的條件。例如，在圖25A中，面部相1象度得分481超過閾值Tf2，正面得分 483超過閾值TV2，凈眼得分484超過閾值Tb2，并且笑臉得分482小 于闊值Ts2。因此，檢測到圖25A所示的普通面部431，并且在針對普 通面部431計算出的相似度滿足一定條件的情況下，執(zhí)行特定個人信息 的更新。另一方面，在圖25B中，面部相像度得分485超過闊值TO, 正面得分487超過閾值Ty2，瞭眼得分488超過閾值Tb2,但笑臉得分 482不小于閾值Ts2。因此，檢測到圖25B所示的笑臉441，并且即使 在針對笑臉441計算出的相似度滿足一定條件的情況下，也不執(zhí)行特定 個人信息的更新。要注意，圖24A、 24B、 25A和25B所示的闊值是示例，因此，這 些閾值例如可以根據(jù)用戶的偏好進行改變。另選地，可以利用除面部相 像度得分、笑臉得分、正面得分和睜眼得分以外的其它得分(面部屬性 信息)執(zhí)行特定個人信息的更新。另選地，可以通過對關(guān)于要更新的特 定人的多組特定個人信息的各個值與面部相像度得分、笑臉得分、正面 得分和凈眼得分的各個值進行比較來確定是否執(zhí)行更新，而不是利用各閾值確定是否執(zhí)行更新。因此，特定個人信息能夠被自動更新，因此，用戶不需要手動指示 登記或更新。另外，特定個人信息能夠被自動更新，由此能夠存儲最新 和最佳的特定個人信息。因此，能夠提高個人識別精度。另外，通過重 復(fù)執(zhí)行成像操作能夠進一步提高個人識別精度。接下來，將參照附圖描述根據(jù)本發(fā)明實施例的成像設(shè)備100的操作。圖26是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的個人識別處理的過程的流程圖。對于該個人識別處理，可將整個流程粗略分成四個處理面部屬性確定處理、特征點坐標計算處理、面部特征量提取處理和 相似度計算處理。首先，個人識別單元300獲得從面部檢測單元200輸出的面部檢測 結(jié)果，并且基于包括在該面部檢測結(jié)果中的面部區(qū)域的坐標和大小從存 儲在圖像RAM 130中的圖像讀取面部圖像(步驟S901)。要注意，個 人識別單元300可以經(jīng)由CPU 110獲得從面部檢測單元200輸出的面部 檢測結(jié)果。接下來，正規(guī)化單元320通過調(diào)整讀取的面部圖像執(zhí)行正規(guī)化從而 使得面部的大小為一定大小并且兩只眼睛大致水平(步驟S902 )。隨 后，屬性確定單元330針對正規(guī)化面部圖〗象執(zhí)行面部屬性確定處理(步 驟S910)。將參照圖27和28詳細描述該面部屬性確定處理。要注意， 步驟S910 M明內(nèi)容中記栽的屬性確定過程的示例。接下來，特征點計算單元340加載在保持在特征點坐標表保持單元 341中的特征點坐標表中包括的特征點坐標的缺省值，并且將該特征點 坐標的缺省值配置為要設(shè)置到正規(guī)化面部圖像的特征點的位置(步驟 S903)。要注意，可以從CPU IIO設(shè)置特征點坐標。隨后，特征點計算 單元340基于從屬性確定單元330輸出的面部屬性的確定結(jié)果，改變或 調(diào)整缺省值的特征點坐標，從而計算特征點坐標(步驟S904)。接下來，面部特征量提取單元350加載關(guān)于Gabor濾波器的M 的缺省值(步驟S905)。要注意，可以從CPU 110設(shè)置Gabor濾波器 的^lt。隨后，面部特征量提取單元350基于從屬性確定單元330輸出 的面部屬性的確定結(jié)果，改變作為Gabor濾波器的參數(shù)的通過頻帶和 特征量提取角度(步驟S906)。隨后，面部特征量提取單元350利用 Gabor濾波器提取由特征計算單元340計算出的各特征點處的特征量 (步驟S卯7)。要注意，步驟S907是發(fā)明內(nèi)容中記載的提取的示例。接下來，相似度計算單元360執(zhí)行相似度計算處理(步驟S950)。 將參照圖29和30詳細描述該相似度計算處理。要注意，步驟S950是 發(fā)明內(nèi)容中記載的計算的示例。圖27是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的個人識別處理的 過程的面部屬性確定過程(圖26所示的步驟S910中的過程)的流程 圖?，F(xiàn)在，將描述如下的示例確定關(guān)于年齡、眼睛的開/閉、發(fā)型、 有眼衞無眼鏡以及已刮臉/未刮臉的面部屬性。要注意，將參照圖28詳 細描述各面部屬性的確定處理。首先，屬性確定單元330利用年齡確定字典執(zhí)^f于年齡屬性確定處理 (步驟S911 )。隨后，屬性確定單元330利用開/閉眼睛確定字典執(zhí)行開 /閉眼睛屬性確定處理(步驟S912 )。屬性確定單元330利用發(fā)型確定字 典執(zhí)行發(fā)型屬性確定處理(步驟S913)。屬性確定單元330利用眼鏡確 定字典執(zhí)行眼鏡屬性確定處理(步驟S914)。屬性確定單元330利用胡 須確定字典執(zhí)行胡須屬性確定處理(步驟S915)。隨后，屬性確定單元 330保持這些面部屬性的確定結(jié)果(步驟S916)。要注意，這些面部屬 性的確定結(jié)果也被輸出到CPU 110。接下來，在要確定的面部的面部屬性的確定結(jié)果與存儲在特定個人 信息存儲單元380中的各面部屬性的確定結(jié)果之間，確定面部屬性的相 似度(步驟S917和S918)。具體地講，確定與要確定的面部的性別相 關(guān)的面部屬性的確定結(jié)果與存儲在特定個人信息存儲單元380中的與性 別相關(guān)的各面部屬性的確定結(jié)果是否明顯不同(步驟S917)。這里，與 性別相關(guān)的面部屬性的確定結(jié)果明顯不同的情況是指與完全匹配的情況 以及含糊的情況不同的情況。另外，確定與要確定的面部的年齡相關(guān)的 面部屬性的確定結(jié)果與存儲在特定個人信息存儲單元380中的與年齡相 關(guān)的各面部屬性的確定結(jié)果是否明顯不同(步驟S918)。在與性別相關(guān)的面部屬性的確定結(jié)果明顯不同的情況下(步驟 S917)或者在與年齡相關(guān)的面部屬性的確定結(jié)果明顯不同的情況下(步 驟S918)，個人識別處理的操作結(jié)束。另一方面，在與性別相關(guān)的面部 屬性的確定結(jié)果沒有明顯不同的情況下(步驟S917)或者在與年齡相 關(guān)的面部屬性的確定結(jié)果沒有明顯不同的情況下(步驟S918)，流程前 進到步驟S919。隨后，確定了要確定的面部屬性與存儲在特定個人信 息存儲單元380中的各面部屬性的確定結(jié)果相似(步驟S919)。要注意，對于該示例，描述如下的情況針對作為面部屬性的性別 或年齡，確定面部屬性的相似度，但是可以針對其它面部屬性確定相似 度。例如，假定存儲在特定個人信息存儲單元380中的與性別相關(guān)的面 部屬性的所有確定結(jié)果被確定為女性。在這種情況下，在與要確定的面 部的性別相關(guān)的面部屬性的確定結(jié)果祐_確定為男性的情況下，要確定的 面部很可能不是與登記面部相同的人。相似地，在存儲在特定個人信息 存儲單元380中的與年齡相關(guān)的面部屬性的所有確定結(jié)果,皮確定為成人 的情況下，在與要確定的面部的年齡相關(guān)的面部屬性的確定結(jié)果被確定 為兒童的情況下，要確定的面部很可能不是與登記面部相同的人。因 此，在登記面部的面部屬性和要確定的面部的面部屬性具有相反屬性的 情況下，要確定的面部很可能不是與登記面部相同的人，因此，不必執(zhí) 行面部特征點坐標計算處理、面部特征量拔_取處理和相似度計算處理。 因此，在兩個屬性之間的相似度極低的情況下，中斷所有后續(xù)處理，由 此能夠?qū)崿F(xiàn)個人識別處理的速度的提高。圖28是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的面部屬性確定處 理的過程的流程圖。該面部屬性確定處理是與圖27中的步驟S911到 S915所示的各面部屬性的確定處理對應(yīng)的處理?，F(xiàn)在，將描述利用圖6 所示的屬性確定字典450確定面部屬性的示例。首先，將得分S初始化為"0"(步驟S921 )，將變量i初始化為"0" (步驟S922)。隨后，在從正規(guī)化面部圖像提取的亮度值之中，獲得與 包括在屬性確定字典450的基準數(shù)據(jù)i中的坐標0 (x， y) 451的值對 應(yīng)的亮度的值A(chǔ) (i)和與坐標1 (x, y) 452的值對應(yīng)的亮度的值B (i)(步驟S923)。隨后，利用下式計算獲得的亮度值的差C (i)(步 驟S924 )。C (i) =A (i) -B (0接下來，將計算出的亮度值的差值C (i)與包括在屬性確定字典 450的基準數(shù)據(jù)i中的閾值(e) 453的值進行比較，以確定計算出的值 C (i)是否大于閾值(e) 453的值(步驟S925)。在計算出的值C(i)等于或小于闊值(e) 453的值的情況下(步驟S925),將包括在 屬性確定字典450的基準數(shù)據(jù)i中的權(quán)重(a) 454的值加到得分S (步 驟S926)。另一方面，在計算出的值C (i)大于閾值(9) 453的值的 情況下(步驟S925),流程前進到步驟S927而不將包括在屬性確定字 典450的基準數(shù)據(jù)i中的權(quán)重(a) 454的值加到得分S。
接下來，將"l"加到變量i (步驟S927),并且確定變量i是否大于 n - 1 (步驟S928 )。在變量i不大于n 一 1的情況下(步驟S928 )，關(guān)于 屬性確定字典450的各基準數(shù)據(jù)的確定處理尚未結(jié)束，因此，流程返回 到步驟S923，重復(fù)確定處理(步驟S923到S927)。另一方面，在變量i 大于n-1的情況下(步驟S928),確定得分S的值是否包括在閾值1 與閾值2之間的范圍內(nèi)(步驟S929)。要注意，閾值1對應(yīng)于圖7A到 7C所示的閾值461、 463和465，閾值2對應(yīng)于圖7A到7C所示的閾值 462、 464和466。
在得分S的值包括在閾值1與閾值2之間的范圍內(nèi)的情況下(步驟 S929)，關(guān)于與屬性確定字典450對應(yīng)的面部屬性，正規(guī)化面部圖像被 確定為"含糊"(步驟S930 )。
在得分S的值沒有包括在閾值1與閾值2之間的范圍內(nèi)的情況下 (步驟S929),確定得分S的值是否大于閾值2 (步驟S931)。在得分S 的值大于閾值2的情況下(步驟S931),關(guān)于與屬性確定字典450對應(yīng) 的面部屬性，正規(guī)化面部圖傳^皮確定為目標圖像(步驟S932)。另一方 面，在得分S的值小于閾值2的情況下(步驟S931 )，關(guān)于與屬性確定 字典450對應(yīng)的面部屬性，正規(guī)化面部圖像被確定為不是目標圖像(步 驟S933 )o
圖29是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的個人識別處理的 過程的面部相似度計算過程(圖26中的步驟S950中的過程)的流程 圖。
首先，相似度計算單元360從保持在相似度計算基準數(shù)據(jù)保持單元 361中的相似度計算字典中獲得缺省的相似度計算字典(步驟S951)。 例如，從圖16所示的相似度計算基準數(shù)據(jù)保持單元361獲得一般字典
52701。隨后，相似度計算單元360基于從屬性確定單元330輸出的面部 屬性的確定結(jié)果，從保持在相似度計算基準數(shù)據(jù)保持單元361中的相似 度計算字典中選擇相似度計算字典(步驟S952)。隨后，相似度計算單 元360使用缺省的相似度計算字典和所選擇的相似度計算字典來執(zhí)行相 似度計算處理(步驟S960 )。將參照圖30詳細描述該相似度計算處 理。
圖30是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的面部相似度計算 處理的過程的相似度計算過程(圖29所示的步驟S960中的過程)的流 程圖?，F(xiàn)在，將描述利用圖17所示的相似度計算字典660計算相似度 的示例。
首先，將得分S1初始化為"0"(步驟S961)，將變量i初始化為"0" (步驟S962)。隨后，獲得在與包括在相似度計算字典660的基準數(shù)據(jù) i中的坐標0 (x， y) 661的值對應(yīng)的要確定的面部特征量中包括的特征 量的值A(chǔ)0 (i)、和包括在登記面部特征量中的特征量的值B0 (i)。另 外，獲得在與包括在相似度計算字典660的基準數(shù)據(jù)i中的坐標1 (x, y) 662的值對應(yīng)的要確定的面部特征量中包括的特征量的值A(chǔ)l (i)、 和包括在登記面部特征量中的特征量的值B1 (i)(步驟S963)。
接下來，利用下式計算獲得的特征量的值之間的差的絕對值CO (i) (步驟S964 )。
CO (i) = I AO (i) —BO (i) I
接下來，利用下式計算獲得的特征量的值之間的差的絕對值C1 (i) (步驟S965 )。
CI (0 = I Al (i) —B1 (i) I
接下來，利用下式計算計算出的絕對值CO (i)和CI (i)之間的 差的絕對值C2 (i)(步驟S966)。 C2 (i) = I CO (i) —C1 (i) I
接下來，對計算出的絕對值C2 (0與包括在相似度計算字典660 的基準數(shù)據(jù)i中的闊值(0) 663的值進行比較，以確定計算出的絕對值 C2 (i)是否大于閾值(e) 663的值(步驟S967)。在計算出的絕對值C2 (i)等于或小于闊值(e) 663的值的情況下(步驟S967),將包括 在相似度計算字典660的基準^t據(jù)i中的權(quán)重(a) 664的值加到得分 Sl (步驟S968)。另一方面，在計算出的絕對值C2 (i)大于閾值(e) 663的值的情況下(步驟S967)，流程前進到步驟S969,而不將包括在 相似度計算字典660的基準數(shù)據(jù)i中的權(quán)重(a) 664的值加到得分 Sl。
接下來，將"l，，加到變量i (步驟S969)，并且確定變量i是否大于 n - 1 (步驟S970 )。在變量i不大于n - 1的情況下(步驟S970 ),關(guān)于 相似度計算字典660的各基準數(shù)據(jù)的確定處理尚未結(jié)束，因此，流程返 回到步驟S963,重復(fù)相似度計算處理(步驟S963到S969 )。另一方 面，在變量i大于n-1的情況下(步驟S970),確定是否存在未經(jīng)歷相 似度計算處理的相似度計算字典(步驟S971 )。在存在未經(jīng)歷相似度計 算處理的相似度計算字典的情況下(步驟S971)，流程返回到步驟 S962,重復(fù)執(zhí)行利用其它相似度計算字典的相似度計算處理(步驟 S962到S969)。例如，如圖19所示，對于面部屬性的確定結(jié)果4皮確定 為兒童的情況，在一般字典701的相似度計算處理完成后，存在兒童用 字典702，所以執(zhí)^f亍利用兒童用字典702的相似度計算處理。
另一方面，在不存在未經(jīng)歷相似度計算處理的相似度計算字典的情 況下(步驟S971)，將得分Sl的值輸出到CPU 110，作為指示與要確 定的面部特征量對應(yīng)的面部和與登記面部特征量對應(yīng)的面部之間的相似 度的值(步驟S972 )。
圖31是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的個人識別處理的 過程的面部屬性確定過程的流程圖。該面部屬性確定過程是圖27所示 的面部屬性確定過程的部分變型。要注意，步驟S916到S919是與圖 27所示的步驟S916到S919相同的過程，因此，在這里省去了對它的 描述?，F(xiàn)在，將描述選擇性地執(zhí)行關(guān)于年齡、開/閉眼睛、發(fā)型、有眼 鏡/無眼鏡和已刮臉/未刮臉的面部屬性的示例。假定對于與年齡相關(guān)的 面部屬性的確定，確定要確定的面部是否是嬰兒。另外，假定對于與眼 鏡相關(guān)的面部屬性的確定，確定要確定的面部是否具有太陽鏡(低透明度的眼鏡)。
首先，屬性確定單元330利用年齡確定字典執(zhí)4于年齡屬性確定處理 (步驟S991)。接下來，確定是否嬰兒被確定為與年齡相關(guān)的面部屬性 的確定結(jié)果(步驟S992)。在嬰兒被確定為與年齡相關(guān)的面部屬性的確 定結(jié)果的情況下(步驟S992),僅執(zhí)行關(guān)于開/閉眼睛的面部屬性的確定 處理，并且不執(zhí)行其它面部屬性的確定處理。也就是說，對于嬰兒，假 定"關(guān)于發(fā)型的特征少"、"無眼鏡"、"性別不明確"和"無胡須"。
另一方面，在并非嬰兒被確定為與年齡相關(guān)的面部屬性的確定結(jié)果 的情況下(步驟S992)，屬性確定單元330利用發(fā)型確定字典執(zhí)行發(fā)型 屬性確定處理(步驟S994)，并且利用眼鏡確定字典執(zhí)行眼鏡屬性確定 處理(步驟S995 )。
接下來，確定是否太陽鏡被確定為與眼鏡相關(guān)的面部屬性的確定結(jié) 果(步驟S996)。在太陽鏡被確定為與目艮鏡相關(guān)的面部屬性的確定結(jié)果 的情況下(步驟S996)，針對戴太陽鏡的面部難以確定眼睛的開/閉，因 此，流程前進到步驟S998，而不執(zhí)行關(guān)于開/閉眼睛的面部屬性的確定 處理。另一方面，在太陽鏡沒有被確定為與眼鏡相關(guān)的面部屬性的確定 結(jié)果的情況下(步驟S996)，執(zhí)行與開/閉眼睛相關(guān)的面部屬性的確定處 理(步驟S997 )。
接下來，在女性被確定為與性別相關(guān)的面部屬性的確定結(jié)果的情況 下(步驟S998),女性具有沒有胡須的前提，因此，不執(zhí)行與胡須相關(guān) 的確定處理，流程前進到步驟S916。另一方面，在女性沒有被確定為 與性別相關(guān)的面部屬性的確定結(jié)果的情況下(步驟S998)，執(zhí)行與胡須 相關(guān)的確定處理(步驟S999 )。
因此，在各種類型的面部屬性之中，諸如對于兒童或女性而言的胡 須，在一些情況下存在沖突的內(nèi)容和非常少見的組合的內(nèi)容。因此，針 對沖突的面部屬性，基于已經(jīng)確定的面部屬性的確定結(jié)果，不執(zhí)行確定 處理，由此能夠減少面部屬性的確定處理時間并且能夠提高精度。
圖32是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的特定個人信息登 記處理的過程的流程圖。對于該示例，針對每個幀執(zhí)行特定個人信息登
55記處理。另外，將假定已經(jīng)設(shè)置了特定個人信息自動更新模式的情況來 描述該示例。
首先，相似度計算單元360從屬性確定單元330輸入面部屬性確定 結(jié)果(面部屬性信息)(步驟S1001)，并且從面部特征量提取單元350 輸入面部特征量(步驟S1002)。隨后，確定操作接收單元160是否接 收到來自用戶的登記指令的操作輸入(步驟S1003)。在尚未接收到來 自用戶的登記指令的操作輸入的情況下(步驟S1003),將變量i初始化 為"0"(步驟S1004)，并且將"l"加到變量i (步驟S1005)。這里，變量 i是用于參考其特定個人信息存儲在特定個人/f言息存儲單元380中的特 定人的值。例如，假定，在i=l的情況下，參考識別編號381的 "100";在i=2的情況下，參考識別編號381的"200，，；在i=3的情況 下，參考識別編號381的"300"。另外，在下文中，與變量i對應(yīng)的特 定人的面部將被稱作登記面部i。
接下來，相似度計算單元360確定檢測到的面部和登記面部i的面 部屬性"性別"是否相同(步驟S1006 )。在檢測到的面部和登記面部i的 面部屬性"性別"不同的情況下(步驟S1006),確定變量i是否等于或大 于常量N (步驟S1012)。這里，常量N是指示其特定個人信息存儲在 特定個人信息存儲單元380中的特定人的數(shù)目的值。例如，對于圖15 所示的示例，N-3。在變量i小于常量N的情況下(步驟S1012),流程 返回到步驟S1005,并且將"l"加到變量i。另一方面，在變量i等于或 大于常量N的情況下(步驟S1012)，流程前進到步驟S1013。
另外，在檢測到的面部和登記面部i的面部屬性"性別"相同的情況 下(步驟S1006)，相似度計算單元360確定檢測到的面部和登記面部i 的面部屬性"年齡，，是否相同(步驟S1007)。在檢測到的面部和登記面 部i的面部屬性"年齡，，不同的情況下(步驟S1007)，流程前進到步驟 S1012。另一方面，在檢測到的面部和登記面部i的面部屬性"年齡"相 同的情況下(步驟S1007),相似度計算單元360利用其它面部屬性從 登記面部i的特定個人信息中選擇一個或多個特定個人信息(步驟 S1008)。例如，在針對檢測到的面部計算出的累積結(jié)果值之中，提取絕對值最大的累積結(jié)果值，并且選擇與提取的累積結(jié)果值的差值最小的登 記面部i的特定個人信息。
接下來，相似度計算單元360利用選擇的特定個人信息的面部特征 量，執(zhí)行相似度計算處理(步驟S1009)。該相似度計算處理是與圖29 所示的步驟S950中的處理基本相同的處理，因此在這里省去了對它的 描述。要注意，步驟S1009 M明內(nèi)容中記栽的計算的示例。隨后，特 定個人信息登記單元370基于由相似度計算單元360計算出的相似度， 確定來自面部特征量拔^取單元350的面部特征量與存儲在特定個人信息 存儲單元380中的面部特征量之間的相似度是否極高(步驟S1010)。 也就是說，確定檢測到的面部是否與登記面部i相似。在來自面部特征 量提取單元350的面部特征量與存儲在特定個人信息存儲單元380中的 面部特征量之間的相似度不是極高的情況下(步驟S1010)，流程前進 到步驟S1012。
另外，在來自面部特征量提取單元350的面部特征量與存儲在特定 個人信息存儲單元380中的面部特征量之間的相似度極高的情況下(步 驟S1010),流程前進到步驟SlOll。隨后，特定個人信息登記單元370 確定登記面部i的登記日期和時間389是否是在一定時長以上之前的日 期和時間(步驟S1011 )。在登記面部i的登記日期和時間389不是在一 定時長以上之前的日期和時間的情況下(步驟S1011)，確定在當前幀內(nèi) 是否存在檢測到的任何其它面部(步驟S1013)。當在當前幀內(nèi)不存在 檢測到的任何其它面部的情況下(步驟S1013),特定個人信息登記處 理的操作結(jié)束。另一方面，當在當前幀內(nèi)存在檢測到的任何其它面部的 情況下(步驟S1013 )，流程返回到步驟S1001。
另一方面，在登記面部i的登記日期和時間389是在一定時長以上 之前的日期和時間的情況下(步驟S1011),特定個人信息登記單元370 執(zhí)行特定個人信息登記處理(步驟S1020)。將參照圖33詳細描述該特 定個人信息登記處理。
要注意，對于該示例，在步驟S1008中，提取絕對值最大的累積結(jié) 果值，并且選擇登記面部i的特定個人信息，但是例如，可以在步驟
57S1008中執(zhí)行圖23所示的另一特定個人信息選擇方法。
圖33是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的特定個人信息登 記處理的過程的特定個人信息登記確定過程(圖32所示的步驟S1020 中的過程)的流程圖。將描述利用面部相像度、笑臉得分、正面得分和 崢眼得分確定特定個人信息登記的必要性的示例。
首先，特定個人信息登記單元370確定針對檢測到的面部計算出的 面部相像度得分是否高于對應(yīng)閾值(步驟S1021)，確定針對檢測到的 面部計算出的正面得分是否高于對應(yīng)閾值(步驟S1022)，確定針對檢
測到的面部計算出的崢眼得分是否高于對應(yīng)閾值(步驟S1023)，隨后 確定針對檢測到的面部計算出的笑臉得分是否低于對應(yīng)閾值(步驟 S1024)。隨后，在檢測到的面部的面部相像度得分、正面得分和凈眼得 分高于對應(yīng)闊值并且笑臉得分低于對應(yīng)闊值的情況下(步驟S1021到 S1024 )，特定個人信息登記單元370執(zhí)行特定個人信息的登記處理(步 驟S1025 )。也就是說，從面部特征量提取單元350輸入的面部特征 量、從屬性確定單元330輸入的面部屬性信息等被附加寫或覆寫到特定 個人信息存儲單元380。
另一方面，在檢測到的面部的面部相〗象度得分、正面得分和瞭眼得 分中的至少一個不高于對應(yīng)閾值的情況下，或者在笑臉得分不低于對應(yīng) 閾值的情況下(步驟S1021到S1024 ),流程前進到步驟S1013。
圖34是示出根據(jù)本發(fā)明實施例的成像設(shè)備100的靜止圖像記錄處 理的過程的流程圖。通過CPU110執(zhí)行該靜止圖像記錄處理。另外，將 描述把險測到的面部與登記面部相似當作執(zhí)行靜止圖像記錄操作時的條 件的情況。
首先，從屬性確定單元330輸入面部屬性確定結(jié)果(面部屬性信 息)(步驟S1031)，隨后，確定操作接收單元160是否接收到用戶對快 門按鈕的按壓操作(步驟S1032)。在接收到用戶對快門按鈕的按壓操 作的情況下(步驟S1032)，執(zhí)行用于記錄接收到該按壓操作時的成像 圖像的記錄操作(步驟S1037)。另一方面，在尚未接收到用戶對快門 按鈕的按壓操作的情況下(步驟S1032)，確定是否設(shè)置了笑臉靜止圖像記錄模式(步驟S1033)。在尚未設(shè)置笑臉靜止圖像記錄模式的情況 下(步驟S1033)，靜止圖像記錄處理的操作結(jié)束。
另一方面，在設(shè)置了笑臉靜止圖像記錄模式的情況下(步驟
51033) ,確定檢測到的面部是否與登記面部相似(步驟S1034)。在這 種情況下，在多個面部包括在成像圖像中的情況下，任何一個面部被確 定為特定面部可被用作條件。在檢測到的面部與登記面部不相似的情況 下(步驟S1034)，靜止圖像記錄處理的操作結(jié)束。
另一方面，在檢測到的面部與登記面部相似的情況下(步驟
51034) ,確定面部相像度得分是否超過闞值Tfl (步驟S1035)并且確 定笑臉得分是否超過閾值Tsl (步驟S1036)。在面部相^象度得分超過閣 值Tfl (步驟S1035 )并且笑臉得分超過閾值Tsl (步驟S1036)的情況 下，執(zhí)行用于記錄成像圖像的記錄操作(步驟S1037)。另一方面，在 面部相像度得分沒有超過閾值Tfl的情況下(步驟S1035)，或者在笑 臉得分沒有超過閾值Tsl的情況下(步驟S1036),靜止圖像記錄處理 的操作結(jié)束。
要注意，該示例示出了記錄靜止圖像的示例，但是，例如在滿足步 驟S1034到S1036的條件的情況下，可以在步驟S1037中開始運動圖像 的記錄操作。
要注意，對于本發(fā)明的以上實施例，作為示例描述了包括諸如鏡 頭、圖<象傳感器等的成<象單元的成<象設(shè)備，但是本發(fā)明的實施例還可以 應(yīng)用于不包括成像單元的圖像處理設(shè)備。例如，這種圖像處理設(shè)備能夠 針對從外部圖像記錄介質(zhì)輸入的圖像數(shù)據(jù)或經(jīng)由輸入/輸出端子從外部 設(shè)備輸入的圖像數(shù)據(jù)，執(zhí)行上述的面部檢測處理和面部識別處理。另 外，由屬性確定單元330確定的面部屬性的確定結(jié)果、從面部特征量提 取單元350提取的面部特征量、由相似度計算單元360計算出的相似度 等可以經(jīng)由輸入/輸出端子輸出到外部設(shè)備。
另外，對于本發(fā)明的以上實施例，描述了作為對象目標檢測面部以 執(zhí)行個人識別的情況，但是本發(fā)明的實施例還可以應(yīng)用于檢測其它對象 以執(zhí)行對象識別的情況。例如，本發(fā)明的實施例可以應(yīng)用于諸如貓、狗等的寵物以及諸如動物、房屋、車輛等的各種對象。例如，與個人識別 的情況相比，根據(jù)諸如顏色、圖案、耳朵形狀等的差異，能夠容易地執(zhí) 4亍個人識別。
另外，對于本發(fā)明的以上實施例，描述了利用用作特征量提取濾波
器的Gabor濾波器來提取特征量并且利用該特征量執(zhí)行個人識別的示 例，但是本發(fā)明的實施例可以應(yīng)用于不利用特征量執(zhí)行個人識別的情 況。例如，可以采用高斯馬爾科夫隨機場(GMRF)、局部二值模式 (LBP)特征、特征臉(EigenFace)方法等。
如上所述，根據(jù)本發(fā)明的實施例，能夠在成像設(shè)備100內(nèi)自動提高 精度的同時持續(xù)更新特定個人的登記信息(特定個人信息)。也就是 說，即使用戶不執(zhí)行登記操作，成像設(shè)備100也能夠自動確定特定個人 信息的狀態(tài)，以定期高精度地將特定個人信息更新到最新狀態(tài)。在這種 情況下，用戶使用成像設(shè)備100越頻繁，特定個人信息的精度提高得越 多，由此能夠執(zhí)行更加精確的個人識別。另外，能夠提高個人識別的精 度，因此能夠?qū)崿F(xiàn)最適于特定個人的相機的諸如對焦或曝光加倍或者膚 色調(diào)整等的控制以及諸如振動校正、頻閃觀測器調(diào)光等的各種相機功能 的控制。
另外，關(guān)于要自動記錄為靜止圖像或運動圖像的圖像，能夠自動選 擇適于成像的面部，諸如笑臉、正面面部、不眨眼面部等。另一方面， 關(guān)于要自動記錄為用于個人識別的特定個人信息的數(shù)據(jù)，能夠自動選擇 適于登記的面部，諸如避免極端笑臉的嚴肅面部、正面面部、不眨眼面 部等。另外，闡明了最適于開始自動靜止圖像記錄或自動運動圖像記錄 的面部屬性的條件與最適于個人識別的面部屬性的條件之間的差別，并 且針對二者單獨設(shè)置條件，由此關(guān)于二者都能夠提高精度。
另外，面部屬性(例如，目標人的表情、年齡和年齡組、性別、開 /閉眼睛、種族、有眼鏡/無眼鏡、目艮鏡的類型、已刮臉/未刮臉、胡須的 類型、有帽子/無帽子、帽子的類型、有首飾/無首飾、首飾的類型、發(fā) 型和面部朝向)能夠被確定為包括在圖像中的人的面部的區(qū)域。另外， 關(guān)于與已經(jīng)通過面部屬性確定處理確定的面部屬性相反的面部屬性，不執(zhí)行確定處理，由此能夠高效地獲得有效面部屬性的確定結(jié)果。另外， 對于個人識別處理，利用已經(jīng)確定的面部屬性，由此能夠提高個人識別 的精度，能夠提高處理速度，并且能夠有效地執(zhí)行有效個人識別處理。
另外，根據(jù)面部屬性的確定結(jié)果切換執(zhí)行個人識別時的特征點坐 標，由此能夠提取對應(yīng)于要確定的面部的最適宜的特征量。另外，根據(jù) 面部屬性的確定結(jié)果切換執(zhí)行個人識別時的特征量提取濾波器，由此能 夠提取對應(yīng)于要確定的面部的最適宜的特征量。另夕卜，根據(jù)面部屬性的 確定結(jié)果切換執(zhí)行個人識別時的用于相似度計算的相似度計算基準數(shù) 據(jù)，由此能夠執(zhí)行對應(yīng)于要確定的面部的最適宜的相似度計算并且能夠 實現(xiàn)高精度的個人識別。
另外，在根據(jù)面部屬性的確定結(jié)果在計算的中途中斷執(zhí)行個人識別 時的相似度計算，由此能夠減少處理時間并且能夠?qū)崿F(xiàn)加速。具體地， 當在注重屬性之間的相似度時存在沖突的內(nèi)容的情況下，能夠在早期階 段發(fā)現(xiàn)登記面部和要確定的面部不是同一人，由此能夠大幅減少處理時 間。另外，根據(jù)面部屬性的確定結(jié)果進一步延長執(zhí)行個人識別時的相似 度計算，由此還可以針對相似度計算困難的面部執(zhí)行更高精度的處理。
另外，能夠?qū)崿F(xiàn)高精度高速度的個人識別，并且對于諸如成像設(shè)備 的實時圖像處理，能夠向用戶通知特定人的面部。另外，即使諸如數(shù)字 相機或帶有相機的蜂窩電話的小型成像設(shè)備不包括大小足夠大的圖像顯 示設(shè)備(液晶面板等)，該成像設(shè)備也能夠?qū)τ脩麸@示特定人的面部。 因此，用戶能夠容易地以可視方式確認特定人的面部。
另外，本發(fā)明的實施例能夠應(yīng)用于成像設(shè)備以外的圖像處理設(shè)備， 由此還能夠針對從外部設(shè)備輸入的人的面部圖像執(zhí)行面部屬性確定處理 和個人識別處理。另外，能夠產(chǎn)生各種面部屬性、面部特征點坐標和面 部相似度作為圖〗象關(guān)聯(lián)數(shù)據(jù)，由此能將更豐富的信息自動提供給用戶。 另外，能夠利用各種面部屬性、面部特征點坐標和面部相似度，從大量 的運動圖像或靜止圖像數(shù)據(jù)庫迅速檢索出特定人的圖像。
另外，關(guān)于以上實施例描迷的過程可被視為包括這一 系列過程的方 法，或者可被視為使得計算機執(zhí)行這一 系列過程的程序以及存儲有該程序的記錄介質(zhì)。該記錄介質(zhì)的示例包括CD (壓縮盤)、MD (迷你 盤)、DVD (數(shù)字多功能盤)、記憶卡和藍光盤(注冊商標)。
本申請包含與在2008年9月4日提交到日本專利局的日本在先專 利申請JP2008-227340中公開的主題相關(guān)的主題，通過引用將該日本專 利申請的全部內(nèi)容納入于此。
本領(lǐng)域技術(shù)人應(yīng)該明白，可以根據(jù)設(shè)計要求和其它因素想到各種變 型、組合、子組合和替代，只要它們位于權(quán)利要求及其等同物的范圍內(nèi) 即可。
權(quán)利要求
1.一種圖像處理設(shè)備，包括對象信息存儲單元，用于存儲與多個對象相關(guān)的特征量和屬性；對象檢測單元，用于檢測包括在圖像中的對象；屬性確定單元，用于確定所檢測到的對象的屬性；特征量提取單元，用于提取與所檢測到的對象相關(guān)的特征量；以及相似度計算單元，用于基于所確定的屬性，從存儲在所述對象信息存儲單元中的與多個對象相關(guān)的特征量中選擇一個或多個特征量，從而基于所選擇的特征量和所提取的特征量計算對應(yīng)于所選擇的特征量的對象與所檢測到的對象之間的相似度。
2. 如權(quán)利要求1所述的圖像處理設(shè)備，其中所述對象檢測單元檢測包括在所述圖像中的人的面部作為所述對象；并且其中所述屬性確定單元將至少年齡或性別確定為所檢測到的人的所述面部的屬性；并且其中所述相似度計算單元從存儲在所述對象信息存儲單元中部，并且從對應(yīng)于所選擇的面部的特征量中選擇一個或多個特征量。
3. 如權(quán)利要求1所述的圖像處理設(shè)備，還包括對象信息登記單元，用于確定所計算的相似度和所確定的屬性是否滿足登記條件，并且在確定了滿足所述登記條件的情況下，將所提取的特征量和所確定的屬性存儲在所述對象信息存儲單元中。
4. 如權(quán)利要求3所述的圖像處理設(shè)備，其中所述對象檢測單元檢測包括在所述圖像中的人的面部作為所述對象；并且其中所述屬性確定單元將面部相像程度、面部朝向的正向程度、眼睛崢開的程度和笑臉的程度中的至少一個確定為所檢測到的面部的屬性；并且其中所迷對象信息登記單元采用如下條件作為所述登記條件所計算的相似度超過閾值，且所確定的面部相像程度、面部朝向 的正向程度和眼睛瞭開的程度中的至少一個超過閾值并且所確定的笑臉的程度不超過閾值，并且在確定了滿足所述登記條件的情況下，將 所提取的特征量和所確定的屬性存儲在所述對象信息存儲單元中。
5. 如權(quán)利要求3所述的圖像處理設(shè)備，其中所述對象信息存儲單 元針對每個所述對象存儲在存儲與所述對象相關(guān)的特征量和屬性時的 日期和時間；并且其中所述對象信息登記單元在確定了滿足所述登記條件的情 況下，確定存儲在所述對象信息存儲單元中的、對應(yīng)于所選擇的特征 量的日期和時間是否過去了 一定時間以上，并且在確定了對應(yīng)于所選 擇的特征量的日期和時間過去了 一定時間以上的情況下，將所提取的 特征量和所確定的屬性存儲在所述對象信息存儲單元中。
6. 如權(quán)利要求3所述的圖像處理設(shè)備，其中，所述對象信息登記 單元在用作被確定為滿足所述登記條件的相似度計算目標的、存儲在 所述對象信息存儲單元中的特征量以及與該特征量對應(yīng)的屬性上寫入 并存儲所提取的特征量和所確定的屬性。
7. —種成像設(shè)備，包括對象信息存儲單元，用于存儲與多個對象相關(guān)的特征量和屬性； 成像單元，用于對對象進行成像以產(chǎn)生成像圖像； 對象檢測單元，用于檢測包括在所述成像圖像中的對象； 屬性確定單元，用于確定所檢測到的對象的屬性； 特征量提取單元，用于提取與所檢測到的對象相關(guān)的特征量； 記錄指示單元，用于確定所確定的屬性是否滿足用于所述成像圖像的記錄操作的記錄操作條件，并且在確定了滿足所述記錄操作條件的情況下，指示記錄所述成像圖像；相似度計算單元，用于基于所確定的屬性從存儲在所述對象信息存儲單元中的、與多個對象相關(guān)的特征量中選擇一個或多個特征量，從而基于所選擇的特征量和所提取的特征量計算對應(yīng)于所選擇的特征量的對象與所檢測到的對象之間的相似度；以及對象信息登記單元，用于確定所計算的相似度和所確定的屬性是 否滿足登記條件，并且在確定了滿足所述登記條件的情況下，將所提 取的特征量和所確定的屬性存儲在所述對象信息存儲單元中。
8. 如權(quán)利要求7所述的成像設(shè)備，其中，與所確定的屬性相關(guān)的 所述記錄操作條件和所述登記條件的設(shè)置內(nèi)容不同。
9. 如權(quán)利要求7所述的成像設(shè)備，其中所述對象檢測單元檢測包 括在所述圖像中的人的面部作為所述對象；并且其中所述屬性確定單元將面部相像程度和笑臉的程度中的至 少 一 個確定為所檢測到的人的面部的屬性；并且其中所述記錄指示單元采用如下條件作為所述記錄操作條 件所計算的相似度超過閾值，且所確定的面部相像程度和笑臉的程 度超過閾值，并且在滿足所述記錄操作條件的情況下，指示記錄所述 成像圖像。
10. —種圖像處理方法，包括如下步驟 檢測包括在圖像中的對象；確定所檢測到的對象的屬性；提取與所檢測到的對象相關(guān)的特征量；以及基于所確定的屬性從存儲在對象信息存儲單元中的與多個對象相 關(guān)的特征量中選擇一個或多個特征量，從而基于所選擇的特征量和所 提取的特征量計算對應(yīng)于所選擇的特征量的對象與所檢測到的對象之間的相似度。
11 .一種使得計算機執(zhí)行如下處理的程序檢測包括在圖像中的對象；確定所檢測到的對象的屬性；提取與所檢測到的對象相關(guān)的特征量；以及基于所確定的屬性從存儲在對象信息存儲單元中的、與多個對象 相關(guān)的特征量中選擇一個或多個特征量，從而基于所選擇的特征量和 所提取的特征量計算對應(yīng)于所選擇的特征量的對象與所檢測到的對象 之間的相似度。
全文摘要
圖像處理設(shè)備、成像設(shè)備、圖像處理方法和程序。該圖像處理設(shè)備包括對象信息存儲單元，用于存儲與多個對象相關(guān)的特征量和屬性；對象檢測單元，用于檢測包括在圖像中的對象；屬性確定單元，用于確定檢測到的對象的屬性；特征量提取單元，用于提取與檢測到的對象相關(guān)的特征量；以及相似度計算單元，用于基于所確定的屬性，從存儲在對象信息存儲單元中的與多個對象相關(guān)的特征量中選擇一個或多個特征量，從而基于所選擇的特征量和所提取的特征量計算對應(yīng)于所選擇的特征量的對象與所檢測到的對象之間的相似度。
文檔編號G06K9/00GK101667248SQ20091017050
公開日2010年3月10日 申請日期2009年9月4日 優(yōu)先權(quán)日2008年9月4日
發(fā)明者岡田深雪 申請人:索尼株式會社