事先設(shè)定“高興多80%”這樣的條件的情況下，判定為滿足條件。
[0091]另外，在本實施方式中，使用了表示“高興”的值作為面部參數(shù)，但面部參數(shù)也可以是與其他表情相關(guān)聯(lián)的值。例如，也可以采用“憤怒” “悲傷” “驚愕” “恐怖” “厭惡” “無表情”這樣的參數(shù)。此外，也可以分別計算與前述的多個表情的一致度，將具有該多個值的矢量作為面部參數(shù)而輸出。
[0092]以上說明的表情判定階段接著人物識別階段執(zhí)行。例如，如圖2那樣，取得無表情的狀態(tài)的面部圖像，在識別了人物之后，如圖3那樣，催促進(jìn)行特定的表情，進(jìn)行表情的判定。
[0093]<對追蹤區(qū)域進(jìn)行追蹤的處理>
[0094]接著，說明追蹤部104進(jìn)行的追蹤處理。
[0095]根據(jù)以上說明的兩個階段，能夠基于面部圖像來識別個人，能夠基于所取得的面部參數(shù)來判定被認(rèn)證者進(jìn)行了規(guī)定的表情的情況。即，能夠估計不是照片，而是人處于照相機(jī)前的情況。
[0096]但是，在冒充者將表情不同的多張照片舉向照相機(jī)的情況下，存在裝置誤認(rèn)為是合法的人物的顧慮。因此，本實施方式所涉及的面部認(rèn)證裝置使用在人物識別階段中使用的面部圖像和表情判定階段中使用的面部圖像之間取得的幀，判定兩者是否有連續(xù)性。
[0097]關(guān)于該點詳細(xì)地進(jìn)行說明。
[0098]在被認(rèn)證者實際上處于照相機(jī)前的情況下，在人物識別階段中使用的面部圖像和表情判定階段中使用的面部圖像之間取得的幀中，全部拍有該人物的面部。另一方面，在使用了照片等手段的情況下，在替換照片時面部離開。
[0099]因此，追蹤部104從人物識別階段開始至表情判定階段結(jié)束為止，監(jiān)視從面部圖像取得部101供應(yīng)的多個面部圖像，判定被認(rèn)證者的面部是否在圖像內(nèi)持續(xù)停留。
[0100]圖4是說明追蹤部104進(jìn)行的處理的圖。圖4(A)是在開始人物識別階段時取得的面部圖像(以下，第一面部圖像)，圖4(C)是在開始表情判定階段時取得的面部圖像(以下，第二面部圖像)。此外，圖4(B)是在各階段的中間取得的面部圖像(以下，中間面部圖像)。被認(rèn)證者基于指示逐漸做出笑臉，所以圖4(B)的面部圖像中的“高興”的值成為0%和85%的中間值。
[0101]追蹤部104若取得第一面部圖像，則在圖像中設(shè)定追蹤區(qū)域。追蹤區(qū)域是用于追蹤圖像中的面部的存在的區(qū)域，在本實施方式中，是包含被認(rèn)證者的右眼的矩形區(qū)域。追蹤部104在提取出對象的器官(右眼)后，設(shè)定追蹤區(qū)域。
[0102]另外，對象的器官能夠通過使用了對應(yīng)的模板的模板匹配來提取。除此之外，也可以基于所檢測到的面部區(qū)域，判定對象的器官的位置。檢測對象的器官的處理也可以通過已知的任意方法來進(jìn)行。在本例中，圖4中的標(biāo)號41是被設(shè)定的追蹤區(qū)域。
[0103]另外，在本例中，將與被認(rèn)證者的面部中包含的器官對應(yīng)的區(qū)域設(shè)為追蹤區(qū)域，但追蹤區(qū)域也可以不是與器官對應(yīng)的區(qū)域。例如，也可以將與面部整體對應(yīng)的區(qū)域(例如，包含面部整體的矩形區(qū)域)設(shè)為追蹤區(qū)域。
[0104]此外，追蹤部104在每次從面部圖像取得部101被供應(yīng)面部圖像時，追蹤所設(shè)定的追蹤區(qū)域的位置。例如，在設(shè)定了追蹤區(qū)域時，切出對應(yīng)的圖像，將該圖像作為模板進(jìn)行模板匹配。另外，在進(jìn)行模板匹配時，也可以將以前一幀中的追蹤區(qū)域的位置為中心的規(guī)定的范圍(例如，標(biāo)號42所示的范圍)設(shè)為搜索范圍。在面部認(rèn)證中，難以認(rèn)為被認(rèn)證者的面部較大地移動，所以由此能夠抑制搜索成本。
[0105]最終，追蹤部104直至表情判定階段結(jié)束為止繼續(xù)追蹤，在全部幀中能夠確認(rèn)到追蹤區(qū)域的存在的情況下，判定為“追蹤成功”。此外，在存在追丟了追蹤區(qū)域的幀的情況下，判定為“追蹤失敗”。
[0106]在圖4的例子中，由于在三張面部圖像的任一個中都能夠確認(rèn)追蹤區(qū)域41的存在，所以判定為追蹤成功。即，本實施方式所涉及的面部認(rèn)證裝置在全部滿足
[0107](1)面部圖像中包含的面部被識別為是合法的人物的面部
[0108](2)該人物的表情滿足條件
[0109](3)從上述(1)開始至上述(2)結(jié)束為止追蹤區(qū)域的追蹤成功
[0110]這三個條件的情況下，判定為認(rèn)證成功，進(jìn)行門裝置200的開鎖。在上述的任一個沒有滿足的情況下，不進(jìn)行開鎖。
[0111]〈處理流程圖〉
[0112]說明用于實現(xiàn)以上說明的處理的處理流程圖。
[0113]圖5是本實施方式所涉及的面部認(rèn)證裝置100執(zhí)行的處理的流程圖。該流程圖的執(zhí)行若檢測到被認(rèn)證者站在照相機(jī)300前則開始，由認(rèn)證部107控制。
[0114]首先，在步驟S11中，用戶識別部102取得從面部圖像取得部101分發(fā)的面部圖像(第一面部圖像)。
[0115]接著，在步驟S12中，用戶識別部102通過前述的處理，從該第一面部圖像提取特征量。
[0116]接著，在步驟S13中，將所取得的特征量、和用戶識別部102中預(yù)先存儲的與多個人的面部對應(yīng)的特征量進(jìn)行比較，基于一致度(類似度)來進(jìn)行人物的識別。其結(jié)果，在判定為是被注冊的人物的情況下，處理轉(zhuǎn)移至步驟S14。在判定為是沒有注冊的人物的情況下，經(jīng)由圖像生成部106將該意旨通知給被認(rèn)證者，處理返回步驟S11。
[0117]在步驟S14中，追蹤部104從自面部圖像取得部101分發(fā)的第一面部圖像提取與右眼對應(yīng)的區(qū)域，設(shè)定為追蹤區(qū)域。
[0118]接著，在步驟S15中，表情判定部103以及追蹤部104取得從面部圖像取得部101分發(fā)的第二面部圖像。
[0119]接著，在步驟S16中，追蹤部104將前一幀和在步驟S15中取得的幀進(jìn)行比較，對追蹤區(qū)域進(jìn)行追蹤。即，確認(rèn)所提取出的右眼區(qū)域是否被包含于雙方。其結(jié)果，在追蹤成功的情況下(步驟S17—“是”)，處理轉(zhuǎn)移至步驟S18。在幀間追蹤失敗的情況下(步驟S17 —“否”)，即追丟了被認(rèn)證者的右眼的情況下，經(jīng)由圖像生成部106將該意旨通知給被認(rèn)證者，處理返回步驟S11。
[0120]在步驟S18中，表情判定部103從第二面部圖像取得特征量，通過前述的處理取得面部參數(shù)。
[0121]接著，在步驟S19中，表情判定部103判定所取得的面部參數(shù)是否滿足預(yù)定的條件。例如，在表示“高興”的值為80%以上是條件的情況下，參照面部參數(shù)中包含的該值，在80%以上的情況下，判定為通過了條件，轉(zhuǎn)移至步驟S20。在沒有滿足條件的情況下，轉(zhuǎn)移至步驟S15，繼續(xù)第二面部圖像的取得。
[0122]最終，在步驟S20中，認(rèn)證部107經(jīng)由通信部105將開鎖命令發(fā)送至門裝置200，門鎖被開放。
[0123]在以往的面部認(rèn)證裝置中，通過進(jìn)行一次或多次面部認(rèn)證處理來確認(rèn)被認(rèn)證者的合法性，存在成本和可靠性的折衷的問題。即，在一次認(rèn)證中，存在非法認(rèn)證被通過的顧慮，若為了防止該情況而進(jìn)行多次認(rèn)證，則存在處理成本上升的問題。
[0124]相對于此，本實施方式所涉及的面部認(rèn)證裝置除了通常的面部認(rèn)證處理之外，還判定表情滿足規(guī)定的條件的情況。此外，通過在面部圖像中設(shè)定局部區(qū)域來進(jìn)行追蹤，從而確認(rèn)雙方的處理對象是相同的面部。由此，能夠排除使用了照片等的非法的試行。例如，在本人以外的人物使用面部照片等來欺騙裝置的情況下，通過一張面部照片，不能提供符合所指定的面部參數(shù)的面部。假設(shè)，即使準(zhǔn)備了二張以上的面部照片，在更換照片時，追蹤中的區(qū)域離開，所以追蹤失敗。
[0125]此外，判定表情的處理不需要用于識別個人的處理那樣高的精度。S卩，能夠提供將花費成本的處理抑制為最小限度，且可靠性高的面部認(rèn)證技術(shù)。
[0126]另外，在第一實施方式中，在完全追丟了追蹤區(qū)域的情況下判定為追蹤失敗，但即使在能夠在幀間追蹤到追蹤區(qū)域的情況下，也可以在該移動量比規(guī)定的閾值大的情況下，判定為追蹤失敗。這是因為在追蹤區(qū)域在幀間不自然地較大移動的情況下，能夠估計冒充者替換照片等。
[0127](第二實施方式)
[0128]在第一實施方式中，在表情判定階段中，使被認(rèn)證者做出所指定的表情，根據(jù)面部參數(shù)進(jìn)行表情的判定。相對于此，第二實施方式是使被認(rèn)證者做出多個表情，在全部通過的情況下，判斷為認(rèn)證成功的實施方式。
[0129]第二實施方式所涉及的面部認(rèn)證裝置的結(jié)構(gòu)由于與第一實施方式相同，所以省略詳細(xì)的說明，僅說明處理的不同點。
[0130]在第二實施方式中，多次重復(fù)步驟S15?步驟S19的處理，例如，如第一次為笑臉、第二次為怒臉那樣，每次重復(fù)時使被認(rèn)證者做出不同的表情，表情判定部103對其進(jìn)行判定。
[0131]圖6是第二實施方式中提示給被認(rèn)證者的畫面的例子。圖6(A)是人物識別階段完成的狀態(tài)下的畫面。在此，向被認(rèn)證者進(jìn)行指示使其做出笑臉，在步驟S19中，確認(rèn)得到與“高興”對應(yīng)的規(guī)定的面部參數(shù)。此外，