專利名稱：面部認證裝置、面部認證方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種識別使用諸如移動電話之類的個人信息裝備的用戶的 面部認證技術(shù)。
背景技術(shù)：
在相關(guān)技術(shù)中，必需標識用戶，以允許該用戶使用諸如移動電話之類 的個人信息裝備(下文稱作"終端")的一些或者全部功能。
在許多情況下，頻繁使用了下面的方法預(yù)先確定作為授權(quán)用戶的秘 密信息的稱作碼號或者口令的輸入字符串圖案；并且僅在輸入了所確定的 字符串圖案后，對用戶進行認證。
但是，在利用這種秘密信息的用戶認證中，當(dāng)終端落入另一個人的手
中時，另一個人可能通過根據(jù)授權(quán)用戶的生日來猜測PIN、在授權(quán)用戶輸 入口令時偷看、或者隨機輸入多種PIN找到正確的PIN，然后輸入將所找 到的串圖案來使用該終端。因此，利用用戶的生物測定學(xué)的用戶認證已作 為更安全和方便的認證方法而被使用。
在利用諸如被認證用戶的面部之類的生物特征的認證方法的示例中， 授權(quán)用戶的面部特征預(yù)先通過終端的相機被捕捉，然后登記在該終端中。 在用戶認證時，通過相機捕捉試圖使用終端的用戶的面部。當(dāng)所捕捉的面 部圖像和所登記的面部圖像之間的相似度足夠高時，判斷用戶為授權(quán)用 戶，并且用戶認證成功。
作為利用面部圖像之間的匹配的認證方法，己知一種被稱作 EigenFace方法的方法(參見非專利文獻1)。在非專利文獻1中所公開的 EigenFace方法中，將一組圖像中的每幅圖像的大小標準化，并且通過主 成分分析，生成由每幅圖像中的像素的灰度值組成的特征向量的部分空 間。另外，將輸入圖像的特征向量和登記圖像的特征向量投射到部分空間
上，以計算匹配分數(shù)。然后，基于所計算出的匹配分數(shù)來執(zhí)行用戶認證。
在上述方法中，使用適當(dāng)?shù)拿娌科ヅ浞椒▉沓浞忠种朴脩粽J證時作假 的風(fēng)險，并且可以解決一般在相關(guān)技術(shù)中使用的口令方法的問題，S卩，未 經(jīng)授權(quán)的用戶可以通過猜測或者偷看找到口令的問題。
非專禾ll文獻1: M. Turk, A. Pentland， "Eigenfaces for recognition", Journal of Cognitive Neuroscience， Vol. 3, No. 1 ， pp. 71-86， 1991 。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題
但是，上述相關(guān)技術(shù)存在利用照片進行身份盜竊的問題。
艮卩，存在這樣的風(fēng)險..未經(jīng)授權(quán)的用戶通過將授權(quán)用戶的照片呈現(xiàn)給 相機，從而通過用戶認證。在這種情況下，難以確定并且防止該風(fēng)險。
精巧的身份盜竊的另一個示例是，將攝像機所捕捉的包括授權(quán)用戶的 面部隨時間的改變的運動畫面顯示在小型電視屏幕或者信息裝備的顯示單 元上，然后將該屏幕或者圖像呈現(xiàn)給相機以進行用戶認證。在這種情況 下，更難判斷并且防止侵權(quán)。
日本專利申請早期公開No. 2005-259049公開了一種用于防止身份盜 竊的技術(shù)。但是，該技術(shù)需要輻射熱傳感器，這導(dǎo)致了制造成本的增加。
為了解決上述問題而作出本發(fā)明，并且本發(fā)明的一個示例性目的在 于，提供一種用于防止未經(jīng)授權(quán)的用戶通過以低成本將授權(quán)用戶的面部的 照片呈現(xiàn)給相機或者僅利用通用相機來通過用戶認證，并且確保對用戶終 端的安全使用。
解決問題的手段
為了實現(xiàn)該示例性目的，根據(jù)本發(fā)明的一個示例，面部認證裝置包 括使設(shè)置在不同于鍵輸入單元的位置處的呈現(xiàn)圖案顯示單元在面部認證 期間向顯示用于用戶輸入鍵圖案的指令；在從呈現(xiàn)圖案顯示單元顯示指令 時到鍵輸入完成時的部分時間或者整個時間期間，使圖像捕捉單元捕捉用 戶的面部和/或用戶的面部的一部分的運動；以及判斷所捕捉的面部圖像是
否是活體的圖像。
根據(jù)本發(fā)明的另一個示例性示例，面部認證方法包括使設(shè)置在不同 于鍵輸入單元的位置處的呈現(xiàn)圖案顯示單元在面部認證期間顯示用于用戶 輸入鍵圖案的指令；在從呈現(xiàn)圖案顯示單元顯示指令時到鍵輸入完成時的 部分時間或者整個時間期間，使圖像捕捉單元捕捉用戶的面部和/或用戶的 面部的一部分的運動；以及確定所捕捉的面部圖像是否是活體的面部圖 像。
本發(fā)明的效果
根據(jù)本發(fā)明的上述示例性方面，可以防止未經(jīng)授權(quán)的用戶通過將授權(quán) 用戶的面部的照片呈現(xiàn)給相機來通過用戶認證，并且可以保證對用戶終端 的安全使用。
具體實施例方式
下文將參考附圖詳細描述本發(fā)明的第一示例性實施例。
參考圖1，根據(jù)示例性實施例的面部認證裝置被實現(xiàn)為用戶終端，并
且包括內(nèi)置相機l、圖像捕捉指令單元2、圖像處理單元3、呈現(xiàn)圖案生成 單元4、呈現(xiàn)圖案顯示單元5、面部認證單元6、差別判斷單元7、認證結(jié) 果處理單元8、 PIN判斷單元9、鍵輸入單元10、登記面部圖像存儲單元 11、和口令存儲單元12。
呈現(xiàn)圖案顯示單元5和內(nèi)置相機1被設(shè)置在用戶終端的上部(在許多 情況下，用戶終端的朝向耳朵的上半部分，也被稱作R側(cè))，并且鍵輸入 單元10 (鍵盤)被設(shè)置在用戶終端的下部(在許多情況下，用戶終端的朝 向嘴巴的下半部分，也稱作M側(cè))。
為了得到使用用戶終端的許可，用戶在他/她的面部朝向設(shè)置在用戶終 端中的內(nèi)置相機1的情況下，根據(jù)呈現(xiàn)圖案顯示單元5上顯示的指令，利 用鍵輸入單元IO輸入諸如PIN之類的圖案。
圖1示出了包括10個數(shù)字鍵的鍵盤的示例，但是本發(fā)明不限于此。 例如，可以使用能夠輸入字母的鍵盤來輸入包括字母的口令。
對于輸入圖案，呈現(xiàn)圖案生成單元4確定生成輸入圖案的指令，呈現(xiàn) 圖案顯示單元5顯示該指令。在從指令被顯示在呈現(xiàn)圖案顯示單元5上到
用戶完成到鍵輸入單元10的信息輸入期間，圖像捕捉指令單元2控制內(nèi) 置相機1捕捉視野內(nèi)的用戶的面部的運動畫面，然后圖像處理單元3對所 捕捉的圖像進行處理。在該過程中，運動畫面被劃分成在時間方向上捕捉 的多個幀，并且部分或者所有幀圖像群被用于面部認證和面部的生物特征 驗證。
首先，在面部認證單元6的面部認證過程中，從多幀圖像中，適于面 部認證的多個圖像群或者一幀圖像被選出，并且所選幀的圖像被與登記面 部圖像存儲單元11中的先前已登記的登記幀圖像相比較。
當(dāng)所捕捉的面部圖像與該登記面部圖像之間的相似度比一個閾值高 時，面部認證成功，并且將結(jié)果通知給認證結(jié)果處理單元8。
在差別判斷單元7的生物特征驗證過程中，將在時間方向上捕捉的多 幀圖像相互比較，并對它們之間的差別進行估計，以判斷是捕捉到了活體 的面部還是捕捉到了照片或平面運動畫面。
PIN判斷單元9將用戶通過鍵輸入單元輸入的PIN與從口令存儲單元 12讀取的PIN相比較，其中，用戶輸入的PIN具有從呈現(xiàn)圖案生成單元4 所生成的指令獲得的、預(yù)期為正確的輸入圖案。當(dāng)這些PIN彼此相同時， 面部認證單元的面部認證成功，并且差別判斷單元判斷捕捉到了活體的面 部，認證結(jié)果處理單元對用戶終端進行解鎖，以允許使用該終端。
同時，如果不同，則呈現(xiàn)圖案生成單元4生成新的指令，并且呈現(xiàn)圖 案顯示單元5向用戶顯示所生成的指令，以請求用戶利用鍵輸入單元10 輸入圖案。
接下來將參考附圖詳細描述示例性實施例的處理操作。 首先，在用戶開始使用用戶終端時執(zhí)行的PIN登記過程中，授權(quán)用戶 通過鍵輸入單元IO輸入的正確的PIN被存儲到口令存儲單元12中。在后 面的描述中，假設(shè)該PIN是"6543"。 一般來說，用戶終端被鎖定，以防 止未經(jīng)授權(quán)的用戶使用該用戶終端，并且該用戶終端處于不可用狀態(tài)。接 下來，將參考圖2描述執(zhí)行用戶認證以獲得使用被鎖定的終端的許可的用
戶認證過程的流程圖。
當(dāng)需要用戶認證時，首先，響應(yīng)于來自用戶的終端用戶認證請求執(zhí)行 終端用戶認證過程(例如，用戶按下鍵輸入單元的任一個鍵)(S201)。
在用戶認證過程中，首先，呈現(xiàn)圖案生成單元4生成呈現(xiàn)圖案，例
如，"84+PIN+382" (S202)。在這種情況下，84或382是只要執(zhí)行用 戶認證時就生成的隨機數(shù)字串。
根據(jù)所生成的圖案，在呈現(xiàn)圖案顯示單元5上顯示諸如"請輸入84、 PIN，然后輸入382"之類的字符串，并且圖像捕捉指令單元2操作內(nèi)置相 機l (S203)。
一般來說，用戶看到設(shè)置在終端的上部的呈現(xiàn)圖案顯示單元5上顯示 的指令的前半部分，S卩，"請輸入84、 PIN"，并且使用設(shè)置在終端的下 部的鍵輸入單元10輸入"846543"。然后，用戶看到設(shè)置在終端的上部 的呈現(xiàn)圖案顯示單元上顯示的指令的后半部分，即，"然后輸入382"， 并且使用設(shè)置在終端的下部的鍵輸入單元10來輸入"382"(步驟S204 到S207)。這樣，當(dāng)用戶交替觀看終端的上部和下部時，預(yù)期用戶的眼睛 或面部將在垂直方向上移動。內(nèi)置相機1將眼睛或面部的運動捕捉為運動 畫面或連續(xù)圖像。
在輸入完成時，內(nèi)置相機l的捕捉操作停止(S208)。
當(dāng)輸入完成時，PIN判斷單元判斷從鍵輸入單元輸入的圖案是否正確 (S209)。具體而言，PIN判斷單元基于存儲在口令存儲單元12中的正確 的PIN (在該情況下為"6543")和呈現(xiàn)圖案顯示單元5所生成的圖案的 規(guī)則，判斷從鍵輸入單元輸入的圖案是否正確，并且將判斷結(jié)果發(fā)送給認 證結(jié)果處理單元8。
同時，圖像處理單元3對由內(nèi)置相機1在時間方向上捕捉的幀圖像進 行處理，并且這些幀圖像被用于面部認證和面部的生物特征驗證。首先， 在面部認證過程中，面部認證單元3選擇適于面部認證的一幀圖像或多個 圖像群，例如面向前的完整面部，并且將所選圖像與登記面部圖像存儲單 元11中的先前已登記的登記面部圖像相比較(S210)。當(dāng)所捕捉面部圖 像和登記面部圖像之間的相似度高于一個閾值時，面部認證成功，并且將結(jié)果通知給認證結(jié)果處理單元8。
差別判斷單元7執(zhí)行用于對相機和多幀面部圖像上的面部之間的相對 運動進行補償?shù)奈恢谜{(diào)整過程，從幀中切出面部圖像部分，并且關(guān)于包括 眼睛、鼻子和嘴巴的面部圖像的中央確定多幀之間的相似度(S211)。如
果幀之間的包括圖像的細部(尤其是，眼鏡的眼球位置)的相似度分數(shù)的 累積值大于一個閾值，則判斷呈現(xiàn)了靜止畫面，例如照片。相反，如果該 相似度分數(shù)的累積值小于該閾值，并且判斷包括例如位置調(diào)整過程和切出 過程后的眼球的位置的細部彼此顯著不同，則差別確定單元7判斷相機捕 捉到了活體的面部。
在判斷活體的面部的過程中，可以使用下面的方法計算每幀中由多 個器官限定的多個特征點之間的位置關(guān)系，例如，雙眼的外眼角和內(nèi)眼 角、鼻子的頂部和兩側(cè)、嘴巴的兩端、以及嘴唇的中央，從而計算出多個 幀的這些特征點之間的關(guān)聯(lián)。當(dāng)許多幀中的多個特征點之間的位置關(guān)系具 有較高的關(guān)聯(lián)時，各個器官沒有相對運動，從而可以判斷呈現(xiàn)了照片。
差別判斷單元7的判斷結(jié)果被發(fā)送給認證結(jié)果處理單元8。當(dāng)PIN判 斷單元判斷PIN彼此相同時，面部認證單元的面部認證成功，并且差別判 斷單元判斷捕捉到了活體的面部，判斷輸入PIN的用戶為活著的授權(quán)用 戶，認證結(jié)果處理單元8將終端解鎖，使得對該終端的使用得到許可 (S212和S213)。
如果否，則判斷輸入PIN的用戶是未經(jīng)授權(quán)的用戶，因此不對終端進 行解鎖。
根據(jù)該示例性實施例，當(dāng)在終端中設(shè)置相機時，不需要新的硬件或復(fù) 雜的軟件。因此，與其中使用了用于防止身份盜竊的傳感器或者專用軟件 的結(jié)構(gòu)相比，可以降低開發(fā)成本。結(jié)果，可以降低制造成本。
接下來將詳細描述本發(fā)明的第二示例性實施例。在第一示例性實施例 中，指令"請輸入84、 PIN，然后輸入382"被同時顯示在呈現(xiàn)圖案顯示 單元5上。在這種情況下，擔(dān)心用戶同時記住了該指令，而可能不交替地 觀看終端的上部和下部。因此，在該示例性實施例中，首先，與檢測出 的、對鍵輸入單元10的輸入定時在操作上相關(guān)聯(lián)地顯示指令"請輸入
84"，并且在確認了 84的輸入以后，顯示指令"請輸入PIN"。在確認了 PIN的輸入后，顯示指令"請輸入382"。這樣，通過劃分指令可以使用 戶交替地觀看終端的上部和下部。
接下來，將詳細描述本發(fā)明的第三示例性實施例。作為獲得與第二示 例性實施例中的效果相同的效果的示例，呈現(xiàn)圖案顯示單元5顯示如圖3 的(a)中示出的其上排列有隨機數(shù)字的鍵盤，以允許用戶利用鍵輸入單 元10按下與PIN相對應(yīng)的鍵。例如，當(dāng)PIN為"6543"并且顯示了圖3 的(a)中示出的數(shù)字排列時，用戶順序按下鍵輸入單元的與圖3的(a) 中示出的數(shù)字6、 5、 4和3相對應(yīng)的鍵3、 9、 7和2。這樣，可以使用戶 交替地觀看終端的上部和下部。
如上所述，在用戶交替地觀看呈現(xiàn)圖案顯示單元5和鍵輸入單元10 的同時，呈現(xiàn)圖案顯示單元5可以顯示指令"請看內(nèi)置相機"，以讓用戶 面對內(nèi)置相機1。這樣，可以穩(wěn)定地捕捉適于面部認證的完整的面部圖 像，并且可以使用戶的面部在垂直方向上移動。結(jié)果，可以提高判斷活體 的面部的準確性。
在上述示例性實施例中，需要輸入作為秘密信息的PIN。但是，如果 認為面部認證足夠準確，則不需要輸入PIN的處理和識別PIN的處理。在 這種情況下，例如，當(dāng)按下某個鍵來請求用戶面部認證時，內(nèi)置相機1被 操作。在圖像捕捉期間，例如，呈現(xiàn)圖案顯示單元5顯示指令"請按鍵 3"，用戶看到該指令然后按下鍵輸入單元10上的鍵3。這樣，基于面部 或眼球在垂直方向上的移動，可以判斷出活體的面部。結(jié)果，可以簡單地 獲得與上述示例性實施例中的效果相同的效果。
此外，在觀看呈現(xiàn)圖案顯示單元5的同時執(zhí)行鍵輸入時， 一些用戶可 能僅移動它們的眼球而不移動它們的面部。在這種情況下，可以使用下面 的方法差別判斷單元7從面部圖像中檢測眼睛的位置，并且基于多個面 部圖像幀之間的眼睛的眼球運動的差別，判斷是否捕捉到了活體的面部。
對于通過對時間序列幀進行比較來判斷是否所有的圖像都統(tǒng)一運動， 可以使用這樣的判斷邏輯判斷在呈現(xiàn)圖案顯示單元5顯示預(yù)定的指令之 后經(jīng)過了合理的時間后，是否利用鍵輸入單元IO執(zhí)行了鍵輸入。這樣，
可以判斷是否將照片用于了用戶認證，并且還可以判斷是否將先前利用攝 像機捕捉的授權(quán)用戶的運動畫面用于了用戶認證(在先前捕捉了運動畫面 時，難以將其間存在合理的時間延遲的呈現(xiàn)圖案顯示單元5上的指令的顯 示與鍵輸入同步)。
在上述示例性實施例中，內(nèi)置相機1被設(shè)置在用戶終端的上部，并且 鍵輸入單元10被設(shè)置在用戶終端的下部。但是，內(nèi)置相機1被設(shè)置在上 部、并且鍵輸入單元10被設(shè)置在下部的位置關(guān)系僅是一個示例?？梢栽?其間建立包括相鄰位置關(guān)系的任何位置關(guān)系。
盡管上面已描述了本發(fā)明的示例性實施例，但是本發(fā)明不限于此，而 是可以在不脫離本發(fā)明的范圍和精神的條件下，對本發(fā)明做出各種修改和 改變。例如，裝置可以讀取并執(zhí)行用于實現(xiàn)根據(jù)上述示例性實施例的用戶
終端的功能的程序，以執(zhí)行所述功能。可以通過諸如CD-ROM或者磁光
盤之類的計算機可讀介質(zhì)，或者利用作為傳輸介質(zhì)的電話線或者通過因特 網(wǎng)的載波，將程序發(fā)送到另一個計算機系統(tǒng)。
在上述示例性實施例中，使用了由一個計算機系統(tǒng)實現(xiàn)用戶終端的每 種功能的系統(tǒng)結(jié)構(gòu)，但是本發(fā)明不限于此。也可以通過多個裝置實現(xiàn)用戶 終端的每個功能。
本發(fā)明可以一般地應(yīng)用于包括相機功能的移動電話或便攜式信息通信裝備。


圖1是示出根據(jù)本發(fā)明第一示例性實施例的面部認證裝置的結(jié)構(gòu)的示 意圖。
圖2是示出本發(fā)明第一示例性實施例的處理操作的流程圖。
圖3是示出根據(jù)本發(fā)明第三示例性實施例的顯示示例的示意圖。
參考標號
1:內(nèi)置相機
2:圖像捕捉指令單元
3:圖像處理單元
4:呈現(xiàn)圖案生成單元
5:呈現(xiàn)圖案顯示單元
6:面部認證單元
7:差別判斷單元
8:認證結(jié)果處理單元
9: PIN判斷單元
10:鍵輸入單元
11:登記面部圖像存儲單元
12: 口令存儲單元
權(quán)利要求
1. 一種面部認證裝置，包括使設(shè)置在不同于鍵輸入單元的位置處的呈現(xiàn)圖案顯示單元在面部認證期間顯示用于用戶輸入鍵圖案的指令；在從所述呈現(xiàn)圖案顯示單元顯示所述指令時到鍵輸入完成時的部分時間或者整個時間期間，使圖像捕捉單元捕捉用戶的面部和/或所述用戶的面部的一部分的運動；以及判斷所捕捉的面部圖像是否是活體的圖像。
2. 根據(jù)權(quán)利要求1所述的面部認證裝置，其中，所述呈現(xiàn)圖案顯示單元與所述鍵輸入單元在垂直方向上是分離的。
3. 根據(jù)權(quán)利要求1或2所述的面部認證裝置，其中，所述呈現(xiàn)圖案顯示單元顯示所述指令的一部分，檢測對所述鍵 輸入單元的輸入定時，并且在所述輸入被確認后顯示所述指令的另一部 分。
4. 根據(jù)權(quán)利要求1到3中的任一個所述的面部認證裝置，其中，所述呈現(xiàn)圖案顯示單元顯示包括排列在其上的隨機數(shù)字的鍵 盤，以允許所述用戶利用所述鍵輸入單元輸入與所述排列相對應(yīng)的鍵。
5. 根據(jù)權(quán)利要求1到4中的任一個所述的面部認證裝置，其中，所述呈現(xiàn)圖案顯示單元在所述用戶交替觀看所述呈現(xiàn)圖案顯示 單元和所述鍵輸入單元時，顯示看所述圖像捕捉單元的指令。
6. 根據(jù)權(quán)利要求1到5中的任一個所述的面部認證裝置，其中，所述面部認證裝置判斷在所述呈現(xiàn)圖案顯示單元顯示預(yù)定指令 之后經(jīng)過了合理時間后，是否在所述鍵輸入單元上執(zhí)行了與所述指令相對 應(yīng)的鍵輸入。
7. —種面部認證方法，包括使設(shè)置在不同于鍵輸入單元的位置處的呈現(xiàn)圖案顯示單元在面部認證 期間顯示用于用戶輸入鍵圖案的指令； 在從所述呈現(xiàn)圖案顯示單元顯示所述指令時到鍵輸入完成時的部分時 間或者整個時間期間，使圖像捕捉單元捕捉用戶的面部和/或所述用戶的面 部的一部分的運動；以及判斷所捕捉的面部圖像是否是活體的圖像。
8. 根據(jù)權(quán)利要求7所述的面部認證方法，其中，所述呈現(xiàn)圖案顯示單元與所述鍵輸入單元在垂直方向上是分離的。
9. 根據(jù)權(quán)利要求7或8所述的面部認證方法，其中，所述呈現(xiàn)圖案顯示單元顯示所述指令的一部分，檢測對所述鍵 輸入單元的輸入定時，并且在所述輸入被確認后顯示所述指令的另一部 分。
10. 根據(jù)權(quán)利要求7到9中的任一個所述的面部認證方法，其中，所述呈現(xiàn)圖案顯示單元顯示包括排列在其上的隨機數(shù)字的鍵 盤，以允許所述用戶利用所述鍵輸入單元輸入與所述排列相對應(yīng)的鍵。
11. 根據(jù)權(quán)利要求7到10中的任一個所述的面部認證方法，其中，所述呈現(xiàn)圖案顯示單元在所述用戶交替觀看所述呈現(xiàn)圖案顯示 單元和所述鍵輸入單元時，顯示看所述圖像捕捉單元的指令。
12. 根據(jù)權(quán)利要求7到11中的任一個所述的面部認證方法，還包括-判斷在所述呈現(xiàn)圖案顯示單元顯示預(yù)定指令之后經(jīng)過了合理時間后，是否在所述鍵輸入單元上執(zhí)行了與所述指令相對應(yīng)的鍵輸入。
13. —種用于使計算機實現(xiàn)根據(jù)權(quán)利要求1到6中的任一個的功能的 程序。
全文摘要
可以防止未經(jīng)授權(quán)的用戶作為授權(quán)用戶進行欺騙，從而保證安全的終端使用。在面部認證時，在布置在不同于鍵輸入單元的位置處的呈現(xiàn)圖案顯示單元(5)上顯示讓用戶通過鍵操作輸入圖案的指令。在從指令被顯示在呈現(xiàn)圖案顯示單元(5)上到完成從鍵輸入單元(10)的輸入的整個時間段或者部分時間段中，內(nèi)置相機(1)對用戶面部的運動或者用戶面部的一部分進行成像，以判斷所捕捉的面部圖像是否是生物學(xué)上的面部。
文檔編號G06T1/00GK101379528SQ20078000429
公開日2009年3月4日 申請日期2007年2月21日 優(yōu)先權(quán)日2006年3月1日
發(fā)明者內(nèi)田薰 申請人:日本電氣株式會社