專利名稱：圖像處理設(shè)備、攝像設(shè)備、圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)輸入的圖像中的面部等被攝物體的類別進(jìn)行判別的技術(shù)。
背景技術(shù)：
以往，在圖像識(shí)別或聲音識(shí)別的領(lǐng)域內(nèi)，已知有通過(guò)用計(jì)算機(jī)軟件、或采用了并行圖像處理專用處理器的硬件實(shí)現(xiàn)專用于特定的識(shí)別對(duì)象的識(shí)別處理算法，來(lái)檢測(cè)識(shí)別對(duì)象的技術(shù)。
特別是，作為從包含面部的圖像中將該面部作為特定的識(shí)別對(duì)象來(lái)檢測(cè)的技術(shù)，以往已公開(kāi)了一些文獻(xiàn)(例如參照專利文獻(xiàn)1～5)。
根據(jù)其中的一種技術(shù)，對(duì)于輸入圖像，使用被稱作標(biāo)準(zhǔn)面部的模板搜索面部區(qū)域，之后，對(duì)眼、鼻孔、嘴這樣的候選特征點(diǎn)，使用局部模板認(rèn)證人物。但是，在該技術(shù)中，開(kāi)始時(shí)使用模板在面部整體上進(jìn)行匹配，從而檢測(cè)面部區(qū)域，因此，不適應(yīng)多個(gè)面部的尺寸或面部方向的變化，為了應(yīng)對(duì)這種情況，需要準(zhǔn)備與尺寸或面部方向?qū)?yīng)的多個(gè)標(biāo)準(zhǔn)面部并用各個(gè)標(biāo)準(zhǔn)面部進(jìn)行檢測(cè)，但這不僅使面部整體的模板的尺寸大，而且要花費(fèi)更多的處理成本。
另外，根據(jù)另一種技術(shù)，從面部圖像求得眼和嘴的候選群，對(duì)照將其組合后的面部候選群和預(yù)先存儲(chǔ)的面部結(jié)構(gòu)，查找與眼和嘴對(duì)應(yīng)的區(qū)域。在該技術(shù)中，輸入圖像中的面部數(shù)為1個(gè)或數(shù)量較少，另外，面部具有一定程度的大小，輸入圖像中的大部分區(qū)域是面部，背景很少，假定這樣的圖像為輸入圖像。
另外，根據(jù)另一種技術(shù)，分別求取多個(gè)候選的眼、鼻、嘴，并根據(jù)預(yù)先準(zhǔn)備的特征點(diǎn)間的位置關(guān)系檢測(cè)面部。
另外，根據(jù)另一種技術(shù)，當(dāng)檢查面部的各部分的形狀數(shù)據(jù)與輸入圖像的一致度時(shí)，變更形狀數(shù)據(jù)，而且，根據(jù)以前求出的各部分的位置關(guān)系確定各面部元素的搜索區(qū)域。在該技術(shù)中，保存虹膜、嘴、鼻等的形狀數(shù)據(jù)，在先求出2個(gè)虹膜、接著求出嘴、鼻等時(shí)，根據(jù)該虹膜的位置，限定嘴、鼻等面部元素的搜索區(qū)域。就是說(shuō)，該算法不是并行地檢測(cè)虹膜(眼)、嘴、鼻這樣的構(gòu)成面部的面部元素，而是先檢測(cè)虹膜(眼)，使用該結(jié)果依次檢測(cè)嘴、鼻這樣的面部元素。在這種方法中，假定圖像中只有1個(gè)面部并且已準(zhǔn)確地求得了虹膜，當(dāng)所檢出的虹膜是錯(cuò)誤檢測(cè)時(shí)，就不能準(zhǔn)確地設(shè)定嘴或鼻等其他特征的搜索區(qū)域了。
另外，根據(jù)另一種技術(shù)，在輸入圖像中移動(dòng)設(shè)定了多個(gè)判斷要素取得區(qū)域的區(qū)域模型，在各點(diǎn)，判斷在這些判斷要素取得區(qū)域內(nèi)有無(wú)判斷要素，并對(duì)面部進(jìn)行識(shí)別。在該技術(shù)中，為了與尺寸不同的面部或轉(zhuǎn)動(dòng)了的面部相對(duì)應(yīng)，需要準(zhǔn)備尺寸不同的區(qū)域模型或轉(zhuǎn)動(dòng)了的區(qū)域模型，但當(dāng)該尺寸的面部或該轉(zhuǎn)動(dòng)角度的面部實(shí)際上不存在時(shí)，將進(jìn)行很多無(wú)用的計(jì)算。
另外，識(shí)別圖像中的面部表情的方法，以往也公開(kāi)了幾種(例如參照非專利文獻(xiàn)1、2)。
其中的一種技術(shù)，以憑借目視正確地將面部的部分區(qū)域從幀圖像中分割出來(lái)為前提。而在另一種技術(shù)中，自動(dòng)地進(jìn)行面部圖案的大致定位，但當(dāng)進(jìn)行特征點(diǎn)的定位時(shí)，需要依靠人的目視進(jìn)行微調(diào)整。另外，在其他的技術(shù)(例如，參照專利文獻(xiàn)6)中，利用肌肉的活動(dòng)或神經(jīng)系統(tǒng)連接關(guān)系等將表情的要素代碼化，并決定情緒。但在該技術(shù)中，表情識(shí)別中所需要的部位的區(qū)域已被固定，但應(yīng)考慮到，由于面部的方向變化或動(dòng)作，可能會(huì)沒(méi)有包含識(shí)別所需要的區(qū)域，或相反可能包含了不需要的區(qū)域，因而將對(duì)表情識(shí)別的精度產(chǎn)生影響。
除此以外，還研究出檢測(cè)與作為客觀地描述面部的表情動(dòng)作的方法而眾所周知的FACS(Facial Action Coding System)的Action Unit對(duì)應(yīng)的變化并識(shí)別表情的系統(tǒng)。
另外，在其他的技術(shù)(例如參照專利文獻(xiàn)7)中，實(shí)時(shí)地估計(jì)面部的表情，使三維面部模型變形，從而再現(xiàn)表情。在該技術(shù)中，根據(jù)包含面部區(qū)域的輸入圖像與不包含面部區(qū)域的背景圖像的差分圖像和表示膚色的色度，來(lái)檢測(cè)面部，在將檢測(cè)出的面部區(qū)域二值化后，檢測(cè)面部的輪廓線。然后，在該輪廓線內(nèi)的區(qū)域上，求取眼和嘴的位置，并根據(jù)眼和嘴的位置求取面部的轉(zhuǎn)動(dòng)角，在進(jìn)行了轉(zhuǎn)動(dòng)校正后，進(jìn)行二維離散余弦變換，估計(jì)表情，并根據(jù)其空間頻率分量的變化量變換三維面部模型，從而進(jìn)行表情的再現(xiàn)。但是，膚色的檢測(cè)易受照明變化或背景的影響。因此，在該技術(shù)中，在最初的膚色抽取處理中，引起被攝物體的未檢測(cè)或誤檢測(cè)的可能性很高。
另外，作為根據(jù)面部圖像進(jìn)行個(gè)人識(shí)別的方法，Turk等人的Eigenface(本征臉)法是眾所周知的(例如參照非專利文獻(xiàn)3、4)。在該方法中，對(duì)多個(gè)面部圖像的濃淡值矢量的集合，進(jìn)行主成分分析，預(yù)先求出被稱作本征臉的標(biāo)準(zhǔn)正交基底，利用這些基底，對(duì)所輸入的面部圖像的濃淡值矢量進(jìn)行Karhunen-Loeve展開(kāi)，從而求得維數(shù)壓縮后的面部圖案。然后，將該維數(shù)壓縮后的圖案作為用于識(shí)別的特征矢量。
作為使用用于識(shí)別的特征矢量實(shí)際識(shí)別個(gè)人的方法之一，在上述文獻(xiàn)中，公開(kāi)了這樣一種方法，求出輸入圖像的維數(shù)壓縮后的面部圖案與所保存的各個(gè)人的維數(shù)壓縮后的面部圖案的距離，并將表示最近距離的圖案所屬的類識(shí)別為所輸入的面部圖像所屬的類、即個(gè)人。這種方法，基本上是用某些方法檢測(cè)圖像中的面部的位置，之后，求出對(duì)該面部區(qū)域進(jìn)行了尺寸標(biāo)準(zhǔn)化和轉(zhuǎn)動(dòng)校正后的面部圖像，并將該校正后的面部圖像作為輸入圖像。
另外，作為現(xiàn)有技術(shù)還公開(kāi)了一種能夠?qū)崟r(shí)地識(shí)別面部的圖像處理方法(例如參照專利文獻(xiàn)8)。在該方法中，首先，從輸入圖像中分割出任意的區(qū)域，并判別該區(qū)域是否是面部區(qū)域。接著，當(dāng)該區(qū)域是面部區(qū)域時(shí)，將進(jìn)行了仿射(affine)變換和對(duì)比度校正的面部圖像與學(xué)習(xí)數(shù)據(jù)庫(kù)中的已登錄的面部進(jìn)行匹配，估計(jì)是同一人物的概率。然后，根據(jù)該概率，從所登錄的人物中輸出與輸入面部相同的可能性最高的人物。
另外，作為現(xiàn)有的表情識(shí)別裝置之一，還公開(kāi)了一種根據(jù)表情判斷情緒的技術(shù)(例如參照專利文獻(xiàn)6)。所謂情緒，一般是用于表達(dá)憤怒、悲傷等感情的，按照上述技術(shù)，根據(jù)相關(guān)規(guī)則從面部的各特征中抽出預(yù)定的表情要素，并從該預(yù)定的表情要素中抽出表情要素信息。此處，表情要素表示眼的開(kāi)閉、眉的動(dòng)作、額頭的動(dòng)作、唇的上下，唇的開(kāi)閉、下唇的上下，這些表情要素中，關(guān)于眉的動(dòng)作由左眉的斜度或右眉的斜度等表情要素信息構(gòu)成。
接著，基于預(yù)定的表情要素定量化規(guī)則，根據(jù)構(gòu)成所得到的表情要素的表情要素信息，計(jì)算將表情要素定量化后的表情要素代碼。進(jìn)一步，利用預(yù)定的情緒變換式，根據(jù)按每個(gè)情緒類別所確定的預(yù)定的表情要素代碼，計(jì)算每個(gè)情緒類別的情緒量。然后，在情緒類別中將情緒量的最大值判斷為情緒。
面部的各特征的形狀或長(zhǎng)度因個(gè)人的不同而具有很大的差異。例如，在作為嚴(yán)肅面孔的無(wú)表情圖像中，外眼角已下垂的人或眼本來(lái)就細(xì)的人等，從來(lái)自一個(gè)圖像的主觀的觀點(diǎn)看，有時(shí)乍看起來(lái)好象喜悅但本人卻是嚴(yán)肅的面孔。進(jìn)一步，面部圖像的面部尺寸或面部的方向并不是一定的，當(dāng)面部尺寸變動(dòng)時(shí)或面部轉(zhuǎn)動(dòng)時(shí)，需要根據(jù)面部的尺寸變動(dòng)或面部的轉(zhuǎn)動(dòng)變動(dòng)將識(shí)別表情所需要的特征量標(biāo)準(zhǔn)化。
另外，輸入圖像中除表情場(chǎng)面或作為嚴(yán)肅面孔的無(wú)表情場(chǎng)面外，還有將假定為包含作為會(huì)話場(chǎng)面的非表情場(chǎng)面的日常場(chǎng)面的時(shí)間序列圖像作為輸入圖像，例如，有時(shí)將與驚訝的表情類似的會(huì)話場(chǎng)面中發(fā)出“お”聲或與喜悅的表情類似的發(fā)出“い”“え”聲等非表情場(chǎng)面錯(cuò)誤地判斷為表情場(chǎng)面。
專利文獻(xiàn)1日本特開(kāi)平9-251534號(hào)公報(bào)專利文獻(xiàn)2日本專利2767814號(hào)專利文獻(xiàn)3日本特開(kāi)平9-44676號(hào)公報(bào)專利文獻(xiàn)4日本專利2973676號(hào)專利文獻(xiàn)5日本特開(kāi)平11-283036號(hào)公報(bào)專利文獻(xiàn)6日本專利2573126號(hào)專利文獻(xiàn)7日本專利3062181號(hào)公報(bào)專利文獻(xiàn)8日本特開(kāi)2003-271958號(hào)公報(bào)非專利文獻(xiàn)1G Donate，T.J.Sejnowski，el.al，“ClassifyingFacial Actions”IEEE Trans.PAMI，vol.21，no.10，Oct，1999非專利文獻(xiàn)2Y.Tian，T.Kaneda，and J.F.Cohn“RecognizingAction Unite for Facial Expression Analysis”IEEE Tran.PAMI vol.23，no.2，F(xiàn)eb，2001非專利文獻(xiàn)3赤松茂，“コンピユ一タによゐ顏の認(rèn)識(shí)-サ一ベイ-”電子情報(bào)通信學(xué)會(huì)誌Vol.80 No.8，pp.2031-2046，Aug.1997非專利文獻(xiàn)4M.Turk，A.Pentland，“Eigenfaces forrecognition”J.Cognitive Neurosci.，vol.3，no.1，PP.71-86，Mar，1991發(fā)明內(nèi)容本發(fā)明是鑒于以上的問(wèn)題而完成的，其目的在于提供一種簡(jiǎn)便地判別圖像中的面部是誰(shuí)的面部，并判別該面部的表情的技術(shù)。
本發(fā)明另一目的在于，在檢測(cè)圖像中的面部、判別表情、判別個(gè)人中，以簡(jiǎn)便的方法應(yīng)對(duì)被攝物體的位置或方向的變化。
本發(fā)明進(jìn)一步的目的在于，提供一種對(duì)例如面部表情中的個(gè)人差異或表情場(chǎng)面等具有魯棒性的、更準(zhǔn)確地判斷圖像中的被攝物體的類別的技術(shù)。另外，提供一種即使面部的尺寸變動(dòng)時(shí)或面部轉(zhuǎn)動(dòng)時(shí)也能準(zhǔn)確地判斷表情的技術(shù)。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理設(shè)備具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入裝置，輸入包含被攝物體的圖像；被攝物體區(qū)域確定裝置，從上述輸入裝置輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的被攝物體的區(qū)域；以及判別裝置，利用由上述被攝物體區(qū)域確定裝置所確定的上述被攝物體的區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的被攝物體圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述被攝物體的類別。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理設(shè)備具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入裝置，連續(xù)地輸入包含面部的幀圖像；面部區(qū)域確定裝置，從上述輸入裝置輸入的幀圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述幀圖像中的面部區(qū)域；以及判別裝置，在與由面部區(qū)域確定裝置在上述輸入裝置輸入的第1幀圖像中所確定的面部區(qū)域位置上對(duì)應(yīng)的、作為上述第1幀后邊的幀的第2幀的圖像中的區(qū)域內(nèi)，根據(jù)由上述面部區(qū)域確定裝置檢測(cè)出的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理設(shè)備具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入裝置，輸入包含面部的圖像；面部區(qū)域確定裝置，從上述輸入裝置輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的面部區(qū)域；第1判別裝置，利用由上述面部區(qū)域確定裝置檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和預(yù)先從各面部圖像得到的各上述局部特征的檢測(cè)結(jié)果，判別上述輸入裝置輸入的圖像中的面部是誰(shuí)的面部；以及第2判別裝置，利用由上述面部區(qū)域確定裝置檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理方法具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入步驟，輸入包含被攝物體的圖像；被攝物體區(qū)域確定步驟，從上述輸入步驟輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的被攝物體的區(qū)域；以及判別步驟，利用上述被攝物體區(qū)域確定步驟中檢測(cè)出的上述被攝物體的區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的被攝物體圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述被攝物體的類別。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理方法具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入步驟，連續(xù)地輸入包含面部的幀圖像；面部區(qū)域確定步驟，從上述輸入步驟輸入的幀圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述幀圖像中的面部區(qū)域；以及判別步驟，在與由面部區(qū)域確定步驟在由上述輸入步驟輸入的第1幀圖像中所確定的面部區(qū)域位置上對(duì)應(yīng)的、作為上述第1幀后邊的幀的第2幀圖像中的區(qū)域內(nèi)，根據(jù)由上述面部區(qū)域確定步驟檢測(cè)出的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理方法具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入步驟，輸入包含面部的圖像；面部區(qū)域確定步驟，從上述輸入步驟輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的面部區(qū)域；第1判別步驟，利用上述面部區(qū)域確定步驟中檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和預(yù)先從各面部圖像得到的各上述局部特征的檢測(cè)結(jié)果，判別上述輸入步驟輸入的圖像中的面部是誰(shuí)的面部；以及第2判別步驟，利用上述面部區(qū)域確定步驟中檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
為了達(dá)到本發(fā)明的目的，例如本發(fā)明的攝像設(shè)備上述的圖像處理設(shè)備；以及攝像裝置，當(dāng)由上述判別裝置判斷出的表情是預(yù)定的表情時(shí)，拍攝被輸入到上述輸入裝置的圖像。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理方法具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入步驟，輸入包含面部的圖像；第1特征量計(jì)算步驟，對(duì)由上述輸入步驟輸入的圖像中的面部的預(yù)定部位群，分別求取特征量；第2特征量計(jì)算步驟，對(duì)包含預(yù)定表情的面部的圖像中的該面部的上述預(yù)定部位群，分別求取特征量；變化量計(jì)算步驟，根據(jù)在上述第1特征量計(jì)算步驟中求得的特征量和在上述第2特征量計(jì)算步驟中求得的特征量，求取上述預(yù)定部位群各自的特征量的變化量；得分計(jì)算步驟，根據(jù)上述變化量計(jì)算步驟中對(duì)上述預(yù)定部位群分別求得的變化量，對(duì)上述預(yù)定部位群分別計(jì)算得分；以及判斷步驟，根據(jù)在上述得分計(jì)算步驟中對(duì)上述預(yù)定部位群分別計(jì)算出的得分，判斷上述輸入步驟所輸入的圖像中的面部的表情。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像處理設(shè)備具有例如以下的結(jié)構(gòu)。
即，其特征在于，包括輸入裝置，輸入包含面部的圖像；第1特征量計(jì)算裝置，對(duì)由上述輸入裝置輸入的圖像中的面部的預(yù)定部位群分別求取特征量；第2特征量計(jì)算裝置，對(duì)包含預(yù)定表情的面部的圖像中的該面部的上述預(yù)定部位群分別求取特征量；變化量計(jì)算裝置，根據(jù)由上述第1特征量計(jì)算裝置求得的特征量和由上述第2特征量計(jì)算裝置求得的特征量，求取上述預(yù)定部位群各自的特征量的變化量；得分計(jì)算裝置，根據(jù)由上述變化量計(jì)算裝置對(duì)上述預(yù)定部位群分別求得的變化量，對(duì)上述預(yù)定部位群分別計(jì)算得分；以及判斷裝置，根據(jù)由上述得分計(jì)算裝置對(duì)上述預(yù)定部位群分別計(jì)算出的得分，判斷由上述輸入裝置輸入的圖像中的面部的表情。
為了達(dá)到本發(fā)明的目的，例如本發(fā)明的攝像設(shè)備的特征在于，包括上述的圖像處理設(shè)備；攝像裝置，拍攝要輸入到上述輸入裝置的圖像；以及存儲(chǔ)裝置，存儲(chǔ)由上述判斷裝置判斷后的圖像。
根據(jù)本發(fā)明的結(jié)構(gòu)，能夠簡(jiǎn)便地判別圖像中的面部是誰(shuí)的面部，并判別該面部的表情。
并且，在檢測(cè)圖像中的面部、判別表情、判別個(gè)人中，能以簡(jiǎn)便的方法應(yīng)對(duì)被攝物體的位置或方向的變化。
進(jìn)而，能夠?qū)缑娌勘砬榈膫€(gè)人差異或表情場(chǎng)面等具有魯棒性，并能夠更準(zhǔn)確地判斷圖像中的被攝物體的類別。
另外，即使面部的尺寸變動(dòng)時(shí)或面部轉(zhuǎn)動(dòng)時(shí)也能準(zhǔn)確地判斷表情。
本發(fā)明的其他特征和優(yōu)點(diǎn)，將通過(guò)以下參照附圖進(jìn)行的說(shuō)明得到明確。此外，在附圖中，對(duì)相同或相似的結(jié)構(gòu)賦予相同的參照標(biāo)號(hào)。


附圖包含在說(shuō)明書(shū)內(nèi)構(gòu)成本說(shuō)明書(shū)的一部分，表示本發(fā)明的實(shí)施方式，并與其記述一起用于說(shuō)明本發(fā)明的原理。
圖1是表示本發(fā)明第1實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。
圖2是用于判別攝影圖像中的面部的表情的主處理的流程圖。
圖3是表示本發(fā)明第2實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。
圖4是表示圖3中示出的結(jié)構(gòu)的動(dòng)作的時(shí)序圖。
圖5是表示本發(fā)明第3實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。
圖6是表示圖5中示出的結(jié)構(gòu)的動(dòng)作的時(shí)序圖。
圖7A是表示一次特征的圖。
圖7B是表示二次特征的圖。
圖7C是表示三次特征的圖。
圖7D是表示四次特征的圖。
圖8是表示用于進(jìn)行圖像識(shí)別的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)的圖。
圖9是表示各特征點(diǎn)的圖。
圖10是用于說(shuō)明在圖9所示的面部區(qū)域中求取使用了一次特征和三次特征的特征點(diǎn)的處理的圖。
圖11是表示本發(fā)明第1實(shí)施方式的圖像處理設(shè)備的基本結(jié)構(gòu)的圖。
圖12是表示將本發(fā)明第1實(shí)施方式的圖像處理設(shè)備應(yīng)用于攝像設(shè)備的例的結(jié)構(gòu)的圖。
圖13是表示本發(fā)明第4實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。
圖14是用于判別攝影圖像中的面部是誰(shuí)的面部的主處理的流程圖。
圖15A是表示在個(gè)人判別處理中使用的特征矢量1301的圖。
圖15B是表示二次特征的右開(kāi)V字特征檢測(cè)結(jié)果的圖。
圖15C是表示左開(kāi)V字特征檢測(cè)結(jié)果的圖。
圖15D是表示包含面部區(qū)域的攝影圖像的圖。
圖16是以表的形式示出3個(gè)識(shí)別器中在學(xué)習(xí)時(shí)分別使用的數(shù)據(jù)的圖。
圖17是表示本發(fā)明第5實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。
圖18是用于判別攝影圖像中的面部是誰(shuí)的面部、且判別是怎樣的表情的主處理的流程圖。
圖19是表示由綜合部1708管理的數(shù)據(jù)的結(jié)構(gòu)例的圖。
圖20是表示本發(fā)明第6實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。
圖21是表示本發(fā)明第6實(shí)施方式的圖像處理設(shè)備進(jìn)行的主處理的流程圖。
圖22是表示表情判別數(shù)據(jù)的結(jié)構(gòu)例的圖。
圖23是表示本發(fā)明第7實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。
圖24是表示特征量計(jì)算部6101的功能結(jié)構(gòu)的框圖。
圖25是表示邊緣圖像(edge)中的眼區(qū)域、臉頰區(qū)域、嘴區(qū)域的圖。
圖26是表示面部的特征點(diǎn)抽取部6113檢測(cè)的各特征點(diǎn)的圖。
圖27是用于說(shuō)明“眼的線邊緣的形狀”的圖。
圖28是為了根據(jù)作為一例的在變化量上存在著個(gè)人差異的特征即眼的邊緣的長(zhǎng)度的變化量計(jì)算得分而參照的曲線圖。
圖29是為了根據(jù)變化量不存在個(gè)人差異的特征、即眼和嘴的端點(diǎn)距離的長(zhǎng)度的變化量，來(lái)計(jì)算得分而參照的曲線圖。
圖30是利用由得分計(jì)算部6104求得的每個(gè)特征點(diǎn)的得分，判斷輸入圖像中的面部表情是否是“特定的表情”時(shí)的判斷處理的流程圖。
圖31是示出與表示喜悅的表情對(duì)應(yīng)的得分分布的一例的圖。
圖32是表示本發(fā)明第8實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。
圖33是表示表情判斷部6165的功能結(jié)構(gòu)的框圖。
圖34是使橫軸為固有地賦予時(shí)間序列圖像的每一個(gè)的圖像序號(hào)、使縱軸為得分總和與閾值線之差，表示出從作為嚴(yán)肅面孔的無(wú)表情場(chǎng)面變化為喜悅表情場(chǎng)面時(shí)的得分總和與閾值線之差的圖。
圖35是使橫軸為時(shí)間序列圖像的圖像序號(hào)、縱軸為得分總和與閾值線之差，表示出作為非表情場(chǎng)面的會(huì)話場(chǎng)面的得分總和與閾值線之差的圖。
圖36是由表情確定部6171進(jìn)行的、在從圖像輸入部6100連續(xù)輸入的圖像中決定喜悅的表情的開(kāi)始時(shí)刻的處理的流程圖。
圖37是由表情確定部6171進(jìn)行的、在從圖像輸入部6100連續(xù)輸入的圖像中決定喜悅的表情的結(jié)束時(shí)刻的處理的流程圖。
圖38是表示本發(fā)明第9實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。
圖39是表示特征量計(jì)算部6212的功能結(jié)構(gòu)的框圖。
圖40是表示與表情選擇部6211選定的各表情(表情1、表情2、表情3)對(duì)應(yīng)的特征量的圖。
圖41是表示根據(jù)各變化量計(jì)算每種表情的得分的情況的示意圖。
圖42是根據(jù)由得分計(jì)算部計(jì)算出的眼的形狀的得分，判斷眼是否閉著的處理的流程圖。
圖43是示出參照面部的眼的邊緣、即睜開(kāi)眼時(shí)的眼的邊緣的圖。
圖44是示出閉上眼時(shí)的眼的邊緣的圖。
圖45是表示本發(fā)明第12實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。
圖46是表示特征量抽取部6701的功能結(jié)構(gòu)的框圖。
圖47是表示圖像的面部中的眼、鼻的重心位置的圖。
圖48是示出左右各內(nèi)眼角和鼻的重心的圖。
圖49是示出沒(méi)有任何變化時(shí)的左右眼間距離、左右眼與鼻間距離、及眼鼻間距離的圖。
圖50是示出有尺寸變動(dòng)時(shí)的左右眼間距離、左右眼與鼻間距離、及眼鼻間距離的圖。
圖51是示出有上下轉(zhuǎn)動(dòng)變動(dòng)時(shí)的左右眼間距離、左右眼與鼻間距離、及眼鼻間距離的圖。
圖52是示出有左右轉(zhuǎn)動(dòng)變動(dòng)時(shí)的左右眼間距離、左右眼與鼻間距離、及眼鼻間距離的圖。
圖53是示出無(wú)表情時(shí)的左右眼的端點(diǎn)間距離的圖。
圖54是示出笑臉時(shí)的左右眼的端點(diǎn)間距離的圖。
圖55A是判斷尺寸變動(dòng)、左右轉(zhuǎn)動(dòng)變動(dòng)、上下轉(zhuǎn)動(dòng)變動(dòng)的處理的流程圖。
圖55B是判斷尺寸變動(dòng)、左右轉(zhuǎn)動(dòng)變動(dòng)、上下轉(zhuǎn)動(dòng)變動(dòng)的處理的流程圖。
圖56是示出有尺寸變動(dòng)、左右轉(zhuǎn)動(dòng)變動(dòng)、上下轉(zhuǎn)動(dòng)變動(dòng)的任何一種變動(dòng)時(shí)的左右眼間距離、左右眼與鼻間距離、及眼鼻間距離的圖。
圖57是示出有上下轉(zhuǎn)動(dòng)變動(dòng)和尺寸變動(dòng)時(shí)的左右眼間距離、左右眼與鼻間距離、及眼和鼻間距離的圖。
圖58是從左右眼和鼻的位置檢測(cè)開(kāi)始，根據(jù)上下、左右轉(zhuǎn)動(dòng)變動(dòng)和尺寸變動(dòng)將各特征量標(biāo)準(zhǔn)化，并進(jìn)行表情判斷處理的流程圖。
圖59是表示本發(fā)明第13實(shí)施方式的攝像設(shè)備的功能結(jié)構(gòu)的框圖。
圖60是表示攝像部6820的功能結(jié)構(gòu)的圖。
圖61是表示圖像處理部6821的功能結(jié)構(gòu)的框圖。
圖62是表示特征量抽取部6842的功能結(jié)構(gòu)的框圖。
圖63是表示表情判斷部6847的功能結(jié)構(gòu)的框圖。
圖64是表示本發(fā)明第14實(shí)施方式的攝像設(shè)備的功能結(jié)構(gòu)的框圖。
具體實(shí)施例方式
以下，參照附圖詳細(xì)說(shuō)明本發(fā)明優(yōu)選的實(shí)施方式。
圖1是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。本實(shí)施方式的圖像處理設(shè)備，從圖像中檢測(cè)面部并判別其表情，由以下各部構(gòu)成攝像部100、控制部101、面部檢測(cè)部102、中間檢測(cè)結(jié)果保存部103、表情判別部104、圖像保存部105、顯示部106、記錄部107。以下，對(duì)各部進(jìn)行說(shuō)明。
攝像部100，根據(jù)來(lái)自控制部101的控制信號(hào)對(duì)圖像進(jìn)行拍攝，并將該拍攝到的圖像(攝影圖像)輸出到面部檢測(cè)部102、圖像保存部105、顯示部106或記錄部107。
控制部101，進(jìn)行用于控制本實(shí)施方式的圖像處理設(shè)備整體的處理，與攝像部100、面部檢測(cè)部102、中間檢測(cè)結(jié)果保存部103、表情判別部104、圖像保存部105、顯示部106、記錄部107連接，對(duì)各部進(jìn)行控制，使各部按適當(dāng)?shù)臅r(shí)序動(dòng)作。
面部檢測(cè)部102，進(jìn)行在來(lái)自攝像部101的攝影圖像中檢測(cè)面部區(qū)域(攝影圖像中所包含的面部圖像的區(qū)域)的處理。該處理，換句話說(shuō)就是求取攝影圖像中的面部區(qū)域的數(shù)量、攝影圖像中的面部區(qū)域的坐標(biāo)位置、面部區(qū)域的尺寸、面部區(qū)域在攝影圖像中的轉(zhuǎn)動(dòng)量(例如當(dāng)面部區(qū)域?yàn)榫匦螘r(shí)，表示該矩形在攝影圖像中向哪個(gè)方向傾斜了多少的轉(zhuǎn)動(dòng)量)的處理。以下，將這些信息(攝影圖像中的面部區(qū)域的數(shù)、攝影圖像中的面部區(qū)域的坐標(biāo)位置、面部區(qū)域的尺寸、面部區(qū)域在攝影圖像中的轉(zhuǎn)動(dòng)量)統(tǒng)稱為“面部區(qū)域信息”。因此，通過(guò)求取面部區(qū)域信息，能夠確定攝影圖像中的面部區(qū)域。
這些檢測(cè)結(jié)果，輸出到表情判別部104。另外，還將檢測(cè)處理過(guò)程中得到的后述的中間檢測(cè)結(jié)果輸出到中間檢測(cè)結(jié)果保存部103。中間檢測(cè)結(jié)果保存部103，保存從面部檢測(cè)部102輸出的上述中間特征檢測(cè)結(jié)果。
表情判別部104，接收從面部檢測(cè)部102輸出的面部區(qū)域信息的數(shù)據(jù)和從中間檢測(cè)結(jié)果保存部103輸出的上述中間特征檢測(cè)結(jié)果的數(shù)據(jù)。然后，根據(jù)這些數(shù)據(jù)，從圖像保存部105讀入攝影圖像的全部或一部分(一部分的情況下，只是面部區(qū)域的圖像)，通過(guò)后述的處理，判別讀入的圖像中的面部的表情。
圖像保存部105，暫時(shí)保存從攝像部100輸出的攝影圖像，并根據(jù)控制部101的控制信號(hào)將保存著的攝影圖像的全部或一部分輸出到表情判別部104、顯示部106、以及記錄部107。
顯示部106，例如由CRT或液晶屏等構(gòu)成，顯示從圖像保存部105輸出的攝影圖像的全部或一部分、或由攝像部100拍攝的攝影圖像。
記錄部107，由硬盤(pán)驅(qū)動(dòng)器或?qū)⑿畔⒂涗浽贒VD-RAM、壓縮閃存(注冊(cè)商標(biāo)Compact Flash)等存儲(chǔ)介質(zhì)上的裝置構(gòu)成，記錄保存在圖像保存部105中的圖像、或由攝像部100所拍攝的攝影圖像。
以下，對(duì)通過(guò)上述各部的動(dòng)作執(zhí)行的用于判別攝影圖像中的面部的表情的主處理，用表示該處理的流程圖的圖2進(jìn)行說(shuō)明。
首先，攝像部100根據(jù)來(lái)自控制部101的控制信號(hào)對(duì)圖像進(jìn)行攝影(步驟S201)。所拍攝的圖像的數(shù)據(jù)，顯示在顯示部106上，同時(shí)輸出到圖像保存部105，進(jìn)一步輸入到面部檢測(cè)部102。
然后，面部檢測(cè)部102，用所輸入的攝影圖像，進(jìn)行檢測(cè)該攝影圖像中的面部區(qū)域的處理(步驟S202)。對(duì)該面部區(qū)域的檢測(cè)處理，進(jìn)行更詳細(xì)的說(shuō)明。
參照?qǐng)D7A、7B、7C、7D，說(shuō)明用于檢測(cè)攝影圖像的局部特征和確定面部區(qū)域的一系列的處理，圖7A是表示一次特征的圖，圖7B是表示二次特征的圖，圖7C是表示三次特征的圖，圖7D是表示四次特征的圖。
首先，檢測(cè)作為最基本(primitive)的局部特征的一次特征。作為一次特征，如圖7A所示，有縱特征701、橫特征702、右上斜特征703、右下斜特征704這樣的特征。此處，所謂“特征”，如取縱特征701為例，則是表示縱向的邊緣圖段(edge segment)。
在攝影圖像中檢測(cè)各方向的圖段的技術(shù)，是眾所周知的，用該技術(shù)從攝影圖像檢測(cè)各方向的圖段，并生成從攝影圖像只檢測(cè)出縱特征的圖像、從攝影圖像只檢測(cè)出橫特征的圖像、從攝影圖像只檢測(cè)出右上斜特征的圖像、從攝影圖像只檢測(cè)出左上斜特征的圖像。由此，4個(gè)圖像(一次特征圖像)的尺寸(縱橫的像素?cái)?shù))與攝影圖像相同，所以在特征圖像和攝影圖像中各個(gè)像素一一對(duì)應(yīng)。另外，在特征圖像中，使檢測(cè)出的特征部分的像素值與其他部分的像素值為不同值，例如，使特征部分的像素值為1，其他部分的像素值為0。因此，如果在特征圖像中有像素值為1的像素，則可以假設(shè)在攝影圖像中與其對(duì)應(yīng)的像素是構(gòu)成一次特征的像素。
通過(guò)按如上方式生成一次特征圖像群，能夠檢測(cè)攝影圖像中的一次特征。
接著，從攝影圖像中檢測(cè)將所檢出的一次特征群的任何一個(gè)組合后的二次特征群。作為二次特征群，如圖7B所示，有右開(kāi)V字特征710、左開(kāi)V字特征711、水平平行線特征712、垂直平行線特征713這樣的特征。右開(kāi)V字特征710，是將作為一次特征的右上斜特征703和右下斜特征704組合后的特征；左開(kāi)V字特征711，是將作為一次特征的右下斜特征704和右上斜特征703組合后的特征；水平平行線特征712，是將作為一次特征的橫特征702組合后的特征；垂直平行線特征713，是將作為一次特征的縱特征701組合后的特征。
與一次特征圖像的生成一樣，生成從攝影圖像中只檢測(cè)出右開(kāi)V字特征710的圖像、從攝影圖像中只檢測(cè)出左開(kāi)V字特征711的圖像、從攝影圖像中只檢測(cè)出水平平行線特征712的圖像、從攝影圖像中只檢測(cè)出垂直平行線特征713的圖像。由此生成的4個(gè)圖像(二次特征圖像)的尺寸(縱橫的像素?cái)?shù))與攝影圖像相同，所以在特征圖像和攝影圖像中各個(gè)像素一一對(duì)應(yīng)。另外，在特征圖像中，檢測(cè)出的特征部分的像素值與其他部分的像素值為不同值，例如，特征部分的像素值為1，其他部分的像素值為0。因此，如果在特征圖像中有像素值為1的像素，則可以假設(shè)在攝影圖像中與其對(duì)應(yīng)的像素是構(gòu)成二次特征的像素。
通過(guò)按如上方式生成二次特征圖像群，能夠檢測(cè)攝影圖像中的二次特征。
接著，從攝影圖像中檢測(cè)將所檢出的二次特征群的任何一個(gè)組合后的三次特征群。作為三次特征群，如圖7C所示，有眼特征720、嘴特征721這樣的特征。眼特征720是將作為二次特征的右開(kāi)V字特征710、左開(kāi)V字特征711、水平平行線特征712以及垂直平行線特征713組合后的特征，嘴特征721是將作為二次特征的右開(kāi)V字特征710、左開(kāi)V字特征711以及水平平行線特征712組合后的特征。
與一次特征圖像的生成一樣，生成只檢測(cè)出眼特征720的圖像、從攝影圖像中只檢測(cè)出嘴特征721的圖像。由此生成的2個(gè)圖像(三次特征圖像)的尺寸(縱橫的像素?cái)?shù))與攝影圖像相同，所以在特征圖像和攝影圖像中各個(gè)像素一一對(duì)應(yīng)。另外，在特征圖像中，檢測(cè)出的特征部分的像素值與其他部分的像素值為不同值，例如，特征部分的像素值為1，其他部分的像素值為0。因此，如果在特征圖像中有像素值為1的像素，可以假設(shè)在攝影圖像中與其對(duì)應(yīng)的像素是構(gòu)成三次特征的像素。
通過(guò)按如上方式生成三次特征圖像群，能夠檢測(cè)攝影圖像中的三次特征。
接著，從攝影圖像中檢測(cè)將所檢出的三次特征群組合后的四次特征。四次特征在圖7D中是面部特征本身。面部特征是將作為三次特征的眼特征720、嘴特征721組合后的特征。
與一次特征圖像的生成一樣，生成檢測(cè)出面部特征的圖像(四次特征圖像)。由此生成的四次特征圖像的尺寸(縱橫的像素?cái)?shù))與攝影圖像相同，所以在特征圖像和攝影圖像中各個(gè)像素一一對(duì)應(yīng)。另外，在特征圖像中，檢測(cè)出的特征部分的像素值與其他部分的像素值為不同值，例如，特征部分的像素值為1，其他部分的像素值為0。因此，如果在特征圖像中有像素值為1的像素，則可以假設(shè)在攝影圖像中與其對(duì)應(yīng)的像素是構(gòu)成四次特征的像素。因此，通過(guò)參照該四次特征圖像，能夠利用例如像素值為1的像素的重心位置求出面部區(qū)域的位置。
此外，當(dāng)使該面部區(qū)域?yàn)榫匦螘r(shí)，為求得表示該矩形相對(duì)于攝影圖像向哪個(gè)方向傾斜了多少的信息，可以通過(guò)求取該矩形相對(duì)于攝影圖像的斜度來(lái)求得上述轉(zhuǎn)動(dòng)量。
按照如上方式，可以求得上述面部區(qū)域信息。所求得的面部區(qū)域信息，如上所述，輸出到表情判別部104。
另外，上述各特征圖像(在本實(shí)施方式中為一次特征圖像、二次特征圖像、三次特征圖像、四次特征圖像)，作為上述中間檢測(cè)結(jié)果輸出到中間檢測(cè)結(jié)果保存部103。
這樣，通過(guò)檢測(cè)攝影圖像中的四次特征，能夠求出攝影圖像中的面部區(qū)域。而且，通過(guò)對(duì)整個(gè)攝影圖像進(jìn)行如上所述的面部區(qū)域的檢測(cè)處理，即使攝影圖像中包含多個(gè)面部區(qū)域，也能檢測(cè)出各面部區(qū)域。
此外，關(guān)于上述面部區(qū)域的檢測(cè)處理，也可以用通過(guò)并行分層處理進(jìn)行圖像識(shí)別的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。對(duì)此，在以下文獻(xiàn)中有所記述，即M.Matsugu，K.Mori，el.al，“Convolutional Spiking Neural NetworkModel for Robust Face Detection”，2002，International Conference OnNeural Information Processing(ICONIP02)。
參照?qǐng)D8說(shuō)明神經(jīng)網(wǎng)絡(luò)的處理內(nèi)容。圖8是表示用于進(jìn)行圖像識(shí)別的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)的圖。
該神經(jīng)網(wǎng)絡(luò)，在輸入數(shù)據(jù)的局部區(qū)域中，分層地處理參與對(duì)象或幾何學(xué)的特征等的識(shí)別(檢測(cè))的信息，其基本結(jié)構(gòu)為所謂的Convolutional網(wǎng)絡(luò)結(jié)構(gòu)(LeCun，Y.and Bengio，Y.，1995，“Convolutional Networks for Images Speech，and Time Series”inHandbook of Brain Theory and Neural Networks(M.Arbib，Ed.)、MITPress，pp.255-258)。在最終層(最上層)得到想要檢測(cè)的被攝物體是否存在的信息、和如果存在則其在輸入數(shù)據(jù)上的位置信息。如將該神經(jīng)網(wǎng)絡(luò)應(yīng)用于本實(shí)施方式，則從該最終層得到攝影圖像中是否存在面部區(qū)域的信息、和如存在面部區(qū)域則該面部區(qū)域在攝影圖像上的位置信息。
在圖8中，數(shù)據(jù)輸入層801，是輸入圖像數(shù)據(jù)的層。最初的特征檢測(cè)層(1，0)，在以整個(gè)畫(huà)面的各位置為中心的局部區(qū)域(或以整個(gè)畫(huà)面上的預(yù)定采樣點(diǎn)的各點(diǎn)為中心的局部區(qū)域)上，在同一部位以多個(gè)標(biāo)尺或解析度以多個(gè)特征類別數(shù)檢測(cè)由數(shù)據(jù)輸入層801輸入的圖像圖案的局部的低次特征(除特定方向分量、特定空間頻率分量等幾何學(xué)特征外也可以包含色分量特征)。
特征綜合層(2，0)，具有預(yù)定的接受域結(jié)構(gòu)(以下，所謂接受域是表示與其緊鄰的前面的層的輸出元的耦合范圍、所謂接受域結(jié)構(gòu)是表示其耦合負(fù)載的分布)，對(duì)來(lái)自特征檢測(cè)層(1，0)的位于同一接受域內(nèi)的多個(gè)神經(jīng)元的輸出進(jìn)行綜合(局部平均化、基于最大輸出檢測(cè)等的子采樣等運(yùn)算)。該綜合處理，通過(guò)在空間上模糊來(lái)自特征檢測(cè)層(1，0)的輸出，具有容許位置偏差或變形等的作用。另外，特征綜合層內(nèi)的神經(jīng)元的各接受域，在同一層內(nèi)的神經(jīng)元之間具有共通的結(jié)構(gòu)。
作為后續(xù)層的各特征檢測(cè)層(1，1)、(1，2)、...、(1，M)和各特征綜合層(2，1)、(2，2)、...、(2，M)，與上述的各層同樣，前者((1，1)、...)，在各特征檢測(cè)模塊中進(jìn)行多個(gè)不同特征的檢測(cè)，后者((2，1)、...)，對(duì)來(lái)自前級(jí)的特征檢測(cè)層的關(guān)于多個(gè)特征的檢測(cè)結(jié)果進(jìn)行綜合。前者的特征檢測(cè)層，耦合(布線)成接受屬于同一通道的前級(jí)的特征綜合層的細(xì)胞元輸出。作為由特征綜合層進(jìn)行的處理的子采樣，對(duì)來(lái)自同一特征類別的特征檢測(cè)細(xì)胞集團(tuán)的從局部區(qū)域(該特征綜合層神經(jīng)元的局部接受域)的輸出進(jìn)行平均化等處理。
為了用圖8中示出的神經(jīng)網(wǎng)絡(luò)檢測(cè)圖7A、7B、7C、7D所示的各特征，通過(guò)使用于各特征檢測(cè)層的檢測(cè)的接受域結(jié)構(gòu)成為用于檢測(cè)其特征的結(jié)構(gòu)，能夠進(jìn)行各特征的檢測(cè)。另外，還準(zhǔn)備了使最終層的面部檢測(cè)層的面部檢測(cè)中使用的接受域結(jié)構(gòu)適合于各種尺寸或各種轉(zhuǎn)動(dòng)量的結(jié)構(gòu)，在面部特征的檢測(cè)中，當(dāng)?shù)玫搅嗣娌看嬖谶@樣的結(jié)果時(shí)，根據(jù)用哪種接受域結(jié)構(gòu)進(jìn)行了檢測(cè)，能夠得到該面部的大小或方向等面部數(shù)據(jù)。
回到圖2，接著，控制部101參照在步驟S202中由面部檢測(cè)部102進(jìn)行的面部區(qū)域檢測(cè)處理的結(jié)果，判斷在攝影圖像中是否存在面部區(qū)域(步驟S203)。作為該判斷方法，例如判斷是否得到了四次特征圖像，當(dāng)?shù)玫搅藭r(shí)判斷為在攝影圖像中存在面部區(qū)域。除此之外，還可以判斷在(面部)特征檢測(cè)層內(nèi)的各神經(jīng)元中是否存在輸出值在某基準(zhǔn)值以上的神經(jīng)元，并假定為在基準(zhǔn)值以上的神經(jīng)元指示的位置上存在著面部(區(qū)域)。在這種情況下，當(dāng)不存在基準(zhǔn)值以上的神經(jīng)元時(shí)，假定為面部不存在。
然后，當(dāng)步驟S203中的判斷處理的結(jié)果為在攝影圖像中不存在面部區(qū)域時(shí)，由面部檢測(cè)部102將該意思通知控制部101，因此將處理返回到步驟S201，控制部101控制攝像部100，對(duì)新的圖像進(jìn)行攝影。
另一方面，當(dāng)存在面部區(qū)域時(shí)，由面部檢測(cè)部102將該意思通知控制部101，并使處理進(jìn)入步驟S204，控制部101將圖像保存部105中所保存的攝影圖像輸出到表情判別部104，并將中間檢測(cè)結(jié)果保存部103中所保存的特征圖像輸出到表情判別部104，表情判別部104利用所輸入的特征圖像和面部區(qū)域信息，進(jìn)行判斷攝影圖像中的面部區(qū)域所包含的面部的表情的處理(步驟S204)。
此外，從圖像保存部105輸出到表情判別部104的圖像在本實(shí)施方式中假定為整個(gè)攝影圖像，但并不限定于此，例如也可以由控制部101利用面部區(qū)域信息確定出攝影圖像中的面部區(qū)域，并僅將該面部區(qū)域的圖像輸出到表情判別部104。
以下，更詳細(xì)地說(shuō)明由表情判別部104進(jìn)行的表情判斷處理。如上所述，為判別面部表情，檢測(cè)作為一般的表情描述法的FACS(FacialAction Coding System)中所使用的Action Unit(AU)，根據(jù)檢測(cè)出的AU的種類，能夠進(jìn)行表情判別。在AU中，有使眉的外側(cè)上揚(yáng)、使嘴唇橫著拉長(zhǎng)等，通過(guò)AU的組合可以描述人們的所有表情，因此，在原理上，如果能檢測(cè)出全部的AU就可以判別所有的表情。但是，AU有44個(gè)，檢測(cè)出全部是不容易的。
因此，在本實(shí)施方式中，如圖9所示，將眉的端點(diǎn)(B1～B4)、眼的端點(diǎn)(E1～E4)、嘴的端點(diǎn)(M1、M2)作為在表情判別中使用的特征，通過(guò)求出這些特征點(diǎn)的相對(duì)位置的變化來(lái)判別表情。在這些特征點(diǎn)的變化中可以記述若干個(gè)AU，并可以進(jìn)行基本的表情判別。此外，各表情的各特征點(diǎn)的變化，作為表情判別數(shù)據(jù)保存在表情判別部104中，在表情判別部104的表情判別處理中使用。
圖9是表示各特征點(diǎn)的圖。
圖9中示出的用于表情檢測(cè)的各特征點(diǎn)，為眼和眉等的端部，該端部的形狀大致為右開(kāi)的V字、左開(kāi)的V字，因此，例如相當(dāng)于圖7B中示出的二次特征的右開(kāi)V字特征710、左開(kāi)V字特征711。
另外，在表情判別中使用的特征點(diǎn)的檢測(cè)，在面部檢測(cè)部102的面部檢測(cè)處理的中間階段進(jìn)行。然后，將該面部檢測(cè)處理的中間處理結(jié)果保存在中間特征結(jié)果保存部103內(nèi)。
但是，右開(kāi)V字特征710、左開(kāi)V字特征711，除了在面部以外，也存在于背景等各種位置。因此，用由面部檢測(cè)部102得到的面部區(qū)域信息確定二次特征圖像中的面部區(qū)域，并在該區(qū)域內(nèi)檢測(cè)右開(kāi)V字特征710、左開(kāi)V字特征711的端點(diǎn)、即眉的端點(diǎn)、眼的端點(diǎn)、嘴的端點(diǎn)。
因此，如圖9所示，在面部區(qū)域內(nèi)，設(shè)定眉、眼的端點(diǎn)的搜索范圍(RE1、RE2)和嘴的端點(diǎn)的搜索范圍(RM)。然后，參照該設(shè)定好的搜索范圍內(nèi)的像素值，在構(gòu)成右開(kāi)V字特征710、左開(kāi)V字特征711的像素群中，在圖9的水平方向上檢測(cè)兩端的像素的位置，并以檢測(cè)出的位置作為特征點(diǎn)的位置。此外，預(yù)先設(shè)定與面部區(qū)域的中心位置對(duì)應(yīng)的該搜索范圍(RE1、RE2、RM)的相對(duì)位置。
例如，在搜索范圍RE1內(nèi)，在構(gòu)成右開(kāi)V字特征710的像素群中，在圖9的水平方向上端點(diǎn)的像素的位置為B1、E1，因此將其作為眉、眼的任何一個(gè)的一端的位置。并且，參照各位置B1、E1的垂直方向的位置，將位于上側(cè)的作為眉的一端的位置。在圖9中B1與E1相比處于上側(cè)的位置，因此將B1作為眉的一端的位置。
這樣，能夠求出眼、眉的一端的位置。同樣，在搜索范圍RE1內(nèi)，對(duì)左開(kāi)V字特征711進(jìn)行相同的處理，從而能夠求出眼、眉的另一端的位置B2、E2的位置。
按照如上所述的處理，能夠求出眼、眉、以及嘴的兩端的位置，即各特征點(diǎn)的位置。此外，由于特征圖像和攝影圖像尺寸相同、且各像素一一對(duì)應(yīng)，特征圖像中的各特征點(diǎn)的位置，也可以直接作為攝影圖像中的位置。
此外，在本實(shí)施方式中，在求取各特征點(diǎn)的處理中使用了二次特征，但并不限定于此，也可以使用一次特征或三次特征的任何一種或其組合。
例如，除右開(kāi)V字特征710、左開(kāi)V字特征711以外，也可以使用圖7C中示出的作為三次特征的眼特征720和嘴特征721、及作為一次特征的縱特征701、橫特征702、右上斜特征703、右下斜特征704。
用圖10說(shuō)明使用一次特征和三次特征求取特征點(diǎn)的處理。圖10是用于說(shuō)明在圖9所示的面部區(qū)域中求取使用了一次特征和三次特征的特征點(diǎn)的處理的圖。
如圖10所示，設(shè)定眼搜索范圍(RE3、RE4)和嘴搜索范圍(RM2)，然后，參照該設(shè)定好的搜索范圍內(nèi)的像素值，求取配置有構(gòu)成眼特征720、嘴特征721的像素群的范圍。并且，為了涵蓋該范圍，設(shè)定眉、眼的端點(diǎn)的搜索范圍(RE5、RE6)和嘴的端點(diǎn)的搜索范圍(RM3)。
然后，在各搜索范圍(RE5、RE6、RM3)內(nèi)，在由縱特征701、橫特征702、右上斜特征703、右下斜特征704構(gòu)成的連續(xù)的線段上進(jìn)行跟蹤，其結(jié)果是，在水平方向上求出兩端的位置，能夠求出眼、眉、嘴的兩端。一次特征基本上是邊緣抽取，因此，對(duì)各檢測(cè)結(jié)果，通過(guò)使某閾值以上的區(qū)域細(xì)線化并跟蹤其結(jié)果，能夠檢測(cè)端點(diǎn)。
以下，說(shuō)明用求得的各特征點(diǎn)進(jìn)行的表情判別處理。為了消除表情判別的個(gè)人差異，首先對(duì)無(wú)表情時(shí)的面部圖像進(jìn)行面部檢測(cè)處理，并求出各局部特征的檢測(cè)結(jié)果。然后，用這些檢測(cè)結(jié)果，求取圖9或圖10中示出的各特征點(diǎn)的相對(duì)位置，并將其數(shù)據(jù)作為成為基準(zhǔn)的相對(duì)位置保存在表情判別部104內(nèi)。并且，表情判別部104，參照該基準(zhǔn)的相對(duì)位置和上述求得的各特征點(diǎn)的相對(duì)位置，進(jìn)行求出各特征點(diǎn)從基準(zhǔn)改變了多少、即“偏差”的處理。此外，所拍攝的圖像中的面部的尺寸和預(yù)先拍攝的無(wú)表情時(shí)的面部的尺寸一般是不同的，因此，根據(jù)求得的各特征點(diǎn)中的相對(duì)位置、例如兩眼間的距離，將各特征點(diǎn)的位置標(biāo)準(zhǔn)化。
然后，對(duì)每個(gè)特征點(diǎn)求取依賴于該變化的得分，并根據(jù)該得分的分布判別表情。例如，表示喜悅表情的表情，可以觀察到(1)眼角下垂、(2)臉頰肌肉隆起、(3)嘴的端部上揚(yáng)等特征，因此，在“從眼的端點(diǎn)到嘴的端點(diǎn)的距離”、“嘴的橫向的長(zhǎng)度”、“眼的橫向的長(zhǎng)度”上呈現(xiàn)很大的變化。然后，根據(jù)這些變化求得的得分分布，即為喜悅表情所特有的得分分布。
該特有的得分分布對(duì)于其他表情可以說(shuō)也是同樣的，因此，對(duì)分布的形狀進(jìn)行混合高斯近似并進(jìn)行參數(shù)化建模，并通過(guò)判斷參數(shù)空間內(nèi)的距離的大小，求出所求得的得分分布與對(duì)每種表情設(shè)定的得分分布的相似度判別。然后，使與求得的得分分布的相似度較高的得分分布(距離較小的得分分布)表示的表情為作為判斷結(jié)果的表情。
另外，對(duì)得分總和，也可以應(yīng)用進(jìn)行閾值處理的方法。該閾值處理，能更有效地用于準(zhǔn)確地判別與表情場(chǎng)面類似的非表情場(chǎng)面(例如，會(huì)話中發(fā)出“い”聲時(shí)的面部)和表情場(chǎng)面。此外，也可以進(jìn)行得分分布形狀的判別和總和的閾值處理的任何一種處理。這樣，通過(guò)得分分布和得分總和的閾值處理進(jìn)行表情的判斷，從而能夠準(zhǔn)確地識(shí)別表情場(chǎng)面并提高檢測(cè)率。
通過(guò)以上的處理，能夠判斷面部的表情，因此，表情判別部104，輸出與所判斷的表情對(duì)應(yīng)的代碼(對(duì)各種表情單獨(dú)設(shè)定的代碼)。該代碼，例如可以是序號(hào)，其表現(xiàn)方法并無(wú)特別的限定。
接著，表情判別部104，判斷所判斷的表情是否是預(yù)先設(shè)定的特定的表情(例如笑臉)，并將該判斷結(jié)果通知控制部101(步驟S205)。
此處，當(dāng)由直到步驟S204的處理所判斷的表情與預(yù)先設(shè)定的特定的表情相同時(shí)，例如在本實(shí)施方式的情況下，當(dāng)表情判別部104輸出的“表示表情的代碼”和表示預(yù)先設(shè)定的特定的表情的代碼一致時(shí)，控制部101將由圖像保存部105保存著的攝影圖像記錄在記錄部107內(nèi)。另外，當(dāng)記錄部107是DVD-RAM、壓縮閃速存儲(chǔ)器(注冊(cè)商標(biāo))時(shí)，控制部101控制記錄部107，將攝影圖像記錄在DVD-RAM、壓縮閃速存儲(chǔ)器(注冊(cè)商標(biāo))等記錄介質(zhì)內(nèi)(步驟S206)。另外，也可以將記錄的圖像作為面部區(qū)域的圖像、即特定的表情的面部圖像。
另一方面，當(dāng)由直到步驟S204的處理所判斷的表情與預(yù)先設(shè)定的特定的表情不同時(shí)，例如在本實(shí)施方式的情況下，當(dāng)表情判別部104輸出的“表示表情的代碼”和表示預(yù)先設(shè)定的特定的表情的代碼不一致時(shí)，控制部101控制攝像部100，對(duì)新的圖像進(jìn)行攝影。
此外，當(dāng)所判斷的表情是特定的表情時(shí)，除上述以外，例如，在步驟S206中，也可以由控制部101控制攝像部100，一邊對(duì)下一個(gè)圖像進(jìn)行攝影，一邊將所拍攝的圖像保存在記錄部107內(nèi)。另外，控制部101也可以控制顯示部106，將所拍攝的圖像顯示在顯示部106上。
一般地說(shuō)，表情不會(huì)急劇地變化，而是有一定程度的連續(xù)性，因此，當(dāng)上述步驟S202、步驟S204中的處理在較短的時(shí)間內(nèi)結(jié)束時(shí)，大多是與示出特定表情的圖像連續(xù)的圖像也表示著同樣的表情。因此，為了使步驟S202中檢測(cè)出的面部區(qū)域更加清晰，也可以由控制部101設(shè)定攝影部100的攝影參數(shù)(曝光校正、自動(dòng)對(duì)焦、顏色校正等攝像系統(tǒng)的攝像參數(shù))，進(jìn)行再次攝影，并使其顯示、記錄那樣地動(dòng)作。
圖11是表示本實(shí)施方式的圖像處理設(shè)備的基本結(jié)構(gòu)的圖。
1001是CPU，利用存儲(chǔ)在RAM1002和ROM1003內(nèi)的程序和數(shù)據(jù)進(jìn)行本設(shè)備整體的控制，并執(zhí)行上述表情判斷的一系列的處理。另外，CPU1001在圖1中相當(dāng)于上述控制部101。
1002是RAM，具有暫時(shí)存儲(chǔ)從外部存儲(chǔ)裝置1007或記錄介質(zhì)驅(qū)動(dòng)器1008載入的程序和數(shù)據(jù)、通過(guò)I/F1009從攝像部100輸入的圖像數(shù)據(jù)等的區(qū)域，并且還具有由CPU1001執(zhí)行各種處理所需的區(qū)域。在圖1中，中間檢測(cè)結(jié)果保存部103和圖像保存部105相當(dāng)于該RAM1002。
1003是ROM，例如存儲(chǔ)本設(shè)備整體的引導(dǎo)程序和設(shè)定數(shù)據(jù)等。
1004、1005分別為鍵盤(pán)、鼠標(biāo)，分別用于對(duì)CPU1001輸入各種指示。
1006是顯示裝置，由CRT或液晶屏等構(gòu)成，能夠顯示由圖像和文字等構(gòu)成的各種信息。在圖1中相當(dāng)于顯示部106。
1007是外部存儲(chǔ)裝置，起著硬盤(pán)驅(qū)動(dòng)裝置等大容量信息存儲(chǔ)裝置的作用，這里保存著OS(操作系統(tǒng))或CPU1001為了執(zhí)行上述表情判斷的一系列處理而執(zhí)行的程序等。而且，該程序根據(jù)來(lái)自CPU1001的指示被讀出到RAM1002內(nèi)并由CPU1001執(zhí)行。此外，當(dāng)通過(guò)程序?qū)崿F(xiàn)圖1中示出的面部檢測(cè)部102、表情判別部104時(shí)，該程序包含與該面部檢測(cè)部102、表情判別部104相當(dāng)?shù)某绦颉?br> 1008是存儲(chǔ)介質(zhì)驅(qū)動(dòng)裝置，將記錄在CD-ROM或DVD-ROM等存儲(chǔ)介質(zhì)內(nèi)的程序和數(shù)據(jù)讀出，并輸出到RAM1002或外部存儲(chǔ)裝置1007。此外，也可以將CPU1001為了執(zhí)行上述表情判斷的一系列處理而執(zhí)行的程序記錄在該存儲(chǔ)介質(zhì)內(nèi)，并由存儲(chǔ)介質(zhì)驅(qū)動(dòng)裝置1008根據(jù)來(lái)自CPU1001的指示將其讀出到RAM1002內(nèi)。
1009是I/F，用于將圖1中示出的攝像部100與本設(shè)備連接，將攝像部100所拍攝的圖像的數(shù)據(jù)通過(guò)I/F1009輸出到RAM1002。
1010是將上述各部連接的總線。
接著，參照?qǐng)D12說(shuō)明將本實(shí)施方式的圖像處理設(shè)備安裝在攝像設(shè)備內(nèi)從而當(dāng)被攝物體為特定表情時(shí)對(duì)其進(jìn)行攝影的情況。圖12是表示將本實(shí)施方式的圖像處理設(shè)備應(yīng)用于攝像設(shè)備的例的結(jié)構(gòu)的圖。
圖12中的攝像設(shè)備5101，包括包含攝影鏡頭和變焦攝影用驅(qū)動(dòng)控制機(jī)構(gòu)的成像光學(xué)系統(tǒng)5102，CCD或CMOS圖像傳感器5103，攝像參數(shù)的測(cè)量部5104，視頻信號(hào)處理電路5105，存儲(chǔ)部5106，產(chǎn)生攝像動(dòng)作的控制、攝像條件的控制等的控制用信號(hào)的控制信號(hào)產(chǎn)生部5107，兼作EVF等取景器使用的顯示器5108，頻閃發(fā)光部5109，記錄介質(zhì)5110等。還包括上述圖像處理設(shè)備5111作為表情檢測(cè)裝置。
該攝像設(shè)備5101，由圖像處理設(shè)備5111進(jìn)行例如從所拍攝的圖像中檢測(cè)人物面部圖像(檢測(cè)存在位置、尺寸、轉(zhuǎn)動(dòng)角度)和檢測(cè)表情的處理。而且，當(dāng)該人物的位置信息和表情信息等從圖像處理設(shè)備5111輸入到控制信號(hào)產(chǎn)生部5107時(shí)，控制信號(hào)產(chǎn)生部5107，根據(jù)來(lái)自攝像參數(shù)測(cè)量部5104的輸出，產(chǎn)生最適于拍攝該人物的圖像的控制信號(hào)。具體地說(shuō)，例如，可以將在攝影區(qū)域的中央以預(yù)定值以上的尺寸面向正面得到人物的面部圖像、并具有微笑的表情的時(shí)刻作為攝影時(shí)刻。
通過(guò)這樣將上述的圖像處理設(shè)備用于攝像設(shè)備，將能夠進(jìn)行面部檢測(cè)和表情檢測(cè)，并在基于該檢測(cè)的時(shí)刻進(jìn)行最佳的攝影。此外，在以上的說(shuō)明中，對(duì)將上述的處理設(shè)備設(shè)置為圖像處理設(shè)備5111的攝像設(shè)備5101進(jìn)行了說(shuō)明，但當(dāng)然也可以將上述算法作為程序來(lái)安裝，并作為由CPU進(jìn)行動(dòng)作的處理裝置安裝在攝像設(shè)備5101內(nèi)。
另外，作為可以應(yīng)用于攝像設(shè)備的圖像處理設(shè)備，并不限定于本實(shí)施方式，也可以應(yīng)用以下說(shuō)明的實(shí)施方式的圖像處理設(shè)備。
如上所述，本實(shí)施方式的圖像處理設(shè)備，由于使用一次特征、二次特征這樣的局部特征，所以不僅能夠確定攝影圖像中的面部區(qū)域，而且能夠更簡(jiǎn)便地進(jìn)行表情的判斷處理，而無(wú)需重新進(jìn)行嘴或眼等的檢測(cè)處理。
另外，即使攝影圖像中的面部的位置和方向各種各樣，也能求出上述各局部特征，其結(jié)果是，能夠進(jìn)行表情的判斷處理，因此，能夠按照攝影圖像中的面部的位置和方向等進(jìn)行穩(wěn)健的表情判斷。
另外，按照本實(shí)施方式，在進(jìn)行多次攝影的過(guò)場(chǎng)中，可以僅對(duì)特定的表情進(jìn)行攝影。
此外，在本實(shí)施方式中用于檢測(cè)面部區(qū)域的圖像是攝影圖像，但并不限定于此，也可以是預(yù)先保存著的圖像，還也可以是下載的圖像。
在本實(shí)施方式中，并行地進(jìn)行第1實(shí)施方式中的面部檢測(cè)區(qū)域的檢測(cè)處理(步驟S202)和表情判別處理(步驟S204)。由此，能以更高的速度進(jìn)行整體的處理。
圖3是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。在本實(shí)施方式的結(jié)構(gòu)中，中間檢測(cè)結(jié)果保存部303的結(jié)構(gòu)及圖像保存部305的結(jié)構(gòu)與第1實(shí)施方式中的結(jié)構(gòu)實(shí)質(zhì)上不同。
中間檢測(cè)結(jié)果保存部303，進(jìn)一步由中間檢測(cè)結(jié)果保存部A313和中間檢測(cè)結(jié)果保存部B314構(gòu)成。而且，圖像保存部305也同樣地由圖像保存部A315和圖像保存部B316構(gòu)成。
接著，用圖4的時(shí)序圖說(shuō)明圖3中示出的結(jié)構(gòu)的動(dòng)作。
在圖4的時(shí)序圖中，“A”表示按A模式動(dòng)作，“B”表示按B模式動(dòng)作。所謂“圖像攝影”的A模式，表示在將所拍攝的圖像保存在圖像保存部305內(nèi)時(shí)將其保存在圖像保存部A315內(nèi)，所謂B模式，表示將其保存在圖像保存部B316內(nèi)。以下，圖像攝影的A模式和B模式交替地切換，攝像部300響應(yīng)該切換進(jìn)行圖像的攝影，因此攝像部300連續(xù)地對(duì)圖像進(jìn)行攝影。攝影的時(shí)序，由控制部101提供。
另外，所謂“面部檢測(cè)”的A模式，表示在面部檢測(cè)部302的面部區(qū)域處理中將中間檢測(cè)結(jié)果保存在中間檢測(cè)結(jié)果保存部303內(nèi)時(shí)將其保存在中間檢測(cè)結(jié)果保存部A313內(nèi)，所謂B模式，表示將其保存在中間檢測(cè)結(jié)果保存部B314內(nèi)。
進(jìn)一步，所謂“表情判別”的A模式，表示在表情判別部304的表情判別處理中利用保存在圖像保存部A315中的圖像和保存在中間檢測(cè)結(jié)果保存部A313中的中間檢測(cè)結(jié)果、以及面部檢測(cè)部302的面部區(qū)域信息判別表情，所謂B模式，表示利用保存在圖像保存部B316中的圖像和保存在中間檢測(cè)結(jié)果保存部B314中的中間特征檢測(cè)結(jié)果、以及面部檢測(cè)部302的面部區(qū)域信息判別表情。
以下，說(shuō)明本實(shí)施方式的圖像處理設(shè)備的動(dòng)作。
首先，通過(guò)以圖像攝影的A模式進(jìn)行圖像的攝影，將所拍攝的圖像保存在圖像保存部305的圖像保存部A315內(nèi)。并且，將圖像顯示在顯示部306上，進(jìn)一步將圖像輸入到面部檢測(cè)部302。接著，在面部檢測(cè)部302中，對(duì)所輸入的圖像，進(jìn)行與第1實(shí)施方式同樣的處理，從而進(jìn)行生成面部區(qū)域信息的處理。然后，如果在圖像中檢測(cè)出面部，則將面部區(qū)域信息的數(shù)據(jù)輸入到表情判別部304。另外，將在該面部檢測(cè)處理的過(guò)程中得到的中間特征檢測(cè)結(jié)果保存在中間檢測(cè)結(jié)果保存部303的中間檢測(cè)結(jié)果保存部A313內(nèi)。
接著，并行地進(jìn)行B模式的圖像攝影和B模式的面部檢測(cè)處理、A模式的表情判別處理。在B模式的圖像攝影中，將所拍攝的圖像保存在圖像保存部305的圖像保存部B316內(nèi)。并且，將圖像顯示在顯示部306上，進(jìn)一步將圖像輸入到面部檢測(cè)部302。然后，在面部檢測(cè)部302中，對(duì)所輸入的圖像，進(jìn)行與第1實(shí)施方式同樣的處理，從而進(jìn)行生成面部區(qū)域信息的處理，并將中間將處理結(jié)果保存在中間檢測(cè)結(jié)果保存部B314內(nèi)。
另外，與上述B模式的圖像攝影和B模式的面部檢測(cè)處理并行地進(jìn)行A模式的表情判別處理。在A模式的表情判別處理中，由表情判別部304，利用來(lái)自面部檢測(cè)部302的面部區(qū)域信息和保存在中間檢測(cè)結(jié)果保存部A313中的中間特征檢測(cè)結(jié)果，對(duì)從圖像保存部A315輸入的圖像判別面部的表情。當(dāng)由表情判別部304判斷的表情為所希望的表情時(shí)，記錄圖像保存部A315的圖像并結(jié)束處理。
當(dāng)由表情判別部304判斷的表情與所希望的表情不同時(shí)，接著，并行地進(jìn)行A模式的圖像攝影、A模式的面部區(qū)域檢測(cè)處理以及B模式的表情判別處理。在A模式的圖像攝影中，將所拍攝的圖像保存在圖像保存部305的圖像保存部A315內(nèi)。并且，將圖像顯示在顯示部306上，進(jìn)一步將圖像輸入到面部檢測(cè)部302。接著，在面部檢測(cè)部302中，對(duì)所輸入的圖像，進(jìn)行檢測(cè)面部區(qū)域的處理。同時(shí)，在并行地進(jìn)行的B模式的表情判別處理中，由表情判別部304，利用來(lái)自面部檢測(cè)部302的面部區(qū)域信息和保存在中間檢測(cè)結(jié)果保存部B314中的中間檢測(cè)結(jié)果，對(duì)從圖像保存部B316輸入的圖像檢測(cè)面部的表情。
以下，直到由表情判別部304判別的表情被判斷為特定的表情為止，反復(fù)進(jìn)行同樣的處理。然后，當(dāng)判別為所希望的表情時(shí)，如果表情判別處理是A模式，則記錄圖像保存部A315的圖像并結(jié)束處理，如果是B模式，則記錄圖像保存部B316的圖像并結(jié)束處理。
各處理中的模式的切換由控制部101進(jìn)行，其時(shí)序?yàn)樵诳刂撇?01檢測(cè)到由面部檢測(cè)部302進(jìn)行的面部檢測(cè)處理結(jié)束的時(shí)刻進(jìn)行模式的切換。
這樣，由于圖像保存部305由圖像保存部A315和圖像保存部B316構(gòu)成、且中間檢測(cè)結(jié)果保存部303由中間檢測(cè)結(jié)果保存部A313和中間檢測(cè)結(jié)果保存部B314構(gòu)成，所以能夠并行地進(jìn)行圖像攝影、面部區(qū)域檢測(cè)處理以及表情判別處理，結(jié)果，能夠提高判別表情的圖像的攝影速度。
本實(shí)施方式的圖像處理設(shè)備，其目的在于，通過(guò)將第1、2實(shí)施方式中的面部檢測(cè)部102進(jìn)行的面部區(qū)域檢測(cè)處理和表情判別部104進(jìn)行的表情判別處理并行地進(jìn)行，提高系統(tǒng)整體的性能。
在第2實(shí)施方式中，圖像攝影和面部區(qū)域檢測(cè)處理要比表情判別處理花費(fèi)更多的動(dòng)作時(shí)間，利用這種情況，將表情判別處理與下一個(gè)圖像的攝影及下一個(gè)圖像中的面部區(qū)域的檢測(cè)處理并行地進(jìn)行。與此不同，在本實(shí)施方式中，在面部檢測(cè)處理中，第1實(shí)施方式的檢測(cè)圖7D中示出的四次特征量的處理與從一次特征量中檢測(cè)三次特征量相比花費(fèi)更多的處理時(shí)間，利用這種情況，面部區(qū)域信息利用前圖像的檢測(cè)結(jié)果，在眼或嘴這樣的表情檢測(cè)中使用的特征點(diǎn)的檢測(cè)結(jié)果利用當(dāng)前圖像的檢測(cè)結(jié)果。由此，能夠?qū)崿F(xiàn)面部區(qū)域檢測(cè)處理和表情判別處理的并行處理。
圖5是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。
攝像部500對(duì)時(shí)間序列圖像或動(dòng)圖像進(jìn)行攝像，并將各幀的圖像數(shù)據(jù)輸出到面部檢測(cè)部502、圖像保存部505、顯示部506、記錄部507。在本實(shí)施方式的結(jié)構(gòu)中，實(shí)質(zhì)上，面部檢測(cè)部502和表情判別部504與第1實(shí)施方式中的不同。
面部檢測(cè)部502，進(jìn)行與第1實(shí)施方式的面部區(qū)域檢測(cè)處理相同的處理，但當(dāng)該處理結(jié)束時(shí)，將結(jié)束信號(hào)輸出到表情判別部504。
表情判別部504，進(jìn)一步具有包含前圖像檢測(cè)結(jié)果保存部514的結(jié)構(gòu)。
以下，用圖6所示的時(shí)序圖說(shuō)明圖5中示出的各部進(jìn)行的處理。
當(dāng)由攝像部500對(duì)最初的幀的圖像進(jìn)行攝影時(shí)，將該圖像的數(shù)據(jù)輸入到面部檢測(cè)部502。在面部檢測(cè)部502中，通過(guò)對(duì)所輸入的圖像進(jìn)行與第1實(shí)施方式同樣的處理生成面部區(qū)域信息，并輸出到表情判別部504。輸入到表情判別部504的面部區(qū)域信息，被保存在前圖像檢測(cè)結(jié)果保存部514內(nèi)。而且，在該過(guò)程中得到的中間特征檢測(cè)結(jié)果，輸入并保存在中間檢測(cè)結(jié)果保存部503內(nèi)。
接著，當(dāng)由攝像部500對(duì)下1個(gè)幀的圖像進(jìn)行攝影時(shí)，將該圖像的數(shù)據(jù)輸入到圖像保存部505。并且，將該所拍攝的圖像顯示在顯示部506上，進(jìn)一步將圖像輸入到面部檢測(cè)部502。之后，面部檢測(cè)部502，通過(guò)進(jìn)行與第1實(shí)施方式同樣的處理生成面部區(qū)域信息。當(dāng)該面部區(qū)域檢測(cè)處理結(jié)束時(shí)，面部檢測(cè)部502，將該中間特征的檢測(cè)結(jié)果輸入到中間檢測(cè)結(jié)果保存部503，并且輸出表示應(yīng)由表情判別部504進(jìn)行的一系列的處理結(jié)束的信號(hào)。
然后，當(dāng)表情判別部504的判別結(jié)果的表情不是所希望的表情時(shí)，將由面部檢測(cè)部502得到的面部區(qū)域信息保存在表情判別部504的前圖像檢測(cè)結(jié)果保存部514內(nèi)。
在表情判別部504中，當(dāng)從面部檢測(cè)部502接收到上述結(jié)束信號(hào)時(shí)，利用與保存在前圖像檢測(cè)結(jié)果保存部514中的前圖像(一個(gè)或一個(gè)以上的前面幀的圖像)對(duì)應(yīng)的面部區(qū)域信息601、保存在圖像保存部505中的當(dāng)前圖像(當(dāng)前的幀的圖像)、以及保存在中間檢測(cè)結(jié)果保存部503中的當(dāng)前圖像的中間特征檢測(cè)結(jié)果602，進(jìn)行對(duì)當(dāng)前圖像的表情判別處理。
即，對(duì)與在一個(gè)或一個(gè)以上的前面幀的圖像中由面部區(qū)域信息確定的區(qū)域在位置上對(duì)應(yīng)的原圖像中的區(qū)域，利用從該區(qū)域得到的中間檢測(cè)結(jié)果進(jìn)行表情判別處理。
如果對(duì)前圖像攝影的時(shí)間與對(duì)當(dāng)前圖像攝影的時(shí)間之差很短，那么各圖像中的面部區(qū)域的位置就沒(méi)有很大的變化。因此，如上所述，通過(guò)對(duì)面部區(qū)域信息使用從前圖像得到的結(jié)果并將圖9、圖10中示出的搜索區(qū)域設(shè)定得更大，能夠抑制由前圖像與當(dāng)前圖像的面部區(qū)域的位置等的偏差所帶來(lái)的影響，并能進(jìn)行表情的判別處理。
當(dāng)由表情判別部504判斷的表情是所希望的表情時(shí)，記錄圖像保存部505中的圖像并結(jié)束處理。當(dāng)由表情判別部504判別的表情與所希望的表情不同時(shí)，對(duì)下一個(gè)圖像進(jìn)行攝影，由面部檢測(cè)部502進(jìn)行面部檢測(cè)處理，并由表情判別部504利用所拍攝的圖像、保存在前圖像檢測(cè)結(jié)果保存部514中的對(duì)應(yīng)于前圖像的面部檢測(cè)結(jié)果、以及保存在中間檢測(cè)結(jié)果保存部503中的中間處理結(jié)果，進(jìn)行表情的判別處理。
以下，直到由表情判別部504判別的表情為所希望的表情為止，反復(fù)進(jìn)行同樣的處理。然后，當(dāng)判別為所希望的表情時(shí)，記錄圖像保存部505中的圖像并結(jié)束處理。
這樣，利用保存在前圖像檢測(cè)結(jié)果保存部514中的對(duì)應(yīng)于前圖像的面部區(qū)域信息和保存在中間檢測(cè)結(jié)果保存部503中的中間特征檢測(cè)處理結(jié)果進(jìn)行表情的判別處理，從而能夠并行地進(jìn)行面部區(qū)域檢測(cè)處理和表情判別處理，結(jié)果，能夠提高判別表情的圖像的攝影速率。
在上述實(shí)施方式中說(shuō)明了用于判別面部的表情的技術(shù)，而在本實(shí)施方式中，說(shuō)明用于判別該面部是誰(shuí)的面部、即判別與面部對(duì)應(yīng)的個(gè)人的技術(shù)。
圖13是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。本實(shí)施方式的圖像處理設(shè)備，由下述各部構(gòu)成攝像部1300、控制部1301、面部檢測(cè)部1302、中間檢測(cè)結(jié)果保存部1303、個(gè)人判別部1304、圖像保存部1305、顯示部1306、記錄部3107。以下，對(duì)各部進(jìn)行說(shuō)明。
攝像部1300，根據(jù)來(lái)自控制部1301的控制信號(hào)對(duì)圖像進(jìn)行攝影，并將該拍攝到的圖像(攝影圖像)輸出到面部檢測(cè)部1302、圖像保存部1305、顯示部1306或記錄部1307。
控制部1301，進(jìn)行用于控制本實(shí)施方式的圖像處理設(shè)備整體的處理，與攝像部1300、面部檢測(cè)部1302、中間檢測(cè)結(jié)果保存部1303、個(gè)人判別部1304、圖像保存部1305、顯示部1306、記錄部1307連接，對(duì)各部進(jìn)行控制，以使各部按適當(dāng)?shù)臅r(shí)序動(dòng)作。
面部檢測(cè)部1302，進(jìn)行在來(lái)自攝像部1301的攝影圖像中檢測(cè)面部區(qū)域(攝影圖像中所包含的面部圖像的區(qū)域)的處理。該處理，換句話說(shuō)就是這樣的處理，判別攝影圖像中有無(wú)面部區(qū)域，當(dāng)存在面部區(qū)域時(shí)求面部區(qū)域的數(shù)、攝影圖像中的面部區(qū)域的坐標(biāo)位置、面部區(qū)域的尺寸、面部區(qū)域在攝影圖像中的轉(zhuǎn)動(dòng)量(例如設(shè)面部區(qū)域?yàn)榫匦螘r(shí)，表示該矩形在攝影圖像中向哪個(gè)方向傾斜了多少的轉(zhuǎn)動(dòng)量)。以下，將這些信息(攝影圖像中的面部區(qū)域的數(shù)、攝影圖像中的面部區(qū)域的坐標(biāo)位置、面部區(qū)域的尺寸、面部區(qū)域在攝影圖像中的轉(zhuǎn)動(dòng)量)統(tǒng)稱為“面部區(qū)域信息”。因此，通過(guò)求取面部區(qū)域信息，能夠確定攝影圖像中的面部區(qū)域。
這些檢測(cè)結(jié)果，輸出到個(gè)人判別部1304。另外，還將檢測(cè)處理過(guò)程中得到的后述的中間檢測(cè)結(jié)果輸出到中間檢測(cè)結(jié)果保存部1303。
中間檢測(cè)結(jié)果保存部1303，保存從面部檢測(cè)部1302輸出的上述中間特征檢測(cè)結(jié)果。
個(gè)人判別部1304，接受從面部檢測(cè)部1302輸出的面部區(qū)域信息的數(shù)據(jù)和從中間檢測(cè)結(jié)果保存部1303輸出的上述中間特征檢測(cè)結(jié)果的數(shù)據(jù)。然后，根據(jù)這些數(shù)據(jù)，進(jìn)行該面部是誰(shuí)的面部的判別處理。關(guān)于該判別處理，將在后文中詳細(xì)說(shuō)明。
圖像保存部1305，暫時(shí)保存從攝像部1300輸出的攝影圖像，并根據(jù)控制部1301的控制信號(hào)，將所保存的攝影圖像的全部或一部分輸出到顯示部1306、記錄部1307。
顯示部1306，例如由CRT或液晶屏等構(gòu)成，顯示從圖像保存部1305輸出的攝影圖像的全部或一部分、或由攝像部1300拍攝的攝影圖像。
記錄部1307，由硬盤(pán)驅(qū)動(dòng)器或?qū)⑿畔⒂涗浽贒VD-RAM、壓縮閃速存儲(chǔ)器(注冊(cè)商標(biāo))等記錄介質(zhì)上的裝置構(gòu)成，記錄保存在圖像保存部1305中的圖像、或由攝像部1300拍攝的攝影圖像。
以下，對(duì)由上述各部的動(dòng)作執(zhí)行的用于判別攝影圖像中的面部是誰(shuí)的面部的主處理，用表示該處理的流程圖的圖14進(jìn)行說(shuō)明。
首先，攝像部1300，根據(jù)來(lái)自控制部1301的控制信號(hào)對(duì)圖像進(jìn)行攝影(步驟S1401)。所拍攝的圖像的數(shù)據(jù)，顯示在顯示部1306上，并且輸出到圖像保存部1305，進(jìn)一步輸入到面部檢測(cè)部1302。
然后，面部檢測(cè)部1302，用所輸入的攝影圖像，進(jìn)行檢測(cè)該攝影圖像中的面部區(qū)域的處理(步驟S1402)。對(duì)該面部區(qū)域的檢測(cè)處理用與第1實(shí)施方式相同的方式進(jìn)行，因此其說(shuō)明從略，但本實(shí)施方式的面部檢測(cè)處理的主要特征在于，作為面部檢測(cè)處理中的中間處理結(jié)果，檢測(cè)出眼和嘴、眼或嘴的端點(diǎn)這樣的在個(gè)人識(shí)別中有用的特征。
接著，控制部1301，參照在步驟S1402中由面部檢測(cè)部1302進(jìn)行的面部區(qū)域檢測(cè)處理的結(jié)果，判斷在攝影圖像中是否存在面部區(qū)域(步驟S1403)。作為該判斷方法，例如判斷(面部)特征檢測(cè)層內(nèi)的各神經(jīng)元中是否存在輸出值在某基準(zhǔn)值以上的神經(jīng)元，并假定在基準(zhǔn)值以上的神經(jīng)元指示的位置上存在面部(區(qū)域)。而且，當(dāng)不存在基準(zhǔn)值以上的神經(jīng)元時(shí)，假定面部不存在。
然后，當(dāng)步驟S1403中的判斷處理的結(jié)果為在攝影圖像中不存在面部區(qū)域時(shí)，面部檢測(cè)部1302將該意思通知控制部1301，因此將處理返回到步驟S1401，控制部1301，控制攝像部1300，對(duì)新的圖像進(jìn)行攝影。
另一方面，當(dāng)存在面部區(qū)域時(shí)，面部檢測(cè)部1302將該意思通知控制部1301，因此使處理進(jìn)入步驟S1404，控制部1301，將面部檢測(cè)部1302的中間檢測(cè)結(jié)果信息保存在中間檢測(cè)結(jié)果保存部1303內(nèi)，同時(shí)將面部檢測(cè)部1302的面部區(qū)域信息輸入到個(gè)人判別部1304。
此處，面部的數(shù)，如上所述，可以由基準(zhǔn)值以上的神經(jīng)元數(shù)求得。此外，基于神經(jīng)網(wǎng)絡(luò)的面部檢測(cè)，對(duì)面部的尺寸變動(dòng)或轉(zhuǎn)動(dòng)變動(dòng)是穩(wěn)健的，因此，對(duì)圖像中的1個(gè)面部，超過(guò)了基準(zhǔn)值的神經(jīng)元不限于1個(gè)。一般情況下具有多個(gè)。因此，根據(jù)超過(guò)了基準(zhǔn)值的神經(jīng)元間的距離將超過(guò)了基準(zhǔn)值的神經(jīng)元匯總，從而求出圖像中的面部數(shù)數(shù)。而且，將這樣匯總后的多個(gè)神經(jīng)元的平均位置或重心位置作為面部的位置。
轉(zhuǎn)動(dòng)量或面部的大小按以下方式求出。如上所述，作為檢測(cè)面部特征時(shí)的中間處理結(jié)果，取得眼或嘴的檢測(cè)結(jié)果。就是說(shuō)，如第1實(shí)施方式中的圖10所示，用面部檢測(cè)結(jié)果設(shè)定眼搜索范圍(RE3、RE4)和嘴搜索范圍(RM2)，對(duì)于眼特征檢測(cè)結(jié)果和嘴特征檢測(cè)結(jié)果，能夠在該范圍內(nèi)檢測(cè)眼特征和嘴特征。具體地說(shuō)，在這些范圍的眼檢測(cè)層的神經(jīng)元和嘴檢測(cè)層的神經(jīng)元中，將超過(guò)了基準(zhǔn)值的多個(gè)神經(jīng)元的平均位置或重心位置作為眼(左右眼)、嘴的位置。并且，根據(jù)這3點(diǎn)的位置關(guān)系求出面部的大小或轉(zhuǎn)動(dòng)量。此外，當(dāng)求取該面部的尺寸或轉(zhuǎn)動(dòng)量時(shí)，也可以只從眼特征檢測(cè)結(jié)果求出兩眼位置，就是說(shuō)，不使用嘴特征，而是只從兩眼位置求出面部的尺寸或轉(zhuǎn)動(dòng)量。
然后，個(gè)人判別部1304，利用面部區(qū)域信息和保存在中間檢測(cè)結(jié)果保存部1303中的中間檢測(cè)結(jié)果信息，進(jìn)行攝影圖像中的面部區(qū)域內(nèi)所包含的面部是誰(shuí)的面部的判別處理(步驟S1404)。
此處，說(shuō)明個(gè)人判別部1304進(jìn)行的判別處理(個(gè)人判別處理)。此外，在該說(shuō)明中，首先對(duì)在該判別處理中使用的特征矢量進(jìn)行說(shuō)明，然后說(shuō)明使用該特征矢量進(jìn)行識(shí)別的識(shí)別器。
如在背景技術(shù)中所述，個(gè)人判別處理，一般與檢測(cè)圖像中的面部的位置或大小的面部檢測(cè)處理分開(kāi)獨(dú)立進(jìn)行。就是說(shuō)，求取在個(gè)人判別處理中使用的特征矢量的處理，通常與面部檢測(cè)處理是各自獨(dú)立的。與此不同，在本實(shí)施方式中，從面部檢測(cè)處理的中間處理結(jié)果求得在個(gè)人判別處理中使用的特征矢量，因此，要在進(jìn)行個(gè)人判別處理的過(guò)程中求得的特征矢量的數(shù)比以往少即可，因此使整個(gè)處理更為簡(jiǎn)便。
圖15A是表示在個(gè)人判別處理中使用的特征矢量1301的圖，圖15B是表示二次特征的右開(kāi)V字特征檢測(cè)結(jié)果的圖，圖15C是表示左開(kāi)V字特征檢測(cè)結(jié)果的圖，圖15D是表示包含面部區(qū)域的攝影圖像的圖。
此處，圖15B、15C中的虛線，表示面部中的眼的邊緣。該邊緣，不是實(shí)際的特征矢量，而是為了易于理解V字特征檢測(cè)結(jié)果與眼的關(guān)系而示出的。另外，在圖15B中，1502a～1502d分別表示二次特征的右開(kāi)V字特征檢測(cè)結(jié)果中的各特征的神經(jīng)元的點(diǎn)火分布區(qū)域，黑色表示大的值，白色表示小的值。同樣，在圖15C中，1503a～1503d分別表示二次特征的左開(kāi)V字特征檢測(cè)結(jié)果中的各特征的神經(jīng)元的點(diǎn)火分布區(qū)域，黑色表示大的值，白色表示小的值。
另外，一般地說(shuō)，如果是檢測(cè)對(duì)象的平均的形狀特征，則神經(jīng)元的輸出值為大的值，如果有轉(zhuǎn)動(dòng)或移動(dòng)等變動(dòng)，則輸出值為小的值，因此，圖15B、15C中示出的神經(jīng)元的輸出值的分布，從檢測(cè)對(duì)象存在的坐標(biāo)起向周圍逐漸減弱。
如圖15A中示意地示出的那樣，在個(gè)人判別處理中使用的特征矢量1501，是保存在中間檢測(cè)結(jié)果保存部1303內(nèi)的中間檢測(cè)結(jié)果之一，由二次特征的右開(kāi)V字特征檢測(cè)結(jié)果和左開(kāi)V字特征檢測(cè)結(jié)果生成。另外，該特征矢量，使用的不是圖15D中示出的面部整體區(qū)域1505而是包含兩眼的區(qū)域1504。更具體地說(shuō)，可以認(rèn)為在包含兩眼的區(qū)域中分別排列右開(kāi)V字特征檢測(cè)層神經(jīng)元的多個(gè)輸出值和左開(kāi)V字特征檢測(cè)層神經(jīng)元的多個(gè)輸出值，通過(guò)比較相同坐標(biāo)的輸出值并選擇大的值，生成特征矢量。
在背景技術(shù)中說(shuō)明過(guò)的Eigenface法中，由被稱作本征臉的基底對(duì)面部整體區(qū)域進(jìn)行分解，并將其系數(shù)作為在個(gè)人判別中使用的特征矢量。就是說(shuō)，在Eigenface法中，使用面部整體區(qū)域的特征進(jìn)行個(gè)人判別。但是，如果是表示在個(gè)人之間不同傾向的特征，則不使用面部整體區(qū)域也可以進(jìn)行個(gè)人判別。在圖15D所示的包含兩眼的區(qū)域的右開(kāi)V字特征檢測(cè)結(jié)果和左開(kāi)V字特征檢測(cè)結(jié)果中，包含著每個(gè)眼的大小、兩眼間的距離、眉毛和眼的距離這樣的信息，根據(jù)這些信息能夠進(jìn)行個(gè)人判別。
另外，Eigenface法，存在著易受照明條件的變化影響這樣的缺點(diǎn)，但圖15B、15C中示出的右開(kāi)V字特征檢測(cè)結(jié)果和左開(kāi)V字特征檢測(cè)結(jié)果，利用為了在照明條件或尺寸、轉(zhuǎn)動(dòng)變動(dòng)下穩(wěn)健地檢測(cè)面部而訓(xùn)練過(guò)的接受域得到，因此，不易受照明條件或尺寸、轉(zhuǎn)動(dòng)變動(dòng)的影響，適于生成用于進(jìn)行個(gè)人判別的特征矢量。
進(jìn)一步，如上所述，根據(jù)右開(kāi)V字特征檢測(cè)結(jié)果和左開(kāi)V字特征檢測(cè)結(jié)果生成用于進(jìn)行個(gè)人判別的特征矢量，是非常簡(jiǎn)便的處理。這樣，利用在面部檢測(cè)處理的過(guò)程中得到的中間處理結(jié)果生成用于個(gè)人判別的特征矢量，是非常有用的。
在本實(shí)施方式中，利用所得到的特征矢量進(jìn)行個(gè)人判別用的識(shí)別器，并無(wú)特別的限定，但作為一例有最鄰近識(shí)別器。最鄰近識(shí)別器是這樣的方法，即將表示每個(gè)人的訓(xùn)練矢量作為原型存儲(chǔ)，并根據(jù)所輸入的特征矢量和最接近的原型所屬的類識(shí)別對(duì)象。就是說(shuō)，在上述的方法中，預(yù)先求出每個(gè)人的特征矢量并將其保存，求取從輸入圖像中求得的特征矢量與所保存的特征矢量的距離，并將表示最近距離的特征矢量的人作為識(shí)別結(jié)果。
另外，作為其他識(shí)別器，也可以使用由Vapnik等提出的SupportVector Machine(以下，記為SVM)。該SVM，按容差最大化基準(zhǔn)從訓(xùn)練數(shù)據(jù)學(xué)習(xí)線性閾值元件的參數(shù)。
另外，還通過(guò)將被稱作kernel trick的非線性變換進(jìn)行組合，構(gòu)成了識(shí)別性能優(yōu)良的識(shí)別器(Vapnik，“Statistical Learning Theory”，JohnWiley & Sons(1998))。就是說(shuō)，根據(jù)表示每個(gè)人的訓(xùn)練數(shù)據(jù)求出用于判別的參數(shù)，并根據(jù)該參數(shù)和從輸入圖像求得的特征矢量判別個(gè)人。SVM構(gòu)成基本上識(shí)別2個(gè)類的識(shí)別器，因此，當(dāng)判別多人時(shí)要將多個(gè)SVM組合后進(jìn)行判別。
在步驟S1402中進(jìn)行的面部檢測(cè)處理，如上所述，使用了通過(guò)并行分層處理進(jìn)行圖像識(shí)別的神經(jīng)網(wǎng)絡(luò)。而且，檢測(cè)各特征時(shí)使用的接受域，通過(guò)使用了大量的面部圖像和非面部圖像的學(xué)習(xí)而獲得。就是說(shuō)，可以認(rèn)為，在進(jìn)行面部檢測(cè)處理的神經(jīng)網(wǎng)絡(luò)中，從輸入圖像中抽取在大量的面部圖像中是通用的但與非面部圖像卻不通用的信息，并用該信息對(duì)面部和非面部進(jìn)行區(qū)分。
與此不同，進(jìn)行個(gè)人判別的識(shí)別器，設(shè)計(jì)成識(shí)別根據(jù)面部圖像按每個(gè)人生成的特征矢量之差。就是說(shuō)，對(duì)每個(gè)人準(zhǔn)備多個(gè)表情和方向等稍有差別的面部圖像，并將這些面部圖像作為訓(xùn)練數(shù)據(jù)后，對(duì)每個(gè)人形成集群，使用SVM后，能夠高精度地獲得將各集群分離的面。
另外，如果是最鄰近識(shí)別器，當(dāng)提供數(shù)足夠的原型時(shí)，具有能夠達(dá)到貝斯差錯(cuò)概率的2倍以下的差錯(cuò)概率這樣的理論根據(jù)，因而能夠識(shí)別個(gè)人之間的差異。
圖16是以表的形式示出在3個(gè)識(shí)別器中學(xué)習(xí)時(shí)分別使用的數(shù)據(jù)的圖。即，圖16的表，表示進(jìn)行用于使面部檢測(cè)識(shí)別器進(jìn)行(包括A先生、B先生的)人面部檢測(cè)的訓(xùn)練時(shí)使用的數(shù)據(jù)、進(jìn)行用于使A先生識(shí)別器識(shí)別A先生的訓(xùn)練時(shí)使用的數(shù)據(jù)、以及進(jìn)行用于使B先生識(shí)別器識(shí)別B先生的訓(xùn)練時(shí)使用的數(shù)據(jù)，在用于進(jìn)行使用面部檢測(cè)識(shí)別器的面部檢測(cè)的訓(xùn)練時(shí)，將從用于采樣的所有的人(A先生、B先生、其他的人)的面部圖像求得的特征矢量作為正解數(shù)據(jù)使用，將不是面部圖像的背景圖像(非面部圖像)作為非正解數(shù)據(jù)使用。
另一方面，在用于進(jìn)行使用A先生識(shí)別器的A先生識(shí)別的訓(xùn)練時(shí)，將從A先生的面部圖像求得的特征矢量用作正解數(shù)據(jù)，將從A先生以外的人(在圖16為“B先生”、“其他人”)的面部圖像求得的特征矢量用作非正解數(shù)據(jù)。至于背景圖像，在訓(xùn)練時(shí)不使用。
同樣，在用于進(jìn)行使用B先生識(shí)別器的B先生識(shí)別的訓(xùn)練時(shí)，將從B先生的面部圖像求得的特征矢量用作正解數(shù)據(jù)，將從B先生以外的人(在圖16中為“A先生”、“其他人”)的面部圖像求得的特征矢量用作非正解數(shù)據(jù)。至于背景圖像，在訓(xùn)練時(shí)不使用。
因此，在檢測(cè)作為三次特征的眼時(shí)使用的二次特征檢測(cè)結(jié)果和在上述的個(gè)人判別中使用的二次特征檢測(cè)結(jié)果，一部分共用，但如上所述，面部檢測(cè)時(shí)用于檢測(cè)眼特征的識(shí)別器(神經(jīng)網(wǎng)絡(luò))和進(jìn)行個(gè)人判別的識(shí)別器，不僅識(shí)別器的種類不同(即，第1實(shí)施方式中示出的神經(jīng)網(wǎng)絡(luò)與SVM或最鄰近識(shí)別器不同)，而且訓(xùn)練中使用的數(shù)據(jù)的組也不同，因此，即使使用共用的檢測(cè)結(jié)果，從中抽取的用于識(shí)別的信息結(jié)果也不相同，前者可以檢測(cè)眼，而后者可以判別個(gè)人。
此外，生成特征矢量時(shí)，如果由面部檢測(cè)部1302得到的面部的尺寸或方向不在預(yù)定的范圍內(nèi)，則也可以對(duì)保存在中間檢測(cè)結(jié)果保存部1303中的中間處理結(jié)果進(jìn)行轉(zhuǎn)動(dòng)校正和尺寸標(biāo)準(zhǔn)化。個(gè)人判別的識(shí)別器，設(shè)計(jì)成能夠夠識(shí)別個(gè)人的細(xì)微差異，因此，將尺寸、轉(zhuǎn)動(dòng)統(tǒng)一，有使精度提高的傾向。轉(zhuǎn)動(dòng)校正和尺寸標(biāo)準(zhǔn)化，可以在從中間檢測(cè)結(jié)果保存部1303讀出時(shí)進(jìn)行，以便將保存中間檢測(cè)結(jié)果保存部1303中的中間處理結(jié)果輸入到個(gè)人判別部1304。
通過(guò)以上的處理，可以進(jìn)行面部的個(gè)人判別，因此，個(gè)人判別部1304，判斷與所判斷的個(gè)人對(duì)應(yīng)的代碼(對(duì)每個(gè)人單獨(dú)設(shè)定的代碼)是否與預(yù)先設(shè)定的與某個(gè)人對(duì)應(yīng)的代碼一致(步驟S1405)。該代碼，例如可以是序號(hào)，其表現(xiàn)方法并無(wú)特別的限定。該判斷結(jié)果通知控制部1301。
此處，當(dāng)由直到步驟S1404為止的處理判斷的個(gè)人與預(yù)先設(shè)定的特定的個(gè)人相同時(shí)，例如在本實(shí)施方式的情況下，當(dāng)個(gè)人判別部1304輸出的“表示個(gè)人的代碼”與表示預(yù)先設(shè)定的特定的個(gè)人的代碼一致時(shí)，控制部1301將保存在圖像保存部1305中的攝影圖像記錄在記錄部1307內(nèi)。而且，當(dāng)記錄部1307是DVD-RAM、壓縮閃速存儲(chǔ)器(注冊(cè)商標(biāo))時(shí)，控制部1301控制記錄部1307，將攝影圖像記錄在DVD-RAM、壓縮閃速存儲(chǔ)器(注冊(cè)商標(biāo))等記錄介質(zhì)內(nèi)(步驟S1406)。另外，也可以將記錄的圖像作為面部區(qū)域的圖像。
另一方面，當(dāng)由直到步驟S1404為止的處理判斷的個(gè)人與預(yù)先設(shè)定的特定的個(gè)人不同時(shí)，例如在本實(shí)施方式的情況下，當(dāng)個(gè)人判別部1304輸出的“表示個(gè)人的代碼”與表示預(yù)先設(shè)定的特定的個(gè)人的代碼不一致時(shí)，控制部1301控制攝像部1300，對(duì)新的圖像進(jìn)行攝影。
此外，當(dāng)所判斷的個(gè)人是特定的表情時(shí)，除上述以外，例如在步驟S1406中，也可以由控制部1301控制攝像部1300，一邊對(duì)下一個(gè)圖像進(jìn)行攝影，一邊將所拍攝的圖像保存在記錄部1307內(nèi)。另外，控制部1301也可以控制顯示部1306，將所拍攝的圖像顯示在顯示部1306上。
另外，為了更清晰地對(duì)步驟S202中檢測(cè)出的面部區(qū)域進(jìn)行清晰地?cái)z像，也可以由控制部1301設(shè)定攝像部1300的攝影參數(shù)(光校正、自動(dòng)對(duì)焦、顏色校正等攝像系統(tǒng)的攝像參數(shù))，進(jìn)行再次攝影，并使其顯示、記錄那樣地動(dòng)作。
如上所述，基于從分層地檢測(cè)出的局部特征中檢測(cè)最終的檢測(cè)對(duì)象的算法，檢測(cè)圖像中的面部后，根據(jù)檢測(cè)出的面部區(qū)域，不僅可以進(jìn)行光校正、自動(dòng)對(duì)焦、以及顏色校正等處理，還可以利用作為在該面部檢測(cè)處理的過(guò)程中得到的中間特征檢測(cè)結(jié)果的眼的候選檢測(cè)結(jié)果和嘴的候選檢測(cè)結(jié)果，使個(gè)人的判別無(wú)需進(jìn)行用于檢測(cè)眼或嘴的新的檢測(cè)處理，具有能夠在抑制處理成本的增加的同時(shí)對(duì)個(gè)人進(jìn)行檢測(cè)和攝影的效果。并且，可以進(jìn)行能夠適應(yīng)面部的位置或尺寸等的變動(dòng)的個(gè)人識(shí)別。
另外，本實(shí)施方式的圖像處理設(shè)備，也可以是具有圖11所示結(jié)構(gòu)的計(jì)算機(jī)。而且，也可以適用于圖12所示的攝像設(shè)備中的圖像處理設(shè)備5111，在這種情況下，可以進(jìn)行與個(gè)人的判別結(jié)果對(duì)應(yīng)的攝影。
本實(shí)施方式的圖像處理設(shè)備，對(duì)同1個(gè)圖像進(jìn)行上述第1實(shí)施方式中所述的面部區(qū)域檢測(cè)處理、第1～第3實(shí)施方式中所述的表情判別處理、第4實(shí)施方式中所述的個(gè)人判別處理。
圖17是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖?；旧?，是在第1實(shí)施方式的圖像處理設(shè)備的結(jié)構(gòu)中增加了第4實(shí)施方式的圖像處理設(shè)備的結(jié)構(gòu)和綜合部1708。除綜合部1708外，各部進(jìn)行與上述實(shí)施方式中名稱相同的部分相同的動(dòng)作。即，來(lái)自攝像部1700圖像，輸出到面部檢測(cè)部1702、圖像保存部1705、記錄部1707、顯示部1706。面部檢測(cè)部1702進(jìn)行與上述實(shí)施方式相同的面部區(qū)域檢測(cè)處理，并與上述實(shí)施方式同樣地將檢測(cè)處理結(jié)果輸出到表情判別部1704、個(gè)人判別部1714。另外，還將該處理過(guò)程中得到的中間檢測(cè)結(jié)果輸出到中間檢測(cè)結(jié)果保存部1703。表情判別部1704，進(jìn)行與第1實(shí)施方式中的表情判別部104相同的處理。個(gè)人判別部1714，進(jìn)行與第4實(shí)施方式中的個(gè)人判別部1304相同的處理。
綜合部1708，接收面部檢測(cè)部1702、表情判別部1704、個(gè)人判別部1714各自的處理結(jié)果的數(shù)據(jù)，利用這些數(shù)據(jù)，進(jìn)行面部檢測(cè)部1702檢測(cè)出的面部是否是某特定的個(gè)人的面部的判斷處理、并且當(dāng)是特定的個(gè)人的面部時(shí)，進(jìn)行該特定的面部是否是某特定的表情的判斷處理。就是說(shuō)，判別某特定的個(gè)人是否是特定的表情。
以下，對(duì)由上述各部的動(dòng)作執(zhí)行的用于判別攝影圖像中的面部是誰(shuí)的面部、且是怎樣的表情的主處理，用表示該處理的流程圖的圖18進(jìn)行說(shuō)明。
從步驟S1801到步驟S1803的各步驟中的處理，分別與圖14的從步驟S1401到步驟S1403的各步驟中的處理相同，因此其說(shuō)明從略。即，在從步驟S1801到步驟S1803的處理中，由控制部1701和面部檢測(cè)部1702判斷在來(lái)自攝像部1700圖像中是否存在著面部區(qū)域。
當(dāng)存在時(shí)，使處理進(jìn)入步驟S1804，表情判別部1704，通過(guò)進(jìn)行與圖2的步驟S204中的處理相同的處理，判別所檢出的面部區(qū)域中的面部的表情。
然后，在步驟S1805中，個(gè)人判別部1714，通過(guò)進(jìn)行與圖14的步驟S1404中的處理相同的處理，對(duì)所檢出的面部區(qū)域中的面部進(jìn)行個(gè)人判別。
此外，步驟S1804、步驟S1805的各步驟中的處理，是對(duì)在步驟S1802中檢測(cè)出的每個(gè)面部進(jìn)行的處理。
接著，在步驟S1806中，綜合部1708按每個(gè)面部，對(duì)從表情判別部1704輸出的“與所判斷的表情對(duì)應(yīng)的代碼”和從個(gè)人判別部1714輸出的“與所判斷的個(gè)人對(duì)應(yīng)的代碼”進(jìn)行管理。
圖19是表示該管理的數(shù)據(jù)的結(jié)構(gòu)例的圖。如上所述，表情判別部1704、個(gè)人判別部1714，共同對(duì)面部檢測(cè)部1702檢測(cè)出的每個(gè)面部進(jìn)行表情判別和個(gè)人判別。因此，綜合部1708，與每個(gè)面部所固有的ID(在圖19中為數(shù)字1、2)相關(guān)聯(lián)地管理“與所判斷的表情對(duì)應(yīng)的代碼”和“與所判斷的個(gè)人對(duì)應(yīng)的代碼”。例如，作為“與所判斷的表情對(duì)應(yīng)的代碼”稱作“笑臉”的代碼和作為“與所判斷的個(gè)人對(duì)應(yīng)的代碼”稱作“A”的代碼，與ID為1的面部相對(duì)應(yīng)，因此與1的ID相關(guān)聯(lián)地管理這些代碼。這種管理當(dāng)ID為2時(shí)也是一樣。這樣，綜合部1708生成并保存用于管理各代碼的表數(shù)據(jù)(例如具有圖19所示的結(jié)構(gòu))。
之后，綜合部1708，在步驟S1806中，通過(guò)參照該表數(shù)據(jù)判斷特定的個(gè)人是否是某特定的表情。例如，如果假設(shè)用圖19的表數(shù)據(jù)判斷A先生是否是笑臉，則因圖19的表數(shù)據(jù)中A先生是笑臉，所以判斷為A先生在微笑。
當(dāng)按如上方式判斷的結(jié)果為特定的個(gè)人是某特定的表情時(shí)，綜合部1708將該意思通知控制部1701，因此使處理進(jìn)入步驟S1807，進(jìn)行與圖14的步驟S1406相同的處理。
另外，在本實(shí)施方式中連續(xù)地進(jìn)行了面部檢測(cè)處理和表情判別處理，但也可以使用第2、3實(shí)施方式中所述的方法。在這種情況下，能夠縮短總的處理時(shí)間。
如上所述，根據(jù)本實(shí)施方式，通過(guò)從圖像中檢測(cè)面部、確定個(gè)人并確定其表情，可以從許多人中拍攝所希望的個(gè)人的所希望的表情的照片，例如，可以從許多孩子中對(duì)自己的孩子的笑臉的瞬間進(jìn)行攝影。
就是說(shuō)，如將本實(shí)施方式的圖像處理設(shè)備應(yīng)用于第1實(shí)施方式中所述的攝像設(shè)備的圖像處理設(shè)備，能夠進(jìn)行個(gè)人判別處理、表情判別處理的兩種處理，其結(jié)果是，可以進(jìn)行特定的個(gè)人做出特定的表情時(shí)的攝影。進(jìn)一步，通過(guò)識(shí)別特定的個(gè)人、表情，也可以作為人—機(jī)接口使用。
在本實(shí)施方式中，順序地進(jìn)行第5實(shí)施方式中所述的表情判別處理和個(gè)人判別處理。因此，能以更高的精度判別特定的個(gè)人的特定的表情。
圖20是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的圖。圖20中示出的結(jié)構(gòu)，與圖18所示的第5實(shí)施方式的圖像處理設(shè)備的結(jié)構(gòu)相比，大體上相同，但在將個(gè)人判別部2014和表情判別部2004連接起來(lái)這一點(diǎn)，和使用了表情判別數(shù)據(jù)保存部2008來(lái)代替綜合部1708這一點(diǎn)上不同。
圖21是表示本實(shí)施方式的圖像處理設(shè)備進(jìn)行的主處理的流程圖。以下，用圖21說(shuō)明本實(shí)施方式的圖像處理設(shè)備進(jìn)行的處理。
從步驟S2101到步驟S2103的各步驟中的處理，與圖18的從步驟S1801到步驟S1803的各步驟中的處理相同，因而其說(shuō)明從略。
在步驟S2104中，通過(guò)由個(gè)人判別部2014進(jìn)行與步驟S1804相同的處理，進(jìn)行個(gè)人判別處理。此外，步驟S2104中的處理，是對(duì)在步驟S1802中檢測(cè)出的每個(gè)面部進(jìn)行的處理。接著，在步驟S2105中，個(gè)人判別部2014，判斷在步驟S2104中判斷的面部是否是某特定的面部。例如，如第5實(shí)施方式所述，這通過(guò)參照管理信息(在這種情況下，為將各面部固有ID與表示個(gè)人的代碼相關(guān)聯(lián)的表)來(lái)完成。
然后，當(dāng)表示特定的面部的代碼與表示所判斷的面部的代碼一致時(shí)，即當(dāng)在步驟S2104中判斷的面部是某特定的面部時(shí)，個(gè)人判別部2014將該意思通知表情判別部2004，之后使處理進(jìn)入步驟S2106，表情判別部2004，與第1實(shí)施方式同樣地進(jìn)行表情判別處理，但在本實(shí)施方式中，表情判別部2004在進(jìn)行表情判別處理時(shí)，使用保存在表情判別數(shù)據(jù)保存部2008中的“與每個(gè)人對(duì)應(yīng)的表情判別數(shù)據(jù)”。
圖22是表示表情判別數(shù)據(jù)的結(jié)構(gòu)例的圖。如圖22所示，預(yù)先為每個(gè)人準(zhǔn)備出用于表情判別的參數(shù)。此處，所謂參數(shù)，除第1實(shí)施方式中所述的“眼的端點(diǎn)和嘴的端點(diǎn)的距離”、“嘴的橫向的長(zhǎng)度”、“眼的橫向的長(zhǎng)度”以外，還有“臉頰部分的影”和“眼下方的影”等?；旧希绲?實(shí)施方式所述，能根據(jù)與從無(wú)表情的圖像數(shù)據(jù)生成的參照數(shù)據(jù)的差進(jìn)行不依賴于個(gè)人的表情識(shí)別，但能通過(guò)檢測(cè)依賴于個(gè)人的特別的變化而進(jìn)行高精度的表情判別。
例如，對(duì)某特定的人物，如果假設(shè)當(dāng)為笑臉時(shí)嘴向橫向大大伸開(kāi)、或在臉頰部分產(chǎn)生影、或在眼的下方產(chǎn)生影，則在對(duì)該人物的表情判別中，通過(guò)使用上述的特別的變化，可以進(jìn)行精度更高的表情判別。
因此，表情判別部2004，接受表示個(gè)人判別部2014所判別的面部的代碼，從表情判別數(shù)據(jù)保存部2008讀出與該代碼對(duì)應(yīng)的表情判別用的參數(shù)。例如，當(dāng)該表情判別數(shù)據(jù)具有如圖22所示的結(jié)構(gòu)時(shí)，如果個(gè)人判別部2014將像中的某個(gè)面部判別為A先生的面部并將表示A先生的代碼輸出到表情判別部2004，則表情判別部2004從表情判別數(shù)據(jù)保存部2008讀出與A先生對(duì)應(yīng)的參數(shù)(表示眼嘴間距離的變化率＞1.1、臉頰區(qū)域邊緣密度3.0、...的參數(shù))，并用該參數(shù)進(jìn)行表情判別處理。
由此，表情判別部2004，檢查通過(guò)進(jìn)行第1實(shí)施方式中所述的處理求得的眼嘴間距離的變化率、臉頰區(qū)域邊緣密度等是否在該參數(shù)指示的范圍內(nèi)，從而能以更高的精度進(jìn)行表情判別。
回到圖21，接著，表情判別部2004，判斷在步驟S2106中判別的表情是否是預(yù)先設(shè)定的表情。這可以通過(guò)判別表示步驟S2106中判斷的表情的代碼與表示預(yù)先設(shè)定的表情的代碼是否一致來(lái)完成。
并且，當(dāng)一致時(shí)使處理進(jìn)入步驟S2108，將該意思通知控制部1701，進(jìn)行與圖14的步驟S1406相同的處理。
這樣，在確定每個(gè)人之后進(jìn)行針對(duì)個(gè)人的表情判別，因此具有使表情識(shí)別的精度提高的效果。而且，通過(guò)從圖像中檢測(cè)面部、確定個(gè)人并確定其表情，可以從許多人中拍攝所希望的個(gè)人的所希望的表情的照片，例如，可以從許多孩子中對(duì)自己的孩子的笑臉的瞬間進(jìn)行攝影。進(jìn)一步，通過(guò)識(shí)別特定的個(gè)人、表情，也可以作為人機(jī)接口使用。
另外，在上述實(shí)施方式中，“某特定的個(gè)人”或“某特定的表情”，也可以由用戶通過(guò)預(yù)定的操作部適當(dāng)?shù)卦O(shè)定。由此，在適當(dāng)設(shè)定后當(dāng)然還可以與其對(duì)應(yīng)地變更表示它們的代碼。
按照如上所述的本發(fā)明的結(jié)構(gòu)，可以簡(jiǎn)便地進(jìn)行圖像中的面部是誰(shuí)的面部或該面部的表情的判別。
另外，在圖像中的面部的檢測(cè)、表情判別、個(gè)人判別中，能以簡(jiǎn)便的方法與被攝物體的位置或方向的變動(dòng)相對(duì)應(yīng)。
本實(shí)施方式的圖像處理設(shè)備的基本結(jié)構(gòu)，具有圖11中示出的結(jié)構(gòu)。
圖23是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。
圖像處理設(shè)備的功能結(jié)構(gòu)，由以下各部構(gòu)成圖像輸入部6100，按時(shí)間序列連續(xù)輸入多個(gè)圖像；特征量計(jì)算部6101，從由圖像輸入部6100輸入的圖像(輸入圖像)中抽取判別表情所需要的特征量；參照特征保存部6102，從預(yù)先準(zhǔn)備的嚴(yán)肅面部(無(wú)表情)的參照面部中抽取并保存識(shí)別表情所需要的參照特征；特征量變化量計(jì)算部6103，通過(guò)計(jì)算由特征量計(jì)算部6101抽出的特征量和由參照特征保存部6102所保存的特征量的差量，計(jì)算面部的各特征量從參照面部的變化量；得分計(jì)算部6104，根據(jù)由特征量變化量計(jì)算部6103抽出的各特征的變化量，對(duì)每個(gè)特征計(jì)算得分；以及表情判斷部6105，根據(jù)由得分計(jì)算部6104計(jì)算出的得分的總和，進(jìn)行輸入圖像中的面部的表情的判斷。
此外，圖23中示出的各部也可以由硬件構(gòu)成，但在本實(shí)施方式中，圖像輸入部6100、特征量計(jì)算部6101、特征量變化量計(jì)算部6103、得分計(jì)算部6104、表情判斷部6105各部由程序構(gòu)成，該程序存儲(chǔ)在RAM1002內(nèi)，通過(guò)CPU1001執(zhí)行該程序，實(shí)現(xiàn)各部的功能。另外，參照特征保存部6102是RAM1002內(nèi)的預(yù)定的區(qū)域，但也可以作為外部存儲(chǔ)裝置1007內(nèi)的區(qū)域。
以下，更詳細(xì)地說(shuō)明圖23中示出的各部。
圖像輸入部6100，作為輸入圖像，輸入將從攝像機(jī)等得到的動(dòng)圖像按每1幀分割后的時(shí)間序列的面部圖像。即，按照?qǐng)D11的結(jié)構(gòu)，各幀的圖像的數(shù)據(jù)，從與I/F1009連接的攝像機(jī)等攝像設(shè)備100，通過(guò)該I/F1009逐次地輸出到RAM1002。
特征量計(jì)算部6101，如圖24所示，由以下各部構(gòu)成眼、嘴和鼻位置抽取部6110、邊緣圖像生成部6111、面部的各特征邊緣抽取部6112、面部的特征點(diǎn)抽取部6113、以及表情特征量抽取部6114。圖24是表示特征量計(jì)算部6101的功能結(jié)構(gòu)的框圖。
以下，對(duì)圖24中示出的各部進(jìn)行更詳細(xì)的說(shuō)明。
眼、嘴和鼻位置抽取部6110，從由圖像輸入部6100輸入的圖像(輸入圖像)中確定面部的預(yù)定部位，即眼、嘴和鼻的位置(輸入圖像中的位置)。確定眼或嘴的位置的方法，例如，可以采用如下的方法，即準(zhǔn)備眼、嘴和鼻的各自的模板，通過(guò)進(jìn)行模板匹配抽取候選的眼、嘴和鼻，進(jìn)一步，在該抽取后，通過(guò)使用由模板匹配得到的候選的眼、嘴和鼻的空間配置關(guān)系和作為顏色信息的膚色信息，進(jìn)行眼、嘴和鼻位置的檢測(cè)。檢測(cè)出的眼和嘴的位置數(shù)據(jù)，輸出到后級(jí)的面部的各特征邊緣抽取部6112。
接著，由邊緣圖像生成部6111從由圖像輸入部6100得到的輸入圖像中抽出邊緣，在對(duì)所抽出的邊緣追加了邊緣膨脹處理后進(jìn)行細(xì)線化處理，從而生成邊緣圖像。例如，在邊緣抽取中可以使用基于Sobel濾鏡的邊緣抽取，在邊緣膨脹處理中可以使用8近似膨脹處理，在細(xì)線化處理中可以使用Hilditch細(xì)線化處理。此處，邊緣膨脹處理和細(xì)線化處理，將由于使邊緣膨脹而分裂的邊緣聯(lián)結(jié)并進(jìn)行細(xì)線化處理，其目的是平滑地進(jìn)行后述的邊緣掃描和特征點(diǎn)抽取。所生成的邊緣圖像，輸出到后級(jí)的面部的各特征邊緣抽取部6112。
在面部的各特征邊緣抽取部6112中，利用由眼、嘴和鼻位置抽取部6110檢測(cè)出的眼和嘴的位置數(shù)據(jù)和邊緣圖像生成部6111生成的邊緣圖像，確定圖25所示那樣的邊緣圖像中的眼區(qū)域、臉頰區(qū)域、嘴區(qū)域。
眼區(qū)域設(shè)定為在區(qū)域內(nèi)只包含眉毛和眼的邊緣，臉頰區(qū)域設(shè)定為只包含臉頰的邊緣和鼻的邊緣，并進(jìn)行區(qū)域確定以使嘴區(qū)域只包含上唇邊緣、牙齒邊緣、下唇邊緣。
此處，說(shuō)明這些區(qū)域的設(shè)定處理的一例。
眼區(qū)域的縱向?qū)挾冗@樣設(shè)定，從根據(jù)模板匹配和空間配置關(guān)系求得的左眼位置檢測(cè)結(jié)果和右眼位置檢測(cè)結(jié)果的中點(diǎn)起，向上為左右眼位置檢測(cè)間距離的0.5倍、向下為左右眼位置檢測(cè)間距離的0.3倍的區(qū)域，作為眼的縱向區(qū)域。
眼區(qū)域的橫向?qū)挾冗@樣設(shè)定，從根據(jù)模板匹配和空間配置關(guān)系求得的左眼位置檢測(cè)結(jié)果和右眼位置檢測(cè)結(jié)果的中點(diǎn)起，在左右分別為左右眼位置檢測(cè)間距的區(qū)域，作為眼的橫向區(qū)域。
就是說(shuō)，眼區(qū)域的縱向邊長(zhǎng)為左右眼位置檢測(cè)間距離的0.8倍，橫向邊長(zhǎng)為左右眼位置檢測(cè)間距離的2倍。
嘴區(qū)域的縱向?qū)挾冗@樣設(shè)定，從根據(jù)模板匹配和空間配置關(guān)系求得的嘴位置檢測(cè)結(jié)果的位置起，向上為鼻位置檢測(cè)與嘴位置檢測(cè)間距離的0.75倍、向下為左眼位置檢測(cè)結(jié)果和右眼位置檢測(cè)結(jié)果的中點(diǎn)與嘴位置檢測(cè)結(jié)果的距離的0.25倍的區(qū)域，作為縱向區(qū)域。將嘴區(qū)域的橫向?qū)挾冗@樣設(shè)定，從根據(jù)模板匹配和空間配置關(guān)系求得的嘴位置檢測(cè)結(jié)果的位置起，在左右分別為左右眼位置檢測(cè)間距離的0.8倍的區(qū)域，作為嘴的橫向區(qū)域。
臉頰區(qū)域的縱向?qū)挾冗@樣設(shè)定，從根據(jù)模板匹配和空間配置關(guān)系求得的左眼位置檢測(cè)結(jié)果和右眼位置檢測(cè)結(jié)果的中點(diǎn)與嘴位置檢測(cè)結(jié)果的中點(diǎn)(為面部的中心附近的點(diǎn))起，在上下分別為左眼位置檢測(cè)結(jié)果和右眼位置檢測(cè)結(jié)果的中點(diǎn)與嘴位置檢測(cè)結(jié)果的距離的0.25倍的區(qū)域，作為縱向區(qū)域。
臉頰區(qū)域的橫向?qū)挾冗@樣設(shè)定，從根據(jù)模板匹配和空間配置關(guān)系求得的左眼位置檢測(cè)結(jié)果和右眼位置檢測(cè)結(jié)果的中點(diǎn)與嘴位置檢測(cè)結(jié)果的中點(diǎn)(為面部的中心附近的點(diǎn))起，在左右分別為左右眼位置檢測(cè)間距離的0.6倍的區(qū)域，作為臉頰的橫向區(qū)域。
就是說(shuō)，臉頰區(qū)域的縱向邊長(zhǎng)為左眼位置檢測(cè)結(jié)果和右眼位置檢測(cè)結(jié)果的中點(diǎn)與嘴位置檢測(cè)結(jié)果的距離的0.5倍，橫向邊長(zhǎng)為左右眼位置檢測(cè)間距離的1.2倍。
通過(guò)以上的區(qū)域的設(shè)定處理，如圖25所示，在眼區(qū)域內(nèi)，從上起第1個(gè)邊緣6120和邊緣6121判斷為眉毛的邊緣、第2個(gè)邊緣6122和邊緣6123判斷為眼的邊緣，在嘴區(qū)域內(nèi)，當(dāng)閉上嘴時(shí)，如圖25所示，從上起第1個(gè)邊緣6126判斷為上唇邊緣、第2個(gè)邊緣6127判斷為下唇邊緣，當(dāng)張開(kāi)嘴時(shí)，從上起第1個(gè)邊緣判斷為上唇邊緣、第2個(gè)邊緣判斷為牙齒的邊緣、第3個(gè)邊緣判斷為下唇邊緣。
以上的判斷結(jié)果，作為表示以上3個(gè)區(qū)域(眼區(qū)域、臉頰區(qū)域、嘴區(qū)域)分別為眼區(qū)域、臉頰區(qū)域、嘴區(qū)域的哪個(gè)區(qū)域的數(shù)據(jù)、及各區(qū)域的位置和尺寸的數(shù)據(jù)，由面部的各特征邊緣抽取部6112生成，并與邊緣圖像一起輸出到面部的特征點(diǎn)抽取部6113。
面部的特征點(diǎn)抽取部6113，通過(guò)利用從面部的各特征邊緣抽取部6112輸入的上述各種數(shù)據(jù)對(duì)邊緣圖像中的眼區(qū)域、臉頰區(qū)域、嘴區(qū)域內(nèi)的邊緣進(jìn)行掃描，檢測(cè)后述的各特征點(diǎn)。
圖26是表示面部的特征點(diǎn)抽取部6113檢測(cè)的各特征點(diǎn)的圖。如該圖所示，所謂各特征點(diǎn)，是指各邊緣的端點(diǎn)、邊緣上的端點(diǎn)間的中點(diǎn)，這些點(diǎn)中，例如，通過(guò)參照構(gòu)成邊緣的像素值(此處假定構(gòu)成邊緣的像素值為1，不構(gòu)成邊緣的像素值為0)，求取橫向坐標(biāo)位置的最大值、最小值，能夠求得邊緣的端點(diǎn)，邊緣上的端點(diǎn)間的中點(diǎn)，可以作為在邊緣上簡(jiǎn)單地取得端點(diǎn)間的中點(diǎn)的橫向坐標(biāo)值的位置求得。
面部的特征點(diǎn)抽取部6113，作為特征點(diǎn)信息求取這些端點(diǎn)的位置信息，并分別將眼的特征點(diǎn)信息(眼區(qū)域內(nèi)的各邊緣的特征點(diǎn)的位置信息)、嘴的特征點(diǎn)信息(嘴區(qū)域內(nèi)的各邊緣的特征點(diǎn)的位置信息)與邊緣圖像一起輸出到后級(jí)的表情特征量抽取部6114。
此外，關(guān)于特征點(diǎn)，也可以與眼、嘴、鼻的位置檢測(cè)同樣地使用計(jì)算眼、嘴、或鼻的端點(diǎn)位置的模板等，并不限定于利用邊緣掃描的特征點(diǎn)抽出。
表情特征量抽取部6114，根據(jù)由面部的特征點(diǎn)抽取部6113得到的各特征點(diǎn)信息，計(jì)算表情判別所需要的“額頭周圍的邊緣密度”、“眉毛邊緣的形狀”、“左右眉毛邊緣間的距離”、“眉毛邊緣和眼的邊緣間的距離”、“眼的端點(diǎn)和嘴端點(diǎn)的距離”、“眼的線邊緣的長(zhǎng)度”、“眼的線邊緣的形狀”、“臉頰周圍的邊緣密度”、“嘴的線邊緣的長(zhǎng)度”、“嘴的線邊緣的形狀”等特征量。
此處，所謂“眼的端點(diǎn)和嘴端點(diǎn)的距離”，是從圖26的特征點(diǎn)6136(右眼的右端點(diǎn))的坐標(biāo)位置到特征點(diǎn)6147(唇的右端點(diǎn))的坐標(biāo)位置的縱向距離、同樣是從特征點(diǎn)6141(左眼的左端點(diǎn))的坐標(biāo)位置到特征點(diǎn)6149(唇的左端點(diǎn))的坐標(biāo)位置的縱向距離。
另外，所謂“眼的線邊緣的長(zhǎng)度”，是從圖26的特征點(diǎn)6136(右眼的右端點(diǎn))的坐標(biāo)位置到特征點(diǎn)6138(右眼的左端點(diǎn))的坐標(biāo)位置的橫向距離、或從特征點(diǎn)6139(左眼的右端點(diǎn))的坐標(biāo)位置到特征點(diǎn)6141(左眼的左端點(diǎn))的坐標(biāo)位置的橫向距離。
另外，所謂“眼的線邊緣的形狀”，如圖27所示，計(jì)算由特征點(diǎn)6136(右眼的右端點(diǎn))和特征點(diǎn)6137(右眼的中點(diǎn))限定的線段(直線)6150、由特征點(diǎn)6137(右眼的中點(diǎn))和特征點(diǎn)6138(右眼的左端點(diǎn))限定的線段(直線)6151，并根據(jù)該計(jì)算出的2條直線6150和直線6151的斜度判斷形狀。
該處理，對(duì)求取左眼的線邊緣的形狀也是一樣，只是采用的特征點(diǎn)不同。即，求出由特征點(diǎn)(左眼的右端點(diǎn))和特征點(diǎn)(左眼的中點(diǎn))限定的線段的斜度、由特征點(diǎn)(左眼的中點(diǎn))和特征點(diǎn)(左眼的左端點(diǎn))限定的線段的斜度，由此進(jìn)行同樣的判斷。
另外，“臉頰周圍的邊緣密度”，是表示在上述臉頰區(qū)域內(nèi)構(gòu)成邊緣的像素的數(shù)。由于臉頰肌肉隆起而產(chǎn)生“皺紋”，由此將產(chǎn)生長(zhǎng)度、粗細(xì)程度不同的各種邊緣，因此，作為這些邊緣的量，對(duì)構(gòu)成這些邊緣的像素的數(shù)(像素值為1的像素的數(shù))進(jìn)行計(jì)數(shù)，并除以構(gòu)成臉頰區(qū)域的像素?cái)?shù)，從而能求出密度。
另外，所謂“嘴的線邊緣的長(zhǎng)度”，是表示當(dāng)在嘴區(qū)域內(nèi)對(duì)所有的邊緣進(jìn)行掃描并將構(gòu)成邊緣的像素中橫向坐標(biāo)位置最小的像素作為特征點(diǎn)(嘴的右端點(diǎn))、將最大的像素作為特征點(diǎn)(嘴的左端點(diǎn))時(shí)，從特征點(diǎn)(嘴的右端點(diǎn))的坐標(biāo)位置到特征點(diǎn)(嘴的左端點(diǎn))的坐標(biāo)位置的距離。
如上所述，為了求特征量而求出端點(diǎn)間的距離、由2個(gè)端點(diǎn)限定的線段的斜度、邊緣密度，但這種處理?yè)Q句話說(shuō)就是求出各部位的邊緣的長(zhǎng)度或形狀等的特征量。因此，在下文中，有時(shí)將這些邊緣的長(zhǎng)度或形狀統(tǒng)稱為“邊緣的特征量”。
按照如上所述的方式，特征量計(jì)算部6101，能夠從輸入圖像中求出各特征量。
回到圖23，在參照特征保存部6102內(nèi)，在進(jìn)行表情判別處理之前，預(yù)先保存著通過(guò)由特征量計(jì)算部6101進(jìn)行的上述特征量檢測(cè)處理從作為嚴(yán)肅面孔的無(wú)表情圖像中檢測(cè)出的該無(wú)表情的面部的特征量。
因此，在以下說(shuō)明的處理中，求出由特征量計(jì)算部6101通過(guò)上述特征量檢測(cè)處理從輸入圖像的邊緣圖像中檢測(cè)出的特征量距離該參照特征保存部6102保存的特征量發(fā)生了多大的變化，并根據(jù)該變化量進(jìn)行輸入圖像中的面部表情的判別。因此，以下，有時(shí)將由參照特征保存部6102保存的特征量稱為“參照特征量”。
首先，特征量變化量計(jì)算部6103，計(jì)算由特征量計(jì)算部6101通過(guò)上述特征量檢測(cè)處理從輸入圖像的邊緣圖像中檢測(cè)出的特征量與參照特征保存部6102保存的特征量的差。例如，計(jì)算由特征量計(jì)算部6101通過(guò)上述特征量檢測(cè)處理從輸入圖像的邊緣圖像中檢測(cè)出的“眼的端點(diǎn)和嘴端點(diǎn)的距離”與參照特征保存部6102保存的“眼的端點(diǎn)和嘴端點(diǎn)的距離”的差，并將其作為特征量的變化量。對(duì)每個(gè)特征量進(jìn)行這種差計(jì)算，換句話說(shuō)，就是求取各部位的特征量的變化。
此外，當(dāng)計(jì)算由特征量計(jì)算部6101通過(guò)上述特征量檢測(cè)處理從輸入圖像的邊緣圖像中檢測(cè)出的特征量與參照特征保存部6102保存的特征量的差時(shí)，當(dāng)然，是求取相同特征的特征量之間的差(例如，由特征量計(jì)算部6101通過(guò)上述特征量檢測(cè)處理從輸入圖像的邊緣圖像中檢測(cè)出的“眼的端點(diǎn)和嘴端點(diǎn)的距離”與參照特征保存部6102保存的“眼的端點(diǎn)和嘴端點(diǎn)的距離”的差計(jì)算)，因此，各個(gè)特征量必須具有相關(guān)關(guān)系，但對(duì)這種方法并無(wú)特別的限定。
此外，該參照特征量對(duì)每個(gè)用戶有時(shí)也有很大的差別，在這種情況下，該參照特征量盡管對(duì)某個(gè)用戶適合，有時(shí)對(duì)其他用戶就不適合。因此，也可以在參照特征保存部6102內(nèi)存儲(chǔ)多個(gè)用戶的參照特征量。在這種情況下，在從上述圖像輸入部6100輸入圖像的前級(jí)，預(yù)先輸入表示輸入的是誰(shuí)的面部圖像的信息，當(dāng)由特征量變化量計(jì)算部6103進(jìn)行處理時(shí)，如果以該信息為基礎(chǔ)確定參照特征量，則能夠用每個(gè)用戶的參照特征量計(jì)算上述的差，能更進(jìn)一步地提高后述的表情判別處理的精度。
另外，在該參照特征保存部6102內(nèi)也可以不保存每個(gè)用戶的參照特征量，而是保存著通過(guò)由特征量計(jì)算部6101進(jìn)行的上述特征量檢測(cè)處理從平均的面部的無(wú)表情的圖像中檢測(cè)出的該無(wú)表情的面部的特征量。
這樣，將由特征量變化量計(jì)算部6103求得的表示各部位的特征量的變化的各變化量的數(shù)據(jù)，輸出到后級(jí)的得分計(jì)算部6104。
得分計(jì)算部6104，根據(jù)各特征量的變化量和預(yù)先求出的由存儲(chǔ)器(例如RAM1002)保存的“權(quán)重”，計(jì)算得分。關(guān)于權(quán)重，預(yù)先按每個(gè)部位進(jìn)行對(duì)變化量的個(gè)人差別等的分析，并根據(jù)該分析結(jié)果對(duì)每個(gè)特征量設(shè)定適當(dāng)?shù)臋?quán)重。
例如，對(duì)眼的邊緣的長(zhǎng)度等變化量較小的特征和皺紋等在變化量上有個(gè)人差異的特征賦予小的權(quán)重，對(duì)眼和嘴的端點(diǎn)距離等在變化量上很難產(chǎn)生個(gè)人差異的特征賦予大的權(quán)重。
圖28是為了根據(jù)作為一例的在變化量上存在著個(gè)人差異的特征即眼的邊緣的長(zhǎng)度的變化量計(jì)算得分而參照的曲線圖。
橫軸表示特征量變化量(以下，為用參照面部上的特征量標(biāo)準(zhǔn)化了的值)，縱軸表示得分，例如，設(shè)眼的邊緣的長(zhǎng)度的變化量為0.4時(shí)，得分根據(jù)曲線計(jì)算為50分。當(dāng)眼的邊緣的長(zhǎng)度的變化量為1.2時(shí)，得分也計(jì)算為50分，使其與變化量為0.3時(shí)一樣，即使變化量隨個(gè)人差異有很大的不同時(shí)也進(jìn)行使得分差減小的加權(quán)。
圖29是為了根據(jù)變化量不存在個(gè)人差異的特征即眼和嘴的端點(diǎn)距離的長(zhǎng)度的變化量計(jì)算得分而參照的曲線圖。
與圖28一樣，橫軸表示特征量變化量，縱軸表示得分，例如，當(dāng)眼和嘴的端點(diǎn)距離的長(zhǎng)度的變化量為1.1時(shí)，根據(jù)曲線計(jì)算為50分。當(dāng)眼和嘴的端點(diǎn)距離的長(zhǎng)度的變化量為1.3時(shí)，根據(jù)曲線計(jì)算為55分。就是說(shuō)，當(dāng)變化量隨個(gè)人差異有很大的不同時(shí)進(jìn)行使得分差加大的加權(quán)。
即，“權(quán)重”，與得分計(jì)算部6104計(jì)算得分時(shí)的變化量區(qū)分幅度和得分幅度之比相對(duì)應(yīng)。這樣，通過(guò)進(jìn)行對(duì)每個(gè)特征量設(shè)定權(quán)重這樣的步驟，吸收特征量變化量的個(gè)人差異，進(jìn)一步，由于表情判別不只取決于1個(gè)特征，能夠減小誤檢測(cè)或未檢測(cè)，并能提高表情判別(識(shí)別)率。
此外，在RAM1002內(nèi)保存著圖27、28中示出的曲線圖的數(shù)據(jù)、即表示特征量的變化量和得分的對(duì)應(yīng)關(guān)系的數(shù)據(jù)，用該數(shù)據(jù)計(jì)算得分。
由得分計(jì)算部6104求得的每個(gè)特征量的得分的數(shù)據(jù)，與表示各得分與哪個(gè)特征量對(duì)應(yīng)的數(shù)據(jù)一起，輸出到后級(jí)的表情判斷部6105。
在RAM1002內(nèi)，在進(jìn)行表情判別處理之前，預(yù)先保存著由得分計(jì)算部6104通過(guò)上述處理在各種表情中求出的每個(gè)特征量的得分的數(shù)據(jù)。
因此，表情判斷部6105，通過(guò)進(jìn)行1每個(gè)特征量的得分的總和值與預(yù)定的閾值的比較處理2比較每個(gè)特征量的得分分布與每個(gè)表情的每個(gè)特征量的得分分布的處理進(jìn)行表情的判別。
例如，表示喜悅表情的表情，可以觀察到1眼角下垂2臉頰肌肉隆起3嘴的端部上揚(yáng)等特征，因此，所計(jì)算的得分的分布，如圖31所示，“眼的端點(diǎn)和嘴端點(diǎn)的距離”、“臉頰周圍的邊緣密度”、“嘴的線邊緣的長(zhǎng)度”的得分非常高，接著，“眼的線邊緣的長(zhǎng)度”、“眼的線邊緣的形狀”的得分也具有比其他特征量高的得分，成為喜悅表情所特有的得分分布。該特有的得分分布，對(duì)其他表情可以說(shuō)也是同樣的。圖31是表示與喜悅的表情對(duì)應(yīng)的得分分布的圖。
因此，表情判斷部6105，確定由得分計(jì)算部6104求出的每個(gè)特征量的得分的分布的形狀最接近于哪種表情所特有的得分分布的形狀，示出最接近的形狀的得分分布的表情，就是應(yīng)作為判斷結(jié)果輸出的表情。
此處，作為搜索形狀最接近的得分分布的方法，例如，對(duì)分布的形狀進(jìn)行混合高斯近似并進(jìn)行參數(shù)化建模，并通過(guò)判斷參數(shù)空間內(nèi)的距離的大小，求出所求得的得分分布和對(duì)每種表情設(shè)定的得分分布的相似度判別。然后，將與求得的得分分布的相似度較高的得分分布(距離較小的得分分布)表示的表情作為判斷的候選。
接著，進(jìn)行判斷由得分計(jì)算部6104求得的每個(gè)特征量的得分的總和是否在閾值以上的處理。該比較處理，是能更有效地用于將與表情場(chǎng)面類似的非表情場(chǎng)面準(zhǔn)確地判斷為表情場(chǎng)面的處理。因此，當(dāng)該總和值在預(yù)定的閾值以上時(shí)，將上述候選判別為最終判斷的表情。另一方面，當(dāng)該總和值小于預(yù)定的閾值時(shí)，將上述候選去除，并判斷為輸入圖像中的面部為無(wú)表情或非表情。
另外，在上述得分分布的形狀的比較處理中，也可以在上述相似度為一定值以下時(shí)判斷為在該時(shí)刻輸入圖像中的面部為無(wú)表情或非表情，并且不進(jìn)行得分計(jì)算部6104求得的每個(gè)特征量的得分的總和值與閾值的比較處理而結(jié)束處理。
圖30是利用由得分計(jì)算部6104求得的每個(gè)特征點(diǎn)的得分判斷輸入圖像中的面部表情是否是“特定的表情”時(shí)的判斷處理的流程圖。
首先，表情判斷部6105，判斷由得分計(jì)算部6104求得的每個(gè)特征量的得分的分布的形狀是否近似于特定的表情所特有的得分分布的形狀(步驟S6801)。例如當(dāng)求得的得分分布與特定的表情的得分分布的相似度在預(yù)定值以上時(shí)，判斷為“由得分計(jì)算部6104求得的每個(gè)特征量的得分的分布的形狀近似于特定的表情所特有的得分分布的形狀”。
當(dāng)判斷為近似時(shí)，使處理進(jìn)入步驟S6802，接著，進(jìn)行由得分計(jì)算部6104求得的每個(gè)特征量的得分的總和值是否在預(yù)定的閾值以上的判斷處理(步驟S6802)。然后，當(dāng)判斷為在閾值以上時(shí)，將輸入圖像中的面部的表情判斷為是上述“特定的表情”，并輸出該判斷結(jié)果。
另一方面，當(dāng)在步驟S6801中判斷為不近似時(shí)，如果在步驟S6802中判斷為上述總和值小于閾值，則使處理進(jìn)入步驟S6804，輸出表示輸入圖像為非表情圖像、或?yàn)闊o(wú)表情圖像這種意思的數(shù)據(jù)(步驟S6804)。
此外，在本實(shí)施方式中，作為表情判別處理，進(jìn)行了兩種比較處理，即每個(gè)特征量的得分的總和值與預(yù)定的閾值的比較理，及每個(gè)特征量的得分分布與每種表情的每個(gè)特征量的得分分布的比較處理，但并不限定于此，也可以只進(jìn)行其中任何一種比較處理。
根據(jù)本實(shí)施方式，通過(guò)以上的處理，進(jìn)行得分分布的比較處理和與得分的總和值的比較處理，因此，能夠準(zhǔn)確地判別輸入圖像中的面部的表情是哪種表情。而且，還能夠判別輸入圖像中的面部的表情是否是特定的表情。
圖32是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。對(duì)與圖23相同的部分賦予相同的標(biāo)號(hào)，其說(shuō)明從略。此外，至于本實(shí)施方式的圖像處理設(shè)備的基本結(jié)構(gòu)，與第7實(shí)施方式相同、即與圖11所示的相同。
以下，說(shuō)明本實(shí)施方式的圖像處理設(shè)備。如上所述，在本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)中，與第7實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的不同點(diǎn)是表情判別部6165。因此，在下文中，對(duì)表情判別部6165進(jìn)行詳細(xì)說(shuō)明。
圖33是表示表情判斷部6165的功能結(jié)構(gòu)的框圖。如該圖所示，表情判斷部6165，由表情可能性判斷部6170和表情確定部6171構(gòu)成。
表情可能性判斷部6170，利用從得分計(jì)算部6104求得的每個(gè)特征量的得分分布和各得分的總和值進(jìn)行與第7實(shí)施方式相同的表情判斷處理，并將該判斷結(jié)果作為“表情的可能性判斷結(jié)果”。例如，當(dāng)進(jìn)行是否是喜悅的表情的判斷時(shí)，不是根據(jù)由得分計(jì)算部6104得到的得分分布和總和值判斷為“是喜悅表情”，而是判斷為“具有是喜悅表情的可能性”。
例如，在作為非表情場(chǎng)面的會(huì)話場(chǎng)面中發(fā)出“い”和“え”聲時(shí)的面部的各特征變化，與喜悅場(chǎng)面的各特征變化是基本上完全相同的特征變化，因此，這種可能性判斷，是為區(qū)別作為這些會(huì)話場(chǎng)面的非表情場(chǎng)面與喜悅場(chǎng)面而進(jìn)行的。
接著，表情確定部6171，利用由表情可能性判斷部6170得到的表情可能性判斷結(jié)果，進(jìn)行是某特定的表情這樣的判斷。圖34是使橫軸為固有地對(duì)時(shí)間序列圖像中的每一個(gè)賦予的圖像序號(hào)、縱軸為得分總和與閾值線之差，示出從作為嚴(yán)肅面孔的無(wú)表情場(chǎng)面變化為喜悅表情場(chǎng)面時(shí)的得分總和與閾值線之差的圖。
圖35是使橫軸為時(shí)間序列圖像的圖像序號(hào)、縱軸為得分總和與閾值線之差，示出作為非表情場(chǎng)面的會(huì)話場(chǎng)面的得分總和與閾值線之差的圖。
當(dāng)參照?qǐng)D34的從無(wú)表情場(chǎng)面變化為喜悅表情場(chǎng)面的情況時(shí)，從初始過(guò)程起在中間過(guò)程中的得分變化變動(dòng)很大，但過(guò)了中間過(guò)程后得分變動(dòng)變得緩和，最終得分基本保持一定。就是說(shuō)，呈現(xiàn)出這樣的情況從自無(wú)表情場(chǎng)面變化到喜悅表情場(chǎng)面的初始過(guò)程起在中間過(guò)程中面部的眼和嘴等各部位產(chǎn)生急劇的變動(dòng)，但從中間過(guò)程變?yōu)橄矏偟倪^(guò)程期間眼和嘴的各特征的變動(dòng)變得緩和，最終保持不變。
該面部的各特征的變動(dòng)特性對(duì)其他表情可以說(shuō)是一樣的。相反，當(dāng)參照?qǐng)D35的作為非表情場(chǎng)面的會(huì)話場(chǎng)面時(shí)，在眼和嘴的面部的各特征的變化與喜悅基本相同的發(fā)出“い”聲的會(huì)話場(chǎng)面中，存在得分超過(guò)閾值線的圖像。但是，在發(fā)出“い”聲的會(huì)話場(chǎng)面中，與喜悅表情場(chǎng)面不同，面部的各特征總是發(fā)生急劇的變化，因此，即使得分在閾值線以上，也能觀察到得分馬上要變?yōu)殚撝稻€以下的傾向。
因此，通過(guò)進(jìn)行由表情可能性判斷部6170執(zhí)行表情的可能性判斷并由表情確定部6171根據(jù)該表情可能性判斷結(jié)果的連續(xù)性確定表情的步驟，可以更準(zhǔn)確地判別會(huì)話場(chǎng)面和表情場(chǎng)面。
此外，在關(guān)于人進(jìn)行的面部表情認(rèn)知的視覺(jué)心理研究中，表情表露中的面部的動(dòng)作、特別是速度是左右依據(jù)表情的感情類別判斷的主要原因，這一點(diǎn)在M.Kamachi，V.Bruce，S.Mukaida，J.Gyoba，S.Yoshikawa，and S.Akamatsu，“Dynamic prope rties inftuence theperception of facial expression”P(pán)erception，vol.30，pp.875-887，July2001中也說(shuō)得很清楚。
以下，詳細(xì)說(shuō)明表情可能性判斷部6170、表情確定部進(jìn)行的處理。
首先，假定可能性判斷部6170對(duì)某輸入圖像(第m幀圖像)判斷為“是第1表情”。將該判斷結(jié)果作為可能性判斷結(jié)果輸出到表情確定部6171。表情確定部6171并不立即輸出該判斷結(jié)果，而是代之以對(duì)由可能性判斷部6170判斷為是第1表情的次數(shù)進(jìn)行計(jì)數(shù)。當(dāng)可能性判斷部6170判斷為是與第1表情不同的第2表情時(shí)，該計(jì)數(shù)重置為0。
此處，表情確定部6171不立即輸出該表情的判斷結(jié)果(是第1表情的判斷結(jié)果)的原因在于，如上所述，此處判斷的表情仍存在著因上述種種原因引起的不明確的可能性。
可能性判斷部6170對(duì)隨后的第(m+1)幀輸入圖像、第(m+2)幀輸入圖像、...這樣的各輸入圖像進(jìn)行表情判斷處理，當(dāng)表情確定部6171的計(jì)數(shù)值達(dá)到了n時(shí)，即，當(dāng)可能性判斷部6170對(duì)從第m幀起連續(xù)的n個(gè)幀全部判斷為“是第1表情”時(shí)，表情確定部6171將表示該時(shí)刻是“第1表情的開(kāi)始時(shí)刻”、即第(m+n)幀是開(kāi)始幀的數(shù)據(jù)記錄在RAM1002內(nèi)，并將該時(shí)刻以后、直到可能性判斷部6170判斷為是與第1表情不同的第2表情的時(shí)刻為止作為喜悅的表情。
正如以上用圖34所述的那樣，在表情場(chǎng)面中一定期間的得分總和與閾值之差保持不變、即在一定期間內(nèi)持續(xù)著相同的表情。相反，當(dāng)在一定期間不持續(xù)著相同的表情時(shí)，如以上用圖35所述，有可能是作為非表情場(chǎng)面的會(huì)話場(chǎng)面。
因此，如果通過(guò)可能性判斷部6170進(jìn)行的上述處理判斷在一定期間(此處為n個(gè)幀)相同表情的可能性，則開(kāi)始將該表情作為最終的判斷結(jié)果輸出，因此，能夠消除上述的作為非表情場(chǎng)面的會(huì)話場(chǎng)面等導(dǎo)致的表情判斷處理中成為干擾的因素，能進(jìn)行更準(zhǔn)確的表情判斷處理。
圖36是由表情確定部6171進(jìn)行的在從圖像輸入部6100連續(xù)輸入的圖像中確定喜悅的表情的開(kāi)始時(shí)刻的處理的流程圖。
首先，當(dāng)可能性判斷部6170的可能性判斷結(jié)果為表示是喜悅時(shí)(步驟S6190)，使處理進(jìn)入步驟S6191，當(dāng)表情確定部6171的計(jì)數(shù)值達(dá)到了p(圖36中假定p＝4)時(shí)(步驟S6191)，即，當(dāng)可能性判斷部6170的可能性判斷結(jié)果是連續(xù)p個(gè)幀判斷為喜悅時(shí)，將該時(shí)刻判斷為“喜悅開(kāi)始”，并將表示該意思的數(shù)據(jù)(例如當(dāng)前的幀序號(hào)數(shù)據(jù)、及表示喜悅開(kāi)始的標(biāo)志數(shù)據(jù))記錄在RAM1002內(nèi)(步驟S6192)。
通過(guò)以上的處理，能夠確定喜悅表情的開(kāi)始時(shí)刻(開(kāi)始幀)。
圖37是由表情確定部6171進(jìn)行的在從圖像輸入部6100連續(xù)輸入的圖像中確定喜悅的表情的結(jié)束時(shí)刻的處理的流程圖。
首先，表情確定部6171，參照在步驟S6192中記錄在RAM1002內(nèi)上述標(biāo)志數(shù)據(jù)，判斷當(dāng)前喜悅的表情是否已開(kāi)始且尚未結(jié)束(步驟S6200)。如后文所述，喜悅的表情結(jié)束后標(biāo)志數(shù)據(jù)就被改寫(xiě)為結(jié)束的意思，因此，通過(guò)參照該數(shù)據(jù)，能夠判斷當(dāng)前喜悅的表情是否結(jié)束了。
當(dāng)喜悅的表情尚未結(jié)束時(shí)，使處理進(jìn)入步驟S6201，當(dāng)由表情可能性部6170連續(xù)q(圖37中假定q＝3)個(gè)幀判斷為不存在是喜悅的可能性時(shí)(表情確定部6171的計(jì)數(shù)值為q個(gè)幀連續(xù)為0時(shí))，將該時(shí)刻判斷為“喜悅結(jié)束”，并將上述標(biāo)志數(shù)據(jù)改寫(xiě)為“表示喜悅結(jié)束的數(shù)據(jù)”后記錄在RAM1002內(nèi)(步驟S6202)。
但是，當(dāng)在步驟S6201中表情可能性部6170沒(méi)有連續(xù)q個(gè)幀判斷為不存在是喜悅的可能性時(shí)(表情確定部6171的計(jì)數(shù)值不是q個(gè)幀連續(xù)為0時(shí))，作為最終的表情判斷結(jié)果，將輸入圖像中的面部的表情判斷為“喜悅繼續(xù)”，不對(duì)上述數(shù)據(jù)進(jìn)行操作。
并且，喜悅表情結(jié)束后，表情確定部6171，將從開(kāi)始時(shí)到結(jié)束時(shí)的各幀中的表情判斷為“喜悅”。
這樣，通過(guò)確定表情開(kāi)始圖像和表情結(jié)束圖像并將其間的圖像全部判斷為表情圖像，能夠抑制對(duì)其間的圖像的表情判斷處理的誤判斷等的發(fā)生，整體上能提高的表情判斷處理的精度。
此外，在本實(shí)施方式中，以用于判斷“喜悅”表情的處理為例進(jìn)行了說(shuō)明，但顯然即使該表情是“喜悅”以外的表情其處理內(nèi)容也基本相同。
圖38是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。對(duì)進(jìn)行與圖23基本相同動(dòng)作的部分賦予相同的標(biāo)號(hào)，其說(shuō)明從略。至于本實(shí)施方式的圖像處理設(shè)備的基本結(jié)構(gòu)，與第7實(shí)施方式相同、即與圖11所示的相同。
本實(shí)施方式的圖像處理設(shè)備，輸入至少1個(gè)的輸入圖像中的面部的表情是何種表情的候選，判斷輸入圖像中的面部的表情是該輸入的至少1個(gè)表情中的哪一個(gè)。
以下，對(duì)本實(shí)施方式的圖像處理設(shè)備進(jìn)行更詳細(xì)的說(shuō)明。如上所述，在本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)中，與第7實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的不同點(diǎn)在于，表情選擇部6211、特征量計(jì)算部6212、表情判斷部6105。因此，在下文中，對(duì)表情選擇部6211、特征量計(jì)算部6212、表情判斷部6105進(jìn)行詳細(xì)說(shuō)明。
表情選擇部6211，用于輸入至少1個(gè)的表情的候選。在輸入中例如可以用鍵盤(pán)1004或鼠標(biāo)1005，在顯示裝置1006的顯示畫(huà)面上所顯示的用于選擇多個(gè)表情的GUI上，選擇至少1個(gè)的表情。此外，所選定的結(jié)果作為代碼(例如序號(hào))輸出到特征量計(jì)算部6212、特征量變化量計(jì)算部6103。
特征量計(jì)算部6212，進(jìn)行從由圖像輸入部6100輸入的圖像中的面部，求取用于識(shí)別由表情選擇部6211選定的表情的特征量的處理。
表情判斷部6105，進(jìn)行判別從圖像輸入部6100輸入的圖像中的面部是由表情選擇部6211選定的表情中的哪一種的處理。
圖39是表示特征量計(jì)算部6212的功能結(jié)構(gòu)的框圖。此外，在該圖中對(duì)與圖24相同的部分賦予相同的標(biāo)號(hào)，其說(shuō)明從略。以下，對(duì)圖39中示出的各部進(jìn)行說(shuō)明。
每個(gè)表情的特征量抽取部6224，利用由面部的特征點(diǎn)抽取部6113得到的特征點(diǎn)信息，計(jì)算與表情選擇部6211選定的表情對(duì)應(yīng)的特征量。
圖40是表示與表情選擇部6211選定的各表情(表情1、表情2、表情3)對(duì)應(yīng)的特征量的圖。例如，按照該圖，為了識(shí)別表情1需要計(jì)算特征1～4，為了識(shí)別表情3需要計(jì)算特征2～5。
例如，當(dāng)假定由表情選擇部6211選定了喜悅表情時(shí)，喜悅表情所需要的特征為眼和嘴的端點(diǎn)距離、眼的邊緣的長(zhǎng)度、眼的邊緣的斜度、嘴的邊緣的長(zhǎng)度、嘴的邊緣的斜度、臉頰周圍的邊緣密度6個(gè)特征，這樣不同表情需要單獨(dú)設(shè)定的特征量。
假定在RAM1002內(nèi)預(yù)先記錄有表示這種識(shí)別各表情所需要的特征量的表(表示圖40中舉例示出的對(duì)應(yīng)關(guān)系的表)、即在從表情選擇部6211輸入的表示表情的代碼、和表示為了識(shí)別該表情而求取怎樣的特征量的數(shù)據(jù)之間建立對(duì)應(yīng)關(guān)系的表。
如上所述，從表情選擇部6211輸入與選定的表情對(duì)應(yīng)的代碼，因此，特征量計(jì)算部6212，通過(guò)參照該表，能夠確定用于識(shí)別與該代碼對(duì)應(yīng)的表情的特征量，其結(jié)果是，能夠計(jì)算與表情選擇部6211選定的表情對(duì)應(yīng)的特征量。
回到圖38，接著，后級(jí)的特征量變化量計(jì)算部6103，與第7實(shí)施方式同樣地計(jì)算特征量計(jì)算部6212計(jì)算的特征量與參照特征保存部6102保存的特征量的差。
特征量計(jì)算部6212計(jì)算的特征量，其個(gè)數(shù)和種類隨表情而不同。因此，本實(shí)施方式的特征量變化量計(jì)算部6103，從參照特征保存部6102讀出并使用識(shí)別由表情選擇部6211選定的表情所需要的特征量。識(shí)別由表情選擇部6211選定的表情所需要的特征量的確定，可以參照特征量計(jì)算部6212所使用的上述的表來(lái)確定。
例如，喜悅表情所需要的要特征為眼和嘴的端點(diǎn)距離、眼的邊緣的長(zhǎng)度、眼的邊緣的斜度、嘴的邊緣的長(zhǎng)度、嘴的邊緣的斜度、臉頰周圍的邊緣密度6個(gè)特征，因此從參照特征保存部6102讀出并使用與這6個(gè)特征相同的特征。
從特征量變化量計(jì)算部6103輸出各特征量的變化量，因此，得分計(jì)算部6104進(jìn)行與第7實(shí)施方式同樣的處理。在本實(shí)施方式中，有時(shí)由表情選擇部6211選擇出多個(gè)表情，因此，對(duì)所選定的每個(gè)表情分別進(jìn)行與第7實(shí)施方式同樣的得分計(jì)算處理，對(duì)每個(gè)表情計(jì)算每個(gè)特征量的得分。
圖41是表示根據(jù)各變化量計(jì)算每種表情的得分的情況的示意圖。
表情判斷部6105，對(duì)表情選擇部6211選擇出的多個(gè)表情的每一個(gè)求取得分的總和值。在該每個(gè)表情的總和值中，可以將具有最高值的表情作為輸入圖像中的面部的表情。
例如，在喜悅、悲傷、憤怒、驚訝、厭惡、恐怖的表情中，如果喜悅表情為最高得分總和，則將表情判斷為喜悅表情。
本實(shí)施方式的圖像處理設(shè)備，當(dāng)判斷了輸入圖像中的面部的表情時(shí)，進(jìn)一步，判斷表情場(chǎng)面中的表情的程度。本實(shí)施方式的圖像處理設(shè)備的基本結(jié)構(gòu)、功能結(jié)構(gòu)，也可以應(yīng)用第7～9的任何實(shí)施方式中的結(jié)構(gòu)。
首先，在判斷表情的程度的方法中，對(duì)由表情判斷部判斷為某特定的表情的輸入圖像，參照由得分計(jì)算部計(jì)算出的得分變化的趨勢(shì)或得分總和。
由得分計(jì)算部計(jì)算出的得分總和與得分總和的閾值相比較，如果與閾值之差小，則判斷為喜悅的程度小。相反，由得分計(jì)算部計(jì)算出的得分總和與閾值相比較，如果與閾值之差大，則判斷為喜悅的程度大。這種方法，對(duì)喜悅的表情以外的其他表情也能夠同樣地判斷表情的程度。
在上述實(shí)施方式中，也能夠根據(jù)由得分計(jì)算部計(jì)算出的眼的形狀的得分判斷眼是否閉著。
圖43是示出參照面部的眼的邊緣、即睜開(kāi)眼時(shí)的眼的邊緣的圖，圖44是示出閉上眼時(shí)的眼的邊緣的圖。
由特征抽取部抽出的閉上眼時(shí)的邊緣6316的長(zhǎng)度，與參照?qǐng)D像的眼的邊緣6304的長(zhǎng)度相比完全沒(méi)有變化。
但是，將圖43的睜開(kāi)眼時(shí)的眼的邊緣6304的特征點(diǎn)6305和6306連接后得到的直線6308的斜度，與將圖44的閉上眼時(shí)的眼的邊緣6316的特征點(diǎn)6310和6311連接后得到的直線6313的斜度相比，當(dāng)從睜眼的狀態(tài)變化到閉眼的狀態(tài)時(shí)，直線的斜度的變化量為負(fù)。
另外，從圖43的睜開(kāi)眼時(shí)的眼的邊緣6304的特征點(diǎn)6306和6307得到的直線6309的斜度，與從圖44的閉上眼時(shí)的眼的邊緣6316的特征點(diǎn)6311和6312得到的直線6314的斜度相比，當(dāng)從睜眼的狀態(tài)變化到閉眼的狀態(tài)時(shí)，直線的斜度的變化量為正。
因此，當(dāng)眼的邊緣的長(zhǎng)度完全沒(méi)有變化、從眼的邊緣得到的上述左右2條直線的斜度的變化量的絕對(duì)值與參照?qǐng)D像的眼的邊緣相比分別在某預(yù)定值以上、且一方為負(fù)的變化而另一方為正的變化時(shí)，可以判斷為閉眼的可能性高，根據(jù)直線的斜度的變化量使在端部由得分計(jì)算部得到的得分減小。
圖42是根據(jù)由得分計(jì)算部計(jì)算出的眼的形狀的得分判斷眼是否閉著的處理的流程圖。
如上所述，判斷與眼的形狀對(duì)應(yīng)的得分是否在閾值以下，如果在閾值以下則判斷為眼閉著，否則判斷眼沒(méi)有閉著。
圖45是表示本實(shí)施方式的圖像處理設(shè)備的功能結(jié)構(gòu)的框圖。對(duì)進(jìn)行與圖23基本相同動(dòng)作的部分賦予相同的標(biāo)號(hào)，其說(shuō)明從略。此外，至于本實(shí)施方式的圖像處理設(shè)備的基本結(jié)構(gòu)，與第7實(shí)施方式相同、即與圖11所示的相同。
特征量抽取部6701，如圖46所示，由以下各部構(gòu)成鼻、眼和嘴位置計(jì)算部6710、邊緣圖像生成部6711、面部的各特征邊緣抽取部6712、面部的特征點(diǎn)抽取部6713、以及表情特征量抽取部6714。圖46是表示特征量抽取部6701的功能結(jié)構(gòu)的框圖。
標(biāo)準(zhǔn)化特征變化量計(jì)算部6703，計(jì)算從特征量抽取部6701得到的各特征量和從參照特征保存部6702得到的各特征量之比。此外，當(dāng)假定為檢測(cè)笑臉時(shí)，由標(biāo)準(zhǔn)化特征變化量計(jì)算部6703計(jì)算的各特征變化量，為“眼和嘴的端點(diǎn)距離”、“眼的邊緣的長(zhǎng)度”、“眼的邊緣的斜度”、“嘴的邊緣的長(zhǎng)度”、“嘴的邊緣的斜度”。進(jìn)一步，根據(jù)面部的尺寸變動(dòng)或面部的轉(zhuǎn)動(dòng)變動(dòng)將各特征量標(biāo)準(zhǔn)化。
說(shuō)明由標(biāo)準(zhǔn)化特征變化量計(jì)算部6703得到的各特征變化量的標(biāo)準(zhǔn)化方法。圖47是表示圖像的面部中的眼、鼻的重心位置的圖。在圖47中，6720、6721分別表示右眼、左眼的重心位置，6722表示鼻的重心位置。根據(jù)由特征量抽取部6701的鼻、眼和嘴位置計(jì)算部6710通過(guò)用鼻、眼、嘴各自的模板檢測(cè)出的鼻的重心位置6722、眼的重心位置6720、6721，如圖49所示，計(jì)算右眼位置與面部位置的水平方向距離6730、左眼位置與面部位置的水平方向距離6731、左右眼的垂直方向的坐標(biāo)平均與面部位置的垂直方向距離6732。
右眼位置與面部位置的水平方向距離6730、左眼位置與面部位置的水平方向距離6731、左右眼的垂直方向的坐標(biāo)平均與面部位置的垂直方向距離6732之比a∶b∶c，在面部尺寸發(fā)生了變動(dòng)的情況下，如圖50所示，右眼位置與面部位置的水平方向距離6733、左眼位置與面部位置的水平方向距離6734、左右眼的垂直方向的坐標(biāo)平均與面部位置的垂直方向距離6735之比a1∶b1∶c1大體上沒(méi)有變化，但尺寸沒(méi)有變動(dòng)時(shí)的右眼位置與面部位置的水平方向距離6730、與尺寸變動(dòng)時(shí)的右眼位置與面部位置的水平方向距離6733之比a∶a1隨面部尺寸的變動(dòng)而變化。此外，當(dāng)計(jì)算右眼位置與面部位置的水平方向距離6730、左眼位置與面部位置的水平方向距離6731、左右眼的垂直方向的坐標(biāo)平均與面部位置的垂直方向距離6732時(shí)，如圖48所示，除鼻和眼的重心位置以外也可以用眼的端點(diǎn)位置(6723、6724)、左右的各鼻腔位置或左右鼻腔位置的重心(6725)。計(jì)算眼的端點(diǎn)的方法，例如有對(duì)邊緣進(jìn)行掃描的方法、利用眼端點(diǎn)檢測(cè)用模板的方法，關(guān)于鼻腔位置有利用鼻腔檢測(cè)用模板檢測(cè)左右鼻腔位置的重心或左右各鼻腔位置的方法。用于判斷變動(dòng)的特征間距離，也可以使用左右的內(nèi)眼角間距離等其他的特征。
進(jìn)一步，圖49的面部不轉(zhuǎn)動(dòng)時(shí)的左右眼的垂直方向的坐標(biāo)平均與面部位置的垂直方向距離6732、與如圖51所示左右眼的垂直方向的坐標(biāo)平均與面部位置的垂直方向距離6738之比c∶c2，隨面部的上下轉(zhuǎn)動(dòng)，比值變化。
另外，如圖52所示，右眼位置與面部位置的水平方向距離6739、與左眼位置與面部位置的水平方向距離6740之比a3∶b3，圖49的面部不左右轉(zhuǎn)動(dòng)時(shí)的右眼位置與面部位置的水平方向距離6730、與左眼位置與面部位置的水平方向距離6731之比a∶b，這兩個(gè)比相比較，比值發(fā)生變化。
另外，當(dāng)面部左右轉(zhuǎn)動(dòng)時(shí)，也可以使用圖53中示出的參照?qǐng)D像(無(wú)表情時(shí)的圖像)的右眼端點(diǎn)間距離d1和左眼端點(diǎn)間距離e1之比g1(＝d1/e1)、和圖54中示出的輸入圖像(笑臉時(shí)的圖像)的右眼端點(diǎn)間距離d2和左眼端點(diǎn)間距離e2之比g2(d2/e2)的比值g2/g1。
圖55A、圖55B是判斷尺寸變動(dòng)、左右轉(zhuǎn)動(dòng)變動(dòng)、上下轉(zhuǎn)動(dòng)變動(dòng)的處理的流程圖。用圖55A、圖55B的流程圖說(shuō)明判斷尺寸變動(dòng)、左右轉(zhuǎn)動(dòng)變動(dòng)、上下轉(zhuǎn)動(dòng)變動(dòng)的處理，但此時(shí)將圖49用作“在未變動(dòng)狀態(tài)下用直線將眼和鼻的位置間連接起來(lái)的圖”、將圖56用作“無(wú)尺寸變動(dòng)、左右轉(zhuǎn)動(dòng)變動(dòng)但有上下轉(zhuǎn)動(dòng)變動(dòng)后的用直線將眼和鼻的位置間連接起來(lái)的圖”。
首先，在步驟S6770中，進(jìn)行比值a∶b∶c與a4∶b4∶c4是否相同的判斷。該“相同”的判斷，并不限定于“完全相同”，只要是“兩者的比值之差在某容許范圍內(nèi)”，就可以判斷為“相同”。
當(dāng)在步驟S6770的判斷中判斷為比值a∶b∶c與a4∶b4∶c4相同時(shí)，使處理進(jìn)入步驟S6771，判斷為“無(wú)變化、或僅尺寸變動(dòng)”，進(jìn)一步，使處理進(jìn)入步驟S6772，判斷a/a4是否為1。
當(dāng)a/a4為1時(shí)，使處理進(jìn)入步驟S6773，判斷為“無(wú)尺寸變動(dòng)和轉(zhuǎn)動(dòng)變動(dòng)”。而當(dāng)在步驟S6772中判斷為a/a4不是1時(shí)，使處理進(jìn)入步驟S6774，判斷為“僅尺寸變動(dòng)”。
另一方面，當(dāng)在步驟S6770的判斷處理中判斷為比值a∶b∶c與a4∶b4∶c4不同時(shí)，使處理進(jìn)入步驟S6775，判斷為“上下轉(zhuǎn)動(dòng)、左右轉(zhuǎn)動(dòng)、上下轉(zhuǎn)動(dòng)且尺寸變動(dòng)、左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)、上下轉(zhuǎn)動(dòng)且左右轉(zhuǎn)動(dòng)、上下轉(zhuǎn)動(dòng)且左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)中的任何一種”。
然后，使處理進(jìn)入步驟S6776，判斷比值a∶b與a4∶b4是否相同(此處的關(guān)于“相同”的判斷與步驟S6770中的相同)，當(dāng)判斷為相同時(shí)，使處理進(jìn)入步驟S6777，判斷為“上下轉(zhuǎn)動(dòng)、上下轉(zhuǎn)動(dòng)且尺寸變動(dòng)中的任何一種”。之后，使處理進(jìn)入步驟S6778，判斷a/a4是否為1。當(dāng)判斷a/a4不是1時(shí)，使處理進(jìn)入步驟S6779，判斷為“上下轉(zhuǎn)動(dòng)且尺寸變動(dòng)”。而當(dāng)判斷a/a4為1時(shí)，使處理進(jìn)入步驟S6780，判斷為“僅上下轉(zhuǎn)動(dòng)”。
另一方面，當(dāng)在步驟S6776中判斷為比值a∶b與a4∶b4不同時(shí)，使處理進(jìn)入步驟S6781，與步驟S6778同樣地判斷a/a4是否為1。
然后，當(dāng)a/a4為1時(shí)，使處理進(jìn)入步驟S6782，判斷為“左右轉(zhuǎn)動(dòng)、上下轉(zhuǎn)動(dòng)且左右動(dòng)中的任何一種”。之后，使處理進(jìn)入步驟S6783，判斷c/c3是否為1。當(dāng)判斷為c/c3不是1時(shí)，使處理進(jìn)入步驟S6784，判斷為“上下轉(zhuǎn)動(dòng)且左右轉(zhuǎn)動(dòng)”，而當(dāng)判斷為c/c3是1時(shí)，使處理進(jìn)入步驟S6785，判斷為“左右轉(zhuǎn)動(dòng)”。
另一方面，當(dāng)在步驟S6781中判斷為a/a4不是1時(shí)，使處理進(jìn)入步驟S6786，判斷為“左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)、上下轉(zhuǎn)動(dòng)且左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)中的任何一種”。之后使處理進(jìn)入步驟S6787，判斷(a4/b4)/(a/b)是否大于1。
當(dāng)(a4/b4)/(a/b)大于1時(shí)，使處理進(jìn)入步驟S6788，判斷為“向左轉(zhuǎn)動(dòng)”。之后使處理進(jìn)入步驟S6789，判斷比值a∶c與a4∶c4是否相同(“相同”的基準(zhǔn)與步驟S6770相同)，當(dāng)相同時(shí)，使處理進(jìn)入步驟S6790，判斷為“左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)”。而當(dāng)比值a∶c與a4∶c4不同時(shí)，使處理進(jìn)入步驟S6793，判斷為“上下轉(zhuǎn)動(dòng)且左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)”。
另一方面，當(dāng)在步驟S6787中判斷(a4/b4)/(a/b)在1以下時(shí)，使處理進(jìn)入步驟S6791，判斷為“向右轉(zhuǎn)動(dòng)”。之后使處理進(jìn)入步驟S6792，判斷比值b∶c與b4∶c4是否相同(“相同”的基準(zhǔn)與步驟S6770相同)。當(dāng)相同時(shí)，使處理進(jìn)入步驟S6790，判斷為“左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)”。而當(dāng)比值b∶c與b4∶c4不同時(shí)，使處理進(jìn)入步驟S6793，判斷為“上下轉(zhuǎn)動(dòng)且左右轉(zhuǎn)動(dòng)且尺寸變動(dòng)”。在各步驟中使用的比值等，并不限定于流程圖中所寫(xiě)的比值。例如，在步驟S6772、步驟S6778、步驟S6781中，也可以使用b/b4、(a+b)/(a4+b4)等。
通過(guò)以上的處理，可以進(jìn)行面部的尺寸變動(dòng)或面部的轉(zhuǎn)動(dòng)變動(dòng)時(shí)的判別。進(jìn)一步，當(dāng)判別了這些變動(dòng)時(shí)，通過(guò)由標(biāo)準(zhǔn)化特征變化量計(jì)算部6703將得到的各特征變化量標(biāo)準(zhǔn)化，在面部的尺寸發(fā)生了變動(dòng)時(shí)或面部發(fā)生了轉(zhuǎn)動(dòng)時(shí)都能進(jìn)行表情的識(shí)別。
特征量標(biāo)準(zhǔn)化方法，例如，當(dāng)只是尺寸變動(dòng)時(shí)，用圖49和圖50進(jìn)行說(shuō)明，只需將從輸入圖像得到的所有特征變化量翻1/(a1/a)倍即可。也可以不是1/(a1/a)而是使用1(1b/b)、1/((a1+b1)/(a+b))、1/(c1/c)或其他的特征。另外，如圖57所示，當(dāng)上下轉(zhuǎn)動(dòng)且尺寸變動(dòng)了時(shí)，在將受上下轉(zhuǎn)動(dòng)的影響的眼的端點(diǎn)與嘴的端點(diǎn)距離翻(a5/c5)/(a/c)倍之后，將所有的特征量翻1/(a1/a)倍即可。當(dāng)上下轉(zhuǎn)動(dòng)了時(shí)，也同樣不限定于使用(a5/c5)/(a/c)。這樣，通過(guò)判斷面部的尺寸變動(dòng)、上下左右轉(zhuǎn)動(dòng)變動(dòng)并將特征變化量標(biāo)準(zhǔn)化，在面部的尺寸發(fā)生了變動(dòng)時(shí)或面部發(fā)生了上下左右轉(zhuǎn)動(dòng)變動(dòng)時(shí)都能進(jìn)行表情的識(shí)別。
圖58是從左右眼和鼻的位置檢測(cè)開(kāi)始根據(jù)上下、左右轉(zhuǎn)動(dòng)變動(dòng)和尺寸變動(dòng)將特征量標(biāo)準(zhǔn)化并進(jìn)行表情判斷處理的流程圖。
在步驟S6870中檢測(cè)出左右眼的重心坐標(biāo)和鼻的重心坐標(biāo)后，在步驟S6871中進(jìn)行左右上下轉(zhuǎn)動(dòng)變動(dòng)或尺寸變動(dòng)的判斷，當(dāng)無(wú)左右上下轉(zhuǎn)動(dòng)變動(dòng)時(shí)，在步驟S6872中判斷為不需要特征變化量的標(biāo)準(zhǔn)化，通過(guò)計(jì)算與參照特征量之比計(jì)算特征量的變化量，在步驟S6873中進(jìn)行每個(gè)特征量的得分計(jì)算，并在步驟S6874中計(jì)算根據(jù)各特征量變化量計(jì)算出的得分總和。另一方面，當(dāng)在步驟S6871中判斷為有左右上下轉(zhuǎn)動(dòng)變動(dòng)或尺寸變動(dòng)時(shí)，在步驟S6875中判斷為需要各特征變化量的標(biāo)準(zhǔn)化，通過(guò)對(duì)各特征量計(jì)算與參照特征量之比計(jì)算特征量的變化量，并根據(jù)上下左右轉(zhuǎn)動(dòng)變動(dòng)或尺寸變動(dòng)將特征量的變化量標(biāo)準(zhǔn)化，然后，在步驟S6873中進(jìn)行每個(gè)特征量變化量的得分計(jì)算，并在步驟S6874中計(jì)算根據(jù)各特征量變化量計(jì)算出的得分總和。
之后，根據(jù)計(jì)算出的得分總和，在步驟S6876中與第1實(shí)施方式同樣地進(jìn)行輸入圖像中的面部表情的判斷。
圖59是表示本實(shí)施方式的攝像設(shè)備的功能結(jié)構(gòu)的框圖。如該圖所示，本實(shí)施方式的攝像設(shè)備，由攝像部6820、圖像處理部6821、圖像二次存儲(chǔ)部6822構(gòu)成。
圖60是表示攝像部6820的功能結(jié)構(gòu)的圖，攝像部6820，如圖60所示，大體上由成像光學(xué)系統(tǒng)6830、固體攝像元件6831、視頻信號(hào)處理6832、圖像一次存儲(chǔ)部6833構(gòu)成。
成像光學(xué)系統(tǒng)6830，例如是鏡頭，眾所周知，使外界的光對(duì)后級(jí)的固體攝像元件6831成像。固體攝像元件6831，例如是CCD，眾所周知，將由成像光學(xué)系統(tǒng)6830所形成的像轉(zhuǎn)換為電信號(hào)，結(jié)果將攝像圖像作為電信號(hào)輸出到后級(jí)的視頻信號(hào)處理電路6832；視頻信號(hào)處理電路6832，對(duì)該電信號(hào)進(jìn)行A/D轉(zhuǎn)換，并作為數(shù)字信號(hào)輸出到后級(jí)的圖像一次存儲(chǔ)部6833。圖像一次存儲(chǔ)部6833，由例如閃存等存儲(chǔ)介質(zhì)構(gòu)成，存儲(chǔ)該攝像圖像的數(shù)據(jù)。
圖61是表示圖像處理部6821的功能結(jié)構(gòu)的框圖。圖像處理部6821由以下各部構(gòu)成圖像輸入部6840，讀出存儲(chǔ)在圖像一次存儲(chǔ)部6833中的攝像圖像數(shù)據(jù)并將其輸出到后級(jí)的特征量抽取部6842；表情信息輸入部6841，輸入后述的表情信息并輸出到后級(jí)的特征量抽取部6842；特征量抽取部6842；參照特征保存部6843；變化量計(jì)算部6844，通過(guò)計(jì)算特征量抽取部6842抽出的特征量之比進(jìn)行變化量計(jì)算；變化量標(biāo)準(zhǔn)化部6845，根據(jù)轉(zhuǎn)動(dòng)上下變動(dòng)或尺寸變動(dòng)將由變化量計(jì)算部6844計(jì)算出的各特征的變化量標(biāo)準(zhǔn)化；得分計(jì)算部6846，根據(jù)由變化量標(biāo)準(zhǔn)化部6845標(biāo)準(zhǔn)化后的各特征的變化量計(jì)算每個(gè)變化量的得分；以及表情判斷部6847。圖61中示出的各部，只有無(wú)特別說(shuō)明，與上述實(shí)施方式中名稱相同的部分具有相同的功能。
此外，在表情信息輸入部6841中，通過(guò)由攝影者選擇想要攝影的表情輸入攝影表情信息。就是說(shuō)，當(dāng)攝影者想要拍攝笑臉時(shí)，選擇笑臉攝影模式。由此，將只拍攝笑臉。因此，所謂該表情信息，是表示所選定的表情的信息。此外，要選擇的表情不限定于1個(gè)，也可以是多個(gè)。
圖62是表示特征量抽取部6842的功能結(jié)構(gòu)的框圖。特征量抽取部6842，如圖62所示，由鼻、眼和嘴位置檢測(cè)部6850、邊緣圖像生成部6851、面部的各特征邊緣抽取部6852、面部的特征點(diǎn)抽取部6853、表情特征量抽取部6854構(gòu)成。各部的功能與圖46中示出的各部相同，因此其說(shuō)明從略。
圖像處理部6821中的圖像輸入部6840，讀出存儲(chǔ)在圖像一次存儲(chǔ)部6833中的攝像圖像的數(shù)據(jù)，并輸出到后級(jí)的特征量抽取部6842。特征量抽取部6842，根據(jù)從表情信息輸入部6841輸入的表情信息，抽取由攝影者選擇的想要拍攝的表情的特征量。例如，當(dāng)攝影者想要拍攝笑臉時(shí)，抽取笑臉識(shí)別所需要的特征量。
進(jìn)一步，變化量計(jì)算部6844，通過(guò)計(jì)算抽出的各特征量與參照特征保存部6843保存的各特征量之比計(jì)算各特征量的變化量，并在變化量標(biāo)準(zhǔn)化部6845中根據(jù)面部的尺寸變動(dòng)和面部的轉(zhuǎn)動(dòng)變動(dòng)將由變化量計(jì)算部6844得到的各特征變化量之比標(biāo)準(zhǔn)化。然后，由得分計(jì)算部6846根據(jù)每個(gè)特征量的權(quán)重和各特征量的變化量進(jìn)行得分計(jì)算。
圖63是表示表情判斷部6847的功能結(jié)構(gòu)的框圖。表情可能性判斷部6860，與第8實(shí)施方式同樣地通過(guò)對(duì)由得分計(jì)算部6846計(jì)算出的每個(gè)特征量的得分總和進(jìn)行閾值處理，對(duì)由表情信息輸入部6841得到的表情進(jìn)行可能性判斷；表情確定部6861，根據(jù)該表情可能性判斷結(jié)果的連續(xù)性確定為是由表情信息輸入部6841得到的表情。如果是由表情信息輸入部6841得到的表情，則將由攝像部6820得到的圖像數(shù)據(jù)存儲(chǔ)在圖像二次存儲(chǔ)部6822內(nèi)。
按照如上的方式，能夠只記錄攝影者想要的表情的圖像。
此外，圖像處理部6821的功能結(jié)構(gòu)，并不限定于此，也可以應(yīng)用上述各實(shí)施方式中的為了進(jìn)行表情識(shí)別處理而構(gòu)成的裝置(或程序)。
圖64是表示本實(shí)施方式的攝像設(shè)備的功能結(jié)構(gòu)的框圖。對(duì)與圖59相同的部分賦予相同的標(biāo)號(hào)，其說(shuō)明從略。本實(shí)施方式的攝像設(shè)備，具有對(duì)第13實(shí)施方式的攝像設(shè)備進(jìn)一步附加了圖像顯示部6873的結(jié)構(gòu)。
圖像顯示部6873，由液晶屏等構(gòu)成，顯示記錄在圖像二次存儲(chǔ)部6822中的圖像。圖像顯示部6873上顯示的圖像，也可以只顯示在圖像處理部6821中由攝影者選定的圖像。而且，也可以由攝影者選擇將顯示在圖像顯示部6873上的圖像存儲(chǔ)在圖像二次存儲(chǔ)部6822內(nèi)或?qū)⑵鋭h除，為此，例如由觸摸屏形式的液晶屏構(gòu)成圖像顯示部6873，在該顯示屏面上顯示用于由攝影者選擇將顯示在圖像顯示部6873上的圖像存儲(chǔ)在圖像二次存儲(chǔ)部6822內(nèi)或?qū)⑵鋭h除的菜單，可以由攝影者在顯示屏面上選擇其中任意一者。
根據(jù)如上所述的本實(shí)施方式的結(jié)構(gòu)，能夠?qū)€(gè)人差異或表情場(chǎng)面等具有魯棒性，并能夠更準(zhǔn)確地判斷圖像中的面部的表情。進(jìn)而，即使面部的尺寸變動(dòng)時(shí)或面部轉(zhuǎn)動(dòng)時(shí)也能更準(zhǔn)確地判斷圖像中的面部的表情。
另外，在上述實(shí)施方式中，使被攝物體為面部，但不限于此，也可以是交通工具或建筑物等。
本發(fā)明的目的，當(dāng)然也可以通過(guò)將記錄了實(shí)現(xiàn)上述實(shí)施方式的功能的軟件程序代碼的記錄介質(zhì)(或存儲(chǔ)介質(zhì))供給系統(tǒng)或裝置并由該系統(tǒng)或裝置的計(jì)算機(jī)(或CPU、MPU)讀出并執(zhí)行存儲(chǔ)在記錄介質(zhì)內(nèi)的程序代碼來(lái)達(dá)到。在這種情況下，從記錄介質(zhì)讀出的程序代碼本身可以實(shí)現(xiàn)上述實(shí)施方式的功能，因而記錄了該程序代碼的記錄介質(zhì)也構(gòu)成本發(fā)明。
另外，不僅可以通過(guò)由計(jì)算機(jī)執(zhí)行所讀出的程序代碼實(shí)現(xiàn)上述實(shí)施方式的功能，而且當(dāng)然也包括由運(yùn)行在計(jì)算機(jī)上的OS(操作系統(tǒng))等根據(jù)該程序代碼的指示執(zhí)行實(shí)際處理的全部或一部分并通過(guò)該處理實(shí)現(xiàn)上述實(shí)施方式的功能的情況。
進(jìn)一步，當(dāng)然也包括將從記錄介質(zhì)讀出的程序代碼寫(xiě)入到插入計(jì)算機(jī)內(nèi)的功能擴(kuò)展卡或與計(jì)算機(jī)連接的功能擴(kuò)展單元所備有的存儲(chǔ)器后由該功能擴(kuò)展卡或功能擴(kuò)展單元所備有的CPU等根據(jù)該程序代碼的指示執(zhí)行實(shí)際處理的全部或一部分并通過(guò)該處理實(shí)現(xiàn)上述實(shí)施方式的功能的情況。
在將本發(fā)明應(yīng)用于上述記錄介質(zhì)時(shí)，在該記錄介質(zhì)內(nèi)，可以存儲(chǔ)與前面說(shuō)明過(guò)的流程圖對(duì)應(yīng)的程序代碼。
本發(fā)明，并不限定于上述的實(shí)施方式，在不脫離本發(fā)明的精神和范圍的情況下，可以進(jìn)行各種變更和變形。因此，為公開(kāi)本發(fā)明的范圍，附加以下的權(quán)利要求。
權(quán)利要求
1.一種圖像處理設(shè)備，其特征在于，包括輸入裝置，輸入包含被攝物體的圖像；被攝物體區(qū)域確定裝置，從上述輸入裝置輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的被攝物體的區(qū)域；以及判別裝置，利用由上述被攝物體區(qū)域確定裝置所確定的上述被攝物體的區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的被攝物體圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述被攝物體的類別。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于上述被攝物體區(qū)域確定裝置包含分層型神經(jīng)網(wǎng)絡(luò)，上述判別裝置將該分層型神經(jīng)網(wǎng)絡(luò)的中間層輸出作為上述局部特征的檢測(cè)結(jié)果來(lái)使用。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于上述被攝物體是面部，該被攝物體的類別是面部表情。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其特征在于上述被攝物體區(qū)域確定裝置，在上述輸入裝置輸入的圖像中檢測(cè)第1局部特征群，進(jìn)而從上述圖像中求取通過(guò)組合該第1局部特征群的任何一個(gè)而得到的第2局部特征群，通過(guò)反復(fù)進(jìn)行這樣的處理，求出第n局部特征群(n≥2)；上述判別裝置，在由上述被攝物體區(qū)域確定裝置所確定的被攝物體的區(qū)域中，利用從上述第1局部特征群到第n局部特征群的任何一個(gè)局部特征群的各檢測(cè)結(jié)果、和該各局部特征的預(yù)先作為基準(zhǔn)求得的檢測(cè)結(jié)果，判別上述面部的表情。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其特征在于上述判別裝置，計(jì)算上述面部區(qū)域中的各上述局部特征的相對(duì)位置和對(duì)上述面部區(qū)域中的各上述局部特征預(yù)先作為基準(zhǔn)而求得的相對(duì)位置的偏差所對(duì)應(yīng)的分布、與預(yù)先求得的與各種表情所對(duì)應(yīng)的分布的哪一個(gè)相似度最高，判斷為是相似度最高的分布所表示的表情。
6.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其特征在于上述輸入裝置，通過(guò)連續(xù)地進(jìn)行在上述面部區(qū)域確定裝置完成了確定面部區(qū)域的處理的時(shí)刻輸入下一個(gè)圖像的處理，進(jìn)行連續(xù)地輸入圖像的處理；上述判別裝置，在上述輸入裝置輸入了圖像的時(shí)刻，利用在其前級(jí)由上述輸入裝置輸入的圖像，根據(jù)上述面部區(qū)域確定裝置所確定的面部區(qū)域中的各上述局部特征的相對(duì)位置與對(duì)上述面部區(qū)域中的各上述局部特征預(yù)先作為基準(zhǔn)求得的相對(duì)位置的偏差，進(jìn)行判別上述面部表情的處理。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于上述被攝物體是面部；作為該被攝物體的類別，上述判別裝置判別是誰(shuí)的面部。
8.一種圖像處理設(shè)備，其特征在于，包括輸入裝置，連續(xù)地輸入包含面部的幀圖像；面部區(qū)域確定裝置，從上述輸入裝置輸入的幀圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述幀圖像中的面部區(qū)域；以及判別裝置，在與由面部區(qū)域確定裝置在上述輸入裝置輸入的第1幀圖像中所確定的面部區(qū)域位置上對(duì)應(yīng)的、作為上述第1幀后邊的幀的第2幀的圖像中的區(qū)域內(nèi)，根據(jù)由上述面部區(qū)域確定裝置檢測(cè)出的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
9.一種圖像處理設(shè)備，其特征在于，包括輸入裝置，輸入包含面部的圖像；面部區(qū)域確定裝置，從上述輸入裝置輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的面部區(qū)域；第1判別裝置，利用由上述面部區(qū)域確定裝置檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和預(yù)先從各面部圖像得到的各上述局部特征的檢測(cè)結(jié)果，判別上述輸入裝置輸入的圖像中的面部是誰(shuí)的面部；以及第2判別裝置，利用由上述面部區(qū)域確定裝置檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于，還包括管理裝置，將上述第1判別裝置對(duì)所關(guān)注的面部區(qū)域的判別結(jié)果和上述第2判別裝置對(duì)該所關(guān)注的面部的判別結(jié)果，與確定上述所關(guān)注的面部的信息一起，作為管理信息進(jìn)行管理；存儲(chǔ)控制裝置，參照上述管理信息，當(dāng)由上述第1、第2判別裝置判斷為預(yù)定的個(gè)人做出預(yù)定的表情時(shí)，將包含上述所關(guān)注的面部的圖像存儲(chǔ)在預(yù)定的存儲(chǔ)介質(zhì)內(nèi)。
11.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于上述第2判別裝置，根據(jù)上述第1判別裝置對(duì)所關(guān)注的面部是誰(shuí)的面部進(jìn)行判斷后的結(jié)果，變更用于對(duì)該所關(guān)注的面部進(jìn)行表情判別的參數(shù)。
12.一種圖像處理方法，其特征在于，包括輸入步驟，輸入包含被攝物體的圖像；被攝物體區(qū)域確定步驟，從上述輸入步驟輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的被攝物體的區(qū)域；以及判別步驟，利用上述被攝物體區(qū)域確定步驟中檢測(cè)出的上述被攝物體的區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的被攝物體圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述被攝物體的類別。
13.一種圖像處理方法，其特征在于，包括輸入步驟，連續(xù)地輸入包含面部的幀圖像；面部區(qū)域確定步驟，從上述輸入步驟輸入的幀圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述幀圖像中的面部區(qū)域；以及判別步驟，在與由面部區(qū)域確定步驟在由上述輸入步驟輸入的第1幀圖像中所確定的面部區(qū)域位置上對(duì)應(yīng)的、作為上述第1幀后邊的幀的第2幀圖像中的區(qū)域內(nèi)，根據(jù)由上述面部區(qū)域確定步驟檢測(cè)出的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
14.一種圖像處理方法，其特征在于，包括輸入步驟，輸入包含面部的圖像；面部區(qū)域確定步驟，從上述輸入步驟輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定上述圖像中的面部區(qū)域；第1判別步驟，利用上述面部區(qū)域確定步驟中檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和預(yù)先從各面部圖像得到的各上述局部特征的檢測(cè)結(jié)果，判別上述輸入步驟輸入的圖像中的面部是誰(shuí)的面部；以及第2判別步驟，利用上述面部區(qū)域確定步驟中檢測(cè)出的上述面部區(qū)域中的各上述局部特征的檢測(cè)結(jié)果、和針對(duì)預(yù)先作為基準(zhǔn)而設(shè)定的面部圖像的各上述局部特征的檢測(cè)結(jié)果，判別上述面部的表情。
15.一種程序，其特征在于使計(jì)算機(jī)執(zhí)行權(quán)利要求12所述的圖像處理方法。
16.一種計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，其特征在于存儲(chǔ)有權(quán)利要求15所述的程序。
17.一種攝像設(shè)備，其特征在于，包括權(quán)利要求3所述的圖像處理設(shè)備；以及攝像裝置，當(dāng)由上述判別裝置判斷出的表情是預(yù)定的表情時(shí)，拍攝被輸入到上述輸入裝置的圖像。
18.一種圖像處理方法，其特征在于，包括輸入步驟，輸入包含面部的圖像；第1特征量計(jì)算步驟，對(duì)由上述輸入步驟輸入的圖像中的面部的預(yù)定部位群，分別求取特征量；第2特征量計(jì)算步驟，對(duì)包含預(yù)定表情的面部的圖像中的該面部的上述預(yù)定部位群，分別求取特征量；變化量計(jì)算步驟，根據(jù)在上述第1特征量計(jì)算步驟中求得的特征量和在上述第2特征量計(jì)算步驟中求得的特征量，求取上述預(yù)定部位群各自的特征量的變化量；得分計(jì)算步驟，根據(jù)上述變化量計(jì)算步驟中對(duì)上述預(yù)定部位群分別求得的變化量，對(duì)上述預(yù)定部位群分別計(jì)算得分；以及判斷步驟，根據(jù)在上述得分計(jì)算步驟中對(duì)上述預(yù)定部位群分別計(jì)算出的得分，判斷上述輸入步驟所輸入的圖像中的面部的表情。
19.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于在上述判斷步驟中，通過(guò)比較在上述得分計(jì)算步驟中對(duì)上述預(yù)定部位群分別計(jì)算出的得分的分布、和按每種表情計(jì)算出的針對(duì)上述預(yù)定部位群的各個(gè)得分的分布，判斷上述輸入步驟所輸入的圖像中的面部的表情。
20.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于在上述變化量計(jì)算步驟中，根據(jù)在上述第1特征量計(jì)算步驟中求得的特征量與在上述第2特征量計(jì)算步驟中求得的特征量的差，求出上述預(yù)定部位群各自的特征量的變化量。
21.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于在上述變化量計(jì)算步驟中，根據(jù)在上述第1特征量計(jì)算步驟中求得的特征量與在上述第2特征量計(jì)算步驟中求得的特征量之比，求取上述預(yù)定部位群各自的特征量的變化量。
22.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于在上述判斷步驟中，還求出在上述得分計(jì)算步驟中對(duì)上述預(yù)定部位群分別計(jì)算出的得分的總和，根據(jù)該求得的總和的值是否大于等于預(yù)定值，判斷上述輸入裝置輸入的圖像是否是表情場(chǎng)面；進(jìn)而參照該判斷結(jié)果，判斷上述輸入步驟輸入的圖像中的面部的表情。
23.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于在上述第1、第2特征量計(jì)算步驟中，對(duì)上述預(yù)定部位群分別求取圖像上的邊緣，進(jìn)而求取所求得的各個(gè)上述預(yù)定部位的邊緣的端點(diǎn)；在上述變化量計(jì)算步驟中，對(duì)于上述預(yù)定部位群，利用邊緣的長(zhǎng)度的變化量、端點(diǎn)間的距離的變化量、2個(gè)端點(diǎn)構(gòu)成的線段的斜度的變化量中的至少1個(gè)，分別求取特征量的變化量。
24.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于，還包括第2判斷步驟，當(dāng)在上述輸入步驟中連續(xù)地輸入各幀的圖像時(shí)，將從上述第1判斷步驟判斷為連續(xù)的p個(gè)幀的各圖像中的面部的表情為第1表情，到在該判斷后上述第1判斷步驟判斷為連續(xù)的q個(gè)幀的各圖像中的面部的表情為與上述第1表情不同的第2表情為止的各幀的圖像中的面部表情，判斷為第1表情。
25.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于在上述判斷步驟中，求出在上述得分計(jì)算步驟中對(duì)上述預(yù)定部位群分別計(jì)算出的上述每個(gè)表情的得分的總和值，將具有最高的總和值的表情判斷為上述輸入步驟輸入的圖像中的面部的表情。
26.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于包括輸入至少1個(gè)表示表情的信息的表情信息輸入步驟；在上述第1特征量計(jì)算步驟中，在由上述輸入步驟輸入的圖像中的面部上，對(duì)與上述表情信息輸入步驟輸入的信息所表示的表情對(duì)應(yīng)的預(yù)定部位群，分別進(jìn)行求取特征量的處理。
27.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于在上述變化量計(jì)算步驟中，根據(jù)在上述第1特征量計(jì)算步驟中求得的特征量和在上述第2特征量計(jì)算步驟中求得的特征量，求得上述預(yù)定部位群各自的特征量的變化量后，利用基于面部的尺寸變動(dòng)或轉(zhuǎn)動(dòng)變動(dòng)的標(biāo)準(zhǔn)化值，將上述預(yù)定部位群各自的特征量的變化量標(biāo)準(zhǔn)化后輸出。
28.根據(jù)權(quán)利要求27所述的圖像處理方法，其特征在于在上述特征變化量計(jì)算步驟中，根據(jù)在上述第1特征量計(jì)算步驟中求得的特征量和在上述第2特征量計(jì)算步驟中求得的特征量之比，求出上述預(yù)定部位群各自的特征量的變化量后，計(jì)算利用從上述第1特征量計(jì)算步驟得到的眼區(qū)域的重心位置、眼的端點(diǎn)位置、鼻區(qū)域的重心位置、左右鼻腔的重心位置、左右的各鼻腔位置中的至少1個(gè)而得到的兩眼間水平及垂直方向距離、眼鼻間水平及垂直方向距離，和利用從上述第2特征量計(jì)算步驟得到的眼區(qū)域的重心位置、眼的端點(diǎn)位置、鼻區(qū)域的重心位置、左右鼻腔的重心位置、左右鼻腔位置中的至少1個(gè)而得到的兩眼間水平距離、眼鼻間水平及垂直方向距離；通過(guò)利用由上述第1、第2特征量計(jì)算步驟得到的兩眼間水平與垂直方向距離比、眼鼻間水平與垂直方向距離比中的至少1個(gè)，進(jìn)行上述預(yù)定部位群各自的特征量的變化量的標(biāo)準(zhǔn)化。
29.根據(jù)權(quán)利要求27所述的圖像處理方法，其特征在于在上述特征變化量計(jì)算步驟中，利用從上述第1特征量計(jì)算步驟得到的左眼右眼端點(diǎn)間距離比與從上述第2特征量計(jì)算步驟得到的左眼右眼端點(diǎn)間距離比之比，進(jìn)行上述預(yù)定部位群各自的特征量的變化量的標(biāo)準(zhǔn)化。
30.一種圖像處理設(shè)備，其特征在于，包括輸入裝置，輸入包含面部的圖像；第1特征量計(jì)算裝置，對(duì)由上述輸入裝置輸入的圖像中的面部的預(yù)定部位群分別求取特征量；第2特征量計(jì)算裝置，對(duì)包含預(yù)定表情的面部的圖像中的該面部的上述預(yù)定部位群分別求取特征量；變化量計(jì)算裝置，根據(jù)由上述第1特征量計(jì)算裝置求得的特征量和由上述第2特征量計(jì)算裝置求得的特征量，求取上述預(yù)定部位群各自的特征量的變化量；得分計(jì)算裝置，根據(jù)由上述變化量計(jì)算裝置對(duì)上述預(yù)定部位群分別求得的變化量，對(duì)上述預(yù)定部位群分別計(jì)算得分；以及判斷裝置，根據(jù)由上述得分計(jì)算裝置對(duì)上述預(yù)定部位群分別計(jì)算出的得分，判斷由上述輸入裝置輸入的圖像中的面部的表情。
31.一種攝像設(shè)備，其特征在于，包括權(quán)利要求30所述的圖像處理設(shè)備；攝像裝置，拍攝要輸入到上述輸入裝置的圖像；以及存儲(chǔ)裝置，存儲(chǔ)由上述判斷裝置判斷后的圖像。
32.根據(jù)權(quán)利要求31所述的攝像設(shè)備，其特征在于還包括顯示由上述第1判別裝置判斷后的圖像的圖像顯示裝置。
33.根據(jù)權(quán)利要求31所述的攝像設(shè)備，其特征在于當(dāng)由上述判斷裝置判斷出的面部的表情是預(yù)定的表情時(shí)，上述攝像裝置進(jìn)行拍攝。
34.一種程序，其特征在于使計(jì)算機(jī)執(zhí)行權(quán)利要求18所述的圖像處理方法。
35.一種計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，其特征在于存儲(chǔ)有權(quán)利要求34所述的程序。
全文摘要
輸入包含面部的圖像(S201)；從輸入的圖像中檢測(cè)多個(gè)局部特征，并利用該檢測(cè)出的多個(gè)局部特征確定圖像中的面部區(qū)域(S202)；根據(jù)面部區(qū)域中的各局部特征的檢測(cè)結(jié)果與針對(duì)面部區(qū)域中的各局部特征預(yù)先作為基準(zhǔn)求得的檢測(cè)結(jié)果的偏差，判別面部的表情(S204)。
文檔編號(hào)G06T7/20GK1839410SQ20048002404
公開(kāi)日2006年9月27日 申請(qǐng)日期2004年7月16日 優(yōu)先權(quán)日2003年7月18日
發(fā)明者森克彥, 金田雄司, 真繼優(yōu)和, 御手洗裕輔, 鈴木崇士 申請(qǐng)人:佳能株式會(huì)社