專利名稱：具有在線學(xué)習(xí)能力的連續(xù)面貌識(shí)別的制作方法
本申請(qǐng)要求了于2004年2月2日申請(qǐng)、由Nevenka Dimitrova和Jun Fan發(fā)明、標(biāo)題為“具有在線學(xué)習(xí)能力的連續(xù)面貌識(shí)別”的美國(guó)臨時(shí)專利申請(qǐng)60/541,206的優(yōu)先權(quán)。
上述于2004年2月2日申請(qǐng)、由Nevenka Dimitrova和Jun Fan發(fā)明、標(biāo)題為“Continuous Face Recognition With Online Learning”(“具有在線學(xué)習(xí)能力的連續(xù)面貌識(shí)別”)的美國(guó)臨時(shí)專利申請(qǐng)60/541,206的內(nèi)容被引入于此以供參考。
本發(fā)明通常涉及面貌識(shí)別。具體而言，本發(fā)明涉及對(duì)面貌識(shí)別的改進(jìn)，包括對(duì)新面貌的在線學(xué)習(xí)。
面貌識(shí)別已經(jīng)成為研究的活躍領(lǐng)域，其具有許多現(xiàn)行的技術(shù)。一種這樣的技術(shù)使用隨機(jī)神經(jīng)網(wǎng)絡(luò)(probabilistic neural network，通常稱為“PNN”)來(lái)判斷其是否認(rèn)識(shí)在視頻流或者其他圖像中檢測(cè)到的表示面貌的輸入向量。PNN通過(guò)將輸入向量同PNN已經(jīng)結(jié)交的固定數(shù)目的已知面貌相比較的方式來(lái)判斷面貌是“已知的”還是“未知的”。例如如果比較產(chǎn)生十分高的置信值，那么所述面貌被認(rèn)為是數(shù)據(jù)庫(kù)中的相應(yīng)面貌。如果比較未產(chǎn)生十分高的置信值，那么所輸入的面貌只不過(guò)被視為是“未知的”而丟棄。例如由P.K.Patra等人在2002年5月發(fā)表的2002年國(guó)際神經(jīng)網(wǎng)絡(luò)年會(huì)(IEEE IJCNN’02)的會(huì)議記錄的第II卷第1200-1205頁(yè)的“Probabilistic Neural Network for Pattern Classification”(“用于模式分類的隨機(jī)神經(jīng)網(wǎng)絡(luò)”)一文中概括描述了PNN，將其全部?jī)?nèi)容引入于此以供參考。
將PNN應(yīng)用于面貌識(shí)別的現(xiàn)有技術(shù)中的一種困難在于所輸入的面貌僅僅被同預(yù)培訓(xùn)數(shù)據(jù)庫(kù)中的面貌進(jìn)行比較。換句話說(shuō)，如果發(fā)現(xiàn)與用于培訓(xùn)PNN的面貌之一相對(duì)應(yīng)，則所輸入的面貌僅能被判斷為是“已知的”。因此，如果發(fā)現(xiàn)與數(shù)據(jù)庫(kù)中用于培訓(xùn)PNN的任一個(gè)面貌不相對(duì)應(yīng)，那么即使以前系統(tǒng)已經(jīng)檢測(cè)到相同的面貌，而也可能將相同的輸入面貌重復(fù)地判斷為是“未知的”。
美國(guó)專利申請(qǐng)公開(kāi)文本2002/0136433A1(“’433公開(kāi)文本”)描述了應(yīng)用在線培訓(xùn)的面貌識(shí)別系統(tǒng)，所述在線培訓(xùn)用于“自適應(yīng)特征面貌”系統(tǒng)的未知面貌。根據(jù)′433公開(kāi)文本，檢測(cè)到的未知面貌被添加到已知面貌的類別中?！?33公開(kāi)文本此外涉及跟蹤面貌以便未知面貌的多個(gè)圖像可以被添加到數(shù)據(jù)庫(kù)中。然而，′433公開(kāi)文本未講授在判斷是否向數(shù)據(jù)庫(kù)中添加未知面貌時(shí)進(jìn)行選擇。因此，′433數(shù)據(jù)庫(kù)可以迅速地被新面貌擴(kuò)展，同時(shí)也降低了系統(tǒng)的性能。雖然對(duì)某些應(yīng)用(諸如監(jiān)視，其中可能需要捕獲每個(gè)面貌以便稍后識(shí)別)而言捕獲所有未知圖像可能是符合要求的，但是在其他應(yīng)用中這可能是不合需要的。例如，在對(duì)突出面貌的快速識(shí)別很重要的視頻系統(tǒng)中，不加區(qū)別的擴(kuò)展數(shù)據(jù)庫(kù)可能是不合需要的。
本發(fā)明尤其包括向用于面貌識(shí)別的數(shù)據(jù)庫(kù)等中增加新面貌，并保持學(xué)習(xí)新面貌。當(dāng)新面貌被添加到數(shù)據(jù)庫(kù)中時(shí)，在隨后接收的輸入視頻中再次發(fā)現(xiàn)新面貌時(shí)就可以將其檢測(cè)為“已知的”。一個(gè)方面通過(guò)施加規(guī)則來(lái)鑒別要將哪個(gè)新面貌添加到數(shù)據(jù)庫(kù)中以確保僅僅將視頻中的新面貌添加到數(shù)據(jù)庫(kù)中。這使得“偽造的(spurious)”或“飛逝的(fleeting)”的面貌不會(huì)被添加到數(shù)據(jù)庫(kù)中。
在這里對(duì)在下面的說(shuō)明書(shū)中所使用的術(shù)語(yǔ)作出旁注通常，如果在系統(tǒng)中存儲(chǔ)有關(guān)于面部特征的數(shù)據(jù)則系統(tǒng)認(rèn)定面貌是“已知的”。通常，在面貌是“已知的”的情況下，系統(tǒng)就可以將包括該面貌的輸入認(rèn)定為與所存儲(chǔ)的面貌相對(duì)應(yīng)。例如，在基于PNN的系統(tǒng)中，如果存在與面貌相對(duì)應(yīng)的類別則面貌是“已知的”，如果不存在這樣的類別則認(rèn)為面貌是“未知的”。(當(dāng)然，因?yàn)樵谳斎氲囊阎婷埠退念悇e之間可能“錯(cuò)過(guò)”，所以存在與面貌相對(duì)應(yīng)的類別不一定意味著所述處理始終將判斷匹配或者符合。)系統(tǒng)通常為“已知的”面貌指定標(biāo)識(shí)符，諸如標(biāo)簽或者參考號(hào)之類。(如將看到的那樣，圖2和圖6中的標(biāo)簽F1、F2、...、FN以及圖6中的FA表示系統(tǒng)中的這種通用標(biāo)識(shí)符。)系統(tǒng)可以存儲(chǔ)有關(guān)于面部特征的數(shù)據(jù)和面貌的這種系統(tǒng)標(biāo)識(shí)符或者標(biāo)簽，而無(wú)需存儲(chǔ)人的身份(諸如人的名字之類)。因此，在系統(tǒng)包括所存儲(chǔ)的面貌的面貌數(shù)據(jù)而無(wú)需具有關(guān)于面貌的人員識(shí)別的數(shù)據(jù)的意義上而言，系統(tǒng)“知曉”面貌。當(dāng)然，系統(tǒng)既可以“知曉”面貌又可以具有該面貌的相應(yīng)人員的標(biāo)識(shí)數(shù)據(jù)。
因此，本發(fā)明包括一種系統(tǒng)，所述系統(tǒng)具有用于提供對(duì)在視頻輸入中檢測(cè)到的面貌圖像是否與分類器中的已知面貌相對(duì)應(yīng)的判斷的面貌分類器。當(dāng)符合一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)的未知檢測(cè)面貌持續(xù)存在于視頻輸入中時(shí)，所述系統(tǒng)將未知檢測(cè)面貌添加到分類器中。所述未知面貌因此變成對(duì)系統(tǒng)而言是已知的。
面貌分類器例如可以是隨機(jī)神經(jīng)網(wǎng)絡(luò)(PNN)，并且如果在視頻輸入中檢測(cè)到的面貌圖像與PNN中的類別相對(duì)應(yīng)則所檢測(cè)到的面貌圖像是已知面貌。當(dāng)未知面貌符合持續(xù)標(biāo)準(zhǔn)時(shí)，則系統(tǒng)可以通過(guò)向PNN中添加未知面貌的類別和一個(gè)或多個(gè)模式結(jié)點(diǎn)將未知面貌添加到PNN中，借此讓未知面貌為系統(tǒng)所知曉。一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)可以包括對(duì)視頻輸入中的同一個(gè)未知面貌檢測(cè)最小時(shí)間周期。
本發(fā)明還包括相似的面貌分類方法。例如，一種面貌識(shí)別方法，包括下述步驟判斷在視頻輸入中檢測(cè)到的面貌圖像是否與存儲(chǔ)器中的已知面貌相對(duì)應(yīng)，以及當(dāng)未知檢測(cè)面貌根據(jù)一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)而持續(xù)存在于視頻輸入中時(shí)把該未知檢測(cè)面貌添加到存儲(chǔ)器中。
本發(fā)明還包括相似的面貌分類技術(shù)，所述技術(shù)使用諸如照片之類的離散圖像。所述技術(shù)還包括當(dāng)在至少一個(gè)圖像中的面貌滿足一個(gè)或多個(gè)突出標(biāo)準(zhǔn)時(shí)添加未知面貌(在視頻或者離散圖像的情況中)，其中所述一個(gè)或多個(gè)突出標(biāo)準(zhǔn)例如是閾值大小。
在下文中將結(jié)合附圖描述本發(fā)明的優(yōu)選示例性實(shí)施方式，其中相同的標(biāo)記指示相同的元件，并且

圖1是根據(jù)本發(fā)明的實(shí)施方式的系統(tǒng)的典型方框圖；圖1a是圖1的系統(tǒng)的不同級(jí)別的典型圖；圖2是圖1的系統(tǒng)的組件的最初培訓(xùn)修改的PNN；圖3是圖1的系統(tǒng)的多個(gè)組件的更詳細(xì)說(shuō)明；圖3a是根據(jù)圖3中的特征抽取組件為面貌圖像所創(chuàng)建的矢量量化直方圖；圖4是根據(jù)概率分布函數(shù)用于顯示某些結(jié)果的典型一維實(shí)例；圖5顯示了圖4的修改實(shí)例；以及圖6是包括由在線培訓(xùn)創(chuàng)造的新類別的圖2的修改PNN。
如上所述，本發(fā)明尤其包括對(duì)視頻圖像中持續(xù)存在的新的(也就是未知的)面貌進(jìn)行在線培訓(xùn)的面貌識(shí)別。新面貌在視頻圖像中的持續(xù)程度是由一個(gè)或多個(gè)因素所測(cè)量的，所述一個(gè)或多個(gè)因素是提供例如這樣的確認(rèn)，即該面貌是新面貌并且提供這樣一個(gè)閾值，所述閾值即面貌十分顯著以批準(zhǔn)添加到數(shù)據(jù)庫(kù)中從而用于將來(lái)的判斷(也就是，變成“已知的”面貌)。
圖1描繪了本發(fā)明的示例性實(shí)施方式。圖1表示本發(fā)明的系統(tǒng)實(shí)施方式和方法實(shí)施方式。在下面將使用系統(tǒng)術(shù)語(yǔ)以描述實(shí)施方式，不過(guò)應(yīng)該注意的是如下所述的處理步驟也用來(lái)描述和舉例說(shuō)明相應(yīng)的方法實(shí)施方式。如從下面的說(shuō)明中很容易看出的，位于頂端的虛線之上(部分A)的視頻輸入20和樣本面貌圖像70被輸入到系統(tǒng)10中，收到之后所述視頻輸入20和樣本面貌圖像70可以被存儲(chǔ)在系統(tǒng)10的存儲(chǔ)器中。虛線內(nèi)的程序方塊圖(部分“B”)包括如下所述由系統(tǒng)10執(zhí)行的處理算法。
如本領(lǐng)域技術(shù)人員所很容易理解的那樣，部分B中的系統(tǒng)10的處理算法可以存在于由一個(gè)或多個(gè)處理器執(zhí)行并可以隨時(shí)間流逝由系統(tǒng)修改的軟件中(例如，以反映如下所述的對(duì)MPNN的在線培訓(xùn))。如從下面的說(shuō)明中還將明了的，各個(gè)處理模塊算法輸入是由其他處理模塊的輸出提供的，直接或者通過(guò)相關(guān)存儲(chǔ)器提供。(圖1a提供了支持圖1中所表示的系統(tǒng)10的處理的硬件和軟件組件的簡(jiǎn)易典型實(shí)施方式。因此，由圖1的部分B中的方塊圖所表示的系統(tǒng)10的處理可以由圖1a中的處理器10a結(jié)合相關(guān)的存儲(chǔ)器10b和軟件10c來(lái)執(zhí)行。)圖1的系統(tǒng)10利用了面貌分類器40中的PNN，在如下所述的實(shí)施方式中所述PNN被修改以形成一個(gè)修改的PNN或者“MPNN”42，因此始終被稱為“MPNN”。然而，應(yīng)當(dāng)理解的是基礎(chǔ)(也就是未修改的)PNN也可以用于本發(fā)明。在所述實(shí)施方式中面貌分類器40主要由MPNN 42組成，但也可以包括其他處理。例如，如下所述，某些或者全部判定塊50可以被認(rèn)為是同MPNN 42相分離的分類器40的一部分。(此外，也可以使用備選的面貌分類技術(shù)。)因此，為了概念清楚起見(jiàn)面貌分類器40和MPNN 42是單獨(dú)顯示的，不過(guò)如在此描述的圖1的實(shí)施方式中它們實(shí)質(zhì)上是共生的。此外，系統(tǒng)10從樣本面貌圖像和視頻輸入中提取面部特征以判斷所述面貌是已知的還是未知的。許多不同的面貌特征提取技術(shù)均可以在系統(tǒng)10中使用，諸如矢量量化(vectorquantizafion，VQ)直方圖或者特征面貌特征。在圖1的示例性系統(tǒng)10中，矢量化(VQ)直方圖特征被用作面貌特征。
最初在圖1的系統(tǒng)10中，樣本面貌圖像70被輸入到系統(tǒng)10中以提供對(duì)MPNN 42的初始離線培訓(xùn)90。樣本面貌圖像具有多個(gè)不同的面貌，也就是第一面貌F1、第二面貌F2、...、第n面貌FN，其中N是樣本圖像中的不同面貌的總數(shù)。面貌F1-FN將包括初始“已知的”面貌(或者面貌類別)并通過(guò)他們的分類標(biāo)簽F1、F2、...、FN而對(duì)于系統(tǒng)是“已知的”。培訓(xùn)中所使用的樣本面貌圖像70包括面貌類別F1的多個(gè)樣本圖像，F(xiàn)2的多個(gè)樣本圖像，...，F(xiàn)N的多個(gè)樣本圖像。對(duì)在塊70中輸入的樣本圖像而言，已知哪個(gè)圖像與哪種面貌類別相對(duì)應(yīng)。
每個(gè)面貌類別的樣本圖像被用于創(chuàng)建面貌分類器40的MPNN 42中的面貌類別的模式結(jié)點(diǎn)和類別。因此，與F1相對(duì)應(yīng)的樣本圖像被用于創(chuàng)建F1的模式和類別結(jié)點(diǎn)，與F2相對(duì)應(yīng)的樣本圖像被用于創(chuàng)建F2的模式和類別結(jié)點(diǎn)，等等。由特征提取器75處理樣本面貌圖像70以創(chuàng)建每個(gè)樣本面貌圖像的相應(yīng)輸入特征向量X。(在下面對(duì)離線培訓(xùn)90的說(shuō)明中，“X”一般指的是在考慮之中的特殊樣本圖像的輸入特征向量。)在示例性的實(shí)施方式中，輸入特征向量X包括從每個(gè)樣本圖像70提取的VQ直方圖。特征提取的VQ直方圖技術(shù)為本領(lǐng)域所熟知，以及下面在輸入視頻圖像塊35的類似特征提取環(huán)境中將被描述。因此，每個(gè)樣本圖像的輸入特征向量X將具有由所使用的矢量代碼本所確定的多個(gè)維度(在下面的特殊實(shí)例中是33)。
在樣本圖像的輸入特征向量X被提取之后，由分類器培訓(xùn)器80對(duì)其執(zhí)行標(biāo)準(zhǔn)化。分類器培訓(xùn)器80還將標(biāo)準(zhǔn)化的X指定為MPNN 42中的各個(gè)模式結(jié)點(diǎn)的加權(quán)向量W。因此，每個(gè)模式結(jié)點(diǎn)還與面貌之一的樣本圖像相對(duì)應(yīng)。培訓(xùn)器80將每個(gè)模式結(jié)點(diǎn)與為類別層中的相應(yīng)面貌所創(chuàng)建的結(jié)點(diǎn)相連接。一旦全部樣本輸入圖像被以同樣的方式接收和處理，那么MPNN 42就被最初培訓(xùn)。每個(gè)面貌類別將被連接到多個(gè)模式結(jié)點(diǎn)，每個(gè)模式結(jié)點(diǎn)具有與從該類別的樣本面貌圖像中提取的特征向量相對(duì)應(yīng)的加權(quán)向量。每個(gè)面貌的模式結(jié)點(diǎn)(或者類別)的加權(quán)向量一起生成下面的該類別的概率分布函數(shù)(probability distributionfunction，PDF)。
圖2是由分類器培訓(xùn)器80最初離線培訓(xùn)90的面貌分類器40的MPNN 42的說(shuō)明。n_1個(gè)由塊70輸出的輸入樣本圖像與面貌F1相對(duì)應(yīng)。分配給第一模式結(jié)點(diǎn)的加權(quán)向量W11等于從F1的第一樣本圖像中提取的標(biāo)準(zhǔn)化的輸入特征向量；分配給第二模式結(jié)點(diǎn)的加權(quán)向量W12等于從F1的第二樣本圖像中提取的標(biāo)準(zhǔn)化的輸入特征向量；…；分配給第n_1模式結(jié)點(diǎn)的加權(quán)向量W1n_1等于從F1的第n_1樣本圖像中提取的標(biāo)準(zhǔn)化輸入特征向量。最初的n_1個(gè)模式結(jié)點(diǎn)同相應(yīng)的類別結(jié)點(diǎn)F1相連接。同樣，n_2個(gè)輸入樣本圖像與面貌F2相對(duì)應(yīng)。接下來(lái)分別具有加權(quán)向量W21-W2n_2的n_2個(gè)模式結(jié)點(diǎn)是利用F2的n_2個(gè)樣本圖像以同樣的方式產(chǎn)生的。面貌F2的模式結(jié)點(diǎn)同類別F2相連接。隨后的模式結(jié)點(diǎn)和類別結(jié)點(diǎn)是以同樣的方式為隨后的面貌類別創(chuàng)建的。在圖2中，培訓(xùn)使用N個(gè)不同面貌的多個(gè)樣本圖像。
現(xiàn)在將簡(jiǎn)要描述用于創(chuàng)建圖2的最初培訓(xùn)MPNN的算法。如上所述，對(duì)在塊70中輸入的當(dāng)前樣本面貌圖像而言，特征提取器75首先創(chuàng)建相應(yīng)的輸入特征向量X(如下所述，在特殊實(shí)施方式中所述輸入特征向量X是VQ直方圖)。分類器培訓(xùn)器80首先通過(guò)標(biāo)準(zhǔn)化輸入特征向量的方式將該輸入特征向量轉(zhuǎn)換為模式結(jié)點(diǎn)的加權(quán)向量，其中所述標(biāo)準(zhǔn)化輸入特征向量是通過(guò)將該矢量除以其各自的幅度而得出的X′=X·(1/∑X2)---(1)]]>當(dāng)前樣本圖像(并因此當(dāng)前相應(yīng)的標(biāo)準(zhǔn)化特征向量X′)與已知面貌Fj相對(duì)應(yīng)，其中Fj是培訓(xùn)的面貌F1、F2、...、FN之一。此外，如所標(biāo)注的那樣，通常在塊70的樣本面貌流中的每個(gè)已知面貌都有多個(gè)樣本圖像。因此，當(dāng)前樣本圖像通常將是與由塊70輸出的Fj相對(duì)應(yīng)的第m個(gè)樣本圖像。從而把標(biāo)準(zhǔn)化輸入特征向量X′分配給類別Fj的第m個(gè)模式結(jié)點(diǎn)作為加權(quán)向量Wjm＝X＇ (2)具有加權(quán)向量Wjm的模式結(jié)點(diǎn)同各自的類別結(jié)點(diǎn)Fj相連接。由塊70輸入的其他樣本面貌圖像被轉(zhuǎn)換為特征提取塊75中的輸入特征向量，并由分類器培訓(xùn)器80以同樣的方式處理從而創(chuàng)建圖2所示的面貌分類器的最初配置MPNN42。
例如，回頭參照?qǐng)D2，如果由塊70輸入的當(dāng)前的樣本圖像是面貌F1的第一樣本圖像，那么特征提取器75創(chuàng)建該圖像的輸入特征向量X。分類器培訓(xùn)器80標(biāo)準(zhǔn)化輸入特征向量并將其分配作為F1的第一模式結(jié)點(diǎn)的加權(quán)向量W11。接下來(lái)的樣本圖像可以用于面貌F9的第三樣本圖像。在塊75中提取該接下來(lái)的樣本圖像的輸入特征向量X之后，分類器培訓(xùn)器80標(biāo)準(zhǔn)化特征向量，然后將標(biāo)準(zhǔn)化特征向量分配作為F9(未顯示)的第三模式結(jié)點(diǎn)的加權(quán)向量W93。在某些輸入圖像之后，正在被培訓(xùn)的另一個(gè)樣本圖像被再次用于F1。該圖像被以同樣的方式處理，并被分配作為F1的第二模式結(jié)點(diǎn)的加權(quán)向量W12。
以同樣的方式處理全部樣本面貌圖像70，從而產(chǎn)生圖2的分類器40的最初培訓(xùn)MPNN 42。在這種初始離線培訓(xùn)90之后，面貌分類器40包括MPNN 42，所述MPNN 42具有由離線培訓(xùn)產(chǎn)生的并反映用于離線培訓(xùn)的面貌的模式層和類別層。這種面貌包括離線培訓(xùn)的基于MPNN的系統(tǒng)的最初“已知的”面貌。
如稍后將描述的那樣，輸入節(jié)點(diǎn)I1、I2、...、IM將接收檢測(cè)的面貌圖像的特征向量并判斷其是否與已知面貌類別相對(duì)應(yīng)。從而，每個(gè)輸入節(jié)點(diǎn)同每個(gè)模式結(jié)點(diǎn)相連接并且輸入節(jié)點(diǎn)的數(shù)目等于特征向量中的維數(shù)(在下面的特殊實(shí)例中是33)。
如上所述，MPNN的培訓(xùn)可以做為一系列的輸入樣本圖像而完成，或者也可以同時(shí)處理多個(gè)圖像。同樣，從上述的說(shuō)明中很清楚的知道樣本面貌圖像輸入的次序是不相關(guān)的。因?yàn)槊總€(gè)樣本圖像的面貌類別是已知的，所以每個(gè)已知面貌的全部樣本可以被順序提交，或者可以被次序顛倒地處理(如在如上的實(shí)例中那樣)。但不論是哪種情況，最后的培訓(xùn)MPNN 42就如圖2所示的那樣。
應(yīng)該注意的是在這種系統(tǒng)10的初始離線培訓(xùn)之后直接形成的MPNN類似于現(xiàn)有技術(shù)中僅僅使用離線培訓(xùn)的PNN系統(tǒng)中的MPNN那樣。例如，這種離線培訓(xùn)90可以根據(jù)由Patra等著的上述引用文檔來(lái)執(zhí)行。
在此(以及如下所述)應(yīng)當(dāng)注意的是本發(fā)明未必需要離線培訓(xùn)90。相反如下所述還可以僅利用在線培訓(xùn)110來(lái)建立MPNN 42。然而，對(duì)于當(dāng)前描述的實(shí)施方式來(lái)說(shuō)，MPNN 42是利用離線培訓(xùn)90來(lái)進(jìn)行最初的培訓(xùn)，并且如圖2所示。在如上所述的MPNN 42的初始離線培訓(xùn)90之后，系統(tǒng)10常常檢測(cè)視頻輸入20中的面貌，并且如果檢測(cè)到，則判斷檢測(cè)到的面貌是否與MPNN42的類別之一的已知面貌相對(duì)應(yīng)。回頭查閱圖1，視頻輸入20首先進(jìn)行現(xiàn)有的面貌檢測(cè)30處理技術(shù)，其檢測(cè)視頻輸入20中的面貌(或者多個(gè)面貌)的存在和位置。(因此，面貌檢測(cè)處理30僅僅識(shí)別在視頻輸入中是否存在面貌的圖像，而不去識(shí)別所述圖像是否是已知的。)系統(tǒng)10可以使用任何現(xiàn)有的面貌檢測(cè)技術(shù)。
因此面貌檢測(cè)算法30可以利用已知的AdaBoost應(yīng)用來(lái)進(jìn)行快速目標(biāo)檢測(cè)，如在“Rapid Object Detection Using A Boosted Cascade of Simple Features”by P.Viola and M.Jones，Proceedings of the 2001 IEEE Conference on Computer Visionand Pattern Recognition(IEEE CVPR′01)，Vol.I，pp.511-518，Dec.2001中描述的那樣，將其全部?jī)?nèi)容引入于此以供參考。所使用的基本面貌檢測(cè)算法30可以是如由Viola所描述的，也就是將所述基本面貌檢測(cè)算法30構(gòu)造成層疊階段，其中每個(gè)階段是強(qiáng)分類器，并且每個(gè)階段由幾個(gè)弱分類器組成，每個(gè)弱分類器與圖像的特征相對(duì)應(yīng)。輸入視頻圖像20被從左至右，從上到下掃描，并且在圖像中分析不同尺寸的矩形以判斷是否包括面貌。因此，繼矩形之后應(yīng)用分類器的階段。對(duì)矩形而言每個(gè)階段得到一個(gè)分?jǐn)?shù)，所述分?jǐn)?shù)是包括所述階段的弱分類器的響應(yīng)的總和。(在下面應(yīng)當(dāng)注意的是對(duì)于矩形的評(píng)分通常涉及觀察兩個(gè)或更多的子矩形。)如果所述總和超出所述階段的閾值，那么矩形前進(jìn)至下一個(gè)階段。如果矩形的分?jǐn)?shù)通過(guò)所有階段的閾值，則判斷包括面貌部分，并且所述面貌圖像被傳至特征提取35。如果矩形低于任何階段的閾值，那么丟棄所述矩形并且算法前進(jìn)至圖像中的另一個(gè)矩形。
所述分類器可以像在Viola中那樣通過(guò)每次添加一個(gè)弱分類器的方式來(lái)構(gòu)造，所述弱分類器是利用設(shè)置用于建立階段或者強(qiáng)分類器的驗(yàn)證來(lái)評(píng)估的。新的弱分類器被添加到當(dāng)前正在構(gòu)造的階段中。每個(gè)增加的圓t通過(guò)最小化下式添加矩形特征分類器h至正在構(gòu)造的強(qiáng)分類器的當(dāng)前特征集中Et=Σ1Dt(i)exp(-αtyiht(xi))---(3)]]>上述等式3等于在Viola的方法中所使用的等式，并且Et表示與第t個(gè)矩形特征分類器ht有關(guān)的加權(quán)誤差，所述矩形特征分類器ht是利用矩形培訓(xùn)實(shí)例xi評(píng)估的。(用于矩形實(shí)例的小寫(xiě)字體注釋“xi”將其同用于MPNN的圖像的特征向量標(biāo)注X區(qū)別開(kāi)來(lái)。)基本上ht(xi)是像素的總和的加權(quán)總和，特別是培訓(xùn)實(shí)例xi的矩形子區(qū)域的像素的總和的加權(quán)總和。如果ht(xi)超過(guò)設(shè)定閾值，那么ht(xi)的輸出，例如xi是1，以及如果ht(xi)沒(méi)有超過(guò)設(shè)定閾值，那么ht(xi)的輸出是-1。因?yàn)樵谏厦娴牡仁街衕被限定為是+1或者-1，所以變量αt是關(guān)于正在構(gòu)造的強(qiáng)分類器的該弱前提h的影響(幅度)。此外，yi≡[-1，1]是實(shí)例xi的目標(biāo)標(biāo)簽(也就是說(shuō)，xi是特征h的負(fù)實(shí)例還是正實(shí)例對(duì)于培訓(xùn)集的實(shí)例而言是已知的)。D是ht特征的第i個(gè)實(shí)例的權(quán)重因數(shù)。
一旦利用該方式確定了最小的E，那么相應(yīng)的矩形特征分類器h(以及它的幅度α)被用于構(gòu)造新的弱分類器?？蛻魶Q定的h閾值還可以利用培訓(xùn)集的方式或者根據(jù)正負(fù)實(shí)例的分布來(lái)確定。根據(jù)設(shè)定的參數(shù)選擇最好將正負(fù)實(shí)例間隔開(kāi)的閾值。(參照上述的Viola文檔中的閾值θj。)應(yīng)當(dāng)注意，弱分類器還包括α，其是一個(gè)實(shí)值的數(shù)字，表示所選擇的矩形特征分類器h對(duì)正在構(gòu)造的強(qiáng)分類器有多大的影響(并根據(jù)在培訓(xùn)過(guò)程中確定的錯(cuò)誤E而被確定)。當(dāng)實(shí)現(xiàn)時(shí)，圖像的輸入矩形部分典型地也由h根據(jù)輸入矩形的兩個(gè)或更多子矩形重的像素的加權(quán)總和來(lái)分析，并且如果對(duì)輸入矩形而言超出閾值(根據(jù)培訓(xùn)確定的)則將h的輸出設(shè)置為1，如果未超出閾值則設(shè)置h＝-1。新的弱分類器的輸出是h乘以影響值α的二進(jìn)制輸出。強(qiáng)分類器由在培訓(xùn)期間添加的弱分類器的總和組成。
一旦新的弱分類器被添加，則如果分類器的性能(根據(jù)檢出率和虛警率)滿足驗(yàn)證設(shè)置所要求的設(shè)計(jì)參數(shù)，那么因?yàn)樾陆砑拥娜醴诸惼髯銐驒z測(cè)其各自的特征所以其結(jié)束正在構(gòu)造的階段。否則，添加并評(píng)估另一個(gè)弱分類器。一旦構(gòu)造了所有要求特征的階段并根據(jù)驗(yàn)證設(shè)置的設(shè)計(jì)參數(shù)執(zhí)行，則分類器完成。
做為選擇，Viola弱分類器的上述結(jié)構(gòu)的修改也可以用于面貌檢測(cè)器30。在所述修改中，在新的弱分類器的h的選擇期間α被合并到h中。以類似于如上所述的方式，通過(guò)最小化E的方式選擇新的弱分類器h(現(xiàn)在合并了α)。關(guān)于弱分類器的實(shí)現(xiàn)，在修改過(guò)程中可以利用“放大殘余(boosting stumps)”。放大殘余是根據(jù)在非葉的父本模式中所作的判定而輸出左右葉值的判定樹(shù)。因此，弱分類器由輸出兩個(gè)真值之一(兩個(gè)葉c_left和c_right之一)的判定樹(shù)組成，而非輸出1和-1。如下所述，弱分類器還包括自定義判定閾值。對(duì)圖像的輸入矩形部分而言，所選擇的矩形特征分類器h被用于判斷在輸入矩形的子矩形區(qū)域之間的像素強(qiáng)度的和的加權(quán)和是否大于閾值。如果大于則從弱分類器輸出c_left，如果小于則輸出c_right。
在對(duì)所選擇的h的培訓(xùn)期間，根據(jù)針對(duì)指定閾值將多少正負(fù)實(shí)例分配到分區(qū)的左側(cè)和右側(cè)來(lái)確定葉c_left和c_right。(因?yàn)榕嘤?xùn)集中的地面真值是已知的，所以實(shí)例是正還是負(fù)是客觀已知的。)在整個(gè)樣本集上評(píng)價(jià)矩形和的加權(quán)和，因此給出差值的分布，然后將其進(jìn)行分類。從分類分布而言，并鑒于所需的檢測(cè)率和虛警率，目的在于選擇這樣的分區(qū)，其中大多數(shù)的正實(shí)例落入一邊而大多數(shù)的負(fù)實(shí)例落入另一邊。對(duì)于已分類的分布而言，通過(guò)選擇使下面的等式中的T最小的分區(qū)來(lái)執(zhí)行最適宜的拆分(指定用于弱分類器的自定義判定閾值)T=2(W+LeftW-Left)+W+RightW-Right---(4)]]>其中W表示落入所考慮的分區(qū)的左邊或者右邊的培訓(xùn)集中實(shí)例的權(quán)重，也就是“正”或者“負(fù)”。
所選擇的分區(qū)(使T最小的分區(qū))產(chǎn)生自定義判定閾值；此外，c_left和c_right是根據(jù)下述等式由培訓(xùn)數(shù)據(jù)分布計(jì)算的 其中W現(xiàn)在表示實(shí)例的權(quán)重，這些實(shí)例被分配給所選擇分區(qū)的左側(cè)或者右側(cè)，也就是是“正”或者“負(fù)”(以及ε是平滑項(xiàng)，用于防止由大的預(yù)測(cè)所引起的數(shù)值問(wèn)題)。這些值用來(lái)保持弱分類器平衡的下一次迭代的權(quán)重，也就是保持在基本上相等的邊界的每側(cè)的正負(fù)實(shí)例的相對(duì)權(quán)重。
應(yīng)當(dāng)注意，盡管弱分類器可以是在Viola中提到的所述結(jié)構(gòu)，但是做為選擇，弱分類器也可以是上面直接描述的決策樹(shù)枝那樣的結(jié)構(gòu)。此外，應(yīng)該注意的是對(duì)任何一個(gè)弱分類器的培訓(xùn)都可以使用替換技術(shù)。根據(jù)一種技術(shù)，為了檢測(cè)當(dāng)前正在添加的弱分類器，驗(yàn)證設(shè)置的實(shí)例被掃描通過(guò)先前階段全部的先前添加的弱分類器以及先前被加到當(dāng)前階段的弱分類器。然而，一旦在先的弱分類器被采用和計(jì)分，則分?jǐn)?shù)不再變化。因此，在一種更有效的替換技術(shù)中，存儲(chǔ)經(jīng)過(guò)在前全部階段的矩形及其在前階段的分?jǐn)?shù)。代替將實(shí)例通過(guò)全部的在前階段，這些保持的矩形的在前的分?jǐn)?shù)被用于培訓(xùn)當(dāng)前的弱分類器，并且保持的矩形僅必須通過(guò)當(dāng)前的弱分類器以便更新分?jǐn)?shù)。
一旦由面貌檢測(cè)30在視頻20中檢測(cè)到面貌圖像，就將其在特征提取器35中處理以產(chǎn)生圖像的VQ直方圖。該特征提取處理產(chǎn)生所檢測(cè)的圖像的特征向量XD。符號(hào)XD(表示“檢測(cè)”的X)用于強(qiáng)調(diào)該矢量與在視頻信息流20中所檢測(cè)的面貌圖像(在下面為35a)相對(duì)應(yīng)，而不是培訓(xùn)中的樣本面貌圖像。然而，應(yīng)該注意的是所檢測(cè)的圖像的特征向量XD是利用和上述討論到的用于離線培訓(xùn)90的樣本面貌圖像的輸入特征向量X一樣的方法提取的。因此，系統(tǒng)10中的特征提取器35和75可以相同。包括所檢測(cè)的面貌圖像的視頻幀和用于培訓(xùn)的樣本圖像可以具有相同的原始輸入格式，而在這樣情況下特征提取處理是相同的。
現(xiàn)在將參照面貌檢測(cè)器30中所檢測(cè)的視頻輸入20中的面貌圖像來(lái)更詳細(xì)地描述由特征提取器35執(zhí)行的特征提取。圖3顯示了用于將所檢測(cè)的面貌圖像變換成VQ直方圖以輸入到面貌分類器40中的特征提取器35的元件。在視頻輸入(圖3中標(biāo)記為面貌片斷35a)中檢測(cè)的面貌圖像被發(fā)送到低通濾波器35b。在此的面貌圖塊35a仍以其原始視頻格式處于視頻幀中。低通濾波器35a用于減少高頻噪聲并提取面貌圖塊35a的最有效低頻分量用于識(shí)別。面貌圖塊然后被分成4乘4的像素塊(處理塊35c)。此外，為每個(gè)4乘4的象素塊確定最低強(qiáng)度并從各個(gè)塊中減去該強(qiáng)度。其結(jié)果是每個(gè)4乘4的塊的強(qiáng)度變化。
在處理塊35d中，每個(gè)這樣的4乘4的面貌圖像塊同存儲(chǔ)在存儲(chǔ)器的矢量代碼本35e中的代碼進(jìn)行比較。代碼本35e是本領(lǐng)域眾所周知的，并利用具有單調(diào)強(qiáng)度變化的33個(gè)代碼向量進(jìn)行系統(tǒng)地組織。最先的32個(gè)代碼向量是通過(guò)改變強(qiáng)度變化的方向和范圍而生成的，以及第33個(gè)矢量不包含變化和方向，如圖3所示。針對(duì)每個(gè)4乘4的塊而選擇的代碼向量是具有與針對(duì)該塊的所判斷的強(qiáng)度變換最匹配的代碼向量。歐幾里德距離被用于在圖像塊和代碼本的代碼向量之間的距離匹配。
因此33個(gè)代碼向量的每一個(gè)都具有圖像中特定數(shù)目的匹配4乘4的塊。每個(gè)代碼向量的匹配數(shù)目用于生成圖像的VQ直方圖35f。VQ直方圖35f被生成，其具有沿x軸的代碼向量池(bins)1-33，以及在y維上顯示每個(gè)代碼向量的匹配數(shù)目。圖3a表示VQ直方圖35f’，所述VQ直方圖是通過(guò)諸如在圖3中所示的特征提取器的處理針對(duì)面貌圖塊35a’而生成的。沿x軸顯示代碼向量1-33的池，沿y軸顯示在每個(gè)代碼向量和圖像35a’的4乘4的圖像塊之間匹配的數(shù)目。應(yīng)當(dāng)注意在該示例性的實(shí)施方式中，VQ直方圖被用作所檢測(cè)的面貌圖像的圖像特征矢量XD。(同樣地，用于該處理的圖像特征矢量XD可以被表示為33維的矢量XD＝(和代碼向量1相匹配的號(hào)碼，和代碼向量2相匹配的號(hào)碼，...，和代碼向量V相匹配的號(hào)碼)，其中V是代碼本中最后的代碼向量數(shù)(對(duì)于上述的代碼本，V＝33)。
文檔″Face Recognition Using Vector Quantization Histogram Method″by K.Kotani et al.，Proceedings of the 2002 International Conference on Image Processing(IEEE ICIP′02)，Vol.II，pp.105-108(Sept.2002)被結(jié)合與此以供參考，所述文檔描述了利用VQ直方圖來(lái)表示面部特征，其基本上如上所述參照由特征提取器35從輸入面貌圖像35a生成VQ直方圖35f。
圖3還顯示了面貌分類器40的MPNN 42。VQ直方圖35f輸出所輸入的面貌圖像35a的特征向量XD。特征向量XD被發(fā)送到MPNN 42的輸入層，并被處理以判斷基底面貌片斷是已知的還是未知的。
現(xiàn)在返回到如圖2所示的MPNN 42的初始培訓(xùn)結(jié)構(gòu)，如上所述，每個(gè)模式結(jié)點(diǎn)都被分配了加權(quán)向量W，所述加權(quán)向量W等于面貌類別中樣本培訓(xùn)圖像的標(biāo)準(zhǔn)化輸入特征向量X。因?yàn)橐酝琗D相同的方式來(lái)從樣本圖像中提取培訓(xùn)的輸入特征向量，所以兩個(gè)矢量具有相同的維數(shù)(在用于提取的33維代碼向量的示例性的實(shí)施方式中是33)并表示在相應(yīng)矢量維度中其各自圖像的相同的特征。因此，所檢測(cè)的圖像的XD和類別的樣本圖像的加權(quán)向量W被比較以判斷在XD和類別的已知面貌之間的對(duì)應(yīng)性。
XD被經(jīng)由輸入層結(jié)點(diǎn)輸入至MPNN 42，并且MPNN 42利用模式結(jié)點(diǎn)中的加權(quán)向量來(lái)評(píng)價(jià)與每個(gè)面貌類別的對(duì)應(yīng)性。MPNN 42通過(guò)確定每個(gè)類別各自的PDF值的方式將XD和已知面貌類別(F1，F(xiàn)2，....)進(jìn)行比較。首先，輸入層標(biāo)準(zhǔn)化輸入向量XD，(通過(guò)將其除以其幅度)以便將其縮放成對(duì)應(yīng)于在離線培訓(xùn)期間的模式層的加權(quán)向量的在前標(biāo)準(zhǔn)化XD′=XD·(1/∑XD2)---(7)]]>第二，在模式層中，MPNN 42執(zhí)行在標(biāo)準(zhǔn)化的輸入向量XD＇和圖2所示的每個(gè)模式結(jié)點(diǎn)的加權(quán)向量W之間的標(biāo)量積，從而產(chǎn)生每個(gè)模式結(jié)點(diǎn)的輸出矢量值ZZ11=XD′·W11,---(8a)]]>Z12=XD′·W12,---(8b)]]>.
.
.
ZNn_N=XD′·WNn_N---(8n)]]>其中模式結(jié)點(diǎn)的加權(quán)向量W的參考符號(hào)(以及因此生成的輸出矢量Z)如圖2所示，并且如針對(duì)離線培訓(xùn)在上文中描述的那樣。
最后，與每個(gè)類別相對(duì)應(yīng)的模式結(jié)點(diǎn)的輸出值被合計(jì)在一起并被標(biāo)準(zhǔn)化以確定每個(gè)相應(yīng)的類別的輸入向量XD的PDF(函數(shù)f)的值。因此，對(duì)于第j種類別Fj來(lái)說(shuō)，第j種類別的模式結(jié)點(diǎn)的輸出值Zj1-Zjn_j被使用，其中n_j是類別j的模式結(jié)點(diǎn)的數(shù)目。按照下述方式計(jì)算正在考慮之中的類別Fj的PDF值ffFj(XD)=Σl=1n_j(exp[(Zjl-1)/σ2])/n_j---(9)]]>其中σ是平滑因數(shù)。對(duì)j＝1至N利用等式9，利用與每個(gè)相應(yīng)的類別相對(duì)應(yīng)的模式結(jié)點(diǎn)的輸出值Z來(lái)分別為類別F1，...，F(xiàn)N計(jì)算PDF值fF1(XD)，...，fFN(XD)。因?yàn)槊總€(gè)類別的PDF值f基于該類別的輸出值Z的總和，所以類別的值f越大，則在那些類別的XD和加權(quán)向量之間的一致性越大。
MPNN 42然后選擇具有輸入向量XD的最大值f的類別(標(biāo)記為第i種類別或者Fi)。由MPNN 42執(zhí)行的對(duì)第i種類別的選擇利用貝葉斯策略執(zhí)行過(guò)程之一，其根據(jù)PDF尋找最低的風(fēng)險(xiǎn)成本。形式上地，貝葉斯判定規(guī)則被寫(xiě)為d(XD)=Fi如果fFi(XD)＞fFj(XD) i≠j(10)具有輸入向量XD的最大PDF(由f度量)的類別Fi提供關(guān)于輸入向量XD(與面貌圖塊42a相對(duì)應(yīng))可能同已知面貌類別Fi匹配的判斷。在實(shí)際上認(rèn)為存在匹配之前，MPNN 42生成信用度量，其將可能匹配的類別i的矢量XD的PDF同所有類別的矢量XD的PDF的總和進(jìn)行比較；
Ci=fFi(XD)/(Σj=1NfFj(XD))---(11)]]>如果信用度量超過(guò)信用閾值(例如，80％)，那么系統(tǒng)查找到在輸入向量XD和類別i之間的匹配。否則無(wú)法找到。
然而，如果輸入向量的最大PDF值f仍然太低而不能同所表示的類別匹配，那么根據(jù)上面直接描述的決策函數(shù)結(jié)果的信用度量可能導(dǎo)致不需要的高信用度量。這是因?yàn)槿缟嫌?jì)算的信用度量是針對(duì)指定輸入向量通過(guò)比較類別的PDF輸出的相對(duì)結(jié)果而生成的。利用一維的簡(jiǎn)單通用實(shí)例來(lái)舉例說(shuō)明這一點(diǎn)圖4表示兩個(gè)類別(Cat1，Cat2)的PDF。每個(gè)類別的PDF函數(shù)在圖4中通常被表示為“p(X|Cat)”(或者輸入特征向量X屬于類別Cat的概率)，與一維特征向量X比較。顯示了三個(gè)獨(dú)立的一維輸入特征向量XEx1、XEx2、XEx3，其用于舉例說(shuō)明如何可能產(chǎn)生不需要的高置信值。對(duì)于輸入向量XEx1而言，最大PDF值與類別Cat1相對(duì)應(yīng)(也就是p(XEx1|Cat1)≈0.1，并且p(XEx1|Cat2)≈0.02)。通過(guò)應(yīng)用類似于等式10中給出的貝葉斯法則，從而選擇Cat1。同時(shí)，為類似于在等式11中給出的XEx1的Cat1可以計(jì)算信用度量；Confi_Ex1＝p(XEx1|Cat1)/[p(XEx1|Cat1)+p(XEx1|Cat2)](12)≈0.1/
＝83％然而，因?yàn)檩斎胩卣飨蛄縓Ex1的PDF值非常低(對(duì)Cat1而言為0.1，對(duì)Cat2而言更低)，所以這表示在輸入向量和模式結(jié)點(diǎn)的加權(quán)向量之間的一致性很小，并因此應(yīng)該將XEx1識(shí)別為“未知的”類別。
從圖4中其他類似的不需要的結(jié)果也很明顯參照輸入特征向量XEx2，因?yàn)檩斎胩卣飨蛄縓Ex2與Cat1的最大值相對(duì)應(yīng)，所以將其與類別Cat1相匹配是適當(dāng)?shù)摹４送?，以類似于等?2的方式對(duì)置信值Confi_Ex2的計(jì)算將生成大致66％的信用度量。然而，Confi_Ex2不應(yīng)該低于Conf_Ex1，這是因?yàn)閄Ex2比XEx1更加接近Cat1的PDF的最大值。對(duì)于XEx3顯示了另一個(gè)不合要求的結(jié)果，其中具有大約80％的置信值的Cat2被選擇，即使XEx3同樣處于Cat2的PDF的最大值一邊的遠(yuǎn)處。
圖5舉例說(shuō)明了當(dāng)處理指定輸入特征向量的低PDF值時(shí)用于防止這種不合需要的結(jié)果的技術(shù)。在圖5中，閾值被用于圖4的每一類別Cat1、Cat2。除選擇具有最大PDF值的類別之外，在輸入特征向量X被認(rèn)為匹配之前必須滿足或者超出所述類別的閾值。每個(gè)類別的閾值可以不同。例如，所述閾值可以是類別的PDF的極大值的某一百分?jǐn)?shù)(例如，70％)。
如圖5所示，Cat1仍然是針對(duì)特征向量XEx1具有最大PDF值的類別。然而，p(XEx1|Cat1)≈0.1，其不超過(guò)Cat1的大致是0.28的閾值。因此，確定特征向量XEx1是“未知的”。同樣地，因?yàn)閄Ex3的PDF值不超過(guò)Cat2的閾值，所以確定XEx3是“未知的”。然而，因?yàn)閄Ex2的PDF值超過(guò)Cat1的閾值，所以為XEx2選擇Cat1，其具有上面計(jì)算的66％的信用級(jí)。
顯然當(dāng)在多維的情況下可能出現(xiàn)類似的不合需要的情形(諸如在示例性的實(shí)施方式中33維的情況)。例如，輸入多維特征向量的最大類別的PDF值仍然非常低以致難以宣布類別匹配。然而，當(dāng)在信用測(cè)量中連同其他類別的PDF值(具有更低的幅度)一起使用最大PDF值時(shí)，就可以產(chǎn)生過(guò)高的置信值。
返回到所述示例性的實(shí)施方式，為了適當(dāng)?shù)靥幹弥付ㄝ斎胂蛄康牡蚉DF值輸出f，采用先前所示的修改的PNN(MPNN 42)。在MPNN 42中，臨時(shí)選擇輸入向量的具有最大PDF值f的類別。然而，類別的值f(X)必須也滿足或者超出臨時(shí)選擇的類別的閾值。每個(gè)類別的閾值可以不同。例如，閾值可以是該類別的PDF的極大值的某一百分?jǐn)?shù)(例如，70％)。針對(duì)在實(shí)施方式的MPNN中所使用的輸入向量XD而生成的PDF值f的閾值處理被用作對(duì)如上的貝葉斯判定規(guī)則的修改。因此，供所述實(shí)施方式的MPNN使用的貝葉斯判定規(guī)則是d(XD)＝Fi，如果(fFi(XD)＞fFj(XD))并且(fFi(XD)≥ti)i≠j (13)d(XD)＝未知，如果(fFi(XD)＞fFj(XD))并且fFi(XD)＜ti)i≠j(14)其中ti是與最大f(XD)相對(duì)應(yīng)的面貌類別(Fi)的閾值，并且閾值基于類別Fi的PDF。(至少因?yàn)樯鲜黾夹g(shù)的閾值不是基于“未知的”類別的PDF，所以其不同于在″Identification Of Unknown Categories With Probabilisfic NeuralNetworks″by T.P. Washbume et al.，IEEE International Conference on NeuralNetworks，pp.434-437(1993)中所描述的其他應(yīng)用的閾值。)如果d是未知的，那么在塊50中確定面貌是“未知的”。如果在MPNN的改進(jìn)貝葉斯判定算法之下選擇面貌類別(Fi)，那么適合于以如上所述的方式針對(duì)選擇的類別計(jì)算置信值(等式11)。如果置信值超過(guò)信用閾值，那么輸入向量被認(rèn)為與所選擇的類別(Fi)相對(duì)應(yīng)，并且在其與面貌類別對(duì)應(yīng)的意義上說(shuō)在圖1的塊50中確定面貌是“已知的”。在那種情況下，在塊60中可以啟動(dòng)關(guān)于已知面貌檢測(cè)的任何后續(xù)處理。這種啟動(dòng)是可選的，并且可以是許多其他任務(wù)的任何一個(gè)的，諸如視頻索引，面貌身份的因特網(wǎng)搜索，編輯等等。此外，系統(tǒng)10可以提供輸出65(諸如簡(jiǎn)易的圖像或者音頻警報(bào))，用于警報(bào)在視頻輸入的面貌圖塊和MPNN中的類別(已知面貌)之間的匹配。如果培訓(xùn)圖像還包括面貌類別的個(gè)人標(biāo)識(shí)(例如，相應(yīng)的名字)，那么可以輸出該標(biāo)識(shí)。另一方面，如果置信值不超過(guò)信用閾值，那么輸入向量又被認(rèn)為是未知的。
用于確定面貌是否是已知的或者未知的處理被分開(kāi)顯示為圖1中的處理確定50。塊50可以包括修改的貝葉斯判定規(guī)則(等式13和14)和馬上將描述的后續(xù)的信用確定(等式11)。然而，雖然為了概念清楚起見(jiàn)將塊50同面貌分類器40分開(kāi)顯示，但是應(yīng)當(dāng)理解典型地貝葉斯判定算法和信用確定是面貌分類器40的一部分。該判定處理可以被認(rèn)為是MPNN 42的一部分，盡管作為選擇也可以認(rèn)為其是面貌分類器40的獨(dú)立組件。
如果通過(guò)確定50確定面貌圖像是未知的，那么圖1顯示了不是簡(jiǎn)單地將面貌丟棄而是所述處理變成持續(xù)的判定塊100。如在下面更加詳細(xì)描述的那樣，利用一個(gè)或多個(gè)標(biāo)準(zhǔn)來(lái)監(jiān)視具有未知面貌的視頻輸入20，以判斷在視頻中相同的面貌是否持續(xù)存在或者很普遍。如果是，那么經(jīng)由輸入20接收的未知面貌的一個(gè)或多個(gè)面貌圖像的特征向量XD被發(fā)送給培訓(xùn)器80。培訓(xùn)器80利用面貌圖像的數(shù)據(jù)來(lái)培訓(xùn)面貌分類器40中的MPNN 42以包括該面貌的新的類別。這種MPNN 42的“在線”培訓(xùn)確保視頻中的突出新的(未知的)面貌將被添加作為面貌分類器中的一個(gè)類別。因此在后續(xù)的視頻輸入20中的相同的面貌可以被檢測(cè)為“已知的”面貌(也就是，與類別相對(duì)應(yīng)的面貌，盡管不一定例如用名字來(lái)“標(biāo)識(shí)”)。
應(yīng)當(dāng)注意，當(dāng)在塊50中確定面貌是未知的時(shí)，啟動(dòng)持續(xù)處理100。監(jiān)視視頻輸入20以判斷是否滿足一個(gè)或多個(gè)條件，從而指示將利用該未知面貌的圖像對(duì)MPNN 42進(jìn)行在線培訓(xùn)。所述一個(gè)或多個(gè)條件例如可以指示相同的未知面貌連續(xù)出現(xiàn)于視頻中一段時(shí)間。因此，在持續(xù)處理100的一個(gè)實(shí)施方式中，利用任何公知的追蹤技術(shù)來(lái)追蹤視頻輸入中檢測(cè)到的未知面貌。如果在視頻輸入中追蹤面貌持續(xù)了最小的秒數(shù)(例如，10秒)，那么處理塊圖100則認(rèn)為面貌是持久的(“是”箭頭)。
做為選擇，持續(xù)確定塊100可以考慮在面貌分類器40中被MPNN 42確定為未知的一系列面貌圖像塊的數(shù)據(jù)，以判斷相同的未知面貌在視頻中是否存在了某一時(shí)段。例如，以下四個(gè)標(biāo)準(zhǔn)可以被施加到所述序列中1)MPNN 42分類器以如上所述的方式將視頻輸入20中的一系列面貌片斷識(shí)別為未知。
2)針對(duì)該序列的面貌片斷所提取的特征向量XD的PDF輸出的平均值很低(其中對(duì)最大值i而言“PDF輸出”是值fFi(XD)，即使這樣也不超過(guò)閾值ti)。該特征向量的平均PDF輸出的閾值典型地例如可以是小于或等于最大PDF輸出的40％，并且大于最大PDF輸出的20％。然而，因?yàn)樵撻撝狄资芤曨l數(shù)據(jù)的狀態(tài)影響，所以該閾值可以根據(jù)經(jīng)驗(yàn)來(lái)調(diào)整以便達(dá)到檢測(cè)對(duì)比假陽(yáng)性的期望水平。這個(gè)標(biāo)準(zhǔn)用來(lái)確認(rèn)其不是已知面貌之一，也就是其是未知面貌。
3)該序列的特征向量XD的差異很小。這可以通過(guò)計(jì)算在輸入向量之間的距離的方式來(lái)判斷，而所述計(jì)算是通過(guò)對(duì)所述一系列的輸入向量執(zhí)行標(biāo)準(zhǔn)偏差確定的方式完成的。在輸入向量之間的標(biāo)準(zhǔn)偏差的閾值典型地例如可以是在0.2至0.5的范圍內(nèi)。然而，因?yàn)樵撻撝低瑫r(shí)受視頻數(shù)據(jù)的狀態(tài)影響，所以該閾值可以根據(jù)經(jīng)驗(yàn)來(lái)調(diào)整以便達(dá)到檢測(cè)對(duì)比假陽(yáng)性的期望水平。該標(biāo)準(zhǔn)用來(lái)確認(rèn)序列中的輸入向量與相同的未知面貌相對(duì)應(yīng)。
4)上述三個(gè)條件在塊20輸入的一系列面貌上持續(xù)某一段時(shí)間(例如，10秒)。
最上面的三個(gè)標(biāo)準(zhǔn)用來(lái)確認(rèn)遍及整個(gè)塊是同一未知面貌。第四個(gè)標(biāo)準(zhǔn)作為持續(xù)的度量，也就是說(shuō)哪些未知面貌值得再培訓(xùn)以包含到MPNN中。在未知面貌在視頻輸入20中持續(xù)10秒或者更長(zhǎng)時(shí)間的情況下，例如，從在線培訓(xùn)中淘汰了僅僅掠過(guò)視頻短暫一段時(shí)間的虛面貌(或許與許多面貌、小量參與者等相對(duì)應(yīng))。遍及所述時(shí)段期間，面貌樣本圖像的特征向量XD可以被存儲(chǔ)，并當(dāng)其被執(zhí)行時(shí)用于在線培訓(xùn)。
在序列持續(xù)一段持續(xù)的時(shí)期的情況下，處理直接向前。在那種情況下，視頻輸入20的面貌片斷的一些或者全部特征向量XD可以被存儲(chǔ)在緩沖存儲(chǔ)器中，并且如果超出最小時(shí)間周期，則如下所述用于在線培訓(xùn)。在其它情況下，例如，在非連續(xù)的視頻塊中面貌可能出現(xiàn)非常短的一段時(shí)間，而面貌總計(jì)出現(xiàn)的時(shí)間超出了最小時(shí)間周期。(例如，其中有在專心于談話的參與者之間的快速切換。)在那種情況下，持續(xù)塊100中的多個(gè)緩存器的每一個(gè)都可以存儲(chǔ)一個(gè)特定的未知面貌的未知面貌圖像的特征向量，如由上面的條件1-3判斷的那樣。由MPNN確定為“未知的”的隨后的面貌圖像被存儲(chǔ)在用于該面貌的適當(dāng)?shù)木彺嫫髦?，如由?biāo)準(zhǔn)1-3所確定的那樣。(如果未知面貌不與在現(xiàn)有的緩存器中找到的那些面貌相對(duì)應(yīng)，則將其存儲(chǔ)在新的緩存器中。)如果并且當(dāng)用于特別的未知面貌的緩沖器隨著時(shí)間的流逝積累了面貌圖像的足夠多的特征向量而超出最小時(shí)間周期時(shí)，則持續(xù)塊100釋放特征向量到分類器培訓(xùn)器80中，以便對(duì)緩沖器中的面貌進(jìn)行在線培訓(xùn)110。
如果未知面貌的面貌序列被確定不滿足持續(xù)標(biāo)準(zhǔn)(或者單個(gè)持續(xù)標(biāo)準(zhǔn))，那么序列的處理被終止并且所存儲(chǔ)的任何關(guān)于未知面貌的特征向量和數(shù)據(jù)都被從存儲(chǔ)器中丟棄(處理120)。如上所述在隨著時(shí)間的推移在不同的緩存器中積累不同面貌的圖像塊的情況中，如果在較長(zhǎng)的時(shí)間周期(例如，5分鐘)之后隨著時(shí)間的流逝而積累的面貌圖像不超過(guò)最小周期，在丟棄任何一個(gè)的緩存器中的數(shù)據(jù)。
如果視頻輸入中確定為未知的面貌滿足持續(xù)處理，那么系統(tǒng)10執(zhí)行對(duì)MPNN 42的在線培訓(xùn)110以包括該未知面貌的類別。為了方便起見(jiàn)，隨后的說(shuō)明將集中在對(duì)滿足持續(xù)塊100的未知面貌“A”的在線培訓(xùn)。如上所述，在面貌A的持續(xù)的確定過(guò)程中，所述系統(tǒng)從經(jīng)由視頻輸入20接收的圖像序列中存儲(chǔ)面貌A的圖像的多個(gè)特征向量XD。特征向量的數(shù)目可以是針對(duì)持續(xù)確定所用的序列中所有的面貌A，或者是樣本。例如，在培訓(xùn)中可以利用面貌A序列中10個(gè)圖像的輸入向量。
對(duì)于持久面貌A而言，系統(tǒng)處理返回到培訓(xùn)處理80，并且在這種情況下，執(zhí)行對(duì)面貌分類器40的MPNN 42的在線培訓(xùn)110以包括面貌A。(例如)在面貌A的在線培訓(xùn)中所用的10個(gè)特征向量可以是序列中該圖像的全部輸入向量中具有最低差異的那些特征向量，也就是說(shuō)，所述10個(gè)輸入向量最接近于緩沖器中的平均值。培訓(xùn)器80的在線培訓(xùn)算法110培訓(xùn)MPNN 42以包括具有每個(gè)圖像的模式結(jié)點(diǎn)的面貌A的新類別FA。
新類別FA的在線培訓(xùn)以與利用樣本面貌圖像70對(duì)MPNN 42的初始離線培訓(xùn)相類似的方式進(jìn)行。應(yīng)當(dāng)注意的是在塊35中已經(jīng)提取了面貌A的圖像的特征向量XD。因此，用和離線培訓(xùn)一樣的方式，分類器培訓(xùn)器80規(guī)范化FA的特征向量，并分配每個(gè)特征向量作為MPNN中類別FA的新模式結(jié)點(diǎn)的加權(quán)向量W。新模式結(jié)點(diǎn)同F(xiàn)A的類別結(jié)點(diǎn)相連接。
圖6顯示了具有新的類別FA的新模式結(jié)點(diǎn)的圖2的MPNN。新添加的結(jié)點(diǎn)是除N類別以外還包括如上所述利用已知面貌的初始離線培訓(xùn)中所發(fā)展的相應(yīng)模式結(jié)點(diǎn)。因此，分配給F1的第一模式結(jié)點(diǎn)的加權(quán)向量WA1等于經(jīng)由視頻輸入20接收的FA的第一圖像的標(biāo)準(zhǔn)化特征向量；分配給FA的第二模式結(jié)點(diǎn)(未顯示)的加權(quán)向量WA2等于FA的第二樣本圖像的標(biāo)準(zhǔn)化特征向量；……；以及分配給FA的第n_A模式結(jié)點(diǎn)的加權(quán)向量WAn_A等于FA的第n_1樣本圖像的標(biāo)準(zhǔn)化特征向量。通過(guò)這種在線培訓(xùn)，面貌A變成MPNN中的“已知的”面貌。如上所述，MPNN 42現(xiàn)在能夠利用圖1的檢測(cè)和分類處理來(lái)確定隨后的視頻輸入20中的面貌A是“已知的”面貌。還應(yīng)當(dāng)注意的是因?yàn)殡S后的視頻輸入20中的面貌圖像A與MPNN的面貌類別FA相對(duì)應(yīng)，所以其被認(rèn)為是“已知的”。然而，這不一定意味著“識(shí)別”了面貌就表示面貌A的姓名為系統(tǒng)10所知。
以如上所述的方式在輸入視頻20中檢測(cè)到的并由系統(tǒng)10分類為“未知的”其他面貌同樣由持續(xù)處理100來(lái)處理。如果并且當(dāng)另一個(gè)面貌符合在持續(xù)塊100中施加的一個(gè)或多個(gè)標(biāo)準(zhǔn)時(shí)(例如，面貌B)，那么培訓(xùn)器80以如上所述用于面貌A的方式對(duì)MPNN 42進(jìn)行在線培訓(xùn)110。在在線培訓(xùn)以后，MPNN 42包括面貌B的另一個(gè)類別(具有相應(yīng)的模式結(jié)點(diǎn))。持續(xù)的其他的未知面貌(C、D等)也同樣地用于對(duì)MPNN進(jìn)行在線培訓(xùn)。一旦利用面貌培訓(xùn)MPNN，則面貌對(duì)系統(tǒng)而言就是“已知的”。在塊20的視頻輸入中該面貌的隨后圖像被確定與在MPNN 42中為該面貌新創(chuàng)建類別相對(duì)應(yīng)。
如上所述的實(shí)施方式利用了系統(tǒng)中的視頻輸入20。然而，本領(lǐng)域的技術(shù)人員很容易將在此描述的技術(shù)改成使用來(lái)自個(gè)人圖像庫(kù)、圖像檔案館等的離散圖像(諸如照片)。所述離散圖像也可以例如通過(guò)利用其他的搜索軟件的方式從因特網(wǎng)上的一個(gè)或多個(gè)站點(diǎn)下載。利用離散圖像代替視頻輸入20可能需要對(duì)上述系統(tǒng)進(jìn)行一些改進(jìn)，然而這對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的。(例如，如果所提供的圖像被限于面貌，那么可以繞過(guò)面貌檢測(cè)30。)對(duì)離散圖像而言，可以應(yīng)用其他的標(biāo)準(zhǔn)來(lái)判斷臉部是否應(yīng)被認(rèn)為是未知的并包括在在線培訓(xùn)處理中。例如，一個(gè)這樣的標(biāo)準(zhǔn)是新面貌出現(xiàn)至少最小時(shí)間周期，所述最小時(shí)間周期可以由用戶來(lái)指定。這為圖像提供了類似的“持續(xù)標(biāo)準(zhǔn)”。
對(duì)圖像而言，例如，在塊100中，“突出”類型的標(biāo)準(zhǔn)可以用于代替持續(xù)類型的標(biāo)準(zhǔn)。例如，在一組圖像之中可以僅僅存在一個(gè)圖像包括特定面貌，但是希望對(duì)那個(gè)圖像進(jìn)行在線培訓(xùn)。作為一個(gè)特定實(shí)例，在用戶去華盛頓旅行期間所拍攝的上百?gòu)堈掌兄挥幸粡埮c美國(guó)總統(tǒng)一起拍攝的照片。應(yīng)用持續(xù)標(biāo)準(zhǔn)或許不會(huì)導(dǎo)致對(duì)該圖像的在線培訓(xùn)。然而，例如或許許多這樣重要的單個(gè)面貌圖像將被形成或者相反被收集在一起，也就是其在圖像中將是“突出的”。因此，如果圖像中未知面貌的尺寸大于預(yù)定閾值或者至少與MPNN 42中的閾值一樣大，則可能發(fā)生在線培訓(xùn)。一個(gè)或多個(gè)這樣的突出標(biāo)準(zhǔn)的應(yīng)用也將用來(lái)排除在圖像中很小的并且可能是背景圖像的那些面貌。
應(yīng)該注意的是可以對(duì)離散圖像應(yīng)用一個(gè)或多個(gè)突出標(biāo)準(zhǔn)，或者也可以共同施加一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)。應(yīng)當(dāng)注意的是突出標(biāo)準(zhǔn)也可以用于視頻輸入，用于替換持續(xù)標(biāo)準(zhǔn)或者連同持續(xù)標(biāo)準(zhǔn)一起應(yīng)用。
雖然已經(jīng)參照幾個(gè)實(shí)施方式描述了本發(fā)明，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解的是本發(fā)明不局限于所顯示和描述的特定形式。因此，在不脫離如所附權(quán)利要求所定義的本發(fā)明的精神和范圍的情況下可以對(duì)形式和細(xì)節(jié)作出各種改變。例如，在本發(fā)明中使用的面貌檢測(cè)30中有許多替換技術(shù)。本領(lǐng)域公知的一個(gè)示例性的面貌檢測(cè)替換技術(shù)在“Neural Network-Based Face Detection”by H.A.Rowley et al.，IEEE Transactions On Pattem Analysis and Machine Intelligence″，vol.20，no.1，pp.23-38(Jan.1，1998)中有所描述。
此外，特征提取的其他技術(shù)可以替換如上所述的VQ直方圖技術(shù)。例如，眾所周知的“特征面貌”技術(shù)可以被用于比較面部特征。此外，PNN分類有許多變化，其可以用于代替如上所述的用于面貌分類的MPNN，在所述MPNN中例如可以使用如上所述的在線培訓(xùn)技術(shù)。此外，還有很多其他的面貌分類技術(shù)，諸如RBF、自然貝耶斯分類器和最近鄰分類器之類，所述技術(shù)可以代替在上述示例性的實(shí)施方式中所使用的MPNN技術(shù)。包括適當(dāng)?shù)某掷m(xù)和/或突出標(biāo)準(zhǔn)的在線培訓(xùn)技術(shù)很容易適應(yīng)這種替換技術(shù)。
同樣，應(yīng)當(dāng)注意的是例如，如上所述的實(shí)施方式未必一定利用N個(gè)不同的樣本面貌的圖像進(jìn)行最初的離線培訓(xùn)。初始MPNN 42也可以不具有任何離線培訓(xùn)結(jié)點(diǎn)，并且可以僅以如上所述的方式用滿足一個(gè)或多個(gè)持續(xù)(或者突出)標(biāo)準(zhǔn)的面貌進(jìn)行專門(mén)的在線培訓(xùn)。
此外，除上述特別討論到的標(biāo)準(zhǔn)以外的持續(xù)標(biāo)準(zhǔn)也屬于本發(fā)明的范圍。例如，面貌需要出現(xiàn)于視頻輸入中的閾值時(shí)間可以是視頻中的視頻內(nèi)容、場(chǎng)景等的函數(shù)。因此，如上所述的特定技術(shù)僅是舉例說(shuō)明的，而非限制本發(fā)明的范圍。
權(quán)利要求
1.一種系統(tǒng)(10)，具有用于提供以下判斷的面貌分類器在視頻輸入(20)中的面貌圖像沒(méi)能與存儲(chǔ)在分類器(40)中的任何一個(gè)已知面貌相對(duì)應(yīng)的情況下判斷所述面貌圖像是未知面貌，所述系統(tǒng)(10)在未知面貌根據(jù)一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)持續(xù)存在于視頻輸入(20)中時(shí)把該未知面貌添加到分類器(40)中。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)(10)，其中面貌分類器(40)包括隨機(jī)神經(jīng)網(wǎng)絡(luò)(PNN)(42)。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)(10)，其中如果視頻輸入(20)中的面貌圖像與PNN(42)中的類別相對(duì)應(yīng)則所述面貌圖像包括已知面貌。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)(10)，其中所述系統(tǒng)(10)通過(guò)向PNN(42)中添加未知面貌的類別和一個(gè)或多個(gè)模式結(jié)點(diǎn)來(lái)把未知面貌添加到PNN(42)中，借此使得該未知面貌為系統(tǒng)(10)所知。
5.根據(jù)權(quán)利要求2所述的系統(tǒng)(10)，其中所述一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)包括判斷相同的未知面貌存在于視頻輸入中最小時(shí)間周期。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)(10)，其中在視頻輸入(20)中追蹤未知面貌。
7.根據(jù)權(quán)利要求5所述的系統(tǒng)(10)，其中所述一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)包括a)由PNN(42)判斷視頻輸入(20)中的一系列未知面貌；b)所述一系列面貌的特征向量的平均概率分布函數(shù)(PDF)值低于第一閾值；c)所述一系列面貌的特征向量的差異低于第二閾值；以及d)標(biāo)準(zhǔn)a、b和c滿足最小時(shí)間周期。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)(10)，其中最小時(shí)間周期大于或等于大約10秒。
9.根據(jù)權(quán)利要求2所述的系統(tǒng)(10)，其中PNN(42)相對(duì)于類別向面貌圖像的特征向量PDF值施加閾值以判斷所述面貌圖像是否是未知面貌，所述閾值是基于該類別的PDF而被確定的。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)(10)，其中所述閾值是該類別的PDF的最大值的百分?jǐn)?shù)。
11.根據(jù)權(quán)利要求1所述的系統(tǒng)(10)，其中存儲(chǔ)在分類器(40)中的多個(gè)已知面貌包括在離線培訓(xùn)期間存儲(chǔ)的面貌類別。
12.根據(jù)權(quán)利要求1所述的系統(tǒng)(10)，其中存儲(chǔ)在分類器(40)中的所有已知面貌是存在于視頻輸入中并由系統(tǒng)(10)添加到分類器(40)中的未知面貌。
13.一種面貌識(shí)別方法，包括下述步驟a)判斷視頻輸入(20)中的面貌圖像是否與已知面貌集中的已知面貌相對(duì)應(yīng)，如果不相對(duì)應(yīng)則判斷所述面貌圖像是未知的，b)根據(jù)一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)判斷所述未知面貌是否持續(xù)存在于視頻輸入(20)中，以及c)當(dāng)滿足步驟b中的一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)時(shí)處理未知面貌以變成所述組中的已知面貌。
14.根據(jù)權(quán)利要求13所述的方法，其中所述一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)包括判斷同一未知面貌存在于視頻輸入(20)中最小時(shí)間周期。
15.根據(jù)權(quán)利要求14所述的方法，其中所述一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)包括追蹤視頻輸入(20)中的未知面貌最小時(shí)間周期。
16.根據(jù)權(quán)利要求14所述的方法，其中所述一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)包括判斷在最小時(shí)間周期由以下條件得到了滿足i)在視頻輸入(20)中存在一系列未知面貌；ii)所述一系列未知面貌的特征向量的平均概率分布函數(shù)(PDF)值低于第一閾值；以及iii)所述一系列面貌的特征向量的差異低于第二閾值。
17.根據(jù)權(quán)利要求13所述的方法，其中判斷面貌未知包括判斷面貌圖像的特征向量PDF值相對(duì)于一個(gè)面貌類別低于閾值，其中所述閾值基于該類別的PDF。
18.根據(jù)權(quán)利要求13所述的方法，其中已知面貌集最初未包括已知面貌。
19.一種系統(tǒng)(10)，具有用于提供以下判斷的面貌分類器(40)在輸入圖像中的面貌圖像沒(méi)能與存儲(chǔ)在分類器(40)中的任何一個(gè)已知面貌相對(duì)應(yīng)的情況下判斷所述面貌圖像是未知面貌，所述系統(tǒng)(10)在輸入圖像中的未知面貌滿足一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)和一個(gè)或多個(gè)突出標(biāo)準(zhǔn)中的至少一個(gè)時(shí)把該未知面貌添加到分類器(40)中。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)(10)，其中輸入圖像是由圖像檔案文件提供的。
21.根據(jù)權(quán)利要求19所述的系統(tǒng)(10)，其中所提供的輸入圖像是從一個(gè)或多個(gè)位置所獲取的圖像。
22.根據(jù)權(quán)利要求19所述的系統(tǒng)(10)，其中所述一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)包括判斷同一未知面貌存在于最小數(shù)量的輸入圖像中。
23.根據(jù)權(quán)利要求19所述的系統(tǒng)(10)，其中所述一個(gè)或多個(gè)突出標(biāo)準(zhǔn)包括判斷在至少一個(gè)圖像中未知面貌至少具有閾值尺寸。
24.根據(jù)權(quán)利要求19所述的系統(tǒng)(10)，其中所述輸入圖像是視頻圖像和離散圖像中的至少一個(gè)。
全文摘要
一種面貌分類的系統(tǒng)和方法。一種系統(tǒng)(10)包括用于提供對(duì)在視頻輸入(20)中檢測(cè)到的面貌圖像是否與分類器(40)中的已知面貌相對(duì)應(yīng)的判斷的面貌分類器(40)。當(dāng)一個(gè)未知檢測(cè)面貌滿足一個(gè)或多個(gè)持續(xù)標(biāo)準(zhǔn)(100)或者突出標(biāo)準(zhǔn)時(shí)所述系統(tǒng)(10)將所述未知檢測(cè)面貌添加到分類器(40)中。
文檔編號(hào)G06K9/00GK1981293SQ200580003771
公開(kāi)日2007年6月13日 申請(qǐng)日期2005年1月31日 優(yōu)先權(quán)日2004年2月2日
發(fā)明者N·迪米特羅弗, J·F·深真 申請(qǐng)人:皇家飛利浦電子股份有限公司