專(zhuān)利名稱(chēng)：基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法，屬于計(jì)算機(jī)視 覺(jué)中的智能監(jiān)控技術(shù)，特別是人臉識(shí)別技術(shù)。
背景技術(shù)：
隨著監(jiān)控視頻技術(shù)的廣泛應(yīng)用，越來(lái)越需要監(jiān)控視頻系統(tǒng)具有視頻人臉識(shí)別功能以便能 夠在線(xiàn)實(shí)時(shí)的進(jìn)行視頻人臉檢索。其具體表現(xiàn)為對(duì)監(jiān)控視頻能夠?qū)崿F(xiàn)逐幀地進(jìn)行目標(biāo)人員 識(shí)別，并將識(shí)別結(jié)果和對(duì)應(yīng)的圖像以索引的形式加以保存。當(dāng)用戶(hù)需要了解特定目標(biāo)的活動(dòng) 軌跡時(shí)，將所有相關(guān)圖像調(diào)出給用戶(hù)查看，以人工參與的方式理解目標(biāo)行為。
但是由于在監(jiān)控視頻中，存在著一些人員可能僅在小段時(shí)間內(nèi)出現(xiàn)，與視頻的海量數(shù)據(jù) 相比，其中包含這些人員的有關(guān)圖像數(shù)量可能較少。因此如果在大量的視頻樣本中要把少量 的目標(biāo)人員樣本使用聚類(lèi)算法來(lái)進(jìn)行視頻的可靠標(biāo)記的視頻標(biāo)記算法提出了挑戰(zhàn)，并且目前 的視頻人臉標(biāo)記算法的確很難滿(mǎn)足對(duì)于有些人員在小段時(shí)間內(nèi)出現(xiàn)并對(duì)其進(jìn)行精確標(biāo)記的精 度要求。此外監(jiān)控視頻系統(tǒng)應(yīng)當(dāng)具有在線(xiàn)和離線(xiàn)辨認(rèn)目標(biāo)人臉的功能，而基于視頻的人臉識(shí) 別算法正好能滿(mǎn)足這個(gè)要求。因此，監(jiān)控視頻中的人臉檢索可采用視頻中的人臉識(shí)別方法去 解決。
為了提高監(jiān)控視頻人臉檢索的性能，需要對(duì)視頻進(jìn)行訓(xùn)練得到目標(biāo)人臉的表示模型。因 為視頻中包含了豐富的人臉模式信息，因此基于視頻建?？梢蕴岣呷四槺硎灸Ｐ偷臏?zhǔn)確性。 現(xiàn)有的對(duì)訓(xùn)練視頻進(jìn)行人臉建模有在線(xiàn)學(xué)習(xí)方式和離線(xiàn)學(xué)習(xí)方式，在線(xiàn)學(xué)習(xí)的過(guò)程如下所示 迅速檢測(cè)訓(xùn)練視頻中的每一幀圖像中出現(xiàn)的人臉模式并對(duì)之學(xué)習(xí)。學(xué)習(xí)完單之后丟棄當(dāng)前幀， 然后對(duì)下一幀圖像進(jìn)行處理。在線(xiàn)學(xué)習(xí)方式相比于離線(xiàn)學(xué)習(xí)方式不僅能以模型更新的方式保 證模型的正確性，還能節(jié)約大量的存儲(chǔ)空間。因此得到了較好的應(yīng)用，現(xiàn)有的基于在線(xiàn)學(xué)習(xí) 方法得到訓(xùn)練視頻模型的應(yīng)用主要有K.C丄ee和X丄iu。下面分別對(duì)于K.C丄ee和X丄iu的 思想進(jìn)行介紹。
K.C丄ee等人使用單初始模型檢測(cè)人臉，并學(xué)習(xí)檢測(cè)到的樣本，使初始模型最終進(jìn)化為 人臉類(lèi)別模型。初始模型通過(guò)監(jiān)督學(xué)習(xí)的方式獲得，由固定數(shù)目的姿態(tài)子流形所組成，每個(gè) 子流形采用PCA子空間建模。在樣本的學(xué)習(xí)過(guò)程中，首先利用初始模型檢測(cè)人臉，并判斷樣 本的姿態(tài)，然后通過(guò)局部線(xiàn)性映射合成其他姿態(tài)下的虛擬樣本，通過(guò)對(duì)這些樣本的學(xué)習(xí)來(lái)調(diào) 整初始模型參數(shù)，最終得到與初始模型形式完全相同的人臉類(lèi)別模型。
X丄iu等人他們采用HMM(Hidden Markov Model,隱馬爾可夫模型)模型為視頻序列
5建模。在訓(xùn)練階段，通過(guò)監(jiān)督學(xué)習(xí)的方法得到各訓(xùn)練序列的HMM模型。在識(shí)別階段，根據(jù) 測(cè)試序列相對(duì)Gallery庫(kù)中各HMM模型的置信度，使用整個(gè)測(cè)試序列更新目標(biāo)HMM模型。 在使用有監(jiān)督的在線(xiàn)學(xué)習(xí)方式得到訓(xùn)練視頻模型的思想的基礎(chǔ)上，K.C丄ee和X丄iu等 的方法所建立的訓(xùn)練模型有較好的人臉識(shí)別和檢索的效果。但是他們的模型還是有值得改進(jìn) 的地方(1)他們的模型是一個(gè)基于有監(jiān)督學(xué)習(xí)的模型訓(xùn)練框架，需要用戶(hù)參與，而建立一 個(gè)完全基于非監(jiān)督學(xué)習(xí)的模型訓(xùn)練框架，可以進(jìn)行自主學(xué)習(xí)，并且初始模型可以根據(jù)訓(xùn)練序 列的空間分布進(jìn)化為形式不同的類(lèi)別模型，更能符合監(jiān)控視頻中人臉識(shí)別與檢索的要求。(2) K.C丄ee的方法采用固定數(shù)目的子空間表示視頻人臉流形，這個(gè)并不能很好的擬合空間數(shù)據(jù) 的分布情況。因此使用GMM人臉識(shí)別模型來(lái)創(chuàng)建人臉識(shí)別的初始模型，相對(duì)于以上K.C丄ee 等人使用單初始模型檢測(cè)人臉和X丄iu等人他們釆用HMM模型為視頻序列建模。初始的人 臉識(shí)別模型(GMM)利用了多個(gè)單高斯分布的線(xiàn)性組合來(lái)描述觀測(cè)數(shù)據(jù)在特征空間中的分布。 GMM是一種基于多變量的參數(shù)化混合模型。它利用了多個(gè)單高斯分布的線(xiàn)性組合來(lái)描 述觀測(cè)數(shù)據(jù)在特征空間中的分布。給定觀測(cè)數(shù)據(jù)5和模型義/，觀測(cè)數(shù)據(jù)屬于^莫型的概率為
卿^I義,)^X乖〃丄) (1)
式l中JV(5/^,^)表示均值為/^，方差為&的多維正態(tài)分布，f為觀測(cè)數(shù)據(jù)，/為高 斯混合模型的個(gè)數(shù)，其表示該高斯混合模型G(^由/個(gè)不同的單個(gè)高斯模型所組成， 為觀
測(cè)數(shù)據(jù)5屬于第m個(gè)高斯成分的權(quán)重，并且滿(mǎn)足 ^o,附-i,…,/和5;c^^:i的條件。通常
采用EM算法確定GMM人臉識(shí)別模型的參數(shù)，
初始樣本假設(shè)Gw(幻=p(f I義,)表示高斯成分為/的人臉識(shí)別初始模型，并假定存在對(duì)于
人臉識(shí)別的初始模型Gw(5)， GMM初始模型G^(30建立的流程如圖1所示，首先對(duì)于樣本 數(shù)為戶(hù)(戶(hù)> 5000)的訓(xùn)練樣本ft ，&，…,^J進(jìn)行PCA降維處理，"為對(duì)于樣本經(jīng)過(guò)PCA降維
后的樣本維數(shù)，隨后從P個(gè)樣本數(shù)據(jù)中隨機(jī)選取/個(gè)樣本作為/個(gè)高斯成分的初始化高斯均值 /V。)，并初始化人臉識(shí)別的初始模型&(巧中每個(gè)高斯成分的初始化高斯權(quán)重為"—,。)=1//。 為減小訓(xùn)練數(shù)據(jù)對(duì)類(lèi)別模型的影響，僅從P樣本集中挑選* << P)個(gè)隨機(jī)樣本數(shù)據(jù)計(jì)算高斯 成分的初始協(xié)方差矩陣《一)，其計(jì)算方法如公式(2)所示
1 1《 r
《附，o) = ^,race(^"^6 —附XS _附))J (2)
公式(2)中附=丄￡3 ,為所有《個(gè)隨機(jī)樣本的均值，"為對(duì)于樣本經(jīng)過(guò)PCA降維后的樣本
維數(shù)，/為"維的單位矩陣。
6發(fā)明 內(nèi) 容
本發(fā)明的目的是為了解決基于動(dòng)態(tài)人臉識(shí)別的監(jiān)控視頻系統(tǒng)所面臨的人臉類(lèi)別模式訓(xùn)練 和動(dòng)態(tài)人臉識(shí)別方面存在的問(wèn)題，提出了一種基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與 檢索方法。在訓(xùn)練時(shí)，以非監(jiān)督方式在線(xiàn)增量學(xué)習(xí)GMM模型，獲得各人臉類(lèi)別表示模型。 針對(duì)每個(gè)用戶(hù)，本發(fā)明建立并實(shí)現(xiàn)了人臉識(shí)別初始模型，并以增量學(xué)習(xí)的方式對(duì)人臉識(shí)別初 始模型進(jìn)行更新，最終得到個(gè)人特征數(shù)據(jù)空間分布的人臉類(lèi)別模型。在識(shí)別時(shí)，本發(fā)明則采 用貝葉斯推理累積視頻中的序列識(shí)別信息，并基于MAP規(guī)則得到人臉圖像的識(shí)別結(jié)果。
本發(fā)明的一種基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法，具體步驟如下
步驟一建立人臉識(shí)別模型的初始化模型。
本發(fā)明的人臉識(shí)別初始模型采用GMM人臉識(shí)別模型。
步驟二建立人臉類(lèi)別模型。
當(dāng)新的訓(xùn)練序列到來(lái)時(shí)，對(duì)每幀圖像進(jìn)行人臉檢測(cè)，并學(xué)習(xí)檢測(cè)到的人臉更新識(shí)別模型。 在完成對(duì)當(dāng)前序列的處理后，由于學(xué)習(xí)了更多的人臉樣本，人臉識(shí)別模型逐步進(jìn)化為反映類(lèi) 別信息的人臉類(lèi)別模型。
在獲得初始化人臉模型Gw(S)后，利用現(xiàn)有的人臉檢測(cè)箅法檢測(cè)訓(xùn)練視頻每幀人臉圖像， 并利用檢測(cè)得到的訓(xùn)練視頻序列，以增量學(xué)習(xí)的方式更新模型，得到人臉類(lèi)別模型。
步驟三進(jìn)行視頻人臉的識(shí)別與檢索。
給定測(cè)試序列和類(lèi)別模型，利用貝葉斯推理過(guò)程累積視頻中的序列識(shí)別信息，按照時(shí)間 軸信息傳播身份概率密度函數(shù)，并基于MAP(Maxinmm A Posterior,最大后驗(yàn)概率)規(guī)則得 到識(shí)別分?jǐn)?shù)和視頻人臉識(shí)別結(jié)果。
本發(fā)明的優(yōu)點(diǎn)在于
(1) 本發(fā)明首先建立了一個(gè)完全基于非監(jiān)督方式在線(xiàn)增量學(xué)習(xí)GMM模型獲得人臉類(lèi)
別模型而不需要通過(guò)用戶(hù)參與的監(jiān)督學(xué)習(xí)訓(xùn)練人臉類(lèi)別模型從而提高了系統(tǒng)的自動(dòng)化程度；
(2) 本發(fā)明的方法根據(jù)訓(xùn)練序列的空間分布，初始模型可以進(jìn)化為形式不同的類(lèi)別模型， 即可以調(diào)節(jié)人臉類(lèi)別模型的高斯混和數(shù)以更好地?cái)M合空間數(shù)據(jù)的分布；
(3) 積累了視頻序列的識(shí)別信息，使得人臉識(shí)別的準(zhǔn)確性得到很大的提高；
(4) 提供了一種更靈活、更準(zhǔn)確的在線(xiàn)訓(xùn)練與識(shí)別機(jī)制。


圖1為GMM建立模型的流程圖2為本發(fā)明的基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法的流程圖； 圖3為發(fā)明的建立人臉類(lèi)別模型的流程圖； 圖4為發(fā)明的增量學(xué)習(xí)的流程7圖5為本發(fā)明的進(jìn)行視頻人臉的識(shí)別與檢索的流程圖。
圖6為實(shí)施例中測(cè)試數(shù)據(jù)庫(kù)的部分樣本；
圖7為實(shí)施例中訓(xùn)練數(shù)據(jù)庫(kù)的部分樣本；
圖8為實(shí)施例中識(shí)別率^與模型更新速度的關(guān)系曲線(xiàn)圖9為實(shí)施例中BGMM、 GMM、 PCA和NN四種方法的識(shí)別率比較圖。
具體實(shí)施例方式
下面將結(jié)合附圖和實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
本發(fā)明的一種基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法，流程如圖2所示, 首先建立人臉識(shí)別模型的初始化模型，隨后利用新的訓(xùn)練序列和人臉識(shí)別初始模型建立人臉 類(lèi)別模型，最后利用貝葉斯推理過(guò)程累積視頻中的序列識(shí)別信息實(shí)現(xiàn)對(duì)視頻人臉的識(shí)別與檢 索。具體步驟如下
步驟一建立人臉識(shí)別模型的初始化模型。
本發(fā)明的人臉識(shí)別初始化模型采用GMM人臉識(shí)別模型，人臉識(shí)別初始化模型在數(shù)量較 少的人臉樣本集上學(xué)習(xí)獲得，并且選擇數(shù)目足夠多的高斯成分和隨機(jī)初始化均值向量，使得 人臉識(shí)別初始化模型覆蓋整個(gè)人臉空間。本發(fā)明所述的用于訓(xùn)練的人臉樣本均經(jīng)過(guò)PCA降維處理。
初始的人臉識(shí)別模型(GMM)利用了多個(gè)單高斯分布的線(xiàn)性組合來(lái)描述觀測(cè)數(shù)據(jù)在特征 空間中的分布。其是一個(gè)完全基于非監(jiān)督學(xué)習(xí)的模型訓(xùn)練框架，并且根據(jù)訓(xùn)練序列的空間分 布，初始模型可以進(jìn)化為形式不同的類(lèi)別模型，從而可以更好的擬合空間數(shù)據(jù)的分布。
廣泛的初始空間分布和少量的人臉樣本集保證了人臉識(shí)別模型在學(xué)習(xí)過(guò)程中收斂的正確 性和能在學(xué)習(xí)有限長(zhǎng)度的序列后迅速進(jìn)化為人臉類(lèi)別模型。
步驟二建立人臉類(lèi)別模型。
當(dāng)新的訓(xùn)練序列到來(lái)時(shí)，對(duì)每幀圖像進(jìn)行人臉檢測(cè)，并學(xué)習(xí)檢測(cè)到的人臉來(lái)更新識(shí)別模 型。在完成對(duì)當(dāng)前序列的處理后，由于學(xué)習(xí)了更多的人臉樣本，人臉識(shí)別模型逐步進(jìn)化為反 映類(lèi)別信息的人臉類(lèi)別模型，如圖3所示，使用不同的訓(xùn)練視頻序列對(duì)初始化人臉模型進(jìn)行 增量學(xué)習(xí)，最后得到當(dāng)前訓(xùn)練視頻序列所對(duì)應(yīng)的人臉類(lèi)別模型，具體步驟如下
在獲得初始化人臉模型&(f)后，訓(xùn)練視頻序列使用增量學(xué)習(xí)的方式對(duì)初始化的人臉模 型Gk(S)進(jìn)行模型更新，從而得到人臉類(lèi)別模型。假設(shè)第i個(gè)訓(xùn)練視頻序列用{/(), ,/,, /wh 表示。其中(/o,…,/"…/^,表示現(xiàn)有的人臉檢測(cè)算法檢測(cè)訓(xùn)練視頻每幀人臉圖像，模型的更 浙過(guò)程可以表示為
Gw(幻④仏,…/"…,/wh ->G,(i) (3) 公式<3)中①表示增量學(xué)習(xí)，G,(f)為通過(guò)學(xué)習(xí)得到的第i個(gè)視頻序列的類(lèi)別模型。本
8發(fā)明以增量學(xué)習(xí)的方式對(duì)GMM模型進(jìn)行更新。
所述的增量學(xué)習(xí)的學(xué)習(xí)過(guò)程如圖4所示，其步驟如下
假定在當(dāng)前視頻序列{/0，…,/f，的當(dāng)前幀中，《為從當(dāng)前幀A中檢測(cè)到的人臉禾莫式，利用《對(duì)初始化模型Gw (i)進(jìn)行更新。
1、 采用當(dāng)前訓(xùn)練視頻序列訓(xùn)練當(dāng)前人臉模型。假定Z-l時(shí)刻的高斯混合模型為G^(f)，其對(duì)應(yīng)的參數(shù)為{/,, /^,w), 6^,M)}。其中/表示該高斯混合豐莫型由/個(gè)高斯成分組成，/^,,M)表示f -1時(shí)刻第附個(gè)高斯成分的均值，表示？ -1時(shí)刻第w個(gè)高斯成分的方差， ,m)表示^ -1時(shí)刻第附個(gè)高斯成分的權(quán)重。
當(dāng)學(xué)習(xí)到新的檢測(cè)到的人臉模式《時(shí)，《表示的是第i個(gè)視頻序列{/o, — ,/,,.. ./wh中/;幀中的人臉模式，可以理解為高斯混合模型《(f)中的if。
2、 計(jì)算F/在各高斯成分中的隸屬度o(^,)(F/):
W《)=、")《 ，m一(附，m)), (4)式中iV(《,/z^d,《屮))/C^)表示均值為，方差為《—d的多維正態(tài)分布。
3、 求新樣本F/當(dāng)前的高斯混合模型G^—、f)中不同的高斯成分的權(quán)重并確定;^ 。
利用0(w)(《)更新學(xué)習(xí)到了新的樣本《之后，新樣本當(dāng)前的高斯混合模型1 (i)中不同的髙斯成分的權(quán)重為
— 丄3 、c ,c、
a(附，O = a(w-i) + 乂w ( n--a(附，《-i)) — 乂w Y7]^ l ^
公式(5)中/^為當(dāng)前高斯混合模型C^—^)更新速率，其決定了模型進(jìn)化為人臉類(lèi)別模型的更新的速率，如果義w設(shè)置過(guò)小，樣本的學(xué)習(xí)對(duì)模型參數(shù)的調(diào)整幾乎不產(chǎn)生任何影響，將不能得到正確的人臉類(lèi)別模型；如果義w設(shè)置過(guò)大，樣本的學(xué)習(xí)將造成GMM模型參數(shù)的奇異性，同樣無(wú)法得到人臉類(lèi)別模型。0 = ，/2為一常數(shù)，其中義的值為0.5， N的取值通過(guò)公式iV:J + dW + l)/2確定，d表示經(jīng)過(guò)PCA降維之后的樣本的維數(shù)，N表示每個(gè)高斯函數(shù)需
要確定的參數(shù)數(shù)量；同時(shí)也表示為有效估計(jì)高斯函數(shù)參數(shù)，至少應(yīng)該具有的訓(xùn)練樣本數(shù)。
4、 判斷高斯成分的纟又重"(^)是否小于零。
比較當(dāng)前高斯混合模型中所有的高斯成分的權(quán)重"(^)的值。如果《(^)<0，則表示屬
于第附個(gè)高斯成分的數(shù)據(jù)太少，不足以維持第m個(gè)高斯成分，故刪除此高斯成分，如果 ,)》0,繼續(xù)判斷當(dāng)前幀是否為最后一幀，若是則結(jié)束，不是則返回到步驟1繼續(xù)進(jìn)行人
臉模型的訓(xùn)練。
5、 更新模型各成分的高斯權(quán)重、均值、方差。
因?yàn)椤?^)<0刪除此時(shí)的高斯成分，高斯成分的總數(shù)減少一個(gè)，即/ = /-1，隨后重新歸一化不同高斯成分在新的混合模型中的權(quán)重"(W)。所述的權(quán)重"(w)的計(jì)算使用EM算法。
9相對(duì)應(yīng)的更新后的第m個(gè)高斯成分的均值〃(—和方差^^)的更新形式為
f =《-〃(一) (6)
2 。(附，f)(《) "、"(附，")
"(/n，f-1)
然后使用{/，"—,0, ,),％，0}代替{/，"——D,〃(屮),^,M山并進(jìn)行后續(xù)樣本的學(xué)習(xí)。其中f
表示的是當(dāng)前訓(xùn)練人臉樣本巧*與高斯混合模型中對(duì)應(yīng)的/-1時(shí)刻的第》7個(gè)高斯成分的均值1}之間的差值。
得到更新后的高斯模型后，接著從視頻中檢測(cè)人臉再進(jìn)行人臉模型的更新學(xué)習(xí)，直到將
當(dāng)前視頻中的所有幀都檢測(cè)完畢，便得到了人臉識(shí)別的最終的高斯混合模型Gw(f)。
對(duì)于人臉識(shí)別的高斯混合模型G^(f)，為了擴(kuò)大人臉樣本集，學(xué)習(xí)更多的類(lèi)內(nèi)差異和容忍人臉識(shí)別時(shí)的定位誤差，圍繞當(dāng)前幀的人臉位置，生成存在定位誤差的人臉圖像，并通過(guò)鏡像操作生成相應(yīng)的鏡像圖像，從而在任意時(shí)刻能學(xué)習(xí)更多的人臉樣本，保證Gw(;F)正確收斂到人臉類(lèi)別模型。由于公式(4) (8)形式比較簡(jiǎn)單，Gw(i)模型的更新過(guò)程能實(shí)時(shí)進(jìn)行。另外，為了保證初始人臉識(shí)別模型能快速進(jìn)化為人臉類(lèi)別模型，&向的模型更新速度^必須大于特定閾值。
基于以上的在線(xiàn)增量學(xué)習(xí)機(jī)制，人臉識(shí)別模型逐步更新。當(dāng)完成對(duì)當(dāng)前序列的處理后，Gw(i)將進(jìn)化為人臉類(lèi)別模型。即使^(30模型與人臉類(lèi)別模型差別較大，由于使用了增加學(xué)習(xí)樣本的機(jī)制，并在學(xué)習(xí)過(guò)程中，通過(guò)消除權(quán)值較小的高斯成分，使得C^(f)能收斂到正確的人臉類(lèi)別模型。對(duì)應(yīng)不同的訓(xùn)練序列，最終學(xué)習(xí)得到的人臉類(lèi)別模型包含的高斯成分?jǐn)?shù)目并不一致。
步驟三進(jìn)行視頻人臉的識(shí)別與檢索。
給定測(cè)試序列和類(lèi)別模型，利用貝葉斯推理過(guò)程累積視頻中的序列識(shí)別信息，按照時(shí)間軸信息傳播身份概率密度函數(shù)，并基于MAP(Maximum A Posterior,最大后驗(yàn)概率)規(guī)則得到識(shí)別分?jǐn)?shù)，并給用戶(hù)提供視頻人臉識(shí)別結(jié)果。
根據(jù)步驟一、步驟二，分別學(xué)習(xí)/個(gè)訓(xùn)練視頻，可以得到對(duì)應(yīng)的人臉類(lèi)別模型((^(i),…，《(巧,…,G"f》。如圖5所示，進(jìn)行視頻人臉的識(shí)別與檢索具體步驟為
給定待檢索的視頻，禾,人臉檢測(cè)的方法檢測(cè)人臉圖像《，結(jié)合步驟二所得到的人臉類(lèi)
別模型，禾iJ用貝葉斯推理求取關(guān)于身份變量的后驗(yàn)概率，并采用MAP規(guī)則獲得當(dāng)前人臉的
身份信息
= arg max1尸(*) = ;7 arg max G,.(《) (9)
10式中7為歸一化的常數(shù)。為了檢索特定目標(biāo)，對(duì)視頻每幀圖像所包含的人臉進(jìn)行識(shí)別。由于希望能利用視頻的歷史識(shí)別信息來(lái)提高當(dāng)前幀人臉識(shí)別的正確性。監(jiān)控視頻中，本發(fā)明假定在時(shí)空具有連續(xù)性的人臉樣本集合其身份變量保持不變，基于貝葉斯推理過(guò)程，可以得到身份變量的后驗(yàn)概率形式
/* -argmaxpC/IF/,^,^)
=77 arg max p(7/ | i,冗") | )
( * * * (10)
=/7argmax/ (F, |1 ^—i,尸。:,一2)
=/7argmaxG, (f/) (,. |《
獲得當(dāng)前人臉的身份信息^ ，給用戶(hù)提供視頻人臉識(shí)別結(jié)果。實(shí)施例
實(shí)施例的訓(xùn)練數(shù)據(jù)庫(kù)由28個(gè)人的視頻組成，每個(gè)序列包括100 510幀圖像。在這些視頻中，人臉包括了各種表情和姿態(tài)的變化，姿態(tài)的變化主要體現(xiàn)為人臉的二維平面內(nèi)旋轉(zhuǎn)和三維立體旋轉(zhuǎn)。測(cè)試數(shù)據(jù)庫(kù)由一個(gè)長(zhǎng)約4分鐘，約2013幀圖像的監(jiān)控視頻組成，共包含3個(gè)目標(biāo)人員。通過(guò)人臉檢測(cè)算法檢測(cè)到2305張人臉圖像，所有樣本歸一化為60 x 60象素的圖像。圖6和圖7分別顯示了測(cè)試數(shù)據(jù)庫(kù)和訓(xùn)練數(shù)據(jù)庫(kù)的部分樣本的示例樣本。
實(shí)施例中給定監(jiān)控視頻和所有目標(biāo)的模型，通過(guò)計(jì)算當(dāng)前視頻人臉樣本屬于目標(biāo)模型的概率，基于貝葉斯推理累積歷史識(shí)別信息給出識(shí)別結(jié)果。在28個(gè)視頻中，通過(guò)隨機(jī)挑選的6個(gè)序列訓(xùn)練人臉樣本及其鏡像用于識(shí)別模型的初始化。雖然測(cè)試數(shù)據(jù)庫(kù)只包含3個(gè)目標(biāo)人員，但總共有2305張待識(shí)別人臉圖像，且需要和28個(gè)訓(xùn)練模型作比較；監(jiān)控視頻中的人臉圖像僅經(jīng)過(guò)人臉檢測(cè)初始定位，未做進(jìn)一步歸一化，人臉的姿態(tài)和表情變化劇烈。
^是本發(fā)明中算法的重要參數(shù)，它決定了人臉識(shí)別模型的進(jìn)化速度。如果義w設(shè)置過(guò)小，樣本的學(xué)習(xí)對(duì)模型參數(shù)的調(diào)整幾乎不產(chǎn)生任何影響，將不能得到正確的人臉類(lèi)別模型；如果^設(shè)置過(guò)大，樣本的學(xué)習(xí)將造成GMM模型參數(shù)的奇異性，同樣無(wú)法得到人臉類(lèi)別模型。在實(shí)施例中，其它參數(shù)設(shè)置為初始人臉識(shí)別模型的高斯成分?jǐn)?shù)/ =20，人臉特征維數(shù)為"=18。
義w取值結(jié)果如圖8所示。在圖8中，橫坐標(biāo)表示模型更新速度系數(shù);^的取值變化，縱
坐標(biāo)表示人臉識(shí)別率。從圖中可以看出，在&"/500時(shí)，人臉識(shí)別模型進(jìn)化速度過(guò)快，導(dǎo)致參數(shù)模型的協(xié)方差矩陣奇異，因此對(duì)應(yīng)的人臉識(shí)別率為零。^在1/500 10—4范圍內(nèi)，人臉識(shí)別率保持相對(duì)穩(wěn)定。甚至義w取更小的值，識(shí)別率也下降幅度不大。
比較四種逐幀識(shí)別的人臉識(shí)別算法，即本發(fā)明所述的基于人臉類(lèi)別模型和貝葉斯推理的算法(BGMM)、 GMM、 PCA和最近鄰算法(NN)。 BGMM的參數(shù)設(shè)置為初始人臉識(shí)別模型
11的高斯成分?jǐn)?shù)/ = 20， PCA特征維數(shù)J-18，模型更新速度^ =0.0005 。 GMM算法采用離線(xiàn)訓(xùn)練的方式，在給定訓(xùn)練數(shù)據(jù)的情況下，利用EM算法得到人臉類(lèi)別模型。PCA算法對(duì)應(yīng)的特征維數(shù)為50。結(jié)果如圖9所示，圖9用柱狀圖表示各種方法正確識(shí)別的幀數(shù)與待識(shí)別幀數(shù)的比率，GMM， BGMM， NN和PCA的識(shí)別率分別為85.49%， 93.96%, 90.88%,68.33%,即本發(fā)明的基于人臉類(lèi)別模型和貝葉斯推理的算法遠(yuǎn)遠(yuǎn)好于其它三種算法。
權(quán)利要求
1、一種基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法，包括步驟一建立人臉識(shí)別模型的初始化模型；所述的人臉識(shí)別初始模型采用GMM人臉識(shí)別模型；其特征在于，還包括如下步驟，步驟二建立人臉類(lèi)別模型；當(dāng)新的訓(xùn)練序列到來(lái)時(shí)，對(duì)每幀圖像進(jìn)行人臉檢測(cè)，并學(xué)習(xí)檢測(cè)到的人臉來(lái)更新識(shí)別模型；在完成對(duì)當(dāng)前序列的處理后，由于學(xué)習(xí)了更多的人臉樣本，人臉識(shí)別模型逐步進(jìn)化為反映類(lèi)別信息的人臉類(lèi)別模型，使用不同的訓(xùn)練視頻序列對(duì)人臉初始模型進(jìn)行增量學(xué)習(xí)，最后通過(guò)增量學(xué)習(xí)的方式得到當(dāng)前訓(xùn)練視頻序列所對(duì)應(yīng)的人臉類(lèi)別模型；步驟三進(jìn)行視頻人臉的識(shí)別與檢索；給定測(cè)試視頻序列和人臉類(lèi)別模型，利用貝葉斯推理過(guò)程累積視頻中的序列識(shí)別信息，按照時(shí)間軸信息傳播身份概率密度函數(shù)，并基于MAP規(guī)則得到識(shí)別分?jǐn)?shù)，并給用戶(hù)提供視頻人臉識(shí)別結(jié)果；根據(jù)步驟一、步驟二，分別學(xué)習(xí)J個(gè)訓(xùn)練視頻，得到對(duì)應(yīng)的人臉類(lèi)別模型進(jìn)行視頻人臉的識(shí)別與檢索具體步驟為給定待檢索的視頻，利用人臉檢測(cè)的方法檢測(cè)人臉圖像結(jié)合步驟二所得到的人臉類(lèi)別模型，利用貝葉斯推理求取關(guān)于身份變量的后驗(yàn)概率，并采用MAP規(guī)則獲得當(dāng)前人臉的身份信息式中η為歸一化的常數(shù)；監(jiān)控視頻中，假定在時(shí)空具有連續(xù)性的人臉樣本集合中其身份變量保持不變，基于貝葉斯推理過(guò)程，得到身份變量的后驗(yàn)概率形式獲得當(dāng)前人臉的身份信息i*，給用戶(hù)提供視頻人臉識(shí)別結(jié)果。
2、 根據(jù)權(quán)利要求1所述的基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法，其特征 在于步驟二所述的增量學(xué)習(xí)，其步驟如下假定在當(dāng)前視頻序列{/ ), ,/,， ■ 的當(dāng)前幀中，《為從當(dāng)前幀中檢測(cè)到的人臉模式，利用《對(duì)初始化模型Q(30進(jìn)行更新；(1) 釆用當(dāng)前訓(xùn)練視頻序列訓(xùn)練當(dāng)前人臉模型;假定卜l時(shí)刻的高斯混合模型為GJT1②， 其對(duì)應(yīng)的參數(shù)為仏"(^),/V,-d，《^));其中/表示該高斯混合模型由/個(gè)高斯成分組成，表示卜1時(shí)刻第m個(gè)高斯成分的均值，《m")表示卜1時(shí)刻第w個(gè)高斯成分的方差， 表示卜1時(shí)刻第^個(gè)高斯成分的權(quán)重； 當(dāng)學(xué)習(xí)到新的檢測(cè)到的人臉模式《時(shí)，芍表示的是第i個(gè)視頻序列{/(), ■ ,/,,中厶 幀中的人臉模式，理解為高斯混合模型G,(f)中的S;(2) 計(jì)算i^在各高斯成分中的隸屬度o(^,)(i^):W《)=^W"《/W,)，^m—d), (3) 式中A^r,/z(^),《^))/G(f)表示均值為〃d)，方差為的多維正態(tài)分布；(3) 求新樣本F/當(dāng)前的高斯混合模型(^—i②中不同的高斯成分的權(quán)重并確定^ ;利用0<(《)更新學(xué)習(xí)到了新的樣本《之后，新樣本《當(dāng)前的高斯混合模型Gf (3f) 中不同的高斯成分的禾又重為<formula>formula see original document page 3</formula>(4)公式(5)中^為當(dāng)前高斯混合模型GJj—、5)更新速率，其決定了模型進(jìn)化為人臉類(lèi)別模 型的更新的速率；C二抓/2為一常數(shù)，其中A的值為0.5， N的取值通過(guò)公式 JV二c + rf^ + l)/2確定，d表示經(jīng)過(guò)PCA降維之后的樣本的維數(shù)，N表示每個(gè)高斯函數(shù)需要確定的參數(shù)數(shù)量；同時(shí)也表示為有效估計(jì)高斯函數(shù)參數(shù)，至少應(yīng)該具有的訓(xùn)練樣本數(shù)；(4) 判斷高斯成分的權(quán)重"(^)是否小于零；比較當(dāng)前高斯混合模型中所有的高斯成分的權(quán)重"(^)的值，如果"( ^)<0，則表示屬于第附個(gè)高斯成分的數(shù)據(jù)太少，不足以維持第附個(gè)高斯成分，故刪除此高斯成分，如果 aK,)20，繼續(xù)判斷當(dāng)前幀是否為最后一幀，若是則結(jié)束，不是則返回到步驟(1)繼續(xù)進(jìn)行人臉模型的訓(xùn)練；(5) 更新模型各成分的高斯權(quán)重、均值、方差； 因?yàn)閍(^)〈0刪除此時(shí)的高斯成分，高斯成分的總數(shù)減少一個(gè)，即/ = /-1,隨后重新歸一化不同高斯成分在新的混合模型中的權(quán)重"(w);所述的"(w)的計(jì)算使用EM算法來(lái)進(jìn)行 計(jì)算；相對(duì)應(yīng)的更新后的第m個(gè)高斯成分的均值和方差A(yù)^)和^^)的更新形式為<formula>formula see original document page 3</formula> (5)<formula>formula see original document page 3</formula> (6)然后使用{/,"(附，,), ,),％，0}代替仏"(附，卜d , ,M)}，并進(jìn)行后續(xù)樣本的學(xué)習(xí)；其中^ 表示的是當(dāng)前訓(xùn)練人臉樣本《與高斯混合模型中對(duì)應(yīng)的f-l時(shí)刻的第w個(gè)高斯成分的均值 /^,M)之間的差值；得到更新后的高斯模型，隨后接著從視頻中檢測(cè)人臉再進(jìn)行人臉模型的更新學(xué)習(xí)，直到 將當(dāng)前視頻中的所有幀都檢測(cè)完畢，隨后便得到了人臉識(shí)別的最終的高斯混合模型(^(:0 。
全文摘要
本發(fā)明公開(kāi)了一種基于在線(xiàn)學(xué)習(xí)和貝葉斯推理的視頻人臉識(shí)別與檢索方法，包括以下步驟步驟一建立人臉識(shí)別模型的初始化模型。人臉識(shí)別初始模型采用GMM人臉識(shí)別模型。步驟二建立人臉類(lèi)別模型。使用增量學(xué)習(xí)的方式對(duì)初始化的人臉模型進(jìn)行模型更新。步驟三進(jìn)行視頻人臉的識(shí)別與檢索。給定測(cè)試序列和類(lèi)別模型，利用貝葉斯推理過(guò)程累積視頻中的序列識(shí)別信息，按照時(shí)間軸信息傳播身份概率密度函數(shù)，并基于MAP規(guī)則得到識(shí)別分?jǐn)?shù)，并給用戶(hù)提供視頻人臉識(shí)別結(jié)果。本發(fā)明建立了一個(gè)完全基于非監(jiān)督學(xué)習(xí)的模型訓(xùn)練框架，根據(jù)訓(xùn)練序列的空間分布，初始模型進(jìn)化為形式不同的類(lèi)別模型，通過(guò)調(diào)節(jié)人臉類(lèi)別模型的高斯混和數(shù)以更好地?cái)M合空間數(shù)據(jù)的分布。
文檔編號(hào)G06K9/00GK101464950SQ20091007712
公開(kāi)日2009年6月24日 申請(qǐng)日期2009年1月16日 優(yōu)先權(quán)日2009年1月16日
發(fā)明者李江偉, 王蘊(yùn)紅, 茍高鵬 申請(qǐng)人:北京航空航天大學(xué)