本發(fā)明一般地涉及計(jì)算機(jī)視頻處理技術(shù)領(lǐng)域，更具體地，涉及人臉識(shí)別裝置、人臉識(shí)別方法、利用人臉識(shí)別裝置的目標(biāo)人跟蹤裝置以及利用人臉識(shí)別方法的目標(biāo)人跟蹤方法，上述的裝置和方法適合城市安全管理，諸如機(jī)場、監(jiān)獄和圖書館等公共區(qū)域。

背景技術(shù)：

現(xiàn)有的人臉識(shí)別技術(shù)對于圖像質(zhì)量較好的人臉具有較高的辨識(shí)度。對于lfw等數(shù)據(jù)庫(其由美國馬薩諸塞大學(xué)阿姆斯特分校技術(shù)視覺實(shí)驗(yàn)室整理完成的)的人臉識(shí)別精度能到達(dá)99％以上。但是如果直接將此類算法應(yīng)用到監(jiān)控場景中，其效果將會(huì)大打折扣。以lfw數(shù)據(jù)庫為例，雖然一般認(rèn)為此數(shù)據(jù)庫是在不受控的條件下拍攝的圖像，但是在分辨率，色彩真實(shí)度，人臉姿態(tài)等方面較監(jiān)控場景的人臉圖像好很多。因此，如果直接將一般的人臉識(shí)別算法移植到監(jiān)控場景的人臉識(shí)別中，其效果將會(huì)下降很多。

利用上述lfw數(shù)據(jù)庫的主要問題在于以下兩點(diǎn)：1、常規(guī)人臉識(shí)別一般使用單張圖像，而在監(jiān)控場景中，由于圖像質(zhì)量較差，因此單張圖像信息量有限，無法保證識(shí)別的準(zhǔn)確性；2、常規(guī)人臉識(shí)別所面臨的圖像成像差異不大，因此一般不會(huì)針對于不同攝像頭圖像進(jìn)行差異性減少處理，而在監(jiān)控場景中，由于不同攝像頭之間的人臉分辨率、顏色、姿態(tài)等都會(huì)有較大差異，因此需要先減少差異性，才能保證識(shí)別的準(zhǔn)確性。因此，lfw數(shù)據(jù)庫無法應(yīng)用于現(xiàn)場監(jiān)控場景。

監(jiān)控場景的人臉識(shí)別較普通人臉識(shí)別具有一些新的特點(diǎn)。1、單目標(biāo)物體可以被多張連續(xù)圖所描述，而多圖所提取的特征能夠更完備的描述目標(biāo)特點(diǎn)。目前，image-set的方法可以通過多張圖形成類似于高維包絡(luò)的空間來描述單一目標(biāo)，對于兩個(gè)不同的目標(biāo)計(jì)算兩個(gè)包絡(luò)之間的最小距離，作為這兩個(gè)目標(biāo)的差異度，目前相關(guān)的算法有基于仿射包的圖像集距離ahisd(affinehull basedimagesetdistance)、稀疏近似最近鄰點(diǎn)sanp、crnp(collaborativelyregularizednearestpoints)和二元線性回歸分類dlrc(duallinearregressionclassification)等。雖然此類算法能夠比較豐富的描述目標(biāo)的特征空間，但此類算法對于不同目標(biāo)形成的包絡(luò)易于重疊，原因在于其特征具有相似性，因此對于不同的目標(biāo)，其所提取的特征差異度必須較大，基于特征形成的包絡(luò)才不會(huì)重疊。2、跨攝像頭的監(jiān)控場景具有不同的光照，視角/姿態(tài)以及圖像分辨率，這些會(huì)極大的影響識(shí)別的精度。目前，metric-learning(即，度量學(xué)習(xí))的方法能夠解決這一問題。這類算法能夠?qū)⒉煌卣骺臻g的特征投影到相同的度量空間，能夠減小相同目標(biāo)由于攝像頭和姿態(tài)/光照/表情的不同造成的差異，增加不同目標(biāo)的特征差異。metric-learning方法的這一特點(diǎn)能夠彌補(bǔ)image-set(即，圖像集，又稱為圖集)方法的不足。目前相關(guān)的算法有大間隔最近鄰居lmnn(largemarginnearestneighbor)等。3、由于監(jiān)控?cái)z像頭需要連續(xù)不斷的記錄數(shù)據(jù)，因此其存儲(chǔ)的數(shù)據(jù)量是驚人的，而在大量的數(shù)據(jù)中尋找出目標(biāo)圖像，需要效率極快的算法，而對人臉特征進(jìn)行壓縮后再識(shí)別，能夠極大的提高算法效率。

因此，在使用多攝像頭的監(jiān)控場景下存在多攝像頭人臉識(shí)別的問題，由于與常規(guī)場景差異性較大，因此在處理方法上與常規(guī)的人臉識(shí)別具有較大不同?？鐢z像頭跟蹤的對象一般是多源圖像，攝像頭的不同(制造商及型號(hào))導(dǎo)致圖像分辨率，色彩及變形情況會(huì)有較大不同；此外，環(huán)境光源差異、人為對焦差異及攝像頭安裝角度差異等也會(huì)讓不同攝像頭生成的圖像中同一個(gè)目標(biāo)差異性較大；其次，在監(jiān)控場景中，運(yùn)動(dòng)的目標(biāo)距離攝像頭距離變化較大，會(huì)導(dǎo)致成像清晰度及顏色也具有較大差異。以上這些差異都是監(jiān)控場景的人臉識(shí)別所面臨的獨(dú)特問題。此外，跨攝像頭跟蹤是對多個(gè)攝像頭的海量數(shù)據(jù)進(jìn)行處理，因此快速處理海量數(shù)據(jù)也是跨攝像頭跟蹤需要解決的關(guān)鍵問題。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)中所存在的監(jiān)控場景中的多攝像頭人臉識(shí)別的差異性和針對多個(gè)攝像頭的海量數(shù)據(jù)處理的技術(shù)問題，本發(fā)明提供了能夠解決上述技問題的一種人臉識(shí)別裝置和方法，以及目標(biāo)人跟蹤裝置和方法。

為了解決上述缺陷，本發(fā)明提出一種能夠適用于大尺度數(shù)據(jù)的監(jiān)控場景下 跨攝像頭識(shí)別的方法。具體地通過以下三種方式來提供優(yōu)點(diǎn)：1、針對于多個(gè)攝像頭，為了減少其差異性，使用特征度量空間歸一化；2、針對于視頻幀的連續(xù)性，提取及合并多張人臉特征來描述同一目標(biāo)，使目標(biāo)特征空間更完備；以及3、針對大規(guī)模數(shù)據(jù)集運(yùn)算，使用特征壓縮及二階段匹配方法。

根據(jù)本發(fā)明的一方面，提供了一種人臉識(shí)別裝置包括：人臉集生成模塊，被配置為基于多幅視頻圖像生成人臉集；特征度量歸一化模塊，被配置為對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅不同攝像頭下相同人臉圖像之間的差異性；以及特征包絡(luò)形成模塊，被配置為對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間。

優(yōu)選地，多幅不同攝像頭下相同人臉圖像之間的差異性包括背景光源的差異性和拍攝角度的差異性。

優(yōu)選地，對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性進(jìn)一步包括：將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的背景光源；以及將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的拍攝角度。

優(yōu)選地，人臉識(shí)別裝置還包括：識(shí)別模塊，被配置為基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人匹配度最高的目標(biāo)人臉集。

優(yōu)選地，人臉集生成模塊包括：人臉檢測模塊，被配置為以預(yù)定幀間隔獲取的視頻圖像進(jìn)行人臉檢測，其中，根據(jù)視頻幀率進(jìn)行確定預(yù)定幀間隔。

優(yōu)選地，人臉集生成模塊還包括人臉對齊模塊，被配置為對進(jìn)行人臉檢測的視頻圖像進(jìn)行如下圖像處理：被配置為從視頻圖像中的提取關(guān)鍵點(diǎn)，并且根據(jù)雙眼瞳孔距離對人臉進(jìn)行尺度變換；以及根據(jù)提取的關(guān)鍵點(diǎn)的位置，估計(jì)人臉的偏行角度，并根據(jù)人臉的偏航角度將人臉旋轉(zhuǎn)為正面臉，生成包括同一目標(biāo)人的多幅人臉圖像的人臉集，其中，關(guān)鍵點(diǎn)包括眼睛、鼻子和嘴巴。

優(yōu)選地，特征度量歸一化模塊還包括：特征提取模塊，對人臉集進(jìn)行特征提取，以形成原始特征人臉集；以及壓縮模塊，被配置為對原始特征進(jìn)行壓縮處理，以形成壓縮特征人臉集。

優(yōu)選地，識(shí)別模塊還包括：粗匹配識(shí)別模塊，被配置為基于設(shè)定的目標(biāo)人，確定有序的預(yù)定數(shù)量的人臉集；以及精匹配識(shí)別模塊，被配置為基于設(shè)定的目 標(biāo)人，從有序的預(yù)定數(shù)量的人臉集中快速確定目標(biāo)人臉集。

優(yōu)選地，基于設(shè)定的目標(biāo)人，從多個(gè)壓縮特征人臉集中確定預(yù)定數(shù)量的人臉集；根據(jù)與設(shè)定的目標(biāo)人的匹配度，以匹配度從高到低的順序?qū)︻A(yù)定數(shù)量的人臉集進(jìn)行排序，以生成有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從與有序的預(yù)定數(shù)量的人臉集相對應(yīng)的預(yù)定數(shù)量的原始特征人臉集中快速確定目標(biāo)人臉集。

根據(jù)本發(fā)明的另一方面，提供了一種人臉識(shí)別方法，包括以下步驟：基于多幅視頻圖像生成人臉集；對人臉集中的多幅人臉圖像進(jìn)行度量空間變換，以消除多幅不同攝像頭下相同人臉圖像之間的差異性；以及對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間。

優(yōu)選地，多幅不同攝像頭下相同人臉圖像之間的差異性包括背景光源的差異性和拍攝角度的差異性。

優(yōu)選地，對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅不同攝像頭下相同人臉圖像之間的差異性進(jìn)一步包括：將多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的背景光源；以及將多幅人臉圖像進(jìn)行度量空間變換，以使多幅人臉圖像具有相同的拍攝角度。

優(yōu)選地，人臉識(shí)別方法還包括：基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人匹配度最高的目標(biāo)人臉集。

優(yōu)選地，人臉識(shí)別方法還包括：在生成人臉集之前，以預(yù)定幀間隔獲取的視頻圖像進(jìn)行人臉檢測，其中，根據(jù)視頻幀率進(jìn)行確定預(yù)定幀間隔。

優(yōu)選地，在對多幅人臉圖像進(jìn)行度量空間變換之前，對進(jìn)行人臉檢測的視頻圖像進(jìn)行如下圖像處理：從視頻圖像中的提取關(guān)鍵點(diǎn)，并且根據(jù)雙眼瞳孔距離對人臉進(jìn)行尺度變換；以及根據(jù)提取的關(guān)鍵點(diǎn)的位置，估計(jì)人臉的偏行角度，并根據(jù)人臉的偏航角度將人臉旋轉(zhuǎn)為正面臉，生成包括同一目標(biāo)人的多幅人臉圖像的人臉集，其中，關(guān)鍵點(diǎn)包括眼睛、鼻子和嘴巴。

優(yōu)選地，在對人臉集中的多幅人臉圖像進(jìn)行度量空間變換之前還包括以下步驟：對人臉集進(jìn)行特征提取，以形成原始特征人臉集；以及被配置為對原始特征進(jìn)行壓縮處理，以形成壓縮特征人臉集。

優(yōu)選地，人臉識(shí)別方法進(jìn)一步包括：基于設(shè)定的目標(biāo)人，確定有序的預(yù)定 數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從有序的預(yù)定數(shù)量的人臉集中快速確定目標(biāo)人臉集。

優(yōu)選地，人臉識(shí)別方法進(jìn)一步包括：基于設(shè)定的目標(biāo)人，從多個(gè)壓縮特征人臉集中確定預(yù)定數(shù)量的人臉集；根據(jù)與設(shè)定的目標(biāo)人的匹配度，以匹配度從高到低的順序?qū)︻A(yù)定數(shù)量的人臉集進(jìn)行排序，以生成有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從與有序的預(yù)定數(shù)量的人臉集相對應(yīng)的預(yù)定數(shù)量的原始特征人臉集中快速確定目標(biāo)人臉集。

根據(jù)本發(fā)明的又一方面，提供了一種目標(biāo)人跟蹤裝置，包括：人臉集生成模塊，被配置為基于多幅視頻圖像生成人臉集；特征度量歸一化模塊，被配置為對多幅人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性；特征包絡(luò)形成模塊，被配置為對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間；人臉識(shí)別模塊，基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人的人臉圖像匹配度最高的目標(biāo)人臉集；跟蹤模塊，根據(jù)目標(biāo)人臉集中的每一幅人臉圖像的拍攝位置和時(shí)間，確定目標(biāo)人的路線。

根據(jù)本發(fā)明的又一方面，提供了一種目標(biāo)人跟蹤方法，包括以下步驟：基于多幅視頻圖像生成人臉集；對人臉集中的多幅人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性；以及對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間；基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人的人臉圖像匹配度最高的目標(biāo)人臉集；根據(jù)目標(biāo)人臉集中的每一幅人臉圖像的拍攝位置和時(shí)間，確定目標(biāo)人的路線。

本發(fā)明專門針對監(jiān)控場景的人臉識(shí)別裝置和方法。針對于不同攝像頭的差異性進(jìn)行特征度量空間歸一化，并結(jié)合特征度量空間和人臉圖像集進(jìn)行識(shí)別，大幅提高了監(jiān)控場景下的人臉識(shí)別的精度。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的 前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是根據(jù)本發(fā)明的實(shí)施例的人臉識(shí)別裝置的框圖；

圖2是根據(jù)本發(fā)明的實(shí)施例的人臉識(shí)別方法的流程圖；

圖3是根據(jù)本發(fā)明的實(shí)施例的圖2中的人臉識(shí)別方法中進(jìn)一步包括的特征提取和壓縮步驟的示意圖。

圖4是根據(jù)本發(fā)明的實(shí)施例的人臉識(shí)別方法中的包絡(luò)化處理所生成的特征包絡(luò)的示意圖；

圖5是根據(jù)本發(fā)明的實(shí)施例的目標(biāo)人跟蹤裝置的框圖；

圖6是根據(jù)本發(fā)明的實(shí)施例的在目標(biāo)人跟蹤方法的流程圖；

圖7是根據(jù)本發(fā)明的實(shí)施例的在目標(biāo)人跟蹤過程中所進(jìn)行的兩個(gè)階段匹配的示意圖；

圖8a、8b和8c分別地示出了根據(jù)本發(fā)明的實(shí)施例的目標(biāo)人跟蹤過程中的在一個(gè)攝像頭中跟蹤目標(biāo)人、在多攝像頭中繼續(xù)跟蹤目標(biāo)人以及被跟蹤在地圖中的軌跡被顯示的系統(tǒng)示圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1是根據(jù)本發(fā)明的實(shí)施例的人臉識(shí)別裝置的框圖。圖2是根據(jù)本發(fā)明的實(shí)施例的人臉識(shí)別方法的流程圖。

參考圖1，人臉識(shí)別裝置包括人臉集生成模塊102、特征度量歸一化模塊104和特征包絡(luò)形成模塊106。具體地，人臉集生成模塊102被配置為基于多幅視頻圖像生成人臉集。特征度量歸一化模塊104被配置為對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅不同攝像頭下相同人臉圖像之間的差異性。特征包絡(luò)形成模塊106被配置為對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間。

在一個(gè)實(shí)施例中，人臉集生成模塊102還包括：人臉檢測模塊，被配置為以預(yù)定幀間隔獲取的視頻圖像進(jìn)行人臉檢測，其中，根據(jù)視頻幀率進(jìn)行確定預(yù)定幀間隔。此外，人臉集生成模塊102還包括人臉對齊模塊，被配置為對進(jìn)行人臉檢測的視頻圖像進(jìn)行如下圖像處理：被配置為從視頻圖像中的提取關(guān)鍵點(diǎn)，并且根據(jù)雙眼瞳孔距離對人臉進(jìn)行尺度變換；以及根據(jù)提取的關(guān)鍵點(diǎn)的位置，估計(jì)人臉的偏行角度，并根據(jù)人臉的偏航角度將人臉旋轉(zhuǎn)為正面臉，生成包括同一目標(biāo)人的多幅人臉圖像的人臉集，其中，關(guān)鍵點(diǎn)包括眼睛、鼻子和嘴巴。

具體地，多幅不同攝像頭下相同人臉圖像之間的差異性包括背景光源的差異性和拍攝角度的差異性。利用特征度量歸一化模塊104對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性進(jìn)一步包括：將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的背景光源；以及將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的拍攝角度。另外，特征度量歸一化模塊104還包括特征提取模塊，對人臉集進(jìn)行特征提取，以形成原始特征人臉集；以及壓縮模塊，被配置為對原始特征進(jìn)行壓縮處理，以形成壓縮特征人臉集。

另外，人臉識(shí)別裝置還包括識(shí)別模塊，被配置為基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人匹配度最高的目標(biāo)人臉集。識(shí)別模塊還包括：粗匹配識(shí)別模塊，被配置為基于設(shè)定的目標(biāo)人，確定有序的預(yù)定數(shù)量的人臉集；以及精匹配識(shí)別模塊，被配置為基于設(shè)定的目標(biāo)人，從有序的預(yù)定數(shù)量的人臉集中快速確定目標(biāo)人臉集。具體地，基于設(shè)定的目標(biāo)人，從多個(gè)壓縮特征人臉集中確定預(yù)定數(shù)量的人臉集；根據(jù)與設(shè)定的目標(biāo)人的匹配度，以匹配度從高到低的順序?qū)︻A(yù)定數(shù)量的人臉集進(jìn)行排序，以生成有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從與有序的預(yù)定數(shù)量的人臉集相對應(yīng)的預(yù)定數(shù)量的原始特征人臉集中快速確定目標(biāo)人臉集。

參考圖2，人臉識(shí)別方法包括以下步驟：在步驟210中，基于多幅視頻圖像生成人臉集；在步驟220中，對人臉集中的多幅人臉圖像進(jìn)行度量空間變換，以消除多幅不同攝像頭下相同人臉圖像之間的差異性；以及在步驟230中，對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間。

人臉識(shí)別方法還包括：在生成人臉集之前，以預(yù)定幀間隔獲取的視頻圖像進(jìn)行人臉檢測，其中，根據(jù)視頻幀率進(jìn)行確定預(yù)定幀間隔。另外，在對多幅人臉圖像進(jìn)行度量空間變換之前，對進(jìn)行人臉檢測的視頻圖像進(jìn)行如下圖像處理：從視頻圖像中的提取關(guān)鍵點(diǎn)，并且根據(jù)雙眼瞳孔距離對人臉進(jìn)行尺度變換；以及根據(jù)提取的關(guān)鍵點(diǎn)的位置，估計(jì)人臉的偏行角度，并根據(jù)人臉的偏航角度將人臉旋轉(zhuǎn)為正面臉，生成包括同一目標(biāo)人的多幅人臉圖像的人臉集，其中，關(guān)鍵點(diǎn)包括眼睛、鼻子和嘴巴。

多幅不同攝像頭下相同人臉圖像之間的差異性包括背景光源的差異性和拍攝角度的差異性。在對人臉集中的多幅人臉圖像進(jìn)行度量空間變換之前還包括：對人臉集進(jìn)行特征提取，以形成原始特征人臉集；以及被配置為對原始特征進(jìn)行壓縮處理，以形成壓縮特征人臉集。對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅不同攝像頭下相同人臉圖像之間的差異性進(jìn)一步包括：將多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的背景光源；以及將多幅人臉圖像進(jìn)行度量空間變換，以使多幅人臉圖像具有相同的拍攝角度。

另外，人臉識(shí)別方法還包括：基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人匹配度最高的目標(biāo)人臉集。人臉識(shí)別方法進(jìn)一步包括：基于設(shè)定的目標(biāo)人，確定有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從有序的預(yù)定數(shù)量的人臉集中快速確定目標(biāo)人臉集。具體地，人臉識(shí)別方法進(jìn)一步包括：基于設(shè)定的目標(biāo)人，從多個(gè)壓縮特征人臉集中確定預(yù)定數(shù)量的人臉集；根據(jù)與設(shè)定的目標(biāo)人的匹配度，以匹配度從高到低的順序?qū)︻A(yù)定數(shù)量的人臉集進(jìn)行排序，以生成有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從與有序的預(yù)定數(shù)量的人臉集相對應(yīng)的預(yù)定數(shù)量的原始特征人臉集中快速確定目標(biāo)人臉集。

根據(jù)本發(fā)明的上述實(shí)施例，利用監(jiān)控場景的人臉識(shí)別裝置和方法，其中，針對于不同攝像頭的差異性進(jìn)行特征度量空間歸一化，并結(jié)合特征度量空間和人臉圖像集進(jìn)行識(shí)別，能夠大幅度提高人臉識(shí)別的精度。

下文中將參照圖3至圖8c對目標(biāo)人跟蹤裝置及目標(biāo)人跟蹤方法，然后在對目標(biāo)人跟蹤裝置中所包括的人臉識(shí)別裝置進(jìn)行詳細(xì)描述并且對目標(biāo)人跟蹤方法中所使用的人臉識(shí)別方法進(jìn)行詳細(xì)描述。

圖5是根據(jù)本發(fā)明的實(shí)施例的目標(biāo)人跟蹤裝置的框圖。首先參照圖5對目標(biāo)人跟蹤裝置進(jìn)行詳細(xì)描述。參考圖5，根據(jù)本發(fā)明的另一實(shí)施例，目標(biāo)人跟蹤裝置包括人臉集生成模塊502、特征度量歸一化模塊504、特征包絡(luò)形成模塊506、人臉識(shí)別模塊510和跟蹤模塊512。人臉集生成模塊502、特征度量歸一化模塊504、特征包絡(luò)形成模塊506包括在人臉識(shí)別裝置中。在優(yōu)選實(shí)施例中，圖5所示的人臉集生成模塊502、特征度量歸一化模塊504、特征包絡(luò)形成模塊506可以分別與圖1所示的人臉集生成模塊102、特征度量歸一化模塊104和特征包絡(luò)形成模塊106相同或相似。

下文中，將對目標(biāo)人跟蹤裝置中的各個(gè)模塊分別進(jìn)行詳細(xì)描述。

人臉集生成模塊502被配置為基于多幅視頻圖像生成人臉集。在一個(gè)實(shí)施例中，人臉集生成模塊502還包括：人臉檢測模塊，被配置為以預(yù)定幀間隔獲取的視頻圖像進(jìn)行人臉檢測，其中，根據(jù)視頻幀率進(jìn)行確定預(yù)定幀間隔。此外，人臉集生成模塊502還包括人臉對齊模塊，被配置為對進(jìn)行人臉檢測的視頻圖像進(jìn)行如下圖像處理：被配置為從視頻圖像中的提取關(guān)鍵點(diǎn)，并且根據(jù)雙眼瞳孔距離對人臉進(jìn)行尺度變換；以及根據(jù)提取的關(guān)鍵點(diǎn)的位置，估計(jì)人臉的偏行角度，并根據(jù)人臉的偏航角度將人臉旋轉(zhuǎn)為正面臉，生成包括同一目標(biāo)人的多幅人臉圖像的人臉集，其中，關(guān)鍵點(diǎn)包括眼睛、鼻子和嘴巴。

下文中，將對人臉生成模塊502的實(shí)例進(jìn)行詳細(xì)描述。在具體實(shí)例中，首先通過人臉檢測模塊進(jìn)行人臉檢測和跟蹤，然后通過人臉對齊模塊進(jìn)行人臉對齊。具體地，將監(jiān)控視頻分解為圖片，每隔幾幀對視頻圖片進(jìn)行人臉檢測。間隔的幀數(shù)根據(jù)實(shí)際的視頻幀率確定。所檢測的人臉區(qū)域，盡量少的包含背景信息，減少背景噪聲對于識(shí)別的影響。為了獲取同一個(gè)人的多張圖片，需要對人臉圖像進(jìn)行跟蹤。人臉跟蹤可能會(huì)有兩種錯(cuò)誤：1、跟蹤的目標(biāo)不屬于同一個(gè)人；解決方法為：實(shí)時(shí)檢測相鄰幀人臉圖像的相似度，如果相似度低于閾值，則對所跟蹤圖像設(shè)定新的id，其中，該閾值可以根據(jù)用戶需要進(jìn)行設(shè)置；2、跟蹤的目標(biāo)屬于同一個(gè)人，但是跟蹤圖像無法準(zhǔn)確的覆蓋人臉區(qū)域。解決方法為：利用人臉跟蹤框最近的人臉檢測圖像修正人臉跟蹤結(jié)果。

在具體實(shí)例中，接下來進(jìn)行人臉對齊。人臉對齊對識(shí)別結(jié)果影響較大。首先對人臉進(jìn)行眼睛、鼻子、嘴巴四個(gè)關(guān)鍵點(diǎn)的提取，然后根據(jù)兩眼瞳孔的距離對人臉進(jìn)行尺度變換；然后兩個(gè)瞳孔連線與水平線之間的夾角，對人臉圖像旋轉(zhuǎn)為水平；根據(jù)這四個(gè)關(guān)鍵點(diǎn)的位置，估計(jì)人臉的偏航角度，將人臉旋轉(zhuǎn)到正面臉。如果人臉的這四個(gè)關(guān)鍵點(diǎn)無法提取，那么對這些人臉圖像不進(jìn)行處理。在單個(gè)圖像集的圖像數(shù)量比較多的情況下，可以對這些關(guān)鍵點(diǎn)無法提取的圖像進(jìn)行丟棄處理，但是需要保證單個(gè)圖像集的圖像數(shù)量大于15個(gè)。

目標(biāo)人跟蹤裝置還包括特征度量歸一化模塊504，被配置為對多幅人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性，具體地，多幅不同攝像頭下相同人臉圖像之間的差異性包括背景光源的差異性和拍攝角度等的差異性。具體地，對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性進(jìn)一步包括：將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的背景光源；以及將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的拍攝角度。另外，特征度量歸一化模塊504還包括特征提取模塊，對人臉集進(jìn)行特征提取，以形成原始特征人臉集；以及壓縮模塊，被配置為對原始特征進(jìn)行壓縮處理，以形成壓縮特征人臉集。利用該特征度量歸一化模塊504能夠大幅度降低背景光源的差異性和拍攝角度等的差異性。

下文中，將對特征度量歸一化模塊504的實(shí)例進(jìn)行詳細(xì)描述。在具體實(shí)例中，當(dāng)進(jìn)行基于人臉集的多攝像頭特征度量空間歸一化時(shí)，首先通過特征提取模塊和壓縮模塊人臉檢測模塊進(jìn)行人臉檢測和跟蹤，然后通過特征度量歸一化模塊504進(jìn)行多攝像頭特征度量空間歸一化。

圖3是根據(jù)本發(fā)明的實(shí)施例的圖2中的人臉識(shí)別方法中進(jìn)一步包括的特征提取和壓縮步驟的示意圖。參考圖3，通過特征提取模塊和壓縮模塊人臉檢測模塊進(jìn)行人臉檢測和跟蹤。在具體實(shí)例中，對對齊后的人臉圖像集進(jìn)行特征提取，所提取特征可以為lbp(即，局部二值模式)、gabor(即，蓋博)或者dct(即，離散余弦變換)特征。一般情況下，對于32×32 或者64×64的圖像，其特征維度能夠達(dá)到1000以上，雖然單個(gè)圖像處理耗時(shí)不多，但是如果當(dāng)圖像數(shù)量達(dá)到十萬級時(shí)，其耗時(shí)長度將會(huì)極為可觀，因此需要對所提取特征進(jìn)行特征壓縮處理。對所提取的特征進(jìn)行采樣；然后使用wtahash壓縮技術(shù)對所采樣的特征進(jìn)行壓縮，壓縮結(jié)果為：局部最大特征值為1，其余特征值壓縮為0；最后，將所有局部區(qū)域的壓縮串聯(lián)起來，其結(jié)果為此特征向量的壓縮結(jié)果。在特征壓縮過程中，特征采樣間隔、局部區(qū)域長度根據(jù)實(shí)際需求確定。壓縮后的特征向量為二值壓縮，壓縮后的特征維度將會(huì)減少。

在具體實(shí)例中，對多攝像頭特征度量空間歸一化進(jìn)行詳細(xì)描述。此過程需要先訓(xùn)練然后再使用。首先使用不同攝像頭之間的樣本進(jìn)行變換矩陣訓(xùn)練，然后在使用過程中將此變換矩陣應(yīng)用到對應(yīng)的攝像頭上。特征度量空間歸一化的目的是減少同一個(gè)人在不同攝像頭下由于光照及角度的不同導(dǎo)致的差異性。例如，通過該特征度量歸一化模塊504將左側(cè)光照變換為右側(cè)光照或者將右側(cè)光照變換為左側(cè)光照。另外，例如將不同攝像機(jī)相對于目標(biāo)人進(jìn)行拍攝的不同角度變換為在相同角度對目標(biāo)人進(jìn)行拍攝。此過程將壓縮后的特征向量進(jìn)行度量空間變換，將不同度量空間的特征變化到同一度量空間，即具有相同的metric。此過程使用了metric-learning的方法。metric-learning能夠?qū)⑤斎胩卣骺臻g變換到具有尺度意義的空間：l為變換矩陣。在將不同空間的特征度量標(biāo)準(zhǔn)投影到同一空間時(shí)，需要滿足以下兩個(gè)條件：1將不同id目標(biāo)的特征空間距離變大，且距離超過安全距離；2將相同id目標(biāo)特征空間距離縮小。這樣，就可以避免誤分類的情況出現(xiàn)。在描述其誤差函數(shù)之前，先定義如下符號(hào)：

輸入特征向量，

yij：如果和具有相同標(biāo)簽為1，否則為0，

ηij：如果的相鄰目標(biāo)是時(shí)為1，否則為0。

其誤差函數(shù)如下：

ε(l)＝εpull(l)+εpush(l)

其中

εpull為將鄰域內(nèi)相同目標(biāo)拉近的誤差函數(shù)，εpush為將鄰域內(nèi)不同目標(biāo)推遠(yuǎn)的誤差函數(shù)。由于直接求解l可能會(huì)導(dǎo)致局部最優(yōu)解，因此將其進(jìn)行變換：m＝l^tl，這樣ε(m)將具有全局最優(yōu)解，相應(yīng)的特征變換后的距離形式變換為：最終誤差函數(shù)形式為：

minimize:

ε(m)＝εpull(m)+εpush(m)

subjectto:

m≥0

最優(yōu)值求解利用樹回歸進(jìn)行梯度逼近，在復(fù)雜情況比如線性不可分時(shí)，可引入核技巧。

接下來，特征包絡(luò)形成模塊506被配置為對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間508。具體地，對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性進(jìn)一步包括：將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的背景光源；以及將多幅人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的拍攝角度。

圖4是根據(jù)本發(fā)明的實(shí)施例的人臉識(shí)別方法中的包絡(luò)化處理所生成的特征包絡(luò)的示意圖。下文中，將參照圖4對通過特征包絡(luò)形成模塊所進(jìn)行的包絡(luò)化處理進(jìn)行詳細(xì)描述。

用若干圖像即圖像集來描述人臉是為了擴(kuò)大人臉的特征空間，更加全面的描述人臉。對同一目標(biāo)，在提取其多張人臉圖基礎(chǔ)上，對壓縮人臉特征進(jìn)行度量空間變換后，使用image-set方法對其進(jìn)行包絡(luò)化處理，最終結(jié)果是將同一目標(biāo)的多張圖像表現(xiàn)為不同的加權(quán)組合。所謂包絡(luò)指的是相同的人不同的圖片形成的一個(gè)圖像集所形成的特征空間。假設(shè)xc為包含若干圖像特征的特征集，xc,i為其中一個(gè)樣本，其中c＝1,…,c，i＝1,…,nc。例如，nc為5-50或者任何其他的正整數(shù)，優(yōu)選地，為15、20、和50。更優(yōu)選地，當(dāng)nc為5時(shí)，效率最高。包絡(luò)表示為hc，具體形式為：

其中，αc,i為每個(gè)樣本的權(quán)重。對于權(quán)重有不同的獲取方法，在本發(fā)明中，采用dlrc權(quán)重計(jì)算的方法。

人臉識(shí)別模塊(又稱識(shí)別模塊)510基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人的人臉圖像匹配度最高的目標(biāo)人臉集。識(shí)別模塊還包括：粗匹配識(shí)別模塊，被配置為基于設(shè)定的目標(biāo)人，確定有序的預(yù)定數(shù)量的人臉集；以及精匹配識(shí)別模塊，被配置為基于設(shè)定的目標(biāo)人，從有序的預(yù)定數(shù)量的人臉集中快速確定目標(biāo)人臉集。更具體地，基于設(shè)定的目標(biāo)人，從多個(gè)壓縮特征人臉集中確定預(yù)定數(shù)量的人臉集；根據(jù)與設(shè)定的目標(biāo)人的匹配度，以匹配度從高到低的順序?qū)︻A(yù)定數(shù)量的人臉集進(jìn)行排序，以生成有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從與有序的預(yù)定數(shù)量的人臉集相對應(yīng)的預(yù)定數(shù)量的原始特征人臉集中快速確定目標(biāo)人臉集。

在以下實(shí)例中，將參照附圖7以及8a至8c對跨攝像頭人臉集包絡(luò)識(shí)別進(jìn)行詳細(xì)描述。

每個(gè)人臉集的特征包絡(luò)形成后，需要度量不同人臉集特征的差異性，差異性是通過計(jì)算人臉集包絡(luò)的最小距離確定的，最小距離通過求兩組加權(quán)特征的最小化殘差來確定。圖3所示為不同人臉集的特征包絡(luò)示意圖，圖中有三個(gè)人臉集，每個(gè)人人臉集由若干人臉圖像組成。在實(shí)際識(shí)別過程中，每個(gè)人臉集是一組人臉圖特征，每個(gè)人臉圖特征包括兩個(gè)特征：原始特征和壓縮后特征。原始特征為附圖3中的圖像集特征以及壓縮特征為圖3中的圖像集哈希編碼特征。原始特征和壓縮特征的特點(diǎn)分別是：原始特征識(shí)別率更高，但是所需時(shí)間長；壓縮特征識(shí)別率低于原始特征，但是所需時(shí)間短。識(shí)別過程分為兩個(gè)階段：

1、粗匹配階段：使用壓縮后特征，對象為全體識(shí)別人臉集；此階段速度優(yōu)先；

2、精確匹配階段：使用原始特征，對象為粗匹配結(jié)果中比較靠前的n個(gè)人臉集；此階段精度優(yōu)先。

圖4為二階段匹配示意圖，在粗匹配階段，所有的測試樣本用于匹配， 使用壓縮后的特征進(jìn)行人臉圖像集的距離計(jì)算，然后根據(jù)與待匹配人臉的距離對測試樣本進(jìn)行排序。在粗匹配階段可能發(fā)生錯(cuò)誤匹配問題，比如更相似的人臉排在后面，因此需要精確匹配來調(diào)整粗匹配的結(jié)果。精確匹配僅對根據(jù)距離排序在最前面的若干個(gè)圖像集進(jìn)行運(yùn)算，所使用的特征為原始特征。例如，在粗匹配階段，可以從要識(shí)別的被壓縮的全體人臉集中快速選擇出2-50個(gè)或任意其他數(shù)量的有序的人臉集；任何在精確匹配階段中，從粗匹配階段所獲得的有序人臉集中確定目標(biāo)人臉集。有序的人臉集的數(shù)量可以根據(jù)用戶需要進(jìn)行確定，例如，5個(gè)、10個(gè)、以及15。

跟蹤模塊512根據(jù)目標(biāo)人臉集中的每一幅人臉圖像的拍攝位置和時(shí)間，確定目標(biāo)人的路線。具體地，在人臉識(shí)別模塊選擇出的與設(shè)定的目標(biāo)人的人臉圖像匹配度最高的目標(biāo)人臉集之后，跟蹤模塊512根據(jù)所獲得的目標(biāo)人臉集中的每一幅人臉圖像的拍攝位置和時(shí)間，在地圖上顯示出此人的運(yùn)動(dòng)軌跡。

在跨相機(jī)攝像頭跟蹤的場景下，本發(fā)明能夠有效的對不同相機(jī)攝像頭中的同一個(gè)人進(jìn)行跟蹤和識(shí)別，最終在地圖上顯示出此人的運(yùn)動(dòng)軌跡。圖8a至圖8c分別地顯示了以下結(jié)果：(a)在一個(gè)相機(jī)攝像頭中跟蹤目標(biāo)人物；(b)在多個(gè)相機(jī)攝像頭中繼續(xù)跟蹤目標(biāo)人物；(c)顯示被跟蹤人在地圖中的軌跡。

圖6是根據(jù)本發(fā)明的實(shí)施例的在目標(biāo)人跟蹤方法的流程圖。以下將參照圖6對目標(biāo)人跟蹤方法進(jìn)行詳細(xì)描述。

目標(biāo)人跟蹤方法包括以下步驟：

在步驟610中，基于多幅視頻圖像生成人臉集；在生成人臉集之前，以預(yù)定幀間隔獲取的視頻圖像進(jìn)行人臉檢測，其中，根據(jù)視頻幀率進(jìn)行確定預(yù)定幀間隔。在對多幅人臉圖像進(jìn)行度量空間變換之前，對進(jìn)行人臉檢測的視頻圖像進(jìn)行如下圖像處理：從視頻圖像中的提取關(guān)鍵點(diǎn)，并且根據(jù)雙眼瞳孔距離對人臉進(jìn)行尺度變換；以及根據(jù)提取的關(guān)鍵點(diǎn)的位置，估計(jì)人臉的偏行角度，并根據(jù)人臉的偏航角度將人臉旋轉(zhuǎn)為正面臉，生成包括同一目標(biāo)人的多幅人臉圖像的人臉集，其中，關(guān)鍵點(diǎn)包括眼睛、鼻子和嘴巴。

在步驟620中，對人臉集中的多幅人臉圖像進(jìn)行度量空間變換，以消除多幅人臉圖像之間的差異性；在進(jìn)行度量空間變換以前，對人臉集進(jìn)行特征提取，以形成原始特征人臉集；以及被配置為對原始特征進(jìn)行壓縮處理，以形成壓縮特征人臉集。其中，多幅不同攝像頭下相同人臉圖像之間的差異性包括背景光源的差異性和拍攝角度的差異性。具體地，對多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以消除多幅不同攝像頭下相同人臉圖像之間的差異性進(jìn)一步包括：將多幅不同攝像頭下相同人臉圖像進(jìn)行度量空間變換，以使多幅不同攝像頭下相同人臉圖像具有相同的背景光源；以及將多幅人臉圖像進(jìn)行度量空間變換，以使多幅人臉圖像具有相同的拍攝角度。

在步驟630中，對度量空間變換的多幅人臉圖像進(jìn)行包絡(luò)化處理，以將人臉集的多個(gè)不同的人臉集特征空間變換為一個(gè)相同的人臉集的特征空間；

在步驟640中，基于設(shè)定的目標(biāo)人，從多個(gè)人臉集中選擇出與設(shè)定的目標(biāo)人的人臉圖像匹配度最高的目標(biāo)人臉集。具體地，基于設(shè)定的目標(biāo)人，確定有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從有序的預(yù)定數(shù)量的人臉集中快速確定目標(biāo)人臉集。更具體地，基于設(shè)定的目標(biāo)人，從多個(gè)壓縮特征人臉集中確定預(yù)定數(shù)量的人臉集；根據(jù)與設(shè)定的目標(biāo)人的匹配度，以匹配度從高到低的順序?qū)︻A(yù)定數(shù)量的人臉集進(jìn)行排序，以生成有序的預(yù)定數(shù)量的人臉集；以及基于設(shè)定的目標(biāo)人，從與有序的預(yù)定數(shù)量的人臉集相對應(yīng)的預(yù)定數(shù)量的原始特征人臉集中快速確定目標(biāo)人臉集。

在步驟650中，根據(jù)目標(biāo)人臉集中的每一幅人臉圖像的拍攝位置和時(shí)間，確定目標(biāo)人的路線。

因此，本發(fā)明的實(shí)施例首先對所提取的不變特征進(jìn)行壓縮，然后在image-set方法和metric-learning基礎(chǔ)上，提出跨攝像頭識(shí)別方法，解決監(jiān)控場景下跨攝像頭跟蹤的問題。

因此，利用本發(fā)明的實(shí)施例的人臉識(shí)別裝置和人臉識(shí)別方法能夠提高監(jiān)控場景下的人臉識(shí)別精度。此外，利用該人臉識(shí)別裝置的目標(biāo)人跟蹤裝置以及利用人臉識(shí)別方法的目標(biāo)人跟蹤方法能夠不僅能夠提供人臉識(shí)別精 度，而且能夠通過兩個(gè)階段的匹配查找目標(biāo)人可以在大量的數(shù)據(jù)中以極快的速度尋找到目標(biāo)圖像。也就是說，在實(shí)際應(yīng)用中，本發(fā)明能夠輔助使用者從海量數(shù)據(jù)庫中尋找目標(biāo)人并提取其時(shí)間和路徑信息，極大的提高工作效率。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。