一種人臉識別系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本公開設(shè)及視頻監(jiān)控領(lǐng)域，特別設(shè)及一種人臉識別系統(tǒng)和方法。
【背景技術(shù)】
[0002] 目前很多行業(yè)為了吸收、維護(hù)更多有價值、有潛力的貴賓(VIP)客戶，越來越重視 對貴賓客戶提供更優(yōu)質(zhì)、有針對性的服務(wù)。傳統(tǒng)行業(yè)會使用VIP卡等形式來區(qū)分客戶，但是 攜帶卡片，報卡號等方式并不人性化、便捷化。而人臉識別技術(shù)是依據(jù)人臉部的特征信息進(jìn) 行身份識別的一種技術(shù)，具有非接觸性、并發(fā)性、非強(qiáng)制性、直觀性等優(yōu)點(diǎn)。

【發(fā)明內(nèi)容】

[0003] 針對上述部分問題，本公開提供了一種人臉識別系統(tǒng)和方法，所述系統(tǒng)借助深度 學(xué)習(xí)技術(shù)進(jìn)行人臉識別，提供一套完善的視頻監(jiān)控人臉識別系統(tǒng)，利用所述系統(tǒng)可W為銀 行VIP識別、Π 店迎賓、監(jiān)控場景人臉識別提供服務(wù)支持;若利用系統(tǒng)中檢測到人臉的時間、 地點(diǎn)和時長，可W進(jìn)一步實(shí)現(xiàn)客流統(tǒng)計(jì)，為改進(jìn)服務(wù)或查詢特殊用戶提供幫助。另外，本公 開還提供了一種實(shí)現(xiàn)本公開系統(tǒng)的方法。
[0004] 一種人臉識別系統(tǒng)，所述系統(tǒng)至少包括:數(shù)據(jù)輸入模塊、人臉分析模塊和數(shù)據(jù)輸出 模塊；
[0005] 所述數(shù)據(jù)輸入模塊用于將欲檢測圖像序列傳送給人臉分析模塊；
[0006] 所述數(shù)據(jù)輸出模塊包括圖像輸出單元和/或消息訂閱單元；
[0007] 所述圖像輸出單元用于將人臉分析模塊中得到的人臉進(jìn)行標(biāo)識，并將該人臉相關(guān) 的信息疊加到原始視頻上；
[000引所述消息訂閱單元用于往終端訂閱用戶發(fā)送事件消息；
[0009] 其中，所述人臉分析模塊用于檢測分析識別欲檢測圖像序列中的人臉，至少包括 下述單元：
[0010] U100、人臉檢測跟蹤單元:對接收的圖像，檢測跟蹤圖像中的人臉，并進(jìn)行質(zhì)量判 斷，挑選滿足要求的若干帖作為關(guān)鍵帖，傳遞給人臉比對單元；
[0011] U200、人臉比對單元:接收所述關(guān)鍵帖并提取每一帖的人臉特征，在用戶信息數(shù)據(jù) 庫中查找并選擇多個相似的人臉特征進(jìn)行比對分析；
[0012] 其中:所述人臉特征使用多維特征向量表示；
[0013] 所述用戶信息數(shù)據(jù)庫允許單人有Μ張人臉圖像使用相同的第一標(biāo)識符標(biāo)識存入。
[0014] 為了方便實(shí)現(xiàn)本系統(tǒng)，在一個實(shí)施例中，提供了一種實(shí)現(xiàn)本公開系統(tǒng)的方法，即： 一種人臉識別方法，所述方法至少包括：
[0015] S100、對人臉進(jìn)行檢測跟蹤:接收的欲檢測圖像序列，對欲檢測的圖像，檢測跟蹤 圖像中的人臉，并進(jìn)行質(zhì)量判斷，挑選滿足要求的若干帖作為關(guān)鍵帖用于比對分析;所述欲 檢測圖像序列為在一定時間間隔內(nèi)的若干帖圖像；
[0016] S200、對人臉進(jìn)行比對分析:提取所述關(guān)鍵帖的人臉特征，在用戶信息數(shù)據(jù)庫中查 找并選擇多個相似的人臉特征進(jìn)行比對分析；
[0017] 其中:所述人臉特征使用多維特征向量表示；
[0018] 所述用戶信息數(shù)據(jù)庫允許單人有Μ張人臉圖像使用相同的第一標(biāo)識符標(biāo)識存入所 述數(shù)據(jù)輸出模塊包括圖像輸出單元和/或消息訂閱單元；
[0019] S300、輸出結(jié)果:將關(guān)鍵帖中檢測到的人臉使用標(biāo)識框標(biāo)識，并將與該人臉相關(guān)的 信息疊加到原始視頻上；W及/或向終端用戶發(fā)送訂閱的事件消息。
【具體實(shí)施方式】
[0020] 在一個基礎(chǔ)實(shí)施例中，提供了一種人臉識別系統(tǒng)，所述系統(tǒng)至少包括:數(shù)據(jù)輸入模 塊、人臉分析模塊和數(shù)據(jù)輸出模塊；
[0021 ]所述數(shù)據(jù)輸入模塊用于將欲檢測圖像序列傳送給人臉分析模塊；
[0022] 所述數(shù)據(jù)輸出模塊包括圖像輸出單元和/或消息訂閱單元；
[0023] 所述圖像輸出單元用于將人臉分析模塊中得到的人臉進(jìn)行標(biāo)識，并將該人臉相關(guān) 的信息疊加到原始視頻上；
[0024] 所述消息訂閱單元用于往終端訂閱用戶發(fā)送事件消息；
[0025] 其中，所述人臉分析模塊用于檢測分析識別欲檢測圖像序列中的人臉，至少包括 下述單元：
[0026] U100、人臉檢測跟蹤單元:對接收的圖像，檢測跟蹤圖像中的人臉，并進(jìn)行質(zhì)量判 斷，挑選滿足要求的若干帖作為關(guān)鍵帖，傳遞給人臉比對單元；
[0027] U200、人臉比對單元:接收所述關(guān)鍵帖并提取每一帖的人臉特征，在用戶信息數(shù)據(jù) 庫中查找并選擇多個相似的人臉特征進(jìn)行比對分析；
[0028] 其中:所述人臉特征使用多維特征向量表示；
[0029] 所述用戶信息數(shù)據(jù)庫允許單人有Μ張人臉圖像使用相同的第一標(biāo)識符標(biāo)識存入。
[0030] 在運(yùn)個實(shí)施例中，數(shù)據(jù)輸入模塊的輸出是人臉圖像，其輸入可W是多重網(wǎng)絡(luò)視頻 源、圖像序列、離線視頻或者實(shí)時視頻，只要經(jīng)過處理后可W獲得帶有人臉的圖像即可。在 對圖像進(jìn)行檢測時，可W對接收的所有圖像進(jìn)行檢測，也可W優(yōu)選的對圖像進(jìn)行檢測。所述 欲檢測圖像序列可W是在一定時間間隔內(nèi)采集的若干帖圖像，也可W是人為挑選的若干帖 圖像。在一個實(shí)施例中，系統(tǒng)每隔6帖進(jìn)行一次人臉檢測。在對圖像進(jìn)行檢測時，提取圖像中 的人臉位置、人臉關(guān)鍵點(diǎn)信息，所述人臉關(guān)鍵點(diǎn)信息可包括眼角、眉毛的末端、嘴角、鼻尖等 位置信息。當(dāng)所述圖像序列為單帖時，該圖像本身為關(guān)鍵帖;所述圖像序列為多帖時，從該 序列中挑選質(zhì)量好的Ν帖作為關(guān)鍵帖。其中，質(zhì)量的判斷可W通過對后述指標(biāo)進(jìn)行打分后， 選取得分高的前Ν帖作為關(guān)鍵帖。所述指標(biāo)包括人臉圖片清晰度、大小、真實(shí)人臉、遮擋、光 照等等。所述人臉特征通過多維特征向量表示，在一個實(shí)施例中，使用約180維特征向量來 表示人臉特征。對已檢測到人臉，在后續(xù)帖中進(jìn)行跟蹤。在查找時，將Ν組人臉特征作為一個 整體，在用戶信息數(shù)據(jù)庫中檢索相似人臉，選擇得分最高的幾個人臉作為返回結(jié)果。而比對 分析的結(jié)果即所述視頻組裝分發(fā)單元W及原圖像可W通過ht化協(xié)議或消息服務(wù)器發(fā)送至 圖像輸出單元。在一個實(shí)施例中，當(dāng)在監(jiān)控區(qū)域識別人臉庫人臉，系統(tǒng)立即發(fā)布通知或報 警，消息包括往訂閱者發(fā)送其關(guān)注的特殊人員比如VIP、可疑人等識別結(jié)果、地點(diǎn)時間、人臉 圖片等信息。
[0031] 在一個實(shí)施例中，給出了一種用于UlOO中所述質(zhì)量判斷的方法，即包括下述步驟：
[0032] S1010、對每個檢測到的人臉圖像，首先判斷兩眼間距是否滿足設(shè)定要求，若滿足 要求則執(zhí)行步驟S1011;否則，舍棄該檢測到的人臉圖像；
[0033] S1011、計(jì)算檢測到的人臉圖像的人臉置信度得分是否滿足設(shè)定要求，若滿足要求 則執(zhí)行步驟S1012;否則，舍棄該檢測到的人臉圖像；
[0034] S1012、計(jì)算正臉得分是否滿足設(shè)定要求，如滿足則判斷該帖能夠用于識別人臉； 否則，舍棄該檢測到的人臉圖像。
[0035] 在一個實(shí)施例中，提供了一種具體挑選關(guān)鍵帖的實(shí)現(xiàn)方式。在運(yùn)個實(shí)施例中，對單 個跟蹤抓拍的人臉，根據(jù)兩眼間距>25,人臉置信度得分>0.95,正臉得分，判斷該帖是否用 于識別。進(jìn)一步地，在運(yùn)個實(shí)施例中還提供了通過程序?qū)崿F(xiàn)挑選關(guān)鍵帖的方法，即對每個跟 蹤為同一人臉的圖像，內(nèi)部維護(hù)一個關(guān)鍵帖容器，容量為10。開始時，若不滿10帖，則每帖均 存儲入容器內(nèi)；滿10帖后，適合用于識別的帖，且與最后存入的帖號間隔大于10,則替換掉 已知質(zhì)量最差的帖;記錄單個跟蹤為同一人臉的圖像已被處理的帖數(shù)，若帖數(shù)大于20,則結(jié) 束跟蹤。
[0036] 在一個實(shí)施例中，給出了一種用于所述U100中檢測跟蹤包括下述步驟，其步驟為：
[0037] S101、每隔若干帖進(jìn)行一次人臉檢測，當(dāng)檢測到人臉時，對滿足質(zhì)量要求的人臉使 用標(biāo)記框?qū)Πㄈ四樀牟糠诌M(jìn)行標(biāo)記；
[0038] S102、判斷標(biāo)記的人臉面積與已檢測到的人臉面積是否有重合，當(dāng)重合度滿足預(yù) 設(shè)闊值時，則認(rèn)為與已檢測到的人臉為同一人臉，則進(jìn)入步驟S103;否則認(rèn)為當(dāng)前標(biāo)記的人 臉為新的人臉，跟蹤結(jié)束；
[0039] S103、對標(biāo)記的人臉在標(biāo)記框內(nèi)進(jìn)行人臉對齊，檢測人臉關(guān)鍵點(diǎn)位置，計(jì)算人臉關(guān) 鍵點(diǎn)外包圍矩形，替換之前檢測到的認(rèn)為為同一人臉的標(biāo)記框內(nèi)的圖像。
[0040] 在運(yùn)個實(shí)施例中，使用標(biāo)記框?qū)Πㄈ四樀牟糠诌M(jìn)行標(biāo)記，所標(biāo)記的部分可W是 頭部，更優(yōu)的，還可W包括肩部，在包括肩部的標(biāo)記方式中，可W提高識別率。不論采用哪種 方式，重合度的計(jì)算均可W通過置信度來度量，當(dāng)計(jì)算的置信度達(dá)到一定的范圍時，可W認(rèn) 為兩個對象為同一對象。而所應(yīng)達(dá)到的范圍可W通過試驗(yàn)的方式來確定。
[0041] 優(yōu)選的，使用多庫與并行檢索，即：所述U200中的用戶信息數(shù)據(jù)庫包括多個子數(shù)據(jù) 庫，則所述查找為基于多個子數(shù)據(jù)庫進(jìn)行并行檢索。而比對分析則在檢索結(jié)果的基礎(chǔ)上進(jìn) 行比對，然后合并分析結(jié)果。運(yùn)種方式不僅支持將大量人臉圖像導(dǎo)入用戶信息數(shù)據(jù)庫，同時 又不加大檢索時間。每個子數(shù)據(jù)庫導(dǎo)入一定量的人臉圖像，單人的多個人臉圖像導(dǎo)入相同 的數(shù)據(jù)庫。在檢索時，在一個實(shí)施例中采用多線程并行檢索每個數(shù)據(jù)庫的方式，然后根據(jù)比 較分析的結(jié)果合并多個子數(shù)據(jù)庫的結(jié)果。
[0042] 在一個實(shí)施例中，給出了關(guān)于入庫的人臉圖像中人臉特征的獲取方法，即：所述 U200中的提取使用Deepid深度學(xué)習(xí)算法提取人臉特征。運(yùn)種方式獲取人臉特征能夠有助于 精準(zhǔn)的識別人臉。在一個實(shí)施例中，使用運(yùn)種提取人臉特征提取方式，提取約180維的特征 向量。
[0043] 基于人臉特征使用多維特征向量表示，在一個實(shí)施例中，給出了一種在查找相似 特征向量時，減少比較次數(shù)加速比對過程方法，即:所述U200中的相似的人臉特征通過下述 步驟獲得：
[0044] S2011、建立KD樹:在查找時，建立KD樹捜索Κ個近鄰，Κ > Μ;
[0045