本發(fā)明涉及人臉識(shí)別領(lǐng)域，尤其是涉及了一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法。

背景技術(shù)：

人臉是人類(lèi)最重要的生物特征之一，反映了很多重要的生物信息，如身份、性別、種族、年齡、表情等。其中種族識(shí)別可以廣泛應(yīng)用于各種公共場(chǎng)所的監(jiān)控系統(tǒng)或信息采集系統(tǒng)，方便收集顧客的身份和相關(guān)信息，從而根據(jù)顧客種族信息進(jìn)行統(tǒng)計(jì)和提供進(jìn)一步的服務(wù)；也可應(yīng)用于電子產(chǎn)品的用戶(hù)鑒別，使電子產(chǎn)品能自動(dòng)地識(shí)別用戶(hù)的種族，根據(jù)識(shí)別結(jié)果給用戶(hù)提供相應(yīng)的用戶(hù)界面和服務(wù)，使得各類(lèi)電子產(chǎn)品更加人性化。但是傳統(tǒng)的識(shí)別中，光照、表情、遮擋和姿勢(shì)變化的存在會(huì)對(duì)識(shí)別造成影響，而且有冗余消息，識(shí)別效率不高。

本發(fā)明提出了一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法，先將各個(gè)人種或各個(gè)民族的圖像輸入，形成原始圖像數(shù)據(jù)集，通過(guò)合成輔助3D人臉獲得數(shù)據(jù)集，解釋原始圖像作為協(xié)同表示模型的分類(lèi)(CRC)的訓(xùn)練數(shù)據(jù)集，形成常用的訓(xùn)練圖像詞典；再合并原始和3D數(shù)據(jù)集作為擴(kuò)展的詞典，則新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集；接著進(jìn)行主體消除機(jī)制，最后測(cè)試樣品通過(guò)新詞典解碼進(jìn)行分類(lèi)。本發(fā)明中光照、表情、遮擋和姿勢(shì)變化的存在對(duì)識(shí)別的影響較小；消除信息冗余，提高識(shí)別效率。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)光照、表情、遮擋和姿勢(shì)變化的存在對(duì)識(shí)別有影響的問(wèn)題，本發(fā)明的目的在于提供一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法，先將各個(gè)人種或各個(gè)民族的圖像輸入，形成原始圖像數(shù)據(jù)集，通過(guò)合成輔助3D人臉獲得數(shù)據(jù)集，解釋原始圖像作為協(xié)同表示模型的分類(lèi)(CRC)的訓(xùn)練數(shù)據(jù)集，形成常用的訓(xùn)練圖像詞典；再合并原始和3D數(shù)據(jù)集作為擴(kuò)展的詞典，則新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集；接著進(jìn)行主體消除機(jī)制，最后測(cè)試樣品通過(guò)新詞典解碼進(jìn)行分類(lèi)。

為解決上述問(wèn)題，本發(fā)明提供一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法，其主要內(nèi)容包括：

(一)原始圖像數(shù)據(jù)集；

(二)輔助3D人臉數(shù)據(jù)集和常用的訓(xùn)練圖像詞典；

(三)新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集；

(四)主體消除機(jī)制；

(五)進(jìn)行種族分類(lèi)。

其中，所述的原始圖像數(shù)據(jù)集，指的是原始各類(lèi)人種的圖像數(shù)據(jù)集，包括亞洲、非洲、歐洲以及藏族等少數(shù)民族的人種的圖像輸入，每個(gè)人種的數(shù)據(jù)集含10萬(wàn)張圖像。

其中，所述的輔助3D人臉數(shù)據(jù)集和常用的訓(xùn)練圖像詞典，包括輔助3D人臉數(shù)據(jù)集和常用的訓(xùn)練圖像詞典。

進(jìn)一步地，所述的輔助3D人臉數(shù)據(jù)集，通過(guò)合成輔助3D人臉獲得數(shù)據(jù)集，給定一個(gè)K×M訓(xùn)練樣本{x_1,1,…,x_K,M}，其中K是類(lèi)的數(shù)量，M是每個(gè)類(lèi)的訓(xùn)練樣本數(shù)，測(cè)試樣品可以近似由所有這些訓(xùn)練樣本的線(xiàn)性組合：

其中，α_k.m是對(duì)應(yīng)的K個(gè)類(lèi)的M個(gè)訓(xùn)練樣本的系數(shù)向量的入口，P是樣本的維數(shù)；入口α_k.m指示相應(yīng)的訓(xùn)練樣本代表測(cè)試樣本的潛力；

方程(1)可改寫(xiě)為：

y≈x_α (2)

其中是包含所有訓(xùn)練樣本和訓(xùn)練樣本的詞典矩陣，α＝[α_1,1,…,α_K,M]^T是需要估計(jì)的系數(shù)向量；一旦得到的系數(shù)向量，可以測(cè)量第k類(lèi)的傾向表示測(cè)試樣本：

其中，c_k是重建的測(cè)試樣品，使用的是第k類(lèi)的訓(xùn)練樣本；測(cè)試樣品的重建誤差為k類(lèi)是通過(guò)：

E(y)_k＝‖y-c_k‖₂ (4)

以及測(cè)試樣本Y的標(biāo)簽確定使用：

如上所述，分類(lèi)問(wèn)題的關(guān)鍵是獲得的系數(shù)向量重構(gòu)的測(cè)試樣本。

進(jìn)一步地，所述的常用的訓(xùn)練圖像詞典，解釋原始圖像作為協(xié)同表示模型的分類(lèi)(CRC)的訓(xùn)練數(shù)據(jù)集；基于稀疏表示的分類(lèi)(SRC)的目的是最小化的目標(biāo)函數(shù)得到的稀疏系數(shù)向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范數(shù)約束優(yōu)化問(wèn)題是一個(gè)比較難的問(wèn)題，難以解決；

min‖α‖₁ (7)

s.t.y＝X_α

這種優(yōu)化問(wèn)題可以解決在多項(xiàng)式時(shí)間標(biāo)準(zhǔn)線(xiàn)性規(guī)劃方法；

CRC通過(guò)求解范數(shù)最小化問(wèn)題發(fā)現(xiàn)的系數(shù)向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的優(yōu)化是一個(gè)典型的最小二乘問(wèn)題，α通過(guò)以下方程獲得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一個(gè)小的正常數(shù)，I是單位矩陣的正規(guī)化的解決方案；在一定條件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有競(jìng)爭(zhēng)力的人臉?lè)诸?lèi)精度，并具有較低的計(jì)算復(fù)雜度。

其中，所述的新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集，合并原始和3D數(shù)據(jù)集作為擴(kuò)展的詞典；3DMM方法可以通過(guò)擬合生成的三維人臉模型的圖像重建二維人臉圖像的三維形狀和紋理；初始化3DMM擬合過(guò)程，自動(dòng)級(jí)聯(lián)的基于回歸的面部的地標(biāo)檢測(cè)方法，然后通過(guò)調(diào)整相機(jī)模型的參數(shù)，重建的三維形狀和紋理呈現(xiàn)不同的姿勢(shì)的二維人臉圖像；

使用一個(gè)透視相機(jī)，通過(guò)投影重建的三維形狀和紋理到一個(gè)二維圖像平面渲染二維虛擬人臉；更具體地說(shuō)，通過(guò)相機(jī)投影，一個(gè)頂點(diǎn)的三維形狀的投影到一個(gè)二維坐標(biāo)S＝[x^2d,y^2d]^T；該投影可以分解成兩部分：一個(gè)剛性的三維變換透視投影

T_r:v′＝Rv+τ (10)

是旋轉(zhuǎn)矩陣，是一個(gè)空間轉(zhuǎn)化，f表示焦距，[o_x,o_y]^T是在圖像平面上的相機(jī)的光軸；因此，通過(guò)設(shè)置不同的相機(jī)參數(shù)，不同姿勢(shì)的圖像可以重建三維形狀和紋理渲染。

其中，所述的主體消除機(jī)制，在擴(kuò)展詞典的人臉?lè)诸?lèi)提出了一個(gè)迭代消除計(jì)劃，刪去了無(wú)用的樣本；在重建誤差方面，每個(gè)類(lèi)代表一個(gè)測(cè)試樣本的測(cè)量；從擴(kuò)展的詞典上消除所有的訓(xùn)練樣本的類(lèi)的最大重建誤差；擴(kuò)展詞典的系數(shù)向量和剩余類(lèi)的貢獻(xiàn)被更新；一直重復(fù)相同的過(guò)程直到詞典中的類(lèi)的數(shù)量下降到一個(gè)預(yù)定義的級(jí)別；

這種消除策略加強(qiáng)了有更多的信息和代表重建測(cè)試樣本的類(lèi)；使用公式(4)估算一個(gè)特定的類(lèi)和一個(gè)測(cè)試樣本之間的重建誤差，這是測(cè)試樣品和類(lèi)的所有訓(xùn)練樣本的線(xiàn)性組合之間的距離測(cè)量，形成新的詞典。

其中，所述的進(jìn)行種族分類(lèi)，測(cè)試樣品通過(guò)新詞典解碼進(jìn)行分類(lèi)，測(cè)試精度高，效率高；分類(lèi)器進(jìn)行人臉識(shí)別，分類(lèi)器的原理為：設(shè)線(xiàn)性可分樣本集和為(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是類(lèi)別標(biāo)號(hào)，則

w·x+b＝0 (12)

是SVM分類(lèi)器的分類(lèi)面方程；在分類(lèi)時(shí)，為了使分類(lèi)面對(duì)所有樣本正確分類(lèi)且分類(lèi)間隔達(dá)到最大，需要滿(mǎn)足下面兩個(gè)條件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通過(guò)解此約束優(yōu)化問(wèn)題就可以得到最優(yōu)分類(lèi)面，而過(guò)兩類(lèi)樣本中離分類(lèi)面最近的點(diǎn)且平行于最優(yōu)分類(lèi)面的超平面上的訓(xùn)練樣本就是使得公式中等號(hào)成立的那些特殊樣本，因?yàn)樗鼈冎瘟俗顑?yōu)分類(lèi)面，因此被稱(chēng)為支撐向量，紋理優(yōu)化后的三維人臉圖像首先進(jìn)行視覺(jué)直方圖特征提取，特征提取之后輸入到SVM性別分類(lèi)器之中，獲得最終的性別分類(lèi)結(jié)果。

進(jìn)一步地，所述的分類(lèi)模塊，不同于性別分類(lèi)的二分類(lèi)設(shè)計(jì)，我們將種族分類(lèi)視為一個(gè)模糊分類(lèi)問(wèn)題，紋理優(yōu)化后的三維人臉圖像首先進(jìn)行Gabor濾波，獲取該深度圖像的Gabor濾波器響應(yīng)向量集合；對(duì)該集合的每個(gè)響應(yīng)向量，將其向東方(西方)視覺(jué)詞典庫(kù)進(jìn)行映射，如果與東方(西方)詞典庫(kù)中的某個(gè)詞匯距離小于閾值，則該響應(yīng)向量屬于東方(西方)人臉，其對(duì)應(yīng)的向量數(shù)目eastnum(westnum)進(jìn)行+1處理；下列公式：

member ship(I)＝eastnum/westnum (15)

為最終的模糊隸屬度函數(shù)。

進(jìn)一步地，所述的視覺(jué)詞典，分別對(duì)不同種族的人臉圖像進(jìn)行視覺(jué)詞匯計(jì)算，對(duì)計(jì)算得出的所有視覺(jué)詞匯，對(duì)于其中距離比較近的視覺(jué)詞匯區(qū)域，我們將其視為種族深度視覺(jué)詞匯的臨界區(qū)域，其代表的是人的屬性；對(duì)于相距比較遠(yuǎn)的區(qū)域，我們將其視為代表了種族的特性信息(東方或者西方深度人臉圖像)，以此為基礎(chǔ)分別構(gòu)建不同種族詞典庫(kù)。

附圖說(shuō)明

圖1是本發(fā)明一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法的各類(lèi)人種的圖像數(shù)據(jù)集。

圖3是本發(fā)明一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法的新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

圖1是本發(fā)明一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法的系統(tǒng)流程圖。主要包括原始圖像數(shù)據(jù)集，輔助3D人臉數(shù)據(jù)集和常用的訓(xùn)練圖像詞典，新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集，主體消除機(jī)制和進(jìn)行種族分類(lèi)。

其中，輔助3D人臉數(shù)據(jù)集和常用的訓(xùn)練圖像詞典，包括輔助3D人臉數(shù)據(jù)集和常用的訓(xùn)練圖像詞典。

輔助3D人臉數(shù)據(jù)集，通過(guò)合成輔助3D人臉獲得數(shù)據(jù)集，給定一個(gè)K×M訓(xùn)練樣本{x_1,1,…,x_K,M}，其中K是類(lèi)的數(shù)量，M是每個(gè)類(lèi)的訓(xùn)練樣本數(shù)，測(cè)試樣品可以近似由所有這些訓(xùn)練樣本的線(xiàn)性組合：

其中，α_k.m是對(duì)應(yīng)的K個(gè)類(lèi)的M個(gè)訓(xùn)練樣本的系數(shù)向量的入口，P是樣本的維數(shù)；入口α_k.m指示相應(yīng)的訓(xùn)練樣本代表測(cè)試樣本的潛力；

方程(1)可改寫(xiě)為：

y≈x_α (2)

其中是包含所有訓(xùn)練樣本和訓(xùn)練樣本的詞典矩陣，α＝[α_1,1,…,α_K,M]^T是需要估計(jì)的系數(shù)向量；一旦得到的系數(shù)向量，可以測(cè)量第k類(lèi)的傾向表示測(cè)試樣本：

其中，c_k是重建的測(cè)試樣品，使用的是第k類(lèi)的訓(xùn)練樣本；測(cè)試樣品的重建誤差為k類(lèi)是通過(guò)：

E(y)_k＝‖y-c_k‖₂ (4)

以及測(cè)試樣本Y的標(biāo)簽確定使用：

如上所述，分類(lèi)問(wèn)題的關(guān)鍵是獲得的系數(shù)向量重構(gòu)的測(cè)試樣本。

常用的訓(xùn)練圖像詞典，解釋原始圖像作為協(xié)同表示模型的分類(lèi)(CRC)的訓(xùn)練數(shù)據(jù)集；基于稀疏表示的分類(lèi)(SRC)的目的是最小化的目標(biāo)函數(shù)得到的稀疏系數(shù)向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范數(shù)約束優(yōu)化問(wèn)題是一個(gè)比較難的問(wèn)題，難以解決；

min‖α‖₁ (7)

s.t.y＝X_α

這種優(yōu)化問(wèn)題可以解決在多項(xiàng)式時(shí)間標(biāo)準(zhǔn)線(xiàn)性規(guī)劃方法；

CRC通過(guò)求解范數(shù)最小化問(wèn)題發(fā)現(xiàn)的系數(shù)向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的優(yōu)化是一個(gè)典型的最小二乘問(wèn)題，α通過(guò)以下方程獲得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一個(gè)小的正常數(shù)，I是單位矩陣的正規(guī)化的解決方案；在一定條件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有競(jìng)爭(zhēng)力的人臉?lè)诸?lèi)精度，并具有較低的計(jì)算復(fù)雜度。

其中，主體消除機(jī)制，在擴(kuò)展詞典的人臉?lè)诸?lèi)提出了一個(gè)迭代消除計(jì)劃，刪去了無(wú)用的樣本；在重建誤差方面，每個(gè)類(lèi)代表一個(gè)測(cè)試樣本的測(cè)量；從擴(kuò)展的詞典上消除所有的訓(xùn)練樣本的類(lèi)的最大重建誤差；擴(kuò)展詞典的系數(shù)向量和剩余類(lèi)的貢獻(xiàn)被更新；一直重復(fù)相同的過(guò)程直到詞典中的類(lèi)的數(shù)量下降到一個(gè)預(yù)定義的級(jí)別；

這種消除策略加強(qiáng)了有更多的信息和代表重建測(cè)試樣本的類(lèi)；使用公式(4)估算一個(gè)特定的類(lèi)和一個(gè)測(cè)試樣本之間的重建誤差，這是測(cè)試樣品和類(lèi)的所有訓(xùn)練樣本的線(xiàn)性組合之間的距離測(cè)量，形成新的詞典。

其中，進(jìn)行種族分類(lèi)，測(cè)試樣品通過(guò)新詞典解碼進(jìn)行分類(lèi)，測(cè)試精度高，效率高；分類(lèi)器進(jìn)行人臉識(shí)別，分類(lèi)器的原理為：設(shè)線(xiàn)性可分樣本集和為(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是類(lèi)別標(biāo)號(hào)，則

w·x+b＝0 (12)

是SVM分類(lèi)器的分類(lèi)面方程；在分類(lèi)時(shí)，為了使分類(lèi)面對(duì)所有樣本正確分類(lèi)且分類(lèi)間隔達(dá)到最大，需要滿(mǎn)足下面兩個(gè)條件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通過(guò)解此約束優(yōu)化問(wèn)題就可以得到最優(yōu)分類(lèi)面，而過(guò)兩類(lèi)樣本中離分類(lèi)面最近的點(diǎn)且平行于最優(yōu)分類(lèi)面的超平面上的訓(xùn)練樣本就是使得公式中等號(hào)成立的那些特殊樣本，因?yàn)樗鼈冎瘟俗顑?yōu)分類(lèi)面，因此被稱(chēng)為支撐向量，紋理優(yōu)化后的三維人臉圖像首先進(jìn)行視覺(jué)直方圖特征提取，特征提取之后輸入到SVM性別分類(lèi)器之中，獲得最終的性別分類(lèi)結(jié)果。

進(jìn)一步地，分類(lèi)模塊，不同于性別分類(lèi)的二分類(lèi)設(shè)計(jì)，我們將種族分類(lèi)視為一個(gè)模糊分類(lèi)問(wèn)題，紋理優(yōu)化后的三維人臉圖像首先進(jìn)行Gabor濾波，獲取該深度圖像的Gabor濾波器響應(yīng)向量集合；對(duì)該集合的每個(gè)響應(yīng)向量，將其向東方(西方)視覺(jué)詞典庫(kù)進(jìn)行映射，如果與東方(西方)詞典庫(kù)中的某個(gè)詞匯距離小于閾值，則該響應(yīng)向量屬于東方(西方)人臉，其對(duì)應(yīng)的向量數(shù)目eastnum(westnum)進(jìn)行+1處理；下列公式：

member ship(I)＝eastnum/westnum (15)

為最終的模糊隸屬度函數(shù)。

進(jìn)一步地，視覺(jué)詞典，分別對(duì)不同種族的人臉圖像進(jìn)行視覺(jué)詞匯計(jì)算，對(duì)計(jì)算得出的所有視覺(jué)詞匯，對(duì)于其中距離比較近的視覺(jué)詞匯區(qū)域，我們將其視為種族深度視覺(jué)詞匯的臨界區(qū)域，其代表的是人的屬性；對(duì)于相距比較遠(yuǎn)的區(qū)域，我們將其視為代表了種族的特性信息(東方或者西方深度人臉圖像)，以此為基礎(chǔ)分別構(gòu)建不同種族詞典庫(kù)。

圖2是本發(fā)明一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法的各類(lèi)人種的圖像數(shù)據(jù)集。包括了亞洲、非洲、歐洲以及藏族等少數(shù)民族的人種的圖像輸入，每個(gè)人種的數(shù)據(jù)集含10萬(wàn)張圖像。

圖3是本發(fā)明一種基于三維形變?nèi)四樐Ｐ偷姆N族識(shí)別方法的新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集。新詞典含有常用的訓(xùn)練集和3D數(shù)據(jù)集，合并了原始和3D數(shù)據(jù)集作為擴(kuò)展的詞典；3DMM方法可以通過(guò)擬合生成的三維人臉模型的圖像重建二維人臉圖像的三維形狀和紋理；初始化3DMM擬合過(guò)程，自動(dòng)級(jí)聯(lián)的基于回歸的面部的地標(biāo)檢測(cè)方法，然后通過(guò)調(diào)整相機(jī)模型的參數(shù)，重建的三維形狀和紋理呈現(xiàn)不同的姿勢(shì)的二維人臉圖像；

使用一個(gè)透視相機(jī)，通過(guò)投影重建的三維形狀和紋理到一個(gè)二維圖像平面渲染二維虛擬人臉；更具體地說(shuō)，通過(guò)相機(jī)投影，一個(gè)頂點(diǎn)的三維形狀的投影到一個(gè)二維坐標(biāo)S＝[x^2d,y^2d]^T；該投影可以分解成兩部分：一個(gè)剛性的三維變換透視投影

T_r:v′＝Rv+τ (10)

是旋轉(zhuǎn)矩陣，是一個(gè)空間轉(zhuǎn)化，f表示焦距，[o_x,o_y]^T是在圖像平面上的相機(jī)的光軸；因此，通過(guò)設(shè)置不同的相機(jī)參數(shù)，不同姿勢(shì)的圖像可以重建三維形狀和紋理渲染。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。