本發(fā)明涉及人臉識(shí)別技術(shù)領(lǐng)域,特別涉及一種人臉驗(yàn)證方法及系統(tǒng)。
背景技術(shù):
隨著大眾審美的提高和化妝品成本的下降,越來越多的人將化妝列為每天的必備事項(xiàng)?;瘖y在一定程度上改變了人臉的顏色、輪廓以及紋理等特征,特別是在眼睛、嘴唇和眉毛等位置,化妝前后變化明顯,致使同一個(gè)人的不同照片存在很大差異。
人臉識(shí)別方法大多僅采用局部或全局的單一的提取方式,使得在一定程度上造成有效信息缺失或者同一信息多次提取的信息冗余問題,導(dǎo)致錯(cuò)誤率的上升。在相關(guān)技術(shù)中,基于典型相關(guān)分析的化妝人臉識(shí)別的方法,但識(shí)別效果較差,識(shí)別率僅為62.4%;或者,將人臉分成12塊,提取PCA特征并與偏最小二乘法相結(jié)合,在識(shí)別率上有了一定的提高。但是,單一的局部塊的特征并不能夠代表全局特征,容易損失更多有效信息;或者,引入集成學(xué)習(xí)的方法,對(duì)化妝和非化妝人臉的整體區(qū)域提取局部Gabor梯度模式(LGGP)、Gabor有序比率直方圖(HGORM)和密集采樣局部二值模式(DS-LBP)三種特征,將特征投影到子空間中進(jìn)行分類,這種方法的缺點(diǎn)是兩次利用Gabor特征,造成信息大量冗余。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明旨在至少在一定程度上解決上述相關(guān)技術(shù)中的技術(shù)問題之一。
為此,本發(fā)明的一個(gè)目的在于提出一種人臉驗(yàn)證方法。該人臉驗(yàn)證方法提高了人臉驗(yàn)證的效率。
本發(fā)明的另一個(gè)目的在于提供一種人臉驗(yàn)證系統(tǒng)。
為了實(shí)現(xiàn)上述目的,本發(fā)明第一方面實(shí)施例公開了一種人臉驗(yàn)證方法,包括以下步驟:獲取待驗(yàn)化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的局部特征信息和全局特征信息,得到所述待測化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的待測特征信息;根據(jù)參考特征空間,將所述待測特征信息進(jìn)行PLS特征投影得到第一特征空間;根據(jù)所述第一特征空間,驗(yàn)證所述待測化妝人臉圖像和應(yīng)對(duì)的待測非化妝人臉圖像的是否為同一個(gè)人。
根據(jù)本發(fā)明實(shí)施例的人臉驗(yàn)證方法,通過獲取人臉圖像的局部和全局特征信息,并將兩種特征信息進(jìn)行投影處理,在得到的新的特征空間中驗(yàn)證化妝人臉圖像和應(yīng)對(duì)的非化妝人臉圖像,提高了人臉驗(yàn)證的效率。
另外,根據(jù)本發(fā)明上述實(shí)施例的人臉驗(yàn)證方法還可以具有如下附加的技術(shù)特征:
進(jìn)一步地,還包括:獲取參考化妝人臉圖像和對(duì)應(yīng)的參數(shù)非化妝人臉圖像的局部特征信息和全局特征信息,得到所述參考化妝人臉圖像和對(duì)應(yīng)的參考非化妝人臉圖像的參考特征信息;對(duì)所述參考特征信息進(jìn)行PLS特征投影處理,得到所述參考特征空間。
進(jìn)一步地,所述獲取局部特征信息包括:對(duì)所述人臉圖像進(jìn)行分塊處理形成多個(gè)子塊;在所述子塊的基礎(chǔ)上提取局部二值模式特征;求取所述局部二值模式特征的權(quán)重,得到所述局部特征信息。
進(jìn)一步地,所述全局特征信息包括第一至三全局特征信息,其中,獲取方法包括:根據(jù)人臉圖像,利用多尺度局部二值模式提取所述第一全局特征信息;根據(jù)人臉圖像,利用多尺度局部相位量化提取所述第二全局特征信息;根據(jù)人臉圖像,利用區(qū)域的Gabor提取所述第三全局特征信息。
進(jìn)一步地,所述驗(yàn)證所述待測化妝人臉圖像和應(yīng)對(duì)的待測非化妝人臉圖像的是否為同一個(gè)人包括:求取余弦相似度量,得到所述局部特征信息和全局特征信息的相似得分,并對(duì)所述相似得分加權(quán)求和,獲得驗(yàn)證結(jié)果。
本發(fā)明第二方面實(shí)施例公開了一種人臉驗(yàn)證系統(tǒng),包括:第一獲取模塊,用于獲取待驗(yàn)化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的局部特征信息和全局特征信息,得到所述待測化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的待測特征信息,根據(jù)參考特征空間,將所述待測特征信息進(jìn)行PLS特征投影得到第一特征空間;驗(yàn)證模塊,用于根據(jù)所述第一特征空間,驗(yàn)證所述待測化妝人臉圖像和應(yīng)對(duì)的待測非化妝人臉圖像的是否為同一個(gè)人。
根據(jù)本發(fā)明實(shí)施例的人臉驗(yàn)證系統(tǒng),通過獲取人臉圖像的局部和全局特征信息,并將兩種特征信息進(jìn)行投影處理,在得到的新的特征空間中驗(yàn)證化妝人臉圖像和應(yīng)對(duì)的非化妝人臉圖像,提高了人臉驗(yàn)證的效率。
另外,根據(jù)本發(fā)明上述實(shí)施例的人臉驗(yàn)證系統(tǒng)還可以具有如下附加的技術(shù)特征:
進(jìn)一步地,還包括:第二獲取模塊,用于獲取參考化妝人臉圖像和對(duì)應(yīng)的參數(shù)非化妝人臉圖像的局部特征信息和全局特征信息,得到所述參考化妝人臉圖像和對(duì)應(yīng)的參考非化妝人臉圖像的參考特征信息,對(duì)所述參考特征信息進(jìn)行PLS特征投影處理,得到所述參考特征空間。
進(jìn)一步地,所述獲取局部特征信息包括:對(duì)所述人臉圖像進(jìn)行分塊處理形成多個(gè)子塊;在所述子塊的基礎(chǔ)上提取局部二值模式特征;求取所述局部二值模式特征的權(quán)重,得到所述局部特征信息。
進(jìn)一步地,所述全局特征信息包括第一至三全局特征信息,其中,獲取方法包括:根據(jù)人臉圖像,利用多尺度局部二值模式提取所述第一全局特征信息;根據(jù)人臉圖像,利用多尺度局部相位量化提取所述第二全局特征信息;根據(jù)人臉圖像,利用區(qū)域的Gabor提取所述第三全局特征信息。
進(jìn)一步地,所述驗(yàn)證模塊還包括:求取余弦相似度量,得到所述局部特征信息和全局特征信息的相似得分,并對(duì)所述相似得分加權(quán)求和,獲得驗(yàn)證結(jié)果。
本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發(fā)明的實(shí)踐了解到。
附圖說明
本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解,其中:
圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉驗(yàn)證方法的流程圖;
圖2是根據(jù)本發(fā)明另一個(gè)實(shí)施例的人臉驗(yàn)證方法的流程圖;以及
圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉驗(yàn)證系統(tǒng)的結(jié)構(gòu)框圖。
具體實(shí)施方式
下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的,僅用于解釋本發(fā)明,而不能理解為對(duì)本發(fā)明的限制。
以下結(jié)合附圖描述根據(jù)本發(fā)明的實(shí)施例的人臉驗(yàn)證方法及系統(tǒng)。
圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉驗(yàn)證方法的流程圖。
如圖1所示,根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉驗(yàn)證方法,包括以下步驟:
S110:獲取待驗(yàn)化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的局部特征信息和全局特征信息,得到待測化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的待測特征信息。
該人臉驗(yàn)證方法,還包括:獲取參考化妝人臉圖像和對(duì)應(yīng)的參數(shù)非化妝人臉圖像的局部特征信息和全局特征信息,得到參考化妝人臉圖像和對(duì)應(yīng)的參考非化妝人臉圖像的參考特征信息;對(duì)參考特征信息進(jìn)行PLS特征投影處理,得到參考特征空間。
其中,S111:獲取待測化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像和參考化妝人臉圖像和對(duì)應(yīng)的參數(shù)非化妝人臉圖像的局部特征信息,包括:對(duì)人臉圖像進(jìn)行分塊處理形成多個(gè)子塊;在子塊的基礎(chǔ)上提取局部二值模式(LBP)特征;求取局部二值模式特征的權(quán)重,得到所述局部特征信息。具體而言,將化妝人臉圖像或者非化妝人臉圖像大小為128*160,利用現(xiàn)有檢測算法自動(dòng)檢測83個(gè)點(diǎn),根據(jù)點(diǎn)的位置將人臉分為12塊,將每一塊以名稱和大小標(biāo)記,對(duì)每一塊進(jìn)行局部二值模式特征提取,得到一個(gè)向量hi=(i=1,2,...,12),將一張人臉的特征向量串聯(lián)起來,得到圖像的局部二值模式特征向量Hlbp=[h1,h2,...,h12],維度為3072,即命名化妝人臉特征向量表示為HAlbp,非化妝人臉特征向量表示為HBlbp。利用fisher準(zhǔn)則求取12塊的權(quán)重,保留權(quán)重較大的塊,剔除權(quán)重較小的塊,權(quán)重的計(jì)算方法如下:
其中,m1(p)為類內(nèi)均值,m2(p)為類間均值,var1(p)為類內(nèi)方差,var2(p)為類間方差。并將特征向量重新組合得到H’lbp=[h1,h2,…,hk],k為提取的塊的個(gè)數(shù),同樣地,化妝人臉特征表示為HA’lbp,非化妝人臉特征為HB’lbp,得到如圖2所示的結(jié)果。
S112:獲取待測化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像和參考化妝人臉圖像和對(duì)應(yīng)的參數(shù)非化妝人臉圖像的全局特征信息,包括第一至三全局特征信息,其中,獲取方法包括:根據(jù)人臉圖像,利用多尺度局部二值模式提取第一全局特征信息;根據(jù)人臉圖像,利用多尺度局部相位量化提取第二全局特征信息;根據(jù)人臉圖像,利用區(qū)域的Gabor提取第三全局特征信息。具體而言,提取這對(duì)化妝人臉和非化妝人臉圖像的全局特征,分別是自商圖像濾波的多尺度局部二值模式(MLBP),多尺度局部相位量化(MLPQ),以及基于區(qū)域的Gabor特征,步驟如下:將化妝人臉和非化妝人臉進(jìn)行自商圖像濾波,并提取MLBP和MLPQ特征。自商圖像定義為:
其中,I(x,y)表示人臉圖像,ρ(x,y)表示反照率,Gk表示高斯濾波器,s為光的反射系數(shù)。
第一全局特征信息,在自商圖像的基礎(chǔ)上,進(jìn)行MLBP特征提取,即LBP的窗口大小分別選擇S=[3,5,7,9],得到四幅LBP圖像Is1,Is2,Is3,Is4,對(duì)每一幅LBP圖像分成不重疊的9塊,分別提取特征直方圖,即Ps1={P1s1,P2s1,…,P9s1},…,Ps4={P1s4,P2s4,…,P9s4},將相同位置的塊的直方圖串聯(lián)起來,最終得到基于自商圖像的多尺度LBP特征,即Hmlbp=[P1s1,P1s2,P1s3,P1s4,…,P9s1,P9s2,P9s3,P9s4],維度為9216,得到化妝人臉的特征為HAmlbp,非化妝人臉的特征為HBmlbp。
第二全局特征信息,在自商圖像的基礎(chǔ)上,進(jìn)行MLPQ特征提取,即LPQ的窗口大小分別選擇S=[3,5,7,9],得到四幅LPQ圖像Is1,Is2,Is3,Is4,對(duì)每一幅LPQ圖像分成不重疊的9塊,分別提取特征直方圖,即Ps1={P1s1,P2s1,…,P9s1},…,Ps4={P1s4,P2s4,…,P9s4},將相同位置的塊的直方圖串聯(lián)起來,最終得到基于自商圖像的多尺度LPQ特征,即Hmlpq=[P1s1,P1s2,P1s3,P1s4,…,P9s1,P9s2,P9s3,P9s4],維度為9216,我們用HAmlpq表示化妝人臉的MLPQ特征,用HBmlpq表示非化妝人臉的特征。
第三全局特征信息,將化妝人臉和非化妝人臉圖像灰度化,并提取基于區(qū)域的Gabor特征。將灰度化后的圖像均勻劃分為不重疊的9個(gè)區(qū)域,Region1,Region2,…,Region9,在每個(gè)區(qū)域內(nèi)進(jìn)行Gabor濾波,得到Gabor特征向量,Ri,i=1,2,…,9。將9個(gè)區(qū)域的特征向量串聯(lián)起來,得到一張圖像的基于區(qū)域的Gabor特征,即Hrgabor=[R1,R2,…,R9],維度為40960。我們用HArgabor表示化妝人臉的Region-Gabor特征,用HBrgabor表示非化妝人臉的特征。
其中,在參考化妝人臉和非化妝人臉圖像提取到的四種特征,得到其特征矩陣,表示{Train_MatrixAlbp,Train_MatrixBlbp},{Train_MatrixAmlbp,Train_MatrixBmlbp},{Train_MatrixAmlpq,Train_MatrixBmlpq},{Train_MatrixArgabor,Train_MatrixBrgabor}。將每個(gè)特征矩陣分別進(jìn)行PLS投影,得到不同的特征投影矩陣。值得注意的是,在局部塊的LBP特征部分,我們將經(jīng)過篩選后的每個(gè)塊特征分別進(jìn)行PLS特征投影。投影矩陣如下:Wlbp=[W1lbp,W2lbp,…,Wklbp](k為局部塊的個(gè)數(shù)),Wmlbp,Wmlpq,以及Wrgabor,即得到了參考特征空間。
S120:根據(jù)參考特征空間,將待測特征信息進(jìn)行PLS特征投影得到第一特征空間。
在進(jìn)行S120之前,將待測化妝人臉和非化妝人臉圖像提取到的四種特征組成特征矩陣,表示{Test_MatrixAlbp,Test_MatrixBlbp},{Test_MatrixAmlbp,Test_MatrixBmlbp},{Test_MatrixAmlpq,Test_MatrixBmlpq},{Test_MatrixArgabor,Test_MatrixBrgabor}。
具體而言,根據(jù)參考特征空間,將待測的特征矩陣進(jìn)行PLS特征投影獲得一個(gè)新的特征空間,即第一特征空間。
S130:根據(jù)第一特征空間,驗(yàn)證待測化妝人臉圖像和應(yīng)對(duì)的待測非化妝人臉圖像的是否為同一個(gè)人。
具體而言,在第一特征空間中,對(duì)待測的化妝人臉和非化妝人臉的圖像求相似度,方法為求取余弦相似度量,得到所述局部特征信息和全局特征信息的相似得分,即[similarity1,similarity2,similarity3,similarity4],并對(duì)所述相似得分加權(quán)求和,獲得驗(yàn)證結(jié)果。
根據(jù)本發(fā)明實(shí)施例的人臉驗(yàn)證方法,通過獲取人臉圖像的局部和全局特征信息,并將兩種特征信息進(jìn)行投影處理,在得到的新的特征空間中驗(yàn)證化妝人臉圖像和應(yīng)對(duì)的非化妝人臉圖像,提高了人臉驗(yàn)證的效率。
圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉驗(yàn)證系統(tǒng)的結(jié)構(gòu)框圖。
如圖3所示,根據(jù)本發(fā)明一個(gè)實(shí)施例的人臉驗(yàn)證系統(tǒng)300,包括:第一獲取模塊310 和驗(yàn)證模塊320。
其中,第一獲取模塊310,用于獲取待驗(yàn)化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的局部特征信息和全局特征信息,得到待測化妝人臉圖像和對(duì)應(yīng)的待驗(yàn)非化妝人臉圖像的待測特征信息,根據(jù)參考特征空間,將待測特征信息進(jìn)行PLS特征投影得到第一特征空間。驗(yàn)證模塊320,用于根據(jù)第一特征空間,驗(yàn)證待測化妝人臉圖像和待測非化妝人臉圖像的是否為同一個(gè)人。
根據(jù)本發(fā)明實(shí)施例的人臉驗(yàn)證系統(tǒng),通過獲取人臉圖像的局部和全局特征信息,并將兩種特征信息進(jìn)行投影處理,在得到的新的特征空間中驗(yàn)證化妝人臉圖像和應(yīng)對(duì)的非化妝人臉圖像,提高了人臉驗(yàn)證的效率。
進(jìn)一步地,還包括:第二獲取模塊,用于獲取參考化妝人臉圖像和對(duì)應(yīng)的參數(shù)非化妝人臉圖像的局部特征信息和全局特征信息,得到參考化妝人臉圖像和對(duì)應(yīng)的參考非化妝人臉圖像的參考特征信息,對(duì)參考特征信息進(jìn)行PLS特征投影處理,得到參考特征空間。
進(jìn)一步地,獲取局部特征信息包括:對(duì)人臉圖像進(jìn)行分塊處理形成多個(gè)子塊;在所述子塊的基礎(chǔ)上提取局部二值模式特征;求取所述局部二值模式特征的權(quán)重,得到所述局部特征信息。
進(jìn)一步地,全局特征信息包括第一至三全局特征信息,其中,包括:根據(jù)人臉圖像,利用多尺度局部二值模式提取第一全局特征信息;根據(jù)人臉圖像,利用多尺度局部相位量化提取第二全局特征信息;根據(jù)人臉圖像,利用區(qū)域的Gabor提取第三全局特征信息。
進(jìn)一步地,驗(yàn)證模塊還包括:求取余弦相似度量,得到所述局部特征信息和全局特征信息的相似得分,并對(duì)所述相似得分加權(quán)求和,獲得驗(yàn)證結(jié)果。
需要說明的是,本發(fā)明實(shí)施例的人臉驗(yàn)證系統(tǒng)的具體實(shí)現(xiàn)方式與本發(fā)明實(shí)施例的人臉驗(yàn)證方法的具體實(shí)現(xiàn)方式類似,具體請(qǐng)參見方法部分的描述,為了減少冗余,此處不做贅述。
此外,術(shù)語“第一”、“第二”僅用于描述目的,而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此,限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本發(fā)明的描述中,“多個(gè)”的含義是至少兩個(gè),例如兩個(gè),三個(gè)等,除非另有明確具體的限定。
在本發(fā)明中,除非另有明確的規(guī)定和限定,術(shù)語“安裝”、“相連”、“連接”、“固定”等術(shù)語應(yīng)做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或成一體;可以是機(jī)械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連,可以是兩個(gè)元件內(nèi)部的連通或兩個(gè)元件的相互作用關(guān)系,除非另有明確的限定。對(duì)于本領(lǐng)域的普通技術(shù)人員而言,可以根據(jù)具體情況理解上述術(shù)語在本發(fā)明中的具體含義。
在本說明書的描述中,參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中,對(duì)上述術(shù)語的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且,描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外,在不相互矛盾的情況下,本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。
盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例,可以理解的是,上述實(shí)施例是示例性的,不能理解為對(duì)本發(fā)明的限制,本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。