技術(shù)領(lǐng)域:
本發(fā)明屬于機(jī)器視覺(jué)領(lǐng)域,特別涉及一種基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法。
背景技術(shù):
:
人臉身份識(shí)別技術(shù)是利用計(jì)算機(jī)分析人臉的圖像或視頻流,從中提取每個(gè)人臉?biāo)N(yùn)含的特征,并通過(guò)這些提取的特征識(shí)別身份的一種技術(shù)。
近年來(lái),人臉身份識(shí)別技術(shù)得到較快的發(fā)展,并取得了大量的研究成果。目前,最主要的人臉身份識(shí)別方法可分為幾類(lèi):基于幾何特征的人臉身份識(shí)別、基于相關(guān)匹配的人臉身份識(shí)別、基于子空間的人臉身份識(shí)別、基于統(tǒng)計(jì)的人臉身份識(shí)別、基于彈性匹配的人臉身份識(shí)別、基于神經(jīng)網(wǎng)絡(luò)的人臉身份識(shí)別和基于三維模型的人臉身份識(shí)別等。人臉身份識(shí)別在理論研究和實(shí)際應(yīng)用中都有十分重要的價(jià)值。近年來(lái),雖然人臉身份識(shí)別在理論研究中積累了寶貴的經(jīng)驗(yàn),但在實(shí)際的應(yīng)用中,由于人臉的表情、姿態(tài)、光照強(qiáng)度、遮擋物、噪聲變化等問(wèn)題使得人臉身份識(shí)別的魯棒性受到很大的影響,因而人臉身份識(shí)別在實(shí)際應(yīng)用中面臨諸多的挑戰(zhàn)。
本發(fā)明為了克服上述人臉身份識(shí)別現(xiàn)有技術(shù)中的問(wèn)題,提出了一種基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法。此方法不僅克服了cnn耗時(shí)、標(biāo)簽數(shù)目需求量大及gabor濾波數(shù)據(jù)冗余、選取方向時(shí)離散無(wú)旋轉(zhuǎn)不變性的缺點(diǎn),而且吸取了深度模型和環(huán)形對(duì)稱(chēng)gabor濾波器(circularsymmetricgaborfilter,csgf)的優(yōu)點(diǎn),可以提取數(shù)據(jù)中更加抽象的特征,對(duì)光照、表情、遮擋等因素具有魯棒性。
技術(shù)實(shí)現(xiàn)要素:
:
本發(fā)明的主要目的是提出一種基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法,具有旋轉(zhuǎn)不變性,在各個(gè)方向都具有相同的濾波作用,能夠高效地進(jìn)行人臉識(shí)別。
為了實(shí)現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案,包含訓(xùn)練階段和測(cè)試階段。
基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法訓(xùn)練階段技術(shù)方案如下:
步驟一、對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理,包括將圖像轉(zhuǎn)化為灰度圖、調(diào)整圖像尺寸為p×q;
步驟二、將訓(xùn)練樣本依次送入csgf(2d)2pcanet模型的第一個(gè)特征提取層,獲取第一個(gè)特征提取層的csgf特征圖像;具體地,令
步驟三、對(duì)每個(gè)csgf特征圖像bi,掃描提取大小相同的圖像塊(m×n個(gè)l1×l2大小的圖像塊),對(duì)圖像塊采取去均值操作,獲得
步驟四、利用基于(2d)2pca的特征投影向量分析方法[2],同時(shí)從行、列兩個(gè)方向提取樣本矩陣i的最優(yōu)投影軸,作為第一層特征提取階段卷積濾波器
步驟五、將步驟四學(xué)習(xí)到的卷積濾波器
步驟六、將步驟五得到的每個(gè)訓(xùn)練樣本ai對(duì)應(yīng)的特征圖
步驟七、對(duì)步驟六中得到的每個(gè)訓(xùn)練樣本ai對(duì)應(yīng)的第二層特征圖
步驟八、針對(duì)每個(gè)二值特征圖
步驟九、將步驟八得到的所有樣本
基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法的測(cè)試階段技術(shù)方案如下:
步驟一:對(duì)待測(cè)試人臉圖像b進(jìn)行預(yù)處理,包括將圖像轉(zhuǎn)化成灰度圖、調(diào)整圖像尺寸為p×q;
步驟二:與訓(xùn)練階段類(lèi)似,將待測(cè)試人臉圖像b與訓(xùn)練階段第一個(gè)特征提取層學(xué)習(xí)到的第一層卷積濾波器
步驟三:與訓(xùn)練階段類(lèi)似,步驟二輸出的特征圖
步驟四:與訓(xùn)練階段類(lèi)似,對(duì)步驟三得到的特征圖
步驟五、將步驟四得到的圖像最終輸出特征
與現(xiàn)有的技術(shù)相比,本發(fā)明具有以下有益效果:
1、本方法采取無(wú)監(jiān)督學(xué)習(xí)方式,不僅克服了監(jiān)督學(xué)習(xí)方式需要大量標(biāo)簽數(shù)據(jù),而且需要繁重的迭代學(xué)習(xí)的缺點(diǎn),大大減少了運(yùn)算量,提高了系統(tǒng)的效率;
2、本方法采用深度網(wǎng)絡(luò)結(jié)構(gòu)的特征學(xué)習(xí)方法,取代了手工提取特征,吸取了深度學(xué)習(xí)網(wǎng)絡(luò)能夠從數(shù)據(jù)中自動(dòng)學(xué)習(xí)到有效的區(qū)分性特征表達(dá)的優(yōu)點(diǎn),有效提高了自動(dòng)人臉身份識(shí)別的準(zhǔn)確率;
3、本方法提出的網(wǎng)絡(luò)結(jié)構(gòu)具有平移、旋轉(zhuǎn)不變性的特點(diǎn)。結(jié)合csgf和(2d)2pca卷積濾波器的學(xué)習(xí),csgf降低了數(shù)據(jù)冗余,節(jié)省了大量的計(jì)算時(shí)間,且對(duì)各個(gè)方向具有相同的濾波作用,具有旋轉(zhuǎn)不變性,能保持各方向下的特征,同時(shí)csgf使得模型具有良好的局部特征表達(dá)能力,并且對(duì)光照、表情、遮擋、姿態(tài)和噪聲等變化具有較好的魯棒性,有效提高了復(fù)雜環(huán)境下人臉身份識(shí)別的準(zhǔn)確率。
本發(fā)明具有較高的魯棒性,達(dá)到了較高的人臉身份識(shí)別精度。
因此,本發(fā)明在人臉身份識(shí)別領(lǐng)域有廣泛的應(yīng)用前景。
附圖說(shuō)明:
圖1基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法特征學(xué)習(xí)框架;
具體實(shí)施方式
為了更好的說(shuō)明本發(fā)明的目的、具體步驟以及特點(diǎn),下面結(jié)合附圖,以ar人臉庫(kù)[3]為例,對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明:
本發(fā)明提出的一種基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法,其中csgf(2d)2pcanet深度卷積模型如圖1所示。csgf(2d)2pcanet由兩個(gè)特征提取層和一個(gè)非線性輸出層組成,特征提取層的卷積濾波器由csgf和(2d)2pca學(xué)習(xí)得到,用于卷積原始輸入圖像提取特征,非線性輸出層包括二值哈希和局部直方圖計(jì)算操作,用于進(jìn)一步計(jì)算出最終的特征。
本發(fā)明提出的一種基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法,包含訓(xùn)練階段和測(cè)試階段。
基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法訓(xùn)練階段技術(shù)方案如下:
步驟一、對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理,包括將圖像轉(zhuǎn)化為灰度圖、調(diào)整圖像尺寸得到相同大小為p×q;
步驟二、將訓(xùn)練樣本依次送入csgf(2d)2pcanet模型的第一個(gè)特征提取層,獲取第一個(gè)特征提取層的csgf特征圖像;具體地,令
步驟三、對(duì)每個(gè)csgf特征圖像bi,掃描提取大小相同的圖像塊(m×n個(gè)l1×l2大小的圖像塊),對(duì)圖像塊采取去均值操作,獲得
步驟四、利用基于(2d)2pca的特征投影向量分析方法[2],同時(shí)從行、列兩個(gè)方向提取樣本矩陣i的最優(yōu)投影軸,作為第一層特征提取階段卷積濾波器
步驟五、將步驟四學(xué)習(xí)到的卷積濾波器
步驟六、將步驟五得到的每個(gè)訓(xùn)練樣本ai對(duì)應(yīng)的特征圖
步驟七、對(duì)步驟六中得到的每個(gè)訓(xùn)練樣本ai對(duì)應(yīng)的第二層特征圖
步驟八、針對(duì)每個(gè)二值特征圖
步驟九、將步驟八得到的所有樣本
基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法的測(cè)試階段技術(shù)方案如下:
步驟一:對(duì)待測(cè)試人臉圖像b進(jìn)行預(yù)處理,包括將圖像轉(zhuǎn)化成灰度圖、調(diào)整圖像尺寸得到相同大小p×q;
步驟二:與訓(xùn)練階段類(lèi)似,將待測(cè)試人臉圖像b與訓(xùn)練階段第一個(gè)特征提取層學(xué)習(xí)到的第一層卷積濾波器
步驟三:與訓(xùn)練階段類(lèi)似,步驟二輸出的特征圖
步驟四:與訓(xùn)練階段類(lèi)似,對(duì)步驟三得到的特征圖
步驟五、將步驟四得到的圖像最終輸出特征
上述技術(shù)方案中,訓(xùn)練階段步驟一訓(xùn)練集人臉圖像進(jìn)行預(yù)處理具體方法:
首先將彩色圖像轉(zhuǎn)化為灰度圖,并將圖像尺寸調(diào)整到相同大小p×q,以ar人臉庫(kù)為例,預(yù)處理后,訓(xùn)練集中n張人臉圖像記為
上述技術(shù)方案中,訓(xùn)練階段步驟二csgf(2d)2pcanet第一個(gè)特征提取層的csgf特征圖像提取方法為:
1、對(duì)訓(xùn)練集中的每一張人臉圖像ai,進(jìn)行csgf,csgf計(jì)算方法如下:
其中f是濾波器的中心頻率,g(x,y)對(duì)應(yīng)的是高斯核函數(shù),δ對(duì)應(yīng)的是高斯核函數(shù)g(x,y)的標(biāo)準(zhǔn)差,它決定著高斯核函數(shù)窗口的寬度,是濾波器的尺度參數(shù),將csgf記為g(f,δ)=(x,y);
csgf的中心頻率f和高斯核函數(shù)δ要滿足如下濾波器帶寬b控制的條件:
其中,
根據(jù)本發(fā)明驗(yàn)證實(shí)驗(yàn)所涉及的圖像尺寸大小,分別選取五個(gè)濾波器的中心頻率為:
根據(jù)本發(fā)明所涉及實(shí)驗(yàn)的設(shè)置,取b=1,所以,fδ=3λ。將f與λ的值代入,對(duì)應(yīng)δ的取值為:
經(jīng)過(guò)csgf的濾波,特征圖像很好地保留了各個(gè)方向下的特征,保證了特征的旋轉(zhuǎn)不變性;
2、設(shè)原始輸入圖像表示為a(x,y),將上式獲得的csgfg(f,δ)(x,y),與原始圖像進(jìn)行卷積可以得到csgf的特征圖像:
a(f,δ)(x,y)=a(x,y)*g(f,δ)(x,y)
其中*表示卷積運(yùn)算,a(f,δ)(x,y)表示對(duì)應(yīng)于尺度f(wàn)與標(biāo)準(zhǔn)差δ的csgf與原始圖像的卷積輸出;
3、對(duì)csgf特征圖像進(jìn)行降采樣,得到最終的csgf特征圖像[1],記為
上述技術(shù)方案中,訓(xùn)練階段步驟四(2d)2pca的特征投影向量分析方法為:
1、假設(shè)第一層卷積濾波器的個(gè)數(shù)是n1(以ar人臉庫(kù)為例,n1=3);對(duì)于樣本矩陣i中的每個(gè)圖像塊
2、同樣地,從列的方向,尋找最優(yōu)投影軸
3、計(jì)算n1個(gè)卷積濾波器:wn=y(tǒng)nxnt,n=1,2,…,n1。
上述技術(shù)方案中,訓(xùn)練階段步驟五中第一層特征圖
其中*表示卷積運(yùn)算,
上述技術(shù)方案中,訓(xùn)練階段步驟六csgf(2d)2pcanet第二個(gè)特征提取層的特征學(xué)習(xí)方法與第一個(gè)特征提取層的特征學(xué)習(xí)方法相同,如圖1所示,對(duì)每一個(gè)輸入樣本ai,以步驟五得到的n1個(gè)特征圖
上述技術(shù)方案中,訓(xùn)練階段步驟七中二值哈希編碼的具體計(jì)算方法為:
1、利用二值哈希函數(shù)h(·)將每個(gè)訓(xùn)練樣本ai對(duì)應(yīng)的第二層特征圖
2、將所有由第二層的同一個(gè)輸入
上述技術(shù)方案中,訓(xùn)練階段步驟八中局部統(tǒng)計(jì)直方圖的具體計(jì)算方法為:
對(duì)于每個(gè)輸出圖
上述技術(shù)方案中,測(cè)試階段步驟一測(cè)試集人臉圖像進(jìn)行預(yù)處理具體方法:
首先將測(cè)試圖像轉(zhuǎn)化為灰度圖,并調(diào)整圖像尺寸到訓(xùn)練集相同大小p×q,以ar人臉庫(kù)為例,預(yù)處理后,待測(cè)試人臉圖像b記為待測(cè)試人臉圖像
上述技術(shù)方案中,測(cè)試階段步驟二的具體方法為:
將待測(cè)試人臉圖像b,與訓(xùn)練階段第一個(gè)特征提取層學(xué)習(xí)到的第一層卷積濾波器
上述技術(shù)方案中,測(cè)試階段步驟三的具體方法為:
將步驟二輸出的特征圖
上述技術(shù)方案中,測(cè)試階段步驟四中特征圖
1、利用二值哈希函數(shù)h(·)將第二層所有輸出的特征圖
2、把步驟三中由第n個(gè)第一層特征圖
上述技術(shù)方案中,測(cè)試階段步驟四中局部統(tǒng)計(jì)直方圖的具體計(jì)算方法為:
對(duì)于每個(gè)輸出圖
上述技術(shù)方案中,測(cè)試階段步驟五的具體方法為:
利用訓(xùn)練好的linearsvm分類(lèi)器對(duì)測(cè)試階段步驟四得到的測(cè)試樣本b的最終特征
為驗(yàn)證本發(fā)明的有效性,本發(fā)明在四個(gè)著名的人臉數(shù)據(jù)庫(kù)(orl、extendedyaleb、ar、xm2vts)上先后進(jìn)行了實(shí)驗(yàn)。
表1:人臉數(shù)據(jù)庫(kù)特性描述
實(shí)驗(yàn)參數(shù)設(shè)置如下:
表2:人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)參數(shù)設(shè)置
*可自行調(diào)整
表3為本發(fā)明提出的方法在orl、extendedyaleb、ar和xm2vts數(shù)據(jù)集的測(cè)試結(jié)果,本發(fā)明提出的方法在orl、extendedyaleb、ar和xm2vts人臉庫(kù)上都取得了較高的識(shí)別率。盡管這些人臉圖像具有顯著的遮擋、光照、表情和姿態(tài)變化,但本發(fā)明提出方法對(duì)遮擋、光照、表情、姿態(tài)和噪聲具有魯棒性,因此提供了很好的表現(xiàn)。
表3:在orl和extendedyaleb、ar和xm2vts上的識(shí)別率
從ar人臉庫(kù)中選擇男人、女人各50位。每類(lèi)中7張含有自然表情和正面光照的圖像作為訓(xùn)練樣本,其余19張圖像作為測(cè)試樣本,記為t。根據(jù)存在的變化,進(jìn)一步將t分為4個(gè)子集,記為occlus(遮擋),illum(光照),exps(表情)和illum+occlus(光照加遮擋),4個(gè)子集中每類(lèi)的樣本個(gè)數(shù)分別為4,3,4,8。從表4可以看出,本發(fā)明提出的方法對(duì)各種人臉識(shí)別噪聲都有較好的魯棒性,處理遮擋、光照和表情變化的情況均非常有效。
表4:ar上不同方法的識(shí)別率
本發(fā)明采用基于csgf(2d)2pcanet卷積網(wǎng)絡(luò)的人臉識(shí)別方法,不僅充分發(fā)揮了深度卷積網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)到有效的區(qū)分性特征表達(dá)的優(yōu)點(diǎn),而且csgf的使用降低了數(shù)據(jù)冗余、節(jié)省了大量的計(jì)算時(shí)間。同時(shí),通過(guò)csgf和(2d)2pca卷積濾波器的學(xué)習(xí),模型具有良好的局部性,能夠更好的提取局部特征,并且對(duì)姿態(tài)、遮擋、光照、表情和噪聲變化具有穩(wěn)定的魯棒性,從而提高了本方法的識(shí)別精度。本方法采取無(wú)監(jiān)督的學(xué)習(xí)方式,克服了傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)不足,大大減少了運(yùn)算量,提高了系統(tǒng)的效率。
上面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做了詳細(xì)說(shuō)明,但是本發(fā)明并不局限于上述實(shí)施方式,在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi),還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。
[1]zhangj,tant,mal.invarianttexturesegmentationviacirculargaborfilters[c].proc.ofthe16thinternationalconferenceonpatternrecognition.2002.901-904.
[2]zhang,d.andz.-h.zhou,two-directionaltwo-dimensionalpcaforefficientfacerepresentationandrecognition.neurocomputing,2005.69(1-3):p.224-231.
[3]a.martinezandr.benavente,thearfacedatabase,cvctechnicalreport,vol.24,1998.