一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法
【專利摘要】本發(fā)明涉及一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，該方法包括以下步驟S1：建立自適應(yīng)多列深度模型；S2：自適應(yīng)多列深度模型的訓(xùn)練；S3：目標(biāo)人臉圖像正規(guī)化。本發(fā)明提供的一種基于多列自適應(yīng)深度模型的人臉正規(guī)化方法，通過(guò)將多列深度模型進(jìn)行線性組合實(shí)現(xiàn)多種影響人臉識(shí)別的不利因素的聯(lián)合矯正，同時(shí)利用非線性優(yōu)化方法自適應(yīng)地計(jì)算每一列深度模型的最優(yōu)權(quán)值，即根據(jù)輸入圖像自適應(yīng)調(diào)整每種因素的矯正因子。與傳統(tǒng)的利用單一深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉矯正的方法相比，本發(fā)明提供的基于多列自適應(yīng)深度模型的人臉正規(guī)化方法對(duì)各種變化因素的魯棒性更強(qiáng)。
【專利說(shuō)明】一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于人臉識(shí)別【技術(shù)領(lǐng)域】，涉及一種基于自適應(yīng)多列深度模型的人臉圖像正 規(guī)化方法。

【背景技術(shù)】
[0002] 作為一種典型的生物特征識(shí)別技術(shù)，人臉識(shí)別以其自然性、可接受性高、便于隱蔽 等優(yōu)勢(shì)受到了人們的青睞，在國(guó)家公共安全、軍事安全、金融安全和人機(jī)交互等方面有著廣 闊的應(yīng)用前景。然而，目前世界上最好的人臉識(shí)別系統(tǒng)也只能在用戶比較配合、采集條件比 較理想的情況下才能基本滿足一般應(yīng)用的要求。而在非約束環(huán)境（用戶不配合、非理想采 集條件）下，由于人臉特征穩(wěn)定性較差、受各種外界條件（如不同的光照條件及遮擋等因 素）的影響大等原因，人臉識(shí)別存在很大的困難。人臉圖像正規(guī)化是指將受光照變化、角度 變化、表情變化、遮擋等因素影響的人臉圖像矯正到標(biāo)準(zhǔn)條件下的正面人臉，能夠有效解決 人臉識(shí)別的以上難題?，F(xiàn)有的人臉圖像正規(guī)化方法通常只對(duì)一到兩種因素進(jìn)行去除矯正， 可以分為人臉姿態(tài)矯正、人臉光照矯正兩種。
[0003] 姿態(tài)矯正通常可以分為兩類：基于2D的姿態(tài)矯正及基于3D的姿態(tài)矯正?；?于2D的方法通過(guò)2D圖像匹配或者采用基函數(shù)或樣本來(lái)編碼測(cè)試圖像的方法進(jìn)行角 度矯正。例如，文獻(xiàn)C.D.CastilloandD.W.Jacobs, "Wide-baselinestereofor facerecognitionwithlargeposevariation,"inIEEEConferenceonComputer VisionandPatternRecognition(CVPR) 2011，pp. 537-544 米用立體匹配計(jì)算兩張人 臉之間的相似度。文獻(xiàn)A.Li,S.Shan,andW.Gao,''Coupledbias-variancetradeoff forcross-posefacerecognition,^IEEETransactionsonImageProcessing vol. 21，pp. 305-315, 2012通過(guò)訓(xùn)練圖像的線性組合來(lái)表示待測(cè)試人臉圖像，并采用線性 回歸系數(shù)作為特征進(jìn)行人臉識(shí)別。3D方法則通常先從2D圖像中獲取3D人臉數(shù)據(jù)或估 計(jì)3D模型，然后與2D的測(cè)試人臉圖像進(jìn)行匹配。文獻(xiàn)S.Li,X.Liu,X.Chai，H.Zhang,S. Lao,andS.Shan,^Morphabledisplacementfieldbasedimagematchingforface recognitionacrosspose,〃inECCV:Springer, 2012,pp. 102-115 首先通過(guò)一系列從3D人 臉數(shù)據(jù)庫(kù)中采樣而得的3D位移場(chǎng)（displacementfields)為測(cè)試人臉圖像生成一個(gè)虛擬的 角度，然后將該合成的人臉與注冊(cè)人臉進(jìn)行匹配。類似的，文獻(xiàn)A.Asthana,T.K.Marks,M. J.Jones,K.H.Tieu,andM.Rohith,''Fullyautomaticpose-invariantfacerecognition via3dposenormalization,"inIEEEInternationalConferenceonComputer Vision(ICCV)2011，pp. 937-944 采用基于角度的主動(dòng)外觀模型（ActiveAppearance Model,AAM)實(shí)現(xiàn)3D模型與2D圖像的匹配。
[0004] 人臉光照預(yù)處理方法可以分為三種：光照歸一化方法、對(duì)光照變化建模的方法、以 及提取光照不變特征的方法。光照歸一化通過(guò)采用圖像處理技術(shù)將人臉圖像進(jìn)行預(yù)處理， 得到統(tǒng)一光照條件下的人臉圖像。直方圖均衡（HistogramEqulization,HE)、Gamma矯正、 對(duì)數(shù)變換（LogarithmTransform,LT)是最常見(jiàn)的光照歸一化方法。對(duì)光照變化建模的方 法通常先假設(shè)光照對(duì)人臉圖像的影響，然后利用這些假設(shè)來(lái)建?；蛉コ庹沼绊?。光照變 化建模方法可以分為基于統(tǒng)計(jì)模型和基于物理模型兩類?；诮y(tǒng)計(jì)模型的方法通過(guò)對(duì)每個(gè) 人在不同光照條件下所形成的圖像進(jìn)行學(xué)習(xí)得到一個(gè)近似光照變化的線性子空間，常見(jiàn)的 有￡1861^306、？18116"3〇6、分段線性子空間方法等?；谖锢砟Ｐ偷姆椒▽?duì)物體表面的光 照反射屬性提出假設(shè)（如Lambertian表面假設(shè)），根據(jù)假設(shè)得到不同光照條件下的人臉圖 像模型，典型的有光照錐、球諧函數(shù)?；谀Ｐ偷姆椒ǖ囊粋€(gè)缺點(diǎn)是需要大量的不同光照條 件和不同3D模型信息下的人臉圖片進(jìn)行訓(xùn)練。而且，人臉也不是一個(gè)完美的Lambertian 表面。以上缺點(diǎn)限制了光照變化建模方法的應(yīng)用。提取光照不變特征的方法是基于尋找對(duì) 光照不變的人臉表達(dá)方式這一樸素的思想。提取光照不變特征方法包括梯度特征方法、商 圖像（QuaotientImage,QI)方法及基于Retinex模型的方法。典型的梯度特征有邊緣圖、 圖像梯度、及局部二元模式（LocalBinaryPattern,LBP)。該類方法不依賴于物理模型， 且實(shí)現(xiàn)簡(jiǎn)單，但對(duì)識(shí)別效果的提高比較有限，僅在光照變化不劇烈的情況下效果明顯。商 圖像是測(cè)試圖像和合成圖像（不在同一光照條件下的3幅圖像的線性組合）的比值，由于 Lambertian反射模型中該比值只與物體的反射率有關(guān)，因此可以看作光照不變量。Retinex 模型是Lambertian模型的簡(jiǎn)化形式。與商圖像方法相比,基于Retinex的方法的優(yōu)點(diǎn)是只 需要一幅圖像來(lái)提取圖像的光照不變量，不需要對(duì)圖像進(jìn)行對(duì)齊?；赗etinex的光照預(yù) 處理方法包括單尺度Retinex(SingleScaleRetinex,SSR)、多尺度Retinex(Multi-Scale Retinex,MSR)、自商圖像（Self-QuotientImage,SQI)、以及形態(tài)學(xué)商圖像（Morphological QuotientImage,MQI)等。
[0005] 以上人臉圖像正規(guī)化方法具有一定的局限性。比如，獲取3D數(shù)據(jù)需要額外的計(jì)算 量和資源；而且用2D數(shù)據(jù)推導(dǎo)3D模型是一個(gè)不適定問(wèn)題；統(tǒng)計(jì)光照模型通常是從約束環(huán) 境下獲得，不能很好地推廣到實(shí)際應(yīng)用中。更重要的是，以上方法只能去除少數(shù)一兩種不利 因素的影響。而在實(shí)際情況下，光照、角度、表情、遮擋等各種影響因素之間通常是相互作用 的，一種變化因素的作用與其它變化因素之間通常是相互聯(lián)系的，在這種情況下單獨(dú)處理 某種或某兩種變化因素將因?yàn)槭艿狡渌蛩氐挠绊懚y以達(dá)到真正實(shí)用的效果。因此，亟 需一種效果更好的人臉圖像正規(guī)化方法。


【發(fā)明內(nèi)容】

[0006] 有鑒于此，本發(fā)明的目的在于提供一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī) 化方法，
[0007] 為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：
[0008] -種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，該方法包括以下步驟：
[0009] SI:建立自適應(yīng)多列深度模型；
[0010] S2 :自適應(yīng)多列深度模型的訓(xùn)練；所述訓(xùn)練包括S21 :深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；S22 : 訓(xùn)練數(shù)據(jù)權(quán)重的預(yù)測(cè)；S23 :權(quán)重預(yù)測(cè)模塊的訓(xùn)練；
[0011] S3 :目標(biāo)人臉圖像正規(guī)化。
[0012] 進(jìn)一步，所述S21中的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括S211 :棧式稀疏去噪自編碼器 SSDA的訓(xùn)練；S212 :深度卷積神經(jīng)網(wǎng)絡(luò)DCNN的訓(xùn)練。
[0013] 進(jìn)一步，所述SSDA的訓(xùn)練包括以下步驟：
[0014] S2111 :SSDA由K個(gè)DA構(gòu)成，此SSDA的訓(xùn)練即為每個(gè)DA的訓(xùn)練，DA可以通過(guò)優(yōu)化 如下稀疏正則化重建損失函數(shù)進(jìn)行訓(xùn)練：
[0015]

【權(quán)利要求】
1. 一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，其特征在于：該方法包括以 下步驟： 51 :建立自適應(yīng)多列深度模型； 52 :自適應(yīng)多列深度模型的訓(xùn)練； 所述訓(xùn)練包括S21 :深度神經(jīng)網(wǎng)絡(luò)DNN的訓(xùn)練；S22 :訓(xùn)練數(shù)據(jù)權(quán)重的預(yù)測(cè)；S23 :權(quán)重預(yù) 測(cè)模塊的訓(xùn)練； 53 :目標(biāo)人臉圖像正規(guī)化。
2. 根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，其特 征在于：所述S21中的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括S211 :棧式稀疏去噪自編碼器SSDA的訓(xùn) 練； S212 :深度卷積神經(jīng)網(wǎng)絡(luò)DCNN的訓(xùn)練。
3. 根據(jù)權(quán)利要求2所述的一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，其特 征在于：所述SSDA的訓(xùn)練包括以下步驟： 52111 :SSDA由K個(gè)去噪自編碼器DA構(gòu)成，SSDA的訓(xùn)練為每個(gè)DA的訓(xùn)練，DA可以通過(guò) 優(yōu)化如下稀疏正則化重建損失函數(shù)進(jìn)行訓(xùn)練：
其中，y表示干凈的訓(xùn)練圖像，X表示y被噪聲污染后的圖像，給定N個(gè)訓(xùn)練數(shù)據(jù)D = {(X1J1)，…，（xN，yN)} ; ^(X)是DA的輸出；? = {ff，b, W'，b' }是需要優(yōu)化的參數(shù)；入、3和 P是超參數(shù)，J是隱層節(jié)點(diǎn)的個(gè)數(shù)，A是隱層節(jié)點(diǎn)的平均輸出值向量，稀疏誘導(dǎo)項(xiàng)KL(Plh) 是目標(biāo)激活值P和第j個(gè)隱層節(jié)點(diǎn)平均激活值色之間的KL散度，通過(guò)選擇較小的目標(biāo)激 活值P使得A的分量盡量??； 52112 :訓(xùn)練完第一個(gè)DA之后，將干凈圖像和污染圖像的隱層輸出分別作為干凈和污 染圖像來(lái)訓(xùn)練第二個(gè)DA，重復(fù)上述過(guò)程直到完成K個(gè)DA的訓(xùn)練； 52113 :通過(guò)最小化以下的損失函數(shù)，利用標(biāo)準(zhǔn)的反向傳播算法對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行 精確調(diào)整：
其中W(1)表示SSDA中第1層的參數(shù)。
4. 根據(jù)權(quán)利要求2所述的一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，其特 征在于：所述DCNN的訓(xùn)練包括以下步驟： S2121 :參數(shù)的初始化，通過(guò)逐層的方式進(jìn)行：

其中，Y為與輸入圖像集合X對(duì)應(yīng)的目標(biāo)圖像ground truth集合，X1、X2、X3分別為三 個(gè)局部連接層的輸出；0, P，Q均為一個(gè)固定的二元矩陣，分別由W1XJ2X1及W3X 2生成的特征 圖中相同位置的像素值相加而得，用于使OW1XjW2X1及QW 3X2與Y具有相同大?。? S2121 :采用隨機(jī)梯度下降法最小化以下重建誤差損失函數(shù)進(jìn)行參數(shù)的更新： ￡(X°;W)H|r-F||> 其中，W = {ff1，W2, W3, W4}。
5. 根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，其特 征在于：所述S22訓(xùn)練數(shù)據(jù)權(quán)重的預(yù)測(cè)為求解訓(xùn)練數(shù)據(jù)D的最優(yōu)權(quán)重向量s = [Sl，. . .，s。] T，通過(guò)求解二次優(yōu)化問(wèn)題minJ fs-y Il2得到，其中f = [Ur],表示C個(gè)DNN的輸出圖像 的組合。
6. 根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，其特 征在于：所述S23權(quán)重預(yù)測(cè)模塊的訓(xùn)練中的權(quán)重預(yù)測(cè)模塊是一個(gè)徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)， 將特征向量〇作為輸入、s作為輸出采用標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法訓(xùn)練RBF的參數(shù)； 步驟S22后，生成一個(gè)新的訓(xùn)練樣本集（〇，s)，其中O 為特征向量，由各 SSDA隱層節(jié)點(diǎn)，或DCNN特征提取層的輸出值連接得到。
7. 根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)多列深度模型的人臉圖像正規(guī)化方法，其特 征在于：所述S3目標(biāo)人臉圖像正規(guī)化的方法包括AMC-SSDA、AMC-DCNN和AMC-SSDA+DCNN。
【文檔編號(hào)】G06K9/62GK104361328SQ201410677837
【公開(kāi)日】2015年2月18日 申請(qǐng)日期:2014年11月21日 優(yōu)先權(quán)日:2014年11月21日
【發(fā)明者】劉艷飛, 周祥東, 周曦 申請(qǐng)人:中國(guó)科學(xué)院重慶綠色智能技術(shù)研究院