本發(fā)明涉及人臉檢測(cè)領(lǐng)域，尤其是涉及了利用對(duì)抗網(wǎng)絡(luò)和三維形態(tài)模型的大幅度人臉擺正方法。

背景技術(shù)：

人臉檢測(cè)與識(shí)別是生物特征識(shí)別與人工智能交叉領(lǐng)域的一個(gè)課題，近年來(lái)得到了廣泛的關(guān)注。人臉圖像是人類主要特征，與用其他身體特征相比，人臉相對(duì)穩(wěn)定、不容易被遺忘、改變和盜取，而且利用人臉圖像來(lái)識(shí)別身份，容易被人們所接受，但在日常生活中，并非所有場(chǎng)景中出現(xiàn)的人臉都是正向前臉，因此如何將圖像中的人臉擺正進(jìn)行識(shí)別，是一項(xiàng)關(guān)鍵技術(shù)，將有利于社交領(lǐng)域的安全權(quán)限、銀行賬戶與購(gòu)物安全、公民出入境事務(wù)甚至于反恐安防領(lǐng)域。

人臉擺正仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。由于人臉的不同個(gè)體之間的區(qū)別并不是很明顯。甚至隔絕開各種器官，都具有相似性，導(dǎo)致個(gè)體的身份特征不能很好地被提取，而且由于光照、表情、飾物等影響，對(duì)于極端偏置人臉的擺正恢復(fù)更加具有難度，加上未定的背景因素，想要在未限定條件下進(jìn)行人臉的擺正并不容易。

本發(fā)明提出了一種基于生成網(wǎng)絡(luò)與識(shí)別引擎的新框架。生成器將一張非前向正臉的人臉圖當(dāng)作輸入去產(chǎn)生一張正向前臉圖，同時(shí)分類器試圖去對(duì)這張圖像進(jìn)行判別是否真實(shí)圖像，并且利用反饋的信息去促使生成器生成的圖像更加接近真實(shí)圖像，同時(shí)利用識(shí)別引擎進(jìn)行輸入圖像原有身份特征的保留。本發(fā)明可以處理非前向人臉尤其大幅度偏擺的人臉圖，提供一個(gè)生成網(wǎng)絡(luò)和形態(tài)模型進(jìn)行人臉的擺正，同時(shí)極大地提高了人臉識(shí)別與擺正的效果。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)解決在為限定條件背景下進(jìn)行人臉擺正的問(wèn)題，本發(fā)明的目的在于提供一種利用對(duì)抗網(wǎng)絡(luò)和三維形態(tài)模型的大幅度人臉擺正方法，提出了一種生成網(wǎng)絡(luò)和識(shí)別引擎的新框架。

為解決上述問(wèn)題，本發(fā)明提供一種利用對(duì)抗網(wǎng)絡(luò)和三維形態(tài)模型的大幅度人臉擺正方法，其主要內(nèi)容包括：

(一)重構(gòu)模塊；

(二)生成網(wǎng)絡(luò)與分類模塊；

(三)識(shí)別模塊。

其中，所述的重構(gòu)模塊，包括預(yù)設(shè)結(jié)構(gòu)和重構(gòu)結(jié)構(gòu)兩部分。

進(jìn)一步地，所述的預(yù)設(shè)結(jié)構(gòu)，包括四個(gè)組成部分：

(1)生成器g，用于接收輸入的非前臉圖像并且將其轉(zhuǎn)換成前臉圖；

(2)分類器d，用于分類這幅前臉圖是真實(shí)的還是生成的；

(3)人臉識(shí)別引擎c，用于正則化處理g的生成圖以保留更多該圖像的獨(dú)有特征；

(4)三維形態(tài)模型r，用于在大幅度偏移正面的人臉圖中向生成網(wǎng)絡(luò)提供形狀與外觀信息；

此外，令擁有n個(gè)樣本的訓(xùn)練集表示為其中xi為任意姿態(tài)的人臉輸入圖像，為該輸入圖像的實(shí)際前臉圖，是實(shí)際三維形態(tài)模型的系數(shù)，yi為該圖像的標(biāo)簽。

進(jìn)一步地，所述的重構(gòu)結(jié)構(gòu)，在生成人臉圖像過(guò)程中對(duì)三維形態(tài)模型加入先驗(yàn)知識(shí)，在主成分分析域中有：

公式(1)表明三維形狀坐標(biāo)s由形狀均值形狀基準(zhǔn)aid、表達(dá)式基準(zhǔn)aexp線性相加組成，而紋理t則由紋理均值紋理基準(zhǔn)atex線性相加組成，其余系數(shù)定義了獨(dú)特的三維人臉；

令三維形態(tài)模型系數(shù)p＝<m，αid，αexp,αtex>，對(duì)于輸入圖像x以及模型r，p＝r(x)，用基于預(yù)訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)權(quán)值對(duì)此模型進(jìn)行回歸運(yùn)算，并且對(duì)訓(xùn)練前每一個(gè)維度的參數(shù)進(jìn)行z分?jǐn)?shù)歸一化處理，則帶權(quán)值參數(shù)的距離代價(jià)函數(shù)為：

其中，w是一個(gè)矩陣，對(duì)角線是每個(gè)訓(xùn)練參數(shù)的權(quán)值。

進(jìn)一步地，所述的生成網(wǎng)絡(luò)與分類模塊，包括生成對(duì)抗網(wǎng)絡(luò)和分類模塊。

進(jìn)一步地，所述的生成對(duì)抗網(wǎng)絡(luò)，產(chǎn)生一個(gè)依賴于三維形態(tài)模型系數(shù)p和輸入圖像x的生成模型來(lái)恢復(fù)保留有高頻及低頻部分的前臉圖，具體為：原始圖像及三維形態(tài)模型系數(shù)輸入到生成器g中，融合一個(gè)編碼解碼網(wǎng)絡(luò)去合成前臉x^f＝g(x，p)，同時(shí)定義一個(gè)重構(gòu)損失函數(shù)使得重構(gòu)圖與實(shí)際圖之間的誤差最小：

此外，為了減少圖像塊狀結(jié)構(gòu)之間的人為痕跡，使用一個(gè)空域的總變差損失函數(shù)使得生成的輸出更加平滑：

其中，是圖像的梯度，是二維坐標(biāo)增量，ω是圖像區(qū)域范圍，|ω|是區(qū)域歸一化因子；

由于人臉的對(duì)稱性，加入一個(gè)對(duì)稱損失函數(shù)，從三維形態(tài)模型系數(shù)中向二維投影，得到二維的人臉視圖它為二進(jìn)制，非零值表示可視區(qū)域，零值則表示相反；同時(shí)由于其對(duì)稱性，人臉視圖水平翻動(dòng)的時(shí)候得到另一個(gè)視圖則對(duì)于原始輸入圖像而生成的前臉圖像及其翻轉(zhuǎn)版本之間應(yīng)該嚴(yán)格相似：

運(yùn)算符⊙表示元素點(diǎn)積。

進(jìn)一步地，所述的分類模塊，分類器d含有5個(gè)卷積層和一個(gè)線性層用于產(chǎn)生二維向量，每個(gè)維度代表概率，關(guān)于輸入圖像是真實(shí)的還是生成的，而d每個(gè)迭代中使用兩批圖像進(jìn)行權(quán)值更新，有：

其中，和分別是真實(shí)圖像和生成圖像的集合；

此外，生成器g需要擊敗分類器d，才能使得d很難分辨生成的人臉圖是不真實(shí)的，于是設(shè)定一個(gè)損失函數(shù)：

其中，這個(gè)損失函數(shù)的最優(yōu)化意味著d指引著g去生成最接近真實(shí)的前臉圖。

進(jìn)一步地，所述的識(shí)別模塊，包括識(shí)別引擎和目標(biāo)函數(shù)兩部分。

進(jìn)一步地，所述的識(shí)別引擎，使用識(shí)別引擎c注入原始圖像中的正確身份信息，具體為：利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)融合交叉熵?fù)p失函數(shù)去訓(xùn)練c，基于實(shí)際真實(shí)標(biāo)簽y去對(duì)圖像x進(jìn)行分類：

其中，j是身份類別的索引，如果輸入圖像的身份標(biāo)簽失效，則將圖取出來(lái)的身份特征h^f進(jìn)行正則化處理，使生成圖像與輸入圖像之間的特征更加相像，即：

根據(jù)公式(9)，在訓(xùn)練過(guò)程中，c不斷迭代訓(xùn)練圖像以保持分辨能力，同時(shí)利用從生成圖像反饋的損失信息用于更新自身。

進(jìn)一步地，所述的目標(biāo)函數(shù)，在前述模塊中，根據(jù)公式(2)(6)(8)可得，一個(gè)可優(yōu)化的總體目標(biāo)函數(shù)為：

其中，每個(gè)模塊的權(quán)重皆不相同，公式(10)設(shè)定了5個(gè)平衡因子來(lái)控制總體損失函數(shù)，用三步完成此端對(duì)端訓(xùn)練過(guò)程：

(1)λrec設(shè)置為0，λid設(shè)置為0.01；

(2)λtv、λsym、λgan初始值設(shè)置為1；

(3)通常在20個(gè)迭代次數(shù)內(nèi)如果g和d的訓(xùn)練誤差一旦破壞了原有的平衡，則改變?chǔ)藃ec和λid為1，而λtv和λsym分別為0.5和0.8。

附圖說(shuō)明

圖1是本發(fā)明一種利用對(duì)抗網(wǎng)絡(luò)和三維形態(tài)模型的大幅度人臉擺正方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種利用對(duì)抗網(wǎng)絡(luò)和三維形態(tài)模型的大幅度人臉擺正方法檢測(cè)結(jié)果的比較圖。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

圖1是本發(fā)明一種利用對(duì)抗網(wǎng)絡(luò)和三維形態(tài)模型的大幅度人臉擺正方法的系統(tǒng)流程圖。主要包括重構(gòu)模塊；生成網(wǎng)絡(luò)與分類模塊；識(shí)別模塊。

其中，重構(gòu)模塊包括預(yù)設(shè)結(jié)構(gòu)和重構(gòu)結(jié)構(gòu)兩部分。

預(yù)設(shè)結(jié)構(gòu)，包括四個(gè)組成部分：

(1)生成器g，用于接收輸入的非前臉圖像并且將其轉(zhuǎn)換成前臉圖；

(2)分類器d，用于分類這幅前臉圖是真實(shí)的還是生成的；

(3)人臉識(shí)別引擎c，用于正則化處理g的生成圖以保留更多該圖像的獨(dú)有特征；

(4)三維形態(tài)模型r，用于在大幅度偏移正面的人臉圖中向生成網(wǎng)絡(luò)提供形狀與外觀信息；

此外，令擁有n個(gè)樣本的訓(xùn)練集表示為其中xi為任意姿態(tài)的人臉輸入圖像，為該輸入圖像的實(shí)際前臉圖，是實(shí)際三維形態(tài)模型的系數(shù)，yi為該圖像的標(biāo)簽。

重構(gòu)結(jié)構(gòu)，在生成人臉圖像過(guò)程中對(duì)三維形態(tài)模型加入先驗(yàn)知識(shí)，在主成分分析域中有：

公式(1)表明三維形狀坐標(biāo)s由形狀均值形狀基準(zhǔn)aid、表達(dá)式基準(zhǔn)aexp線性相加組成，而紋理t則由紋理均值紋理基準(zhǔn)atex線性相加組成，其余系數(shù)定義了獨(dú)特的三維人臉；

令三維形態(tài)模型系數(shù)p＝<m，αid，αexp,αtex>，對(duì)于輸入圖像x以及模型r，p＝r(x)，用基于預(yù)訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)權(quán)值對(duì)此模型進(jìn)行回歸運(yùn)算，并且對(duì)訓(xùn)練前每一個(gè)維度的參數(shù)進(jìn)行z分?jǐn)?shù)歸一化處理，則帶權(quán)值參數(shù)的距離代價(jià)函數(shù)為：

其中，w是一個(gè)矩陣，對(duì)角線是每個(gè)訓(xùn)練參數(shù)的權(quán)值。

生成網(wǎng)絡(luò)與分類模塊，包括生成對(duì)抗網(wǎng)絡(luò)和分類模塊。

生成對(duì)抗網(wǎng)絡(luò)，產(chǎn)生一個(gè)依賴于三維形態(tài)模型系數(shù)p和輸入圖像x的生成模型來(lái)恢復(fù)保留有高頻及低頻部分的前臉圖，具體為：原始圖像及三維形態(tài)模型系數(shù)輸入到生成器g中，融合一個(gè)編碼解碼網(wǎng)絡(luò)去合成前臉x^f＝g(x，p)，同時(shí)定義一個(gè)重構(gòu)損失函數(shù)使得重構(gòu)圖與實(shí)際圖之間的誤差最?。?/p>

此外，為了減少圖像塊狀結(jié)構(gòu)之間的人為痕跡，使用一個(gè)空域的總變差損失函數(shù)使得生成的輸出更加平滑：

其中，是圖像的梯度，是二維坐標(biāo)增量，ω是圖像區(qū)域范圍，|ω|是區(qū)域歸一化因子；

由于人臉的對(duì)稱性，加入一個(gè)對(duì)稱損失函數(shù)，從三維形態(tài)模型系數(shù)中向二維投影，得到二維的人臉視圖它為二進(jìn)制，非零值表示可視區(qū)域，零值則表示相反；同時(shí)由于其對(duì)稱性，人臉視圖水平翻動(dòng)的時(shí)候得到另一個(gè)視圖則對(duì)于原始輸入圖像而生成的前臉圖像及其翻轉(zhuǎn)版本之間應(yīng)該嚴(yán)格相似：

運(yùn)算符⊙表示元素點(diǎn)積。

分類模塊，分類器d含有5個(gè)卷積層和一個(gè)線性層用于產(chǎn)生二維向量，每個(gè)維度代表概率，關(guān)于輸入圖像是真實(shí)的還是生成的，而d每個(gè)迭代中使用兩批圖像進(jìn)行權(quán)值更新，有：

其中，和分別是真實(shí)圖像和生成圖像的集合；

此外，生成器g需要擊敗分類器d，才能使得d很難分辨生成的人臉圖是不真實(shí)的，于是設(shè)定一個(gè)損失函數(shù)：

其中，這個(gè)損失函數(shù)的最優(yōu)化意味著d指引著g去生成最接近真實(shí)的前臉圖。

識(shí)別模塊，包括識(shí)別引擎和目標(biāo)函數(shù)兩部分。

識(shí)別引擎，使用識(shí)別引擎c注入原始圖像中的正確身份信息，具體為：利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)融合交叉熵?fù)p失函數(shù)去訓(xùn)練c，基于實(shí)際真實(shí)標(biāo)簽y去對(duì)圖像x進(jìn)行分類：

其中，j是身份類別的索引，如果輸入圖像的身份標(biāo)簽失效，則將圖取出來(lái)的身份特征h^f進(jìn)行正則化處理，使生成圖像與輸入圖像之間的特征更加相像，即：

根據(jù)公式(9)，在訓(xùn)練過(guò)程中，c不斷迭代訓(xùn)練圖像以保持分辨能力，同時(shí)利用從生成圖像反饋的損失信息用于更新自身。

目標(biāo)函數(shù)，在前述模塊中，根據(jù)公式(2)(6)(8)可得，一個(gè)可優(yōu)化的總體目標(biāo)函數(shù)為：

其中，每個(gè)模塊的權(quán)重皆不相同，公式(10)設(shè)定了5個(gè)平衡因子來(lái)控制總體損失函數(shù)，用三步完成此端對(duì)端訓(xùn)練過(guò)程：

(1)λrec設(shè)置為0，λid設(shè)置為0.01；

(2)λtv、λsym、λgan初始值設(shè)置為1；

(3)通常在20個(gè)迭代次數(shù)內(nèi)如果g和d的訓(xùn)練誤差一旦破壞了原有的平衡，則改變?chǔ)藃ec和λid為1，而λtv和λsym分別為0.5和0.8。

圖2是本發(fā)明一種利用對(duì)抗網(wǎng)絡(luò)和三維形態(tài)模型的大幅度人臉擺正方法檢測(cè)結(jié)果的比較圖。如圖所示，可以觀察到，根據(jù)同樣的輸入圖像，與其他典型方法相對(duì)比，本發(fā)明的方法可以展示出最好的人臉擺正圖像，并且更好地保留人臉特征。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。