一種基于融合特征的人臉檢測與對(duì)齊方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于傳統(tǒng)特征與卷積神經(jīng)網(wǎng)絡(luò)特征的人臉檢測與對(duì)齊方法。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展，人機(jī)交互已成為越來越受重視的技術(shù)。作為計(jì)算機(jī)視覺領(lǐng)域的人臉識(shí)別和人臉驗(yàn)證技術(shù)已經(jīng)在工業(yè)界開始得到應(yīng)用，在過去幾十年中人臉識(shí)別與驗(yàn)證技術(shù)一直是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究課題。而人臉檢測與對(duì)齊是人臉識(shí)別中至關(guān)重要的一個(gè)步驟。
[0003]首先，當(dāng)前使用比較常見的人臉檢測方法是基于Haar-1ike特征和AdaBoost技術(shù)的人臉檢測方法，它通過提取人工設(shè)計(jì)的特征訓(xùn)練了基于AdaBoost技術(shù)的人臉分類器。但是由于Haar-1ike特征是一種人工設(shè)計(jì)的低層次抽象特征，并不具備完備的人臉信息，所以導(dǎo)致訓(xùn)練出來的分類器準(zhǔn)確率不高。
[0004]其次，當(dāng)前使用比較常見的人臉特征點(diǎn)定位方法是自適應(yīng)形狀模型方法(ASM，adaptive shape model)。這種方法對(duì)于異常特征點(diǎn)和姿態(tài)變化都不具備很強(qiáng)的魯棒性，因此很難得到準(zhǔn)確的人臉特征點(diǎn)，這將直接影響人臉對(duì)齊效果，進(jìn)一步導(dǎo)致人臉識(shí)別性能的嚴(yán)重下降。
[0005]再次，基于卷積神經(jīng)網(wǎng)絡(luò)的方法雖然在準(zhǔn)確率方面比傳統(tǒng)方法較高，但是卷積神經(jīng)網(wǎng)絡(luò)計(jì)算量大，處理單張圖片耗時(shí)長，很難達(dá)到實(shí)時(shí)檢測人臉并對(duì)齊的要求。所以需要開發(fā)一種新的人臉檢測與對(duì)齊方法，可以將基于傳統(tǒng)特征的方法和基于卷積神經(jīng)網(wǎng)絡(luò)的方法結(jié)合起來。
[0006]為了解決上述問題，本發(fā)明提供一種基于傳統(tǒng)特征與卷積神經(jīng)網(wǎng)絡(luò)特征的人臉檢測與對(duì)齊方法，該方法以任意包含人臉的圖像為輸入，可以快速準(zhǔn)確地檢測并對(duì)齊人臉。

【發(fā)明內(nèi)容】

[0007]本發(fā)明解決的技術(shù)問題是:克服了現(xiàn)有的基于傳統(tǒng)特征和基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測與對(duì)齊方法的不足，提供了一種基于融合特征的人臉檢測與對(duì)齊方法。
[0008]本發(fā)明采用的技術(shù)方案為:一種基于融合特征的人臉檢測與對(duì)齊方法，本發(fā)明流程示意圖如圖7所示，包括以下四個(gè)步驟:
[0009]步驟(I)、首先將輸入圖像放大至5倍于原圖像大小，然后以0.7937為系數(shù)乘以放大后的圖像尺寸，生成新的尺寸圖像，重復(fù)該過程直至圖像尺寸大小小于特定閾值(如110)，按照上述步驟生成了多尺度金字塔圖像后，然后以固定大小窗口和固定步長掃描不同尺度的圖像，生成多個(gè)候選人臉窗口；
[0010]步驟(2)、然后提取圖像的傳統(tǒng)特征(local binary pattern特征和Haar-1 ike特征)和卷積神經(jīng)網(wǎng)絡(luò)特征，訓(xùn)練一個(gè)人臉非人臉分類器;預(yù)先訓(xùn)練好的人臉非人臉分類器本質(zhì)上是一個(gè)二分類器，輸入固定大小圖像，輸出O或I，即表示輸入圖像是否是人臉;依次將步驟(I)生成的候選人臉窗口作為輸入傳遞給預(yù)先訓(xùn)練好的人臉非人臉分類器，分類器輸出人臉窗口；
[ΟΟ??] 步驟(3)、接著提取人臉圖像的傳統(tǒng)特征(local binary pattern特征和Haar-like特征)和卷積神經(jīng)網(wǎng)絡(luò)特征，訓(xùn)練一個(gè)人臉特征點(diǎn)回歸器；以步驟(2)輸出的人臉圖像為輸入傳遞給預(yù)先訓(xùn)練好的人臉特征點(diǎn)回歸器，人臉特征點(diǎn)回歸器輸出該人臉圖像中的人臉特征點(diǎn)位置(眉毛、眼角、鼻子、嘴角等)；
[0012]步驟(4)、最后根據(jù)步驟(3)輸出的人臉圖像及其對(duì)應(yīng)的人臉特征點(diǎn)位置，選取兩個(gè)固定人臉特征點(diǎn)(如左右眼角)作為定點(diǎn)，對(duì)人臉圖像進(jìn)行旋轉(zhuǎn)和縮放處理，輸出對(duì)齊后的人臉圖像，對(duì)齊后的人臉圖像中所選取固定特征點(diǎn)的位置將不變。
[0013]進(jìn)一步地，步驟(I)中所述的多尺度圖像金字塔模型，以0.7937為縮放系數(shù)生成多尺度圖像。
[0014]進(jìn)一步地，步驟(2)中所述的人臉非人臉分類器是通過提取圖像的特征為輸入訓(xùn)練得到的，圖像的特征由傳統(tǒng)特征(local binary pattern特征和Haar-like特征)和卷積神經(jīng)網(wǎng)絡(luò)特征相融合而成。
[0015]進(jìn)一步地，步驟(3)中所述的人臉特征點(diǎn)回歸器是通過提取圖像的特征為輸入訓(xùn)練得到的，圖像的特征由傳統(tǒng)特征(local binary pattern特征和Haar-like特征)和卷積神經(jīng)網(wǎng)絡(luò)特征相融合而成。
[0016]進(jìn)一步地，步驟(4)中所述的對(duì)人臉圖像進(jìn)行旋轉(zhuǎn)和縮放，是基于保證人臉左右外眼角兩點(diǎn)不變來進(jìn)行處理。
[0017]本發(fā)明的原理在于:
[0018]本發(fā)明提供一種基于融合特征的人臉檢測與對(duì)齊方法，該方法以任意包含人臉的圖像為輸入，可以快速準(zhǔn)確地檢測并對(duì)齊人臉。本方法包含四個(gè)步驟:首先由輸入圖像生成多尺度金字塔圖像，然后以固定大小窗口和固定步長掃描不同尺度圖像，生成多個(gè)候選人臉窗口；然后依次將掃描窗口模塊生成的候選人臉窗口作為輸入傳遞給人臉非人臉分類器，分類器輸出人臉窗口；接著以上一步驟輸出的人臉圖像為輸入傳遞給人臉特征點(diǎn)回歸器，人臉特征點(diǎn)回歸器輸出該人臉圖像中的人臉特征點(diǎn)位置(眉毛、眼角、鼻子、嘴角等)；最后根據(jù)人臉特征點(diǎn)檢測模塊輸出的人臉圖像及其對(duì)應(yīng)的人臉特征點(diǎn)位置，對(duì)人臉進(jìn)行旋轉(zhuǎn)和縮放處理，輸出對(duì)齊后的人臉圖像。本發(fā)明可實(shí)現(xiàn)對(duì)圖像中人臉的自動(dòng)檢測與自動(dòng)對(duì)齊，具有速度快、準(zhǔn)確率尚的特點(diǎn)，有助于提尚人臉驗(yàn)證與人臉識(shí)別技術(shù)的準(zhǔn)確率。
[0019]本發(fā)明的內(nèi)容主要包括了以下四個(gè)步驟:
[0020](I)掃描窗口步驟:首先將輸入圖像放大至5倍于原圖像大小，然后以0.7937為系數(shù)乘以放大后的圖像尺寸，生成新的尺寸圖像，重復(fù)該過程直至圖像尺寸大小小于特定閾值(如110)，按照上述步驟生成了多尺度金字塔圖像后，然后以固定大小窗口和固定步長掃描不同尺度的圖像，生成多個(gè)候選人臉窗口；無論是何種尺寸的人臉圖像，經(jīng)過以上處理之后得到的窗口都能把圖像中所有的人臉包含進(jìn)去。
[0021 ] (2)人臉非人臉分類步驟:本模塊需要預(yù)先訓(xùn)練好一個(gè)人臉非人臉分類器，提取圖像的傳統(tǒng)特征(local binary pattern特征和Haar-1ike特征)和卷積神經(jīng)網(wǎng)絡(luò)特征，訓(xùn)練一個(gè)人臉非人臉分類器;該分類器本質(zhì)上是一個(gè)二分類器，輸入固定大小圖像，輸出O或I，即表示輸入圖像是否是人臉;然后依次將掃描窗口模塊生成的候選人臉窗口作為輸入傳遞給人臉非人臉分類器，分類器輸出人臉窗口。將傳統(tǒng)特征(local binary pattern特征和Haar-1ike特征)和卷積神經(jīng)網(wǎng)絡(luò)特征融合之后訓(xùn)練得到的人臉分類器既克服了傳統(tǒng)特征方法準(zhǔn)確率不高的缺點(diǎn)，又極大地提高了計(jì)算效率，從而可以達(dá)到快速準(zhǔn)確檢測人臉的目的。
[0022](3)人臉特征點(diǎn)檢測步驟:本模塊同樣需要預(yù)先訓(xùn)練一個(gè)人臉特征點(diǎn)回歸器，提取人臉圖像的傳統(tǒng)特征(local binary pattern特征和Haar-1ike特征)和卷積神經(jīng)網(wǎng)絡(luò)特征，訓(xùn)練一個(gè)人臉特征點(diǎn)回歸器;該回歸器接收固定大小人臉圖像，輸出該人臉圖像中的人臉特征點(diǎn)位置(眉毛、眼角、鼻子、嘴角等)。
[0023](4)人臉對(duì)齊步驟:本模塊的輸入是人臉特征點(diǎn)檢測模塊輸出的人臉圖像及其對(duì)應(yīng)的人臉特征點(diǎn)位置，輸出對(duì)齊后的人臉圖像。人臉對(duì)齊模塊按照兩個(gè)固定人臉特征點(diǎn)(如左右眼角)進(jìn)行對(duì)齊，對(duì)人臉圖像進(jìn)行旋轉(zhuǎn)和縮放處理，輸出對(duì)齊后的人臉圖像，對(duì)齊后的人臉圖像中前一步驟所選取固定特征點(diǎn)的位置將不變。
[0024]本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:
[0025]1、本發(fā)明提出的人臉分類器訓(xùn)練方法，首先提取LBP特征和Haar-1ike特征，然后提取卷積神經(jīng)網(wǎng)絡(luò)特征，結(jié)合這三種特征聯(lián)合訓(xùn)練一個(gè)人臉分類器.將傳統(tǒng)特征(localbinary pattern特征和Haar-1ike特征)和卷積神經(jīng)網(wǎng)絡(luò)特征融合之后訓(xùn)練得到的人臉分類器既克服了傳統(tǒng)特征方法準(zhǔn)確率不高的缺點(diǎn)，又極大地提高了計(jì)算效率，從而可以達(dá)到快速準(zhǔn)確檢測人臉的目的。
[0026]2、本發(fā)明提出的人臉特征點(diǎn)回歸器訓(xùn)練方法，首先提取LBP特征和Haar-1 ike特征，然后提取卷積神經(jīng)網(wǎng)絡(luò)特征，結(jié)合這三種特征聯(lián)合訓(xùn)練一個(gè)人臉回歸器.。融合了傳統(tǒng)特征(local binary pattern特征和Haar-1ike特征)和卷積神經(jīng)