本發(fā)明涉及計算機視覺技術領域，具體涉及一種基于共享卷積特征的人臉檢測與對齊方法。

背景技術：

隨著計算機科學的不斷發(fā)展，人機交互已成為越來越受重視的技術。作為計算機視覺領域的人臉識別和人臉驗證技術已經在工業(yè)界開始得到應用，在過去幾十年中人臉識別與驗證技術一直是計算機視覺領域的熱點研究課題。而人臉檢測與對齊是人臉識別中至關重要的一個步驟。

首先，當前使用比較常見的人臉檢測方法是基于Haar-like特征和AdaBoost技術的人臉檢測方法，它通過提取人工設計的特征訓練了基于AdaBoost技術的人臉檢測器。但是由于Haar-like特征是一種人工設計的低層次抽象特征，并不具備完備的人臉信息，所以導致訓練出來的檢測器準確率不高。

其次，當前使用比較常見的人臉特征點定位方法是自適應形狀模型方法(ASM，adaptive shape model)。這種方法對于異常特征點和姿態(tài)變化都不具備很強的魯棒性，因此很難得到準確的人臉特征點，這將直接影響人臉對齊效果，進一步導致人臉識別性能的嚴重下降。

再次，基于卷積神經網絡的方法雖然在準確率方面比傳統(tǒng)方法較高，但是卷積神經網絡計算量大，處理單張圖片耗時長，很難達到實時檢測人臉并對齊的要求。所以需要發(fā)明一種新的人臉檢測與對齊方法，可以采用基于共享卷積特征的人臉檢測與面部特征點定位方法。

為了解決上述問題，本發(fā)明提供一種基于共享卷積特征的人臉檢測與對齊方法，該方法以任意包含人臉的圖像為輸入，可以快速準確地檢測并對齊人臉。

技術實現要素：

本發(fā)明要解決的技術問題是：克服了現有的基于傳統(tǒng)特征和基于卷積神經網絡的人臉檢測與對齊方法的不足，提供了一種基于共享卷積特征的人臉檢測與對齊方法。

本發(fā)明采用的技術方案為：一種基于共享卷積特征的人臉檢測與對齊方法，本發(fā)明流程示意圖如圖7所示，包括以下四個步驟：

步驟(1)、首先使用一個深層卷積網絡結構對輸入圖像進行卷積特征提取，卷積層激活函數采用RELU激活函數，池化層采用最大值池化。給定任意尺寸大小的輸入圖片，經過多層卷積池化操作，輸出的卷積特征在深度軸上為固定大小512，在空間上的尺寸與輸入圖片的尺寸成比例關系。卷積特征提取部分共有16層，其中包括12層卷積層和4層池化層，卷積層的卷積核尺寸大小均為3x3，卷積步幅均為1，零填充數目為2，池化層的池化核尺寸大小均為2x2，池化層步幅均為2；

步驟(2)、輸入圖片經過多層卷積池化操作之后，提取卷積特征，訓練人臉檢測器，包括區(qū)域建議網絡和感興趣區(qū)域池化層；區(qū)域建議網絡以卷積特征為輸入，輸出可能是目標對象的候選區(qū)域，然后引入感興趣區(qū)域池化層提取出候選區(qū)域對應的卷積特征，對每個候選區(qū)域進行二分類與邊界框回歸。分類部分的輸出值代表候選區(qū)域是否是人臉，如果是人臉則輸出1，否則輸出0；邊界框回歸部分輸出人臉區(qū)域在輸入圖像中的位置，若分類部分輸出0，則忽略邊界框回歸部分的輸出。

步驟(3)、輸入圖片經過多層卷積池化操作之后提取到卷積特征，再經過感興趣區(qū)域池化層提取人臉區(qū)域特征，訓練面部特征點回歸器，即將特征一維化連接全連接層，對面部特征點位置進行回歸，輸出該人臉圖像中的人臉特征點位置，包括眉毛、眼角、鼻子、嘴角。

步驟(4)、最后根據步驟(3)輸出的人臉圖像及其對應的人臉特征點位置，選取兩個固定人臉特征點(如左右眼角)作為定點，對人臉圖像進行旋轉和縮放處理，輸出對齊后的人臉圖像，對齊后的人臉圖像中所選取固定特征點的位置將不變。

進一步地，步驟(1)中所述的深層卷積網絡模型，以原圖像為輸入，不對輸入圖像進行尺寸變換，避免圖像變形，損失信息。

進一步地，步驟(2)中所述的人臉檢測器是通過提取圖像的特征為輸入訓練得到的，圖像的特征由共享的卷積神經網絡提取得到。

進一步地，步驟(3)中所述的面部特征點回歸器是通過提取圖像的特征為輸入訓練得到的，圖像的特征由共享的卷積神經網絡提取得到。

進一步地，步驟(4)中所述的對人臉圖像進行旋轉和縮放，是基于保證人臉左右外眼角兩點不變來進行處理。

本發(fā)明的原理在于：

本發(fā)明提供一種基于共享卷積特征的人臉檢測與對齊方法，該方法以任意包含人臉的圖像為輸入，可以快速準確地檢測圖像中的人臉，并對檢測到的人臉進行對齊。本方法包含四個步驟：首先將輸入圖像傳遞給深層卷積網絡模型，提取卷積特征；然后將提取到的共享卷積特征傳遞給人臉檢測器，人臉檢測器輸出人臉窗口；接著以上一步驟輸出的人臉圖像和對應位置的共享卷積特征為輸入傳遞給面部特征點回歸器，面部特征點回歸器輸出該人臉圖像中的人臉特征點位置(眉毛、眼角、鼻子、嘴角等)；最后根據人臉特征點檢測步驟輸出的人臉圖像及其對應的人臉特征點位置，對人臉進行旋轉和縮放處理，輸出對齊后的人臉圖像。本發(fā)明可實現對圖像中人臉的自動檢測與自動對齊，具有速度快、準確率高的特點，有助于提高人臉驗證與人臉識別技術的準確率。

本發(fā)明的內容主要包括了以下四個步驟：

(1)卷積特征提取步驟：首先使用一個深層卷積網絡結構對輸入圖像進行卷積特征提取，卷積層激活函數采用RELU激活函數，池化層采用最大值池化。給定任意尺寸大小的輸入圖片，經過多層卷積池化操作，輸出的卷積特征在深度軸上為固定大小512，在空間上的尺寸與輸入圖片的尺寸成比例關系。卷積特征提取部分共有16層，其中包括12層卷積層和4層池化層，卷積層的卷積核尺寸大小均為3x3，卷積步幅均為1，零填充數目為2，池化層的池化核尺寸大小均為2x2，池化層步幅均為2。

(2)人臉檢測步驟：本步驟需要預先訓練好一個人臉檢測器，輸入圖片經過多層卷積池化操作之后，提取卷積特征，傳遞給人臉檢測器，包括區(qū)域建議網絡和感興趣區(qū)域池化層；區(qū)域建議網絡以卷積特征為輸入，輸出可能是目標對象的候選區(qū)域，然后引入感興趣區(qū)域池化層提取出候選區(qū)域對應的卷積特征，對每個候選區(qū)域進行二分類與邊界框回歸。分類部分的輸出值代表候選區(qū)域是否是人臉，如果是人臉則輸出1，否則輸出0；邊界框回歸部分輸出人臉區(qū)域在輸入圖像中的位置，若分類部分輸出0，則忽略邊界框回歸部分的輸出。

(3)面部特征點定位步驟：本步驟同樣需要預先訓練一個面部特征點回歸器，輸入圖片經過多層卷積池化操作之后提取到卷積特征，再經過感興趣區(qū)域池化層提取人臉區(qū)域特征，傳遞給面部特征點回歸器，即將特征一維化連接全連接層，對面部特征點位置進行回歸，輸出該人臉圖像中的人臉特征點位置，包括眉毛、眼角、鼻子、嘴角。

(4)人臉對齊步驟：本步驟的輸入是面部特征點定位步驟輸出的人臉圖像及其對應的人臉特征點位置，輸出對齊后的人臉圖像。人臉對齊步驟按照兩個固定人臉特征點(如左右眼角)進行對齊，對人臉圖像進行旋轉和縮放處理，輸出對齊后的人臉圖像，對齊后的人臉圖像中前一步驟所選取固定特征點的位置將不變。

本發(fā)明與現有技術相比的優(yōu)點在于：

1、針對開放場景下圖像中人臉檢測效果精度低的問題，本發(fā)明采用了基于卷積神經網絡的人臉檢測算法，該算法可對不同尺寸的輸入圖像進行自適應，可有效避免輸入圖像歸一化導致的信息損失。

2、本發(fā)明提出了一種新的基于共享卷積特征的人臉對齊算法，該算法采用與人臉檢測模型共享卷積特征的策略，并使用一種三階段式的訓練方法對模型進行訓練，能夠快速有效地定位面部特征點(眼睛、眉毛、鼻子、嘴巴等)，使人臉形狀信息得以較好的呈現。

3、本發(fā)明提出的人臉檢測與對齊方法對光照、姿態(tài)、遮擋有更強的魯棒性，對后續(xù)人臉識別和人臉驗證的性能有較高提升。

附圖說明

圖1為基于本發(fā)明流程圖；

圖2為人臉檢測部分訓練模型圖；

圖3為面部特征點定位部分訓練模型圖；

圖4為整體微調模型圖；

圖5為人臉特征點回歸器結果示意圖；

圖6為人臉對齊結果示意圖；

圖7為本發(fā)明流程示意圖。

具體實施方式

圖1給出了基于共享卷積特征的人臉檢測與對齊方法的總體處理流程，下面結合其他附圖及具體實施方式進一步說明本發(fā)明。

本發(fā)明提供基于共享卷積特征的人臉檢測與對齊方法，主要步驟介紹如下：

1、離線訓練步驟

1)人臉檢測

第一步先對人臉檢測部分進行訓練，采用隨機梯度下降法對圖2所示模型進行訓練，設置初始學習率α為0.01，總迭代次數為80000次，迭代50000次以后每迭代10000次調整學習率α為原來的0.1倍，這種逐步調整學習率的方法有利于模型收斂到更優(yōu)解。

2)面部特征定位

第二步對面部特征點定位部分進行訓練，如圖3所示，在開始訓練之前，保留第一步人臉檢測訓練模型的提取卷積特征部分參數，卷積特征尾部繼續(xù)連接面部特征點定位部分。同樣地，輸入圖片經過多層卷積池化操作之后提取到卷積特征，再經過感興趣區(qū)域池化層提取人臉區(qū)域特征，然后將特征一維化連接全連接層，最后對面部特征點位置進行回歸。對于面部特征點的回歸模型，本課題同樣采用梯度下降法進行訓練，初始學習率α為0.001(第一步人臉檢測中的0.1倍)，總迭代次數為80000次，迭代50000次以后每迭代10000次調整學習率α為原來的0.1倍，最后對面部的68個特征點進行回歸。

3)整體微調

第三步對整體模型進行微調，如圖4所示，在開始訓練之前，提取卷積特征部分保留第二步面部特征點回歸訓練后的參數，人臉檢測部分保留第一步人臉檢測訓練后的參數，面部特征點回歸部分保留第二步面部特征點回歸訓練后的參數。在此基礎上，繼續(xù)對模型進行訓練，初始學習率α為0.001，總迭代次數為80000次，迭代50000次以后每迭代10000次調整學習率α為原來的0.1倍。

2、特征提取步驟

首先使用一個深層卷積網絡結構對輸入圖像進行卷積特征提取，卷積層激活函數采用RELU激活函數，池化層采用最大值池化。給定任意尺寸大小的輸入圖片，經過多層卷積池化操作，輸出的卷積特征在深度軸上為固定大小512，在空間上的尺寸與輸入圖片的尺寸成比例關系。卷積特征提取部分共有16層，其中包括12層卷積層和4層池化層，卷積層的卷積核尺寸大小均為3x3，卷積步幅均為1，零填充數目為2，池化層的池化核尺寸大小均為2x2，池化層步幅均為2。

3、人臉檢測步驟

本步驟需要預先訓練好一個人臉檢測器，輸入圖片經過多層卷積池化操作之后，提取卷積特征，傳遞給人臉檢測器，包括區(qū)域建議網絡和感興趣區(qū)域池化層；區(qū)域建議網絡以卷積特征為輸入，輸出可能是目標對象的候選區(qū)域，然后引入感興趣區(qū)域池化層提取出候選區(qū)域對應的卷積特征，對每個候選區(qū)域進行二分類與邊界框回歸。分類部分的輸出值代表候選區(qū)域是否是人臉，如果是人臉則輸出1，否則輸出0；邊界框回歸部分輸出人臉區(qū)域在輸入圖像中的位置，若分類部分輸出0，則忽略邊界框回歸部分的輸出。

4、面部特征點定位步驟

人臉特征點檢測步驟首先提取人臉圖像的傳統(tǒng)特征(local binary pattern特征和Haar-like特征)和卷積神經網絡特征，然后訓練一個人臉特征點回歸器；該回歸器接收固定大小人臉圖像，輸出該人臉圖像中的人臉特征點位置(眉毛、眼角、鼻子、嘴角等，如圖5所示)。

5、人臉對齊步驟

本步驟的輸入是人臉特征點檢測步驟輸出的人臉圖像及其對應的人臉特征點位置，輸出對齊后的人臉圖像。人臉對齊步驟按照兩個固定人臉特征點(如左右眼角)進行對齊，對人臉圖像進行旋轉和縮放處理，輸出對齊后的人臉圖像，對齊后的人臉圖像中前一步驟所選取固定特征點的位置將不變(如圖6所示)。

本發(fā)明未詳細闡述的技術內容屬于本領域技術人員的公知技術。

盡管上面對本發(fā)明說明性的具體實施方式進行了描述，以便于本技術領的技術人員理解本發(fā)明，但應該清楚，本發(fā)明不限于具體實施方式的范圍，對本技術領域的普通技術人員來講，只要各種變化在所附的權利要求限定和確定的本發(fā)明的精神和范圍內，這些變化是顯而易見的，一切利用本發(fā)明構思的發(fā)明創(chuàng)造均在保護之列。