本發(fā)明涉及人臉識(shí)別技術(shù)領(lǐng)域，尤其涉及一種基于多任務(wù)學(xué)習(xí)的人臉關(guān)鍵特征點(diǎn)的定位方法。

背景技術(shù)：

目前，隨著社會(huì)的不斷進(jìn)步以及各方面對(duì)于快速有效的身份驗(yàn)證的迫切要求，生物特征識(shí)別技術(shù)，尤其是人臉識(shí)別技術(shù)在近幾十年中得到了飛速發(fā)展。人臉特征點(diǎn)識(shí)別技術(shù)是計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的一個(gè)熱門話題。其對(duì)國(guó)家安全、公共安全、海關(guān)、機(jī)場(chǎng)等安全領(lǐng)域至關(guān)重要，在虛擬現(xiàn)實(shí)、仿真應(yīng)用、游戲娛樂(lè)、影視制作等方面有著巨大的應(yīng)用前景，因此在實(shí)際應(yīng)用中受到越來(lái)越多的關(guān)注和重視。

如何在自然條件的環(huán)境變化和人臉主動(dòng)的變化下定位人臉關(guān)鍵部位是人臉特征點(diǎn)識(shí)別主要目的。因此，如何減少光照、遮擋、姿態(tài)、表情的影響以提高魯棒性，以及如何在同時(shí)存在線性和非線性變化的人臉表觀上找到其對(duì)應(yīng)的人臉形狀是人臉特征點(diǎn)識(shí)別需要解決的主要問(wèn)題。目前現(xiàn)有技術(shù)中的人臉特征點(diǎn)識(shí)別算法主要集中在深度模型方法上和級(jí)聯(lián)回歸方法上，級(jí)聯(lián)回歸方法因?yàn)榭焖俸?jiǎn)便所以更有利于應(yīng)用于實(shí)際中。級(jí)聯(lián)回歸的方法是十分有效的人臉特征點(diǎn)檢測(cè)的方法，因?yàn)槠湓谒惴ㄋ俣壬嫌蟹浅４蟮膬?yōu)勢(shì)，而且投影函數(shù)可以是多種多樣的，所以對(duì)級(jí)聯(lián)回歸方法的改進(jìn)也可以有很多方面。

上述級(jí)聯(lián)回歸方法的缺點(diǎn)為：級(jí)聯(lián)回歸方法非常依賴于初始化的準(zhǔn)確度，在處理人臉表觀非線性變化時(shí)有一定的困難。得益于梯度下降法SDM(Supervised Descent Method)的簡(jiǎn)化處理，級(jí)聯(lián)回歸的方法在應(yīng)對(duì)這些問(wèn)題的時(shí)候具有了一定的適應(yīng)性。但是梯度下降法仍然需要面對(duì)初始化依賴和過(guò)度匹配等問(wèn)題，原因就是原始的梯度下降法在特征表示上過(guò)于單一。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施例提供了一種基于多任務(wù)學(xué)習(xí)的人臉關(guān)鍵特征點(diǎn)的定位方法，以實(shí)現(xiàn)有效地對(duì)圖像中的人臉關(guān)鍵特征點(diǎn)進(jìn)行定位。

為了實(shí)現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案。

一種基于多任務(wù)學(xué)習(xí)的人臉關(guān)鍵特征點(diǎn)的定位方法，包括：

根據(jù)訓(xùn)練好的級(jí)聯(lián)分類器對(duì)目標(biāo)圖像進(jìn)行人臉區(qū)域檢測(cè)，在識(shí)別出人臉區(qū)域后，利用人眼檢測(cè)器定位所述人臉區(qū)域中的人眼的位置，計(jì)算出所述人臉區(qū)域中的兩眼間的距離；

將所述人臉區(qū)域中的兩眼間的距離與所述人臉平均模型中的兩眼間的距離進(jìn)行對(duì)比，根據(jù)比較結(jié)果確定所述人臉平均模型的縮放比例，利用所述縮放比例對(duì)所述人臉平均模型中的人臉區(qū)域進(jìn)行位置調(diào)整，通過(guò)多任務(wù)學(xué)習(xí)方法定位所述目標(biāo)圖像對(duì)應(yīng)的人臉區(qū)域中的人臉特征點(diǎn)。

進(jìn)一步地，所述的將所述人臉區(qū)域中的兩眼間的距離與所述人臉平均模型中的兩眼間的距離進(jìn)行對(duì)比，根據(jù)比較結(jié)果確定所述人臉平均模型的縮放比例，利用所述縮放比例對(duì)所述人臉平均模型中的人臉區(qū)域進(jìn)行位置調(diào)整，包括：

將所述人臉區(qū)域中的兩眼間的距離d與所述人臉平均模型中的兩眼間的距離d’相除，得到所述人臉平均模型的縮放比例w，將所述人臉平均模型的坐標(biāo)軸與所述人臉區(qū)域的左上角對(duì)齊，根據(jù)w對(duì)所述人臉平均模型的所有初始點(diǎn)(x′,y′)的坐標(biāo)進(jìn)行放大，即(x_n，y_n)＝(x′_n*w，y′_n*w)。

進(jìn)一步地，所述的通過(guò)多任務(wù)學(xué)習(xí)方法定位所述目標(biāo)圖像對(duì)應(yīng)的人臉區(qū)域中的人臉特征點(diǎn)，包括：

步驟1、通過(guò)進(jìn)行了位置調(diào)整后的人臉平均模型初始化訓(xùn)練集的圖片，得到N幅初始化后的初始形狀，都記為y₀；

步驟2：對(duì)于每一幅目標(biāo)圖像對(duì)應(yīng)的人臉區(qū)域中的每一個(gè)特征點(diǎn)，計(jì)算其特征點(diǎn)周圍的特征值，若有i種特征值，計(jì)算得到的特征值為

步驟3：假設(shè)一共有T個(gè)任務(wù)，樣本中有N幅圖片需要進(jìn)行學(xué)習(xí)，用來(lái)表示第t個(gè)任務(wù)所需的輸入，其中t＝{1,…,T}，i＝{1,…,N}，為第i幅圖像的第t種特征向量，為表示這一特征向量的標(biāo)簽；

通過(guò)SDM計(jì)算第一個(gè)回歸階段的下降梯度R₀和偏移量b₀，計(jì)算不同特征的下降梯度和偏移量，分別表示為和通過(guò)該回歸階段所求出的梯度和偏移量計(jì)算該次回歸的每一個(gè)特征，得出的更新值Δx＝x₁-x₀，通過(guò)偏移量Δx將特征點(diǎn)進(jìn)行移動(dòng)；在訓(xùn)練階段，通過(guò)梯度下降法SDM的訓(xùn)練方法，通過(guò)提取多種特征，將每個(gè)特征作為一個(gè)任務(wù)，引用多任務(wù)學(xué)習(xí)計(jì)算不同特征在SDM的各個(gè)回歸階段的權(quán)值進(jìn)行訓(xùn)練，其中，基于多任務(wù)學(xué)習(xí)的目標(biāo)函數(shù)：

其中是由權(quán)重向量w^t確定的特征獲取函數(shù)，為損失函數(shù)，Φ(w^t)為由權(quán)重產(chǎn)生的懲罰函數(shù)，假設(shè)不同的特征在級(jí)聯(lián)回歸的不同階段能得到不同的效果，該目標(biāo)函數(shù)的意義就是找到每種特征在各個(gè)階段對(duì)于該階段的標(biāo)定效果有多少貢獻(xiàn)，即w^t；

步驟4：根據(jù)步驟3計(jì)算得到的下降梯度以及偏移量重新計(jì)算這一步回歸的更新值，根據(jù)每一個(gè)特征點(diǎn)的更新值計(jì)算該特征點(diǎn)的權(quán)值，即

步驟5：根據(jù)特征點(diǎn)的權(quán)值以及相應(yīng)的特征的下降梯度和偏移量計(jì)算這一步回歸的更新位置x₁：

x₁＝x₀+H(x₀,f,w)

x_n＝x_n-1+H(x_n-1,f,w)

其中，

步驟6：重復(fù)執(zhí)行上述步驟3、步驟4、和步驟5的處理過(guò)程，直到特征點(diǎn)達(dá)到收斂。

進(jìn)一步地，所述特征點(diǎn)的收斂條件為特征點(diǎn)的偏移值Δx小于設(shè)定閾值范圍。

由上述本發(fā)明的實(shí)施例提供的技術(shù)方案可以看出，本發(fā)明實(shí)施例通過(guò)利用不同特征的表征優(yōu)勢(shì)(SIFT、HOG、LBP)，結(jié)合多任務(wù)學(xué)習(xí)的框架，解決了監(jiān)督梯度下降法中的特征點(diǎn)定位中的學(xué)習(xí)不足的問(wèn)題。同時(shí)提出了一種新的平均初始化模型的自適應(yīng)初始化模型，提升了人臉特征點(diǎn)定位的初始化模型的檢測(cè)性能，從而進(jìn)一步提高了整個(gè)算法在人臉關(guān)鍵特征點(diǎn)定位上的準(zhǔn)確程度。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種基于多任務(wù)學(xué)習(xí)的人臉關(guān)鍵特征點(diǎn)的定位方法的算法流程圖；

圖2為本發(fā)明方法在訓(xùn)練階段的算法流程圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施方式，所述實(shí)施方式的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無(wú)線連接或耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的任一單元和全部組合。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣定義，不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。

為便于對(duì)本發(fā)明實(shí)施例的理解，下面將結(jié)合附圖以幾個(gè)具體實(shí)施例為例做進(jìn)一步的解釋說(shuō)明，且各個(gè)實(shí)施例并不構(gòu)成對(duì)本發(fā)明實(shí)施例的限定。

本發(fā)明提供了一種基于多任務(wù)特征學(xué)習(xí)與級(jí)聯(lián)回歸的人臉關(guān)鍵特征點(diǎn)定位方法。使用SDM(Supervised Descent Method，梯度下降法)對(duì)級(jí)聯(lián)回歸的方法進(jìn)行了簡(jiǎn)化。但是梯度下降法仍然需要面對(duì)初始化依賴和過(guò)度匹配等問(wèn)題，原因就是原始的梯度下降法在特征表示上過(guò)于單一，并且它的初始化方法過(guò)于簡(jiǎn)單，并不能完成一個(gè)較準(zhǔn)確的人臉檢測(cè)過(guò)程。本發(fā)明通過(guò)引入機(jī)器學(xué)習(xí)中非常有效的多任務(wù)學(xué)習(xí)方法，結(jié)合目前主流的多種特征，對(duì)梯度下降法應(yīng)用多任務(wù)的特征學(xué)習(xí)進(jìn)行改進(jìn)。同時(shí)改進(jìn)了初始化模型，提出了一種自適應(yīng)的初始化人臉檢測(cè)模型，提升了第一步人臉定位的準(zhǔn)確程度。

多任務(wù)學(xué)習(xí)能夠帶給SDM一定的提升。通過(guò)多種特征表示之間的多任務(wù)學(xué)習(xí)，我們選擇出回歸過(guò)程中有效的特征表示，進(jìn)行人臉表觀的特征組合，能夠帶給最終的檢測(cè)結(jié)果一定準(zhǔn)確度上的提升。除此之外，針對(duì)SDM一類的梯度方法的問(wèn)題，我們還將比較廣泛使用的平均模型進(jìn)行改進(jìn)，使用人眼定位對(duì)平均模型進(jìn)行進(jìn)一步的形狀變換，使其更加接近于目標(biāo)人臉形狀，從而提高后面的級(jí)聯(lián)回歸過(guò)程的效率。

本發(fā)明提出一種自適應(yīng)的人臉初始化模型，該模型是由平均模型演化而來(lái)的。首先我們?cè)诔跏蓟瘯r(shí)同樣使用基于boosted的級(jí)聯(lián)分類器進(jìn)行人臉區(qū)域的識(shí)別,識(shí)別出人臉區(qū)域后，我們將利用openCV自帶的人眼檢測(cè)器定位人眼的位置。

之后我們利用兩眼間的距離和人臉框的大小作對(duì)比，并根據(jù)兩眼的位置將平均模型的眼部區(qū)域位置移動(dòng)至對(duì)應(yīng)區(qū)域，而其他關(guān)鍵點(diǎn)位置根據(jù)兩眼位置和眼間距離與人臉框大小進(jìn)行位置的調(diào)整和初步移動(dòng)，以達(dá)到一個(gè)最佳適應(yīng)的初始化位置。

下面的步驟1-步驟6是對(duì)人臉平均模型中的人臉區(qū)域進(jìn)行位置調(diào)整后，定位目標(biāo)圖像對(duì)應(yīng)的人臉區(qū)域中的人臉特征點(diǎn)的過(guò)程。

本發(fā)明實(shí)施例提供的一種人臉關(guān)鍵特征點(diǎn)定位方法的處理流程如圖1所示，包括如下的處理步驟：

步驟1、首先通過(guò)自適應(yīng)模型初始化訓(xùn)練集的圖片，得到N幅初始化后的初始形狀，都記為y₀。自適應(yīng)模型的訓(xùn)練過(guò)程如下：首先我們?cè)诔跏蓟瘯r(shí)同樣使用級(jí)聯(lián)分類器進(jìn)行人臉區(qū)域的檢測(cè),檢測(cè)出人臉區(qū)域后，再使用OpenCV的人眼檢測(cè)器定位人眼的位置。之后我們利用兩眼間的距離和人臉框的大小作對(duì)比，并根據(jù)兩眼的位置將平均模型的眼部區(qū)域位置移動(dòng)至對(duì)應(yīng)區(qū)域，而其他關(guān)鍵點(diǎn)位置根據(jù)兩眼位置和眼間距離與人臉框大小進(jìn)行位置的調(diào)整和初步移動(dòng)，以達(dá)到一個(gè)最佳適應(yīng)的初始化位置。

步驟2：對(duì)于每一幅目標(biāo)圖像對(duì)應(yīng)的人臉區(qū)域中的每一個(gè)特征點(diǎn)，計(jì)算其特征點(diǎn)周圍的特征值，若有i種特征值，計(jì)算得到的特征值為

步驟3：假設(shè)一共有T個(gè)任務(wù)，樣本中有N幅圖片需要進(jìn)行學(xué)習(xí)，我們用來(lái)表示第t個(gè)任務(wù)所需的輸入，其中t＝{1,…,T}，i＝{1,…,N}，為第i幅圖像的第t種特征向量，為表示這一特征向量的標(biāo)簽。本方法在通過(guò)SDM計(jì)算第一個(gè)回歸階段的下降梯度R₀和偏移量b₀，計(jì)算不同特征的下降梯度和偏移量，分別表示為和通過(guò)該回歸階段所求出的梯度和偏移量計(jì)算該次回歸的每一個(gè)特征，得出的更新值Δx＝x₁-x₀，通過(guò)偏移量Δx將特征點(diǎn)進(jìn)行移動(dòng)。

圖2為本發(fā)明方法在訓(xùn)練階段的算法流程圖，在本方法的訓(xùn)練階段，通過(guò)梯度下降法SDM的訓(xùn)練方法，通過(guò)提取多種特征，將每個(gè)特征作為一個(gè)任務(wù)，引用多任務(wù)學(xué)習(xí)計(jì)算不同特征在SDM的各個(gè)回歸階段的權(quán)值進(jìn)行訓(xùn)練。其中，基于多任務(wù)學(xué)習(xí)的目標(biāo)函數(shù)：

其中是由權(quán)重向量w^t確定的特征獲取函數(shù)，為損失函數(shù)，Φ(w^t)為由權(quán)重產(chǎn)生的懲罰函數(shù)。在我們的方法中，假設(shè)不同的特征在級(jí)聯(lián)回歸的不同階段能得到不同的效果，該目標(biāo)函數(shù)的意義就是找到每種特征在各個(gè)階段對(duì)于該階段的標(biāo)定效果有多少貢獻(xiàn)，即w^t。

步驟4：根據(jù)步驟3計(jì)算得到的下降梯度以及偏移量重新計(jì)算這一步回歸的更新值，根據(jù)每一個(gè)特征點(diǎn)的更新值計(jì)算該特征點(diǎn)的權(quán)值，即

步驟5：根據(jù)特征點(diǎn)的權(quán)值以及相應(yīng)的特征的下降梯度和偏移量計(jì)算這一步回歸的更新位置x₁：

x₁＝x₀+H(x₀,f,w)

x_n＝x_n-1+H(x_n-1,f,w)

其中，

步驟6：重復(fù)執(zhí)行上述步驟3、步驟4、和步驟5的處理過(guò)程，在達(dá)到收斂的特征點(diǎn)位置(即最好的標(biāo)注效果)前，作如下的步驟：

對(duì)于x_n上的每一個(gè)特征點(diǎn)，計(jì)算其特征點(diǎn)周圍的特征值，計(jì)算得到的特征值為

通過(guò)SDM計(jì)算初始點(diǎn)與真實(shí)值之間的下降梯度以及偏移量，即

根據(jù)計(jì)算得到的下降梯度以及偏移量重新計(jì)算這一步回歸的更新值，通過(guò)基于多任務(wù)學(xué)習(xí)的目標(biāo)函數(shù)：進(jìn)行求解，在根據(jù)每一種特征的更新值計(jì)算該特征對(duì)于最好的更新效果的權(quán)值，即

根據(jù)權(quán)值以及相應(yīng)的特征的下降梯度和偏移量計(jì)算這一步回歸的更新位置x_n。

直到特征點(diǎn)達(dá)到收斂。收斂條件為偏移值Δx小于某一閾值范圍內(nèi)即可，本方法的收斂條件在迭代五次以后可以達(dá)到。

綜上所述，本發(fā)明實(shí)施例通過(guò)利用不同特征的表征優(yōu)勢(shì)(SIFT、HOG、LBP)，結(jié)合多任務(wù)學(xué)習(xí)的框架，解決了監(jiān)督梯度下降法中的特征點(diǎn)定位中的學(xué)習(xí)不足的問(wèn)題。同時(shí)提出了一種新的平均初始化模型的自適應(yīng)初始化模型，提升了人臉特征點(diǎn)定位的初始化模型的檢測(cè)性能，從而進(jìn)一步提高了整個(gè)算法在人臉關(guān)鍵特征點(diǎn)定位上的準(zhǔn)確程度。

本方法通過(guò)多任務(wù)學(xué)習(xí)得到的選擇后特征表示來(lái)提高梯度下降法的魯棒性，解決過(guò)度匹配的問(wèn)題并且提高特征點(diǎn)識(shí)別的精確度。在目前著名而有效的幾種人臉特征點(diǎn)識(shí)別數(shù)據(jù)庫(kù)上，通過(guò)對(duì)目前主流的幾種方法的試驗(yàn)比較，我們可以得出結(jié)論，本文改進(jìn)的方法是十分有效的。

本領(lǐng)域普通技術(shù)人員可以理解：附圖只是一個(gè)實(shí)施例的示意圖，附圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。

通過(guò)以上的實(shí)施方式的描述可知，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。

本說(shuō)明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于裝置或系統(tǒng)實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述得比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。以上所描述的裝置及系統(tǒng)實(shí)施例僅僅是示意性的，其中所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。