一種基于級聯(lián)回歸的人臉3d姿態(tài)識別方法
【專利摘要】本發(fā)明涉及一種基于級聯(lián)回歸的人臉3D姿態(tài)識別方法，其步驟包括：1）采集大量人臉圖片數(shù)據(jù)，并標(biāo)記出初始的關(guān)鍵點(diǎn)和3D姿態(tài)；2）通過對人臉圖片數(shù)據(jù)進(jìn)行訓(xùn)練，學(xué)習(xí)得到粗回歸器，然后以粗回歸器的輸出作為輸入，學(xué)習(xí)得到精回歸器；3）給定待識別的人臉圖片和對應(yīng)的人臉位置，通過所述粗回歸器將人臉3D姿態(tài)調(diào)整到真實(shí)姿態(tài)附近，并將人臉關(guān)鍵點(diǎn)調(diào)整到真實(shí)位置附近，通過所述精回歸器得到精確的人臉3D姿態(tài)參數(shù)。本發(fā)明提出的由粗到精的級聯(lián)回歸算法，通過對大量樣本進(jìn)行學(xué)習(xí)，以及多特征融合、多回歸器融合的方式，極大地提高了算法的速度和魯棒性，能夠有效提高了人臉3D姿態(tài)識別的精度和速度。
【專利說明】—種基于級聯(lián)回歸的人臉3D姿態(tài)識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像處理和人臉識別【技術(shù)領(lǐng)域】，具體涉及一種基于級聯(lián)回歸的人臉3D姿態(tài)識別方法。
【背景技術(shù)】
[0002]人臉3D姿態(tài)識別是指確定圖片或視頻中人臉在三維空間中的姿態(tài)的過程。人臉3D姿態(tài)估計(jì)在人機(jī)交互、人臉識別、虛擬現(xiàn)實(shí)等方面都有廣泛應(yīng)用，是計(jì)算機(jī)視覺的一個研究熱點(diǎn)。
[0003]現(xiàn)有的人臉姿態(tài)估計(jì)方法大體上可以分為兩類:基于模型的方法和基于外觀的方法?；谀Ｐ偷姆椒ㄖ饕抢枚S圖像特征和三維人臉模型間的對應(yīng)關(guān)系來估計(jì)人臉姿態(tài)。主要步驟為:(I)檢測人臉區(qū)域并提取特征(如眼角、嘴角等)；(2)確定圖像特征與三維人臉模型間的對應(yīng)關(guān)系；(3)利用常規(guī)的姿態(tài)估計(jì)技術(shù)來估計(jì)人臉姿態(tài)?；谕庥^的方法是在假設(shè)三維人臉姿態(tài)與人臉圖像的某些特征間存在一定的關(guān)系這一前提下，通過訓(xùn)練大量已知姿態(tài)的人臉圖像恢復(fù)這種關(guān)系并確定人臉姿態(tài)的過程。常用的圖像特征有圖像灰度、色彩、梯度等。目前已有多種統(tǒng)計(jì)學(xué)習(xí)的方法用來估計(jì)人臉姿態(tài)，如支持向量機(jī)、流形學(xué)習(xí)等。
[0004]現(xiàn)有的人臉3D姿態(tài)識別方法對姿態(tài)、遮擋、光線非常敏感，精度和速度比較差，在成像條件差、且計(jì)算資源受限的手機(jī)等移動端上很難做到實(shí)時處理。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對上述問題，提出了一種基于級聯(lián)回歸的人臉3D姿態(tài)識別方法，采用快速、精確的由粗到精的級聯(lián)回歸算法，通過對大量樣本進(jìn)行學(xué)習(xí)以及多特征融合、多回歸器融合，很好地解決了人臉3D姿態(tài)識別的問題。
[0006]本發(fā)明采用的技術(shù)方案如下:
[0007]—種基于級聯(lián)回歸的人臉3D姿態(tài)識別方法，其步驟包括:
[0008]I)采集大量人臉圖片數(shù)據(jù)，并標(biāo)記初始的(可通過人工標(biāo)記)關(guān)鍵點(diǎn)位置和3D姿態(tài)；
[0009]2)通過對所述大量人臉圖片數(shù)據(jù)進(jìn)行訓(xùn)練，學(xué)習(xí)得到一粗回歸器，然后以所述粗回歸器的輸出作為輸入，學(xué)習(xí)得到一精回歸器，從而得到由粗到精的級聯(lián)回歸器；
[0010]3)給定待檢測的人臉圖片和對應(yīng)的人臉位置(人臉框位置)，通過所述粗回歸器將人臉3D姿態(tài)調(diào)整到真實(shí)姿態(tài)附近，并將人臉關(guān)鍵點(diǎn)調(diào)整到真實(shí)位置附近，然后以所述粗回歸器的輸出作為輸入，通過所述精回歸器得到精確的人臉3D姿態(tài)參數(shù)。
[0011]進(jìn)一步地，所述粗回歸器設(shè)計(jì)成線性回歸器，在所有關(guān)鍵點(diǎn)處提取SURF特征。該回歸器能夠表示3D姿態(tài)和SURF特征之間的粗略關(guān)系。
[0012]進(jìn)一步地，所進(jìn)一步地，所述粗回歸器包含多級級聯(lián)的線性回歸器，優(yōu)選采用兩級線性回歸器，第一級的輸出作為第二級的輸入。通過這兩級線性回歸器構(gòu)成的粗回歸器，可以得到一個粗略的關(guān)鍵點(diǎn)位置和3D姿態(tài)。
[0013]進(jìn)一步地，所述精回歸器以上面的粗回歸器的輸出作為輸入，使用隨機(jī)蕨級聯(lián)回歸器，以像素差值作為特征。通過精回歸器，可以將粗回歸器給出的粗略結(jié)果回歸成一個精確的結(jié)果。
[0014]進(jìn)一步地，所述精回歸器是一個兩層結(jié)構(gòu)，第一層，是一系列弱回歸器{f\，f2，…，ft}的級聯(lián)；第二層，是一系列隨機(jī)蕨回歸器的級聯(lián)，構(gòu)成一個弱回歸器f。
[0015]進(jìn)一步地，所述人臉關(guān)鍵點(diǎn)位置包括眼睛、鼻子、嘴巴、臉部輪廓等位置，更具體的，如瞳孔，眼角，眉角，嘴角，唇沿等位置。
[0016]本發(fā)明中提出了一種由粗到精的級聯(lián)回歸算法，設(shè)計(jì)了一個多回歸器融合的級聯(lián)回歸器，通過提取人臉關(guān)鍵點(diǎn)處的特征，回歸出精確的人臉3D姿態(tài)參數(shù)。該級聯(lián)回歸器分為兩部分:①粗回歸器，特點(diǎn)是速度快，能快速回歸到正解的附近；②精回歸器，特點(diǎn)是每次回歸的量較小，但能夠得到更為精準(zhǔn)的結(jié)果。根據(jù)設(shè)計(jì)的回歸器的特點(diǎn)，讓不同的回歸器完成不同的任務(wù)(線性回歸器和級聯(lián)隨機(jī)蕨回歸器)，融合了多種特征(SURF和像素值差特征)。
[0017]本發(fā)明提出的由粗到精的級聯(lián)回歸算法，通過對大量樣本進(jìn)行學(xué)習(xí)，以及多特征融合、多回歸器融合的方式，極大的提高了算法的速度和魯棒性，在遮擋、光線差和側(cè)臉等姿態(tài)下進(jìn)行人臉3D姿態(tài)識別都取得了非常好的效果，能夠有效提高了人臉3D姿態(tài)識別的精度和速度，明顯優(yōu)于現(xiàn)有的其他算法。
【專利附圖】

【附圖說明】
[0018]圖1是本發(fā)明的基于級聯(lián)回歸的人臉3D姿態(tài)識別方法的步驟流程圖。
`[0019]圖2是本發(fā)明的級聯(lián)回歸器示意圖。
[0020]圖3是采用級聯(lián)回歸器將初始值回歸到真實(shí)解的示意圖。
【具體實(shí)施方式】
[0021]下面通過具體實(shí)施例和附圖，對本發(fā)明做進(jìn)一步說明。
[0022]本發(fā)明的基于級聯(lián)回歸的人臉3D姿態(tài)識別方法，其步驟流程如圖1所示，主要包括兩部分內(nèi)容，一是建立由粗回歸器部分和精回歸器部分組成的級聯(lián)回歸器，二是利用建立的級聯(lián)回歸器對人臉圖像數(shù)據(jù)進(jìn)行處理以識別3D姿態(tài)。
[0023]1.建立由粗到精的級聯(lián)回歸器
[0024]本發(fā)明的整體框架是一個級聯(lián)回歸器。我們的目標(biāo)是學(xué)習(xí)一個回歸函數(shù)f，使它能夠從初始的樣本空間映射到解空間，能夠使得均方差最小。遇到高維空間和復(fù)雜的線性關(guān)系時，如果只是學(xué)習(xí)一個回歸器來表達(dá)這種映射關(guān)系并不現(xiàn)實(shí)。于是，我們提出了使用級聯(lián)的方法，通過級聯(lián)多個弱回歸器，將他們組成一個回歸能力更強(qiáng)的強(qiáng)回歸器。本發(fā)明采用的級聯(lián)回歸方法，將回歸函數(shù)f劃分成t個簡單的回歸函數(shù)的級聯(lián){f\，f2,…，fj，每一級fk的輸入都是它的前一級fki的輸出，如圖2所示，通過把Gf2,...，&相結(jié)合，得到的回歸函數(shù)能夠近似出初始形狀到真實(shí)形狀的復(fù)雜的非線性映射關(guān)系。
[0025]本發(fā)明的回歸器遵循由粗到精的過程，級聯(lián)回歸器分為兩個部分，粗回歸器和精回歸器。[0026]如果只是按照上面的方法，采用簡單的用幾種弱回歸器進(jìn)行級聯(lián)，首先效果不理想，因?yàn)閳D片的拍攝條件千差萬別，姿態(tài)各異，要回歸的形狀也都不盡相同，要得到完美的效果，對回歸器的要求太高。其次，如果級聯(lián)級數(shù)過多，速度也會非常慢，滿足不了對速度的要求。本發(fā)明中創(chuàng)新地提出了使用不同類型的回歸器相級聯(lián)，使之各司其職，相互促進(jìn)，揚(yáng)長避短。
[0027]因此，我們將級聯(lián)的回歸器分為兩部分，第一部分為粗回歸器，把初始值回歸到真實(shí)解的附近，完成大的回歸目標(biāo)，但是不關(guān)心細(xì)節(jié)。這一部分，完成的粗糙回歸目標(biāo)，速度非?？欤瑸榈诙糠稚奢斎?。第二部分為精回歸器，只需要在細(xì)節(jié)上進(jìn)行調(diào)節(jié)，逐步向真實(shí)解緩慢逼近，整個過程如圖3所示。兩個部分，構(gòu)成了一個由粗到精的級聯(lián)回歸器，在速度和效果上，都有非常大的提升。
[0028]針對兩部分的不同特性，本發(fā)明設(shè)計(jì)了不同的分類器和特征，可最大效率地完成回歸目標(biāo)。
[0029]第一部分的目標(biāo)是快速的得到粗糙解，我們使用SURF特征，學(xué)習(xí)出來一個線性回歸器，這一部分回歸器，能夠迅速將初始值映射到正解附近。具體實(shí)施步驟如下:
[0030]①在初始形狀上每個關(guān)鍵點(diǎn)處提取初始的SURF特征，記作Oci,關(guān)鍵點(diǎn)真實(shí)回歸目標(biāo)記為Λ X*，3D姿態(tài)真實(shí)回歸目標(biāo)記為Λ Y*。
[0031]②在訓(xùn)練過程中，由于關(guān)鍵點(diǎn)坐標(biāo)X和3D姿態(tài)Y是已知，初始值關(guān)鍵點(diǎn)坐標(biāo)X。和初始3D姿態(tài)Y。也是已知的，那么關(guān)鍵點(diǎn)真實(shí)回歸目標(biāo)ΛΧ*即為已知，AX*=X-Xq，3D姿態(tài)真實(shí)回歸目標(biāo)ΛΥ*即為已知，ΛΥ*=Υ-Υ。。線性回歸器可以表達(dá)為
Λ Yq=Pci*Φ Jctl。這里要求的參數(shù)就是Rtl和Iv P0和C(l?？赏ㄟ^最小化下式求得:[0032]
【權(quán)利要求】
1.一種基于級聯(lián)回歸的人臉3D姿態(tài)識別方法，其步驟包括: 1)采集大量人臉圖片數(shù)據(jù)，并標(biāo)記初始的關(guān)鍵點(diǎn)位置和3D姿態(tài)； 2)通過對所述大量人臉圖片數(shù)據(jù)進(jìn)行訓(xùn)練，學(xué)習(xí)得到一粗回歸器，然后以所述粗回歸器的輸出作為輸入，學(xué)習(xí)得到一精回歸器，從而得到由粗到精的級聯(lián)回歸器； 3)給定待識別的人臉圖片和對應(yīng)的人臉位置，通過所述粗回歸器將人臉3D姿態(tài)調(diào)整到真實(shí)姿態(tài)附近，并將人臉關(guān)鍵點(diǎn)調(diào)整到真實(shí)位置附近，然后以所述粗回歸器的輸出作為輸入，通過所述精回歸器得到精確的人臉3D姿態(tài)參數(shù)。
2.如權(quán)利要求1所述的方法，其特征在于:所述粗回歸器采用線性回歸器，在所有關(guān)鍵點(diǎn)處提取SURF特征。
3.如權(quán)利要求2所述的方法，其特征在于:所述粗回歸器是一個級聯(lián)的線性回歸器，一共包含兩級，前一級的輸出作為后一級的輸入。
4.如權(quán)利要求3所述的方法，其特征在于:使用SURF特征學(xué)習(xí)得到所述線性回歸器，具體步驟包括: ①在初始形狀上每個關(guān)鍵點(diǎn)處提取初始的SURF特征,記作Cv關(guān)鍵點(diǎn)真實(shí)回歸目標(biāo)記為Λ X*, 3D姿態(tài)真實(shí)回歸目標(biāo)記為Λ Y* ； ②在訓(xùn)練過程中，由于關(guān)鍵點(diǎn)坐標(biāo)X和3D姿態(tài)Y已知，初始值關(guān)鍵點(diǎn)坐標(biāo)X。和初始3D姿態(tài)Y。也是已知，那么關(guān)鍵點(diǎn)真實(shí)回歸目標(biāo)Λ X*即為已知，AX*=X_XQ，3D姿態(tài)真實(shí)回歸目標(biāo)Λ Y*即為已知，Λ Y^=Y-Y0;線性回歸器表達(dá)為Λ Xq=Rq*Φα+1ν Δ Yq=Pq*Oq+cq，其中的參數(shù)Rtl和k通過最小化下式求得:
5.如權(quán)利要求1或2所述的方法，其特征在于:所述精回歸器采用隨機(jī)蕨級聯(lián)回歸器，以像素差值作為特征。
6.如權(quán)利要求5所述的方法，其特征在于:所述精回歸器是一個兩層結(jié)構(gòu)，第一層是一系列弱回歸器的級聯(lián)；第二層是一系列隨機(jī)蕨回歸器的級聯(lián)，構(gòu)成一個所述弱回歸器。
7.如權(quán)利要求6所述的方法，其特征在于:生成所述兩層結(jié)構(gòu)的精回歸器的步驟包括: ①提取每個樣本的像素差值特征:隨機(jī)取兩個關(guān)鍵點(diǎn)，隨機(jī)生成一個插值系數(shù)，得到兩點(diǎn)連線中的一個位置，兩個這樣的位置上的像素差值作為特征； ②選取特征:生成一個隨機(jī)的列向量，將真實(shí)回歸目標(biāo)矩陣映射到一個方向上，然后分別計(jì)算每個特征向量和這個投影向量的相關(guān)系數(shù)，使用隨機(jī)蕨回歸器選取相關(guān)系數(shù)最大的多組特征；③弱回歸器的生成:根據(jù)上一步提取的特征，把樣本劃分到原始隨機(jī)蕨回歸器的某個空間中，計(jì)算該空間中所有樣本的平均真實(shí)形狀增量Λ Xbin和Λ Ybin，將其加到當(dāng)前空間中的每個估計(jì)形狀上，得到新的估計(jì)形狀和估計(jì)姿態(tài)，將得到的估計(jì)形狀和姿態(tài)作為下一個原始隨機(jī)蕨回歸器的輸入，傳給下一個原始隨機(jī)蕨回歸器，保持特征不變，得到新的隨機(jī)蕨回歸器，將多個原始隨機(jī)蕨回歸器級聯(lián)構(gòu)成一個弱回歸器； ④強(qiáng)回歸器的生成:經(jīng)過上述步驟，已經(jīng)學(xué)習(xí)到弱回歸器fk，對于一個初始集Xk，通過fk得到回歸增量估計(jì)Λ Xk和Λ Yk,新的初始集通過計(jì)算Xk+ Δ Xk和Yk+ Δ Yk得到，在新的估計(jì)形狀基礎(chǔ)上提取新的特征，按照上述方法得到下一個弱回歸器，以此類推，級聯(lián)多個弱回歸器，構(gòu)成一個二層的強(qiáng)回歸器。
8.如權(quán)利要求7所述的方法，其特征在于:所述精回歸器的弱回歸器包含10個級聯(lián)的原始隨機(jī)蕨回歸器，所述精回歸器的強(qiáng)回歸器包含100個級聯(lián)的所述弱回歸器。
9.如權(quán)利要求1所述的方法，其特 征在于:所述人臉關(guān)鍵點(diǎn)位置包括眼睛、鼻子、嘴巴、臉部輪廓的位置。
【文檔編號】G06K9/66GK103824089SQ201410053325
【公開日】2014年5月28日 申請日期:2014年2月17日 優(yōu)先權(quán)日:2014年2月17日
【發(fā)明者】印奇, 曹志敏, 姜宇寧, 何濤 申請人:北京曠視科技有限公司