專利名稱：一種人臉跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生物特征識(shí)別技術(shù)領(lǐng)域，尤其涉及一種人臉跟蹤方法。
背景技術(shù)：
人臉是人的重要信息，是區(qū)分不同的人的重要依據(jù)。人臉跟蹤是在連續(xù)的視頻序 列中跟蹤一個(gè)或多個(gè)人臉。人臉跟蹤在很多場合下都具有非常重要的作用，例如手機(jī)彩信中的視頻彩信、人 機(jī)界面、權(quán)限控制、智能監(jiān)視系統(tǒng)等。跟蹤的準(zhǔn)確性、精度和魯棒性問題一直是業(yè)界關(guān)心的 主要問題。解決人臉跟蹤問題的難點(diǎn)很多，如人臉表情變化、人臉的姿態(tài)變化、光照變化、面 部遮擋等等。其中，人臉表情與姿態(tài)變化是所有人臉跟蹤技術(shù)的普遍問題?，F(xiàn)有技術(shù)往往 只能解決兩者之一。因此，業(yè)界急需一種能夠解除人臉表情變化、姿態(tài)變化影響的人臉跟蹤技術(shù)。

發(fā)明內(nèi)容
為彌補(bǔ)現(xiàn)有技術(shù)的不足，本發(fā)明目的是提供一種人臉跟蹤方法，解決人臉表情變 化和姿態(tài)變化的影響，提高人臉跟蹤的準(zhǔn)確性、精度和魯棒性。為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下一種人臉跟蹤方法，其特征在于，包含離線訓(xùn)練方法和在線跟蹤方法；該離線訓(xùn)練方法包含多層結(jié)構(gòu)人臉模型訓(xùn)練方法和人臉特征點(diǎn)的離線模板訓(xùn)練 方法；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法為該在線跟蹤方法提供人臉模型，該離線模板訓(xùn)練方 法為該在線跟蹤方法提供人臉特征點(diǎn)離線模板；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法包含如下步驟步驟301，選取適當(dāng)?shù)娜四槇D像作 為訓(xùn)練樣本；步驟302，對(duì)人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記；步驟3031-3061，得到基準(zhǔn)形狀模 型；步驟3032-3062，得到全局形狀模型；步驟3033-3063，得到局部形狀模型。其中，該基準(zhǔn)形狀模型、該全局形狀模型與該局部形狀模型的獲得方法為用s表示一個(gè)人臉形狀向量
_4]
權(quán)利要求
一種人臉跟蹤方法，其特征在于，包含離線訓(xùn)練方法和在線跟蹤方法；該離線訓(xùn)練方法包含多層結(jié)構(gòu)人臉模型訓(xùn)練方法和人臉特征點(diǎn)的離線模板訓(xùn)練方法；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法為該在線跟蹤方法提供人臉模型，該離線模板訓(xùn)練方法為該在線跟蹤方法提供人臉特征點(diǎn)離線模板；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法包含如下步驟步驟301，選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；步驟302，對(duì)人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記；步驟3031 3061，得到基準(zhǔn)形狀模型；步驟3032 3062，得到全局形狀模型；步驟3033 3063，得到局部形狀模型。
2.如權(quán)利要求1所述的人臉跟蹤方法，其特征在于，該基準(zhǔn)形狀模型、該全局形狀模型 與該局部形狀模型的獲得方法為用s表示一個(gè)人臉形狀向量s = s +Pb ,其中，；為平均人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量；人臉形狀向量s表示為(巧，知，^”，其中SK、Se和、分別表示基準(zhǔn)特征點(diǎn)、全局特征點(diǎn) 和局部特征點(diǎn)；基準(zhǔn)形狀模型的點(diǎn)分布模型& =G +尸 全局形狀模型的點(diǎn)分布模型=J^ + pGbGmmmmm^mmsG.Li=sG.Li +pGUibGi’Li第i個(gè)局部形狀向量為SeiJi= Isei，SlJ，其中Sei，Su分別表示屬于第i個(gè)局部形狀 的全局和局部特征點(diǎn)。
3.如權(quán)利要求1所述的人臉跟蹤方法，其特征在于，該人臉特征點(diǎn)的表達(dá)方法為 給定灰度圖像/戊)中的一個(gè)像素V=江力，一系列Gabor系數(shù)J7.(灼可表達(dá)該點(diǎn)附近的局部外觀，可定義為 Jj^)=其中Gabor核Ψ 為高斯包絡(luò)函數(shù)限定的平面波，_2 ~,(ft =kkJCσIJl \ 2σ2 )'Kcosipfl ^v sin ^其中，1^為頻率，％為方向，本發(fā)明優(yōu)選ν = 0,1,. . . ,9, μ = 0,1，···，7。j = μ+8ν,乂#7y _V-Iζv+27 K sin φμ Jkv = 2~ π^2 ，且頻率波寬設(shè)為σ =2π ；Gabor核由10個(gè)頻率、8個(gè)方向組成80個(gè)Gabor復(fù)系數(shù)，用以表達(dá)像素點(diǎn)附近的外觀 特征，用一個(gè)jet向量犮=Jzy 1表示這些系數(shù)，Jj = α ^χρ( φρ, j = 0,1, ... ,79其中，α」和φ」分別為第j個(gè)Gabor系數(shù)的幅值和相位； 對(duì)80個(gè)Gabor復(fù)系數(shù)進(jìn)行實(shí)驗(yàn)篩選，得到該人臉特征點(diǎn)表達(dá)所用的小波特征。
4.如權(quán)利要求3所述的人臉跟蹤方法，其特征在于，該人臉特征點(diǎn)的離線模板訓(xùn)練方 法如下步驟401，選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本； 步驟402，對(duì)人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記； 步驟403，對(duì)圖像進(jìn)行歸一化處理； 步驟404，計(jì)算所有樣本的Gabor特征； 步驟405，獲得各樣本Gabor特征之間的相似度；YjiaJ^j cos(^ -φ'J-Scj)其中，卞和夕為Gabor特征； ￥為夕和夕之間的相對(duì)位移；S乂、Fjot F妙 ^cy ^yx「jcy 「xxΦχ Φyv y J如果 ΓχχΓ -Γχ Γ ^0，其中ΦΧ=Σ JajQjkjx ( Φ 廠 Φ ‘ ,·)，Γ xy = Σ j a j a ‘ jkJxkJy,Oy, Γχχ，ryx禾口 ryy類也進(jìn)對(duì)亍定義；對(duì)每個(gè)特征點(diǎn)，計(jì)算N個(gè)Gabor特征兩兩之間的相似度，當(dāng)其相似度大于閾值St時(shí)即 認(rèn)為兩者相似，St可通過實(shí)驗(yàn)選取，如0. 85 ；步驟406，計(jì)算各樣本Gabor特征的相似特征數(shù)η ； 步驟407，選擇η最大的樣本Gabor特征； 步驟408，判斷η是否大于ητ;若步驟408的判斷結(jié)果為否，則執(zhí)行步驟411，處理下一特征點(diǎn)，然后返回步驟404繼續(xù) 執(zhí)行；若步驟408的判斷結(jié)果為是，則執(zhí)行步驟409，將Gabor特征加入離線模板；對(duì)每-Gabor特征，設(shè)有Iii個(gè)與其相似的Gabor特征，將Iii值最大且大于閾值ητ的Gabor特征加 入樣本特征集{^1，ητ也通過實(shí)驗(yàn)選取，可選ητ = 2 ；步驟410，將該Gabor特征從樣本中刪除，同時(shí)將與其相似度大于閾值S/的Gabor特 征從伏丨中刪除，S/大于ST，如可選0. 9 ；返回步驟405，對(duì)步驟405-409作迭代計(jì)算；對(duì)Jj^重復(fù)上述過程，直到選不出樣本為止；最終的樣本特征集[yy即為該人臉特征點(diǎn)的特征樣本，作為人臉特征的離線模板提供給該在線跟蹤方法使用。
5.如權(quán)利要求3所述的人臉跟蹤方法，其特征在于，該在線跟蹤方法包含步驟501，初始化，初始化變量和參數(shù)設(shè)置，參數(shù)包含但不限于圖像格式、分辨率、顏色 空間，跟蹤模式；步驟502，輸入一幀圖像；步驟503，圖像歸一化，將輸入圖像轉(zhuǎn)換成標(biāo)準(zhǔn)尺寸的圖像； 步驟504，判斷是否重新檢測；若步驟504的判斷結(jié)果為是，則執(zhí)行步驟505，利用基準(zhǔn)形狀模型，基于ASM形狀約束， 對(duì)齊基準(zhǔn)特征點(diǎn)；步驟506，利用全局形狀模型，基于ASM形狀約束，對(duì)齊全局特征點(diǎn)； 步驟507，利用局部形狀模型，基于ASM形狀約束，對(duì)齊局部特征點(diǎn)； 步驟508，更新在線特征模板，根據(jù)得到的臉部特征點(diǎn)的位置更新其小波特征作為該人 臉的在線特征模板；步驟515，估計(jì)人臉姿態(tài)，根據(jù)六個(gè)基礎(chǔ)點(diǎn)的位置估計(jì)人臉的姿態(tài)； 返回步驟502循環(huán)執(zhí)行本方法各步驟并執(zhí)行步驟516，輸出人臉特征點(diǎn)及人臉姿態(tài)信息；若步驟504的判斷結(jié)果若為否，則執(zhí)行步驟509，基于在線特征模板更新眼角點(diǎn)； 然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點(diǎn)； 然后執(zhí)行步驟511，更新其他特征點(diǎn)；然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀； 然后執(zhí)行步驟513，基于形狀約束更新全局特征點(diǎn)； 然后執(zhí)行步驟514，基于形狀約束更新局部特征點(diǎn)； 然后返回步驟508，繼續(xù)執(zhí)行本方法各步驟。
6.根據(jù)權(quán)利要求5所述的人臉跟蹤方法，其特征在于，該步驟505對(duì)齊基準(zhǔn)特征點(diǎn)的具 體方法為對(duì)圖像進(jìn)行歸一化預(yù)處理；根據(jù)雙眼的位置確定剛性基準(zhǔn)點(diǎn)的位置；剛性基準(zhǔn)點(diǎn)的精度根據(jù)其Gabor特征與離線特征模板的相似度進(jìn)行判斷；具體判斷步 驟如下(1)對(duì)每一剛性基準(zhǔn)點(diǎn)i，計(jì)算其當(dāng)前位置=(XiJ)的Gabor特征義；(2)計(jì)算f與離線特征模板{y’,j中每個(gè)Gabor特征的相似度，取相似度最大者作為j與模板的相似度Si,并獲得其相對(duì)位移為g ；(3)當(dāng)滿足以下條件之一時(shí)，迭代過程結(jié)束，否則轉(zhuǎn)入步驟(4):a)所有剛性基準(zhǔn)點(diǎn)的 平均相似度f小于上一次迭代的平均相似度艾_ ；b)90%以上的點(diǎn)的絕對(duì)位移值足夠小，即
7.根據(jù)權(quán)利要求5所述的人臉跟蹤方法，其特征在于，該步驟515估計(jì)人臉姿態(tài)的具體 步驟如下1)基于基準(zhǔn)特征點(diǎn)構(gòu)建N個(gè)三角形。選擇任意三個(gè)非共線性的特征點(diǎn)組成一個(gè)三角形 Ti,對(duì)每一個(gè)Ti,構(gòu)建一個(gè)局部坐標(biāo)系統(tǒng)Ct ；2)由每個(gè)三角形獲得投影矩陣M；圖像坐標(biāo)與局部坐標(biāo)系統(tǒng)Ct的關(guān)系表示為
8.如權(quán)利要求5所述的人臉跟蹤方法，其特征在于，該步驟510的具體計(jì)算方法為 根據(jù)離線特征模板對(duì)眼角特征點(diǎn)進(jìn)行再修正對(duì)于眼角特征點(diǎn)f, =(U),計(jì)算在線特征模板、與離線特征模板義的相似度S' i 和位移& ；眼角特征點(diǎn)進(jìn)一步修正為-^-，其中ε為相似度調(diào)整值，ε
9.如權(quán)利要求5所述的人臉跟蹤方法，其特征在于，該步驟503的圖像歸一化的方法 為根據(jù)雙眼的位置，得到雙眼的中點(diǎn)作為基準(zhǔn)點(diǎn)，雙眼的連線作為圖像的橫軸，雙眼連線 的中垂線作為縱軸，對(duì)圖像進(jìn)行旋轉(zhuǎn)，對(duì)圖像進(jìn)行縮放以使雙眼之間的距離達(dá)到一特定值。
10.根據(jù)權(quán)利要求5所述的人臉跟蹤方法，其特征在于，該基準(zhǔn)特征點(diǎn)為表情變化時(shí)不 發(fā)生運(yùn)動(dòng)的特征點(diǎn)，包括但不限于眼角、鼻端；該全局特征點(diǎn)包括八個(gè)基準(zhǔn)特征點(diǎn)和受表情 影響較小的點(diǎn)，包括但不限于嘴角、眉尖；該局部特征點(diǎn)包括但不限于左眼、右眼、嘴、鼻的輪廓點(diǎn)；左眼、右眼輪廓點(diǎn)至少包括如下之一眼角、上、下眼瞼；嘴輪廓點(diǎn)至少包括如下之一兩個(gè)嘴角、上/下唇的中點(diǎn)，上/下唇中點(diǎn)與嘴角之間的 輪廓點(diǎn)。
全文摘要
本發(fā)明公開的是一種人臉跟蹤方法，包含離線訓(xùn)練方法和在線跟蹤方法；離線訓(xùn)練方法包含多層結(jié)構(gòu)人臉模型訓(xùn)練方法和人臉特征點(diǎn)的離線模板訓(xùn)練方法；多層結(jié)構(gòu)人臉模型訓(xùn)練方法為在線跟蹤方法提供人臉模型，離線模板訓(xùn)練方法為在線跟蹤方法提供人臉特征點(diǎn)離線模板；多層結(jié)構(gòu)人臉模型訓(xùn)練方法包含如下步驟選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；對(duì)人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記；得到基準(zhǔn)形狀模型；得到全局形狀模型；得到局部形狀模型。本發(fā)明屬于生物特征識(shí)別技術(shù)領(lǐng)域，廣泛應(yīng)用于各種人臉跟蹤與比對(duì)系統(tǒng)。
文檔編號(hào)G06K9/62GK101968846SQ20101023742
公開日2011年2月9日 申請(qǐng)日期2010年7月27日 優(yōu)先權(quán)日2010年7月27日
發(fā)明者唐霖, 姜濤, 董初寧 申請(qǐng)人:上海摩比源軟件技術(shù)有限公司