專利名稱：基于高斯膚色模型和特征分析的人臉檢測與跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在視頻序列中人臉檢測及跟蹤的方法，特別涉及一種基于高斯膚色模型和特征分析的檢測方法及改進CAMShift跟蹤方法。
背景技術(shù)：
人臉分析技術(shù)，包括人臉檢測、人臉跟蹤、人臉識別和表情分析等分支，是近年來計算機視覺領(lǐng)域與圖像處理領(lǐng)域研究的重大課題。人臉檢測是指在輸入的靜態(tài)或動態(tài)圖像中確定所有人臉(如果存在)的位置、大小和姿態(tài)的過程；人臉跟蹤是指在輸入圖像序列中確定人臉的運動軌跡及大小變化的情況。作為人臉分析技術(shù)中的關(guān)鍵環(huán)節(jié)，人臉檢測與跟蹤在智能人機交互、安全監(jiān)控、視頻會議、醫(yī)療診斷及基于內(nèi)容的圖像存儲與檢索等方面具有廣闊的發(fā)展前景和應(yīng)用價值。人臉檢測問題的基本思想是通過特征知識或統(tǒng)計學(xué)習(xí)的方法實現(xiàn)，前者主要利用人臉的幾何形狀、膚色、紋理、結(jié)構(gòu)及輪廓等特征作為主要識別條件，將人臉圖像視為高維向量，通過高維空間中信號分布的檢測實現(xiàn)人臉的監(jiān)測；后者將人臉檢測問題歸結(jié)為從模式樣本中區(qū)分人臉與非人臉的模式識別，通過訓(xùn)練進行分類。目前常用的人臉檢測方法主要包括以下幾類基于先驗知識的方法(董立新.基于先驗知識的人臉檢測算法研究與應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2010:73-74.)，基于特征不變性的方法(杜庚.基于尺度不變特征的人臉識別[D]，北京北京郵電大學(xué)，2010)，基于模板匹配的方法(XIE Yu xiang, WANG Wei wei,LUAN Xi dao,Face recognition using skin color and template matching[J]. Computer Engineering & Science, 2008,30 (6) :54-59)，神經(jīng)網(wǎng)絡(luò)方法(袁崇濤，基于神經(jīng)網(wǎng)絡(luò)的人臉識別算法研究[D]，大連大連理工大學(xué)，2006)，基于膚色模型的方法Oii Sun, Yingchun Liu, Yunhua Zhang，Donghe Yang. Face tracking based on skin color and α - β - γ Filter[A]. China-Ireland International Conference on Information and Communications Technologies 2008· Beijing，2008 :1-4·)。人臉跟蹤是指對于給定的視頻序列，根據(jù)前幀定位好的人臉，結(jié)合視頻中運動對象的特點，在后續(xù)幀中捕捉人臉的運動信息。目前常用的跟蹤技術(shù)包括以下幾類基于模型的足艮蹤方法(G. D. Hager, P. N. Belhumeur. Efficient region tracking with parametric models of geometry and illumination. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998，20 (10) :1025-1039.)，基于運動信息的跟蹤方法，基于色彩信息的跟蹤方法(劉明寶，姚鴻勛，高文.彩色圖像的實時人臉跟蹤方法.計算機學(xué)報， 1998,21 (6) :527-531)，基于人臉局部特征的跟蹤方法(P. M. Antoszczyszyn, J.M.Hannah， P. Μ. Grant. Tracking of the motion of important facial features in model based coding. Signal Processing,1998,66(2) :249-260.)。目前采用的基于膚色模型的人臉檢測方法，算法容易執(zhí)行，但對環(huán)境亮度變化較為敏感，并且容易受到背景類膚色物體的干擾，使檢測結(jié)果的準(zhǔn)確性降低；基于模板的方法具有較強的魯棒性，但模板匹配過程運算量大，檢測速度慢，此外，當(dāng)出現(xiàn)人臉姿態(tài)變化(比如仰頭或者側(cè)臉情況)時，識別精度會大大降低；在處理視頻目標(biāo)檢測問題時，常用 CAMShift算法進行目標(biāo)跟蹤，提高處理速度，但出于視頻人臉檢測的特殊性，對跟蹤算法的搜索窗口定位準(zhǔn)確性有更高的要求，傳統(tǒng)CAMShift算法難以滿足要求。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是(1)人臉檢測算法對背景噪聲及亮度變化敏感的問題；(2)人臉檢測算法運行速度慢，難以實現(xiàn)視頻檢測的問題；(3)視頻中存在人臉姿態(tài)變化(仰頭或側(cè)臉)時的識別問題。本發(fā)明的技術(shù)方案基于高斯膚色模型和特征分析的人臉檢測與跟蹤方法，包括以下步驟(1)圖像膚色分割通過對人臉圖像數(shù)據(jù)的統(tǒng)計結(jié)果在YCbCr空間建立高斯膚色模型；將獲得的視頻序列圖像由RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr空間，代入高斯模型計算膚色似然度，得到似然度圖像；選取自適應(yīng)閾值對似然度圖像進行分割，得到膚色區(qū)域；對包含膚色區(qū)域的圖像進行閉運算，去除散粒噪聲；(2)人臉特征檢測分別利用人臉幾何特征和人臉結(jié)構(gòu)特征對閉運算后的膚色區(qū)域結(jié)果進行檢驗，通過整合兩部分的結(jié)果對非人臉區(qū)域進行排除；提取圖像中保留的膚色區(qū)域，獲得人臉目標(biāo)檢測結(jié)果；(3)人臉目標(biāo)跟蹤根據(jù)先驗人臉檢測結(jié)果數(shù)據(jù)，利用最小二乘法對搜索窗口進行預(yù)測；通過CAMShift迭代算法調(diào)節(jié)搜索窗口與人臉區(qū)域重合。進一步的，所述步驟⑴中的圖像膚色分割方法為先在YCbCr色彩空間建立高斯膚色模型，計算視頻序列圖像的膚色似然度，選取自適應(yīng)閾值對似然度圖像進行圖像分割， 最后利用閉運算去除散粒噪聲，具體步驟如下(1. i)高斯膚色模型通過以下公式建立P (Cb, Cr) = exp {-0· 5 (x_m) tCT1 (χ-m)} ；χ = (Cb，Cr)Tm = E {χ}，χ = (Cb，Cr)τ ;C = E {(x_m) (x_m)T}公式中m為高斯模型均值，C為高斯模型方差，m、C的數(shù)值通過對膚色圖像數(shù)據(jù)進行統(tǒng)計得出，X是檢測像素點Cb、Cr值組成的向量，m = [106. 7902，
權(quán)利要求
1.一種基于高斯膚色模型和特征分析的人臉檢測與跟蹤方法，其特征在于如下步驟如下(1)圖像膚色分割通過對人臉圖像數(shù)據(jù)的統(tǒng)計結(jié)果在YCbCr空間建立高斯膚色模型； 將獲得的視頻序列圖像由RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr空間，代入高斯模型計算膚色似然度， 得到似然度圖像；選取自適應(yīng)閾值對似然度圖像進行分割，得到膚色區(qū)域；對包含膚色區(qū)域的圖像進行閉運算，去除散粒噪聲；(2)人臉特征檢測分別利用人臉幾何特征和人臉結(jié)構(gòu)特征對閉運算后的膚色區(qū)域結(jié)果進行檢驗，通過整合兩部分的結(jié)果對非人臉區(qū)域進行排除；提取圖像中保留的膚色區(qū)域， 獲得人臉目標(biāo)檢測結(jié)果；(3)人臉目標(biāo)跟蹤根據(jù)先驗人臉檢測結(jié)果數(shù)據(jù)，利用最小二乘法對搜索窗口進行預(yù)測；通過CAMShift迭代算法調(diào)節(jié)搜索窗口與人臉區(qū)域重合。
2.根據(jù)權(quán)利要求1中所述的一種基于高斯膚色模型和特征分析的人臉檢測與跟蹤方法，其特征在于所述步驟(1)中的圖像膚色分割方法為先在YCbCr色彩空間建立高斯膚色模型，計算視頻序列圖像的膚色似然度，選取自適應(yīng)閾值對似然度圖像進行圖像分割，最后利用閉運算去除散粒噪聲，具體步驟如下(1. i)高斯膚色模型通過以下公式建立 P (Cb, Cr) = exp {-0· 5 (x-m) tCT1 (x-m)} ；χ = (Cb, Cr)T m = E{χ}，χ = (Cb, Cr)T ;C = E{ (x_m) (x_m)T}公式中m為高斯模型均值，C為高斯模型方差，m、C的數(shù)值通過對膚色圖像數(shù)據(jù)進行統(tǒng)計得出，χ是檢測像素點Cb、Cr值組成的向量，m = [106. 7902，146. 6155]τ，
3.根據(jù)權(quán)利要求1中所述的一種基于高斯膚色模型和特征分析的人臉檢測與跟蹤方法，其特征在于所述步驟O)中的人臉特征檢測，包括對膚色區(qū)域分別進行人臉幾何特征檢測與人臉結(jié)構(gòu)特征檢測，通過整合兩部分的結(jié)果對非人臉區(qū)域進行排除，具體步驟如下所述人臉幾何特征檢測步驟為(2. i.a)膚色區(qū)域面積檢測若目標(biāo)區(qū)域面積&小于視場范圍10%或超過視場范圍的 80%，判斷其為非人臉區(qū)域；(2. i. b)膚色區(qū)域形狀檢測若目標(biāo)區(qū)域的外接矩形高寬之比Ra小于0. 8或超過2. 5， 判斷其為非人臉區(qū)域；(2. i. c)膚色區(qū)域密集度檢測若目標(biāo)區(qū)域的密集度Ca小于45%，判斷其為非人臉區(qū)域；所述人臉結(jié)構(gòu)特征檢測步驟為(2. ii. a)雙眼中心距范圍檢測雙眼中心距應(yīng)在1/3至2/3目標(biāo)區(qū)域水平尺寸范圍內(nèi)；(2. ii.b)雙眼周圍黑塊檢測雙眼下方一定距離內(nèi)沒有其它器官，因此在似然度圖像中不能有其它黑塊；(2. ii. c)雙眼水平位置關(guān)系檢測雙眼中心位置在垂直方向相差不超過20%目標(biāo)區(qū)域豎直尺寸；(2. ii. d)眼睛區(qū)域面積檢測眼睛部分的黑色區(qū)域所包含的像素數(shù)應(yīng)在5%至10%目標(biāo)區(qū)域面積范圍內(nèi)；(2. ii. e)眼睛形狀檢測眼睛區(qū)域的外接矩形高寬比應(yīng)在1. 5至2. 5之間； (2. iii)人臉幾何特征與結(jié)構(gòu)特征檢測結(jié)果整合整合兩部分結(jié)果的目的是判斷候選膚色區(qū)域是否為人臉區(qū)域，以幾何特征為主要判斷準(zhǔn)則，結(jié)構(gòu)特征為輔助判斷準(zhǔn)則；當(dāng)候選區(qū)域不滿足幾何特征時，判斷其為非人臉區(qū)域；結(jié)構(gòu)特征以識別雙眼為前提，當(dāng)候選區(qū)域中識別出類似雙眼結(jié)構(gòu)時，若不滿足結(jié)構(gòu)特征，則判斷為非人臉區(qū)域，當(dāng)候選區(qū)域不包含雙眼結(jié)構(gòu)時，只通過幾何特征進行判斷。
4.根據(jù)權(quán)利要求1中所述的一種基于高斯膚色模型和特征分析的人臉檢測與跟蹤方法，其特征在于所述步驟(3)的人臉目標(biāo)跟蹤中，利用最小二乘法對搜索窗口進行預(yù)測， 具體步驟如下(3. i)初始化搜索窗 (3. i. a)默認(rèn)搜索窗口位置為視場中心，大小為50%視場范圍 (3. i.b)當(dāng)獲得人臉位置先驗結(jié)果數(shù)據(jù)之后，采用基于最小二乘擬合法對搜索窗口進行預(yù)測，將前十幀圖像檢測結(jié)果代入如下公式 ^yk = G1 χ A3 + G2 χ 眾2 + G3 χ A + G4 xk =^xk3 +b2 xk2 +b3xk + b全文摘要
本發(fā)明是一種基于高斯膚色模型和特征分析的人臉檢測與跟蹤方法，步驟如下首先，對大量人臉圖像數(shù)據(jù)進行統(tǒng)計，在YCbCr色彩空間中建立高斯膚色模型；然后，將視頻圖像序列由RGB空間轉(zhuǎn)換至YCbCr空間，利用高斯模型計算出膚色似然圖，選取自適應(yīng)閾值進行膚色分割，在此基礎(chǔ)上利用人臉幾何特征和結(jié)構(gòu)特征實現(xiàn)人臉精確檢測；最后，采用改進CAMShift算法進行人臉跟蹤，實現(xiàn)視頻中的人臉快速檢測。本發(fā)明的人臉檢測與跟蹤方法在識別精度、跟蹤速度和魯棒性上具有明顯的優(yōu)勢，并且能夠有效地解決視頻中人臉姿態(tài)變化，距離變化以及背景存在類膚色干擾等復(fù)雜條件下的人臉跟蹤問題。
文檔編號G06T5/00GK102324025SQ201110261500
公開日2012年1月18日 申請日期2011年9月6日 優(yōu)先權(quán)日2011年9月6日
發(fā)明者張楠, 祝世平 申請人:北京航空航天大學(xué)