人眼跟蹤方法及裝置制造方法
【專利摘要】本發(fā)明涉及信息【技術(shù)領(lǐng)域】，具體而言，涉及人眼跟蹤方法及裝置。該人眼跟蹤方法，包括：根據(jù)眼睛在當(dāng)前幀圖像中的位置，利用構(gòu)造的卡爾曼Kalman濾波器預(yù)測下一幀圖像中眼睛的位置，得到眼睛位置預(yù)測值；當(dāng)所述下一幀圖像成為當(dāng)前幀圖像時，利用所述眼睛位置預(yù)測值在該當(dāng)前幀圖像中進(jìn)行搜索，得到與目標(biāo)模板亮度分布匹配的潛在目標(biāo)，其中所述目標(biāo)模板基于初始模板獲取，所述初始模板根據(jù)接收的初始幀圖像構(gòu)造；將所述潛在目標(biāo)作為眼睛的跟蹤目標(biāo)實現(xiàn)眼睛的跟蹤。本發(fā)明提供的人眼跟蹤方法及裝置，不易受照明條件的影響，魯棒性較好，更能滿足人眼追蹤的實際需求。
【專利說明】人眼跟蹤方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息【技術(shù)領(lǐng)域】，具體而言，涉及人眼跟蹤方法及裝置。
【背景技術(shù)】
[0002]人眼跟蹤是在視頻或圖像序列中確定人眼的運(yùn)動軌跡及大小變化的過程。人眼跟蹤是人臉跟蹤中的重要一部分，其在圖像分析與識別、圖像監(jiān)控與檢索等領(lǐng)域具有重大意義，成為大量學(xué)者關(guān)注的焦點，許多行之有效的算法相繼出現(xiàn)。
[0003]例如，采用AdaBoost迭代算法實現(xiàn)人眼追蹤，但該算法在屏幕旋轉(zhuǎn)角度大或人臉旋轉(zhuǎn)角度大時無法準(zhǔn)確捕捉到人臉，而且利用該算法只能定位人臉無法捕捉到眼睛?，F(xiàn)有的其他人眼追蹤方法對于光照等比較敏感，魯棒性比較差，例如在通過亮瞳孔實現(xiàn)眼睛的跟蹤算法中，需要穩(wěn)定紅外照明條件才能對眼睛進(jìn)行追蹤。
[0004]由此看出現(xiàn)有的人眼追蹤方法容易受照明條件的影響，魯棒性較差，不滿足人眼追蹤的實際需求。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供人眼跟蹤方法及裝置，以解決上述的問題。
[0006]在本發(fā)明的實施例中提供了人眼跟蹤方法，包括:
[0007]根據(jù)眼睛在當(dāng)前幀圖像中的位置，利用構(gòu)造的卡爾曼Kalman濾波器預(yù)測下一幀圖像中眼睛的位置，得到眼睛位置預(yù)測值；
[0008]當(dāng)所述下一幀圖像成為當(dāng)前幀圖像時，利用所述眼睛位置預(yù)測值在該當(dāng)前幀圖像中進(jìn)行搜索，得到與目標(biāo)模板亮度分布匹配的潛在目標(biāo)，其中所述目標(biāo)模板基于初始模板獲取，所述初始模板根據(jù)接收的初始幀圖像構(gòu)造；
[0009]將所述潛在目標(biāo)作為眼睛的跟蹤目標(biāo)實現(xiàn)眼睛的跟蹤。
[0010]優(yōu)選地，該方法還包括根據(jù)接收的初始幀圖像構(gòu)造眼睛的初始模板，包括:
[0011]在所述初始幀圖像中進(jìn)行人臉檢測，獲取人臉檢測圖像；
[0012]對所述人臉檢測圖像進(jìn)行灰度處理，得到人臉灰度圖；
[0013]對所述人臉灰度圖進(jìn)行垂直灰度投影，得到垂直灰度投影圖；
[0014]根據(jù)所述垂直灰度投影圖中的垂直灰度投影曲線中凸峰的左右邊界確定人臉的左右邊界；
[0015]根據(jù)所述人臉的左右邊界對所述垂直灰度投影圖進(jìn)行裁剪，得到新的人臉灰度圖；
[0016]對所述新的人臉灰度圖進(jìn)行水平灰度投影，得到水平灰度投影圖；
[0017]根據(jù)所述水平灰度投影圖中的水平灰度投影曲線確定頭頂及鼻中部形成的上下邊界，根據(jù)所述上下邊界確定眉眼區(qū)域；
[0018]運(yùn)用索貝爾SOBEL算子求出所述眉眼區(qū)域的邊界值，并進(jìn)行邊緣分組，定位出眼睛的位置并得到所述初始模板；[0019]其中所述初始模板為預(yù)測第二幀圖像中眼睛的位置的目標(biāo)模板。
[0020]優(yōu)選地，該方法還包括當(dāng)獲取到所述跟蹤目標(biāo)時，利用所述跟蹤目標(biāo)對當(dāng)前的所述目標(biāo)模板更新；利用得到的新的目標(biāo)模板預(yù)測下一幀圖像中眼睛的位置。
[0021]優(yōu)選地，該方法還包括構(gòu)造Kalman濾波器，其中包括:確定接收的圖像序列的狀態(tài)模型及測量模型；所述確定圖像序列的狀態(tài)模型包括:采用算法Xt+1= Θ xt+wt表示所述狀態(tài)模型；
[0022]其中設(shè)定(ct, rt)為t時刻眼睛的質(zhì)心位置，(ut, vt)為t時刻眼睛在c方向和r方向的速度，則t時刻眼睛的狀態(tài)向量為xt=(c_t, r_t, u_t, v_t)T,wt為系統(tǒng)噪聲；假定眼睛在連續(xù)的兩幀圖像之間的位移趨于零，且為勻速運(yùn)動，運(yùn)動時間為At，則狀態(tài)轉(zhuǎn)移矩陣為
【權(quán)利要求】
1.人眼跟蹤方法，其特征在于，包括: 根據(jù)眼睛在當(dāng)前幀圖像中的位置，利用構(gòu)造的卡爾曼Kalman濾波器預(yù)測下一幀圖像中眼睛的位置，得到眼睛位置預(yù)測值； 當(dāng)所述下一幀圖像成為當(dāng)前幀圖像時，利用所述眼睛位置預(yù)測值在該當(dāng)前幀圖像中進(jìn)行搜索，得到與目標(biāo)模板亮度分布匹配的潛在目標(biāo)，其中所述目標(biāo)模板基于初始模板獲取，所述初始模板根據(jù)接收的初始幀圖像構(gòu)造； 將所述潛在目標(biāo)作為眼睛的跟蹤目標(biāo)實現(xiàn)眼睛的跟蹤。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，該方法還包括根據(jù)接收的初始幀圖像構(gòu)造眼睛的初始模板，包括: 在所述初始幀圖像中進(jìn)行人臉檢測，獲取人臉檢測圖像； 對所述人臉檢測圖像進(jìn)行灰度處理，得到人臉灰度圖；
對所述人臉灰度圖進(jìn) 行垂直灰度投影，得到垂直灰度投影圖； 根據(jù)所述垂直灰度投影圖中的垂直灰度投影曲線中凸峰的左右邊界確定人臉的左右邊界； 根據(jù)所述人臉的左右邊界對所述垂直灰度投影圖進(jìn)行裁剪，得到新的人臉灰度圖； 對所述新的人臉灰度圖進(jìn)行水平灰度投影，得到水平灰度投影圖； 根據(jù)所述水平灰度投影圖中的水平灰度投影曲線確定頭頂及鼻中部形成的上下邊界，根據(jù)所述上下邊界確定眉眼區(qū)域； 運(yùn)用索貝爾SOBEL算子求出所述眉眼區(qū)域的邊界值，并進(jìn)行邊緣分組，定位出眼睛的位置并得到所述初始模板； 其中所述初始模板為預(yù)測第二幀圖像中眼睛的位置的目標(biāo)模板。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，該方法還包括當(dāng)獲取到所述跟蹤目標(biāo)時，利用所述跟蹤目標(biāo)對當(dāng)前的所述目標(biāo)模板更新； 利用得到的新的目標(biāo)模板預(yù)測下一幀圖像中眼睛的位置。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，該方法還包括構(gòu)造Kalman濾波器，其中包括:確定接收的圖像序列的狀態(tài)模型及測量模型； 所述確定圖像序列的狀態(tài)模型包括:采用算法xt+1= Θ xt+wt表示所述狀態(tài)模型； 其中設(shè)定(ct, rt)為t時刻眼睛的質(zhì)心位置，(ut, vt)為t時刻眼睛在c方向和r方向的速度，則t時刻眼睛的狀態(tài)向量為xt=(c_t, r_t, u_t, v_t)T, wt為系統(tǒng)噪聲；假定眼睛在連續(xù)的兩幀圖像之間的位移趨于零，且為勻速運(yùn)動，運(yùn)動時間為At，則狀態(tài)轉(zhuǎn)移矩陣為
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用所述眼睛位置預(yù)測值在該當(dāng)前幀圖像中進(jìn)行搜索，得到與目標(biāo)模板亮度分布匹配的潛在目標(biāo)，包括:采用Mean Shift算法，將所述眼睛位置預(yù)測值作為所述Mean Shift算法的初始值進(jìn)行迭代運(yùn)算； 根據(jù)迭代運(yùn)算的結(jié)果在該當(dāng)前幀圖像中搜素出與目標(biāo)模板亮度相似度最大的潛在目標(biāo)，其中所述目標(biāo)模板與所述潛在目標(biāo)之間的相似程度用巴氏距離Bhattacharyya距離值度量。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，采用Bhattacharyya距離值度量所述目標(biāo)模板與所述潛在目標(biāo)之間的相似程度，包括: 利用算法
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述在該當(dāng)前幀圖像中搜素出與目標(biāo)模板亮度相似度最大的潛在目標(biāo)，包括: 所述Kalman濾波器預(yù)測出的所述眼睛位置預(yù)測值在當(dāng)前幀圖像中的位置設(shè)定為.V0 ； 以.?起始點在所述當(dāng)前幀圖像中進(jìn)行目標(biāo)搜索，包括計算當(dāng)前幀圖像中位置為j>u的潛在目標(biāo)的顏色概率，根據(jù)所述顏色概率最小化亮度差距d以及最大化Bhattacharyya距離； 根據(jù)亮度差距d最小化以及Bhattacharyya距離最大化的結(jié)果得到與所述目標(biāo)模板亮度相似度最大的潛在目標(biāo)。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述顏色概率最小化亮度差距d以及最大化Bhattacharyya距離，包括: a、根據(jù)j\)初始化當(dāng)前幀圖像中潛在目標(biāo)的位置，并計算所述潛在目標(biāo)的顏色概率Ptl(Vn)并得到 Bhattacharyya 距離
9.人眼跟蹤裝置，其特征在于，包括: 預(yù)測模塊，用于根據(jù)眼睛在當(dāng)前幀圖像中的位置，利用構(gòu)造的Kalman濾波器預(yù)測下一幀圖像中眼睛的位置，得到眼睛位置預(yù)測值； 搜索模塊，用于當(dāng)所述下一幀圖像成為當(dāng)前幀圖像時，利用所述眼睛位置預(yù)測值在該當(dāng)前幀圖像中進(jìn)行搜索，得到與目標(biāo)模板亮度分布匹配的潛在目標(biāo)，其中所述目標(biāo)模板基于初始模板獲取，所述初始模板根據(jù)接收的初始幀圖像構(gòu)造； 跟蹤模塊，用于將所述潛在目標(biāo)作為眼睛的跟蹤目標(biāo)實現(xiàn)眼睛的跟蹤。
【文檔編號】G06K9/00GK103942542SQ201410160852
【公開日】2014年7月23日 申請日期:2014年4月18日 優(yōu)先權(quán)日:2014年4月18日
【發(fā)明者】沈威, 張濤, 張春光, 李春, 俞能海, 楊柳 申請人:重慶卓美華視光電有限公司