本發(fā)明涉及視線追蹤技術(shù)領(lǐng)域，具體涉及一種瞳孔中心點(diǎn)定位方法。

背景技術(shù)：

視線追蹤技術(shù)也稱為眼動(dòng)跟蹤技術(shù)，是利用電子，機(jī)械，光學(xué)等各種檢測(cè)手段獲取用戶當(dāng)前視覺(jué)注意的方向的技術(shù)，因此在進(jìn)行視線跟蹤技術(shù)方面的研究時(shí)需要一些儀器的輔助，例如攝像頭，感光的儀器等。它的研究方向包括生理學(xué)，心理學(xué)，光學(xué)，計(jì)算機(jī)科學(xué)領(lǐng)域，目的是要尋找能夠客觀、準(zhǔn)確的反映用戶實(shí)時(shí)的注視方向與視線落在空間位置的有效方法。視覺(jué)注意是指導(dǎo)視線追蹤技術(shù)應(yīng)用的基礎(chǔ)，它體現(xiàn)了用戶注意力集中的目標(biāo)區(qū)域或者感興趣區(qū)域，因此可以根據(jù)跟蹤觀察者的視覺(jué)路徑，來(lái)查看觀察者的感興趣內(nèi)容。當(dāng)與計(jì)算機(jī)操作結(jié)合時(shí)可以模擬鼠標(biāo)鍵盤(pán)操作；當(dāng)與機(jī)械操作結(jié)合時(shí)可以操作各種機(jī)器等。

視線追蹤系統(tǒng)就是將視線落點(diǎn)實(shí)時(shí)的輸入到計(jì)算機(jī)中來(lái)完成用戶的命令，這樣不僅避免了傳統(tǒng)輸入設(shè)備需要手參與的冗余，而且增加了設(shè)備使用的靈活性與趣味性，它被應(yīng)用到軍事，游戲，體育研究，虛擬現(xiàn)實(shí)，車輛輔助駕駛等各種領(lǐng)域，前景十分廣闊。將視線追蹤技術(shù)用于人機(jī)交互系統(tǒng)中，可以將人們的手解放出來(lái)，做更多的事情，使用視線追蹤技術(shù)設(shè)計(jì)的系統(tǒng)或儀器也可以有助于幫助上肢有疾病的特殊人群使用計(jì)算機(jī)或者其他智能機(jī)器，幫助從事計(jì)算機(jī)相關(guān)的工作人員脫離鍵盤(pán)與鼠標(biāo)，遠(yuǎn)離鍵盤(pán)手與使用電腦引起的肩周炎等疾病。同時(shí)基于視線追蹤的眼控人機(jī)交互系統(tǒng)可以作為家庭智能環(huán)境的終端管理系統(tǒng)，用戶通過(guò)眼部運(yùn)動(dòng)即可拋棄遙控器，隨心所欲的對(duì)家庭其余智能電器進(jìn)行控制和操作。

現(xiàn)階段國(guó)內(nèi)外均有類似技術(shù)出現(xiàn)，但大多需依賴價(jià)格高昂的專業(yè)設(shè)備或通過(guò)外接硬件實(shí)現(xiàn)目標(biāo)，且精度大多不能令人滿意。因此，急需一種精確的瞳孔中心計(jì)算方法，解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)的不足，提供一種更精確、更便捷的的定位瞳孔中心點(diǎn)的方法，本發(fā)明提供了一種瞳孔中心點(diǎn)定位方法，包括如下步驟：

S1：圖像預(yù)處理，以將獲取的包括人臉的彩色圖像轉(zhuǎn)換成灰色圖像；

S2：人臉識(shí)別，從所述灰色圖像中獲取包含人臉的最大矩形區(qū)域；

S3：人眼區(qū)域識(shí)別，通過(guò)預(yù)設(shè)的比例范圍從人臉的矩形區(qū)域內(nèi)框選眼部區(qū)域；

S4：瞳孔識(shí)別，通過(guò)梯度交點(diǎn)計(jì)算的方法計(jì)算瞳孔中心點(diǎn)。

其中，所述步驟S4包括如下步驟：

S41：取眼部區(qū)域內(nèi)任一可能點(diǎn)，計(jì)算該可能點(diǎn)的點(diǎn)積值；

S42：在眼部區(qū)域的所有可能點(diǎn)中，找出與最大點(diǎn)積值所對(duì)應(yīng)的可能點(diǎn)，該可能點(diǎn)即為眼部區(qū)域內(nèi)的瞳孔中心點(diǎn)。

其中，點(diǎn)積值的計(jì)算公式為：

$C=\arg \left\{\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{\left({\stackrel{\→}{di}}^T\stackrel{\→}{gi}\right)}^2\right\},$

其中，

其中，為任一可能點(diǎn)與眼部區(qū)域邊緣的像素位置之間的位移向量；

為對(duì)應(yīng)的像素位置的梯度向量，并且該梯度向量的方向與事實(shí)上的瞳孔中心點(diǎn)到對(duì)應(yīng)的像素位置向量方向一致；

N為眼部區(qū)域邊緣的像素位置數(shù)；

為瞳孔區(qū)域邊緣像素的向量，T表示位移向量的矩陣轉(zhuǎn)置；

表示該任一可能點(diǎn)對(duì)應(yīng)的向量。

其中，梯度向量的計(jì)算公式為：

$\stackrel{\→}{gi}={(\frac{\∂I(x_i,y_i)}{\∂x_i},\frac{\∂I(x_i,y_i)}{\∂y_i})}^T$

其中，xi和yi分別表示位移向量所對(duì)應(yīng)的眼部區(qū)域邊緣像素位置的橫坐標(biāo)和縱坐標(biāo)，T表示對(duì)由括號(hào)中的兩個(gè)偏導(dǎo)結(jié)果元素組成的矩陣進(jìn)行轉(zhuǎn)置。

其中，點(diǎn)積值的計(jì)算公式為：

$C=\arg \left\{\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{w}_c{\left({\stackrel{\→}{di}}^T\stackrel{\→}{gi}\right)}^2\right\},$

其中，

其中，為任一可能點(diǎn)與眼部區(qū)域邊緣的像素位置之間的位移向量；

為對(duì)應(yīng)的像素位置的梯度向量，并且該梯度向量的方向與事實(shí)上的瞳孔中心點(diǎn)到對(duì)應(yīng)的像素位置向量方向一致；

N為眼部區(qū)域邊緣的像素位置數(shù)；

W_c為在通過(guò)高斯濾波過(guò)濾后的平滑倒影圖像中每個(gè)可能點(diǎn)的灰度值；

為瞳孔區(qū)域邊緣像素的向量，T表示位移向量的矩陣轉(zhuǎn)置；

表示該任一可能點(diǎn)對(duì)應(yīng)的向量。

其中，梯度向量的計(jì)算公式為：

$\stackrel{\→}{gi}={(\frac{\∂I(x_i,y_i)}{\∂x_i},\frac{\∂I(x_i,y_i)}{\∂y_i})}^T$

其中，xi和yi分別表示位移向量所對(duì)應(yīng)的眼部區(qū)域邊緣像素位置的橫坐標(biāo)和縱坐標(biāo)，T表示對(duì)由括號(hào)中的兩個(gè)偏導(dǎo)結(jié)果元素組成的矩陣進(jìn)行轉(zhuǎn)置。

本發(fā)明提供的瞳孔中心點(diǎn)定位方法，在自然光照射的情況下，使用面部特征分析進(jìn)行瞳孔定位，實(shí)現(xiàn)了在無(wú)輔助設(shè)備介入的情況下對(duì)較低分辨率的圖像或視頻進(jìn)行瞳孔定位的方法。極大地?cái)U(kuò)大了瞳孔識(shí)別的應(yīng)用范圍，使普通網(wǎng)絡(luò)攝像頭進(jìn)行瞳孔定位變成了可能。

附圖說(shuō)明

圖1：本發(fā)明的瞳孔中心點(diǎn)定位方法的原理示意圖。

具體實(shí)施方式

為了對(duì)本發(fā)明的技術(shù)方案及有益效果有更進(jìn)一步的了解，下面配合附圖詳細(xì)說(shuō)明本發(fā)明的技術(shù)方案及其產(chǎn)生的有益效果。

本發(fā)明提供一種瞳孔中心點(diǎn)定位方法，包括如下步驟：

S1：圖像預(yù)處理，以將獲取的包括人臉的彩色圖像轉(zhuǎn)換成灰色圖像；

S2：人臉識(shí)別，從所述灰色圖像中獲取包含人臉的最大矩形區(qū)域；具體實(shí)施時(shí)，可使用人臉檢測(cè)器獲取；

S3：人眼區(qū)域識(shí)別，通過(guò)預(yù)設(shè)的比例范圍從人臉的矩形區(qū)域內(nèi)框選眼部區(qū)域；

S4：瞳孔識(shí)別，通過(guò)梯度交點(diǎn)計(jì)算的方法計(jì)算瞳孔中心點(diǎn)。

本發(fā)明中，所謂的梯度交點(diǎn)算法既是通過(guò)遍歷計(jì)算某一圖像區(qū)域中每個(gè)可能點(diǎn)的點(diǎn)積值以找出在該圖像區(qū)域中有有最大點(diǎn)積值的點(diǎn)，從而找到事實(shí)中心點(diǎn)的方法，其中，點(diǎn)積值為圖像區(qū)域中的任一點(diǎn)與圖像區(qū)域邊緣的像素位置所對(duì)應(yīng)的各單位位移向量與梯度向量的積和，具體計(jì)算方法如下文所述。

本發(fā)明中，所述的圖像預(yù)處理方法、人臉識(shí)別方法以及人眼區(qū)域識(shí)別方法均為現(xiàn)有技術(shù)中通用的方法，本發(fā)明不多加以限制。

本發(fā)明中，主要通過(guò)改進(jìn)瞳孔識(shí)別方法，提供一種更精確的瞳孔中心點(diǎn)識(shí)別方法，具體的，通過(guò)分析圓形圖像區(qū)域的梯度向量場(chǎng)特征得到該中心點(diǎn)，更具體的，通過(guò)分析該圓形圖像(例如瞳孔)中的任一可能的中心點(diǎn)與該圖像區(qū)域梯度向量分布方向的數(shù)學(xué)關(guān)系得到該中心點(diǎn)，其數(shù)學(xué)關(guān)系的分析原理，請(qǐng)參見(jiàn)圖1所示，為本發(fā)明的瞳孔中心點(diǎn)定位方法的原理示意圖，如圖所示，圖1的左側(cè)，示意了該圓形圖像內(nèi)的任一可能的中心點(diǎn)C，圖1的右側(cè)，示意了該圓形圖像內(nèi)的事實(shí)上的中心點(diǎn)C*(下文稱瞳孔中心點(diǎn)C*)，請(qǐng)參見(jiàn)圖1左側(cè)，該可能的中心點(diǎn)C(下文稱可能點(diǎn)C)，與圓形圖像的邊緣的某一像素位置x_i之間有一位移向量并且在該像素位置xi處有一與像素位置x_i對(duì)應(yīng)的梯度向量該梯度向量的方向與事實(shí)上的瞳孔中心點(diǎn)C*到對(duì)應(yīng)的像素位置x_i向量方向(如圖1右側(cè)所示)一致；由于一個(gè)圓形圖像的邊緣對(duì)應(yīng)多個(gè)像素位置x_i，每個(gè)可能點(diǎn)C也對(duì)應(yīng)由多個(gè)位移向量和梯度向量構(gòu)成的向量場(chǎng)，通過(guò)下述公式可得到各可能點(diǎn)C的點(diǎn)積值：

$C=\arg \left\{\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{\left({\stackrel{\→}{di}}^T\stackrel{\→}{gi}\right)}^2\right\},$

其中，

其中，為任一可能點(diǎn)與眼部區(qū)域邊緣的像素位置之間的位移向量；

為對(duì)應(yīng)的像素位置的梯度向量，并且該梯度向量的方向與事實(shí)上的瞳孔中心點(diǎn)到對(duì)應(yīng)的像素位置向量方向一致；

N為眼部區(qū)域邊緣的像素位置數(shù)；

為瞳孔區(qū)域邊緣像素的向量，T表示位移向量的矩陣轉(zhuǎn)置；

表示該任一可能點(diǎn)對(duì)應(yīng)的向量。

也即，所謂的點(diǎn)積值，指的是每個(gè)可能點(diǎn)C所對(duì)應(yīng)的向量場(chǎng)中所有的位移向量和梯度向量的內(nèi)積之和，c表示該任一可能點(diǎn)對(duì)應(yīng)的橫坐標(biāo)值，由于在所有的可能點(diǎn)C中，瞳孔中心點(diǎn)C*中的對(duì)應(yīng)每個(gè)像素位置x_i的位移向量以及梯度向量的方向一致，因此，瞳孔中心點(diǎn)C*對(duì)應(yīng)的點(diǎn)積值最大，找出各可能點(diǎn)C中點(diǎn)積值最大的點(diǎn)，該點(diǎn)即為眼部區(qū)域內(nèi)的瞳孔中心點(diǎn)C*。

也即，瞳孔中心點(diǎn)c^*的定位公式為：

$c^{*}=\arg \underset{c}{max}\left\{\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{\left({\stackrel{\→}{di}}^T\stackrel{\→}{gi}\right)}^2\right\},$

其中，梯度向量的計(jì)算公式為：

$\stackrel{\→}{gi}={(\frac{\∂I(x_i,y_i)}{\∂x_i},\frac{\∂I(x_i,y_i)}{\∂y_i})}^T$

其中，xi和yi分別表示位移向量所對(duì)應(yīng)的眼部區(qū)域邊緣像素位置的橫坐標(biāo)和縱坐標(biāo)，T表示對(duì)由括號(hào)中的兩個(gè)偏導(dǎo)結(jié)果元素組成的矩陣進(jìn)行轉(zhuǎn)置。

本發(fā)明中，位移向量在計(jì)算過(guò)程中將被統(tǒng)一縮放至單位長(zhǎng)度，以保證在不同像素位置x_i的點(diǎn)積值計(jì)算結(jié)果有相同的權(quán)重，可以用單位長(zhǎng)度作為不同點(diǎn)間計(jì)算的統(tǒng)一基準(zhǔn)。為了提高算法在線性變化在高亮度和高對(duì)比度情況下的高魯棒性，梯度向量在計(jì)算時(shí)同樣應(yīng)被統(tǒng)一縮放至單位長(zhǎng)度以減少各點(diǎn)權(quán)重不同而帶來(lái)的計(jì)算誤差。

本發(fā)明中，對(duì)圖像區(qū)域進(jìn)行遍歷計(jì)算時(shí)可通過(guò)精簡(jiǎn)梯度向量以減少?gòu)?fù)雜度，只考慮特征最明顯的梯度向量忽略其他同類的分布在該圖像區(qū)域的梯度向量同樣可以得到精確的瞳孔中心點(diǎn)C*。

在某些情況下，某一區(qū)域的梯度點(diǎn)積最大值并不容易獲得，或者算法將局部最大值判斷為最大值從而導(dǎo)致瞳孔中心點(diǎn)定位不準(zhǔn)。例如，在眼部區(qū)域中占多數(shù)面積的眼瞼與虹膜和鞏膜之間的低對(duì)比度或睫毛或皺紋的影響都可能會(huì)導(dǎo)致錯(cuò)誤的定位結(jié)果。因此，算法中需結(jié)合對(duì)眼部先驗(yàn)知識(shí)的考慮以規(guī)避上述算法誤差，增加算法的魯棒性。根據(jù)常識(shí)，對(duì)比膚色與鞏膜，人類的瞳孔顏色更深，所以每一個(gè)可能的瞳孔中心點(diǎn)C所在的像素顏色越深，該點(diǎn)越有可能為真正的瞳孔中心點(diǎn)C*，因此，可以為每一個(gè)可能點(diǎn)C賦予不同的權(quán)重值W_c，且W_c隨著可能點(diǎn)C的像素顏色深度的增加而增加。

因此，本發(fā)明提供了一種更精確的計(jì)算可能點(diǎn)C的點(diǎn)積值的公式：

$C=\arg \left\{\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{w}_c{\left({\stackrel{\→}{di}}^T\stackrel{\→}{gi}\right)}^2\right\},$

其中，

其中，為任一可能點(diǎn)與眼部區(qū)域邊緣的像素位置之間的位移向量；

為對(duì)應(yīng)的像素位置的梯度向量，并且該梯度向量的方向與事實(shí)上的瞳孔中心點(diǎn)到對(duì)應(yīng)的像素位置向量方向一致；

N為眼部區(qū)域邊緣的像素位置數(shù)；

W_c為在通過(guò)高斯濾波過(guò)濾后的平滑倒影圖像中每個(gè)可能點(diǎn)的灰度值；

為瞳孔區(qū)域邊緣像素的向量，T表示位移向量的矩陣轉(zhuǎn)置；

表示該任一可能點(diǎn)對(duì)應(yīng)的向量。

基于上述公式得到的瞳孔中心點(diǎn)c^*的定位公式為：

$c^{*}=\arg \underset{c}{max}\left\{\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{w}_c{\left({\stackrel{\→}{di}}^T\stackrel{\→}{gi}\right)}^2\right\},$

同樣的，梯度向量的計(jì)算公式為：

$\stackrel{\→}{gi}={(\frac{\∂I(x_i,y_i)}{\∂x_i},\frac{\∂I(x_i,y_i)}{\∂y_i})}^T$

其中，xi和yi分別表示位移向量所對(duì)應(yīng)的眼部區(qū)域邊緣像素位置的橫坐標(biāo)和縱坐標(biāo)，T表示對(duì)由括號(hào)中的兩個(gè)偏導(dǎo)結(jié)果元素組成的矩陣進(jìn)行轉(zhuǎn)置。

同樣的，位移向量為單位長(zhǎng)度的等比縮放，從而實(shí)現(xiàn)在不同像素位置xi獲得同樣的計(jì)算權(quán)重。為了提高算法在線性變化在高亮度和高對(duì)比度情況下的高魯棒性，梯度向量在計(jì)算時(shí)同樣應(yīng)為單位長(zhǎng)度的等比縮放。

同樣的，對(duì)圖像區(qū)域進(jìn)行遍歷計(jì)算時(shí)可通過(guò)精簡(jiǎn)梯度向量以減少?gòu)?fù)雜度，只考慮特征最明顯的梯度向量忽略其他同類的分布在該圖像區(qū)域的梯度向量同樣可以得到精確的瞳孔中心點(diǎn)C*。

由于該目標(biāo)函數(shù)的值對(duì)低通濾波的參數(shù)變化不敏感，因此能避免諸如眼鏡反射時(shí)出現(xiàn)的眼部區(qū)域亮度異常的問(wèn)題。

綜上，本發(fā)明在自然光照射的情況下，使用面部特征分析進(jìn)行瞳孔定位，實(shí)現(xiàn)了在無(wú)輔助設(shè)備介入的情況下對(duì)較低分辨率的圖像或視頻進(jìn)行瞳孔定位的方法。極大地?cái)U(kuò)大了瞳孔識(shí)別的應(yīng)用范圍，使普通網(wǎng)絡(luò)攝像頭進(jìn)行瞳孔定位變成了可能。在多級(jí)面部特征分析的基礎(chǔ)上，本方法的主要有益效果在于：

1、提出了一種基于梯度交叉中心點(diǎn)分布的圓形(半圓形)圖案中心點(diǎn)定位方法。

2、將人眼特征作為先驗(yàn)知識(shí)考慮進(jìn)了本算法，一次增加了本算法的魯棒性。

3、在算法中加入了后處理算法以減少用戶佩戴眼鏡帶來(lái)的識(shí)別精度下降等問(wèn)題，良好的解決了眼鏡玻璃反光或眼球特征突出等問(wèn)題，增加了算法在復(fù)雜光環(huán)境下的魯棒性，使其能夠良好的應(yīng)對(duì)光度變化。

雖然本發(fā)明已利用上述較佳實(shí)施例進(jìn)行說(shuō)明，然其并非用以限定本發(fā)明的保護(hù)范圍，任何本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍之內(nèi)，相對(duì)上述實(shí)施例進(jìn)行各種變動(dòng)與修改仍屬本發(fā)明所保護(hù)的范圍，因此本發(fā)明的保護(hù)范圍以權(quán)利要求書(shū)所界定的為準(zhǔn)。