專利名稱：基于非均勻樣本插值的眼動儀定標(biāo)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于非均勻樣本插值定標(biāo)的眼動儀方法，屬于視頻、多媒體信號處理技 術(shù)領(lǐng)域。
背景技術(shù)：
.
由于人類生活水平的提高，各種高科技家電設(shè)備也日漸普及?，F(xiàn)有虛擬實境系統(tǒng)、頭配 顯示器或其他觀賞、瀏覽設(shè)備也應(yīng)用而生。目前，頭配系統(tǒng)設(shè)計者常期望能夠獲得有關(guān)使用 者的眼球活動行為的材料，以作為整個系統(tǒng)架構(gòu)改進(jìn)的參考。而這些材料，也同時是研究醫(yī) 學(xué)、心理學(xué)、生理學(xué)、傳播學(xué)等專家學(xué)者所急于探討的題材。眼動儀作為一種人機(jī)交互系統(tǒng)， 已成為國內(nèi)外有關(guān)學(xué)者關(guān)注與研究的課題，近年來，隨著紅外技術(shù)和微電子技術(shù)的飛速發(fā)展， 測量眼睛運動的方法也日趨成熟，其應(yīng)用己深入到軍事、商業(yè)、日常生活等領(lǐng)域。同時，眼 動儀也能夠幫助重度癱瘓但視覺良好的病人，通過眼球活動行為及時地表達(dá)他們的感受與需 求。
眼睛圖像和屏幕真實注視點之間的定標(biāo)技術(shù)是眼動儀中的關(guān)鍵技術(shù)。定標(biāo)技術(shù)直接影響 到眼動儀的精度。因此，如何找到更好的定標(biāo)方法也就成為眼動儀研究的難點和重點?，F(xiàn)在 已有的定標(biāo)方法有三種(1)線性定標(biāo)方法，該方法沒有考慮眼睛成像的非線性特點，把眼 睛圖像的運動和屏幕注視點軌跡看成一種線性的映射關(guān)系，精度較低；(2)極坐標(biāo)方法，該 方法是在極坐標(biāo)系中，通過分別計算角度和弧度來定位屏幕注視點，但精度仍沒有明顯提高； (3)擬合方法，該方法通過已知的定標(biāo)點，擬合出眼睛圖像和屏幕注視點之間的多項式映射
關(guān)系，但擬合出的多項式也不能很好的反應(yīng)出整個屏幕的對應(yīng)關(guān)系，具有一定的局限性。

發(fā)明內(nèi)容
針對現(xiàn)有眼動儀存在的精度低的問題，本發(fā)明提供一種精度高的基于非均勻樣本插值的 眼動儀定標(biāo)方法，該方法利用已有的定標(biāo)點，通過非均勻樣本插值的思想，計算出測試點的 屏幕注視坐標(biāo)，能夠大大提高眼動儀的精度。
本發(fā)明的基于非均勻樣本插值的眼動儀定標(biāo)方法，是通過瞳孔中心提取和非均勻樣本插
值定標(biāo)兩個過程來實現(xiàn)的，具體步驟如下
(1) 瞳孔中心提取
首先在電腦整個屏幕上選取不同行、不同列的多個點作為定標(biāo)點，點數(shù)根據(jù)屏幕大小和
要求精度來確定，對于17寸屏幕，要求精度在1。以內(nèi)，選用17-19個點，記錄定標(biāo)點在屏幕
上的坐標(biāo)，再隨意選取任意個點數(shù)作為測試點，用來驗證算法的精度，在紅外光源的照射下，
采集眼睛的瞳孔運動軌跡視頻，每個注視點的間隔時間為4秒，將采集好的視頻經(jīng)過色度變 換、canny算子的邊緣提取、積分投影后，采用橢圓擬合的算法，提取出每個注視點的瞳孔 中心坐標(biāo)；
(2) 非均勻樣本插值定標(biāo)
由于行列坐標(biāo)不相關(guān)，因此分別計算測試點的行列坐標(biāo)，計算測試點的列坐標(biāo)過程如下 在樣本點中搜索，找到列坐標(biāo)最靠近測試點的3個樣本點，分別計算出測試點和最近的3個樣本點之間的列坐標(biāo)的差值A(chǔ)、丄2、丄3，所述樣本點是已知屏幕坐標(biāo)位置的點，測試點則是
根據(jù)算法和樣本點將要推測屏幕坐標(biāo)的點，按照非均勻樣本插值，距離需要插值的點越遠(yuǎn)的 點，對插值的數(shù)值影響越小，則設(shè)
《=1/^ 《=1/丄2 ￡/3 =1/丄3
設(shè)乂、 A、 A分別為最近鄰3個樣本點的屏幕注視點列坐標(biāo)，則測試點1的列坐標(biāo)大小為 >> =《/(《+ c/2 + c/3) x+ J2 /(《+ d2 +1/3)x少2 + i/3 + fif2 + d3)x少3 ;
同理，能夠計算出測試點的行坐標(biāo)。
本發(fā)明避免了考慮眼球物理模型和瞳孔中心和注視點的非線性關(guān)系等難點，而是通過非 均勻樣本插值，實現(xiàn)瞳孔中心和注視點的準(zhǔn)確定位，具有簡單、高效、魯棒性強(qiáng)、準(zhǔn)確度高 等優(yōu)點。


圖l是本發(fā)明的原理示意圖。
圖2是瞳孔中心運動軌跡圖。
圖3是實例中的采集點和測試點圖。
圖4是采集視頻圖像。
圖5是瞳孔邊緣提取。
圖6是瞳孔中心定位圖。
圖7是視頻中的瞳孔定位結(jié)果。
圖8是同一個注視點的抖動現(xiàn)象。
圖9是測試點的列坐標(biāo)誤差比較圖。
圖IO是測試點的行坐標(biāo)誤差比較圖。
圖ll是測試點坐標(biāo)顯示結(jié)果圖。
具體實施例方式
實施例
本發(fā)明的硬件設(shè)備有一個高倍攝像頭和兩個紅外光源，本發(fā)明的具體實現(xiàn)步驟如圖1所 示。首先在電腦整個屏幕上選取19個點作為定標(biāo)點，如圖3，屏幕中心點和向下彎的這條折 線上的19個點，分別為不同行、不同列的點，行列間隔大小為2cm。任意選取7個測試點， 屏幕左上部2個點，右下部5個點，用來驗證算法的精度。如圖2所示，樣本點廣19為定標(biāo) 點的瞳孔中心，測試點廣7為測試點的瞳孔,心。
在紅外光源的照射下，采集眼睛的瞳孔運動軌跡視頻。采集視頻時，人眼與屏幕的距離 為50cm，光源距離人眼大約40cm，光源分別位于攝像頭兩側(cè)35cm處；視頻采集的速率為25 幀/秒；分辨率為767*574;每個注視點的注視時間為4s，也就是每個注視點采集100幀圖像； 總幀數(shù)為2300幀；視頻卡型號為OK一C20黑白視頻采集卡，采集的視頻圖像如圖3。
由于采集的視頻是彩色幀，先將RGB格式轉(zhuǎn)化為YUV格式，選用YUV格式中的Y分量進(jìn)行處理。將視頻中的每幀圖像經(jīng)過色度變換、canny算子的邊緣提取、積分投影后，采用橢 圓擬合的算法，提取出每幀圖像的瞳孔中心坐標(biāo)。如圖4 7。每個注視點采集100幀圖像， 由于眼睛在注視點同一點時存在抖動現(xiàn)象，如圖8，采用中值濾波的方法去除抖動，最終確 定每個注視點的瞌孔中心坐標(biāo)。將樣本點的瞳孔中心坐標(biāo)和屏幕真實的注視點坐標(biāo)一 -對應(yīng) 起來。
由于注視點行列坐標(biāo)不相關(guān)，分別計算測試點的行列坐標(biāo)。以列為例，首先在樣本點中 搜索，找到列坐標(biāo)最接近的三個樣本點，然后按照非均勻樣本插值，根據(jù)已知的樣本點插值 出測試點的列坐標(biāo)。同理，計算出測試點的行坐標(biāo)。
如圖9、圖10和圖11，為真實注視點和本發(fā)明的定標(biāo)算法得到的注視點之間的誤差比較。 其中圖10中，綠色點為真實注視點位置，藍(lán)色點為計算出的注視點位置。列坐標(biāo)誤差如下表
列坐標(biāo)誤差(以屏幕中心為(0 0)點，向右、下為正方向建立坐標(biāo)系)
真實列坐 標(biāo)-13.0000-9.00001.00005. 0000-3.00009.000013. 0000
插值行坐 標(biāo)-12.9584-8.38961.17625. 0016-2.942110.538912. 7657
誤差-O.0416-0. 6104-0.1762-0. 0016-O.0579-1. 53890. 2343
行坐標(biāo)誤差如下表-行坐標(biāo)誤差(以屏幕中心為(o 0)點，向右、下為正方向建立坐標(biāo)系)真實行 坐標(biāo)-9.5000-5. 0000-1.00003.00007. 0000-5.00009.5000
插值行 坐標(biāo)-7.5916-3.9221-O.25483. 17837. 3582-4.82059.0770
誤差-1.9084-1.0779-O.7452-0. 1783-O. 3582-0. 17950.4230
從上面的實例中可以看出，本發(fā)明的非均勻樣本插值定標(biāo)方法，能更準(zhǔn)確地實現(xiàn)眼動儀 的視線跟蹤，而且避免了考慮眼球物理模型和瞳孔中心和注視點的非線性關(guān)系等難點，本發(fā) 明的定標(biāo)方法簡單、高效、準(zhǔn)確度高。
權(quán)利要求
1.一種基于非均勻樣本插值的眼動儀定標(biāo)方法，是通過瞳孔中心提取和非均勻樣本插值定標(biāo)兩個過程來實現(xiàn)的，具體步驟如下(1)瞳孔中心提取首先在電腦整個屏幕上選取不同行、不同列的多個點作為定標(biāo)點，點數(shù)根據(jù)屏幕大小和要求精度來確定，對于17寸屏幕，要求精度在1°以內(nèi)，選用17-19個點，記錄定標(biāo)點在屏幕上的坐標(biāo)，再隨意選取任意個點數(shù)作為測試點，用來驗證算法的精度，在紅外光源的照射下，采集眼睛的瞳孔運動軌跡視頻，每個注視點的間隔時間為4秒，將采集好的視頻經(jīng)過色度變換、canny算子的邊緣提取、積分投影后，采用橢圓擬合的算法，提取出每個注視點的瞳孔中心坐標(biāo)；(2)非均勻樣本插值定標(biāo)由于行列坐標(biāo)不相關(guān)，因此分別計算測試點的行列坐標(biāo)，計算測試點的列坐標(biāo)過程如下在樣本點中搜索，找到列坐標(biāo)最靠近測試點的3個樣本點，分別計算出測試點和最近的3個樣本點之間的列坐標(biāo)的差值L1、L2、L3，所述樣本點是已知屏幕坐標(biāo)位置的點，測試點則是根據(jù)算法和樣本點將要推測屏幕坐標(biāo)的點，按照非均勻樣本插值，距離需要插值的點越遠(yuǎn)的點，對插值的數(shù)值影響越小，則設(shè)d1＝1/L1d2＝1/L2d3＝1/L3設(shè)y1、y2、y3分別為最近鄰3個樣本點的屏幕注視點列坐標(biāo)，則測試點1的列坐標(biāo)大小為y＝d1/(d1+d2+d3)×y1+d2/(d1+d2+d3)×y2+d3/(d1+d2+d3)×y3；同理，能夠計算出測試點的行坐標(biāo)。
全文摘要
本發(fā)明公開了一種基于非均勻樣本插值的眼動儀定標(biāo)方法。首先選取注視屏幕上不同行、不同列的多個點作為定標(biāo)點，記錄其屏幕上的真實坐標(biāo)，利用橢圓擬合的方法提取出眼睛瞳孔中心坐標(biāo)，將瞳孔中心坐標(biāo)和屏幕真實坐標(biāo)一一對應(yīng)作為參考插值點。然后注視屏幕上任意一點作為測試點，按照非均勻樣本插值的思想，計算出測試點在屏幕上的真實坐標(biāo)，實現(xiàn)視線跟蹤。本發(fā)明避免了現(xiàn)有技術(shù)考慮眼球物理模型和眼睛成像的非線性特性等難點，通過非均勻樣本插值的思想，實現(xiàn)瞳孔中心和注視點的準(zhǔn)確定位，具有簡單、高效、魯棒性強(qiáng)、準(zhǔn)確度高等優(yōu)點。
文檔編號G06F3/01GK101576771SQ20091001974
公開日2009年11月11日 申請日期2009年3月24日 優(yōu)先權(quán)日2009年3月24日
發(fā)明者琚 劉, 孫建德, 煜 杜, 楊曉暉, 褚金玉 申請人:山東大學(xué)