一種基于動態(tài)交比的凝視點估計方法及其系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明涉及一種基于動態(tài)交比的凝視點估計方法及其系統(tǒng)。
【背景技術】
[0002] 隨著人機交互技術的發(fā)展，越來越多的人機交互產(chǎn)品深入了我們的日常生活，目艮 動跟蹤也日益成為的研宄熱點，從傳統(tǒng)的接觸式到現(xiàn)在的非接觸式，人機交互方式朝著更 自然，舒適方便的方向發(fā)展，眼睛作為人類心靈的窗口，作為人類表達思想和情感，獲取信 息的重要來源，眼動跟蹤技術無疑是方便的交流方式，經(jīng)過長時間的發(fā)展，眼動跟蹤技術也 在不斷完善，依靠眼睛進行操作的應用與設備也越來越多，很多時候取代了手指的行為動 作，因此，對眼動跟蹤系統(tǒng)眼睛具有十分重要的意義。
[0003] 基于投影空間中交比不變性的眼動跟蹤技術一直是眼動跟蹤研宄者們的熱點，通 過標定建立虛擬投影平面進而進行凝視點估計是其途徑之一。有研宄者提出了采用建立虛 擬平面的方法，通過標定來設定虛擬平面，后來又在原來參數(shù)的基礎上添加了垂直分量。另 外一些研宄者也在此基礎上進行了研宄，在沒有改變標定參數(shù)的情況下，對結果進行了誤 差修正，通過注視屏幕中已知的五個點，人為對結果進行修正。2011年，Morimoto總結了 基于交比眼動跟蹤方法，指出現(xiàn)在的基于交比不變性的眼動跟蹤系統(tǒng)對頭部位置的變化較 敏感，作者總結了現(xiàn)在的兩種擴展的方法來提高頭部位置的魯棒性，第一種方法是動態(tài)補 償角膜反射模型導致的誤差變化（^Dynamic Displacement Vector Correction(CR-DD))， 該方法側重在結果上進行誤差修正，第二種方法（Planarization of CR Features (PL-CR) method)估計真正的共面眼睛特征，通過建立虛擬平面模型，從而使得交比可以使用，該方 法側重修改參數(shù)，使得瞳孔中心和光斑中心所在的虛擬平面共面。作者還補充說明了第二 種方法對頭部的適應性較好。
[0004] 采用動態(tài)交比進行凝視點估計的方法，用戶進行凝視點估計的差異性主要由以下 兩種原因?qū)е拢?)人眼的視軸與光軸之間的偏差，這個每個人的可能不一樣，一般小于5° ; 2)如何精確擬合線交比和弧交比的關系是提高凝視點精度的關鍵。本發(fā)明旨在擬合線交比 和弧交比關系即第二個問題。
[0005] 眼睛作為一個球體，利用交比不變性來估計凝視點時，需要建立虛擬投影平面。如 圖1所示，此方法在用戶通過標定得到四個參數(shù)，計算四個虛擬投影點，以此建立一個虛擬 平面，使瞳孔中心和光斑的虛擬投影點處于同一個平面，然后利用交比不變性來估計凝視 點，但是該方法會產(chǎn)生四個虛擬點的誤差，從而最終產(chǎn)生較大的凝視點誤差。而為了消除這 四個點的誤差，即直接利用四個光斑點的坐標來計算。
[0006] 因此需要一種無需構造虛擬平面，即省略了計算虛擬光斑投影點這一步驟，通過 離線學習線交比和弧交比的比例關系，直接利用檢測到的光斑點來估計凝視點。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種基于動態(tài)交比的凝視點估計方 法及其系統(tǒng)，獲取基于近紅外光圖像的光斑點中心與瞳孔中心，擬合線交比和弧交比的關 系，直接利用檢測到的光斑點進行凝視點估計；解決現(xiàn)有技術為了使用交比不變性的原理 來估計凝視點，需要通過構造一個虛擬平面，使瞳孔中心和光斑的虛擬投影點處于同一個 平面，然后利用交比不變性來估計凝視點的方法會產(chǎn)生四個虛擬點的誤差，從而最終產(chǎn)生 較大的凝視點誤差的問題。
[0008] 本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：一種基于動態(tài)交比的凝視點估計方 法，它包括以下子步驟：
[0009] S1 :建立動態(tài)交比模型，推導線交比和弧交比的關系；
[0010] S2 :根據(jù)相機采集到的圖像中光斑點間的距離，對線交比和弧交比的交比比例關 系進行擬合；
[0011] S3 :對凝視點估計計算：根據(jù)步驟S2中擬合得到的線交比和弧交比的關系式，實 時計算交比值并計算凝視點。
[0012] 所述的推導線交比和弧交比的關系包括以下子步驟：
[0013] S11 :在四點共線的情況下得到線交比表達式C&，其中四點分別為A、B、C和D，發(fā) 射點為P，包括以下子步驟：
[0014] 51101:在厶八?(：、厶8?(：、厶4?0、厶8?0中，根據(jù)三角形正弦定理我們可以得到下 面四個關系式：
[0015]
【主權項】
1. 一種基于動態(tài)交比的凝視點估計方法，其特征在于：它包括以下子步驟： 51 :建立動態(tài)交比模型，推導線交比和弧交比的關系； 52 :根據(jù)相機采集到的圖像中光斑點間的距離，對線交比和弧交比的交比比例關系進 行擬合； 53 :對凝視點估計計算：根據(jù)步驟S2中擬合得到的線交比和弧交比的關系式，實時計 算交比值并計算凝視點。
2. 根據(jù)權利要求1所述的一種基于動態(tài)交比的凝視點估計方法，其特征在于：所述的 推導線交比和弧交比的關系包括以下子步驟： 511 :在四點共線的情況下得到線交比表達式CI^，其中四點分別為A、B、C和D，發(fā)射點 為P，包括以下子步驟： 51101 :在AAPC、ABPC、AAPD、ABPD中，根據(jù)三角形正弦定理我們可以得到下面四個 關系式：
51102 :將步驟SllOl中得到的四個公式相乘，得到四點共線的交比表達式CR^
512 :在四點共圓的情況下得到弧交比表達式CR。，其中四點分別為A、B、C和D，發(fā)射點 為P，圓心為0,包括以下步驟： S1201 :在AAPC、ABPC、AAPD、ABPD中，根據(jù)三角形正弦定理我們可以得到下面四個 關系式：
51203 :由于在一個圓中，等長的弧對應的圓周角相等，也等于其對應的圓心角的一半， 因此可以得到：
51204 :將步驟S1203得到的公式代入步驟S1201中得到的公式，得到下式：
51205 :在眼動跟蹤的系統(tǒng)中，每個人的眼球半徑幾乎相等，因此交比比例關系值只與 眼球的位置有關，而且，眼球與相機的距離遠大于眼球的半徑，可以近似認為PA = PB = PC =PD，閔此有：
將上述兩個公式代入步驟S1204中得到的公式，得到：
51206 :眼球與相機的距離遠大于眼球的半徑，因此把相機到眼球上的任意點的距離均 視為等于PA的長度； 由于在ABPD和ABPC中，有：
其中R為眼球的半徑； 將上面三個公式代入步驟S1205中得到的公式,得到：
3.根據(jù)權利要求2所述的一種基于動態(tài)交比的凝視點估計方法，其特征在于：步驟S2 包括以下子步驟： S21 :標定采集樣本點，計算公式如下： 式中，CM5PCR y為計算得到的理論交比值，W和H分別為屏幕寬和高，X g，y#別為標 定點的橫縱坐標值；
S22 :通過標定程序，采集一系列注視所述的樣本點的眼睛圖像，經(jīng)過圖像處理得到每 張圖像對應的光斑點坐標和理論的線交比例，包括以下子步驟： 52201 :得到圖像中弧交比的計算公式如下：
式中)(/ =丨，2,3,4) 52202 :根據(jù)樣本點和步驟S1206得到公式，擬合線交比和弧交比關系Y :
式中，R是一個常數(shù)，無需擬合，PA可以再圖像光斑點中反映出來，即我們可以采用光 斑點的距離來代替PA進行擬合； S2203:為了不再計算額外點的坐標，假設AB= AaAD，BC= AbAD，BD= ACAD，步驟S22 中的公式表示為：
S2024 :為了擬合更加準確和一般性，將步驟S2203得到的公式表示為：
S25 :利用Matlab中非線性擬合工具來進行Y的擬合，得到線交比和弧交比的關系式。
4. 根據(jù)權利要求3所述的一種基于動態(tài)交比的凝視點估計方法，其特征在于：所述的 屏幕寬和高均以像素為單位。
5. 根據(jù)權利要求3所述的一種基于動態(tài)交比的凝視點估計方法，其特征在于：步驟S3 包括以下子步驟： 531 :當采集到一幀圖像并檢測出光斑點后，利用步驟S2201中的公式和步驟S2204中 的公式計算出弧交比值以及線交比和弧交比的比例關系，得到線交比值； 532 :利用以下公式進行凝視點估計：
9 式中CRdP CR y為線交比值，W和H分別為屏幕的寬和高，X 8和y g即為凝視點的估計坐 標。
6. 如權利要求1-5中任意一項所述的一種基于動態(tài)交比的凝視點估計方法的系統(tǒng)， 其特征在于：它包括動態(tài)交比模型建立模塊、動態(tài)交比學習模塊和凝視點估計模塊，所述的 動態(tài)交比模型建立用于推導線交比和弧交比的關系；所述的動態(tài)交比學習模塊用于通過標 定，擬合線交比和弧交比關系；所述的凝視點估計模塊用于凝視點估計。
【專利摘要】本發(fā)明公開了一種基于動態(tài)交比的凝視點估計方法及其系統(tǒng)，方法包括以下子步驟：S1：建立動態(tài)交比模型，推導線交比和弧交比的關系； S2：根據(jù)相機采集到的圖像中光斑點間的距離，對線交比和弧交比的交比比例關系進行擬合；S3：對凝視點估計計算：根據(jù)步驟S2中擬合得到的線交比和弧交比的關系式，實時計算交比值并計算凝視點。本發(fā)明無須計算四個參數(shù)，直接擬合線交比和弧交比的關系，當眼睛移動或轉(zhuǎn)動時，即可直接利用該關系得到交比關系，然后直接利用四個光斑點計算凝視點，該方法省略了計算虛擬投影點的過程，即減少了計算四個點的誤差，而只有計算交比這一誤差，具有精確度高，實時性好的特點。
【IPC分類】G06T7-00
【公開號】CN104751467
【申請?zhí)枴緾N201510151563
【發(fā)明人】程洪, 謝道訓, 楊路
【申請人】電子科技大學
【公開日】2015年7月1日
【申請日】2015年4月1日