一種視線估計設備和方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及一種視線估計設備和方法，更具體地講，涉及一種使用簡單標定來確 定視線位置的視線估計設備和方法。
【背景技術(shù)】
[0002] 視線是眼睛注視的方向，它代表一個人關(guān)注的焦點。近幾十年，視線追蹤一直都是 比較活躍的研究課題。視線追蹤在人機交互領(lǐng)域存在著很大的應用潛力。例如，當使用者 注視顯示器屏幕時，可以通過視線追蹤系統(tǒng)估計出使用者在屏幕上的注視點。因此，視線可 以作為一種先進的計算機輸入手段，其已經(jīng)被證明比傳統(tǒng)輸入設備（比如鼠標指針）更有 效率，并且即使是身體殘障的人士也可以同樣使用這樣的視線追蹤系統(tǒng)實現(xiàn)輸入。此外，還 可實現(xiàn)基于視線追蹤技術(shù)的互動顯示器，該顯示器的顯示畫面可隨視線的變化而變化，并 且視線追蹤技術(shù)也被認知科學家廣泛地應用于人類的認知和記憶研究。
[0003] 盡管已有大量的研究工作，但在現(xiàn)實世界中用計算機視覺的方法估計人眼視線的 方向依然是個難題，特別是在有光照變化，頭部旋轉(zhuǎn)角度大等情況下難以精確地估計人眼 視線。
[0004]目前的視線估計方法可以大致分為基于頭戴式設備的方法和遠距離視線跟蹤的 方法。頭戴式方法需要在頭部佩戴一個類似頭盔的設備，利用上面的攝像頭采集眼睛的圖 像信息，其缺點在于使用與攜帶不方便，為用戶帶來額外的負擔，而且由于設備比較復雜以 及成本較高，限制了其廣泛推廣的可能。與之相比較，遠距離視線跟蹤方法是一種非接觸式 的方法，它不需要用戶佩戴額外的設備，不會影響用戶的自然使用。遠距離視線跟蹤方法主 要是基于瞳孔-角膜反射技術(shù)，也就是利用紅外光源在人眼中產(chǎn)生反射點，通過追蹤瞳孔 中心與角膜反射的相對位置，根據(jù)相機的成像路徑估計人眼球的三維位置，得到視線方向。 這種使用遠距離視線跟蹤方法有以下幾個優(yōu)點：（1)因為采用幾何模型進行視線估計，視 線估計的精度不會隨著頭部運動而受到很大影響；（2)三維視線估計方法估計的是空間視 線方向，而不是屏幕視線落點，所以視線估計不依賴于屏幕位置、大小、形狀，可以計算視線 在任何物體上的注視點。但同時使用遠距離視線跟蹤方法也存在以下幾個缺點：（1)因為 三維視線估計需要使用眼睛特征參數(shù)，增加了眼睛特征檢測和參數(shù)提取的復雜性；（2)因 為需要估計角膜球面中心的空間位置，而角膜球面中心不可見，需要至少兩個光源的像去 估計角膜球面中心的空間位置，所以至少需要兩個光源；（3)需要進行光源位置標定和屏 幕位置標定，并且三維視線估計對以上位置非常敏感?，F(xiàn)有的視線估計方法中存在的以上 缺陷，使得基于視線估計的應用難以得到推廣。
[0005] 因此，需要一種相對于現(xiàn)有的視線估計技術(shù)能夠更方便、準確的估計人眼視線，同 時無需過高的設備成本的視線估計設備和方法。

【發(fā)明內(nèi)容】

[0006] 根據(jù)本發(fā)明的一方面，提供了一種視線估計設備，所述設備包括：標定模塊，被配 置為通過使用針對屏幕上的N個預定位置而分別采集的N個眼睛圖像，來合成與屏幕上的 預設M個標定點位置分別對應的M個合成眼睛圖像，其中，M和N是自然數(shù)，并且M>N;視 線估計模塊，被配置為使用預設視線估計模型來確定待測眼睛圖像的參考視線位置，并使 用與確定的參考視線位置鄰近的多個合成眼睛圖像來確定待測眼睛圖像的最終視線位置。
[0007] 所述視線估計設備還可包括：更新模塊，被配置為基于最終視線位置已被確定的 待測眼睛圖像來選擇性地更新標定模塊合成的合成眼睛圖像。
[0008] 所述標定模塊可包括：第一合成圖像產(chǎn)生模塊，被配置為分別以采集的N個眼睛 圖像中的每個眼睛圖像作為基準眼睛圖像來合成眼睛圖像，以產(chǎn)生N組合成眼睛圖像，每 組合成眼睛圖像包括M個合成眼睛圖像；第二合成圖像產(chǎn)生模塊，被配置為使用第一合成 圖像產(chǎn)生模塊產(chǎn)生的N組合成眼睛圖像來合成最終的一組合成眼睛圖像，所述最終的一組 合成眼睛圖像包括M個最終的合成眼睛圖像。
[0009] 所述第一合成圖像產(chǎn)生模塊可包括：光流計算模塊，被配置為計算采集的N個眼 睛圖像中除基準眼睛圖像以外的每個眼睛圖像相對于基準眼睛圖像的光流圖；插值模塊， 被配置為通過對光流計算模塊計算的光流圖進行線性插值來獲得與屏幕上的每個標定點 位置對應光流圖；圖像合成模塊，被配置為使用基準眼睛圖像中的像素的顏色值或灰度值 以及獲取的與每個標定點位置對應的光流圖來產(chǎn)生與屏幕上的每個標定點位置對應的合 成眼睛圖像。
[0010] 所述光流計算模塊計算的光流圖可包括水平光流圖和垂直光流圖。所述插值模塊 可對光流計算模塊計算的垂直光流圖進行垂直方向的線性插值并對光流計算模塊計算的 水平光流圖進行水平方向的線性插值，從而獲得與屏幕上的所述M個標定點位置分別對應 的M個垂直光流圖和M個水平光流圖。
[0011] 所述第一合成圖像產(chǎn)生模塊還可包括：修補模塊，被配置為對圖像合成模塊合成 的合成眼睛圖像中的空洞部分進行填充。
[0012] 所述視線估計模塊可包括：粗定位模塊，被配置為提取待測眼睛圖像的表觀特征， 并基于提取的表觀特征使用所述預設視線估計模型來確定待測眼睛圖像的參考視線位置； 細定位模塊，被配置為獲取與以粗定位模塊確定的參考視線位置為中心的預定鄰近范圍內(nèi) 的標定點位置對應的眼睛圖像的集合，并基于所述集合中的眼睛圖像的位置的加權(quán)線性組 合來確定待測眼睛圖像的最終視線位置。
[0013] 所述細定位模塊可基于所述集合中的眼睛圖像的圖像特征以及所述待測眼睛圖 像的圖像特征來確定與所述集合中的每個眼睛圖像的位置相應的加權(quán)系數(shù)。
[0014] N的值可以為5,M的值可以為32。
[0015]根據(jù)本發(fā)明另一方面，提供了一種視線估計方法，所述方法包括：(a)通過使用針 對屏幕上的N個預定位置而分別采集的N個眼睛圖像，來合成與屏幕上的預設M個標定點 位置分別對應的M個合成眼睛圖像，其中，M和N是自然數(shù)，并且M>N; (b)使用預設視線 估計模型來確定待測眼睛圖像的參考視線位置；(c)使用與確定的參考視線位置鄰近的多 個合成眼睛圖像來確定待測眼睛圖像的最終視線位置。
[0016] 所述視線估計方法還可包括：（d)基于步驟（C)中獲得的最終視線位置已被確定 的待測眼睛圖像來選擇性地更新步驟（a)中的合成眼睛圖像。
[0017] 步驟（a)可包括：（al)分別以采集的N個眼睛圖像中的每個眼睛圖像作為基準眼 睛圖像來合成眼睛圖像，以產(chǎn)生N組合成眼睛圖像，每組合成眼睛圖像包括M個合成眼睛圖 像；(a2)使用步驟（al)中產(chǎn)生的N組合成眼睛圖像來合成最終的一組合成眼睛圖像，所述 最終的一組合成眼睛圖像包括M個最終的合成眼睛圖像。
[0018]步驟（al)可包括：計算采集的N個眼睛圖像中除基準眼睛圖像以外的每個眼睛圖 像相對于基準眼睛圖像的光流圖；通過對計算的光流圖進行線性插值來獲得與屏幕上的每 個標定點位置對應光流圖；使用基準眼睛圖像中的像素的顏色值或灰度值以及獲取的與每 個標定點位置對應的光流圖來產(chǎn)生與屏幕上的每個標定點位置對應的合成眼睛圖像。
[0019] 所述計算的光流圖可包括水平光流圖和垂直光流圖。對計算的光流圖進行線性插 值的步驟可包括：對計算的垂直光流圖進行垂直方向的線性插值并對計算的水平光流圖進 行水平方向的線性插值，從而獲得與屏幕上的所述M個標定點位置分別對應的M個垂直光 流圖和M個水平光流圖。
[0020] 步驟（al)還可包括：對合成的合成眼睛圖像中的空洞部分進行填充。
[0021] 步驟（b)可包括：提取待測眼睛圖像的表觀特征；基于提取的表觀特征使用所述 預設視線估計模型來確定待測眼睛圖像的參考視線位置；獲取與以確定的參考視線位置為 中心的預定鄰近范圍內(nèi)的標定點位置對應的眼睛圖像的集合，并基于所述集合中的眼睛圖 像的位置的加權(quán)線性組合來確定待測眼睛圖像的最終視線位置。
[0022] 可基于所述集合中的眼睛圖像的圖像特征以及所述待測眼睛圖像的圖像特征來 確定與所述集合中的每個眼睛圖像的位置相應的加權(quán)系數(shù)。
[0023] 有益效果
[0024] 使用本發(fā)明的示例性實施例的視線估計設備和方法，能夠在無需任何紅外光源的 情況下僅利用一個普通的彩