背景技術(shù)：

1、本公開總體上涉及眼睛追蹤領(lǐng)域。具體地，本公開涉及用于生成和/或使用指示眼睛的凝視方向的凝視追蹤數(shù)據(jù)的系統(tǒng)和方法。

2、在本領(lǐng)域中已知幾種不同的眼睛追蹤系統(tǒng)。例如，可以采用這樣的系統(tǒng)來允許用戶通過看著計(jì)算機(jī)顯示器上的某個(gè)位置來指示該位置。眼睛追蹤系統(tǒng)可以捕獲用戶面部的圖像，然后采用圖像處理來從用戶面部提取關(guān)鍵特征，諸如瞳孔中心和來自照亮用戶面部的照明器的閃光。然后可以采用所提取的特征來確定用戶看著顯示器上的位置。自然而言，期望諸如眼睛追蹤的準(zhǔn)確性、速度和可靠性/魯棒性的因素來實(shí)現(xiàn)積極的用戶體驗(yàn)。因此，已經(jīng)提出了幾種方案來減輕在眼睛追蹤系統(tǒng)中可能發(fā)生的不同類型的誤差或不準(zhǔn)確性的負(fù)面影響。

3、例如，us2010/0328444?a1(其通過引用整體并入本文)公開了一種眼睛追蹤器，該眼睛追蹤器包括用于照亮眼睛的至少一個(gè)照明器、用于對眼睛成像的至少兩個(gè)相機(jī)，以及控制器。該照明器和相機(jī)的配置使得至少一個(gè)相機(jī)與基準(zhǔn)照明器同軸且至少一個(gè)相機(jī)與基準(zhǔn)照明器不同軸。該控制器被適配成將這些相機(jī)之一選擇成工作的以使圖像質(zhì)量度量最大化并且避免遮擋物體。該眼睛追蹤器可工作在雙相機(jī)模式下以提高準(zhǔn)確度。還公開了一種方法和計(jì)算機(jī)程序產(chǎn)品，用于從多個(gè)基準(zhǔn)照明器中選擇工作的基準(zhǔn)照明器和從多個(gè)相機(jī)中選擇工作的相機(jī)的組合。

4、作為另一示例，us2014/0362446?a1(其通過引用整體并入本文)公開了一種頭戴式顯示器(hmd)系統(tǒng)。該hmd系統(tǒng)包括眼睛位置檢測器、優(yōu)勢眼檢測器和圖像生成器，該眼睛位置檢測器包括被配置成檢測該hmd用戶的每只眼睛的位置的一個(gè)或多個(gè)相機(jī)，該優(yōu)勢眼檢測器被配置成檢測該hmd用戶的優(yōu)勢眼，該圖像生成器被配置成根據(jù)該hmd用戶的眼睛位置來生成供該hmd顯示的圖像。該圖像生成器被配置成對該優(yōu)勢眼的檢測位置施加比該非優(yōu)勢眼的檢測位置更大的權(quán)重。通過以下一個(gè)或多個(gè)步驟來檢測該優(yōu)勢眼：(i)具有較寬移動(dòng)范圍的眼睛，(ii)最接近和/或最快地到達(dá)適合于所顯示的刺激點(diǎn)的凝視方向的眼睛，(iii)保持與所顯示的刺激點(diǎn)相關(guān)聯(lián)的位置的眼睛。

5、作為另一個(gè)示例，us2016/0004303?a1(通過引用將其整體并入本文)公開了一種眼睛凝視追蹤系統(tǒng)，該眼睛凝視追蹤系統(tǒng)包括凝視數(shù)據(jù)采集系統(tǒng)，該凝視數(shù)據(jù)采集系統(tǒng)包括多個(gè)光源和多個(gè)圖像傳感器。這些光源被布置成向該用戶的頭部發(fā)射光，并且這些圖像傳感器被配置成接收該光。在實(shí)施例中，該系統(tǒng)進(jìn)一步包括凝視追蹤模塊，該凝視追蹤模塊包括視覺特征提取模塊、關(guān)注點(diǎn)(por)計(jì)算模塊和por平均模塊。該視覺特征提取模塊被配置成處理該凝視數(shù)據(jù)并且提取與每個(gè)圖像傳感器相關(guān)聯(lián)的視覺特征，并且被配置成確定與每個(gè)圖像傳感器的這些參數(shù)的準(zhǔn)確度相關(guān)聯(lián)的置信度值。該置信度值可以例如取決于頭部姿勢角(偏轉(zhuǎn)、俯仰和傾側(cè)角)、用戶距離和特征檢測可靠性。該por計(jì)算模塊被配置成用于根據(jù)針對每個(gè)圖像傳感器的視覺特征來確定por。該por平均模塊被配置成使用該各圖像傳感器的por的置信度值來確定平均por。

6、然而，期望提供解決上述問題中的至少一個(gè)的另外的系統(tǒng)和方法。

技術(shù)實(shí)現(xiàn)思路

1、本公開的目的是解決至少一個(gè)上述問題。

2、根據(jù)第一方面，提供了一種包含電路的眼睛追蹤系統(tǒng)。該眼睛追蹤系統(tǒng)也可以被稱為凝視追蹤系統(tǒng)。該電路被配置成用于獲得用戶的左眼的一個(gè)或多個(gè)圖像以及該用戶的右眼的一個(gè)或多個(gè)圖像，基于所獲得的左眼的至少一個(gè)圖像來確定(或計(jì)算)該用戶的左眼的凝視方向，以及基于所獲得的右眼的至少一個(gè)圖像來確定(或計(jì)算)用戶的右眼的凝視方向。該電路被配置成用于基于該左眼的一個(gè)或多個(gè)所獲得的圖像來確定(或計(jì)算)第一置信度值。該第一置信度值表示所確定的左眼的凝視方向的可靠性的指示。該電路被配置成用于基于所獲得的該右眼的一個(gè)或多個(gè)圖像來確定(或計(jì)算)第二置信度值。該第二置信度值表示所確定的右眼的凝視方向的可靠性的指示。該電路被配置成用于至少部分地基于該第一置信度值和該第二置信度值來確定(或計(jì)算)最終凝視方向。最終凝視方向也可以被稱為組合凝視方向。

3、由于左眼和右眼位于不同的位置，因此即使對于左眼和右眼的凝視追蹤采用相同的圖像，由眼鏡或諸如眼睫毛或鼻子的遮擋元件引起的光學(xué)效果可能對針對左眼和右眼所確定的凝視方向具有不同的影響。當(dāng)用戶將視線聚焦在例如計(jì)算機(jī)屏幕上的某個(gè)點(diǎn)時(shí)，兩只眼睛的不同定位通常也使得眼睛朝向稍微不同的方向。左眼和右眼的不同位置和/或取向可以例如導(dǎo)致來自照明器的閃光位于兩個(gè)眼睛的不同部分。由于眼睛的不同部分具有不同的形狀，這可能導(dǎo)致基于閃光所確定的凝視方向?qū)τ谧笱酆陀已劬哂胁煌馁|(zhì)量/準(zhǔn)確度。左眼和右眼自身的光學(xué)特性也可以不同。例如，角膜的形狀對于兩只眼睛可以是不同的。眼睛的光學(xué)中心和中央凹的位置之間的偏移在左眼和右眼之間也可以不同。雖然這些差值可以是相對小的，但是這樣的差值可以使得針對這些眼睛中的一只眼睛所確定的凝視方向比針對另一只眼睛所確定的凝視方向更不可靠。

4、如上所述，幾種不同的因素可能潛在地使所確定的一只眼睛的凝視方向比所確定的另一只眼睛的凝視方向更可靠。如果最終凝視方向(或凝視點(diǎn))是經(jīng)由針對左眼和右眼的所確定的凝視方向的簡單平均值來計(jì)算的，則在一只眼睛的所確定的凝視方向上的暫時(shí)誤差可能在所獲得的最終(或組合的)凝視方向上引起大的誤差，即使在該時(shí)間段內(nèi)其他眼睛的所確定的凝視方向是非?？煽康摹４_定左眼和右眼的置信度值，并且基于該置信度值確定最終(或組合的)凝視方向允許考慮這些因素來為用戶提供更準(zhǔn)確的最終(或組合的)凝視方向。例如，如果針對一只眼睛所確定的凝視方向被確定為不可靠，則可以向該凝視方向提供比針對另一只眼睛所確定的凝視方向更低的權(quán)重。

5、例如可以由一個(gè)或多個(gè)照明器照明左眼和右眼，該一個(gè)或多個(gè)照明器例如可以是諸如發(fā)光二極管的光源。

6、左眼和右眼的圖像可以例如已經(jīng)由一個(gè)或多個(gè)圖像傳感器(諸如一個(gè)或多個(gè)相機(jī))捕獲。

7、所確定的左眼的凝視方向可以例如定義估計(jì)的左眼凝視點(diǎn)。類似地，所確定的右眼的凝視方向可以例如定義右眼的所估計(jì)的凝視點(diǎn)。

8、應(yīng)當(dāng)理解，所確定的左眼的凝視方向的可靠性可以例如經(jīng)由其中高置信度值表示高可靠性/置信度的正標(biāo)度來指示，或者經(jīng)由其中高置信度值表示低可靠性/置信度的負(fù)(或相反)標(biāo)度來指示。換句話說，高置信度值可用于指示高可靠性或可用于指示高的不確定性/不可靠性。類似地，將認(rèn)識到，所確定的右眼的凝視方向的可靠性可以例如經(jīng)由其中高置信度值指示高可靠性/置信度的正標(biāo)度來指示，或者經(jīng)由其中高置信度值指示低可靠性/置信度的負(fù)(或相反)標(biāo)度來指示。

9、該第一置信度值可以例如基于一個(gè)或多個(gè)參數(shù)來確定(或計(jì)算)，所述參數(shù)代表指示(或影響)為左眼所確定的凝視方向的可靠性的相應(yīng)因素。該一個(gè)或多個(gè)參數(shù)可以例如基于該一個(gè)或多個(gè)所獲得的左眼圖像來計(jì)算(或確定)。該第一置信度值可以例如是指左眼的第一組合可靠性參數(shù)或組合可靠性參數(shù)。

10、該第二置信度值可以例如基于一個(gè)或多個(gè)參數(shù)來確定(或計(jì)算)，該一個(gè)或多個(gè)參數(shù)代表指示(或影響)為該右眼所確定的凝視方向的可靠性的相應(yīng)因素。該一個(gè)或多個(gè)參數(shù)可以例如基于該一個(gè)或多個(gè)所獲得的右眼圖像來計(jì)算(或確定)。第二置信度值例如可以是指右眼的第二組合可靠性參數(shù)或組合可靠性參數(shù)。

11、根據(jù)一些實(shí)施例，該電路可以被配置成基于所確定的左眼的凝視方向、所確定的右眼的凝視方向、第一置信度值和第二置信度值來確定最終凝視方向。

12、根據(jù)一些實(shí)施例，最終凝視方向的確定可以至少部分地基于所確定的左眼的凝視方向和所確定的右眼的凝視方向的加權(quán)組合(或加權(quán)和)。

13、在加權(quán)組合中，所確定的左眼的凝視方向可以例如基于(或由)第一置信度值來加權(quán)，并且所確定的右眼的凝視方向可以例如基于(或由)第二置信度值來加權(quán)。

14、根據(jù)一些實(shí)施例，該電路可以被配置成基于所獲得的左眼的一個(gè)或多個(gè)圖像來確定(或估計(jì))左眼的預(yù)定區(qū)域中的一個(gè)或多個(gè)閃光位置，并且基于所獲得的右眼的一個(gè)或多個(gè)圖像來確定(或估計(jì))右眼的預(yù)定區(qū)域中的一個(gè)或多個(gè)閃光位置。

15、左眼和右眼例如可以由一個(gè)或多個(gè)照明器照明，該一個(gè)或多個(gè)照明器例如可以是諸如一個(gè)或多個(gè)發(fā)光二極管的光源。

16、在左眼和右眼處的閃光可以例如由來自照亮眼睛的一個(gè)或多個(gè)照明器的光的反射引起。

17、根據(jù)一些實(shí)施例，電路可以被配置成基于左眼的一個(gè)或多個(gè)圖像來確定(或估計(jì))左眼的瞳孔的位置和左眼處的一個(gè)或多個(gè)閃光位置，并且基于一個(gè)或多個(gè)閃光位置和瞳孔的位置來確定左眼的凝視方向。該電路可以被配置成基于右眼的一個(gè)或多個(gè)圖像來確定或估計(jì)右眼的瞳孔位置和右眼處的一個(gè)或多個(gè)閃光位置，并且基于一個(gè)或多個(gè)閃光位置和瞳孔位置來確定右眼的凝視方向。

18、根據(jù)一些實(shí)施例，左眼的預(yù)定區(qū)域(并且類似地對于右眼的預(yù)定區(qū)域)可以包括從角膜中心延伸至角膜的球形區(qū)域的邊緣的第一區(qū)域、從角膜的球形區(qū)域的邊緣延伸至角膜的邊緣的第二區(qū)域，和/或位于角膜邊緣外部的第三區(qū)域。

19、眼睛的角膜在位于瞳孔周圍的角膜的中心區(qū)域中通常是大致球形的，但越遠(yuǎn)離角膜的中心越偏離球形形狀。因此角膜的中心區(qū)域可以被視為球形區(qū)域，而角膜的在球形區(qū)域之外的區(qū)域可以被視為非球形區(qū)域。

20、根據(jù)一些實(shí)施例，該第三區(qū)域可以位于鞏膜處。

21、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于左眼的角膜中心(或瞳孔中心)與左眼處的一個(gè)或多個(gè)閃光之間的距離。該第二置信度值的確定可以至少部分地基于該右眼的角膜中心(或瞳孔中心)與該右眼處的一個(gè)或多個(gè)閃光之間的距離。

22、眼睛的角膜通常在瞳孔周圍的中心區(qū)域是大致球形的，但是越遠(yuǎn)離角膜的中心并且因此也越遠(yuǎn)離瞳孔的中心越偏離球形形狀。因此，眼睛的光學(xué)特性在這些區(qū)域中可能更難以建模，這使得在角膜上位于遠(yuǎn)處(或甚至遠(yuǎn)至鞏膜)的閃光對于凝視方向的計(jì)算不太可靠。

23、確定該第一置信度值可以例如包含：將第一距離值(即，左眼的一個(gè)或多個(gè)閃光與角膜中心之間的距離)與與相比第二距離值相關(guān)聯(lián)的可靠性更低的可靠性相關(guān)聯(lián)。該第一距離值可以高于該第二距離值。換句話說，使用位置遠(yuǎn)離角膜中心的閃光獲得的凝視方向可以被賦予(或分配)比賦予(或分配)給使用位置更靠近角膜中心的閃光獲得的凝視方向的可靠性更低的可靠性。換句話說，當(dāng)閃光進(jìn)一步遠(yuǎn)離角膜中心移動(dòng)時(shí)，可靠性可能降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的總體可靠性，并且所確定的凝視方向的總體可靠性因此可以增加，即使閃光遠(yuǎn)離角膜中心移動(dòng)。

24、根據(jù)一些實(shí)施例，確定第一置信度值可以包括將位于左眼的第一區(qū)域的閃光與比與位于左眼的第二區(qū)域的閃光相關(guān)聯(lián)的可靠性更高的可靠性相關(guān)聯(lián)。該左眼的第一區(qū)域可以從角膜中心延伸至該角膜的球形區(qū)域的邊緣。該左眼的第二區(qū)域可以從該角膜的球形區(qū)域的邊緣延伸至該角膜的邊緣。換句話說，使用位于第一區(qū)域中的閃光所獲得的凝視方向可以被賦予(或分配)比分配(或賦予)給使用位于第二區(qū)域中的閃光所獲得的凝視方向被的可靠性更高的可靠性。換句話說，所確定的凝視方向的可靠性可以隨著閃光從第一區(qū)域移動(dòng)到第二區(qū)域而降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的總體可靠性，并且因此即使閃光從第一區(qū)域移動(dòng)到第二區(qū)域，總體可靠性也可以增加。

25、根據(jù)一些實(shí)施例，確定第一置信度值可以包括將位于左眼的第二區(qū)域的閃光與比與位于左眼的第三區(qū)域的閃光相關(guān)聯(lián)的可靠性更高的可靠性相關(guān)聯(lián)。左眼的第三區(qū)域可以位于角膜的邊緣的外部。換句話說，使用位于第二區(qū)域中的閃光所獲得的凝視方向可以被賦予(或分配)比分配(或賦予)給使用位于第三區(qū)域中的閃光所獲得的凝視方向的可靠性更高的可靠性。換句話說，所確定的凝視方向的可靠性可以隨著閃光從第二區(qū)域移動(dòng)到第三區(qū)域而降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的總體可靠性，并且因此即使閃光從第二區(qū)域移動(dòng)到第三區(qū)域，總體可靠性也可以增加。

26、根據(jù)一些實(shí)施例，確定第二置信度值可以包括將位于右眼的第一區(qū)域的閃光與比與位于右眼的第二區(qū)域的閃光相關(guān)聯(lián)的可靠性更高的可靠性相關(guān)聯(lián)。該右眼的第一區(qū)域可以從角膜中心延伸至該角膜的球形區(qū)域的邊緣。右眼的第二區(qū)域可以從角膜的球形區(qū)域的邊緣延伸到角膜的邊緣。換句話說，使用位于第一區(qū)域中的閃光所獲得的凝視方向可以被賦予(或分配)比分配(或賦予)給使用位于第二區(qū)域中的閃光所獲得的凝視方向的可靠性更高的可靠性。換句話說，所確定的凝視方向的可靠性可以隨著閃光從第一區(qū)域移動(dòng)到第二區(qū)域而降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的總體可靠性，并且因此即使閃光從第一區(qū)域移動(dòng)到第二區(qū)域，總體可靠性也可以增加。

27、根據(jù)一些實(shí)施例，確定第二置信度值可以包括將位于右眼的第二區(qū)域的閃光與比與位于右眼的第三區(qū)域的閃光相關(guān)聯(lián)的可靠性更高的可靠性相關(guān)聯(lián)。右眼的第三區(qū)域可以位于角膜的邊緣之外。換句話說，使用位于第二區(qū)域中的閃光所獲得的凝視方向可以被賦予(或分配)比被分配(或賦予)給使用位于第三區(qū)域中的閃光所獲得的凝視方向的可靠性更高的可靠性。換句話說，所確定的凝視方向的可靠性可以隨著閃光從第二區(qū)域移動(dòng)到第三區(qū)域而降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的總體可靠性，并且因此即使閃光從第二區(qū)域移動(dòng)到第三區(qū)域，總體可靠性也可以增加。

28、根據(jù)一些實(shí)施例，第一置信度值的確定可以基于左眼處的一個(gè)或多個(gè)閃光相對于左眼的瞳孔邊緣的位置。該第二置信度值的確定可以基于該右眼處的一個(gè)或多個(gè)閃光相對于該右眼的瞳孔邊緣的位置。

29、瞳孔的邊緣可以用于估計(jì)瞳孔的位置和大小。如果閃光位于瞳孔的邊緣處，則它將影響瞳孔邊緣檢測。較少的檢測到的瞳孔邊緣點(diǎn)將使得瞳孔位置和瞳孔大小確定不太可靠，這可能影響瞳孔中心和瞳孔邊緣計(jì)算的準(zhǔn)確性，從而可能影響所確定的凝視方向的可靠性。如果閃光在亮瞳孔圖像中(其中瞳孔被照亮使得其在圖像中是明亮的)位于瞳孔的邊緣處，則瞳孔的亮度可能導(dǎo)致不正確地估計(jì)閃光的位置，使得凝視追蹤數(shù)據(jù)不可靠。在這種情況下，位于瞳孔邊緣上的閃光可以影響瞳孔邊緣檢測，同時(shí)閃光位置確定變劣，這兩者都可以影響所確定的凝視方向的可靠性。

30、該第一置信度值的確定(并且類似地，該第二置信度值的確定)可以例如包括將基于與瞳孔邊緣重疊的閃光而確定的凝視方向與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與基于不與瞳孔邊緣重疊的閃光而確定的凝視方向相關(guān)聯(lián)的可靠性而言的。換句話說，使用與瞳孔邊緣重疊的閃光所獲得的凝視方向可以被賦予(或分配)比被分配(或賦予)給使用不與瞳孔邊緣重疊的閃光所獲得的凝視方向的可靠性更低的可靠性。

31、根據(jù)一些實(shí)施例，電路可以被配置成確定左眼的瞳孔中心、右眼的瞳孔中心、左眼的眼球中心和右眼的眼球中心。

32、根據(jù)一些實(shí)施例，角膜中心可以是在角膜的球形區(qū)域處的位置，在該位置處，從眼球中心延伸穿過瞳孔中心的虛擬線與角膜的球形區(qū)域相交。

33、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于左眼的瞳孔和虹膜之間的對比度。高的瞳孔-虹膜對比度(比如瞳孔比虹膜亮很多，或虹膜比瞳孔亮很多)有利于瞳孔中心、瞳孔位置和瞳孔大小的確定。如果瞳孔-虹膜對比度太低，可能難以估計(jì)瞳孔的位置和大小，這可能影響所確定的凝視方向的可靠性。

34、該第一置信度值的確定可以例如包括將第一水平的對比度與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與第二水平的對比度相關(guān)聯(lián)的可靠性而言的。第一水平的對比度可以低于第二水平的對比度。換句話說，基于瞳孔與虹膜之間具有高對比度的圖像所確定的凝視方向可以被賦予(或分配)較高的可靠性，所述較高的可靠性是相比被分配(或賦予)給使用瞳孔與虹膜之間具有低對比度的圖像所確定的凝視方向的可靠性而言的。換句話說，所確定的凝視方向的可靠性可以隨著瞳孔和虹膜之間的對比度的降低而降低。

35、根據(jù)一些實(shí)施例，第二置信度值的確定可以至少部分地基于右眼的瞳孔和虹膜之間的對比度。第二置信度值的確定可以例如包括將第一水平的對比度(即，右眼的瞳孔-虹膜對比度)與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與第二水平的對比度相關(guān)聯(lián)的可靠性而言的。第一水平的對比度可以低于第二水平的對比度。

36、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于在顯示設(shè)備處所確定的左眼凝視位置相對于顯示設(shè)備處的預(yù)定位置(或基準(zhǔn)位置)的第一集中程度。類似地，第二置信度值的確定可以至少部分地基于在顯示設(shè)備處所確定的右眼的凝視位置相對于顯示設(shè)備處的預(yù)定位置的第二集中程度。

37、相同顯示設(shè)備和預(yù)定位置例如可以用于雙眼。可替代地，不同的預(yù)定位置和/或顯示設(shè)備可以例如用于左眼和右眼。

38、應(yīng)當(dāng)理解，集中程度是所確定的凝視位置在顯示設(shè)備處的聚攏程度的量度。集中程度也可以被認(rèn)為是統(tǒng)計(jì)可變性的量度，或隨機(jī)誤差的大小。集中程度也可以被認(rèn)為是凝視追蹤的精準(zhǔn)性的量度。

39、高的統(tǒng)計(jì)可變性(或隨機(jī)大誤差)可以指示所確定的凝視方向不太可靠。因此，第一置信度值和第二置信度值的確定可以例如包括將第一水平統(tǒng)計(jì)可變性與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與第二水平統(tǒng)計(jì)可變性相關(guān)聯(lián)的可靠性而言的。該第一水平統(tǒng)計(jì)可變性可以高于該第二水平統(tǒng)計(jì)可變性。

40、可以例如在凝視追蹤期間監(jiān)測集中程度，和/或可以在凝視追蹤系統(tǒng)的校準(zhǔn)期間確定聚集水平(或統(tǒng)計(jì)可變性水平)。

41、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于在顯示設(shè)備處的預(yù)定位置與所確定的左眼凝視位置(例如在顯示設(shè)備處)的平均值之間的第一距離。該第二置信度值的確定可以至少部分地基于在顯示設(shè)備處的預(yù)定位置與該右眼的所確定的凝視位置(例如在該顯示設(shè)備處)的平均值之間的第二距離。

42、相同顯示設(shè)備和預(yù)定位置例如可以用于雙眼?？商娲?，不同的預(yù)定位置和/或顯示設(shè)備可以例如用于左眼和右眼。

43、預(yù)定位置與所確定的凝視位置的平均值之間的第一距離和第二距離可以例如被認(rèn)為是凝視追蹤的準(zhǔn)確度的統(tǒng)計(jì)偏差的量度，或系統(tǒng)誤差的大小的量度。

44、大的統(tǒng)計(jì)偏差可以指示所確定的凝視方向不太可靠。因此，第一置信度值和第二置信度值的確定可以例如包括將第一水平統(tǒng)計(jì)偏差與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與第二水平統(tǒng)計(jì)偏差相關(guān)聯(lián)的可靠性而言的。該第一水平統(tǒng)計(jì)偏差可以高于該第二水平統(tǒng)計(jì)偏差。換句話說，當(dāng)統(tǒng)計(jì)偏差水平為低時(shí)所獲得的凝視方向可以被賦予(或分配)較高的可靠性，所述較高的可靠性是相比被分配(或賦予)給當(dāng)水平統(tǒng)計(jì)偏差為高時(shí)所獲得的凝視方向的可靠性而言的。換句話說，當(dāng)統(tǒng)計(jì)偏差水平增加時(shí)，可靠性可能降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的可靠性，并且因此即使統(tǒng)計(jì)偏差減小，總體可靠性也可能減小。

45、可以例如在凝視追蹤期間監(jiān)測，或者可以在校準(zhǔn)步驟期間確定預(yù)定位置與分別針對左眼和右眼的所確定的凝視位置的平均值之間的第一距離和第二距離。

46、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于左眼處的閃光強(qiáng)度、左眼處的閃光的形狀和/或左眼處的閃光數(shù)目。類似地，第二置信度值的確定可以至少部分地基于右眼處的閃光強(qiáng)度、右眼處的閃光形狀和/或右眼處的閃光數(shù)目。

47、閃光可以例如分別位于左眼和右眼的角膜。

48、如果閃光的強(qiáng)度太高，則可能導(dǎo)致圖像中的大白點(diǎn)，使得難以確定閃光中心的位置，這可能影響針對該眼睛的所確定的凝視方向的可靠性。具有高強(qiáng)度的閃光可以例如使圖像中的像素飽和，使得閃光的大部分在圖像中看起來與閃光的中心一樣亮。如果閃光的強(qiáng)度太低，也可能難以準(zhǔn)確地確定閃光的位置。因此，與具有在某個(gè)中間強(qiáng)度范圍(合適的范圍可以例如取決于捕獲圖像的圖像傳感器或相機(jī))內(nèi)的強(qiáng)度的閃光相比，具有過高或過低強(qiáng)度的閃光可能與較低的可靠性相關(guān)聯(lián)。

49、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于對預(yù)期(或預(yù)定)的閃光形狀與在左眼處檢測到的閃光的形狀之間的相似性的估計(jì)。

50、第一置信度值的確定可以例如包括將閃光形狀之間的第一水平的閃光形狀相似性與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與閃光形狀之間的第二水平的閃光形狀相似性相關(guān)聯(lián)的可靠性而言的。第一水平的閃光形狀相似性可以低于第二水平的閃光形狀相似性。換句話說，使用形狀與預(yù)期閃光形狀相似的閃光所獲得的凝視方向可以被賦予(或分配)較高的可靠性，所述較高的可靠性是相比被賦予(或分配)給使用閃光形狀與預(yù)期閃光形狀不太相似的閃光所獲得的凝視方向的可靠性而言的。換句話說，當(dāng)閃光的形狀更多地偏離預(yù)期閃光形狀時(shí)，可靠性可能降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的可靠性，并且因此即使閃光的形狀更多地偏離期望的閃光形狀，總的可靠性也可以增加。

51、通常由來自照明器的光的反射引起閃光。閃光的形狀取決于照明器的形狀和光被反射的表面的幾何形狀。因此，可以預(yù)測閃光的形狀。偏離預(yù)期形狀可以指示閃光位于眼睛的具有預(yù)料之外的光學(xué)特性(這可能有損于所確定的凝視方向的可靠性)的區(qū)域，或者指示閃光源于與預(yù)期不同的光源。因此，意外的閃光形狀可以指示所確定的凝視方向的較低可靠性。

52、根據(jù)一些實(shí)施例，第二置信度值的確定可以至少部分地基于對預(yù)期閃光形狀和在右眼處檢測到的閃光的形狀之間的相似性的估計(jì)。

53、該第二置信度值的確定可以例如包括將閃光形狀之間的第一水平的閃光形狀相似性與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與閃光形狀之間的第二水平的閃光形狀相似性相關(guān)聯(lián)的可靠性而言的。第一水平的閃光形狀相似性可以低于第二水平的閃光形狀相似性。換句話說，使用形狀與預(yù)期閃光形狀相似的閃光所獲得的凝視方向可以被賦予(或分配)較高的可靠性，所述較高的可靠性是相比賦予(或分配)給使用形狀與預(yù)期閃光形狀不太相似的閃光所獲得的凝視方向的可靠性而言的。換句話說，當(dāng)閃光的形狀更多地偏離預(yù)期閃光形狀時(shí)，可靠性可能降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的可靠性，并且因此即使閃光的形狀更多地偏離預(yù)期閃光形狀也可以增加可靠性。

54、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于在左眼處檢測到的閃光數(shù)目與預(yù)定(或預(yù)期)的閃光數(shù)量之間的比較。

55、第一置信度值的確定可以例如包括將其中檢測到的閃光數(shù)目與比與預(yù)定(或預(yù)期)閃光數(shù)目一致的情況與較高的可靠性相關(guān)聯(lián)，所述較高的可靠性是相比其中檢測到的閃光數(shù)目偏離預(yù)定(或預(yù)期)閃光數(shù)目的情況相關(guān)聯(lián)的可靠性而言的。換句話說，使用來自具有預(yù)定數(shù)量的閃光的圖像的閃光所確定的凝視方向可以被賦予(或分配)較高的可靠性，所述較高的可靠性是相比被賦予(或分配)給使用來自具有不同數(shù)量的閃光的圖像的閃光所確定的凝視方向的可靠性而言的。換句話說，當(dāng)閃光數(shù)目偏離預(yù)定的閃光數(shù)目時(shí)，可以降低可靠性。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的可靠性，并且因此即使檢測到的閃光數(shù)目偏離預(yù)定閃光數(shù)目，總體可靠性也可能增加。

56、可以通過使用來自多個(gè)照明器的閃光來增加所確定的凝視方向的可靠性。如果圖像中缺少一些期望的閃光，這可能影響凝視追蹤的可靠性。如果在圖像中存在出乎意料地高數(shù)量的閃光，則可能更難以識別用于凝視追蹤的正確閃光，并且不正確的閃光可能遮擋與凝視估計(jì)相關(guān)聯(lián)的圖像數(shù)據(jù)。例如，可以由環(huán)境中的其他光源和/或閃光將要從角膜上脫離而引起意料不到的大量閃光。

57、根據(jù)一些實(shí)施例，第二置信度值的確定可以至少部分地基于在右眼處檢測到的閃光數(shù)目與預(yù)定(或預(yù)期)閃光數(shù)目之間的比較。

58、該第二置信度值的確定可以例如包括將檢測到的右眼處的閃光數(shù)目與預(yù)定(或預(yù)期)閃光數(shù)目一致的情況與較高的可靠性相關(guān)聯(lián)，所述較高的可靠性是相比與檢測到的右眼處的閃光數(shù)目偏離預(yù)定(或預(yù)期)閃光數(shù)目的情況相關(guān)聯(lián)的可靠性而言的。換句話說，使用來自具有預(yù)定數(shù)量的閃光的圖像的閃光所確定的凝視方向可以被賦予(或分配)較高的可靠性，所述較高的可靠性是相比被賦予(或分配)給使用來自具有不同數(shù)量的閃光的圖像的閃光所確定的凝視方向而言的。換句話說，當(dāng)閃光數(shù)目偏離預(yù)定的閃光數(shù)目時(shí)，可以降低可靠性。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的可靠性，并且因此即使檢測到的閃光數(shù)目偏離預(yù)定閃光數(shù)目，總體可靠性也會(huì)增加。

59、根據(jù)一些實(shí)施例，第一置信度值的確定可以至少部分地基于指示在一個(gè)或多個(gè)所獲得的左眼圖像中存在來自眼鏡的反射的參數(shù)，和/或基于指示在一個(gè)或多個(gè)所獲得的左眼圖像中左眼的某一區(qū)域是否至少部分被遮擋的參數(shù)。類似地，第二置信度值的確定可以至少部分地基于指示在一個(gè)或多個(gè)所獲得的右眼圖像中存在來自眼鏡的反射的參數(shù)，和/或基于指示在一個(gè)或多個(gè)所獲得的右眼圖像中右眼的某一區(qū)域是否至少部分被遮擋的參數(shù)。

60、在凝視追蹤中使用的閃光和/或瞳孔可以例如在來自眼鏡的反射中被淹沒，由此可以影響所確定的凝視方向的可靠性。計(jì)算第一置信度值可以例如包含將在左眼中存在來自眼鏡的反射期間所確定的凝視方向與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與在左眼中不存在這樣的反射的情況下所獲得的凝視追蹤數(shù)據(jù)相關(guān)聯(lián)的可靠性而言的。類似地，計(jì)算第二置信度值可以例如包含將在右眼中存在來自眼鏡的反射期間所確定的凝視方向與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與在右眼中不存在這樣的反射時(shí)所獲得的凝視追蹤數(shù)據(jù)相關(guān)聯(lián)的可靠性而言的。

61、遮擋眼睛的某些區(qū)域的物體(諸如眼瞼或眼睫毛)可能遮擋在凝視追蹤中使用的特征，諸如閃光和/或瞳孔，由此可以降低所確定的凝視方向的可靠性。因此，當(dāng)眼睛的某些區(qū)域被遮擋時(shí)所確定的凝視方向可以關(guān)聯(lián)于(或被分配)較低的可靠性，所述較低的可靠性是相比當(dāng)眼睛的這些區(qū)域被遮擋時(shí)所獲得的凝視方向而言的。

62、根據(jù)一些實(shí)施例，第一置信度值和第二置信度值的確定可以至少部分地基于分別用于左眼和右眼的參數(shù)，該參數(shù)指示眼睛的一個(gè)或多個(gè)所獲得的圖像中的瞳孔邊緣像素的數(shù)量。瞳孔邊緣像素可以是沿著(或位于)瞳孔邊緣的在一個(gè)或多個(gè)所獲得的眼睛圖像中可見的那些一個(gè)或多個(gè)部分定位的圖像像素。

63、瞳孔的邊緣可用于估計(jì)瞳孔中心的位置、瞳孔的邊緣和瞳孔大小。該數(shù)據(jù)可以用于估計(jì)眼睛的凝視方向和/或凝視點(diǎn)(或注視點(diǎn))。如果沿著瞳孔的邊緣(或在瞳孔的邊緣處)定位的圖像像素的數(shù)量較低，則瞳孔位置(以及由此基于瞳孔位置所確定的凝視方向)的可靠性可能降低。

64、第一置信度值和第二置信度值的確定可以例如包括將第一數(shù)量的瞳孔邊緣像素與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與第二數(shù)量的瞳孔邊緣像素相關(guān)聯(lián)的可靠性而言的。第一數(shù)量的瞳孔邊緣像素可以例如低于第二數(shù)量瞳孔邊緣像素。換句話說，基于具有較少數(shù)量的瞳孔邊緣像素的圖像所確定的凝視方向可以被賦予(或分配)較低的可靠性，所述較低的可靠性是相比基于具有較多數(shù)量的瞳孔邊緣像素的圖像所確定的凝視方向而言的。換句話說，如果瞳孔邊緣像素的數(shù)量增加，則可靠性可能增加。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的可靠性，使得即使瞳孔邊緣像素的數(shù)量增加，總體可靠性也會(huì)降低。

65、根據(jù)一些實(shí)施例，該電路可以被配置成分別針對左眼和右眼，基于眼睛的一個(gè)或多個(gè)圖像來確定由來自第一照明器的光的反射引起的眼睛處的第一閃光位置，基于第一閃光位置以及第一照明器和第二照明器之間的空間關(guān)系來預(yù)測由來自第二照明器的光的反射引起的眼睛處的第二閃光位置，以及基于眼睛的一個(gè)或多個(gè)圖像確定由來自第二照明器的光的反射引起的眼睛處的第二閃光位置。

66、當(dāng)眼睛被第一照明器照亮?xí)r，可以例如由相機(jī)捕獲一個(gè)或多個(gè)圖像，從中確定第一閃光位置。當(dāng)眼睛被第二照明器照亮?xí)r，可以例如捕捉一個(gè)或多個(gè)圖像，從中確定第二閃光位置。

67、可以例如基于在眼睛處的第一閃光的位置并且基于第二照明器相對于第一照明器的位置和/或取向的了解來預(yù)測在眼睛處的第二閃光的位置，并且可選地還基于該第二照明器相對于布置成捕獲該第二圖像的相機(jī)的位置和/或取向、眼睛的幾何模型和/或眼睛的估計(jì)位置的了解來預(yù)測在眼睛處的第二閃光的位置，。

68、應(yīng)當(dāng)理解，基于第一閃光位置“預(yù)測”第二閃光位置不一定意味著第二閃光出現(xiàn)在第一閃光之后。第二閃光可以例如出現(xiàn)在與第一閃光相同的圖像中。第二閃光可以例如出現(xiàn)在第一閃光出現(xiàn)的圖像之前或之后的圖像中。

69、根據(jù)一些實(shí)施例，第一置信度值和第二置信度值的確定可以至少部分地基于預(yù)測的第二閃光位置和所確定的第二閃光位置之間的差(或距離)。

70、在眼睛處的第二閃光的預(yù)測位置和所確定的位置之間的大的差可以指示針對該眼睛所確定的凝視方向可能不如針對另一只眼睛所確定的凝視方向可靠。

71、因此，計(jì)算第一置信度值(并且類似地計(jì)算第二置信度值,但卻是針對右眼而不是左眼)可以例如包含將左眼處的第二閃光的預(yù)測位置和確定位置之間的第一大小的差與較低的可靠性相關(guān)聯(lián)，所述較低的可靠性是相比與左眼處的第二閃光的預(yù)測位置和確定位置之間的第二大小的差相關(guān)聯(lián)的可靠性而言的。該第一大小的距離可以大于該第二大小的差。換句話說，使用第二閃光的確定位置和預(yù)測位置彼此靠近的圖像所獲得的凝視方向可以被賦予(或分配)較高的可靠性，所述較高的可靠性是相比被賦予(或分配)給使用第二閃光的預(yù)測位置和確定位置彼此較遠(yuǎn)離的圖像所獲得的凝視方向的可靠性而言的。換句話說，當(dāng)?shù)诙W光的預(yù)測位置和確定位置之間的距離增加時(shí)，可靠性可能降低。應(yīng)當(dāng)理解，其他因素也可以影響所確定的凝視方向的可靠性，并且即使第二閃光的預(yù)測位置和確定位置之間的距離增加，總體可靠性也可能增加。

72、根據(jù)一些實(shí)施例，第一置信度值和第二置信度值的確定可以至少部分地基于指示眼睛相對于另一只眼睛是否占優(yōu)勢的參數(shù)。

73、例如可以基于相應(yīng)眼睛如何移動(dòng)和/或基于當(dāng)用戶被提示看著基準(zhǔn)點(diǎn)時(shí)相應(yīng)眼睛的關(guān)注點(diǎn)與基準(zhǔn)點(diǎn)之間的相應(yīng)偏差來計(jì)算指示一只眼睛相對于另一只眼睛是否占優(yōu)勢的參數(shù)。

74、根據(jù)一些實(shí)施例，該系統(tǒng)可以包含用于照射眼睛的至少一個(gè)照明器，以及用于捕獲眼睛的圖像的一個(gè)或多個(gè)相機(jī)。

75、至少一個(gè)照明器可以例如與用于捕獲亮瞳孔圖像的至少一個(gè)相機(jī)同軸地布置。至少一個(gè)照明器可以例如與用于捕獲暗瞳孔圖像的至少一個(gè)相機(jī)非同軸地布置。

76、根據(jù)一些實(shí)施例，第一置信度值和第二置信度值的確定可以至少部分地基于指示在分別用于計(jì)算左眼和右眼的凝視方向的眼睛模型的校準(zhǔn)之后剩余的殘差的大小的參數(shù)。

77、根據(jù)一些實(shí)施例，該電路可以被配置成針對圖像序列對左眼執(zhí)行凝視追蹤，估計(jì)從該圖像序列到左眼的距離(例如，從捕獲該圖像序列的相機(jī)到左眼的距離)，并且估計(jì)在所估計(jì)的到左眼的距離中的噪聲水平。該電路可以被配置成針對圖像序列執(zhí)行對右眼的凝視追蹤，估計(jì)從該圖像序列到右眼的距離(例如，從捕獲該圖像序列的相機(jī)到右眼的距離)，并且估計(jì)在所估計(jì)的到右眼的距離中的噪聲水平。第一置信度值和第二置信度值的確定可以分別基于指示到左眼和右眼的所估計(jì)的距離中的噪聲水平的參數(shù)。

78、在所估計(jì)的到眼睛的距離中的高噪聲水平可以指示該眼睛的所確定的凝視方向是不可靠的。因此，眼睛(諸如左眼和/或右眼)的置信度值的計(jì)算可以例如包含將第一噪聲水平與比與第二噪聲水平相關(guān)聯(lián)的可靠性更低的可靠性相關(guān)聯(lián)。該第一噪聲水平可以高于該第二噪聲水平。換句話說，當(dāng)所估計(jì)的距離中的噪聲水平高時(shí)所獲得的凝視方向可以被賦予(或分配)較低的可靠性，所述較低的可靠性是相比被賦予(或分配)給當(dāng)所估計(jì)的距離中的噪聲水平低時(shí)所獲得的凝視方向的可靠性。換句話說，當(dāng)所估計(jì)的距離中的噪聲水平增加時(shí)，可靠性可能降低。應(yīng)當(dāng)理解，其他因素可以影響所確定的眼睛凝視方向的可靠性，并且因此即使所估計(jì)的距離中的噪聲水平增加，總體可靠性也可以增加。

79、根據(jù)第二方面，提供了一種方法。該方法包含獲得用戶的左眼的一個(gè)或多個(gè)圖像和用戶的右眼的一個(gè)或多個(gè)圖像。該方法包含基于所獲得的左眼的至少一個(gè)圖像來確定該用戶的左眼的凝視方向，并且基于該右眼的至少一個(gè)所獲得的圖像來確定該用戶的右眼的凝視方向。該方法包含基于該一個(gè)或多個(gè)所獲得的左眼圖像來確定第一置信度值。該第一置信度值表示所確定的左眼的凝視方向的可靠性的指示。該方法包含基于該一個(gè)或多個(gè)所獲得的右眼圖像來確定第二置信度值。該第二置信度值表示所確定的右眼的凝視方向的可靠性的指示。該方法包含至少部分地基于該第一置信度值和第二置信度值來確定最終凝視方向。

80、第二方面的方法可以例如由第一方面的任何實(shí)施例的系統(tǒng)執(zhí)行，或者由包含在這樣的系統(tǒng)中的電路執(zhí)行。

81、根據(jù)第二方面的方法的實(shí)施例可以例如包括與根據(jù)第一方面的系統(tǒng)的任何實(shí)施例的特征相對應(yīng)的特征。

82、根據(jù)第三方面，提供了一種或多種存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可執(zhí)行指令在由執(zhí)行眼睛/凝視數(shù)據(jù)處理的計(jì)算系統(tǒng)執(zhí)行時(shí)使得該計(jì)算系統(tǒng)執(zhí)行一種方法。該方法可以例如是根據(jù)第二方面的方法。

83、根據(jù)第三方面的一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的實(shí)施例可以例如包括與根據(jù)第一方面的系統(tǒng)的任何實(shí)施例的特征相對應(yīng)的特征。

84、該一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)可以例如是一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。

85、注意，本發(fā)明的實(shí)施例涉及權(quán)利要求中該特征的所有可能組合。