經(jīng)由深度相機(jī)的眼睛追蹤的制作方法
【專利說明】
【背景技術(shù)】
[0001]實時眼睛追蹤可以用于估計用戶的凝視方向并將其映射到顯示設(shè)備上的坐標(biāo)。例如，用戶的凝視方向與顯示器相交的顯示器上的地點可以用作用于與顯示器上所顯示的用戶界面對象交互的機(jī)制?？梢允褂酶鞣N眼睛追蹤方法。例如，在一些方案中，來自一個或多個光源的光(例如，在紅外范圍或任何其它適當(dāng)?shù)念l率中)可以朝向用戶眼睛定向，并且相機(jī)可以用于捕獲用戶眼睛的圖像數(shù)據(jù)。用戶眼睛上的光的反射地點以及眼睛瞳孔的位置可以在圖像數(shù)據(jù)中檢測以確定用戶凝視的方向。凝視方向信息可以與關(guān)于從用戶眼睛到顯示器的距離的信息組合地使用以確定用戶眼睛凝視方向與顯示器相交的顯示器上的地點。

【發(fā)明內(nèi)容】

[0002]公開了涉及利用用戶眼睛的飛行時間深度圖像數(shù)據(jù)的眼睛追蹤的實施例。例如，一個所公開的實施例提供眼睛追蹤系統(tǒng)，包括光源、配置成獲取用戶眼睛的二維圖像和用戶眼睛的深度數(shù)據(jù)的感測子系統(tǒng)、以及邏輯子系統(tǒng)，以控制光源發(fā)射光，控制感測子系統(tǒng)在從光源發(fā)射光時獲得用戶眼睛的二維圖像，控制感測子系統(tǒng)獲得用戶眼睛的深度數(shù)據(jù)，從二維圖像確定用戶眼睛的凝視方向，基于從深度數(shù)據(jù)所獲取的用戶眼睛的深度和凝視方向來確定用戶凝視與顯示器相交的顯示器上的地點，并且輸出該地點。
[0003]提供本
【發(fā)明內(nèi)容】
來以簡化形式引入以下在【具體實施方式】中進(jìn)一步描述的概念的選擇。本
【發(fā)明內(nèi)容】
不意圖標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意圖用于限制所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決本公開內(nèi)容的任何部分中所指出的任何或全部缺點的實現(xiàn)方案。
【附圖說明】
[0004]圖1A-4示出了示例眼睛追蹤場景。
[0005]圖5示出了依照本公開內(nèi)容的眼睛追蹤模塊的實施例。
[0006]圖6圖示了依照本公開內(nèi)容的實施例的基于飛行時間深度圖像數(shù)據(jù)的眼睛追蹤的示例。
[0007]圖7示出了用于基于飛行時間深度圖像數(shù)據(jù)追蹤用戶眼睛的方法的實施例。
[0008]圖8示意性地示出了計算系統(tǒng)的實施例。
【具體實施方式】
[0009]如以上描述的，眼睛追蹤可以用于基于所估計的凝視與顯示設(shè)備相交的地點而將用戶的凝視映射到顯示在顯示設(shè)備上的用戶界面。用戶的凝視方向與顯示設(shè)備相交的地點因而可以充當(dāng)用于用戶界面的用戶輸入機(jī)構(gòu)。圖1A-2A和1B-2B示意性地描繪了其中用戶104凝視在顯示設(shè)備120的不同地點處的示例場景(分別從頂視圖和正視圖)。顯示設(shè)備120可以示意性地表示任何適當(dāng)?shù)娘@示設(shè)備，包括但不限于計算機(jī)監(jiān)視器、移動設(shè)備、電視、平板計算機(jī)、近眼顯示器和可穿戴計算機(jī)。用戶104包括頭部106、具有第一瞳孔110的第一眼睛108、以及具有第二瞳孔116的第二眼睛114，如圖1A中所示。第一眼睛凝視方向112指示其中第一眼睛108所凝視的方向，并且第二眼睛凝視方向118指示其中第二眼睛114所凝視的方向。
[0010]圖1A和2A示出了在顯示設(shè)備120上的第一聚焦地點122處會聚的第一眼睛凝視方向112和第二眼睛凝視方向118。圖2A還示出了在第一聚焦地點122處與第一眼睛凝視方向112和第二眼睛凝視方向118相交的第一用戶界面對象206。接下來，圖1B和2B示出了由于眼睛114和108從朝向顯示設(shè)備120的左側(cè)的方向到朝向顯示設(shè)備120的右側(cè)的反向的旋轉(zhuǎn)而在第二聚焦地點124處會聚的第一眼睛凝視方向112和第二眼睛凝視方向118。圖2B還示出了在第二聚焦地點124處與第一眼睛凝視方向112和第二眼睛凝視方向118相交的第二用戶界面對象208。因而，通過追蹤用戶的凝視，可以基于用戶的凝視與顯示設(shè)備相交的地點而生成作為用戶界面輸入的位置信號，由此允許用戶至少部分地通過凝視與第一用戶界面對象204和第二用戶界面對象208交互。
[0011]眼睛追蹤可以以各種方式執(zhí)行。例如，如上文描述的，從用戶眼睛反射的來自經(jīng)校準(zhǔn)光源的閃光連同檢測到或估計到的用戶眼睛的瞳孔地點一起可以用于確定用戶的凝視方向。然后可以估計或檢測從用戶眼睛到顯示設(shè)備的距離以確定用戶的凝視方向與顯示器相交的顯示器上的地點。作為一個示例，具有到顯示器的固定的或以其它方式已知的關(guān)系的立體相機(jī)可以用于確定從用戶眼睛到顯示器的距離。然而，如下文描述的，立體相機(jī)可能強(qiáng)加使得其難以在一些環(huán)境中使用的幾何約束。
[0012]眼睛追蹤可以在各種不同的硬件環(huán)境中使用。例如，圖3示出了穿戴有被描繪為頭部安裝式增強(qiáng)現(xiàn)實顯示設(shè)備的可穿戴計算設(shè)備304并且凝視在環(huán)境302中的對象306處的用戶104。在該示例中，設(shè)備304可以包括集成式眼睛追蹤系統(tǒng)以追蹤用戶的凝視并且檢測與顯示在設(shè)備304上的虛擬對象的交互，以及與通過可穿戴計算設(shè)備304可觀看的背景中的真實世界對象的交互。圖4描繪了眼睛追蹤硬件環(huán)境的另一示例，其中眼睛追蹤用于檢測用戶所凝視的計算機(jī)監(jiān)視器404上的地點。
[0013]在這些和/或其它硬件設(shè)置中，眼睛追蹤系統(tǒng)的準(zhǔn)確性和穩(wěn)定性可以取決于從相機(jī)平面獲取眼睛的距離的準(zhǔn)確估計。當(dāng)前的眼睛追蹤系統(tǒng)可以通過使用立體相機(jī)對以使用計算機(jī)視覺算法估計三維眼睛位置來解決該問題。圖4圖示了如包括通過基線距離412分離的第一相機(jī)406和第二相機(jī)408的立體相機(jī)配置。圖4還圖示了可以被點亮而發(fā)射光414以用于從眼睛114反射的光源410。用戶眼睛的圖像(不管是由立體相機(jī)圖像傳感器獲得還是由其它(多個)圖像傳感器獲得)可以用于確定來自眼睛114的反射相對于眼睛的瞳孔116的地點以確定眼睛114的凝視方向。另外，來自第一相機(jī)406和第二相機(jī)408的眼睛的圖像可以用于估計眼睛114距顯示器402的距離，使得可以確定用戶的凝視與顯示器相交的地點。
[0014]然而，第一相機(jī)406與第二相機(jī)408之間的基線距離412可以在幾何上受約束為大于用于用戶眼睛114與顯示器402之間的距離的準(zhǔn)確確定(三角測量)的閾值距離(例如大于10cm)。這可能限制減小這樣的眼睛追蹤單元的大小的能力，并且可能難以與一些硬件配置一同使用，諸如頭部安裝式顯示器或其它緊湊的顯示設(shè)備。
[0015]確定用戶眼睛與顯示器之間的距離的其它方案可能依賴于單個相機(jī)系統(tǒng)并且利用眼睛距離的微弱估計。然而，這樣的方案可能導(dǎo)致實際凝視地點與屏幕坐標(biāo)之間的非穩(wěn)定映射。
[0016]相應(yīng)地，本文公開了涉及在眼睛追蹤系統(tǒng)中使用具有不受約束基線距離(S卩，沒有最小基線距離，與立體相機(jī)布置相對)的深度傳感器以獲取關(guān)于用戶眼睛的地點和位置的信息的實施例。這樣的深度傳感器的一個示例是飛行時間深度相機(jī)。飛行時間深度相機(jī)利用配置成發(fā)射光脈沖的光源，以及配置成快門式的(shuttered)以捕獲相對于對應(yīng)光脈沖定時的時間順序圖像幀的序列的一個或多個圖像傳感器。深度相機(jī)中的圖像傳感器的每一個像素處的深度，即來自光源的、通過對象反射的光從對象到圖像傳感器的該像素所行進(jìn)的有效距離，可以基于每一個順序圖像中的光強(qiáng)度而確定，這是由于從不同深度處的對象所反射的光被捕獲在不同順序圖像幀中。
[0017]因為飛行時間深度相機(jī)可以從單個地點獲得圖像數(shù)據(jù)而不是像圖像傳感器的立體對那樣從兩個地點獲得，所以利用飛行時間深度相機(jī)的眼睛追蹤系統(tǒng)可以不具有如關(guān)于立體相機(jī)配置所發(fā)現(xiàn)的最小基線維度約束。這可以允許眼睛追蹤系統(tǒng)在諸如頭部安裝式顯示器、智能電話、平板計算機(jī)以及其中用于立體相機(jī)眼睛追蹤系統(tǒng)的充足空間可能不可用的其它小設(shè)備之類的硬件配置中更為容易地利用。具有不受約束基線距離的深度傳感器的其它示例可以包括但不限于LIDAR (光檢測和測距)以及基于聲音傳播的方法。
[0018]圖5示出了利用飛行時間深度相機(jī)進(jìn)行眼睛追蹤的示例眼睛追蹤模塊500。所描繪的眼睛追蹤模塊500可以包括包含或以其它方式支持以下描述的所有組件的主體502，由此形成模塊化系統(tǒng)。由于飛行時間深度相機(jī)504的使用，主體502的大小相比于相當(dāng)?shù)牧Ⅲw相機(jī)眼睛追蹤系統(tǒng)可以極大地減小。在一些示例中，眼睛追蹤模塊500可以與諸如例如移動計算設(shè)備或可穿戴計算設(shè)備的顯示設(shè)備集成。在這樣的示例中，眼睛追蹤模塊500和/或其組件可以由顯示設(shè)備主體支持。在其它示例中，眼睛追蹤模塊可以在它向其提供輸入的計算設(shè)備的外部和/或在它針對其提供位置信號的顯示設(shè)備的外部。在這樣的示例中，主體502可以圍封和/或支持眼睛追蹤系統(tǒng)的組件以形成可以容易地安裝到其它設(shè)備中和/或用作獨立式設(shè)備的模塊化組件。
[0019]眼睛追蹤模塊500包括配置成獲取用戶眼睛的二維圖像以及還有用戶眼睛的深度數(shù)據(jù)的感測子系統(tǒng)50