用于改進(jìn)眼睛跟蹤的場景分析的制作方法
【專利說明】用于改進(jìn)眼睛跟蹤的場景分析
【背景技術(shù)】
[0001] 除非在本文中另外表明，否則本部分中所述的材料對于本申請中的權(quán)利要求來說 不是現(xiàn)有技術(shù)并且不由于包括在本部分中而被承認(rèn)是現(xiàn)有技術(shù)。
[0002] 眼睛跟蹤系統(tǒng)可包括可跟蹤人眼運動的小型照相機(jī)。眼睛跟蹤具有各種有用且有 趣的應(yīng)用。例如，眼睛跟蹤可被部署在增強(qiáng)現(xiàn)實（AR)應(yīng)用以及各種醫(yī)療和工業(yè)應(yīng)用中。眼 睛跟蹤還具有各種潛在的用戶界面（UI)應(yīng)用，諸如允許裝置用戶凝視來控制選擇指針。裝 置用戶可凝視諸如文件的虛擬對象，按下按鈕，然后凝視對象的目的地位置，并釋放按鈕以 傳送該對象。眼睛跟蹤還提供了收集用戶興趣和用戶活動信息、例如以理解用戶是否看過 廣告的機(jī)會。眼睛跟蹤的這些和其它用途提供了許多有趣的可能性。然而，眼睛跟蹤技術(shù) 仍停留在相對早的開發(fā)階段，并且隨著眼睛跟蹤成熟，存在許多要解決的挑戰(zhàn)。
[0003] 概述
[0004] 本公開總體地描述了包括與用于改進(jìn)眼睛跟蹤的場景分析相關(guān)的裝置、方法和計 算機(jī)可讀介質(zhì)的技術(shù)。由計算裝置執(zhí)行的一些示例眼睛跟蹤方法可包括：從面對眼睛的傳 感器接收眼睛凝視方向信息；從數(shù)字照相機(jī)接收數(shù)字場景信息，其中數(shù)字照相機(jī)可被定向 為從眼睛可見的場景捕捉數(shù)字場景信息；基于凝視方向信息來確定數(shù)字場景信息內(nèi)的被檢 測凝視目標(biāo)；分析數(shù)字場景信息以標(biāo)識數(shù)字場景信息內(nèi)的潛在凝視目標(biāo)，其中潛在凝視目 標(biāo)可包括例如靜止型凝視目標(biāo)、移動型凝視目標(biāo)和/或加速型凝視目標(biāo)；選擇潛在凝視目 標(biāo)；和/或?qū)⒈粰z測凝視目標(biāo)修改到被選定凝視目標(biāo)的位置。
[0005] 本公開還公開了具有實施本文中所述的各種技術(shù)的指令的計算裝置和計算機(jī)可 讀介質(zhì)。示例計算機(jī)可讀介質(zhì)可包括具有處理器可執(zhí)行的計算機(jī)可執(zhí)行指令的非暫時性計 算機(jī)可讀存儲介質(zhì)，這些指令當(dāng)被處理器執(zhí)行時使處理器實現(xiàn)本文中所提供的各種方法的 任何組合。示例計算裝置可包括例如頭戴式裝置，這些頭戴式裝置包括數(shù)字照相機(jī)、面對眼 睛的傳感器和計算裝置，該計算裝置配備有被配置為實現(xiàn)本文中所提供的各種方法的任何 組合的眼睛跟蹤精度提高器。
[0006] 前述概述僅僅是說明性的，而并不意圖以任何方式是限制性的。除了說明性的方 面，上述實施例和特征、另外的方面、實施例和特征將通過參考附圖和下面的詳細(xì)描述而變 得顯而易見。
【附圖說明】
[0007] 通過結(jié)合附圖進(jìn)行的以下描述和所附權(quán)利要求，本公開的前述和其它特征將變得 更充分地顯而易見。理解，這些附圖僅僅描繪了根據(jù)本公開的幾個實施例，因此，不應(yīng)被認(rèn) 為是限制其范圍，將通過使用附圖來更具體地、更詳細(xì)地描述本公開，在附圖中：
[0008] 圖1是說明被用戶佩戴的示例頭戴式裝置的示圖；
[0009] 圖2是說明包括潛在凝視目標(biāo)、被檢測凝視目標(biāo)和它們的運動的示圖；
[0010]圖3是作為合并在頭戴式裝置內(nèi)的計算機(jī)的一個示例的計算裝置的框圖；
[0011] 圖4是說明示例眼睛跟蹤方法的流程圖；
[0012] 圖5是說明示例眼睛跟蹤精度提高器的框圖；
[0013] 圖6是說明包括潛在凝視目標(biāo)、被檢測凝視目標(biāo)、被選定凝視目標(biāo)的場景以及關(guān) 于被選定凝視目標(biāo)的AR信息的示圖；
[0014] 圖7是說明包括潛在凝視目標(biāo)、被檢測凝視目標(biāo)和被選定凝視目標(biāo)的場景的示 圖，其中被選定凝視目標(biāo)可被用作控制至少一個計算裝置功能的用戶輸入，所有附圖都是 依照本文所述的至少一些實施例來安排的。
【具體實施方式】
[0015] 在以下詳細(xì)描述中，對附圖進(jìn)行參考，所述附圖形成詳細(xì)描述的一部分。除非上下 文另外指示，否則在附圖中，相似的符號通常標(biāo)識相似的部件。在詳細(xì)描述、附圖和權(quán)利要 求中描述的說明性實施例并不意味著是限制性的。在不脫離這里所提供的主題的精神或范 圍的情況下，可以利用其它實施例，以及可以進(jìn)行其它改變。將易于理解的是，如在本文中 一般地描述的和在圖中示出的那樣，本公開的各方面可以以廣泛多樣的不同配置被布置、 替代、組合和設(shè)計，所有這些都被明確地構(gòu)想并成為本公開的部分。
[0016] 本公開尤其是針對包括與用于改進(jìn)眼睛跟蹤的場景分析相關(guān)的方法、裝置、系統(tǒng) 和/或部署在其中的計算機(jī)可讀介質(zhì)的技術(shù)進(jìn)行一般性的描寫的。在一些示例中，可從來 自面對眼睛的傳感器的凝視方向信息得到凝視目標(biāo)。可通過捕捉并分析來自眼睛可見的場 景的數(shù)字場景信息來改進(jìn)凝視目標(biāo)位置和/或運動?？煞治鲇蓴?shù)字照相機(jī)捕捉的數(shù)字場景 信息以標(biāo)識潛在凝視目標(biāo)，諸如，舉例來說，靜止型凝視目標(biāo)、移動型凝視目標(biāo)和/或加速 型凝視目標(biāo)?？蓪⒈粰z測凝視目標(biāo)修改為包括被選定的潛在凝視目標(biāo)（在本文中也被稱為 "被選定凝視目標(biāo)"）的位置。
[0017] 在一些實施例中，本文中所述的技術(shù)可被合并到頭戴式裝置中，所述頭戴式裝置 諸如，舉例來說，G00GLEGLASS?類型的裝置。這樣的裝置可提供例如用戶可通過其觀看 物理世界的透明鏡片。裝置還可在鏡片上顯示數(shù)字對象和信息。裝置可允許用戶（諸如頭 戴式裝置的佩戴者）選擇將顯示的數(shù)字對象和信息以及與這些對象和信息進(jìn)行交互。裝置 可選地可以例如通過無線地連接到互聯(lián)網(wǎng)而連接到計算機(jī)網(wǎng)絡(luò)。裝置還可包括集成數(shù)字照 相機(jī)，并且裝置可允許用戶捕捉通過鏡片觀看的場景的數(shù)字照片和視頻。除了示例裝置中 可包括的這些和其它特征之外，裝置還可合并面對眼睛的傳感器，并且可被配備為執(zhí)行眼 睛跟蹤方法，諸如本文中所述的那些方法。
[0018] 面對眼睛的傳感器可包括較高成本、較高精度的傳感器或較低成本、較低精度的 傳感器。本公開的實施例可涉及任何類型的面對眼睛的傳感器。較高成本、較高精度的傳 感器可以例如包括捕捉眼睛的高分辨率可見光圖像的照相機(jī)，并且眼睛跟蹤系統(tǒng)可進(jìn)行相 對多的處理來實現(xiàn)所計算的眼睛位置的較高精度。較低成本、較低精度的傳感器可以例如 包括捕捉眼睛的低分辨率紅外（IR)光圖像的照相機(jī)，并且眼睛跟蹤系統(tǒng)可進(jìn)行相對不太 廣泛的處理而實現(xiàn)所計算的眼睛位置的相對低的精度。
[0019] 在眼睛跟蹤中存在由難以分辨光滑球體（S卩，眼睛）中的非常小的、低對比度的旋 轉(zhuǎn)而導(dǎo)致的基本困難。一些面對眼睛的傳感器和相應(yīng)的眼睛跟蹤系統(tǒng)的一個問題是，適度 強(qiáng)度和對比度的反射IR光導(dǎo)致跳躍的難以分辨的運動，該運動可導(dǎo)致估計不精確的凝視 方向。雖然高分辨率可見光眼睛跟蹤系統(tǒng)可能進(jìn)展更好，但是這樣的眼睛跟蹤系統(tǒng)使用更 昂貴的面對眼睛的傳感器和更多處理能力，并且在低光狀況下不會同樣地作用。
[0020] 眼睛跟蹤的困難在物理環(huán)境、而不是虛擬環(huán)境的背景下尤其明顯。在物理環(huán)境下， 當(dāng)前技術(shù)沒有提供關(guān)于人眼在所觀看的物理場景內(nèi)感興趣的點或感興趣的其它潛在凝視 目標(biāo)的信息。因此，在一些實施例中，本文中所述的技術(shù)可捕捉并分析來自眼睛可見的物理 場景的數(shù)字場景信息，標(biāo)識潛在凝視目標(biāo)，并使用這樣標(biāo)識的潛在凝視目標(biāo)來改進(jìn)從面對 眼睛的傳感器得到的凝視目標(biāo)位置和/或凝視目標(biāo)運動。
[0021] 在一些實施例中，眼睛跟蹤系統(tǒng)可通過將檢測的眼睛跟蹤位置、速度和/或加速 度值和與物理世界潛在凝視目標(biāo)相應(yīng)的估計眼睛跟蹤值進(jìn)行比較來產(chǎn)生改進(jìn)的眼睛跟蹤 目標(biāo)估計（在本文中也被稱為凝視目標(biāo)估計）。潛在凝視目標(biāo)可以例如在物理世界場景的 實時視頻中被標(biāo)識。
[0022] 潛在凝視目標(biāo)可以例如通過下述方式被標(biāo)識，例如，使用對象識別，或者應(yīng)用各種 圖形分析算法中的任何一種來標(biāo)識潛在凝視目標(biāo)，或者例如通過標(biāo)識場景中的對象運動。 實施例隨后可確定每個標(biāo)識的潛在凝視目標(biāo)的位置值、速度值和/或加速度值，并且可將 這樣的確定的值與檢測的眼睛跟蹤位置值、速度值和/或加速度值進(jìn)行比較。
[0023] 實施例可選擇適當(dāng)?shù)臐撛谀暷繕?biāo)，該目標(biāo)包括基本上與檢測的眼睛跟蹤位置 值、速度值和/或加速度值匹配的位置值、速度值和/或加速度值。實施例然后可推斷：正 確的眼睛跟蹤位置值、速度值和/或加速度值是被選定凝視目標(biāo)的那些值。修改的、改進(jìn)的 眼睛跟蹤位置值、速度值和/或加速度值可以例如被存儲或者以其它方式被用于使用眼睛 跟蹤信息的任何應(yīng)用。
[0024] 實施例可視情況執(zhí)行數(shù)據(jù)變換以使得能夠在檢測的眼睛跟蹤位置值、速度值和/ 或加速度值與潛在凝視目標(biāo)位置值、速度值和/或加速度值之間進(jìn)行比較。例如，在一些實 施例中，檢測的眼睛跟蹤位置值可包括與眼睛凝視方向相應(yīng)的角坐標(biāo)。同時，潛在凝視目標(biāo) 位置值可至少最初包括例如捕捉的視頻幀的平面內(nèi)的二維x、y坐標(biāo)。檢測的眼睛跟蹤角坐 標(biāo)可以例如使用照相機(jī)位置與眼睛位置之間的幾何關(guān)系而被轉(zhuǎn)換為二維X、y坐標(biāo)以支持 比較操作，或者反過來。還將理解，實施例可根據(jù)需要將所有信息轉(zhuǎn)換到任何中間坐標(biāo)系中 以支持比較操作。
[0025] 在一些實施例中，眼睛跟蹤系統(tǒng)可將被檢測凝視目標(biāo)與物理場景中的靜止?jié)撛谀?視目標(biāo)的位置進(jìn)行比較，并且視情況，可通過將在它們的噪聲邊界內(nèi)的被檢測凝視目標(biāo)修 改到靜止?jié)撛谀暷繕?biāo)的位置來校正這些被檢測凝視目標(biāo)。在一些實施例中，眼睛跟蹤系 統(tǒng)可將被檢測凝視方向和與物理場景中的靜止?jié)撛谀暷繕?biāo)的估計位置相應(yīng)的凝視方向 進(jìn)行比較，并且可通過將在它們的噪聲邊界內(nèi)的被檢測凝視方向修改到估計的凝視方向來 校正這些被檢測凝視方向。
[0026] 在一些實施例中，眼睛跟蹤系統(tǒng)可將被檢測凝視目標(biāo)運動（其可包括凝視目標(biāo)速 度和/或凝視目標(biāo)加速度，并且可以例如從物理場景中的一系列被檢測凝視目標(biāo)得出）與 跟隨物理場景中的移動潛在凝視目標(biāo)的建模凝視目標(biāo)運動進(jìn)行比較，并且實施例可通過將 在其噪聲邊界內(nèi)的被檢測凝視目標(biāo)運動修改為跟隨物理場景中的移動潛在凝視目標(biāo)的建 模凝視目標(biāo)運動來校正這些被檢測凝視目標(biāo)運動。在一些實施例中，眼睛跟蹤系統(tǒng)可將被 檢測眼睛運動（其可以例如從一系列被檢測凝視方向得到）和與跟隨物理場景中的移動潛 在凝視目標(biāo)相關(guān)聯(lián)的建模眼睛運動進(jìn)行比較，并且實施例可通過將在其噪聲邊界內(nèi)的被檢 測眼睛運動修改為跟隨物理場景中的移動潛在凝視目標(biāo)的建模眼睛運動或者修改為與建 模眼