本公開整體涉及用于同時或幾乎同時跟蹤眼睛特征并更新眼睛模型的方法、系統(tǒng)和裝置。

背景技術(shù)：

1、使用各種技術(shù)來跟蹤眼睛。單獨地，使用各種技術(shù)來生成眼睛的三維模型。

技術(shù)實現(xiàn)思路

1、本文所公開的各種具體實施包括用于同時跟蹤眼睛特征并更新眼睛模型的方法、系統(tǒng)和裝置。例如，通過同時跟蹤眼睛特征并更新眼睛模型，本文所描述的方法、系統(tǒng)和裝置闡述了不必要求用戶遵循多個/廣泛的“看這里”指令的眼睛模型注冊。相反，在正常(例如，最小引導(dǎo)的)體驗期間，本文所描述的方法、系統(tǒng)和裝置生成并更新用戶眼睛的模型并且同時跟蹤眼睛特征(例如，凝視方向)。在一些示例中，照明器(例如，紅外(ir)圖案的照明器)在眼睛上產(chǎn)生閃爍，并且通過一個或多個傳感器(例如，相機)捕獲具有閃爍的眼睛的圖像。圖像中的一些(例如，關(guān)鍵幀)或全部被實時地用于同時(a)確定眼睛特征(例如，凝視方向)以及(b)更新模型。

2、在一些示例中，計算設(shè)備通過使用一個或多個光(例如，ir)源來將光引向用戶眼睛以產(chǎn)生閃爍反射來執(zhí)行方法。該方法經(jīng)由一個或多個傳感器(例如，至少一個圖像傳感器)獲得圖像幀，該圖像幀包括對光經(jīng)由眼睛的反射的描繪。基于這些圖像幀，該方法在獲得圖像幀中的第一圖像幀與獲得圖像幀中的第二圖像幀之間的時間段期間跟蹤眼睛特征并更新眼睛的至少三維眼睛模型。因此，跟蹤和更新可在捕獲和選擇新的單獨幀時發(fā)生。在一些示例中，這些幀可通過基于將占用數(shù)據(jù)(例如，標識在給定幀中所描繪的眼睛的部分)與覆蓋圖(例如，標識已經(jīng)在眼睛的二維表示中表示的眼睛的部分)進行比較而選擇圖像幀子集來選擇。

3、在一些示例中，一種系統(tǒng)包括非暫態(tài)計算機可讀存儲介質(zhì)、與非暫態(tài)計算機可讀存儲介質(zhì)通信的一個或多個處理器、和被配置為由一個或多個處理器執(zhí)行以執(zhí)行或使得執(zhí)行本文所描述方法中的任一種的程序指令。在一些示例中，程序指令存儲在非暫態(tài)計算機可讀存儲介質(zhì)內(nèi)。在一些示例中，程序指令在被執(zhí)行時使得系統(tǒng)執(zhí)行或使得執(zhí)行本文所描述方法中的任一種。在一些示例中，一種系統(tǒng)包括：一個或多個處理器、非暫態(tài)存儲器和用于執(zhí)行或使得執(zhí)行本文所描述方法中的任一種的構(gòu)件。

技術(shù)特征：

1.一種方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中在所述第一圖像幀與所述第二圖像幀之間存在一個圖像幀。

3.根據(jù)權(quán)利要求1所述的方法，其中所述公共數(shù)據(jù)包括具有滿足閾值眼睛數(shù)據(jù)量的數(shù)據(jù)的所述圖像幀的第一子集。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其中所述圖像幀包括圖像幀序列。

5.根據(jù)權(quán)利要求1至4中任一項所述的方法，所述方法還包括引起對刺激的顯示以吸引所述眼睛朝向所述刺激。

6.根據(jù)權(quán)利要求5所述的方法，所述方法還包括基于對所述刺激的所述顯示來估計所述眼睛的視軸。

7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其中跟蹤所述眼睛特征包括從所述圖像幀跟蹤相應(yīng)的眼睛閃爍或相應(yīng)的瞳孔占用。

8.根據(jù)權(quán)利要求7所述的方法，所述方法還包括基于所述至少三維眼睛模型來確定眼睛覆蓋圖。

9.根據(jù)權(quán)利要求8所述的方法，所述方法還包括：

10.根據(jù)權(quán)利要求1至9中任一項所述的方法，其中跟蹤所述眼睛特征并更新所述至少三維眼睛模型以最少的用戶輸入發(fā)生。

11.根據(jù)權(quán)利要求1至10中任一項所述的方法，其中獲得所述圖像幀包括獲得來自多個紅外相機的圖像。

12.根據(jù)權(quán)利要求1至10中任一項所述的方法，其中獲得所述圖像幀包括獲得來自紅外相機的圖像和從鏡反射的圖像。

13.一種系統(tǒng)，包括：

14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中在所述第一圖像幀與所述第二圖像幀之間存在一個圖像幀。

15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中所述公共數(shù)據(jù)包括具有滿足閾值眼睛數(shù)據(jù)量的數(shù)據(jù)的所述圖像幀的第一子集。

16.根據(jù)權(quán)利要求13至15中任一項所述的系統(tǒng)，其中所述圖像幀包括圖像幀序列。

17.根據(jù)權(quán)利要求13至16中任一項所述的系統(tǒng)，其中所述指令當在所述一個或多個處理器上執(zhí)行時使得所述系統(tǒng)執(zhí)行包括以下項的操作：

18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述指令當在所述一個或多個處理器上執(zhí)行時使得所述系統(tǒng)執(zhí)行包括以下項的操作：

19.根據(jù)權(quán)利要求13至18中任一項所述的系統(tǒng)，其中跟蹤所述眼睛特征包括從所述圖像幀跟蹤相應(yīng)的眼睛閃爍或相應(yīng)的瞳孔占用。

20.一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)存儲程序指令，所述程序指令能夠經(jīng)由一個或多個處理器執(zhí)行以執(zhí)行包括以下項的操作：

技術(shù)總結(jié)
所公開的各種具體實施包括通過同時或幾乎同時的眼睛特征跟蹤和眼睛模型更新來進行用戶設(shè)備的不顯眼的眼睛注冊。所公開的具體實施將光引向用戶眼睛以產(chǎn)生閃爍反射，并且經(jīng)由一個或多個傳感器獲得包括對這些閃爍反射的描繪的圖像幀?；谶@些圖像幀，所公開的具體實施在獲得這些圖像幀中的第一圖像幀與獲得這些圖像幀中的第二圖像幀之間的時間段期間跟蹤眼睛特征并更新該眼睛的眼睛模型。

技術(shù)研發(fā)人員：秦浩,蔡佳吟,T·森奇勞布,高華,鐘杰
受保護的技術(shù)使用者：蘋果公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2