在許多情況下，用戶使用由他們的手、手指等控制的輸入設(shè)備(例如，鼠標(biāo)、鍵盤、軌跡球、觸摸屏等)來(lái)控制電子設(shè)備(例如，計(jì)算機(jī)、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、移動(dòng)電話等)。在一些示例中，眼睛跟蹤系統(tǒng)可以用于控制電子設(shè)備。在這樣的示例中，電子設(shè)備可以包括或利用確定用戶的注視方向的注視檢測(cè)系統(tǒng)。

附圖說(shuō)明

圖1是包括根據(jù)本公開的教導(dǎo)構(gòu)造的示例注視檢測(cè)器的注視檢測(cè)系統(tǒng)的示意圖。

圖2示出了根據(jù)本公開的教導(dǎo)的向示例注視檢測(cè)器提供信息的三個(gè)事件，其可由圖1的注視檢測(cè)器實(shí)現(xiàn)，以確定注視方向和/或用戶正在觀看的媒體的一部分。

圖3是可用于實(shí)現(xiàn)圖1的注視檢測(cè)器的示例注視檢測(cè)器的框圖。

圖4A-圖4B示出了可由圖1和/或圖3的注視檢測(cè)器使用的示例參考幀。

圖5是可由圖1和/或圖3的注視檢測(cè)器實(shí)現(xiàn)的示例參考幀管理器的框圖。

圖6示出了可以是由圖1和/或圖3的注視檢測(cè)器使用的候選參考幀的媒體幀的示例。

圖7是可由圖1和/或圖3的注視檢測(cè)器實(shí)現(xiàn)的示例圖像管理器的框圖。

圖8是可由圖1和/或圖3的注視檢測(cè)器實(shí)現(xiàn)的示例注視分析器的框圖。

圖9A-圖9C示出了可由圖1和/或圖3的注視檢測(cè)器分析的用戶的(一個(gè)或多個(gè))眼睛的示例圖像。

圖10示出了用戶正在觀看可由圖1和/或圖3的注視檢測(cè)器使用的三個(gè)示例顯示幀。

圖11A-圖11C示出了可由圖1和/或圖3的注視檢測(cè)器使用的示例用戶頭部位置和相應(yīng)的參考幀。

圖12是表示可執(zhí)行以實(shí)現(xiàn)圖1和/或圖3的注視檢測(cè)器和/或圖5、圖7和/或圖8的注視檢測(cè)器的元素的示例機(jī)器可讀指令的流程圖。

圖13是表示可執(zhí)行以實(shí)現(xiàn)圖1和/或圖3的注視檢測(cè)器和/或圖5、圖7和/或圖8的注視檢測(cè)器元素的示例機(jī)器可讀指令的另一流程圖。

圖14是能夠執(zhí)行圖12和/或圖13的指令以實(shí)現(xiàn)圖1和/或圖3的注視檢測(cè)器110和/或圖5、圖7和/或圖8的注視檢測(cè)器元素的處理器平臺(tái)的框圖。

具體實(shí)施方式

示例眼睛跟蹤系統(tǒng)和/或注視檢測(cè)系統(tǒng)可以在相對(duì)于照相機(jī)的已知位置處、也可以在(例如設(shè)備的遠(yuǎn)程系統(tǒng)上和/或在頭戴式裝置上的)固定的已知位置處提供固定照明點(diǎn)(例如，紅外發(fā)光二極管(LED))。在這樣的示例中，照相機(jī)圖像檢測(cè)用戶眼睛中的照明點(diǎn)的反射并且基于該照明點(diǎn)和/或照相機(jī)的已知位置進(jìn)行計(jì)算以確定注視方向。

在本文公開的示例中，提供了一種注視檢測(cè)器，該注視檢測(cè)器能夠通過(guò)呈現(xiàn)在呈現(xiàn)設(shè)備上的參考幀來(lái)動(dòng)態(tài)使用照明點(diǎn)。因此，本文公開的示例允許根據(jù)本公開的教導(dǎo)構(gòu)造的注視檢測(cè)器基于用戶的環(huán)境和/或頭部位置來(lái)調(diào)整照明點(diǎn)，以確定用戶的注視方向。本文公開的示例涉及利用正在呈現(xiàn)媒體的呈現(xiàn)設(shè)備來(lái)在呈現(xiàn)設(shè)備上呈現(xiàn)的媒體幀之間插入的參考幀上呈現(xiàn)照明點(diǎn)。

示例裝置包括參考幀管理器、圖像管理器和注視分析器，以確定注視方向和/或用戶正在觀看的媒體的一部分。在本文公開的示例中，參考幀管理器在媒體的媒體幀之間以某頻率將參考幀插入到媒體中，并且圖像管理器標(biāo)識(shí)由照相機(jī)捕獲的圖像，該圖像包括來(lái)自用戶的參考幀的反射。此外，在本文公開的示例中，注視分析器基于反射的圖像確定注視方向和/或用戶正在觀看的媒體的一部分。

在本文公開的一些示例中，注視檢測(cè)器分析注視檢測(cè)器的環(huán)境的條件并且調(diào)整注視檢測(cè)器和/或注視檢測(cè)器所使用的參考幀的設(shè)置，以確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在本文公開的一些示例中，注視檢測(cè)器將用戶觀看的參考幀的位置與媒體幀的對(duì)應(yīng)位置進(jìn)行比較，以確定用戶正在觀看的對(duì)應(yīng)位置處的對(duì)象。在一些這樣的示例中，在媒體幀在呈現(xiàn)設(shè)備上呈現(xiàn)之前或之后立即在呈現(xiàn)設(shè)備上呈現(xiàn)參考幀。

如本文所使用的，注視方向是用戶正在看或看起來(lái)正在看的角度和/或方向。例如，如果用戶正在看地面上的對(duì)象，則注視方向可以是從用戶的眼睛(或頭部)到該對(duì)象的方向。如本文所使用的，媒體可以是在呈現(xiàn)設(shè)備上顯示的任何內(nèi)容和/或圖像。媒體的示例可以包括但不限于電子設(shè)備顯示、電影、電視節(jié)目等。例如，媒體可以是用戶觀看和/或者可訪問的計(jì)算機(jī)和/或平板計(jì)算機(jī)的顯示。如本文所使用的，媒體的幀或媒體幀是媒體的顯示幀，其可以包括圖像、圖標(biāo)、文本、視頻幀、圖像幀等。例如，以60Hz的頻率呈現(xiàn)的媒體可以每秒呈現(xiàn)60個(gè)媒體幀。

圖1是可用于確定用戶的注視方向和/或用戶正在觀看的媒體的一部分的示例注視檢測(cè)系統(tǒng)100的示意圖。圖1的注視檢測(cè)系統(tǒng)100包括示例注視檢測(cè)器110、呈現(xiàn)設(shè)備120、媒體設(shè)備130和照相機(jī)140。在圖1所示的示例中，注視檢測(cè)器110、呈現(xiàn)設(shè)備120、媒體設(shè)備130和/或照相機(jī)140可以共置在單個(gè)設(shè)備(例如，膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話、臺(tái)式計(jì)算機(jī))上和/或可以位于彼此分離的設(shè)備上。根據(jù)本公開的教導(dǎo)，注視檢測(cè)器110與呈現(xiàn)設(shè)備120、媒體設(shè)備130和/或照相機(jī)140通信以確定用戶的注視方向。

圖1的呈現(xiàn)設(shè)備120可以是任何類型的顯示設(shè)備(例如，發(fā)光二極管(LED)、有機(jī)發(fā)光二極管(0LED)、液晶顯示器(LCD)、陰極射線管顯示器(CRT)、觸摸屏、觸覺輸出設(shè)備等)。例如，呈現(xiàn)設(shè)備120可以是平板計(jì)算機(jī)的觸摸屏或臺(tái)式計(jì)算機(jī)的監(jiān)視器。如本文所公開的呈現(xiàn)設(shè)備120呈現(xiàn)來(lái)自媒體設(shè)備130的媒體和來(lái)自注視檢測(cè)器110的參考幀。在一些示例中，經(jīng)由注視檢測(cè)器110將來(lái)自媒體設(shè)備130的媒體提供給呈現(xiàn)設(shè)備120。如下面進(jìn)一步所公開的，注視檢測(cè)器110在來(lái)自媒體設(shè)備130的媒體的幀之間插入(例如，交織)參考幀。

在圖1所示的示例中，媒體設(shè)備130可以是任何類型的媒體設(shè)備130，諸如膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、機(jī)頂盒、數(shù)字視頻記錄器(DVR)、游戲控制臺(tái)、DVD播放器、Blu-Ray^TM播放器等。在一些示例中，媒體設(shè)備130是計(jì)算機(jī)、平板計(jì)算機(jī)、智能手機(jī)等的圖形驅(qū)動(dòng)。另外地或替代地，媒體設(shè)備130可以從媒體提供商(例如，有線提供商、衛(wèi)星提供商)和/或通信網(wǎng)絡(luò)(例如，因特網(wǎng))接收媒體。因此，媒體設(shè)備130生成、接收和/或提供用于在呈現(xiàn)設(shè)備120上顯示的媒體。注視檢測(cè)器110可以與呈現(xiàn)設(shè)備120并行地和/或在呈現(xiàn)設(shè)備120和媒體設(shè)備130之間串行地與媒體設(shè)備130通信地耦合。因此，注視檢測(cè)器110可以訪問媒體設(shè)備130以在媒體幀之間插入?yún)⒖紟?，使得呈現(xiàn)設(shè)備120顯示媒體幀和/或參考幀。

圖1的注視檢測(cè)系統(tǒng)100的照相機(jī)140可以是任何類型的照相機(jī)(例如、單拍(single shot)照相機(jī)、攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)等)。例如，照相機(jī)140可以是膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話等的照相機(jī)。如本文中由注視檢測(cè)器110使用的圖1的示例照相機(jī)140捕獲用戶的圖像。照相機(jī)140可以向注視檢測(cè)器110提供用戶的圖像，以確定注視方向和/或用戶正在觀看的媒體的一部分。如下面進(jìn)一步公開的，照相機(jī)140捕獲來(lái)自用戶(例如，來(lái)自用戶的(一個(gè)或多個(gè))眼睛，來(lái)自用戶的眼鏡等)的參考幀的反射的圖像。

因此，如本文所公開的，圖1所示的示例注視檢測(cè)器110使用呈現(xiàn)設(shè)備120、媒體設(shè)備130和/或照相機(jī)140，以確定用戶的注視方向和/或確定由媒體設(shè)備130提供的用戶正在觀看的媒體的一部分。

圖2示出了根據(jù)本公開的教導(dǎo)的可以在其中使用注視檢測(cè)系統(tǒng)100的示例環(huán)境以及所分析的示例系列事件。在圖2所示的示例中，用戶201正在觀看平板計(jì)算機(jī)200，平板計(jì)算機(jī)200可以用于實(shí)現(xiàn)圖1的注視檢測(cè)系統(tǒng)100。在圖2所示的示例中，平板計(jì)算機(jī)包括觸摸屏顯示器220(其可以用于實(shí)現(xiàn)圖1的呈現(xiàn)設(shè)備120)和照相機(jī)240(其可以用于實(shí)現(xiàn)圖1的照相機(jī)140)。此外，平板計(jì)算機(jī)200包括可用于實(shí)現(xiàn)圖1的注視檢測(cè)器110的注視檢測(cè)器110(例如，以諸如應(yīng)用，可執(zhí)行程序等的軟件的形式)，以及在觸摸屏顯示器220上渲染顯示的媒體設(shè)備(例如，平板計(jì)算機(jī)200的圖形驅(qū)動(dòng)和/或媒體播放器)。

在圖2的示例中，由編號(hào)箭頭標(biāo)識(shí)的三個(gè)事件向注視檢測(cè)器110提供信息，以確定注視方向和/或用戶201正在觀看的媒體的一部分。在事件1處，用戶201正在觀看觸摸屏220。在圖2所示的示例中，觸摸屏220正在顯示參考幀250。根據(jù)本公開的教導(dǎo)，注視檢測(cè)器110在事件1之前將參考幀250插入到在呈現(xiàn)設(shè)備220上呈現(xiàn)的媒體中。在事件2處，參考幀250包括從呈現(xiàn)設(shè)備120朝向用戶201(例如，朝向用戶的眼睛)投射的照明點(diǎn)。在事件3處，來(lái)自觸摸屏的參考幀250的反射反射離開用戶201(例如，離開用戶的眼睛)并且由照相機(jī)240捕獲。然后，圖2的照相機(jī)240可以將所捕獲的圖像提供給注視檢測(cè)器110以用于分析。針對(duì)此背景，本公開的教導(dǎo)使注視檢測(cè)器110能夠確定注視方向和/或用戶正在觀看的媒體的一部分。

圖3是可用于實(shí)現(xiàn)圖1和/或圖2的注視檢測(cè)器110的示例注視檢測(cè)器110的框圖。圖3的注視檢測(cè)器110根據(jù)本公開的教導(dǎo)確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在圖3所示的示例中，注視檢測(cè)器110包括參考幀管理器310、圖像管理器320和注視分析器330。在圖3中，通信總線340促進(jìn)參考幀管理器310、圖像管理器320和注視分析器330之間的通信。

圖3的示例參考幀管理器310管理在圖1的呈現(xiàn)設(shè)備120上顯示的參考幀。如本文中所使用的，參考幀是用于注視方向分析的顯示幀。示例參考幀400A和400B在圖4A和圖4B中示出。在圖4A和圖4B中所示示例中的參考幀400A，300B包括針對(duì)背景420的照明點(diǎn)410。在所示示例中，參考幀400A包括4個(gè)照明點(diǎn)410，并且參考幀400B包括9個(gè)照明點(diǎn)。示例照明點(diǎn)410可以是任何形狀、大小和/或顏色(包括紅外光)。參考幀管理器310可以創(chuàng)建參考幀和/或?qū)⑵洳迦氲綇拿襟w設(shè)備130接收的媒體中。在一些示例中，如下面所公開的，參考幀管理器310可以調(diào)整參考幀的設(shè)置。如本文所使用的，參考幀(例如，圖4A和圖4B的參考幀400A、400B)使用呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)的物理特性以經(jīng)由呈現(xiàn)設(shè)備120的機(jī)構(gòu)(例如，LED、LCD等)來(lái)呈現(xiàn)照明點(diǎn)(例如，照明點(diǎn)410)。因此，例如，呈現(xiàn)設(shè)備的LED可以通過(guò)呈現(xiàn)來(lái)自參考幀的對(duì)應(yīng)的紅色照明點(diǎn)來(lái)形成紅外照明點(diǎn)。

另外或替代地，圖3的參考幀管理器310可以標(biāo)識(shí)媒體中將用作參考幀的候選參考幀，如下所述。因此，注視檢測(cè)器110使用參考幀管理器來(lái)分析在呈現(xiàn)設(shè)備120上顯示的媒體。此外，參考幀管理器310管理和/或控制(一個(gè)或多個(gè))參考幀的照明點(diǎn)，以為注視檢測(cè)器110提供更準(zhǔn)確的檢測(cè)能力和/或分析。在下面結(jié)合圖5進(jìn)一步更詳細(xì)地描述參考管理器310的示例實(shí)現(xiàn)。

圖3的所示示例中的圖像管理器320管理去往/來(lái)自圖1的照相機(jī)140的通信和/或數(shù)據(jù)。示例圖像管理器320從照相機(jī)130接收?qǐng)D像和/或向照相機(jī)140發(fā)送控制指令。圖3的圖像管理器320分析所接收的圖像(例如，執(zhí)行圖像處理)以檢測(cè)圖像中的參考幀和/或參考幀的反射。在一些示例中，圖像管理器320可以接收?qǐng)D像的流(例如，記錄的視頻)。在這樣的示例中，圖像管理器320可以過(guò)濾掉包括來(lái)自用戶的參考幀的反射的圖像。例如，圖像管理器320可以忽略不包括參考幀的反射的圖像并且保留包括參考幀在用戶的眼睛中或用戶的眼鏡中的反射的圖像。在一些示例中，圖像管理器320可以基于將參考幀插入到媒體中的頻率來(lái)分析接收的圖像。在一些示例中，圖像管理器320可以編輯(例如，裁剪、縮放、增強(qiáng)等)以創(chuàng)建更加詳細(xì)、實(shí)質(zhì)性的和/或清晰的圖像，以待注視分析器330分析。例如，圖像管理器320可以裁剪來(lái)自由照相機(jī)140捕獲的圖像的(一個(gè)或多個(gè))用戶眼睛的增強(qiáng)圖像，以向注視分析器330提供所捕獲圖像的(一個(gè)或多個(gè))最實(shí)質(zhì)性部分(至少用于注視檢測(cè))。

在一些示例中，圖3的圖像管理器320可以指示照相機(jī)140調(diào)整將捕獲圖像的頻率。例如，圖像管理器320可以指示照相機(jī)以參考幀管理器310將參考幀插入到媒體中的相同頻率捕獲圖像。在這樣的示例中，當(dāng)呈現(xiàn)設(shè)備120呈現(xiàn)參考幀時(shí)以及當(dāng)照相機(jī)140將捕獲用戶的圖像時(shí)，圖像管理器320和參考幀管理器310可以協(xié)調(diào)以同步，使得用戶的(一個(gè)或多個(gè))眼睛和/或眼鏡的圖像包括參考幀的反射。因此，圖像管理器320用作圖像處理器和/或用作照相機(jī)140的接口。下面結(jié)合圖7進(jìn)一步描述圖3的圖像管理器320的示例實(shí)現(xiàn)。

圖3的示例注視分析器330分析來(lái)自參考幀管理器310和/或圖像管理器330的數(shù)據(jù)以確定用戶的注視方向。如本文所公開的，注視分析器330分析由呈現(xiàn)設(shè)備120呈現(xiàn)的參考幀。注視分析器330從參考幀管理器310接收參考幀和/或參考幀的信息(例如，(一個(gè)或多個(gè))照明點(diǎn)圖案、(一個(gè)或多個(gè))照明點(diǎn)顏色、(一個(gè)或多個(gè))照明點(diǎn)大小、(一個(gè)或多個(gè))照明點(diǎn)位置等)。圖3的注視分析器330從圖像管理器320接收由圖1的照相機(jī)140捕獲的圖像。如本文所公開的，注視分析器330將從參考幀管理器310接收的(一個(gè)或多個(gè))參考幀(和/或信息)與從圖像管理器320接收的(一個(gè)或多個(gè))圖像進(jìn)行比較，以確定注視方向和/或用戶正在觀看的媒體的一部分。下面結(jié)合圖8進(jìn)一步描述圖3的注視分析器330的示例實(shí)現(xiàn)。

雖然在圖3中示出了實(shí)現(xiàn)圖1的注視檢測(cè)器110的示例方式，但是圖3中所示的元素、過(guò)程和/或設(shè)備中的至少一個(gè)可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤?。此外，參考幀管理?10、圖像管理器320、注視分析器330和/或更一般地，圖3的示例注視檢測(cè)器110可以通過(guò)硬件、軟件、固件和/或硬件、軟件和/或固件的任何組合來(lái)實(shí)現(xiàn)。因此，例如，參考幀管理310、圖像管理器320、注視分析器330和/或更一般地，示例注視檢測(cè)器110中的任何一個(gè)可以通過(guò)(一個(gè)或多個(gè))模擬或數(shù)字電路、(一個(gè)或多個(gè))邏輯電路、(一個(gè)或多個(gè))可編程處理器、(一個(gè)或多個(gè))專用集成電路((一個(gè)或多個(gè))ASIC)、(一個(gè)或多個(gè))可編程邏輯器件((一個(gè)或多個(gè))PLD)和/或(一個(gè)或多個(gè))現(xiàn)場(chǎng)可編程邏輯器件((一個(gè)或多個(gè))FPLD)中的至少一個(gè)來(lái)實(shí)現(xiàn)。當(dāng)閱讀本專利的覆蓋純粹的軟件和/或固件實(shí)施的任何裝置或系統(tǒng)權(quán)利要求時(shí)，參考幀管理310、圖像管理器320和/或注視分析器330中的至少一個(gè)在此被明確地定義為包括有形計(jì)算機(jī)可讀存儲(chǔ)設(shè)備或存儲(chǔ)盤，諸如存儲(chǔ)軟件和/或固件的存儲(chǔ)器、數(shù)字通用盤(DVD)、光盤(CD)、藍(lán)光盤等。此外，圖3的示例注視檢測(cè)器110可以包括除了圖3所示的那些元素之外或代替那些元素的至少一個(gè)元素、過(guò)程和/或設(shè)備，和/或可以包括任何或所有的所示元素、過(guò)程和設(shè)備中的不止一個(gè)。

圖5是可用于實(shí)現(xiàn)圖3的參考幀管理器310的示例參考幀管理器310的框圖。圖5的參考幀管理器310管理由呈現(xiàn)設(shè)備120與來(lái)自媒體設(shè)備130的媒體一起和/或在來(lái)自媒體設(shè)備130的媒體內(nèi)呈現(xiàn)的參考幀。在圖5所示的示例中，參考幀管理器310包括媒體分析器510、參考幀生成器520和顯示控制器530。在圖5所示的示例中，來(lái)自媒體設(shè)備130的媒體由媒體分析器510接收并被轉(zhuǎn)發(fā)到顯示控制器530。圖5的顯示控制器530從參考幀生成器520接收媒體和/或參考幀，并將該媒體和/或參考幀作為顯示數(shù)據(jù)提供給呈現(xiàn)設(shè)備120。如本文所使用的，顯示數(shù)據(jù)和/或顯示幀指代包括由呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)渲染和/或呈現(xiàn)的媒體幀和/或參考幀的數(shù)據(jù)和/或幀。

圖5的媒體分析器510分析從媒體設(shè)備130接收和/或取回的媒體。媒體分析器510分析該媒體以標(biāo)識(shí)該媒體的特性。例如，媒體分析器510可以確定媒體的頻率(例如，每秒的幀)。這樣的信息在確定顯示幀的比或百分比中可以是有用，顯示幀可以是相對(duì)于媒體幀的參考幀。在一些示例中，媒體分析器510將所確定的信息提供給注視分析器330用于注視檢測(cè)分析。在一些示例中，參考幀管理器310可以尋求以參考幀不是人不可檢測(cè)的方式將參考幀插入到媒體中。在這樣的示例中，如果參考幀管理器310將參考幀太頻繁地插入到由呈現(xiàn)設(shè)備120呈現(xiàn)的媒體(例如，顯示數(shù)據(jù))中，則用戶適當(dāng)?shù)赜^看媒體的能力可能受到負(fù)面影響。例如，將參考幀太頻繁地插入顯示數(shù)據(jù)中可能使用戶能夠在呈現(xiàn)設(shè)備120上檢測(cè)到參考幀的顯示，因此破壞了媒體的回放和/或清晰度。因此，使用確定的媒體頻率(例如，每秒的幀)，參考幀管理器310尋求以用戶不會(huì)意識(shí)到呈現(xiàn)了參考幀的頻率插入?yún)⒖紟?/p>

在一些示例中，圖5的媒體分析器510可以分析媒體和/或媒體幀，以標(biāo)識(shí)固有地存在于媒體和/或媒體幀內(nèi)的照明點(diǎn)。例如，圖6A和圖6B分別示出了示例的第一和第二媒體幀610和620。圖6A的所示示例中的第一媒體幀610包括包含明月的夜空的圖像。在這樣的示例中，媒體分析器510可以將明月標(biāo)識(shí)為照明點(diǎn)630。圖6B的所示示例中的第二媒體幀620包括車輛的前燈的圖像。在這樣的示例中，媒體分析器510可以將前燈標(biāo)識(shí)為照明點(diǎn)640。如本文所公開的，在媒體分析器510標(biāo)識(shí)候選照明點(diǎn)和/或?qū)⒆⒁暀z測(cè)器110配置為使用來(lái)自媒體幀的照明點(diǎn)的示例中，參考幀管理器310可將候選照明點(diǎn)630、640的位置(例如，x、y坐標(biāo))傳送到注視分析器330，以用于圖像分析和/或確定用戶的注視方向。因此，如本文所使用的，在本文中可將固有地存在于媒體幀內(nèi)的照明點(diǎn)稱為參考幀的照明點(diǎn)。因此，如本文所公開的，媒體分析器510可以分析接收到的媒體的每一幀并且使得參考幀管理器310和/或注視檢測(cè)器110能夠動(dòng)態(tài)地管理參考幀，參考幀用于確定注視方向和/或用戶正在觀看的媒體的一部分。

在圖5所示的示例中，參考幀生成器520創(chuàng)建參考幀，該參考幀將由呈現(xiàn)設(shè)備120呈現(xiàn)、從用戶(例如，從用戶的(一個(gè)或多個(gè))眼睛、眼鏡等)反射、由照相機(jī)140捕獲和/或由注視分析器330分析。參考幀生成器520生成參考幀(例如，分別為圖4A和圖4B的參考幀400A、400B)，并將生成的參考幀提供給顯示控制器530?；谟脩舻脑O(shè)置和/或來(lái)自注視分析器330的指令，參考幀生成器520基于照明點(diǎn)圖案、照明點(diǎn)大小、照明點(diǎn)顏色、背景類型、背景顏色等生成參考幀。如在下文中結(jié)合圖8的注視分析器330進(jìn)一步詳細(xì)地公開的，在一些示例中，在注視分析器330確定對(duì)參考幀的調(diào)整將增強(qiáng)注視檢測(cè)時(shí)，參考幀生成器520連續(xù)不斷地等待來(lái)自注視分析器330的指令以調(diào)整參考幀的設(shè)置(例如，照明點(diǎn)圖案、照明點(diǎn)大小、照明點(diǎn)顏色等)。因此，圖5的參考幀生成器520生成由呈現(xiàn)設(shè)備120呈現(xiàn)的參考幀，以確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。

圖5的示例顯示控制器530從接收的媒體幀和/或參考幀生成顯示數(shù)據(jù)。顯示控制器530向呈現(xiàn)設(shè)備120提供顯示數(shù)據(jù)和/或顯示幀，呈現(xiàn)設(shè)備120對(duì)顯示數(shù)據(jù)和/或顯示幀進(jìn)行渲染。因此，顯示控制器530將參考幀插入到媒體中。在一些示例中，顯示控制器530通過(guò)替換至少一個(gè)媒體幀來(lái)插入?yún)⒖紟?。在一些示例中，顯示控制器530在媒體的兩個(gè)媒體幀之間插入?yún)⒖紟?。根?jù)用戶指令和/或從注視分析器330接收的指令，顯示控制器530插入?yún)⒖紟?或輸出顯示數(shù)據(jù)。例如，基于由媒體分析器510確定的媒體的頻率，注視分析器330可以指示顯示控制器530增加或減少將參考幀插入到顯示數(shù)據(jù)中的頻率。

因此，圖5的參考幀管理器310管理用于注視檢測(cè)器110的注視檢測(cè)的參考幀。經(jīng)由通信總線340，圖5的參考幀管理器310提供參考幀信息、媒體信息和/或媒體幀。

雖然在圖5中示出了實(shí)現(xiàn)圖3的參考幀管理器310的示例方式，但是圖5中所示的元素、過(guò)程和/或設(shè)備中的至少一個(gè)可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤４送?，媒體分析器510、參考幀生成器520、顯示控制器530和/或更一般地，圖5的示例參考幀管理器310可以通過(guò)硬件、軟件、固件、和/或硬件、軟件和/或固件的任何組合來(lái)實(shí)現(xiàn)。因此，例如媒體分析器510、參考幀生成器520、顯示控制器530和/或更一般地，示例參考幀管理器310中的任何一個(gè)可以由(一個(gè)或多個(gè))模擬或數(shù)字電路、(一個(gè)或多個(gè))邏輯電路、(一個(gè)或多個(gè))可編程處理器、(一個(gè)或多個(gè))專用集成電路((一個(gè)或多個(gè))ASIC)、(一個(gè)或多個(gè))可編程邏輯器件((一個(gè)或多個(gè))PLD)和/或(一個(gè)或多個(gè))現(xiàn)場(chǎng)可編程邏輯器件((一個(gè)或多個(gè))FPLD)中的至少一個(gè)來(lái)實(shí)現(xiàn)。當(dāng)閱讀本專利的覆蓋純粹的軟件和/或固件實(shí)現(xiàn)的任何裝置或系統(tǒng)權(quán)利要求時(shí)，媒體分析器510，參考幀生成器520和/或顯示控制器530中的至少一個(gè)在此被明確地定義為包括有形計(jì)算機(jī)可讀存儲(chǔ)設(shè)備或存儲(chǔ)盤，諸如存儲(chǔ)軟件和/或固件的存儲(chǔ)器、數(shù)字通用盤(DVD)、光盤(CD)、藍(lán)光盤等。此外，圖5的示例參考幀管理器310可以包括除了圖5所示的那些之外或代替那些的至少一個(gè)元素、過(guò)程和/或設(shè)備，和/或可以包括任何或所有所示元素、過(guò)程和設(shè)備中的不止一個(gè)。

圖7是可用于實(shí)現(xiàn)圖3的圖像管理器320的示例圖像管理器320的框圖。圖7的圖像管理器320管理由照相機(jī)140捕獲的圖像和/或促進(jìn)與照相機(jī)140的通信。在圖5的所示示例中，圖像管理器320包括照相機(jī)接口710、圖像過(guò)濾器720和圖像編輯器730。在圖7的所示示例中，來(lái)自照相機(jī)的圖像由照相機(jī)接口710接收。在圖7的所示示例中，照相機(jī)接口710將圖像轉(zhuǎn)發(fā)到圖像過(guò)濾器720，圖像過(guò)濾器720將過(guò)濾的圖像轉(zhuǎn)發(fā)到圖像編輯器730。

圖7的示例照相機(jī)接口710可以向照相機(jī)140(和/或照相機(jī)140的控制器)提供指令以用于捕獲用戶的圖像。例如，響應(yīng)于經(jīng)由通信總線340從注視分析器330接收指令，照相機(jī)接口710可以指示照相機(jī)140以指定頻率(例如，與參考幀管理器310正向媒體(或顯示數(shù)據(jù))中插入?yún)⒖紟念l率相同的頻率或更快的頻率)捕獲圖像。在一些示例中，照相機(jī)接口710可以指示照相機(jī)140流傳輸捕獲的圖像(例如，記錄和/或提供視頻)。在一些示例中，照相機(jī)接口710可以向照相機(jī)140提供更詳細(xì)的捕獲指令。例如，照相機(jī)接口710可以指示照相機(jī)140使用運(yùn)動(dòng)檢測(cè)和/或面部識(shí)別來(lái)捕獲聚焦和/或集中在用戶或用戶的面部和/或(一個(gè)或多個(gè))眼睛上的圖像。如在下文中結(jié)合圖8進(jìn)一步詳細(xì)描述的，在一些示例中，照相機(jī)接口710可以將照相機(jī)140捕獲的所有圖像提供給注視分析器330，用于分析用戶環(huán)境的條件。

圖7的所示示例的圖像過(guò)濾器720分析圖像以標(biāo)識(shí)可由注視分析器330針對(duì)注視檢測(cè)進(jìn)行分析的圖像。因此，圖像過(guò)濾器720標(biāo)識(shí)來(lái)自照相機(jī)140的圖像，該圖像包括來(lái)自用戶(例如，來(lái)自用戶的(一個(gè)或多個(gè))眼睛和/或眼鏡)的參考幀的反射。因此，圖像過(guò)濾器720可以接收過(guò)濾器指令以標(biāo)識(shí)來(lái)自參考幀管理器310和/或注視分析器330的特定照明點(diǎn)和/或參考幀特性。在一些示例中，可以將時(shí)間同步信息包括在過(guò)濾指令中，該過(guò)濾指令指示在其期間圖像過(guò)濾器720將開始和/或結(jié)束過(guò)濾圖像的時(shí)段，以基于何時(shí)將參考幀插入到媒體中來(lái)標(biāo)識(shí)參考幀。基于接收到的指令，圖像過(guò)濾器720在從照相機(jī)140接收的圖像中標(biāo)識(shí)來(lái)自用戶的反射的對(duì)應(yīng)圖像。例如，圖像過(guò)濾器720確定將在來(lái)自用戶的眼睛的反射中標(biāo)識(shí)特定照明點(diǎn)和/或照明點(diǎn)圖案。圖7的圖像過(guò)濾器720可以刪除、移除和/或忽略不包括參考幀的反射的圖像。在一些示例中，圖像過(guò)濾器720將包括參考幀的反射的圖像轉(zhuǎn)發(fā)到圖像編輯器730。另外或替代地，圖像過(guò)濾器720可經(jīng)由通信總線340向注視分析器330提供包括參考幀的反射的圖像。

在圖7的所示示例中，圖像編輯器730可以提煉(refine)來(lái)自圖像過(guò)濾器720的圖像。在一些示例中，圖像編輯器730可以接收由照相機(jī)140捕獲和/或由照相機(jī)接口710接收的所有圖像。示例圖像編輯器730可以對(duì)圖像裁剪、放大、增強(qiáng)以進(jìn)行分析。例如，圖像編輯器730可以執(zhí)行圖像處理以標(biāo)識(shí)對(duì)于注視檢測(cè)而言感興趣的圖像的部分(例如，用戶的(一個(gè)或多個(gè))眼睛和/或面部)。然后，圖像編輯器730可以從由照相機(jī)140捕獲的圖像的裁剪部分生成新圖像。這樣的新圖像可以由圖像編輯器730放大、增強(qiáng)(例如聚焦)等。因此，圖像編輯器730可以針對(duì)在分析來(lái)自用戶的參考幀和/或照明點(diǎn)的反射的中的增加的準(zhǔn)確度來(lái)向注視分析器330提供增強(qiáng)的圖像。

雖然在圖7中示出了實(shí)現(xiàn)圖3的圖像管理器320的示例方式，但是圖7中所示的元素、過(guò)程和/或設(shè)備中的至少一個(gè)可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤?。此外，照相機(jī)接710，圖像過(guò)濾器720，圖像編輯器730和/或更一般地，圖7的示例圖像管理器320可以通過(guò)硬件、軟件、固件和/或硬件、軟件和/或固件的任何組合來(lái)實(shí)現(xiàn)。因此，例如照相機(jī)接口710、圖像過(guò)濾器720，圖像編輯器730和/或更一般地，示例圖像管理器320中的任一個(gè)可以由(一個(gè)或多個(gè))模擬或數(shù)字電路，(一個(gè)或多個(gè))邏輯電路，(一個(gè)或多個(gè))可編程處理器，(一個(gè)或多個(gè))專用集成電路(一個(gè)或多個(gè))ASIC)，(一個(gè)或多個(gè))可編程邏輯器件((一個(gè)或多個(gè))PLD)和/或(一個(gè)或多個(gè))現(xiàn)場(chǎng)可編程邏輯器件((一個(gè)或多個(gè))FPLD)中的至少一個(gè)來(lái)實(shí)現(xiàn)。當(dāng)閱讀本專利的覆蓋純粹的軟件和/或固件實(shí)現(xiàn)的任何裝置或系統(tǒng)權(quán)利要求時(shí)，照相機(jī)接口710、圖像過(guò)濾器720和/或圖像編輯器730中的至少一個(gè)被清楚地定義以包括存儲(chǔ)軟件和/或固件的有形計(jì)算機(jī)可讀存儲(chǔ)設(shè)備或存儲(chǔ)盤，諸如存儲(chǔ)器、數(shù)字通用盤(DVD)、光盤(CD)、藍(lán)光盤等。此外，圖7的示例圖像管理器320可以包括：除了圖7中所示的那些之外或代替那些的至少一個(gè)元素、過(guò)程和/或設(shè)備，和/或可以包括任何或所有所示元素、過(guò)程和設(shè)備中的不止一個(gè)。

圖8是可用于實(shí)現(xiàn)圖3的注視分析器330的示例注視分析器330的框圖。通過(guò)使用來(lái)自圖3和/或圖5的參考幀管理器310和/或圖3和/或圖7的圖像管理器320，圖8的注視分析器330確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在圖8的所示示例中，注視分析器330包括圖像分析器810、注視方向計(jì)算器820、媒體比較器830和條件分析器840。在圖8中，通信總線850促進(jìn)圖像分析器810、注視方向計(jì)算器820、媒體比較器830和條件分析器840之間的通信。

圖8的圖像分析器810分析由照相機(jī)140捕獲和/或從圖像管理器320接收的圖像。圖像分析器810分析圖像以標(biāo)識(shí)照明點(diǎn)、參考點(diǎn)和/或用戶特性。例如，圖像分析器810可以標(biāo)識(shí)與用戶的瞳孔和/或虹膜有關(guān)的(一個(gè)或多個(gè))照明點(diǎn)。現(xiàn)在參考圖9A-圖9C，圖像分析器810執(zhí)行在由照相機(jī)140捕獲的圖像中標(biāo)識(shí)的用戶的(一個(gè)或多個(gè))眼睛900的聚焦分析。在圖9A中，圖像分析器810標(biāo)識(shí)用戶的眼睛900中的兩個(gè)照明點(diǎn)910的反射、用戶的瞳孔920和虹膜930。在圖9B中，圖像分析器810標(biāo)識(shí)四個(gè)照明點(diǎn)910的反射、用戶的瞳孔920和用戶的虹膜930。在圖9C中，圖像分析器810標(biāo)識(shí)用戶的八個(gè)照明點(diǎn)910、兩個(gè)瞳孔920和兩個(gè)虹膜930。在圖9A-圖9C的所示示例中，照明點(diǎn)910對(duì)應(yīng)于由用戶的(一個(gè)或多個(gè))眼睛900觀看的呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)呈現(xiàn)的參考幀的照明點(diǎn)。圖像分析器810還可以從圖像(例如，基于照相機(jī)的設(shè)置、來(lái)自圖像管理器320的編輯等)標(biāo)識(shí)和/或確定縮放信息。然后，圖像分析器810可以向注視方向計(jì)算器820提供圖像中的標(biāo)識(shí)出的感興趣點(diǎn)的坐標(biāo)和/或其他圖像信息。在一些示例中，圖像分析器810和/或注視分析器330可以向照相機(jī)140提供指令以增加光學(xué)和/或數(shù)字變焦的水平。

在一些示例中，圖8的圖像分析器810標(biāo)識(shí)注視檢測(cè)系統(tǒng)100和/或用戶的環(huán)境的條件。例如，圖像分析器810可以從照相機(jī)140和/或圖像管理器320接收?qǐng)D像的流(例如，視頻)并標(biāo)識(shí)環(huán)境的特性。例如，圖像分析器810可以標(biāo)識(shí)圖像中的(一個(gè)或多個(gè))對(duì)比度(contrast)(例如，在反射的照明點(diǎn)和用戶的眼睛之間、已標(biāo)識(shí)的圖像對(duì)象之間等)。在下面結(jié)合條件分析器840進(jìn)一步描述這樣的示例。

圖8的所示示例中的注視方向計(jì)算器820分析由圖像分析器820在圖像中標(biāo)識(shí)的感興趣的(一個(gè)或多個(gè))點(diǎn)來(lái)計(jì)算用戶的注視方向。在一些示例中，注視方向計(jì)算器820標(biāo)識(shí)對(duì)應(yīng)于圖像分析器810分析的圖像的參考幀，該圖像呈現(xiàn)在呈現(xiàn)設(shè)備120上。因此，在這樣的示例中，注視方向計(jì)算器820可將由呈現(xiàn)設(shè)備120呈現(xiàn)的參考幀與分析的圖像中來(lái)自用戶的參考幀的反射進(jìn)行比較，以確定注視方向。例如，注視方向計(jì)算器820可以標(biāo)識(shí)參考幀中的照明點(diǎn)圖案和在用戶的眼睛中反射的對(duì)應(yīng)照明點(diǎn)的位置，以確定用戶的注視方向。此外，注視方向計(jì)算器820使用用戶的特征或參考點(diǎn)(例如，用戶的(一個(gè)或多個(gè))眼睛和/或眼鏡)來(lái)確定注視方向。例如，基于反射的照明點(diǎn)相對(duì)于(一個(gè)或多個(gè))參考點(diǎn)的位置，注視方向計(jì)算器820可以標(biāo)識(shí)用戶的至少一個(gè)參考點(diǎn)(例如，用戶的瞳孔、用戶的虹膜等)以計(jì)算注視方向。在一些示例中，注視方向計(jì)算器820可以計(jì)及用戶的眼睛和/或眼鏡的曲率。注視方向計(jì)算器可以使用各種數(shù)學(xué)公式，以使用從本文公開的反射的圖像確定的變量(例如，照明點(diǎn)、參考點(diǎn)之間的距離等)來(lái)計(jì)算注視方向和/或呈現(xiàn)設(shè)備的位置。

參考作為示例的圖4A和圖9B，假設(shè)呈現(xiàn)設(shè)備120顯示參考幀400A，并且照相機(jī)140捕獲到圖9B的眼睛900的圖像，該圖像包括參考幀400A的反射。在這樣的示例中，圖4A的照明點(diǎn)410對(duì)應(yīng)于圖9B的照明點(diǎn)910。因此，基于照明點(diǎn)910相對(duì)于眼睛910的瞳孔和/或虹膜930的位置，注視方向計(jì)算器820可以確定圖9B的眼睛900正在以向下的角度注視并且注視照相機(jī)140的左側(cè)。示例注視方向計(jì)算器820可以向媒體比較器830提供注視方向信息以確定用戶正在觀看的媒體的一部分。在一些示例中，基于分析的圖像中的反射的照明點(diǎn)的位置，注視方向計(jì)算器820可以計(jì)算呈現(xiàn)設(shè)備120的對(duì)應(yīng)位置。例如，基于照明點(diǎn)910相對(duì)于眼睛900的瞳孔920和/或虹膜930的位置，注視方向計(jì)算器820可以將圖9的照明點(diǎn)910的位置轉(zhuǎn)化(translate)到參考幀400A上的位置。因此，注視方向計(jì)算器820可基于照明點(diǎn)910、瞳孔920和/或虹膜930的位置來(lái)計(jì)算數(shù)學(xué)公式。

圖8的所示示例的媒體比較器830確定用戶正在觀看的媒體的一部分。媒體比較器830將從注視方向計(jì)算器820接收的注視方向信息與在用于計(jì)算注視方向的參考幀之前或之后呈現(xiàn)的媒體幀進(jìn)行比較。例如，根據(jù)注視方向計(jì)算器820的計(jì)算，注視分析器330可以確定用戶正在觀看的參考幀的位置。然后，媒體比較器830可以將所計(jì)算的位置與在參考幀之前或之后呈現(xiàn)的媒體幀的對(duì)應(yīng)位置進(jìn)行比較，以確定正在觀看的媒體的部分。

針對(duì)由媒體比較器830執(zhí)行的示例分析，圖10示出了用戶1000在媒體設(shè)備1030(例如，平板計(jì)算機(jī))的呈現(xiàn)設(shè)備1020上觀看三個(gè)順序顯示的幀1002、1004、1006的示例。媒體設(shè)備1030可以包括注視檢測(cè)器110和/或與注視檢測(cè)器110通信。在圖10的示例中，第一幀1002在時(shí)間T₁呈現(xiàn)、第二幀1004在時(shí)間T₂呈現(xiàn)、并且第三幀在時(shí)間T₃呈現(xiàn)，使得T₁在T₂之前并且T₂在時(shí)間上T₃之前。在圖10的所示示例中，第一幀1002是包括對(duì)象1008(例如，人的圖像)的媒體幀，并且第三幀1006是包括對(duì)象1008的媒體幀。然而，第二幀1004是包括照明點(diǎn)1010的參考幀。在圖10中，基于對(duì)用戶的眼睛中反射的參考幀的圖像的分析，其指示用戶1000正在觀看呈現(xiàn)設(shè)備1020的特定位置1050，注視檢測(cè)器110的媒體比較器830確定用戶1000正在觀看對(duì)象1008。因此，由于對(duì)象1008在觀看參考幀(盡管用戶1000可能不知道他/她觀看了該參考幀)時(shí)呈現(xiàn)在用戶觀看的呈現(xiàn)設(shè)備1020的相同位置中，所以媒體比較器830可以確定用戶正在觀看對(duì)象1008。

在一些示例中，圖8的媒體比較器830可以標(biāo)識(shí)在對(duì)應(yīng)位置(例如，圖10的位置1050)處的對(duì)象(例如，圖標(biāo)、文本、圖像、超鏈接、按鈕、標(biāo)簽等)。在這樣的示例中，注視分析器330和/或注視檢測(cè)器110可以向與注視檢測(cè)器110相關(guān)聯(lián)的處理器(例如，圖14的處理器1412)提供信息以用于設(shè)備的控制。在一些示例中，這種標(biāo)識(shí)的對(duì)象可以用于控制注視檢測(cè)系統(tǒng)100和/或與注視檢測(cè)系統(tǒng)100相關(guān)聯(lián)的設(shè)備(例如，計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話等)。例如，注視分析器330可以確定用戶已經(jīng)選擇了對(duì)象(例如，基于用戶觀看該對(duì)象的時(shí)間長(zhǎng)度、基于在觀看對(duì)象時(shí)的眨眼數(shù)量等)。

圖8的條件分析器840監(jiān)視注視檢測(cè)器110和/或用戶的環(huán)境的條件。示例條件分析器840可以向參考幀管理器310和/或圖像管理器320提供反饋，以調(diào)整用于確定用戶的注視方向和/或用戶正在觀看的媒體的一部分的對(duì)應(yīng)設(shè)置。

在一些示例中，圖8的條件分析器840監(jiān)視用戶的頭部位置。如本文所使用的，用戶的頭部位置指的是用戶頭部在頭框(headbox)中相對(duì)于呈現(xiàn)設(shè)備120和/或照相機(jī)140的位置。如本文所使用的，頭框是與呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)有關(guān)的觀看空間，其可由照相機(jī)(例如，照相機(jī)140)捕獲。例如，基于從圖像管理器320和/或照相機(jī)140接收和/或取回的圖像，條件分析器840可以執(zhí)行運(yùn)動(dòng)檢測(cè)和/或面部識(shí)別。

圖11A-圖11C示出了由條件分析器840執(zhí)行的示例分析以及由參考管理器310基于來(lái)自條件分析器840的反饋生成的對(duì)應(yīng)參考幀。在圖11A中，用戶的頭部1100位于頭框1110的中央。因此，在圖11A中，基于來(lái)自條件分析器840和/或注視分析器330的指令，參考幀管理器310生成并插入包括居中照明點(diǎn)1130的第一參考幀1120。在圖11B中，用戶的頭部被移動(dòng)(shift)到頭框1110的左側(cè)。因此，在圖11B中，基于來(lái)自條件分析器840和/或注視分析器330的指示頭部位置中的對(duì)應(yīng)移動(dòng)的指令，參考幀管理器310生成和/或插入包括移動(dòng)到參考幀1130的右邊的照明點(diǎn)的第二參考幀1130。在圖11B中，照明點(diǎn)移動(dòng)到參考幀1130的右側(cè)，因?yàn)閰⒖紟挠覀?cè)由于用戶1100和照相機(jī)140的相對(duì)的視點(diǎn)(perspective)而是與頭部位置的相同的物理側(cè)。在圖11C中，用戶的頭部移動(dòng)到頭框1110的右側(cè)。因而，在圖11C中，基于來(lái)自條件分析器840和/或注視分析器330的指示頭部位置中的對(duì)應(yīng)移動(dòng)的指令，參考幀管理器310生成和/或插入包括向參考幀1140的左側(cè)移動(dòng)的照明點(diǎn)的第三參考幀1140。

在一些示例中，圖8的條件分析器840監(jiān)視注視檢測(cè)器110和/或用戶的環(huán)境的環(huán)境光。例如，條件分析器可以標(biāo)識(shí)對(duì)象之間的對(duì)比度(或其不存在)，以確定在來(lái)自圖像管理器320和/或照相機(jī)140的圖像中存在亮光或暗光?；诖_定的照明，條件分析器840可以指示參考幀管理器310調(diào)整所生成和/或插入的參考幀的設(shè)置。例如，條件分析器840和/或注視分析器330可以確定參考幀管理器310應(yīng)當(dāng)生成并插入具有不同顏色的照明點(diǎn)、不同大小的照明點(diǎn)和/或不同照明點(diǎn)圖案的參考幀。

因此，圖8的條件分析器840使得注視檢測(cè)器能夠動(dòng)態(tài)地適配照明點(diǎn)位置、顏色和/或圖案以計(jì)及用戶和/或注視檢測(cè)器110的環(huán)境的條件。在一些示例中，在注視檢測(cè)器110在用戶的反射中標(biāo)識(shí)每個(gè)參考幀之后，條件分析器840可以基于所分析的環(huán)境條件來(lái)確定是否要針對(duì)后續(xù)的參考幀調(diào)整設(shè)置。在一些示例中，條件分析器840連續(xù)監(jiān)視從圖像管理器320和/或照相機(jī)140流傳輸?shù)膱D像以分析環(huán)境的條件。

雖然在圖8中示出了實(shí)現(xiàn)圖3的注視分析器330的示例方式，但是圖8中所示的元素、過(guò)程和/或設(shè)備中的至少一個(gè)可以以任何其他方式組合、劃分、重新布置、省略、消除和/或?qū)嵤?。此外，圖像分析器810、注視方向計(jì)算器820、媒體比較器830、條件分析器840和/或更一般地，圖8的示例注視分析器330可以通過(guò)硬件、軟件、固件和/或硬件、軟件和/或固件的任何組合來(lái)實(shí)現(xiàn)。因此，例如，圖像分析器810、注視方向計(jì)算器820、媒體比較器830、條件分析器840和/或更一般地，示例注視分析器330中的任何一個(gè)可以通過(guò)(一個(gè)或多個(gè))模擬或數(shù)字電路、(一個(gè)或多個(gè))邏輯電路、(一個(gè)或多個(gè))可編程處理器、(一個(gè)或多個(gè))專用集成電路((一個(gè)或多個(gè))ASIC)、(一個(gè)或多個(gè))可編程邏輯器件((一個(gè)或多個(gè))PLD)和/或(一個(gè)或多個(gè))現(xiàn)場(chǎng)可編程邏輯器件((一個(gè)或多個(gè))FPLD)中的至少一個(gè)來(lái)實(shí)現(xiàn)。當(dāng)閱讀本專利的覆蓋純軟件和/或固件實(shí)現(xiàn)的任何裝置或系統(tǒng)權(quán)利要求時(shí)，圖像分析器810、注視方向計(jì)算器820、媒體比較器830和/或條件分析器840中的至少一個(gè)由此明確地定義為包括存儲(chǔ)軟件和/或固件的有形計(jì)算機(jī)可讀存儲(chǔ)設(shè)備或存儲(chǔ)盤，諸如存儲(chǔ)器、數(shù)字通用盤(DVD)、光盤(CD)、藍(lán)光盤等。此外，圖8的示例注視分析器330可以包括除了圖8所示的那些之外或代替那些的至少一個(gè)元素、過(guò)程和/或設(shè)備，和/或可以包括任何或所有的所示元素、過(guò)程和設(shè)備中不止一個(gè)。

因此，結(jié)合圖1、圖3、圖5、圖7和/或圖8公開的注視檢測(cè)器110可以確定用戶的注視方向和/或用戶正在觀看的媒體的一部分。在一些示例中，注視檢測(cè)器110可用于設(shè)備(例如，計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話等)的控制，該設(shè)備與注視檢測(cè)器110相關(guān)聯(lián)和/或與注視檢測(cè)器110通信地耦合。

在圖12和/或圖13中示出了表示用于實(shí)現(xiàn)圖3的注視檢測(cè)器110和/或圖5、圖7和/或圖8的注視檢測(cè)器110的元素示例機(jī)器可讀指令的流程圖。在這些示例中，機(jī)器可讀指令包括用于由處理器執(zhí)行的(一個(gè)或多個(gè))程序，處理器諸如下面結(jié)合圖14討論的示例處理器平臺(tái)1400中所示的處理器1412。程序可以在存儲(chǔ)在有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的軟件中來(lái)實(shí)現(xiàn)，有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)諸如CD-ROM、軟盤、硬盤驅(qū)動(dòng)器、數(shù)字通用盤(DVD)、藍(lán)光盤、或與處理器1412相關(guān)聯(lián)的存儲(chǔ)器，但是整個(gè)程序和/或其部分也可以替代地由除了處理器1412之外的設(shè)備來(lái)執(zhí)行和/或在固件或?qū)Ｓ糜布袑?shí)現(xiàn)。此外，盡管參考圖12和/或圖13中所示的流程圖描述了示例程序，但是可以替代地使用實(shí)現(xiàn)圖3的注視檢測(cè)器110和/或圖5、圖7和/或圖8的注視檢測(cè)器110的元素的示例的許多其他方法。例如，可以改變塊的執(zhí)行的順序，和/或可以改變、消除或組合所描述的塊中的一些。

(例如，響應(yīng)于來(lái)自用戶的指令、響應(yīng)于啟動(dòng)、響應(yīng)于對(duì)與注視檢測(cè)器110相關(guān)聯(lián)和/或包括注視檢測(cè)器110的設(shè)備通電等)，圖12的程序1200從圖1和/或圖3的注視檢測(cè)器110的啟動(dòng)開始。執(zhí)行程序1200以檢測(cè)用戶的注視方向和/或確定用戶正在觀看的媒體的一部分。

在圖12的所示示例的框1210處，圖3和/或圖5的示例參考幀管理310在顯示器上呈現(xiàn)的媒體的幀之間插入?yún)⒖紟?。在呈現(xiàn)設(shè)備(例如，呈現(xiàn)設(shè)備120)上在媒體幀之間呈現(xiàn)框1210的參考幀。如本文所公開的，參考幀的圖像從用戶反射，并且在框1220處，注視分析器330分析參考幀的反射的圖像。

在圖12的框1230處，注視分析器1230基于參考幀的反射確定用戶觀看的媒體的一部分。如本文所公開的，基于計(jì)算出的用戶的注視方向和/或?qū)⒆⒁暦较蚺c在圖12的參考幀框1210之前和/或之后呈現(xiàn)的媒體幀進(jìn)行比較，注視分析器1230可以確定媒體的該部分。

在一些示例中，可以迭代地執(zhí)行圖12的程序1200以實(shí)現(xiàn)圖1和/或圖3的注視檢測(cè)器110。例如，程序1200的第一迭代可以包括在框1210處插入第一參考幀、在框1220處對(duì)第一參考幀的反射的第一圖像的分析以及基于第一圖像的在框1230處的第一確定。在這樣的例子中，程序1200的第二迭代可包括在框1210處插入第二參考幀、在框1220處對(duì)第二參考幀的反射的第二圖像的分析以及基于第二圖像在框1230處的第二確定。因此，程序1200的迭代可以用于連續(xù)監(jiān)視用戶的注視方向和/或監(jiān)視用戶正在觀看的媒體的一部分。

圖13的另一程序1300開始于圖1和/或圖3的注視檢測(cè)器110的啟動(dòng)。圖13的程序1300使得注視檢測(cè)器110能夠監(jiān)視的環(huán)境并且動(dòng)態(tài)地調(diào)整注視檢測(cè)器110的設(shè)置。例如，程序1300可以根據(jù)照相機(jī)140記錄/監(jiān)視注視檢測(cè)系統(tǒng)100的環(huán)境來(lái)執(zhí)行，以確定注視檢測(cè)器110的設(shè)置，這些設(shè)置可以增加確定用戶的注視方向和/或確定用戶正在觀看的媒體的一部分的準(zhǔn)確度。圖13的程序1300可以在圖12的程序1200之前、之后執(zhí)行和/或與圖12的程序1200同時(shí)執(zhí)行。在一些示例中，圖13的程序1300可以在圖12的程序1200的迭代之之間執(zhí)行。

在框1310處，條件分析器840分析注視檢測(cè)器110的環(huán)境。可經(jīng)由照相機(jī)140捕獲的環(huán)境的圖像來(lái)分析框1310的示例環(huán)境。在一些示例中，框1310的分析圖像是從圖像管理器320接收的圖像，該圖像包括來(lái)自用戶的參考幀的反射。在一些示例中，框1310的已分析圖像可以是由照相機(jī)140捕獲和/或從圖像管理器320接收的視頻流的圖像。例如，在框1310處，條件分析器840可以確定用戶的頭部位置和/或環(huán)境的照明條件。

在框1330處，條件分析器840基于所分析的環(huán)境來(lái)確定是否需要對(duì)注視檢測(cè)器110的調(diào)整。例如，在框1330處，條件分析器840可以基于環(huán)境的條件(例如，頭部位置正在阻礙準(zhǔn)確的注視檢測(cè)，和/或光條件正在妨礙能夠標(biāo)識(shí)用戶的(一個(gè)或多個(gè))眼睛中反射的照明點(diǎn)，等等)來(lái)確定不能進(jìn)行注視檢測(cè)。在一些示例中，在框1330處，條件分析器840基于圖像的對(duì)比度和/或先前圖像的分析來(lái)確定是否需要調(diào)整。如果條件分析器840確定不需要調(diào)整，則控制前進(jìn)到框1360。如果在框1320處，條件分析器840確定需要調(diào)整，則條件分析器840和/或注視分析器330基于所分析的環(huán)境確定針對(duì)注視檢測(cè)器110的適當(dāng)調(diào)整(框1340)。將對(duì)注視檢測(cè)器110進(jìn)行的調(diào)整的示例包括但不限于，調(diào)整下一參考幀的設(shè)置(例如，照明點(diǎn)圖案、照明點(diǎn)位置、照明點(diǎn)顏色、照明點(diǎn)大小、背景顏色等)，該下一參考幀將由參考幀管理器310插入到媒體中并由將由照相機(jī)140捕獲、調(diào)整照相機(jī)140的照相機(jī)設(shè)置(例如，運(yùn)動(dòng)檢測(cè)、面部識(shí)別、縮放、聚焦、顏色影響等)、向用戶發(fā)信號(hào)以調(diào)整設(shè)置。

在框1350處，參考幀管理器310生成待插入到媒體中的下一參考幀。在一些示例中，在框1350處，基于所確定的框1340的適當(dāng)調(diào)整來(lái)調(diào)整所生成的下一參考幀(例如，不同照明點(diǎn)圖案、不同照明點(diǎn)位置等)。在一些示例中，生成的下一幀相對(duì)由參考幀管理310生成的之前的參考幀基本上不改變。如本文中所公開的，在框1360處，參考幀管理器310將下一參考幀插入到媒體中。

在圖13的所示示例中，注視檢測(cè)器110確定是否針對(duì)動(dòng)態(tài)調(diào)整繼續(xù)監(jiān)視。如果注視檢測(cè)器110將針對(duì)動(dòng)態(tài)調(diào)整繼續(xù)監(jiān)視，則控制返回到框1310。如果在框1370處，注視檢測(cè)器110不針對(duì)動(dòng)態(tài)調(diào)整繼續(xù)監(jiān)視(例如，基于用戶指令、注視檢測(cè)器的關(guān)閉等)，則程序1300結(jié)束。

如上所述，圖12和/或圖13的示例過(guò)程可以使用存儲(chǔ)在有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的編碼指令(例如，計(jì)算機(jī)和/或機(jī)器可讀指令)來(lái)實(shí)現(xiàn)，有形的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)諸如硬盤驅(qū)動(dòng)器、閃存、只讀存儲(chǔ)器(ROM)、光盤(CD)、數(shù)字通用盤(DVD)、高速緩存、隨機(jī)存取存儲(chǔ)器(RAM)和/或任何其他存儲(chǔ)設(shè)備或存儲(chǔ)盤，信息在其中存儲(chǔ)持續(xù)任何持續(xù)時(shí)間(例如，持續(xù)延長(zhǎng)的時(shí)段、永久地、持續(xù)短暫時(shí)刻、用于臨時(shí)緩沖和/或用于信息的高速緩存)。如本文所使用的，術(shù)語(yǔ)有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)被明確定義為包括任何類型的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備和/或存儲(chǔ)盤，并且排除傳播信號(hào)以及排除傳輸媒體。如本文所使用的，“有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”和“有形機(jī)器可讀存儲(chǔ)介質(zhì)”可互換使用。另外或替代地，可以使用存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)和/或機(jī)器可讀介質(zhì)上的編碼指令(例如，計(jì)算機(jī)和/或機(jī)器可讀指令)來(lái)實(shí)現(xiàn)圖12和/或圖13的示例過(guò)程，所述非暫時(shí)性計(jì)算機(jī)和/或機(jī)器可讀介質(zhì)諸如是硬盤驅(qū)動(dòng)器、閃存、只讀存儲(chǔ)器、光盤、數(shù)字通用盤、高速緩存、隨機(jī)存取存儲(chǔ)器和/或任何其他存儲(chǔ)設(shè)備或存儲(chǔ)盤，信息在其中存儲(chǔ)持續(xù)任何持續(xù)時(shí)間(例如，持續(xù)延長(zhǎng)的時(shí)間段、永久地、持續(xù)短暫的時(shí)刻、用于臨時(shí)緩沖和/或用于信息的高速緩存)。如本文所使用的，術(shù)語(yǔ)非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)被明確定義為包括任何類型的計(jì)算機(jī)可讀存儲(chǔ)設(shè)備和/或存儲(chǔ)盤，并且排除傳播信號(hào)以及排除傳輸媒體。如本文所使用的，當(dāng)短語(yǔ)“至少”用作權(quán)利要求的前序中的過(guò)渡術(shù)語(yǔ)時(shí)，其以與術(shù)語(yǔ)“包括”是開放式的相同的方式是開放式的。此外，如本文所使用的，使用“一”或“一個(gè)”可以暗示“至少一個(gè)”。

圖14是能夠執(zhí)行圖12和/或13的指令以實(shí)現(xiàn)圖1和圖3的注視檢測(cè)器110和/或圖5、圖7和/或圖8的注視檢測(cè)器元素的示例處理器平臺(tái)1400的框圖。處理器平臺(tái)1400可以是例如服務(wù)器、個(gè)人計(jì)算機(jī)、移動(dòng)設(shè)備(例如，蜂窩電話、智能電話，諸如iPad^TM的平板計(jì)算機(jī))、個(gè)人數(shù)字助理(PDA)、因特網(wǎng)設(shè)備、DVD播放器、CD播放器、數(shù)字視頻記錄器、藍(lán)光播放器、游戲控制臺(tái)、個(gè)人視頻記錄器、機(jī)頂盒或任何其他類型的計(jì)算設(shè)備。

圖14的所示示例的處理器平臺(tái)1400包括處理器1412。所示示例的處理器1412是硬件。例如，處理器1412可以由來(lái)自任何期望的族或制造商的至少一個(gè)集成電路、邏輯電路、微處理器或控制器來(lái)實(shí)現(xiàn)。

所示示例的處理器1412包括本地存儲(chǔ)器1413(例如，高速緩存)。所示示例的處理器1412經(jīng)由總線1418與包括易失性存儲(chǔ)器1414和非易失性存儲(chǔ)器1416的主存儲(chǔ)器通信。易失性存儲(chǔ)器1414可以由同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、RAMBUS動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(RDRAM)和/或任何其他類型的隨機(jī)存取存儲(chǔ)器設(shè)備實(shí)現(xiàn)。非易失性存儲(chǔ)器1416可以由閃存和/或任何其他期望類型的存儲(chǔ)器設(shè)備來(lái)實(shí)現(xiàn)。對(duì)主存儲(chǔ)器1414、1416的訪問由存儲(chǔ)器控制器控制。

所示示例的處理器平臺(tái)1400還包括接口電路1420。接口電路1420可以通過(guò)任何類型的接口標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)，接口標(biāo)準(zhǔn)諸如以太網(wǎng)接口、通用串行總線(USB)和/或PCI快速接口。

在所示示例中，至少一個(gè)輸入設(shè)備1422連接到接口電路1420。(一個(gè)或多個(gè))輸入設(shè)備1422允許用戶將數(shù)據(jù)和命令輸入到處理器1412中。可以通過(guò)例如音頻傳感器、麥克風(fēng)、照相機(jī)(靜止或視頻)、鍵盤、按鈕、鼠標(biāo)、觸摸屏、軌跡板、軌跡球、isopoint和/或語(yǔ)音識(shí)別系統(tǒng)來(lái)實(shí)現(xiàn)(一個(gè)或多個(gè))輸入設(shè)備。

至少一個(gè)輸出設(shè)備1424還連接到所示示例的接口電路1420。(一個(gè)或多個(gè))輸出設(shè)備1424可以例如由顯示設(shè)備(例如，發(fā)光二極管(LED)、有機(jī)發(fā)光二極管(0LED)、液晶顯示器、陰極射線管顯示器(CRT)、觸摸屏、觸覺輸出設(shè)備、發(fā)光二極管(LED)、打印機(jī)和/或揚(yáng)聲器)來(lái)實(shí)現(xiàn)。因此，所示示例的接口電路1420通常包括圖形驅(qū)動(dòng)卡、圖形驅(qū)動(dòng)芯片或圖形驅(qū)動(dòng)處理器。

所示示例的接口電路1420還包括通信設(shè)備，諸如發(fā)射機(jī)、接收機(jī)、收發(fā)機(jī)、調(diào)制解調(diào)器和/或網(wǎng)絡(luò)接口卡，以促進(jìn)經(jīng)由網(wǎng)絡(luò)1426(例如，以太網(wǎng)連接、數(shù)字用戶線(DSL)、電話線、同軸電纜、蜂窩電話系統(tǒng)等)與外部機(jī)器(例如，任何類型的計(jì)算設(shè)備)的數(shù)據(jù)交換。

所示示例的處理器平臺(tái)1400還包括用于存儲(chǔ)軟件和/或數(shù)據(jù)的至少一個(gè)大容量存儲(chǔ)設(shè)備1428。這種(一個(gè)或多個(gè))大容量存儲(chǔ)設(shè)備1428的示例包括軟盤驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器盤、壓縮盤驅(qū)動(dòng)器、藍(lán)光盤驅(qū)動(dòng)器、RAID系統(tǒng)和數(shù)字通用盤(DVD)驅(qū)動(dòng)器。

圖12和/或圖13的編碼指令1432可以存儲(chǔ)在大容量存儲(chǔ)設(shè)備1428中、易失性存儲(chǔ)器1414中的本地存儲(chǔ)器1413中、非易失性存儲(chǔ)器1416中和/或諸如CD或DVD的可移動(dòng)有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。

根據(jù)上述內(nèi)容，將理解，上文中公開的方法、裝置和制品提供注視檢測(cè)系統(tǒng)和/或注視檢測(cè)器，其利用與媒體幀交織的參考幀來(lái)確定注視方向和/或用戶觀看的媒體的一部分。此外，本文所公開的示例提供了動(dòng)態(tài)地調(diào)整照明點(diǎn)，以在基于環(huán)境條件和/或用戶位置來(lái)確定用戶的注視方向中使用，如本文所公開的那樣。因此，使用呈現(xiàn)參考幀和由照相機(jī)捕獲的參考幀的反射的圖像的呈現(xiàn)設(shè)備，而不是使用固定照明點(diǎn)(和對(duì)應(yīng)的固定照明點(diǎn)硬件)和/或頭戴式照明點(diǎn)單元，本文公開的注視檢測(cè)器可以實(shí)現(xiàn)標(biāo)識(shí)用戶注視方向中的增加的準(zhǔn)確度。

盡管本文已經(jīng)公開了某些示例方法、裝置和制品，但是本專利的覆蓋范圍不限于此。相反，本專利覆蓋了完全落入本專利的權(quán)利要求的范圍內(nèi)的所有方法、裝置和制品。