許多用戶利用計(jì)算設(shè)備來執(zhí)行任務(wù)。在示例中,用戶可以利用移動(dòng)設(shè)備將方向從當(dāng)前位置映射到游樂場。在另一示例中,用戶可以利用平板設(shè)備來閱讀書籍。各種類型的輸入可用于執(zhí)行任務(wù),諸如觸摸姿勢(shì)、鼠標(biāo)輸入、鍵盤輸入、語言命令、運(yùn)動(dòng)控制等。對(duì)象檢測(cè)組件可以例如被配置為視覺地檢測(cè)用戶的身體移動(dòng)作為用于執(zhí)行任務(wù)和/或命令的輸入。
技術(shù)實(shí)現(xiàn)要素:
提供該發(fā)明內(nèi)容以便以簡化的形式來引入下面的具體實(shí)施方式中進(jìn)一步描述的概念的選擇。該發(fā)明內(nèi)容不旨在確定所要求保護(hù)的主題的關(guān)鍵特征或主要特征,也不旨在用于限定所要求保護(hù)的主題的范圍。
除了其它方面,本文提供了用于注視跟蹤的一個(gè)或多個(gè)系統(tǒng)和/或技術(shù)。注視跟蹤組件可與用戶跟蹤組件和眼捕獲照相機(jī)配置相關(guān)聯(lián)。用戶可以采取贊成動(dòng)作來提供選入同意以允許注視跟蹤組件執(zhí)行對(duì)該用戶和/或其它用戶的注視跟蹤。用戶跟蹤組件可以包括深度照相機(jī)、被動(dòng)式傳感器、主動(dòng)式傳感器、紅外設(shè)備、飛行時(shí)間設(shè)備、照相機(jī)、或任何其它類型的跟蹤設(shè)備。眼捕獲照相機(jī)配置可以包括多個(gè)眼捕獲照相機(jī)(例如,包含窄視場透鏡的相對(duì)高分辨率的照相機(jī))。在示例中,眼捕獲照相機(jī)是根據(jù)固定視錐體(view frustum)配置來配置的,與否則可能會(huì)降低耐久性和/或由于(除了其他方面之外)移動(dòng)部件和/或相關(guān)聯(lián)的控件而增加眼捕獲照相機(jī)配置的成本的云臺(tái)(pan/tilt)或其它移動(dòng)配置不同。在示例中,當(dāng)沒有主動(dòng)用于注視跟蹤時(shí),注視跟蹤組件使得眼捕獲照相機(jī)保持處于掉電狀態(tài)(例如,低功率狀態(tài)或關(guān)閉狀態(tài))(例如,在用戶能由眼捕獲照相機(jī)檢測(cè)到時(shí)眼捕獲照相機(jī)可以加電,而當(dāng)諸如由于用戶移動(dòng)離開了眼捕獲照相機(jī)而導(dǎo)致用戶不能被眼捕獲照相機(jī)檢測(cè)到時(shí)眼捕獲照相機(jī)可以關(guān)閉),這可以降低功耗和/或帶寬消耗。
在注視跟蹤的示例中,注視跟蹤組件可使用用戶跟蹤組件來獲得針對(duì)用戶的用戶跟蹤數(shù)據(jù)。注視跟蹤組件可以評(píng)估用戶跟蹤數(shù)據(jù)以識(shí)別用戶的空間位置。基于眼捕獲照相機(jī)具有對(duì)應(yīng)于所述空間位置的視錐體,可以從眼捕獲照相機(jī)配置中選定該眼捕獲照相機(jī)。眼捕獲照相機(jī)可以被調(diào)用以獲得用戶的眼區(qū)域成像。在示例中,具有不對(duì)應(yīng)于所述空間位置的視錐體的眼捕獲照相機(jī)可以被掉電或者保持處于掉電狀態(tài)。注視跟蹤組件可以基于眼區(qū)域成像而生成用戶的注視跟蹤信息??梢曰谧⒁暩櫺畔韴?zhí)行各種任務(wù)(例如,可以執(zhí)行視頻游戲命令,可以促進(jìn)與用戶接口的交互,可以打開文件,可以執(zhí)行應(yīng)用,可以播放歌曲,可以播放電影,和/或可以執(zhí)行各種類型的其它計(jì)算命令)。在示例中,注視跟蹤組件可以被配置為同時(shí)跟蹤用戶跟蹤組件所檢測(cè)到的多個(gè)用戶的注視跟蹤信息。
為了實(shí)現(xiàn)上述目的以及相關(guān)的目的,下面的說明書和附圖闡述了一些示例性的方面和實(shí)現(xiàn)方式。這些指示可以采用一個(gè)或多個(gè)方面的各種方式中的僅幾個(gè)方式。當(dāng)結(jié)合附圖考慮時(shí),根據(jù)下面的具體實(shí)施方式本公開的其它方面、優(yōu)點(diǎn)和新穎特征將變得顯而易見。
附圖說明
圖1是示出示范性的注視跟蹤方法的流程圖。
圖2A是示出用于注視跟蹤的示范性的系統(tǒng)的組件框圖,
圖2B是示出用于注視跟蹤的示范性的系統(tǒng)的組件框圖,其中注視跟蹤組件使用用戶跟蹤組件來獲得第一用戶的第一用戶跟蹤數(shù)據(jù)。
圖2C是示出用于注視跟蹤的示范性的系統(tǒng)的組件框圖,其中注視跟蹤組件使用一個(gè)或多個(gè)眼捕獲照相機(jī)進(jìn)行注視跟蹤。
圖2D是示出用于注視跟蹤的示范性的系統(tǒng)的組件框圖,其中注視跟蹤組件使用一個(gè)或多個(gè)眼捕獲照相機(jī)進(jìn)行注視跟蹤。
圖2E是示出用于注視跟蹤的示范性的系統(tǒng)的組件框圖,其中注視跟蹤組件選擇性地使用一個(gè)或多個(gè)眼捕獲照相機(jī)來進(jìn)行多個(gè)用戶的注視跟蹤。
圖2F是示出用于注視跟蹤的示范性的系統(tǒng)的組件框圖,其中注視跟蹤組件選擇性地使用一個(gè)或多個(gè)眼捕獲照相機(jī)來進(jìn)行多個(gè)用戶的注視跟蹤。
圖3A是基于第一用戶的注視跟蹤信息來執(zhí)行第一任務(wù)的示例的圖示。
圖3B是基于第一用戶的注視跟蹤信息來執(zhí)行第二任務(wù)的示例的圖示。
圖4是示范性的計(jì)算機(jī)可讀介質(zhì)的圖示,其中可包括被配置為具體實(shí)施本文闡述的一個(gè)或多個(gè)規(guī)定的處理器可執(zhí)行指令。
圖5示出了可以實(shí)現(xiàn)本文所闡述的一個(gè)或多個(gè)規(guī)定的示范性的計(jì)算環(huán)境。
具體實(shí)施方式
現(xiàn)在參考附圖來描述要求保護(hù)的主題,其中相似的附圖標(biāo)記一般用于在通篇指代相似的元件。在下面的說明書中,為了說明的目的,闡述了大量具體的細(xì)節(jié)來提供對(duì)要求保護(hù)的主題的理解。然而,顯然的是權(quán)利要求主題可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在其它實(shí)例中,以框圖形式示出了結(jié)構(gòu)和設(shè)備,從而利于描述要求保護(hù)的主題。
本文提供了用于注視跟蹤的一個(gè)或多個(gè)技術(shù)和/或系統(tǒng)。用戶跟蹤組件可被用來獲得一個(gè)或多個(gè)用戶(例如,提供了對(duì)注視跟蹤的選入同意的用戶)的用戶跟蹤數(shù)據(jù)。當(dāng)用戶被識(shí)別為處于與眼捕獲照相機(jī)的視錐體對(duì)應(yīng)的空間位置時(shí),則眼捕獲照相機(jī)可被調(diào)用以獲得該用戶的眼區(qū)域成像。眼區(qū)域成像可用來生成注視跟蹤信息,該注視跟蹤信息可用來執(zhí)行各種任務(wù),諸如打開文件、執(zhí)行應(yīng)用、控制視頻游戲,和/或與用戶接口交互。當(dāng)沒有主動(dòng)地跟蹤用戶時(shí),可將眼捕獲照相機(jī)保持處于掉電狀態(tài)(例如,關(guān)閉),這可以降低功率和/或帶寬消耗。在示例中,可對(duì)于多個(gè)用戶同時(shí)生成和/或跟蹤注視跟蹤信息(例如,第一用戶可利用眼睛命令來控制視頻游戲的第一化身,而第二用戶可以同時(shí)利用眼睛命令來控制視頻游戲的第二化身)。
通過圖1的示范性的方法100圖示說明了注視跟蹤的實(shí)施例。在102處,方法開始。用戶跟蹤組件可被配置為跟蹤一個(gè)或多個(gè)用戶的空間位置。在示例中,用戶跟蹤組件可以包括深度照相機(jī)、被動(dòng)式傳感器、主動(dòng)式傳感器、紅外設(shè)備、飛行時(shí)間設(shè)備、照相機(jī)、和/或任何其它跟蹤設(shè)備。眼捕獲照相機(jī)配置可以包括多個(gè)眼捕獲照相機(jī),它們被配置為通過捕獲描繪用戶的眼睛的成像來獲得注視跟蹤信息。在示例中,眼捕獲照相機(jī)可以具有比用戶跟蹤組件的像素分辨率大的像素分辨率(例如,相對(duì)較低分辨率的照相機(jī)可用來跟蹤用戶的空間位置,而相對(duì)較高分辨率的照相機(jī)可用來跟蹤用戶的眼睛,諸如能夠經(jīng)過用戶的眼睛而捕獲大約150個(gè)像素或更多像素的分辨率(例如,在x方向或水平方向上經(jīng)過眼睛捕獲160個(gè)像素))。在示例中,眼捕獲照相機(jī)配置的眼捕獲照相機(jī)可以根據(jù)固定視錐體配置來配置(例如,眼捕獲照相機(jī)可以具有固定視場和/或可以具有缺少否則用于云臺(tái)照相機(jī)的移動(dòng)部件的固定式的非云臺(tái)(non-pan non-tilt)配置),這可以減少否則由于云臺(tái)或其它可動(dòng)配置而導(dǎo)致的成本和/或可靠性問題。在眼捕獲照相機(jī)的示例中,眼捕獲照相機(jī)包括瞳孔照射結(jié)構(gòu)(例如,圍繞眼捕獲照相機(jī)的明亮瞳孔環(huán)),其被配置為調(diào)用眼睛中的瞳孔響應(yīng),該瞳孔響應(yīng)可由眼捕獲照相機(jī)使用注視跟蹤來檢測(cè)到。在眼捕獲照相機(jī)的另一示例中,LED暗瞳孔結(jié)構(gòu)可以打開以產(chǎn)生閃耀角膜反射,閃耀角膜反射可以通過眼捕獲照相機(jī)利用注視跟蹤來檢測(cè)到。在示例中,兩個(gè)或更多個(gè)眼捕獲照相機(jī)可以被配置為捕獲重疊的視錐體內(nèi)的成像,這可以減輕成像的失真或成像內(nèi)的失真(例如,該失真可能在成像的邊緣處更明顯)。在至少兩個(gè)眼捕獲照相機(jī)被配置為捕獲不同深度的成像的示例中,第一眼捕獲照相機(jī)可以被配置為捕獲具有第一深度的第一視錐體內(nèi)的成像,而第二眼捕獲照相機(jī)可以被配置為捕獲在具有不同于第一深度的第二深度的第二視錐體內(nèi)的成像。
眼捕獲照相機(jī)可以被選擇性地用來同時(shí)跟蹤一個(gè)或多個(gè)用戶的注視跟蹤信息。在示例中,當(dāng)未用于注視跟蹤時(shí),眼捕獲照相機(jī)可以保持處于掉電狀態(tài)(例如,當(dāng)用戶在眼捕獲照相機(jī)的視錐體內(nèi)時(shí),眼捕獲照相機(jī)可被加電以進(jìn)行注視跟蹤,而當(dāng)用戶離開視錐體時(shí),眼捕獲照相機(jī)可掉電),這樣減少功率和/或帶寬消耗。
在104處,用戶跟蹤組件可用來獲得第一用戶在第一時(shí)間T1的第一用戶跟蹤數(shù)據(jù)(例如,在用戶跟蹤組件所在的起居室內(nèi)用戶可能坐在沙發(fā)上)。在106處,可以評(píng)估第一用戶跟蹤數(shù)據(jù)來識(shí)別第一用戶在第一時(shí)間T1的第一空間位置(例如,在起居室內(nèi)的沙發(fā)的空間位置)。在108處,在眼捕獲照相機(jī)配置內(nèi)的第一眼捕獲照相機(jī)可以基于第一眼捕獲照相機(jī)具有對(duì)應(yīng)于第一空間位置的第一視錐體而被選定(例如,第一眼捕獲照相機(jī)可能朝向用戶就坐的沙發(fā)定位,并且因此能夠捕獲第一用戶眼睛的成像)。在110處,可以調(diào)用第一眼捕獲照相機(jī)以獲得第一用戶在第一時(shí)間T1或者第一時(shí)間T1左右的第一眼區(qū)域成像(例如,經(jīng)過第一用戶的至少一只眼睛大約150個(gè)像素或更多)。在示例中,如果第一眼捕獲照相機(jī)處于掉電狀態(tài),則第一眼捕獲照相機(jī)可以加電并且被指示用于捕獲可以描繪第一用戶眼睛的成像。
在112處,可以基于第一眼區(qū)域成像來生成第一用戶的第一注視跟蹤信息(例如,對(duì)應(yīng)于第一時(shí)間T1)(例如,第一眼區(qū)域成像可以包括指示第一用戶的瞳孔/眼睛移動(dòng)的多個(gè)圖像)??梢曰诘谝蛔⒁暩櫺畔韴?zhí)行任務(wù)。例如,第一注視跟蹤信息可以指示,用戶向左看,這可以映射成可以被執(zhí)行以執(zhí)行任務(wù)的命令(例如,向左看注視輸入可以映射成駕駛視頻游戲的汽車左轉(zhuǎn)向輸入;向左看注視輸入可以映射成音樂播放器應(yīng)用的播放前一首歌曲輸入;向左看注視輸入可以映射成鍵入接口的空格輸入;等等)。可以意識(shí)到,可以執(zhí)行各種各樣的任務(wù)(例如,基于從注視跟蹤信息取得的模擬和/或數(shù)字命令來控制視頻游戲),并且僅提供了若干示例。
在用戶位于重疊的視錐體內(nèi)的注視跟蹤的示例中,第二眼捕獲照相機(jī)可以基于第二眼捕獲照相機(jī)具有對(duì)應(yīng)于第一空間位置的第二視錐體而從眼捕獲照相機(jī)配置中被選定(例如,用戶可能正坐在沙發(fā)的對(duì)應(yīng)于第一眼捕獲照相機(jī)的第一視錐體和第二眼捕獲照相機(jī)的第二視錐體之間的重疊的部分上)。可以調(diào)用第二眼捕獲照相機(jī)以獲得第一用戶在第一時(shí)間T1或者第一時(shí)間T1左右的第二眼區(qū)域成像。第一眼區(qū)域成像和第二眼區(qū)域成像可以組合(例如,使用圖像縫合功能;測(cè)量組合功能;和/或任何其它技術(shù))來生成第一注視跟蹤信息。
可以隨著第一用戶在起居室內(nèi)四處走動(dòng),諸如在用戶跟蹤組件的可檢測(cè)范圍內(nèi),對(duì)第一用戶執(zhí)行注視跟蹤。在示例中,用戶跟蹤組件可以獲得指示第一用戶在第二時(shí)間T2處于第二空間位置的第一用戶跟蹤數(shù)據(jù)(例如,第一用戶可能已經(jīng)從沙發(fā)走到起居室內(nèi)的桌子)。第三眼捕獲照相機(jī)可以基于該第三眼捕獲照相機(jī)具有對(duì)應(yīng)于第二空間位置的第三視錐體而從眼捕獲照相機(jī)配置中被選定(例如,用戶可能走入與圖2A所示的第三照相機(jī)206相關(guān)聯(lián)的第三視錐體220內(nèi))。如果第一眼捕獲照相機(jī)的第一視錐體不對(duì)應(yīng)于第二空間位置,則第一眼捕獲照相機(jī)在第二時(shí)間T2或者第二時(shí)間T2左右轉(zhuǎn)變成掉電狀態(tài)。可以調(diào)用第三眼捕獲照相機(jī)以獲得第一用戶在第二時(shí)間T2或第二時(shí)間T2左右的第三眼區(qū)域成像?;诘谌蹍^(qū)域成像,可以生成第一用戶在第二時(shí)間T2或第二時(shí)間T2左右的第三注視跟蹤信息。通過這種方式,眼捕獲照相機(jī)可以被選擇性地加電以用于獲得第一用戶的眼區(qū)域成像,并且當(dāng)不使用時(shí)可以選擇性掉電(例如,當(dāng)?shù)谝挥脩舨辉谘鄄东@照相機(jī)的視錐體內(nèi)時(shí),眼捕獲照相機(jī)可以掉電)。
在示例中,可以評(píng)估第一用戶的空間位置數(shù)據(jù)來預(yù)測(cè)第一用戶的可能的新空間位置。例如,先前的空間位置數(shù)據(jù)可能表明,第一用戶在第一視錐體內(nèi),但是走向第二視錐體(例如,并且因此可推測(cè)在特定時(shí)間/持續(xù)時(shí)間內(nèi)進(jìn)入第二視錐體)。因此,基于空間位置數(shù)據(jù),在第一用戶被期望/預(yù)測(cè)進(jìn)入第二視錐體之前(例如,略微),可以喚醒第二眼捕獲照相機(jī)進(jìn)入捕獲就緒狀態(tài)以用于獲得眼區(qū)域成像。通過這種方式,可以減少與在多個(gè)眼捕獲照相機(jī)之間獲得注視跟蹤信息相關(guān)聯(lián)的滯后。
可以對(duì)于多個(gè)用戶同時(shí)跟蹤注視跟蹤信息。在示例中,可以使用用戶跟蹤組件來獲得第二用戶在第一時(shí)間T1的第二用戶跟蹤數(shù)據(jù)??梢栽u(píng)估該第二用戶跟蹤數(shù)據(jù)來識(shí)別第二用戶在第一時(shí)間T1的空間位置??梢曰谘鄄东@照相機(jī)具有對(duì)應(yīng)于第二用戶在第一時(shí)間T1的空間位置的視錐體而從眼捕獲照相機(jī)配置中選定該眼捕獲照相機(jī)??梢哉{(diào)用該眼捕獲照相機(jī)來獲得第二用戶在第一時(shí)間T1或第一時(shí)間T1左右的眼區(qū)域成像。可以基于第二用戶在第一時(shí)間T1的眼區(qū)域成像來生成第二用戶的注視跟蹤信息。通過這種方式,可以對(duì)多個(gè)用戶同時(shí)執(zhí)行注視跟蹤,這可允許多個(gè)用戶執(zhí)行任務(wù)(例如,第一用戶可以控制視頻游戲的第一化身,而第二用戶可以控制視頻游戲的第二化身)。在114處,方法結(jié)束。
圖2A-2F圖示出用于注視跟蹤的系統(tǒng)201的示例。圖2A示出了注視跟蹤組件214的示例200。注視跟蹤組件214可以被配置為使用用戶跟蹤組件212來跟蹤一個(gè)或多個(gè)用戶的空間位置。注視跟蹤組件214可以選擇性地調(diào)用眼捕獲照相機(jī)配置的眼捕獲照相機(jī)來獲得用戶在各個(gè)時(shí)間的眼區(qū)域成像以實(shí)現(xiàn)注視跟蹤的目的。在示例中,眼捕獲照相機(jī)配置包括一個(gè)或多個(gè)眼捕獲照相機(jī),諸如被配置為從第一視錐體216獲得成像的第一眼捕獲照相機(jī)202、被配置為從第二視錐體218獲得成像的第二眼捕獲照相機(jī)204、被配置為從第三視錐體220獲得成像的第三眼捕獲照相機(jī)206、被配置為從第四視錐體222獲得成像的第四眼捕獲照相機(jī)208、被配置為從第五視錐體224獲得成像的第五眼捕獲照相機(jī)210和/或其它眼捕獲照相機(jī)(例如,相對(duì)高分辨率的照相機(jī),諸如約40MP或更大的照相機(jī),包括具有約20度至約40度的水平視圖(例如,約22度的水平視圖)和約10度至約30度的垂直視圖(例如,約17度的垂直視圖)的窄視場透鏡。在示例中,一個(gè)或多個(gè)視錐體會(huì)重疊,這可以減輕通過眼捕獲照相機(jī)獲得的成像的邊緣周圍的透鏡失真。當(dāng)不使用時(shí)(例如,當(dāng)從用戶跟蹤組件212獲得的用戶跟蹤數(shù)據(jù)表明用戶不在眼捕獲照相機(jī)的視錐體內(nèi)時(shí)),眼捕獲照相機(jī)可以轉(zhuǎn)變成掉電狀態(tài),這可以減少功率和/或帶寬消耗。
圖2B示出了注視跟蹤組件214使用用戶跟蹤組件212來獲得第一用戶232在第一時(shí)間T1的第一用戶跟蹤數(shù)據(jù)的示例230。注視跟蹤組件214可以評(píng)估第一用戶跟蹤數(shù)據(jù)以識(shí)別第一用戶232在第一時(shí)間T1的第一空間位置。因?yàn)榈谝豢臻g位置對(duì)應(yīng)于第一眼捕獲照相機(jī)202的第一視錐體216,所以注視跟蹤組件214可以打開234第一眼捕獲照相機(jī)202并且可以調(diào)用第一眼捕獲照相機(jī)202以獲得第一用戶232在第一時(shí)間T1或第一時(shí)間T1左右的第一眼區(qū)域成像(例如,第一眼捕獲照相機(jī)202可能捕獲包括經(jīng)過第一用戶232的至少一只眼睛的約150個(gè)像素或更多像素的成像)?;诘谝谎蹍^(qū)域成像,可以生成第一用戶232在第一時(shí)間T1的第一注視跟蹤信息??梢曰诘谝蛔⒁暩櫺畔韴?zhí)行一個(gè)或多個(gè)任務(wù)(例如,第一用戶232可以眨左眼從而播放歌曲)。
圖2C示出了注視跟蹤組件214選擇性地使用一個(gè)或多個(gè)眼捕獲照相機(jī)用于注視跟蹤的示例240。注視跟蹤組件214可以判定,用戶跟蹤組件212獲得了表明第一用戶232在第二時(shí)間T2位于第二空間位置的第一用戶跟蹤數(shù)據(jù)。因?yàn)榈诙臻g位置對(duì)應(yīng)于第二眼捕獲照相機(jī)204的第二視錐體218,所以注視跟蹤組件214可以打開244第二眼捕獲照相機(jī)204且可以調(diào)用第二眼捕獲照相機(jī)204來獲得第一用戶232在第二時(shí)間T2或第二時(shí)間T2左右的第二眼區(qū)域成像。基于第二眼區(qū)域成像,可以生成第一用戶232在第二時(shí)間T2的第一用戶232的第一注視跟蹤信息??梢曰诘谝蛔⒁暩櫺畔韴?zhí)行一個(gè)或多個(gè)任務(wù)(例如,第一用戶232可以眨右眼從而停止播放歌曲)。因?yàn)榈谝挥脩?32在第二時(shí)間T2的第二空間位置不對(duì)應(yīng)于第一眼捕獲照相機(jī)202的第一視錐體216,注視跟蹤組件214可以使得第一眼捕獲照相機(jī)202掉電242為掉電狀態(tài)。
圖2D示出了注視跟蹤組件214選擇性地使用一個(gè)或多個(gè)眼捕獲照相機(jī)用于注視跟蹤的示例250。注視跟蹤組件214可以判定,用戶跟蹤組件212獲得了表明第一用戶232在第三時(shí)間T3位于第三空間位置的第一用戶跟蹤數(shù)據(jù)。因?yàn)榈谌臻g位置對(duì)應(yīng)于第二眼捕獲照相機(jī)204的第二視錐體218和第三眼捕獲照相機(jī)206的第三視錐體220(例如,第一用戶232在第三時(shí)間T3的第三空間位置可以對(duì)應(yīng)于第二視錐體218和第三視錐體220之間的重疊),所以注視跟蹤組件214可以打開252第三眼捕獲照相機(jī)206并且可以調(diào)用第三眼捕獲照相機(jī)206來獲得第一用戶232在第三時(shí)間T3或第三時(shí)間T3左右的第三眼區(qū)域成像。在示例中,注視跟蹤組件214可以將第二眼捕獲照相機(jī)204獲得的第二眼區(qū)域成像和第三眼捕獲照相機(jī)206獲得的第三眼區(qū)域成像組合(例如,縫合在一起)以生成用戶在第三時(shí)間T3的注視跟蹤信息。可以基于注視跟蹤信息來執(zhí)行一個(gè)或多個(gè)任務(wù)(例如,第一用戶232可以向右看從而跳到下一首要播放的歌曲)。
圖2E示出了注視跟蹤組件214選擇性地使用一個(gè)或多個(gè)眼捕獲照相機(jī)來進(jìn)行對(duì)多個(gè)用戶的注視跟蹤的示例260。在示例中,基于第一用戶232在空間上位于第二視錐體218和第三視錐體220之間的重疊區(qū)域中,可以調(diào)用第二眼捕獲照相機(jī)204和第三眼捕獲照相機(jī)206以捕獲第一用戶232在第四時(shí)間T4的注視跟蹤信息。注視跟蹤組件214可以使用用戶跟蹤組件212來獲得第二用戶262在第四時(shí)間T4的第二用戶跟蹤數(shù)據(jù)。注視跟蹤組件214可以評(píng)估第二用戶跟蹤數(shù)據(jù)以識(shí)別第二用戶262在第四時(shí)間T4的空間位置。因?yàn)樵摽臻g位置對(duì)應(yīng)于第五眼捕獲照相機(jī)210的第五視錐體224,所以注視跟蹤組件214可以打開262第五眼捕獲照相機(jī)210并且可以調(diào)用第五眼捕獲照相機(jī)210來獲得第二用戶262在第四時(shí)間T4或第四時(shí)間T4左右的眼區(qū)域成像??梢陨傻诙脩?62在第四時(shí)間T4的注視跟蹤信息?;诘谝挥脩?32在第四時(shí)間T4的注視跟蹤信息,可以代表第一用戶232來執(zhí)行一個(gè)或多個(gè)任務(wù),和/或基于第二用戶262在第四時(shí)間T4的注視跟蹤信息,可以代表第二用戶262來執(zhí)行一個(gè)或多個(gè)任務(wù)。
圖2F示出了注視跟蹤組件214選擇性地使用一個(gè)或多個(gè)眼捕獲照相機(jī)來進(jìn)行對(duì)多個(gè)用戶的注視跟蹤的示例270。在示例中,用戶跟蹤組件212可以獲得表明第一用戶232在第五時(shí)間T5位于第四空間位置內(nèi)的第一用戶跟蹤數(shù)據(jù)并且可以獲得表明第二用戶262在第五時(shí)間T5位于第五空間位置內(nèi)的第二用戶跟蹤數(shù)據(jù)。因?yàn)榈谒目臻g位置和第五空間位置對(duì)應(yīng)于第四眼捕獲照相機(jī)208的第四視錐體222,所以注視跟蹤組件214可以打開278第四眼捕獲照相機(jī)208且可以調(diào)用第四眼捕獲照相機(jī)208來獲得第一用戶232在第五時(shí)間T5或第五時(shí)間T5左右的眼區(qū)域成像以及第二用戶262在第五時(shí)間T5或第五時(shí)間T5左右的眼區(qū)域成像?;诘诙曞F體218、第三視錐體220和第五視錐體224不對(duì)應(yīng)于第四空間位置和/或第五空間位置,注視跟蹤組件可以將第二眼捕獲照相機(jī)204掉電272,將第三眼捕獲照相機(jī)206掉電274,以及將第五眼捕獲照相機(jī)210掉電280?;诘谒难鄄东@照相機(jī)208捕獲的第一用戶232和第二用戶262的眼區(qū)域成像,可以生成第一用戶232在第五時(shí)間T5的注視跟蹤信息以及第二用戶262在第五時(shí)間T5的注視跟蹤信息。基于第一用戶232在第五時(shí)間T5的注視跟蹤信息,可以代表第一用戶232來執(zhí)行一個(gè)或多個(gè)任務(wù),和/或基于第二用戶262在第五時(shí)間T5的注視跟蹤信息,可以代表第二用戶262來執(zhí)行一個(gè)或多個(gè)任務(wù)。
圖3A示出了基于第一用戶在第一時(shí)間T1的注視跟蹤信息302來執(zhí)行第一任務(wù)(例如,視頻游戲命令)的示例300。注視跟蹤組件304可以基于一個(gè)或多個(gè)眼捕獲照相機(jī)所獲得的第一用戶的眼區(qū)域成像來生成注視跟蹤信息302。例如,基于用戶跟蹤組件表明第一用戶在第一時(shí)間T1的第一空間位置在第一眼捕獲照相機(jī)的第一視錐體內(nèi),注視跟蹤組件304可以調(diào)用第一眼捕獲照相機(jī)來獲得第一用戶在第一時(shí)間T1的第一眼區(qū)域成像(例如,第一用戶可能向上看和向右看)。注視跟蹤組件304可以確定向上看和向右看注視輸入映射成冒險(xiǎn)視頻游戲308的向上和向右移動(dòng)化身的視頻游戲命令306。因此,化身310可以向上和向右移動(dòng)312。
圖3B示出了基于第一用戶在第二時(shí)間T2的第二注視跟蹤信息322來執(zhí)行第二任務(wù)(例如,視頻游戲命令)的示例320。注視跟蹤組件304可以基于一個(gè)或多個(gè)眼捕獲照相機(jī)獲得的第一用戶的第二眼區(qū)域成像來生成第二注視跟蹤信息322。例如,基于用戶跟蹤組件表明第一用戶在第二時(shí)間T2的第二空間位置在第二眼捕獲照相機(jī)的第二視錐體內(nèi),注視跟蹤組件304可以調(diào)用第二眼捕獲照相機(jī)以獲得第一用戶在第二時(shí)間T2的第二眼區(qū)域成像(例如,第一用戶可能向下看)。注視跟蹤組件304可以確定,向下看注視輸入映射成冒險(xiǎn)視頻游戲308的向下移動(dòng)化身的視頻游戲命令324。因此,化身310可以向下移動(dòng)326。
另外的實(shí)施例涉及到包括被配置為實(shí)現(xiàn)本文提供的一種或多種技術(shù)的處理器可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)。在圖4中示出了計(jì)算機(jī)可讀介質(zhì)或計(jì)算機(jī)可讀設(shè)備的示例的實(shí)施例,其中實(shí)現(xiàn)方式400包括其中編碼有計(jì)算機(jī)可讀數(shù)據(jù)406的計(jì)算機(jī)可讀介質(zhì)408,諸如CD-R、DVD-R、閃速驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)底板等。該計(jì)算機(jī)可讀數(shù)據(jù)406,諸如包括零或一中的至少一個(gè)的二進(jìn)制數(shù)據(jù),進(jìn)而包括被配置為根據(jù)本文闡述的一個(gè)或多個(gè)原理而操縱的一組計(jì)算機(jī)指令404。在一些實(shí)施例中,處理器可執(zhí)行計(jì)算機(jī)指令404被配置為執(zhí)行方法402,諸如例如圖1的示范性的方法100中的至少一些。在一些實(shí)施例中,處理器可執(zhí)行指令404被配置為實(shí)現(xiàn)系統(tǒng),諸如例如圖2A-2F的示范性的系統(tǒng)201中的至少一些。許多這樣的被配置為依照本文提供的技術(shù)而操縱的計(jì)算機(jī)可讀介質(zhì)由本領(lǐng)域普通技術(shù)人員構(gòu)思出。
雖然用特定于結(jié)構(gòu)特征和/或方法行為的語言描述了主題,應(yīng)當(dāng)理解的是在隨附的權(quán)利要求中限定的主題不一定限于上述的特定特征或行為。相反,上述的特定的特征和行為被公開作為實(shí)現(xiàn)權(quán)利要求中的至少一些的示例的形式。
如該申請(qǐng)中使用的,術(shù)語“組件”、“模塊”、“系統(tǒng)”、“接口”和/或類似術(shù)語通常旨在指代計(jì)算機(jī)相關(guān)實(shí)體,或者是硬件、硬件和軟件的組合、軟件、或執(zhí)行中的軟件。例如,組件可以為但不限于在處理器上運(yùn)行的進(jìn)程、處理器、對(duì)象、可執(zhí)行程序、執(zhí)行線程、程序和/或計(jì)算機(jī)。通過示例的方式,運(yùn)行于控制器上的應(yīng)用和控制器都可以是組件。一個(gè)或多個(gè)組件可以駐留于進(jìn)程和/或執(zhí)行線程內(nèi),并且組件可以位于一臺(tái)計(jì)算機(jī)上和/或分布于兩臺(tái)或更多臺(tái)計(jì)算機(jī)之間。
此外,要求保護(hù)的主題可以實(shí)現(xiàn)為利用標(biāo)準(zhǔn)編程和/或工程技術(shù)來產(chǎn)生軟件、固件、硬件或其任意組合從而控制計(jì)算機(jī)實(shí)現(xiàn)公開的主題的方法、裝置或制品。本文所使用的術(shù)語“制品”旨在涵蓋能夠從任意計(jì)算機(jī)可讀設(shè)備、載波或介質(zhì)訪問的計(jì)算機(jī)程序。當(dāng)然,可以對(duì)該配置做出許多修改,而不偏離權(quán)利要求主題的范圍或精神。
圖5以及后面的論述提供了實(shí)現(xiàn)本文闡述的一個(gè)或多個(gè)規(guī)定的實(shí)施例的適合的計(jì)算環(huán)境的簡要的大體的描述。圖5的操作環(huán)境僅是適合的操作環(huán)境的一個(gè)示例,而不意在暗示對(duì)操作環(huán)境的使用或功能的范圍的任何限制。示例的計(jì)算設(shè)備包括但不限于個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持式或膝上型設(shè)備、移動(dòng)設(shè)備(諸如移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、媒體播放器等)、多處理器系統(tǒng)、消費(fèi)電子設(shè)備、微型計(jì)算機(jī)、主機(jī)型計(jì)算機(jī)、包括任意上述系統(tǒng)或設(shè)備的分布式計(jì)算環(huán)境,等等。
雖然不做要求,在一個(gè)或多個(gè)計(jì)算設(shè)備執(zhí)行“計(jì)算機(jī)可讀指令”的總的背景下描述了實(shí)施例。計(jì)算機(jī)可讀指令可以經(jīng)由計(jì)算機(jī)可讀介質(zhì)(下文論述)來分配。計(jì)算機(jī)可讀指令可以實(shí)現(xiàn)為執(zhí)行特定的任務(wù)或者實(shí)現(xiàn)特定的抽象數(shù)據(jù)類型的程序模塊,諸如函數(shù)、對(duì)象、應(yīng)用編程接口(API)、數(shù)據(jù)結(jié)構(gòu)等。典型地,計(jì)算機(jī)可讀指令的功能可以根據(jù)需要在各環(huán)境中進(jìn)行組合或分布。
圖5示出了系統(tǒng)500的示例,該系統(tǒng)包括被配置為實(shí)現(xiàn)本文提供的一個(gè)或多個(gè)實(shí)施例的計(jì)算設(shè)備512。在一個(gè)配置中,計(jì)算設(shè)備512包括至少一個(gè)處理單元516以及存儲(chǔ)器518。根據(jù)計(jì)算設(shè)備的確切的配置和類型,存儲(chǔ)器518可以是易失性的(諸如例如RAM)、非易失性的(諸如例如ROM、閃速存儲(chǔ)器等)或者兩者的某組合。該配置通過虛線514圖示在圖5中。
在其它實(shí)施例中,設(shè)備512可以包括額外的特征和/或功能。例如,設(shè)備512還可以包括額外的存儲(chǔ)設(shè)備(例如,可移除的和/或非可移除的),包括但不限于磁存儲(chǔ)設(shè)備、光存儲(chǔ)設(shè)備和類似物。該額外的存儲(chǔ)設(shè)備在圖5中由存儲(chǔ)設(shè)備520示出。在一個(gè)實(shí)施例中,實(shí)現(xiàn)本文提供的一個(gè)或多個(gè)實(shí)施例的計(jì)算機(jī)可讀指令可以在存儲(chǔ)設(shè)備520中。存儲(chǔ)設(shè)備520還可以存儲(chǔ)實(shí)現(xiàn)操作系統(tǒng)、應(yīng)用程序和類似物的其它計(jì)算機(jī)可讀指令。計(jì)算機(jī)可讀指令可以裝載到存儲(chǔ)器518中,以便由例如處理單元516來執(zhí)行。
本文所使用的術(shù)語“計(jì)算機(jī)可讀介質(zhì)”包括計(jì)算機(jī)存儲(chǔ)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令或其它數(shù)據(jù)的信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性的和非易失性的、可移除的和非可移除的介質(zhì)。存儲(chǔ)器518和存儲(chǔ)設(shè)備520是計(jì)算機(jī)存儲(chǔ)介質(zhì)的示例。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于RAM、ROM、EEPROM、閃速存儲(chǔ)器或其它存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光存儲(chǔ)設(shè)備、磁盒、磁帶、磁盤存儲(chǔ)或其它磁存儲(chǔ)設(shè)備、或能夠用于存儲(chǔ)所需的信息且能夠由設(shè)備512訪問的任何其它介質(zhì)。然而,計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括傳播信號(hào)。相反,計(jì)算機(jī)存儲(chǔ)介質(zhì)排除了傳播信號(hào)。任何這樣的計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是設(shè)備512的部分。
設(shè)備512還可以包括允許設(shè)備512與其它設(shè)備通信的通信連接526。通信連接526可以包括但不限于調(diào)制解調(diào)器、網(wǎng)絡(luò)接口卡(NIC)、集成網(wǎng)絡(luò)接口、射頻發(fā)射機(jī)/接收機(jī)、紅外端口、USB連接或?qū)⒂?jì)算設(shè)備512與其它計(jì)算設(shè)備連接的其它接口。通信連接526可包括有線連接或無線連接。通信連接526可以發(fā)送和/或接收通信介質(zhì)。
術(shù)語“計(jì)算機(jī)可讀介質(zhì)”可包括通信介質(zhì)。通信介質(zhì)典型地具體實(shí)施諸如載波或其它傳輸機(jī)制的“調(diào)制數(shù)據(jù)信號(hào)”中的計(jì)算機(jī)可讀指令或其它數(shù)據(jù)并且包括任何信息遞送介質(zhì)。術(shù)語“調(diào)制數(shù)據(jù)信號(hào)”可以包括使其特性中的一個(gè)或多個(gè)以將信息編碼在信號(hào)中的方式來設(shè)定或改變的信號(hào)。
設(shè)備512可以包括輸入設(shè)備524,諸如鍵盤、鼠標(biāo)、筆、語音輸入設(shè)備、觸摸輸入設(shè)備、紅外照相機(jī)、視頻輸入設(shè)備和/或任何其它輸入設(shè)備。在設(shè)備512中還可以包括輸出設(shè)備522,諸如一個(gè)或多個(gè)顯示器、揚(yáng)聲器、打印機(jī)和/或任何其它輸出設(shè)備。輸入設(shè)備524和輸出設(shè)備522可以經(jīng)由有線連接、無線連接或其任意組合而連接到設(shè)備512。在一個(gè)實(shí)施例中,來自另一計(jì)算設(shè)備的輸入設(shè)備或輸出設(shè)備可以用作計(jì)算設(shè)備512的輸入設(shè)備524或輸出設(shè)備522。
計(jì)算設(shè)備512的組件可以通過諸如總線的各種互連來連接。這些互連可以包括外圍組件互連(PCI)、諸如PCI Express、通用串行總線(USB)、火線(IEEE 1394)、光總線結(jié)構(gòu)等。在另一實(shí)施例中,計(jì)算設(shè)備512的組件可通過網(wǎng)絡(luò)來互連。例如,存儲(chǔ)器518可由位于網(wǎng)絡(luò)互連的不同的物理位置中的多個(gè)物理存儲(chǔ)器單元構(gòu)成。
本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到,用于存儲(chǔ)計(jì)算機(jī)可讀指令的存儲(chǔ)設(shè)備可分布在網(wǎng)絡(luò)中。例如,能夠經(jīng)由網(wǎng)絡(luò)528訪問的計(jì)算設(shè)備530可以存儲(chǔ)實(shí)現(xiàn)本文提供的一個(gè)或多個(gè)實(shí)施例的計(jì)算機(jī)可讀指令。計(jì)算設(shè)備512可以訪問計(jì)算設(shè)備530且下載計(jì)算機(jī)可讀指令的部分或全部用于執(zhí)行??商娲兀?jì)算設(shè)備512可以根據(jù)需要來下載多條計(jì)算機(jī)可讀指令,或者一些指令可以在計(jì)算設(shè)備512處執(zhí)行,一些在計(jì)算設(shè)備530處執(zhí)行。
本文提供了實(shí)施例的各種操作。在一個(gè)實(shí)施例中,所描述的操作中的一個(gè)或多個(gè)可以構(gòu)成存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀指令,如果由計(jì)算設(shè)備執(zhí)行,則計(jì)算機(jī)可讀指令將使得計(jì)算設(shè)備執(zhí)行所描述的操作。描述操作中的一些或全部的順序不應(yīng)解釋為暗指這些操作必然是順序相關(guān)的。本領(lǐng)域技術(shù)人員在獲益于本說明書后將理解到可替代的排序。此外,將理解的是,不是全部操作都必然存在于本文提供的每個(gè)實(shí)施例中。而且,將理解的是,不是全部操作都是一些實(shí)施例中所必需的。
此外,除非特別指出,否則“第一”、“第二”和/或類似術(shù)語不意在暗示時(shí)間方面、空間方面、排序等。相反,這些術(shù)語僅用作特征、元件項(xiàng)等的標(biāo)識(shí)符、名稱等。例如,第一對(duì)象和第二對(duì)象大體對(duì)應(yīng)于對(duì)象A和對(duì)象B或者兩個(gè)不同的或兩個(gè)等同的對(duì)象或相同的對(duì)象。
而且,“示范性的”在本文用來意指充當(dāng)示例、實(shí)例、圖示等,而不一定是有益的。如本文所使用,“或者”意在表示包含性的“或者”,而不是排他性的“或者”。另外,在本申請(qǐng)中使用的“一(a)”和“一個(gè)(an)”通常解釋為意指“一個(gè)或多個(gè)”,除非特別規(guī)定或者根據(jù)上下文明顯是指單數(shù)形式。而且,A和B中的至少一個(gè)和/或類似措辭通常意指A或B和/或A和B兩者。此外,在“包含”、“具有”、“設(shè)有”、“帶有”和/或其變體在具體實(shí)施方式或權(quán)利要求中使用的程度上,這些術(shù)語意在包含性的,方式類似于術(shù)語“包括”。
而且,雖然已經(jīng)結(jié)合一個(gè)或多個(gè)實(shí)現(xiàn)方式顯示和描述了本公開,基于對(duì)該說明書以及附圖的閱讀和理解,等同的改動(dòng)和修改對(duì)于本領(lǐng)域其它技術(shù)人員而言將是顯而易見的。本公開包括全部這樣的修改和改動(dòng),并且僅受隨附權(quán)利要求的范圍限制。特別地關(guān)于上述組件(例如,元件、資源等)所執(zhí)行的各功能,除非特別指出,否則用于描述這些組件的術(shù)語意在對(duì)應(yīng)于執(zhí)行所描述的組件的規(guī)定功能(例如,功能上等同的)的任何組件,即使結(jié)構(gòu)上不等同于公開的結(jié)構(gòu)。另外,雖然公開的特定特征已經(jīng)參考多個(gè)實(shí)現(xiàn)方式中的僅一個(gè)進(jìn)行了公開,但該特征可以與對(duì)于任何給定的或特定的應(yīng)用而言所期望或有益的其它實(shí)現(xiàn)方式的一個(gè)或多個(gè)其它特征相組合。