專利名稱：增強型手持式屏幕感測指針的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體涉及用戶接口。
背景技術(shù)：

發(fā)明內(nèi)容
根據(jù)一個大體實施方案，一種計算機實施的過程包含由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像，以及確定所俘獲的相機圖像中所述一個或一個以上基準的位置或角度。所述過程還包含至少基于相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定顯示器裝置上的手持式裝置朝向的位置，以及基于顯示器裝置上的所述所確定的位置控制應(yīng)用。在實例實施方案中，所述過程可包含控制顯示器裝置在表示正控制的應(yīng)用的輸出的用戶接口內(nèi)呈現(xiàn)所述一個或一個以上基準。另外，所述一個或一個以上基準可包含第一和第二基準，或第一到第四基準。顯示器裝置可為IXD、等離子、DLP或CRT顯示器。手持式裝置可進一步包含激光指針，且相機圖像可俘獲由激光指針投射在顯示器裝置上的激光。 所述一個或一個以上基準可進一步包含顯示器裝置的屏幕的一個或一個以上隅角。所述過程還可包含基于亮度或色調(diào)的差異檢測屏幕的所述一個或一個以上隅角。所述一個或一個以上基準可構(gòu)成用戶接口控制，可為例如公司標志等桌面圖標，或視頻游戲參考部件。在一些實施方案中，所述過程可包含從多個不同顯示器裝置類型中確定一顯示器裝置類型。在這些實施方案中，所述過程可包含從多個不同過濾技術(shù)中選擇適于所確定的顯示器裝置類型的過濾技術(shù)，以及將選定的過濾技術(shù)應(yīng)用于所俘獲的相機圖像。在一些實例中，所述過程可包含分析針對可用作所述一個或一個以上基準的所顯示元素的表示正控制的應(yīng)用的輸出的用戶接口。在這些實例中，所述過程可包含從表示正控制的應(yīng)用的輸出的所述用戶接口內(nèi)的所述所顯示元素選擇所述一個或一個以上基準，以及將從表示正控制的應(yīng)用的輸出的所述用戶接口內(nèi)的所述所顯示元素選擇的所述一個或一個以上基準的形狀和位置的描述發(fā)射到手持式裝置。所述過程還可包含從手持式裝置的存儲器存取識別所述一個或一個以上基準的形狀或位置的信息或識別顯示器裝置呈現(xiàn)的所述一個或一個以上基準的顯示的定時的信息。所述一個或一個以上基準可在顯示器裝置上閃光。在一些實施方案中，所述過程可包含從多個不同顯示器裝置類型中確定一顯示器裝置類型。在這些實施方案中，所述過程可包含從多個不同閃光技術(shù)中選擇適于所確定的顯示器裝置類型的閃光技術(shù)，以及控制顯示器裝置使用選定的閃光技術(shù)在顯示器裝置上使所述一個或一個以上基準閃光。 所述過程還可包含至少基于相機圖像中所述一個或一個以上基準的所確定的位置或角度確定手持式裝置的定向，其中可進一步基于所確定的定向來控制應(yīng)用。所述過程還可包含確定手持式裝置的距離或位置，其中可相對于顯示器裝置確定手持式裝置的距離、位置或定向。所述過程還可包含基于顯示器裝置上的手持式裝置朝向的所確定位置確定手持式裝置的用戶的身份。 所述過程還可包含由第二手持式裝置俘獲顯示器裝置呈現(xiàn)的所述一個或一個以上基準的第二相機圖像、確定第二所俘獲的相機圖像中所述一個或一個以上基準的位置或角度，以及至少基于第二相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定顯示器裝置上的第二手持式裝置朝向的第二位置，其中可基于所述所確定的位置和所述所確定的第二位置控制應(yīng)用。所述應(yīng)用可為視頻游戲應(yīng)用或媒體中心應(yīng)用。控制應(yīng)用可進一步包含基于確定手持式裝置的定向已改變而改變虛擬空間中化身(avatar)的視圖。所述過程還可包含在手持式裝置處俘獲顯示器裝置呈現(xiàn)的所述一個或一個以上基準的第二相機圖像、確定第二所俘獲的相機圖像中所述一個或一個以上基準的第二位置或第二角度、至少基于第二相機圖像中所述一個或一個以上基準的所述所確定的第二位置或第二角度確定顯示器裝置上的手持式裝置朝向的第二位置，以及基于將所述位置與第二位置進行比較而確定手持式裝置的運動，其中可基于所述所確定的運動控制應(yīng)用。所述過程還可包含確定第二手持式裝置的距離、位置或定向，其中可相對于顯示器裝置確定手持式裝置的距離、位置或定向。所述過程還可包含基于將第二手持式裝置的所確定的距離、位置或定向與第一手持式裝置的所確定的距離、位置或定向進行比較而確定手持式裝置的用戶的身份。所述過程還可包含確定手持式裝置相對于顯示器裝置的第一距離、位置或定向、確定第二手持式裝置相對于顯示器裝置的第二距離、位置或定向，以及基于手持式裝置的所確定的第一距離、位置或定向相對于第二手持式裝置的所確定的第二距離、位置或定向而確定第一用戶的身份和第二用戶的身份。根據(jù)另一大體實施方案，一種系統(tǒng)包含一個或一個以上計算機，以及上面存儲有指令的耦合到所述一個或一個以上計算機的計算機可讀媒體，所述指令當由所述一個或一個以上計算機執(zhí)行時致使所述一個或一個以上計算機執(zhí)行操作。所述操作可包含由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像、確定所俘獲的相機圖像中所述一個或一個以上基準的位置或角度、至少基于相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定顯示器裝置上的手持式裝置朝向的位置，以及基于顯示器裝置上的所述所確定的位置控制應(yīng)用。根據(jù)另一大體實施方案，一種計算機存儲媒體以計算機程序進行編碼，所述程序包含當由數(shù)據(jù)處理設(shè)備執(zhí)行時致使所述數(shù)據(jù)處理設(shè)備執(zhí)行操作的指令。所述操作可包含由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像、確定所俘獲的相機圖像中所述一個或一個以上基準的位置或角度、至少基于相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定顯示器裝置上的手持式裝置朝向的位置，以及基于顯示器裝置上的所述所確定的位置控制應(yīng)用。已提供簡要概述以實現(xiàn)對本文獻描述的各種概念和實施方案的快速理解?？赏ㄟ^參考結(jié)合附圖進行的以下詳細描述而獲得更完整的理解。應(yīng)理解，可利用其它實施方案且可作出改變。


圖1是示例的情境圖。圖2說明應(yīng)用控制系統(tǒng)。圖3是示范性過程的流程圖。圖4說明使用手持式裝置的基準圖像俘獲。圖5說明相對于一對基準位置的光標位置的預期準確度。圖6和7A-D說明基于一個基準的光標移動。圖8說明光標位置的準確度。圖9說明屏幕隅角基準。圖10說明用戶接口控制基準的使用。圖11和12說明覆蓋在視頻圖像上的基準。圖13說明示范性計算裝置。相同參考數(shù)字始終表示對應(yīng)的部件。
具體實施例方式圖2是示例經(jīng)由使用手持式裝置101的應(yīng)用控制的概念圖。手持式裝置101可為 (例如)遠程控制或游戲控制器。手持式裝置101可與顯示器裝置102通信。顯示器裝置 102可為(例如)桌上型計算機、膝上型計算機、視頻游戲控制臺、機頂盒等。顯示器裝置 102包含用戶接口 104。用戶接口 104可為(例如)計算機監(jiān)視器或電視顯示器。用戶接口 104呈現(xiàn)基準106a_d?；鶞适窃谛螤罨蝾伾溪毺氐膱D像的視覺特征。 舉例來說，顯示到用戶接口 104上的現(xiàn)有用戶接口組件可用作基準?；鶞实钠渌鼘嵗烂鎴D標、公司標志，或用戶接口 104的一個或一個以上隅角。手持式裝置101包含相機108。相機108俘獲基準106a_d的相機圖像?？煞@多個相機圖像。舉例來說，如果用戶將手持式裝置101向右移動，如手持式裝置IOla所說明， 那么相機108a可在第二時間點俘獲基準106a_d的相機圖像?？纱_定每一所俘獲的相機圖像中基準106a_d的每一者的位置或角度。舉例來說， 由手持式裝置101俘獲的相機圖像110包含所俘獲的基準圖像112a-d。歸因于當俘獲相機圖像110時由手持式裝置101的角度形成的遠近關(guān)系(perspective)，基準圖像llh-d 不如用戶接口 104中顯示的對應(yīng)基準106a-d那樣呈現(xiàn)為準確的矩形對準。舉例來說，基準 106b在基準106d上方垂直對準，同時基準圖像112d呈現(xiàn)在基準圖像112b右側(cè)。作為另一實例，基準106b與基準106a水平對準，同時基準圖像112b呈現(xiàn)在基準圖像11 上方。此外，遠近關(guān)系相關(guān)的失真可隨手持式裝置101的定向改變而改變。舉例來說，由手持式裝置101(例如，在用戶將手持式裝置101向右移動之后)俘獲的相機圖像114覆蓋在(例如，以用于比較)相機圖像110的頂部上。手持式裝置IOlb的角度越大致使與相機圖像110相比向相機圖像114的右側(cè)“拉伸”越多。舉例來說，基準圖像116d比對應(yīng)的基準圖像112d更低且向右更遠，且基準圖像116c比對應(yīng)的基準圖像112b更高且向右更遠。
可將相機圖像110和114進行比較，且可基于所確定的基準位置信息執(zhí)行計算 (例如，三角測量)以確定用戶接口 104上的手持式裝置IOla朝向的位置。并且，在一些實施方案中，可確定手持式裝置IOla相對于用戶接口 104的位置和距離或定向。舉例來說， 表120顯示實例所計算的信息，其指示在第一時間點，顯示器裝置101確定為距用戶接口 104六英尺，定向為三十度，且指向用戶接口 104上的坐標位置000，400)；且在第二時間點，顯示器裝置IOla確定為距用戶接口 104六英尺，定向為三十五度，且指向用戶接口 104 上的坐標位置(600，400)?？身憫?yīng)于確定用戶接口 104上的位置而控制應(yīng)用。舉例來說，用戶接口 130正呈現(xiàn)基準13加-(1和表示虛擬空間的區(qū)域134。所述區(qū)域134顯示虛擬門136(例如，作為虛擬游戲的一部分)。光標138顯示在先前確定的位置處。響應(yīng)于用戶將手持式裝置101向右移動(如手持式裝置IOla所指示)，可確定用戶接口 130上的新的位置。光標140可顯示在新的位置處(例如，且光標138可從用戶接口 130移除，例如以模擬光標移動)。響應(yīng)于檢測到的位置改變，可在虛擬世界中執(zhí)行動作，例如在虛擬空間中關(guān)閉門136。在圖1所示的實例中，用戶接口可經(jīng)控制以在用戶接口內(nèi)的特定位置(例如，多個基準的特定型式)呈現(xiàn)基準，且每一基準具有特定形狀和顏色。在用戶接口內(nèi)的特定位置且以特定形狀和顏色呈現(xiàn)基準允許容易地檢測基準且對其進行分析以確定手持式裝置相對于用戶接口的位置和/或角度。用戶接口可經(jīng)控制以以非突出方式將基準與其它顯示元素集成或用其它顯示元素覆蓋基準。手持式裝置或顯示器裝置可致使將基準呈現(xiàn)(可能) 為應(yīng)用(例如，視頻游戲)所提供的輸出的額外元素。手持式裝置或顯示器裝置也可選擇已呈現(xiàn)在顯示器裝置上的適當基準作為應(yīng)用(例如，視頻游戲)所提供的輸出。因為在顯示器裝置的用戶接口上呈現(xiàn)基準，所以可檢測手持式裝置相對于用戶接口的位置和/或角度，而不必添加額外硬件組件以補充顯示器裝置且產(chǎn)生參考點。圖2說明應(yīng)用控制系統(tǒng)200。系統(tǒng)200包含經(jīng)由網(wǎng)絡(luò)211連接到一個或一個以上手持式裝置212的顯示器裝置201。顯示器裝置201包含處理器202、用戶接口 204、媒體 206和網(wǎng)絡(luò)接口 208。手持式裝置212包含相機214、處理器216、媒體218、網(wǎng)絡(luò)接口 220和時鐘222。顯示器裝置201可為桌上型計算機、膝上型計算機、視頻游戲控制臺、機頂盒、數(shù)字相框，或任何其它能夠顯示圖像的裝置。手持式裝置212可為遠程控制、游戲控制器、激光指針、移動電話、PDA(個人數(shù)字助理)或其它移動裝置。在一替代實施方案中，手持式裝置212可固持在靜態(tài)位置中，且顯示器裝置201可為圍繞手持式裝置212移動的手持式顯示器裝置。媒體202和218存儲并記錄信息或數(shù)據(jù)，且每一者可為光學存儲媒體、磁性存儲媒體、快閃存儲器或任何其它存儲媒體類型。媒體206包含基準數(shù)據(jù)庫210，且媒體218包含基準數(shù)據(jù)庫224。基準數(shù)據(jù)庫210和2M存儲(例如)形狀數(shù)據(jù)、定時數(shù)據(jù)(例如，針對閃光基準)，以及用戶接口 204上基準的位置。在一些實施方案中，使用基準數(shù)據(jù)庫210和2M 兩者。在其它實施方案中，使用基準數(shù)據(jù)庫210和224中的一者?？墒褂脮r鐘222(例如) 來協(xié)調(diào)顯示閃光基準的定時。用戶接口 204可經(jīng)配置以呈現(xiàn)視覺顯示圖像。舉例來說，用戶接口 204可為監(jiān)視器、電視機、液晶顯示器(IXD)、等離子顯示器裝置、具有投影屏幕的投影儀、自動立體顯示器、陰極射線管(CRT)顯示器、數(shù)字光處理(DLP)顯示器，或經(jīng)配置以呈現(xiàn)顯示圖像的任何其它類型的顯示器裝置。用戶接口 204可包含一個或一個以上顯示器裝置。在一些配置中，用戶接口 204可經(jīng)配置以顯示與應(yīng)用相關(guān)聯(lián)的圖像，例如顯示由應(yīng)用產(chǎn)生的圖像，包含控制和例如化身等對象。 顯示器裝置201可連接到網(wǎng)絡(luò)211，且可能經(jīng)由網(wǎng)絡(luò)接口 208連接到一個或一個以上其它網(wǎng)絡(luò)。類似地，手持式裝置212可連接到網(wǎng)絡(luò)211，且可能經(jīng)由網(wǎng)絡(luò)接口 220連接到一個或一個以上其它網(wǎng)絡(luò)。網(wǎng)絡(luò)211可包含(例如)因特網(wǎng)、廣域網(wǎng)(WAN)、局域網(wǎng)(LAN)、 模擬或數(shù)字有線和無線電話網(wǎng)絡(luò)(例如，PSTN、集成服務(wù)數(shù)字網(wǎng)絡(luò)(ISDN)，和數(shù)字訂戶線 (xDSL))、無線電、電視、電纜、衛(wèi)星和/或任何其它用于攜載數(shù)據(jù)服務(wù)的遞送或隧穿機制中的一者或一者以上。網(wǎng)絡(luò)可包含多個網(wǎng)絡(luò)或子網(wǎng)，其每一者可包含(例如)有線或無線數(shù)據(jù)路徑。在另一實施方案中，省略網(wǎng)絡(luò)211，且顯示器裝置201例如使用藍牙、Wi-Fi、經(jīng)調(diào)制近紅外信號或經(jīng)調(diào)制短程射頻通信經(jīng)由直接、無線或有線線路通信信道連接到手持式裝置。相機214俘獲或以另外方式產(chǎn)生相機圖像，所述相機圖像可發(fā)射到處理器216且可發(fā)射到顯示器裝置201。處理器202和216可使用貫穿本發(fā)明中描述的技術(shù)處理相機圖像。相機214可將圖像俘獲為靜態(tài)照片或移動圖像序列。相機214可使用可見光譜的光或利用電磁頻譜的其它部分。舉例來說，相機214可為數(shù)碼相機、數(shù)字視頻相機，或經(jīng)配置以俘獲圖像任何其它類型的裝置。相機214可包含一個或一個以上相機。在一些實例中，相機214可經(jīng)配置以在相機214的視場內(nèi)俘獲用戶接口 204的圖像。相機214可為能夠檢測顯示器裝置產(chǎn)生的信號的任何傳感器。相機214可為灰階相機或彩色相機?；蛘撸绻@示器裝置能夠產(chǎn)生紅外圖像，那么相機214可為紅外相機。處理器216可能夠從相機214接收圖像并對其進行處理以產(chǎn)生位置數(shù)據(jù)。處理器 202可能夠從手持式裝置212接收圖像并對其進行處理以產(chǎn)生位置數(shù)據(jù)。處理器202還可產(chǎn)生在用戶接口 204上顯示的顯示圖像。盡管顯示器裝置201已描述為包含個人計算機(PC)或機頂盒或與之介接，但此描述僅為了簡潔而作出，且也預期其它實施方案或表現(xiàn)形式。舉例來說，可使用電視機、超移動個人計算機(UMPC)、移動因特網(wǎng)裝置(MID)、數(shù)字相框(DPF)、便攜式媒體播放器(PMP)、 通用計算機(例如，桌上型計算機、工作站或膝上型計算機)、服務(wù)器、游戲裝置或控制臺， 或包含處理器或經(jīng)配置以執(zhí)行指令的其它控制電路的任何其它類型的電子裝置，或者包含用戶接口的任何其它設(shè)備來實施顯示器裝置201。圖3是說明用于控制應(yīng)用的計算機實施的過程300的流程圖。簡要來說，過程300 包含由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像；確定所俘獲的相機圖像中所述一個或一個以上基準的位置或角度；至少基于相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定顯示器裝置上的手持式裝置朝向的位置；以及基于顯示器裝置上的所述所確定的位置控制應(yīng)用。更詳細來說，當過程300開始時630 ，由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像(S304)?；鶞适窃谛螤罨蝾伾溪毺氐膱D像的視覺特征。 可包含在所俘獲的相機圖像中的實例基準包含用戶接口組件、桌面圖標、公司標志、屏幕隅角，以及視頻游戲參考部件(例如，視頻游戲健康指示符、視頻游戲武器部件、視頻游戲標志、視頻游戲界面控制等)。確定所俘獲的相機圖像中所述一個或一個以上基準的位置或角度(S306)。舉例來說，可從手持式裝置的存儲器存取識別所述一個或一個以上基準的形狀或位置的信息。至少基于相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定顯示器裝置上的手持式裝置朝向的位置(S308)。基于顯示器裝置上的所述所確定的位置控制應(yīng)用(S310)，借此結(jié)束過程 300(S312)。舉例來說，可控制視頻游戲應(yīng)用或媒體中心應(yīng)用。作為一更具體實例，可基于顯示器裝置上的手持式裝置朝向的所述所確定的位置確定手持式裝置的用戶的身份。圖4說明應(yīng)用控制系統(tǒng)400。手持式裝置401包含相機402和處理器(未圖示)。 相機402檢測呈現(xiàn)到顯示器405的顯示圖像上的一組基準4(Ma-d。相機402的視場406可使得當手持式裝置401正指向顯示器405的任何位置(例如，位置407)時所述組基準404 在視場406內(nèi)。光標408可呈現(xiàn)到顯示圖像上，在手持式裝置401指向的位置(例如，位置 407)處。手持式裝置401可包含可按壓的按鈕。手持式裝置401可具有類似于電視機遠程控制的大小和外觀。手持式裝置401可進一步包含發(fā)射器，例如無線藍牙發(fā)射器。所述發(fā)射器可將位置數(shù)據(jù)(例如，坐標)和按鈕數(shù)據(jù)發(fā)射到顯示器裝置409。顯示器裝置409可將指令(例如，開始或停止跟蹤、描述基準的類型)發(fā)射到手持式裝置401。顯示器裝置409可為桌上型計算機、膝上型計算機、游戲控制臺、機頂盒等。顯示器裝置409可產(chǎn)生在顯示器405上顯示的顯示圖像。產(chǎn)生顯示圖像可包含將基準覆蓋到視頻圖像上，或呈現(xiàn)包含基準的圖形用戶接口。在系統(tǒng)400的一替代變型中，將相機圖像發(fā)射到顯示器裝置409，且相機圖像可由顯示器裝置409內(nèi)的處理器處理。然而，在此實施方案中，圖像可需要比位置數(shù)據(jù)更多的帶寬來進行發(fā)射。在系統(tǒng)400的另一替代變型中，可在手持式裝置401內(nèi)執(zhí)行顯示圖像的呈現(xiàn)(實際上，在此實施方案中，視頻游戲控制臺集成到手持式裝置401中)。舉例來說，手持式裝置 401可為執(zhí)行光線槍游戲的玩具槍，且可包含連線到電視機的視頻輸出。在相機402安裝到手持式裝置401上的情況下跟蹤可為比在相機402安裝到顯示器405的情況下跟蹤更精確的量級。因此，將相機402安裝在手持式裝置401上可優(yōu)于將相機402安裝在顯示器405上。當將相機402安裝到手持式裝置401上時，隨著光標從顯示器405的一側(cè)向另一側(cè)掃掠的基準的位移可在相機圖像的一半與四分之一之間，這取決于距離、屏幕大小和相機的視場。假定10MX768分辨率的傳感器，可辨清250與500之間的離散水平光標位置。 子像素內(nèi)插的使用可增加有效分辨率且允許在顯示屏的原始分辨率下或附近計算光標位置。當將相機402安裝在顯示器405上且在手持式裝置401上跟蹤標記時，可將標記的非常小的位移擴大為屏幕上光標的大位移。即使在子像素內(nèi)插的情況下，光標位置也可具有顯著抖動。如下文更詳細論述，檢測和/或顯示基準的方面可基于正使用的顯示器裝置的類型而變化。在此方面，系統(tǒng)可從多種不同類型的顯示器裝置中(例如，從至少LCD、等離子、 DLP或CRT顯示器中)確定正使用的顯示器裝置的類型。系統(tǒng)可從多個不同過濾技術(shù)中選擇適于所確定的顯示器裝置類型的過濾技術(shù)，且可將選定的過濾技術(shù)應(yīng)用于所俘獲的相機圖像來執(zhí)行基準檢測。過濾技術(shù)可指代適當檢測所確定的類型的顯示器裝置顯示的圖像中的基準所需的幀速率和/或濾色?？舍槍Σ煌愋偷娘@示器裝置中的每一者應(yīng)用不同的過濾技術(shù)，或在一些情況下，可將相同過濾技術(shù)應(yīng)用于不同的顯示器裝置。當通過相機俘獲時，液晶(例如，IXD)和等離子顯示器產(chǎn)生相對穩(wěn)定的圖像。可以與顯示器裝置相同的幀速率(通常60幀/秒)發(fā)生跟蹤。有可能以更快的幀速率(例如，240幀/秒)進行跟蹤，但可丟棄臨時幀。舉例來說，如果相機正以240幀/秒操作，那么三個連續(xù)相機幀可俘獲完整的顯示圖像，之后是一個相機幀俘獲不完整的顯示圖像(如果所述幀的曝光時間與顯示器裝置的刷新一致)或破損的圖像(如果所述幀的曝光時間俘獲兩個不同顯示幀的一部分)?？蓹z測到不完整或破損的相機幀(例如，由處理器基于如相機圖像內(nèi)呈現(xiàn)的顯示圖像的亮度或完整性所確定)并將其丟棄。對較快幀速率的支持可影響硬件的選擇且影響手持式裝置401的成本。大多數(shù)DLP (數(shù)字光處理)裝置循序顯示紅色、綠色和接著藍色，當由相機402俘獲時其可產(chǎn)生閃光型式。依據(jù)各種因素，可以與顯示器405相同的幀速率(通常60幀/秒) 執(zhí)行跟蹤。由于DLP裝置循環(huán)顏色的方式的緣故，相機402可俘獲完整的藍色和綠色圖像， 但僅俘獲部分紅色圖像。另一相機幀可俘獲完整的藍色和紅色圖像，但僅俘獲部分綠色圖像。軟件可過濾相機圖像以選擇最完整(例如，最亮)的一個或一個以上顏色通道且丟棄僅部分俘獲的顏色通道(例如，較暗的、不完整的圖像)。如果基準為黑色和白色，那么經(jīng)過濾的圖像可經(jīng)正常處理，或可以較高幀速率處理(例如，恰好為顯示器幀速率的三倍，其中每一連續(xù)相機幀檢測顯示圖像的一種顏色)。在一些情況下，如果基準涉及彩色，那么跟蹤DLP裝置可限于較慢幀速率(例如， 30幀/秒)。在俘獲DLP的顏色輪盤的一個以上完整循環(huán)的時間周期內(nèi)使相機402曝光可確保所有顏色通道(紅色、濾色和藍色)均是完整的。當由相機402俘獲時，CRT (陰極射線管)顯示器可產(chǎn)生暗帶。如果手持式裝置401 可與顯示器同步，那么可以與顯示器相同的幀速率(通常60幀/秒)跟蹤CRT顯示器。如果手持式裝置401不能與顯示器同步，那么跟蹤可限于較慢幀速率(例如，30幀/秒)使得暗帶不會使基準的任何部分模糊不清。為了跟蹤DLP和CRT顯示器，手持式裝置401可執(zhí)行上文描述的額外處理?？赏ㄟ^分析顯示圖像在連續(xù)相機圖像中呈現(xiàn)時的亮度和連貫性的變化而自動檢測顯示器類型。 手持式裝置401可或可不經(jīng)手動校準，且可將基準的類型和位置存儲在手持式裝置401的存儲器中或發(fā)射到手持式裝置401。多個手持式裝置401可共享呈現(xiàn)到顯示器405上的相同基準。因此，如果多個用戶各自具有一手持式裝置401，那么可同時計算或確定每一手持式裝置401的位置。顯示器裝置409上的過程可分析顯示圖像以選擇一組基準，且將基準形狀和位置的描述發(fā)射到手持式裝置401。使用此過程，可在不修改應(yīng)用的外觀的情況下跟蹤許多顯示圖像，只要所述顯示圖像含有例如隅角和邊緣等一些較強特征即可。分析顯示圖像可包含通過分析顯示圖像緩沖器中的像素數(shù)據(jù)而識別例如隅角和邊緣等特征。顯示圖像可含有(例如)視頻、照片、視頻游戲，或計算機桌面應(yīng)用。選擇一組基準可包含選擇最強特征(例如，具有最高對比度)。
作為另一實例，可通過分析描述桌面組件(例如，窗口、標題欄、菜單、工具欄等) 的較高層級數(shù)據(jù)而識別特征。可針對每一類型的高層級桌面組件預定一組特征或形狀描述 (例如，可假定窗口具有四個隅角特征)。選擇一組基準可包含選擇可見(例如，未被其它桌面組件阻擋)且可能包含最強特征(例如，最高對比度)的桌面組件。發(fā)射到手持式裝置401的基準的描述可能是簡潔的(這可減少帶寬要求)，且可隨著顯示圖像的外觀改變而更新。作為另一實例，顯示圖像可發(fā)射到手持式裝置401，且可在手持式裝置401上執(zhí)行分析和選擇的步驟(但在此實例中，發(fā)射圖像所需的帶寬可能較高)?；鶞驶蛳鄼C圖像的描述可經(jīng)緩沖以考慮圖像的呈現(xiàn)、顯示和俘獲過程中的等待時間， 或發(fā)射基準描述的等待時間?；鶞薀o需在所呈現(xiàn)的顯示圖像邊緣。舉例來說，圖5說明相對于一對基準位置的光標位置的預期準確度。概念上，誤差502表示與激光點的位置相比光標的偏移，例如在激光指針安裝到手持式裝置的情況下。當裝置被指向在基準邊界外部較遠時，光標和激光可逐漸偏離。然而，在無激光指針的輔助的情況下，即使基準的分隔僅為顯示屏的尺寸的三分之一，用戶也不可能感知到此誤差，如圖5中的顯示504中所說明?？墒褂脙蓚€基準的最小值。如果使用單個基準，那么可估計位置，但手持式裝置指向得距基準越遠，則實際位置可偏離于預期位置。當手持式裝置朝基準移動時，實際位置和所估計位置可再次匯合。如果使用一個基準，那么在用戶固持手持式裝置使得其并非水平的情況下，移動可能不準確。如圖6中說明，如果用戶將手持式裝置601在方向602上朝右移動，同時將裝置601固持在角度603處，那么光標604可沿著路徑605行進，路徑605偏離于預期路徑 606與角度603類似的角度。如果使用一個基準，那么移動可能不適當?shù)匕幢壤s放，因為可能不能確定用戶相對于顯示器的大小的距離。圖7A-7D中說明實例。在距屏幕某一距離處，用戶可能必須將手持式裝置移動一角距離以在顯示屏上掃掠光標，其中定向獨立于屏幕大小。舉例來說， 當顯示屏702較小時(如圖7A所示)，用戶可能必須將手持式裝置706a移動到比預期定向 708遠的定向707，借此提供裝置706a對運動不夠敏感的感覺。作為另一實例，當顯示屏710較大時(如圖7B所示)，用戶可能必須將手持式裝置 706b移動到比預期定向714近的定向712，借此提供裝置706b對運動過于敏感的感覺。在恒定大小的顯示器的情況下，用戶可能必須移動某一角距離以在顯示器上掃掠光標，其中所述角度獨立于距屏幕的距離。舉例來說，當用戶距顯示屏720較遠時(如圖7C 所示)，用戶可能必須將手持式裝置706c移動到比預期定向7M遠的定向722，借此提供裝置706c對運動不夠敏感的感覺。作為另一實例，當用戶靠近顯示屏730時(如圖7D所示)，用戶可能必須將手持式裝置706d移動到比預期定向734近的定向732，借此提供裝置 706d對運動過于敏感的感覺。相機圖像中的檢測到的基準的位置可經(jīng)校正以考慮透鏡失真。在一些情形中，可不執(zhí)行校正，例如在確定透鏡失真不可由用戶檢測到的情況下。如果執(zhí)行校正，那么可將相機圖像中的檢測到的基準的經(jīng)校正位置與參考位置進行比較。舉例來說，參考位置可為在手持式裝置對準在顯示屏的中心處的情況下基準預期呈現(xiàn)在相機圖像中的位置。所檢測到的位置與參考位置之間的差異可乘以比例因數(shù)以將檢測到的位置重新映射到計算機/游戲控制臺的坐標空間中。經(jīng)按比例縮放的位置可相對于顯示圖像內(nèi)基準的位置，且在此情況下，可從基準顯示位置減去經(jīng)按比例縮放的位置以產(chǎn)生相對于顯示圖像的位置。光標可呈現(xiàn)到顯示圖像中在相對于顯示圖像的位置處。比例因數(shù)可經(jīng)預先定義以考慮平均大小顯示屏和距屏幕的平均用戶距離。如果用戶的顯示屏大小或距離顯著不同于預先定義的設(shè)置，那么可給予用戶調(diào)整比例因數(shù)的選擇。使用兩個基準可足以計算手持式裝置被固持的角度和用戶相對于顯示屏的大小的距離兩者。使用兩個基準可消除上文相對于圖6和圖7A-D論述的問題。圖8說明相對于用戶801的位置的光標位置的準確度(例如，在用戶801直接坐在顯示屏802前方或離開在其一側(cè)的情況下)。概念上，誤差803表示與激光點的位置相比的光標的偏移，例如在激光指針安裝到手持式裝置的情況下。光標位置對于直接坐在屏幕 802前方的用戶可非常準確，但用戶坐得距中心越遠，光標和激光可逐漸偏離。對于在屏幕 802上方或下方的用戶，遵循類似關(guān)系。然而，在無激光指針的輔助的情況下，如果用戶801 坐在距中心達30度處(例如，如用戶804所說明)，那么用戶可能不可能感知到此誤差。在兩個基準的情況下，可基于第一基準與第二基準之間的距離計算比例因數(shù)?？苫诘诙鶞氏鄬τ诘谝换鶞实南鄬Ζ趾蛓位置計算角度?？蓪⑺嬎愕慕嵌扰c預期角度 (例如，如果基準并排的話則為零度)進行比較。第二基準的檢測到的位置可圍繞第一基準的檢測到的位置旋轉(zhuǎn)所計算的角度差。后續(xù)處理可類似于單一基準的處理。舉例來說，相機圖像中檢測到的第一基準的位置可與參考位置進行比較。參考位置可為(例如)在手持式裝置對準在顯示屏的中心處的情況下第一基準預期呈現(xiàn)在相機圖像中的位置。所檢測到的第一位置與參考位置之間的差異可乘以所計算的比例因數(shù)以將檢測到的第一位置重新映射到計算機/游戲控制臺的坐標空間中?？蓮牡谝换鶞曙@示位置減去經(jīng)按比例縮放的位置以產(chǎn)生相對于顯示圖像的位置。光標可呈現(xiàn)到顯示圖像中在相對于顯示圖像的位置處。四個基準的使用可顯著減少上文相對于圖5描述的誤差。此外，可以四個基準計算用戶相對于屏幕左側(cè)、右側(cè)、上方或下方的位置的粗略估計。盡管準確度可能不足以跟蹤用戶的精細移動，但在多個用戶各自具有一手持式裝置的情境中，可確定用戶的次序(例如，用戶A坐在用戶B左側(cè))?；鶞实耐庥^可變化。此外，由于一些方法可較適于特定應(yīng)用，所以系統(tǒng)可通過將基準的類型和位置發(fā)射到手持式裝置而在基準類型之間切換?？蓪⑵聊坏挠缃腔蜻吘墮z測為四個基準。圖9中說明屏幕隅角的實例。例如在顯示屏901的背景色呈現(xiàn)為與顯示屏901周圍的邊框902不同(在亮度或色調(diào)方面)的情況下，可檢測屏幕的隅角或邊緣。即使邊框902為灰色的，也可基于色調(diào)檢測藍色背景或菜單欄的隅角903。屏幕的隅角或邊緣可用于其中桌面顏色受控的任何屏幕(例如，視窗媒體中心 (Windows Media Center)).然而，在全屏視頻的重放期間可能不能跟蹤屏幕隅角或邊緣， 因為視頻可含有過暗以致不能提供屏幕與邊框之間的對比度的場景?？赏ㄟ^使用隅角特征來檢測顯示屏的隅角。另外，可使用霍夫變換(Hough transform)算法來檢測顯示屏的左側(cè)、右側(cè)、頂部和底部邊緣。例如圓形或矩形等規(guī)則目標形狀可偽裝為圖形用戶接口內(nèi)的按鈕或裝飾物，例如圖10中說明的實例媒體控制欄1001，其覆蓋到全屏視頻圖像1002上。在此實例中，基準 1003和1004呈現(xiàn)為欄1001的任一端上的圓形按鈕?？舍槍鶞适褂煤襁吔纭Ｅe例來說，邊界可在相機圖像中呈現(xiàn)為兩個或兩個以上像素厚。然而，相機的分辨率可比顯示屏低，且顯示屏可為相機視場的寬度的四分之一。因此，邊界可能需要達25像素厚，這取決于若干因素?？墒褂酶邔Ρ榷取Ｅe例來說，媒體欄可具有不透明的暗背景。在另一實例中，所述背景可稍許半透明?？墒褂脠A形和矩形，因為其可能相對容易檢測且可實現(xiàn)準確的子像素位置計算?？稍谟脩艚涌诘钠渌糠种斜苊馐褂眯螤??？苫谒袧撛跈z測到的目標形狀的相對布置檢測并濾出目標形狀的無意出現(xiàn)。如果用戶接口的其它部分中呈現(xiàn)形狀的其它出現(xiàn)，那么可減小穩(wěn)健性?？赏ㄟ^使用經(jīng)配置以檢測圓形或直線邊緣的霍夫變換算法來檢測圓形和矩形?；蛘撸赏ㄟ^執(zhí)行閾值和集群操作而檢測圓形和矩形。閾值操作可選擇局部最小值與最大值之間的閾值，且可將相機圖像的像素分類為高于閾值或低于閾值。如果(例如)所述形狀在暗背景上為亮的，那么可將分類為高于閾值的像素集群。作為另一實例，如果所述形狀在亮背景上為暗的，那么可將分類為暗于閾值的像素集群。集群可包含形成鄰近像素的集合。標志和圖標可用作基準。舉例來說，圖11說明覆蓋在全屏視頻圖像1103上的兩個獨特形狀的基準1101和1102。基準1101是膠片相機圖標，且基準1102是公司標志?；鶞?101和1102可對準或可不對準，且跟蹤軟件可了解其在所呈現(xiàn)的屏幕圖像內(nèi)的位置。圖 12中說明第二實例，其說明覆蓋在視頻游戲圖像1203上的兩個獨特形狀的基準1201 (健康指示符)和1202(武器部件)?；鶞实耐庥^可包含梯度和陰影。描述基準的外觀的數(shù)據(jù)可存儲在手持式裝置的存儲器中，或發(fā)射到手持式裝置。此外，因為形狀可能較復雜，所以其可能不太可能呈現(xiàn)在顯示圖像的其它部分內(nèi)。檢測復雜的目標形狀可利用比例不變特征變換(SIFT)算法。檢測復雜形狀的處理要求顯著高于檢測規(guī)則目標形狀所需的處理要求，且可影響處理器的選擇和手持式裝置的成本。在除SIFT算法以外的復雜目標形狀檢測算法中，如果手持式裝置固持在一角度 (例如，裝置601，圖6)，那么可能不能檢測到復雜形狀。角度限制可為(例如)10或15度， 但可通過執(zhí)行額外處理以搜索所述形狀的經(jīng)旋轉(zhuǎn)型式而延展。如果用戶坐得距顯示屏的中心過遠(例如，如圖8所示)，那么也可能不能檢測到復雜形狀。偏移限制可為(例如)30 度，但可通過執(zhí)行額外處理以搜索所述形狀的透視失真型式而延展?；鶞士稍谄聊簧祥W光。可在目標顯示于屏幕上的時間期間跟蹤基準位置。歸因于一些顯示器裝置在顯示之前處理圖像的方式的緣故，目標可能需要閃光持續(xù)多個幀，這可增加其可見性。歸因于這些限制，閃光目標可能不適于連續(xù)跟蹤光標，但可用于例如光線槍游戲。在一些實施方案中，系統(tǒng)可基于顯示器裝置的類型控制顯示器裝置上基準的閃光。在這些實施方案中，系統(tǒng)可從多個不同顯示器裝置類型中(例如，從至少LCD、等離子、 DLP或CRT顯示器中)確定一顯示器裝置類型。系統(tǒng)可從多個不同閃光技術(shù)中選擇適于所確定的顯示器裝置類型的閃光技術(shù)，并將選定的閃光技術(shù)應(yīng)用于所顯示的基準。舉例來說， 系統(tǒng)可控制顯示器裝置以適于所確定的顯示器裝置類型的特定速率使基準閃光。因為不同類型的顯示器裝置具有不同的幀速率和不同的彩色顯示器特性，所以系統(tǒng)可以不同方式控制顯示器裝置上基準的閃光以增強對于正使用的顯示器裝置的基準的檢測。所選擇的閃光技術(shù)可傳送到手持式裝置以提醒手持式裝置閃光型式且借此增強閃光檢測。靜止裝置上的過程可分析顯示圖像以選擇一組基準，且將基準形狀和位置的描述發(fā)射到手持式裝置。使用此過程，可在不修改應(yīng)用外觀的情況下跟蹤許多顯示圖像，只要顯示圖像含有例如隅角和邊緣等一些較強特征即可。分析顯示圖像可包含通過分析顯示圖像緩沖器中的像素數(shù)據(jù)而識別例如隅角和邊緣等特征。顯示圖像可含有視頻、照片、視頻游戲，或計算機桌面應(yīng)用。選擇一組基準可包含選擇最強特征(例如，具有最高對比度)。或者，可通過分析描述桌面應(yīng)用(例如，窗口、標題欄、菜單、工具欄等)的較高層級數(shù)據(jù)而識別特征?？舍槍γ恳活愋偷母邔蛹壸烂娼M件預定一組特征或形狀描述(例如， 可假定窗口具有四個隅角特征)。選擇一組基準可包含選擇可見(例如，未被其它桌面組件阻擋)且已知為最強特征(例如，最高對比度)的桌面組件。發(fā)射到手持式裝置的基準的描述是簡潔的(使帶寬要求最小化)，且可隨著顯示圖像的外觀改變而更新?；蛘?，顯示圖像可發(fā)射到手持式裝置，且可在手持式裝置上執(zhí)行分析和選擇的步驟(但發(fā)射圖像所需的帶寬非常高，且因此這不是優(yōu)選的)。對于所有類型的基準，基準的描述可經(jīng)緩沖或相機圖像可經(jīng)緩沖，以考慮圖像的呈現(xiàn)、顯示和俘獲過程中的等待時間，或發(fā)射基準描述的等待時間?？煞@來自一個以上手持式裝置的圖像。舉例來說，在已基于第一手持式裝置確定顯示器裝置上的第一位置之后，可由第二手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的第二相機圖像，且可在第二所俘獲的相機圖像中確定一個或一個以上基準的位置或角度?？苫诘诙鄼C圖像中所述一個或一個以上基準的所述所確定的位置或角度確定顯示器裝置上的第二手持式裝置朝向的第二位置，且可基于第一所確定的顯示器裝置位置和第二所確定的顯示器裝置位置控制應(yīng)用?？苫陲@示器裝置上的手持式裝置朝向的所確定的位置確定用戶的身份。舉例來說，如果顯示器裝置上的第二位置在顯示器裝置的預先定義的區(qū)內(nèi)(例如，分屏游戲的右半部)，那么可向控制第一手持式裝置的第一用戶指派身份“玩家2”?？蓪⒌谝痪嚯x、位置或定向確定為第一手持式裝置相對于顯示器裝置的距離、位置或定向。可將第二距離、位置或定向確定為第二手持式裝置相對于顯示器裝置的距離、位置或定向?？苫诘诙嚯x、位置或定向相對于第一距離、位置或定向來計算相對距離、位置或定向?？苫诘谝?、第二或相對距離、位置或定向來確定手持式裝置的用戶的身份。舉例來說，可向控制第一手持式裝置的第一用戶指派身份“玩家2”，且可向控制第二手持式裝置的第二用戶指派身份“玩家1”，第二位置在第一位置左側(cè)。圖13是一般計算機系統(tǒng)1300的實例的示意圖。系統(tǒng)1300包含處理器1310、存儲器1320、存儲裝置1330，和輸入/輸出裝置1340。組件1310、1320、1330和1340中的每一者使用系統(tǒng)總線1350互連。處理器1310能夠處理用于在系統(tǒng)1300內(nèi)執(zhí)行的指令。在一個實施方案中，處理器1310是單線程處理器。在另一實施方案中，處理器1310是多線程處理器。處理器1310能夠處理存儲在存儲器1320中或存儲裝置1330上的指令以在輸入 /輸出裝置1340上顯示用戶接口的圖形信息。
存儲器1320存儲系統(tǒng)1300內(nèi)的信息。在一個實施方案中，存儲器1320是計算機可讀媒體。在另一實施方案中，存儲器1320是易失性存儲器單元。在又一實施方案中，存儲器1320是非易失性存儲器單元。存儲裝置1330能夠為系統(tǒng)1300提供大容量存儲。在一個實施方案中，存儲裝置 1330是計算機可讀媒體。在各種不同實施方案中，存儲裝置1330可為軟盤裝置，硬盤裝置、 光盤裝置或磁帶裝置。輸入/輸出裝置1340為系統(tǒng)1300提供輸入/輸出操作。在一個實施方案中，輸入/輸出裝置1340包含鍵盤和/或指向裝置。在另一實施方案中，輸入/輸出裝置1340 包含用于顯示圖形用戶接口的顯示器單元?？稍跀?shù)字電子電路中、計算機硬件中或計算機硬件與固件或軟件的組合中實施所描述的特征。所述設(shè)備可實施于具體地體現(xiàn)于機器可讀存儲裝置中以供可編程處理器執(zhí)行的計算機程序產(chǎn)品中；且可由可編程處理器執(zhí)行指令的程序以通過對輸入數(shù)據(jù)進行操作且產(chǎn)生輸出而執(zhí)行所描述的實施方案的功能來執(zhí)行方法步驟。所描述的特征可有利地實施于可在可編程系統(tǒng)上執(zhí)行的一個或一個以上計算機程序中，所述可編程系統(tǒng)包含經(jīng)耦合以從數(shù)據(jù)存儲系統(tǒng)、至少一個輸入裝置和/或至少一個輸出裝置接收數(shù)據(jù)和指令以及向其發(fā)射數(shù)據(jù)和指令的至少一個可編程處理器。計算機程序是可在計算機中直接或間接使用以執(zhí)行某一活動或帶來某一結(jié)果的指令集合。計算機程序可以任何形式的編程語言編寫，包含經(jīng)編譯或解譯的語言，且其可以任何形式部署，包含作為單獨程序或作為模塊、組件、子例程或適合在計算環(huán)境中使用的其它單元。適于執(zhí)行指令的程序的處理器包含(借助實例)通用和專用微處理器兩者，以及任何種類的計算機的唯一處理器或多個處理器中的一者。通常，處理器將從只讀存儲器或隨機存取存儲器或兩者接收指令和數(shù)據(jù)。計算機的基本元件是用于執(zhí)行指令的處理器和用于存儲指令和數(shù)據(jù)的一個或一個以上存儲器。通常，計算機還將包含用于存儲數(shù)據(jù)文件的一個或一個以上大容量存儲裝置或在操作上經(jīng)耦合以與所述大容量存儲裝置通信；此類裝置包含磁盤(例如內(nèi)部硬盤和可拆卸盤)、磁-光盤和光盤。適合于具體體現(xiàn)計算機程序指令和數(shù)據(jù)的存儲裝置包含所有形式的非易失性存儲器，包含(例如)半導體存儲器裝置 (例如，EPROM、EEPROM和快閃存儲器裝置)、磁盤(例如，內(nèi)部硬盤和可拆卸盤)、磁_光盤以及CD-ROM和DVD-ROM盤。處理器和存儲器可由專用集成電路(ASIC)進行補充或并入在其中。為了提供與用戶的交互，所述特征可實施于計算機上，所述計算機具有用于向用戶顯示信息的顯示器裝置(例如，CRT(陰極射線管)或LCD (液晶顯示器)監(jiān)視器)和鍵盤以及用戶可借以將輸入提供到計算機的指向裝置(例如，鼠標或跟蹤球)。所述特征可實施于計算機系統(tǒng)中，所述計算機系統(tǒng)包含后端組件(例如，數(shù)據(jù)服務(wù)器)，或包含中間件組件(例如，應(yīng)用服務(wù)器或因特網(wǎng)服務(wù)器)，或包含前端組件(例如， 具有圖形用戶接口的客戶端計算機，或因特網(wǎng)瀏覽器，或其任何組合)。系統(tǒng)的組件可通過例如通信網(wǎng)絡(luò)等任何形式或媒介的數(shù)字數(shù)據(jù)通信來連接。通信網(wǎng)絡(luò)的實例包含例如LAN、 WAN，以及形成因特網(wǎng)的計算機和網(wǎng)絡(luò)。計算機系統(tǒng)可包含客戶端和服務(wù)器?？蛻舳撕头?wù)器通常彼此遠離且通常經(jīng)由網(wǎng)絡(luò)(例如上文描述的網(wǎng)絡(luò))交互。借助在相應(yīng)計算機上運行且彼此具有客戶端-服務(wù)器關(guān)系的計算機程序而形成客戶端和服務(wù)器的關(guān)系。 已描述若干實施方案。然而將了解，可在不脫離本發(fā)明的精神和范圍的情況下作出各種修改。因此，其它實施方案在所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1.一種計算機實施的方法，其包括由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像； 確定所述所俘獲的相機圖像中所述一個或一個以上基準的位置或角度； 至少基于所述相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定所述顯示器裝置上的所述手持式裝置朝向的位置；以及基于所述顯示器裝置上的所述所確定的位置控制應(yīng)用。
2.根據(jù)權(quán)利要求1所述的方法，其進一步包括控制所述顯示器裝置在表示正控制的所述應(yīng)用的輸出的用戶接口內(nèi)呈現(xiàn)所述一個或一個以上基準。
3.根據(jù)權(quán)利要求1所述的方法，其中所述一個或一個以上基準包括第一和第二基準。
4.根據(jù)權(quán)利要求1所述的方法，其中所述一個或一個以上基準包括第一到第四基準。
5.根據(jù)權(quán)利要求1所述的方法，其進一步包括從多個不同顯示器裝置類型中確定所述顯示器裝置的一類型； 從多個不同過濾技術(shù)中選擇適于所述所確定的所述顯示器裝置類型的過濾技術(shù)；以及將所述選定的過濾技術(shù)應(yīng)用于所述所俘獲的相機圖像。
6.根據(jù)權(quán)利要求1所述的方法，其進一步包括分析針對可用作所述一個或一個以上基準的所顯示元素的表示正控制的所述應(yīng)用的輸出的用戶接口；從表示正控制的所述應(yīng)用的輸出的所述用戶接口內(nèi)的所述所顯示元素選擇所述一個或一個以上基準；以及將從表示正控制的所述應(yīng)用的輸出的所述用戶接口內(nèi)的所述所顯示元素選擇的所述一個或一個以上基準的形狀和位置的描述發(fā)射到所述手持式裝置。
7.根據(jù)權(quán)利要求1所述的方法，其中所述一個或一個以上基準進一步包括所述顯示器裝置的屏幕的一個或一個以上隅角。
8.根據(jù)權(quán)利要求7所述的方法，其進一步包括基于亮度或色調(diào)的差異檢測所述屏幕的所述一個或一個以上隅角。
9.根據(jù)權(quán)利要求1所述的方法，其中所述一個或一個以上基準包括用戶接口控制。
10.根據(jù)權(quán)利要求1所述的方法，其中所述一個或一個以上基準包括桌面圖標。
11.根據(jù)權(quán)利要求1所述的方法，其中所述一個或一個以上基準包括視頻游戲參考部件。
12.根據(jù)權(quán)利要求1所述的方法，其進一步包括從所述手持式裝置的存儲器存取識別所述一個或一個以上基準的形狀或位置的信息。
13.根據(jù)權(quán)利要求1所述的方法，其進一步包括從所述手持式裝置的存儲器存取識別所述顯示器裝置呈現(xiàn)的所述一個或一個以上基準的顯示的定時的信息。
14.根據(jù)權(quán)利要求1所述的方法，其進一步包括 從多個不同顯示器裝置類型中確定所述顯示器裝置的一類型； 從多個不同閃光技術(shù)中選擇適于所述所確定的所述顯示器裝置類型的閃光技術(shù)；以及控制所述顯示器裝置使用所述選定的閃光技術(shù)在所述顯示器裝置上使所述一個或一個以上基準閃光。
15.根據(jù)權(quán)利要求1所述的方法，其進一步包括至少基于所述相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定所述手持式裝置的定向，其中進一步基于所述所確定的定向來控制所述應(yīng)用。
16.根據(jù)權(quán)利要求15所述的方法，其進一步包括確定所述手持式裝置的距離或位置， 其中相對于所述顯示器裝置確定所述手持式裝置的所述距離、位置或定向。
17.根據(jù)權(quán)利要求1所述的方法，其進一步包括由第二手持式裝置俘獲所述顯示器裝置呈現(xiàn)的所述一個或一個以上基準的第二相機圖像；確定所述第二所俘獲的相機圖像中所述一個或一個以上基準的位置或角度；以及至少基于所述第二相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定所述顯示器裝置上的所述第二手持式裝置朝向的第二位置，其中基于所述所確定的位置和所述所確定的第二位置控制所述應(yīng)用。
18.根據(jù)權(quán)利要求17所述的方法，其進一步包括確定所述手持式裝置相對于所述顯示器裝置的第一距離、位置或定向； 確定所述第二手持式裝置相對于所述顯示器裝置的第二距離、位置或定向；以及基于所述手持式裝置的所述所確定的第一距離、位置或定向相對于所述第二手持式裝置的所述所確定的第二距離、位置或定向而確定第一用戶的身份和第二用戶的身份。
19.根據(jù)權(quán)利要求1所述的方法，其中所述應(yīng)用包括視頻游戲應(yīng)用或媒體中心應(yīng)用。
20.根據(jù)權(quán)利要求1所述的方法，其中控制所述應(yīng)用進一步包括基于確定所述手持式裝置的定向已改變而改變虛擬空間中化身的視圖。
21.根據(jù)權(quán)利要求1所述的方法，其進一步包括在所述手持式裝置處俘獲所述顯示器裝置呈現(xiàn)的所述一個或一個以上基準的第二相機圖像；確定所述第二所俘獲的相機圖像中所述一個或一個以上基準的第二位置或第二角度；至少基于所述第二相機圖像中所述一個或一個以上基準的所述所確定的第二位置或第二角度確定所述顯示器裝置上的所述手持式裝置朝向的第二位置；以及基于將所述位置與所述第二位置進行比較而確定所述手持式裝置的運動， 其中基于所述所確定的運動控制所述應(yīng)用。
22.—種系統(tǒng)，其包括一個或一個以上計算機；以及計算機可讀媒體，其耦合到所述一個或一個以上計算機且上面存儲有指令，所述指令當由所述一個或一個以上計算機執(zhí)行時致使所述一個或一個以上計算機執(zhí)行包括以下各項的操作由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像； 確定所述所俘獲的相機圖像中所述一個或一個以上基準的位置或角度； 至少基于所述相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定所述顯示器裝置上的所述手持式裝置朝向的位置；以及基于所述顯示器裝置上的所述所確定的位置控制應(yīng)用。
23.一種計算機存儲媒體，其以計算機程序進行編碼，所述程序包括當由數(shù)據(jù)處理設(shè)備執(zhí)行時致使所述數(shù)據(jù)處理設(shè)備執(zhí)行包括以下各項的操作的指令由手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像； 確定所述所俘獲的相機圖像中所述一個或一個以上基準的位置或角度； 至少基于所述相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定所述顯示器裝置上的所述手持式裝置朝向的位置；以及基于所述顯示器裝置上的所述所確定的位置控制應(yīng)用。
全文摘要
一種增強型手持式屏幕感測指向，其中手持式裝置俘獲顯示器裝置呈現(xiàn)的一個或一個以上基準的相機圖像，且確定所述所俘獲的相機圖像中所述一個或一個以上基準的位置或角度。至少基于所述相機圖像中所述一個或一個以上基準的所述所確定的位置或角度確定所述顯示器裝置上的所述手持式裝置朝向的位置，且基于所述顯示器裝置上的所述所確定的位置控制應(yīng)用。
文檔編號G06K9/00GK102422306SQ201080020986
公開日2012年4月18日 申請日期2010年4月8日 優(yōu)先權(quán)日2009年4月8日
發(fā)明者埃文·希爾德雷斯 申請人:高通股份有限公司