用于控制設備的增強現(xiàn)實覆蓋的制作方法
【專利摘要】本發(fā)明提供用于控制設備的增強現(xiàn)實覆蓋。為控制設備提供指導信息的實施例被公開。在一個示例中，在包括透視顯示器和朝外的圖像傳感器的透視顯示器設備上的一種方法包括獲取通過所述透視顯示器可見的場景的圖像以及檢測場景中的控制設備；該方法還包括檢索與該控制設備的交互元件的功能有關的信息；并在該透視顯示器上顯示圖像以用與該控制設備的該交互元件的功能有關的圖像數(shù)據(jù)增強該交互元件的外觀。
【專利說明】用于控制設備的增強現(xiàn)實覆蓋
【技術領域】
[0001]本發(fā)明涉及增強現(xiàn)實。
【背景技術】
[0002]當使用一個控制設備時，用戶可能不確定控制設備的交互元件諸如按鈕的功能。關于這些輸入的功能的信息可經(jīng)由試錯法(trial-and-error)測試、通過在線搜索、通過咨詢屏幕上或打印的用戶手冊等等而被獲得。然而，這樣的解決方案在某些情況下可能會帶來不便。例如，在線資源或用戶手冊可能難以定位或對于一些控制設備不可用。此外，試錯法測試可能會導致不期望的指令從控制設備被傳遞到正被控制的設備。

【發(fā)明內容】

[0003]這里所公開的實施例涉及到在透視(see-through)顯示器設備上為控制設備提供指導信息。例如，一個公開的實施例提供了一種方法，包括獲取通過該透視顯示器可見的場景的圖像，檢測場景中的控制設備，檢索與該控制設備的交互元件的功能有關的信息，以及在該透視顯示器上顯示圖像而用與該交互元件的功能相關的圖像數(shù)據(jù)增強該控制設備的交互元件的外觀。
[0004]本概述被提供來以簡化的形式介紹概念的選擇，在下面詳細描述會被進一步的描述。本概述并不旨在標識所要求保護的主題的關鍵特征或必要特征，也不是旨在用于限制所要求保護的主題的范圍。此外，所要求保護的主題并不限于解決本公開的任何部分中提及的任何或所有缺點的實現(xiàn)。
【專利附圖】

【附圖說明】
[0005]圖1示意性地示出了包括控制設備的實施例的物理空間的一個示例。
[0006]圖2示出了根據(jù)本公開的一個實施例的透視顯示器設備的一個示例性實施例。
[0007]圖3示出圖2的實施例的框圖。
[0008]圖4A示出了控制設備的另一個實施例。
[0009]圖4B示出根據(jù)本公開的一個實施例的對圖4A的控制設備的一個示例增強。
[0010]圖5示出對圖4A的控制設備的另一個示例增強。
[0011]圖6A-6C示出對圖4A的控制設備的一個示例多步增強。
[0012]圖7A示出了控制設備的另一個實施例。
[0013]圖7B示出了對圖7A的控制設備的一個示例增強。
[0014]圖8A示出了控制設備的另一個實施例。
[0015]圖8B示出了對圖8A的控制設備的一個示例增強。
[0016]圖9示出了對車輛儀表盤的實施例的一個示例增強。
[0017]圖10示意性示出了包括控制設備的實施例的另一個示例物理空間。
[0018]圖11是示出了通過透視顯示器設備為控制設備提供指導信息的方法的一個實施例的流程圖。
[0019]圖12是示出了向透視顯示器設備提供關于控制設備的操作的指導信息的方法的一個實施例的流程圖。
[0020]圖13是計算系統(tǒng)的一個示例實施例的框圖。
【具體實施方式】
[0021]如上文所討論的，控制設備的用戶可能希望獲得關于所述控制設備上的交互元件的功能的信息。因而，這里公開了涉及通過透視顯示器設備提供這樣的信息的實施例。例如，如下面更詳細描述的，透視顯示器設備可被配置為提供關于控制設備上的交互元件的功能的信息作為顯示在控制設備的用戶視圖上的增強現(xiàn)實圖像(augmented realityimage)。
[0022]圖1示出了包括控制設備102的物理空間100的一個示例實施例，并顯示了與控制設備102交互來控制相關聯(lián)的計算設備106的用戶104。作為一個非限制性的例子，控制設備102可以是視頻游戲控制器而計算設備106可以是視頻游戲控制臺。控制設備和相關聯(lián)的計算設備的其它例子包括但不限于鍵盤和用于個人計算機的其它輸入設備、音頻/視頻設備的遙控器、車輛的儀表盤控制器、電視機的遙控器以及自助服務終端的其它電子產品鍵盤，等等。
[0023]該用戶104可通過透視顯示器設備查看控制設備102，透視顯示器設備的實施例被示于108。所描繪的透視顯示器設備108采取頭戴式設備(HMD)的形式，它允許用戶104的雙手可以自由地與其它對象如控制設備102進行交互。透視顯示器設備108包括被配置為允許物理空間100的外觀的視覺增強給用戶104的透視顯示器系統(tǒng)。換句話說，該透視顯示器允許光從物理空間100穿過透視顯示器使得用戶104可以直接看到實際的物理空間100還有顯示作為該實際物理空間100的覆蓋(overlay)的一個或多個虛擬對象。
[0024]在一個非限制性的例子中，當用戶104的注視110朝向控制設備102時，透視顯示設備108可以按照與控制設備的一個或多個功能有關的信息的形式顯示一個或多個虛擬對象。所顯示的信息可以任何適當?shù)姆绞絹慝@得。例如，所顯示的信息可從計算設備106、經(jīng)由網(wǎng)絡112從遠程計算設備107(其中，該遙控設備可與存儲關于控制設備的功能的信息的數(shù)據(jù)庫107a通信)、從控制設備102等等接收。
[0025]根據(jù)本公開的透視顯示器設備可采用任何合適的形式，包括但不限于諸如圖1中的頭戴式透視顯示器108的HMD設備。圖2示出了包括透視顯示器系統(tǒng)200的該透視顯示器設備108的一個示例性實施例，并且圖3示出了該透視顯示器系統(tǒng)200的框圖。
[0026]該透視顯示器系統(tǒng)200包括形成透視顯示器子系統(tǒng)204的一部分的一個或多個透鏡202，以使圖像可以被投影到透鏡202上，或由被合并到透鏡202的透視圖像產生元件(例如透明OLED顯示器)產生。該透視顯示器系統(tǒng)200還包括一個或多個朝外(outward-facing)的圖像傳感器206,其被配置為獲取背景場景的和/或正被用戶查看的物理空間的圖像，且可包括一個或多個麥克風208，其被配置來檢測聲音，諸如來自用戶的語音命令。朝外的圖像傳感器206可包括一個或多個深度傳感器和/或一個或多個二維圖像傳感器。
[0027]透視顯示器系統(tǒng)200還可包括注視檢測子系統(tǒng)210，其被配置為檢測用戶的每個眼睛的注視方向，如上所述。注視檢測子系統(tǒng)210可被配置為以任何合適的方式確定用戶的每個眼睛的注視方向。例如，在所描述的實施例中，注視檢測子系統(tǒng)210包括一個或多個諸如紅外光源的閃爍光源212 (其配置為使得光線閃爍從用戶的每一個眼球反射)，和一個或多個諸如朝內(inward-facing)的傳感器的圖像傳感器214(其被配置以捕獲用戶的每個眼球的圖像)。從通過圖像傳感器214收集的圖像數(shù)據(jù)中確定的來自用戶眼球的閃爍的變化可用于檢測注視方向。此外，從用戶眼睛投射的注視線與外部顯示器相交的位置可以被用來確定該用戶正在注視的對象(例如，顯示在外部顯示器上的虛擬對象)。該注視檢測子系統(tǒng)210可以具有任何合適的數(shù)量和布置的光源和圖像傳感器。
[0028]該透視顯示器系統(tǒng)200還可其它傳感器。例如，透視顯示器系統(tǒng)200可包括全球定位(GPS)子系統(tǒng)216，以允許透視顯示器系統(tǒng)200的位置被確定。例如，透視顯示器系統(tǒng)200的位置可被用來標識用戶視野中的控制設備。
[0029]該透視顯示器系統(tǒng)200還可包括一個或多個運動傳感器218以當用戶佩戴透視顯示器系統(tǒng)200時檢測用戶頭部的運動。運動數(shù)據(jù)可被使用，可能和眼睛跟蹤閃爍數(shù)據(jù)和朝外的圖像數(shù)據(jù)一起，用于注視檢測，以及用于圖像穩(wěn)定以幫助修正來自朝外的圖像傳感器206的圖像中的模糊。運動數(shù)據(jù)的使用可允許注視位置的變動被跟蹤，即使來自朝外的圖像傳感器206的圖像數(shù)據(jù)不能被解析。同樣地，運動傳感器218，以及麥克風208和注視檢測子系統(tǒng)210，也可以被用來作為用戶的輸入設備，使得用戶可通過眼睛、頸部和/或頭部的姿勢以及通過口頭命令與透視顯示器系統(tǒng)200交互?？梢岳斫獾氖鞘居趫D2和圖3中的傳感器是為了示例的目的被顯示并且不旨在以任何方式進行限制，因為任何其它合適的傳感器和/或傳感器的組合都可以使用。
[0030]該透視顯示器系統(tǒng)200還包括具有邏輯子系統(tǒng)222和數(shù)據(jù)保存子系統(tǒng)224的控制器220，該控制器220與傳感器、注視檢測子系統(tǒng)210、以及透視顯示器子系統(tǒng)204通信。該數(shù)據(jù)保存子系統(tǒng)224包括存儲在其上可由邏輯子系統(tǒng)222執(zhí)行的指令，例如，以接收和解釋來自傳感器的輸入，以確定用戶注視的控制設備和/或計算設備的存在和身份(例如，通過經(jīng)由通信子系統(tǒng)226與控制設備、被該控制設備控制的計算設備、或其它計算設備通信)，以及通過透視顯示器子系統(tǒng)204、一個或多個揚聲器228、和/或其它輸出設備接收和顯示有關控制設備和/或計算設備的信息。
[0031]應當理解的是所描繪的透視顯示器設備108為了示例的目的被描述，因此不意味著是限制性的。因此需要理解的是透視顯示器設備可以包括不同于所顯示出的附加的和/或備選傳感器、相機、麥克風、輸入設備、輸出設備等等，而不脫離本公開的范圍。此外，透視顯示器設備及其各種傳感器和子組件的物理配置可以采取各種不同的形式而不脫離本公開的范圍。
[0032]現(xiàn)在轉向圖4A，一個示例控制設備被示為視頻游戲控制器400。視頻游戲控制器400可包括一個或多個交互元件402 (其兩個例子被標為402a和402b)。在一個非限制性的示例中，交互元件402可以是由用戶驅動的硬按鈕，其可被按壓以向一個運行在視頻游戲控制臺(圖4A中未示出)上的視頻游戲應用提供指令。交互元件402還可包括操縱桿、方向手柄、軟按鍵、觸敏輸入設備、撥號盤、觸發(fā)器、旋鈕、運動傳感器等等。將被理解的是描繪的交互式元件402的布置是為了示例的目的被示出，并且任何適當數(shù)量、布置和類型的交互式元件可被包括在視頻游戲控制器400中。[0033]圖4B示出從通過透視顯示器設備查看視頻游戲控制器400的用戶的視角的視頻游戲控制器400。虛線404表示該透視顯示器設備的一個示例視野。在通過透視顯示器設備查看時，該交互元件的外觀可被增強來提供與交互元件的一個或多個功能有關的信息。在圖4B中，這樣的增強被示為圖像406，其覆蓋控制設備的交互元件。每個圖像406可向用戶提供在其上方顯示該圖像的交互元件402的功能的指示。
[0034]任何合適的信息可被顯示在覆蓋交互元件的圖像中。在所描繪的實施例中，圖像406中的一些包括與位于圖像下方的交互式按鈕相關聯(lián)的武器或攻擊類型的圖形表示。例如，如在406a上所指出的，劍的圖形表示可能表明按下相關聯(lián)的按鈕允許用戶在游戲應用中執(zhí)行劍攻擊。該圖像406可附加地或可替換地包括文本。例如，如在406b上所指出的，詞“移動”可指示與相關聯(lián)的操縱桿402b的交互允許用戶在各種方向上移動視頻游戲應用的角色。
[0035]應當理解的是圖4b所示的該圖像以及上面所述都是為了示例的目的被呈現(xiàn)，并且任何合適的圖形表示可以被顯示以提供與視頻游戲控制器400的交互元件402有關的信息。例如，該圖像可能包括圖標、圖片、視頻等等，其提供與視頻游戲控制器的交互元件有關的信息。此外，該圖像可指示與交互元件402有關的音頻或視頻剪輯的存在。在這樣的實施例中，用戶可選擇音頻或視頻剪輯以開始播放，或該音頻或視頻剪輯可以自動化的方式開始。
[0036]圖5示出圖4A的控制設備的另一個示例增強。在所描述的實施例中，圖像506采用基于文本的飛出(text-based fly-outs)或工具提示的形式。該飛出或工具提示可包括具有描述相關聯(lián)的交互元件的文本信息，和/或任何其它合適的信息的文本框。其它的例子包括但不限于，圖標、圖片、動畫和視頻。
[0037]在一些實施例中，視頻游戲控制器400控制的應用可以在游戲運行期間改變狀態(tài)。這種狀態(tài)的改變可能會影響視頻游戲控制器400的交互元件的功能。例如，交互元件在不同的游戲場景下可具有不同的功能。同樣，即使在單個場景中，在被單獨驅動和在被與其他控件組合驅動時交互元件可具有不同的功能。從一個游戲改變到另一個游戲是可能會影響視頻游戲控制器400的交互元件的功能的狀態(tài)改變的另一個例子。
[0038]相應地，透視顯示器設備可能會響應于這種狀態(tài)的改變而改變增強圖像(imagery)使得交互元件的當前功能被正確顯示。在一些實施例中，這種更新可以動畫化，而在其它實施例中任何其它合適的過渡可被使用。
[0039]增強圖像也可以被用來說明和指導如何執(zhí)行多步輸入。圖6A-6C示出一個這樣的增強的顯示的一個示例實施例。如圖6A所示,一個飛出608被顯示,指示有一個特殊攻擊可用(例如，由于用戶輸入的特定序列，在游戲應用中進入一個特定的虛擬位置，在游戲應用中獲得新的虛擬項，等等)。
[0040]顯示該飛出608之后，該透視顯示器設備可以圖示該多步輸入的下一個步驟，如圖6B所示。在一些實施例中，下一個步驟的圖示在第一幀(如在圖6A中所示的幀)被顯示預定的時間量后自動地被顯示。在其它實施例中，下一個步驟的圖示可以根據(jù)用戶的操作被顯示，例如，通過驅動交互元件(例如按下按鈕)、注視指向該元件、提供語音指令、執(zhí)行手勢等等。
[0041]圖6B示出了該多步輸入的第二步驟的顯示。在這個步驟中，箭頭610被顯示，指揮用戶以逆時針方向移動左操縱桿。在一些實施例中，箭頭610和/或顯示在左操縱桿上的任何增強可以被動畫化以提供額外的指示，指示運動被包含在輸入組合的步驟中。繼續(xù)，圖6C示出該多步輸入的最后步驟的顯示，指示按壓一個特定的交互元件402的陰影覆蓋(overlay)圖像 612。
[0042]每一個步驟和/或多步輸入的附加信息可以通過其它增強圖像被顯示。例如，在圖6C中，該飛出614包括一可伸縮的文本框擴展616，其顯示有關動畫和/或輸入組合的附加信息。在所描繪的實施例中，該文本框擴展616可以包括到顯示一個特殊攻擊的示例執(zhí)行的視頻的超鏈接。在其它實施例中，文本框擴展616可以包括用于執(zhí)行特殊攻擊的一個或多個額外指示、有關特殊攻擊的嵌入的視頻或音頻剪輯等等。在一些實施例中，這樣的文本框擴展616可基于對與飛出614相關聯(lián)的相應控件的選擇被伸出或縮回。
[0043]圖7A示出了包括多個鍵702的鍵盤700的形式的控制設備的另一個示例實施例。鍵702可以是物理鍵或觸敏輸入設備上的基于軟件的“軟鍵(soft key) ”。鍵702中的一個或多個可基于正在被控制的特定應用、計算設備等等具有不同的功能。例如，在某些使用期間，鍵702a可能是鍵盤700的控制鍵，鍵702b可能是鍵盤700的字母鍵以及鍵702c可能是鍵盤700的方向鍵。
[0044]在其它使用中，這些鍵可以具有不同的功能。例如，字母鍵702b在視頻游戲中可以用作方向鍵。因此，圖7B示出了具有提供關于這些不同功能的信息的增強圖像的鍵盤700的示例增強。例如，控制鍵702a上標記的“控制”可以被掩蓋以顯示覆蓋文字，例如“跑步”。同樣，“W”，“A，”，S “和”D “鍵702b可能全都具有和方向箭頭鍵702c有相同的顏色的覆蓋，表明這些鍵有作為方向鍵(如:上，左，下，右)相關的功能。該增強圖像可能會完全掩蓋下面的鍵盤標記，或可部分透視使得下面的鍵盤標記保持可見。將理解的是增強圖像的這些特定實施例是為了示例的目的被展現(xiàn)，并且不旨在以任何方式進行限制，由于任何其它合適的增強圖像可以被使用。
[0045]該增強圖像還可通過一個或多個用戶偏好控制。例如，當增強圖像時用戶可以選擇要使用的語言和/或字符集。這樣的設置也可用于自動翻譯由透視顯示器設備檢測到的不采用首選語言的任何文本。用戶偏好也可被用于選擇要用于彩色覆蓋或其它增強圖像的首選色彩和/或色彩方案。例如，色盲模式可能被選擇以顯示有色覺缺陷的用戶可檢測的各種顏色?？梢岳斫獾氖沁@些實施例是為了示例的目的被呈現(xiàn)，并且該用戶偏好可用于控制增強圖像的任何合適的方面。
[0046]圖8A示出了可被用于將用戶輸入提供給電視機、音頻接收器、多媒體設備等的遙控器800形式的控制設備的另一個實施例。該遙控設備800可以包括多個用戶可驅動交互元件，諸如按鈕802，其基于正被控制的計算設備、正被控制的應用、正被控制的應用的狀態(tài)等可具有不同的功能。
[0047]圖SB示出了通過透視顯示器設備顯示在遙控設備800上的增強圖像的一個示例。如圖SB所示，用顯示與該遙控設備800的按鈕的功能有關的信息的增強圖像804、806以及808增強按鈕802。例如，該遙控設備800可以具有對應于正被控制的不同設備的多個模式。因此，如所描繪的，每個模式由圖形覆蓋標明，諸如在804由“電視(TV)”所示的。此外，表示交互元件在每個模式內的功能的標記可被顯示，如DVD播放機控制標記806所指示的。飛出808也被顯示為指示音量和頻道改變的功能。此外，該增強圖像804、806和808可以響應于模式的變化而動態(tài)地更新。
[0048]圖9示出汽車儀表盤900控件形式的控制設備的另一個實施例，儀表盤900包括當從透視顯示器設備查看時的用戶驅動控件902和顯示器904。有時，用戶可能希望了解與控件或顯示器的功能有關的信息。這樣，用戶可以指示更多的信息被需要的儀表盤元件(例如，一個特定的指示燈)，例如，通過語音命令、手勢(例如，觸摸或指向該元件)、注視(如注視線906所示)，或其它合適的方式。作為響應，該透視顯示器設備可顯示該指定元件的功能，如908所示。在一些實施例中，增強圖像908取決于汽車和/或駕駛者的狀況(例如，當該汽車被確定將要移動或者正在以高于閾值的速度移動)可不被顯示?？梢岳斫獾氖怯糜谌魏魏线m的汽車和/或其它機械設備的控件的外觀可類似地被增強。
[0049]圖10示意性示出了環(huán)境形式的該環(huán)境包括自助服務終端1002 (kiosk)形式的控制設備。該自助服務終端1002可包括諸如用戶1006可驅動的按鈕1004的交互元件，其中該按鈕可基于自助服務終端1002的狀態(tài)具有不同的功能。例如，該自助服務終端1002可是自動取款機(ATM)，以及該按鈕1004可基于菜單系統(tǒng)中的當前位置提供不同的功能。
[0050]該透視顯示器設備1008可以檢測自助服務終端1002在用戶1006和/或該透視顯示器設備1008的視野中的存在，并且作為響應，可請求或檢索信息以標識該自助服務終端1002。附加地或可替換地，該透視顯示器設備1008可通過以下方法檢測自助服務終端1002:標識自助服務終端1002發(fā)出的信標信號、掃描以及標識位于自助服務終端1002上或者在自助服務終端1002附近的條形碼或Q碼、識別通過透視顯示器設備的深度或圖像傳感器獲取的自助服務終端1002的圖像、接收包括關于自助服務終端1002的信息的用戶輸入、和/或按照任何其它合適的方式。
[0051]該透視顯示器設備1008可以通過對等連接、通過網(wǎng)絡接入點或者以任何合適的方式直接連接到自助服務終端1002。一旦連接，自助服務終端1002可以將標識該按鈕1004的功能的信息發(fā)送到透視顯示器設備1008。由該自助服務終端1002發(fā)送的信息可響應于自助服務終端1002狀態(tài)的變化而被動態(tài)地更新。以這種方式，透視顯示器設備1008可以更新增強圖像以確保當前按鈕的功能被正確顯示。
[0052]圖11示出闡述用于通過透視顯示器設備顯示控制設備的指導信息的方法1100的實施例的流程圖。在1102，透視顯示器設備獲取通過透視顯示器可見的場景的圖像，例如使用圖像傳感器，如上面更詳細地參考圖1-3討論的。在1104，透視顯示器設備在場景中檢測控制設備，例如，通過分析獲取的場景的圖像數(shù)據(jù)。該透視顯示器設備還可在1106例如，通過分類功能，標識該控制設備。但可以理解的是，在一些實施例中，這些標識和/或這里公開的其它過程可通過遠程服務被執(zhí)行。
[0053]在檢測和標識該控制設備后，透視顯示器設備在1108檢索與該控制設備的交互元件的功能有關的信息。這樣的信息可被以任何合適的方式被檢索。例如，在某些情況下，該信息可以被本地存儲，例如，當該控制設備是已知的控制設備(例如，用戶的遙控設備)時和/或當被控制的應用是一個已知的應用時。在這種情況下，透視顯示器設備可從本地存儲器中檢索信息。在其它情況下，透視顯示器設備可從控制設備、基于網(wǎng)絡的服務、和/或從任何其它合適的位置檢索信息。
[0054]在一些實施例中，可對于控制設備的交互元件的子集獲得信息。例如，在一些實施例中，透視顯示器設備在1110可以檢測到用戶注視在選定的交互元件上，并獲取那個元件的信息。注視檢測也可以用于為選定的元件(例如，在汽車儀表盤的情形下)顯示信息而排除其它元件，其中其它元件的信息已經(jīng)被獲得。
[0055]在1112，透視顯示器設備顯示使用與交互元件的功能有關的圖像數(shù)據(jù)增強交互元件的圖像。這樣圖像數(shù)據(jù)可包含任何合適的信息，包括但不限于圖形元素、文本、動畫等等。另外，如上所述，在一些實施例中，透視顯示器設備可以被配置為增強選擇的交互元件而排除其它交互元件，如在1114所指示的以減少顯示當前不感興趣的信息而可能引起的任何注意力分散。
[0056]如上所述，控制設備的交互元件的功能在某些情況下可能會改變。因此，方法1100包括，在1116，檢測交互元件的功能的變化。這種變化可能由正被控制的應用的變化、正被控制的應用的狀態(tài)變化、和/或任何其它合適的變化而引起。作為響應，透視顯示器設備顯示更新的圖像，其提供有關新功能的更新的信息，如1118所示的。例如，透視顯示器設備可以接收和/或檢索更新的信息并顯示更新的信息作為一個或多個附加的或備選的增強圖像。這可能有助于確保當前信息被顯示。
[0057]如上所述，在一些情況下，透視顯示器設備可以接收與控制設備的一個交互元件的當前功能有關的信息。圖12示出闡述一個用于從控制設備提供這樣的信息給另一個計算設備，例如透視顯示器設備，的方法1200的實施例的流程圖。方法1200包括，在1202，建立和透視顯示器設備的連接。任何合適的連接類型可被建立。例子包括但不限于，直接的有線和/或無線連接(例如直接的WiFi，藍牙，等等)，以及通過網(wǎng)絡接入點的連接。
[0058]在1204，方法1200包括從第二計算設備接收對與該控制設備的一個或多個用戶可驅動組件的當前功能有關的信息的請求。這可以包括，在1206，接收和該請求一起的控制設備標識信息。這也可以包括，在1207，接收捕捉未知的控制設備的圖像數(shù)據(jù)或其它數(shù)據(jù)以及從該數(shù)據(jù)標識控制設備的請求。
[0059]響應于該請求，在1208第一計算設備將信息發(fā)送給第二計算設備。這可以進一步包括，在1209，標識該控制設備(例如，通過使用一個或多個分類函數(shù)對圖像數(shù)據(jù)進行分類)以協(xié)助發(fā)送被請求的控制設備的功能的信息。此外，在一些實施例中，在1210該第一計算設備可以發(fā)送用于該控制設備的該用戶可驅動組件的多個映射，該多個映射的每一個對應于與在1206接收的應用信息相關聯(lián)的應用的不同狀態(tài)?？梢岳斫獾氖桥c該透視顯示器設備建立連接并通信的該計算設備可以是任何合適的計算設備，包括但不限于運行遠程服務的服務器、自助服務終端，等等。
[0060]在一些實施例中，上面描述的方法和過程可被綁定至包括一個或多個計算機的計算系統(tǒng)。具體地，這里描述的該方法和過程可以被實現(xiàn)為計算機應用、計算機服務、計算機AP1、計算機庫、和/或其它計算機程序產品。
[0061]圖13示意性示出了一個非限制性的計算系統(tǒng)1300，其可執(zhí)行一個或多個上面描述的方法和過程。該計算系統(tǒng)1300以簡化形式被示出。應當理解的是幾乎任何計算機體系結構可被使用而不脫離本公開的范圍。在不同的實施例中，該計算系統(tǒng)1300可能采用以下形式:大型計算機、服務器計算機、臺式計算機、膝上型計算機、平板計算機、家庭娛樂計算機、網(wǎng)絡計算設備、移動計算設備、移動通信設備、游戲設備、頭戴式顯示器設備、透視顯不器設備，等等。
[0062]該計算系統(tǒng)1300包括邏輯子系統(tǒng)1302和數(shù)據(jù)保存子系統(tǒng)1304。該計算系統(tǒng)1300可以可選地包括顯示子系統(tǒng)1306、傳感器子系統(tǒng)1308、通信子系統(tǒng)1310、和/或圖13中未示出的其它組件。該計算系統(tǒng)1300還可以可選地包括用戶輸入設備，例如，諸如鍵盤、鼠標、游戲控制器、相機、麥克風和/或觸摸屏。
[0063]該邏輯子系統(tǒng)1302可以包括被配置為執(zhí)行一個或多個指令的一個或多個物理設備。例如，該邏輯子系統(tǒng)可被配置來執(zhí)行一一個或多個指令，其是一個或多個應用、服務、程序、例程、庫、對象、組件、數(shù)據(jù)結構、或其它邏輯構件的一部分。這樣的指令可以被實現(xiàn)為執(zhí)行任務、實現(xiàn)數(shù)據(jù)類型、變換一個或多個設備的狀態(tài)、或以其它方式達到期望的結果。
[0064]該邏輯子系統(tǒng)可以包括被配置以執(zhí)行軟件指令的一個或多個處理器。附加地或可選地，該邏輯子系統(tǒng)可包括被配置以執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯器。該邏輯子系統(tǒng)的處理器可以是單核或多核的，并且在其上執(zhí)行的程序可以被配置用于并行或分布式處理。該邏輯子系統(tǒng)可以可選地包括分布在兩個或多個設備上的獨立組件，這些設備可位于遠程和/或被配置為協(xié)同處理。該邏輯子系統(tǒng)中的一個或多個方面可以被虛擬化并被配置在云計算配置的遠程可訪問的聯(lián)網(wǎng)的計算設備執(zhí)行。
[0065]該數(shù)據(jù)保存子系統(tǒng)1304可以包括一個或多個物理的非瞬態(tài)的設備，其被配置以保存數(shù)據(jù)和/或由邏輯子系統(tǒng)執(zhí)行的指令以實現(xiàn)這里所述的方法和過程。當這些方法和過程被實現(xiàn)時，數(shù)據(jù)保存子系統(tǒng)1304的狀態(tài)可能轉移(例如，保存不同的數(shù)據(jù))。
[0066]該數(shù)據(jù)保存子系統(tǒng)1304可以包括可移動介質和/或內置設備。該數(shù)據(jù)保存子系統(tǒng)1304可包括光存儲設備(例如⑶，DVD，HD-DVD，藍光光盤，等等)、半導體存儲器設備(例如RAM，EPROM, EEPR0M，等等)和/或磁存儲器設備(例如，硬盤驅動器，軟盤驅動器，磁帶驅動器，MRAM，等等)，等等。該數(shù)據(jù)保存子系統(tǒng)1304可包括具有下列一個或多個特性的設備:易失性，不易失性，動態(tài)，靜態(tài)，讀/寫，只讀，隨機存取，順序存取，位置可尋址，文件可尋址，以及內容可尋址。在一些實施例中，該邏輯子系統(tǒng)1302和數(shù)據(jù)保存子系統(tǒng)1304可以被集成到一個或多個通用設備，諸如專用集成電路或片上系統(tǒng)。
[0067]圖13也示出了可移動計算機可讀存儲介質1312的形式的數(shù)據(jù)保存子系統(tǒng)的一個方面，可移動計算機可讀存儲介質1312可以被用來存儲和/或傳輸數(shù)據(jù)和/或可執(zhí)行指令以實現(xiàn)這里所描述的方法和過程?？梢苿佑嬎銠C可讀存儲介質1312可以采用⑶、DVD、HD-DVD、i**a、EEPROMjP / 或軟盤，等形式。
[0068]應當理解的是數(shù)據(jù)保存子系統(tǒng)1304包括一個或多個物理的非瞬態(tài)的設備。與此相反，在一些實施例中這里描述的指令的一方面可以通過純信號(例如，電磁信號，光信號，等等)以瞬態(tài)的方式被傳播，該信號不由一個物理設備保存至少有限的時間。而且，數(shù)據(jù)和/或與本公開有關的信息的其它形式可通過純信號被傳播。
[0069]術語“程序”可以被用來描述計算系統(tǒng)1300被實現(xiàn)以執(zhí)行一個或多個特定的功能的一個方面。在一些情形下，這樣的一個程序可以通過邏輯子系統(tǒng)1302執(zhí)行數(shù)據(jù)保存子系統(tǒng)1304保存的指令被實例化。應當理解的是不同的程序可以從同一應用、服務、代碼塊、對象、庫、例程、AP1、函數(shù)等實例化。同樣地，相同的程序可由不同的應用、服務、代碼塊、對象、庫、例程、AP1、函數(shù)等實例化。術語“程序”旨在包括可執(zhí)行的文件、數(shù)據(jù)文件、庫、驅動程序、腳本、數(shù)據(jù)庫記錄等等的個體或組。
[0070]應當理解的是如本文所使用的“服務”可以是跨越多個用戶會話可執(zhí)行并且對一個或多個系統(tǒng)組件、程序、和/或其它服務可用的應用程序。在一些實現(xiàn)中，服務可以響應于來自客戶端的請求運行在服務器上。
[0071]當被包括時，顯示子系統(tǒng)1306可以被用于呈現(xiàn)數(shù)據(jù)保存子系統(tǒng)1304中保存的數(shù)據(jù)的視覺表示。例如，顯示子系統(tǒng)1306可以是透視顯示器，如上所述。當這里所述的方法和過程改變由數(shù)據(jù)保存子系統(tǒng)保存的數(shù)據(jù)，并因此改變數(shù)據(jù)保存子系統(tǒng)的狀態(tài)時，顯示子系統(tǒng)1306的狀態(tài)同樣可以被改變以在視覺上表示底層數(shù)據(jù)的變化。該顯示子系統(tǒng)1306可以包括一個或多個利用幾乎任何類型的技術的顯示器設備。這樣的顯示器設備可以與邏輯子系統(tǒng)1302和/或數(shù)據(jù)保存子系統(tǒng)1304相結合在共享的外殼中，或者這樣的顯示器設備可以是外圍顯示器設備。
[0072]當被包括時，通信子系統(tǒng)1310可以被配置以將計算系統(tǒng)1300通信耦合至一個或多個其它計算設備。例如，在透視顯示器設備的情況下，通信子系統(tǒng)1310可被配置以將計算系統(tǒng)1300通信耦合至一個或多個其它的透視顯示器設備、游戲控制臺、自助服務終端、控制設備、和/或任何其它計算設備。該通信子系統(tǒng)1310可包括與一個或多個不同的通信協(xié)議兼容的有線和/或無線通信設備。作為非限制性示例，通信子系統(tǒng)可以被配置用于通過無線電話網(wǎng)絡、無線局域網(wǎng)、有線局域網(wǎng)、無線廣域網(wǎng)、有線廣域網(wǎng)等等通信。在一些實施例中，通信子系統(tǒng)可允許計算系統(tǒng)1300通過諸如互聯(lián)網(wǎng)的網(wǎng)絡將信息發(fā)送到其它設備和/或從其它設備接收信息。
[0073]該傳感器子系統(tǒng)1308可以包括被配置來感測不同物理現(xiàn)象(例如，可見光，紅外光，加速度，方向，位置，等等)的一個或多個傳感器，如上所述。例如，該傳感器子系統(tǒng)1308可以包括一個或多個圖像傳感器、諸如加速度計的運動傳感器、觸摸板、觸摸屏、和/或任何其它合適的傳感器。因此，傳感器子系統(tǒng)1308可被配置以將觀察信息提供給該邏輯子系統(tǒng)1302，例如。如上所述，觀察信息諸如圖像數(shù)據(jù)、運動傳感器數(shù)據(jù)、和/或任何其它合適的傳感器數(shù)據(jù)，可被用來執(zhí)行這樣的任務，如確定用戶執(zhí)行的一個特定手勢、檢測用戶的注視、執(zhí)行目標識別，等等。
[0074]在一些實施例中，傳感器子系統(tǒng)1308可包括深度相機(例如，圖2的朝外的傳感器206)，包括但不限于光相機、飛行時間相機，立體攝像系統(tǒng)，或任何其它合適的深度分辨的相機。
[0075]在一些實施例中，傳感器子系統(tǒng)1308可包括可見光相機。幾乎任何類型的數(shù)字相機技術可以被使用而不脫離本公開的范圍。作為一個非限制性的示例，可見光相機可以包括電荷耦合器件圖像傳感器。
[0076]應當理解的是這里所描述的配置和/或方法是為了示例的目的被呈現(xiàn)，并且這些具體的實施例或示例不以限制的意義被考慮，因為許多變化是可能的。這里所描述的具體例程或方法可表示任意數(shù)量的處理策略的一個或多個。因此，所示的各種行為可以按照所示的順序執(zhí)行、以其它順序執(zhí)行、并行執(zhí)行、或在某些情況下被省略。同樣地，上述過程的次序可被改變。
[0077]本公開的主題包括這里公開的各種過程、系統(tǒng)和配置以及其它特征、功能、動作、和/或屬性以及任何和所有的等價物的所有新穎的和非顯而易見的組合以及子組合。
【權利要求】
1.一種在包括透視顯示器(204)和朝外的圖像傳感器(206)的透視顯示器設備(108)上用于為控制設備(102)提供指導信息的方法，所述方法包括: 獲取(1102)通過所述透視顯示器可見的場景的圖像； 檢測(1104)所述場景中的控制設備； 檢索(1108)與所述控制設備的交互元件的功能有關的信息； 在所述透視顯示器上顯示(1112)圖像以用與所述控制設備的所述交互元件的所述功能有關的圖像數(shù)據(jù)增強所述交互元件的外觀。
2.根據(jù)權利要求1的方法，其特征在于，所述圖像包括與所述交互元件的所述功能相關的圖形元素，所述圖形元素在所述透視顯示器上被顯示在所述交互元件上。
3.根據(jù)權利要求1的方法，其其特征在于，所述圖像包括具有描述所述交互單元的文本信息的文本框。
4.根據(jù)權利要求3的方法，其特征在于，還包括接收對所述文本框的選擇，并且作為響應在所述透視顯示器設備上顯示附加信息。
5.根據(jù)權利要求1的方法，其特征在于，所述圖像包括動畫。
6.根據(jù)權利要求1的方法，其特征在于，檢索所述信息包括從所述控制設備和基于網(wǎng)絡的服務中的一個或多個檢索所述信息。
7.一種便攜式透視顯示器設備(108)，包括: 圖像傳感器(2Oe)； 透視顯示器(204)； 邏輯子系統(tǒng)(222);以及 數(shù)據(jù)保存子系統(tǒng)(224)，其包括由所述邏輯子系統(tǒng)(222)可執(zhí)行的指令以: 獲取(1102)通過所述透視顯示器可見的場景的圖像； 檢測(1104)所述場景中的控制設備； 檢索(1108)與所述控制設備的交互元件的功能有關的信息； 在所述透視顯示器上顯示(1112)增強所述控制設備的所述交互元件的外觀的圖像，所述圖像與所述交互元件的所述功能相關； 檢測(1116)所述交互元件的功能的變化；以及 顯示(1118)提供與所述功能的變化相關的更新的信息的更新的圖像。
8.根據(jù)權利要求7的設備，其特征在于，所述指令可執(zhí)行來通過檢測正被所述控制設備控制的應用的當前狀態(tài)的變化以檢測所述交互元件的功能的變化。
9.根據(jù)權利要求7的設備，其特征在于，所述指令可執(zhí)行來檢測所述場景中的鍵盤并在所述透視顯示器上顯示根據(jù)正被所述鍵盤控制的應用增強所述鍵盤的鍵的外觀的圖像。
10.根據(jù)權利要求7的設備，其特征在于，還包括朝內的傳感器，其被配置以檢測所述透視顯示器設備的用戶對所述控制設備的所選交互元件的注視，并且其中所述指令還可執(zhí)行來顯示增強所選交互元件而不是另一個交互元件的外觀的圖像。
【文檔編號】A63F13/26GK103752010SQ201310757253
【公開日】2014年4月30日 申請日期:2013年12月18日 優(yōu)先權日:2013年12月18日
【發(fā)明者】A·克勞斯, S·拉塔, M·斯卡維澤, D·麥克洛克, B·芒特, K·蓋斯那 申請人:微軟公司