專利名稱：具有全息對象的個人音頻/視頻系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及個人音頻/視頻系統(tǒng)，尤其是具有全息對象的個人音頻/視頻系統(tǒng)。
背景技術(shù)：
增強現(xiàn)實(AR)涉及提供經(jīng)增強的真實世界環(huán)境，其中用計算機生成的虛擬數(shù)據(jù)來增強或修改對真實世界環(huán)境(或表示真實世界環(huán)境的數(shù)據(jù))的感知。例如，可使用諸如相機或話筒等傳感輸入設(shè)備實時地捕捉表示真實世界環(huán)境的數(shù)據(jù)，并用包括虛擬圖像和虛擬聲音的計算機生成的虛擬數(shù)據(jù)來增強該數(shù)據(jù)。虛擬數(shù)據(jù)還可包括與真實世界環(huán)境有關(guān)的信息，諸如與真實世界環(huán)境中的真實世界對象相關(guān)聯(lián)的文本描述。AR環(huán)境可用于增強包括視頻游戲、繪圖、導(dǎo)航以及移動設(shè)備應(yīng)用等多種應(yīng)用。一些AR環(huán)境啟用對真實對象(S卩，存在于特定的真實世界環(huán)境中的對象)與虛擬對象(即，不存在于特定的真實世界環(huán)境中的對象)之間的實時交互的感知。為了將虛擬對象逼真地集成到AR環(huán)境中，AR系統(tǒng)通常執(zhí)行包括映射和本地化的若干步驟。映射涉及生成真實世界環(huán)境的映射的過程。本地化涉及相對于該映射來定位特定的視角或姿勢的過程。許多AR系統(tǒng)的基本要求是本地化在真實世界環(huán)境內(nèi)移動的移動設(shè)備的姿勢，以便確定與該移動設(shè)備相關(guān)聯(lián)的、需要隨時間被增強的特定視圖的能力，

發(fā)明內(nèi)容
描述了使用基于狀態(tài)的虛擬對象來生成增強現(xiàn)實環(huán)境的技術(shù)?；跔顟B(tài)的虛擬對象可以與多個不同狀態(tài)相關(guān)聯(lián)。多個不同狀態(tài)中的每個狀態(tài)可對應(yīng)于一組唯一的與任何其他狀態(tài)事件不同的觸發(fā)事件。與特定狀態(tài)相關(guān)聯(lián)的這組觸發(fā)事件可用于確定何時需要從特定狀態(tài)的狀態(tài)改變。在一些情況下，多個不同狀態(tài)中的每個狀態(tài)可與不同的3-D模型或形狀相關(guān)聯(lián)?？墒褂弥С只跔顟B(tài)的虛擬對象的預(yù)定和標(biāo)準(zhǔn)化文件格式來定義多個不同狀態(tài)。在一些實施例中，可基于與這組觸發(fā)事件相關(guān)聯(lián)的一個或多個觸發(fā)概率，來預(yù)測從特定狀態(tài)的一個或多個潛在的狀態(tài)改變。提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標(biāo)識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。


圖1是可在其中實施所公開的技術(shù)的聯(lián)網(wǎng)計算環(huán)境的一個實施例的框圖。圖2A描繪了與第二移動設(shè)備通信的移動設(shè)備的一個實施例。圖2B描繪了 HMD的一部分的一個實施例。圖2C描繪了 HMD的一部分的一個實施例，其中延伸到注視點的注視向量用于對準(zhǔn)遠瞳孔間距(IPD)。圖2D描繪了 HMD的一部分的一個實施例，其中延伸到注視點的注視向量用于對準(zhǔn)近瞳孔間距(IPD)。圖2E描繪了 HMD的一部分的一個實施例，該HMD具有包括注視檢測元件的可移動顯不光學(xué)系統(tǒng)。圖2F描繪了 HMD的一部分的一個替換實施例，該HMD具有包括注視檢測元件的可移動顯不光學(xué)系統(tǒng)。圖2G描繪了 HMD的一部分的側(cè)視圖的一個實施例。圖2H描繪了 HMD的一部分的側(cè)視圖的一個實施例，其提供對微顯示器部件的三維調(diào)整的支持。圖3A描繪了佩戴HMD的終端用戶所看到的增強現(xiàn)實環(huán)境的一個實施例。圖3B描繪了佩戴HMD的終端用戶所看到的增強現(xiàn)實環(huán)境的一個實施例。圖3C描繪了增強現(xiàn)實環(huán)境的一個實施例。圖3D-3E描繪了包括基于狀態(tài)的虛擬對象的增強現(xiàn)實環(huán)境的一個實施例。圖4示出了包括捕捉設(shè)備和計算環(huán)境的計算系統(tǒng)的一個實施例。圖5A描繪了用于提供與感興趣的特定位置或特定地方相關(guān)聯(lián)的虛擬對象信息的AR系統(tǒng)的一個實施例。圖5B示出了用于在補充信息提供者上執(zhí)行一個或多個進程和/或軟件的系統(tǒng)架構(gòu)的一個示例。圖6A和6B是描述使用個人A/V裝置來提供個性化購物體驗的一組過程的流程圖。圖7A描繪了虛擬對象文件的一個實施例，該虛擬對象文件包括與一個或多個虛擬對象相關(guān)聯(lián)的虛擬對象信息。圖7B是描述了用于生成增強現(xiàn)實環(huán)境的過程的一個實施例的流程圖。圖7C是描述用于預(yù)測未來的虛擬對象狀態(tài)的過程的一個實施例的流程圖。圖7D是描述與補充信息提供者協(xié)商信息轉(zhuǎn)移的過程的一個實施例的流程圖。圖7E是描述從補充信息提供者獲取一個或多個虛擬對象的過程的一個實施例的流程圖。圖7F是描述獲取一個或多個虛擬對象的過程的一個實施例的流程圖。圖7G是描述顯示一個或多個虛擬對象的過程的一個實施例的流程圖。圖8是游戲和媒體系統(tǒng)的實施例的框圖。圖9是移動設(shè)備的一個實施例的框圖。圖10是計算系統(tǒng)環(huán)境的實施例的框圖。
具體實施例方式描述了使用移動設(shè)備來生成個性化增強現(xiàn)實環(huán)境的技術(shù)。移動設(shè)備可顯示與基于狀態(tài)的虛擬對象相關(guān)聯(lián)的一個或多個圖像，使得虛擬對象被感知到存在于真實世界環(huán)境內(nèi)?；跔顟B(tài)的虛擬對象可以與多個不同狀態(tài)相關(guān)聯(lián)。多個不同狀態(tài)中的每個狀態(tài)可對應(yīng)于一組唯一的與任何其他狀態(tài)事件不同的觸發(fā)事件。與特定狀態(tài)相關(guān)聯(lián)的這組觸發(fā)事件可用于確定何時需要從特定狀態(tài)的狀態(tài)改變。在一些情況下，多個不同狀態(tài)中的每個狀態(tài)可與不同的3-D模型或形狀相關(guān)聯(lián)。在其他情況中，多個不同狀態(tài)中的每個狀態(tài)可與不同的虛擬對象屬性(例如，虛擬質(zhì)量或虛擬反射率程度)相關(guān)聯(lián)?？墒褂弥С只跔顟B(tài)的虛擬對象的預(yù)定和標(biāo)準(zhǔn)化文件格式來定義多個不同狀態(tài)。在一些實施例中，可基于與這組觸發(fā)事件相關(guān)聯(lián)的一個或多個觸發(fā)概率，來預(yù)測從特定狀態(tài)的一個或多個潛在的狀態(tài)改變。隨著連續(xù)啟用和連接到網(wǎng)絡(luò)的移動計算設(shè)備(諸如頭戴式顯示設(shè)備(HMD))的出現(xiàn)和增長，這些計算設(shè)備的終端用戶可用的信息量在任意給定時刻都是巨大的。在一些情況中，增強現(xiàn)實環(huán)境可被移動計算設(shè)備的終端用戶感知到。在一個示例中，增強現(xiàn)實環(huán)境可包括個性化的增強現(xiàn)實環(huán)境，其中基于對終端用戶的標(biāo)識、與終端用戶相關(guān)聯(lián)的用戶偏好、終端用戶的物理位置、或與終端用戶的物理位置相關(guān)聯(lián)的環(huán)境特征來生成和顯示一個或多個虛擬對象。在一個實施例中，一個或多個虛擬對象可由移動計算設(shè)備經(jīng)由補充信息提供者來獲取。為了允許對虛擬對象的高效存儲和交換，一個或多個虛擬對象可用預(yù)定和標(biāo)準(zhǔn)化文件格式來實現(xiàn)。一個或多個虛擬對象中的每個虛擬對象可與多個不同狀態(tài)相關(guān)聯(lián)。虛擬對象的當(dāng)前狀態(tài)可經(jīng)由在預(yù)定和標(biāo)準(zhǔn)化文件格式內(nèi)編碼的狀態(tài)圖來確定。圖1是可在其中實現(xiàn)所公開的技術(shù)的聯(lián)網(wǎng)計算環(huán)境100的一個實施例的框圖。聯(lián)網(wǎng)計算環(huán)境100包括多個計算設(shè)備，所述計算設(shè)備通過一個或多個網(wǎng)絡(luò)180互連。所述一個或多個網(wǎng)絡(luò)180允許特定計算設(shè)備連接到另一計算設(shè)備以及與其通信。所描繪的計算設(shè)備包括移動設(shè)備11、移動設(shè)備12、移動設(shè)備機19和服務(wù)器15。在一些實施例中，多個計算設(shè)備可以包括未示出的其他計算設(shè)備。在一些實施例中，多個計算設(shè)備可以包括比圖1所示計算設(shè)備的數(shù)目更多或更少的計算設(shè)備。一個或多個網(wǎng)絡(luò)180可以包括諸如企業(yè)專用網(wǎng)絡(luò)之類的安全網(wǎng)絡(luò)、諸如無線開放式網(wǎng)絡(luò)之類的不安全網(wǎng)絡(luò)、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、以及因特網(wǎng)。一個或多個網(wǎng)絡(luò)180中的每個網(wǎng)絡(luò)可以包括集線器、網(wǎng)橋、路由器、交換機、以及有線傳輸介質(zhì)，比如有線網(wǎng)絡(luò)或直接有線連接?？砂ㄑa充信息服務(wù)器或應(yīng)用服務(wù)器的服務(wù)器15可允許客戶機從該服務(wù)器下載信息(例如，文本、音頻、圖像和視頻文件)或者執(zhí)行與存儲在該服務(wù)器上的特定信息相關(guān)的搜索查詢。一般而言，“服務(wù)器”可以包括在客戶端-服務(wù)器關(guān)系中充當(dāng)主機的硬件設(shè)備、或者與一個或多個客戶端共享資源或為所述客戶端執(zhí)行工作的軟件過程?？蛻魴C-服務(wù)器關(guān)系下的計算設(shè)備之間的通信可以由客戶機通過向服務(wù)器發(fā)送要求訪問特定資源或執(zhí)行特定工作的請求來發(fā)起。服務(wù)器隨后可以執(zhí)行所請求的動作并且將響應(yīng)發(fā)送回客戶機。服務(wù)器15的一個實施例包括網(wǎng)絡(luò)接口 155、處理器156、存儲器157和翻譯器158，所有這些都彼此通信。網(wǎng)絡(luò)接口 155允許服務(wù)器15連接到一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口155可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡(luò)接口。處理器156允許服務(wù)器15執(zhí)行存儲在存儲器157中的計算機可讀指令以執(zhí)行在此討論的過程。翻譯器158可包括用于將第一文件格式的第一文件翻譯成第二文件格式的對應(yīng)第二文件的映射邏輯(即，第二文件是經(jīng)翻譯的版本的第一文件)。可使用文件映射指令來配置翻譯器158，該文件映射指令提供用于將第一文件格式的文件(或其部分)映射成第二文件格式的對應(yīng)文件的指令。移動設(shè)備19的一個實施例包括網(wǎng)絡(luò)接口 145、處理器146、存儲器147、相機148、傳感器149、以及顯示器150，所有這些都彼此通信。網(wǎng)絡(luò)接口 145允許移動設(shè)備19連接到一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口 145可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡(luò)接口。處理器146允許移動設(shè)備19執(zhí)行存儲在存儲器147中的計算機可讀指令以執(zhí)行在此討論的過程。相機148可以捕捉色彩圖像和/或深度圖像。傳感器149可生成與移動設(shè)備19相關(guān)聯(lián)的運動和/或定向信息。傳感器149可包括慣性測量單元(MU)。顯示器150可顯示數(shù)字圖像和/或視頻。顯示器150可包括透視顯示器。聯(lián)網(wǎng)計算環(huán)境100可以為一個或多個計算設(shè)備提供云計算環(huán)境。云計算是指基于因特網(wǎng)的計算，其中共享的資源、軟件和/或信息通過因特網(wǎng)(或其他全局網(wǎng)絡(luò))被按需提供給一個或多個計算設(shè)備?；谠谟嬎銠C網(wǎng)絡(luò)圖中使用云圖來將因特網(wǎng)描繪成對其所表示的底層基礎(chǔ)設(shè)施的抽象，術(shù)語“云”被用作對因特網(wǎng)的比喻。在一個示例中，移動設(shè)備19包括為頭戴式顯示設(shè)備(HMD)的終端用戶提供增強現(xiàn)實環(huán)境或混合現(xiàn)實環(huán)境的頭戴式顯示設(shè)備。HMD可包括視頻透視和/或光學(xué)透視系統(tǒng)。終端用戶佩戴的光學(xué)透視HMD可允許(例如經(jīng)由透明透鏡)對真實世界環(huán)境的實際直接查看，并且可同時將虛擬對象的圖像投影到終端用戶的視野中，由此用虛擬對象來增強終端用戶所感知的真實世界環(huán)境。佩戴HMD的終端用戶可利用該HMD在真實世界環(huán)境(例如，起居室)中四處移動，并感知用虛擬對象的圖像來覆蓋的真實世界的視圖。虛擬對象可以看起來維護與真實世界環(huán)境的相關(guān)空間關(guān)系(即，當(dāng)終端用戶在真實世界環(huán)境中轉(zhuǎn)動他們的頭或移動時，顯示給該終端用戶的圖像將改變，使得虛擬對象看起來像被終端用戶感知的那樣存在于該真實世界環(huán)境內(nèi))。虛擬對象還可看起來相對于終端用戶的視角是固定的(例如，無論終端用戶如何在真實世界環(huán)境中轉(zhuǎn)動他們的頭或移動，總是出現(xiàn)在終端用戶視角的右上角的虛擬菜單)。在一個實施例中，真實世界環(huán)境的環(huán)境映射由服務(wù)器15 (即，在服務(wù)器側(cè))來執(zhí)行，而相機本地化在移動設(shè)備19上(B卩，在客戶機側(cè))執(zhí)行。虛擬對象可包括與真實世界對象相關(guān)聯(lián)的文本描述。虛擬對象還可包括虛擬障礙(例如,不能移動的虛擬墻壁)和虛擬目標(biāo)(例如,虛擬怪物)。在一些實施例中，移動設(shè)備(諸如移動設(shè)備19)可與云中的服務(wù)器(諸如服務(wù)器15)通信，并可提供與移動設(shè)備相關(guān)聯(lián)的服務(wù)器位置信息(例如，經(jīng)由GPS坐標(biāo)的移動設(shè)備的位置)和/或圖像信息(例如，與在移動設(shè)備的視野內(nèi)檢測到的對象有關(guān)的信息)。作為響應(yīng)，服務(wù)器可基于提供給該服務(wù)器的位置信息和/或圖像信息向移動設(shè)備傳送一個或多個虛擬對象。在一個實施例中，移動設(shè)備19可指定用于接收一個或多個虛擬對象的特定文件格式，并且服務(wù)器15可向移動設(shè)備19傳送特定文件格式的文件內(nèi)包含的一個或多個虛擬對象。圖2A描繪了與第二移動設(shè)備5通信的移動設(shè)備19的一個實施例。移動設(shè)備19可包括透視HMD。如所描繪的，移動設(shè)備19經(jīng)由有線連接6與移動設(shè)備5通信。然而，移動設(shè)備19還可經(jīng)由無線連接與移動設(shè)備5通信。移動設(shè)備5可由移動設(shè)備19用來卸載計算密集的處理任務(wù)(例如，呈現(xiàn)虛擬對象)，并存儲在移動設(shè)備19上提供增強現(xiàn)實環(huán)境所必要的虛擬對象信息和其他數(shù)據(jù)。圖2B描繪了 HMD (諸如圖1的移動設(shè)備19)的一部分的一個實施例。僅描繪了頭戴式顯示設(shè)備(HMD)200的右側(cè)。HMD 200包括右鏡腿202、鼻梁204、鏡片216、以及鏡片框214。右鏡腿202包括與處理單元236通信的捕捉設(shè)備213 (例如，前向相機和/或話筒)。捕捉設(shè)備213可包括用于記錄數(shù)字圖像和/或視頻的一個或多個相機，并可將視覺記錄傳送到處理單元236。一個或多個相機可捕捉色彩信息、IR信息、和/或深度信息。捕捉設(shè)備213還可包括用于記錄聲音的一個或多個話筒，并可將音頻記錄傳送到處理單元236。
右鏡腿202還包括耳機230、運動和定向傳感器238、GPS接收器232、電源239、以及無線接口 237，所有這些都與處理單元236通信。運動和定向傳感器238可以包括三軸磁力計、三軸陀螺儀、和/或三軸加速度計。在一個實施例中，運動和定向傳感器238可包括慣性測量單元(頂U)。GPS接收器可確定與HMD 200相關(guān)聯(lián)的GPS位置。處理單元236可以包括一個或多個處理器和用于存儲將要在所述一個或多個處理器上執(zhí)行的計算機可讀指令。存儲器還可存儲要在一個或多個處理器上執(zhí)行的其它類型的數(shù)據(jù)。在一個實施例中，鏡片216可包括透視顯示器，處理單元236生成的圖像由此可被投影和/或顯示在透視顯示器上。捕捉設(shè)備213可被校準(zhǔn)，使得捕捉設(shè)備213所捕捉的視野對應(yīng)于HMD 200的終端用戶所看到的視野。耳機230可用于輸出與虛擬對象的投影圖像相關(guān)聯(lián)的聲音。在一些實施例中，HMD 200可包括兩個或更多個前向相機(例如，每個鏡腿上一個相機)，以便從與前向相機所捕捉的視野相關(guān)聯(lián)的立體信息中獲得深度。兩個或更多個前向相機還可包括3-D、IR、和/或RGB相機。也可從利用來自運動技術(shù)的深度的單個相機中獲取深度信息。例如，可從單個相機獲取兩個圖像，該相機與不同時間點處的空間中兩個不同的點相關(guān)聯(lián)。之后， 給定與空間中兩個不同點有關(guān)的位置信息，可執(zhí)行視差計算。在一些實施例中，HMD 200可使用與一個或多個人類眼睛元素(諸如角膜中心、眼球旋轉(zhuǎn)的中心、或瞳孔中心)有關(guān)的注視檢測元件和三維坐標(biāo)系統(tǒng)，來為終端用戶眼睛中的每只眼睛執(zhí)行注視檢測。注視檢測元件的示例可包括生成閃光的照明器和用于捕捉表示所生成的閃光的數(shù)據(jù)的傳感器。在一些情況中，角膜中心可以基于兩次閃光使用平面幾何來確定。角膜中心鏈接瞳孔中心和眼球的旋轉(zhuǎn)中心，這可被當(dāng)作用于在特定注視或觀看角度確定終端用戶的眼睛的光軸的固定位置。圖2C描繪了 HMD的一部分的一個實施例，其中延伸到注視點的注視向量用于對準(zhǔn)遠瞳孔間距(IH))。HMD 2是移動設(shè)備的一個示例，諸如圖1中的移動設(shè)備19。如所描繪的，注視向量1801和1801■在遠離終端用戶的注視點處相交(S卩，當(dāng)終端用戶正在看遠處的對象時，注視向量1801和180r不相交)?；贕ullstrand示意眼模型示出了每只眼睛的眼球1601、160r的眼球模型。每只眼球被建模成具有旋轉(zhuǎn)中心166的球體，并且包括被建模成球且具有中心164的角膜168。角膜168隨著眼球旋轉(zhuǎn)，并且眼球的旋轉(zhuǎn)中心166可被當(dāng)作固定點。角膜168覆蓋虹膜170，瞳孔162處于虹膜170的中心。每個角膜的表面172上是閃光174和176。如圖2C所描繪的，傳感器檢測區(qū)域139 (即分別是1391和139r)與眼鏡架115內(nèi)的每一顯不光學(xué)系統(tǒng)14的光軸相對準(zhǔn)。在一個不例中，與該檢測區(qū)域相關(guān)聯(lián)的傳感器可包括能夠捕捉表示分別由鏡架115左側(cè)的照明器153a和153b生成的閃光1741和1761的圖像數(shù)據(jù)以及表示分別由鏡架115右側(cè)的照明器153c和153d生成的閃光174r和176r的數(shù)據(jù)的一個或多個相機。通過眼鏡架115中的顯示光學(xué)系統(tǒng)141和14r，終端用戶的視野包括現(xiàn)實對象190、192和194以及虛擬對象182和184。從旋轉(zhuǎn)中心166穿過角膜中心164到瞳孔162而形成的軸178包括眼睛的光軸。注視向量180也被稱為從凹坑穿過瞳孔中心162延伸的視線或視軸。在一些實施例中，光軸被確定，并且通過用戶校準(zhǔn)來確定小型校正以獲得被選作注視向量的視軸。對于每一終端用戶，虛擬對象可由顯示設(shè)備在不同的水平和垂直位置處的多個預(yù)先確定的位置中的每一位置處來顯示。在對象在每一位置處的顯示過程中，可以計算每一眼睛的光軸，并且光線被建模成從該位置延伸到用戶眼睛中。具有水平和垂直分量的注視偏移角可以基于必須如何移動光軸以與所建模的光線相對準(zhǔn)來確定。從不同的位置處，具有水平或垂直分量的平均注視偏移角可被選作要被應(yīng)用于每一計算出的光軸的小型校正。在一些實施例中，僅水平分量被用于注視偏移角校正。如圖2C所描繪的，由于當(dāng)向量在注視點處從眼球延伸到視野中而變得更加靠近在一起，因此注視向量1801和ISOr不是完全平行的。在每一顯示光學(xué)系統(tǒng)14處，注視向量180看起來與光軸相交，傳感器檢測區(qū)域139以這一交點為中心。在這一配置中，光軸與瞳孔間距(IPD)對準(zhǔn)。在終端用戶看向正前方時，測得的IPD也被稱為遠IPD。圖2D描繪了 HMD 2的一部分的一個實施例，其中延伸到注視點的注視向量用于對準(zhǔn)近瞳孔間距(IH))。HMD 2是移動設(shè)備的一個示例，諸如圖1中的移動設(shè)備19。如所描繪的，左眼的角膜1681被旋轉(zhuǎn)到右側(cè)或朝向終端用戶的鼻子，并且右眼的角膜168r被旋轉(zhuǎn)到左側(cè)或朝向終端用戶的鼻子。兩個瞳孔正在注視終端用戶的特定距離內(nèi)的現(xiàn)實對象194。始自每只眼睛的注視向量1801和180r進入真實對象194所處的Panum匯合區(qū)域195。Panum匯合區(qū)域是像人類視覺那樣的雙眼觀察系統(tǒng)中的單視覺的區(qū)域。注視向量1801和ISOr的相交指示終端用戶正在看現(xiàn)實對象194。在這樣的距離處，隨著眼球向內(nèi)旋轉(zhuǎn)，它們的瞳孔之間的距離減少到近IPD。近IPD通常比遠IPD小大約4mm。近IPD距離準(zhǔn)則(例如，距離終端用戶小于四英尺處的注視點)可用來將顯示光學(xué)系統(tǒng)14的iro對準(zhǔn)切換或調(diào)整成近IPD的對準(zhǔn)。對于近IPD，每一顯示光學(xué)系統(tǒng)14可以朝終端用戶的鼻子移動，使得光軸以及檢測區(qū)域139朝鼻子移動幾毫米，如檢測區(qū)域1391η和139rn所表示的。關(guān)于為HMD的終端用戶確定IPD并由此調(diào)整顯示光學(xué)系統(tǒng)的更多信息可在2011年9月30日提交的美國專利申請?zhí)?3/250，878、題為“Personal Audio/Visual System(個人音頻/視頻系統(tǒng))”中找到，該專利申請通過引用全部包含于此。圖2E描繪了 HMD2的一部分的一個實施例，該HMD具有包括注視檢測元件的可移動顯示光學(xué)系統(tǒng)。表現(xiàn)為每只眼睛的鏡片的是每只眼睛的顯示光學(xué)系統(tǒng)14，即14r和141。顯示光學(xué)系統(tǒng)包括用于將虛擬內(nèi)容與通過HMD的透鏡看到的實際直接現(xiàn)實世界視圖無縫地融合的透視透鏡和光學(xué)元件(例如，反射鏡、過濾器)。顯示光學(xué)系統(tǒng)14具有一般處于透視透鏡中心的光軸，其中光一般被校準(zhǔn)來提供無失真視圖。例如，在眼睛護理專業(yè)人員使一副普通眼鏡適合于終端用戶的臉部時，該眼鏡通常在每一瞳孔與相應(yīng)鏡片的中心或光軸相對準(zhǔn)的位置處落在終端用戶的鼻子上，從而通常使得校準(zhǔn)光到達終端用戶的眼睛以得到清晰或無失真的視圖。如圖2E所描繪的，至少一個傳感器的檢測區(qū)域139r、1391與其相應(yīng)顯示光學(xué)系統(tǒng)14r、141的光軸相對準(zhǔn)，使得檢測區(qū)域139r、1391的中心捕捉沿著光軸的光。如果顯示光學(xué)系統(tǒng)14與終端用戶的瞳孔對準(zhǔn)，則相應(yīng)傳感器134的每一檢測區(qū)域139與終端用戶的瞳孔相對準(zhǔn)。檢測區(qū)域139的反射光經(jīng)由一個或多個光學(xué)元件被傳送到相機的實際圖像傳感器134，在該實施例中傳感器134由處于鏡架115內(nèi)部的虛線示出。在一個實施例中，該至少一個傳感器134可以是可見光相機(例如，RGB相機)。在一個示例中，光學(xué)元件或光引導(dǎo)元件包括是部分透射且部分反射的可見光反光鏡?？梢姽庀鄼C提供終端用戶的眼睛的瞳孔的圖像數(shù)據(jù)，而IR光電探測器152捕捉作為頻譜的IR部分中的反射的閃光。如果使用可見光相機，則虛擬圖像的反射可以出現(xiàn)在該相機所捕捉的眼睛數(shù)據(jù)中。圖像過濾技術(shù)可被用來在需要時移除虛擬圖像反射。IR相機對眼睛上的虛擬圖像反射是不敏感的。在另一個實施例中，至少一個傳感器134(8卩，1341和134r)是IR輻射可被定向到的IR相機或位置敏感檢測器(PSD)。從眼睛反射的IR輻射可以來自照明器153、其他IR照明器(未示出)的入射輻射或者來自從眼睛反射的環(huán)境IR輻射。在一些情況中，傳感器134可以是RGB和IR相機的組合，并且光引導(dǎo)元件可包括可見光反射或轉(zhuǎn)向元件和IR輻射反射或轉(zhuǎn)向元件。在一些情況中，相機134可被嵌入在系統(tǒng)14的鏡片中。另外，可以應(yīng)用圖像過濾技術(shù)來將相機混合到用戶視野中以減輕對用戶的任何干擾。如圖2E所描繪的，有四組照明器153，照明器153與光電檢測器152配對并由障礙154分開以避免照明器153所生成的入射光與在光電檢測器152處接收到的反射光之間的干擾。為了在附圖中避免不必要的混亂，就代表性的一對示出了附圖標(biāo)記。每一照明器可以是生成大約預(yù)定波長的窄光束的紅外(IR)照明器。光電檢測器中的每一個可被選擇來捕捉大約該預(yù)定波長的光。紅外還可包括近紅外。因為照明器或光電檢測器可能存在波長漂移或者波長周圍的微小范圍是可接受的，所以照明器和光電檢測器可以具有與用于生成或檢測的波長有關(guān)的容限范圍。在傳感器是IR相機或IR位置敏感檢測器(PSD)的一些實施例中，光電檢測器可包括附加數(shù)據(jù)捕捉設(shè)備并且也可被用來監(jiān)視照明器的操作，例如波長漂移、波束寬度改變等。光電檢測器還可提供閃光數(shù)據(jù)，其中可見光相機作為傳感器134。如圖2E所描繪的，每一顯示光學(xué)系統(tǒng)14以及它面向每一眼睛的注視檢測元件的安排(例如，相機134及其檢測區(qū)域139、照明器153以及光電檢測器152)位于可移動的內(nèi)部鏡架部分1711、171r上。在該示例中，顯示調(diào)整機構(gòu)包括具有轉(zhuǎn)動軸205的一個或多個馬達203，該顯示調(diào)整機構(gòu)附連到在由馬達203驅(qū)動的傳動軸205的引導(dǎo)和力量下從左向右滑動或反向滑動的內(nèi)部鏡架部分117。在一些實施例中，一個馬達203可以驅(qū)動兩個內(nèi)部鏡架。圖2F描繪了 HMD 2的一部分的一個替換實施例，該HMD具有包括注視檢測元件的可移動顯不光學(xué)系統(tǒng)。如所描繪的，每個`顯不光學(xué)系統(tǒng)14被包圍在分開的鏡架部分1151、1151■中。鏡架部分中的每一個可由馬達203分開地移動。關(guān)于具有可移動顯示光學(xué)系統(tǒng)的HMD的更多信息可在2011年9月30日提交的美國專利申請?zhí)?3/250，878、題為“PersonalAudio/Visual System(個人音頻/視頻系統(tǒng))”中找到,該專利申請通過引用全部包含于此。圖2G描繪了 HMD 2的一部分的側(cè)視圖的一個實施例，該HMD包括鏡架115的眼鏡腿102。在鏡架115的前方是可捕捉視頻和靜止圖像的前向視頻相機113。在一些實施例中，前向相機113可包括深度相機以及可見光或RGB相機。在一個示例中，該深度相機可包括IR照明器發(fā)射器和像處于可見圖像傳感器前方的熱鏡等熱反射表面，該熱反射表面使得可見光透過并將處于照明器所發(fā)射的波長范圍內(nèi)或預(yù)定波長周圍的所反射的IR輻射定向到CCD或其他類型的深度傳感器?？墒褂闷渌愋偷目梢姽庀鄼C(例如，RGB相機或圖像傳感器)和深度相機。關(guān)于深度相機的更多信息可在2010年6月11日提交的美國專利申請12/813，675中找到，該申請的全部內(nèi)容通過引用結(jié)合于此。來自相機的數(shù)據(jù)可被發(fā)送到控制電路136以供處理，以便通過圖像分割和/或邊緣檢測技術(shù)來標(biāo)識對象。耳機130、慣性傳感器132、GPS收發(fā)器144、以及溫度傳感器138處于鏡腿102內(nèi)部或安裝在鏡腿102上。在一個實施例中，慣性傳感器132包括三軸磁力計、三軸陀螺儀、以及三軸加速度計。慣性傳感器用于感測HMD 2的位置、取向、和突然加速。從這些移動中，也可以確定頭部位置。在一些情況下，HMD 2可包括可創(chuàng)建包括一個或多個虛擬對象的一個或多個圖像的圖像生成單元。在一些實施例中，微顯示器可被用作圖像生成單元。如所描繪的，微顯示器部件173包括光處理元件和可變焦調(diào)整器135。光處理元件的示例是微顯示器單元120。其他示例包括諸如透鏡系統(tǒng)122的一個或多個透鏡之類的一個或多個光學(xué)元件、以及諸如面124之類的一個或多個反射元件。透鏡系統(tǒng)122可包括單個透鏡或多個透鏡。微顯示器單元120安裝在鏡腿102上或處于鏡腿102內(nèi)部，它包括圖像源并生成虛擬對象的圖像。微顯示器單元120在光學(xué)上與透鏡系統(tǒng)122以及反射面124對準(zhǔn)。光學(xué)對準(zhǔn)可以沿著光軸133或包括一個或多個光軸的光路133。微顯示器單元120通過透鏡系統(tǒng)122來投影虛擬對象的圖像，這可將圖像光定向到反射元件124。可變焦調(diào)整器135改變微顯示器部件的光路中的一個或多個光處理元件之間的位移或微顯示器部件中的元件的光功率(optical power)。透鏡的光功率被定義成其焦距的倒數(shù)(即，I/焦距)，使得一個改變將影響另一個。焦距的改變導(dǎo)致聚焦于微顯示器部件173所生成的圖像的視野區(qū)域改變。在微顯不器部件173作出位移改變的一個不例中，在電樞137內(nèi)對位移改變進行引導(dǎo)，電樞137支承諸如透鏡系統(tǒng)122和微顯示器120之類的至少一個光處理元件。電樞137幫助在各元件的物理移動期間穩(wěn)定沿光路133的對準(zhǔn)，以達到所選位移或光功率。在一些示例中，調(diào)整器135可以移動一個或多個光學(xué)元件，如電樞137內(nèi)的透鏡系統(tǒng)122中的透鏡。在其他示例中，電樞可在光處理元件周圍的區(qū)域中具有槽或空間，使得它在不移動光處理元件的情況下在該元件(例如微顯示器120)上滑動。電樞中的另一元件(如透鏡系統(tǒng)122)被附連，使得系統(tǒng)122或其內(nèi)的透鏡與移動的電樞137 —起滑動或移動。位移范圍通常是幾毫米(mm)的量級。在一個示例中，這一范圍是l_2mm。在其他示例中，電樞137可以向透鏡系統(tǒng)122提供對涉及除位移之外的其他物理參數(shù)的調(diào)整的焦點調(diào)整技術(shù)的支持。這樣的參數(shù)的示例是偏振。關(guān)于調(diào)整微顯示器部件的焦距的更多信息可在2010年11月8日提交的美國專利申請?zhí)?12/941，825、題為 “Automatic Variable Virtual Focus for Augmented RealityDisplays (用于增強現(xiàn)實顯示器的自動可變虛擬聚焦)”中找到，該專利申請通過引用全部結(jié)合于此。在一個實施例中，調(diào)整器135可以是諸如壓電馬達之類的執(zhí)行器。也可使用用于執(zhí)行器的其他技術(shù)，并且這樣的技術(shù)的一些示例是由線圈和永久磁鐵、磁致伸縮元件、以及電致伸縮元件形成的音圈。若干不同的圖像生成技術(shù)可用于實現(xiàn)微顯示器120。在一個示例中，微顯示器120可以使用透射投影技術(shù)來實現(xiàn)，其中光源由光學(xué)活性材料來調(diào)制，用白光從背后照亮。這些技術(shù)通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實現(xiàn)的。微顯示器120還可使用反射技術(shù)來實現(xiàn)，其中外部光被光學(xué)活性材料反射并調(diào)制。取決于該技術(shù)，照明可由白光源或RGB源來向前點亮。數(shù)字光處理(DLP)、硅上液晶(LC0S)、以及來自Qualcomm有限公司的Mirasol 顯示技術(shù)都是高效的反射技術(shù)的示例，因為大多數(shù)能量從已調(diào)制結(jié)構(gòu)反射并且可用于本文描述的系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來實現(xiàn)，其中光由該顯示器生成。例如，來自MiciOVision有限公司的PicoP 引擎使用微型鏡面舵來將激光信號發(fā)射到擔(dān)當(dāng)透射元件的小型屏幕上或直接將光束(例如，激光)發(fā)射到眼睛。圖2H描繪了 HMD2的一部分的側(cè)視圖的一個實施例，其提供對微顯示器部件的三維調(diào)整的支持。以上在圖2G中示出的附圖標(biāo)記中的一些已被移除以避免附圖中的混亂。在顯不光學(xué)系統(tǒng)14在三個維度中被移動的一些實施例中，由反射面124表不的光學(xué)兀件和微顯示器部件173的其他元件也可被移動以維持虛擬圖像的光到該顯示光學(xué)系統(tǒng)的光路133。在該示例中，由馬達框203和傳動軸205所表示的在控制電路136的控制之下的一個或多個馬達所構(gòu)成的XYZ傳輸機構(gòu)控制微顯示器部件173的各元件的移動。可以使用的馬達的示例是壓電馬達。在所示示例中，一個馬達被附連到電樞137并且也移動可變焦點調(diào)整器135，并且另一代表性馬達203控制反射元件124的移動。圖3A-3E提供各種增強現(xiàn)實環(huán)境的示例，其中基于在各種真實世界環(huán)境內(nèi)標(biāo)識的環(huán)境特征來生成或適應(yīng)一個或多個虛擬對象。在一些實施例中，一個或多個虛擬對象可包括基于狀態(tài)的虛擬對象。圖3A描繪了佩戴HMD (諸如圖1中的移動設(shè)備19)的終端用戶所看到的增強現(xiàn)實環(huán)境310的一個實施例。終端用戶既可看到真實對象也可看到虛擬對象。真實對象可包括椅子16。虛擬對象可包括虛擬怪物17a-b。由于通過HMD的透視透鏡所感知的虛擬怪物17a-b被顯示或覆蓋在真實世界環(huán)境中，因此HMD的終端用戶可感知到虛擬怪物17a_b存在于真實世界環(huán)境內(nèi)。圖3B描繪了佩戴HMD (諸如圖1中的移動設(shè)備19)的終端用戶所看到的增強現(xiàn)實環(huán)境315的一個實施例。終端用戶既可看到真實對象也可看到虛擬對象。真實對象可包括椅子16和計算系統(tǒng)10。虛擬對象可包括虛擬怪物17a。計算系統(tǒng)10可包括計算環(huán)境12、捕捉設(shè)備20、和顯示器14，它們彼此通信。計算環(huán)境12可以包括一個或多個處理器。捕捉設(shè)備20可包括一個或多個顏色或深度傳感相機，該相機可以用于在視覺上監(jiān)視包括特定真實世界環(huán)境內(nèi)的人以及一個或多個其他真實對象的一個或多個目標(biāo)。捕捉設(shè)備20還可包括話筒。在一個示例中，捕捉設(shè)備20可包括深度傳感相機和話筒，并且計算環(huán)境12可包括游戲控制臺。計算系統(tǒng)10可通過向多個移動設(shè)備或客戶機提供與真實世界環(huán)境有關(guān)的虛擬對象和/或映射信息來支持這多個移動設(shè)備或客戶機。在一些實施例中，計算系統(tǒng)10可跟蹤并分析增強現(xiàn)實環(huán)境315內(nèi)的虛擬對象。計算系統(tǒng)10還可跟蹤并分析與增強現(xiàn)實環(huán)境315相對應(yīng)的真實世界環(huán)境內(nèi)的真實對象。對與虛擬對象(諸如，虛擬怪物17a)相關(guān)聯(lián)的圖像的呈現(xiàn)可由計算系統(tǒng)10或由HMD來執(zhí)行。計算系統(tǒng)10還可向HMD提供與增強現(xiàn)實環(huán)境315相關(guān)聯(lián)的3-D映射。在一個實施例中，計算系統(tǒng)10可(例如，通過生成對真實世界環(huán)境的3-D映射)映射與增強現(xiàn)實環(huán)境315相關(guān)聯(lián)的真實世界環(huán)境，并實時地跟蹤增強現(xiàn)實環(huán)境315內(nèi)的真實對象和虛擬對象這二者。在一個示例中，計算系統(tǒng)10提供特定商店(例如，服裝店或汽車經(jīng)銷商)的虛擬對象信息。在HMD的終端用戶進入該特定商店之前，計算系統(tǒng)10可能已經(jīng)生成了包括該特定商店內(nèi)部的靜態(tài)真實世界對象的3-D映射。當(dāng)終端用戶進入該特定商店時，計算系統(tǒng)10可以開始跟蹤增強現(xiàn)實環(huán)境315內(nèi)的動態(tài)的真實世界對象和虛擬對象。在真實世界環(huán)境內(nèi)移動的真實世界對象(包括終端用戶)可以被檢測，并使用邊緣檢測和模式識別技術(shù)來分類。當(dāng)終端用戶在該特定商店到處走動時，計算系統(tǒng)可確定真實世界對象與虛擬對象之間的交互，并向HMD提供虛擬對象的圖像以供終端用戶查看。在一些實施例中，包括該特定商店內(nèi)部的靜態(tài)真實世界對象的真實世界環(huán)境3-D映射可與一個或多個虛擬對象一起被傳輸?shù)紿MD，以供在特定商店內(nèi)部使用。HMD隨后可確定真實世界對象與一個或多個虛擬對象在該特定商店內(nèi)的交互，并在該HMD上本地地生成增強現(xiàn)實環(huán)境315。圖3C描繪了增強現(xiàn)實環(huán)境320的一個實施例。終端用戶既可看到真實對象也可看到虛擬對象。真實對象可包括椅子16。虛擬對象可包括虛擬怪物17a-d。由于通過HMD的透視透鏡所感知的虛擬怪物17a-d被顯示或覆蓋在真實世界環(huán)境中，HMD的終端用戶可感知到虛擬怪物17a-d存在于真實世界環(huán)境內(nèi)。如所描繪的，與增強現(xiàn)實環(huán)境320相關(guān)聯(lián)的真實世界環(huán)境同與圖3A中的增強現(xiàn)實環(huán)境310相關(guān)聯(lián)的真實世界環(huán)境相比，包括更多的開放空間。在一些情況下，為了實現(xiàn)與游戲應(yīng)用相關(guān)聯(lián)的特定難度，較大量的開放空間可能需要更多數(shù)量的虛擬怪物出現(xiàn)在增強現(xiàn)實環(huán)境320內(nèi)(例如，躲避在大的真實世界區(qū)域內(nèi)移動的四個虛擬怪物可被認(rèn)為與躲避較小的真實世界區(qū)域內(nèi)的兩個虛擬怪物一樣困難)。然而，在其他游戲應(yīng)用中，較大量的開放空間可與更困難的游戲環(huán)境相對應(yīng)。關(guān)于具有適應(yīng)性游戲規(guī)則的增強現(xiàn)實環(huán)境的更多信息可在2011年11月3日提交的美國專利申請?zhí)?3/288，350、題為“Augmented RealityPlayspaces With Adaptive Game Rules (具有適應(yīng)性游戲規(guī)則的增強現(xiàn)實游戲空間)”中找到，該專利申請通過引用全部結(jié)合于此。圖3D-3E描繪了包括基于狀態(tài)的虛擬對象的增強現(xiàn)實環(huán)境330的一個實施例。如所描繪的，HMD19的終端用戶29既可查看真實對象也可看到虛擬對象。真實對象可包括椅子16。虛擬對象可包括虛擬怪物17a-c以及包括虛擬盒子39的基于狀態(tài)的虛擬對象。由于通過HMD19的透視透鏡所感知的虛擬對象被顯示或覆蓋在真實世界環(huán)境中，因此HMD19的終端用戶可感知到虛擬對象存在于真實世界環(huán)境內(nèi)。在一個實施例中，終端用戶29可查看包括虛擬盒子39的基于狀態(tài)的虛擬對象。在圖3D中所描繪的第一狀態(tài)中，虛擬盒子看起來是封閉的。通過盯住虛擬盒子39 —特定時間段和/或執(zhí)行特定的物理姿勢(例如，特定的手勢)，虛擬盒子39可從圖3D中描繪的第一狀態(tài)轉(zhuǎn)移到圖3E中描繪的第二狀態(tài)。一旦虛擬盒子39被設(shè)置成第二狀態(tài)，對象的形狀和/或其他屬性可被更改。如所描繪的，虛擬盒子39看起來被打開，并且新的虛擬對象(即，虛擬怪物17d)被生成并被顯示為存在于增強現(xiàn)實環(huán)境330內(nèi)的。在一個示例中，為了關(guān)閉虛擬盒子39，終端用戶29可能必須執(zhí)行與用于打開該虛擬盒子的特定物理姿勢不同的物理姿勢、和/或發(fā)出特定的語音命令。在一些實施例中，第二狀態(tài)可對應(yīng)于虛擬對象的3-D模型，該3-D模型和與第一狀態(tài)相關(guān)聯(lián)的3-D模型不同(例如，第二狀態(tài)可與第一狀態(tài)中的虛擬對象的變形版本相關(guān)聯(lián))。圖4示出了包括捕捉設(shè)備20和計算環(huán)境12的計算系統(tǒng)10的一個實施例。在一些實施例中，捕捉設(shè)備20和計算環(huán)境12可以集成在單個計算設(shè)備中。該單個計算設(shè)備可包括移動設(shè)備，諸如圖1中的移動設(shè)備19。在一些情況中，捕捉設(shè)備20和計算環(huán)境12可被集成在HMD中。在一個實施例中，捕捉設(shè)備20可以包括用于捕捉圖像和視頻的一個或多個圖像傳感器。圖像傳感器可以包括CCD圖像傳感器或CMOS圖像傳感器。在一些實施例中，捕捉設(shè)備20可包括IR CMOS圖像傳感器。捕捉設(shè)備20還可以包括深度相機(或深度傳感相機)，該相機被配置為經(jīng)由包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合適的技術(shù)來捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。捕捉設(shè)備20可包括圖像相機組件32。在一個實施例中，圖像相機組件32可以包括可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可以表示深度值，比如所捕捉的場景中的對象與圖像相機組件32相距的例如以厘米、毫米等為單位的距離。圖像相機組件32可包括可用來捕捉捕捉區(qū)域的深度圖像的IR光組件34、三維(3-D)相機36、以及RGB相機38。例如，在飛行時間分析中，捕捉設(shè)備20的IR光組件34可以將紅外光發(fā)射到捕捉區(qū)域上，然后可以使用傳感器，用例如3-D相機36和/或RGB相機38來檢測從捕捉區(qū)域中的一個或多個對象的表面反向散射的光。在某些實施例中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間差并將其用于確定從捕捉設(shè)備20到捕捉區(qū)域中的一個或多個對象上的特定位置的物理距離。此外，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到與一個或多個對象相關(guān)聯(lián)的特定位置的物理距離。在另一示例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在該分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如IR光組件34被投影到捕捉區(qū)域上。在撞擊到捕捉區(qū)域中的一個或多個對象(或目標(biāo))的表面時，作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3-D相機36和/或RGB相機38來捕捉并被分析以確定從捕捉設(shè)備到一個或多個對象上的特定位置的物理距離。捕捉設(shè)備20可包括用于產(chǎn)生準(zhǔn)直光的光學(xué)器件。在一些實施例中，可使用激光投影儀來創(chuàng)建結(jié)構(gòu)化光圖案。激光投影儀可包括激光器、激光二極管和/或LED。在某些實施例中，可將兩個或更多個相機整合到一個集成捕捉設(shè)備中。例如，深度相機和視頻相機(例如RGB視頻相機)可以被合并到共同的捕捉設(shè)備中。在一些實施例中，可協(xié)同使用相同或不同類型的兩個或更多分開的捕捉設(shè)備。例如，可以使用深度相機和分開的視頻相機，可以使用兩個視頻相機，可以使用兩個深度相機，可以使用兩個RGB相機，或者可以使用任何組合和數(shù)目的相機。在一個實施例中，捕捉設(shè)備20可包括可以從不同的角度觀察捕捉區(qū)域的兩個或更多個在物理上分離的相機，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。還可通過使用多個檢測器(可以是單色、紅外、RGB)或任意其它類型的檢測器捕捉圖像、以及執(zhí)行視差計算，來確定深度。也可使用其他類型的深度圖像傳感器來創(chuàng)建深度圖像。如圖4所描繪的，捕捉設(shè)備20可以包括一個或多個話筒40。該一個或多個話筒40中的每一個都可以包括可以接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。該一個或多個話筒可包括話筒陣列，其中一個或多個話筒可以按預(yù)定布局排列。捕捉設(shè)備20可以包括可以與圖像相機組件32可操作地通信的處理器42。處理器42可包括標(biāo)準(zhǔn)處理器，專用處理器、微處理器等。處理器42可以執(zhí)行指令，所述指令可以包括用于存儲過濾器或簡檔、接收和分析圖像、確定是否已經(jīng)發(fā)生特定情況的指令或任何其他合適的指令。應(yīng)當(dāng)理解，至少一些圖像分析和/或目標(biāo)分析和跟蹤操作可以由諸如捕捉設(shè)備20之類的一個或多個捕捉設(shè)備內(nèi)所包含的處理器來執(zhí)行。捕捉設(shè)備20可包括存儲器44，該存儲器可存儲可由處理器42執(zhí)行的指令、由3_D相機或RGB相機捕捉的圖像或圖像幀、過濾器或簡檔、或任何其他合適的信息、圖像等等。在一個示例中，存儲器44可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖所示，存儲器44可以是與圖像捕捉組件32和處理器42進行通信的單獨的組件。在另一實施例中，存儲器44可被集成到處理器42和/或圖像捕捉組件32中。在其他實施例中，捕捉設(shè)備20的組件32、34、36、38、40、42和44中的部分或全部可被容納在單個外殼中。捕捉設(shè)備20可以經(jīng)由通信鏈路46與計算環(huán)境12進行通信。通信鏈路46可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等有線連接和/或諸如無線802.1lb,802. llg、802.1la或802.1ln連接等無線連接。計算環(huán)境12可以向捕捉設(shè)備20提供時鐘，可以使用該時鐘來通過通信鏈路46確定何時捕捉例如場景。在一個實施例中，捕捉設(shè)備20可將由例如3-D相機36和/或RGB相機38捕捉的圖像經(jīng)由通信鏈路46提供給計算環(huán)境12。如圖4中所描繪的，計算環(huán)境12包括與應(yīng)用196通信的圖像和音頻處理引擎194。應(yīng)用196可包括操作系統(tǒng)應(yīng)用或諸如游戲應(yīng)用的其他計算應(yīng)用。圖像和音頻處理引擎194包括虛擬數(shù)據(jù)引擎197、對象和姿勢識別引擎190、結(jié)構(gòu)數(shù)據(jù)198、、處理單元191和存儲器單元192，所有這些都彼此通信。圖像和音頻處理引擎194處理從捕捉設(shè)備20接收的視頻、圖像和音頻數(shù)據(jù)。為了輔助對象的檢測和/或跟蹤，圖像和音頻處理引擎194可以利用結(jié)構(gòu)數(shù)據(jù)198以及對象和姿勢識別引擎190。虛擬數(shù)據(jù)引擎197處理虛擬對象，并記錄與在存儲器單元192中存儲的真實世界環(huán)境的各種映射有關(guān)的虛擬對象的位置和定向。處理單元191可以包括用于執(zhí)行對象、面部和語音識別算法的一個或多個處理器。在一個實施例中，圖像和音頻處理引擎194可以將對象識別和面部識別技術(shù)應(yīng)用于圖像或視頻數(shù)據(jù)。例如，對象識別可以用于檢測特定對象(例如足球、汽車、人或陸標(biāo))，并且面部識別可以用于檢測特定人的面部。圖像和音頻處理引擎194可以將音頻和語音識別技術(shù)應(yīng)用于音頻數(shù)據(jù)。例如，音頻識別可以用于檢測特定聲音。要檢測的特定面部、語音、聲音和對象可以存儲在存儲器單元192中所包含的一個或多個存儲器中。處理單元191可執(zhí)行存儲在存儲器單元192中的計算機可讀指令以執(zhí)行此處討論的過程。圖像和音頻處理引擎194可以在執(zhí)行對象識別時利用結(jié)構(gòu)數(shù)據(jù)198。結(jié)構(gòu)數(shù)據(jù)198可以包括關(guān)于要跟蹤的目標(biāo)和/或?qū)ο蟮慕Y(jié)構(gòu)信息。例如，可以存儲人類的骨架模型以幫助識別身體部位。在另一示例中，結(jié)構(gòu)數(shù)據(jù)198可以包括關(guān)于一個或多個無生命對象的結(jié)構(gòu)信息以便幫助識別所述一個或多個無生命對象。圖像和音頻處理引擎194還可以在執(zhí)行姿勢識別時利用對象和姿勢識別引擎190。在一個示例中，對象和姿勢識別引擎190可以包括姿勢過濾器的集合，每個姿勢過濾器都包括關(guān)于骨架模型可執(zhí)行的姿勢的信息。對象和姿勢識別引擎190可將由捕捉設(shè)備20所捕捉的數(shù)據(jù)(其形式為骨架模型以及與其相關(guān)聯(lián)的移動)與姿勢庫中的姿勢過濾器進行比較來標(biāo)識用戶(其由骨架模型來表示)何時執(zhí)行了一個或多個姿勢。在一個示例中，圖像和音頻處理引擎194可以使用對象和姿勢識別引擎190來幫助解釋骨架模型的移動以及檢測特定姿勢的執(zhí)行。在一些實施例中，可以用諸如IR回射標(biāo)記之類的一個或多個標(biāo)記來擴充所跟蹤的一個或多個對象，以便改進對象檢測和/或跟蹤。也可以使用平面基準(zhǔn)圖像、已編碼AR標(biāo)記、QR碼和/或條形碼來改進對象檢測和/或跟蹤。一旦檢測到一個或多個對象和/或姿勢，圖像和音頻處理引擎194可以向應(yīng)用196報告所檢測的每個對象或姿勢的標(biāo)識以及相應(yīng)的位置和/或取向(如果適用)。關(guān)于運動檢測和跟蹤對象的更多信息可在2009年12月18日提交的美國專利申請 12/641，788 “Motion Detection Using Depth Images (使用深度圖像的運動檢測)”，以及美國專利申請 12/475，308 “Device for Identifying and Tracking Multiple Humansover Time (用于隨時間標(biāo)識和跟蹤多個人類的設(shè)備)”中找到，這兩個申請的全部內(nèi)容通過引用結(jié)合于此。關(guān)于對象和姿勢識別引擎190的更多信息參見2009年4月13日提交的美國專利申請 12/422，661 “Gesture Recognition System Architecture (姿勢識別系統(tǒng)架構(gòu))”，該申請通過整體引用合并于此。關(guān)于識別姿勢的更多信息可在2009年2月23日提交的美國專利申請12/391，150 “Standard Gestures (標(biāo)準(zhǔn)姿勢)”;以及2009年5月29日提交的美國專利申請12/474,655 “Gesture Tool (姿勢工具)”中找到，這兩個申請的全部內(nèi)容通過引用并入本申請。圖5A描繪了用于提供與感興趣的特定位置或特定地方相關(guān)聯(lián)的虛擬對象信息的AR系統(tǒng)2307的一個實施例。感興趣的特定地方可包括百貨商店、家具店、汽車經(jīng)銷商、游樂園、博物館、動物園、或個人的工作處或住處。虛擬對象信息可包括環(huán)境的3-D映射、和/或與環(huán)境相關(guān)聯(lián)的一個或多個虛擬對象。為了允許對虛擬對象的高效存儲和交換，可使用預(yù)定和標(biāo)準(zhǔn)化文件格式來傳輸一個或多個虛擬對象。AR系統(tǒng)2307包括與補充信息提供者2304a_e之一通信的個人A/V裝置2302 (例如，諸如圖1中的移動設(shè)備19的HMD)。補充信息提供者2304a-e與中央控制和信息服務(wù)器2306通信，該中央控制和信息服務(wù)器2306可包括一個或多個計算設(shè)備。每個補充信息提供者2304可與一個或多個傳感器2310a_e中的一個位于一處并與之通信。傳感器可包括視頻傳感器、深度圖像傳感器、熱傳感器、IR傳感器、重量傳感器、和運動傳感器。在一些實施例中，補充信息提供者可以不與任何傳感器配對。補充信息提供者的每一個針對感興趣的特定地方被置于各個位置。補充信息提供者可提供與感興趣的特定地方內(nèi)的特定區(qū)域相關(guān)聯(lián)的虛擬對象信息或3-D映射。傳感器2310可獲取與感興趣的特定地方的不同子部分有關(guān)的信息。例如，在游樂園的情形中，補充信息提供者2304以及隨附的一組一個或多個傳感器2310可被置于游樂園中的每個搭乘點或景點處。在博物館的情形中，補充信息提供者2304可位于博物館的每一部分或房間中、或位于每個主要展品。傳感器2310可用于確定等待搭乘(或展覽)線路的人數(shù)或者該搭乘(或展覽)的擁擠程度。在一個實施例中，AR系統(tǒng)2307可向個人A/V裝置2302的終端用戶提供關(guān)于如何導(dǎo)航通過感興趣的地方的指導(dǎo)。另外，中央控制和信息服務(wù)器2306可基于來自傳感器2310的信息來指示感興趣的地方的哪些區(qū)域不那么擁擠。在游樂園的情形中，系統(tǒng)可告訴個人A/V裝置2302的終端用戶哪條搭乘具有最短的線路。在滑雪山的情形中，AR系統(tǒng)2307可向個人A/V裝置2302的終端用戶提供對哪條電梯線路最短或哪根滑道不那么擁擠的指示。個人A/V裝置2302可與終端用戶一起在感興趣的地方周圍活動，并可在任意給定時間與最接近的補充信息提供者2304建立連接。圖5B示出了用于在補充信息提供者2304(諸如，圖5A中的補充信息提供者2304a)上執(zhí)行一個或多個進程和/或軟件的系統(tǒng)架構(gòu)的一個示例。補充信息提供者2304可創(chuàng)建并提供補充事件或位置數(shù)據(jù)，或者可以提供服務(wù)，該服務(wù)將事件或位置數(shù)據(jù)從第三方事件數(shù)據(jù)提供者918傳輸?shù)浇K端用戶的個人A/V裝置2302。多個補充信息提供者和第三方事件數(shù)據(jù)提供者可與本技術(shù)一同使用。補充信息提供者2304可包括為其利用服務(wù)的一個或多個事件或位置的補充數(shù)據(jù)。事件和/或位置數(shù)據(jù)可包括補充事件和位置數(shù)據(jù)910，該補充事件和位置數(shù)據(jù)910關(guān)于已知在特定時間段內(nèi)發(fā)生的一個或多個事件、和/或關(guān)于提供定制體驗的一個或多個位置。用戶位置和跟蹤模塊912跟蹤正在利用系統(tǒng)的各個用戶?？赏ㄟ^唯一的用戶標(biāo)識符、位置、和/或其他標(biāo)識元素來標(biāo)識用戶。信息顯示應(yīng)用914允許定制要提供給終端用戶的顯示信息的類型以及它被顯示的方式這兩者。該信息顯示應(yīng)用914可結(jié)合個人A/V裝置2302上的信息顯示應(yīng)用來使用。在一個實施例中，顯示處理在補充信息提供者2304處發(fā)生。在替換的實施例中，信息被提供給個人A/V裝置2302，使得該個人A/V裝置2302確定哪些信息應(yīng)當(dāng)被顯示以及信息應(yīng)被顯示在顯示器內(nèi)的何處。授權(quán)應(yīng)用916可在將補充信息傳輸?shù)教囟ǖ膫€人A/V裝置之前對該特定的個人A/V裝置進行認(rèn)證。補充信息提供者2304還包括映射數(shù)據(jù)915和虛擬對象數(shù)據(jù)913。映射數(shù)據(jù)915可包括與一個或多個真實世界環(huán)境相關(guān)聯(lián)的3-D映射。虛擬對象數(shù)據(jù)913可包括與映射數(shù)據(jù)可用的一個或多個真實世界環(huán)境相關(guān)聯(lián)的一個或多個虛擬對象。在一些實施例中，可使用支持基于狀態(tài)的虛擬對象的預(yù)定和標(biāo)準(zhǔn)化文件格式來定義一個或多個虛擬對象。根據(jù)本技術(shù)，可利用各種類型的信息顯示應(yīng)用。可為不同的事件和位置提供不同的應(yīng)用。不同的提供者可為同一實況事件提供不同的應(yīng)用?？苫谒峁┑男畔⒘?、所允許的交互量或其他特征來隔離應(yīng)用。應(yīng)用可提供事件或位置內(nèi)的不同類型的體驗，并且不同的應(yīng)用可以競爭在同一事件期間或在同一位置處向用戶提供信息的能力?？稍谘a充信息提供者2304和個人A/V裝置902之間拆分應(yīng)用處理。圖6A和6B是描述使用個人A/V裝置(諸如圖5A中的個人A/V裝置2302 )來提供個性化購物體驗的一組過程的流程圖。圖6A的過程用于建立系統(tǒng)，使得個人性購物體驗可在用戶進入特定的商業(yè)或銷售位置時被提供。在圖6A的步驟1602中，將掃描用戶。掃描用戶的示例可包括拍攝用戶的靜態(tài)的照片、視頻圖像和/或深度圖像。系統(tǒng)還可為該用戶訪問具有該用戶之前的掃描和細節(jié)的簡檔。圖像可用于創(chuàng)建關(guān)于用戶的身體外貌的信息。在其他實施例中，用戶可手動地輸入各種測量結(jié)果。該用戶的信息作為一個或多個對象被存儲在用戶的簡檔中。在步驟1604中，使用靜態(tài)圖像、視頻圖像、和/或深度圖像來掃描用戶的家。關(guān)于用戶的家的信息作為一個或多個對象被存儲在用戶的簡檔中。在步驟1606中，使用靜態(tài)圖像、視頻圖像、和/或深度圖像來掃描用戶的所有物。所掃描的信息作為一個或多個對象被存儲在用戶的簡檔中。在步驟1608中，用戶進行的任何購買將導(dǎo)致關(guān)于購買項的信息作為一個或多個對象被存儲在用戶的簡檔中。在一個實施例中，不必掃描額外的購買，因為關(guān)于購買項的信息將已經(jīng)位于制造商或零售商的數(shù)據(jù)庫中，并可從該數(shù)據(jù)庫直接被加載到用戶的簡檔中。在一個實施例中，用戶簡檔由諸如圖5A中的中央控制和消息服務(wù)器2306的服務(wù)器來存儲。圖6B描述了提供個性化購物體驗的過程的一個實施例。在步驟1630中，帶有個人A/V裝置的用戶進入銷售位置。在步驟1632中，該個人A/V裝置連接到本地的補充信息提供者。在步驟1634中，用戶將在在該銷售位置瀏覽該個人A/V裝置時選擇一件商品。在一個實施例中，用戶可通過說出該商品的名稱、指向該商品、觸摸該商品、或使用特定的姿勢來選擇該商品。用于利用個人/AV裝置機載的一個或多個話筒、視頻相機、和/或深度相機來選擇商品的其他手段可用于感測用戶正在選擇什么。在步驟1636中，個人A/V裝置將該選擇轉(zhuǎn)發(fā)到位于該銷售位置的本地補充信息提供者。補充信息提供者將在數(shù)據(jù)庫中查找所選擇的商品，以確定與該商品相關(guān)的虛擬對象的類型。在一個實施例中，數(shù)據(jù)庫對補充信息提供者來說是本地的。在另一實施例中，補充信息提供者將通過因特網(wǎng)或其他網(wǎng)絡(luò)來訪問數(shù)據(jù)庫。在一個示例中，每個銷售位置(例如，商場中的一個商店)可具有它自己的服務(wù)器，或者商場可具有跨該商場中所有商店共享的全局服務(wù)器。在步驟1638中，補充信息提供者將訪問用戶簡檔。在一個實施例中，用戶簡檔被存儲在諸如圖5A中的中央控制和消息服務(wù)器2306的服務(wù)器上。在步驟1640中，補充信息提供者或者中央控制和信息服務(wù)器將基于步驟1636中獲得的信息來標(biāo)識用戶簡檔中與該商品相關(guān)的那些對象。在步驟1642中，下載用戶簡檔中與所選擇的商品相關(guān)的對象。在步驟1644中，該個人A/V裝置將使用板載傳感器來確定其定向。A/V裝置還將確定用戶的注視。在步驟1646中，個人A/V裝置或者補充信息提供者將構(gòu)建圖形，該圖形將所選擇的商品的圖像以及來自用戶簡檔的所標(biāo)識的對象相組合。在一個實施例中，只選擇一件商品。在其他實施例中，能夠選擇多件商品，并且該圖形可包括多件商品以及多個所標(biāo)識的對象。在步驟1648中，正確地基于所確定的定向和注視，在個人A/V裝置中呈現(xiàn)將所選擇的商品的圖像與所標(biāo)識的對象相組合的圖形。在一些實施例中，用戶可瀏覽個人A/V裝置以查看所選擇的商品，并且對象將被自動地添加到用戶的視野中。圖6B的過程的一個示例實現(xiàn)包括用戶查看待售房屋。所選擇的商品可以是房屋中的房間之一或可以是房屋本身。來自用戶的簡檔的對象將是用戶的家具。當(dāng)用戶在房屋(可能是空的)周圍走動時，用戶的家具(即，用戶簡檔中被標(biāo)記或以其他方式標(biāo)識為用戶家具的用戶的對象)將被投影到個人A/V裝置中，使得用戶將看到房屋中用戶的家具。圖6B的另一示例實現(xiàn)包括用戶拜訪家具商店。所選擇的商品可以是家具商店中的一件或多件家具。從用戶的簡檔中獲得的對象將是用戶的房屋中的房間以及用戶的房屋中的家具。例如，如果用戶正想購買沙發(fā)椅，則所選擇的商品可以是一個或多個沙發(fā)椅。個人A/V裝置將描繪具有被投影到用戶起居室的所選擇沙發(fā)椅的該起居室的圖像，使用戶能夠看到沙發(fā)椅在他們的起居室中看起來如何。在一些情況中，與家具商店中被終端用戶選擇的一件或多件家具相關(guān)聯(lián)的虛擬對象信息可被存儲以供未來參考。在家中，用戶可在查看他們的起居室時加載并查看與家具商店中待售的一件或多件家具相關(guān)聯(lián)的一個或多個虛擬對象。在一個實施例中，系統(tǒng)可用于增強對服裝的購買。當(dāng)用戶看到他感興趣的一件服裝時，個人A/V系統(tǒng)可以投影用戶穿著這件服裝的圖像。或者，用戶可看向鏡子以查看穿著感興趣的服裝的他自己/她自己。在此情形中，個人A/V系統(tǒng)將在鏡子的反射中投影用戶穿著這件服裝的圖像。這些示例示出用戶可如何瀏覽透視個人A/V裝置(例如，圖1中的移動設(shè)備19)以及圖像可被投影到用戶的視野中，使得與通過個人A/V裝置查看的真實世界相組合的這些投影圖像為用戶創(chuàng)建個性化體驗。在另一實施例中，系統(tǒng)用于基于用戶感興趣的東西來定制店內(nèi)顯示。例如，櫥窗模特全部切換為穿著用戶感興趣的服裝?？紤]用戶正想購買黑色衣服的示例，她走過的每個商店將所有的黑色衣服虛擬地顯示在他們的正面顯示中或頭戴式顯示演示專用的店面上的服裝模特上。在一些實施例中，補充信息提供者可向HMD傳輸與特定位置相關(guān)聯(lián)的信息，該特定位置包括出現(xiàn)在該特定位置的真實對象和虛擬對象。所傳輸?shù)男畔⒖捎糜谠贖MD上生成增強現(xiàn)實環(huán)境。為了允許對虛擬對象的高效存儲和交換，虛擬對象可被包含在預(yù)定和標(biāo)準(zhǔn)化文件格式內(nèi)。在一個示例中，標(biāo)準(zhǔn)化文件格式可允許虛擬對象數(shù)據(jù)在不同計算平臺或設(shè)備間的可移植性。在一些情形中，標(biāo)準(zhǔn)化文件格式可通過提供與虛擬對象的不同狀態(tài)相關(guān)聯(lián)的狀態(tài)信息(例如，狀態(tài)表的形式)來支持基于狀態(tài)的虛擬對象?？墒褂冒ㄓ邢驁D和/或散列表的各種數(shù)據(jù)結(jié)構(gòu)來實現(xiàn)與虛擬對象相關(guān)聯(lián)的狀態(tài)。標(biāo)準(zhǔn)化文件格式可包括全息文件格式。一個實施例包括用于向個人A/V裝置的用戶呈現(xiàn)定制體驗的方法，包括:掃描多商品以創(chuàng)建全息文件格式的多個對象，為每商品創(chuàng)建一個對象，該全息文件格式具有預(yù)定的結(jié)構(gòu)；為一個身份存儲全息文件格式的對象；使用無線連接將個人A/V裝置連接到本地服務(wù)器；向本地服務(wù)器提供來自個人A/V裝置的身份；使用該身份訪問對象的至少一個子集并將其下載到本地服務(wù)器；基于全息文件格式的預(yù)定結(jié)構(gòu)來訪問對象中的數(shù)據(jù)；以及使用該數(shù)據(jù)將虛擬圖形添加到個人A/V裝置的透視顯示器。參考圖6A和6B，可使用全息文件格式的一個示例實現(xiàn)。在圖6A的方法中，用戶、用戶的房屋以及用戶的所有物可被掃描，并且來自掃描的信息可作為一個或多個對象被存儲在用戶的簡檔中。在一個實現(xiàn)中，信息作為一個或多個對象以全息文件格式被存儲在簡檔中。這樣，當(dāng)用戶進入銷售位置并且該銷售位置本地的相關(guān)聯(lián)的補充信息提供者訪問數(shù)據(jù)庫中的對象時，可以訪問全息文件格式的那些對象。以此方式，補充信息提供者將提前了解對象的文件格式，使得可高效地使用對象。使用該全息文件格式可允許開發(fā)者更容易地創(chuàng)建可利用這些數(shù)據(jù)的系統(tǒng)和平臺，使得可使用個人A/V裝置來定制更多的體驗。圖7A描繪了虛擬對象文件702的一個實施例，該虛擬對象文件702包括與一個或多個虛擬對象相關(guān)聯(lián)的虛擬對象信息。如所描繪的，虛擬對象文件702包括用于用虛擬對象標(biāo)識符(或ID)“H1278”來生成虛擬對象的虛擬對象信息701。虛擬對象信息701包括用于指定HMD系統(tǒng)兼容性的HMD版本字段(例如，HMD system versionl.3.8)、對虛擬對象是否與真實對象相關(guān)聯(lián)的標(biāo)識、與虛擬對象相關(guān)聯(lián)的真實對象的所有者(例如，Sally)、以及真實對象的位置(例如，Sally’s kitchen)。其他標(biāo)記或字段(未示出)可包括何時且在何處獲取虛擬對象信息、以及諸如“房屋家具”或“廚房電器”的對象描述。虛擬對象信息701還可包括對虛擬對象的初始狀態(tài)的標(biāo)識(例如，StateO )。虛擬對象信息701包括用于包括“StateO (狀態(tài)O)”和“Statel (狀態(tài)I)”的不同狀態(tài)的信息。在一個示例中，“StateO”可與關(guān)閉狀態(tài)中的虛擬對象相關(guān)聯(lián)(例如，虛擬盒子被關(guān)閉)，并且“Statel”可與打開狀態(tài)中的虛擬對象相關(guān)聯(lián)(例如，虛擬盒子是打開的)。在“StateO”中，虛擬對象與3-D模型(B卩，mode 1_A (模型A))和對象屬性(例如，Mass (質(zhì)量))相關(guān)聯(lián)。當(dāng)虛擬對象與真實對象或其他虛擬對象交互時，質(zhì)量對象屬性可用于確定動量和速度計算。也可使用其他對象屬性(例如，對象反射率和/或透明度)。在“Statel”中，虛擬對象同與“StateO”相關(guān)聯(lián)的3-D模型不同的3-D模型(B卩，model_B (模型B))相關(guān)聯(lián)。在一個示例中，mode 1_B可對應(yīng)于變形版本的虛擬對象(例如,虛擬對象被彎曲或扭曲)。如所描繪的，“StateO”對應(yīng)于與“Statel”的觸發(fā)事件不同的唯一一組觸發(fā)事件。與特定狀態(tài)相關(guān)聯(lián)的觸發(fā)事件可用于確定何時需要從特定狀態(tài)的狀態(tài)改變。當(dāng)位于“StateO”中時,如果滿足兩個要求(即，如果檢測到Triggerl (觸發(fā)器I)和Trigger2 (觸發(fā)器2))，則虛擬對象可轉(zhuǎn)移到不同的虛擬對象狀態(tài)(B卩，“Statel”)。在一個示例中，Triggerl可對應(yīng)于檢測到特定的姿勢，而Triggerf可對應(yīng)于檢測到特定的語音命令。在另一示例中，觸發(fā)事件可對應(yīng)于檢測到與朝向虛擬對象的眼睛注視同時發(fā)生的特定手勢。一旦檢測到觸發(fā)事件，則虛擬對象將轉(zhuǎn)移到“Statel”。應(yīng)當(dāng)注意的是，對Triggerf的檢測不會導(dǎo)致虛擬對象轉(zhuǎn)移到不同的狀態(tài)，相反，只(例如，基于sound_file_A (聲音文件A))播放與該虛擬對象相關(guān)聯(lián)的聲音。在一些情形中，可使用眼睛跟蹤技術(shù)(諸如參考圖2C-2D的HMD 2所利用的那些)或姿勢識別和/或音頻識別技術(shù)(諸如參考圖4中的計算系統(tǒng)10所利用的那些)來檢測觸發(fā)事件。當(dāng)在“Statel”中時，如果唯一的觸發(fā)事件發(fā)生(B卩，如果檢測到Trigger4)，則虛擬對象可轉(zhuǎn)移回到“StateO”。在一個示例中，Trigger4可對應(yīng)于檢測到虛擬對象發(fā)生的特定交互(例如，虛擬對象被另一虛擬對象擊打)。在此情形中，一旦檢測到觸發(fā)事件，則虛擬對象將轉(zhuǎn)移回到“StateO”。同樣，一旦檢測到觸發(fā)事件，可以生成或產(chǎn)生一個新的虛擬對象(例如，XI)。例如，當(dāng)虛擬盒子被打開時，可以創(chuàng)建諸如圖3E中的虛擬怪物17d的新的虛擬對象。在一些實施例中，與特定虛擬對象相關(guān)聯(lián)的虛擬對象信息可包括關(guān)于對象的真實物理大小的信息(即，特定虛擬對象所基于的真實對象的實際真實世界大小)。虛擬對象信息還可指定特定虛擬對象的物理特性，諸如該特定虛擬對象是否可變形或可擠壓。物理特性還可包括與特定虛擬對象相關(guān)聯(lián)的重量或質(zhì)量。虛擬對象信息還可指定與特定虛擬對象相關(guān)聯(lián)的照明屬性，諸如從特定虛擬對象發(fā)射(或反射)的任意光的顏色，以及特定虛擬對象的半透明度和反射率。虛擬對象信息還可指定當(dāng)與特定虛擬對象交互時與該特定虛擬對象相關(guān)聯(lián)的聲音。在一些實施例中，關(guān)于照明屬性、交互式聲音屬性和物理特性的虛擬對象信息可取決于虛擬對象的特定狀態(tài)。圖7B是描述了用于生成增強現(xiàn)實環(huán)境的過程的一個實施例的流程圖。增強現(xiàn)實環(huán)境可利用一個或多個基于狀態(tài)的虛擬對象。在一個實施例中，圖7B的過程由諸如圖1中的移動設(shè)備19的移動設(shè)備來執(zhí)行。在步驟710中，標(biāo)識與真實世界環(huán)境相關(guān)聯(lián)的補充信息提供者。一旦補充信息提供者位于HMD的特定距離以內(nèi)，它就可被檢測和標(biāo)識，或者它可經(jīng)由指針或網(wǎng)絡(luò)地址來向補充信息提供者標(biāo)識。在步驟712中，協(xié)商與補充信息提供者的信息傳輸。信息傳輸可使用特定協(xié)議來進行，并可包括對特定類型的文件(例如，使用全息文件格式的虛擬對象文件)的傳輸。HMD和補充提供者還可協(xié)商信息傳輸將以何種方式進行、以及將傳輸什么類型的信息。在一個示例中，HMD可向補充信息提供者提供與該HMD相關(guān)聯(lián)的位置信息，并且補充信息提供者可向HMD傳輸一個或多個文件，該一個或多個文件提供與位置信息相關(guān)聯(lián)的虛擬對象信息。在步驟714中，從補充信息提供者獲取與真實世界環(huán)境相關(guān)聯(lián)的3-D映射。在步驟716中，獲取一個或多個虛擬對象?？山?jīng)由補充信息提供者供應(yīng)的虛擬對象信息來獲取一個或多個虛擬對象。在一些情形中，一個或多個虛擬對象可被預(yù)先存儲在HMD上，并且可由從補充信息提供者獲取的虛擬對象信息來指向。一個或多個虛擬對象可包括與多個不同狀態(tài)相關(guān)聯(lián)的第一虛擬對象。多個不同狀態(tài)中的每個狀態(tài)可對應(yīng)于一組唯一的與任何其他狀態(tài)事件不同的觸發(fā)事件。與特定狀態(tài)相關(guān)聯(lián)的這組觸發(fā)事件可用于確定何時需要從特定狀態(tài)的狀態(tài)改變。在步驟718中，第一虛擬對象被設(shè)為多個不同狀態(tài)中的第一狀態(tài)。在步驟720中，可以預(yù)測多個不同狀態(tài)中與第一虛擬對象相關(guān)聯(lián)的一個或多個其他狀態(tài)。在一個示例中，可為一個或多個其他狀態(tài)中的每一個確定相對于第一狀態(tài)的觸發(fā)概率。觸發(fā)概率提供從虛擬對象的當(dāng)前狀態(tài)到達另一狀態(tài)的概率或可能性。例如，如果與第二狀態(tài)相關(guān)聯(lián)的觸發(fā)概率位于特定閾值以上，則可以預(yù)測多個不同狀態(tài)中的第二狀態(tài)。如果一個狀態(tài)被預(yù)測，則與所預(yù)測的狀態(tài)相關(guān)聯(lián)的虛擬對象信息可被預(yù)先取出并被存儲在HMD上以供未來使用。在步驟722中，確定是否已經(jīng)檢測到與多個不同狀態(tài)中的第二狀態(tài)相關(guān)聯(lián)的第一觸發(fā)事件。在一個實施例中，第一觸發(fā)事件與檢測到與使用HMD所感知的朝向第一虛擬對象的眼睛注視同時發(fā)生的特定手勢相關(guān)聯(lián)。在一些情形中，如果來自另一虛擬對象或一真實對象的交互位于特定的虛擬力閾值以上，則可檢測到第一觸發(fā)事件。觸發(fā)事件(或狀態(tài)改變要求)還可以基于佩戴HMD的終端用戶的生理特性。例如，與終端用戶相關(guān)聯(lián)的心率信息和眼睛移動和/或瞳孔放大可用于推斷該終端用戶害怕得足以保證觸發(fā)事件。在步驟724中，第一虛擬對象被設(shè)為第二狀態(tài)。在步驟726中，獲取一個或多個新的觸發(fā)事件。可從補充信息提供者獲取這一個或多個新的觸發(fā)事件。在將第一虛擬對象設(shè)為第二狀態(tài)之前，將一個或多個新的觸發(fā)事件預(yù)先存儲到HMD上。一個或多個新的觸發(fā)事件可被加載到HMD上，由此HMD查找并檢測與該一個或多個新的觸發(fā)事件相關(guān)聯(lián)的交互，而不是與第一狀態(tài)相關(guān)聯(lián)的一個或多個觸發(fā)事件。在步驟728中，一個或多個虛擬對象被顯示，使得該一個或多個虛擬對象被感知到存在于真實世界環(huán)境內(nèi)。在一個示例中，使用HMD來顯示一個或多個虛擬對象。圖7C是描述用于預(yù)測未來的虛擬對象狀態(tài)的過程的一個實施例的流程圖。圖7C中描述的過程是用于實現(xiàn)圖7B中的步驟720的過程的一個示例。在一個實施例中，圖7C的過程由諸如圖1中的移動設(shè)備19的移動設(shè)備來執(zhí)行。在步驟730中，標(biāo)識與虛擬對象的第一狀態(tài)相關(guān)聯(lián)的一個或多個觸發(fā)事件。在一個實施例中，HMD生成狀態(tài)機，其中第一虛擬對象的當(dāng)前狀態(tài)可基于與該當(dāng)前狀態(tài)相關(guān)聯(lián)的一個或多個觸發(fā)事件被轉(zhuǎn)移到不同的狀態(tài)中。在步驟731中，確定與一個或多個觸發(fā)事件相關(guān)聯(lián)的一個或多個觸發(fā)概率。一個或多個觸發(fā)概率可基于使用HMD的終端用戶的歷史，與常被檢測到的觸發(fā)事件相關(guān)聯(lián)的通用概率(即，非終端用戶專用的)，以及與特定姿勢相關(guān)聯(lián)的、運行在HMD上的增強現(xiàn)實應(yīng)用的運行時期間的檢測率來確定。在一些情形中，虛擬對象狀態(tài)預(yù)測可由服務(wù)器(諸如，在HMD的特定距離以內(nèi)的補充信息提供者)來執(zhí)行。在步驟732中，基于在步驟731中確定的一個或多個觸發(fā)概率來預(yù)測虛擬對象的第二狀態(tài)。在一個實施例中，如果與第二狀態(tài)相關(guān)聯(lián)的觸發(fā)概率位于特定閾值以上，則第二狀態(tài)被預(yù)測(例如，與第二狀態(tài)相關(guān)聯(lián)的觸發(fā)事件將被觸發(fā)的機會有90% )。在步驟733中，獲取與第二狀態(tài)相關(guān)聯(lián)的一個或多個第二虛擬對象。在步驟734中，存儲一個或多個第二虛擬對象。如果虛擬對象被轉(zhuǎn)移到第二狀態(tài)，則一個或多個第二虛擬對象可被存儲或高速緩存到HMD上并且可被檢索。在步驟735中，輸出一個或多個第二虛擬對象。在一個實施例中，可將一個或多個第二虛擬對象從補充信息提供者傳輸?shù)紿MD。在步驟736中，輸出第二狀態(tài)的標(biāo)識。在一個實施例中，可將一個或多個第二狀態(tài)的標(biāo)識從補充信息提供者傳輸?shù)?HMD。圖7D是描述與補充信息提供者協(xié)商信息轉(zhuǎn)移的過程的一個實施例的流程圖。圖7D中描述的過程是用于實現(xiàn)圖7B中的步驟712的過程的一個示例。在一個實施例中，圖7D的過程由諸如圖1中的移動設(shè)備19的移動設(shè)備來執(zhí)行。在步驟740中，特定全息文件格式的標(biāo)識被傳輸?shù)窖a充信息提供者。該特定全息文件格式可包括標(biāo)準(zhǔn)化文件格式，該標(biāo)準(zhǔn)化文件格式包括與一個或多個虛擬對象相關(guān)聯(lián)的虛擬對象信息。在步驟741中，數(shù)據(jù)壓縮標(biāo)準(zhǔn)被傳輸?shù)窖a充信息提供者?？梢允褂迷摂?shù)據(jù)壓縮標(biāo)準(zhǔn)，以便壓縮從補充信息提供者傳輸?shù)紿MD的文件的大小。在步驟742中，從補充信息提供者接收關(guān)于是否支持特定全息文件格式和數(shù)據(jù)壓縮標(biāo)準(zhǔn)的響應(yīng)。在一個實施例中，HMD可接收該響應(yīng)并且確定是否與補充信息提供者建立信息傳輸。在步驟743中，基于響應(yīng)來建立與補充信息提供者的信息傳輸。圖7E是描述從補充信息提供者獲取一個或多個虛擬對象的過程的一個實施例的流程圖。圖7E中描述的過程是用于實現(xiàn)圖7B中的步驟716的過程的一個示例。在一個實施例中，圖7E的過程由諸如圖1中的移動設(shè)備19的移動設(shè)備來執(zhí)行。在步驟750中，標(biāo)識真實世界環(huán)境內(nèi)的一個或多個環(huán)境特征。該一個或多個環(huán)境特征可包括與真實世界環(huán)境相關(guān)聯(lián)的位置(例如，特定的游樂園或博物館)、與真實世界環(huán)境相關(guān)聯(lián)的地形類型(例如，戶外或擁擠的空間)、和/或與真實世界環(huán)境相關(guān)聯(lián)的天氣分類(例如，天氣冷或者下雨)。在步驟751中，獲取包括用戶歷史的用戶簡檔。用戶簡檔可描述HMD的終端用戶的特定特性，諸如，終端用戶的年齡。用戶簡檔可以指定與增強現(xiàn)實環(huán)境相關(guān)聯(lián)的用戶偏好，諸如對在特定時間顯示的虛擬對象的數(shù)量的限制、或者偏好在HMD上顯示的虛擬對象的類型。用戶簡檔還可指定與什么類型的虛擬對象可被顯示相關(guān)聯(lián)的許可。例如，用戶簡檔可與兒童相關(guān)聯(lián)，并且可阻止顯示與特定類型的廣告相關(guān)聯(lián)的虛擬對象。在步驟752中，一個或多個環(huán)境特征和用戶簡檔被傳輸?shù)窖a充信息提供者。可在HMD的特定距離以內(nèi)檢測補充信息提供者。補充信息提供者可以提供與真實世界環(huán)境相關(guān)聯(lián)的虛擬對象。例如，真實世界環(huán)境可包括游樂園的搭乘或博物館的展覽。在步驟753，基于一個或多個環(huán)境特征和用戶簡檔從補充信息提供者獲取一個或多個虛擬對象。圖7F是描述獲取一個或多個虛擬對象的過程的一個實施例的流程圖。圖7F中描述的過程是用于實現(xiàn)圖7B中的步驟716的過程的一個示例。在一個實施例中，圖7F的過程由諸如圖1中的移動設(shè)備19的移動設(shè)備來執(zhí)行。在步驟760中，在特定環(huán)境內(nèi)標(biāo)識真實世界對象。HMD可使用對象或模式識別技術(shù)來標(biāo)識真實世界對象。在步驟761中，獲取基于真實世界對象的標(biāo)識的虛擬對象。在一個實施例中，通過向補充信息提供者供應(yīng)真實世界對象的標(biāo)識，從補充信息提供者獲取虛擬對象。在一些情形中，如果不存在與該標(biāo)識的確切匹配，則可向HMD提供與該標(biāo)識相關(guān)聯(lián)的一個以上虛擬對象。在步驟762中，基于對真實世界對象的掃描來生成真實世界對象的3-D模型。對真實世界對象的掃描可由HMD來執(zhí)行。在步驟763中，檢測到與真實世界對象的3-D模型相關(guān)聯(lián)的封閉表面。在步驟764中，使用在步驟762中創(chuàng)建的3-D模型來對在步驟761中獲取的虛擬對象進行驗證。虛擬對象可被驗證以檢查虛擬對象的形狀與3-D模型的形狀之間的--對應(yīng)。在步驟765中，通過將元數(shù)據(jù)附連到的虛擬對象來基于特定環(huán)境自動地標(biāo)記虛擬對象。該元數(shù)據(jù)可被包括在與虛擬對象相關(guān)聯(lián)的虛擬對象信息內(nèi)。在一個實施例中，虛擬對象可被標(biāo)記為HMD的終端用戶所擁有。虛擬對象還可被標(biāo)記為與終端用戶的房屋(或其一部分)位于一處。虛擬對象可基于存儲在終端用戶簡檔中的信息被自動地標(biāo)記，該終端用戶簡檔被存儲在HMD上。終端用戶簡檔可提供與該終端用戶相關(guān)聯(lián)的標(biāo)識信息，包括終端用戶的名字、終端用戶的工作位置、和終端用戶的房屋位置。在步驟766中，虛擬對象被存儲。虛擬對象可被存儲在HMD上的非易失性存儲器中。在步驟767中，虛擬對象被輸出。虛擬對象信息可從HMD上的非易失性存儲器中被檢索并且用于生成虛擬對象的一個或多個圖像。圖7G是描述顯示一個或多個虛擬對象的過程的一個實施例的流程圖。圖7G中描述的過程是用于實現(xiàn)圖7B中的步驟728的過程的一個示例。在一個實施例中，圖7G的過程由諸如圖1中的移動設(shè)備19的移動設(shè)備來執(zhí)行。在步驟780中，獲取環(huán)境的3-D映射。3_D映射可包括一個或多個圖像描述符。在步驟781中，獲取環(huán)境的一個或多個視點圖像。該一個或多個視點圖像可與諸如HMD的移動設(shè)備的特定姿勢相關(guān)聯(lián)。在步驟782中，基于在步驟780中獲取的3-D映射來確定與一個或多個虛擬對象相關(guān)聯(lián)的一個或多個位置。在一個實施例中，一個或多個虛擬對象被記錄為與3-D映射相關(guān)。在步驟783中，在一個或多個視點圖像內(nèi)檢測一個或多個圖像描述符的至少一個子集?？赏ㄟ^向一個或多個視點圖像應(yīng)用各種圖像處理方法(諸如，對象識別、特征檢測、角檢測、團塊檢測、和邊緣檢測方法)來檢測一個或多個圖像描述符。一個或多個圖像描述符可在確定關(guān)于3-D映射的特定姿態(tài)、位置和/或定向中被用作陸標(biāo)。圖像描述符可包括與特定對象(例如，紅蘋果)或特定對象位于特定環(huán)境內(nèi)的一部分(例如，紅蘋果的頂部)相關(guān)聯(lián)的色彩和/或深度信息。
在步驟784中，可以確定包括與環(huán)境內(nèi)移動設(shè)備的位置和定向相關(guān)聯(lián)的信息的六個自由度(6D0F)姿態(tài)。在步驟785中，基于在步驟784中確定的6D0F姿態(tài)來呈現(xiàn)與一個或多個虛擬對象相關(guān)聯(lián)的一個或多個圖像。在步驟786中，一個或多個圖像被顯示，使得一個或多個虛擬對象被感知到存在于環(huán)境內(nèi)。關(guān)于記錄虛擬對象并在增強現(xiàn)實世界中呈現(xiàn)對應(yīng)圖像的更多信息可在題為“Distributed Asynchronous Localization and Mapping forAugmented Reality (增強現(xiàn)實的分布式異步本地化和映射)”的美國專利申請13/152,220中找到，其通過引用全部結(jié)合于此。所公開的技術(shù)的一個實施例包括獲取包括第一虛擬對象的一個或多個虛擬對象。第一虛擬對象與第一狀態(tài)以及與第一狀態(tài)不同的第二狀態(tài)相關(guān)聯(lián)。第一狀態(tài)與一個或多個觸發(fā)事件相關(guān)聯(lián)。一個或多個觸發(fā)事件的第一觸發(fā)事件與第二狀態(tài)相關(guān)聯(lián)。方法還包括將第一虛擬對象設(shè)為第一狀態(tài)，檢測第一觸發(fā)事件，響應(yīng)于檢測到第一觸發(fā)事件將第一虛擬對象設(shè)為第二狀態(tài)，以及在移動設(shè)備上顯示與處于第二狀態(tài)中的第一虛擬對象相關(guān)聯(lián)的一個或多個圖像。一個或多個圖像被顯示，使得第二狀態(tài)中的第一虛擬對象被感知到存在于真實世界環(huán)境內(nèi)。所公開的技術(shù)的一個實施例包括從補充信息提供者獲取一個或多個虛擬對象。一個或多個虛擬對象包括第一虛擬對象。第一虛擬對象與第一狀態(tài)以及與第一狀態(tài)不同的第二狀態(tài)相關(guān)聯(lián)。第一狀態(tài)與第一 3-D模型相關(guān)聯(lián)，并且第二狀態(tài)與不同于第一 3-D模型的第二 3-D模型相關(guān)聯(lián)。方法還包括將第一虛擬對象設(shè)為第一狀態(tài)，預(yù)測第二狀態(tài)，響應(yīng)于預(yù)測第二狀態(tài)來獲取一個或多個第二虛擬對象，檢測與第二狀態(tài)相關(guān)聯(lián)的一個或多個觸發(fā)事件中的第一觸發(fā)事件，響應(yīng)于檢測到第一觸發(fā)事件將第一虛擬對象設(shè)為第二狀態(tài)，以及在移動設(shè)備上顯示與第二狀態(tài)中的第一虛擬對象相關(guān)聯(lián)的一個或多個圖像。一個或多個圖像被顯示，使得第二狀態(tài)中的第一虛擬對象被感知到存在于真實世界環(huán)境內(nèi)。所公開的技術(shù)可以與各種計算系統(tǒng)一起使用。圖8-10提供了可用于實現(xiàn)所公開的技術(shù)的實施例的各種計算系統(tǒng)的示例。圖8是游戲和媒體系統(tǒng)7201 (圖3B中的計算環(huán)境12的一個示例)的實施例的框圖?？刂婆_7203具有中央處理單元(CPU)7200以及便于處理器訪問各種存儲器的存儲器控制器7202，這些存儲器包括閃存只讀存儲器(ROM) 7204、隨機存取存儲器(RAM)7206、硬盤驅(qū)動器7208，以及便攜式媒體驅(qū)動器7107。在一種實現(xiàn)中，CPU7200包括I級高速緩存7210和2級高速緩存7212，這些高速緩存用于臨時存儲數(shù)據(jù)并因此減少對硬盤驅(qū)動器7208進行的存儲器訪問周期的數(shù)量，從而提高了處理速度和吞吐量。CPU7200、存儲器控制器7202、以及各種存儲器設(shè)備經(jīng)由一個或多個總線(未示出)互連在一起。所述一個或多個總線可以包括下列各項中一個或多個串行和并行總線、存儲器總線、外圍總線、使用各種總線體系結(jié)構(gòu)中的任何一種的處理器或局部總線。作為示例，這樣的體系結(jié)構(gòu)可以包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強型ISA (EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線、以及外圍部件互連(PCI)總線。在一個實施方式中，CPU7200、存儲器控制器7202、R0M7204、以及RAM7206被集成到公用模塊7214上。在此實施方式中，R0M7204被配置為通過PCI總線和ROM總線(兩者都沒有示出)連接到存儲器控制器7202的閃速ROM。RAM7206被配置為多個雙倍數(shù)據(jù)速率同步動態(tài)RAM (DDR SDRAM)模塊，它們被存儲器控制器7202通過分開的總線(未示出)獨立地進行控制。硬盤驅(qū)動器7208和便攜式媒體驅(qū)動器7107被示為通過PCI總線和AT附加(ATA)總線7216連接到存儲器控制器7202。然而，在其他實施方式中，也可以在替代方案中應(yīng)用不同類型的專用數(shù)據(jù)總線結(jié)構(gòu)。三維圖形處理單元7220和視頻編碼器7222構(gòu)成了視頻處理流水線，用于進行高速度和高分辨率(例如，高清晰度)圖形處理。數(shù)據(jù)通過數(shù)字視頻總線(未示出)從圖形處理單元7220傳輸?shù)揭曨l編碼器7222。音頻處理單元7224和音頻編解碼器(編碼器/解碼器)7226構(gòu)成了對應(yīng)的音頻處理流水線，用于對各種數(shù)字音頻格式進行多通道音頻處理。通過通信鏈路(未示出)在音頻處理單元7224和音頻編解碼器7226之間傳輸音頻數(shù)據(jù)。視頻和音頻處理流水線向A/V (音頻/視頻)端口 7228輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C或其他顯示器。在所示出的實現(xiàn)中，視頻和音頻處理組件7220-7228安裝在模塊7214上。圖8示出了包括USB主控制器7230和網(wǎng)絡(luò)接口 7232的模塊7214。USB主控制器7230通過總線(未示出)與CPU 7200和存儲器控制器7202通信，并用作外圍控制器7205(1)-7205(4)的主機。網(wǎng)絡(luò)接口 7232提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等等)的訪問，并可以是各種有線或無線接口組件中的任何一種，包括以太網(wǎng)網(wǎng)卡、調(diào)制解調(diào)器、無線接入卡、藍牙 模塊、電纜調(diào)制解調(diào)器等等。
在圖8中描述的實現(xiàn)中，控制臺7203包括用于支持四個控制器7205(1)-7205(4)的控制器支持子部件7240。控制器支持子部件7240包括支持與諸如，例如，媒體和游戲控制器之類的外部控制設(shè)備的有線和無線操作所需的任何硬件和軟件組件。前面板I/O子部件7242支持電源按鈕7213、彈出按鈕7215，以及任何LED (發(fā)光二極管)或暴露在控制臺7203的外表面上的其他指示器等多個功能。子部件7240和7242通過一個或多個電纜部件7244與模塊7214進行通信。在其他實現(xiàn)中，控制臺7203可以包括另外的控制器子部件。所示出的實施方式還示出了被配置為發(fā)送和接收可傳遞給模塊7214的信號(例如從遙控器7290)的光學(xué)I/O接口 7235。MU 7241 (I)和7241⑵被示為可以分別連接到MU端口 “A”7231 (I)和“B，，7231⑵。附加MU (例如，MU 7241 (3)-7241 (6))被示為可連接到控制器7205 (I)和7205 (3)，即每一個控制器兩個MU?？刂破?205 (2)和7205 (4)也可以被配置成接納MU(未示出)。每一個MU 7241都提供附加存儲，在其上面可以存儲游戲、游戲參數(shù)、及其他數(shù)據(jù)。諸如便攜式USB設(shè)備之類的附加存儲器設(shè)備可用來代替MU。在一些實現(xiàn)中，其他數(shù)據(jù)可以包括數(shù)字游戲組件、可執(zhí)行的游戲應(yīng)用，用于擴展游戲應(yīng)用的指令集、以及媒體文件中的任何一種。當(dāng)被插入到控制臺7203或控制器中時，MU 7241可以被存儲器控制器7202訪問。系統(tǒng)供電模塊7250向游戲系統(tǒng)7201的組件供電。風(fēng)扇7252冷卻控制臺7203內(nèi)的電路。包括機器指令的應(yīng)用7260被存儲在硬盤驅(qū)動器7208上。當(dāng)控制臺7203被上電時，應(yīng)用7260的各個部分被加載到RAM7206和/或高速緩存7210和7212中以供在CPU7200上執(zhí)行。其他應(yīng)用也可以存儲在硬盤驅(qū)動器7208上以供在CPU7200上執(zhí)行。可以通過簡單地將系統(tǒng)連接到監(jiān)視器、電視機、視頻投影儀、或其他顯示設(shè)備來將游戲和媒體系統(tǒng)7201用作獨立系統(tǒng)。在此獨立模式下，游戲和媒體系統(tǒng)7201允許一個或多個玩家玩游戲或欣賞數(shù)字媒體(例如觀看電影或欣賞音樂)。然而，隨著寬帶連接的集成通過網(wǎng)絡(luò)接口 7232而成為可能，游戲和媒體系統(tǒng)7201還可以作為較大的網(wǎng)絡(luò)游戲社區(qū)的參與者來操作。圖9是移動設(shè)備8300 (諸如圖1中的移動設(shè)備19)的一個實施例的框圖。移動設(shè)備可以包括膝上型計算機、袖珍計算機、移動電話、個人數(shù)字助理、以及已經(jīng)整合了無線接收機/發(fā)射機技術(shù)的手持式媒體設(shè)備。移動設(shè)備8300包括一個或多個處理器8312以及存儲器8310。存儲器8310包括應(yīng)用8330和非易失性存儲8340。存儲器8310可以是任何種類的存儲器存儲介質(zhì)類型，包括非易失性和易失性存儲器。移動設(shè)備操作系統(tǒng)處理移動設(shè)備8300的不同操作，并可包含用于操作的用戶界面，如撥打和接聽電話呼叫、文本消息收發(fā)、檢查語音郵件等。應(yīng)用8330可以是任何種類的程序，如用于照片和/或視頻的相機應(yīng)用、地址簿、日歷應(yīng)用、媒體播放器、因特網(wǎng)瀏覽器、游戲、鬧鐘應(yīng)用、以及其他應(yīng)用。存儲器8310中的非易失性存儲組件8340可以包含諸如音樂、照片、聯(lián)系人數(shù)據(jù)、時間安排數(shù)據(jù)、以及其他文件之類的數(shù)據(jù)。所述一個或多個處理器8312還與下列各項通信RF發(fā)射機/接收機8306，其進而耦合到天線8302 ;紅外發(fā)射機/接收機8308 ;全球定位服務(wù)(GPS)接收機8365 ；以及移動/定向傳感器8314，其可以包括加速度計和/或磁力計。RF發(fā)射機/接收機8308可以通過諸如藍牙⑧或IEEE802. 11標(biāo)準(zhǔn)之類的各種無線技術(shù)標(biāo)準(zhǔn)來實現(xiàn)無線通信。加速度計可能已經(jīng)并入到移動設(shè)備中以實現(xiàn)諸如下列應(yīng)用智能用戶界面應(yīng)用，其讓用戶通過姿勢輸入命令；以及定向應(yīng)用，其可以在移動設(shè)備被旋轉(zhuǎn)時自動地從豎向改變成橫向?？梢?，例如，通過微機電系統(tǒng)(MEMS)來提供加速度計，該微機電系統(tǒng)是構(gòu)建在半導(dǎo)體芯片上的微小機械設(shè)備(微米尺寸)。可以感測加速度方向、以及定向、振動和震動。所述一個或多個處理器8312還與響鈴器/振動器8316、用戶界面小鍵盤/屏幕8318、揚聲器8320、話筒8322、相機8324、光傳感器8326和溫度傳感器8328進行通信。用戶界面小鍵盤/屏幕可以包括觸敏屏幕顯
/Jn ο所述一個或多個處理器8312控制無線信號的發(fā)射和接收。在發(fā)射模式期間，所述一個或多個處理器8312向RF發(fā)射機/接收機8306提供來自話筒8322的語音信號或其它數(shù)據(jù)信號。發(fā)射機/接收機8306通過天線8302來傳送信號。響鈴器/振動器8316被用于向用戶發(fā)傳入呼叫、文本消息、日歷提醒、鬧鐘提醒或其他通知等信號。在接收模式期間，RF發(fā)射機/接收機8306通過天線8302接收來自遠程站的語音信號或數(shù)據(jù)信號。所接收到的語音信號被提供給揚聲器8320，同時所接收到的其它數(shù)據(jù)信號被適當(dāng)?shù)靥幚?。另外，可以使用物理連接器8388來將移動設(shè)備8300連接到諸如AC適配器或加電對接底座之類的外部電源，以便對電池8304進行再充電。物理連接器8388還可被用作到外部計算設(shè)備的數(shù)據(jù)連接。該數(shù)據(jù)連接允許諸如將移動數(shù)據(jù)與另一設(shè)備上的計算數(shù)據(jù)進行同步等操作。圖10是計算系統(tǒng)環(huán)境2200 (諸如圖3B中的計算系統(tǒng)10)的實施例的框圖。計算系統(tǒng)環(huán)境2200包括計算機2210形式的通用計算設(shè)備。計算機2210的組件可以包括、但不限于處理單元2220、系統(tǒng)存儲器2230、以及將包括系統(tǒng)存儲器2230在內(nèi)的各種系統(tǒng)組件耦合到處理單元2220的系統(tǒng)總線2221。系統(tǒng)總線2221可以是若干類型的總線結(jié)構(gòu)中的任一種，包括使用各種總線體系結(jié)構(gòu)中的任一種的存儲器總線、外圍總線、以及局部總線。作為示例，而非限制，這樣的體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強型ISA (EISA)總線、視頻電子技術(shù)標(biāo)準(zhǔn)協(xié)會(VESA)局部總線和外圍部件互連(PCI)總線。計算機2210通常包括各種計算機可讀介質(zhì)。計算機可讀介質(zhì)可以是能被計算機2210訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。作為示例而非局限，計算機可讀介質(zhì)可以包括計算機存儲介質(zhì)。計算機存儲介質(zhì)包括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息的任何方法或技術(shù)實現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計算機存儲介質(zhì)包括，但不限于，RAM、ROM、EEPR0M、閃存或其他存儲器技術(shù)，CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲設(shè)備，磁帶盒、磁帶、磁盤存儲設(shè)備或其他磁存儲設(shè)備，或者能用于存儲所需信息且可以由計算機2210訪問的任何其他介質(zhì)。上述中任一組合也應(yīng)包括在計算機可讀介質(zhì)的范圍之內(nèi)。系統(tǒng)存儲器2230包括易失性和/或非易失性存儲器形式的計算機存儲介質(zhì)，如只讀存儲器(ROM) 2231和隨機存取存儲器(RAM) 2232。包含諸如在啟動期間幫助在計算機2210內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)2233 (BIOS)通常儲存儲在ROM 2231中。RAM 2232通常包含處理單元2220可立即訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖10示出了操作系統(tǒng)2234、應(yīng)用程序2235、其它程序模塊2236和程序數(shù)據(jù)2237。計算機2210也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)。僅作為示例，圖10示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動器2241，從可移動、非易失性磁盤2252中讀取或向其寫入的磁盤驅(qū)動器2251，以及從諸如CD ROM或其它光學(xué)介質(zhì)等可移動、非易失性光盤2256中讀取或向其寫入的光盤驅(qū)動器2255。可在示例性操作環(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動器2241通常由例如接口 2240等不可移動存儲器接口連接至系統(tǒng)總線2221，而磁盤驅(qū)動器2251和光盤驅(qū)動器2255通常由例如接口 2250等可移動存儲器接口連接至系統(tǒng)總線2221。上文討論并在圖10中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機存儲介質(zhì)為計算機2210提供了對計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。例如，在圖10中，硬盤驅(qū)動器2241被示為存儲操作系統(tǒng)2244、應(yīng)用程序2245、其它程序模塊2246和程序數(shù)據(jù)2247。注意，這些組件可與操作系統(tǒng)2234、應(yīng)用程序2235、其他程序模塊2236和程序數(shù)據(jù)2237相同，也可與它們不同。在此操作系統(tǒng)2244、應(yīng)用程序2245、其他程序模塊2246以及程序數(shù)據(jù)2247被給予了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備如鍵盤2262和定點設(shè)備2261 (通常指鼠標(biāo)、跟蹤球或觸摸墊)向計算機2210輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接口 2260連接到處理單元2220，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。監(jiān)視器2291或其他類型的顯示設(shè)備也通過諸如視頻接口 2290之類的接口連接至系統(tǒng)總線2221。除了監(jiān)視器以外，計算機還可包括諸如揚聲器2297和打印機2296之類的其他外圍輸出設(shè)備，它們可通過輸出外圍接口 2295來連接。計算機2210可使用到一個或多個遠程計算機(諸如，遠程計算機2280)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠程計算機2280可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其它常見網(wǎng)絡(luò)節(jié)點，且通常包括上文相對于計算機2210描述的許多或所有元件，但在圖10中只示出存儲器存儲設(shè)備2281。圖10中所示的邏輯連接包括局域網(wǎng)(LAN)2271和廣域網(wǎng)(WAN)2273，但也可以包括其它網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機2210通過網(wǎng)絡(luò)接口或適配器2270連接到LAN2271。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機2210通常包括調(diào)制解調(diào)器2272或用于通過諸如因特網(wǎng)等WAN2273建立通信的其他手段。調(diào)制解調(diào)器2272可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 2260或其他適當(dāng)?shù)臋C制連接到系統(tǒng)總線2221。在聯(lián)網(wǎng)環(huán)境中，相對于計算機2210所示的程序模塊或其部分可被存儲在遠程存儲器存儲設(shè)備中。作為示例而非限制，圖10示出了遠程應(yīng)用程序2285駐留在存儲器設(shè)備2281上。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可使用在計算機之間建立通信鏈路的其他手段。所公開的技術(shù)可用各種其它通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置來操作。適合在該技術(shù)中使用的公知的計算系統(tǒng)、環(huán)境和/或配置的示例包括，但不限于，個人計算機、服務(wù)器計算機、手持或膝上型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機頂盒、可編程消費者電子產(chǎn)品、網(wǎng)絡(luò)PC、小型機、大型機、包含上述系統(tǒng)或設(shè)備中的任一個的分布式計算機環(huán)境等。所公開的技術(shù)可在諸如程序模塊等由計算機執(zhí)行的計算機可執(zhí)行指令的一般上下文中描述。一般而言，如此處所述的軟件和程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)和其他類型的結(jié)構(gòu)。硬件或硬件和軟件的組合可代替如此處所述的軟件模塊。所公開的技術(shù)也可以在任務(wù)由通過通信網(wǎng)絡(luò)鏈接的遠程處理設(shè)備執(zhí)行的分布式計算環(huán)境中實現(xiàn)。在分布式計算環(huán)境中，程序模塊可以位于包括存儲器存儲設(shè)備在內(nèi)的本地和遠程計算機存儲介質(zhì)中。出于本文檔的目的，與所公開的技術(shù)相關(guān)聯(lián)的每個過程可以持續(xù)地并由一個或多個計算設(shè)備來執(zhí)行。該過程中的每個步驟都可由與在其他步驟中所使用的那些計算設(shè)備相同或不同的計算設(shè)備來執(zhí)行，且每個步驟不必由單個計算設(shè)備來執(zhí)行。出于本文的目的，說明書中引述的“ 一實施例”、“ 一個實施例”、“某些實施例”或“另一實施例”用于描述不同的實施例并且不必然指的是同一實施例。出于本文的目的，連接可以是直接連接或間接連接(例如，經(jīng)由另一方)。出于本文的目的，術(shù)語對象的“集合”指的是一個或多個對象的“集合”。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。
權(quán)利要求
1.一種使用移動設(shè)備來生成增強現(xiàn)實環(huán)境的方法，包括: 獲取預(yù)定文件格式的特定文件(716)，所述特定文件包括與一個或多個虛擬對象相關(guān)聯(lián)的信息，所述特定文件包括所述一個或多個虛擬對象中的每個虛擬對象的狀態(tài)信息，所述一個或多個虛擬對象包括第一虛擬對象，所述第一虛擬對象與第一狀態(tài)以及不同于所述第一狀態(tài)的第二狀態(tài)相關(guān)聯(lián)，所述第一狀態(tài)與一個或多個觸發(fā)事件相關(guān)聯(lián)，所述一個或多個觸發(fā)事件中的第一觸發(fā)事件與所述第二狀態(tài)相關(guān)聯(lián)； 將所述第一虛擬對象設(shè)為所述第一狀態(tài)(718)； 檢測所述第一觸發(fā)事件(722)； 響應(yīng)于檢測到所述第一觸發(fā)事件將所述第一虛擬對象設(shè)為所述第二狀態(tài)(724)，所述將所述第一虛擬對象設(shè)為所述第二狀態(tài)包括獲取與所述一個或多個觸發(fā)事件不同的一個或多個新的觸發(fā)事件；以及 生成與所述第二狀態(tài)中的所述第一虛擬對象相關(guān)聯(lián)的一個或多個圖像并在所述移動設(shè)備上顯示(728)，所述一個或多個圖像被顯示，使得所述第二狀態(tài)中的所述第一虛擬對象被感知為存在于真實世界環(huán)境內(nèi)。
2.如權(quán)利要求1所述的方法，其特征在于: 所述第一狀態(tài)與所述第一虛擬對象的第一 3-D模型相關(guān)聯(lián)；以及所述第二狀態(tài)與所述第一虛擬對象的不同于所述第一 3-D模型的第二 3-D模型相關(guān)聯(lián)，所述一個或多個圖像包括經(jīng)呈現(xiàn)的版本的所述第二 3-D模型。
3.如權(quán)利要求1-2中任一項所述的方法，其特征在于，還包括: 在所述移動設(shè)備上顯示與所述第一狀態(tài)中的所述第一虛擬對象相關(guān)聯(lián)的一個或多個其他圖像，一個或多個其 他圖像被顯示，使得所述第一狀態(tài)中的所述第一虛擬對象被感知為存在于所述真實世界環(huán)境內(nèi)，所述在所述移動設(shè)備上顯示與所述第一狀態(tài)中的所述第一虛擬對象相關(guān)聯(lián)的一個或多個其他圖像是在檢測到所述第一觸發(fā)事件之前執(zhí)行的，所述一個或多個其他圖像包括所述第一 3-D模型的經(jīng)呈現(xiàn)的版本。
4.如權(quán)利要求1-3中的任一項所述的方法，其特征在于: 所述第一觸發(fā)事件包括與朝向所述第一虛擬對象的眼睛注視同時的特定手勢的作出；以及 所述移動設(shè)備包括透視HMD。
5.如權(quán)利要求1-4中的任一項所述的方法，其特征在于: 所述第二狀態(tài)與不同于所述一個或多個觸發(fā)事件的所述一個或多個新的觸發(fā)事件相關(guān)聯(lián)。
6.如權(quán)利要求1所述的方法，其特征在于，還包括: 在將所述第一虛擬對象設(shè)為所述第二狀態(tài)之前預(yù)測所述第二狀態(tài)；以及響應(yīng)于所述在將所述第一虛擬對象設(shè)為所述第二狀態(tài)之前預(yù)測所述第二狀態(tài)，獲取一個或多個第二虛擬對象。
7.如權(quán)利要求6所述的方法，其特征在于: 所述預(yù)測所述第二狀態(tài)包括確定與所述一個或多個觸發(fā)事件中的每一個相關(guān)聯(lián)的一個或多個觸發(fā)概率。
8.一種用于生成增強現(xiàn)實環(huán)境的電子設(shè)備，包括:一個或多個處理器(146)，所述一個或多個處理器建立與補充信息提供者的連接，所述一個或多個處理器向所述補充信息提供者傳輸與一個或多個虛擬對象相關(guān)聯(lián)的特定身份，所述一個或多個處理器基于所述特定身份來接收與所述一個或多個虛擬對象相關(guān)聯(lián)的虛擬對象信息，所述虛擬對象信息被包含在特定全息文件格式的特定文件內(nèi)，所述特定全息文件格式包括預(yù)定結(jié)構(gòu)，所述一個或多個虛擬對象包括第一虛擬對象，所述一個或多個處理器確定與所述電子設(shè)備相關(guān)聯(lián)的姿態(tài)，所述一個或多個處理器基于所述姿態(tài)來生成與所述第一虛擬對象相關(guān)聯(lián)的一個或多個圖像；以及 透視顯示器(150)，所述透視顯示器顯示與所述第一虛擬對象相關(guān)聯(lián)的所述一個或多個圖像，所述一個或多個圖像被顯示，使得所述第一虛擬對象被感知為存在于所述電子設(shè)備存在于其中的真實世界環(huán)境內(nèi)。
9.如權(quán)利要求8所述的電子設(shè)備，其特征在于: 所述第一虛擬對象與第一狀態(tài)以及不同于所述第一狀態(tài)的第二狀態(tài)相關(guān)聯(lián)，所述第一狀態(tài)與一個或多個觸發(fā)事件相關(guān)聯(lián)，所述一個或多個觸發(fā)事件中的第一觸發(fā)事件與所述第二狀態(tài)相關(guān)聯(lián)，所述一個或多個處理器將所述第一虛擬對象設(shè)為所述第一狀態(tài)，所述一個或多個處理器檢測到所述第一觸發(fā)事件，所述一個或多個處理器響應(yīng)于對所述第一觸發(fā)事件的檢測將所述第一虛擬對象設(shè)為所述第二狀態(tài)，所述一個或多個處理器響應(yīng)于對所述第一觸發(fā)事件的檢測從所述補充信息提供者獲取不同于所述一個或多個觸發(fā)事件的一個或多個新的觸發(fā)事件，所述一個或多個圖像與所述第二狀態(tài)中的所述第一虛擬對象相關(guān)聯(lián)，所述一個或多個圖像被顯示，使得所述第二狀態(tài)中的所述第一虛擬對象被感知為存在于所述真實世界環(huán)境內(nèi)。
10.如權(quán)利要求8-9中的任一項所述的電子設(shè)備，其特征在于: 所述第一狀態(tài)與所述第一虛擬對象的第一 3-D模型相關(guān)聯(lián)；以及 所述第二狀態(tài)與所述第一虛擬對象的不同于所述第一 3-D模型的第二 3-D模型相關(guān)聯(lián)。
全文摘要
本發(fā)明涉及具有全息對象的個人音頻/視頻系統(tǒng)。描述了使用基于狀態(tài)的虛擬對象來生成增強現(xiàn)實環(huán)境的系統(tǒng)?；跔顟B(tài)的虛擬對象可以與多個不同狀態(tài)相關(guān)聯(lián)。多個不同狀態(tài)中的每個狀態(tài)可對應(yīng)于一組唯一的與任何其他狀態(tài)的事件不同的觸發(fā)事件。與特定狀態(tài)相關(guān)聯(lián)的這組觸發(fā)事件可用于確定何時需要從特定狀態(tài)的狀態(tài)改變。在一些情況下，多個不同狀態(tài)中的每個狀態(tài)可與不同的3-D模型或形狀相關(guān)聯(lián)?？墒褂弥С只跔顟B(tài)的虛擬對象的預(yù)定和標(biāo)準(zhǔn)化文件格式來定義多個不同狀態(tài)。在一些實施例中，可基于與這組觸發(fā)事件相關(guān)聯(lián)的一個或多個觸發(fā)概率，來預(yù)測從特定狀態(tài)的一個或多個潛在的狀態(tài)改變。
文檔編號G06F3/01GK103076875SQ20121037603
公開日2013年5月1日 申請日期2012年9月28日 優(yōu)先權(quán)日2011年9月30日
發(fā)明者K·A·蓋斯那, S·G·拉塔, B·J·薩格登, B·I·瓦特, A·A-A·基普曼, K·S·佩雷茲, J·A·卡爾 申請人:微軟公司