諸如頭戴式顯示器(HMD)系統(tǒng)和手持式移動設(shè)備(例如，智能電話、平板計算機等等)之類的混合現(xiàn)實計算設(shè)備可以被配置成向用戶顯示關(guān)于在用戶的視野中和/或設(shè)備的攝像機的視野中的虛擬和/或現(xiàn)實對象的信息。例如，HMD設(shè)備可以被配置成使用透視顯示系統(tǒng)來顯示其中混合有現(xiàn)實世界對象的虛擬環(huán)境或者其中混合有虛擬對象的現(xiàn)實世界環(huán)境。類似地，移動設(shè)備可以使用相機取景器窗口來顯示這樣的信息。

提供本背景來介紹以下概述和詳細描述的簡要上下文。本背景不旨在幫助確定所要求保護的主題的范圍，也不旨在被看作將所要求保護的主題限于解決以上所提出的問題或缺點中的任一個或全部的實現(xiàn)。

概述

混合現(xiàn)實頭戴式顯示器(HMD)設(shè)備支持三維(3D)虛擬世界應(yīng)用，通過該三維虛擬世界應(yīng)用可以與在耦合至個人計算機(PC)的監(jiān)視器上顯示的現(xiàn)實世界桌面交互并且共享鼠標輸入。在PC上執(zhí)行的鼠標輸入服務(wù)器追蹤在監(jiān)視器上顯示的桌面上的鼠標移動。當鼠標的移動超過監(jiān)視器屏幕的邊緣時，鼠標輸入服務(wù)器控制鼠標并且使鼠標消息免于通過PC系統(tǒng)進行傳播。鼠標輸入服務(wù)器通過網(wǎng)絡(luò)連接與由應(yīng)用暴露的鼠標輸入客戶端通信以向該客戶端通知鼠標已經(jīng)轉(zhuǎn)換到在虛擬世界中操作，并且傳遞描述鼠標移動和控制操作(諸如按鈕按壓)的鼠標消息。鼠標輸入客戶端使用桌面上的最后位置來計算鼠標在虛擬世界中的初始位置，并且利用鼠標消息來計算位置差值以基于鼠標的移動和來自用戶的控制輸入來動態(tài)地控制虛擬世界中的鼠標。

在各種說明性和非限制性示例中，HMD設(shè)備可以支持混合現(xiàn)實環(huán)境，在混合現(xiàn)實環(huán)境中用戶看見在監(jiān)視器上示出的桌面并且使用鼠標與桌面交互。用戶可以無縫地將鼠標轉(zhuǎn)換到虛擬世界中以通過光標與虛擬世界對象交互，光標使用與光標離虛擬世界中的用戶距離成比例的大小(即，當較近時較大，而較遠時較小)以3D動態(tài)呈現(xiàn)。在一些場景中，用戶可以將窗口或其他對象從桌面拖拽到虛擬世界中以創(chuàng)建虛擬對象，諸如平板、畫布或交互式對象。在其他場景中，用戶可以采用鼠標來與可作為混合現(xiàn)實環(huán)境的一部分被包括的現(xiàn)實世界對象交互。例如，用戶可以移動鼠標光標以與現(xiàn)實世界對象碰撞并且點擊/選擇現(xiàn)實世界表面。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并非旨在標識出要求保護的主題的關(guān)鍵特征或必要特征，亦非旨在用作輔助確定要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現(xiàn)。應(yīng)當理解，上述主題可被實現(xiàn)為計算機控制的裝置、計算機進程、計算系統(tǒng)或諸如一個或多個計算機可讀存儲介質(zhì)等制品。通過閱讀下面的詳細描述并審閱相關(guān)聯(lián)的附圖，這些及各種其他特征將變得顯而易見。

附圖簡述

圖1示出一個說明性的虛擬現(xiàn)實環(huán)境，在HMD設(shè)備的用戶的視野內(nèi)呈現(xiàn)了該虛擬現(xiàn)實環(huán)境的一部分；

圖2示出在HMD設(shè)備的用戶位于其中的說明性現(xiàn)實世界環(huán)境；

圖3示出了在HMD設(shè)備的視野內(nèi)顯示的說明性混合現(xiàn)實環(huán)境；

圖4示出了由HMD傳感器封裝提供的說明性數(shù)據(jù)；

圖5描繪了正被HMD設(shè)備捕捉的與現(xiàn)實世界對象相關(guān)聯(lián)的表面重構(gòu)數(shù)據(jù)；

圖6示出了說明性表面重構(gòu)流水線的框圖；

圖7示出了支持鼠標輸入客戶端的三維(3D)虛擬應(yīng)用，鼠標輸入客戶端通過網(wǎng)絡(luò)連接與在個人計算機(PC)上執(zhí)行的鼠標輸入服務(wù)器通信；

圖8示出了可以使用鼠標輸入客戶端和鼠標輸入服務(wù)器實現(xiàn)的說明性方法；

圖9示出了鼠標光標被說明性地從桌面轉(zhuǎn)換到在HMD設(shè)備的用戶視野內(nèi)顯示的混合現(xiàn)實環(huán)境中的虛擬世界中的位置；

圖10示出了一對象使用鼠標從桌面被拖拽到在HMD設(shè)備的用戶視野內(nèi)顯示的混合現(xiàn)實環(huán)境中的虛擬世界中；

圖11示出了與在HMD設(shè)備的用戶視野內(nèi)現(xiàn)實的混合現(xiàn)實環(huán)境中的現(xiàn)實世界對象碰撞的鼠標光標；

圖12、13和14是可以使用HMD設(shè)備執(zhí)行的說明性方法的流程圖；

圖15是虛擬現(xiàn)實HMD設(shè)備的說明性示例的圖形視圖；

圖16示出虛擬現(xiàn)實HMD設(shè)備的說明性示例的功能框圖；

圖17和18是可用作虛擬現(xiàn)實HMD設(shè)備的組件的說明性封閉面罩的圖形前視圖；

圖19示出了在被部分分解時的封閉面罩的視圖；

圖20示出了封閉面罩的幻影線前視圖；

圖21示出了封閉面罩的圖形后視圖；

圖22示出了示例性計算系統(tǒng)；以及

圖23是可部分地被用于實現(xiàn)本發(fā)明的鼠標共享的說明性計算機系統(tǒng)(諸如個人計算機(PC))的簡化框圖。

各附圖中相同的附圖標記指示相同的元素。除非另外指明否則各元素不是按比例繪制的。

詳細描述

HMD設(shè)備上支持的混合現(xiàn)實或增強現(xiàn)實環(huán)境通常組合現(xiàn)實世界元素和計算機生成的虛擬現(xiàn)實元素以實現(xiàn)各種各樣的用戶體驗。在說明性示例中，如圖1所示，用戶102可以使用HMD設(shè)備104來體驗在光學(xué)顯示器上可視地呈現(xiàn)并在一些實現(xiàn)中可以包括音頻和/或觸覺/觸摸感覺的虛擬現(xiàn)實環(huán)境100。在該特定非限制示例中，虛擬現(xiàn)實環(huán)境100包括具有用戶102可看見并與其交互的各種建筑、商店等的城市街道。當用戶改變他頭部的位置或取向和/或在現(xiàn)實世界空間中移動時，他對虛擬現(xiàn)實環(huán)境的視圖可以改變。(由圖1中的虛線區(qū)域110表示的)視野可以調(diào)整大小和形狀，并且可以控制該設(shè)備的其它特性來使得HMD設(shè)備體驗可視地似真以為用戶提供在虛擬世界的強烈存在感。

如圖2所示，在使用HMD設(shè)備104時用戶占據(jù)的物理現(xiàn)實世界空間200可以包含各種現(xiàn)實世界對象，包括PC 205、監(jiān)視器210和工作表面215。其他現(xiàn)實世界對象也可存在于空間200中，如由參考標號220代表性指示的。用戶可以使用鼠標225和其他用戶接口(未在圖2中示出，諸如一些情形中的鍵盤、語音和姿勢)與PC和監(jiān)視器交互。在這一特定說明性示例中，監(jiān)視器被納入混合現(xiàn)實環(huán)境300中，如圖3所示，并且在HMD設(shè)備104上對于用戶可以是可見的。

用戶通?？梢栽诓榭椿旌犀F(xiàn)實環(huán)境中的監(jiān)視器210時按照與現(xiàn)實世界環(huán)境中基本上相同的方式與PC交互。例如，用戶可以使用在監(jiān)視器210上顯示的鼠標光標315與在桌面310上支持的對象、元素、窗口等(代表性地由參考標號305來指示)交互。

如圖4所示，HMD設(shè)備104配置有傳感器封裝400。在下文中更詳細地描述示例性傳感器。傳感器封裝400可以支持各種功能，包括可用于頭部追蹤以確定用戶頭部在物理現(xiàn)實世界空間200內(nèi)的(三維)3D位置和取向415的表面重構(gòu)410。在一些實現(xiàn)中，傳感器封裝可以支持注視追蹤420以查明用戶注視425的方向，在實現(xiàn)本公開的鼠標共享時用戶注視425的方向可以與頭部位置和取向數(shù)據(jù)一起使用。

HMD設(shè)備104被配置成通過使用包括集成深度傳感器505的傳感器封裝(如圖5所示)來執(zhí)行頭部追蹤來獲得表面重構(gòu)數(shù)據(jù)500。在替換實現(xiàn)中，可以使用合適的立體圖分析技術(shù)來導(dǎo)出深度數(shù)據(jù)。圖6示出用于獲得現(xiàn)實世界空間中的對象的表面重構(gòu)數(shù)據(jù)的說明性表面重構(gòu)數(shù)據(jù)流水線600。需要強調(diào)的是所公開的技術(shù)是說明性的，并且根據(jù)特定實現(xiàn)的要求可以使用其它技術(shù)和方法。原始深度傳感器數(shù)據(jù)602被輸入到傳感器的3D(三維)姿勢估計中(框604)。傳感器姿勢跟蹤可以例如使用在預(yù)期表面和當前傳感器測量之間的ICP(迭代最近點)算法來實現(xiàn)。每個傳感器的深度測量可以使用例如被編碼為符號距離場(SDF)的表面被整合(框606)到容積表示中。使用循環(huán)，SDF被光線投射(框608)入所估計的系中以提供所述深度圖與之對齊的密集表面預(yù)測。因而，當用戶102環(huán)顧虛擬世界時，與現(xiàn)實世界空間200(圖2)相關(guān)聯(lián)的表面重構(gòu)數(shù)據(jù)可以被收集并且被分析以確定用戶頭部在空間內(nèi)的位置和取向。在一些實現(xiàn)中，連同注視檢測，頭部追蹤使得HMD設(shè)備104能夠查明用戶的查看位置。

HMD設(shè)備104可以利用3D虛擬世界應(yīng)用705以支持混合現(xiàn)實環(huán)境，如圖7所示。該應(yīng)用可以通過網(wǎng)絡(luò)連接710與PC 205通信。PC 205暴露鼠標輸入服務(wù)器715，鼠標輸入服務(wù)器715與應(yīng)用705支持的客戶端720交互。鼠標輸入服務(wù)器與在PC上運行的操作系統(tǒng)(OS)725對接以監(jiān)聽來自用戶的鼠標輸入。圖8是可以使用鼠標輸入服務(wù)器和客戶端實現(xiàn)的說明性方法800的流程圖。

在步驟805，當鼠標輸入客戶端720連接到PC 205上的鼠標輸入服務(wù)器715時，鼠標輸入服務(wù)器通過其與操作系統(tǒng)725的連接來追蹤鼠標移動。在決策框810，如果鼠標沒有超過監(jiān)視器210的屏幕限制，則認為用戶仍然在桌面上使用鼠標并且控制返回到步驟805。如果鼠標超過了監(jiān)視器范圍，則在步驟815中，鼠標輸入服務(wù)器715取得鼠標控制并且阻止鼠標消息傳播到在PC 205上執(zhí)行的其他組件。

在步驟820，鼠標輸入服務(wù)器715向鼠標輸入客戶端720通知鼠標在虛擬世界中操作并且它將鼠標消息(諸如鼠標移動和用戶輸入(例如，按鈕點擊、滾輪動作等))傳遞到鼠標輸入客戶端。在步驟825，鼠標輸入客戶端720基于監(jiān)視器210屏幕上的退出點來計算虛擬世界中光標315的初始位置，并且在步驟830，基于鼠標移動的改變來計算光標315的下一位置。光標可以使用與光標離虛擬世界中的用戶距離成比例的大小以3D被動態(tài)呈現(xiàn)。即，當在虛擬世界中更靠近查看者時通常它被呈現(xiàn)地更大，而在較遠離時，它被呈現(xiàn)地更小。此類根據(jù)距離的動態(tài)呈現(xiàn)可能是有益的，因為在用戶查看光標以及虛擬世界中的任何周圍元素或?qū)ο髸r不需要改變他的焦點深度。在步驟835，可以實現(xiàn)碰撞，以使得在一些情形中用戶可以在混合現(xiàn)實環(huán)境中的現(xiàn)實世界對象的表面上點擊，如下文更詳細描述的。

在步驟840，鼠標輸入客戶端720計算虛擬世界中的下一光標位置與關(guān)聯(lián)于HMD設(shè)備104的查看位置之間的光線。如果計算所得的光線與監(jiān)視器210的屏幕相交，則在步驟845鼠標輸入客戶端720向鼠標輸入服務(wù)器315通知光標315已經(jīng)在轉(zhuǎn)換回到PC桌面并且將最后的光標位置報告給鼠標輸入服務(wù)器。在步驟850，鼠標輸入客戶端720不繼續(xù)呈現(xiàn)虛擬世界中的光標315并且停止對鼠標輸入事件作出響應(yīng)。在步驟855，鼠標輸入服務(wù)器715使用由鼠標輸入客戶端720報告的最后位置來計算桌面上的光標重新進入位置。

圖9、10和11示出了PC桌面與虛擬世界之間的鼠標共享的說明性示例。要強調(diào)的是，這些示例旨在是說明性的，并且各種各樣的不同鼠標共享場景可以使用本發(fā)明的技術(shù)來實現(xiàn)。

圖9示出了在光標315轉(zhuǎn)換離開桌面310并且進入虛擬世界100時由HMD設(shè)備104提供的說明性視野900。如這一特定示例中所示，用戶已經(jīng)將光標315移動到在虛擬世界100中的門915上點擊。如上所述，光標315可以在虛擬世界中以3D被成比例地呈現(xiàn)(附圖中光標的描繪被簡化以助于清楚闡述)。

圖10示出了用戶使用鼠標將對象305從桌面310拖拽到虛擬世界中的說明性視野1000。在一些情形中，當對象被拖拽到虛擬世界中之后當它受到桌面支持時，對象可以表現(xiàn)為如其通常表現(xiàn)得那樣。例如，如果對象305是應(yīng)用窗口，則來自PC的應(yīng)用可以按照正常方式呈現(xiàn)到窗口中。這一特征因而可使得用戶能夠擴展桌面的大小。在其他情形中，當對象被拖拽到虛擬世界中時，對象的行為可以被轉(zhuǎn)變(其中此類經(jīng)轉(zhuǎn)變的行為可以根據(jù)特定實現(xiàn)的需要來實現(xiàn))。在這一特定示例中，對象305用作平板或畫布以為用戶提供附加工作區(qū)域。

在一些情形中，當用戶將對象從桌面移動到虛擬世界時，對象可以被固定在其位置處直到用戶再次移動它。例如，如果用戶拖拽對象并且將對象放置在虛擬世界中毗鄰監(jiān)視器210的位置處，則當用戶轉(zhuǎn)動他的頭部以查看虛擬世界的另一部分時，該對象可能變得在用戶的視野之外。在其他情形中，拖拽動作可以被用于將桌面對象固定或剪輯到視野的一部分，以使得對象保持可見，無論用戶的頭部位置/取向或者用戶在虛擬世界中的位置如何。

圖11示出了其中HMD設(shè)備104被配置成使得物理空間200(圖2)的各部分可查看的說明性視野1100。用戶可以看到監(jiān)視器210、工作表面215和空間200的其他部分，諸如地板、墻壁等。廢紙簍對象220也在視野1100中。HMD設(shè)備104向用戶提供移動光標以與現(xiàn)實世界對象(例如，如所示出的對象220)碰撞以與現(xiàn)實世界對象交互、在表面上點擊、作出選擇、指向?qū)ο蟮鹊哪芰ΑＴ谝恍﹫鼍爸?，響?yīng)于鼠標交互，HMD設(shè)備104可被配置成將各種視覺處理(諸如突出顯示、顏色、動畫化、或其他全息或虛擬元素/對象)應(yīng)用于現(xiàn)實世界對象。

圖12和13是可使用HMD設(shè)備104來執(zhí)行的說明性方法的流程圖。圖14是可以由計算設(shè)備(諸如PC 205)執(zhí)行的說明性方法的流程圖。除非明確說明，否則流程圖中所示并且在伴隨的文本中描述的方法或步驟不限于特定的次序或順序。此外，一些方法或其步驟可同時發(fā)生或被執(zhí)行，并且取決于給定實現(xiàn)的要求，在這一實現(xiàn)中不是所有方法或步驟均需要被執(zhí)行，并且一些方法或步驟可以是可選地被使用。

在圖12所示的說明性方法1200中，在步驟1205，HMD設(shè)備呈現(xiàn)混合現(xiàn)實環(huán)境，混合現(xiàn)實環(huán)境通常包括虛擬世界中的對象以及現(xiàn)實世界對象(諸如監(jiān)視器210)。在步驟1210，鼠標消息通過網(wǎng)絡(luò)連接從在遠程計算設(shè)備(諸如PC 205)上操作的鼠標輸入服務(wù)器被接收。當鼠標移動導(dǎo)致光標移動超過監(jiān)視器邊界時，在步驟1215，虛擬世界中的初始光標位置被計算。在步驟1220，鼠標消息被用來基于鼠標移動差值來確定后續(xù)光標位置。在步驟1225，按鈕按壓和其他輸入事件從鼠標輸入服務(wù)器被接收。

在步驟1230，光標被呈現(xiàn)在虛擬世界中，并且使用初始和后續(xù)位置以及按鈕按壓和輸入事件來執(zhí)行各種動作(例如，選擇、拖拽、滾動等)。在步驟1235，使用鼠標來支持與虛擬對象和/或現(xiàn)實世界對象的交互。

在步驟1240，使用來自傳感器封裝(例如，使用表面重構(gòu)技術(shù))來執(zhí)行頭部追蹤。在一些情形中，還可執(zhí)行注視追蹤。在步驟1245，根據(jù)頭部追蹤數(shù)據(jù)和/或注視追蹤數(shù)據(jù)來確定查看位置。在步驟1250，光線從查看位置被投影，并且如果所投影的光線與監(jiān)視器相交，則在步驟1255，光標被轉(zhuǎn)換到監(jiān)視器上的桌面。

在圖13所示的說明性方法1300中，在步驟1305，鼠標輸入客戶端在運行在HMD設(shè)備上的應(yīng)用中操作。在步驟1310，鼠標消息通過網(wǎng)絡(luò)連接從在計算設(shè)備(諸如PC 205)上運行的鼠標輸入服務(wù)器被接收。在步驟1315，基于從監(jiān)視器210上支持的桌面的退出位置來確定光標的初始位置。在步驟1320，鼠標移動被用于確定虛擬世界中的后續(xù)光標位置。在步驟1325，初始和后續(xù)光標位置在HMD設(shè)備中被呈現(xiàn)。在步驟1330，使用來自HMD設(shè)備上的傳感器封裝的傳感器數(shù)據(jù)來確定查看位置。在步驟1335，當從查看位置投影的光線與監(jiān)視器相交時，光標被轉(zhuǎn)換到桌面。

在圖14所示的說明性方法1400中，在步驟1405，在計算設(shè)備(諸如PC 205)上運行的鼠標輸入服務(wù)器追蹤描述鼠標移動和輸入的鼠標消息。例如，鼠標輸入服務(wù)器可具有到在計算平臺上運行的操作系統(tǒng)的掛鉤(hook)以追蹤鼠標消息。如果沒有鼠標輸入客戶端被檢測到，則鼠標輸入服務(wù)器通常僅僅監(jiān)聽鼠標消息但不采取其他動作。當客戶端通過網(wǎng)絡(luò)連接被連接時，鼠標輸入服務(wù)器可以執(zhí)行追蹤。在步驟1410，當鼠標移動指示光標移動離開監(jiān)視器210邊緣時，鼠標輸入服務(wù)器取得鼠標消息的控制并且阻止鼠標消息轉(zhuǎn)播到在設(shè)備上運行的其他系統(tǒng)。

在步驟1415，鼠標消息通過網(wǎng)絡(luò)連接被發(fā)送到HMD設(shè)備104上的鼠標輸入客戶端。在步驟1420，鼠標輸入服務(wù)器從鼠標輸入客戶端接收光標轉(zhuǎn)換到監(jiān)視器上的桌面的消息。在步驟1425，基于虛擬世界中最后報告的光標位置來確定桌面上的初始光標位置。在步驟1430，對鼠標消息的控制被釋放，并且光標被啟用以在桌面上正常操作。

現(xiàn)轉(zhuǎn)至各說明性實現(xiàn)細節(jié)，根據(jù)本布置的透視、混合現(xiàn)實顯示設(shè)備可以采用任何合適的形式，包括但不限于諸如HMD設(shè)備104和/或其它便攜式/移動設(shè)備之類的近眼設(shè)備。圖15示出了透視混合現(xiàn)實顯示系統(tǒng)1500的一個特定說明性示例，而圖16顯示了系統(tǒng)1500的功能框圖。顯示系統(tǒng)1500包括形成透視顯示子系統(tǒng)1504的一部分的一個或多個透鏡1502，以便圖像可以使用透鏡1502(例如，使用到透鏡1502上的投影、并入透鏡1502中的一個或多個波導(dǎo)系統(tǒng)和/或以任何其他合適的方式)來顯示。顯示系統(tǒng)1500進一步包括被配置成獲取正在被用戶查看的背景場景和/或物理空間的圖像的一個或多個面向外的圖像傳感器1506，并可包括被配置成檢測聲音(諸如來自用戶的語音命令)的一個或多個話筒1508。面向外的圖像傳感器1506可包括一個或多個深度傳感器和/或一個或多個二維圖像傳感器。在替換布置中，代替納入透視顯示子系統(tǒng)，混合現(xiàn)實顯示系統(tǒng)可以通過面向外的圖像傳感器的取景器模式來顯示混合現(xiàn)實圖像。

顯示系統(tǒng)1500還可以進一步包括被配置成檢測用戶的每一眼睛的注視方向或焦點的方向或位置的注視檢測子系統(tǒng)1510，如上文所描述的。注視檢測子系統(tǒng)1510可以配置來以任何合適方式確定用戶每只眼睛的注視方向。例如，在所示的說明性示例中，注視檢測子系統(tǒng)1510包括被配置成導(dǎo)致光的閃爍從用戶的每一眼球反射的一個或多個閃光源1512(諸如紅外光源)，以及被配置成捕捉用戶的每一眼球的圖像的一個或多個圖像傳感器1514(諸如面向內(nèi)的傳感器)。根據(jù)使用(諸)圖像傳感器1514收集的圖像數(shù)據(jù)所確定的用戶眼球的閃爍和/或用戶瞳孔的位置中變化可以用于確定注視方向。

此外，從用戶眼睛投射的注視線與外部顯示器交叉的位置可以用于確定用戶注視的對象(例如，所顯示的虛擬對象和/或真實的背景對象)。注視檢測子系統(tǒng)1510可以具有任何合適數(shù)量和布置的光源以及圖像傳感器。在一些實現(xiàn)中，可以省略注視檢測子系統(tǒng)1510。

顯示系統(tǒng)1500還可以包括附加傳感器。例如，顯示系統(tǒng)1500可以包括全球定位系統(tǒng)(GPS)子系統(tǒng)1516，以允許確定顯示系統(tǒng)1500的位置。這可以幫助標識可以位于用戶的毗鄰物理環(huán)境中的現(xiàn)實世界的對象(諸如建筑物等等)。

顯示系統(tǒng)1500還可以包括一個或多個運動傳感器1518(例如慣性、多軸陀螺儀或加速度傳感器)，以在用戶戴著作為增強現(xiàn)實HMD設(shè)備的部分的所述系統(tǒng)時檢測用戶頭的移動和位置/朝向/姿勢。運動數(shù)據(jù)可以潛在地與眼睛跟蹤閃爍數(shù)據(jù)和面向外的圖像數(shù)據(jù)一起被使用來用于注視檢測以及用于圖像穩(wěn)定化，以幫助校正來自(諸)面向外圖像傳感器1506的圖像中的模糊。運動數(shù)據(jù)的使用可以允許注視位置的變化被跟蹤，即使不能解析來自(諸)面向外的圖像傳感器1506的圖像數(shù)據(jù)。

另外，運動傳感器1518，以及話筒1508和注視檢測子系統(tǒng)1510，還可以被用作用戶輸入設(shè)備，以便用戶可以通過眼睛、頸部和/或頭部的姿勢，以及在一些情況中通過語音命令，與顯示系統(tǒng)1500進行交互。可以理解，圖15和16中所示出的并在附隨的文本中描述的傳感器只是出于示例的目的被包括，而不旨在以任何方式作出限制，因為可以使用任何其他合適的傳感器和/或傳感器的組合來滿足增強現(xiàn)實HMD設(shè)備的特定實現(xiàn)的需求。例如，生物特征傳感器(例如用于檢測心臟和呼吸速率、血壓、大腦活動、體溫等)或環(huán)境傳感器(例如用于檢測溫度、濕度、海拔、UV(紫外線)光等級等)可以在一些實現(xiàn)中被使用。

顯示系統(tǒng)1500可以進一步包括通過通信子系統(tǒng)1526與傳感器、注視檢測子系統(tǒng)1510、顯示子系統(tǒng)1504，和/或其他組件進行通信的具有邏輯子系統(tǒng)1522和數(shù)據(jù)存儲子系統(tǒng)1524的控制器1520。通信子系統(tǒng)1526還可以便利于顯示系統(tǒng)與位于遠程的資源，例如處理、存儲、功率、數(shù)據(jù)和服務(wù)結(jié)合操作。就是說，在一些實現(xiàn)中，HMD設(shè)備可以被作為一種系統(tǒng)的部分來操作，該系統(tǒng)可以在不同的組件和子系統(tǒng)間分布資源和能力。

存儲子系統(tǒng)1524可以包括存儲在其上的指令，這些指令能被邏輯子系統(tǒng)1522執(zhí)行例如用以：接收并解釋來自傳感器的輸入、標識用戶的移動、使用表面重構(gòu)和其它技術(shù)標識真實對象，以及基于到對象的距離模糊/淡出所述顯示以便允許所述對象被用戶看到，以及其它任務(wù)。

顯示系統(tǒng)1500被配置有一個或多個音頻換能器1528(例如揚聲器、耳機等)，這樣，音頻可以被用作增強現(xiàn)實體驗的部分。功率管理子系統(tǒng)1530可以包括一個或多個電池1532和/或保護電路模塊(PCMs)以及相關(guān)聯(lián)的充電接口1534和/或用于對顯示系統(tǒng)1500中的組件供電的遠程電源接口。

可以理解，所描繪的顯示設(shè)備104和1500是出于示例的目的描述的，并由此不旨在是限制性的。進一步理解，顯示設(shè)備可包括除所示出的那些之外的額外的和/或替代的傳感器、相機、話筒、輸入設(shè)備、輸出設(shè)備等等，而不會背離本安排的范圍。另外，顯示設(shè)備及其各種傳感器和子組件的物理配置可以采取各種不同的形式，而不會背離本安排的范圍。

圖17-21示出可被用作HMD設(shè)備的組件的增強現(xiàn)實顯示系統(tǒng)1700的說明性替換實現(xiàn)。在該示例中，系統(tǒng)1700使用透視密封面罩1702，該密封面罩1702被配置成保護透視顯示子系統(tǒng)所利用的內(nèi)部光學(xué)器件組裝件。面罩1702通常與HMD設(shè)備的其他組件(未示出)對接，其他組件為諸如頭部安裝/維持系統(tǒng)和其他子系統(tǒng)(包括傳感器、電源管理、控制器等)，如結(jié)合圖15和16說明性地描述的。包括卡扣、夾箍、螺釘和其他緊固件等的合適接口元件(未示出)也可被納入在面罩1702中。

面罩分別包括透視前護罩1704和透視后護罩1706，透視前護罩1704和透視后護罩1706可使用透明材料來建模以促成到光學(xué)顯示器和周圍的現(xiàn)實世界環(huán)境的未經(jīng)遮擋的視覺?？上蚯白o罩和后護罩應(yīng)用諸如染色、映射、抗反射、抗霧和其他涂覆之類的處理，并且還可利用各種色彩和飾面。前護罩和后護照被固定到底座1805，如圖18中的部分剖視圖中所描繪的，其中護照蓋1810被示出為與面罩1702分解。

密封面罩1702可在HMD設(shè)備被佩戴并在操作中被使用時，以及在正常處理以用于清理等器件物理地保護敏感的內(nèi)部組件，包括光學(xué)器件顯示子部件1902(在圖19中的分解視圖中示出的)。面罩1702還可保護光學(xué)器件顯示子部件1902遠離各環(huán)境元件，并在HMD設(shè)備被掉落或撞擊、被碰撞等情況下免遭損壞。光學(xué)器件顯示子部件1902按使得各護罩在掉落或碰撞之際被偏轉(zhuǎn)時不接觸該子部件的方式被安裝在封閉面罩內(nèi)。

如圖19和21所示，后護罩1706按人體工程學(xué)上正確的形式被配置成與用戶的鼻子和鼻托2104(圖21)對接，并且可包括其他舒適特征(例如，作為分立組件來建模和/或添加)。在一些情況下，封閉面罩1702還可將某一水平的光學(xué)屈光度曲率(即，眼睛處方)納入成型的護罩中。

圖22示意性地示出了在實現(xiàn)以上描述的配置、布置、方法和過程中的一者或多者時可使用的計算系統(tǒng)2200的非限制性實施例。HMD設(shè)備104可以是計算系統(tǒng)2200的一個非限制性示例。計算系統(tǒng)2200以簡化形式示出。可理解，可以使用實際上任何計算機架構(gòu)，而不偏離本布置的范圍。在不同的實施例中，計算系統(tǒng)2200可以采取顯示設(shè)備、可穿戴計算設(shè)備、大型計算機、服務(wù)器計算機、臺式計算機、膝上型計算機、平板計算機、家庭娛樂計算機、網(wǎng)絡(luò)計算設(shè)備、游戲設(shè)備、移動計算設(shè)備、移動通信設(shè)備(例如智能電話)等等的形式。

計算系統(tǒng)2200包括邏輯子系統(tǒng)2202和存儲子系統(tǒng)2204。計算系統(tǒng)2200可任選地包括顯示子系統(tǒng)2206、輸入子系統(tǒng)2208、通信子系統(tǒng)2210和/或在圖22中未示出的其他組件。

邏輯子系統(tǒng)2202包括被配置成執(zhí)行指令的一個或多個物理設(shè)備。例如，邏輯子系統(tǒng)2202可以被配置為執(zhí)行作為一個或多個應(yīng)用、服務(wù)、程序、例程、庫、對象、組件、數(shù)據(jù)結(jié)構(gòu)或其它邏輯構(gòu)造的一部分的指令。可以實現(xiàn)這樣的指令為執(zhí)行任務(wù)、實現(xiàn)數(shù)據(jù)類型、變換一個或多個組件的狀態(tài)或以其它方式達到所需的結(jié)果。

邏輯子系統(tǒng)2202可包括被配置成執(zhí)行軟件指令的一個或多個處理器。作為補充或替換，邏輯子系統(tǒng)2202可包括被配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機器。邏輯子系統(tǒng)2202的處理器可以是單核或多核的，而其上執(zhí)行的程序可以被配置為進行串行、并行或分布式處理。邏輯子系統(tǒng)2202可任選地包括分布在兩個或更多設(shè)備之間的獨立組件，這些獨立組件可位于遠程和/或被配置用于進行協(xié)調(diào)處理。邏輯子系統(tǒng)2202的各方面可由以云計算配置進行配置的可遠程訪問的聯(lián)網(wǎng)計算設(shè)備來虛擬化和執(zhí)行。

存儲子系統(tǒng)2204包括一個或多個物理設(shè)備，該一個或多個物理設(shè)備被配置成保持邏輯子系統(tǒng)2202可執(zhí)行來實現(xiàn)本文中所述的方法和過程的數(shù)據(jù)和/或指令。在實現(xiàn)此類方法和過程時，存儲子系統(tǒng)2204的狀態(tài)可以被變換(例如，以保持不同的數(shù)據(jù))。

存儲器子系統(tǒng)2204可包括可移動介質(zhì)和/或內(nèi)置設(shè)備。存儲子系統(tǒng)2204可包括光學(xué)存儲器設(shè)備(例如，CD(壓縮盤)、DVD(數(shù)字多功能盤)、HD-DVD(高清DVD)、藍光盤等)、半導(dǎo)體存儲器設(shè)備(例如，RAM(隨機存取存儲器)、ROM(只讀存儲器)、EPROM(可擦除可編程ROM)、EEPROM(電可擦除ROM)等)和/或磁性存儲設(shè)備(例如，硬盤驅(qū)動器、軟盤驅(qū)動器、磁帶驅(qū)動器、MRAM(磁致電阻RAM)等)等等。存儲子系統(tǒng)2204可包括易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、隨機存取、順序存取、位置可尋址、文件可尋址、和/或內(nèi)容可尋址設(shè)備。

可領(lǐng)會，存儲子系統(tǒng)2204包括一個或多個物理設(shè)備，并排除傳播信號自身。然而，在一些實現(xiàn)中，本文描述的指令的各方面可經(jīng)由通信介質(zhì)通過純信號(例如，電磁信號、光學(xué)信號等)來傳播，而不是被存儲在存儲設(shè)備上。此外，與本布置有關(guān)的數(shù)據(jù)和/或其他形式的信息可以通過純信號來傳播。

在一些實施例中，邏輯子系統(tǒng)2202和存儲子系統(tǒng)2204的各方面可以被一起集成到一個或多個硬件-邏輯組件中，通過所述組件來執(zhí)行在此所述的功能性。這樣的硬件邏輯組件可包括：例如，現(xiàn)場可編程門陣列(FPGA)、程序和應(yīng)用專用集成電路(PASIC/ASIC)、程序和應(yīng)用專用標準產(chǎn)品(PSSP/ASSP)、片上系統(tǒng)(SOC)系統(tǒng)以及復(fù)雜可編程邏輯設(shè)備(CPLD)。

在被包括時，顯示子系統(tǒng)2206可用于呈現(xiàn)由存儲子系統(tǒng)2204保存的數(shù)據(jù)的視覺表示。此視覺表示可采用圖形用戶界面(GUI)的形式。由于目前描述的方法和過程改變了由存儲子系統(tǒng)保持的數(shù)據(jù)，并由此變換了存儲子系統(tǒng)的狀態(tài)，因此同樣可以轉(zhuǎn)變顯示子系統(tǒng)2206的狀態(tài)以視覺地表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)2206可包括利用幾乎任何類型的技術(shù)的一個或多個顯示設(shè)備。在一些情況下，可將此類顯示設(shè)備與邏輯子系統(tǒng)2202和/或存儲子系統(tǒng)2204一起組合在共享封裝中，或者在其他情況下，此類顯示設(shè)備可以是外圍觸摸顯示設(shè)備。

在包括輸入子系統(tǒng)2208時，輸入子系統(tǒng)2208可包括一個或多個用戶輸入設(shè)備(諸如鍵盤、鼠標、觸摸屏或游戲控制器)或與其對接。在一些實施例中，輸入子系統(tǒng)可包括所選擇的自然用戶輸入(NUI)組件或與其對接。這樣的組件可以是集成的或外圍的，且輸入動作的轉(zhuǎn)導(dǎo)和/或處理可以在板上或板外被處理。示例性NUI組件可包括用于語言和/或語音識別的話筒；用于機器視覺和/或姿勢識別的紅外、色彩、立體顯示和/或深度相機；用于運動檢測和/或意圖識別的頭部跟蹤器、眼睛跟蹤器、加速計和/或陀螺儀；以及用于評估腦部活動的電場感測組件。

在包括通信子系統(tǒng)2210時，通信子系統(tǒng)2210可以被配置成將計算系統(tǒng)2200與一個或多個其他計算設(shè)備通信耦合。通信子系統(tǒng)2210可以包括與一個或多個不同通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置成用于經(jīng)由無線電話網(wǎng)絡(luò)或者有線或無線局域網(wǎng)或廣域網(wǎng)來進行通信。在一些實施例中，通信子系統(tǒng)可允許計算系統(tǒng)2200使用諸如因特網(wǎng)這樣的網(wǎng)絡(luò)將消息發(fā)送至其他設(shè)備以及/或者從其他設(shè)備接收消息。

圖23是可用來實現(xiàn)本發(fā)明的鼠標共享的諸如PC、客戶端機器或服務(wù)器之類的說明性計算機系統(tǒng)2300的簡化框圖。計算機系統(tǒng)2300包括處理器2305、系統(tǒng)存儲器2311以及將包括系統(tǒng)存儲器2311的各種系統(tǒng)組件耦合至處理器2305的系統(tǒng)總線2314。系統(tǒng)總線2314可以是若干類型的總線結(jié)構(gòu)中的任一種，包括使用各種總線體系結(jié)構(gòu)中的任一種的存儲器總線或存儲器控制器、外圍總線、或局部總線。系統(tǒng)存儲器2311包括只讀存儲器(ROM)2317和隨機存取存儲器(RAM)2321?；据斎?輸出系統(tǒng)(BIOS)2325被存儲在ROM 2317中，該基本輸入/輸出系統(tǒng)包含諸如在啟動期間幫助在計算機系統(tǒng)2300內(nèi)的元件之間傳輸信息的基本例程。計算機系統(tǒng)2300還可包括對內(nèi)置硬盤(未示出)讀寫的硬盤驅(qū)動器2328、對可移動磁盤2333(例如，軟盤)讀寫的磁盤驅(qū)動器2330、以及對諸如CD(壓縮盤)、DVD(數(shù)字多功能盤)或其它光學(xué)介質(zhì)等可移動光盤2343讀寫的光盤驅(qū)動器2338。硬盤驅(qū)動器2328、磁盤驅(qū)動器2330，以及光盤驅(qū)動器2338分別通過硬盤驅(qū)動器接口2346、磁盤驅(qū)動器接口2349，以及光盤驅(qū)動器接口2352連接到系統(tǒng)總線2314。驅(qū)動器及其相關(guān)聯(lián)的計算機可讀存儲介質(zhì)為計算機系統(tǒng)2300提供了對計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊，及其他數(shù)據(jù)的非易失性存儲。雖然這個說明性的示例包括硬盤、可移動磁盤2333以及可移動光盤2343，但是其它類型的可存儲可被諸如磁帶盒、閃存卡、數(shù)字視頻盤、數(shù)據(jù)磁帶、隨機存取存儲器(“RAM”)、只讀存儲器(“ROM”)等訪問的數(shù)據(jù)的計算機可讀存儲介質(zhì)也可在本發(fā)明的鼠標共享的一些應(yīng)用中使用。此外，如在此使用的，術(shù)語計算機可讀介質(zhì)包括媒體類型的一個或多個實例(例如，一個或多個磁盤、一個或多個CD等)。出于本說明書和權(quán)利要求書的目的，短語“計算機可讀存儲介質(zhì)”及其變型不包括波、信號和/或其他瞬態(tài)和/或無形通信介質(zhì)。

可以有若干個程序模塊存儲在硬盤、磁盤2333、光盤2343、ROM 2317，或RAM 2321上，包括操作系統(tǒng)2355、一個或多個應(yīng)用程序2357、其他程序模塊2360、以及程序數(shù)據(jù)2363。用戶可通過諸如鍵盤2366和如鼠標等定點設(shè)備2368等的輸入設(shè)備向計算機系統(tǒng)2300中輸入命令和信息。其它輸入設(shè)備(未顯示)可包括話筒、操縱桿、游戲墊、圓盤式衛(wèi)星天線、掃描儀、跟蹤球、觸摸墊、觸摸屏、觸敏設(shè)備、語音命令模塊或設(shè)備、用戶運動或用戶姿勢捕捉設(shè)備等。這些及其他輸入設(shè)備常常通過耦合到系統(tǒng)總線2314的串行端口接口2371連接到處理器2305，但是，但也可以通過其他接口，如并行端口、游戲端口或通用串行總線(USB)端口、來進行連接。監(jiān)視器2373或其他類型的顯示設(shè)備也可以通過諸如視頻適配器2375之類的接口，連接到系統(tǒng)總線2314。除監(jiān)視器2373以外，個人計算機通常包括如揚聲器和打印機等其它外圍輸出設(shè)備(未示出)。圖23中顯示的說明性示例還包括主機適配器2378、小型計算機系統(tǒng)接口(SCSI)總線2383以及連接到SCSI總線2383的外置存儲設(shè)備2376。

計算機系統(tǒng)2300可使用到諸如遠程計算機2388等一個或多個遠程計算機的邏輯連接在聯(lián)網(wǎng)環(huán)境中操作。遠程計算機2388可以被選為另一臺個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其它公共網(wǎng)絡(luò)節(jié)點，并通常包括以上對計算機系統(tǒng)2300描述的許多或所有元件，雖然在圖23中只示出單個代表性遠程存儲器/存儲設(shè)備2390。圖23中所描繪的邏輯連接包括局域網(wǎng)(LAN)2393和廣域網(wǎng)(WAN)2395。此類聯(lián)網(wǎng)環(huán)境通常被部署在例如辦公室、企業(yè)范圍的計算機網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中。

當在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機系統(tǒng)2300通過網(wǎng)絡(luò)接口或適配器2393連接到局域網(wǎng)2396。當在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機系統(tǒng)2300通常包括寬帶調(diào)制解調(diào)器2398、網(wǎng)絡(luò)網(wǎng)關(guān)或用于通過諸如因特網(wǎng)等廣域網(wǎng)2395建立通信的其它裝置?；驗閮?nèi)置或為外置的寬帶調(diào)制解調(diào)器2398經(jīng)由串行端口接口2371連接到系統(tǒng)總線2314。在聯(lián)網(wǎng)環(huán)境中，與計算機系統(tǒng)2300有關(guān)的程序模塊或其部分可被儲存在遠程存儲器存儲設(shè)備2390中。注意，圖23中顯示的網(wǎng)絡(luò)連接是說明性的，并且取決于本發(fā)明鼠標共享的應(yīng)用的具體要求，用于建立計算機之間的通信鏈路的其它手段可被使用。

本發(fā)明的桌面與虛擬世界之間的鼠標共享的各示例性實施例現(xiàn)在是通過說明的方式而不是作為所有實施例的窮盡性列表來提出的。一示例包括物理環(huán)境中的用戶可操作的頭戴式顯示器(HMD)設(shè)備，包括：一個或多個處理器；透視顯示器，所述透視顯示器被配置成用于向用戶呈現(xiàn)混合現(xiàn)實環(huán)境，用戶對所呈現(xiàn)的混合現(xiàn)實環(huán)境的查看位置至少部分地取決于用戶頭部在物理環(huán)境中的姿態(tài)而可變；以及存儲計算機可讀指令的一個或多個存儲器設(shè)備，所述計算機可讀指令在被所述一個或多個處理器執(zhí)行時執(zhí)行一種方法，該方法包括以下步驟：在HMD設(shè)備的視野內(nèi)呈現(xiàn)混合現(xiàn)實環(huán)境，所述混合現(xiàn)實環(huán)境包括虛擬世界中支持的對象以及現(xiàn)實世界中支持的對象，通過網(wǎng)絡(luò)連接從在遠程計算設(shè)備上運行的鼠標輸入服務(wù)器接收鼠標消息，所述鼠標消息描述操作地連接到所述計算設(shè)備的鼠標的移動，所述鼠標控制能夠在虛擬世界以及在現(xiàn)實世界中的監(jiān)視器中顯示的光標，當所述鼠標的移動導(dǎo)致所述光標移動超過所述監(jiān)視器邊界時，計算所述光標在虛擬世界中的初始位置，使用所述鼠標消息來計算所述光標在虛擬世界中的后續(xù)位置，以及使用計算所得的初始和后續(xù)位置在虛擬世界中呈現(xiàn)所述光標。

在另一示例中，該HMD進一步包括確定來自所述鼠標消息的鼠標移動之間的差值并且使用所述差值來計算所述光標在虛擬世界中的后續(xù)位置。在另一示例中，該HMD進一步包括接收所述鼠標消息中的按鈕按壓事件，并且在呈現(xiàn)混合現(xiàn)實環(huán)境時使用所述按鈕按壓事件作為輸入。在另一個示例中，該HMD還包括：獲得描述與該HMD設(shè)備的用戶鄰接的物理空間的傳感器數(shù)據(jù)；使用該傳感器數(shù)據(jù)來重構(gòu)所述物理空間的幾何形狀；以及使用經(jīng)重構(gòu)的幾何形狀來追蹤所述物理空間中的用戶頭部以確定所述查看位置。在另一示例中，傳感器數(shù)據(jù)包括深度數(shù)據(jù)，并且該HMD進一步包括使用深度傳感器來生成該傳感器數(shù)據(jù)，并應(yīng)用表面重構(gòu)技術(shù)來重構(gòu)所述物理空間幾何形狀。在另一示例中，所述HMD進一步包括通過計算所述光標的下一位置與所述查看位置之間的光線來確定所述光標是否轉(zhuǎn)換到桌面，并且如果所述光線與現(xiàn)實世界監(jiān)視器相交，則通知所述計算設(shè)備所述光標已經(jīng)轉(zhuǎn)換到所述監(jiān)視器上支持的桌面。在另一示例中，該HMD進一步包括當所述光標已經(jīng)轉(zhuǎn)換到所述桌面時不繼續(xù)在虛擬世界中呈現(xiàn)所述光標。在另一示例中，該HMD進一步包括網(wǎng)絡(luò)接口，通過該網(wǎng)絡(luò)接口鼠標消息從計算設(shè)備被傳遞并且通過該網(wǎng)絡(luò)接口計算設(shè)備被通知光標已經(jīng)轉(zhuǎn)換到桌面。在另一示例中，該HMD進一步包括使用鼠標使得對象能夠從桌面被移動到虛擬世界。在另一示例中，該HMD進一步包括用于在確定查看位置時檢測用戶的注視方向的傳感器封裝。在另一示例中，該HMD進一步包括使用光標實現(xiàn)與一個或多個虛擬對象的交互。在另一示例中，該HMD進一步包括實現(xiàn)光標與現(xiàn)實世界對象之間的碰撞。

又一示例包括一種用于在計算設(shè)備與在頭戴式顯示器(HMD)設(shè)備上執(zhí)行的應(yīng)用之間傳遞鼠標信息的方法，該應(yīng)用支持HMD設(shè)備上的包括虛擬世界和現(xiàn)實世界的混合現(xiàn)實環(huán)境，該方法包括：在所述應(yīng)用中運行鼠標輸入客戶端；通過網(wǎng)絡(luò)連接從在所述計算設(shè)備上執(zhí)行的鼠標輸入服務(wù)器接收鼠標消息，所述鼠標消息描述操作地耦合至具有相關(guān)聯(lián)的監(jiān)視器的計算設(shè)備的鼠標的移動，所述鼠標輸入服務(wù)器在所述鼠標的移動導(dǎo)致鼠標光標移動超過所述監(jiān)視器邊緣以退出現(xiàn)實世界并且進入虛擬世界時發(fā)送鼠標消息；使用從現(xiàn)實世界的退出位置來確定所述鼠標光標在虛擬世界中的初始位置；以及利用所述鼠標移動來確定虛擬世界中的后續(xù)鼠標光標位置。

在另一示例中，該方法進一步包括在虛擬世界中在HMD設(shè)備上的初始位置以及后續(xù)鼠標光標位置處呈現(xiàn)所述鼠標光標。在另一示例中，該方法進一步包括利用傳感器數(shù)據(jù)來確定HMD設(shè)備的用戶的查看位置，并且當從所述查看位置投影的光線與所述監(jiān)視器相交時將所述光標轉(zhuǎn)換回到由所述監(jiān)視器支持的桌面。在另一示例中，該方法進一步包括使用表面重構(gòu)數(shù)據(jù)流水線對HMD設(shè)備位于其中的物理環(huán)境進行建模并且至少部分地使用被建模的物理環(huán)境來確定查看位置，該表面重構(gòu)數(shù)據(jù)流水線實現(xiàn)一種創(chuàng)建被集成的多個交疊表面的容積方法。

又一示例包括一種計算設(shè)備，包括：一個或多個處理器；到監(jiān)視器的接口，所述監(jiān)視器顯示桌面；鼠標接口，用于連接到鼠標并且從鼠標接收指示鼠標移動的信號以及來自計算設(shè)備的用戶的對鼠標控制的輸入；網(wǎng)絡(luò)接口，用于通過網(wǎng)絡(luò)連接與遠程頭戴式顯示器(HMD)設(shè)備通信；以及存儲計算機可讀指令的一個或多個存儲器設(shè)備，所述計算機可讀指令在被所述一個或多個處理器執(zhí)行時實現(xiàn)一種鼠標輸入服務(wù)器，該鼠標輸入服務(wù)器被配置成用于：追蹤描述鼠標移動和輸入的鼠標消息，當鼠標移動指示與鼠標相關(guān)聯(lián)的光標正移動超過監(jiān)視器邊緣時，取得對鼠標消息的控制并且阻止鼠標消息到在計算設(shè)備上操作的系統(tǒng)的傳播，以及通過網(wǎng)絡(luò)連接將鼠標消息發(fā)送到HMD設(shè)備。

在另一示例中，HMD設(shè)備被配置成用于在光學(xué)顯示器上呈現(xiàn)混合現(xiàn)實環(huán)境，該混合現(xiàn)實環(huán)境包括虛擬世界中的對象以及現(xiàn)實世界中的對象，鼠標消息被HMD設(shè)備用來至少在虛擬世界中呈現(xiàn)光標。在另一示例中，該計算設(shè)備進一步包括通過與在計算設(shè)備上執(zhí)行的操作系統(tǒng)交互來追蹤鼠標消息。在另一示例中，計算設(shè)備進一步包括從HMD設(shè)備接收鼠標光標已經(jīng)轉(zhuǎn)換到桌面的消息，并且使用鼠標光標在虛擬世界中的最后報告位置來計算桌面上的初始光標位置。

盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。