1.一種物理環(huán)境中的用戶可操作的頭戴式顯示器(HMD)設(shè)備,包括:
一個(gè)或多個(gè)處理器;
透視顯示器,所述透視顯示器被配置成用于向用戶呈現(xiàn)混合現(xiàn)實(shí)環(huán)境,用戶對(duì)所呈現(xiàn)的混合現(xiàn)實(shí)環(huán)境的查看位置至少部分地取決于用戶頭部在物理環(huán)境中的姿態(tài)而可變;以及
存儲(chǔ)計(jì)算機(jī)可讀指令的一個(gè)或多個(gè)存儲(chǔ)器設(shè)備,所述計(jì)算機(jī)可讀指令在被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)執(zhí)行一種方法,所述方法包括以下步驟:
在HMD設(shè)備的視野內(nèi)呈現(xiàn)混合現(xiàn)實(shí)環(huán)境,所述混合現(xiàn)實(shí)環(huán)境包括虛擬世界中支持的對(duì)象以及現(xiàn)實(shí)世界中支持的對(duì)象,
通過網(wǎng)絡(luò)連接從在遠(yuǎn)程計(jì)算設(shè)備上運(yùn)行的鼠標(biāo)輸入服務(wù)器接收鼠標(biāo)消息,所述鼠標(biāo)消息描述操作地連接到所述計(jì)算設(shè)備的鼠標(biāo)的移動(dòng),所述鼠標(biāo)控制能夠在虛擬世界以及在現(xiàn)實(shí)世界中的監(jiān)視器上顯示的光標(biāo),
當(dāng)所述鼠標(biāo)的移動(dòng)導(dǎo)致所述光標(biāo)移動(dòng)超過所述監(jiān)視器邊界時(shí),計(jì)算所述光標(biāo)在虛擬世界中的初始位置,
使用所述鼠標(biāo)消息來計(jì)算所述光標(biāo)在虛擬世界中的后續(xù)位置,以及
使用計(jì)算所得的初始和后續(xù)位置在虛擬世界中呈現(xiàn)所述光標(biāo)。
2.如權(quán)利要求1所述的HMD,其特征在于,進(jìn)一步包括確定來自所述鼠標(biāo)消息的鼠標(biāo)移動(dòng)之間的差值并且使用所述差值來計(jì)算所述光標(biāo)在虛擬世界中的后續(xù)位置。
3.如權(quán)利要求1所述的HMD,其特征在于,進(jìn)一步包括接收所述鼠標(biāo)消息中的按鈕按壓事件,并且在呈現(xiàn)混合現(xiàn)實(shí)環(huán)境時(shí)使用所述按鈕按壓事件作為輸入。
4.如權(quán)利要求1所述的HMD,其特征在于,還包括:
獲得描述與所述HMD設(shè)備的用戶鄰接的物理空間的傳感器數(shù)據(jù);
使用所述傳感器數(shù)據(jù)來重構(gòu)所述物理空間的幾何形狀;以及
使用經(jīng)重構(gòu)的幾何形狀來追蹤所述物理空間中的用戶頭部以確定所述查看位置。
5.如權(quán)利要求4所述的HMD,其特征在于,所述傳感器數(shù)據(jù)包括深度數(shù)據(jù),并且進(jìn)一步包括使用所述深度傳感器來生成所述傳感器數(shù)據(jù),并應(yīng)用表面重構(gòu)技術(shù)來重構(gòu)物理空間幾何形狀。
6.如權(quán)利要求4所述的HMD,其特征在于,進(jìn)一步包括通過計(jì)算所述光標(biāo)的下一位置與所述查看位置之間的光線來確定所述光標(biāo)是否轉(zhuǎn)換到桌面,并且如果所述光線與現(xiàn)實(shí)世界監(jiān)視器相交,則通知所述計(jì)算設(shè)備所述光標(biāo)已經(jīng)轉(zhuǎn)換到所述監(jiān)視器上支持的桌面。
7.如權(quán)利要求6所述的HMD,其特征在于,進(jìn)一步包括當(dāng)所述光標(biāo)已經(jīng)轉(zhuǎn)換到所述桌面時(shí)不繼續(xù)在虛擬世界中呈現(xiàn)所述光標(biāo)。
8.如權(quán)利要求6所述的HMD,其特征在于,進(jìn)一步包括網(wǎng)絡(luò)接口,通過所述網(wǎng)絡(luò)接口所述鼠標(biāo)消息從所述計(jì)算設(shè)備被傳遞并且通過所述網(wǎng)絡(luò)接口所述計(jì)算設(shè)備被通知所述光標(biāo)已經(jīng)轉(zhuǎn)換到桌面。
9.如權(quán)利要求6所述的HMD,其特征在于,進(jìn)一步包括使用鼠標(biāo)使得對(duì)象能夠從桌面被移動(dòng)到虛擬世界。
10.如權(quán)利要求1所述的HMD,其特征在于,進(jìn)一步包括用于在確定所述查看位置時(shí)檢測(cè)用戶的注視方向的傳感器封裝。
11.如權(quán)利要求1所述的HMD,其特征在于,進(jìn)一步包括使用光標(biāo)實(shí)現(xiàn)與一個(gè)或多個(gè)虛擬對(duì)象的交互。
12.如權(quán)利要求1所述的HMD,其特征在于,進(jìn)一步包括實(shí)現(xiàn)光標(biāo)與現(xiàn)實(shí)世界對(duì)象之間的碰撞。
13.一種用于在計(jì)算設(shè)備與在頭戴式顯示器(HMD)設(shè)備上執(zhí)行的應(yīng)用之間傳遞鼠標(biāo)信息的方法,所述應(yīng)用支持在HMD設(shè)備上的包括虛擬世界和現(xiàn)實(shí)世界的混合現(xiàn)實(shí)環(huán)境,所述方法包括:
在所述應(yīng)用中運(yùn)行鼠標(biāo)輸入客戶端;
通過網(wǎng)絡(luò)連接從在所述計(jì)算設(shè)備上執(zhí)行的鼠標(biāo)輸入服務(wù)器接收鼠標(biāo)消息,所述鼠標(biāo)消息描述操作地耦合至具有相關(guān)聯(lián)的監(jiān)視器的計(jì)算設(shè)備的鼠標(biāo)的移動(dòng),所述鼠標(biāo)輸入服務(wù)器在所述鼠標(biāo)的移動(dòng)導(dǎo)致鼠標(biāo)光標(biāo)移動(dòng)超過所述監(jiān)視器邊緣以退出現(xiàn)實(shí)世界并且進(jìn)入虛擬世界時(shí)發(fā)送鼠標(biāo)消息;
使用從現(xiàn)實(shí)世界的退出位置來確定所述鼠標(biāo)光標(biāo)在虛擬世界中的初始位置;以及
利用所述鼠標(biāo)移動(dòng)來確定虛擬世界中的后續(xù)鼠標(biāo)光標(biāo)位置。
14.如權(quán)利要求13所述的方法,其特征在于,進(jìn)一步包括在虛擬世界中在HMD設(shè)備上的初始位置以及后續(xù)鼠標(biāo)光標(biāo)位置處呈現(xiàn)所述鼠標(biāo)光標(biāo)。
15.如權(quán)利要求13所述的方法,其特征在于,進(jìn)一步包括利用傳感器數(shù)據(jù)來確定所述HMD設(shè)備的用戶的查看位置,并且當(dāng)從所述查看位置投影的光線與所述監(jiān)視器相交時(shí)將所述光標(biāo)轉(zhuǎn)換回到由所述監(jiān)視器支持的桌面。