專利名稱：擴(kuò)充的現(xiàn)實(shí)虛擬監(jiān)視器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬監(jiān)視器。
背景技術(shù)：
電視機(jī)、計(jì)算機(jī)顯示器、電影屏幕和其它視頻監(jiān)視器向用戶提供視覺信息。常規(guī)的視頻監(jiān)視器受到各種不同的物理約束的限制，諸如監(jiān)視器的物理尺寸和放置監(jiān)視器的物理位置。

發(fā)明內(nèi)容
頭戴式顯示器包括透視(see-through)顯示器和虛擬現(xiàn)實(shí)引擎。透視顯示器被配置成對(duì)通過(guò)透視顯示器查看物理空間的用戶在視覺上擴(kuò)充該物理空間的外觀。虛擬現(xiàn)實(shí)引擎被配置成使得透視顯示器在視覺上呈現(xiàn)虛擬監(jiān)視器，該虛擬監(jiān)視器對(duì)通過(guò)透視顯示器查看物理空間的用戶而言看上去與該物理空間一體化。提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹將在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖1示出根據(jù)本發(fā)明的一實(shí)施例的示例頭戴式顯示器。圖2A示出在物理空間中佩戴頭戴式顯示器的用戶的頂視圖。圖2B示出了圖2A的用戶的未經(jīng)更改的第一人稱觀點(diǎn)。圖2C示出了圖2A的用戶的第一人稱觀點(diǎn)，同時(shí)頭戴式顯示器擴(kuò)充現(xiàn)實(shí)以在視覺上呈現(xiàn)虛擬監(jiān)視器。圖3示出根據(jù)本發(fā)明的一實(shí)施例的擴(kuò)充現(xiàn)實(shí)的示例方法。圖4是根據(jù)本發(fā)明的一實(shí)施例的示例計(jì)算系統(tǒng)。
具體實(shí)施例方式圖1示出包括透視顯示器102的頭戴式顯示器100的非限制性示例。透視顯示器102至少是部分透明的，因此允許光穿過(guò)透視顯示器到達(dá)用戶的眼睛。而且，透視顯示器被配置成對(duì)通過(guò)透視顯示器查看物理空間的用戶在視覺上擴(kuò)充該物理空間的外觀。例如，透視顯示器可顯示當(dāng)用戶在通過(guò)透視顯示器觀看時(shí)用戶可看見的虛擬對(duì)象。因此，用戶能夠在用戶查看物理空間的同時(shí)看到不存在于物理空間內(nèi)的虛擬對(duì)象。這創(chuàng)造了虛擬對(duì)象是物理空間的一部分的幻覺。頭戴式顯示器100還包括虛擬現(xiàn)實(shí)引擎104。虛擬現(xiàn)實(shí)引擎104被配置成使透視顯示器以虛擬監(jiān)視器的形式在視覺上呈現(xiàn)虛擬對(duì)象。虛擬監(jiān)視器可模擬現(xiàn)實(shí)世界的電視機(jī)、計(jì)算機(jī)顯示器、電影屏幕和/或其它監(jiān)視器的外觀。對(duì)通過(guò)透視顯示器查看物理空間的用戶而言，虛擬監(jiān)視器看上去與物理空間一體化。以此方式，用戶能夠查看實(shí)際上在物理空間中不存在的監(jiān)視器。虛擬現(xiàn)實(shí)引擎可包括軟件、硬件、固件或其任何組合。圖2A示意性示出在物理空間202內(nèi)佩戴頭戴式顯示器100的用戶200的頂視圖。線204a和204b指示用戶通過(guò)頭戴式顯示器的透視顯示器的視野。圖2A還示出物理空間202內(nèi)處于用戶200的視野中的真實(shí)世界對(duì)象206a、206b、206c和206d。圖2B示出通過(guò)頭戴式顯示器查看真實(shí)世界對(duì)象206a、206b、206c和206d的用戶200的第一人稱觀點(diǎn)。在圖2B中，頭戴式顯示器的虛擬現(xiàn)實(shí)引擎沒有在視覺上呈現(xiàn)虛擬對(duì)象。因此，用戶只能看見真實(shí)世界的對(duì)象。用戶看見這樣的真實(shí)世界對(duì)象是因?yàn)閺恼鎸?shí)世界對(duì)象的反射的光能夠穿過(guò)透視顯示器到達(dá)用戶的眼睛。圖2C示出用戶200的同樣的第一人稱觀點(diǎn)，但是虛擬現(xiàn)實(shí)引擎正在視覺上呈現(xiàn)虛擬對(duì)象。具體地，虛擬現(xiàn)實(shí)引擎在視覺上呈現(xiàn)虛擬監(jiān)視器208a、虛擬監(jiān)視器208b和虛擬監(jiān)視器208c。從用戶的觀點(diǎn)，虛擬監(jiān)視器看上去與物理空間202 —體化。具體地，圖2C示出虛擬監(jiān)視器208a，該監(jiān)視器被渲染為如同虛擬監(jiān)視器被安裝到墻210 (這是常規(guī)電視機(jī)的典型安裝選擇)那樣顯現(xiàn)。虛擬監(jiān)視器208b被渲染為如同虛擬監(jiān)視器正被擱在桌子表面212上(這是常規(guī)平板計(jì)算設(shè)備的典型用法)那樣顯現(xiàn)。虛擬監(jiān)視器208c被渲染為如同它正在自由空間中浮動(dòng)(這是采用常規(guī)監(jiān)視器不能容易實(shí)現(xiàn)的安排)那樣顯現(xiàn)。虛擬監(jiān)視器208a、虛擬監(jiān)視器208b和虛擬監(jiān)視器208c作為非限制性示例提供。虛擬監(jiān)視器可被渲染為具有基本上任何的外觀，而不背離本發(fā)明的范圍。作為一個(gè)示例，虛擬監(jiān)視器可正在播放運(yùn)動(dòng)或靜止圖像的視頻流。運(yùn)動(dòng)圖像的視頻流可以相對(duì)較高的幀速率播放，以便創(chuàng)建實(shí)況動(dòng)作的幻覺。作為非限制性示例，電視節(jié)目的視頻流可按照每秒三十幀來(lái)播放。靜止圖像的視頻流可在相對(duì)較長(zhǎng)的一段時(shí)間內(nèi)在虛擬監(jiān)視器上呈現(xiàn)同一圖像。作為非限制性示例，照片幻燈片的視頻流可僅在每五秒鐘改變圖像。應(yīng)當(dāng)理解，可使用基本上任何的幀速率，而不背離本發(fā)明的范圍。作為另一示例，虛擬監(jiān)視器可以是不透明的(例如，虛擬監(jiān)視器208a和虛擬監(jiān)視器208b)或部分透明的(例如，虛擬監(jiān)視器208c)。不透明虛擬監(jiān)視器可被渲染，以便擋住顯現(xiàn)在虛擬監(jiān)視器之后的真實(shí)世界對(duì)象。部分透明的虛擬監(jiān)視器可被渲染，使得真實(shí)世界對(duì)象或其它虛擬對(duì)象可通過(guò)虛擬監(jiān)視器查看。作為另一示例，虛擬監(jiān)視器可以是無(wú)框的(例如，虛擬監(jiān)視器208c)或有框的(例如，虛擬監(jiān)視器208a和虛擬監(jiān)視器208b)。無(wú)框的虛擬監(jiān)視器可用可播放視頻流的無(wú)邊屏幕部分渲染，而任何其它結(jié)構(gòu)都不在屏幕部分周圍渲染。作為對(duì)比，有框虛擬監(jiān)視器可被渲染以在屏幕周圍包括邊框。這樣的邊框可被渲染，以便類似常規(guī)電視機(jī)邊框、計(jì)算機(jī)顯示器邊框、電影屏幕邊框等的外觀。無(wú)框和有框虛擬監(jiān)視器兩者均可被渲染為不具有任何深度。例如，當(dāng)從一角度被查看時(shí)，無(wú)深度虛擬監(jiān)視器將不會(huì)顯現(xiàn)為在屏幕的表面背后具有任何結(jié)構(gòu)(例如，虛擬監(jiān)視器208c)。而且，無(wú)框和有框虛擬監(jiān)視器均可被渲染為具有一深度，使得當(dāng)從一角度被查看時(shí)，虛擬監(jiān)視器將顯現(xiàn)為占據(jù)屏幕表面背后的空間(虛擬監(jiān)視器208b )。作為另一示例，虛擬監(jiān)視器可包括矩形或非矩形屏幕。而且，屏幕可以是平坦的或不平坦的。在一些實(shí)施例中，虛擬監(jiān)視器的屏幕的形狀可匹配物理空間中真實(shí)世界對(duì)象的平坦或不平坦形狀(例如，虛擬監(jiān)視器208a和虛擬監(jiān)視器208b)或匹配另一虛擬對(duì)象的平坦或不平坦形狀。即使當(dāng)平坦屏幕被渲染時(shí)，在平坦屏幕上被渲染的視頻流可被配置成顯示三維虛擬對(duì)象(例如，以創(chuàng)建正在觀看三維電視機(jī)的幻覺)。三維虛擬對(duì)象可經(jīng)由模擬的立體3D內(nèi)容來(lái)實(shí)現(xiàn)——例如，觀看來(lái)自從3D記錄的3D內(nèi)容，使得內(nèi)容以2D顯現(xiàn)在顯示器的平面上，但用戶的左眼和右眼看到稍微不同的視頻視圖，從而產(chǎn)生3D效果。在一些實(shí)施例中，內(nèi)容的回放可引起虛擬3D對(duì)象實(shí)際上離開顯示的平面。例如，其中菜單實(shí)際上從TV彈出到用戶的客廳的電影。此外，無(wú)框虛擬監(jiān)視器可被用于在視覺上呈現(xiàn)來(lái)自視頻流的三維虛擬對(duì)象，因此創(chuàng)造了視頻流的內(nèi)容正在物理空間環(huán)境中播放出的幻覺。作為另一示例，虛擬監(jiān)視器可被渲染在相對(duì)于物理空間中的真實(shí)世界對(duì)象的固定位置中，或虛擬監(jiān)視器可被渲染以便相對(duì)于真實(shí)世界對(duì)象移動(dòng)。固定虛擬監(jiān)視器可顯現(xiàn)為例如固定在墻上、桌子上、或其它表面上。固定虛擬監(jiān)視器還可被顯現(xiàn)為與任何真實(shí)世界對(duì)象分開地漂浮。移動(dòng)虛擬監(jiān)視器可被顯現(xiàn)為以受限或不受限的方式移動(dòng)。例如，虛擬監(jiān)視器可被局限于物理墻壁，但是虛擬監(jiān)視器可在用戶在墻壁附近走過(guò)時(shí)沿墻壁移動(dòng)。作為另一示例，虛擬監(jiān)視器可被受限于一移動(dòng)對(duì)象。作為又一示例，虛擬監(jiān)視器可不受限于任何物理對(duì)象，且可顯現(xiàn)為在用戶前面直接漂浮而不管用戶看著哪里。虛擬監(jiān)視器或者可以是私人虛擬監(jiān)視器或者可以是公共虛擬監(jiān)視器。私人虛擬監(jiān)視器被僅渲染在一個(gè)透視顯示器上，使得只有通過(guò)透視顯示器查看物理空間的用戶才能看到虛擬監(jiān)視器。公共虛擬監(jiān)視器可被并發(fā)渲染在一個(gè)或多個(gè)其它設(shè)備上，包括其它透視顯示器上，使得其它人可查看虛擬監(jiān)視器的克隆。在一些實(shí)施例中，虛擬現(xiàn)實(shí)引擎可被配置成將虛擬坐標(biāo)系映射到物理空間，使得虛擬監(jiān)視器顯現(xiàn)為處于特定物理空間位置中。此外，虛擬坐標(biāo)系可以是可由一個(gè)或多個(gè)其它頭戴式顯示器使用的共享坐標(biāo)系。在這樣的情況中，每一單獨(dú)的頭戴式顯示器可識(shí)別虛擬監(jiān)視器顯現(xiàn)的同一物理空間位置。每一頭戴式顯示器然后可在該物理空間位置處渲染該虛擬監(jiān)視器，使得通過(guò)不同的透視顯示器查看該物理空間位置的兩個(gè)或更多個(gè)用戶將在同一位置看到同一虛擬監(jiān)視器且該同一虛擬監(jiān)視器處于同一方向。換言之，一個(gè)頭戴式顯示器渲染虛擬對(duì)象的特定物理空間位置將是另一頭戴式顯示器渲染該虛擬監(jiān)視器的同一物理空間位置。轉(zhuǎn)回圖1，頭戴式顯不器100可任選地包括一個(gè)或多個(gè)揚(yáng)聲器106-例如,兩個(gè)
揚(yáng)聲器以允許立體聲效果諸如位置音頻提示。在其它實(shí)施例中，頭戴式顯示器可被通信地耦合到板外揚(yáng)聲器。在任一情況中，虛擬現(xiàn)實(shí)引擎可被配置成使得這樣的揚(yáng)聲器播放與虛擬監(jiān)視器播放的視頻流同步的音頻流。例如，在圖2C的虛擬監(jiān)視器208a播放電視節(jié)目形式的視頻流的同時(shí)，揚(yáng)聲器可播放構(gòu)成電視節(jié)目的音頻組成部分的音頻流。音頻流的音量可根據(jù)各種不同參數(shù)來(lái)調(diào)整。作為一個(gè)示例，渲染引擎可被配置成與透視顯示器和一物理空間位置之間的距離成反比地調(diào)整音頻流的音量，該物理空間位置是對(duì)通過(guò)透視顯示器查看物理空間的用戶而言虛擬監(jiān)視器看上去位于其中的位置。換言之，聲音可被局部化，使得當(dāng)用戶靠近虛擬監(jiān)視器時(shí)，虛擬監(jiān)視器的音量將增加。作為另一示例，渲染引擎可被配置成與正在查看一物理空間位置的透視顯示器的直接程度成比例地調(diào)整音頻流的音量，該物理空間位置是對(duì)通過(guò)透視顯示器查看物理空間的用戶而言虛擬監(jiān)視器看上去位于其中的位置。換言之，在用戶更直接地觀看虛擬監(jiān)視器時(shí)，音量增加。當(dāng)兩個(gè)或更多個(gè)虛擬監(jiān)視器被映射到用戶附近的位置時(shí)，與各虛擬監(jiān)視器相關(guān)聯(lián)的相應(yīng)的音頻流可被混合在一起或獨(dú)立播放。當(dāng)混合在一起時(shí)，任何特定音頻流的相對(duì)貢獻(xiàn)可基于各種不同參數(shù)來(lái)加權(quán)，諸如基于鄰近程度或查看的直接程度。例如，用戶離特定虛擬監(jiān)視器越近和/或用戶越直接地觀看虛擬監(jiān)視器，與該虛擬監(jiān)視器相關(guān)聯(lián)的音量將被播放得越響。當(dāng)被獨(dú)立播放時(shí)，與特定虛擬監(jiān)視器相關(guān)聯(lián)的音頻流而非與其它虛擬監(jiān)視器相關(guān)聯(lián)的音頻流可基于各種不同參數(shù)(諸如鄰近程度和/或查看的直接程度)播放。例如，當(dāng)用戶環(huán)顧其中若干虛擬監(jiān)視器被渲染的物理空間時(shí)，僅與在用戶的視野中最直接的虛擬監(jiān)視器相關(guān)聯(lián)的音頻流可被播放。如下討論的，眼睛跟蹤可被用于更準(zhǔn)確地評(píng)估用戶焦點(diǎn)所指，且這樣的焦點(diǎn)可用作調(diào)整音量的參數(shù)。簡(jiǎn)要轉(zhuǎn)向圖1，頭戴式顯示器100包括傳感器子系統(tǒng)108。傳感器子系統(tǒng)可在不同的實(shí)施例中包括各種不同的傳感器。作為非限制性示例，傳感器子系統(tǒng)可包括話筒110、一個(gè)或多個(gè)前向(背對(duì)用戶)的紅外和/或可見光相機(jī)112、一個(gè)或多個(gè)后向(朝向用戶)的紅外和/或可見光相機(jī)114。前向相機(jī)可包括一個(gè)或多個(gè)深度相機(jī)，和/或后向相機(jī)可包括一個(gè)或多個(gè)眼睛跟蹤相機(jī)。在一些實(shí)施例中，板載傳感器子系統(tǒng)可與一個(gè)或多個(gè)板外傳感器通信，板外傳感器將觀察信息發(fā)送給板載傳感器子系統(tǒng)。例如，游戲控制臺(tái)使用的深度相機(jī)可將深度圖和/或所建模的虛擬骨架發(fā)送給頭戴式顯示器的傳感器子系統(tǒng)。虛擬現(xiàn)實(shí)引擎可被配置成響應(yīng)于經(jīng)由傳感器子系統(tǒng)識(shí)別的命令來(lái)控制虛擬監(jiān)視器。作為非限制性示例，經(jīng)由傳感器子系統(tǒng)識(shí)別的命令可被用于控制虛擬監(jiān)視器創(chuàng)建、虛擬監(jiān)視器定位(例如，虛擬監(jiān)視器顯現(xiàn)在哪里并看上去多大)；回放控制(例如，哪個(gè)內(nèi)容被視覺呈現(xiàn)、快進(jìn)、倒帶、暫停等)；與虛擬監(jiān)視器相關(guān)聯(lián)的音頻的音量；隱私設(shè)置(例如，誰(shuí)被允許查看克隆虛擬監(jiān)視器；這樣的人們被允許查看什么)；屏幕捕捉、發(fā)送、打印和保存；和/或基本上虛擬監(jiān)視器的任何其它方面。如上所述，傳感器子系統(tǒng)可包括或被配置成與一種或多種不同類型的傳感器通信，且每一不同類型的傳感器可被用于識(shí)別控制虛擬監(jiān)視器的命令。作為非限制性示例，虛擬現(xiàn)實(shí)引擎可被配置成響應(yīng)于經(jīng)由話筒識(shí)別的聽得到的命令、經(jīng)由相機(jī)識(shí)別的手部姿勢(shì)命令和/或經(jīng)由相機(jī)識(shí)別的眼睛姿勢(shì)命令來(lái)控制虛擬監(jiān)視器。命令的類型以及這樣的命令控制虛擬監(jiān)視器的方式可變化，而不背離本發(fā)明的范圍。例如，為了創(chuàng)建虛擬監(jiān)視器，前向相機(jī)可識(shí)別用戶用L形左手和L形右手之間的想像出的矩形限定一場(chǎng)景。當(dāng)這一畫者L形手的姿勢(shì)作出時(shí)，新虛擬監(jiān)視器的位置和尺寸可通過(guò)將一矩形從用戶的眼睛投影到畫者姿勢(shì)所建立的矩形并投影到畫者姿勢(shì)背后的墻壁上來(lái)建立。作為另一示例，新虛擬監(jiān)視器的位置和尺寸可通過(guò)識(shí)別用戶輕叩表面來(lái)建立虛擬監(jiān)視器的角落來(lái)建立。作為又一示例，用戶可說(shuō)出命令“新監(jiān)視器”，虛擬監(jiān)視器可被渲染在表面上，朝向眼睛跟蹤相機(jī)確定用戶正在觀看的方向。一旦虛擬監(jiān)視器被渲染并正在播放視頻流，用戶可說(shuō)出諸如“暫?！?、“快進(jìn)”、“換頻道”等命令來(lái)控制視頻流。作為另一示例，用戶可作出停止信號(hào)手勢(shì)以暫?；胤牛瑢⑹謴淖笙蛴一瑒?dòng)以快進(jìn)，或扭動(dòng)伸出的手以換頻道。作為又一示例，用戶可說(shuō)出“拆分”或作出空手道砍劈姿勢(shì)以將單個(gè)虛擬監(jiān)視器拆分成可被移動(dòng)到不同物理空間位置的兩個(gè)虛擬監(jiān)視器。簡(jiǎn)要地回到圖1，頭戴式顯示器100可包括允許頭戴式顯示器被佩戴到用戶的頭上的一個(gè)或多個(gè)特征。在所示示例中，頭戴式顯示器100采用眼鏡形式，并包括鼻撐116和耳撐118a和118b。在其它實(shí)施例中，頭戴式顯示器可包括具有面部前方透視防護(hù)板的帽子或頭盔。而且，盡管在頭戴式透視顯示器的上下文中描述，此處描述的概念可被應(yīng)用于不是頭戴式的透視顯示器(例如，擋風(fēng)玻璃)以及應(yīng)用到不是透視的顯示器(例如，渲染相機(jī)觀察到的真實(shí)對(duì)象以及不在相機(jī)視野內(nèi)的虛擬對(duì)象的不透明顯示器)。頭戴式顯示器100還可包括通信子系統(tǒng)120。通信子系統(tǒng)120可被配置成與一個(gè)或多個(gè)板外計(jì)算設(shè)備通信。作為示例，通信子系統(tǒng)可被配置成無(wú)線地接收視頻流、音頻流、坐標(biāo)信息、虛擬對(duì)象描述和/或其它信息以渲染虛擬監(jiān)視器。圖3示出擴(kuò)充現(xiàn)實(shí)的示例方法300。在302，方法300包括從傳感器子系統(tǒng)接收物理空間的觀察信息。觀察信息可包括描述物理空間的任何信息。作為非限制性示例，來(lái)自一個(gè)或多個(gè)相機(jī)的圖像和/或來(lái)自一個(gè)或多個(gè)話筒的音頻信息可被接收。信息可從作為頭戴式顯示器的一部分的傳感器和/或不作為頭戴式顯示器的一部分的板外傳感器接收。信息可在頭戴式顯示器處接收，或在與頭戴式顯示器通信的板外設(shè)備接收。在304，方法300包括基于觀察信息將虛擬現(xiàn)實(shí)環(huán)境映射到物理空間，其中虛擬現(xiàn)實(shí)環(huán)境包括在視覺上呈現(xiàn)視頻流的虛擬監(jiān)視器。這樣的映射可被虛擬現(xiàn)實(shí)引擎執(zhí)行，該虛擬現(xiàn)實(shí)引擎是頭戴式顯示器的一部分或是與頭戴式顯示器通信的板外設(shè)備。在306，方法300包括向透視顯示器發(fā)送擴(kuò)充的現(xiàn)實(shí)顯示信息。擴(kuò)充的現(xiàn)實(shí)顯示信息被配置成使得透視顯示器顯示被映射到物理空間的虛擬現(xiàn)實(shí)環(huán)境，使得通過(guò)透視顯示器查看物理空間的用戶看到與物理空間一體化的虛擬監(jiān)視器。擴(kuò)充的現(xiàn)實(shí)顯示信息可從作為頭戴式顯示器的一部分或作為與頭戴式顯示器通信的板外設(shè)備的虛擬現(xiàn)實(shí)引擎發(fā)送到透視顯示器。在一些實(shí)施例中，上述擴(kuò)充的現(xiàn)實(shí)技術(shù)可連系于集成到頭戴式顯示器的計(jì)算系統(tǒng)和/或被配置成與頭戴式顯示器通信的計(jì)算系統(tǒng)。具體而言，此處所述的方法和過(guò)程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用、計(jì)算機(jī)服務(wù)、計(jì)算機(jī)AP1、計(jì)算機(jī)庫(kù)、和/或其他計(jì)算機(jī)程序產(chǎn)品。圖4示意性示出了可以執(zhí)行上述方法和過(guò)程之中的一個(gè)或更多個(gè)的非限制性計(jì)算系統(tǒng)400。以簡(jiǎn)化形式示出了計(jì)算系統(tǒng)400。應(yīng)當(dāng)理解，可使用基本上任何計(jì)算機(jī)架構(gòu)而不背離本公開的范圍。在不同的實(shí)施例中，計(jì)算系統(tǒng)400可以采取板載頭戴式顯示器計(jì)算機(jī)、大型計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂(lè)計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、移動(dòng)計(jì)算設(shè)備、移動(dòng)通信設(shè)備、游戲設(shè)備等等的形式。計(jì)算系統(tǒng)400包括邏輯子系統(tǒng)402和數(shù)據(jù)保持子系統(tǒng)404。計(jì)算系統(tǒng)400可以任選地包括顯示子系統(tǒng)406、音頻子系統(tǒng)408、傳感器子系統(tǒng)410、通信子系統(tǒng)412和/或在圖4中未示出的其他組件。邏輯子系統(tǒng)402可包括被配置為執(zhí)行一個(gè)或多個(gè)指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯子系統(tǒng)可被配置為執(zhí)行一個(gè)或多個(gè)指令，該一個(gè)或多個(gè)指令是一個(gè)或多個(gè)應(yīng)用、月艮務(wù)、程序、例程、庫(kù)、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造的部分?？蓪?shí)現(xiàn)這樣的指令以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、變換一個(gè)或多個(gè)設(shè)備的狀態(tài)、或以其他方式得到所希望的結(jié)果。邏輯子系統(tǒng)可包括被配置為執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。作為補(bǔ)充或替換，邏輯子系統(tǒng)可包括被配置成執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯機(jī)。邏輯子系統(tǒng)的處理器可以是單核或多核，且在其上執(zhí)行的程序可被配置為并行或分布式處理。邏輯子系統(tǒng)可以任選地包括遍布兩個(gè)或更多設(shè)備的獨(dú)立組件，所述設(shè)備可遠(yuǎn)程放置和/或被配置為進(jìn)行協(xié)同處理。該邏輯子系統(tǒng)的一個(gè)或多個(gè)方面可被虛擬化并由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問(wèn)的聯(lián)網(wǎng)計(jì)算設(shè)備執(zhí)行。數(shù)據(jù)保持子系統(tǒng)404可包括一個(gè)或多個(gè)物理的、非瞬時(shí)的設(shè)備，這些設(shè)備被配置成保持?jǐn)?shù)據(jù)和/或可由該邏輯子系統(tǒng)執(zhí)行的指令，以實(shí)現(xiàn)此處描述的方法和過(guò)程。在實(shí)現(xiàn)這樣的方法和過(guò)程時(shí)，可以變換數(shù)據(jù)保持子系統(tǒng)404的狀態(tài)(例如，以保持不同的數(shù)據(jù))。數(shù)據(jù)保持子系統(tǒng)404可包括可移動(dòng)介質(zhì)和/或內(nèi)置設(shè)備。數(shù)據(jù)保持子系統(tǒng)404尤其可以包括光學(xué)存儲(chǔ)器設(shè)備(例如，⑶、DVD、HD-DVD、藍(lán)光盤等)、半導(dǎo)體存儲(chǔ)器設(shè)備(例如，RAM、EPROM、EEPROM等)和/或磁存儲(chǔ)器設(shè)備(例如，硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、MRAM等)。數(shù)據(jù)保持子系統(tǒng)404可包括具有以下特性中的一個(gè)或多個(gè)特性的設(shè)備:易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址、以及內(nèi)容可尋址。在某些實(shí)施例中，可以將邏輯子系統(tǒng)402和數(shù)據(jù)保持子系統(tǒng)404集成到一個(gè)或更多個(gè)常見設(shè)備中，如專用集成電路或片上系統(tǒng)。圖4還示出以可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)414形式的數(shù)據(jù)保持子系統(tǒng)的一方面，可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可用于存儲(chǔ)和/或傳輸可執(zhí)行以實(shí)現(xiàn)本文描述的方法和過(guò)程的數(shù)據(jù)和/或指令。可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)414尤其是可以采取CD、DVD、HD-DVD、藍(lán)光盤、EEPROM和/或軟盤的形式?？梢悦靼祝瑪?shù)據(jù)保持子系統(tǒng)404包括一個(gè)或多個(gè)物理的、非瞬時(shí)的設(shè)備。相反，在一些實(shí)施例中，本文描述的指令的各方面可以按暫態(tài)方式通過(guò)不由物理設(shè)備在至少有限持續(xù)時(shí)間期間保持的純信號(hào)(例如電磁信號(hào)、光信號(hào)等)傳播。此外，與本發(fā)明有關(guān)的數(shù)據(jù)和/或其他形式的信息可以通過(guò)純信號(hào)傳播。術(shù)語(yǔ)“模塊”、“程序”和“引擎”可用于描述被實(shí)現(xiàn)為執(zhí)行一個(gè)或多個(gè)具體功能的計(jì)算系統(tǒng)400的一方面。在某些情況下，可以通過(guò)執(zhí)行由數(shù)據(jù)保持子系統(tǒng)404所保持的指令的邏輯子系統(tǒng)402來(lái)實(shí)例化這樣的模塊、程序或引擎。應(yīng)當(dāng)理解，可以從同一應(yīng)用、服務(wù)、代碼塊、對(duì)象、庫(kù)、例程、AP1、函數(shù)等來(lái)實(shí)例化不同的模塊、程序和/或引擎。同樣，可以由不同的應(yīng)用程序、服務(wù)、代碼塊、對(duì)象、例程、AP1、函數(shù)等來(lái)實(shí)例化同一模塊、程序和/或引擎。術(shù)語(yǔ)“模塊”、“程序”和“引擎”意在涵蓋單個(gè)或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫(kù)、驅(qū)動(dòng)程序、腳本、數(shù)據(jù)庫(kù)記錄等。當(dāng)被包括時(shí)，顯示子系統(tǒng)406可用于呈現(xiàn)由數(shù)據(jù)保持子系統(tǒng)404所保持的數(shù)據(jù)的可視表示。在此處所描述的方法和過(guò)程改變由數(shù)據(jù)保持子系統(tǒng)保持的數(shù)據(jù)，并由此變換數(shù)據(jù)保持子系統(tǒng)的狀態(tài)時(shí)，同樣可以變換顯示子系統(tǒng)406的狀態(tài)以在視覺上表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)406可以包括使用實(shí)際上任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備。這樣的顯示設(shè)備可與共享封包(例如具有板載計(jì)算的頭戴式顯示器)中的邏輯子系統(tǒng)402和/或數(shù)據(jù)保持子系統(tǒng)404組合，或這樣的顯示設(shè)備可以是外圍顯示設(shè)備(例如具有板外計(jì)算的頭戴式顯示器)。
作為一個(gè)非限制性示例，顯示子系統(tǒng)可包括位于頭戴式顯示器的透鏡內(nèi)的圖像產(chǎn)生元件(例如，透視OLED顯示器)。作為另一示例，顯示子系統(tǒng)可包括透鏡邊緣上的光調(diào)制器，透鏡可用作使光從光調(diào)制器傳遞到用戶眼睛的光導(dǎo)。在任一情況中，因?yàn)橥哥R至少部分是透明的，光可穿過(guò)透鏡到達(dá)用戶的眼睛，因此允許用戶透過(guò)透鏡查看。音頻子系統(tǒng)408可包括或被配置成利用用于播放如上所述的音頻流和/或其它聲音的一個(gè)或多個(gè)揚(yáng)聲器。傳感器子系統(tǒng)可包括和/或被配置成與各種不同傳感器通信。例如，頭戴式顯示器可包括至少一個(gè)內(nèi)向傳感器和/或至少一個(gè)外向傳感器。內(nèi)向傳感器可以是被配置成獲取圖像數(shù)據(jù)以允許查看者的眼睛被跟蹤的眼睛跟蹤圖像傳感器。外向傳感器可檢測(cè)基于姿勢(shì)的用戶輸入。例如，外向傳感器可包括深度相機(jī)、可見光相機(jī)或另一位置跟蹤相機(jī)。此外，這樣的外向相機(jī)可具有立體配置。例如，頭戴式顯示器可包括兩個(gè)深度相機(jī)，以從用戶觀點(diǎn)的兩個(gè)不同角度立體地觀察物理空間。在一些實(shí)施例中，基于姿勢(shì)的用戶輸入還可經(jīng)由一個(gè)或多個(gè)板外相機(jī)來(lái)檢測(cè)。此外，外向圖像傳感器可捕捉物理空間的圖像，這些圖像可作為輸入向板載或板外3D建模系統(tǒng)提供。3D建模系統(tǒng)可用于生成物理空間的3D模型。這樣的3D建?？捎糜趯㈩^戴式顯示器的精確位置定位于物理空間中，使得虛擬監(jiān)視器可被渲染以便顯現(xiàn)在相對(duì)于物理空間的精確位置中。此外，3D建模可用于準(zhǔn)確地標(biāo)識(shí)虛擬監(jiān)視器可被局限的真實(shí)世界表面。為了便于這樣的3D建模，傳感器子系統(tǒng)可任選地包括紅外投影儀以協(xié)助結(jié)構(gòu)光和/或飛行時(shí)間深度分析。傳感器子系統(tǒng)還可包括一個(gè)或多個(gè)運(yùn)動(dòng)傳感器以檢測(cè)查看者正佩戴頭戴式顯示器時(shí)該查看者頭部的移動(dòng)。運(yùn)動(dòng)傳感器可輸出運(yùn)動(dòng)數(shù)據(jù)，以例如跟蹤查看者的頭部運(yùn)動(dòng)和眼睛方向。因此，運(yùn)動(dòng)數(shù)據(jù)可便于檢測(cè)用戶頭部沿橫滾、俯仰和/或偏航軸的傾斜。此外，運(yùn)動(dòng)傳感器可允許頭戴式顯示器的位置被確定和/或細(xì)化。同樣地，運(yùn)動(dòng)傳感器還可被用作用戶輸入設(shè)備，使得用戶可經(jīng)由頸部、頭部或身體的姿勢(shì)與頭戴式顯示器交互。運(yùn)動(dòng)傳感器的非限制性示例包括加速度計(jì)、陀螺儀、羅盤和方向傳感器。此外，HMD設(shè)備可被配置有全球定位系統(tǒng)(GPS)能力。傳感器子系統(tǒng)還可包括一個(gè)或多個(gè)話筒來(lái)允許使用語(yǔ)音命令作為用戶輸入。當(dāng)包括通信子系統(tǒng)412時(shí)，通信子系統(tǒng)508可以被配置成將計(jì)算系統(tǒng)400與一個(gè)或多個(gè)其他計(jì)算設(shè)備可通信地耦合。通信子系統(tǒng)412可包括與一個(gè)或多個(gè)不同的通信協(xié)議相兼容的有線和/或無(wú)線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置為經(jīng)由無(wú)線電話網(wǎng)、無(wú)線局域網(wǎng)、有線局域網(wǎng)、無(wú)線廣域網(wǎng)、有線廣域網(wǎng)等進(jìn)行通信。在一些實(shí)施例中，通信子系統(tǒng)可允許計(jì)算系統(tǒng)400經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)發(fā)送消息至其他設(shè)備和/或從其他設(shè)備接收消息。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，并且這些具體實(shí)施例或示例不應(yīng)被認(rèn)為是局限性的，因?yàn)槎鄠€(gè)變體是可能的。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示次序執(zhí)行、按其他次序執(zhí)行、并行地執(zhí)行、或者在某些情況下被省略。同樣，可以改變上述過(guò)程的次序。本公開的主題包括各種過(guò)程、系統(tǒng)和配置、此處所公開的其他特征、功能、動(dòng)作、和/或特性、以及其任何和全部等效物的所有新穎和非顯而易見的組合和子組合。
權(quán)利要求
1.一種頭戴式顯示器，包括: 透視顯示器，被配置成對(duì)通過(guò)所述透視顯示器查看物理空間的用戶在視覺上擴(kuò)充所述物理空間的外觀；以及 虛擬現(xiàn)實(shí)引擎，被配置成使得所述透視顯示器在視覺上呈現(xiàn)虛擬監(jiān)視器，所述虛擬監(jiān)視器對(duì)通過(guò)所述透視顯示器查看所述物理空間的用戶而言看上去與所述物理空間一體化。
2.如權(quán)利要求1所述的頭戴式顯示器，其特征在于，所述虛擬現(xiàn)實(shí)引擎還被配置成在所述虛擬監(jiān)視器上播放視頻流，還包括揚(yáng)聲器，且其中所述虛擬現(xiàn)實(shí)引擎還被配置成使得所述揚(yáng)聲器播放與所述視頻流同步的音頻流。
3.如權(quán)利要求2所述的頭戴式顯示器，其特征在于，所述虛擬現(xiàn)實(shí)引擎還被配置成與所述透視顯示器和一物理空間位置之間的距離成反比地調(diào)整所述音頻流的音量，所述虛擬監(jiān)視器對(duì)通過(guò)所述透視顯示器查看所述物理空間的用戶而言看上去位于所述物理空間位置，或者所述虛擬現(xiàn)實(shí)引擎還被配置成與所述透視顯示器正在查看所述物理空間位置的直接程度成比例地調(diào)整所述音頻流的音量，所述虛擬監(jiān)視器對(duì)通過(guò)所述透視顯示器查看所述物理空間的用戶而言看上去位于所述物理空間位置。
4.如權(quán)利要求2所述的頭戴式顯示器，其特征在于，還包括被配置成無(wú)線地接收視頻流的通信子系統(tǒng)。
5.如權(quán)利要求1所述的頭戴式顯示器，其特征在于，所述虛擬現(xiàn)實(shí)引擎還被配置成將虛擬坐標(biāo)系映射到所述物理空間，使得所述虛擬監(jiān)視器看上去位于特定物理空間位置，且其中所述虛擬監(jiān)視器是固定虛擬監(jiān)視器或移動(dòng)虛擬監(jiān)視器。
6.如權(quán)利要求5所述的頭戴式顯示器，其特征在于，所述虛擬坐標(biāo)系是共享坐標(biāo)系，且其中所述特定物理空間位置是映射到所述共享坐標(biāo)系的另一頭戴式顯示器顯示所述虛擬監(jiān)視器的同一物理空間位置。
7.如權(quán)利要求1所述的頭戴式顯示器，其特征在于，還包括傳感器子系統(tǒng)，其中所述虛擬現(xiàn)實(shí)引擎被控制成響應(yīng)于經(jīng)由所述傳感器子系統(tǒng)識(shí)別的命令來(lái)控制所述虛擬監(jiān)視器，其中所述傳感器子系統(tǒng)包括話筒，且其中所述虛擬現(xiàn)實(shí)引擎被配置成響應(yīng)于經(jīng)由所述話筒識(shí)別的聽得到的命令來(lái)控制所述虛擬監(jiān)視器。
8.如權(quán)利要求7所述的頭戴式顯示器，其特征在于，所述傳感器子系統(tǒng)包括相機(jī)，且其中所述虛擬現(xiàn)實(shí)引擎被配置成響應(yīng)于經(jīng)由所述相機(jī)識(shí)別的手部姿勢(shì)命令或眼睛姿勢(shì)命令來(lái)控制所述虛擬監(jiān)視器。
9.一種用于擴(kuò)充現(xiàn)實(shí)的方法，所述方法包括: 從傳感器子系統(tǒng)接收物理空間的觀察信息； 基于所述觀察信息將虛擬現(xiàn)實(shí)環(huán)境映射到所述物理空間，所述虛擬現(xiàn)實(shí)環(huán)境包括在視覺上呈現(xiàn)視頻流的虛擬監(jiān)視器；以及 將擴(kuò)充的現(xiàn)實(shí)顯示信息發(fā)送到透視顯示器，所述擴(kuò)充的現(xiàn)實(shí)顯示信息被配置成使得所述透視顯示器顯示被映射到所述物理空間的所述虛擬現(xiàn)實(shí)環(huán)境，使得通過(guò)所述透視顯示器查看所述物理空間的用戶看到與所述物理空間一體化的所述虛擬監(jiān)視器。
10.如權(quán)利要求9所述的方法，其特征在于，還包括將擴(kuò)充的現(xiàn)實(shí)音頻信息發(fā)送給揚(yáng)聲器，所述擴(kuò)充的現(xiàn)實(shí)音頻信息被配置成使得所述揚(yáng)聲器播放與所述視頻流同步的音頻流。
全文摘要
本發(fā)明涉及擴(kuò)充的現(xiàn)實(shí)虛擬監(jiān)視器。頭戴式顯示器包括透視顯示器和虛擬現(xiàn)實(shí)引擎。透視顯示器被配置成對(duì)通過(guò)透視顯示器查看物理空間的用戶在視覺上擴(kuò)充該物理空間的外觀。虛擬現(xiàn)實(shí)引擎被配置成使得透視顯示器在視覺上呈現(xiàn)虛擬監(jiān)視器，該虛擬監(jiān)視器對(duì)通過(guò)透視顯示器查看物理空間的用戶而言看上去與該物理空間一體化。
文檔編號(hào)G02B27/01GK103149689SQ20121051632
公開日2013年6月12日 申請(qǐng)日期2012年12月5日 優(yōu)先權(quán)日2011年12月6日
發(fā)明者B·芒特, S·拉塔, A·普洛斯, D·麥卡洛克, D·貝內(nèi)特, R·哈斯汀斯, J·斯科特 申請(qǐng)人:微軟公司