混合現(xiàn)實(shí)增強(qiáng)的制作方法
【專利說明】混合現(xiàn)實(shí)増強(qiáng)
[0001]背景
[0002]增強(qiáng)或混合現(xiàn)實(shí)體驗(yàn)可在大的虛擬世界(諸如城市、景色、戰(zhàn)場(chǎng)等)中發(fā)生。一些混合現(xiàn)實(shí)設(shè)備和體驗(yàn)可允許用戶采用現(xiàn)實(shí)世界物理移動(dòng)來作為遍歷虛擬世界的方式。然而，直接將混合現(xiàn)實(shí)參與者的現(xiàn)實(shí)世界物理移動(dòng)映射到這樣大的虛擬世界中的虛擬運(yùn)動(dòng)可產(chǎn)生若干個(gè)挑戰(zhàn)。
[0003]例如，大的虛擬世界可向用戶呈現(xiàn)數(shù)公里的虛擬地形，甚至數(shù)百或數(shù)千公里的地形，來通過。這種虛擬地形的范圍可比經(jīng)由用戶的物理移動(dòng)的直接映射所能方便涵蓋的范圍大得多，而無需用戶變得累或無聊。在一些示例中，其中用戶的可用現(xiàn)實(shí)世界空間比用戶正體驗(yàn)的虛擬世界要小，用戶將在現(xiàn)實(shí)世界中遇到阻止用戶在虛擬世界的該方向上進(jìn)一步通過的物理對(duì)象(諸如房間的墻壁)。附加地，在這樣的情況下，沉浸于混合現(xiàn)實(shí)體驗(yàn)中的用戶可能沒有注意到物理墻壁，并可不經(jīng)意地碰觸到墻壁并接收到不愉快的驚嚇。
[0004]概沭
[0005]本文公開了涉及在混合現(xiàn)實(shí)環(huán)境中的運(yùn)動(dòng)放大的各個(gè)實(shí)施例。例如，一個(gè)公開的實(shí)施例提供用于在混合現(xiàn)實(shí)環(huán)境中向虛擬環(huán)境提供運(yùn)動(dòng)放大的方法。該方法包括接收來自頭戴式顯示設(shè)備的與物理環(huán)境中用戶的運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)。經(jīng)由頭戴式顯示設(shè)備呈現(xiàn)以主方向運(yùn)動(dòng)的虛擬環(huán)境，其中相比于用戶在對(duì)應(yīng)的主方向上的運(yùn)動(dòng)，主方向運(yùn)動(dòng)被放大第一倍數(shù)。還經(jīng)由頭戴式顯示設(shè)備呈現(xiàn)以次方向運(yùn)動(dòng)的虛擬環(huán)境，其中相比于用戶在對(duì)應(yīng)的次方向上的運(yùn)動(dòng)，次方向運(yùn)動(dòng)被放大第二倍數(shù)，其中第二倍數(shù)小于第一倍數(shù)。
[0006]提供本概述是為了以精簡(jiǎn)的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。
[0007]附圖簡(jiǎn)沐
[0008]圖1是根據(jù)本公開的一實(shí)施例的混合現(xiàn)實(shí)增強(qiáng)系統(tǒng)的示意圖。
[0009]圖2示出根據(jù)本公開的一實(shí)施例的示例頭戴式顯示設(shè)備。
[0010]圖3是佩戴圖2的頭戴式顯示設(shè)備并在房間中從初始位置走到后續(xù)位置的用戶的示意性透視圖。
[0011]圖4是顯不了用戶從初始位置到后續(xù)位置的運(yùn)動(dòng)的圖3的用戶的不意性俯視圖。
[0012]圖5是在圖4的初始位置處通過頭戴式顯示設(shè)備被用戶看到的虛擬環(huán)境的示意性視圖。
[0013]圖6是圖5的虛擬環(huán)境的示意性俯視圖。
[0014]圖7是在圖4的后續(xù)位置處通過頭戴式顯示設(shè)備被用戶看到的虛擬環(huán)境的示意性視圖。
[0015]圖8是圖7的虛擬環(huán)境的示意性俯視圖。
[0016]圖9是按比例縮小的圖5的虛擬環(huán)境的示意性視圖。
[0017]圖10是在包括初始虛擬場(chǎng)景和通向另一虛擬場(chǎng)景的虛擬入口的混合現(xiàn)實(shí)環(huán)境中用戶的示意性視圖。
[0018]圖11是初始虛擬場(chǎng)景和虛擬入口的示意性俯視圖。
[0019]圖12是后續(xù)虛擬場(chǎng)景和虛擬入口的示意性俯視圖。
[0020]圖13A、13B和13C示出了根據(jù)本公開的一實(shí)施例的用于在混合現(xiàn)實(shí)環(huán)境中向虛擬環(huán)境提供運(yùn)動(dòng)放大的方法的流程圖。
[0021]圖14是計(jì)算設(shè)備的一實(shí)施例的簡(jiǎn)化示意圖解。
[0022]詳細(xì)描沐
[0023]圖1示出混合現(xiàn)實(shí)增強(qiáng)系統(tǒng)10的一個(gè)實(shí)施例的示意圖?；旌犀F(xiàn)實(shí)增強(qiáng)系統(tǒng)10包括可被存儲(chǔ)在計(jì)算設(shè)備22的大容量存儲(chǔ)18中的混合現(xiàn)實(shí)增強(qiáng)程序14?；旌犀F(xiàn)實(shí)增強(qiáng)程序14可被加載到存儲(chǔ)器26中并由計(jì)算設(shè)備22的處理器30執(zhí)行以執(zhí)行下文更為詳細(xì)地描述的方法和過程中的一個(gè)或多個(gè)。
[0024]混合現(xiàn)實(shí)增強(qiáng)系統(tǒng)10包括混合現(xiàn)實(shí)顯示程序32，該混合現(xiàn)實(shí)顯示程序32可生成用于在顯示設(shè)備(諸如頭戴式顯示器(HMD)設(shè)備36)上顯示的虛擬環(huán)境34以創(chuàng)建混合現(xiàn)實(shí)環(huán)境38。虛擬環(huán)境34包括一個(gè)或多個(gè)虛擬對(duì)象40。這樣的虛擬對(duì)象40可包括一個(gè)或多個(gè)虛擬圖像(諸如三維全息圖像)和其他虛擬對(duì)象(諸如二維虛擬對(duì)象)。
[0025]計(jì)算設(shè)備22可采用以下形式:臺(tái)式計(jì)算設(shè)備，諸如智能電話、膝上型計(jì)算機(jī)、筆記本或平板計(jì)算機(jī)之類的移動(dòng)計(jì)算設(shè)備，網(wǎng)絡(luò)計(jì)算機(jī)，家庭娛樂計(jì)算機(jī)，交互式電視，游戲系統(tǒng)，或其他合適類型的計(jì)算設(shè)備。關(guān)于計(jì)算設(shè)備22的組件和計(jì)算方面的附加細(xì)節(jié)在下文中參考圖14更詳細(xì)地描述。
[0026]計(jì)算設(shè)備22可使用有線連接來與HMD設(shè)備36在操作上連接，或可采用經(jīng)由WiF1、藍(lán)牙或任何其他合適的無線通信協(xié)議的無線連接。另外，圖1中示出的示例將計(jì)算設(shè)備22示為與HMD設(shè)備36分開的組件。將理解，在其他示例中，計(jì)算設(shè)備22可被集成到HMD設(shè)備36中。
[0027]現(xiàn)在還參考圖2，提供了一副具有透明顯示器44的可配戴眼鏡形式的HMD設(shè)備200的示例。將明白，在其他示例中，HMD設(shè)備200可以采取其他合適的形式，其中透明、半透明或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1中所示的HMD設(shè)備36可以采取HMD設(shè)備200的形式(如在下文更詳細(xì)地描述的)或任何其他合適的HMD設(shè)備。另外，在本公開的范圍內(nèi)還可使用具有各種形狀因子的許多其他類型和配置的顯示設(shè)備。此類顯示設(shè)備可包括但不限于手持式智能電話、平板計(jì)算機(jī)以及其他適當(dāng)?shù)娘@示設(shè)備。
[0028]參考圖1和2，在這一示例中，HMD設(shè)備36包括顯示系統(tǒng)48和使圖像(諸如全息對(duì)象)能夠被遞送到用戶46的眼睛的透明顯示器44。透明顯示器44可被配置成向透過該透明顯示器查看物理環(huán)境50的用戶46在視覺上增強(qiáng)該物理環(huán)境(包括一個(gè)或多個(gè)物理對(duì)象52)的外觀。例如，物理環(huán)境50的外觀可以由經(jīng)由透明顯示器44呈現(xiàn)的圖形內(nèi)容(例如，一個(gè)或多個(gè)像素，每一像素具有相應(yīng)色彩和亮度)來增強(qiáng)以創(chuàng)建混合現(xiàn)實(shí)環(huán)境38。
[0029]透明顯示器44還可被配置成使用戶能夠透過顯示虛擬對(duì)象表示的一個(gè)或多個(gè)部分透明的像素來查看物理環(huán)境50中的物理現(xiàn)實(shí)世界對(duì)象52 ο在一個(gè)示例中，透明顯示器44可包括位于透鏡204內(nèi)的圖像生成元件(諸如例如透視有機(jī)發(fā)光二極管(OLED)顯示器)。作為另一示例，透明顯示器44可包括在透鏡204邊緣上的光調(diào)制器。在這一示例中，透鏡204可以擔(dān)當(dāng)光導(dǎo)以供將光從光調(diào)制器遞送到用戶的眼睛。這樣的光導(dǎo)可以使用戶能夠感覺3D全息圖像位于用戶正在查看的物理環(huán)境50內(nèi)，同時(shí)還允許用戶查看物理環(huán)境中的物理對(duì)象52，由此創(chuàng)建混合現(xiàn)實(shí)環(huán)境38。
[0030]作為另一示例，透明顯示器44可包括其中可生成阻擋圖像的一個(gè)或多個(gè)不透明層。該一個(gè)或多個(gè)不透明層可選擇性地在從物理環(huán)境50接收到的現(xiàn)實(shí)世界光到達(dá)佩戴HMD設(shè)備36的用戶46的眼睛之前阻擋該光。通過選擇性地阻擋現(xiàn)實(shí)世界光，該一個(gè)或多個(gè)不透明層可增強(qiáng)虛擬對(duì)象40和在其中虛擬對(duì)象被用戶感知到的物理環(huán)境50之間的視覺對(duì)比。
[0031]HMD設(shè)備36還可包括各種傳感器和相關(guān)系統(tǒng)。例如，HMD設(shè)備36可包括利用至少一個(gè)面向內(nèi)的傳感器216的眼睛跟蹤傳感器系統(tǒng)56。該面向內(nèi)的傳感器216可以是被配置成從用戶的眼睛獲取眼睛跟蹤信息形式的圖像數(shù)據(jù)的圖像傳感器。假定用戶已同意獲取和使用這一信息，眼睛跟蹤傳感器系統(tǒng)56可以使用這一信息來跟蹤用戶的眼睛的位置和/或運(yùn)動(dòng)。
[0032]HMD設(shè)備36還可包括從物理環(huán)境50接收物理環(huán)境數(shù)據(jù)60的傳感器系統(tǒng)。例如，HMD設(shè)備36可包括利用至少一個(gè)面向外的傳感器212 (如光學(xué)傳感器)的光學(xué)傳感器系統(tǒng)
62。面向外的傳感器212可以檢測(cè)其視野內(nèi)的運(yùn)動(dòng)，如視野內(nèi)的用戶46或人或物理對(duì)象所執(zhí)行的基于姿勢(shì)的輸入或其他運(yùn)動(dòng)。面向外的傳感器212還可從物理環(huán)境50和該環(huán)境內(nèi)的物理對(duì)象52捕捉二維圖像信息和深度信息。例如，面向外的傳感器212可包括深度相機(jī)、可見光相機(jī)、紅外光相機(jī)，和/或位置跟蹤相機(jī)。
[0033]HMD設(shè)備36可包括經(jīng)由一個(gè)或多個(gè)深度相機(jī)的深度感測(cè)。在一個(gè)示例中，每一深度相機(jī)可包括立體視覺系統(tǒng)的左和右相機(jī)。來自這些深度相機(jī)中的一個(gè)或多個(gè)的時(shí)間分辨的圖像可被彼此配準(zhǔn)和/或與來自另一光學(xué)傳感器(如可見光譜相機(jī))的圖像配準(zhǔn)，且可被組合以產(chǎn)生深度分辨的視頻。
[0034]在其他示例中，結(jié)構(gòu)化光深度相機(jī)可被配置成投影結(jié)構(gòu)化紅外照明并對(duì)從照明被投影到其之上的場(chǎng)景中反射的該照明進(jìn)行成像?；谒上竦膱?chǎng)景的各個(gè)區(qū)域內(nèi)鄰近特征之間的間隔，可構(gòu)造該場(chǎng)景的深度圖。在其他示例中，深度相機(jī)可以采取飛行時(shí)間深度相機(jī)的形式，其被配置成將脈沖的紅外照明投影到該場(chǎng)景上以及檢測(cè)從該場(chǎng)景反射的照明?？梢岳斫猓诒景l(fā)明的范圍內(nèi)可使用任意其他合適的深度相機(jī)。
[0035]面向外的傳感器212可以捕捉用戶46位于其中的物理環(huán)境50的圖像。在一個(gè)示例中，混合現(xiàn)實(shí)顯示程序32可包括使用這樣的輸入來生成對(duì)圍繞該用戶4