各種技術(shù)可允許用戶體驗(yàn)真實(shí)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的混合。例如，諸如各種頭戴式顯示(HMD)設(shè)備之類的一些顯示設(shè)備可包括透視顯示器，該透視顯示器允許將虛擬物體疊加在真實(shí)世界環(huán)境上。當(dāng)HMD設(shè)備的佩戴者通過透視顯示器觀看時(shí)，虛擬物體可看上去與真實(shí)世界環(huán)境結(jié)合。虛擬物體與真實(shí)世界環(huán)境之間的這種關(guān)系可被稱為增強(qiáng)現(xiàn)實(shí)。

即時(shí)定位和映射系統(tǒng)可以提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)。通常，這樣的跟蹤和映射系統(tǒng)依賴于用戶正在其中進(jìn)行操作的環(huán)境的照明和其它視覺方面。當(dāng)所述環(huán)境不能提供足夠的數(shù)據(jù)來支持跟蹤和映射時(shí)，應(yīng)用或技術(shù)可能無(wú)法操作或可能以在用戶體驗(yàn)方面顯著降級(jí)的方式操作。

用戶可以通過變化量的數(shù)據(jù)來支持跟蹤和映射以在各種真實(shí)世界環(huán)境中和動(dòng)態(tài)環(huán)境中利用這種跟蹤和映射系統(tǒng)。在一些情況中，用戶可以期望使用跟蹤和映射系統(tǒng)來在特定環(huán)境中執(zhí)行增強(qiáng)現(xiàn)實(shí)應(yīng)用。然而，所述環(huán)境可能提供了對(duì)支持有效的跟蹤和映射來說不充足的數(shù)據(jù)，使得應(yīng)用執(zhí)行欠佳并提供了令人失望的用戶體驗(yàn)或完全出故障。當(dāng)關(guān)于所述環(huán)境的質(zhì)量的信息涉及跟蹤和映射系統(tǒng)時(shí)如果僅有有限的信息或沒有信息，則用戶可能不愉快地驚訝于所述用戶體驗(yàn)。而且，用戶可能被阻止調(diào)整用戶體驗(yàn)的期望值和/或選擇另一個(gè)活動(dòng)或可以更加高效地操作的其它應(yīng)用。

概述

在此公開了涉及向頭戴式顯示設(shè)備的用戶傳送世界鎖定顯示模式的估計(jì)質(zhì)量等級(jí)的各種實(shí)施例，在所述世界鎖定顯示模式中，一個(gè)或多個(gè)虛擬物體的位置相對(duì)于通過頭戴式顯示設(shè)備可觀看的真實(shí)世界物體來說看起來固定的。例如，一個(gè)所揭示的實(shí)施例提供了包括從頭戴式顯示設(shè)備的一個(gè)或多個(gè)傳感器接收傳感器數(shù)據(jù)的方法。使用傳感器數(shù)據(jù)，確定頭戴式顯示設(shè)備的估計(jì)的姿勢(shì)。

使用估計(jì)的姿勢(shì)，通過頭戴式顯示設(shè)備要么以世界鎖定顯示模式要么以身體鎖定顯示模式來顯示一個(gè)或多個(gè)虛擬物體，在身體鎖定顯示模式中，每個(gè)虛擬物體的位置相對(duì)于頭戴式顯示設(shè)備的用戶來說看起來固定的。確定所述傳感器數(shù)據(jù)的輸入不確信度值以及估計(jì)的姿勢(shì)的姿勢(shì)不確信度值中的一個(gè)或多個(gè)。輸入不確信度值以及姿勢(shì)不確信度值中的一個(gè)或多個(gè)被映射到世界鎖定顯示模式的估計(jì)的質(zhì)量等級(jí)。將所估計(jì)的質(zhì)量等級(jí)的反饋通過頭戴式顯示設(shè)備傳送給用戶。

提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本

技術(shù)實(shí)現(xiàn)要素：
并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。而且，所要求保護(hù)的主題不限于解決該公開的任一部分中所注的任何或全部缺點(diǎn)的實(shí)現(xiàn)方式。

附圖簡(jiǎn)述

圖1是根據(jù)本公開的一實(shí)施例的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的示意圖。

圖2和3示出了根據(jù)本公開的一實(shí)施例的具有世界鎖定位置的多個(gè)虛擬物體。

圖4和5示出了根據(jù)本公開的一實(shí)施例的具有身體鎖定位置的多個(gè)虛擬物體。

圖6示出了作為體積全息圖的根據(jù)本公開的一實(shí)施例的具有世界鎖定位置的多個(gè)虛擬物體。

圖7示出了根據(jù)本公開的一實(shí)施例的具有身體鎖定位置的顯示于屏幕視口的多個(gè)虛擬物體。

圖8是根據(jù)本公開的一實(shí)施例的跟蹤系統(tǒng)的示意圖。

圖9示出根據(jù)本公開的一實(shí)施例的示例頭戴式顯示設(shè)備。

圖10A和10B是根據(jù)本公開的一實(shí)施例的用于向頭戴式顯示設(shè)備的用戶傳送世界鎖定顯示模式的估計(jì)的質(zhì)量等級(jí)的方法的流程圖。

圖11是計(jì)算設(shè)備的一實(shí)施例的簡(jiǎn)化示意解說。

詳細(xì)描述

圖1示出增強(qiáng)現(xiàn)實(shí)系統(tǒng)10的一個(gè)實(shí)施例的示意圖。增強(qiáng)現(xiàn)實(shí)系統(tǒng)10包括可被存儲(chǔ)在計(jì)算設(shè)備22的大容量存儲(chǔ)18中的跟蹤系統(tǒng)14。跟蹤系統(tǒng)14可被加載到存儲(chǔ)器26中并由計(jì)算設(shè)備22的處理器28執(zhí)行以執(zhí)行下文更為詳細(xì)地描述的方法和過程中的一個(gè)或多個(gè)。

增強(qiáng)現(xiàn)實(shí)系統(tǒng)10包括可以生成供在包括一個(gè)或多個(gè)真實(shí)世界物體34的真實(shí)世界環(huán)境內(nèi)顯示的一個(gè)或多個(gè)虛擬物體32的顯示程序30。諸如頭戴式顯示(HMD)設(shè)備之類的顯示設(shè)備可在真實(shí)世界環(huán)境上疊加地顯示虛擬物體32以創(chuàng)建增強(qiáng)現(xiàn)實(shí)環(huán)境40。如下將更加詳細(xì)描述地，顯示程序30可以利用兩種不同的顯示模式來顯示所述虛擬物體32。

更具體而言，在世界鎖定顯示模式44中，一個(gè)或多個(gè)虛擬物體32可通過HMD設(shè)備36以世界鎖定的位置被顯示。在世界鎖定的位置中，虛擬物體32相對(duì)于通過HMD設(shè)備36可觀看的真實(shí)世界物體34來說看起來固定的，并且每個(gè)虛擬物體的所述世界鎖定位置相對(duì)于所述HMD設(shè)備的佩戴者來說看起來可移動(dòng)的。還是參考圖8中所示的跟蹤系統(tǒng)14，世界鎖定顯示模式44可與六個(gè)自由度(6DOF)的跟蹤過濾器816相關(guān)聯(lián)，所述跟蹤過濾器在六個(gè)自由度(例如，x、y、z、俯仰、翻滾、偏航)上估計(jì)HMD設(shè)備36的位置和方向。

例如，在六個(gè)自由度中的估計(jì)可以使用來自HMD設(shè)備36的光學(xué)傳感器和HMD設(shè)備的不僅僅依賴于光學(xué)信息的其它姿勢(shì)傳感器的組合中的傳感器數(shù)據(jù)46被確定。這樣的其它姿勢(shì)傳感器可以包括，但不局限于：加速度計(jì)、陀螺儀、磁力計(jì)和用于通過使用一個(gè)或多個(gè)先前確定的位置/方向和在指定時(shí)間段上的已知或估計(jì)的變化來推斷當(dāng)前位置/方向的推測(cè)的其他傳感器

光學(xué)傳感器可提供HMD設(shè)備36所處的真實(shí)世界環(huán)境的光學(xué)特征的圖像信息。如上所述，由于對(duì)用戶正在其中操作的真實(shí)世界環(huán)境的照明條件、光學(xué)特征和其它各視覺方面的依賴，來自光學(xué)傳感器的傳感器數(shù)據(jù)46的精確性可以變化且可能是不可靠的。然而，當(dāng)條件適合于提供精確傳感器數(shù)據(jù)時(shí)，由世界鎖定顯示模式44提供的增強(qiáng)現(xiàn)實(shí)體驗(yàn)可以是豐富和引人注目的。

當(dāng)條件不適合于在世界鎖定顯示模式44中以世界鎖定位置一致地顯示虛擬物體32時(shí)以及對(duì)于不支持世界鎖定顯示模式的應(yīng)用來說，HMD設(shè)備36可以以身體鎖定顯示模式48操作。在身體鎖定顯示模式48中，一個(gè)或多個(gè)虛擬物體32可通過HMD設(shè)備36以身體鎖定的位置被顯示。在身體鎖定位置中，虛擬物體32相對(duì)于所述HMD設(shè)備36的佩戴者看起來固定的，而每個(gè)虛擬物體的所述身體鎖定位置相對(duì)于所述真實(shí)世界物體34來說看起來可移動(dòng)的。

身體鎖定顯示模式48可以與和6DOF跟蹤過濾器816并行操作的三個(gè)自由度(3DOF)的跟蹤過濾器820相關(guān)聯(lián)。3DOF跟蹤過濾器820在三個(gè)自由度(例如，俯仰、翻滾、偏航)上估計(jì)HMD設(shè)備36的方向。例如，可使用來自不依賴于光學(xué)數(shù)據(jù)的姿勢(shì)傳感器的信息來確定三個(gè)自由度中的估計(jì)。因此，在其中6DOF跟蹤過濾器816可以提供降級(jí)的增強(qiáng)現(xiàn)實(shí)體驗(yàn)的條件期間，3DOF跟蹤過濾器820可一致性地操作。

再次參考圖1，計(jì)算設(shè)備22可使用有線連接來與HMD設(shè)備36在操作上連接，或可采用經(jīng)由WiFi、藍(lán)牙或任何其他合適的無(wú)線通信協(xié)議的無(wú)線連接。另外，圖1中示出的示例將計(jì)算設(shè)備22示為與HMD設(shè)備36分開的組件。將理解，在其他示例中，計(jì)算設(shè)備22可被集成到HMD設(shè)備36中。

在一些示例中，計(jì)算設(shè)備22可采用以下形式：臺(tái)式計(jì)算設(shè)備，諸如智能電話、膝上型計(jì)算機(jī)、筆記本或平板計(jì)算機(jī)之類的移動(dòng)計(jì)算設(shè)備，網(wǎng)絡(luò)計(jì)算機(jī)，家庭娛樂計(jì)算機(jī)，交互式電視，機(jī)頂盒，游戲系統(tǒng)，或其他合適類型的計(jì)算設(shè)備。關(guān)于計(jì)算設(shè)備22的組件和計(jì)算方面的附加細(xì)節(jié)在下文中參考圖11更詳細(xì)地描述。

如下更加詳細(xì)地描述，跟蹤系統(tǒng)14可以被配置為將世界鎖定顯示模式44的估計(jì)的質(zhì)量等級(jí)的反饋42傳送給佩戴HMD設(shè)備36的用戶50。有利地，通過這種方式，用戶50可以被實(shí)時(shí)告知當(dāng)前環(huán)境條件以及它們對(duì)世界鎖定顯示模式用戶體驗(yàn)的質(zhì)量和/或可用性的影響。

現(xiàn)在參考圖2-7，現(xiàn)在將描述對(duì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)10和跟蹤系統(tǒng)14的示例用例。在圖2和3所示的示例中，由于真實(shí)世界環(huán)境的條件在質(zhì)量等級(jí)閾值之上，可以利用世界鎖定顯示模式44。質(zhì)量等級(jí)閾值可以對(duì)應(yīng)于在世界鎖定顯示模式44中提供可接受的用戶體驗(yàn)的傳感器數(shù)據(jù)的最小數(shù)量和/或質(zhì)量。將理解可用傳感器數(shù)據(jù)的所述數(shù)量和/或質(zhì)量可以隨一個(gè)環(huán)境到另一個(gè)環(huán)境而顯著變化。因此，合適的質(zhì)量等級(jí)閾值也將變化并且將通過有經(jīng)驗(yàn)的實(shí)踐者很容易地被確定。

在圖2中，相對(duì)于HMD設(shè)備36的用戶50的位置和方向，第一視頻板208看起來像被懸掛在房間206的左側(cè)墻壁210上。相對(duì)于HMD設(shè)備36的用戶50的位置和方向，第二視頻板212看起來像被懸掛在房間206的面向前方的墻壁214上。相對(duì)于HMD設(shè)備36的用戶50的位置和方向，第三視頻板216看起來像被懸掛在右側(cè)墻壁218上。

在圖3中，HMD設(shè)備36的用戶50已經(jīng)移動(dòng)至右側(cè)并轉(zhuǎn)向左邊，使得他/她正面向墻壁210，并且HMD設(shè)備的位置和方向相應(yīng)地改變了。另外，幾個(gè)人已經(jīng)進(jìn)入到房間，并且各種物品已被放置在第二視頻板212之下的桌子222上。由于HMD設(shè)備36以世界鎖定顯示模式44操作，并且視頻板相應(yīng)地具有世界鎖定位置，所以相對(duì)于通過HMD設(shè)備36觀看的其他真實(shí)世界物體和第二視頻板212而言，第一視頻板208看起來像是固定在墻210上。類似地，相對(duì)于通過HMD設(shè)備36觀看的其他真實(shí)世界物體和第一視頻板208而言，第二視頻板212看起來像是固定在墻214上。相應(yīng)地，當(dāng)用戶50移動(dòng)時(shí)，第一和第二視頻板中的每一個(gè)的世界鎖定位置相對(duì)于該用戶而言看起來是移動(dòng)的。

將理解，HMD設(shè)備36可顯示具有世界鎖定位置的任何合適數(shù)量的視頻板或其它虛擬物體32。視頻板可呈現(xiàn)任何合適的視頻或其他圖像。例如，視頻板可呈現(xiàn)一個(gè)或多個(gè)網(wǎng)頁(yè)、電子郵件應(yīng)用、天氣報(bào)告、電視、新聞、照片等。

將理解，視頻板可位于房間內(nèi)的任何合適的世界鎖定位置。在一些實(shí)施例中，可根據(jù)因位置而異的預(yù)定義的視覺布局來顯示視頻板。例如，來自跟蹤系統(tǒng)14的光學(xué)傳感器數(shù)據(jù)可被用于識(shí)別出真實(shí)世界環(huán)境處于特定位置，諸如用戶的辦公室。因此，根據(jù)因位置而異的視覺布局，視頻板可被放置在辦公室內(nèi)的特定位置。另一方面，如果真實(shí)世界環(huán)境未被識(shí)別，則可根據(jù)默認(rèn)的視覺布局來放置視頻板。在其他實(shí)施例中，視覺布局可以是獨(dú)立于位置的，并且在以世界鎖定顯示模式44操作視頻板時(shí)，該視頻板可被顯示于相同的世界鎖定位置中任何位置中。

再次參考圖1且如下更加詳細(xì)地描述，跟蹤系統(tǒng)14利用從房間206接收到的傳感器數(shù)據(jù)46來確定HMD設(shè)備36的估計(jì)的姿勢(shì)54。隨后，將此估計(jì)的姿勢(shì)用于將視頻板顯示在其世界鎖定的位置中。跟蹤系統(tǒng)14可以分析傳感器數(shù)據(jù)46以確定與傳感器數(shù)據(jù)相關(guān)聯(lián)的一個(gè)或多個(gè)輸入不確信度值。如上所述，各種環(huán)境因素可以影響與傳感器數(shù)據(jù)相關(guān)聯(lián)的不確信度。這樣的因素可以包括，但不局限于，真實(shí)世界物體的照明、場(chǎng)景深度、場(chǎng)景運(yùn)動(dòng)和特征密度(例如場(chǎng)景混雜)。類似地，跟蹤系統(tǒng)14可以分析估計(jì)的姿勢(shì)54以確定估計(jì)的姿勢(shì)的一個(gè)或多個(gè)姿勢(shì)不確信度值。

隨后，跟蹤系統(tǒng)14可以將輸入不確信度值以及姿勢(shì)不確信度值中的一個(gè)或多個(gè)映射到世界鎖定顯示模式44的多個(gè)估計(jì)的質(zhì)量等級(jí)中的一個(gè)。有利地，跟蹤系統(tǒng)14可以隨后通過HMD設(shè)備36將估計(jì)的質(zhì)量等級(jí)的反饋42傳送給用戶50。

在一些示例中，反饋42可以包括通過HMD設(shè)備36顯示估計(jì)的質(zhì)量等級(jí)的一個(gè)或多個(gè)圖形表示。現(xiàn)在參考圖2，在一個(gè)示例中估計(jì)的質(zhì)量等級(jí)的反饋42可以包括顯示在HMD設(shè)備36的視野200內(nèi)的環(huán)230。可以以多個(gè)不同的顏色中的一個(gè)顏色來顯示環(huán)230，每個(gè)顏色對(duì)應(yīng)于世界鎖定顯示模式44的不同的估計(jì)的質(zhì)量等級(jí)。例如，5種顏色和對(duì)應(yīng)的估計(jì)的質(zhì)量等級(jí)可以被使用，諸如(1)紅色/不可用，(2)紫色/欠佳，(3)黃色/合理，(4)藍(lán)色/良好，以及(5)綠色/優(yōu)異。將領(lǐng)會(huì)，任何合適數(shù)目的質(zhì)量等級(jí)和對(duì)應(yīng)的顏色以及任何其它類型和形式的圖形表示都可被使用并在本公開的范圍內(nèi)。

在圖2的示例中，房間206中的真實(shí)世界物體可以在由HMD設(shè)備36所收集的圖像數(shù)據(jù)中提供低的特征密度(或場(chǎng)景混雜)量。跟蹤系統(tǒng)14可以確定在該環(huán)境(可能和一個(gè)或多個(gè)其它環(huán)境方面一起)中的這樣較低的特征密度量將產(chǎn)生世界鎖定模式體驗(yàn)的合理(Fair)的估計(jì)的質(zhì)量等級(jí)。因此并為了警告用戶50，跟蹤系統(tǒng)14可以通過HMD設(shè)備36顯示黃色(Y)環(huán)230。

在圖3的示例中，房間206中的附加人員和其它真實(shí)世界物體可以在由HMD設(shè)備36所收集的圖像數(shù)據(jù)中提供增強(qiáng)的特征密度。跟蹤系統(tǒng)14可以確定這樣的更大的特征密度將產(chǎn)生優(yōu)異的估計(jì)的質(zhì)量等級(jí)。因此并為了警告用戶50，跟蹤系統(tǒng)14可以通過HMD設(shè)備36顯示對(duì)應(yīng)于世界鎖定模式體驗(yàn)的優(yōu)異的估計(jì)的質(zhì)量等級(jí)的綠色(G)環(huán)230。

在圖4和圖5的示例中，HMD設(shè)備36的用戶50已經(jīng)移動(dòng)通過圖2和圖3所示的房間206的門道并進(jìn)入走廊400。在此示例中，走廊400的照明條件和其特征可以是非常差的。因此，由HMD設(shè)備36所收集的圖像數(shù)據(jù)可以由低分辨率生成(例如走廊400的欠佳紋理和其特征)來表征。跟蹤系統(tǒng)14可以確定這樣的欠佳照明條件(可能與一個(gè)或多個(gè)其它環(huán)境因素一起)將產(chǎn)生世界鎖定顯示模式44的不可用的估計(jì)的質(zhì)量等級(jí)；例如HMD設(shè)備36不能在世界鎖定顯示模式中操作。

因此并為了警告用戶50，跟蹤系統(tǒng)14可以通過HMD設(shè)備36顯示柱狀圖指示符404，該柱狀圖指示符通過顯示5個(gè)可能的柱形中的一個(gè)柱形來傳遞不可用的估計(jì)的質(zhì)量等級(jí)。在一些示例中，跟蹤系統(tǒng)14可以被配置為當(dāng)估計(jì)的質(zhì)量等級(jí)在預(yù)定質(zhì)量等級(jí)閾值之下時(shí)禁用世界鎖定顯示模式44。

由于世界鎖定顯示模式44是不可用的，HMD設(shè)備36可以在身體鎖定顯示模式48中操作。在身體鎖定顯示模式48中，可以在視野200中以身體鎖定位置顯示多個(gè)視頻板。例如，多個(gè)視頻板可出現(xiàn)在球形工作空間布局中，其中HMD設(shè)備36的用戶50站在球體的中心，而多個(gè)視頻板圍繞著他/她。在一些實(shí)施例中，可根據(jù)預(yù)定義的視覺布局來安排多個(gè)視頻板。在一個(gè)特定示例中，新聞應(yīng)用可被顯示在左側(cè)的第一視頻板中，電子郵件應(yīng)用可被顯示在中間的第二視頻板中，而股票行情應(yīng)用可被顯示在右側(cè)的第三視頻板中。

在圖4中，HMD設(shè)備36的用戶50正站在走廊400中且緊鄰房間206的門道。多個(gè)視頻板以身體鎖定位置被顯示在視野200中，該身體鎖定位置相對(duì)于用戶50看起來是固定的而相對(duì)于諸如門道之類的真實(shí)世界物體看起來是可移動(dòng)的。

在圖5中，HMD設(shè)備36的用戶50已經(jīng)向下走到了走廊400的末端并且正站在另一門道前面。由于多個(gè)視頻板以身體鎖定位置通過HMD設(shè)備36被顯示，所以即使當(dāng)他/她沿著走廊向下走時(shí)，該多個(gè)視頻板相對(duì)于用戶50保持固定。換言之，板隨用戶50移動(dòng)。

圖5還示出將世界鎖定顯示模式44的估計(jì)的質(zhì)量等級(jí)的反饋42傳送給用戶50的另一個(gè)示例，在其中視野200的外觀被改變。在圖5中，跟蹤系統(tǒng)14以淡紅色高亮視野200(由多個(gè)R指示)以傳達(dá)世界鎖定顯示模式44是不可用的。當(dāng)估計(jì)的質(zhì)量等級(jí)改變時(shí)，視野200的高亮可以相應(yīng)地改變?yōu)樯鲜龅牧硗馑姆N顏色之一。還將理解，改變視野200的外觀的任何其它合適的形式和/或方式都可被利用，諸如舉例而言，顯示對(duì)應(yīng)于估計(jì)的質(zhì)量等級(jí)的透明水印。

圖6和圖7示出了一個(gè)示例場(chǎng)景，在其中示出了在世界鎖定顯示模式44中的3D視圖中的多個(gè)虛擬物體，并且然后視覺地切換到身體鎖定顯示模式48中的2D視圖。在圖6中，HMD設(shè)備36以世界鎖定顯示模式44操作，其中體積全息圖形式(例如，3D網(wǎng)格)的多個(gè)虛擬物體(好巫師600、火球604和邪惡巫師606)可以以3D視圖通過HMD設(shè)備36被顯示。體積全息圖可在真實(shí)世界環(huán)境(例如，房間)610中具有世界鎖定的位置，并且可看起來在真實(shí)世界環(huán)境內(nèi)占據(jù)體積。

圖6還示出了以多個(gè)1/4環(huán)指示符614形式顯示估計(jì)的質(zhì)量等級(jí)的圖形表示的示例，在該示例中示出了對(duì)應(yīng)于良好估計(jì)的質(zhì)量等級(jí)的5分之4的指示符。在一個(gè)示例中，多個(gè)1/4環(huán)指示符614還與所述虛擬物體一起被顯示在世界鎖定顯示模式44中。在另一個(gè)示例中，可以以身體鎖定顯示模式48來顯示多個(gè)1/4環(huán)指示符614，這樣，所述指示符相對(duì)于用戶而言看上去是固定的并且無(wú)論用戶如何在真實(shí)世界環(huán)境中移動(dòng)或轉(zhuǎn)向都保持在用戶視野中。

在圖7中，HMD設(shè)備36的用戶50已經(jīng)走過房間610的門道并且進(jìn)入小走廊702。小走廊702可以提供非常有限的場(chǎng)景深度，在其中，HMD設(shè)備36的傳感器可以捕捉傳感器數(shù)據(jù)46。在小走廊702的場(chǎng)景深度低于最小場(chǎng)景深度閾值時(shí)，所得到的傳感器數(shù)據(jù)的不確信度和對(duì)應(yīng)的估計(jì)的姿勢(shì)54可能產(chǎn)生不可接受的世界鎖定顯示模式44的估計(jì)的質(zhì)量等級(jí)。

因此，當(dāng)用戶50進(jìn)入走廊702時(shí)，跟蹤系統(tǒng)14可以從世界鎖定顯示模式44切換到身體鎖定顯示模式48。作為響應(yīng)，體積網(wǎng)格可從3D視圖視覺地切換到2D視圖。在一個(gè)示例中，體積網(wǎng)格可折疊成視頻板706的2D視圖。視頻板706可以是虛擬物體所棲身的虛擬世界的屏幕視口。視頻板706可以具有身體鎖定位置，并且虛擬物體可在視頻板中描繪的虛擬世界內(nèi)移動(dòng)。

在另一個(gè)示例中，HMD設(shè)備36的一個(gè)或多個(gè)傳感器可以被用戶的頭發(fā)、用戶的手或手臂和/或用戶所佩戴的帽子至少部分地遮擋住。在該示例中，可以分析來自一個(gè)或多個(gè)傳感器的傳感器數(shù)據(jù)46以檢測(cè)用戶的頭發(fā)、用戶的手或手臂和/或用戶所佩戴的帽子的視覺指示符?；谶@樣的分析，可以確定輸入不確信度值。例如，當(dāng)圖像數(shù)據(jù)顯示帽邊遮擋了圖像傳感器的超過50％的視野，跟蹤系統(tǒng)14可以確定這樣的條件將產(chǎn)生世界鎖定顯示模式44的不可用的估計(jì)的質(zhì)量等級(jí)。

在另一個(gè)示例中，世界鎖定顯示模式44的估計(jì)的質(zhì)量等級(jí)的反饋42可以包括改變一個(gè)或多個(gè)虛擬物體32的外觀。再次參考圖6，在其中估計(jì)的質(zhì)量等級(jí)從第一等級(jí)降至第二較低等級(jí)的一個(gè)示例中，邪惡巫師606的體積全息圖可以變得透明以指示較低的估計(jì)的質(zhì)量等級(jí)。在其它示例中，一個(gè)或多個(gè)體積全息圖或2D圖像可以以特定顏色被顯示以指示對(duì)應(yīng)的估計(jì)的質(zhì)量等級(jí)。在其它示例中，一個(gè)或多個(gè)全息圖或圖像可以被顯示為看上去震動(dòng)的或以其它方式在視覺上是振動(dòng)的以指示對(duì)應(yīng)的估計(jì)的質(zhì)量等級(jí)。將理解前述的示例不是排他性的，并且許多改變一個(gè)或多個(gè)虛擬物體32的外觀的其它示例也可被使用。

在其它示例中并再次參考圖1，跟蹤系統(tǒng)14可以將估計(jì)的質(zhì)量等級(jí)提供給使用世界鎖定顯示模式44和身體鎖定顯示模式48的另一個(gè)應(yīng)用，諸如增強(qiáng)現(xiàn)實(shí)應(yīng)用64。隨后，該應(yīng)用可以通過HMD設(shè)備36將估計(jì)的質(zhì)量等級(jí)的反饋42傳送給用戶50。例如，增強(qiáng)現(xiàn)實(shí)應(yīng)用64可以通過應(yīng)用編程接口(API)與跟蹤系統(tǒng)14接合，并可以向跟蹤系統(tǒng)14查詢關(guān)于世界鎖定顯示模式44的可用性和/或估計(jì)的質(zhì)量?；趯?duì)所述查詢的響應(yīng)，增強(qiáng)現(xiàn)實(shí)應(yīng)用64可以確定估計(jì)的質(zhì)量等級(jí)的反饋42的類型和傳遞給用戶50的方式。例如，增強(qiáng)現(xiàn)實(shí)應(yīng)用64可以通過HMD設(shè)備36向用戶50提供音頻反饋，例如發(fā)出“World-lock mode isn’t available at the moment(世界鎖定模式此刻不可用)”的聲音。

在其它示例中，跟蹤系統(tǒng)14或其它應(yīng)用可以阻止傳送世界鎖定顯示模式44的估計(jì)的質(zhì)量等級(jí)的反饋42，直到從用戶50接收到調(diào)用世界鎖定顯示模式的用戶輸入68。在一個(gè)示例中，跟蹤系統(tǒng)14可以默認(rèn)以身體鎖定顯示模式48操作并且在該模式時(shí)可以不提供世界鎖定顯示模式44的估計(jì)的質(zhì)量等級(jí)的反饋42。用戶50隨后可以做出請(qǐng)求，執(zhí)行動(dòng)作或通過其它方式以調(diào)用世界鎖定顯示模式44的方式與增強(qiáng)現(xiàn)實(shí)應(yīng)用64交互。例如且參考圖6和7，用戶50可以走動(dòng)離開在其中世界鎖定顯示模式44是不可用的小走廊702，返回到在其中世界鎖定顯示模式44是可用的房間610中。因此，增強(qiáng)現(xiàn)實(shí)應(yīng)用64和跟蹤系統(tǒng)14可以隨后顯示示出良好估計(jì)的質(zhì)量等級(jí)的1/4環(huán)指示符。

將理解，許多其它形式的用戶輸入68可以被用于觸發(fā)估計(jì)的質(zhì)量等級(jí)的反饋42的顯示。在一些示例中，這樣的用戶輸入68可以是被動(dòng)的，諸如上述用戶50從走廊702走到房間610的示例。在其它示例中，用戶輸入68可以是顯式的，諸如用戶50說出詞匯指令以啟動(dòng)使用世界鎖定顯示模式44的增強(qiáng)現(xiàn)實(shí)應(yīng)用64。

現(xiàn)在轉(zhuǎn)向圖8，提供了根據(jù)本公開的一實(shí)施例的HMD設(shè)備36的示例跟蹤系統(tǒng)14的示意圖解。如上所述，跟蹤系統(tǒng)14可以被配置為確定HMD設(shè)備36的估計(jì)的姿勢(shì)54以及世界鎖定顯示模式44的估計(jì)的質(zhì)量等級(jí)804。更具體而言，跟蹤系統(tǒng)14可以使用來自HMD設(shè)備36的傳感器數(shù)據(jù)46來提供HMD設(shè)備的實(shí)際姿勢(shì)的經(jīng)過濾運(yùn)行估計(jì)。這些估計(jì)的姿勢(shì)54可以被用于在世界鎖定位置中顯示虛擬物體32。估計(jì)的質(zhì)量等級(jí)804的反饋42可以被傳送給HMD設(shè)備86的用戶50。

跟蹤系統(tǒng)14可以從位于HMD設(shè)備36和/或計(jì)算設(shè)備22上的多個(gè)傳感器808接收傳感器數(shù)據(jù)46。傳感器數(shù)據(jù)46可以在六個(gè)自由度(例如，x、y、z、俯仰、翻滾、偏航)上提供位置和方向信息。例如，多個(gè)傳感器808可包括光學(xué)傳感器和姿勢(shì)傳感器，如上所述。如以下參考圖9更詳細(xì)地討論的，傳感器808可包括用于在多至六個(gè)自由度上確定HMD設(shè)備36的位置、方向、和/或其他運(yùn)動(dòng)特性的任何合適數(shù)量的傳感器和/或傳感器的組合。

傳感器數(shù)據(jù)46可以被提供給包括可以并行操作的兩個(gè)單獨(dú)的跟蹤過濾器的跟蹤和映射模塊812。6DOF跟蹤過濾器816可被配置成基于傳感器數(shù)據(jù)46在六個(gè)自由度上輸出包括HMD設(shè)備的位置和方向的估計(jì)姿勢(shì)54。6DOF跟蹤過濾器816的估計(jì)姿勢(shì)54表示通常依賴于可見光或其他光學(xué)信息的高度準(zhǔn)確和精確的旋轉(zhuǎn)和平移姿勢(shì)數(shù)據(jù)。具體地，可以基于環(huán)境的光學(xué)反饋相對(duì)于真實(shí)世界環(huán)境中的其他真實(shí)世界物體34來估計(jì)HMD設(shè)備36的平移姿勢(shì)/位置。

此外，6DOF跟蹤過濾器816可將真實(shí)世界環(huán)境映射到虛擬模型以便確定HMD設(shè)備36相對(duì)于其他真實(shí)世界物體34的位置。此外，在一些實(shí)施例中，可將光學(xué)信息與來自姿勢(shì)傳感器的信息組合使用，以便估計(jì)HMD設(shè)備36的旋轉(zhuǎn)姿勢(shì)/方向。如上所述，由于其對(duì)可見光的依賴，6DOF跟蹤過濾器816可能高度依賴于HMD設(shè)備36所處的物理環(huán)境的環(huán)境條件。

3DOF跟蹤過濾器820可被配置成基于姿勢(shì)傳感器的傳感器數(shù)據(jù)46在三個(gè)自由度上輸出與HMD設(shè)備36的方向相對(duì)應(yīng)的估計(jì)姿勢(shì)54。在一些實(shí)施例中，3DOF跟蹤過濾器820的估計(jì)姿勢(shì)54可基于來自不依賴于可見光或其他光學(xué)信息的各種傳感器的傳感器信息。

在六個(gè)自由度和/或三個(gè)自由度中的HMD設(shè)備36的估計(jì)的姿勢(shì)54可以被提供給姿勢(shì)過濾器824。姿勢(shì)過濾器824可以被配置為分析和/或調(diào)節(jié)估計(jì)的姿勢(shì)54。例如，來自傳感器808的圖像數(shù)據(jù)可以具有一個(gè)或多個(gè)特性，諸如在場(chǎng)景中的低紋理或圖像模糊，這些特性產(chǎn)生了特征在圖像中的特征的估計(jì)位置中的不精確性。姿勢(shì)過濾器824可以分析這樣的圖像數(shù)據(jù)和其它傳感器數(shù)據(jù)46以確定這樣的數(shù)據(jù)的一個(gè)或多個(gè)輸入不確信度值830。

如上所述，真實(shí)世界環(huán)境的各種因素和條件可以影響與傳感器數(shù)據(jù)相關(guān)聯(lián)的不確信度。這樣的因素可以包括，但不局限于，真實(shí)世界物體的照明、場(chǎng)景深度、場(chǎng)景運(yùn)動(dòng)和特征密度。例如，包括許多運(yùn)動(dòng)的真實(shí)物體和/或人員的場(chǎng)景可能提高了與該場(chǎng)景的圖像數(shù)據(jù)相關(guān)聯(lián)的不確信度，并且可能因此使得可靠的6DOF跟蹤更加困難。

在一個(gè)示例中，來自加速度計(jì)的加速數(shù)據(jù)可以被分析以確定平移組件的輸入不確信度值830。另外，來自陀螺儀的旋轉(zhuǎn)數(shù)據(jù)可以被分析以確定旋轉(zhuǎn)組件的輸入不確信度值830。姿勢(shì)過濾器824可以利用幾何平均、調(diào)和平均或任何其它合適的方法來確定這樣的輸入不確信度值830。在一些示例中，每個(gè)輸入或維度的不確信度可以被表示為該維度的協(xié)方差。而且，姿勢(shì)過濾器824可以以任何合適數(shù)目的維度來分析不確信度。

輸入不確信度值830可以被映射到世界鎖定顯示模式體驗(yàn)的估計(jì)的質(zhì)量等級(jí)804。例如，在六個(gè)自由度中的姿勢(shì)估計(jì)的不確信度可以被表示為6x 6的協(xié)方差矩陣，該矩陣包括3個(gè)旋轉(zhuǎn)分量和3個(gè)平移分量。在該矩陣中的對(duì)角線表示每個(gè)個(gè)別的軸的不確信度，而個(gè)別的軸表示三個(gè)旋轉(zhuǎn)角度中的每個(gè)和三個(gè)平移方向中的每個(gè)。

各種協(xié)方差可以被折疊以產(chǎn)生單個(gè)協(xié)方差，單個(gè)協(xié)方差與質(zhì)量等級(jí)閾值838和/或與多個(gè)質(zhì)量等級(jí)842相比較以產(chǎn)生估計(jì)的質(zhì)量等級(jí)804。這樣的估計(jì)的質(zhì)量等級(jí)804可以表示6x 6DOF世界鎖定顯示模式體驗(yàn)的估計(jì)的質(zhì)量。跟蹤系統(tǒng)14可以隨后以反饋42的形式向用戶50輸出估計(jì)的質(zhì)量等級(jí)804，如上所述。

如在圖8中所示，在某個(gè)示例中，由跟蹤系統(tǒng)14輸出的估計(jì)的姿勢(shì)54可以被回送到姿勢(shì)過濾器824。以此方式，姿勢(shì)過濾器824可以分析估計(jì)的姿勢(shì)54以確定姿勢(shì)的一個(gè)或多個(gè)姿勢(shì)不確信度值850。類似于確定輸入不確信度值830，可以為估計(jì)的姿勢(shì)54創(chuàng)建協(xié)方差矩陣以確定給定的估計(jì)的姿勢(shì)54的姿勢(shì)不確信度值850。

在一些示例中，輸入不確信度值830和姿勢(shì)不確信度值850這兩者都可被計(jì)算并被映射到估計(jì)的質(zhì)量等級(jí)804。在其它示例中，輸入不確信度值830可以被計(jì)算并被映射到估計(jì)的質(zhì)量等級(jí)804，而不確定或使用姿勢(shì)不確信度值850?？梢栽诶绠?dāng)操作3DOF跟蹤過濾器820且不操作6DOF跟蹤過濾器816時(shí)使用這些示例。在其它示例中，姿勢(shì)不確信度值850可以被計(jì)算并被映射到估計(jì)的質(zhì)量等級(jí)804，而不確定或使用輸入不確信度值830。

將明白，輸入不確信度值830、姿勢(shì)不確信度值850、估計(jì)的姿勢(shì)54和估計(jì)的質(zhì)量等級(jí)804可以以任何合適的方式被確定，而不背離本公開的范圍。例如，跟蹤和映射模塊812可以監(jiān)視對(duì)跟蹤系統(tǒng)14中的逐筆傳感器數(shù)據(jù)輸入，并且可以評(píng)估和調(diào)節(jié)在較長(zhǎng)的時(shí)間段上的估計(jì)的姿勢(shì)54和估計(jì)的質(zhì)量等級(jí)834。

在一些實(shí)施例中，可以硬件實(shí)現(xiàn)跟蹤系統(tǒng)，諸如包括各種邏輯塊或管道階段的處理流水線。在一些實(shí)施例中，跟蹤系統(tǒng)可被實(shí)現(xiàn)為由處理器執(zhí)行的軟件指令。在一些實(shí)施例中，跟蹤系統(tǒng)可被實(shí)現(xiàn)為硬件和軟件的組合。

現(xiàn)在參考圖9，提供了一副具有透明顯示器的可配戴眼鏡形式的HMD設(shè)備900的一個(gè)示例。將明白，在其他示例中，HMD設(shè)備900可以采取其他合適的形式，其中透明、半透明和/或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1-7中所示的HMD設(shè)備可采取HMD設(shè)備900的形式(如在下文更詳細(xì)地描述的)或任何其他合適的HMD設(shè)備。

HMD設(shè)備900包括顯示系統(tǒng)902和使得諸如全息物體之類的圖像能被遞送到HMD設(shè)備的佩戴者的眼睛的透視或透明顯示器904。透明顯示器904可被配置成向透過該透明顯示器查看物理環(huán)境的佩戴者在視覺上增強(qiáng)真實(shí)世界、物理環(huán)境的外觀。例如，物理環(huán)境的外觀可以由經(jīng)由透明顯示器904呈現(xiàn)的圖形內(nèi)容(例如，一個(gè)或多個(gè)像素，每一像素具有相應(yīng)色彩和亮度)來增強(qiáng)以創(chuàng)建增強(qiáng)現(xiàn)實(shí)環(huán)境。

透明顯示器904還可被配置成使HMD設(shè)備的佩戴者能夠透過顯示虛擬物體表示的一個(gè)或多個(gè)部分透明的像素來查看物理環(huán)境中的物理、真實(shí)世界物體。如圖9所示，在一個(gè)示例中，透明顯示器904可包括位于鏡片906內(nèi)的圖像生成元件(諸如例如透視有機(jī)發(fā)光二極管(OLED)顯示器)。作為另一示例，透明顯示器904可包括在鏡片906邊緣上的光調(diào)制器。在這一示例中，鏡片906可以擔(dān)當(dāng)用于將光從光調(diào)制器遞送到佩戴者的眼睛的光導(dǎo)。這樣的光導(dǎo)可使得佩戴者能夠感知位于物理環(huán)境內(nèi)的佩戴者正在查看的3D全息圖像，同時(shí)還允許佩戴者查看物理環(huán)境中的物理物體，由此創(chuàng)建增強(qiáng)現(xiàn)實(shí)環(huán)境。

HMD設(shè)備900還可包括各種傳感器和相關(guān)系統(tǒng)。例如，HMD設(shè)備900可包括包含配置成獲取來自佩戴者的眼睛的注視跟蹤數(shù)據(jù)形式的圖像數(shù)據(jù)的一個(gè)或多個(gè)圖像傳感器的注視跟蹤系統(tǒng)908。假定佩戴者已同意獲取和使用這一信息，注視跟蹤系統(tǒng)908可以使用這一信息來跟蹤佩戴者的眼睛的位置和/或運(yùn)動(dòng)。

在一個(gè)示例中，注視跟蹤系統(tǒng)908包括被配置成檢測(cè)佩戴者的每一個(gè)眼睛的注視方向的注視檢測(cè)子系統(tǒng)。該注視檢測(cè)子系統(tǒng)可被配置成以任何合適方式確定每一只佩戴者眼睛的注視方向。例如，注視檢測(cè)子系統(tǒng)可包括諸如紅外光源等被配置成使得從佩戴者的每一只眼睛的角膜反射閃光的一個(gè)或多個(gè)光源。一個(gè)或多個(gè)圖像傳感器然后可被配置成捕捉佩戴者的眼睛的圖像。

如從收集自圖像傳感器的圖像數(shù)據(jù)確定的閃爍和瞳孔的圖像可用于確定每一眼睛的光軸。使用這一信息，注視跟蹤系統(tǒng)908隨后可確定佩戴者的注視方向。作為補(bǔ)充或替換，注視跟蹤系統(tǒng)908可確定佩戴者注視哪一物理或虛擬物體。此類注視跟蹤數(shù)據(jù)然后可被提供給HMD設(shè)備900。

還將理解，注視跟蹤系統(tǒng)908可以具有任意適當(dāng)數(shù)量和布置的光源和圖像傳感器。例如并參考圖9，HMD設(shè)備900的注視跟蹤系統(tǒng)908可以利用至少一個(gè)面向內(nèi)的傳感器910。

HMD設(shè)備900還可包括從物理環(huán)境接收物理環(huán)境數(shù)據(jù)的傳感器系統(tǒng)。例如，HMD設(shè)備900還可包括利用一個(gè)或多個(gè)姿勢(shì)傳感器(諸如HMD設(shè)備900上的姿勢(shì)傳感器914)來捕捉頭部姿勢(shì)數(shù)據(jù)并從而允許佩戴者頭部的位置跟蹤、方向/位置以及方向感測(cè)和/或運(yùn)動(dòng)檢測(cè)的頭部跟蹤系統(tǒng)912。因此，并如上所述，圖8的跟蹤系統(tǒng)14可從姿勢(shì)傳感器914接收傳感器數(shù)據(jù)，該姿勢(shì)傳感器允許在三個(gè)自由度上估計(jì)HMD設(shè)備900的方向或在六個(gè)自由度上估計(jì)HMD設(shè)備的位置和方向。

在一個(gè)示例中，頭部跟蹤系統(tǒng)912可包括配置成三軸或三自由度的位置傳感器系統(tǒng)的慣性測(cè)量單元(IMU)。這一示例位置傳感器系統(tǒng)可以例如包括用于指示或測(cè)量HMD設(shè)備900在3D空間內(nèi)繞三個(gè)正交軸(例如，x、y和z，或俯仰、翻滾和偏航)的方向中的變化的三個(gè)陀螺儀。從IMU的傳感器信號(hào)導(dǎo)出的方向可被用于經(jīng)由透明顯示器904來顯示具有身體鎖定位置的一個(gè)或多個(gè)虛擬物體，其中每個(gè)虛擬物體的位置相對(duì)于透視顯示器的佩戴者是看起來固定的，而每個(gè)虛擬物體的位置相對(duì)于物理環(huán)境中的真實(shí)世界物體是看起來可移動(dòng)的。

在另一示例中，頭部跟蹤系統(tǒng)912可包括配置成六軸或六自由度的位置傳感器系統(tǒng)的IMU。這一示例位置傳感器系統(tǒng)可以例如包括用于指示或測(cè)量HMD設(shè)備900沿三個(gè)正交軸的位置變化和繞該三個(gè)正交軸的設(shè)備方向變化的三個(gè)加速度計(jì)和三個(gè)陀螺儀。

頭部跟蹤系統(tǒng)912還可以支持其他合適的定位技術(shù)，諸如GPS或其他全球?qū)Ш较到y(tǒng)。此外，盡管描述了位置傳感器系統(tǒng)的具體示例，但將明白，可以使用任何其他合適的位置傳感器系統(tǒng)。例如，頭部姿勢(shì)和/或移動(dòng)數(shù)據(jù)可以基于來自戴在佩戴者上和/或佩戴者外部的傳感器的任何組合的傳感器信息來確定，包括但不限于任何數(shù)量的陀螺儀、加速度計(jì)、慣性測(cè)量單元、GPS設(shè)備、氣壓計(jì)、磁力計(jì)、相機(jī)(例如，可見光相機(jī)、紅外光相機(jī)、飛行時(shí)間深度相機(jī)、結(jié)構(gòu)化光深度相機(jī)等)、通信設(shè)備(例如，WIFI天線/接口)等。

在一些實(shí)例中，HMD設(shè)備900還可包括利用一個(gè)或多個(gè)面向外的傳感器來捕捉圖像數(shù)據(jù)的可任選傳感器系統(tǒng)，諸如HMD設(shè)備900上的光學(xué)傳感器916。面向外的傳感器可以檢測(cè)其視野內(nèi)的移動(dòng)，如視野內(nèi)的佩戴者或人或物理物體所執(zhí)行的基于姿勢(shì)的輸入或其他移動(dòng)。該面向外的傳感器還可從物理環(huán)境和該環(huán)境內(nèi)的物理物體捕捉2D圖像信息和深度信息。例如，該面向外的傳感器可包括深度相機(jī)、可見光相機(jī)、紅外光相機(jī)，和/或位置跟蹤相機(jī)。

光學(xué)傳感器系統(tǒng)可包括經(jīng)由一個(gè)或多個(gè)深度相機(jī)來生成深度跟蹤數(shù)據(jù)的深度跟蹤系統(tǒng)。在一個(gè)示例中，每一深度相機(jī)可包括立體視覺系統(tǒng)的左和右相機(jī)。來自這些深度相機(jī)中的一個(gè)或多個(gè)的時(shí)間分辨的圖像可被彼此配準(zhǔn)和/或與來自另一光學(xué)傳感器(如可見光譜相機(jī))的圖像配準(zhǔn)，且可被組合以產(chǎn)生深度分辨的視頻。

在其他示例中，結(jié)構(gòu)化光深度相機(jī)可被配置成投影結(jié)構(gòu)化紅外照明并對(duì)從照明被投影到其之上的場(chǎng)景中反射的該照明進(jìn)行成像。基于所成像的場(chǎng)景的各個(gè)區(qū)域內(nèi)鄰近特征之間的間隔，可構(gòu)造該場(chǎng)景的深度圖。在其他示例中，深度相機(jī)可以采取飛行時(shí)間深度相機(jī)的形式，其被配置成將脈沖的紅外照明投影到該場(chǎng)景上以及檢測(cè)從該場(chǎng)景反射的照明。例如，照明可由紅外光源918提供?？梢岳斫?，在本公開的范圍內(nèi)可使用任意其他合適的深度相機(jī)。

面向外的傳感器可捕捉HMD設(shè)備的佩戴者位于其中的物理環(huán)境的圖像。參考HMD設(shè)備900，在一個(gè)示例中，增強(qiáng)現(xiàn)實(shí)顯示程序可包括使用這樣的所捕捉的圖像來生成對(duì)HMD設(shè)備的佩戴者周圍的物理環(huán)境進(jìn)行建模的虛擬環(huán)境的3D建模系統(tǒng)。在一些實(shí)施例中，光學(xué)傳感器916可與IMU合作以在六個(gè)自由度上確定HMD設(shè)備900的位置和方向。這樣的位置和方向信息可被用于經(jīng)由透明顯示器904來以世界鎖定位置顯示一個(gè)或多個(gè)虛擬物體，其中每個(gè)虛擬物體的位置相對(duì)于通過透明顯示器可見的真實(shí)世界物體是看起來固定的，而每個(gè)虛擬物體的位置相對(duì)于透視顯示器的佩戴者是看起來可移動(dòng)的。

HMD設(shè)備900還可包括話筒系統(tǒng)，該話筒系統(tǒng)包括捕捉音頻數(shù)據(jù)的一個(gè)或多個(gè)話筒，諸如話筒920。在其他示例中，音頻可經(jīng)由一個(gè)或多個(gè)揚(yáng)聲器(諸如HMD設(shè)備900上的揚(yáng)聲器922)被呈現(xiàn)給佩戴者。

HMD設(shè)備900還可包括控制器，諸如控制器924。該控制器924可包括與HMD設(shè)備900的各傳感器和系統(tǒng)通信的邏輯機(jī)和存儲(chǔ)機(jī)，如下文參考圖11更詳細(xì)地討論的。在一個(gè)示例中，存儲(chǔ)機(jī)可包括能由邏輯機(jī)執(zhí)行以接收來自傳感器的信號(hào)輸入、確定HMD設(shè)備900的姿勢(shì)、以及調(diào)整通過透明顯示器90所顯示的內(nèi)容的顯示屬性的指令。

圖10A和10B示出根據(jù)本公開的一實(shí)施例的用于向HMD設(shè)備的用戶傳送世界鎖定顯示模式的估計(jì)的質(zhì)量等級(jí)的方法1000的流程圖。參考以上描述并在圖1-9中示出的增強(qiáng)現(xiàn)實(shí)系統(tǒng)10的軟件和硬件組件來提供方法1000的以下描述?？梢岳斫?，方法1000還可在使用其他合適的硬件和軟件組件的其他上下文中來執(zhí)行。

參考圖10A，在1004處，方法1000可以包括從頭戴式顯示設(shè)備的一個(gè)或多個(gè)傳感器接收傳感器數(shù)據(jù)。在1008，方法1000可包括使用傳感器數(shù)據(jù)，確定頭戴式顯示設(shè)備的估計(jì)的姿勢(shì)。在1012，方法1000可以包括使用估計(jì)的姿勢(shì)，通過頭戴式顯示設(shè)備以世界鎖定顯示模式或以身體鎖定顯示模式來顯示一個(gè)或多個(gè)虛擬物體。在1016，方法1000可以包括確定所述傳感器數(shù)據(jù)的輸入不確信度值以及估計(jì)的姿勢(shì)的姿勢(shì)不確信度值中的一個(gè)或多個(gè)。在1020，確定輸入不確信度值和姿勢(shì)不確信度值中的一個(gè)或多個(gè)的步驟可以包括分析圖像數(shù)據(jù)以查找現(xiàn)實(shí)世界物體的照明、場(chǎng)景深度、場(chǎng)景運(yùn)動(dòng)、特征密度、用戶的頭發(fā)、用戶的手和用戶戴的帽子中的一個(gè)或多個(gè)。

在1024，方法1000可以包括將輸入不確信度值以及姿勢(shì)不確信度值中的一個(gè)或多個(gè)映射到世界鎖定顯示模式的估計(jì)的質(zhì)量等級(jí)。在1028，方法1000可以包括將所估計(jì)的質(zhì)量等級(jí)的反饋通過頭戴式顯示設(shè)備傳送給用戶。在1032，方法1000可以包括通過頭戴式計(jì)算設(shè)備顯示所估計(jì)的質(zhì)量等級(jí)的一個(gè)或多個(gè)圖形表示。在1036，方法1000可以包括通過改變經(jīng)由頭戴式顯示設(shè)備可見的視野的外觀來傳送所估計(jì)的質(zhì)量等級(jí)的反饋。在1040，方法1000可以包括通過改變一個(gè)或多個(gè)虛擬物體的外觀來傳送所估計(jì)的質(zhì)量等級(jí)的反饋。

在1044，方法1000可以包括通過將估計(jì)的質(zhì)量等級(jí)提供給使用世界鎖定顯示模式和身體鎖定顯示模式的應(yīng)用來傳送估計(jì)的質(zhì)量等級(jí)的反饋。在1048，方法1000可以包括將所估計(jì)的質(zhì)量等級(jí)的反饋通過所述應(yīng)用和HMD設(shè)備傳遞給用戶。在1052，方法1000可以包括阻止傳送所估計(jì)的質(zhì)量等級(jí)的反饋，直到接收到調(diào)用世界鎖定顯示模式的用戶輸入。

現(xiàn)在參考圖10B，在1056處，方法1000可以包括當(dāng)估計(jì)的質(zhì)量等級(jí)在質(zhì)量等級(jí)閾值之下時(shí)禁用世界鎖定顯示模式。在1060，方法1000可以包括確定輸入不確信度值并且不確定姿勢(shì)不確信度值。在1064，方法1000可以包括將輸入不確信度值映射到估計(jì)的質(zhì)量等級(jí)。在1068，方法1000可以包括確定姿勢(shì)不確信度值并且不確定輸入不確信度值。在1072，方法1000可以包括將姿勢(shì)不確信度值映射到估計(jì)的質(zhì)量等級(jí)。

上述方法1000可以被執(zhí)行以通過由HMD設(shè)備提供的一種或多種反饋形式通知用戶世界鎖定顯示模式的估計(jì)的質(zhì)量等級(jí)。以此方式，可以為用戶提供更加豐富和更加信息性的增強(qiáng)現(xiàn)實(shí)用戶體驗(yàn)。

能夠理解，方法1000是以舉例方式提供的，并且不旨在為限制性的。因此，可以理解，方法1000可包括相比于圖10A和10B中示出的那些步驟而言附加的和/或替換的步驟。并且，可以理解，方法1000可用任何適當(dāng)?shù)拇涡驁?zhí)行。而且，可以理解，一個(gè)或多個(gè)步驟可從方法1000中省略，而不背離本發(fā)明的范圍。

圖11示意性地示出了可執(zhí)行上述方法和過程中的一個(gè)或多個(gè)的計(jì)算系統(tǒng)1100的非限制性實(shí)施例。以簡(jiǎn)化形式示出了計(jì)算系統(tǒng)1100。計(jì)算系統(tǒng)1100可采取以下形式：一個(gè)或多個(gè)HMD設(shè)備、或與HMD設(shè)備合作的一個(gè)或多個(gè)設(shè)備(例如，個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、游戲設(shè)備、移動(dòng)計(jì)算設(shè)備、移動(dòng)通信設(shè)備(例如，智能電話)和/或其他計(jì)算設(shè)備)。

計(jì)算系統(tǒng)1100包括邏輯機(jī)1102和存儲(chǔ)機(jī)1104。計(jì)算系統(tǒng)1100可任選地包括顯示子系統(tǒng)1106、輸入子系統(tǒng)1108、通信子系統(tǒng)1110和/或在圖11中未示出的其他組件。計(jì)算系統(tǒng)1100還可包括計(jì)算機(jī)可讀介質(zhì)，其中該計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)可讀通信介質(zhì)。此外，在某些實(shí)施例中，此處所述的方法和過程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用、計(jì)算機(jī)服務(wù)、計(jì)算機(jī)API、計(jì)算機(jī)庫(kù)，和/或包括一個(gè)或多個(gè)計(jì)算機(jī)的計(jì)算系統(tǒng)中的其他計(jì)算機(jī)程序產(chǎn)品。

邏輯機(jī)1102包括被配置成執(zhí)行指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯機(jī)可被配置成執(zhí)行作為以下各項(xiàng)的一部分的指令：一個(gè)或多個(gè)應(yīng)用、服務(wù)、程序、例程、庫(kù)、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、或其他邏輯構(gòu)造。這種指令可被實(shí)現(xiàn)以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、轉(zhuǎn)換一個(gè)或多個(gè)部件的狀態(tài)、實(shí)現(xiàn)技術(shù)效果、或以其他方式得到期望結(jié)果。

邏輯機(jī)可包括被配置成執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。作為補(bǔ)充或替換，邏輯機(jī)可包括被配置成執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯機(jī)。邏輯機(jī)的處理器可以是單核或多核，且在其上執(zhí)行的指令可被配置為串行、并行和/或分布式處理。邏輯機(jī)的各個(gè)組件可任選地分布在兩個(gè)或更多單獨(dú)設(shè)備上，這些設(shè)備可以位于遠(yuǎn)程和/或被配置成進(jìn)行協(xié)同處理。邏輯機(jī)的各方面可由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計(jì)算設(shè)備來虛擬化和執(zhí)行。

存儲(chǔ)機(jī)1104包括被配置成保存可由邏輯機(jī)執(zhí)行以實(shí)現(xiàn)此處所述的方法和過程的機(jī)器可讀指令的一個(gè)或多個(gè)物理設(shè)備。在實(shí)現(xiàn)這些方法和過程時(shí)，可以變換存儲(chǔ)機(jī)1104的狀態(tài)(例如，保存不同的數(shù)據(jù))。

存儲(chǔ)機(jī)1104可以包括可移動(dòng)和/或內(nèi)置設(shè)備。存儲(chǔ)機(jī)1104可包括光學(xué)存儲(chǔ)器(例如，CD、DVD、HD-DVD、藍(lán)光盤等)、半導(dǎo)體存儲(chǔ)器(例如，RAM、EPROM、EEPROM等)和/或磁存儲(chǔ)器(例如，硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、MRAM等)等等。存儲(chǔ)機(jī)1104可包括易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址和/或內(nèi)容可尋址設(shè)備。

可以理解，存儲(chǔ)機(jī)1104包括一個(gè)或多個(gè)物理設(shè)備。然而，本文描述的指令的各方面可另選地通過不由物理設(shè)備在有限時(shí)長(zhǎng)內(nèi)持有的通信介質(zhì)(例如，電磁信號(hào)、光信號(hào)等)來傳播。此外，與本公開有關(guān)的數(shù)據(jù)和/或其他形式的信息可以經(jīng)由計(jì)算機(jī)可讀通信介質(zhì)通過純信號(hào)來傳播。

邏輯機(jī)1102和存儲(chǔ)機(jī)1104的各方面可被一起集成到一個(gè)或多個(gè)硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場(chǎng)可編程門陣列(FPGA)、程序和應(yīng)用專用的集成電路(PASIC/ASIC)、程序和應(yīng)用專用的標(biāo)準(zhǔn)產(chǎn)品(PSSP/ASSP)、片上系統(tǒng)(SOC)以及復(fù)雜可編程邏輯器件(CPLD)。

在被包括時(shí)，顯示子系統(tǒng)1106可用于呈現(xiàn)由存儲(chǔ)機(jī)1104保存的數(shù)據(jù)的視覺表示。該視覺表示可采用圖形用戶界面(GUI)的形式。由于此處所描述的方法和過程改變了由存儲(chǔ)機(jī)保持的數(shù)據(jù)，并由此變換了存儲(chǔ)機(jī)的狀態(tài)，因此同樣可以轉(zhuǎn)變顯示子系統(tǒng)1106的狀態(tài)以視覺地表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)1106可包括實(shí)際上利用任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備，諸如圖9中所示的HMD設(shè)備900的透明顯示器904?？蓪⒋祟愶@示設(shè)備與邏輯機(jī)1102和/或存儲(chǔ)器機(jī)1104組合在共享封裝中，或者此類顯示設(shè)備可以是外圍顯示設(shè)備。

在包括輸入子系統(tǒng)1108時(shí)，輸入子系統(tǒng)1108可以包括諸如鍵盤、鼠標(biāo)、觸摸屏或游戲控制器之類的一個(gè)或多個(gè)用戶輸入設(shè)備或者與其對(duì)接。在一些實(shí)施例中，輸入子系統(tǒng)可以包括所選擇的自然用戶輸入(NUI)部件或與其對(duì)接。這種元件部分可以是集成的或外圍的，并且輸入動(dòng)作的轉(zhuǎn)導(dǎo)和/或處理可以在板上或板外被處理。示例NUI部件可包括用于語(yǔ)言和/或語(yǔ)音識(shí)別的話筒；用于機(jī)器視覺和/或姿勢(shì)識(shí)別的紅外、色彩、立體顯示和/或深度相機(jī)；用于運(yùn)動(dòng)檢測(cè)和/或意圖識(shí)別的頭部跟蹤器、眼睛跟蹤器、加速計(jì)和/或陀螺儀；以及用于評(píng)估腦部活動(dòng)和/或身體運(yùn)動(dòng)的電場(chǎng)感測(cè)部件；以上參考圖9的頭部跟蹤系統(tǒng)912描述的傳感器中的任一者；和/或任何其他合適的傳感器。

當(dāng)包括通信子系統(tǒng)1110時(shí)，通信子系統(tǒng)1110可被配置成將計(jì)算系統(tǒng)1100與一個(gè)或多個(gè)其他計(jì)算設(shè)備通信地耦合。通信子系統(tǒng)1110可以包括與一個(gè)或多個(gè)不同通信協(xié)議兼容的有線和/或無(wú)線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置成用于經(jīng)由無(wú)線電話網(wǎng)絡(luò)或者有線或無(wú)線局域網(wǎng)或廣域網(wǎng)來進(jìn)行通信。在一些實(shí)施例中，通信子系統(tǒng)可允許計(jì)算系統(tǒng)1100經(jīng)由諸如因特網(wǎng)這樣的網(wǎng)絡(luò)將消息發(fā)送至其他設(shè)備以及/或者從其它設(shè)備接收消息。

術(shù)語(yǔ)“程序”和“模塊”可用于描述被實(shí)現(xiàn)來執(zhí)行一個(gè)或多個(gè)特定功能的增強(qiáng)現(xiàn)實(shí)系統(tǒng)10的一個(gè)方面。在某些情況下，可以通過執(zhí)行由存儲(chǔ)機(jī)1104所保持的指令的邏輯機(jī)1102來實(shí)例化此類程序或模塊。可以理解，可以從同一應(yīng)用、服務(wù)、代碼塊、對(duì)象、庫(kù)、例程、API、函數(shù)等來實(shí)例化不同的程序和模塊。同樣，可以由不同的應(yīng)用程序、服務(wù)、代碼塊、對(duì)象、例程、API、函數(shù)等實(shí)例化同一程序或模塊。術(shù)語(yǔ)“程序”和“模塊”意在涵蓋單個(gè)或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫(kù)、驅(qū)動(dòng)程序、腳本、數(shù)據(jù)庫(kù)記錄等。

將會(huì)理解，此處描述的配置和/或方法本質(zhì)是示例性的，這些具體實(shí)施例或示例不應(yīng)被視為限制性的，因?yàn)樵S多變體是可能的。此處描述的具體例程或方法可以表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。如此，所示和/或所述的各種動(dòng)作可以以所示和/或所述順序、以其他順序、并行地執(zhí)行，或者被省略。同樣，上述過程的次序可以改變。

本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其他特征、功能、動(dòng)作和/或?qū)傩浴⒁约八鼈兊娜我缓腿康葍r(jià)物的所有新穎且非顯而易見的組合和子組合。