本公開一般涉及頭戴顯示器(HMD)。更具體地，本公開涉及用于HMD的三維(3D)用戶界面(UI)。

背景技術(shù)：

雖然HMD技術(shù)一直在開發(fā)中，而且諸如Google Glass和產(chǎn)品的可穿戴技術(shù)越來越多，但是缺少用于虛擬現(xiàn)實(shí)(VR)和增強(qiáng)現(xiàn)實(shí)(AR)應(yīng)用二者的HMD的專門UI框架。當(dāng)前的HMD技術(shù)關(guān)注于主內(nèi)容顯示的實(shí)現(xiàn)和處理，而對(duì)UI的關(guān)注則被忽視。

技術(shù)實(shí)現(xiàn)要素：

本公開的實(shí)施例提供用于HMD的3D UI。

在一個(gè)實(shí)施例中，提供一種顯示用于HMD的UI的方法。該方法包括產(chǎn)生用于由該HMD顯示的三維內(nèi)容。該方法還包括識(shí)別與該三維內(nèi)容相關(guān)聯(lián)的該UI的UI元素的三維坐標(biāo)。在包括用戶佩戴該HMD時(shí)能夠查看的區(qū)域的該UI的角范圍內(nèi)識(shí)別所述三維坐標(biāo)。另外，該方法包括，響應(yīng)于用戶輸入，在該三維內(nèi)容上在識(shí)別的三維坐標(biāo)處顯示所述UI元素。

在另一示例實(shí)施例中，提供一種顯示UI的裝置。該裝置包括HMD和至少一個(gè)處理器。該至少一個(gè)處理器被配置為產(chǎn)生用于由該HMD顯示的三維內(nèi)容，并識(shí)別與該三維內(nèi)容相關(guān)聯(lián)的該UI的UI元素的三維坐標(biāo)。在包括用戶佩戴該HMD時(shí)能夠查看的區(qū)域的該UI的角范圍內(nèi)識(shí)別所述三維坐標(biāo)。另外，該至少一個(gè)處理器被配置為，響應(yīng)于用戶輸入，致使該HMD在該三維內(nèi)容上在識(shí)別的三維坐標(biāo)處顯示所述UI元素。

在另一示例實(shí)施例中，提供一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。該計(jì)算機(jī)可讀介質(zhì)包括用于產(chǎn)生用于頭戴顯示器(HMD)的用戶界面(UI)的顯示的程序代碼。當(dāng)由至少一個(gè)處理器執(zhí)行時(shí)，該程序代碼致使電子設(shè)備：產(chǎn)生用于由該HMD顯示的三維內(nèi)容；識(shí)別與該三維內(nèi)容相關(guān)聯(lián)的該UI的UI元素的 三維坐標(biāo)，其中在包括用戶佩戴該HMD時(shí)能夠查看的區(qū)域的該UI的角范圍內(nèi)識(shí)別所述三維坐標(biāo)；以及響應(yīng)于用戶輸入，致使該HMD在該三維內(nèi)容上在識(shí)別的三維坐標(biāo)處顯示所述UI元素。

在另一示例實(shí)施例中，提供一種顯示用于HMD的UI的方法。該方法包括產(chǎn)生三維內(nèi)容。該方法還包括識(shí)別與該三維內(nèi)容相關(guān)聯(lián)的該UI的UI元素的三維坐標(biāo)。在該UI的角范圍內(nèi)識(shí)別所述三維坐標(biāo)。另外，該方法包括在識(shí)別的三維坐標(biāo)處顯示所述UI元素。

在另一示例實(shí)施例中，提供一種顯示UI的裝置。該裝置包括HMD和至少一個(gè)處理器。該至少一個(gè)處理器被配置為產(chǎn)生三維內(nèi)容，并識(shí)別與該三維內(nèi)容相關(guān)聯(lián)的該UI的UI元素的三維坐標(biāo)。在該UI的角范圍內(nèi)識(shí)別所述三維坐標(biāo)。另外，該至少一個(gè)處理器被配置為控制該HMD在識(shí)別的三維坐標(biāo)處顯示所述UI元素。

通過附圖、說明書和權(quán)利要求，其他技術(shù)特征對(duì)本領(lǐng)域技術(shù)人員是顯然的。

在進(jìn)行以下具體實(shí)施方式的詳細(xì)描述之前，闡述本專利文件中通篇使用的特定詞語和短語的定義將是有利的。術(shù)語“耦接”及其派生詞是指兩個(gè)或更多個(gè)元件之間的任何直接或間接通信，不管這些元件是否彼此物理接觸。術(shù)語“發(fā)送”、“接收”、和“通信”及其派生詞涵蓋直接和間接通信二者。術(shù)語“包含”和“包括”及其派生詞意味著不加限制的包含。術(shù)語“或”是包含性的，意味著和/或。術(shù)語“與…相關(guān)聯(lián)”及其派生詞意味著包括、包括在…內(nèi)、與…互連、容納、容納在…內(nèi)、連接到或與…連接、耦接到或與…耦接、與…能夠通信、與…合作、交織、并置、與…接近、綁定到或與…綁定、具有、具有…的性質(zhì)、具有與…的關(guān)系等。術(shù)語“控制器”意味著控制至少一個(gè)操作的任何設(shè)備、系統(tǒng)或其部分。這樣的控制器可以以硬件或者硬件和軟件和/或固件的組合實(shí)現(xiàn)。與任何特定控制器相關(guān)聯(lián)的功能可以被集中或分布，在本地或遠(yuǎn)程地。短語“…中的至少一個(gè)”當(dāng)與條目的列表一起使用時(shí)意味著可以使用所列條目中的一個(gè)或多個(gè)的不同組合，而且可以只需要列表中的一個(gè)條目。例如，“A、B、和C中的至少一個(gè)”包括任何以下組合：A；B；C；A和B；A和C；B和C；以及A和B和C。

另外，下面描述的各種功能可以通過一個(gè)或多個(gè)計(jì)算機(jī)程序?qū)崿F(xiàn)或支持，每個(gè)計(jì)算機(jī)程序由計(jì)算機(jī)可讀程序代碼形成而且收錄在計(jì)算機(jī)可讀介質(zhì)中。 術(shù)語“應(yīng)用”和“程序”是指被適配用于在合適的計(jì)算機(jī)可讀程序代碼中實(shí)現(xiàn)的一個(gè)或多個(gè)計(jì)算機(jī)程序、軟件組件、指令集、過程、函數(shù)、對(duì)象、類、實(shí)例、相關(guān)數(shù)據(jù)或其部分。術(shù)語“計(jì)算機(jī)可讀程序代碼”包括任何類型的計(jì)算機(jī)代碼，包括源代碼、目標(biāo)代碼和可執(zhí)行代碼。術(shù)語“計(jì)算機(jī)可讀介質(zhì)”包括能夠由計(jì)算機(jī)存取的任何類型的介質(zhì)，諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、硬盤驅(qū)動(dòng)器、小型盤(CD)、數(shù)字視頻盤(DVD)或任何其他類型的存儲(chǔ)器。“非暫時(shí)性”計(jì)算機(jī)可讀介質(zhì)排除傳輸暫時(shí)性電或其他信號(hào)的有線、無線或其他通信鏈路。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括其中可以永久存儲(chǔ)數(shù)據(jù)的介質(zhì)、以及其中可以存儲(chǔ)數(shù)據(jù)并在稍后覆寫的介質(zhì)，諸如可重寫光盤或可擦除存儲(chǔ)設(shè)備。

本專利文件隨處提供其他特定詞語和短語的定義。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，在許多(如果不是大多數(shù))情形下，這樣的定義適用于如此定義的詞語和短語的過往以及將來的使用。

附圖說明

為了更全面地理解本公開及其優(yōu)點(diǎn)，現(xiàn)在結(jié)合附圖參照以下描述，其中類似的引用數(shù)字表示類似的部分：

圖1示出根據(jù)本公開的實(shí)施例而且其中可以實(shí)現(xiàn)本公開的實(shí)施例的示例HMD；

圖2是根據(jù)本公開的實(shí)施例的3D空間中的UI菜單布置的圖示；

圖3A-3B示出根據(jù)本公開的實(shí)施例的將用于移動(dòng)設(shè)備的二維(2D)顯示轉(zhuǎn)換為用于HMD的3D顯示的示例；

圖4A-4D示出根據(jù)本公開的實(shí)施例的與HMD顯示的UI元素的用戶交互的示例；

圖5A-5C示出根據(jù)本公開的實(shí)施例的在UI的角范圍內(nèi)HMD上的UI元素的顯示的示例；

圖6A-6D示出根據(jù)本公開的實(shí)施例的HMD上的UI元素的嵌套陣列的多個(gè)級(jí)別的顯示和用戶交互的示例；

圖7示出根據(jù)本公開的實(shí)施例的顯示用于HMD的UI的過程；以及

圖8示出根據(jù)本公開的實(shí)施例的顯示用于HMD的3D UI的過程。

具體實(shí)施方式

下面討論的圖1至8以及本專利文件中用于描述本公開的原理的各種實(shí)施例僅僅作為例示，而不應(yīng)當(dāng)以任何方式解讀為限制本公開的范圍。本領(lǐng)域技術(shù)人員不難理解，可以以任何適當(dāng)?shù)嘏渲玫南到y(tǒng)或設(shè)備實(shí)現(xiàn)本公開的原理。

圖1示出根據(jù)本公開的實(shí)施例而且其中可以實(shí)現(xiàn)本公開的實(shí)施例的示例HMD 100。圖1所示的HMD 100的實(shí)施例僅僅用于例示，HMD 100有各式各樣的配置，圖1不將本公開的范圍限于HMD的任何特定實(shí)施方式。

在各種實(shí)施例中，HMD 100可以采取不同的形式，本公開不限于任何特定形式。例如，HMD 100可以是能夠安裝在耳機(jī)(headset)內(nèi)用于VR和/或AR應(yīng)用的移動(dòng)通信設(shè)備，諸如例如用戶設(shè)備、移動(dòng)站、用戶站、無線終端、智能電話機(jī)、平板電腦等。在其他示例中，HMD 100可以包括耳機(jī)并且采取用于VR和/或AR應(yīng)用的可穿戴電子設(shè)備的形式，諸如例如眼鏡、護(hù)目鏡、頭盔等。

如圖1所示，HMD 100包括天線105、射頻(RF)收發(fā)器110、發(fā)送(TX)處理電路115、麥克風(fēng)120和接收(RX)處理電路125。HMD 100還包括揚(yáng)聲器130、處理器140、輸入/輸出(I/O)接口(IF)145、觸摸屏150、顯示器155、存儲(chǔ)器160以及一個(gè)或多個(gè)傳感器165。存儲(chǔ)器160包括操作系統(tǒng)(OS)161和一個(gè)或多個(gè)應(yīng)用162。

RF收發(fā)器110從天線105接收網(wǎng)絡(luò)(例如，WiFi、藍(lán)牙、蜂窩、5G、LTE、LTE-A、WiMAX或任何其他類型的無線網(wǎng)絡(luò))的接入點(diǎn)(例如，基站、WiFi路由器、藍(lán)牙設(shè)備)發(fā)送的傳入RF信號(hào)。RF收發(fā)器110下變換傳入RF信號(hào)以產(chǎn)生中頻(IF)或基帶信號(hào)。IF或基帶信號(hào)被發(fā)送到RX處理電路125，其通過濾波、解碼和/或數(shù)字化基帶或IF信號(hào)來產(chǎn)生已處理的基帶信號(hào)。RX處理電路125向揚(yáng)聲器130(諸如對(duì)語音數(shù)據(jù))或向處理器140(諸如對(duì)網(wǎng)頁瀏覽數(shù)據(jù))發(fā)送已處理的基帶信號(hào)用于進(jìn)一步處理。

TX處理電路115接收來自麥克風(fēng)120的模擬或數(shù)字語音數(shù)據(jù)、或來自處理器140的其他傳出基帶數(shù)據(jù)(諸如網(wǎng)頁數(shù)據(jù)、電子郵件或交互視頻游戲數(shù)據(jù))。TX處理電路115編碼、復(fù)用和/或數(shù)字化傳出基帶數(shù)據(jù)以產(chǎn)生已處理的基帶或IF信號(hào)。RF收發(fā)器110從TX處理電路115接收傳出的已處理的基帶或IF信號(hào)，并將基帶或IF信號(hào)上變換為經(jīng)由天線105發(fā)送的RF信號(hào)。

處理器140可以包括一個(gè)或多個(gè)處理器或其他處理設(shè)備，而且執(zhí)行存儲(chǔ) 器160中存儲(chǔ)的OS 161以便控制HMD 100的整體操作。例如，處理器140可以根據(jù)公知原理控制通過RF收發(fā)器110、RX處理電路125和TX處理電路115接收正向信道信號(hào)和發(fā)送反向信道信號(hào)。在一些實(shí)施例中，處理器140包括至少一個(gè)微處理器或微控制器。

處理器140還能夠執(zhí)行存儲(chǔ)器160中駐留的其他進(jìn)程和程序。處理器140可以根據(jù)正在執(zhí)行的進(jìn)程的需要將數(shù)據(jù)移入或移出處理器160。在一些實(shí)施例中，處理器140被配置為基于OS 161或者響應(yīng)于從eNB或操作者(operator)接收的信號(hào)而執(zhí)行應(yīng)用162。處理器140還耦接到I/O接口145，后者向HMD 100提供連接到諸如膝上計(jì)算機(jī)和手持計(jì)算機(jī)的其他設(shè)備的能力。I/O接口145是這些附件與處理器140之間的通信路徑。

處理器140還耦接到觸摸屏150和顯示器155。HMD 100的操作者可以使用觸摸屏150向HMD 100輸入數(shù)據(jù)和/或輸入。顯示器155可以是液晶顯示器、發(fā)光二極管(LED)顯示器、光學(xué)LED(OLED)、有源矩陣OLED(AMOLED)或能夠呈現(xiàn)諸如來自網(wǎng)站、視頻、游戲等的文本和/或圖形的其他顯示器。

存儲(chǔ)器160耦接到處理器140。存儲(chǔ)器160的一部分可以包括隨機(jī)存儲(chǔ)器(RAM)，存儲(chǔ)器160的另一部分可以包括閃速存儲(chǔ)器或其他只讀存儲(chǔ)器(ROM)。

HMD 100進(jìn)一步包括一個(gè)或多個(gè)傳感器165，其可以測量物理量或檢測HMD 100的活動(dòng)狀態(tài)，并將測量或檢測的信息轉(zhuǎn)換為電信號(hào)。例如，傳感器165可以包括用于觸摸輸入的一個(gè)或多個(gè)按鈕(例如，在耳機(jī)或HMD 100上)、相機(jī)、姿態(tài)傳感器、陀螺儀或陀螺儀傳感器、氣壓傳感器、磁傳感器或磁力計(jì)、加速傳感器或加速計(jì)、抓握傳感器、接近傳感器、顏色傳感器165H(例如，紅綠藍(lán)(RGB)傳感器)、生物物理傳感器、溫度/濕度傳感器、照明傳感器165K、紫外(UV)傳感器、肌電圖(EMG)傳感器、腦電圖(EEG)傳感器、心電圖(ECG)傳感器、IR傳感器、超聲傳感器、虹膜傳感器、指紋傳感器等。傳感器165可以進(jìn)一步包括控制電路，用于控制其中包括的至少一個(gè)傳感器。如下面將要詳細(xì)討論的，一個(gè)或多個(gè)這些傳感器165可以用于控制UI、檢測UI輸入、確定用戶的方位和朝向用于3D內(nèi)容顯示識(shí)別等。任何這些傳感器165可以位于HMD 100內(nèi)，位于被配置為容納HMD 100的耳機(jī)內(nèi)，或位于耳機(jī)和HMD 100二者內(nèi)(例如，在HMD 100包括耳機(jī)的實(shí) 施例中)。

觸摸屏150可以包括觸摸面板、(數(shù)字)筆傳感器、按鍵或超聲輸入設(shè)備。觸摸屏150可以例如以以下當(dāng)中至少一種方案識(shí)別觸摸輸入：電容方案、壓敏方案、紅外方案或超聲方案。觸摸屏150還可以包括控制電路。在電容方案中，觸摸屏150可以識(shí)別觸摸或接近。

如下面詳細(xì)描述的，HMD 100可以包括用于提供用于HMD的3D UI的電路和應(yīng)用。雖然圖1示出HMD 100的一個(gè)示例，但是可以對(duì)圖1進(jìn)行多種改變。例如，圖1中的各種組件可以組合、進(jìn)一步細(xì)分或省略，而且可以根據(jù)特定需要添加額外的組件。作為特定示例，處理器140可以被分為多個(gè)處理器，諸如一個(gè)或多個(gè)中央處理單元(CPU)以及一個(gè)或多個(gè)圖形處理單元(GPU)。此外，雖然圖1示出HMD 100被配置為移動(dòng)電話機(jī)、平板電腦、或智能電話機(jī)。但是HMD 100也可以被配置為作為其他類型的移動(dòng)或固定設(shè)備操作。

本公開的實(shí)施例提供用于HMD 100上的立體3D VR或AR應(yīng)用的導(dǎo)航UI框架。用于使用HMD 100的VR體驗(yàn)，利用HMD 100中的傳感器165跟蹤用戶的頭部運(yùn)動(dòng)(即，HMD 100的運(yùn)動(dòng))，并使用其控制顯示器155。本公開的UI元素包括與內(nèi)容顯示相同的方式來響應(yīng)用戶的頭部運(yùn)動(dòng)的3D對(duì)象。例如，UI元素可以包括用于控制或操縱HMD 100顯示的內(nèi)容的菜單中的圖標(biāo)或其他類型的UI元素。本公開特別適用于將原本設(shè)計(jì)用于2D移動(dòng)設(shè)備顯示的應(yīng)用轉(zhuǎn)換為HMD模式。

圖2是根據(jù)本公開的實(shí)施例的3D空間200中的UI菜單布置的圖示。本公開的各種實(shí)施例提供UI元素205的3D顯示。如圖所示，HMD 100分配HMD 100的用戶能夠查看的3D空間200內(nèi)的UI元素205 3D坐標(biāo)。HMD 100將UI元素205置于用戶的當(dāng)前3D視錐210(即，作為HMD 100的當(dāng)前檢測的方位和朝向的結(jié)果用戶當(dāng)前能夠查看的全部可查看3D空間200的部分)內(nèi)。UI元素205自身可以是3D對(duì)象或2D對(duì)象。確定UI元素205的精確3D坐標(biāo)時(shí)還考慮諸如視錐210中顯示的當(dāng)前主內(nèi)容的坐標(biāo)的因素。

本公開的各種實(shí)施例提供在比用戶的當(dāng)前3D視錐210寬的角范圍215內(nèi)提供UI元素顯示。配置將要在其中放置UI元素205的角范圍215(例如，在假想笛卡爾坐標(biāo)系的x-z平面上，x方向一般表示左/右或偏航，y方向一般表示前/后，而z方向一般表示上/下或起伏)。在一些示例中，(例如，當(dāng)存在 超過可放下的UI元素205時(shí))，HMD 100實(shí)際地或虛擬地(即，不是在顯示器155上實(shí)際地顯示，而是當(dāng)HMD 100移動(dòng)到虛擬顯示該元素的位置時(shí)才實(shí)際顯示)在當(dāng)前3D視錐210外顯示一些UI元素205。然而，HMD 100在UI的角范圍215內(nèi)放置這些UI元素205，以使得用戶不需要向左或向右(即，偏航或x移動(dòng))過度轉(zhuǎn)頭即可看到全部顯示的UI元素205。注意，雖然在笛卡爾坐標(biāo)系中給出特定示例，但是可以使用任何合適的坐標(biāo)系，以任何元組(tuple)擔(dān)當(dāng)缺省坐標(biāo)方向。

如上所述，HMD 100使用HMD 100和/或耳機(jī)上的傳感器165(諸如，例如陀螺儀、加速計(jì)等)檢測用戶的頭部運(yùn)動(dòng)，即，HMD 100的運(yùn)動(dòng)。HMD 100響應(yīng)頭部運(yùn)動(dòng)顯示UI元素205以及顯示(例如，內(nèi)容)的其他元素，以模擬觀看真實(shí)世界視野和對(duì)象并與其交互。

本公開描述用于將導(dǎo)航UI集成到HMD 100中的框架。在各種實(shí)施例中，HMD 100的顯示器可以為立體3D以使得為顯示的內(nèi)容分配3D坐標(biāo)。在雙目HMD中，顯示的圖像被處理為兩個(gè)圖像，例如，左和右顯示圖像，每個(gè)圖像占據(jù)顯示屏幕的一半，而且被扭曲以補(bǔ)償置于顯示器與用戶的眼睛之間用于近眼觀看的鏡頭(例如，耳機(jī)中的)的效果。HMD 100將其中公開的UI處理為顯示圖像的一部分。

本公開還提供對(duì)UI的用戶輸入。例如，HMD 100可以處理不同的用戶輸入模式，例如包括，可以基于檢測按鈕的按壓、HMD的預(yù)定動(dòng)作模式(例如，搖頭或點(diǎn)頭動(dòng)作)、使用相機(jī)捕獲的面部圖像檢測在屏幕的特定區(qū)域上一段時(shí)間的眼睛的注視等確定用于選擇UI元素205、移動(dòng)焦點(diǎn)、觸發(fā)動(dòng)作等的用戶輸入。

在這些實(shí)施例中，HMD 100設(shè)置沿“水平”方向(例如，在x-z平面上)的UI的角范圍215。在一些實(shí)施例中，該角范圍215可以由用戶配置。角范圍215可以比HMD 100的用戶視野寬，但是取決于用途也可以更窄或更寬。在角范圍215內(nèi)部呈現(xiàn)UI的顯示以使得用戶無需過多轉(zhuǎn)頭(例如，向左或右)用于UI交互。

當(dāng)檢測到用于觸發(fā)UI顯示的初始用戶輸入時(shí)，HMD 100取得與所觸發(fā)的當(dāng)前顯示的內(nèi)容相關(guān)聯(lián)的動(dòng)作，例如，對(duì)于導(dǎo)航菜單，可以將動(dòng)作組織為列表或嵌套列表。HMD 100將當(dāng)前級(jí)別列表中的每個(gè)動(dòng)作呈現(xiàn)到圖形UI元素205中，其可以是3D對(duì)象。UI元素205被分配有包括用戶的當(dāng)前3D視 錐210的角范圍215內(nèi)的3D坐標(biāo)，并且在分配的坐標(biāo)處顯示。UI元素205的精確3D坐標(biāo)還考慮諸如當(dāng)前主內(nèi)容的元素的坐標(biāo)的因素。例如，取決于主內(nèi)容是什么，UI元素可以顯示在主內(nèi)容上方的查看區(qū)域的中央，即，在深度上更近；或處于與主內(nèi)容元素相似的深度但在y坐標(biāo)上在它們上方或下方以保持主內(nèi)容元素可見。

在一些實(shí)施例中，HMD 100可以調(diào)整主內(nèi)容的顯示以使得更容易察覺UI元素205；例如，在顯示UI元素205時(shí)主內(nèi)容可以被模糊(就像在內(nèi)容和UI之間放置模糊層)或變暗。在實(shí)施例中，UI元素205可以向上或向下擠開主內(nèi)容元素以取代主內(nèi)容。

可以基于實(shí)施方式改變UI元素205的排列。例如，UI元素205可以被顯示為左對(duì)齊、居中或右對(duì)齊的水平列表或按照適合當(dāng)前任務(wù)的特殊排列。

如果要顯示比角范圍允許的更多的UI元素205，則取決于期望的實(shí)施方式，HMD 100可以合并附加的選擇以允許顯示附加的UI元素205或允許將UI元素205的陣列折疊為多行，或兩者都是。

HMD 100上的傳感器165隨著用戶移動(dòng)他或她的頭、轉(zhuǎn)身或走動(dòng)而檢測HMD 100的位置和方向的改變。HMD 100處理感測和檢測的改變以調(diào)整HMD 100的顯示，以便模擬觀看真實(shí)世界。由于UI元素205是置于與主內(nèi)容相同的3D框架中的3D對(duì)象，HMD 100以類似的方式調(diào)整UI元素205的顯示。

UI元素205可以與動(dòng)作相關(guān)聯(lián)。當(dāng)選擇與用于加載另一組UI元素205的動(dòng)作相關(guān)聯(lián)的條目時(shí)，新條目陣列的顯示取代相同的3D位置中的當(dāng)前陣列，其根據(jù)陣列中的條目的數(shù)量等調(diào)整。在實(shí)施例中，當(dāng)子陣列在母陣列的原始位置顯示時(shí)，母陣列可以上移而不是消失。該情況下，用戶可以查看他瀏覽的UI元素205的等級(jí)，如同面包屑(breadcrumb)或多級(jí)下拉菜單。親陣列指示UI元素的上陣列，而子陣列指示UI元素的下陣列。

如下面參照?qǐng)D6A-6D詳細(xì)討論的，本公開的實(shí)施例還提供嵌套陣列顯示轉(zhuǎn)變。例如，如果一UI元素205與用于加載另一組UI元素205的動(dòng)作相關(guān)聯(lián)而且該UI元素205被選擇，則HMD 100顯示新的一組UI元素205以代替UI元素205的當(dāng)前顯示。當(dāng)存在一個(gè)或多個(gè)母組時(shí)，當(dāng)前組的顯示可以包括“向上”或“后退”按鈕，或者UI可以包括用于返回母陣列的面包屑。在實(shí)施例中，當(dāng)顯示子陣列時(shí)，母陣列可以上移而不是消失。該示例中，用戶將 查看瀏覽的UI元素205的等級(jí)，如同面包屑或多級(jí)下拉菜單。

本公開的實(shí)施例提供用于HMD應(yīng)用的移動(dòng)設(shè)備應(yīng)用的轉(zhuǎn)換。例如，本公開的實(shí)施例可以被合并到移動(dòng)通信設(shè)備中作為用于到HMD UI模式的UI模式切換的框架。該示例中，本公開的實(shí)施例提供能夠存儲(chǔ)在移動(dòng)通信設(shè)備中的程序，其用于轉(zhuǎn)換設(shè)計(jì)用于手持移動(dòng)設(shè)備的應(yīng)用的UI并重新組成用于在HMD 100上顯示和交互的UI。利于HMD 100提供的框架，應(yīng)用顯示的HMD版本可以簡單地為HMD 100創(chuàng)建的為手持移動(dòng)設(shè)備實(shí)現(xiàn)的視圖的重組版本，或者可以是應(yīng)用開發(fā)者專門為HMD 100實(shí)現(xiàn)的單獨(dú)視圖。

圖3A-3B示出根據(jù)本公開的實(shí)施例的將用于移動(dòng)設(shè)備的二維(2D)顯示轉(zhuǎn)換為用于HMD的3D顯示的示例。該示例中，圖3A示出用于照片相冊的2D應(yīng)用的屏幕300。該示例中，當(dāng)設(shè)備未配備等價(jià)的物理按鈕時(shí)，在屏幕300上顯示底部的導(dǎo)航條。

圖3B示出在將2D應(yīng)用內(nèi)容和UI轉(zhuǎn)換為用于HMD模式的3D啟動(dòng)應(yīng)用內(nèi)容之后相應(yīng)的內(nèi)容和UI元素305的顯示。該示例中，HMD 100轉(zhuǎn)換應(yīng)用內(nèi)容、動(dòng)作條UI元素以及導(dǎo)航條UI元素用于在HMD顯示屏幕310上顯示。當(dāng)用戶輸入(例如，在觸摸墊或控制器按鈕等上)觸發(fā)菜單顯示時(shí)，HMD產(chǎn)生代表應(yīng)用動(dòng)作條中的條目、設(shè)備物理或顯示的導(dǎo)航按鈕等的UI元素305的陣列，并跨越HMD 100的可查看區(qū)域315顯示UI元素。該示例中，由于可查看區(qū)域315不夠?qū)捯燥@示全部條目(例如，如圖所示，UI的角范圍215比可查看區(qū)域315寬)，陣列的第一個(gè)和最后一個(gè)條目被部分顯示。

圖4A-4D示出根據(jù)本公開的實(shí)施例的與HMD 100顯示的UI元素305的用戶交互的示例。在這些示例中，HMD 100顯示并允許與UI元素305的用戶交互。圖4A示出在顯示的UI元素305之間滾動(dòng)。例如，當(dāng)用戶向左轉(zhuǎn)頭時(shí)，HMD 100響應(yīng)于傳感器165對(duì)設(shè)備方向和位置改變的讀數(shù)而向右移動(dòng)顯示，包括內(nèi)容和菜單。圖4B示出選擇“SPatient”文件夾之后的視圖并消除UI元素305的顯示。例如，針對(duì)用于消除UI的用戶選擇，或針對(duì)不包括子UI元素的UI元素305的用戶選擇(例如，如圖4B所示的打開文件夾的選擇)，HMD 100可以在一段時(shí)間之后清除UI元素305的顯示。圖4C示出包括用于改變顯示UI元素的方式的UI選項(xiàng)的UI菜單顯示的返回。圖4D示出包括用于導(dǎo)航到前一菜單或文件夾的分級(jí)導(dǎo)航元素的UI元素305的顯示。

圖5A-5C示出根據(jù)本公開的實(shí)施例的在UI的角范圍510內(nèi)HMD上的 UI元素505的顯示的示例。在這些示例中，通過HMD 100顯示區(qū)域的360°視野的一部分，佩戴HMD 100的用戶可查看的區(qū)域515小于整個(gè)視野區(qū)域。

如圖5A所示，在激活UI菜單之前，HMD顯示主內(nèi)容，該示例中，沒有導(dǎo)航UI條目的區(qū)域的360°視野的一部分用于完全浸入式的體驗(yàn)?？刹榭磪^(qū)域515代表用戶的當(dāng)前視野區(qū)域。由于圖像為球形的，用戶可以使用HMD 100轉(zhuǎn)動(dòng)他的頭和/或身體以觀看該位置處的區(qū)域的不同部分，而不是像在網(wǎng)站查看模式下一樣進(jìn)行鼠標(biāo)點(diǎn)擊/敲擊。

如圖5B所示，當(dāng)觸發(fā)菜單顯示時(shí)，HMD 100包括UI元素505，例如，來與顯示的內(nèi)容相關(guān)聯(lián)的網(wǎng)頁的UI條目。而且在該實(shí)例中，背景內(nèi)容變暗以將注意力集中在UI上。該示例中，用戶可以在顯示UI元素505的菜單之后將他或她的頭向左轉(zhuǎn)來觀看陣列的左側(cè)。

如圖5C所示，當(dāng)選擇圖5B中的選項(xiàng)UI元素505時(shí)，HMD 100在用于UI的角范圍510內(nèi)顯示選項(xiàng)520的列表作為與所選的UI元素505相關(guān)聯(lián)的UI元素。該示例中，因?yàn)橛糜诓藛蜺I顯示的角范圍510不能容納所有選項(xiàng)520，選項(xiàng)520的列表被折疊為兩行。

圖6A-6D示出根據(jù)本公開的實(shí)施例的HMD 100上的UI元素的嵌套陣列的多個(gè)級(jí)別的顯示和用戶交互的示例。圖6A示出HMD 100的可查看區(qū)域610中顯示的工具陣列相關(guān)聯(lián)的UI元素605的顯示。如該示例中所示，HMD 100在前景中顯示UI元素605，背景中的內(nèi)容變暗。

圖6B示出在選擇不同級(jí)別中的UI元素605之一之后子陣列UI元素615的顯示。該示例中，HMD 100向上移動(dòng)母陣列UI元素605的顯示，并在可查看區(qū)域610的中央部分中顯示子陣列UI元素615。圖6C示出在選擇前一級(jí)別中的UI元素615之一之后子陣列UI元素620的顯示。該示例中，HMD 100向上移動(dòng)母陣列UI元素615的顯示，并在可查看區(qū)域610的中央部分中顯示子陣列UI元素620。

圖6D示出在用于導(dǎo)航返回前一級(jí)別中的UI元素615之一的輸入之后母陣列UI元素615的顯示。該示例中，HMD 100向下移動(dòng)子級(jí)陣列UI元素620的顯示，并在可查看區(qū)域610的中央部分中顯示母陣列UI元素615。例如，用戶可以使用基于姿態(tài)的控制(例如，向上或向下看)在多級(jí)別的陣列集合的級(jí)別之間導(dǎo)航。以該方式，本公開的UI框架允許顯示UI分級(jí)的軌跡以及UI陣列級(jí)別之間的輕松導(dǎo)航，以便改善HMD 100中的UI交互。

在一些示例中，可以第二種控制模式，其使得能夠獨(dú)立于內(nèi)容視圖控制UI元素。第二種控制可以用于移動(dòng)UI元素同時(shí)保持頭部移動(dòng)控制的內(nèi)容視圖靜態(tài)，以使得用戶可以將被移走的UI帶回他的視野。

圖7示出根據(jù)本公開的實(shí)施例的顯示用于HMD的UI的過程。例如，圖7中繪示的過程可以由圖1的HMD 100執(zhí)行。

該過程始于HMD 100產(chǎn)生用于HMD顯示的3D內(nèi)容(步驟705)。例如，在步驟705，HMD 100可以是能夠安裝在耳機(jī)(諸如例如Gear耳機(jī))中的諸如智能電話機(jī)或平板電腦的移動(dòng)通信設(shè)備的顯示器，用于提供頭戴顯示體驗(yàn)。在其他示例中，HMD 100自身可以是用于VR和AR應(yīng)用兩者的耳機(jī)和顯示器二者。在一個(gè)或多個(gè)實(shí)施例中，佩戴HMD的用戶的可查看區(qū)域小于HMD 100的顯示器，例如，當(dāng)HMD 100在移動(dòng)通信設(shè)備上時(shí)。在步驟705，產(chǎn)生用于顯示的3D內(nèi)容可以包括將移動(dòng)通信設(shè)備的顯示器能夠顯示的2D內(nèi)容轉(zhuǎn)換為三維內(nèi)容用于在可查看區(qū)域中的HMD上顯示。該轉(zhuǎn)換可以響應(yīng)于用于從內(nèi)容顯示的常規(guī)2D模式切換到內(nèi)容顯示的3D HMD模式的用戶輸入而發(fā)生或自動(dòng)發(fā)生，例如當(dāng)HMD 100檢測到HMD 100被放置在耳機(jī)內(nèi)部時(shí)。該向3D的轉(zhuǎn)換可以涉及例如通過耳機(jī)中包括的光學(xué)元件將HMD的顯示分為左和右圖像用于圖像的立體組合。

HMD 100識(shí)別用于UI的角范圍內(nèi)的UI元素的3D坐標(biāo)(步驟710)。例如，在步驟710，HMD 100可以正常地僅顯示3D內(nèi)容以提供浸入式3D體驗(yàn)。然而，為了控制和操縱HMD 100，HMD 100在HMD 100的3D可顯示區(qū)域的角范圍內(nèi)提供UI。例如，角范圍可以是包括用戶在佩戴HMD 100時(shí)能夠查看的區(qū)域的HMD 100能夠顯示的3D可查看區(qū)域內(nèi)的平面(例如，3D空間中的x/z平面)。在一些實(shí)施例中，例如，UI的角范圍比用戶佩戴HMD 100時(shí)能夠查看的區(qū)域?qū)挘栽试S附加的UI元素被HMD 100實(shí)際地或虛擬地顯示而不立即對(duì)佩戴HMD 100的用戶可見，例如，允許在UI元素之間滾動(dòng)。

HMD 100接著監(jiān)視UI用戶輸入(步驟715)。例如，在步驟715，HMD100可以監(jiān)視按鈕的按壓或，通過使用與啟動(dòng)顯示相關(guān)聯(lián)的用戶的面部圖像檢測在與啟動(dòng)UI的顯示相關(guān)聯(lián)的屏幕的特定區(qū)域上一段時(shí)間的眼睛注視來監(jiān)視與啟動(dòng)UI的顯示相關(guān)聯(lián)的HMD的運(yùn)動(dòng)模式(例如，搖頭或點(diǎn)頭動(dòng)作)。

如果HMD 100在步驟715檢測到UI用戶輸入，則HMD 100接著在識(shí)別的三維坐標(biāo)處顯示UI元素(步驟720)。例如，在步驟720，HMD 100在 三維內(nèi)容上顯示UI元素(例如，菜單條目)，其可以包括模糊背景3D內(nèi)容。在一些實(shí)施例中，UI元素自身可以是三維的，因而分配的三維坐標(biāo)可以包括HMD 100能夠顯示的3D空間內(nèi)的“y”坐標(biāo)值的范圍。在其他示例中，UI元素可以鑲嵌在3D內(nèi)容中，例如，顯示的3D內(nèi)容中的一些或全部可以在相對(duì)于UI元素的顯示位置的前景中和/或背景中。在步驟720，HMD 100在UI的角范圍內(nèi)顯示UI元素。

如這里討論的，UI的角范圍可以稍微寬于佩戴HMD 100的用戶的可查看區(qū)域，因而允許在用戶的當(dāng)前視野外部顯示附加的UI元素或已顯示的UI元素的部分，其可以基于例如用戶頭部運(yùn)動(dòng)來滾動(dòng)。UI的角范圍的稍微寬的寬度允許用戶快速訪問全部已顯示的UI元素。另外，在各種實(shí)施例中，UI的角范圍是基于初始觸發(fā)UI時(shí)在HMD 100的顯示上用戶的查看位置。例如，HMD 100的輕微運(yùn)動(dòng)可以允許在角范圍內(nèi)的UI元素的顯示/滾動(dòng)，而較大的運(yùn)動(dòng)可以允許顯示在UI的角范圍外部的內(nèi)容。因而，用戶將能夠“向外滾動(dòng)”或“向外操控”已顯示的UI元素以查看上方/下方或左方/右方的內(nèi)容，并在稍后返回UI的角范圍以再次查看并與顯示的UI元素交互。另外，每次觸發(fā)UI時(shí)，在360°3D空間內(nèi)UI的角范圍的位置可以基于觸發(fā)UI時(shí)HMD 100的查看位置。如此，步驟710可以在每次啟動(dòng)UI時(shí)執(zhí)行，或者可以利用基于啟動(dòng)UI時(shí)的相對(duì)顯示位置適配的絕對(duì)3D坐標(biāo)執(zhí)行一次。

之后，HMD 100監(jiān)視與頭部運(yùn)動(dòng)對(duì)應(yīng)的HMD的運(yùn)動(dòng)(步驟725)。例如，在步驟725，HMD 100可以使用一個(gè)或多個(gè)傳感器(例如，陀螺儀、加速計(jì)、磁力計(jì)等)檢測HMD運(yùn)動(dòng)(例如，向左或向右、對(duì)角線、向上或向下、向前或向后、以上的任何組合等)，其對(duì)應(yīng)于用戶在佩戴HMD 100時(shí)移動(dòng)他或她的頭。

如果HMD 100在步驟725中檢測到與頭部運(yùn)動(dòng)對(duì)應(yīng)的HMD的運(yùn)動(dòng)，則HMD 100接著基于該運(yùn)動(dòng)來移動(dòng)HMD上UI元素的顯示(步驟730)。例如，在步驟730，HMD 100可以沿與HMD的運(yùn)動(dòng)方向?qū)?yīng)的方向(例如，其相反方向)移動(dòng)UI元素以提供UI元素在3D空間中的位置保持恒定而且用戶僅僅是沿不同的方向看的效果，而事實(shí)上HMD 100移動(dòng)顯示器上顯示的條目的位置以提供VR/AR效果。

在一個(gè)示例中，HMD 100可以移動(dòng)UI元素以在UI的角范圍中的UI元素之間滾動(dòng)，例如用于顯示之前原本不可見的UI元素(例如，在用戶佩戴 HMD 100時(shí)的原有視野之外，諸如，例如左方或右方，上方或下方等)。

在另一示例中，HMD 100可以移動(dòng)UI元素以顯示UI元素的嵌套陣列的附加級(jí)別。例如，當(dāng)前顯示的UI元素可以是UI元素的嵌套陣列的多級(jí)別集合的一個(gè)級(jí)別。通過感測用戶移動(dòng)他或她的頭(例如，向上或向下)，HMD 100可以基于感測的運(yùn)動(dòng)的方向而移動(dòng)到UI元素的嵌套陣列的多級(jí)別集合中的母或子陣列的顯示。在一個(gè)實(shí)施例中，HMD 100可以在之前顯示的UI元素的陣列的位置顯示UI元素的母或子陣列，而且將UI元素的之前顯示的陣列的顯示移動(dòng)到另一位置(例如，上方或下方)以示出在嵌套陣列的多級(jí)別集合中的嵌套陣列的各級(jí)別之間滾動(dòng)。在一些實(shí)施例中，HMD 100可以響應(yīng)于對(duì)顯示的陣列中的一個(gè)UI元素的用戶選擇而示出在嵌套陣列的多級(jí)別集合中的嵌套陣列的各級(jí)別之間滾動(dòng)，例如，可以顯示與選擇的UI元素相關(guān)聯(lián)的子陣列。HMD 100可以以任何方式檢測用戶選擇，例如，不加限制地，基于預(yù)定義運(yùn)動(dòng)模式(pattern)、按鈕選擇、通過使用用戶的面部圖像檢測一段時(shí)間在特定UI元素上的眼睛注視等。

HMD 100繼續(xù)如上所述在顯示UI時(shí)處理運(yùn)動(dòng)，直到例如檢測到用于結(jié)束UI的顯示的輸入為止，之后結(jié)束UI顯示。例如，該輸入可以與上面參照步驟715討論的UI用戶輸入相同或類似，或者可以基于例如時(shí)間自動(dòng)進(jìn)行。

雖然圖7示出顯示用于HMD的UI的示例過程，但是可以對(duì)圖7進(jìn)行各種修改。例如，雖然被示出為一系列步驟，但是每個(gè)圖中的各種步驟可以重疊、并行發(fā)生、以不同的次序發(fā)生或者多次發(fā)生。

圖8示出根據(jù)本公開的實(shí)施例的顯示用于HMD的3D UI的過程。在步驟810，HMD 100顯示3D內(nèi)容。在步驟820，HMD 100基于3D內(nèi)容識(shí)別3D坐標(biāo)。

在步驟830，HMD 100檢測預(yù)定輸入?；谝韵轮辽僖粋€(gè)確定該預(yù)定輸入：選擇UI元素、移動(dòng)焦點(diǎn)、按壓按鈕、HMD的預(yù)定運(yùn)動(dòng)模式、使用相機(jī)捕獲的面部圖像檢測在屏幕的特定區(qū)域上的一段時(shí)間的眼睛注視。

在步驟840，響應(yīng)于檢測的輸入，HMD 100在位于識(shí)別的3D坐標(biāo)處的3D內(nèi)容上顯示UI元素。UI元素包括與3D內(nèi)容相關(guān)的信息。

本公開的實(shí)施例提供用于HMD UI設(shè)計(jì)和用于轉(zhuǎn)換移動(dòng)設(shè)備應(yīng)用的UI以在具有立體3D顯示的HMD中使用的框架。本公開的實(shí)施例允許將用于2D移動(dòng)設(shè)備屏幕的應(yīng)用設(shè)計(jì)分解為元素，諸如動(dòng)作條條目、主內(nèi)容、導(dǎo)航條 條目等，并且重新組合用于3D HMD環(huán)境。

本公開的實(shí)施例提供立體3D顯示以模擬深度，但是可以類似地應(yīng)用于2D顯示。本公開的實(shí)施例不僅使能顯示的內(nèi)容的深度而且使能與UI元素的交換。例如，用戶可以“瀏覽”UI元素，或者可以在不同的深度顯示嵌套的陣列的不同級(jí)別。

本公開的實(shí)施例還將UI元素的移動(dòng)反映到用戶的移動(dòng)以使得UI運(yùn)動(dòng)感覺自然，而不是加速或者另外夸大或竄改(interpolated)。由于HMD的視野是沉浸式的，顯示元件的不自然運(yùn)動(dòng)的不自然效果在HMD中被放大，而且提供自然的相互作用。菜單顯示可以不與用戶位置或設(shè)備相關(guān)地固定，而是可以完全集成到3D場景中并隨之移動(dòng)。

雖然已經(jīng)參照示范性實(shí)施例描述本公開，但是本領(lǐng)域技術(shù)人員可以設(shè)想各種變更和修改。本公開旨在涵蓋落入所附權(quán)利要求的范圍內(nèi)的這樣的變更和修改。

本申請(qǐng)中的描述不應(yīng)當(dāng)被理解為暗示任何特定元件、步驟、或功能是必須被包括在權(quán)利要求范圍內(nèi)的必要元素。要求專利保護(hù)的主題的范圍僅由權(quán)利要求限定。