本發(fā)明總體上涉及具有頭戴式顯示器(HMD)的可佩戴虛擬現(xiàn)實(VR)計算裝置。更具體地，本發(fā)明涉及使用HMD中的視野來實現(xiàn)菜單控制功能。

背景技術：

可佩戴VR系統(tǒng)整合各種元件，諸如輸入裝置、傳感器、檢測器、圖像顯示器和無線通信部件以及圖像和音頻處理器。通過靠近佩戴者的眼睛放置圖像顯示元件，模擬圖像可被制成來疊加現(xiàn)實世界的視圖或者創(chuàng)建完全其自身的獨立現(xiàn)實。此類圖像顯示元件并入到也被稱作頭戴式顯示器(HMD)的系統(tǒng)中。根據(jù)顯示元件的尺寸和距佩戴者的眼睛的距離，設置在顯示器上的模擬圖像可充滿或幾乎充滿佩戴者的視野。

并入有HMD的VR系統(tǒng)是移動且重量輕的，同時允許與虛擬環(huán)境的通信和交互作用。然而，此類系統(tǒng)總體上是缺失的，因為它們仍然需要使用獨立控制器來導航虛擬環(huán)境。在這個意義上，大部分HMD僅僅是允許進入VR環(huán)境中的護目鏡。在本領域中，需要在不引入獨立控制器裝置的情況下對VR環(huán)境的導航和控制。

技術實現(xiàn)要素：

本發(fā)明的實施方案包括用于頭戴式顯示器中的菜單導航的系統(tǒng)和方法。可生成與頭戴式顯示器相關的位置數(shù)據(jù)?？勺粉櫧裹c的位置。焦點可被確定在菜單導航元件的操作范圍內。當焦點被確定在菜單導航元件的操作范圍內時，對應于導航元件的固定計時器可被執(zhí)行來倒計時預定時間段。在預定的時間段到期時，可實現(xiàn)對應于導航元件的功能。

可提供用于頭戴式顯示器中的菜單導航的方法。此類方法可包括：通過傳感器生成頭戴式顯示器的位置數(shù)據(jù)；追蹤頭戴式顯示器的焦點在包括菜單導航元件的虛擬環(huán)境中的位置；確定焦點在菜單導航元件的操作范圍內；當焦點在菜單導航元件的操作范圍內時，執(zhí)行對應于菜單導航元件的倒計時預定時間量的固定計時器；并且當所述預定時間量到期時，實現(xiàn)導航元件的對應功能。

用于頭戴式顯示器中的菜單導航的系統(tǒng)可包括：生成位置數(shù)據(jù)的陀螺儀、磁力儀以及加速度計中的至少一個；頭戴式顯示器，其包括至少一個鏡片來在包括菜單導航元件的虛擬環(huán)境中顯示焦點；以及處理器，其執(zhí)行存儲在存儲器中的指令來處理位置數(shù)據(jù)以追蹤焦點在虛擬環(huán)境內的位置、確定焦點在菜單導航元件的操作范圍內、當焦點在菜單導航元件的操作范圍內時執(zhí)行對應于導航元件的倒計時預定時間量的固定計時器，并且當由固定計時器指示的預定時間量到期時執(zhí)行與菜單導航元件相關聯(lián)的功能。

本發(fā)明的另外實施方案提供其上實現(xiàn)有程序的非暫態(tài)計算機可讀存儲介質。所述程序可由處理器執(zhí)行來執(zhí)行用于頭戴式顯示器中的菜單導航的方法。所述方法包括生成位置數(shù)據(jù)、追蹤焦點的位置并且確定焦點在菜單導航元件的操作范圍內。執(zhí)行對應于導航元件的固定計時器。當固定計時器計時到期時，實現(xiàn)導航元件的對應功能。

附圖說明

圖1示出示例性可佩戴計算裝置的框圖。

圖2A示出使佩戴者完全沉浸在虛擬現(xiàn)實環(huán)境中的HMD。

圖2B示出允許在維持對現(xiàn)實世界的感知的同時生成VR信息的HMD。

圖3示出在HMD的鏡片顯示器上顯示的示例性導航菜單。

圖4A示出使用焦點來啟用在導航菜單中的視覺元件由此尚不激活虛擬按鈕的對應操作。

圖4B示出使用焦點來啟用在導航菜單中的視覺元件由此與焦點和虛擬按鈕相關聯(lián)的區(qū)域激活對應的功能。

圖4C示出使用焦點來啟用在導航菜單中的視覺元件由此焦點直接激活虛擬按鈕的對應功能。

圖5示出用于VR環(huán)境中的菜單選擇的示例性方法。

具體實施方式

本發(fā)明的實施方案包括用于頭戴式顯示器中的菜單導航的系統(tǒng)和方法?？缮膳c頭戴式顯示器相關的位置數(shù)據(jù)?？勺粉櫧裹c的位置。焦點可被確定在菜單導航元件的操作范圍內。當焦點被確定在菜單導航元件的操作范圍內時，對應于導航元件的固定計時器可被執(zhí)行來倒計時預定時間段。在預定的時間段到期時，可實現(xiàn)對應于導航元件的功能。

圖1示出示例性可佩戴虛擬現(xiàn)實系統(tǒng)100的框圖。與外部計算裝置110通信，可佩戴虛擬現(xiàn)實系統(tǒng)100可包括USB接口120、無線通信接口130、陀螺儀140、加速度計150、磁力儀160、數(shù)據(jù)存儲裝置170、處理器180以及頭戴式顯示器(HMD)200。

頭戴式顯示器(HMD)200允許其佩戴者觀察現(xiàn)實世界的周圍環(huán)境、所顯示計算機生成的圖像或者二者的組合。在一些實施方案中HMD 200可包括透視顯示器。在這種實施方案中，可佩戴虛擬現(xiàn)實系統(tǒng)100的佩戴者可以能夠透過HMD 200來觀看并且盡管可佩戴虛擬現(xiàn)實系統(tǒng)100的存在仍然能夠到觀察現(xiàn)實世界環(huán)境中的一部分。在另一實施方案中，HMD 200可操作來顯示疊加在視野上的圖像以提供“增強現(xiàn)實”體驗。由HMD 200顯示的一些圖像可相對于視野中的特定物體疊加或出現(xiàn)。在又另一實施方案中，HMD 200可以是完全虛擬環(huán)境，由此可佩戴虛擬現(xiàn)實系統(tǒng)100的佩戴者與現(xiàn)實世界的任何視覺接觸隔離。

顯示的圖像可包括圖形、文本和/或視頻；音頻可通過對應的音頻裝置來提供。由HMD顯示的圖像可以是交互式用戶接口的一部分，并且包括菜單、選擇框、導航圖標或者使佩戴者能夠調用可佩戴計算裝置的功能或另外與可佩戴計算裝置交互的其他用戶接口特征。HMD 200的形狀因素可以是眼鏡、護目鏡、頭盔、帽子、遮護板、頭帶或者可以在佩戴者頭上或由佩戴者頭部支撐的一些其他形狀。

為了向佩戴者顯示虛擬圖像，HMD可包括具有諸如照亮顯示面板的發(fā)光二極管(LED)的光源的光學系統(tǒng)。顯示面板可涵蓋液晶顯示面板(LCD)。顯示面板可通過在空間上調制來自光源的光生成光圖案，并且圖像成形器從光圖案形成虛擬圖像?？商娲?，面板可以是硅基液晶(LCOS)，由此液晶層可位于硅底板的頂部。

在示例性實施方案中，HMD包括具有不重疊立體景3D圖像的7英寸屏幕，由此左眼向左看見額外區(qū)域并且右眼向右看見額外區(qū)域。HMD嘗試模仿不100％重疊的正常人類視覺。在示例性實施方案中，視野是水平大于90度(110度對角)，因此大約充滿整個視野，使得可完全地封閉現(xiàn)實世界以創(chuàng)建強烈的沉浸感。

一個實施方案可使用1280×800(16:10縱橫比)，從而允許對于每只眼睛有效的是640×800，4:5縱橫比。在不允許眼睛之間的完全重疊的實施方案中，組合的水平分辨率有效地大于640。對于每只眼睛所顯示的圖像是引腳緩沖的因此為每只眼睛生成球面映射圖像。

HMD 200可與外部計算裝置110通信。外部計算裝置110包括應用服務器、數(shù)據(jù)庫以及本領域已知的其他外部計算部件，所述其他外部計算部件包括標準硬件計算部件(諸如網(wǎng)絡和介質接口)、非暫態(tài)計算機可讀存儲裝置(存儲器)以及用于執(zhí)行指令或訪問可存儲于存儲器中的信息的處理器。

在一些實例中，可佩戴虛擬現(xiàn)實系統(tǒng)100可物理地連接到外部計算裝置110。這種連接可通過USB接口120來實現(xiàn)，所述USB接口120可用于通過USB兼容電纜布線向外部計算裝置110發(fā)送數(shù)據(jù)并且從所述外部計算裝置110接收數(shù)據(jù)。USB接口120還可用于為可佩戴虛擬現(xiàn)實系統(tǒng)100提供電力，從而潛在地不需要外部電力供應和與其相關聯(lián)的任何電力電纜布線。在一些實例中，另外的電力適配器(未示出)可以是必要的，以通過USB接口120實現(xiàn)電力。應理解對USB的參考是示例性的，可使用其他類型的接口，包括但不限于FireWire、Lightning以及諸如HDMI和DVI的其他電纜連接標準。

圖1的可佩戴虛擬現(xiàn)實系統(tǒng)100包括無線通信接口130。無線通信接口130可用于與外部計算裝置110無線通信。無線通信接口130可用于與其他可佩戴計算裝置100無線通信。無線通信接口130可使用通過諸如因特網(wǎng)的基于分組的網(wǎng)絡支持雙向數(shù)據(jù)交換的任何數(shù)量的無線通信標準。示例性通信標準包括CDMA、GSM/GPRS、4G蜂窩、WiMAX、LTE以及802.11(WiFi)。

可佩戴虛擬現(xiàn)實系統(tǒng)100可包括三維軸線陀螺儀140、加速度計150以及磁力儀160中的一個或多個陀螺儀140可用于基于角動量原理測量取向。加速度計150可用于檢測作為矢量的加速度的大小和方向。這個結果可用于感測因重量方向改變的取向、與重力或與重力的變化相關的坐標加速度，和振動、震動以及通過恰當?shù)募铀俣雀淖兌陔娮杞橘|中的下落。磁力儀160可用于識別相對于可佩戴虛擬現(xiàn)實系統(tǒng)100的磁場中的干擾。磁力儀160可有助于為GPS和羅盤應用識別真北方向以及有助于無觸摸或無照相機的手勢輸入。通過使用前述生成的數(shù)據(jù)，可計算相對于地面無漂移的絕對頭標取向追蹤。延遲追蹤可以大約1000Hz操作以便減少反應時間并且增加感知現(xiàn)實性。可佩戴虛擬現(xiàn)實系統(tǒng)100的顯示器可被調整以允許單個顯示器更遠離或更靠近佩戴者的眼睛移動。

可佩戴虛擬現(xiàn)實系統(tǒng)100可通過執(zhí)行存儲在數(shù)據(jù)存儲裝置170中的非暫態(tài)計算機可讀指令來操作，其中執(zhí)行通過操作處理器180來發(fā)生。盡管圖1將數(shù)據(jù)存儲裝置170和處理器180示出為存在于可佩戴虛擬現(xiàn)實系統(tǒng)100處，但此類元件可位于外部計算裝置110中或者在一些實例中，可執(zhí)行的操作分布在二者之間。處理器180和數(shù)據(jù)存儲裝置170處的可執(zhí)行指令還可控制USB接口120、無線接口130、陀螺儀140、加速度計150以及磁力儀160的各個方面。

圖2A示出使佩戴者完全沉浸在虛擬現(xiàn)實環(huán)境中的HMD 200。盡管圖2A示出為沉浸式護目鏡，但其他形狀因素是可能且可設想的。圖2A中的元件的操作與圖2B情況下所討論的元件的操作一樣。圖2A包括允許可佩戴虛擬現(xiàn)實系統(tǒng)100(包括HMD 200)定位在佩戴者頭上的頭戴式支撐件210。HMD 200還包括可以是如上所述的LCD或LCOS構造的鏡片顯示器220A和220B。鏡片顯示器220A和220B可以是可佩戴虛擬現(xiàn)實系統(tǒng)100的集成部分。

可佩戴虛擬現(xiàn)實系統(tǒng)100的制造可允許如圖1所示的那些部件的部件和待內部集成的各種部件互連器集成。其他部件可位于可佩戴虛擬現(xiàn)實系統(tǒng)100的外部，以允許更方便訪問或物理連接到外部計算裝置110。可佩戴虛擬現(xiàn)實系統(tǒng)100的一個實施方案可包括麥克風以允許與使用可佩戴虛擬現(xiàn)實系統(tǒng)100的其他個體語音通信或者允許對系統(tǒng)100的某些免提控制。

圖2B示出允許在維持對現(xiàn)實世界的感知的同時生成虛擬現(xiàn)實信息的HMD 200。通過不使佩戴者完全沉浸在虛擬環(huán)境的限制中(即，仍然可以看到并且感知現(xiàn)實世界)來提供這種雙重感知。盡管圖2B的HMD 200示出為簡單的帶，但其他形狀因素是可能且可設想的。圖2B上的元件的操作與圖2A情況下所討論的元件的操作一樣。

圖3示出在HMD 200的鏡片顯示器200上顯示的示例性導航菜單300。導航菜單300可包括任何各種視覺元件，所述視覺元件包括虛擬按鈕310、滾動條320、按鍵330或者用于從用戶接收輸入的任何其他已知元件。導航菜單300可依據(jù)一個或多個控制指令被限定，所述一個或多個控制指令用于控制在虛擬的可佩戴系統(tǒng)100上執(zhí)行的軟件應用。導航菜單300的特定視覺元件，諸如虛擬按鈕310可與特定控制指令相關聯(lián)，使得虛擬按鈕的激活可導致它的相關聯(lián)控制指令被實現(xiàn)。

如上所述，可佩戴虛擬現(xiàn)實系統(tǒng)100包括軸線轉向儀140、加速度計150以及磁力儀160中的一個或多個。由上述部件中的一個或多個生成的數(shù)據(jù)可轉化成對來自導航菜單300的一個或多個視覺元件的選擇或操縱并且由HMD 200顯示。例如，通過用戶在佩戴著可佩戴虛擬現(xiàn)實系統(tǒng)100時移動其頭部，可使用陀螺儀140、加速度計150以及磁力儀160來識別空間中的點以便以類似于在由臺式計算機背景中生成的二維空間中的鼠標指針的方式在三維空間中創(chuàng)建焦點340。焦點或指針340可但是并非必需地相對于HDM 200的鏡片220來對應來自用戶眼睛的視線350(見圖3的插圖)。

通過在特定時間段內在導航菜單300的各種視覺元件上校準焦點340并且維持焦點/指針340在特定視覺元件(例如，虛擬按鈕310)上的位置，可實現(xiàn)聚焦元件的功能。對于焦點340來說，僅在虛擬按鈕310上追蹤而不是在預限定時間段(例如，三秒)內在虛擬按鈕310或與虛擬按鈕310相關聯(lián)的區(qū)域上保持固定，可能是不足的。預限定時間段可由轉件應用的開發(fā)商設定或者通過用戶偏好選項控制，所述用戶偏好選項在可佩戴虛擬現(xiàn)實系統(tǒng)100或系統(tǒng)100的用戶的應用軟件中改變。

圖4A-4C示出使用焦點來實現(xiàn)導航菜單中的視覺元件。具體地，圖4A示出尚未固定在導航菜單中的元件310上的焦點340。同樣，虛擬按鈕的對應操作尚未激活。如圖4A所示，焦點340包括相關聯(lián)的區(qū)域420，所述區(qū)域420擴展在特定點或與所述點相關聯(lián)的區(qū)域上維持焦點340的效果。盡管圖4A中示出為圓形，但相關聯(lián)區(qū)域420還可以是方形、矩形或擴展焦點340的操作范圍的任何形狀或配置。焦點340的相關聯(lián)區(qū)域420對于用戶來說可以是可見的、半透明的或不可見的。在為可見或半透明的實例中的相關聯(lián)區(qū)域420可以是使所述區(qū)域與顯示在鏡片220上的虛擬環(huán)境的背景區(qū)分開的顏色，使得用戶對焦點340和相關聯(lián)區(qū)域420的范圍具有清晰理解。

虛擬按鈕310還可具有如同焦點340的區(qū)域一樣的相關聯(lián)區(qū)域(410)。如同焦點340及其相關聯(lián)區(qū)域420，區(qū)域可以是與虛擬按鈕340或在HMD 200的鏡片220上顯示的虛擬環(huán)境不同的形狀、尺寸、顏色或可見性或透明性。虛擬按鈕310的相關聯(lián)區(qū)域410以及焦點340的相關聯(lián)區(qū)域420每一個均可由開發(fā)商、默認值或用戶設置單獨地控制，所述用戶設置可通過用戶設置菜單(未示出)改變?？煽刂频墓δ馨ㄐ螤睢⒊叽?、可見性、透明性以及上述的需要激活虛擬菜單300的功能的固定時間段。

圖4B示出與焦點420相關聯(lián)與虛擬按鈕410重疊的區(qū)域420，所述區(qū)域420實現(xiàn)導航菜單300中的視覺元件并且激活虛擬按鈕310的對應功能。與圖4A相比較，圖4B示出與焦點340相關聯(lián)并且虛擬按鈕310現(xiàn)在重疊如加亮區(qū)域430中所示的區(qū)域。盡管圖4B用圖形示出加亮區(qū)域，但這是為了便于說明。不需要加亮區(qū)域430出現(xiàn)在鏡片220上，但是這可以是可用于由用戶和/或應用開發(fā)商配置的設置。由于與焦點340相關聯(lián)并且虛擬按鈕310現(xiàn)在重疊的區(qū)域，虛擬按鈕310的相關聯(lián)功能將在預限定的固定時間到期時被實現(xiàn)，所述預限定的固定時間的消耗可由內部時鐘功能控制，所述內部時鐘功能通過基于處理器地執(zhí)行負責菜單300的控制且維持在數(shù)據(jù)存儲裝置170中的軟件來實現(xiàn)。這種內部時鐘功能可被激活來從預限定的時間段倒計時或數(shù)到預限定的時間段。此類計時可被設定成僅在焦點340與菜單導航元件310(或與其相關聯(lián)的區(qū)域410和420)之間有重疊時發(fā)生。同樣，如果在預限定的時間段到期之前焦點340移動遠離，那么功能不會被激活。

圖4C示出使用焦點來啟用在導航菜單中的視覺元件由此焦點直接激活虛擬按鈕的對應功能。與圖4B不同，虛擬按鈕310和焦點340的相關聯(lián)區(qū)域410和420沒有被使用。在圖4C中，焦點340直接固定在虛擬按鈕310上。在所需固定時間段到期時，所述按鈕的相關聯(lián)功能將被實現(xiàn)。

圖5示出用于VR環(huán)境中的菜單選擇的示例性方法500，所述方法500可通過由處理器180執(zhí)行存儲在存儲器170中的指令來實現(xiàn)。圖5的方法500可體現(xiàn)為包含在非暫態(tài)計算機可讀存儲介質中的可執(zhí)行指令，所述計算機可讀存儲介質包括但不限于CD、DVD或如硬盤驅動器的非易失性存儲器。存儲介質的指令可由一個處理器(或多個處理器)執(zhí)行，以致使托管或另外訪問存儲介質的計算裝置的各種硬件部件來實現(xiàn)所述方法。圖5中所示的步驟(及其次序)是示例性的并且可包括各種替代物、等效物或其衍生物，其包括但不限于它們的執(zhí)行次序。

在步驟510中，可基于可佩戴VR系統(tǒng)100的佩戴者頭部的運動生成位置數(shù)據(jù)。位置數(shù)據(jù)可由陀螺儀140、加速度計150以及磁力儀160中的一個或多個生成。

由上述部件中的一個或多個生成的數(shù)據(jù)可被轉化成步驟520處的焦點或指針340的位置數(shù)據(jù)。焦點或指針340的位置可顯示在來自導航菜單300的一個或多個視覺元件的背景中并且由HMD 200顯示。

在步驟530處，做出關于焦點或指針340當前是否定位在按鈕或來自導航菜單300的其他元件上的確定。如果已經(jīng)從未定位在來自導航菜單300的元件上的焦點或指針340的位置分析中作出確定，那么需在步驟540處進一步確定與焦點或指針相關聯(lián)的區(qū)域是否位于來自導航菜單300的元件上。如果在步驟540中已經(jīng)確定焦點或指針的相關聯(lián)區(qū)域不位于來自導航菜單的元件上，那么需在步驟550處進一步確定焦點的相關聯(lián)區(qū)域是否與元件的相關聯(lián)區(qū)域重疊。如果步驟550處的確定保持為否—如圖4A所示—那么分別在步驟510和520處繼續(xù)位置數(shù)據(jù)生成和對焦點位置的追蹤。

如果步驟530處的確定為是(如對應于圖4C)或著步驟540確定為是(如對應于圖4B)，那么在步驟560處固定計時器開始執(zhí)行以確定在預定時間段內焦點及其相關聯(lián)區(qū)域是否保持在導航菜單元件上從而調用與按鈕或其他元件相關聯(lián)的任何功能。隨著計時器倒計時(或計時)所述預定固定時間，在步驟570處繼續(xù)同時地做出關于所述焦點或其相關聯(lián)區(qū)域是否在相對于導航菜單運動的確定。如果所述焦點或相關聯(lián)區(qū)域已經(jīng)改變使得步驟530、540或550的確定將顯示為“否”(即，運動顯示為‘是’)，那么計時器停止并且分別在步驟510和520處繼續(xù)位置數(shù)據(jù)生成和焦點追蹤。在所需固定時間到期之前位置的改變與系統(tǒng)100的用戶或佩戴者的意圖相關以不調用任何對應的菜單功能。

然而如果步驟570處關于焦點的運動的確定為“否”，那么在步驟580處做出關于步驟580處的預定時間段到期的進一步確定。如果預定時間段尚未計時或倒計時，那么由步驟560、570和580構成的循環(huán)繼續(xù)直到已實現(xiàn)固定時間段到期，這時菜單的對應功能在步驟590處執(zhí)行并且方法500結束。

本發(fā)明可在使用多種裝置能夠運行的應用中被實現(xiàn)。非暫態(tài)計算機可讀存儲介質是指參與將指令提供給中央處理器(CPU)以進行執(zhí)行的任何介質或介質。此類介質可采取許多形式，包括但不限于：非易失性和易失性介質，分別如光盤或磁盤，以及動態(tài)存儲器。非暫態(tài)計算機可讀介質的常見形式包括：例如軟盤、柔性盤、硬盤、磁帶、任何其他磁介質、CD-ROM光盤、數(shù)字視頻光盤(DVD)、任何其他光學介質、RAM、PROM、EPROM、FLASHEPROM以及任何其他存儲芯片或盒式磁盤。

各種形式的傳輸介質可參與將一個或多個指令的一個或多個序列運送至CPU以進行執(zhí)行。總線將數(shù)據(jù)運送至系統(tǒng)RAM，CPU從所述系統(tǒng)RAM中檢索并執(zhí)行指令。系統(tǒng)RAM接收的指令可任選地在CPU執(zhí)行之前或之后被存儲在固定盤上。同樣地，可實施各種形式的存儲，以及必要的網(wǎng)絡接口和網(wǎng)絡拓撲以實現(xiàn)相同的目的。

盡管上文已描述了各種實施方案，但應了解所述實施方案僅是以舉例的方式呈現(xiàn)而不具限制性。本說明書并不意圖將本發(fā)明的范圍限制于本文所述的特定形式。因此，優(yōu)選實施方案的廣度和范圍不應受任何上述示例性實施方案的限制。應了解以上描述是說明性的而不是限制性的。相反地，本說明書意圖涵蓋可包含在如所附權利要求限定的和以其他方式由本領域普通技術人員所理解的本發(fā)明的精神和范圍內的此類替代、修改和等效物。因此，不應參照上面的描述來確定本發(fā)明的范圍，而是應參照所附的權利要求和其等效物的全部范圍來確定本發(fā)明的范圍。