本實(shí)用新型涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域,尤其涉及一種虛擬現(xiàn)實(shí)系統(tǒng)和用于該系統(tǒng)的主機(jī)和頭戴式顯示設(shè)備。
背景技術(shù):
虛擬現(xiàn)實(shí)(Virtual Reality,簡(jiǎn)稱(chēng)VR)是近年來(lái)出現(xiàn)的高新技術(shù),也稱(chēng)靈境技術(shù)(我國(guó)著名科學(xué)家錢(qián)學(xué)森翻譯)。虛擬現(xiàn)實(shí)是利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世界,提供使用者關(guān)于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官的模擬,讓使用者如同身臨其境一般,可以及時(shí)、沒(méi)有限制地觀察三維空間內(nèi)的事物。
VR系統(tǒng)可以分為頭戴式顯示設(shè)備(簡(jiǎn)稱(chēng)頭顯)與主機(jī)結(jié)合的系統(tǒng)以及頭顯與主機(jī)分離的系統(tǒng)。前者包括基于手機(jī)的VR系統(tǒng)(例如,三星Gear VR),及VR一體機(jī)(例如,大朋VR一體機(jī)),后者包括使用PC VR 頭顯(例如,Oculus Rift和HTC Vive)的VR系統(tǒng)。
頭顯與主機(jī)結(jié)合的VR系統(tǒng)無(wú)需連線,使用方便,但受限于移動(dòng)平臺(tái)中央處理器(CPU)的處理能力,無(wú)法提供高端的VR體驗(yàn)。頭顯與主機(jī)分離的系統(tǒng)可以使用有強(qiáng)大處理能力的主機(jī),能夠支持復(fù)雜的VR內(nèi)容,提供非常好的圖像渲染質(zhì)量。
但是,頭顯與主機(jī)分離的系統(tǒng)中的頭顯與主機(jī)為有線連接。用戶要么需要使用非移動(dòng)式主機(jī),拖線使用,使用范圍受限,影響用戶體驗(yàn);要么需要背負(fù)非常昂貴的便攜主機(jī),增加系統(tǒng)成本,使得虛擬現(xiàn)實(shí)技術(shù)在普通的低收入人群中普及受限。
因此,仍然需要一種能夠解決上述問(wèn)題的方案。
技術(shù)實(shí)現(xiàn)要素:
本實(shí)用新型要解決的技術(shù)問(wèn)題是提供一種虛擬現(xiàn)實(shí)系統(tǒng)、主機(jī)及頭戴式顯示設(shè)備,其中,主機(jī)與頭戴式顯示設(shè)備分離,并且主機(jī)與頭戴式顯示設(shè)備之間通過(guò)無(wú)線連接的方式進(jìn)行數(shù)據(jù)傳輸,使得系統(tǒng)既可以保有獨(dú)立主機(jī)強(qiáng)大的處理能力,又不受連線的束縛,提高了使用的方便程度,為用戶提供最佳的VR體驗(yàn)。
根據(jù)本實(shí)用新型的一個(gè)方面,提供了一種虛擬現(xiàn)實(shí)系統(tǒng),該系統(tǒng)可以包括主機(jī)和頭戴式顯示設(shè)備,主機(jī)用于向頭戴式顯示設(shè)備提供需要顯示的圖像數(shù)據(jù),頭戴式顯示設(shè)備包括顯示器,用于顯示圖像數(shù)據(jù)。主機(jī)可以包括第一無(wú)線傳輸裝置,用于以無(wú)線傳輸?shù)姆绞较蝾^戴式顯示設(shè)備發(fā)送圖像數(shù)據(jù)。頭戴式顯示設(shè)備還可以包括第二無(wú)線傳輸裝置,連接到顯示器,用于以無(wú)線傳輸?shù)姆绞浇邮諄?lái)自主機(jī)的圖像數(shù)據(jù)。
優(yōu)選地,主機(jī)還可以包括數(shù)據(jù)壓縮器,連接到第一無(wú)線傳輸裝置,用于對(duì)圖像數(shù)據(jù)進(jìn)行壓縮,其中第一無(wú)線傳輸裝置向頭戴式顯示設(shè)備發(fā)送經(jīng)過(guò)壓縮的圖像數(shù)據(jù)。頭戴式顯示設(shè)備還包括數(shù)據(jù)解壓縮器,連接在第二無(wú)線傳輸裝置和顯示器之間,用于將第二無(wú)線傳輸裝置接收的經(jīng)過(guò)壓縮的圖像數(shù)據(jù)解壓縮,以便向顯示器提供解壓縮后的圖像數(shù)據(jù)。
優(yōu)選地,頭戴式顯示設(shè)備還可以包括傳感器,連接到第二無(wú)線傳輸裝置,用于實(shí)時(shí)感測(cè)頭戴式顯示設(shè)備的姿態(tài)數(shù)據(jù),基于姿態(tài)數(shù)據(jù)能夠得到用戶的視角,第二無(wú)線傳輸裝置還用于將第一時(shí)刻的姿態(tài)數(shù)據(jù)或視角發(fā)送給主機(jī),第一無(wú)線傳輸裝置還用于接收第一時(shí)刻的姿態(tài)數(shù)據(jù)或視角。主機(jī)還可以包括渲染部件,連接到第一無(wú)線傳輸裝置,用于渲染與基于第一時(shí)刻的姿態(tài)數(shù)據(jù)得到的用戶在第一時(shí)刻的視角對(duì)應(yīng)的場(chǎng)景內(nèi)容,得到需要顯示的第一時(shí)刻的圖像數(shù)據(jù)。
優(yōu)選地,頭戴式顯示設(shè)備還可以包括:存儲(chǔ)器,用于存儲(chǔ)第一時(shí)刻的圖像數(shù)據(jù);以及圖像處理器,連接到傳感器、存儲(chǔ)器和顯示器,用于基于用戶從第一時(shí)刻到第二時(shí)刻的視角變化,對(duì)存儲(chǔ)器中存儲(chǔ)的第一時(shí)刻的圖像數(shù)據(jù)進(jìn)行投影變換,以得到對(duì)應(yīng)于用戶在第二時(shí)刻的視角的第二時(shí)刻的圖像數(shù)據(jù),并將第二時(shí)刻的圖像數(shù)據(jù)提供給顯示器。
優(yōu)選地,姿態(tài)數(shù)據(jù)包括頭戴式顯示設(shè)備的位置、方向、加速度、角速度和姿態(tài)信息中的至少一個(gè);并且/或者無(wú)線傳輸方式可以包括WiFi、藍(lán)牙、UWB、ZigBee中任何一種。
根據(jù)本實(shí)用新型的另一方面,提供了一種用于虛擬現(xiàn)實(shí)系統(tǒng)的主機(jī),用于向頭戴式顯示設(shè)備提供需要顯示的圖像數(shù)據(jù),主機(jī)可以包括:第一無(wú)線傳輸裝置,用于以無(wú)線傳輸?shù)姆绞较蝾^戴式顯示設(shè)備發(fā)送圖像數(shù)據(jù)。
優(yōu)選地,主機(jī)還可以包括:數(shù)據(jù)壓縮器,連接到第一無(wú)線傳輸裝置,用于對(duì)圖像數(shù)據(jù)進(jìn)行壓縮,其中第一無(wú)線傳輸裝置向頭戴式顯示設(shè)備發(fā)送經(jīng)過(guò)壓縮的圖像數(shù)據(jù)。以及/或者渲染部件,連接到第一無(wú)線傳輸裝置,用于渲染與用戶在第一時(shí)刻的視角對(duì)應(yīng)的場(chǎng)景內(nèi)容,得到需要顯示的第一時(shí)刻的圖像數(shù)據(jù)。
根據(jù)本實(shí)用新型的又一方面,提供了一種用于虛擬現(xiàn)實(shí)系統(tǒng)的頭戴式顯示設(shè)備,包括:顯示器,用于顯示圖像數(shù)據(jù);以及第二無(wú)線傳輸裝置,連接到顯示器,用于以無(wú)線傳輸?shù)姆绞浇邮諄?lái)自虛擬現(xiàn)實(shí)系統(tǒng)的主機(jī)的圖像數(shù)據(jù)。
優(yōu)選地,頭戴式顯示設(shè)備還可以包括:數(shù)據(jù)解壓縮器,連接在第二無(wú)線傳輸裝置和顯示器之間,用于將第二無(wú)線傳輸裝置接收的經(jīng)過(guò)壓縮的圖像數(shù)據(jù)解壓縮,以便向顯示器提供解壓縮后的圖像數(shù)據(jù)。以及/或者傳感器,連接到第二無(wú)線傳輸裝置,用于實(shí)時(shí)感測(cè)頭戴式顯示設(shè)備的姿態(tài)數(shù)據(jù),基于姿態(tài)數(shù)據(jù)能夠得到用戶的視角,第二無(wú)線傳輸裝置還用于將第一時(shí)刻的姿態(tài)數(shù)據(jù)或視角發(fā)送給主機(jī),以便從主機(jī)得到第一時(shí)刻的圖像數(shù)據(jù)。
優(yōu)選地,頭戴式現(xiàn)實(shí)設(shè)備還可以包括:存儲(chǔ)器,用于存儲(chǔ)第一時(shí)刻的圖像數(shù)據(jù);以及圖像處理器,連接到傳感器、存儲(chǔ)器和顯示器,用于基于用戶從第一時(shí)刻到第二時(shí)刻的視角變化,對(duì)存儲(chǔ)器中存儲(chǔ)的第一時(shí)刻的圖像數(shù)據(jù)進(jìn)行投影變換,以得到對(duì)應(yīng)于用戶在第二時(shí)刻的視角的第二時(shí)刻的圖像數(shù)據(jù),并將第二時(shí)刻的圖像數(shù)據(jù)提供給所述顯示器。
綜上,本實(shí)用新型中的主機(jī)與頭顯分離,且主機(jī)與頭顯以無(wú)線的連接方式進(jìn)行數(shù)據(jù)傳輸,能夠使得系統(tǒng)既可以保有獨(dú)立主機(jī)強(qiáng)大的處理能力,又不受連線的束縛,提高了使用的方便程度,從而可以為用戶提供較好的 VR體驗(yàn)。
附圖說(shuō)明
通過(guò)結(jié)合附圖對(duì)本公開(kāi)示例性實(shí)施方式進(jìn)行更詳細(xì)的描述,本公開(kāi)的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯,其中,在本公開(kāi)示例性實(shí)施方式中,相同的參考標(biāo)號(hào)通常代表相同部件。
圖1示出了根據(jù)本實(shí)用新型一個(gè)實(shí)施例的虛擬現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)圖。
圖2示出了根據(jù)本實(shí)用新型一個(gè)實(shí)施例的主機(jī)的結(jié)構(gòu)的示意性框圖。
圖3示出了根據(jù)本實(shí)用新型一個(gè)實(shí)施例的頭戴式顯示設(shè)備的示意性框圖。
具體實(shí)施方式
下面將參照附圖更詳細(xì)地描述本公開(kāi)的優(yōu)選實(shí)施方式。雖然附圖中顯示了本公開(kāi)的優(yōu)選實(shí)施方式,然而應(yīng)該理解,可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施方式所限制。相反,提供這些實(shí)施方式是為了使本公開(kāi)更加透徹和完整,并且能夠?qū)⒈竟_(kāi)的范圍完整地傳達(dá)給本領(lǐng)域的技術(shù)人員。本領(lǐng)域的技術(shù)人員可以理解,如果沒(méi)有明確說(shuō)明,本公開(kāi)所述的連接,圖示中標(biāo)明的連接,可以是直接連接也可以是通過(guò)其他設(shè)備、裝置、介質(zhì)等的間接連接。
如前所述,現(xiàn)有的虛擬現(xiàn)實(shí)系統(tǒng)中,頭顯與主機(jī)結(jié)合的系統(tǒng)或頭顯與主機(jī)分離的系統(tǒng),在為用戶提供良好的虛擬現(xiàn)實(shí)體驗(yàn)方面均存在問(wèn)題。頭顯與主機(jī)結(jié)合的系統(tǒng)中,主機(jī)的處理能力受限,無(wú)法為用戶提供高端的VR體驗(yàn)。頭顯與主機(jī)分離的系統(tǒng)中,頭顯與主機(jī)之間為有線連接,使得用戶的活動(dòng)范圍受限。
針對(duì)上述問(wèn)題,本實(shí)用新型提出了一種新的虛擬現(xiàn)實(shí)系統(tǒng)、主機(jī)及頭戴式顯示設(shè)備。以下將結(jié)合實(shí)施例和附圖對(duì)本實(shí)用新型的虛擬現(xiàn)實(shí)系統(tǒng)、主機(jī)及頭戴式顯示設(shè)備進(jìn)行詳細(xì)說(shuō)明。
圖1示出了根據(jù)本實(shí)用新型一個(gè)實(shí)施例的虛擬現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)的示意圖。
如圖1所示,本實(shí)用新型的虛擬現(xiàn)實(shí)系統(tǒng)200可以包括主機(jī)210和頭戴式顯示設(shè)備220,主機(jī)用于向頭戴式顯示設(shè)備提供需要顯示的圖像數(shù)據(jù),頭戴式顯示設(shè)備包括顯示器,用于顯示圖像數(shù)據(jù)。
這里,主機(jī)210可以是臺(tái)式機(jī)、筆記本、游戲機(jī)等多種形式并可以運(yùn)行VR內(nèi)容的主機(jī)。頭戴式顯示設(shè)備也可以是PC端頭顯、VR一體機(jī)或基于手機(jī)的移動(dòng)式頭顯。圖像數(shù)據(jù)可以是JPEG、TIFF、RAW、BMP等格式,包括以特定方式定制的適用于本公開(kāi)目的的各種格式,頭戴式顯示設(shè)備可以支持一種格式的圖像數(shù)據(jù),也可以兼容兩種或更多種格式的圖像數(shù)據(jù)。應(yīng)當(dāng)明白,圖1中的主機(jī)210和頭戴式顯示設(shè)備220是示意性的,而非確定的,本實(shí)用新型的主機(jī)或者頭戴式顯示設(shè)備還可以是其它形式的,在此不再贅述。
主機(jī)210可以包括如圖2所示的第一無(wú)線傳輸裝置211,頭戴式顯示設(shè)備220可以包括如圖3所述的第二無(wú)線傳輸裝置221和顯示器222。
第一無(wú)線傳輸裝置211用于以無(wú)線傳輸?shù)姆绞较蝾^戴式顯示設(shè)備220 發(fā)送圖像數(shù)據(jù)。
這里,第一無(wú)線傳輸裝置211可以設(shè)置在主機(jī)內(nèi)部,其無(wú)線傳輸方式可以包括WiFi、藍(lán)牙、UWB、ZigBee中的任何一種,或者,也可以是其它的無(wú)線傳輸方式。
第二無(wú)線傳輸裝置221連接到顯示器222,用于以無(wú)線傳輸?shù)姆绞浇邮諄?lái)自主機(jī)210的圖像數(shù)據(jù)。
第二無(wú)線傳輸裝置221可以設(shè)置在頭戴式顯示設(shè)備220的內(nèi)部,其無(wú)線傳輸方式也可以包括WiFi、藍(lán)牙、UWB、ZigBee中的任何一種,或者,也可以是其它的無(wú)線傳輸方式。
其中,第一無(wú)線傳輸裝置211與第二無(wú)線傳輸裝置221可以是相同的,或者相互對(duì)應(yīng)的,以實(shí)現(xiàn)數(shù)據(jù)的無(wú)線傳輸。應(yīng)當(dāng)明白,文中的“第一”和“第二”僅為了區(qū)分主機(jī)和頭戴式顯示設(shè)備的無(wú)線傳輸裝置,不應(yīng)理解為對(duì)本實(shí)用新型的限定。
這種無(wú)線連接方式非常適用于大空間虛擬現(xiàn)實(shí)系統(tǒng),用戶可以在大空間范圍內(nèi)自由活動(dòng),并依靠高端PC支持各種大型多人游戲,適用性非常強(qiáng)。無(wú)線連接也可以使基于手機(jī)的頭顯用于高端VR體驗(yàn),并無(wú)需適用昂貴的背包式主機(jī),降低系統(tǒng)成本。
顯示器222用于顯示圖像數(shù)據(jù),其可以是陰極射線管顯示器(CRT),等離子顯示器(PDP),液晶顯示器(LCD),有機(jī)發(fā)光二極管(OLED) 等等。
第二無(wú)線傳輸裝置221與顯示器222的連接方式可以是直接連接,也可以是間接連接。例如,可以在第二無(wú)線傳輸裝置221與顯示器222之間直接連接USB接口或者其它形式接口的數(shù)據(jù)線,直接將第二無(wú)線傳輸裝置與顯示器相連?;蛘?,第二無(wú)線傳輸裝置221與顯示器222均可以作為元器件焊接(或者其它連接方式)在頭顯的電路板上的相應(yīng)孔的位置,由內(nèi)層線層將兩者間接相連。其具體的連接方式不做限制。第二無(wú)線傳輸裝置221接收到第一無(wú)線傳輸裝置211發(fā)送的圖像數(shù)據(jù)后,顯示器222可以以直接或者間接的方式讀取圖像數(shù)據(jù),并予以顯示。
由于高端VR體驗(yàn)要求高分辨率及幀率(分辨率通常在2560×1440 或更高,幀率90Hz或更高),所需帶寬遠(yuǎn)高于現(xiàn)有無(wú)線協(xié)議支持的帶寬,因此,需要采用壓縮算法以便更好地實(shí)現(xiàn)無(wú)線傳輸。
如此,主機(jī)210還可以包括數(shù)據(jù)壓縮器212,連接到第一無(wú)線傳輸裝置211,用于對(duì)圖像數(shù)據(jù)進(jìn)行壓縮,其中第一無(wú)線傳輸裝置211向頭戴式顯示設(shè)備220發(fā)送經(jīng)過(guò)壓縮的圖像數(shù)據(jù)。
其中,數(shù)據(jù)壓縮器212可以設(shè)置在主機(jī)210內(nèi),其可以與第一無(wú)線傳輸裝置211直接方式或間接方式相連。圖像數(shù)據(jù)可以是JPEG、TIFF、RAW、 BMP等格式,數(shù)據(jù)壓縮器212可以采用壓縮算法(例如,可以是LZ77算法、RLE算法等)對(duì)圖像數(shù)據(jù)進(jìn)行壓縮,例如,可以將圖像數(shù)據(jù)壓縮為rar、 zip等格式,使得圖像數(shù)據(jù)占用較小的空間,提高傳輸速度,以便于主機(jī) 210能夠在較短的時(shí)間內(nèi)將圖像數(shù)據(jù)傳輸至頭戴式顯示設(shè)備220。
相應(yīng)地,頭戴式顯示設(shè)備220可以包括數(shù)據(jù)解壓縮器223,連接在第二無(wú)線傳輸裝置221和顯示器222之間,用于將第二無(wú)線傳輸裝置221接收的經(jīng)過(guò)壓縮的圖像數(shù)據(jù)解壓縮,以便向顯示器222提供解壓縮后的圖像數(shù)據(jù)。
數(shù)據(jù)壓縮器212與第一無(wú)線傳輸裝置211之間,或者數(shù)據(jù)解壓縮器223 與第二無(wú)線傳輸裝置221和顯示器222之間的連接方式都可以是直接方式或者間接方式。例如,可以直接在各個(gè)裝置之間連接USB接口或者其它形式接口的數(shù)據(jù)線,或者將各個(gè)裝置焊接(或者其它連接方式)在相應(yīng)電路板的相應(yīng)位置,由內(nèi)層線層間接連接各個(gè)裝置。
當(dāng)系統(tǒng)使用VR一體機(jī)或基于手機(jī)的移動(dòng)式頭顯時(shí),數(shù)據(jù)的接收、圖像解壓可以使用頭顯自帶硬件,無(wú)需額外硬件。使用PC頭顯時(shí),由于頭顯本身可能沒(méi)有無(wú)線傳輸,還可以增加輔助硬件,例如,可以在頭顯上增設(shè)USB接口,用以插入無(wú)線路由器,增加無(wú)線傳輸裝置。
另外,圖像數(shù)據(jù)無(wú)線傳輸、壓縮、解壓縮通常會(huì)引入較長(zhǎng)延遲,造成從場(chǎng)景計(jì)算到顯示之間有較大的視角變化,如果不進(jìn)行處理會(huì)造成用戶有暈眩感。通常的處理方式是在圖像顯示前根據(jù)當(dāng)前視角對(duì)場(chǎng)景進(jìn)行重投影變換,例如,采用時(shí)間扭曲技術(shù)等。重投影變換的過(guò)程可以是由頭戴式顯示設(shè)備實(shí)現(xiàn)的。
在使用虛擬現(xiàn)實(shí)系統(tǒng)時(shí),用戶可以通過(guò)交互設(shè)備(例如,可以是頭戴式顯示設(shè)備)實(shí)現(xiàn)與主機(jī)的數(shù)據(jù)交互,所述數(shù)據(jù)可以包括用戶的運(yùn)動(dòng)數(shù)據(jù),而運(yùn)動(dòng)數(shù)據(jù)的獲得可以通過(guò)在交互設(shè)備上設(shè)置傳感裝置實(shí)現(xiàn)對(duì)用戶運(yùn)動(dòng)的追蹤。因此,頭戴式顯示設(shè)備220還可以包括傳感器224。傳感器可以連接到第二無(wú)線傳輸裝置221,用于實(shí)時(shí)感測(cè)頭戴式顯示設(shè)備220的姿態(tài)數(shù)據(jù),基于姿態(tài)數(shù)據(jù)能夠得到用戶的視角,第二無(wú)線傳輸裝置221還用于將第一時(shí)刻的姿態(tài)數(shù)據(jù)或視角發(fā)送給主機(jī),第一無(wú)線傳輸裝置211還用于接收第一時(shí)刻的姿態(tài)數(shù)據(jù)或視角。
傳感器224可以設(shè)置在頭戴式顯示設(shè)備220的預(yù)定位置,用于實(shí)時(shí)感測(cè)頭顯的姿態(tài)數(shù)據(jù)。這里,傳感器220可以包括運(yùn)動(dòng)傳感器、紅外傳感器或者其它形式的傳感器,用于實(shí)時(shí)感測(cè)頭顯的姿態(tài)數(shù)據(jù),或者用戶的其它姿態(tài)信息。紅外傳感器可以設(shè)置在頭顯上,并且在使用頭顯時(shí)能夠與人體直接接觸的位置(例如,可以是對(duì)應(yīng)于人眼眶周?chē)奈恢?,可以感測(cè)頭顯是否被用戶戴在頭上,以便于在頭顯佩戴至人體的第一時(shí)間獲知頭顯被用戶使用。運(yùn)動(dòng)傳感器可以是設(shè)置在頭顯上的慣性傳感器,用于實(shí)時(shí)感測(cè)頭顯的姿態(tài)數(shù)據(jù),姿態(tài)數(shù)據(jù)可以包括但不限于頭顯的位置、方向、加速度、角速度和姿態(tài)信息中的至少一種。
基于頭戴式顯示設(shè)備220的姿態(tài)數(shù)據(jù)可以確定頭顯姿態(tài)對(duì)應(yīng)的視角。從姿態(tài)數(shù)據(jù)到視角的計(jì)算可以是在主機(jī)210實(shí)現(xiàn)的,也可以是在頭顯220 實(shí)現(xiàn)的。
第二無(wú)線傳輸裝置221可以將頭顯220的姿態(tài)數(shù)據(jù)發(fā)送給主機(jī),主機(jī)的第一無(wú)線傳輸裝置211可以接收頭顯220的姿態(tài)數(shù)據(jù),由主機(jī)210中的相關(guān)計(jì)算裝置對(duì)頭顯220的姿態(tài)數(shù)據(jù)進(jìn)行計(jì)算,得到頭顯姿態(tài)數(shù)據(jù)對(duì)應(yīng)的視角。
頭戴式顯示設(shè)備220中也可以設(shè)置計(jì)算裝置,以直接或者間接的方式連接于傳感器224和第二無(wú)線傳輸裝置221。計(jì)算裝置可以設(shè)置在傳感器 224與第二無(wú)線傳輸裝置221之間,從傳感器224處獲取頭顯的姿態(tài)數(shù)據(jù),并進(jìn)行計(jì)算,得到頭顯姿態(tài)數(shù)據(jù)對(duì)應(yīng)的視角,并將得到的視角相關(guān)信息(也可以包括頭顯的姿態(tài)數(shù)據(jù))提供給第二無(wú)線傳輸裝置221,第二無(wú)線傳輸裝置221將視角(也可以包括頭顯的姿態(tài)數(shù)據(jù))發(fā)送給主機(jī)210。
在得知用戶的姿態(tài)數(shù)據(jù)或者視角后,主機(jī)內(nèi)設(shè)置的計(jì)算裝置或者處理裝置可以計(jì)算出視角對(duì)應(yīng)的虛擬現(xiàn)實(shí)場(chǎng)景內(nèi)容,渲染場(chǎng)景內(nèi)容即可得到需要顯示的圖像數(shù)據(jù)。因此主機(jī)210還可以包括渲染部件213,
渲染部件213可以連接到第一無(wú)線傳輸裝置211,用于渲染與基于第一時(shí)刻的姿態(tài)數(shù)據(jù)得到的用戶在第一時(shí)刻的視角對(duì)應(yīng)的場(chǎng)景內(nèi)容,得到需要顯示的第一時(shí)刻的圖像數(shù)據(jù)。
渲染部件213可以設(shè)置在主機(jī)210內(nèi),以直接或者間接的方式與第一無(wú)線傳輸裝置211相連,以便于對(duì)第一無(wú)線傳輸裝置211接收到的用戶在第一時(shí)刻的視角對(duì)應(yīng)的場(chǎng)景內(nèi)容進(jìn)行渲染,以得到需要顯示的第一時(shí)刻的圖像數(shù)據(jù)。
渲染部件213渲染的范圍可以是第一時(shí)刻的視角對(duì)應(yīng)的場(chǎng)景內(nèi)容,也可以比第一時(shí)刻的視角對(duì)應(yīng)的場(chǎng)景內(nèi)容的范圍大(具體的渲染范圍可以預(yù)先設(shè)定,也可以根據(jù)用戶的實(shí)際使用情況進(jìn)行計(jì)算)。這樣,在進(jìn)行投影變換的過(guò)程中,就可以盡量解決第二時(shí)刻與第一時(shí)刻的視角差異引起的視場(chǎng)缺失的問(wèn)題。
上文中提到,可以采用時(shí)間扭曲技術(shù)對(duì)圖像數(shù)據(jù)進(jìn)行重投影變換,以解決時(shí)間延遲帶來(lái)的眩暈問(wèn)題。因此頭戴式顯示設(shè)備220還可以包括存儲(chǔ)器225和圖像處理器226。
存儲(chǔ)器225,用于存儲(chǔ)第一時(shí)刻的圖像數(shù)據(jù)。
存儲(chǔ)器225可以固定設(shè)置在頭戴式顯示設(shè)備220內(nèi),具有一定的存儲(chǔ)空間,可以支持普通用戶日常使用。存儲(chǔ)器225還可以包括可拆卸地設(shè)置在頭顯上的存儲(chǔ)卡,或者與頭戴式顯示設(shè)備220相連的移動(dòng)硬盤(pán)等存儲(chǔ)設(shè)備,可以支持存儲(chǔ)擴(kuò)展,以便于在使用率較高、或者圖像數(shù)據(jù)較大或者其它情況下,能夠作為內(nèi)置存儲(chǔ)器的備用/擴(kuò)展存儲(chǔ),以存儲(chǔ)更多的數(shù)據(jù)。存儲(chǔ)器225可以有多種形式或者多種形態(tài),在此不做具體顯示。
存儲(chǔ)器225還可以存儲(chǔ)第二時(shí)刻的圖像數(shù)據(jù),或者其它相關(guān)數(shù)據(jù),例如,頭顯的姿態(tài)數(shù)據(jù)或在視角等。
圖像處理器226,連接到傳感器224、存儲(chǔ)器225和顯示器222,用于基于用戶從第一時(shí)刻到第二時(shí)刻的視角變化,對(duì)存儲(chǔ)器225中存儲(chǔ)的第一時(shí)刻的圖像數(shù)據(jù)進(jìn)行投影變換,以得到對(duì)應(yīng)于用戶在第二時(shí)刻的視角的第二時(shí)刻的圖像數(shù)據(jù),并將第二時(shí)刻的圖像數(shù)據(jù)提供給顯示器。
這里,傳感器225得到第一時(shí)刻和第二時(shí)刻的姿態(tài)數(shù)據(jù),相應(yīng)地可以由主機(jī)210或者頭顯220中的相關(guān)計(jì)算裝置得到第一時(shí)刻和第二時(shí)刻的視角,從而得到視角變化。圖像處理器226能夠從存儲(chǔ)器225中獲取第一時(shí)刻的圖像數(shù)據(jù),并按照第二視角對(duì)第一時(shí)刻的圖像數(shù)據(jù)進(jìn)行投影變換,得到對(duì)應(yīng)于用戶在第二時(shí)刻的視角的第二時(shí)刻的圖像數(shù)據(jù)。圖像處理器226 還可以將第二時(shí)刻的圖像數(shù)據(jù)提供給顯示器222,以供顯示器222顯示。
此外,存儲(chǔ)器225和/或圖像處理器226還可以實(shí)現(xiàn)本實(shí)用新型未提及的其它功能,在此不再贅述。主機(jī)210內(nèi)也可以設(shè)置存儲(chǔ)器和/或圖像處理器,實(shí)現(xiàn)與頭戴式顯示設(shè)備中的存儲(chǔ)器和/或圖像處理器相同或相似的功能,或者還可以實(shí)現(xiàn)頭戴式顯示設(shè)備中的存儲(chǔ)器和/或圖像處理器未提及或未能實(shí)現(xiàn)的功能。
另外,當(dāng)系統(tǒng)使用VR一體機(jī)或基于手機(jī)的移動(dòng)式頭顯時(shí),數(shù)據(jù)的接收、圖像解壓及重投影變換可以使用頭顯自帶硬件,無(wú)需額外硬件。使用 PC頭顯時(shí),由于頭顯本身可能沒(méi)有無(wú)線傳輸或圖像處理能力,還可以增加輔助硬件,例如,可以在頭顯上增設(shè)USB接口,用以插入無(wú)線路由器,增加無(wú)線傳輸裝置。
至此,已經(jīng)結(jié)合圖1-3詳細(xì)描述了關(guān)于本實(shí)用新型的虛擬現(xiàn)實(shí)系統(tǒng)及其設(shè)備。
在一個(gè)應(yīng)用實(shí)施例中(如圖1),用戶佩戴圖1所示的頭戴式顯示設(shè)備220,從場(chǎng)景成到顯示的流程可以描述如下:
1.頭戴式顯示設(shè)備220中的傳感器224獲取頭戴式顯示設(shè)備第一時(shí)刻的姿態(tài)數(shù)據(jù),第二無(wú)線傳輸裝置221通過(guò)無(wú)線傳輸發(fā)送第一時(shí)刻的姿態(tài)數(shù)據(jù)到主機(jī)210;
2.主機(jī)210根據(jù)第一無(wú)線傳輸裝置211接收到的頭顯第一時(shí)刻的姿態(tài)數(shù)據(jù)確定對(duì)應(yīng)的視角,并根據(jù)對(duì)應(yīng)的視角渲染對(duì)應(yīng)的場(chǎng)景內(nèi)容,得到第一時(shí)刻的圖像數(shù)據(jù);
3.主機(jī)210壓縮第一時(shí)刻的圖像數(shù)據(jù)并以無(wú)線傳輸方式發(fā)送到頭戴式顯示設(shè)備220;
4.頭戴式顯示設(shè)備220接收第一時(shí)刻的圖像數(shù)據(jù)并進(jìn)行解壓縮;
5.頭戴式顯示設(shè)備220中的傳感器224獲取頭顯第二時(shí)刻(當(dāng)前) 的姿態(tài)數(shù)據(jù),并根據(jù)當(dāng)前姿態(tài)對(duì)第一時(shí)刻的圖像數(shù)據(jù)進(jìn)行重投影(如采用時(shí)間扭曲技術(shù))變換,得到第二時(shí)刻的圖像數(shù)據(jù);
6.頭顯中的顯示器222顯示第二時(shí)刻的圖像數(shù)據(jù)。
如此,用戶沉浸于虛擬現(xiàn)實(shí)場(chǎng)景中,得到最佳的VR體驗(yàn)。
以上已經(jīng)描述了本實(shí)用新型的各實(shí)施例,上述說(shuō)明是示例性的,并非窮盡性的,并且也不限于所披露的各實(shí)施例。在不偏離所說(shuō)明的各實(shí)施例的范圍和精神的情況下,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)許多修改和變更都是顯而易見(jiàn)的。本文中所用術(shù)語(yǔ)的選擇,旨在最好地解釋各實(shí)施例的原理、實(shí)際應(yīng)用或?qū)κ袌?chǎng)中的技術(shù)的改進(jìn),或者使本技術(shù)領(lǐng)域的其它普通技術(shù)人員能理解本文披露的各實(shí)施例。