本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域,尤其涉及一種基于圖片構(gòu)建場(chǎng)景立體全景圖的方法、裝置及VR系統(tǒng)。
背景技術(shù):
VR(Virtual Reality,即虛擬現(xiàn)實(shí),簡(jiǎn)稱VR)內(nèi)容包括VR游戲、VR影院、VR圖庫,甚至是VR操作系統(tǒng)。如今,VR已進(jìn)入軍事、醫(yī)療、教育及娛樂等各個(gè)行業(yè),VR產(chǎn)品也品類眾多。例如:基于臺(tái)式機(jī)的VR一體式頭盔,VR一體機(jī)、VR眼鏡盒等等。只要涉及到VR,就一定會(huì)面臨虛擬場(chǎng)景搭建的問題。
傳統(tǒng)的VR場(chǎng)景的搭建方式有兩種:第一種是通過三維建模來實(shí)現(xiàn);第二種是使用一張全景圖片來代替三維模型。第一種方式搭建的VR場(chǎng)景效果逼真,能夠帶來很好的沉浸感,但是開發(fā)周期較長(zhǎng),開發(fā)成本較大,文件較大,渲染計(jì)算量較大,導(dǎo)致卡頓,提高了系統(tǒng)延遲。第二種方式系統(tǒng)延遲小,開發(fā)成本低,精簡(jiǎn)了文件大小,這種方法雖然可以彌補(bǔ)第一種方法的缺點(diǎn),但是,由一張全景圖片構(gòu)建的場(chǎng)景由于拍攝設(shè)備及合成算法的誤差,導(dǎo)致很嚴(yán)重的畸變現(xiàn)象;由一張全景圖片構(gòu)建的場(chǎng)景是平面的,不會(huì)有逼真的三維效果;將一張圖片拉伸到三維空間內(nèi),清晰度會(huì)降低約4倍,粗糙的畫質(zhì)不能給用戶帶來沉浸感;如果為了提高畫面的質(zhì)量,引入更高清晰度的圖片,那么加載較大的圖片文件會(huì)很容易導(dǎo)致內(nèi)存溢出,使程序停止運(yùn)行。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供一種基于圖片構(gòu)建場(chǎng)景立體全景圖的方法、裝置及VR系統(tǒng),降低了構(gòu)建場(chǎng)景立體全景圖的時(shí)間和成本,占內(nèi)存較少,減小了圖像渲染帶來的功耗,從一定程度上提高了設(shè)備的續(xù)航能力。
本發(fā)明采用以下技術(shù)方案:
第一方面,本發(fā)明提供一種基于圖片構(gòu)建場(chǎng)景立體全景圖的方法,包括:
獲取第一組六幅圖片和第二組六幅圖片,每組六幅圖片均包括空間場(chǎng)景的前、后、左、右、上和下六個(gè)方向的場(chǎng)景圖片,所述第一組六幅圖片和第二組六幅圖片為具有視差的兩組圖片;
根據(jù)所述第一組六幅圖片和第二組六幅圖片分別制作出第一六面體天空盒和第二六面體天空盒;
將所述第一六面體天空盒和第二六面體天空盒分別映射至播放設(shè)備的左右兩側(cè)的顯示裝置,同時(shí)播放所述第一六面體天空盒和第二六面體天空盒。
具體地,所述第一組六幅圖片和第二組六幅圖片均由全景相機(jī)拍攝。
示例性地,所述根據(jù)所述第一組六幅圖片和第二組六幅圖片分別制作出第一六面體天空盒和第二六面體天空盒,包括:
創(chuàng)建第一立方體和第二立方體;
將第一組六幅圖的紋理貼合在所述第一立方體的對(duì)應(yīng)面上,將第二組六幅圖的紋理貼合在所述第二立方體對(duì)應(yīng)的面上;
在所述第一立方體及第二立方體的中心點(diǎn)分別設(shè)置一臺(tái)虛擬攝像機(jī),所述虛擬攝像機(jī)通過頭部跟蹤算法跟蹤人頭部的動(dòng)作。
第二方面,本發(fā)明還提供一種基于圖片構(gòu)建場(chǎng)景立體全景圖的裝置,包括:
獲取單元,用于獲取第一組六幅圖片和第二組六幅圖片,每組六幅圖片均包括空間場(chǎng)景的前、后、左、右、上和下六個(gè)方向的場(chǎng)景圖片,所述第一組六幅圖片和第二組六幅圖片為具有視差的兩組圖片;
制作單元,用于根據(jù)所述第一組六幅圖片和第二組六幅圖片分別制作出第一六面體天空盒和第二六面體天空盒;
映射單元,用于將所述第一六面體天空盒和第二六面體天空盒分別映射在播放設(shè)備的左右兩側(cè)。
具體地,所述第一組六幅圖片和第二組六幅圖片均由全景相機(jī)拍攝。
示例性地,所述制作單元包括:
創(chuàng)建單元,用于創(chuàng)建第一立方體和第二立方體;
紋理貼合單元,用于將第一組六幅圖的紋理貼合在所述第一立方體的對(duì)應(yīng)面上,將第二組六幅圖的紋理貼合在所述第二立方體對(duì)應(yīng)的面上;
跟蹤單元,用于在所述第一立方體及第二立方體的中心點(diǎn)分別設(shè)置一臺(tái)虛擬攝像機(jī),所述虛擬攝像機(jī)通過頭部跟蹤算法跟蹤人頭部的動(dòng)作。
第三方面,本發(fā)明提供一種VR系統(tǒng),包括計(jì)算機(jī)和VR設(shè)備,所述計(jì)算機(jī)配置有上述所述的基于圖片構(gòu)建場(chǎng)景立體全景圖的裝置,所述計(jì)算機(jī)與所述VR設(shè)備連接,
計(jì)算機(jī)將根據(jù)具有視差的第一組六幅圖片和第二組六幅圖片分別制作成第一六面體天空盒和第二六面體天空盒,并將所述第一六面體天空盒和第二六面體天空盒分別映射在VR設(shè)備的左右兩側(cè)的顯示裝置,同時(shí)播放所述第一六面體天空盒和第二六面體天空盒,每組六幅圖片均包括空間場(chǎng)景的前、后、左、右、上和下六個(gè)方向的場(chǎng)景圖片;
VR設(shè)備左右兩側(cè)的顯示裝置同時(shí)顯示計(jì)算機(jī)播放的所述第一六面體天空盒和第二六面體天空盒的內(nèi)容。
本發(fā)明提供的技術(shù)方案帶來如下有益效果:
通過兩組具有視差的六幅圖片制作出具有視差的兩個(gè)六面體天空盒,并分別映射到播放設(shè)備的顯示裝置,搭建了兩個(gè)具有細(xì)微差別的二維空間全景來模擬雙眼看到的影像,用戶可以通過播放設(shè)備看到較好立體效果的全景圖像,大大降低了構(gòu)建場(chǎng)景立體全景圖的時(shí)間和成本,并且大大減小了應(yīng)用的文件大小,減小了圖像渲染帶來的功耗,從一定程度上提高了設(shè)備的續(xù)航能力,并且圖片易于更換,大大提高了應(yīng)用的可擴(kuò)展性,易于運(yùn)營(yíng)維護(hù)。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)本發(fā)明實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單的介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)本發(fā)明實(shí)施例的內(nèi)容和這些附圖獲得其他的附圖。
圖1是本發(fā)明提供的VR頭顯的顯示原理示意圖。
圖2是本發(fā)明提供的基于圖片構(gòu)建場(chǎng)景立體全景圖的方法流程圖。
圖3是本發(fā)明提供的六面體天空盒的全景平面示意圖。
圖4是本發(fā)明提供的制作出第一六面體天空盒和第二六面體天空盒的方法的方法流程圖。
圖5是本發(fā)明提供的基于圖片構(gòu)建場(chǎng)景立體全景圖的裝置的結(jié)構(gòu)方框圖。
圖6是本發(fā)明提供的制作單元的結(jié)構(gòu)方框圖。
圖7是本發(fā)明提供的VR系統(tǒng)的結(jié)構(gòu)方框圖。
具體實(shí)施方式
為使本發(fā)明解決的技術(shù)問題、采用的技術(shù)方案和達(dá)到的技術(shù)效果更加清楚,下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施例的技術(shù)方案作進(jìn)一步的詳細(xì)描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
圖1是本發(fā)明提供的VR頭顯的顯示原理示意圖。參考圖1所示,VR頭顯的顯示原理是通過透鏡折射,使左右眼分別看到對(duì)應(yīng)一側(cè)的畫面,圖像在VR頭顯上的顯示左右分屏。
人眼之所以可以看到立體的場(chǎng)景,實(shí)際上是因?yàn)閮裳壑g有一定的距離,導(dǎo)致雙眼觀看場(chǎng)景的角度有細(xì)微的差別,也就是說雙眼看到的場(chǎng)景不是完全一樣的。
圖2是本發(fā)明提供的基于圖片構(gòu)建場(chǎng)景立體全景圖的方法流程圖。圖3是本發(fā)明提供的六面體天空盒的全景平面示意圖。參考圖2、圖3所示,該基于圖片構(gòu)建場(chǎng)景立體全景圖的方法,包括:
S101、獲取第一組六幅圖片和第二組六幅圖片,每組六幅圖片均包括空間場(chǎng)景的前、后、左、右、上和下六個(gè)方向的場(chǎng)景圖片,所述第一組六幅圖片和第二組六幅圖片為具有視差的兩組圖片。
具體地,所述第一組六幅圖片和第二組六幅圖片均由全景相機(jī)拍攝。采用一架雙鏡頭數(shù)碼相機(jī)每旋轉(zhuǎn)一定角度拍攝一對(duì)景物照片,得到一組具有視差的序列照片對(duì),將每組序列照片采用拼接技術(shù)進(jìn)行拼接制作成前、后、左、右、上和下六個(gè)方向的全景圖片,兩幅全景圖片之間存在視覺差。
還可以根據(jù)旋轉(zhuǎn)拍攝的視頻序列得到第一組六幅圖片和第二組六幅圖片。獲取兩組六面圖片的方法不局限于這里列舉的方法。
S102、根據(jù)所述第一組六幅圖片和第二組六幅圖片分別制作出第一六面體天空盒和第二六面體天空盒。
圖4是本發(fā)明提供的制作出第一六面體天空盒和第二六面體天空盒的方法的方法流程圖。參考圖4所示,步驟S102包括:
S1021、創(chuàng)建第一立方體和第二立方體。
本實(shí)施例中,通過調(diào)用Unity3D的cube控件。Unity3D為互動(dòng)內(nèi)容的綜合型創(chuàng)作工具,現(xiàn)在逐漸得到廣泛應(yīng)用。
S1022、將第一組六幅圖的紋理貼合在所述第一立方體的對(duì)應(yīng)面上,將第二組六幅圖的紋理貼合在所述第二立方體對(duì)應(yīng)的面上。
根據(jù)第一組六幅圖片得到第一組六幅圖的紋理,根據(jù)第二組六幅圖片得到第二組六幅圖的紋理。生成立方體全景圖的模擬算法都是建立在二維紋理數(shù)據(jù)的生成基礎(chǔ)之上的。二維紋理數(shù)據(jù)數(shù)據(jù)的生成這里不再詳述,請(qǐng)參閱相關(guān)文獻(xiàn)。二維紋理技術(shù)生成的立方體全景圖包括6個(gè)正方形圖像,圖像點(diǎn)陣數(shù)據(jù)存儲(chǔ)于6個(gè)二維數(shù)組中。二維紋理數(shù)據(jù)映射生成的模擬全景圖如圖3所示。將圖片紋理的像素點(diǎn)映射到立方體表面,立方體表面的像素點(diǎn)和圖片紋理的像素點(diǎn)之間的映射關(guān)系有多種,有的通過球面作為中介以實(shí)現(xiàn)將圖片紋理映射到立方體表面,本實(shí)施例中,不需要球面作為中介,直接根據(jù)立方體表面的像素點(diǎn)和圖片紋理的像素點(diǎn)之間的變換關(guān)系實(shí)現(xiàn),通過建立世界坐標(biāo)系、圖片坐標(biāo)系和相機(jī)坐標(biāo)系,得到在世界坐標(biāo)系下圖片到立方體表面的映射關(guān)系,該映射關(guān)系為現(xiàn)有技術(shù),詳細(xì)內(nèi)容請(qǐng)參閱相關(guān)文獻(xiàn),這里不再詳述。
S1023、在所述第一立方體及第二立方體的中心點(diǎn)分別設(shè)置一臺(tái)虛擬攝像機(jī),所述虛擬攝像機(jī)通過頭部跟蹤算法跟蹤人頭部的動(dòng)作。
為了能夠交互式地瀏覽全景圖,需要根據(jù)用戶頭部的動(dòng)作顯示出全景圖上所對(duì)應(yīng)的可見部分。虛擬攝像機(jī)可以根據(jù)用戶的頭部姿態(tài)進(jìn)行轉(zhuǎn)動(dòng),通過虛擬攝像機(jī)即可看到完整的空間畫面。通過建立觀察坐標(biāo)系和設(shè)備坐標(biāo)系建立用戶頭部動(dòng)作和虛擬攝像機(jī)角度的變換關(guān)系,則虛擬攝像機(jī)就可以根據(jù)頭部的轉(zhuǎn)動(dòng)進(jìn)行相應(yīng)的動(dòng)作,看到不同的圖像。觀察坐標(biāo)系和設(shè)備坐標(biāo)系的建立可以查閱現(xiàn)有技術(shù),這里不再詳述。
S103、將所述第一六面體天空盒和第二六面體天空盒分別映射至播放設(shè)備的左右兩側(cè)的顯示裝置,同時(shí)播放所述第一六面體天空盒和第二六面體天空盒。
用戶通過播放設(shè)備觀看播放的第一六面體天空盒和第二六面體天空盒的內(nèi)容,由于人的左眼和右眼看到的是具有細(xì)微差別的第一六面體天空盒和第二六面體天空盒的內(nèi)容,完全模擬人眼的視覺原理,即可營(yíng)造出立體的空間場(chǎng)景。
綜上,本發(fā)明實(shí)施例提供的基于圖片構(gòu)建場(chǎng)景立體全景圖的方法通過兩組具有視差的六幅圖片制作出具有視差的兩個(gè)六面體天空盒,并分別映射到播放設(shè)備的顯示裝置,搭建了兩個(gè)具有細(xì)微差別的二維空間全景來模擬雙眼看到的影像,用戶可以通過播放設(shè)備看到較好立體效果的全景圖像,大大降低了構(gòu)建場(chǎng)景立體全景圖的時(shí)間和成本,并且大大減小了應(yīng)用的文件大小,減小了圖像渲染帶來的功耗,從一定程度上提高了設(shè)備的續(xù)航能力,并且圖片易于更換,大大提高了應(yīng)用的可擴(kuò)展性,易于運(yùn)營(yíng)維護(hù)。
圖5是本發(fā)明提供的基于圖片構(gòu)建場(chǎng)景立體全景圖的裝置的結(jié)構(gòu)方框圖。參考圖3所示,該基于圖片構(gòu)建場(chǎng)景立體全景圖的裝置10包括:
獲取單元100,用于獲取第一組六幅圖片和第二組六幅圖片,每組六幅圖片均包括空間場(chǎng)景的前、后、左、右、上和下六個(gè)方向的場(chǎng)景圖片,所述第一組六幅圖片和第二組六幅圖片為具有視差的兩組圖片;
制作單元101,用于根據(jù)所述第一組六幅圖片和第二組六幅圖片分別制作出第一六面體天空盒和第二六面體天空盒;所述第一組六幅圖片和第二組六幅圖片均由全景相機(jī)拍攝。
映射單元102,用于將所述第一六面體天空盒和第二六面體天空盒分別映射在播放設(shè)備的左右兩側(cè)。
本發(fā)明提供的基于圖片構(gòu)建場(chǎng)景立體全景圖的裝置通過兩組具有視差的六幅圖片制作出具有視差的兩個(gè)六面體天空盒,并分別映射到播放設(shè)備的顯示裝置,搭建了兩個(gè)具有細(xì)微差別的二維空間全景來模擬雙眼看到的影像,用戶可以通過播放設(shè)備看到較好立體效果的全景圖像,大大降低了構(gòu)建場(chǎng)景立體全景圖的時(shí)間和成本,并且大大減小了應(yīng)用的文件大小,減小了圖像渲染帶來的功耗,從一定程度上提高了設(shè)備的續(xù)航能力,并且圖片易于更換,大大提高了應(yīng)用的可擴(kuò)展性,易于運(yùn)營(yíng)維護(hù)。
具體地,圖6是本發(fā)明提供的制作單元的結(jié)構(gòu)方框圖。參考圖4所示,所述制作單元101包括:
創(chuàng)建單元1011,用于創(chuàng)建第一立方體和第二立方體;
紋理貼合單元1012,用于將第一組六幅圖的紋理貼合在所述第一立方體的對(duì)應(yīng)面上,將第二組六幅圖的紋理貼合在所述第二立方體對(duì)應(yīng)的面上;
跟蹤單元1013,用于在所述第一立方體及第二立方體的中心點(diǎn)分別設(shè)置一臺(tái)虛擬攝像機(jī),所述虛擬攝像機(jī)通過頭部跟蹤算法跟蹤人頭部的動(dòng)作。
圖7是本發(fā)明提供的VR系統(tǒng)的結(jié)構(gòu)方框圖。參考圖5所示,本發(fā)明還提供一種VR系統(tǒng),包括計(jì)算機(jī)1和VR設(shè)備2,所述計(jì)算機(jī)1配置有上述所述的基于圖片構(gòu)建場(chǎng)景立體全景圖的裝置10,所述計(jì)算機(jī)1與所述VR設(shè)備2連接,
計(jì)算機(jī)1將根據(jù)具有視差的第一組六幅圖片和第二組六幅圖片分別制作成第一六面體天空盒和第二六面體天空盒,并將所述第一六面體天空盒和第二六面體天空盒分別映射在VR設(shè)備的左右兩側(cè)的顯示裝置,同時(shí)播放所述第一六面體天空盒和第二六面體天空盒,每組六幅圖片均包括空間場(chǎng)景的前、后、左、右、上和下六個(gè)方向的場(chǎng)景圖片;
VR設(shè)備2左右兩側(cè)的顯示裝置同時(shí)顯示計(jì)算機(jī)播放的所述第一六面體天空盒和第二六面體天空盒的內(nèi)容。
具體地,所述計(jì)算機(jī)1與所述VR設(shè)備2無線連接,可以通過WIFI連接,或者藍(lán)牙連接。
該VR系統(tǒng)根據(jù)左右眼的視差構(gòu)建出具有視差的兩個(gè)六面體天空盒,并將所述第一六面體天空盒和第二六面體天空盒分別映射在VR設(shè)備的左右兩側(cè)的顯示裝置,同時(shí)播放所述第一六面體天空盒和第二六面體天空盒,用戶通過VR設(shè)備看到的立體場(chǎng)景更加逼真,大大降低了構(gòu)建場(chǎng)景的時(shí)間和成本,并且大大減小了應(yīng)用的文件大小,減小了圖像渲染帶來的功耗,從一定程度上提高了設(shè)備的續(xù)航能力。
以上內(nèi)容僅為本發(fā)明的較佳實(shí)施例,對(duì)于本領(lǐng)域的普通技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。