本發(fā)明涉及虛擬現(xiàn)實(Virtual Reality，簡稱VR)、增強現(xiàn)實(Augmented Reality，簡稱AR)、機器視覺等技術(shù)領(lǐng)域，尤其涉及一種基于姿態(tài)追蹤的顯示方法、裝置和虛擬現(xiàn)實設(shè)備。

背景技術(shù)：

VR技術(shù)是主要通過綜合利用計算機圖形系統(tǒng)和各種現(xiàn)實及控制等接口設(shè)備，在計算機上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術(shù)。

VR設(shè)備需要根據(jù)用戶的姿態(tài)來判斷顯示的內(nèi)容是否符合人類的視覺習(xí)慣，根據(jù)用戶的姿態(tài)來改變顯示內(nèi)容，來帶給用戶沉浸感。目前，簡易的VR設(shè)備通常只能利用姿態(tài)傳感器(陀螺儀、地磁計、加速計等)提供旋轉(zhuǎn)運動信息，更精密的VR/AR設(shè)備通過外設(shè)來輔助提供精確的姿態(tài)跟蹤信息，比如：1、通過外置攝像頭追蹤頭盔表面的紅外傳感器；2、采用激光追蹤定位技術(shù)，通過激光傳感器識別頭盔上的光敏傳感器。

以上兩種技術(shù)各有優(yōu)缺點，其中方法1實現(xiàn)簡單、計算量小，但是受限于外置攝像頭的視場角，容易出現(xiàn)跟蹤丟失。而方法2可實現(xiàn)大范圍的追蹤，精度高，但是外設(shè)復(fù)雜成本高，不便于普及。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的旨在提供一種基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，易于實施且可實現(xiàn)大范圍、高精度的姿態(tài)追蹤，提升VR設(shè)備的顯示效果，有效增進佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗。

第一方面，本發(fā)明實施例提供了一種基于姿態(tài)追蹤的顯示方法，應(yīng)用于VR設(shè)備，所述VR設(shè)備上裝配有雙攝像頭，所述雙攝像頭能夠采集設(shè)備佩戴者正面的真實場景影像，所述方法包括：

獲取所述雙攝像頭采集的真實場景影像信息，所述真實場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化；

根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息；

根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的顯示畫面，并將所述顯示畫面提供給所述設(shè)備佩戴者。

結(jié)合第一方面，在第一方面的第一種實施方式中：

所述VR設(shè)備上還裝配有姿態(tài)傳感器，所述姿態(tài)傳感器用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息；

所述根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息包括：

根據(jù)所述雙攝像頭采集的真實場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第一方面的第一種實施方式，在第一方面的第二種實施方式中：

所述根據(jù)所述雙攝像頭采集的真實場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息包括：

根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的平移運動信息；

根據(jù)所述設(shè)備佩戴者的平移運動信息和所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第一方面的第二種實施方式，在第一方面的第三種實施方式中：

所述根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的平移運動信息包括：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實場景影像中的特征點；

標(biāo)記所述當(dāng)前幀的兩幅真實場景影像中的特征點中的同名點并確定所述同名點的深度信息；

根據(jù)所述當(dāng)前幀的真實場景影像和所述當(dāng)前幀的前一幀的真實場景影像，確定所述同名點在真實場景影像中發(fā)生的相對平移距離；

根據(jù)所述同名點的深度信息和所述同名點的相對平移距離，確定出所述同名點的實際平移距離；

根據(jù)所述同名點的實際平移距離，確定所述設(shè)備佩戴者的實際平移距離。

結(jié)合第一方面的第三種實施方式，在第一方面的第四種實施方式中：

所述根據(jù)所述同名點的實際平移距離，確定所述設(shè)備佩戴者的實際平移距離包括：

對所有所述同名點的實際平移距離進行平均值計算，將計算后得到的結(jié)果確定為所述設(shè)備佩戴者的實際平移距離。

結(jié)合第一方面或第一方面的第一種至第四種實施方式中的任意一種實施方式，在第一方面的第五種實施方式中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括VR場景畫面；

所述獲取所述雙攝像頭采集的真實場景影像信息，具體包括：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實場景影像信息；

在所述獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的顯示畫面后，所述將所述顯示畫面提供給所述設(shè)備佩戴者前，所述方法還包括：根據(jù)所述真實場景影像信息和所述VR場景畫面，生成融合場景畫面；

所述將所述顯示畫面提供給所述設(shè)備佩戴者包括：

將所述融合場景畫面提供給所述設(shè)備佩戴者。

結(jié)合第一方面的第五種實施方式，在第一方面的第六種實施方式中：

根據(jù)所述模擬人眼的雙攝像頭采集的真實場景影像信息，獲取增強現(xiàn)實場景畫面；

接收場景呈現(xiàn)切換指令；

根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強現(xiàn)實場景或VR場景畫面。

結(jié)合第一方面的第六種實施方式，在第一方面的第七種實施方式中：

所述場景呈現(xiàn)切換指令包括：

按鍵切換指令、手勢切換指令或距離感應(yīng)切換指令。

結(jié)合第一方面的第五種實施方式，在第一方面的第八種實施方式中：

所述真實場景影像信息包括左攝像頭拍攝的左圖及右攝像頭拍攝的右圖；

所述VR場景畫面包括虛擬場景的左視圖及右視圖；

所述根據(jù)所述真實場景影像信息和所述VR場景畫面，生成融合場景畫面包括：

將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖；

將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖；

根據(jù)所述融合場景左圖及右圖，生成融合場景。

結(jié)合第一方面的第一種實施方式，在第一方面的第九種實施方式中：

所述姿態(tài)傳感器包括陀螺儀、地磁計、加速計中的至少一種。

第二方面，本發(fā)明實施例提供了一種基于姿態(tài)追蹤的顯示裝置，應(yīng)用于VR設(shè)備，所述VR設(shè)備上裝配有雙攝像頭，所述雙攝像頭能夠采集設(shè)備佩戴者正面的真實場景影像，所述裝置包括：

真實場景影像獲取單元，用于獲取所述雙攝像頭采集的真實場景影像信息，所述真實場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化；

姿態(tài)確定單元，用于根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息；

顯示單元，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的顯示畫面，并將所述顯示畫面提供給所述設(shè)備佩戴者。

結(jié)合第二方面，在第二方面的第一種實施方式中：

所述VR設(shè)備上還裝配有姿態(tài)傳感器，所述姿態(tài)傳感器用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息；

所述姿態(tài)確定單元具體用于：

根據(jù)所述雙攝像頭采集的真實場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第二方面的第一種實施方式，在第二方面的第二種實施方式中：

所述姿態(tài)確定單元包括：

運動信息確定模塊，用于根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的平移運動信息；

姿態(tài)信息確定模塊，用于根據(jù)所述設(shè)備佩戴者的平移運動信息和所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第二方面的第二種實施方式，在第二方面的第三種實施方式中：

所述運動信息確定模塊用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實場景影像中的特征點；

標(biāo)記所述當(dāng)前幀的兩幅真實場景影像中的特征點中的同名點并確定所述同名點的深度信息；

根據(jù)所述當(dāng)前幀的真實場景影像和所述當(dāng)前幀的前一幀的真實場景影像，確定所述同名點在真實場景影像中發(fā)生的相對平移距離；

根據(jù)所述同名點的深度信息和所述同名點的相對平移距離，確定出所述同名點的實際平移距離；

根據(jù)所述同名點的實際平移距離，確定所述設(shè)備佩戴者的實際平移距離。

結(jié)合第二方面或第二方面的第一種到第三種實施方式中的任意一種實施方式，在第二方面的第四種實施方式中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括VR場景畫面；

所述真實場景影像獲取單元，具體用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實場景影像信息；

所述顯示單元包括：

顯示畫面獲取模塊，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的VR場景畫面；

融合模塊，用于根據(jù)所述真實場景影像信息和所述VR場景畫面，生成融合場景畫面；

顯示模塊，用于將所述融合場景畫面提供給所述設(shè)備佩戴者。

結(jié)合第二方面的第四種實施方式，在第二方面的第五種實施方式中：

所述顯示單元還包括：

增強現(xiàn)實畫面獲取模塊，用于根據(jù)所述模擬人眼的雙攝像頭采集的真實場景影像信息，獲取增強現(xiàn)實場景畫面；

切換模塊，用于接收場景呈現(xiàn)切換指令，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強現(xiàn)實場景或VR場景畫面。

結(jié)合第二方面的第四種實施方式，在第二方面的第六種實施方式中：

所述真實場景影像信息包括左攝像頭拍攝的左圖及右攝像頭拍攝的右圖；

所述VR場景畫面包括虛擬場景的左視圖及右視圖；

所述融合模塊用于：

將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖；

將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖；

根據(jù)所述融合場景左圖及右圖，生成融合場景。

第三方面，本發(fā)明實施例提供了一種VR設(shè)備，包括：

雙攝像頭，用于采集設(shè)備佩戴者正面的真實場景影像；

中央處理器，與雙攝像頭相連接，獲取所述雙攝像頭采集的真實場景影像信息，所述真實場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化，根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息，根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的顯示畫面；

顯示器，與所述中央處理器相連接，用于將所述顯示畫面呈現(xiàn)給所述設(shè)備佩戴者。

結(jié)合第三方面，在第三方面的第一種實施方式中：

所述VR設(shè)備還包括姿態(tài)傳感器，與所述中央處理器相連接，用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息；

所述中央處理器用于：

根據(jù)所述雙攝像頭采集的真實場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第三方面的第一種實施方式，在第三方面的第二種實施方式中：

所述中央處理器用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實場景影像中的特征點；

標(biāo)記所述當(dāng)前幀的兩幅真實場景影像中的特征點中的同名點并確定所述同名點的深度信息；

根據(jù)所述當(dāng)前幀的真實場景影像和所述當(dāng)前幀的前一幀的真實場景影像，確定所述同名點在真實場景影像中發(fā)生的相對平移距離；

根據(jù)所述同名點的深度信息和所述同名點的相對平移距離，確定出所述同名點的實際平移距離；

根據(jù)所述同名點的實際平移距離，確定所述設(shè)備佩戴者的實際平移距離。

結(jié)合第三方面，在第三方面的第三種實施方式中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括VR場景畫面；

所述設(shè)備還包括眼球跟蹤設(shè)備，與所述中央處理器相連接，用于進行眼球跟蹤，追蹤人眼的視線變化；

所述中央處理器還用于根據(jù)眼球跟蹤設(shè)備追蹤的人眼的視線變化，調(diào)整所述雙攝像頭方向，以便所述雙攝像頭按照人眼視線方向?qū)崟r采集真實場景影像信息；

所述中央處理器用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實場景影像信息；根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的VR場景畫面，根據(jù)所述真實場景影像信息和所述VR場景畫面，生成融合場景畫面；

所述顯示器，用于將所述融合場景畫面呈現(xiàn)給所述設(shè)備佩戴者。

結(jié)合第三方面的第三種實施方式，在第三方面的第四種實施方式中：

所述設(shè)備還包括切換指令接收裝置，與所述中央處理器相連接，用于接收場景呈現(xiàn)切換指令；

所述中央處理器用于，根據(jù)所述模擬人眼的雙攝像頭采集的真實場景影像信息，獲取增強現(xiàn)實場景畫面，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強現(xiàn)實場景或VR場景畫面。

結(jié)合第三方面的第四種實施方式，在第三方面的第五種實施方式中：

所述切換指令接收裝置包括切換按鍵或者傳感器。

結(jié)合第三方面或第三方面的第一種到第五種實施方式中的任意一種實施方式，在第三方面的第六種實施方式中：

所述VR設(shè)備包括：智能眼鏡或頭盔。

本發(fā)明實施例提供的基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，在VR設(shè)備上裝配能夠采集設(shè)備佩戴者正面的真實場景影像的雙攝像頭，并利用雙攝像頭所采集到的真實場景影像，來確定出設(shè)備佩戴者的當(dāng)前姿態(tài)信息，從而根據(jù)設(shè)備佩戴者的姿態(tài)改變顯示內(nèi)容，方案易于實施，能夠較為準(zhǔn)確的預(yù)測設(shè)備佩戴者的姿態(tài)變化狀況，而且，同時對設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實現(xiàn)大范圍的姿態(tài)追蹤，也不需要更多外部輔助設(shè)備，可以有效提升VR設(shè)備的顯示效果，增進佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗。

附圖說明

圖1是本發(fā)明實施例提供的一種基于姿態(tài)追蹤的顯示方法的流程圖；

圖2是本發(fā)明實施例中具有雙攝像頭的VR設(shè)備示意圖；

圖3是本發(fā)明實施例中姿態(tài)拆解為旋轉(zhuǎn)運動與平移運動的示意圖；

圖4是本發(fā)明實施例提供的一種VR設(shè)備的結(jié)構(gòu)示意圖；

圖5是本發(fā)明實施例提供的一種智能眼鏡的結(jié)構(gòu)示意圖；

圖6是雙目立體視覺成像示意圖；

圖7是本發(fā)明實施例中虛擬現(xiàn)實設(shè)備中裝配的姿態(tài)傳感器頭部位置的跟蹤數(shù)據(jù)的示意圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

本領(lǐng)域技術(shù)人員所公知的，前文背景技術(shù)中也已提及，VR設(shè)備需要根據(jù)設(shè)備佩戴者的姿態(tài)來判斷顯示的內(nèi)容是否符合人類的視覺習(xí)慣，根據(jù)設(shè)備佩戴者的姿態(tài)來改變顯示內(nèi)容，本發(fā)明實施例中，這里的“姿態(tài)”是指設(shè)備佩戴者的頭部的姿態(tài)，VR顯示設(shè)備會通過對頭部姿態(tài)的追蹤，即佩戴者視角的追蹤，適應(yīng)性的轉(zhuǎn)換顯示內(nèi)容，從而給佩戴者一種身臨其境的感覺，即沉浸感。若姿態(tài)追蹤不夠準(zhǔn)確，會導(dǎo)致顯示畫面與用戶的視覺習(xí)慣并不匹配，會給用戶帶來頭暈等不適感。

本發(fā)明實施例旨在提供一種基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，易于實施且可實現(xiàn)大范圍、高精度的姿態(tài)追蹤，提升VR設(shè)備的顯示效果，有效增進佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗。

圖1為本發(fā)明實施例提供的基于姿態(tài)追蹤的顯示方法的一種流程圖，該顯示方法應(yīng)用于VR設(shè)備，該VR設(shè)備可以是VR眼鏡，也可以是VR頭盔等。該VR設(shè)備上需要裝配有雙攝像頭，該雙攝像頭能夠采集設(shè)備佩戴者正面的真實場景影像。所謂真實場景，是指設(shè)備佩戴者所處的真實空間。

該VR設(shè)備可參見圖2的示意性示意圖，可以理解的是，圖2所示的VR設(shè)備僅為例示，不對本發(fā)明產(chǎn)生任何限制。如圖2所示，VR設(shè)備上裝配有雙攝像頭01，該雙攝像頭01設(shè)置在設(shè)備正面殼體02上，從而可以采集設(shè)備佩戴者正面的真實場景影像。圖2所示示例中，雙攝像頭為模擬雙眼設(shè)置，雙攝像頭分別對應(yīng)佩戴者的左右眼設(shè)置，即雙攝像頭鏡頭中心連線與左右眼雙眼連線平行。當(dāng)然本發(fā)明不限于此，雙攝像頭的設(shè)置方位不限，例如傾斜設(shè)置，即，其鏡頭中心連線與左右眼雙眼連線成一定角度。無論與雙眼對應(yīng)設(shè)置還是傾斜設(shè)置，雙攝像頭鏡頭中心間距d可以等于人眼瞳距的距離，也可以是其他合理距離，例如根據(jù)攝像頭鏡頭參數(shù)所確定的中心間距，本發(fā)明對此不做限定。而且，雙攝像頭可設(shè)置為可自動或者手動調(diào)節(jié)的，例如，中心間距可調(diào)，視場角可調(diào)等等。

如圖1所示，本發(fā)明實施例提供的基于姿態(tài)追蹤的顯示方法，包括：

步驟101，獲取裝配在VR設(shè)備上的雙攝像頭采集的真實場景影像信息。

本發(fā)明實施例中，用戶(即設(shè)備佩戴者)在使用VR設(shè)備時，雙攝像頭將實時采集設(shè)備佩戴者正面的真實場景的影像。

顯然，在設(shè)備佩戴者的頭部姿態(tài)發(fā)生變化時，雙攝像頭采集的真實場景影像信息會隨之改變?；诖耍景l(fā)明實施例中，利用雙攝像頭所采集到的真實場景影像信息，基于真實場景影像信息的變化確定出設(shè)備佩戴者頭部姿態(tài)的變化，進而調(diào)整顯示畫面。

步驟102，根據(jù)雙攝像頭采集的真實場景影像信息，確定設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

可以理解的是，針對真實場景空間中的一點，前后不同時刻，若設(shè)備佩戴者的頭部姿態(tài)發(fā)生了改變，那么該點在攝像頭前后不同時刻所采集到的真實場景影像中，會處于不同的位置。本步驟中，即可根據(jù)前后不同時刻所采集的真實場景影像中，確定真實場景空間中的同一點所發(fā)生的相對平移距離，進而根據(jù)該相對平移距離，得到設(shè)備佩戴者頭部的實際平移距離，進而根據(jù)設(shè)備佩戴者的實際平移距離，確定設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

優(yōu)選的，在本發(fā)明的一個實施例中，除雙攝像頭之外，VR設(shè)備上還裝配有姿態(tài)傳感器，例如，陀螺儀、地磁計、加速計中的至少一種，用于感測設(shè)備佩戴者的旋轉(zhuǎn)運動信息。本步驟中，將根據(jù)雙攝像頭采集的真實場景影像信息和姿態(tài)傳感器感測的設(shè)備佩戴者的旋轉(zhuǎn)運動信息，來確定設(shè)備佩戴者的當(dāng)前姿態(tài)信息，亦即，利用雙攝像頭采集的真實場景影像，來確定佩戴者的平移運動信息，利用姿態(tài)傳感器感測，來獲取設(shè)備佩戴者的旋轉(zhuǎn)運動信息，進而，根據(jù)平移運動信息和旋轉(zhuǎn)運動信息，來確定設(shè)備佩戴者當(dāng)前的姿態(tài)。由于既能得到平移運動信息又能得到旋轉(zhuǎn)運動信息，因此，對設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實現(xiàn)大范圍的姿態(tài)追蹤。

具體的，可以首先提取雙攝像頭采集當(dāng)前幀的兩幅真實場景影像中的特征點，將當(dāng)前幀的兩幅真實場景影像中的特征點中的同名點標(biāo)記出來。接下來，確定同名點的深度信息，并且確定同名點前后兩幀真實場景影像中即當(dāng)前幀與當(dāng)前幀的前一幀中所發(fā)生的相對平移距離。然后，根據(jù)同名點的相對平移距離，確定出同名點的實際平移距離；根據(jù)同名點的實際平移距離，確定設(shè)備佩戴者頭部的實際平移距離，具體可對所有同名點的實際平移距離進行平均值計算，將計算后得到的結(jié)果確定為設(shè)備佩戴者頭部的實際平移距離。

其中，同名點是指空間中一個點經(jīng)過多個攝像頭camera采集時，投影在camera成像傳感器上不同的位置形成的像點，表現(xiàn)形式為同一個點在多個視角的采集畫面上有不同的坐標(biāo)。由于本發(fā)明實施例中使用雙攝像頭采集當(dāng)前真實場景影像，因此，可利用現(xiàn)有技術(shù)中公知的雙目視覺系統(tǒng)的理論，例如使用SIFT算法，提取出雙攝像頭拍攝的兩幅影像中的特征點，利用最小均方差ZSSD算法，標(biāo)記出特征點中的同名點，即標(biāo)記出雙攝像頭拍攝的兩幅影像中的匹配點集對(兩幅影像中的同名點)，進而可利用攝像頭的已知鏡頭參數(shù)，例如焦距等，可得到同名點的深度信息，最后根據(jù)深度和相對平移距離這兩個信息得到設(shè)備佩戴者實際平移距離。

需要說明的是，本發(fā)明實施例中，所得到的相對平移距離和實際平移距離，可包括X、Y、Z三個方向中至少一個方向上的平移距離。

舉例說明，參見圖6的雙目立體視覺成像示意圖，左攝像頭C_l和右攝像頭C_r之間的距離為T,焦距為f，空間中一點P，點P在左攝像頭C_l拍攝的圖像中，水平坐標(biāo)為X_l，右攝像頭拍攝的圖像中，水平坐標(biāo)為X_r，則X_l和X_r，則利用雙目立體視覺成像理論，P點的深度Z可通過如下公式進行運算：

上述方式僅為示例，可以理解的是，雙目視覺系統(tǒng)理論為本領(lǐng)域的公知常識，因此，本發(fā)明實施例中對于如何得到深度不做進一步詳細描述。

步驟103，根據(jù)當(dāng)前姿態(tài)信息，獲取與設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的顯示畫面，并將顯示畫面提供給設(shè)備佩戴者。

其中，顯示畫面通常為VR場景畫面。針對于VR場景畫面的顯示，均是根據(jù)當(dāng)前姿態(tài)信息，即變換左右虛擬攝像機的相關(guān)顯示參數(shù)，變換左右虛擬攝像機的拍攝方位，從而在進行畫面顯示時，使得所顯示的畫面與設(shè)備佩戴者的姿態(tài)相對應(yīng)，增加沉浸感?？梢岳斫獾氖牵鶕?jù)設(shè)備佩戴者當(dāng)前姿態(tài)來進行顯示，是現(xiàn)有技術(shù)中較為成熟的技術(shù)方案，這里不再進行贅述。

舉例說明，可以預(yù)先將雙攝像頭的拍攝空間范圍與顯示畫面的空間范圍進行對應(yīng)，則利用雙攝像頭拍攝的畫面所確定的實際平移距離，即可獲得在顯示畫面空間所對應(yīng)的平移距離，進而根據(jù)顯示畫面空間的平移距離來調(diào)節(jié)虛擬攝像機的位置，從而改變顯示畫面。

本發(fā)明實施例提供的基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，在VR設(shè)備上裝配能夠采集設(shè)備佩戴者正面的真實場景影像的雙攝像頭，并利用雙攝像頭所采集到的真實場景影像，來確定出設(shè)備佩戴者的當(dāng)前姿態(tài)信息，從而根據(jù)設(shè)備佩戴者的姿態(tài)改變顯示內(nèi)容，方案易于實施，能夠較為準(zhǔn)確的預(yù)測設(shè)備佩戴者的姿態(tài)變化狀況，而且，同時對設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實現(xiàn)大范圍的姿態(tài)追蹤，也不需要更多外部輔助設(shè)備，可以有效提升VR設(shè)備的顯示效果，增進佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗。

增強現(xiàn)實AR技術(shù)是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術(shù)，是把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實世界，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。增強現(xiàn)實技術(shù)，不僅展現(xiàn)了真實世界的信息,而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加。在視覺化的增強現(xiàn)實中，用戶利用頭盔顯示器，把真實世界與電腦圖形多重合成在一起，便可以看到真實的世界圍繞著它。

現(xiàn)有技術(shù)中的一些頭盔顯示器，比如，類似Oculus的產(chǎn)品，能夠讓用戶體驗VR效果，像google眼鏡類似的產(chǎn)品能夠讓用戶體驗AR效果。但是，現(xiàn)有的VR設(shè)備能夠觀看虛擬的場景、人物等，但這些虛擬的場景人物都是預(yù)先設(shè)計好的，或者是按照特定算法渲染而成的，并沒有結(jié)合用戶使用VR頭盔時的場景，缺少與現(xiàn)實環(huán)境的互動。而現(xiàn)有的AR眼鏡能夠看到用戶眼前的真實環(huán)境，并能夠分析圖像，給出一些提示信息，但不能體驗逼真的虛擬場景帶來的愉悅，也即AR很難做好虛擬真實的結(jié)合。

因此，作為一種改進，在本發(fā)明的一個實施例中，VR設(shè)備所配置的雙攝像頭以模擬人眼的方式設(shè)置，即雙攝像頭包括模擬人眼的左攝像頭和右攝像頭，該雙攝像頭可以追蹤人眼的視線變化，按照人眼的視線方向采集真實場景影像，即復(fù)現(xiàn)人眼的觀看效果，達到左右攝像頭所采集到真實場景影像即是設(shè)備佩戴者當(dāng)前若未佩戴VR設(shè)備所看到的真實場景畫面的效果。這種情況下，在步驟101中，獲取的是模擬人眼的雙攝像頭按照設(shè)備佩戴者的視線方向采集的真實場景影像信息。在步驟103中，獲取了與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的VR場景畫面后，根據(jù)雙攝像頭采集的真實場景影像信息和獲取的VR場景畫面，生成融合場景畫面，并將融合場景畫面提供給所述設(shè)備佩戴者，從而實現(xiàn)了在VR過程中能夠結(jié)合真實場景，實現(xiàn)VR與增強現(xiàn)實融合的效果，并能夠增進人機交互、提升用戶體驗。而且，由于真實場景和虛擬內(nèi)容的良好融合，用戶能夠體驗更加逼真的虛擬與現(xiàn)實的結(jié)合，很好的解決了AR很難做好虛擬真實的結(jié)合問題，以及VR設(shè)備不兼容AR應(yīng)用的問題。

具體的，為了獲取人眼的視線變化，可以在VR設(shè)備內(nèi)部安裝眼部視線追蹤模塊，以追蹤視線變化。具體的，可以利用現(xiàn)有技術(shù)中的眼球跟蹤技術(shù)，例如根據(jù)眼球和眼球周邊的特征變化進行跟蹤、根據(jù)虹膜角度變化進行跟蹤、主動投射紅外線等光束到虹膜來提取特征進行跟蹤來確定人眼的視線變化等。當(dāng)然，本發(fā)明實施例不限于此，在本發(fā)明的技術(shù)構(gòu)思下，本領(lǐng)域技術(shù)人員可以利用任意可行的技術(shù)追蹤人眼的視線變化進而調(diào)整模擬人眼的左右眼攝像頭的采集方向，實時采集真實場景信息。

具體的，真實場景影像信息包括雙攝像頭中左攝像頭拍攝的左圖及右攝像頭拍攝的右圖，而VR場景畫面包括虛擬場景的左視圖及右視圖。則可將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖，將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖，根據(jù)所述融合場景左圖及右圖，生成融合場景。

進一步的，在本實施例中，除了實現(xiàn)真實場景信息與虛擬場景信息融合，生成融合場景外，還可以根據(jù)模擬人眼的雙攝像頭采集的真實場景影像信息，獲取增強現(xiàn)實場景畫面。VR設(shè)備可通過場景呈現(xiàn)切換指令實現(xiàn)融合場景畫面、增強現(xiàn)實場景畫面或虛擬現(xiàn)實場景畫面三者之間的切換，從而使得VR設(shè)備兼具AR功能、VR功能以及融合AR及VR功能。具體的切換指令可以包括：按鍵切換指令、手勢切換指令或距離感應(yīng)切換指令。這里需要說明的是，本發(fā)明實施例中，增強現(xiàn)實場景是指利用增強現(xiàn)實技術(shù)將真實場景信息進行呈現(xiàn)的場景，虛擬現(xiàn)實場景是指利用虛擬現(xiàn)實技術(shù)將虛擬現(xiàn)實場景信息進行呈現(xiàn)的場景。

在本發(fā)明實施例中，VR、AR、VR和AR兼容三種模式可以根據(jù)需求進行切換。切換時最直接的方法是通過VR設(shè)備外部的按鈕進行切換，即在頭盔的某個位置設(shè)置按鈕，在設(shè)備佩戴者點擊按鈕時，進行模式的切換。可以利用多個按鈕，也可以利用一個按鈕。利用一個按鈕進行模式切換時，例如，如果當(dāng)前是VR模式，按一下按鈕則切換到AR模式；如果當(dāng)前是AR模式，按一下按鈕則切換到VR和AR兼容模式；如果當(dāng)前是VR和AR兼容模式，按一下按鈕則切換到VR模式。

此外，也可以使用手勢識別的方法進行模式切換。而在配置了相應(yīng)的功能模塊后，語言、肢體動作都可以進行模式之間的切換。

此外，可以在某種條件下觸發(fā)模式切換，例如根據(jù)距離感應(yīng)進行模式切換，假設(shè)用戶在VR模式下佩戴VR設(shè)備行走時，前方一定距離內(nèi)存在障礙物時，即感應(yīng)到與障礙物之間的距離小于預(yù)設(shè)閾值，亦即相當(dāng)于接收到距離感應(yīng)切換指令，可以進行模式轉(zhuǎn)換，將VR模式切換到VR和AR兼容模式，或者AR模式。

在本發(fā)明實施例中，還可以通過切換指令分別實現(xiàn)AR及VR應(yīng)用，當(dāng)該設(shè)備開啟VR模式后，該設(shè)備就像普通VR設(shè)備一樣，可以觀看虛擬的場景及模型，并可以通過頭部運動和雙攝像頭進行交互控制，即隨姿態(tài)改變虛擬現(xiàn)實場景畫面。當(dāng)該設(shè)備開啟AR模式后，該設(shè)備則利用模擬雙眼的雙攝像頭，實時顯示圖像給用戶，同時對攝像頭提供的圖像進行目標(biāo)檢測，檢測得到目標(biāo)的相關(guān)信息，例如類別、介紹等等，之后將該目標(biāo)對應(yīng)的相關(guān)信息顯示出來。

為進一步理解本發(fā)明方法實施例，下面結(jié)合具體的實施例，對本發(fā)明方法作進一步闡述。

本實施例中，VR設(shè)備配置有雙目攝像頭Camera和姿態(tài)傳感器，姿態(tài)傳感器可以為陀螺儀、地磁計、加速計中的至少一種。

特別指出，可以理解的是，基于設(shè)備佩戴者實際使用中的狀況可知，不僅僅包括佩戴者頭部繞頸部旋轉(zhuǎn)的運動，還包括全身姿態(tài)的變化形成的頭部平移運動，設(shè)備佩戴者頭部的姿態(tài)的變化是平移運動與旋轉(zhuǎn)運動的結(jié)合。參見圖3所示的姿態(tài)變化示意圖，從圖中可以看出，任意一個姿態(tài)可以拆解為一個旋轉(zhuǎn)運動和一個平移運動。向量v1表示的姿態(tài)變?yōu)関2表示的姿態(tài)過程中，既有旋轉(zhuǎn)運動也有平移運動，可以理解為先向v1’做旋轉(zhuǎn)運動，再由v1’做平移運動到v2。

因此，本實施例的關(guān)鍵點在于通過雙目攝像頭camera獲得平移運動信息，然后與姿態(tài)傳感器記錄的旋轉(zhuǎn)運動結(jié)合進行姿態(tài)追蹤，計算出姿態(tài)信息。

具體的，本實施例基于姿態(tài)追蹤的顯示方法，過程如下：

根據(jù)圖2，首先從雙目camera獲取當(dāng)前真實場景信息，對每個camera的畫面進行特征點提取，然后兩個camera的畫面進行特征點匹配，將兩個camera畫面特征點集合中的同名點標(biāo)記出來。由于已知camera的鏡頭參數(shù)比如：FOV，因此可以計算出這些同名點到camera的實際距離，即這些同名點的深度。

具體的，如果此時是起始時刻，假設(shè)此時獲取的雙目camera畫面是F0，此時規(guī)定此刻的平移運動不存在，只根據(jù)姿態(tài)傳感器輸出的方位角判斷應(yīng)該生成的圖像內(nèi)容呈現(xiàn)給VR設(shè)備佩戴者。

如果此時不是起始時刻，那么假設(shè)此時獲取的雙目camera畫面是Fn。同樣的，先對Fn的雙目camera畫面進行特征點提取，然后進行特征點的雙目匹配，將兩個camera畫面特征點集合中的同名點標(biāo)記出來。由于已知camera的鏡頭參數(shù)比如：FOV，因此可以計算出這些同名點到camera的實際距離，即同名點的深度。然后再將Fn中雙目camera的畫面分別與Fn-1幀的雙目camera畫面進行匹配，即Fn中左camera的畫面與Fn-1中左camera的畫面進行匹配，F(xiàn)n中右camera的畫面與Fn-1中右camera的畫面進行匹配，計算出兩幀畫面采集時間段內(nèi)同名點發(fā)生的相對平移距離，利用相對平移距離再結(jié)合已經(jīng)獲取的同名點到camera的實際距離(即深度)，可以計算出同名點實際的平移距離，即，佩戴者頭部的實際平移距離。接下來把同名點集合中的所有同名點均進行以上操作，得到每個點的平移距離后取均值作為最終的實際平移距離。利用實際平移距離與姿態(tài)傳感器提供的方位角描述的旋轉(zhuǎn)運動進行運動合成得到姿態(tài)的當(dāng)前狀態(tài)。最后根據(jù)姿態(tài)的當(dāng)前狀態(tài)計算應(yīng)該生成的顯示圖像輸出給VR設(shè)備佩戴者。

其中，針對于相對平移距離和實際平移距離的運算，舉例說明如下：

以水平方向為X方向，豎直方向為Y方向，垂直于X和Y方向的攝像頭朝向方向為Z方向建立坐標(biāo)系，攝像頭初始位置為坐標(biāo)原點(0，0，0)，空間上一點A的坐標(biāo)為(x，y，z)，可以理解的是，A點到攝像頭的距離為z，即A點的深度為z。

假設(shè)攝像頭的焦距為f，則投影平面為z＝f，則攝像頭在初始位置時，A點在投影平面上的投影點A1的坐標(biāo)，即攝像頭所拍攝到的真實影像上A點的坐標(biāo)為：

當(dāng)設(shè)備佩戴者的頭部發(fā)生移動，相應(yīng)地攝像頭發(fā)生移動，為說明且理解目的，假設(shè)攝像頭僅在水平方向移動，且移動的距離、即實際移動距離為D，此時，攝像頭的坐標(biāo)改變?yōu)?D，0，0)。此時，A點在投影平面上的投影點A2的坐標(biāo)，即設(shè)備佩戴者的頭部發(fā)生移動后，攝像頭所拍攝到的真實影像上A點的坐標(biāo)為：

兩張圖像上，A點所發(fā)生的相對平移距離d為：

根據(jù)雙攝像頭拍攝的左右圖像，利用雙目視覺理論，能夠獲取到A點的深度z，而根據(jù)同一攝像頭所拍攝的前后兩幀圖像，經(jīng)過圖像掃描匹配，能夠查找到前后兩幀圖像的A點，進而可以得到A點的相對平移距離d，而攝像頭的焦距已知，則根據(jù)上述公式(1)，即可得到攝像頭的實際平移距離。

此外，目前市面上已面世深度攝像頭，深度攝像頭可以直接給出A點的深度，因此，若雙攝像頭采用深度攝像頭，則可直接獲取到該深度，無需進一步的運算。

顯然，可以理解的是，上述實際平移距離的確定方式僅為示例，起到說明和加強理解作用，但本發(fā)明不限于此，在本發(fā)明所公開的設(shè)計構(gòu)思下，本領(lǐng)域技術(shù)人員可以選擇任意合理可行的確定方式。而且，上述示例中，為便于理解和說明，假設(shè)攝像頭僅在水平方向平移移動。但本發(fā)明不限于此，攝像頭平移運動方向不限，可將攝像頭平移運動分解為X、Y、Z三個方向上的運動，并按照現(xiàn)有技術(shù)中的合理可行的方式，分別得到三個方向上的平移距離。

在得到攝像頭的實際平移距離后，本實施例中，將利用實際平移距離與姿態(tài)傳感器提供的方位角描述的旋轉(zhuǎn)運動進行運動合成得到姿態(tài)的當(dāng)前狀態(tài)，最后根據(jù)姿態(tài)的當(dāng)前狀態(tài)計算應(yīng)該生成的顯示圖像輸出給VR設(shè)備佩戴者。從原理上來講，該過程實際上可以理解為根據(jù)姿態(tài)的當(dāng)前狀態(tài)改變用于進行畫面顯示的虛擬攝像機的拍攝位置和角度，從而使得顯示的畫面與設(shè)備佩戴者當(dāng)前的姿態(tài)即當(dāng)前的觀察視角相對應(yīng)。

具體的，參見圖7，用戶頭部佩戴有虛擬現(xiàn)實設(shè)備，虛擬現(xiàn)實設(shè)備所裝配的姿態(tài)傳感器所獲取到的實時跟蹤數(shù)據(jù)，即旋轉(zhuǎn)運動信息可包括：設(shè)備佩戴者頭部在三維空間中的實時轉(zhuǎn)動角度(Pitch,Yaw,Roll)，其中，Pitch：用戶頭部相對于x軸的轉(zhuǎn)動角度；Yaw：用戶頭部相對于y軸的轉(zhuǎn)動角度；Roll：用戶頭部相對于z軸的轉(zhuǎn)動角度。

在根據(jù)姿態(tài)進行顯示時，可根據(jù)頭部旋轉(zhuǎn)運動的跟蹤數(shù)據(jù)Pitch,Yaw,Roll，則可以得到設(shè)備佩戴者頭部分別關(guān)于x,y,z軸的旋轉(zhuǎn)矩陣：

進而，則可以得到設(shè)備佩戴者頭部分別關(guān)于x,軸y軸和z軸的旋轉(zhuǎn)矩陣

V_Rotation＝Rotation_Pitch*Rotation_Yaw*Rotation_Roll

在很多場景(例如第一人稱射擊游戲)中，可僅關(guān)注頭部關(guān)于x軸和y軸的旋轉(zhuǎn)變換，只需要令關(guān)于z軸旋轉(zhuǎn)矩陣為單位矩陣：

Rotation_Roll＝E

根據(jù)利用雙攝像頭拍攝的真實場景圖像所確定的實際平移距離，假設(shè)該實際平移距離包括X、Y、Z軸三個方向上的平移距離，分別為：X_offset、Y_offset、Z_offset，則可以得到設(shè)備佩戴者頭部分別關(guān)于x,y,z軸的平移矩陣：

根據(jù)旋轉(zhuǎn)矩陣和平移矩陣，對原觀察矩陣V進行變換，則變換后的觀察矩陣V′:

V′＝V_Rotation*V_position*V

進而，即可利用根據(jù)新的觀察矩陣V′，構(gòu)建并顯示虛擬現(xiàn)實場景或者融合場景的圖像，從而使該圖像與設(shè)備佩戴者頭部位置變化后的觀察視角同步。

與前述方法相對應(yīng)，本發(fā)明實施例還提供一種基于姿態(tài)追蹤的顯示裝置，應(yīng)用于VR設(shè)備，該VR設(shè)備上設(shè)置有能夠采集設(shè)備佩戴者正面的真實場景影像的雙攝像頭，該裝置包括：

真實場景影像獲取單元，用于獲取所述雙攝像頭采集的真實場景影像信息，所述真實場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化；

姿態(tài)確定單元，用于根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息；

顯示單元，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的顯示畫面，并將所述顯示畫面提供給所述設(shè)備佩戴者。

本發(fā)明實施例提供的基于姿態(tài)追蹤的裝置，VR設(shè)備上裝配能夠采集設(shè)備佩戴者正面的真實場景影像的雙攝像頭，并利用雙攝像頭所采集到的真實場景影像，來確定出設(shè)備佩戴者的當(dāng)前姿態(tài)信息，從而根據(jù)設(shè)備佩戴者的姿態(tài)改變顯示內(nèi)容，方案易于實施，能夠較為準(zhǔn)確的預(yù)測設(shè)備佩戴者的姿態(tài)變化狀況，而且，同時對設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實現(xiàn)大范圍的姿態(tài)追蹤，也不需要更多外部輔助設(shè)備，可以有效提升VR設(shè)備的顯示效果，增進佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗。

可選的，在本發(fā)明的一個實施例中：

VR設(shè)備上還裝配有姿態(tài)傳感器，所述姿態(tài)傳感器用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息；

姿態(tài)確定單元具體用于：

根據(jù)所述雙攝像頭采集的真實場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

進一步具體的，在本發(fā)明的一個實施例中：

姿態(tài)確定單元包括：

運動信息確定模塊，用于根據(jù)所述雙攝像頭采集的真實場景影像信息，確定所述設(shè)備佩戴者的平移運動信息；

姿態(tài)信息確定模塊，用于根據(jù)所述設(shè)備佩戴者的平移運動信息和所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

其中，可選的，運動信息確定模塊用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實場景影像中的特征點；

標(biāo)記所述當(dāng)前幀的兩幅真實場景影像中的特征點中的同名點并確定所述同名點的深度信息；

根據(jù)所述當(dāng)前幀的真實場景影像和所述當(dāng)前幀的前一幀的真實場景影像，確定所述同名點在真實場景影像中發(fā)生的相對平移距離；

根據(jù)所述同名點的深度信息和所述同名點的相對平移距離，確定出所述同名點的實際平移距離；

根據(jù)所述同名點的實際平移距離，確定所述設(shè)備佩戴者的實際平移距離。

具體的，在本發(fā)明的一個實施例中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括虛擬現(xiàn)實場景畫面；

真實場景影像獲取，具體用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實場景影像信息；

顯示單元包括：

顯示畫面獲取模塊，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的虛擬現(xiàn)實場景畫面；

融合模塊，用于根據(jù)所述真實場景影像信息和所述虛擬現(xiàn)實場景畫面，生成融合場景畫面；

顯示模塊，用于將所述融合場景畫面提供給所述設(shè)備佩戴者。

所述顯示單元還包括：

增強現(xiàn)實畫面獲取模塊，用于根據(jù)所述模擬人眼的雙攝像頭采集的真實場景影像信息，獲取增強現(xiàn)實場景畫面；

切換模塊，用于接收場景呈現(xiàn)切換指令，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強現(xiàn)實場景或虛擬現(xiàn)實場景畫面。

進一步具體的，在本發(fā)明的一個實施例中：

所述真實場景影像信息包括左攝像頭拍攝的左圖及右攝像頭拍攝的右圖；

所述虛擬現(xiàn)實場景畫面包括虛擬場景的左視圖及右視圖；

所述融合模塊用于：

將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖；

將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖；

根據(jù)所述融合場景左圖及右圖，生成融合場景。

結(jié)合圖4和圖5所示，本發(fā)明實施例還提供一種VR設(shè)備，其包括：

雙攝像頭51，用于采集設(shè)備佩戴者正面的真實場景影像；

中央處理器52，與雙攝像頭51相連接，獲取雙攝像頭51采集的真實場景影像信息，所述真實場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化，根據(jù)雙攝像頭51采集的真實場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息，根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的顯示畫面；

顯示器53，與中央處理器52相連接，用于將所述顯示畫面呈現(xiàn)給所述設(shè)備佩戴者。

進一步的，在本發(fā)明的一個實施例中，VR設(shè)備還包括姿態(tài)傳感器(圖5未示出)，與中央處理器52相連接，用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息；

中央處理器52用于：

根據(jù)所述雙攝像頭采集的真實場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運動信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

具體的，中央處理器52用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實場景影像中的特征點；

標(biāo)記所述當(dāng)前幀的兩幅真實場景影像中的特征點中的同名點并確定所述同名點的深度信息；

根據(jù)所述當(dāng)前幀的真實場景影像和所述當(dāng)前幀的前一幀的真實場景影像，確定所述同名點在真實場景影像中發(fā)生的相對平移距離；

根據(jù)所述同名點的深度信息和所述同名點的相對平移距離，確定出所述同名點的實際平移距離；

根據(jù)所述同名點的實際平移距離，確定所述設(shè)備佩戴者的實際平移距離。

可選的，在本發(fā)明的一個實施例中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括虛擬現(xiàn)實場景畫面；

所述設(shè)備還包括眼球跟蹤設(shè)備(圖4中未示出)，與所述中央處理器52相連接，用于進行眼球跟蹤，追蹤人眼的視線變化；

中央處理器52還用于根據(jù)眼球跟蹤設(shè)備追蹤的人眼的視線變化，調(diào)整所述雙攝像頭方向，以便所述雙攝像頭按照人眼視線方向?qū)崟r采集真實場景影像信息；

中央處理器52用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實場景影像信息；根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對應(yīng)的虛擬現(xiàn)實場景畫面，根據(jù)所述真實場景影像信息和所述虛擬現(xiàn)實場景畫面，生成融合場景畫面；

顯示器53，用于將所述融合場景畫面呈現(xiàn)給所述設(shè)備佩戴者。

可選的，在本發(fā)明的一個實施例中：

所述VR設(shè)備還包括切換指令接收裝置(圖4中未示出)，與所述中央處理器相連接，用于接收場景呈現(xiàn)切換指令；

中央處理器52用于，根據(jù)所述模擬人眼的雙攝像頭采集的真實場景影像信息，獲取增強現(xiàn)實場景畫面，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強現(xiàn)實場景或虛擬現(xiàn)實場景畫面。

舉例而言，所述切換指令接收裝置包括切換按鍵或者傳感器。

所述VR設(shè)備可包括：智能眼鏡或頭盔等具有VR功能的電子設(shè)備

圖5為本發(fā)明實施例提供的一種VR設(shè)備----智能眼鏡的外觀示意圖，可以理解的是，該智能眼鏡僅為例示，不對本發(fā)明產(chǎn)生任何限制。如圖5所示，該眼鏡包括眼鏡本體60，眼鏡本體的前表面設(shè)置有用于模擬人眼的右眼攝像頭61和左眼攝像頭62，用于模擬用戶雙眼采集真實場景信息，中央處理器(未示出)和顯示器(未示出)設(shè)置在眼鏡本體60的內(nèi)部，該眼鏡還設(shè)置有物理按鍵63，用于開關(guān)眼鏡，還可用于用戶下發(fā)各種指令，例如用戶可以通過操作物理按鍵63下發(fā)場景呈現(xiàn)切換指令，使得智能眼鏡在VR顯示模式、融合顯示模式和AR顯示模式等模式中切換。該眼鏡還包括綁帶64，在用戶佩戴眼鏡時套設(shè)在用戶頭部，起到固定眼鏡的作用。

在本發(fā)明實施例中，中央處理器為該用戶終端的控制中心，利用各種接口和線路連接整個電子設(shè)備的各個部分，通過運行或執(zhí)行存儲在存儲單元內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在存儲單元內(nèi)的數(shù)據(jù)，以執(zhí)行電子設(shè)備的各種功能和/或處理數(shù)據(jù)。所述中央處理器可以由集成電路組成，也可以由連接多顆相同功能或不同功能的封表集成芯片而組成。即處理器可以是GPU、數(shù)字信號處理器、及通信單元中的控制芯片的組合。

本領(lǐng)域技術(shù)人員應(yīng)該還可以進一步意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結(jié)合來實現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認為超出本發(fā)明的范圍。所述的計算機軟件可存儲于計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體或隨機存儲記憶體等。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。