本發(fā)明涉及虛擬現(xiàn)實，尤其涉及一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)及車輛。

背景技術(shù)：

1、視野受限或密封環(huán)境下的車輛或其他交通工具乘員不但需要觀察車內(nèi)情況，也需要觀察車外態(tài)勢，以便于向車組人員提示車外情況或下車后迅速投入工作。

2、現(xiàn)有系統(tǒng)主要采用帶云臺的攝像頭配合車內(nèi)顯示系統(tǒng)組成，需要采用控制裝置轉(zhuǎn)動云臺來調(diào)整視角，當使用者較多時只能按照次序一一進行操作，并且將攝像頭采集到的全景視頻流通過車內(nèi)顯示器后呈現(xiàn)后與人眼感知差異較大，觀看者難以產(chǎn)生現(xiàn)場感。所以，現(xiàn)有的車內(nèi)全景監(jiān)控顯示方案的現(xiàn)場感和現(xiàn)勢性均較為低下。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)及車輛，用以解決現(xiàn)有技術(shù)中車內(nèi)全景監(jiān)控顯示方案的現(xiàn)場感和現(xiàn)勢性均較為低下的缺陷。

2、本發(fā)明提供一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，包括在車輛本體上設(shè)置的云臺攝像機和車載處理器，以及與所述車載處理器通信連接的多個虛擬現(xiàn)實裝置；

3、所述云臺攝像機，用于周視掃描周視掃描所述車輛本體的外部場景，并將所采集的原始圖像序列傳輸至所述車載處理器；

4、所述車載處理器，用于將利用所述原始圖像序列進行三維場景重建所得到的第一全景視頻幀同步至每一所述虛擬現(xiàn)實裝置；

5、所述虛擬現(xiàn)實裝置，用于將所述第一全景視頻幀調(diào)整為與所述虛擬現(xiàn)實裝置的使用者在所述車輛本體內(nèi)的固定視場相對應的第二全景視頻幀，并對所述第二全景視頻幀進行近眼顯示；

6、其中，所述固定視場是對準所述第一全景視頻幀與極坐標系后確定的，所述極坐標系是以所述車輛的車頭為0度的方向構(gòu)建的。

7、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述虛擬現(xiàn)實裝置上布設(shè)有慣性導航裝置，所述慣性導航裝置與所述極坐標系對準；

8、所述虛擬現(xiàn)實裝置，還用于根據(jù)所述慣性導航裝置采集頭部姿態(tài)信息，根據(jù)所述頭部姿態(tài)信息，調(diào)整所述第二全景視頻幀為第三全景視頻幀，并對所述第三全景視頻幀進行近眼顯示。

9、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述對所述第三全景視頻幀進行近眼顯示，包括：

10、根據(jù)所述頭部姿態(tài)信息，確定第一視角范圍和第二視角范圍；

11、利用所述第一視角范圍從所述第三全景視頻幀截取出第一子視頻幀，利用所述第二視角范圍從所述第三全景視頻幀截取出第二子視頻幀，在所述虛擬現(xiàn)實裝置的左圖場和右圖場中進行交替顯示所述第一子視頻幀以及所述第二子視頻幀；

12、其中，所述第一視角范圍是根據(jù)所述虛擬現(xiàn)實裝置的使用者在當前頭部姿態(tài)下的左眼視場確定的；所述第二視角范圍是根據(jù)所述虛擬現(xiàn)實裝置的使用者在當前頭部姿態(tài)下的右眼視場確定的。

13、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述虛擬現(xiàn)實裝置中布設(shè)有眼動儀；

14、所述虛擬現(xiàn)實裝置，還用于根據(jù)所述眼動儀采集眼動信息，根據(jù)所述眼動信息，調(diào)整所述第二全景視頻幀為第四全景視頻幀，并對所述第四全景視頻幀進行近眼顯示。

15、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述對所述第四全景視頻幀進行近眼顯示，包括：

16、根據(jù)所述眼動信息，確定第三視角范圍和第四視角范圍；

17、利用所述第三視角范圍從所述第三全景視頻幀截取出第三子視頻幀，利用所述第四視角范圍從所述第三全景視頻幀截取出第四子視頻幀，在所述虛擬現(xiàn)實裝置的左圖場和右圖場中進行交替顯示所述第三子視頻幀以及所述第四子視頻幀；

18、其中，所述第三視角范圍是根據(jù)所述虛擬現(xiàn)實裝置的使用者在當前眼球位置下的左眼視場確定的；所述第四視角范圍是根據(jù)所述虛擬現(xiàn)實裝置的使用者在當前眼球位置下的右眼視場確定的。

19、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述車載處理器利用所述原始圖像序列進行三維場景重建所得到的第一全景視頻幀時執(zhí)行如下步驟：

20、基于所述原始圖像序列中第一原始圖像幀和第二原始圖像幀之間的視場重疊區(qū)域，獲取配準像素對；

21、利用所述配準像素對，對所述第一原始圖像幀和所述第二原始圖像幀進行逐幀融合，直至所述第二原始圖像幀為所述原始圖像序列中的最后一個原始圖像幀，得到所述第一全景視頻幀；

22、其中，所述第一原始圖像幀和所述第二原始圖像幀為所述原始圖像序列中任意兩個相鄰的圖像幀。

23、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述基于所述原始圖像序列中第一原始圖像幀和第二原始圖像幀之間的視場重疊區(qū)域，獲取配準像素對，包括：

24、基于所述第一原始圖像幀和所述第二原始圖像幀，確定最佳配準線像素位置；

25、基于所述最佳配準線像素位置，確定所述第一原始圖像幀和所述第二原始圖像幀之間的視場重疊區(qū)域，以供車載處理器根據(jù)所述視場重疊區(qū)域從所述第一原始圖像幀和所述第二原始圖像幀中提取出所述配準像素對。

26、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述利用所述配準像素對，對所述第一原始圖像幀和所述第二原始圖像幀進行逐幀融合，直至所述第二原始圖像幀為所述原始圖像序列中的最后一個原始圖像幀，得到所述第一全景視頻幀，包括：

27、利用所述配準像素對融合所述第一原始圖像幀和所述第二原始圖像幀，得到第一融合圖像幀；

28、將第一原始圖像幀更新為所述第一融合圖像幀，并將所述第二原始圖像幀更新為所述第二原始圖像幀在所述原始圖像序列中的下一圖像幀后進行融合，直至所述第二原始圖像幀為所述原始圖像序列中的最后一個原始圖像幀，得到第二融合圖像幀；

29、基于所述最佳配準線像素位置對所述第二融合圖像幀進行矯直處理，確定所述第一全景視頻幀。

30、根據(jù)本發(fā)明提供的一種與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)，所述云臺攝像機包括云臺穩(wěn)定器，以及設(shè)置于所述云臺穩(wěn)定器上的攝像模組；

31、所述云臺穩(wěn)定器帶動所述攝像模組圍繞轉(zhuǎn)動軸轉(zhuǎn)動，以供所述攝像模組采集與所述轉(zhuǎn)動軸對應的原始圖像序列；

32、所述車載處理器，還用于將與不同轉(zhuǎn)動軸對應的原始圖像序列進行融合；

33、其中，所述轉(zhuǎn)動軸包括俯仰軸、航向軸和橫滾軸中的至少一種。

34、本發(fā)明還提供一種車輛，包括車輛本體，以及在所述車輛本體中裝載的如上任一項所述與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)。

35、本發(fā)明提供的與虛擬現(xiàn)實裝置聯(lián)動的車載全景監(jiān)控系統(tǒng)及車輛，通過云臺攝像機對車輛的外部場景進行感知，并由車載處理器對感知到的原始圖像序列進行三維場景重建，將所得到的第一全景視頻幀以視頻流的形式同步到每一個車內(nèi)用戶佩戴的虛擬現(xiàn)實裝置，再由虛擬現(xiàn)實裝置將第一全景視頻幀與車內(nèi)用戶所處方位對齊后，對所得到的第二全景視頻幀進行近眼顯示。實現(xiàn)在車輛移動過程中使全景視頻流始終與用戶方位保持一致，極大減小人眼感知差異，使觀看者產(chǎn)生現(xiàn)場感和沉浸感。