本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于遠(yuǎn)程消防領(lǐng)域，具體是一種基于虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)智能消防機(jī)器人的體感控制系統(tǒng)。

背景技術(shù)：

虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)機(jī)器人是一種新型、便捷的人類代替工具，其配有兩個(gè)遠(yuǎn)程攝像機(jī)，捕捉周圍發(fā)生的一切，讓操作者可以360度無(wú)死角環(huán)顧四周各個(gè)方向的動(dòng)靜，可以代替人類完成一些危險(xiǎn)性高、強(qiáng)度大的工作，其具備輕便、與人互動(dòng)、以及遠(yuǎn)程醫(yī)療等多種優(yōu)點(diǎn)于一身，但由于其采用的硬件在技術(shù)上的缺陷，使得本機(jī)器人在進(jìn)行人機(jī)交互時(shí)控制距離不能太遠(yuǎn)，距離太遠(yuǎn)會(huì)導(dǎo)致控制滯后現(xiàn)象，并且所用器件對(duì)高溫承受能力有限。在高溫下，例如消防等場(chǎng)合不能進(jìn)行長(zhǎng)時(shí)間穩(wěn)定工作。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的不足，以及在一定程度上減少人員傷亡和財(cái)產(chǎn)損失，本發(fā)明提供一種基于虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)智能消防機(jī)器人的體感控制系統(tǒng)。

本發(fā)明的技術(shù)方案是：基于虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)智能消防機(jī)器人的體感控制系統(tǒng)，包括終端機(jī)、遙控器、無(wú)線傳感網(wǎng)絡(luò)和頭戴式顯示模塊；所述終端機(jī)用于采集遙控器對(duì)機(jī)器人的控制數(shù)據(jù)，并將所述控制數(shù)據(jù)傳送給無(wú)線傳感網(wǎng)絡(luò)；所述終端機(jī)還用于接收并顯示從消防現(xiàn)場(chǎng)傳回的環(huán)境參數(shù)；所述無(wú)線傳感網(wǎng)絡(luò)將所述控制數(shù)據(jù)實(shí)時(shí)發(fā)送給遠(yuǎn)端的機(jī)器人；所述無(wú)線傳感網(wǎng)絡(luò)還用于實(shí)時(shí)采集消防現(xiàn)場(chǎng)的環(huán)境參數(shù)，并將所述環(huán)境參數(shù)傳送給終端機(jī)；所述頭戴式顯示模塊用于接收機(jī)器人采集到的消防現(xiàn)場(chǎng)的視頻圖像并將所述視頻圖像進(jìn)行3D視覺(jué)顯示；所述頭戴式顯示模塊還用于實(shí)時(shí)采集人的頭部的三維運(yùn)動(dòng)矢量，進(jìn)而將所述三維運(yùn)動(dòng)矢量映射到機(jī)器人的頭部運(yùn)動(dòng)模擬系統(tǒng)中，以實(shí)現(xiàn)人機(jī)交互的同時(shí)可以對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行更加真實(shí)的全方位的查看。

較佳地，所述終端機(jī)包括主控芯片、無(wú)線收發(fā)器一和顯示屏幕；所述主控芯片用于采集遙控器對(duì)機(jī)器人的控制數(shù)據(jù)，以及接收從消防現(xiàn)場(chǎng)傳回的環(huán)境參數(shù)；所述無(wú)線收發(fā)器一用于將控制數(shù)據(jù)傳送給無(wú)線傳感網(wǎng)絡(luò)；所述顯示屏幕用于顯示所述主控芯片接收到的從消防現(xiàn)場(chǎng)傳回的環(huán)境參數(shù)。

較佳地，所述無(wú)線傳感網(wǎng)絡(luò)包括arduino主控芯片一、溫濕度傳感器、無(wú)線收發(fā)器二以及中繼站；所述arduino主控芯片一用于控制所述溫濕度傳感器實(shí)時(shí)采集消防現(xiàn)場(chǎng)的溫濕度環(huán)境參數(shù)，并將所述溫濕度環(huán)境參數(shù)傳送給所述無(wú)線收發(fā)器二；所述無(wú)線收發(fā)器二用于將所接收到的溫濕度環(huán)境參數(shù)發(fā)送給所述中繼站；所述無(wú)線收發(fā)器二還用于將來(lái)自中繼站的遙控器對(duì)機(jī)器人的控制數(shù)據(jù)實(shí)時(shí)發(fā)送給機(jī)器人；所述中繼站用于將所接收到的溫濕度環(huán)境參數(shù)發(fā)送給所述終端機(jī)；所述中繼站還用于接收來(lái)自遙控器對(duì)機(jī)器人的控制數(shù)據(jù)。

較佳地，所述頭戴顯示模塊包括MPU6050模塊、用于采集磁場(chǎng)數(shù)據(jù)的電子羅盤以及液晶屏幕；所述MPU6050模塊用于采集人的頭部的三維運(yùn)動(dòng)矢量中的三軸角速度和三軸加速度；所述液晶屏幕用于將機(jī)器人采集到的消防現(xiàn)場(chǎng)的視頻圖像進(jìn)行3D視覺(jué)顯示。

本發(fā)明的有益效果：本發(fā)明可以遠(yuǎn)程實(shí)施消防任務(wù)和監(jiān)測(cè)消防現(xiàn)場(chǎng)周圍環(huán)境指數(shù)，達(dá)到對(duì)環(huán)境更加系統(tǒng)詳細(xì)的監(jiān)測(cè)，從而根據(jù)豐富的經(jīng)驗(yàn)做出更加科學(xué)系統(tǒng)的實(shí)時(shí)方案，從而減少了人員傷亡和財(cái)產(chǎn)損失，本發(fā)明還可用于自然科學(xué)研究、災(zāi)情救援、環(huán)保、軍事等諸多領(lǐng)域。

附圖說(shuō)明

圖1本發(fā)明的控制系統(tǒng)框圖。

具體實(shí)施方式

如圖1所示，本發(fā)明提供了一種基于虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)智能消防機(jī)器人的體感控制系統(tǒng)，包括終端機(jī)、遙控器、無(wú)線傳感網(wǎng)絡(luò)和頭戴式顯示模塊；所述終端機(jī)用于采集遙控器對(duì)機(jī)器人的控制數(shù)據(jù)，并將所述控制數(shù)據(jù)傳送給無(wú)線傳感網(wǎng)絡(luò)；所述終端機(jī)還用于接收并顯示從消防現(xiàn)場(chǎng)傳回的環(huán)境參數(shù)；所述無(wú)線傳感網(wǎng)絡(luò)將所述控制數(shù)據(jù)實(shí)時(shí)發(fā)送給遠(yuǎn)端的機(jī)器人；所述無(wú)線傳感網(wǎng)絡(luò)還用于實(shí)時(shí)采集消防現(xiàn)場(chǎng)的環(huán)境參數(shù)，并將所述環(huán)境參數(shù)傳送給終端機(jī)；所述頭戴式顯示模塊用于接收機(jī)器人采集到的消防現(xiàn)場(chǎng)的視頻圖像并將所述視頻圖像進(jìn)行3D視覺(jué)顯示；所述頭戴式顯示模塊還用于實(shí)時(shí)采集人的頭部的三維運(yùn)動(dòng)矢量，進(jìn)而將所述三維運(yùn)動(dòng)矢量映射到機(jī)器人的頭部運(yùn)動(dòng)模擬系統(tǒng)中，以實(shí)現(xiàn)人機(jī)交互的同時(shí)可以對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行更加真實(shí)的全方位的查看。

進(jìn)一步地，所述終端機(jī)包括主控芯片、無(wú)線收發(fā)器一和顯示屏幕；所述主控芯片用于采集遙控器對(duì)機(jī)器人的控制數(shù)據(jù)，以及接收從消防現(xiàn)場(chǎng)傳回的環(huán)境參數(shù)；所述無(wú)線收發(fā)器一用于將控制數(shù)據(jù)傳送給無(wú)線傳感網(wǎng)絡(luò)；所述顯示屏幕用于顯示所述主控芯片接收到的從消防現(xiàn)場(chǎng)傳回的環(huán)境參數(shù)。

進(jìn)一步地，所述無(wú)線傳感網(wǎng)絡(luò)包括arduino主控芯片一、溫濕度傳感器、無(wú)線收發(fā)器二以及中繼站；所述arduino主控芯片一用于控制所述溫濕度傳感器實(shí)時(shí)采集消防現(xiàn)場(chǎng)的溫濕度環(huán)境參數(shù)，并將所述溫濕度環(huán)境參數(shù)傳送給所述無(wú)線收發(fā)器二；所述無(wú)線收發(fā)器二用于將所接收到的溫濕度環(huán)境參數(shù)發(fā)送給所述中繼站；所述無(wú)線收發(fā)器二還用于將來(lái)自中繼站的遙控器對(duì)機(jī)器人的控制數(shù)據(jù)實(shí)時(shí)發(fā)送給機(jī)器人；所述中繼站用于將所接收到的溫濕度環(huán)境參數(shù)發(fā)送給所述終端機(jī)；所述中繼站還用于接收來(lái)自遙控器對(duì)機(jī)器人的控制數(shù)據(jù)。

進(jìn)一步地，所述頭戴顯示模塊包括MPU6050模塊、用于采集磁場(chǎng)數(shù)據(jù)的電子羅盤以及液晶屏幕；所述MPU6050模塊用于采集人的頭部的三維運(yùn)動(dòng)矢量中的三軸角速度和三軸加速度；所述液晶屏幕用于將機(jī)器人采集到的消防現(xiàn)場(chǎng)的視頻圖像進(jìn)行3D視覺(jué)顯示。

以下對(duì)本發(fā)明的技術(shù)方案進(jìn)行進(jìn)一步的詳述：

1)所述終端機(jī)通過(guò)使用STM32F103作為主控芯片采集遙控器對(duì)機(jī)器人的控制數(shù)據(jù)通過(guò)SPI協(xié)議掛載NRF24L01芯片的無(wú)線收發(fā)器將控制數(shù)據(jù)實(shí)時(shí)發(fā)送給遠(yuǎn)端的機(jī)器人。通過(guò)主控芯片STM32F103最小系統(tǒng)板采集頭戴式顯示模塊的虛擬現(xiàn)實(shí)眼鏡盒中的電子羅盤(HMC5883L)和MPU6050的數(shù)據(jù)進(jìn)行算法處理后輸出一個(gè)頭部矢量數(shù)據(jù)后和采集到的遙控器的搖桿的數(shù)據(jù)以打包后通過(guò)SPI協(xié)議采用NRF24L014模塊發(fā)送給機(jī)器人從而遠(yuǎn)程控制機(jī)器人的運(yùn)動(dòng)以及機(jī)械臂的運(yùn)動(dòng)。通過(guò)采集遙控器的搖桿的數(shù)據(jù)從而發(fā)送給機(jī)器人，控制機(jī)器人的在現(xiàn)場(chǎng)的自由移動(dòng)和機(jī)械臂的運(yùn)動(dòng)，從而在一定程度上簡(jiǎn)化了控制數(shù)據(jù)的采集，在一定程度上降低了控制芯片CPU的利用率，在體現(xiàn)低功耗的同時(shí)可以增加了控制芯片對(duì)數(shù)據(jù)的處理速率，更加體現(xiàn)了遠(yuǎn)程操作的實(shí)時(shí)性。

2)終端機(jī)，通過(guò)使用labview編寫開發(fā)的上位機(jī)軟件通過(guò)圖像數(shù)據(jù)的形式實(shí)時(shí)將無(wú)線傳感網(wǎng)絡(luò)通過(guò)無(wú)線串口模塊傳回的現(xiàn)場(chǎng)的各項(xiàng)環(huán)境參數(shù)直觀顯示在電腦屏幕上，使工作人員對(duì)現(xiàn)場(chǎng)的各項(xiàng)環(huán)境指數(shù)一目了然；

3)無(wú)線傳感網(wǎng)絡(luò)中采用三個(gè)arduino作為主控芯片控制溫濕度傳感器(dth11)實(shí)時(shí)采集現(xiàn)場(chǎng)的溫濕度數(shù)據(jù)后通過(guò)外接的NRF24L01無(wú)線收發(fā)器發(fā)送到中繼站，其中中繼站同樣采用arduino作為主控芯片控制NRF24L01無(wú)線收發(fā)器進(jìn)行收集無(wú)線傳感網(wǎng)絡(luò)采集的數(shù)據(jù)從而實(shí)現(xiàn)多發(fā)一收的控制后通過(guò)外接無(wú)線串口發(fā)送到終端機(jī)上進(jìn)行直觀顯示。

4)頭戴顯示模塊通過(guò)VR眼鏡盒中設(shè)置的一個(gè)顯示屏鏈接一個(gè)同屏器，將機(jī)器人的雙目攝像頭采集到的圖像經(jīng)過(guò)機(jī)器人上掛載的mini主機(jī)處理后通過(guò)無(wú)線WiFi投射至7寸液晶屏幕上并顯示出3D效果，更加具有真實(shí)感，同時(shí)在眼鏡盒中裝有采集三軸角速度和三軸加速度的MPU6050模塊和采集磁場(chǎng)數(shù)據(jù)的電子羅盤(HMC5883L)電子模塊，實(shí)時(shí)采集戴上眼鏡盒后的頭部的三維運(yùn)動(dòng)矢量，從而映射到機(jī)器人的頭部運(yùn)動(dòng)模擬系統(tǒng)中，在實(shí)現(xiàn)人機(jī)交互的同時(shí)可以對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行更加真實(shí)的全方位的查看。其中主控芯片STM32F103需要對(duì)NRF24L014發(fā)回的MPU6050和電子羅盤傳回的數(shù)據(jù)包及時(shí)的融合并運(yùn)用卡爾曼濾波處理后對(duì)人頭部的運(yùn)動(dòng)狀態(tài)和姿態(tài)角度計(jì)算輸出，實(shí)時(shí)的確定從而控制云臺(tái)中舵機(jī)的運(yùn)行，從而更好地達(dá)到模擬人的頭部運(yùn)動(dòng)，實(shí)現(xiàn)三維空間的視頻采集。雙目攝像頭采集的視頻數(shù)據(jù)，經(jīng)核心處理模塊處理后，通過(guò)同屏器實(shí)時(shí)傳送回地面站，以讓控制人員通過(guò)實(shí)時(shí)查看遠(yuǎn)端現(xiàn)場(chǎng)環(huán)境后根據(jù)經(jīng)驗(yàn)做出系統(tǒng)的實(shí)施方案。

本發(fā)明的虛擬現(xiàn)實(shí)眼鏡的設(shè)計(jì)需要對(duì)屏幕的分辨率和數(shù)據(jù)的傳送方式有一定的要求，所以，我們采用了比眼鏡盒稍微大一點(diǎn)和同屏器數(shù)據(jù)傳送的液晶屏幕，并且和眼鏡盒采用封閉式的連接，從而達(dá)到通過(guò)虛擬顯示眼鏡考到的圖像視屏有3D效果，進(jìn)一步增加真實(shí)感，和遠(yuǎn)端臨場(chǎng)的效果，同時(shí)為了更加體現(xiàn)云臺(tái)對(duì)人頭部運(yùn)動(dòng)的模擬，將MPU6050和電子羅盤安裝在了虛擬現(xiàn)實(shí)眼鏡盒上，達(dá)到了對(duì)人頭部姿態(tài)矢量的實(shí)時(shí)捕捉并映射到機(jī)器人的頭部動(dòng)作模擬系統(tǒng)，進(jìn)行動(dòng)作模擬。通過(guò)讓消防人員佩戴虛擬現(xiàn)實(shí)眼鏡和機(jī)械臂控制手套進(jìn)行在遠(yuǎn)端實(shí)時(shí)查看事故現(xiàn)場(chǎng)的環(huán)境進(jìn)行制定系統(tǒng)方案后進(jìn)行有計(jì)劃地在遠(yuǎn)端操作機(jī)器人。

本發(fā)明中涉及的虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)機(jī)器人是一種新型、便捷的人類代替工具，其配有兩個(gè)遠(yuǎn)程攝像機(jī)，捕捉周圍發(fā)生的一切，讓操作者可以360度無(wú)死角環(huán)顧四周各個(gè)方向的動(dòng)靜，可以代替人類完成一些危險(xiǎn)性高、強(qiáng)度大的工作、輕便、與人互動(dòng)、以及遠(yuǎn)程醫(yī)療等多種優(yōu)點(diǎn)于一身，本發(fā)明致力于在虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)機(jī)器人的基礎(chǔ)上進(jìn)行深入創(chuàng)新，自行設(shè)計(jì)機(jī)械結(jié)構(gòu)、使用最優(yōu)化的控制算法以及應(yīng)用嵌入式技術(shù)的人機(jī)交互平臺(tái)，讓其能更好地滿足人們的生產(chǎn)和生活需求。充分發(fā)揮了遠(yuǎn)程臨場(chǎng)(telepresence)的“Tele”(遠(yuǎn)傳)加上“Presence”(臨場(chǎng)、存在)的作用近端使用者有身處遠(yuǎn)程環(huán)境的臨場(chǎng)感。本發(fā)明采用虛擬現(xiàn)實(shí)(VR)技術(shù)，結(jié)合機(jī)器人上設(shè)置的雙目攝像頭和三維云臺(tái)技術(shù)進(jìn)行圖像采集；采用Oculus Rift SDK來(lái)進(jìn)行開發(fā)，使用uni ty 3d開發(fā)軟件對(duì)雙目攝像頭的圖像進(jìn)行處理顯示在虛擬現(xiàn)實(shí)眼鏡中屏幕上的兩邊，并結(jié)合魚眼效果和3D效果以及黑色邊框的渲染使之產(chǎn)生3D效果的同時(shí)避免眩暈感。采用體感控制雙機(jī)械臂模擬人的雙臂和雙手活動(dòng)，并和滅火噴頭結(jié)合在一起，實(shí)現(xiàn)靈活作業(yè)的同時(shí)還可以進(jìn)行高效率的定點(diǎn)準(zhǔn)確消防。本發(fā)明將滅火材料的噴頭和機(jī)器人的機(jī)械臂結(jié)合在一起，可以在遠(yuǎn)端通過(guò)觀察現(xiàn)場(chǎng)環(huán)境和機(jī)械臂的運(yùn)動(dòng)來(lái)實(shí)現(xiàn)定點(diǎn)滅火和高效率的滅火，因?yàn)闄C(jī)器人所帶的滅火材料有限，需要適應(yīng)得當(dāng)，實(shí)現(xiàn)資源的最大利用化；同時(shí)可以通過(guò)控制機(jī)械臂實(shí)現(xiàn)對(duì)事故現(xiàn)場(chǎng)的一些易燃易爆等危險(xiǎn)品進(jìn)行及時(shí)的搬運(yùn)到安全區(qū)域，并且對(duì)其進(jìn)行快速降溫或隔離。通過(guò)遠(yuǎn)程搭建的無(wú)線傳感網(wǎng)絡(luò)(WSN)，結(jié)合無(wú)線中繼實(shí)現(xiàn)對(duì)遠(yuǎn)程各種環(huán)境指標(biāo)的全面系統(tǒng)的檢測(cè)了解，以便做出更加系統(tǒng)合理的執(zhí)行方案和進(jìn)行一系列活動(dòng)，更好的體現(xiàn)遠(yuǎn)端臨場(chǎng)的特點(diǎn)。

本發(fā)明的視頻處理軟件使用Uni ty 3D開發(fā)，同時(shí)使用Oculus Rift SDK開發(fā)包將攝像頭捕捉的圖像分左右眼顯示(就是左眼和右眼看到的是兩組畫面，一般通過(guò)兩臺(tái)播放設(shè)備的鏡頭前安裝圓偏正鏡，然后帶上3D眼鏡，分別左眼和右眼看到的畫面是單獨(dú)的，這所謂單獨(dú)的就是左眼的能看到的畫面，戴上眼鏡后右眼是看不到的，然后右眼能看到的畫面左眼是看不到的。通過(guò)對(duì)焦調(diào)整處理，產(chǎn)生了景深的立體效果)再加上魚眼的效果結(jié)合黑色邊框渲染效果，再將處理后的圖像由WIFI發(fā)送出去，投射到虛擬現(xiàn)實(shí)眼鏡盒中的7寸液晶屏幕上進(jìn)行顯示，使之呈現(xiàn)3D效果，畫面更加真實(shí)；

為了防止二次事故的發(fā)生以及對(duì)事故現(xiàn)場(chǎng)及周圍的環(huán)境進(jìn)行全面系統(tǒng)的實(shí)時(shí)監(jiān)測(cè)，可以操作機(jī)器人到達(dá)事故現(xiàn)場(chǎng)后，通過(guò)360度無(wú)死角的對(duì)現(xiàn)場(chǎng)進(jìn)行觀察后臨時(shí)搭建高密度的無(wú)線傳感網(wǎng)絡(luò)，達(dá)到對(duì)事故現(xiàn)場(chǎng)環(huán)境指數(shù)的實(shí)時(shí)。同時(shí)，采用labview編寫的上位機(jī)，在終端機(jī)上對(duì)無(wú)線傳感網(wǎng)絡(luò)傳回的數(shù)據(jù)進(jìn)行處理后直觀的顯示在顯示平臺(tái)上，達(dá)到對(duì)事故現(xiàn)場(chǎng)的環(huán)境指數(shù)一目了然，也可以實(shí)時(shí)收集環(huán)境參數(shù)，分析后對(duì)后期的維護(hù)工作提供科學(xué)依據(jù)。

最后說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制，盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，但本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍內(nèi)。