借助虛擬現(xiàn)實(shí)及雙目視覺(jué)技術(shù)實(shí)現(xiàn)的第一人稱(chēng)沉浸式無(wú)人機(jī)駕駛系統(tǒng)及駕駛方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于無(wú)人機(jī)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]由于現(xiàn)階段無(wú)人機(jī)技術(shù)迅猛發(fā)展，尤其以四旋翼為代表的民用無(wú)人機(jī)越來(lái)越成熟，出現(xiàn)了一大批以此為依托的無(wú)人機(jī)公司，各研究機(jī)構(gòu)也積極探索相關(guān)新技術(shù)。四軸為代表的多軸無(wú)人機(jī)雖然目前飛行控制技術(shù)已經(jīng)相當(dāng)成熟，但是由于結(jié)構(gòu)限制導(dǎo)致的效率低下、續(xù)航時(shí)間短等問(wèn)題相當(dāng)突出。
[0003]而且無(wú)人機(jī)的操縱仍然主要使用人眼原地遠(yuǎn)距離觀察無(wú)人機(jī)飛行高度與姿態(tài)并靠遙控器來(lái)遙控，由于距離和無(wú)人機(jī)速度的影響，并不能非常直觀地掌握無(wú)人機(jī)的實(shí)時(shí)飛行狀態(tài)，很容易因?yàn)閭€(gè)人操作失誤導(dǎo)致墜機(jī)或炸機(jī)。雖然有配套的圖像回傳顯示系統(tǒng)實(shí)現(xiàn)平面顯示，并不能夠達(dá)到真實(shí)飛行器駕駛時(shí)的直觀體驗(yàn)，無(wú)論是顯示介質(zhì)還是操縱機(jī)制。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決現(xiàn)有無(wú)人機(jī)駕駛系統(tǒng)不能實(shí)時(shí)掌握實(shí)時(shí)飛行狀態(tài)，易導(dǎo)致失誤的問(wèn)題，本發(fā)明提供一種借助虛擬現(xiàn)實(shí)及雙目視覺(jué)技術(shù)實(shí)現(xiàn)的第一人稱(chēng)沉浸式無(wú)人機(jī)駕駛系統(tǒng)及駕駛方法。
[0005]本發(fā)明的借助虛擬現(xiàn)實(shí)及雙目視覺(jué)技術(shù)實(shí)現(xiàn)的第一人稱(chēng)沉浸式無(wú)人機(jī)駕駛系統(tǒng)，
[0006]所述系統(tǒng)包括無(wú)人機(jī)部分和地面站部分；所述無(wú)人機(jī)部分包括三軸云臺(tái)穩(wěn)定器、雙目攝像頭、無(wú)人機(jī)圖傳模塊、無(wú)人機(jī)數(shù)傳模塊和無(wú)人機(jī)控制模塊；
[0007]雙目攝像頭，用于采集無(wú)人機(jī)周?chē)h(huán)境的圖像；
[0008]無(wú)人機(jī)圖傳模塊，用于將雙目攝像頭采集的圖像回傳；
[0009]無(wú)人機(jī)數(shù)傳模塊，用于接收頭部相對(duì)于模擬駕駛座艙方位的歐拉角和無(wú)人機(jī)飛行狀態(tài)的控制指令，用于將無(wú)人機(jī)的飛行狀態(tài)信息回傳；
[0010]無(wú)人機(jī)控制器，用于對(duì)接收的頭部相對(duì)于模擬駕駛座艙方位的歐拉角進(jìn)行解算，獲得動(dòng)作角度指令，還用于根據(jù)接收的無(wú)人機(jī)飛行狀態(tài)的控制指令，控制無(wú)人機(jī)的飛行狀態(tài)，還用于檢測(cè)無(wú)人機(jī)的飛行狀態(tài)信息；
[0011 ] 三軸云臺(tái)穩(wěn)定器，用于自身維持指向穩(wěn)定并根據(jù)動(dòng)作角度指令，進(jìn)行動(dòng)作；
[0012]所述地面站部分包括虛擬現(xiàn)實(shí)眼鏡、模擬飛行控制器、地面站計(jì)算機(jī)、地面站數(shù)傳模塊和地面站圖傳模塊；
[0013]地面站圖傳模塊，用于接收雙目攝像頭采集的圖像；
[0014]地面站數(shù)傳模塊，用于發(fā)送頭部相對(duì)于模擬駕駛座艙方位的歐拉角和無(wú)人機(jī)飛行狀態(tài)的控制指令，還用于接收回傳的無(wú)人機(jī)飛行狀態(tài)信息；
[0015]虛擬現(xiàn)實(shí)眼鏡，用于接收疊加后的3D格式視頻信號(hào)，并實(shí)時(shí)顯示，還用于根據(jù)駕駛者的頭部動(dòng)作，獲得頭部動(dòng)作角度信號(hào)；
[0016]地面站計(jì)算機(jī)，用于將雙目攝像頭采集的圖像轉(zhuǎn)換成3D格式視頻信號(hào)，并將接收的無(wú)人機(jī)飛行狀態(tài)信息疊加到所述3D格式視頻信號(hào)中；將獲得的頭部動(dòng)作角度信號(hào)解算成頭部相對(duì)于模擬駕駛座艙方位的歐拉角，還用于將駕駛者對(duì)無(wú)人機(jī)的控制指令解算為無(wú)人機(jī)飛行狀態(tài)的控制指令；
[0017]模擬飛行控制器，用于輸入模擬座艙內(nèi)的駕駛者對(duì)無(wú)人機(jī)的控制指令。
[0018]所述虛擬現(xiàn)實(shí)眼鏡，還用于根據(jù)駕駛者的頭部動(dòng)作，獲得頭部動(dòng)作角度信號(hào)為:
[0019]采用位置跟蹤的陀螺儀、加速度計(jì)和羅盤(pán)采集駕駛者頭部的動(dòng)作角度信號(hào)。
[0020]所述模擬飛行控制器，用于輸入模擬座艙內(nèi)的駕駛者對(duì)無(wú)人機(jī)的控制指令為:
[0021]駕駛者通過(guò)控制操縱桿和油門(mén)桿輸入模擬座艙內(nèi)的駕駛者對(duì)無(wú)人機(jī)的控制指令。
[0022]所述疊加后的3D格式視頻信號(hào)為:
[0023]顯示成無(wú)人機(jī)飛行狀態(tài)、姿態(tài)、位置、高度和無(wú)人機(jī)周?chē)h(huán)境的地圖增強(qiáng)信息的左右眼3D格式視頻。
[0024]借助虛擬現(xiàn)實(shí)及雙目視覺(jué)技術(shù)實(shí)現(xiàn)的第一人稱(chēng)沉浸式無(wú)人機(jī)駕駛方法，所述方法包括無(wú)人機(jī)內(nèi)嵌入程序和地面站計(jì)算機(jī)嵌入程序，所述無(wú)人機(jī)內(nèi)嵌入程序包括如下步驟:
[0025]用于利用雙目攝像頭采集無(wú)人機(jī)周?chē)h(huán)境的圖像的步驟；
[0026]用于將雙目攝像頭采集的圖像回傳的步驟；
[0027]用于接收頭部相對(duì)于模擬駕駛座艙方位的歐拉角和無(wú)人機(jī)飛行狀態(tài)的控制指令，用于將無(wú)人機(jī)的飛行狀態(tài)信息回傳的步驟；
[0028]用于對(duì)接收的頭部相對(duì)于模擬駕駛座艙方位的歐拉角進(jìn)行解算，獲得動(dòng)作角度指令的步驟，還用于根據(jù)接收的無(wú)人機(jī)飛行狀態(tài)的控制指令，控制無(wú)人機(jī)的飛行狀態(tài)的步驟，還用于檢測(cè)無(wú)人機(jī)的飛行狀態(tài)信息的步驟；
[0029]用于利用三軸云臺(tái)穩(wěn)定器自身維持指向穩(wěn)定，并根據(jù)動(dòng)作角度指令，控制三軸云臺(tái)穩(wěn)定器的步驟；
[0030]所述地面站計(jì)算機(jī)嵌入程序包括如下步驟:
[0031]用于接收雙目攝像頭采集的圖像的步驟；
[0032]用于發(fā)送頭部相對(duì)于模擬駕駛座艙方位的歐拉角和無(wú)人機(jī)飛行狀態(tài)的控制指令的步驟，還用于接收回傳的無(wú)人機(jī)飛行狀態(tài)信息的步驟；
[0033]還用于根據(jù)駕駛者的頭部動(dòng)作，獲得頭部動(dòng)作角度信號(hào)的步驟；
[0034]用于輸入模擬座艙內(nèi)的駕駛者對(duì)無(wú)人機(jī)的控制指令的步驟；
[0035]用于將雙目攝像頭采集的圖像轉(zhuǎn)換成3D格式視頻信號(hào)，并將接收的無(wú)人機(jī)飛行狀態(tài)信息疊加到所述3D格式視頻信號(hào)中的步驟；
[0036]還用于將獲得的頭部動(dòng)作角度信號(hào)解算成頭部相對(duì)于模擬駕駛座艙方位的歐拉角的步驟；
[0037]用于將駕駛者對(duì)無(wú)人機(jī)的控制指令解算為無(wú)人機(jī)飛行狀態(tài)的控制指令的步驟；
[0038]利用虛擬現(xiàn)實(shí)眼鏡接收疊加后的3D格式視頻信號(hào)，并實(shí)時(shí)顯示的步驟。
[0039]所述用于根據(jù)駕駛者的頭部動(dòng)作，獲得頭部動(dòng)作角度信號(hào)的步驟為:
[0040]采用位置跟蹤的陀螺儀、加速度計(jì)和羅盤(pán)采集駕駛者的頭部動(dòng)作角度信號(hào)的步驟。
[0041]所述用于輸入模擬座艙內(nèi)的駕駛者對(duì)無(wú)人機(jī)的控制指令的步驟為:
[0042]駕駛者通過(guò)控制操縱桿和油門(mén)桿輸入模擬座艙內(nèi)的駕駛者對(duì)無(wú)人機(jī)的控制指令的步驟。
[0043]所述疊加后的3D格式視頻信號(hào)為:
[0044]顯示成無(wú)人機(jī)飛行狀態(tài)、姿態(tài)、位置、高度和無(wú)人機(jī)周?chē)h(huán)境的地圖增強(qiáng)信息的左右眼3D格式視頻。
[0045]本發(fā)明的有益效果在于:
[0046]1、借助于虛擬現(xiàn)實(shí)眼鏡配合無(wú)人機(jī)云臺(tái)搭載的雙目攝像頭實(shí)現(xiàn)了無(wú)人機(jī)駕駛視角的虛擬移植。
[0047]2、通過(guò)虛擬現(xiàn)實(shí)眼鏡內(nèi)置的用于位置跟蹤的陀螺儀、加速度計(jì)、羅盤(pán)等傳感器解算的無(wú)人機(jī)駕駛者頭部動(dòng)作信號(hào)，借助于與地面站連接的數(shù)傳模塊傳遞給無(wú)人機(jī)飛行控制器，信號(hào)處理后傳給三軸云臺(tái)穩(wěn)定器實(shí)現(xiàn)云臺(tái)上雙目攝像頭對(duì)于地面無(wú)人機(jī)駕駛者頭部動(dòng)作的跟蹤同步。
[0048]3、地面無(wú)人機(jī)駕駛者通過(guò)高仿真的模擬飛行控制器的操縱桿和油門(mén)桿結(jié)合地面站的輔助實(shí)現(xiàn)對(duì)于無(wú)人機(jī)飛行狀態(tài)的控制。
[0049]4、通過(guò)虛擬現(xiàn)實(shí)眼鏡、三軸云臺(tái)穩(wěn)定器、雙目攝像頭以及輔助模塊對(duì)于地面站計(jì)算機(jī)的協(xié)同配合，通過(guò)視覺(jué)移植、高仿真地面駕駛模擬實(shí)現(xiàn)完全沉浸式的駕駛體驗(yàn)，帶來(lái)一種全新的駕駛模式，借助虛擬現(xiàn)實(shí)實(shí)現(xiàn)無(wú)人機(jī)駕駛的遠(yuǎn)端臨場(chǎng)。
[0050]5、借助虛擬現(xiàn)實(shí)眼鏡的軟件開(kāi)發(fā)，實(shí)現(xiàn)對(duì)于地面站接收的無(wú)人機(jī)飛控回傳的飛行狀態(tài)、姿態(tài)、位置、高度、地圖增強(qiáng)信息等的集成顯示，實(shí)現(xiàn)無(wú)人機(jī)駕駛者通過(guò)視覺(jué)感知對(duì)于無(wú)人機(jī)飛行基本