一種基于視覺和力覺反饋的uav群雙邊遙操作控制系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及無人機(jī)雙邊遙操作控制技術(shù)領(lǐng)域，特別是設(shè)及一種利用視覺和力覺反 饋的無人機(jī)群的雙邊遙操作控制技術(shù)。
【背景技術(shù)】
[0002] 對(duì)于復(fù)雜的工作任務(wù)及多變的工作環(huán)境，多機(jī)器人的協(xié)調(diào)與協(xié)作可完成單機(jī)器人 無法或難W完成的工作。多無人機(jī)（Unmanned Aerial Vehicles, UAVs)協(xié)同編隊(duì)飛行可顯 著提高UAV的作業(yè)能力，拓寬其使用范圍，更安全、更可靠地完成編隊(duì)、空中偵察和搬運(yùn)等 任務(wù)。
[0003] 然而，當(dāng)任務(wù)變得極為復(fù)雜W及需要W高層次的認(rèn)知為基礎(chǔ)的在線決策時(shí)，多機(jī) 器人的完全自主控制仍遠(yuǎn)未能達(dá)到任務(wù)目的。在該種情況下，一方面，需要將人的智能引入 控制系統(tǒng)，充分利用人的在線決策提高多機(jī)器人作業(yè)能力；另一方面，將遠(yuǎn)端多機(jī)器人作業(yè) 情況反饋給本地操作員，使操作員具有良好的臨場(chǎng)感和沉浸感，降低操作員的工作難度。雙 邊遙操作系統(tǒng)就是一種將本地操作員的智能與遠(yuǎn)程機(jī)器人的適應(yīng)性相結(jié)合的技術(shù)，它可W 使遠(yuǎn)程機(jī)器人跟隨本地操作員操控的手控器運(yùn)動(dòng)，并將遠(yuǎn)程機(jī)器人與環(huán)境的接觸力反饋給 本地操作員。將雙邊遙操作系統(tǒng)應(yīng)用于UAV群的編隊(duì)控制問題中，借助于遙操作系統(tǒng)提供 力覺、視覺臨場(chǎng)感，可W使操作者真實(shí)地感覺到從端UAV群與環(huán)境的動(dòng)態(tài)相互作用，從而有 效地解決UAV群編隊(duì)過程中避障、UAV間相互碰撞、信息交互等問題。

【發(fā)明內(nèi)容】

[0004] 發(fā)明目的：針對(duì)現(xiàn)有技術(shù)中UAV群在復(fù)雜多變環(huán)境中難W通過完全自主控制實(shí)現(xiàn) 編隊(duì)導(dǎo)航的問題，本發(fā)明提供了一種基于視覺和力覺反饋的UAV群雙邊遙操作控制系統(tǒng)及 其方法，有效解決了 UAV群編隊(duì)導(dǎo)航過程中避障、UAV間相互碰撞及信息交互等問題。
[0005] 技術(shù)方案：本發(fā)明在UAV群雙邊遙操作控制系統(tǒng)中使用虛擬結(jié)構(gòu)技術(shù)，在載體坐 標(biāo)系下為每個(gè)UAV設(shè)置一個(gè)相應(yīng)的虛擬結(jié)構(gòu)點(diǎn)，操作者使用單個(gè)手控器控制所有的虛擬結(jié) 構(gòu)點(diǎn)，虛擬結(jié)構(gòu)點(diǎn)與UAV采用雙向跟蹤機(jī)制，控制UAV群的隊(duì)形移動(dòng)；當(dāng)與環(huán)境障礙物進(jìn)行 交互時(shí)環(huán)境提供力反饋信號(hào)，一方面提供給UAV改變UAV的位姿，控制編隊(duì)隊(duì)形的變換，另 一方面提供給主端使操作者獲得力覺臨場(chǎng)感；同時(shí)，在每個(gè)UAV上安裝攝像頭，通過駝機(jī)調(diào) 節(jié)攝像頭視角范圍，為操作員提供從端全局視圖，最終使操作者同時(shí)獲得力覺和視覺臨場(chǎng) 感。
[0006] 本發(fā)明提出一種基于視覺和力覺反饋的UAV群雙邊遙操作控制系統(tǒng)，包括主端、 從端和通訊模塊，所述主端包括手控器和控制計(jì)算機(jī)，所述手控器包括力反饋觸覺裝置，用 于根據(jù)操作者的操作運(yùn)動(dòng)，并輸出位置信息給控制計(jì)算機(jī)；所述控制計(jì)算機(jī)根據(jù)手控器發(fā) 送的位置信息輸出控制信號(hào)；所述從端包括UAV虛代理點(diǎn)、UAV群、距離傳感器、圖像采集模 塊，所述UVA虛代理點(diǎn)和UAV采用雙向跟蹤機(jī)制，控制UAV群的隊(duì)形移動(dòng)，當(dāng)與環(huán)境障礙物 進(jìn)行交互時(shí)，UAV根據(jù)障礙物提供的反作用力改變UAV的位姿，控制編隊(duì)隊(duì)形的變換；所述 距離傳感器用于檢測(cè)UAV與障礙物的距離；所述圖像采集模塊用于采集UVA群的全局視圖； 所述通訊模塊用于實(shí)現(xiàn)主端和從端間的通訊，將主端控制器輸出的控制信號(hào)發(fā)送給從端， 將從端的障礙物反作用力和全局視圖發(fā)送給主端。
[0007] 所述手控器具有3個(gè)位置自由度、3個(gè)關(guān)節(jié)自由度及3個(gè)位置自由度力反饋輸出。
[0008] 所述通訊模塊為無線網(wǎng)絡(luò)，包括XBee透明傳輸網(wǎng)絡(luò)和WIFI網(wǎng)絡(luò)。
[0009] 所述距離傳感器包括超聲波傳感器。
[0010] 所述圖像采集模塊包括安裝在UVA上的攝像頭和駝機(jī)，隨著該UAV攝像頭在前方 180°范圍內(nèi)的左右轉(zhuǎn)動(dòng)，使得其他UAV在攝像頭的視場(chǎng)內(nèi)，獲得其余UAV的全局視圖。
[0011] 本發(fā)明還提出一種基于視覺和力覺反饋的UAV群雙邊遙操作控制方法，包括W下 步驟：
[0012] 1)手控器根據(jù)操作者的操作運(yùn)動(dòng)，并輸出手控器的位置信息給控制計(jì)算機(jī)；
[0013] 2)控制計(jì)算機(jī)接收手控器的位置信息，通過工作空間映射將手控器有限的工作空 間映射到UAV無限的工作空間內(nèi)，然后通過無線網(wǎng)絡(luò)將控制信號(hào)發(fā)送給從端UAV群所有的 虛擬結(jié)構(gòu)點(diǎn)；
[0014] 3)UVA虛代理點(diǎn)和UAV采用雙向跟蹤機(jī)制，虛擬結(jié)構(gòu)點(diǎn)在控制信號(hào)的作用下進(jìn)行 移動(dòng)，UAV跟蹤對(duì)應(yīng)虛擬結(jié)構(gòu)點(diǎn)實(shí)現(xiàn)UAV位置更新；
[0015] 4)距離傳感器檢測(cè)UAV與障礙物的距離，當(dāng)單個(gè)UAV與環(huán)境障礙物之間的距離達(dá) 到預(yù)警值時(shí)，障礙物提供給UAV環(huán)境反作用力，改變單個(gè)UAV的速度，同時(shí)，相應(yīng)的虛擬結(jié)構(gòu) 點(diǎn)進(jìn)行移動(dòng)，更新編隊(duì)隊(duì)形；
[0016] 5)UAV群根據(jù)環(huán)境反作用力輸出從端力信號(hào)，并通過無線網(wǎng)絡(luò)發(fā)送給主端手控器， 使操作者獲得力覺臨場(chǎng)感，同時(shí)，安裝在UAV上的攝像頭在載體坐標(biāo)系下，W其中單個(gè)UAV 為中屯、，調(diào)節(jié)駝機(jī)角度，獲得其余UAV的全局視圖，并通過無線網(wǎng)絡(luò)發(fā)送給主端控制計(jì)算 機(jī)，使操作者監(jiān)測(cè)從端UAV群的飛行W及與環(huán)境的接觸狀況，從而獲得視覺臨場(chǎng)感。
[0017] 所述方法還包括對(duì)虛擬結(jié)構(gòu)點(diǎn)的初始設(shè)置，具體為：在載體坐標(biāo)系下，設(shè)置虛擬結(jié) 構(gòu)點(diǎn)位置，使得UAV與相應(yīng)的虛擬結(jié)構(gòu)點(diǎn)之間的位置誤差趨于零。
[0018] 所述控制計(jì)算機(jī)生成控制信號(hào)的方法為；采用位置一-映射機(jī)制，將力反饋手控 器的空間位置分別映射到從端所有的UAV虛擬結(jié)構(gòu)點(diǎn)，根據(jù)力反饋手控器產(chǎn)生的空間位置 信息生成所有虛擬結(jié)構(gòu)點(diǎn)左/右、上/下、前/后方向的位置控制命令，從而對(duì)應(yīng)四旋翼左 轉(zhuǎn)/右轉(zhuǎn)、上升/下降、前進(jìn)/后退方向的飛行控制命令，形成一對(duì)多控制模式，即一個(gè)力反 饋手控器空間位置控制所有的UAV虛擬結(jié)構(gòu)點(diǎn)整體的移動(dòng)。
[0019] 所述UAV與虛擬結(jié)構(gòu)點(diǎn)采用雙向跟蹤方法為：UAV使用軌跡跟蹤算法跟蹤自身的 虛擬結(jié)構(gòu)點(diǎn)的位置，使得UAV與虛擬結(jié)構(gòu)點(diǎn)之間的跟蹤位置誤差W及速度誤差均趨于零， 從而實(shí)現(xiàn)底層UAV的運(yùn)動(dòng)；反之，虛擬結(jié)構(gòu)點(diǎn)跟蹤相應(yīng)UAV，使由虛擬結(jié)構(gòu)點(diǎn)構(gòu)成的編隊(duì)隊(duì) 形發(fā)生變換。
[0020] 有益效果；本發(fā)明采用上述技術(shù)方案，具有W下有益效果：
[0021] (1)從端UAV群采用虛擬結(jié)構(gòu)方式，主端直接控制虛擬結(jié)構(gòu)點(diǎn)，從而有效地規(guī)避對(duì) 底層多自由度欠驅(qū)動(dòng)UAV的控制；同時(shí)，實(shí)現(xiàn)了主從端一對(duì)多模式，使得一個(gè)手控器即可控 制多個(gè)UAV的運(yùn)動(dòng)，大大減輕了操作者的負(fù)擔(dān)。
[0022] (2)從端UAV與虛擬結(jié)構(gòu)點(diǎn)采用雙向跟蹤方法，虛擬結(jié)構(gòu)點(diǎn)的位置更新和UAV群編 隊(duì)隊(duì)形的形成同步進(jìn)行，使得在UAV編隊(duì)隊(duì)形過程中避免了 UAV之間復(fù)雜的信息交互和處 理W及UAV之間的相互碰撞。
[0023] (3)控制系統(tǒng)同時(shí)引入力覺和視覺雙重反饋，根據(jù)從端UAV群與環(huán)境障礙物交互 的情況，從端產(chǎn)生反饋力和全局視圖給操作者，同時(shí)改變從端UAV群的編隊(duì)隊(duì)形，使得操作 者能夠清晰的判斷從端UAV群與障礙物的交互情況，增強(qiáng)操作者的臨場(chǎng)感，提高了操作者 的控制能力。
【附圖說明】
[0024] 圖1為本發(fā)明基于視覺和力覺反饋的UAV群雙邊遙操作控制系統(tǒng)結(jié)構(gòu)框圖；
[00巧]圖2為本發(fā)明從端UAV群的初始編隊(duì)隊(duì)形示意圖；
[0026] 圖3為本發(fā)明從端UAV群虛擬結(jié)構(gòu)點(diǎn)的移動(dòng)X0Y平面示意圖；
[0027] 圖4為本發(fā)明從端UAV群力反饋的原理示意圖；
[002引圖5為本發(fā)明從端UAV群視覺反饋的全局視圖。
【具體實(shí)施方式】
[0029] 下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0030] 參見圖1所示，基于視覺和力覺反饋的UAV群雙邊遙操作控制系統(tǒng)包括主端1、從 端3和通訊模塊2,所述主端1包括相互連接的手控器11和控制計(jì)算機(jī)12,所述手控器11 包括力反饋觸覺裝置，具有3個(gè)位置自由度、3個(gè)關(guān)節(jié)自由度及3位置自由度力反饋輸出，用 于根據(jù)操作者的操作運(yùn)動(dòng)，并輸出位置信息給控制計(jì)算機(jī)12 ;所述控制計(jì)算機(jī)12根據(jù)手控 器11發(fā)送的位置信息輸出控制信號(hào)；所述從端3包括UAV虛代理點(diǎn)31、UAV32群、距離傳 感器33、圖像采集模塊34,所述UVA虛代理點(diǎn)31和UAV32采用雙向跟蹤機(jī)制，控制UAV32 群的隊(duì)形移動(dòng)，當(dāng)與環(huán)境障礙物進(jìn)行交互時(shí)，UAV32根據(jù)障礙物提供的反作用力改變UAV32 的位姿，控制編隊(duì)隊(duì)形的變換；所述距離傳感器33為超聲波傳感器，用于檢測(cè)UAV32與障礙 物的距離；所述圖像采集模塊34包括安裝在UVA32上的攝像頭和駝機(jī)，隨著該UAV攝像頭 在前方180°范圍內(nèi)的左右轉(zhuǎn)動(dòng)，使得其他UAV32在攝像頭的視場(chǎng)內(nèi)，獲得其余UAV32的全 局視圖；所述通訊模塊2為無線網(wǎng)絡(luò)，包括XBee透明傳輸網(wǎng)絡(luò)和WIFI網(wǎng)絡(luò)，用于實(shí)現(xiàn)主端 1和從端3間的通訊，將主端控制器12輸出的控制信號(hào)發(fā)送給從端3,將從端3的障礙物反 作用力和全局視圖發(fā)送給主端1。
[0031] 上述基于視覺和力覺反饋的UAV群雙邊遙操作控制系統(tǒng)的控制方法，包括如下步 驟：
[0032] 操作者將力fh作用在手控器11上，手控器11將位置信息X m發(fā)送給控制計(jì)算機(jī) 12 ;位置信息Xm進(jìn)入通訊模塊2形成從端3位置信號(hào)X,;VSP i31在位置信號(hào)X,的作用下改 變各自的位置