本發(fā)明涉及無人機(jī)反制,尤其是涉及一種基于空對空視覺識別的反無人機(jī)系統(tǒng)與方法。
背景技術(shù):
1、近年來深度學(xué)習(xí)的迅速發(fā)展對目標(biāo)識別等下游任務(wù)起到了極大的促進(jìn)作用,無人機(jī)作為正在廣泛普及的低空飛行器,給人們帶來便利的同時也造成了很多危險(xiǎn)事故的發(fā)生,此外在無人機(jī)智能反制領(lǐng)域現(xiàn)有技術(shù)的空白迫切需要一種高效、快速的反無人機(jī)視覺識別系統(tǒng)及有效的反制措施。
2、關(guān)于無人機(jī)識別技術(shù),我們注意到現(xiàn)有成果大多直接借用cv領(lǐng)域的模型方法,如yolov5模型等,并以此為核心構(gòu)建相應(yīng)檢測系統(tǒng),但鑒于無人機(jī)飛行速度較快(如fpv無人機(jī)),模型算法的實(shí)時性、反制技術(shù)的有效性成為瓶頸,現(xiàn)有視覺識別技術(shù)通常無法在高幀率下實(shí)時捕獲高速飛行的無人機(jī),而現(xiàn)有反制措施(如電磁干擾,霰彈打擊等)也無法起到非常有效的作用。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是提供一種基于空對空視覺識別的反無人機(jī)系統(tǒng)與方法,以解決上述背景技術(shù)中存在的問題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明提供了一種基于空對空視覺識別的反無人機(jī)系統(tǒng),包括:
3、探測單元,用于無人機(jī)周圍空域視覺探測,實(shí)時傳輸視頻信息,并獲取監(jiān)控信息;
4、云臺單元,用于帶動探測單元轉(zhuǎn)動;
5、運(yùn)動單元,用于空中巡邏、跟隨目標(biāo);
6、捕網(wǎng)單元,用于捕獲及回收目標(biāo);
7、主控單元,用于向探測單元發(fā)送探測控制指令,接收探測單元傳輸?shù)谋O(jiān)控信息、接收云臺單元的方位信息,并向云臺單元發(fā)送云臺控制指令、接收運(yùn)動單元的方位信息,并向運(yùn)動單元發(fā)送無人機(jī)電機(jī)控制指令及向捕網(wǎng)單元發(fā)送捕網(wǎng)指令。
8、優(yōu)選的,探測單元包括云臺搭載的相機(jī)視覺檢測設(shè)備、激光視覺檢測設(shè)備、紅外視覺檢測設(shè)備中的一種或幾種,還包括圖像傳輸模塊和目標(biāo)識別模塊,相機(jī)視覺檢測模塊采用單目相機(jī),將三維世界二維化,獲得無人機(jī)周圍空域的視頻信息,是最常用的視覺檢測設(shè)備之一,?通過光學(xué)傳感器采集物體的圖像,?并利用圖像處理算法提取特征信息,?如邊緣、?紋理、?顏色等,?實(shí)現(xiàn)物體的檢測、?識別和分析。激光視覺檢測設(shè)備是在模擬攝像機(jī)上配上激光燈源,激光燈采用光斑均勻強(qiáng)化技術(shù),光斑自動對焦技術(shù),畫面廣度強(qiáng),更均勻。紅外視覺檢測設(shè)備利用紅外光線對物體進(jìn)行掃描,?通過測量紅外輻射或反射來獲取物體的熱特征和紅外圖像。可以實(shí)現(xiàn)對夜晚等光線不足場景下對目標(biāo)區(qū)域的有效監(jiān)控。
9、優(yōu)選的,圖像傳輸模塊將相機(jī)視覺檢測設(shè)備、激光視覺檢測設(shè)備或紅外視覺檢測設(shè)備捕獲的視頻流通過uart接口有線傳輸給模擬圖傳,模擬圖傳利用mavlink協(xié)議將視頻流編碼后,通過無線通信鏈路發(fā)送至地面站,地面站的目標(biāo)識別模塊獲取無人機(jī)視覺檢測模塊的視頻流,通過目標(biāo)識別算法實(shí)現(xiàn)對目標(biāo)飛行器的識別。
10、優(yōu)選的,目標(biāo)識別算法包括yolov8-skipnet模型或swint模型。
11、優(yōu)選的,yolov8-skipnet模型具體包括:
12、模型訓(xùn)練階段,使用接近實(shí)際目標(biāo)識別場景的圖片組成uav數(shù)據(jù)集,包含不同背景、不同外形、不同姿態(tài)的無人機(jī)圖片,將uav數(shù)據(jù)集分為兩個驗(yàn)證集,使用一個uav驗(yàn)證集對模型進(jìn)行監(jiān)督訓(xùn)練,并不斷使用另一uav驗(yàn)證集對模型進(jìn)行評估,直至模型性能滿足需求;
13、實(shí)際推理階段,目標(biāo)識別模塊獲取無人機(jī)視覺檢測模塊的視頻流,采用跳幀技術(shù)每隔幀截取一張圖提供給識別模型,再通過預(yù)訓(xùn)練模型實(shí)時標(biāo)注uav實(shí)現(xiàn)目標(biāo)識別。
14、優(yōu)選的,swint模型由若干階段組成,每個階段包含若干個?swin?transformerblock,swint模型的輸入是分塊的圖像,經(jīng)過逐層處理,最終輸出特征用于分類或其他任務(wù)。
15、優(yōu)選的,云臺單元為高精度三軸增穩(wěn)云臺,包括航向、俯仰、橫滾三軸,?能夠保持相機(jī)在水平方向和垂直方向的穩(wěn)定性。?高精度三軸增穩(wěn)云臺主要由底座、?旋轉(zhuǎn)軸、?云臺支架、?電機(jī)等部件組成,其中云臺角度抖動量±0.01°,可控俯仰轉(zhuǎn)動范圍-90°~?+25°,可控水平轉(zhuǎn)動范圍-270°~?+270°,橫滾轉(zhuǎn)動范圍-45°?~+45°,云臺上的電機(jī)控制器接受來自地面控制單元的指令,完成解碼并控制云臺電機(jī)完成相應(yīng)動作;運(yùn)動單元為無人機(jī)動力裝置,主要由底座、控制器、電機(jī)、槳葉等部件組成。動力電機(jī)接受無人機(jī)上飛控板的指令,控制電機(jī)完成相應(yīng)動作,實(shí)現(xiàn)無人機(jī)對目標(biāo)的跟隨追蹤;捕網(wǎng)單元由捕網(wǎng)發(fā)射裝置和捕捉網(wǎng)組成,地面控制單元發(fā)出指令,使飛控板的某一電平輸出接口的高(低)電平變?yōu)榈停ǜ撸╇娖剑瑔硬毒W(wǎng)發(fā)射裝置,發(fā)射并張開捕捉網(wǎng);主控單元由地面控制單元和無人機(jī)上的飛控板組成,地面控制單元由一個具有ubuntu操作系統(tǒng)和ros(如ros?melodic)的電腦組成,飛控板為支持開源飛控固件如px4與(或)ardupilot且具有除電機(jī)控制接口外盈余的電平輸出接口的開源飛控板。
16、ros(robot?operating?system)是一個用于機(jī)器人軟件開發(fā)的框架,提供一套工具和庫來幫助開發(fā)者創(chuàng)建復(fù)雜而可靠的機(jī)器人行為。當(dāng)部署于無人機(jī)地面站時,ros通過mavlink通信協(xié)議與無人機(jī)飛控板進(jìn)行數(shù)據(jù)交換。mavlink是一種輕量級的消息傳遞協(xié)議,用于無人機(jī)和地面站之間的實(shí)時通信。通過ros節(jié)點(diǎn),地面站可以發(fā)送指令和接收無人機(jī)的狀態(tài)信息,實(shí)現(xiàn)對無人機(jī)的控制和監(jiān)控。
17、一種基于空對空視覺識別的反無人機(jī)方法,包括以下步驟:
18、s1、地面控制單元根據(jù)接收到的目標(biāo)識別信息,生成運(yùn)動控制指令,并進(jìn)行測距解算,生成捕網(wǎng)控制指令;
19、s2、向無人機(jī)飛控板發(fā)送控制指令;
20、s3、飛控板控制云臺單元的電機(jī)、無人機(jī)動力裝置的電機(jī)和捕網(wǎng)發(fā)射裝置。
21、優(yōu)選的,s1中的運(yùn)動控制指令通過運(yùn)動控制算法生成,具體為:運(yùn)動控制算法預(yù)測目標(biāo)物體的移動方向和速度,用于提前調(diào)整無人機(jī)的位置和姿態(tài);根據(jù)目標(biāo)的位置和預(yù)測路徑,規(guī)劃其飛行路徑,逐漸靠近目標(biāo),直至達(dá)到捕網(wǎng)位置;采用測距算法進(jìn)行測距解算,具體為:基于相似三角形的原理,?通過拍攝目標(biāo)物體的圖像,?利用圖像處理技術(shù)測量物體的像素寬度或高度,?結(jié)合相機(jī)的焦距和物體與相機(jī)之間的距離關(guān)系,計(jì)算物體與相機(jī)之間的距離;對于圖像中所識別的像素寬度為p的目標(biāo),假設(shè)其實(shí)際寬度為w,距目標(biāo)距離為d,則相機(jī)焦距為,已知相機(jī)焦距則得到目標(biāo)距離,?這種方法不需要復(fù)雜的立體視覺系統(tǒng)或多個相機(jī),?亦不需要額外安裝距離傳感器,因此成本較低,?且易于實(shí)現(xiàn)。
22、優(yōu)選的,s2中的控制指令的傳輸通過mavlink通信協(xié)議打包,地面控制單元創(chuàng)建ros?topic并發(fā)送至無人機(jī)飛控板,并進(jìn)行解碼獲取信息,通過電信號控制電機(jī)與捕網(wǎng)單元。
23、主控單元接收到目標(biāo)識別信息后,通過運(yùn)動控制算法生成運(yùn)動控制指令,控制無人機(jī)追隨目標(biāo)飛行,并控制云臺單元轉(zhuǎn)動使探測單元始終對準(zhǔn)目標(biāo);同時,通過測距算法檢測與目標(biāo)之間的距離,到達(dá)捕網(wǎng)單元有效范圍后發(fā)送捕網(wǎng)指令,捕獲目標(biāo)無人機(jī)。
24、因此,本發(fā)明采用上述一種基于空對空視覺識別的反無人機(jī)系統(tǒng)與方法,具備以下有益效果:
25、(1)將主控單元主要集中在地面平臺,無人機(jī)平臺上除普通無人機(jī)飛行時必需的飛控板外沒有冗余的用于控制的部件,減輕了無人機(jī)自重,大大提高了機(jī)動性,且使本反無人機(jī)系統(tǒng)既適用于普通無人機(jī),也尤其適用于具有“輕、小、快”特點(diǎn)的穿越機(jī);
26、(2)將捕網(wǎng)單元中測距模塊的功能和探測單元的功能由同一裝置實(shí)現(xiàn)(均是由攝像頭拍攝視頻畫面后傳輸至地面站,隨后由單目視覺算法或目標(biāo)識別算法解算),避免引入額外的測距傳感器等部件,提高系統(tǒng)集成化水平;
27、(3)執(zhí)行跟蹤任務(wù)時引入運(yùn)動測距算法,用于預(yù)測目標(biāo)物體可能的移動方向和速度,以便提前調(diào)整無人機(jī)的位置和姿態(tài),規(guī)劃接近目標(biāo)的飛行路徑。引入運(yùn)動估計(jì)的路徑規(guī)劃與姿態(tài)控制算法增加了運(yùn)動單元追蹤的準(zhǔn)確性和面對被追捕無人機(jī)的視頻流短暫失聯(lián)時追蹤的魯棒性;
28、(4)通過使用飛控板、捕捉網(wǎng)等裝置均為市面上易購得的產(chǎn)品,未引入復(fù)雜機(jī)構(gòu)或裝置,可利用較低的成本與簡單的人工操作實(shí)現(xiàn)無人機(jī)自主穩(wěn)定完成起飛、追蹤、捕獲任務(wù)。
29、下面通過附圖和實(shí)施例,對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。