頭；η個(gè)無(wú)人機(jī)通過(guò)各自的飛行通信模塊將所獲圖像數(shù)據(jù)進(jìn)行編碼，再封裝形成TCP包后利用自身的TCP5555端口發(fā)送給地面通信模塊的TCP5555端口 ；
[0032]地面通信模塊TCP5555端口接收TCP包，并將之傳遞給輸入模塊進(jìn)行預(yù)處理，獲得Η264基本圖像，并將Η264基本圖像發(fā)送給FFMPEG模塊；Η264基本圖像以幀的形式存在，在這些圖像發(fā)送之前已經(jīng)由無(wú)人機(jī)按照FFMPEG協(xié)議對(duì)其進(jìn)行編碼；
[0033]如圖3所示，F(xiàn)FMPEG模塊通過(guò)調(diào)用FFMPEG解碼包對(duì)對(duì)所接收的Η264基本圖像進(jìn)行解碼處理得到圖像識(shí)別模塊所需的圖像幀；同時(shí)FFMPEG模塊會(huì)對(duì)得到的圖像幀進(jìn)行讀取并將之組裝形成視頻流后發(fā)送給視頻顯示模塊用于實(shí)時(shí)顯示；
[0034]圖像識(shí)別模塊對(duì)所接收的圖像幀進(jìn)行二值化處理，獲得黑白圖像；對(duì)黑白圖像利用循環(huán)校正算法來(lái)獲得識(shí)別目標(biāo)；對(duì)識(shí)別目標(biāo)采用質(zhì)心比對(duì)算法獲取目標(biāo)的實(shí)際質(zhì)心，并將實(shí)際質(zhì)心與所設(shè)定的質(zhì)心閾值進(jìn)行求差，獲得調(diào)整量將之發(fā)送給指令生成模塊；具體實(shí)施中，整個(gè)圖像識(shí)別主要包括三大過(guò)程。如圖4所示，首先，是啟動(dòng)Matlab軟件并初始化其相關(guān)的運(yùn)行環(huán)境，包括進(jìn)程設(shè)置、讀取圖片、重定圖片大?。蝗缓笸ㄟ^(guò)二值法對(duì)該圖片進(jìn)行處理，使其從彩色圖片轉(zhuǎn)化為黑白圖片，并調(diào)用zeros函數(shù)創(chuàng)建初始零矩陣、調(diào)用graythresh函數(shù)使用最大類間方差法計(jì)算紅綠藍(lán)三色閾值進(jìn)而利用閾值進(jìn)行二值化、調(diào)用strel函數(shù)進(jìn)行最終閉運(yùn)算，由此過(guò)程確定出圖像中目標(biāo)物體，由最終二值化圖像計(jì)算出目標(biāo)質(zhì)心，圖像目標(biāo)質(zhì)心即為整個(gè)目標(biāo)物體的中心；最后通過(guò)比對(duì)圖像質(zhì)心與程序所計(jì)算出的預(yù)設(shè)中心，一般默認(rèn)為飛行器視野的正中心位置；地面控制站通過(guò)對(duì)比目標(biāo)質(zhì)心與預(yù)設(shè)中心來(lái)計(jì)算出每單位時(shí)間移動(dòng)最佳位置，從而來(lái)確定飛行所需調(diào)整量。整個(gè)圖像識(shí)別是一個(gè)周而復(fù)始，持續(xù)進(jìn)行的一個(gè)循環(huán)校正過(guò)程。
[0035]指令生成模塊利用監(jiān)視器來(lái)接收調(diào)整量并對(duì)調(diào)整量進(jìn)行AT指令的轉(zhuǎn)義，并將之發(fā)送給輸出模塊；具體實(shí)施中，指令生成主要通過(guò)Java程序，進(jìn)行調(diào)整量到AT指令的轉(zhuǎn)化。首先通過(guò)端口監(jiān)視器來(lái)監(jiān)視調(diào)整量的輸入，通過(guò)函數(shù)將調(diào)整量換算成實(shí)時(shí)移動(dòng)速度與每次移動(dòng)所需時(shí)間等重要參數(shù)再通過(guò)腳本寫(xiě)入AT指令。
[0036]輸出模塊對(duì)所接收到的轉(zhuǎn)義后的AT指令進(jìn)行封裝，形成指令數(shù)據(jù)包后利用地面通信模塊的UDP5556端口發(fā)送給飛行通信模塊的UDP5556端口 ；具體實(shí)施中，輸出模塊會(huì)將AT指令包裝在datagram數(shù)據(jù)包中，調(diào)用相關(guān)線程來(lái)進(jìn)行指令數(shù)據(jù)包的發(fā)送。之后，這些數(shù)據(jù)包將由輸出模塊完成網(wǎng)絡(luò)傳輸協(xié)議要求的數(shù)據(jù)格式修改。輸出模塊會(huì)將其發(fā)送到通信網(wǎng)絡(luò)進(jìn)行傳輸，來(lái)實(shí)現(xiàn)控制指令的發(fā)送。
[0037]飛行通信模塊的UDP5556端口從所接收的指令數(shù)據(jù)包中提取AT指令，并根據(jù)AT指令執(zhí)行飛行任務(wù)，實(shí)現(xiàn)自主飛行。
[0038]具體實(shí)施中，如圖2所示，η個(gè)飛行通信模塊和一個(gè)地面通信模塊按如下步驟建立通信連接:
[0039]步驟2.1、η個(gè)飛行通信模塊各自創(chuàng)建一個(gè)SSID網(wǎng)絡(luò)的名稱，并設(shè)置SSID網(wǎng)絡(luò)的IP地址；例如，具體實(shí)施中，首先由飛行器作為長(zhǎng)機(jī)創(chuàng)建名為ardrone2_xxx，IP為192.168.1.1 的網(wǎng)絡(luò)。
[0040]步驟2.2、地面通信模塊連接到IP地址中，通過(guò)飛行器DHCP服務(wù)器，獲得飛行通信模塊分配的地面IP地址；
[0041]步驟2.3、其它飛行器作為僚機(jī)連接到長(zhǎng)機(jī)所建網(wǎng)絡(luò)后，長(zhǎng)機(jī)為地面通信模塊與各僚機(jī)分配傳輸端口用于相關(guān)數(shù)據(jù)的傳輸，即η個(gè)飛行通信模塊為地面通信模塊分配相應(yīng)的UDP5556端口與TCP5555端口，從而實(shí)現(xiàn)數(shù)據(jù)傳輸；并有，UDP5556端口負(fù)責(zé)發(fā)送包含AT指令的指令數(shù)據(jù)包；TCP5555端口負(fù)責(zé)傳輸包含環(huán)境圖像的TCP包。
【主權(quán)項(xiàng)】
1.一種基于圖像識(shí)別的無(wú)人機(jī)自主飛行系統(tǒng)，是應(yīng)用于由η個(gè)無(wú)人機(jī)和一個(gè)地面指揮中心構(gòu)成的自主飛行任務(wù)中；其特征是包括:飛行通信模塊、地面通信模塊、輸入模塊、FFMPEG模塊、視頻顯示模塊、圖像識(shí)別模塊、指令生成模塊和輸出模塊；所述飛行通信模塊和地面通信模塊均包括UDP5556端口與TCP5555端口 ； 所述η個(gè)無(wú)人機(jī)通過(guò)自帶的前置攝像頭各自獲取環(huán)境圖像，并通過(guò)各自的飛行通信模塊進(jìn)行編碼和封裝形成TCP包后利用自身的TCP5555端口發(fā)送給所述地面通信模塊的TCP5555 端 P ； 所述地面通信模塊TCP5555端口接收所述TCP包并傳遞給所述輸入模塊進(jìn)行預(yù)處理，獲得Η264基本圖像，并將所述Η264基本圖像發(fā)送給FFMPEG模塊； 所述FFMPEG模塊通過(guò)調(diào)用FFMPEG解碼包對(duì)所接收的Η264基本圖像進(jìn)行解碼處理獲得圖像幀，再將所述圖像幀發(fā)送給圖像識(shí)別模塊，同時(shí)所述FFMPEG模塊對(duì)所述圖像幀進(jìn)行組裝形成視頻流后發(fā)送給所述視頻顯示模塊用于實(shí)時(shí)顯示； 所述圖像識(shí)別模塊對(duì)所接收的圖像幀進(jìn)行二值化處理，獲得黑白圖像；對(duì)所述黑白圖像利用循環(huán)校正算法來(lái)獲得識(shí)別目標(biāo)；對(duì)所述識(shí)別目標(biāo)采用質(zhì)心比對(duì)算法獲取目標(biāo)的實(shí)際質(zhì)心，并將所述實(shí)際質(zhì)心與所設(shè)定的質(zhì)心閾值進(jìn)行求差，獲得調(diào)整量后發(fā)送給所述指令生成模塊； 所述指令生成模塊利用監(jiān)視器來(lái)接收所述調(diào)整量并對(duì)所述調(diào)整量進(jìn)行AT指令的轉(zhuǎn)義后發(fā)送給所述輸出模塊； 所述輸出模塊對(duì)所接收到的轉(zhuǎn)義后的AT指令進(jìn)行封裝，形成指令數(shù)據(jù)包后利用所述地面通信模塊的UDP5556端口發(fā)送給所述飛行通信模塊的UDP5556端口 ； 所述飛行通信模塊的UDP5556端口從所接收的指令數(shù)據(jù)包中提取AT指令，并根據(jù)所述AT指令執(zhí)行自主飛行任務(wù)。
2.根據(jù)權(quán)利要求1所述的基于圖像識(shí)別的無(wú)人機(jī)自主飛行系統(tǒng)，其特征是，所述η個(gè)飛行通信模塊和一個(gè)地面通信模塊按如下步驟建立通信連接: 步驟2.1、所述η個(gè)飛行通信模塊各自創(chuàng)建一個(gè)SSID網(wǎng)絡(luò)的名稱，并設(shè)置所述SSID網(wǎng)絡(luò)的IP地址； 步驟2.2、所述地面通信模塊連接到所述IP地址中，從而獲得所述飛行通信模分配的地面IP地址； 步驟2.3、所述η個(gè)飛行通信模塊為所述地面通信模塊分配相應(yīng)的UDP5556端口與TCP5555端口，從而實(shí)現(xiàn)數(shù)據(jù)傳輸；并有，所述UDP5556端口負(fù)責(zé)發(fā)送包含AT指令的指令數(shù)據(jù)包；所述TCP5555端口負(fù)責(zé)傳輸包含環(huán)境圖像的TCP包。
【專利摘要】本發(fā)明公開(kāi)了一種基于圖像識(shí)別的無(wú)人機(jī)自主飛行系統(tǒng)，是應(yīng)用于由n個(gè)無(wú)人機(jī)和一個(gè)地面指揮中心構(gòu)成的自主飛行任務(wù)中；其特征是包括：飛行通信模塊、地面通信模塊、輸入模塊、FFMPEG模塊、視頻顯示模塊、圖像識(shí)別模塊、指令生成模塊和輸出模塊；飛行通信模塊和地面通信模塊均包括UDP5556端口與TCP5555端口。本發(fā)明無(wú)人機(jī)在自主飛行時(shí)，能根據(jù)隨機(jī)發(fā)生的環(huán)境變化做出更及時(shí)應(yīng)答和調(diào)整，以確保無(wú)人機(jī)自主飛行的穩(wěn)定與靈活。
【IPC分類】G05D1-00
【公開(kāi)號(hào)】CN104765360
【申請(qǐng)?zhí)枴緾N201510145333
【發(fā)明人】羅賀, 石夢(mèng)堃, 劉浩, 孫海勝, 徐相杰, 李旭, 曹杰, 秦英祥
【申請(qǐng)人】合肥工業(yè)大學(xué)
【公開(kāi)日】2015年7月8日
【申請(qǐng)日】2015年3月27日