基于機器視覺和超寬帶定位技術的無人機目標追蹤系統(tǒng)的制作方法
【技術領域】
[0001 ] 本發(fā)明涉及無人機目標跟蹤和圖像處理領域，特別是涉及一種無人機目標追蹤系統(tǒng)。
【背景技術】
[0002]在民用領域，微型無人機可用于各類監(jiān)測、監(jiān)控、巡視、搜救、攝影、測繪、調查和考察。比如環(huán)境監(jiān)測、災情監(jiān)測、交通道路監(jiān)控、邊境巡邏與控制、毒品禁運、農業(yè)勘測、大型牧場巡邏、城區(qū)監(jiān)視和航空攝影等。在實際使用中，無人機時常面臨著跟蹤低速目標的需求，這些需求來自于交通管制中的違規(guī)車輛、體育攝影中的特定運動員、安防監(jiān)測中的入侵對象、野生動物保護的受傷動物等。
[0003]但是，目前常用的無人機都需要人工手動遙控。其操作難度高，自動化程度低，飛行不穩(wěn)定。這些都限制了無人機在上述民用領域的發(fā)展。國外很多實驗室和大學都有旋翼無人機研究項目，但是發(fā)展在復雜環(huán)境中全自主飛行仍然是個挑戰(zhàn)。研究具有自動飛行、視頻傳輸、行人檢測、目標追蹤等功能無人機目標追蹤系統(tǒng)，在體育攝影、野生動物保護監(jiān)測、城市空中交通監(jiān)控、工業(yè)園區(qū)安防監(jiān)控中都可以發(fā)揮巨大的作用，其社會效益和經(jīng)濟效益巨大。因此，研究自動化程度高、能自動飛行的無人機十分有意義。

【發(fā)明內容】

[0004]本發(fā)明的目的是提供一種基于機器視覺和超寬帶定位(UWB)技術的無人機目標追蹤系統(tǒng)，其包括地面控制平臺和無人機跟蹤器。使該系統(tǒng)無人機跟蹤器自己進行圖像處理并且自動跟蹤運動目標，將拍攝到的圖像回傳到地面站，地面控制平臺選取目標然后發(fā)指令給無人機。從而實現(xiàn)了無人機自動跟蹤目標的功能。提高跟蹤的準確率和實時性，節(jié)省勞動力。
[0005]為了解決上述目的，本發(fā)明的技術解決方案是:一種基于機器視覺和超寬帶定位技術的無人機目標追蹤系統(tǒng)，其特征在于，包括:地面控制平臺和無人機跟蹤器。其中地面控制平臺包括:(I)飛行控制軟件、(2)數(shù)據(jù)傳輸模塊、(3)視頻顯示界面；無人機跟蹤器包括:(4)微處理器、(5) FPGA, (6)定位模塊、(7)機載傳感器、(8)智能視覺模塊、(9)飛行控制模塊、(10)數(shù)據(jù)傳輸模塊。
[0006]所述的地面控制平臺，其所述的飛行控制軟件由登錄界面和系統(tǒng)控制面板組成。登錄界面完成用戶管理；系統(tǒng)控制面板提供無人機飛行器引擎啟動、停機、高度鎖定、機頭方向鎖定、動力加速值、高度等控制鍵，并提供攝像頭轉向控制旋鈕、開啟無線通信鏈路等按鍵功能、回傳航拍圖像。
[0007]所述的地面控制平臺，其所述的數(shù)據(jù)傳輸模塊建立在WLAN網(wǎng)絡上實現(xiàn)數(shù)據(jù)鏈路，采用TCP協(xié)議與無人機目標跟蹤器進行數(shù)據(jù)交互。
[0008]所述的地面控制平臺，其所述的視頻顯示界面根據(jù)接收數(shù)據(jù)提供無人機目標跟蹤器在超寬帶定位坐標系中坐標的實時顯示以目標的實時圖像顯示。
[0009]所述的無人機跟蹤器，其所述的微處理器采用Intel公司的E6X5C處理器，在微處理器中嵌入Linux操作系統(tǒng)。通過數(shù)據(jù)傳輸模塊接收到地面控制平臺的指令，根據(jù)指令的內容執(zhí)行相應的動作，包括開啟視頻傳輸、控制智能視覺模塊完成視覺的智能采集、與FPGA協(xié)調工作完成圖像處理與自動識別目標等，并傳輸數(shù)據(jù)給飛行控制模塊。
[0010]所述的無人機跟蹤器，其所述的FPGA直接采用嵌入在E6X5C處理器中FPGA資源。FPGA通過對機載傳感器數(shù)據(jù)進行融合計算，然后將控制量以特定控制協(xié)議發(fā)送給微處理器進而控制飛行控制模塊進行飛行姿態(tài)調節(jié)與控制，從而實現(xiàn)對無人機的多自由度飛行控制。在FPGA實現(xiàn)HOG特征與SVM相結合的快速目標檢測算法來檢測采集到圖像中的目標，同時在FPGA上實現(xiàn)改進型的TLD目標追蹤算法實現(xiàn)對檢測到的目標進行實行圖像捕捉與跟蹤。在FPGA上構造硬件卡爾曼濾波模塊結合定位模塊的數(shù)據(jù)實現(xiàn)無人機跟蹤器的超寬帶定位。同時在FPGA中植入N1s II軟核，采用UC / OS-1I搶占式操作系統(tǒng)相結合的方式協(xié)調FPGA各算法模塊間以及FPGA與微處理器間的工作。
[0011]所述的無人機跟蹤器，其定位模塊采用超寬帶定位(UWB)技術實時監(jiān)測無人機跟蹤的基于地面坐標系的超寬帶定位坐標，并將坐標數(shù)據(jù)傳輸給FPGA進行處理。
[0012]所述的無人機跟蹤器，其機載傳感器由電子羅盤、加速度計、氣壓計、陀螺儀構成。實時監(jiān)控無人機飛行器自身的參數(shù):飛行角度、高度、加速度等狀態(tài)信息。
[0013]所述的無人機跟蹤器，其智能視覺模塊采用工業(yè)攝像頭，按照微處理器的智能設定負責視頻圖像采集，并將采集到的視頻圖像數(shù)據(jù)傳輸微處理器交由FPGA進行數(shù)據(jù)圖像分析和處理。
[0014]所述的無人機跟蹤器，其飛行控制模塊驅動無人機的6個電機旋轉，通過控制轉速的不同，可以實現(xiàn)自動定高以及向各個方向飛行的功能，飛行控制模塊還包含一塊高精度氣壓計，在飛行的同時根據(jù)氣壓計返回的數(shù)據(jù)結合PID算法來控制電機的轉速，保證飛行的時候能穩(wěn)定在同一高度。
[0015]所述的無人機跟蹤器，其數(shù)據(jù)傳輸模塊建立在WLAN網(wǎng)絡上實現(xiàn)數(shù)據(jù)鏈路，采用TCP協(xié)議與無地面控制平臺進行數(shù)據(jù)交互，與地面控制平臺的數(shù)據(jù)傳輸模塊共同組成了本發(fā)明系統(tǒng)的通信網(wǎng)絡。
[0016]本發(fā)明通過地面控制平臺發(fā)送目標跟蹤指令，無人機跟蹤器接收到目標跟蹤指令后將智能視覺模塊采集到的圖像采用HOG特征與SVM相結合的快速目標檢測算法來自動識別目標在圖像坐標系中的位置；同時，讀取定位模塊與機載傳感器的數(shù)據(jù)，采用改進的TLD算法進行處理，通過姿態(tài)導調算法規(guī)劃出飛行路線自動對目標進行視覺跟蹤，將目標運動圖像下發(fā)至地面控制平臺從而實現(xiàn)對運動目標的自動視覺跟蹤。自動化程度高、易于操作、精度高、實時跟蹤性能優(yōu)越、空間坐標數(shù)字化。
【附圖說明】
[0017]圖1是本發(fā)明的無人機目標追蹤系統(tǒng)的結構不意圖；
[0018]圖2是微處理器的Linux主程序流程圖；
[0019]圖3是FPGA內部模塊以及與外部的連接；
[0020]圖4是全自動目標檢測追蹤過程示意圖；
【具體實施方式】
[0021]本發(fā)明提供了一種基于機器視覺和超寬帶定位技術的無人機目標追蹤系統(tǒng)，圖1示出了本發(fā)明的無人機目標追蹤系統(tǒng)的結構示意圖。下面結合附圖和實例對本發(fā)明進一步說明。
[0022]如圖1中所示，基于機器視覺和超寬帶定位技術的無人機目標追蹤系統(tǒng)包括地面控制平臺SI和無人機跟蹤器S2。地面控制平臺SI由飛行控制軟件、數(shù)據(jù)傳輸模塊和視頻顯示界面組成。無人機跟蹤器由微處理器、FPGA、定位模塊、機載傳感器、智能視覺模塊、飛行控制模塊、數(shù)據(jù)傳輸模塊組成。下面分別對地面控制平臺SI和無人機跟蹤器S2的配置和功能作詳細描述。
[0023]如圖1中所示，地面控制平臺由飛行控制軟件、數(shù)據(jù)傳輸模塊和視頻顯示界面組成?；赒t4編寫的飛行控制軟件是整個地面控制平臺的核心，設計了用戶管理，無人機飛行器引擎啟動、停機、高度鎖定、機頭方向鎖定、動力加速值、高度功能；并提供攝像頭轉向控制旋鈕、開啟無線通信鏈路、回傳航拍圖像、設定跟蹤目標功能；同時控制視頻顯示界面根據(jù)接收數(shù)據(jù)提供無人機目標跟蹤器在超寬帶定位坐標系中坐標的實時顯示以目標的實時圖像顯示；所有的指令和數(shù)據(jù)和指令傳輸通過地面控制平臺的數(shù)據(jù)傳輸模塊與無人機跟蹤器的數(shù)據(jù)傳輸模塊建立的無線通信網(wǎng)絡實現(xiàn)。
[0024]地面控制平臺的數(shù)據(jù)傳輸模塊與無人機跟蹤器的數(shù)據(jù)傳輸模塊通過在WLAN網(wǎng)絡上實現(xiàn)整個目標追蹤系統(tǒng)數(shù)據(jù)鏈路，采用TCP協(xié)議進行數(shù)據(jù)交互。設置了四個通信端口:端口 I，航拍視頻回傳；端口 2,接收待追蹤的運動目標的bounding box(在序列圖像中的區(qū)域)；端口 3,控制指令傳輸；端口 4,傳感器數(shù)據(jù)與UWB坐標傳輸。
[0025]如圖1中所示，無人機跟蹤器由微處理器、FPGA、定位模塊、機載傳感器、智能視覺模塊、飛行控制模塊、數(shù)據(jù)傳輸模塊組成。微處理器和FPGA作為無人機跟蹤器的主控中心，采用Intel公司的E6X5C處理器，它集成了微處理器和FPGA在一塊芯片上。在微處理器中嵌入Linux操作系統(tǒng)，在FPGA中植入N1s II軟核并嵌入UC / OS-1I搶占式操作系統(tǒng)。
[0026]微處理器通過串口與智能視覺模塊、飛行控制模塊、數(shù)據(jù)傳輸模塊進行數(shù)據(jù)交互，與FPGA通過PCI接口相連。為了最大限度的提升處理器的性能，在微處理器上的嵌入式操作系統(tǒng)Linux采用多線程編程，控制智能視覺的采集與傳輸、控制數(shù)據(jù)傳輸模塊的無線數(shù)據(jù)通信、控制與各個模塊間以及FPGA的串口的通信。Linux主程序如圖2所示，當無人機跟蹤器的數(shù)據(jù)傳輸模塊接收到地面控制平臺的指令，微處理器主程序根據(jù)指令內容執(zhí)行相應的動作，包括開啟視頻傳輸、控制智能視覺模塊完成視頻的智能采集、與F