多攝像機協(xié)同的無人機檢測、定位及跟蹤方法
【專利摘要】本發(fā)明涉及一種多攝像機協(xié)同的無人機檢測、定位及跟蹤方法，針對無人機著陸過程中，利用視覺進行無人機導航控制問題，基于多攝像機協(xié)同技術(shù)，實現(xiàn)了無人機著陸過程中的實時檢測、定位與跟蹤。首先利用全站儀進行大場景高精度的攝像機標定，然后在真實無人機著陸環(huán)境中機載合作標志燈成像特性的基礎(chǔ)上，基于極線約束的目標檢測方法進行無人機精確檢測，最后基于多攝像機立體視覺實現(xiàn)無人機的空間定位，并利用目標運動的時空連續(xù)性進行數(shù)據(jù)關(guān)聯(lián)完成無人機著陸過程的跟蹤。本發(fā)明的定位精度為：距著陸點400m處，XYZ方向的定位精度分別為20m、2m和2m；200米處，定位精度分別為5m、0.5m和0.5m；最后50米的定位精度均為0.2m。該系統(tǒng)定位測量總延時小于25ms，包括采集、傳輸和處理的時間。
【專利說明】 多攝像機協(xié)同的無人機檢測、定位及跟蹤方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種多攝像機目標檢測與定位跟蹤方法，具體為協(xié)同的無人機高精度目標檢測與定位跟蹤方法。

【背景技術(shù)】
[0002]無人機視覺導航技術(shù)是近年國際上迅速發(fā)展起來的一種新型導航技術(shù)。該技術(shù)通常在飛行器上安裝可見光/紅外攝像機或成像雷達對地面成像，或利用地基/艦基的攝像機對無人機拍攝圖像，利用立體視覺技術(shù)可以得到飛行器的位置、速度、姿態(tài)、高度和飛行方向等多種導航參數(shù)，從而為運動平臺提供導航信息。視覺導航技術(shù)具有自成體系、不易受干擾、無時間累積誤差、測量精度高、體積小、成本低、功耗小、可測參數(shù)多等諸多突出優(yōu)點，具有廣闊的應(yīng)用發(fā)展前景。無人機視覺導航技術(shù)用途廣泛，由于可以得到無人機自身的位置、高度、速度、姿態(tài)和飛行方向等多種導航參數(shù)，視覺導航技術(shù)在無人機的飛行控制、姿態(tài)確定和自主降落等領(lǐng)域起著重要的作用。目前，在無人機的自主著陸導航上應(yīng)用上，精確的視覺導航技術(shù)仍有許多問題要解決，如無人機的實時持續(xù)檢測，精確定位，以及持續(xù)跟蹤。


【發(fā)明內(nèi)容】

[0003]要解決的技術(shù)問題
[0004]目標檢測精度直接決定了目標定位精度，為了提高無人機的檢測精度，通常在無人上攜帶標志燈，但由于機載合作標志燈尺寸較小，當無人機從較遠處開始下滑著陸時，機載合作標志燈呈現(xiàn)小目標的特性。此外，實際環(huán)境中可能會受到強烈陽光、雜波、信號噪聲等不確定因素的影響，進而導致場景中的光照強度接近甚至超過小目標區(qū)域的光照強度，降低目標信噪比，給目標檢測帶來嚴峻困難。因而如何實現(xiàn)對小目標高精度、穩(wěn)定和實時的檢測跟蹤是本系統(tǒng)的難點問題之一。針對以上問題，本發(fā)明針對無人機著陸過程中，利用視覺進行無人機導航控制問題，發(fā)明了一種多攝像機協(xié)同的無人機高精度檢測、定位與跟蹤方法。
[0005]技術(shù)方案
[0006]一種多攝像機協(xié)同的無人機檢測、定位及跟蹤方法，其特征在于步驟如下:
[0007]步驟1:內(nèi)外參數(shù)標定:攝像機內(nèi)外參數(shù)標定:采用基于平面標定板的方法對攝像機進行內(nèi)參標定，確定攝像機內(nèi)參和基準點的空間坐標，計算基準點平面與攝像機成像平面之間的單應(yīng)變換H，將單應(yīng)矩陣H分解為旋轉(zhuǎn)矩陣R和平移向量T，完成外參標定；
[0008]步驟2:目標檢測:對相機采集的圖像進行簡單形態(tài)學預(yù)處理去除圖像上的噪聲，然后進行閾值分割，當圖像像素值大于分割閾值T為候選目標前景圖；對前景圖進行聚類，像素距離fpd(Pi，Pj)小于前景聚類窗J聚為一類Xi(i >0)，將每一個聚類的圖像質(zhì)心坐標確定為候選目標Xi在圖像中的坐標:
[0009]jp<1 (Pi, Pj)=小J); - Pj )2 +(/),' - Pj y
[0010]其中，P1、Pj為圖像像素點，(P.;，W)和(Pxj，P])分別為Pi，Pj像素點坐標值；
[0011]計算兩個攝像機采集的圖像之間的對稱轉(zhuǎn)移誤差，將其作為距離度量:
[0012]?/(.ν',-V:) = d{x), F1 x]) + d(.x), F.x))
[0013]其中，為第一個攝像機的候選目標集合，
/2 = {.Υι2，χ22，...，χ72，..?為第二個攝像機的候選目標集合，F(xiàn)為兩攝像機所成圖像的基本矩陣；求解兩個圖像之間的匹配矩陣D:

【權(quán)利要求】
1.一種多攝像機協(xié)同的無人機檢測、定位及跟蹤方法，其特征在于步驟如下: 步驟1:內(nèi)外參數(shù)標定:攝像機內(nèi)外參數(shù)標定:采用基于平面標定板的方法對攝像機進行內(nèi)參標定，確定攝像機內(nèi)參和基準點的空間坐標，計算基準點平面與攝像機成像平面之間的單應(yīng)變換H，將單應(yīng)矩陣H分解為旋轉(zhuǎn)矩陣R和平移向量T，完成外參標定； 步驟2:目標檢測:對相機采集的圖像進行簡單形態(tài)學預(yù)處理去除圖像上的噪聲，然后進行閾值分割，當圖像像素值大于分割閾值T為候選目標前景圖；對前景圖進行聚類，像素距離Fpd(PuPj)小于前景聚類窗J聚為一類XiQ >0)，將每一個聚類的圖像質(zhì)心坐標確定為候選目標Xi在圖像中的坐標:
fPAp； ’ Pi) = ^(p--p])2+(p；-p:y 其中，P1、Pj為圖像像素點，(P P )和(g，Pj )分別為Pi，Pj像素點坐標值； 計算兩個攝像機采集的圖像之間的對稱轉(zhuǎn)移誤差，將其作為距離度量: ?/(-ν',.V:) = d{.\) ,F1X21) + c/(.v' ? Fx)) 其中，αχ?,-Η’χ?,.-.χ?}為第一個攝像機的候選目標集合，/2=彳.^，一，^，?乂}為第二個攝像機的候選目標集合，F(xiàn)為兩攝像機所成圖像的基本矩陣；求解兩個圖像之間的匹配矩陣D:
ft?(xj, X12) d(x\,xl)...d(x\,x])
? (/(xi’xf) d(x\,x'；)…d (χι7, X1') D= ^*~
_6?(Κ) d{xl,x；)…d{xlm,x])_ 采用匈牙利算法求解匹配矩陣D獲得t時刻的全局最優(yōu)匹配結(jié)果作為檢測定位結(jié)果Qt ； 步驟3:目標定位:對如下目標函數(shù)進行最大似然估計:
C(x, x') = d(x, x)'2 + d(x!, i;)2subject to x'TFx = 0 其中，A和；T為攝像機C與C'對應(yīng)圖像上的觀測點，f和;T為精確滿足對極幾何約束的對應(yīng)觀測點附近的點,d(*，*)代表圖像點之間的歐氏距離；首先通過DLT(Direct LinearTransform)求得&和#初始值，然后利用LM非線性優(yōu)化算法對初始值進行迭代優(yōu)化，可得最終的定位結(jié)果； 步驟4:目標跟蹤:采用定位結(jié)果在三維空間中的歐氏距離作為距離度量，定義歷史結(jié)果？T (i = 1,2,…，P)和當前觀測(j = 1,2,…，q)之間的距離為:
d(T;，XtJhl) = ^jixr1-XtJ1Y +(y'1-Jy+1)" +(z'1-Zt^y 其中，(χ；,γ；,ζ；)為f的空間坐標，(4+1,vf,zf)力X的空間坐標；采用匈牙利算法進行定位結(jié)果的數(shù)據(jù)關(guān)聯(lián)，求解全局最優(yōu)的數(shù)據(jù)關(guān)聯(lián)結(jié)果。
2.根據(jù)權(quán)利要求1所述的多攝像機協(xié)同的無人機檢測、定位及跟蹤方法，其特征在于分割閾值Te [40，100]，前景聚類窗J e [40，100]。
【文檔編號】G01C21/00GK104197928SQ201410436431
【公開日】2014年12月10日 申請日期:2014年8月29日 優(yōu)先權(quán)日:2014年8月29日
【發(fā)明者】楊濤, 張艷寧, 卓濤, 陳挺, 冉令燕, 張曉強, 余瑞 申請人:西北工業(yè)大學