本發(fā)明主要屬于圖像處理、計算機視覺領(lǐng)域，具體涉及一種基于TLD的適用于無人機的變尺度目標(biāo)跟蹤方法。

背景技術(shù)：

目標(biāo)跟蹤技術(shù)在軍用無人機作戰(zhàn)偵察，精確打擊領(lǐng)域均有廣泛的應(yīng)用，也為目標(biāo)定位，毀傷評估等情報處理功能提供技術(shù)支持。準(zhǔn)確性強，魯棒性高的目標(biāo)跟蹤算法，可以有效減輕地面操作人員的負(fù)擔(dān)，提高快速響應(yīng)作戰(zhàn)能力以及系統(tǒng)偵查能力。

目前工程運用中，運用最多的即為相關(guān)跟蹤算法，該算法易于硬件實現(xiàn)，簡單有效，處理速度也很可觀，但算法魯棒性不強，且不能對目標(biāo)尺度變化及遮擋情況進行判斷和捕捉。此外一些其他的較為常用的目標(biāo)跟蹤算法有中值光流法，TLD(Tracking-Learning-Detection)算法，LCT(Long-term Correlation Tracking)算法等。中值光流法是對傳統(tǒng)LK光流法的改進，通過正反雙向應(yīng)用光流法提高光流跟蹤的精度，但在視頻抖動時誤差較大。TLD算法通過在線學(xué)習(xí)的方式，采用PN學(xué)習(xí)的策略結(jié)合中值光流法和在線級聯(lián)分類器，可實現(xiàn)長時間目標(biāo)跟蹤，但跟蹤效率低，320*240分辨率大小的圖像在后期的處理速度僅為5fps。LCT算法通過在高速相關(guān)跟蹤的基礎(chǔ)上，通過設(shè)立外觀模型進行遮擋判斷檢測，在線SVM分類器進行目標(biāo)重捕，也可實現(xiàn)對目標(biāo)的長時間跟蹤，目標(biāo)丟失后的重捕準(zhǔn)確率較TLD算法不足，實時性有所提高，每秒可達(dá)10fps左右。

以上算法在日常監(jiān)控領(lǐng)域均取得了很好的跟蹤效果，但是在無人機偵查處理系統(tǒng)中，由于航拍時種種條件的限制無法獲得較好的推廣和應(yīng)用。

在無人機視頻處理系統(tǒng)中目標(biāo)跟蹤技術(shù)主要面臨以下問題：

1)目標(biāo)指定方式，無人機偵察時往往操作時只能點選目標(biāo)的大概位置，無法給定準(zhǔn)確的目標(biāo)矩形框；

2)無人機航拍視頻中，目標(biāo)所占像素數(shù)不足，且在整個畫面中比例較小，紋理特征不明顯；

3)無人機航拍視頻中，由于拍攝圖像受載荷及飛機姿態(tài)的影響，導(dǎo)致目標(biāo)角度尺度變化明顯。

4)在現(xiàn)有硬件處理基礎(chǔ)上，如何保證跟蹤實時性；

技術(shù)實現(xiàn)要素：

基于上述問題，本發(fā)明提供一種基于TLD框架下的適用于無人機的目標(biāo)跟蹤方法，基于無人機偵查視頻序列的特點和難點，統(tǒng)籌算法的性能和適應(yīng)性，融合中值光流法以及相關(guān)跟蹤算法的優(yōu)點，解決了無人機視頻處理系統(tǒng)目標(biāo)跟蹤的諸多問題。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

一種基于TLD的適用于無人機的目標(biāo)跟蹤方法，所述目標(biāo)跟蹤方法基于TLD算法，所述TLD算法包括跟蹤器、檢測器及學(xué)習(xí)器，學(xué)習(xí)器基于kNN分類器；所述目標(biāo)跟蹤方法包括以下步驟：

(1)初始化跟蹤器、檢測器及學(xué)習(xí)器；

(2)跟蹤器采用中值光流法依據(jù)初始位置預(yù)測當(dāng)前幀目標(biāo)的位置作為目標(biāo)跟蹤結(jié)果，跟蹤器同時依據(jù)目標(biāo)跟蹤結(jié)果判斷跟蹤成功或跟蹤失?。?/p>

(3)檢測器采用以目標(biāo)為模板，利用歸一化相關(guān)算法對搜索區(qū)域進行相關(guān)運算計算歸一化相關(guān)系數(shù)，得到目標(biāo)檢測結(jié)果，檢測器同時依據(jù)目標(biāo)檢測結(jié)果判斷檢測成功或檢測失??；

(4)學(xué)習(xí)器將所述目標(biāo)跟蹤結(jié)果和所述目標(biāo)檢測結(jié)果分別與待測目標(biāo)進行匹配得出歸一化相關(guān)系數(shù)，依據(jù)最大相關(guān)系數(shù)選擇目標(biāo)跟蹤結(jié)果或目標(biāo)檢測結(jié)果或目標(biāo)跟蹤結(jié)果和目標(biāo)檢測結(jié)果的均值作為目標(biāo)最終結(jié)果；

(5)學(xué)習(xí)器根據(jù)目標(biāo)最終結(jié)果確定目標(biāo)旋轉(zhuǎn)角度及目標(biāo)縮放系數(shù)；

(6)結(jié)合目標(biāo)最終結(jié)果、目標(biāo)旋轉(zhuǎn)角度及尺度變化更新學(xué)習(xí)器、跟蹤器和檢測器，進行下一步目標(biāo)跟蹤。

進一步地，步驟(3)具體為：

對模板圖像進行延拓、濾波，再將其與輸入圖像做卷積運算，卷積計算結(jié)果做逆傅里葉變換，利用歸一化相關(guān)算法獲得整幅圖像各個點的歸一化相關(guān)系數(shù)，最大歸一化相關(guān)系數(shù)所對應(yīng)的位置為檢測目標(biāo)所在位置即目標(biāo)檢測結(jié)果；

對模板圖像進行延拓是指通過將模板圖像邊緣補0使模板圖像的大小擴大到和輸入圖像的大小一致。

進一步地，步驟(5)具體為：

將每幀目標(biāo)最終結(jié)果作為正樣本模型，將所有正樣本模型的圖像大小縮放至同一大?。?/p>

同時分別設(shè)立不同角度的正樣本模型，即以初始幀為0度，對正樣本模型進行放射變換，每隔θ度為一組，得到360/θ組正樣本模型；θ為360的約數(shù)；優(yōu)選地，θ為30。

選取上一幀遠(yuǎn)離目標(biāo)區(qū)域的N個圖像塊作為負(fù)樣本模型，同樣將負(fù)樣本模型的圖像大小縮放至與正樣品模型的圖像大小一致；N取150-300；優(yōu)選地，N取200；

所述學(xué)習(xí)器基于kNN分類器,計算待比對圖像同正樣本模型和負(fù)樣本模型的歸一化相關(guān)系數(shù),依據(jù)歸一化相關(guān)系數(shù)排序，取其中最高的k個樣本模型，k為奇數(shù)；

如果樣品類別中正樣本模型數(shù)目大于負(fù)樣本模型數(shù)目，則表明待檢測圖像為目標(biāo)，否則認(rèn)為待檢測圖像為干擾區(qū)域；

在確定待檢測圖像為目標(biāo)后，比對相鄰兩組正樣本模型，計算其歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者組別的角度定為目標(biāo)當(dāng)前旋轉(zhuǎn)角度；

以待檢測圖像中心為中心，分別取大小為待檢測圖像不同倍數(shù)(γ₁，γ₂，γ₃)區(qū)域作為新的待檢測圖像計算其在正樣本模型中的歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者作為最終結(jié)果，并獲得此時倍數(shù)γ作為目標(biāo)縮放系數(shù)，γ為γ₁、γ₂、γ₃其中之一；γ₁、γ₂、γ₃分別取1.05～1.2、1、0.8～0.95。優(yōu)選地，γ₁、γ₂、γ₃分別取1.1、1、0.9。

進一步地，步驟(4)具體為：

若跟蹤器和檢測器均成功，判斷兩者跟蹤結(jié)果是否近似相同；

所述近似相同是指目標(biāo)跟蹤結(jié)果的矩形框與目標(biāo)檢測結(jié)果的矩形框的重載率>a或兩矩形框的中心點距離小于d；所述重載率即兩矩形框的重載率為其交集與其并集的比；

學(xué)習(xí)器根據(jù)kNN分類器計算待匹配樣本同正樣本模型中的最大相關(guān)系數(shù)即匹配率，同時判斷是否發(fā)生遮擋；

若近似相同，取匹配率較高的結(jié)果作為目標(biāo)最終結(jié)果，同時更新最近鄰檢測器；

若重載率<b，則認(rèn)為兩者檢測結(jié)果不同，此時取匹配率較高同時kNN分類器判斷未被遮擋的結(jié)果為目標(biāo)最終結(jié)果；

若重載率大于b但小于a時，取目標(biāo)跟蹤結(jié)果與目標(biāo)檢測結(jié)果的均值作為目標(biāo)最終結(jié)果；

若跟蹤器和檢測器僅有一個成功，則使用kNN分類器對結(jié)果判斷，未被遮擋則作為目標(biāo)最終結(jié)果；

其中，a取0.5-0.8；b取0.2-0.4；d取3-6個像素。優(yōu)選地，a取0.7，b取0.4，d取4個像素。

進一步地，步驟(2)具體為：

在圖像中生成一系列待跟蹤點，首先進行一次金字塔光流跟蹤；

再生成目標(biāo)跟蹤點后，再將當(dāng)前幀作為初始幀，反向跟蹤；

取所有跟蹤點的位置與原始跟蹤點的位置偏差的均值為middleError,如果得到跟蹤點的位置與原始跟蹤點偏差>middleError則認(rèn)為跟蹤不準(zhǔn)確，將跟蹤準(zhǔn)確的跟蹤點組合到一起，并由初始位置預(yù)測得到當(dāng)前幀目標(biāo)的位置即目標(biāo)跟蹤結(jié)果；

當(dāng)跟蹤準(zhǔn)確點的數(shù)目小于所有跟蹤點數(shù)目的一半時，則判斷跟蹤失敗。

進一步地，歸一化相關(guān)系數(shù)的計算公式如下：

其中：

T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑_x″y″T(x″，y″）

I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·∑_x″y″I(x+x″，y+y″)；

w和h分別表示模板圖像的寬和高，R(x，y)為模板圖像在(x，y)位置的歸一化相關(guān)系數(shù)，且0≤R(x，y)≤1；

若檢測區(qū)域內(nèi)最大歸一化相關(guān)系數(shù)R_max(x，y)＜0.5，則認(rèn)為檢測失敗。

本發(fā)明的有益技術(shù)效果：

1)本發(fā)明運行效率高，在i7-4790處理器，8GB內(nèi)存條件下，運行速度可達(dá)15ms/幀～50ms/幀，可以進行實時處理。

2)本發(fā)明通過融合歸一化相關(guān)檢測算法，有效避免了因初始目標(biāo)框給定不準(zhǔn)確時得到跟蹤結(jié)果易漂移的問題。

3)本發(fā)明通過引入中值光流法，有效的解決了在目標(biāo)角度和尺度變化時跟蹤結(jié)果易漂移的問題。

4)本發(fā)明通過融合算法的有效性，有效融合跟蹤器和檢測器的結(jié)果，保證了跟蹤的穩(wěn)定性。

附圖說明

圖1、TLD框架下的算法工作框圖；

圖2、檢測器相關(guān)檢測算法示意圖；

圖3、重載率示意圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細(xì)描述。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用于解釋本發(fā)明，并不用于限定本發(fā)明。

相反，本發(fā)明涵蓋任何由權(quán)利要求定義的在本發(fā)明的精髓和范圍上做的替代、修改、等效方法以及方案。進一步，為了使公眾對本發(fā)明有更好的了解，在下文對本發(fā)明的細(xì)節(jié)描述中，詳盡描述了一些特定的細(xì)節(jié)部分。對本領(lǐng)域技術(shù)人員來說沒有這些細(xì)節(jié)部分的描述也可以完全理解本發(fā)明。

實施例1

一種基于TLD的適用于無人機的目標(biāo)跟蹤方法，所述目標(biāo)跟蹤方法基于TLD算法，所述TLD算法包括跟蹤器、檢測器及學(xué)習(xí)器；所述目標(biāo)跟蹤方法包括以下步驟：

(1)初始化跟蹤器、檢測器及學(xué)習(xí)器；

(2)跟蹤器在圖像中生成一系列待跟蹤點，首先進行一次金字塔光流跟蹤；

再生成目標(biāo)跟蹤點后，再將當(dāng)前幀作為初始幀，反向跟蹤；

取所有跟蹤點的位置與原始跟蹤點的位置偏差的均值為middleError,如果得到跟蹤點的位置與原始跟蹤點偏差>middleError，則認(rèn)為跟蹤不準(zhǔn)確，將跟蹤準(zhǔn)確的跟蹤點組合到一起，并由初始位置預(yù)測得到當(dāng)前幀目標(biāo)的位置即目標(biāo)跟蹤結(jié)果；

當(dāng)跟蹤準(zhǔn)確點的數(shù)目小于所有跟蹤點數(shù)目的一半時，則判斷跟蹤失敗。

(3)檢測器采用以目標(biāo)為模板，對搜索區(qū)域進行相關(guān)運算，得到目標(biāo)檢測結(jié)果，檢測器同時依據(jù)目標(biāo)檢測結(jié)果判斷檢測成功或檢測失?。?/p>

對模板圖像進行延拓、濾波，再將其與輸入圖像做卷積運算，卷積計算結(jié)果做逆傅里葉變換，利用歸一化相關(guān)算法獲得整幅圖像各個點的歸一化相關(guān)系數(shù)，最大歸一化相關(guān)系數(shù)所對應(yīng)的位置為檢測目標(biāo)所在位置即目標(biāo)檢測結(jié)果；

對模板圖像進行延拓是指通過將模板圖像邊緣補0使模板圖像的大小擴大到和輸入圖像的大小一致。

(4)學(xué)習(xí)器將所述目標(biāo)跟蹤結(jié)果和所述目標(biāo)檢測結(jié)果分別與待測目標(biāo)進行匹配得出相關(guān)系數(shù)，依據(jù)最大相關(guān)系數(shù)選擇目標(biāo)跟蹤結(jié)果或目標(biāo)檢測結(jié)果或目標(biāo)跟蹤結(jié)果和目標(biāo)檢測結(jié)果的均值作為目標(biāo)最終結(jié)果；

若跟蹤器和檢測器均成功，判斷兩者跟蹤結(jié)果是否近似相同；

所述近似相同是指目標(biāo)跟蹤結(jié)果的矩形框與目標(biāo)檢測結(jié)果的矩形框的重載率>0.7或兩矩形框的中心點距離小于4個像素；所述重載率即兩矩形框的重載率為其交集與其并集的比；

根據(jù)kNN分類器計算待匹配樣本同正樣本模型中的最大相關(guān)系數(shù)(匹配率)，同時判斷是否發(fā)生遮擋。

若近似相同，取匹配率較高的結(jié)果作為目標(biāo)最終結(jié)果，同時更新最近鄰檢測器；

若重載率＜0.4，則認(rèn)為兩者檢測結(jié)果不同，此時取匹配率較高同時kNN分類器判斷未被遮擋的結(jié)果為目標(biāo)最終結(jié)果；

若重載率大于0.4但小于0.7時，取目標(biāo)跟蹤結(jié)果與目標(biāo)檢測結(jié)果的均值作為目標(biāo)最終結(jié)果；

若跟蹤器和檢測器僅有一個成功，則使用kNN分類器對結(jié)果判斷，未被遮擋則作為目標(biāo)最終結(jié)果。

歸一化相關(guān)系數(shù)的計算公式如下：

其中：

T′(x′，y′)二T(x′，y′)-1/(w·h)·∑_x″y″T(x″，y″)

I′(x+x′，y+y′)＝1(x+x′，y+y′)-1/(w·h)·∑_x″y″I(x+x″，y+y″)；

w和h分別表示模板圖像的寬和高，R(x，y)為模板圖像在(x，y)位置的歸一化相關(guān)系數(shù)表征模板圖像同匹配區(qū)域的相關(guān)程度，且0≤R(x，y)≤1；，表示模板圖像在(x′，y′)的像素值，I(x，y)表示輸入圖像在(x，y)位置的像素值。

(5)學(xué)習(xí)器根據(jù)目標(biāo)最終結(jié)果確定目標(biāo)旋轉(zhuǎn)角度及目標(biāo)縮放系數(shù)；

將每幀目標(biāo)最終結(jié)果作為正樣本模型，將正樣本模型的圖像大小歸一化至15*15；

同時分別設(shè)立不同角度的正樣本模型，即以初始幀為0度，對正樣本模型進行放射變換，每隔30度為一組，得到12組正樣本模型；

選取上一幀遠(yuǎn)離目標(biāo)區(qū)域的200個圖像塊作為負(fù)樣本模型，同樣將負(fù)樣本模型的圖像大小歸一化至15*15；

計算待比對圖像同正樣本模型和負(fù)樣本模型的歸一化相關(guān)系數(shù)，取其中最高的k個，如果其中正樣本模型數(shù)目大于負(fù)樣本模型數(shù)目，則表明待檢測圖像為目標(biāo)，否則認(rèn)為待檢測圖像為干擾區(qū)域；

在確定待檢測圖像為目標(biāo)后，比對相鄰兩組正樣本模型，計算其歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者組別的角度定為目標(biāo)當(dāng)前旋轉(zhuǎn)角度；

以待檢測圖像中心為中心，分別取大小為待檢測圖像1.1、1或0.9倍數(shù)區(qū)域作為新的待檢測圖像計算其在正樣本模型中的歸一化相關(guān)系數(shù)，選擇歸一化相關(guān)系數(shù)最大者作為最終結(jié)果，并獲得此時倍數(shù)作為目標(biāo)縮放系數(shù)。

歸一化相關(guān)算法的計算公式如下：

其中：

T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑_x″y″T(x″，y″)

I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·∑_x″y″I(x+x″，y+y″)；

w和h分別表示模板圖像的寬和高，R(x，y)為模板圖像在(x，y)位置的歸一化相關(guān)系數(shù)，且0≤R(x，y)≤1；

若檢測區(qū)域內(nèi)最大歸一化相關(guān)系數(shù)R_max(x,y)＜0.5，則認(rèn)為檢測失敗。

(6)結(jié)合目標(biāo)最終結(jié)果、目標(biāo)旋轉(zhuǎn)角度及尺度變化更新學(xué)習(xí)器、跟蹤器和檢測器，進行下一步目標(biāo)跟蹤。

模板更新時，以學(xué)習(xí)器整合得到的最終精確結(jié)果進行更新，如下式所示：

T_new＝α·T_old·γ+(1-α)·Result；

其中T_new表示最新相關(guān)檢測應(yīng)用的模板，T_old表示上一時刻模板，γ表示由學(xué)習(xí)器得到的縮放倍率。，Result表示當(dāng)前跟蹤結(jié)果。α表示更新速率。