本發(fā)明涉及圖像處理、視頻監(jiān)控技術(shù)中的交通目標(biāo)跟蹤問題，尤其是涉及一種基于光流和局部不變特征的交通目標(biāo)跟蹤方法。

背景技術(shù)：

目標(biāo)檢測(cè)和跟蹤是當(dāng)今計(jì)算機(jī)視覺領(lǐng)域的復(fù)雜、熱點(diǎn)研究課題之一；隨著經(jīng)濟(jì)發(fā)展，交通工具不斷增加，交通事故頻發(fā)；智能交通系統(tǒng)中運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤技術(shù)結(jié)合圖像處理、計(jì)算機(jī)和自動(dòng)化控制技術(shù)，實(shí)時(shí)監(jiān)控交通目標(biāo)，提取目標(biāo)位置、形態(tài)結(jié)構(gòu)、運(yùn)動(dòng)參數(shù)等信息，對(duì)改善交通狀況提供決策依據(jù)；近年來光流技術(shù)在模式識(shí)別、計(jì)算機(jī)視覺以及圖像處理領(lǐng)域廣泛受到關(guān)注；光流法基于圖像連續(xù)序列，抽取光流場(chǎng)，由于目標(biāo)和背景存在相對(duì)運(yùn)動(dòng)，運(yùn)動(dòng)速度矢量不同于相鄰區(qū)域，根據(jù)像素點(diǎn)速度矢量特征，進(jìn)行運(yùn)動(dòng)估計(jì)，進(jìn)而檢測(cè)目標(biāo)及其位置區(qū)域；

Horn和Schunck兩個(gè)人最早引入光流約束方程，提出二維速度場(chǎng)同灰度相聯(lián)系，發(fā)展至今包括以基于梯度的方法、基于匹配的方法、基于能量的方法及基于相位的方法；基于匹配的方法對(duì)相鄰幀字塊匹配進(jìn)行運(yùn)動(dòng)估計(jì)，特征提取和精確匹配較難；基于能量和相位的方法跟蹤效果較好,但計(jì)算負(fù)荷大,實(shí)時(shí)性較差；基于梯度的方法研究最多，以圖像灰度不變?yōu)闂l件導(dǎo)出光流約束方程；基于梯度的光流方法雖實(shí)現(xiàn)簡單，但存在以下問題：1)基于光流灰度守恒的制約，不適用與光照變化的情況；2)光流法僅關(guān)注像素點(diǎn)，忽略運(yùn)動(dòng)目標(biāo)和像素點(diǎn)的關(guān)聯(lián)；3)對(duì)環(huán)境噪聲敏感，跟蹤快速移動(dòng)物體易失??；4)受攝像機(jī)抖動(dòng)等因素影響，形成的異常信號(hào)會(huì)導(dǎo)致產(chǎn)生不連續(xù)形變場(chǎng)；

針對(duì)以上問題，如何提取具有抗復(fù)雜環(huán)境的不變特征和選取有效的跟蹤方法有待提高；本發(fā)明以城市道路交通復(fù)雜環(huán)境為背景，針對(duì)交通監(jiān)控中存在的車輛跟蹤不穩(wěn)定現(xiàn)象，提出一種基于多分辨率小波金字塔改進(jìn)LK稀疏光流的跟蹤方法，同時(shí)聯(lián)合SURF局部尺度不變特征變換算法檢測(cè)目標(biāo)特征點(diǎn)，提高了車輛辨識(shí)能力，在智能交通系統(tǒng)目標(biāo)跟蹤中有良好應(yīng)用前景；

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有光流目標(biāo)跟蹤方法存在的計(jì)算負(fù)荷大，實(shí)時(shí)性較差，不適用與光照變化環(huán)境，且跟蹤快速移動(dòng)的物體容易失敗等問題，本發(fā)明提供一種基于光流和局部不變特征的交通目標(biāo)跟蹤方法，該方法匹配準(zhǔn)確快速，降低冗余數(shù)據(jù)，自適應(yīng)性強(qiáng)，對(duì)目標(biāo)車輛形變、高速、噪聲、光照不均、部分遮擋等復(fù)雜環(huán)境有較高魯棒性，提高了車輛辨識(shí)能力，與傳統(tǒng)方法相比有明顯優(yōu)勢(shì)，在智能交通目標(biāo)跟蹤系統(tǒng)中有著良好的應(yīng)用前景。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于光流和局部不變特征的交通目標(biāo)跟蹤方法，首先利用高斯背景建模提取前景目標(biāo)，接著利用SURF局部尺度不變特征變換算法檢測(cè)前景目標(biāo)特征點(diǎn)，然后通過構(gòu)建圖像多分辨率小波金字塔改進(jìn)LK稀疏光流法對(duì)特征點(diǎn)進(jìn)行檢測(cè)和跟蹤，并制定自適應(yīng)模板實(shí)時(shí)更新策略，判斷是否最后一幀，若是，結(jié)束跟蹤；若不是，進(jìn)行模板更新判斷；若不需模板更新，繼續(xù)跟蹤；若需要模板更新，根據(jù)更新方法更新跟蹤窗口，檢測(cè)SURF特征點(diǎn)，更新特征點(diǎn)權(quán)值，刪除低權(quán)值特征點(diǎn)，繼續(xù)跟蹤。

一種基于光流和局部不變特征的交通目標(biāo)跟蹤方法，其具體實(shí)施步驟如下：

(1)對(duì)輸入視頻圖像采用在線自適應(yīng)高斯混合模型得到前景目標(biāo)，建立目標(biāo)初始模板及跟蹤窗口，利用SURF尺度不變特征變換算法檢測(cè)目標(biāo)局部特征點(diǎn)；

在線自適應(yīng)高斯混合模型背景建模后，將當(dāng)前幀和背景幀差分，提取前景車輛，并用濾波、形態(tài)學(xué)腐蝕開閉去掉噪聲和道路信息，建立目標(biāo)初始模板及跟蹤窗口；常用的Harris、Susan、Moravec角點(diǎn)檢測(cè)算子的描述信息比較單一，對(duì)尺度、光照、旋轉(zhuǎn)、噪聲、縮放等較為敏感，本發(fā)明使用的SURF算法對(duì)光照、噪聲、尺度變化等情況有良好魯棒性，其通過積分圖像生成特征矢量，在多尺度空間同時(shí)被處理，無需二次抽樣，避免特征矢量在生成時(shí)候的重復(fù)運(yùn)算；

(2)提升小波構(gòu)造多分辨率變換金字塔改進(jìn)LK稀疏光流法，對(duì)SURF算法提取的目標(biāo)局部特征點(diǎn)計(jì)算光流運(yùn)動(dòng)估計(jì)；包括如下步驟：

1)算法假設(shè)像素鄰域空間內(nèi)運(yùn)動(dòng)矢量相同,得到光流能量函數(shù)如式(1)所示；

$E=\underset{(x,y)\∈\mathrm{\Ω}}{\Σ}{W}^2\left(x\right){\[I_{x}u+I_{y}v+I_t\]}^2---\left(1\right)$

式中表示灰度在x，y方向，以及t時(shí)間的偏導(dǎo)數(shù)；u，v是該像素點(diǎn)光流x，y方向的速度分量；鄰域內(nèi)各像素點(diǎn)的權(quán)重用W(x)窗口加權(quán)函數(shù)表示，可以使得鄰域區(qū)域同外圍區(qū)域相比，對(duì)約束產(chǎn)生更大影響，Ω是光流一致的像素點(diǎn)t時(shí)刻的鄰域范圍；

2)設(shè)V＝(u,v)^T，用最小二乘法求解方程(2)，最小化能量函數(shù)E，從而求解光流，得式(3)：

A^TW²AV＝A^TW²B (2)

V＝(A^TW²A)^-1A^TW²B (3)

其中，各個(gè)參數(shù)的表示為：

W＝diag(W(X₁),W(X₂),W(X₃),…W(X_n)),B＝-(I_t(X₁)，I_t(X₂)，I_t(X₃)，…I_t(X_n))^T；

3)相鄰幀圖像通過提升小波在多尺度分解圖像,按精度遞減順序構(gòu)造不同分辨率的提升小波金字塔圖像，從而提升像素最大移動(dòng)距離；提升小波算法不依賴傅里葉變換；利用小波金子塔層與層間的位移傳遞計(jì)算，使得不同尺度上的位移量相比原始位移量縮??；包括如下步驟：

a.通過提升小波算法在多尺度分解圖像,構(gòu)造提升小波金字塔，令I(lǐng)^n-1(x,y)為第n-1層的金字塔圖像，Iⁿ(x,y)為上層圖像，n為金字塔總層數(shù)；令g_m為金字塔中m層初始估計(jì)的光流矢量，△f_m為光流計(jì)算矢量值，最上層光流初始值為g_n-1＝0；各層之間光流映射關(guān)系如式(4)所示，根據(jù)上層圖像對(duì)下層金字塔圖像進(jìn)行光流計(jì)算如式(5)所示：

g_m-1＝k(g_m+△f_m) (4)

$f=g_0+{\mathrm{\Δf}}_0=\underset{m=0}{\overset{n-1}{\Σ}}{k}_m{f}_m---\left(5\right)$

b.選取3層金字塔，頂層光流量g₂＝0，根據(jù)式(3)可以求取△f₂的光流計(jì)算矢量值，帶入式(4)中，可以得到2層光流量g₁＝k△f₂，依次迭代，進(jìn)一步可以求得最底層的光流量g₀以及△f₀的值，f＝g₀+△f₀，因此初始圖像的光流值為：

$v(x,y)=\underset{m=0}{\overset{2}{\Σ}}{k}_m{\mathrm{\Δf}}_m---\left(6\right)$

c.令光流在計(jì)算時(shí)每次處理的移動(dòng)距離D_MAX為1像素，利用提升小波分辨率金字塔計(jì)算后可以將像素最大移動(dòng)距離提升為(2^m+1-1)D_MAX，當(dāng)m取3時(shí)，構(gòu)造三層金字塔，帶入D_MAX＝1，則最大位移量是15像素，因此，通過引入提升小波構(gòu)造多分辨率變換金字塔，可以解決LK算法不能跟蹤快速運(yùn)動(dòng)目標(biāo)的問題；

(3)跟蹤過程進(jìn)行模板更新判斷，根據(jù)模板更新方法自適應(yīng)更新跟蹤窗口：

在跟蹤目標(biāo)過程中，環(huán)境背景時(shí)常變化，如果初始模型不進(jìn)行更新，遇到照度變化、目標(biāo)形變、旋轉(zhuǎn)、遮擋等情況時(shí)因模型偏差極大，影響跟蹤效果；因此本發(fā)明通過制定模板更新方法以提高跟蹤算法適用性；算法實(shí)時(shí)檢測(cè)是否最后一幀，若是，結(jié)束跟蹤；若不是，則按照如下步驟進(jìn)行模板更新判斷及實(shí)施具體跟蹤策略；

1)在模板更新過程中，無需每幀都更新，否則會(huì)增加系統(tǒng)運(yùn)行負(fù)擔(dān)；將步驟(1)中建立的目標(biāo)跟蹤窗口內(nèi)的SURF特征點(diǎn)分配權(quán)值W_j，接近目標(biāo)的權(quán)值較大，接近背景的?。?/p>

2)當(dāng)特征點(diǎn)估計(jì)位置超出跟蹤窗口一定比例時(shí)，更新模板；令窗口內(nèi)外特征點(diǎn)分別為：N_內(nèi)，N_外，若N_外與N_內(nèi)加N_外的比值大于閾值K時(shí)，說明外點(diǎn)的影響大，則更新模板，本發(fā)明K取0.25，否則繼續(xù)跟蹤；

3)更新模板時(shí)，更新跟蹤窗口，令跟蹤窗口包含所有光流估計(jì)特征點(diǎn)，將檢測(cè)到的SURF特征點(diǎn)和前一幀的跟蹤模板進(jìn)行特征匹配，匹配后按照下式更新所有特征點(diǎn)權(quán)值：

W_j'(t)＝C(α(W_j(t)+1/M)+(1-α)W_j(t-1)) (7)

其中W_j'(t)t為t時(shí)刻更新后的權(quán)值，M為特征點(diǎn)總個(gè)數(shù)，C為歸一化系數(shù)，α是為了使特征模板在更新時(shí)，降低對(duì)背景環(huán)境的變化的敏感程度引入的折中系數(shù)，本發(fā)明α取0.7；

4)更新結(jié)束后，刪除掉權(quán)值低的特征點(diǎn)，提高特征點(diǎn)純度，完成模板更新，對(duì)抗復(fù)雜環(huán)境有較好魯棒性。

本發(fā)明有益效果：一種基于光流和局部不變特征的交通目標(biāo)跟蹤方法，該方法匹配準(zhǔn)確快速，降低冗余數(shù)據(jù)，自適應(yīng)性強(qiáng)，對(duì)目標(biāo)車輛形變、高速、噪聲、光照不均、部分遮擋等復(fù)雜環(huán)境有較高魯棒性，提高了車輛辨識(shí)能力，與傳統(tǒng)方法相比有明顯優(yōu)勢(shì)，在智能交通目標(biāo)跟蹤系統(tǒng)中有著良好的應(yīng)用前景。

附圖說明

圖1為本發(fā)明基于光流和局部不變特征的交通目標(biāo)跟蹤方法流程圖。

具體實(shí)施方式

一種基于光流和局部不變特征的交通目標(biāo)跟蹤方法，首先利用高斯背景建模提取前景目標(biāo)，接著利用SURF局部尺度不變特征變換算法檢測(cè)前景目標(biāo)特征點(diǎn)，然后通過構(gòu)建圖像多分辨率小波金字塔改進(jìn)LK稀疏光流法對(duì)特征點(diǎn)進(jìn)行檢測(cè)和跟蹤，并制定自適應(yīng)模板實(shí)時(shí)更新策略，判斷是否最后一幀，若是，結(jié)束跟蹤；若不是，進(jìn)行模板更新判斷；若不需模板更新，繼續(xù)跟蹤；若需要模板更新，根據(jù)模板更新方法更新跟蹤窗口，檢測(cè)SURF特征點(diǎn)，更新特征點(diǎn)權(quán)值，刪除低權(quán)值特征點(diǎn)，繼續(xù)跟蹤。

一種基于光流和局部不變特征的交通目標(biāo)跟蹤方法，其具體實(shí)施步驟如下：

(1)對(duì)輸入視頻圖像采用在線自適應(yīng)高斯混合模型得到前景目標(biāo)，建立目標(biāo)初始模板及跟蹤窗口，利用SURF尺度不變特征變換算法檢測(cè)目標(biāo)局部特征點(diǎn)；

在線自適應(yīng)高斯混合模型背景建模后，將當(dāng)前幀和背景幀差分，提取前景車輛，并用濾波、形態(tài)學(xué)腐蝕開閉去掉噪聲和道路信息，建立目標(biāo)初始模板及跟蹤窗口；常用的Harris、Susan、Moravec角點(diǎn)檢測(cè)算子的描述信息比較單一，對(duì)尺度、光照、旋轉(zhuǎn)、噪聲、縮放等較為敏感，本發(fā)明使用的SURF算法對(duì)光照、噪聲、尺度變化等情況有良好魯棒性，其通過積分圖像生成特征矢量，在多尺度空間同時(shí)被處理，無需二次抽樣，避免特征矢量在生成時(shí)候的重復(fù)運(yùn)算；

(2)提升小波構(gòu)造多分辨率變換金字塔改進(jìn)LK稀疏光流法，對(duì)SURF算法提取的目標(biāo)局部特征點(diǎn)計(jì)算光流運(yùn)動(dòng)估計(jì)；包括如下步驟：

1)算法假設(shè)像素鄰域空間內(nèi)運(yùn)動(dòng)矢量相同,得到光流能量函數(shù)如式(1)所示；

$E=\underset{(x,y)\∈\mathrm{\Ω}}{\Σ}{W}^2\left(x\right){\[I_{x}u+I_{y}v+I_t\]}^2---\left(1\right)$

式中表示灰度在x，y方向，以及t時(shí)間的偏導(dǎo)數(shù)；u，v是該像素點(diǎn)光流x，y方向的速度分量；鄰域內(nèi)各像素點(diǎn)的權(quán)重用W(x)窗口加權(quán)函數(shù)表示，可以使得鄰域區(qū)域同外圍區(qū)域相比，對(duì)約束產(chǎn)生更大影響，Ω是光流一致的像素點(diǎn)t時(shí)刻的鄰域范圍；

2)設(shè)V＝(u,v)^T，用最小二乘法求解方程(2)，最小化能量函數(shù)E，從而求解光流，得式(3)：

A^TW²AV＝A^TW²B (2)

V＝(A^TW²A)^-1A^TW²B (3)

其中，各個(gè)參數(shù)的表示為：

W＝diag(W(X₁),W(X₂),W(X₃),…W(X_n)),B＝-(I_t(X₁)，I_t(X₂)，I_t(X₃)，…I_t(X_n))^T；

3)相鄰幀圖像通過提升小波在多尺度分解圖像,按精度遞減順序構(gòu)造不同分辨率的提升小波金字塔圖像，從而提升像素最大移動(dòng)距離；提升小波算法不依賴傅里葉變換；利用小波金子塔層與層間的位移傳遞計(jì)算，使得不同尺度上的位移量相比原始位移量縮小；包括如下步驟：

a.通過提升小波算法在多尺度分解圖像,構(gòu)造提升小波金字塔，令I(lǐng)^n-1(x,y)為第n-1層的金字塔圖像，Iⁿ(x,y)為上層圖像，n為金字塔總層數(shù)；令g_m為金字塔中m層初始估計(jì)的光流矢量，△f_m為光流計(jì)算矢量值，最上層光流初始值為g_n-1＝0；各層之間光流映射關(guān)系如式(4)所示，根據(jù)上層圖像對(duì)下層金字塔圖像進(jìn)行光流計(jì)算如式(5)所示：

g_m-1＝k(g_m+△f_m) (4)

$f=g_0+{\mathrm{\Δf}}_0=\underset{m=0}{\overset{n-1}{\Σ}}{k}_m{f}_m---\left(5\right)$

b.選取3層金字塔，頂層光流量g₂＝0，根據(jù)式(3)可以求取△f₂的光流計(jì)算矢量值，帶入式(4)中，可以得到2層光流量g₁＝k△f₂，依次迭代，進(jìn)一步可以求得最底層的光流量g₀以及△f₀的值，f＝g₀+△f₀，因此初始圖像的光流值為：

$v(x,y)=\underset{m=0}{\overset{2}{\Σ}}{k}_m{\mathrm{\Δf}}_m---\left(6\right)$

c.令光流在計(jì)算時(shí)每次處理的移動(dòng)距離D_MAX為1像素，利用提升小波分辨率金字塔計(jì)算后可以將像素最大移動(dòng)距離提升為(2^m+1-1)D_MAX，當(dāng)m取3時(shí)，構(gòu)造三層金字塔，帶入D_MAX＝1，則最大位移量是15像素，因此，通過引入提升小波構(gòu)造多分辨率變換金字塔，可以解決LK算法不能跟蹤快速運(yùn)動(dòng)目標(biāo)的問題；

(3)跟蹤過程進(jìn)行模板更新判斷，根據(jù)模板更新方法自適應(yīng)更新跟蹤窗口：

在跟蹤目標(biāo)過程中，環(huán)境背景時(shí)常變化，如果初始模型不進(jìn)行更新，遇到照度變化、目標(biāo)形變、旋轉(zhuǎn)、遮擋等情況時(shí)因模型偏差極大，影響跟蹤效果；因此本發(fā)明通過制定模板更新方法以提高跟蹤算法適用性；算法實(shí)時(shí)檢測(cè)是否最后一幀，若是，結(jié)束跟蹤；若不是，則按照如下步驟進(jìn)行模板更新判斷及實(shí)施具體跟蹤策略；

1)在模板更新過程中，無需每幀都更新，否則會(huì)增加系統(tǒng)運(yùn)行負(fù)擔(dān)；將步驟(1)中建立的目標(biāo)跟蹤窗口內(nèi)的SURF特征點(diǎn)分配權(quán)值W_j，接近目標(biāo)的權(quán)值較大，接近背景的?。?/p>

2)當(dāng)特征點(diǎn)估計(jì)位置超出跟蹤窗口一定比例時(shí)，更新模板；令窗口內(nèi)外特征點(diǎn)分別為：N_內(nèi)，N_外，若N_外與N_內(nèi)加N_外的比值大于閾值K時(shí)，說明外點(diǎn)的影響大，則更新模板，本發(fā)明K取0.25，否則繼續(xù)跟蹤；

3)更新模板時(shí)，更新跟蹤窗口，令跟蹤窗口包含所有光流估計(jì)特征點(diǎn)，將檢測(cè)到的SURF特征點(diǎn)和前一幀的跟蹤模板進(jìn)行特征匹配，匹配后按照下式更新所有特征點(diǎn)權(quán)值：

W_j'(t)＝C(α(W_j(t)+1/M)+(1-α)W_j(t-1)) (7)

其中W_j'(t)t為t時(shí)刻更新后的權(quán)值，M為特征點(diǎn)總個(gè)數(shù)，C為歸一化系數(shù)，α是為了使特征模板在更新時(shí)，降低對(duì)背景環(huán)境的變化的敏感程度引入的折中系數(shù)，本發(fā)明α取0.7；

4)更新結(jié)束后，刪除掉權(quán)值低的特征點(diǎn)，提高特征點(diǎn)純度，完成模板更新，對(duì)抗復(fù)雜環(huán)境有較好魯棒性。

案列分析：

表1為對(duì)采集的高噪、霧霾、部分遮擋、照度不均等復(fù)雜環(huán)境的6組交通視頻，每組分成100段，通過全局SURF逐幀跟蹤、傳統(tǒng)LK算法及本發(fā)明LK聯(lián)合SURF局部跟蹤方法進(jìn)行跟蹤的平均耗時(shí)及跟蹤準(zhǔn)確率比較；SURF全局跟蹤方法需逐幀跟蹤，對(duì)每一幀提取SURF特征，并通過匹配幀間特征點(diǎn)偏移向量跟蹤目標(biāo)，耗時(shí)大；傳統(tǒng)KL稀疏光流算法跟蹤前景目標(biāo)有較高的實(shí)時(shí)性，但對(duì)快速運(yùn)動(dòng)、低分辨率、照度變化等情況魯棒性低；由表看出，本發(fā)明實(shí)時(shí)性和傳統(tǒng)KL相差不多，但準(zhǔn)確率得到很大程度的提高，抗復(fù)雜環(huán)境能力較強(qiáng)。

表1跟蹤耗時(shí)及準(zhǔn)確率比較