本發(fā)明涉及目標(biāo)跟蹤技術(shù)領(lǐng)域，具體涉及一種多目標(biāo)跟蹤方法及裝置。

背景技術(shù)：

多目標(biāo)跟蹤技術(shù)在智能安防領(lǐng)域、車載輔助系統(tǒng)或者軍事領(lǐng)域都有著十分廣泛的應(yīng)用。多目標(biāo)跟蹤技術(shù)一般都是先檢測出目標(biāo)，然后對檢測出的每個目標(biāo)進(jìn)行特征描述，再根據(jù)所述特征對每個目標(biāo)進(jìn)行跟蹤，從檢測到跟蹤，不但算法復(fù)雜而且計算耗時長，導(dǎo)致多目標(biāo)跟蹤的實(shí)時性較差、準(zhǔn)確度較低。對于長時間跟蹤或者被跟蹤目標(biāo)存在形狀變化情況下的跟蹤，很多人采用檢測的方法來代替跟蹤。該方法雖然在某些情況下可以改進(jìn)跟蹤效果，但它需要一個離線的學(xué)習(xí)過程，也就是在檢測之前需要挑選大量的被跟蹤目標(biāo)的樣本來進(jìn)行學(xué)習(xí)和訓(xùn)練。因此訓(xùn)練樣本要涵蓋被跟蹤目標(biāo)可能發(fā)生的各種形變和各種尺度、姿態(tài)變化和光照變化的情況。換言之，利用檢測的方法來達(dá)到長時間跟蹤的目的，對于訓(xùn)練樣本的選擇至關(guān)重要，否則，跟蹤的魯棒性就難以保證。

同時，利用現(xiàn)有目標(biāo)跟蹤技術(shù)得到的多個目標(biāo)的軌跡數(shù)量較多，在大量的目標(biāo)軌跡中，難以逐一確定多個目標(biāo)并實(shí)現(xiàn)對多個目標(biāo)實(shí)時、持續(xù)、準(zhǔn)確地跟蹤。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于克服現(xiàn)有的多目標(biāo)跟蹤方法實(shí)時性較差、準(zhǔn)確度較低的缺陷。

本發(fā)明提供一種多目標(biāo)跟蹤方法，包括：

獲取視頻圖像；

提取所述視頻圖像中的關(guān)鍵點(diǎn)；

對所述視頻圖像中的關(guān)鍵點(diǎn)進(jìn)行跟蹤；

根據(jù)所述視頻圖像中連續(xù)N幀跟蹤到的關(guān)鍵點(diǎn)，形成關(guān)鍵點(diǎn)軌跡；

對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個目標(biāo)。

優(yōu)選地，在所述對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個目標(biāo)的步驟之后，還包括剔除所述至少一個目標(biāo)的噪聲軌跡點(diǎn)，包括：

計算所述至少一個目標(biāo)中的軌跡點(diǎn)連接所得的至少一條邊的權(quán)值；

判斷所述至少一條邊的權(quán)值是否小于預(yù)設(shè)權(quán)值閾值；

當(dāng)所述至少一條邊的權(quán)值小于預(yù)設(shè)權(quán)值閾值時，判定所述至少一條邊對應(yīng)的軌跡點(diǎn)為噪聲軌跡點(diǎn)，剔除所述至少一個目標(biāo)的噪聲軌跡點(diǎn)。

優(yōu)選地，所述根據(jù)所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)，形成關(guān)鍵點(diǎn)軌跡，包括：

提取所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征；

根據(jù)所述關(guān)鍵點(diǎn)在相鄰兩幀的特征判斷所述關(guān)鍵點(diǎn)是否為有效關(guān)鍵點(diǎn)；

當(dāng)所述關(guān)鍵點(diǎn)為有效關(guān)鍵點(diǎn)時，根據(jù)所述有效關(guān)鍵點(diǎn)形成關(guān)鍵點(diǎn)軌跡。

優(yōu)選地，所述對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個目標(biāo)，包括：

判斷所述關(guān)鍵點(diǎn)軌跡的長度是否大于預(yù)設(shè)長度閾值；

當(dāng)所述關(guān)鍵點(diǎn)軌跡的長度大于預(yù)設(shè)長度閾值時，計算所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角；

根據(jù)所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角，進(jìn)行相似性度量；

根據(jù)所述相似性度量結(jié)果進(jìn)行聚類，形成至少一個目標(biāo)。

優(yōu)選地，所述視頻圖像中的關(guān)鍵點(diǎn)為角點(diǎn)。

本發(fā)明還提供一種多目標(biāo)跟蹤裝置，包括：

視頻圖像獲取單元，用于獲取視頻圖像；

關(guān)鍵點(diǎn)提取單元，用于提取所述視頻圖像中的關(guān)鍵點(diǎn)；

關(guān)鍵點(diǎn)跟蹤單元，用于對所述視頻圖像中的關(guān)鍵點(diǎn)進(jìn)行跟蹤；

軌跡形成單元，用于根據(jù)所述視頻圖像中連續(xù)N幀跟蹤到的關(guān)鍵點(diǎn)，形成關(guān)鍵點(diǎn)軌跡；

軌跡聚類單元，用于對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個目標(biāo)。

優(yōu)選地，還包括噪聲軌跡點(diǎn)剔除單元，所述噪聲軌跡點(diǎn)剔除單元包括：

權(quán)值計算子單元，用于計算所述至少一個目標(biāo)中的軌跡點(diǎn)連接所得的至少一條邊的權(quán)值；

權(quán)值判斷子單元，用于判斷所述至少一條邊的權(quán)值是否小于預(yù)設(shè)權(quán)值閾值；

剔除子單元，用于當(dāng)所述至少一條邊的權(quán)值小于預(yù)設(shè)權(quán)值閾值時，判定所述至少一條邊對應(yīng)的軌跡點(diǎn)為噪聲軌跡點(diǎn)，剔除所述至少一個目標(biāo)的噪聲軌跡點(diǎn)。

優(yōu)選地，所述軌跡形成單元包括：

特征提取子單元，用于提取所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征；

有效關(guān)鍵點(diǎn)判斷子單元，用于根據(jù)所述關(guān)鍵點(diǎn)在相鄰兩幀的特征判斷所述關(guān)鍵點(diǎn)是否為有效關(guān)鍵點(diǎn)；

關(guān)鍵點(diǎn)軌跡形成子單元，用于當(dāng)所述關(guān)鍵點(diǎn)為有效關(guān)鍵點(diǎn)時，根據(jù)所述有效關(guān)鍵點(diǎn)形成關(guān)鍵點(diǎn)軌跡。

優(yōu)選地，所述軌跡聚類單元包括：

軌跡長度判斷子單元，用于判斷所述關(guān)鍵點(diǎn)軌跡的長度是否大于預(yù)設(shè)長度閾值；

計算子單元，用于當(dāng)所述關(guān)鍵點(diǎn)軌跡的長度大于預(yù)設(shè)長度閾值時，計算所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角；

相似性度量子單元，用于根據(jù)所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角，進(jìn)行相似性度量；

聚類子單元，用于根據(jù)所述相似性度量結(jié)果進(jìn)行聚類，形成至少一個目標(biāo)。

優(yōu)選地，所述視頻圖像中的關(guān)鍵點(diǎn)為角點(diǎn)。

本發(fā)明技術(shù)方案，具有如下優(yōu)點(diǎn)：

本發(fā)明提供一種多目標(biāo)跟蹤方法及裝置，通過提取視頻圖像中的關(guān)鍵點(diǎn)，并對所述關(guān)鍵點(diǎn)進(jìn)行跟蹤，對連續(xù)N幀跟蹤到的這些關(guān)鍵點(diǎn)形成軌跡，采用一定的相似性度量方法對這些關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個完整的目標(biāo)，從而實(shí)現(xiàn)對多個目標(biāo)實(shí)時、持續(xù)、準(zhǔn)確地跟蹤。該發(fā)明能夠通過對跟蹤得到的數(shù)量較多的多個目標(biāo)軌跡進(jìn)行聚類，確定多個目標(biāo)，在兼顧算法精度的同時，解決了現(xiàn)有多目標(biāo)檢測加跟蹤算法耗時長的問題。

附圖說明

為了更清楚地說明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施方式，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為一種多目標(biāo)跟蹤方法的流程圖；

圖2為一種多目標(biāo)跟蹤裝置的示意圖。

具體實(shí)施方式

下面將結(jié)合附圖對本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

在本發(fā)明的描述中，需要說明的是，術(shù)語“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對重要性。

在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，還可以是兩個元件內(nèi)部的連通，可以是無線連接，也可以是有線連接。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。

此外，下面所描述的本發(fā)明不同實(shí)施方式中所涉及的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。

實(shí)施例1

本實(shí)施例提供一種多目標(biāo)跟蹤方法，該多目標(biāo)跟蹤方法適用于目標(biāo)為剛體的跟蹤，例如車輛、非機(jī)動車等。該多目標(biāo)跟蹤方法的流程圖如圖1所示，包括如下步驟：

S1：獲取視頻圖像。所述視頻圖像可以通過移動攝像裝置或設(shè)置在固定位置的攝像裝置采集得到。

S2：提取所述視頻圖像中的關(guān)鍵點(diǎn)。優(yōu)選地，可以通過控制視頻圖像的每一幀中目標(biāo)軌跡的數(shù)量，以減少計算量，從而提高多目標(biāo)跟蹤的實(shí)時性。因此所述視頻圖像中的關(guān)鍵點(diǎn)可以采用哈里斯(Harris)角點(diǎn)，提取所述視頻圖像中的Harris角點(diǎn)。

首先，假設(shè)所述視頻圖像為I(x,y)，根據(jù)式(1)計算I(x,y)在X和Y兩個方向的梯度I_x和I_y。

根據(jù)梯度I_x和I_y，由式(2)分別計算出兩個方向梯度的乘積。

使用高斯濾波函數(shù)w對I_x²、I_y²和I_xy進(jìn)行高斯加權(quán)，分別獲得元素A、B、C如式(3)所示。

根據(jù)元素A、B、C得到矩陣M如式(4)所示。

根據(jù)矩陣M，計算所述視頻圖像中每個像素點(diǎn)的Harris響應(yīng)值R，如式(5)所示，其中detM為矩陣M的行列式，trace(M)為矩陣M的直跡，α為經(jīng)驗(yàn)常數(shù)，t為閾值。對小于閾值t的R置為零。

R＝{R：det M-α(trace M)²＜t} (5)

在所述視頻圖像中每個像素點(diǎn)的3*3和5*5的鄰域內(nèi)進(jìn)行非極大抑制，局部最大點(diǎn)即為所述視頻圖像中的關(guān)鍵點(diǎn)。

S3：對所述視頻圖像中的關(guān)鍵點(diǎn)進(jìn)行跟蹤。具體地，可以采用光流跟蹤算法對所述視頻圖像中的關(guān)鍵點(diǎn)進(jìn)行跟蹤。光流跟蹤是利用圖像序列中的像素點(diǎn)在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀與當(dāng)前幀之間存在的對應(yīng)關(guān)系，計算相鄰幀之間目標(biāo)的運(yùn)動信息。

優(yōu)選地，為進(jìn)一步控制所述視頻圖像的每一幀中目標(biāo)軌跡的數(shù)量，對于提取的所述視頻圖像中的關(guān)鍵點(diǎn)，即Harris角點(diǎn)，不對當(dāng)前幀提取的全部Harris角點(diǎn)進(jìn)行光流跟蹤。具體地，可以定義當(dāng)前幀所有軌跡點(diǎn)的一個鄰域δ，判斷所述Harris角點(diǎn)是否在當(dāng)前幀軌跡點(diǎn)的鄰域δ內(nèi)。當(dāng)所述Harris角點(diǎn)在當(dāng)前幀軌跡點(diǎn)的鄰域δ內(nèi)時，不對該Harris角點(diǎn)進(jìn)行光流跟蹤；當(dāng)所述Harris角點(diǎn)不在當(dāng)前幀軌跡點(diǎn)的鄰域δ內(nèi)時，將該Harris角點(diǎn)作為目標(biāo)軌跡初始點(diǎn)，對其進(jìn)行光流跟蹤。

S4：根據(jù)所述視頻圖像中連續(xù)N幀跟蹤到的關(guān)鍵點(diǎn)，形成關(guān)鍵點(diǎn)軌跡。對所述關(guān)鍵點(diǎn)跟蹤連續(xù)N幀，分別得到所述關(guān)鍵點(diǎn)在連續(xù)N幀的每一幀中的位置坐標(biāo)。由于光流跟蹤出來的關(guān)鍵點(diǎn)的位置坐標(biāo)會存有誤差，導(dǎo)致目標(biāo)跟蹤漂移。優(yōu)選地，可以通過對光流跟蹤出來的關(guān)鍵點(diǎn)進(jìn)行有效性判斷，得到有效性關(guān)鍵點(diǎn)。根據(jù)所述有效性關(guān)鍵點(diǎn)，形成關(guān)鍵點(diǎn)軌跡。

S5：對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個目標(biāo)。具體地，可以通過計算所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和方向，對所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和方向進(jìn)行相似性度量。根據(jù)相似性度量結(jié)果，通過譜聚類算法自動形成至少一個目標(biāo)。

本發(fā)明提供的多目標(biāo)跟蹤方法，通過提取視頻圖像中的關(guān)鍵點(diǎn)，并對所述關(guān)鍵點(diǎn)進(jìn)行跟蹤，對連續(xù)N幀跟蹤到的這些關(guān)鍵點(diǎn)形成軌跡，采用一定的相似性度量方法對這些關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個完整的目標(biāo)，從而實(shí)現(xiàn)對多個目標(biāo)實(shí)時、持續(xù)、準(zhǔn)確地跟蹤。該發(fā)明能夠通過對跟蹤得到的數(shù)量較多的多個目標(biāo)軌跡進(jìn)行聚類，確定多個目標(biāo)，在兼顧算法精度的同時，解決了現(xiàn)有多目標(biāo)檢測加跟蹤算法耗時長的問題。

作為一個具體的實(shí)施方式，在上述步驟S5之后，還包括：

S6：剔除所述至少一個目標(biāo)的噪聲軌跡點(diǎn)。由于上述步驟S5通過對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類形成的目標(biāo)中可能含有較多其他目標(biāo)上的點(diǎn)等噪聲軌跡點(diǎn)，這些噪聲軌跡點(diǎn)影響對目標(biāo)跟蹤的穩(wěn)定性。因此，將這些噪聲軌跡點(diǎn)進(jìn)行剔除。

具體地，上述步驟S6包括以下子步驟：

S61：計算所述至少一個目標(biāo)中的軌跡點(diǎn)連接所得的至少一條邊的權(quán)值。

首先對已經(jīng)形成的所述至少一個目標(biāo)中的所有軌跡進(jìn)行聚類，例如可以采用K近鄰圖進(jìn)行聚類。再計算所述至少一個目標(biāo)中的軌跡點(diǎn)的K近鄰邊的權(quán)值。具體地，連接目標(biāo)軌跡中任意點(diǎn)的K近鄰點(diǎn)，形成K近鄰邊，并對每條邊賦值?？梢詫⒚總€目標(biāo)連續(xù)回溯N幀，當(dāng)前幀每條邊賦值為1，倒數(shù)第N-1幀每條邊的權(quán)值計算如式(6)所示。

s(t)＝(1-α)·s(t-1)+α·S (6)

式(6)中，s(t-1)為目標(biāo)中某點(diǎn)與其對應(yīng)的K近鄰點(diǎn)連接后所得邊的權(quán)值，α為上一幀和當(dāng)前幀的邊的比值，一般設(shè)為0.5，S為當(dāng)前幀的邊的權(quán)值，計算公式如式(7)所示。

式(7)中，r_i＝l′_i-s·l_i，σ為計算目標(biāo)尺度時的對應(yīng)的方差，σ_n為中值方差。s為連續(xù)尺度值，假設(shè)倒數(shù)第N幀目標(biāo)的尺度為1，其余時刻尺度定義為s₁,s₂,s₃,…,s_n，則s根據(jù)式(8)得到。

式(8)中，l_i表示目標(biāo)上任意兩點(diǎn)在當(dāng)前幀所連接邊的邊長，l_i，表示目標(biāo)上上一幀任意兩點(diǎn)所連接邊的邊長。通過式(8)可以計算出目標(biāo)回溯N幀的連續(xù)尺度值。至此就可以計算目標(biāo)中往后回溯N時刻，每一時刻目標(biāo)的尺度和目標(biāo)中任意兩點(diǎn)之間的邊值。

S62：判斷所述至少一條邊的權(quán)值是否小于預(yù)設(shè)權(quán)值閾值。

S63：當(dāng)所述至少一條邊的權(quán)值小于預(yù)設(shè)權(quán)值閾值時，判定所述至少一條邊對應(yīng)的軌跡點(diǎn)為噪聲軌跡點(diǎn)，剔除所述至少一個目標(biāo)的噪聲軌跡點(diǎn)。具體地，可以將權(quán)值閾值設(shè)為0.5。當(dāng)所形成的邊的權(quán)值小于0.5時，則認(rèn)為該邊無效，該邊對應(yīng)的軌跡點(diǎn)為噪聲軌跡點(diǎn)，并剔除。反之則認(rèn)為該邊有效。

作為一個具體的實(shí)施方式，上述步驟S4包括以下子步驟：

S41：提取所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征。

S42：根據(jù)所述關(guān)鍵點(diǎn)在相鄰兩幀的特征判斷所述關(guān)鍵點(diǎn)是否為有效關(guān)鍵點(diǎn)；

S43：當(dāng)所述關(guān)鍵點(diǎn)為有效關(guān)鍵點(diǎn)時，根據(jù)所述有效關(guān)鍵點(diǎn)形成關(guān)鍵點(diǎn)軌跡。

由于光流跟蹤出來的軌跡點(diǎn)的位置會存有誤差，存在跟蹤漂移。具體地，可以采用Forward-Backward算法(前向-后向算法)、NCC算法(normalized cross correlation，歸一化互相關(guān)匹配法)和PN算法(neighbourhood consistency,近鄰一致性算法)中的至少一種方法，對光流跟蹤到的關(guān)鍵點(diǎn)進(jìn)行有效性判斷，刪除那些未通過有效性判斷的點(diǎn)，并對跟蹤到的有效關(guān)鍵點(diǎn)形成軌跡。

對于Forward-Backward算法，提取的所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征為軌跡位置信息；對當(dāng)前跟蹤出來的軌跡點(diǎn)，再次采用光流跟蹤法計算出其在上一幀的位置，然后計算所有軌跡點(diǎn)上一幀的位置與采用反向光流跟蹤出來上一幀的位置的誤差，本實(shí)施例只保留誤差在一定容許范圍內(nèi)的軌跡點(diǎn)，若超過了一定誤差范圍則直接剔除。

對于NCC算法，提取的所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征為直方圖；計算所有軌跡點(diǎn)中上一幀點(diǎn)和當(dāng)前幀點(diǎn)鄰域內(nèi)的梯度直方圖，比較所有點(diǎn)在上一幀和當(dāng)前幀對應(yīng)直方圖的相似性，相似性大于一定閾值則認(rèn)為有效。本實(shí)施例只保留通過了相似度量的軌跡點(diǎn)，否則直接剔除軌跡點(diǎn)。

對于PN算法，提取的所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征為運(yùn)動狀態(tài)；計算當(dāng)前所有已跟蹤軌跡點(diǎn)的鄰域內(nèi)，上一幀鄰域內(nèi)和當(dāng)前幀鄰域內(nèi)的運(yùn)動狀態(tài)是否一致，或者一致點(diǎn)的數(shù)量是否大于一定的比例，如果是則認(rèn)為跟蹤到的軌跡點(diǎn)是有效點(diǎn)，否則直接剔除軌跡點(diǎn)。

優(yōu)選地，本實(shí)施例只保留全部通過Forward-Backward算法、NCC算法和PN算法判定為有效的軌跡點(diǎn)，若當(dāng)前軌跡點(diǎn)中有任一軌跡點(diǎn)未通過上述判斷條件，則直接剔除。

作為一個具體的實(shí)施方式，上述步驟S5包括以下子步驟：

S51：判斷所述關(guān)鍵點(diǎn)軌跡的長度是否大于預(yù)設(shè)長度閾值。具體地，所述關(guān)鍵點(diǎn)軌跡的長度可以用軌跡所在的連續(xù)幀的幀數(shù)來表示。通過預(yù)設(shè)長度閾值，只對滿足條件的有效軌跡進(jìn)行聚類，不僅減少了計算量，而且提高了準(zhǔn)確度。

S52：當(dāng)所述關(guān)鍵點(diǎn)軌跡的長度大于預(yù)設(shè)長度閾值時，計算所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角。

具體地，根據(jù)式(9)和式(10)計算有效軌跡的運(yùn)動距離和方向，其中，vi和vj分別表示軌跡在i時刻和j時刻所對應(yīng)的坐標(biāo)。

dir＝a tan((vi_y-vj_y)/(vi_x-vj_x)) (10)

S53：根據(jù)所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角，進(jìn)行相似性度量。通過計算有效軌跡兩兩之間的夾角和運(yùn)動距離的比率，根據(jù)這兩個度量值對有效軌跡進(jìn)行相似性度量，作為后續(xù)采用聚類算法進(jìn)行聚類的基礎(chǔ)。

S54：根據(jù)所述相似性度量結(jié)果進(jìn)行聚類，形成至少一個目標(biāo)。采用譜聚類(Spectral Clustering)算法對那些軌跡夾角小于一定閾值、運(yùn)動距離比率小于一定閾值的值作為相似性度量，將這些軌跡通過譜聚類算法自動形成一個目標(biāo)，從而實(shí)現(xiàn)從軌跡層面到目標(biāo)層面的全過程。

實(shí)施例2

本實(shí)施例提供一種多目標(biāo)跟蹤裝置，該裝置適用于目標(biāo)為剛體的跟蹤，例如車輛、非機(jī)動車等。該裝置的示意圖如圖2所示。包括：

視頻圖像獲取單元10，用于獲取視頻圖像。所述視頻圖像可以通過移動攝像裝置或設(shè)置在固定位置的攝像裝置采集得到。

關(guān)鍵點(diǎn)提取單元20，用于提取所述視頻圖像中的關(guān)鍵點(diǎn)。優(yōu)選地，可以通過控制視頻圖像的每一幀中目標(biāo)軌跡的數(shù)量，以減少計算量，從而提高多目標(biāo)跟蹤的實(shí)時性。因此所述視頻圖像中的關(guān)鍵點(diǎn)可以采用哈里斯(Harris)角點(diǎn)，提取所述視頻圖像中的Harris角點(diǎn)。

關(guān)鍵點(diǎn)跟蹤單元30，用于對所述視頻圖像中的關(guān)鍵點(diǎn)進(jìn)行跟蹤。具體地，可以采用光流跟蹤算法對所述視頻圖像中的關(guān)鍵點(diǎn)進(jìn)行跟蹤。光流跟蹤是利用圖像序列中的像素點(diǎn)在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀與當(dāng)前幀之間存在的對應(yīng)關(guān)系，計算相鄰幀之間目標(biāo)的運(yùn)動信息。

優(yōu)選地，為進(jìn)一步控制所述視頻圖像的每一幀中目標(biāo)軌跡的數(shù)量，對于提取的所述視頻圖像中的關(guān)鍵點(diǎn)，即Harris角點(diǎn)，不對當(dāng)前幀提取的全部Harris角點(diǎn)進(jìn)行光流跟蹤。具體地，可以定義當(dāng)前幀所有軌跡點(diǎn)的一個鄰域δ，判斷所述Harris角點(diǎn)是否在當(dāng)前幀軌跡點(diǎn)的鄰域δ內(nèi)。當(dāng)所述Harris角點(diǎn)在當(dāng)前幀軌跡點(diǎn)的鄰域δ內(nèi)時，不對該Harris角點(diǎn)進(jìn)行光流跟蹤；當(dāng)所述Harris角點(diǎn)不在當(dāng)前幀軌跡點(diǎn)的鄰域δ內(nèi)時，將該Harris角點(diǎn)作為目標(biāo)軌跡初始點(diǎn)，對其進(jìn)行光流跟蹤。

軌跡形成單元40，用于根據(jù)所述視頻圖像中連續(xù)N幀跟蹤到的關(guān)鍵點(diǎn)，形成關(guān)鍵點(diǎn)軌跡。對所述關(guān)鍵點(diǎn)跟蹤連續(xù)N幀，分別得到所述關(guān)鍵點(diǎn)在連續(xù)N幀的每一幀中的位置坐標(biāo)。由于光流跟蹤出來的關(guān)鍵點(diǎn)的位置坐標(biāo)會存有誤差，導(dǎo)致目標(biāo)跟蹤漂移。優(yōu)選地，可以通過對光流跟蹤出來的關(guān)鍵點(diǎn)進(jìn)行有效性判斷，得到有效性關(guān)鍵點(diǎn)。根據(jù)所述有效性關(guān)鍵點(diǎn)，形成關(guān)鍵點(diǎn)軌跡。

軌跡聚類單元50，用于對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個目標(biāo)。具體地，可以通過計算所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和方向，對所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和方向進(jìn)行相似性度量。根據(jù)相似性度量結(jié)果，通過譜聚類算法自動形成至少一個目標(biāo)。

本發(fā)明提供的多目標(biāo)跟蹤裝置，通過提取視頻圖像中的關(guān)鍵點(diǎn)，并對所述關(guān)鍵點(diǎn)進(jìn)行跟蹤，對連續(xù)N幀跟蹤到的這些關(guān)鍵點(diǎn)形成軌跡，采用一定的相似性度量方法對這些關(guān)鍵點(diǎn)軌跡進(jìn)行聚類，形成至少一個完整的目標(biāo)，從而實(shí)現(xiàn)對多個目標(biāo)實(shí)時、持續(xù)、準(zhǔn)確地跟蹤。該發(fā)明能夠通過對跟蹤得到的數(shù)量較多的多個目標(biāo)軌跡進(jìn)行聚類，確定多個目標(biāo)，在兼顧算法精度的同時，解決了現(xiàn)有多目標(biāo)檢測加跟蹤算法耗時長的問題。

作為一個具體的實(shí)施方式，該裝置還包括噪聲軌跡點(diǎn)剔除單元，由于通過對所述關(guān)鍵點(diǎn)軌跡進(jìn)行聚類形成的目標(biāo)中可能含有較多其他目標(biāo)上的點(diǎn)等噪聲軌跡點(diǎn)，這些噪聲軌跡點(diǎn)影響對目標(biāo)跟蹤的穩(wěn)定性。因此，將這些噪聲軌跡點(diǎn)進(jìn)行剔除。所述噪聲軌跡點(diǎn)剔除單元包括：

權(quán)值計算子單元，用于計算所述至少一個目標(biāo)中的軌跡點(diǎn)連接所得的至少一條邊的權(quán)值。

首先對已經(jīng)形成的所述至少一個目標(biāo)中的所有軌跡進(jìn)行聚類，例如可以采用K近鄰圖進(jìn)行聚類。再計算所述至少一個目標(biāo)中的軌跡點(diǎn)的K近鄰邊的權(quán)值。具體地，連接目標(biāo)軌跡中任意點(diǎn)的K近鄰點(diǎn)，形成K近鄰邊，并對每條邊賦值?？梢詫⒚總€目標(biāo)連續(xù)回溯N幀，當(dāng)前幀每條邊賦值為1，倒數(shù)第N-1幀每條邊的權(quán)值計算如式(6)所示。

s(t)＝(1-α)·s(t-1)+α·S (6)

式(6)中，s(t-1)為目標(biāo)中某點(diǎn)與其對應(yīng)的K近鄰點(diǎn)連接后所得邊的權(quán)值，α為上一幀和當(dāng)前幀的邊的比值，一般設(shè)為0.5，S為當(dāng)前幀的邊的權(quán)值，計算公式如式(7)所示。

式(7)中，r_i＝l′_i-s·l_i，σ為計算目標(biāo)尺度時的對應(yīng)的方差，σ_n為中值方差。s為連續(xù)尺度值，假設(shè)倒數(shù)第N幀目標(biāo)的尺度為1，其余時刻尺度定義為s₁,s₂,s₃,…,s_n，則s根據(jù)式(8)得到。

式(8)中，l_i表示目標(biāo)上任意兩點(diǎn)在當(dāng)前幀所連接邊的邊長，l_i，表示目標(biāo)上上一幀任意兩點(diǎn)所連接邊的邊長。通過式(8)可以計算出目標(biāo)回溯N幀的連續(xù)尺度值。至此就可以計算目標(biāo)中往后回溯N時刻，每一時刻目標(biāo)的尺度和目標(biāo)中任意兩點(diǎn)之間的邊值。

權(quán)值判斷子單元，用于判斷所述至少一條邊的權(quán)值是否小于預(yù)設(shè)權(quán)值閾值。

剔除子單元，用于當(dāng)所述至少一條邊的權(quán)值小于預(yù)設(shè)權(quán)值閾值時，判定所述至少一條邊對應(yīng)的軌跡點(diǎn)為噪聲軌跡點(diǎn)，剔除所述至少一個目標(biāo)的噪聲軌跡點(diǎn)。具體地，可以將權(quán)值閾值設(shè)為0.5。當(dāng)所形成的邊的權(quán)值小于0.5時，則認(rèn)為該邊無效，該邊對應(yīng)的軌跡點(diǎn)為噪聲軌跡點(diǎn)，并剔除。反之則認(rèn)為該邊有效。

作為一個具體的實(shí)施方式，軌跡形成單元40還包括：

特征提取子單元，用于提取所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征。

有效關(guān)鍵點(diǎn)判斷子單元，用于根據(jù)所述關(guān)鍵點(diǎn)在相鄰兩幀的特征判斷所述關(guān)鍵點(diǎn)是否為有效關(guān)鍵點(diǎn)；

關(guān)鍵點(diǎn)軌跡形成子單元，用于當(dāng)所述關(guān)鍵點(diǎn)為有效關(guān)鍵點(diǎn)時，根據(jù)所述有效關(guān)鍵點(diǎn)形成關(guān)鍵點(diǎn)軌跡。

由于光流跟蹤出來的軌跡點(diǎn)的位置會存有誤差，存在跟蹤漂移。具體地，可以采用Forward-Backward算法(前向-后向算法)、NCC算法(normalized cross correlation，歸一化互相關(guān)匹配法)和PN算法(neighbourhood consistency,近鄰一致性算法)中的至少一種方法，對光流跟蹤到的關(guān)鍵點(diǎn)進(jìn)行有效性判斷，刪除那些未通過有效性判斷的點(diǎn)，并對跟蹤到的有效關(guān)鍵點(diǎn)形成軌跡。

對于Forward-Backward算法，提取的所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征為軌跡位置信息；對當(dāng)前跟蹤出來的軌跡點(diǎn)，再次采用光流跟蹤法計算出其在上一幀的位置，然后計算所有軌跡點(diǎn)上一幀的位置與采用反向光流跟蹤出來上一幀的位置的誤差，本實(shí)施例只保留誤差在一定容許范圍內(nèi)的軌跡點(diǎn)，若超過了一定誤差范圍則直接剔除。對于NCC算法，提取的所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征為直方圖；計算所有軌跡點(diǎn)中上一幀點(diǎn)和當(dāng)前幀點(diǎn)鄰域內(nèi)的梯度直方圖，比較所有點(diǎn)在上一幀和當(dāng)前幀對應(yīng)直方圖的相似性，相似性大于一定閾值則認(rèn)為有效。本實(shí)施例只保留通過了相似度量的軌跡點(diǎn)，否則直接剔除軌跡點(diǎn)。對于PN算法，提取的所述視頻圖像中連續(xù)N幀的關(guān)鍵點(diǎn)對應(yīng)的特征為運(yùn)動狀態(tài)；計算當(dāng)前所有已跟蹤軌跡點(diǎn)的鄰域內(nèi)，上一幀鄰域內(nèi)和當(dāng)前幀鄰域內(nèi)的運(yùn)動狀態(tài)是否一致，或者一致點(diǎn)的數(shù)量是否大于一定的比例，如果是則認(rèn)為跟蹤到的軌跡點(diǎn)是有效點(diǎn)，否則直接剔除軌跡點(diǎn)。

優(yōu)選地，本實(shí)施例只保留全部通過Forward-Backward算法、NCC算法和PN算法判定為有效的軌跡點(diǎn)，若當(dāng)前軌跡點(diǎn)中有任一軌跡點(diǎn)未通過上述判斷條件，則直接剔除。

作為一個具體的實(shí)施方式，軌跡聚類單元50還包括：

軌跡長度判斷子單元，用于判斷所述關(guān)鍵點(diǎn)軌跡的長度是否大于預(yù)設(shè)長度閾值。具體地，所述關(guān)鍵點(diǎn)軌跡的長度可以用軌跡所在的連續(xù)幀的幀數(shù)來表示。通過預(yù)設(shè)長度閾值，只對滿足條件的有效軌跡進(jìn)行聚類，不僅減少了計算量，而且提高了準(zhǔn)確度。

計算子單元，用于當(dāng)所述關(guān)鍵點(diǎn)軌跡的長度大于預(yù)設(shè)長度閾值時，計算所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角。

具體地，根據(jù)式(9)和式(10)計算有效軌跡的運(yùn)動距離和方向，其中，vi和vj分別表示軌跡在i時刻和j時刻所對應(yīng)的坐標(biāo)。

dir＝a tan((vi_y-vj_y)/(vi_x-vj_x)) (10)

相似性度量子單元，用于根據(jù)所述關(guān)鍵點(diǎn)軌跡的運(yùn)動距離和任意兩個所述關(guān)鍵點(diǎn)軌跡之間的夾角，進(jìn)行相似性度量。通過計算有效軌跡兩兩之間的夾角和運(yùn)動距離的比率，根據(jù)這兩個度量值對有效軌跡進(jìn)行相似性度量，作為后續(xù)采用聚類算法進(jìn)行聚類的基礎(chǔ)。

聚類子單元，用于根據(jù)所述相似性度量結(jié)果進(jìn)行聚類，形成至少一個目標(biāo)。采用譜聚類(Spectral Clustering)算法對那些軌跡夾角小于一定閾值、運(yùn)動距離比率小于一定閾值的值作為相似性度量，將這些軌跡通過譜聚類算法自動形成一個目標(biāo)，從而實(shí)現(xiàn)從軌跡層面到目標(biāo)層面的全過程。

顯然，上述實(shí)施例僅僅是為清楚地說明所作的舉例，而并非對實(shí)施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實(shí)施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。