本發(fā)明屬于計算機視覺技術領域，具體涉及一種局部特征與詞袋模型相結(jié)合的剛體目標跟蹤方法。

背景技術：

剛體目標表面任意一點的運動都可以代表整體的運動，使得利用目標區(qū)域內(nèi)的特征來描述目標運動成為可能。已有的剛體目標跟蹤方法致力于提取參考圖像目標區(qū)域內(nèi)具有不變性的某些特征，并對提取的特征進行量化和描述，如顏色特征、紋理特征、光流特征。局部特征是指在圖像區(qū)域內(nèi)檢測到的局部具有不變性、可重現(xiàn)性和特異性的特征，能夠在一定程度上抵抗遮擋、尺度、旋轉(zhuǎn)等復雜變化，并提供對特征的定量描述。目前，相比其他特征，局部特征在不變性和特異性方面優(yōu)勢愈發(fā)明顯，使其更加深入的應用在目標跟蹤中。在當前幀到來時，首先對整個區(qū)域提取局部特征并描述。進而，通過局部特征的匹配找到同上一目標內(nèi)局部特征的候選對應集。借助隨機采樣一致性算法(RANSAC)，去除不正確的對應特征集，估計出運動變換參數(shù)，實現(xiàn)目標跟蹤。圖1給出了基于特征的跟蹤方法框圖，其主要思路在于將跟蹤看成是局部特征匹配問題。

目前，SURF(Speed-up Robust Feature，加速魯棒特征)特征是應用較多且效果較為理想的局部特征之一，主要引入積分圖像快速算法，并通過執(zhí)行加減法運算近似得到高斯二階微分的響應值。SURF算法主要包括特征檢測和特征描述兩方面。特征檢測通過快速計算每個特征的尺度和主方向，并且圈定以檢測點為中心的尺度旋轉(zhuǎn)不變對稱鄰域；特征描述在該不變性鄰域內(nèi)進行Haar特征計算，并最終形成64維特征向量。不同圖像之間的SURF特征匹配主要是通過比較特征向量之間的距離實現(xiàn)的。

運動模型構建是通過SURF特征匹配完成的。假設x和分別代表不同圖像之間的對應SURF特征點，則二者之間有如下的關系：

其中，W(x,h)是透視變換函數(shù)，h＝(h₁,...h₈)^T是運動參數(shù)。具體表示如下：

得出運動參數(shù)后，將初始幀的目標區(qū)域邊界進行相應的透視變換，得到當前幀的目標區(qū)域。

視頻中常見的復雜場景變化主要包括以下3種：

(1)幾何變化。在視頻的感興趣區(qū)域內(nèi)，物體的自身軸轉(zhuǎn)，會引起視角發(fā)生變化；物體發(fā)生旋轉(zhuǎn)或攝像機存在轉(zhuǎn)動時，視覺中就會產(chǎn)生旋轉(zhuǎn)變化；當場景和攝像機之間的相對距離發(fā)生變化時，場景中就會產(chǎn)生尺度變化；當上述的變化同時發(fā)生時，就會產(chǎn)生仿射或者透視變化。圖2給出了幾何變化的示例。

(2)灰度變化。當光源或者拍攝物體表面反射條件發(fā)生變化時，會引起光照的變化，相關的圖像區(qū)域灰度也會相應變化，對特征匹配造成影響。此外，當感興趣區(qū)域被其他物體遮擋時，陰影區(qū)域也會產(chǎn)生灰度變化。

(3)其他變化。當物體突然快速運動或攝像機劇烈抖動時，場景會出現(xiàn)模糊現(xiàn)象，會影響特征檢測和描述。此外，在區(qū)分目標和背景的視頻中，如果背景中包含與目標相似的區(qū)域，也會影響特征的匹配。

在視頻中，場景經(jīng)常會出現(xiàn)以上的一種或多種變化，對局部特征的匹配造成了嚴重的干擾?，F(xiàn)有技術沿用和靜態(tài)圖像相同的局部特征匹配方法，無法適應發(fā)生劇烈變化的場景，也沒有體現(xiàn)與場景連續(xù)性變化相對應的自適應性。

技術實現(xiàn)要素：

視頻序列中，場景經(jīng)常會出現(xiàn)復雜變化，如尺度、旋轉(zhuǎn)、光照、遮擋等，對剛體目標跟蹤提出了挑戰(zhàn)，通過什么策略能夠?qū)δ繕藚^(qū)域的局部特征實現(xiàn)準確的描述和匹配，進而保證目標跟蹤效果的魯棒性、穩(wěn)定性，是本發(fā)明要解決的技術問題。

本發(fā)明采用的技術方案如下：

一種局部特征與詞袋模型相結(jié)合的剛體目標跟蹤方法，包括以下步驟：

1)在初始圖像中選定感興趣的目標區(qū)域，并在目標區(qū)域檢測SURF特征；

2)為SURF特征構建分類器，其中每個強分類器對應一個SURF特征，每個強分類器包括若干弱分類器；

3)將詞袋模型與局部特征結(jié)合，對每個SURF特征點用視覺單詞來表達，形成2維尺度旋轉(zhuǎn)不變空間；

4)在當前圖像到來時，基于SURF特征實現(xiàn)分類器的自適應匹配，并使用2維尺度旋轉(zhuǎn)不變空間內(nèi)的視覺單詞進行協(xié)同匹配，形成匹配點對；

5)根據(jù)得到的匹配點對計算得出運動參數(shù)，從而確定當前圖像的目標區(qū)域，實現(xiàn)目標跟蹤。

進一步地，還包括在線更新步驟：在對目標區(qū)域完成定位后，對目標模型進行自適應更新，以便于后續(xù)幀的處理。

進一步地，步驟1)檢測SURF特征時，利用積分圖像計算Hessian矩陣行列式，再通過選取極值來定位SURF特征點，并通過調(diào)整方格濾波器的尺寸來建立尺度空間；SURF特征的旋轉(zhuǎn)不變性通過求取主方向?qū)崿F(xiàn)。

進一步地，步驟2)中，每個強分類器C對應一個SURF特征，特征匹配用分類器在每一個新的SURF檢測點x的匹配分數(shù)C(x)來比較，值越大，表示當前檢測點作為對應點的可能性越大。

進一步地，步驟3)建立基于SURF特征的2維尺度旋轉(zhuǎn)不變空間的方法是：以每個SURF特征點為中心，在初始圖像中提取圖像塊鄰域，并按照不同層對其實現(xiàn)基于尺度空間的表達，各個層上的圖像塊具有相同尺寸，相同層上的圖像塊具有旋轉(zhuǎn)變化；每個圖像塊對應一個視覺單詞，所有視覺單詞組成2維尺度旋轉(zhuǎn)不變空間。

進一步地，步驟4)使用分類器與視覺單詞進行協(xié)同匹配的方法是：假設目標模型中所有SURF特征點集合為B＝{b₁,b₂,...,b_M}，對應的分類器集合為{C₁,C₂,...,C_M}，對當前幀提取的SURF特征集合為首先利用分類器C_m找到特征b_m的候選對應點ψ_m，其中1≤m≤M，之后按照匹配可靠性將候選對應點集進行排序Ψ＝{ψ₁,ψ₂,...,ψ_M}，從中挑選出能夠適應當前目標變化的子集。

進一步地，步驟4)將匹配分數(shù)C_m(ψ_m)同預設門限λ進行比較，認為只有匹配分數(shù)大于門限的點能夠適應當前變化，并將其作為候選點對；反之，則棄掉ψ_m，再利用詞袋中尺度和旋轉(zhuǎn)不變的視覺單詞補充匹配。

本發(fā)明的關鍵點包括：1)基于局部特征匹配解決剛體目標跟蹤問題；2)在初始幀和當前幀之間對剛體目標構建運動模型；3)利用分類器來實現(xiàn)局部特征匹配；4)基于SU RF特征的2維尺度旋轉(zhuǎn)不變空間描述；5)分類器與視覺單詞協(xié)同匹配；6)在線更新使跟蹤保持自適應性，保證了算法的系統(tǒng)性和完備性。

本發(fā)明的有益效果如下：

本發(fā)明提出了一種局部特征與詞袋模型相結(jié)合的剛體目標跟蹤方案。首先，用分類的理念對SURF特征進行匹配，并引入可在線學習的分類器；同時，對局部特征構建動態(tài)2維尺度-旋轉(zhuǎn)不變空間，進行協(xié)同匹配；最后求解運動參數(shù)，進行在線更新，便于后續(xù)幀的處理；最終使跟蹤在復雜的場景變化下具有較好的魯棒性和準確性。

附圖說明

圖1.現(xiàn)有技術中基于特征的跟蹤方法框圖。

圖2.幾何變形類別示意圖。

圖3.本發(fā)明方法的工作流程圖。

圖4.基于扇形滑動窗口的主方向求解示意圖。

圖5.尺度和旋轉(zhuǎn)不變的分類器構建示意圖。

圖6.基于SURF特征的2維尺度旋轉(zhuǎn)不變空間描述示例圖。

圖7.SURF特征和視覺單詞協(xié)同匹配示例圖。

圖8.2維空間中視覺單詞更新過程描述示意圖。

具體實施方式

下面通過具體實施例和附圖，對本發(fā)明做進一步說明。

本發(fā)明提出了一種局部特征與詞袋模型相結(jié)合的剛體目標跟蹤方案。首先，用分類的理念對SURF特征進行匹配，并引入可在線學習的分類器；同時，對局部特征構建動態(tài)2維尺度-旋轉(zhuǎn)不變空間，進行協(xié)同匹配；最后求解運動參數(shù)，進行在線更新；最終使跟蹤在復雜的場景變化下具有較好的魯棒性和準確性。

本發(fā)明工作流程如圖3所示。在初始圖像中，選定感興趣的目標區(qū)域，并在目標區(qū)域檢測SURF特征，同時構建智能化目標模型。在當前幀圖像到來時，我們首先基于SURF特征實現(xiàn)分類器自適應匹配，再使用2維尺度旋轉(zhuǎn)不變空間內(nèi)的視覺單詞協(xié)同匹配，增強匹配可靠性。最后，根據(jù)匹配點對計算運動參數(shù)，對目標進行定位，對目標模型進行自適應更新，便于后續(xù)幀的處理。

具體實現(xiàn)方案描述如下：

步驟一：SURF特征提取

SURF特征提取利用積分圖像計算Hessian矩陣行列式，再通過選取極值來定位。具體地,對圖像I上點x＝(x,y)處，尺度s的Hessian矩陣H(x,s)表示為：

以L_xx(x,s)為例，代表高斯函數(shù)二階導數(shù)在x＝(x,y)處與圖形I的卷積，具體用方格濾波器(box filter)D_xx來近似。通過引入相關權重w，實現(xiàn)對Hessian矩陣行列式的平衡：

det(H_approx)＝D_xxD_yy-(wD_xy)² (4)

對于SURF特征檢測，建立尺度空間不需要改變原圖像尺寸，而是通過調(diào)整方格濾波器的尺寸來實現(xiàn)，與原圖像在進行卷積計算。將方格濾波器的近似表示和積分圖像結(jié)合提升計算效率，計算濾波器模板尺寸歸一化det(H_approx)。

通過不同尺寸方格濾波器形成的層(octave)就是對尺度空間的表達。興趣點的定位是以候選點為中心的圖像和包括尺度空間在內(nèi)的3×3×3鄰域內(nèi)執(zhí)行非極大值抑制策略，將具有最大或最小值的對應點作為特征點，同時得到尺度s。

SURF特征的旋轉(zhuǎn)不變性是通過求取主方向(dominant orientation)實現(xiàn)的，求解過程仍然利用了積分圖像的計算優(yōu)勢。在以特征點為圓心、6σ為半徑的圓內(nèi)，按步長σ計算相應像素的Haar小波響應，同時進行尺度歸一化和高斯平滑，得到x方向的響應d_x和y方向的響應d_y，再映射到極坐標當中，如圖4所示。在π/3的扇形滑動區(qū)域內(nèi)對d_x和d_y進行統(tǒng)計，記錄當前窗口i的矢量(w_i,θ_i)：

將區(qū)域內(nèi)最長向量的角度θ作為主方向：

步驟二：SURF特征的分類器構建

每個強分類器C對應一個SURF特征，特征匹配用分類器在每一個新的SURF檢測點x的匹配分數(shù)C(x)來比較，值越大，表示當前檢測點作為對應點的可能性越大。每個強分類器包括若干弱分類器，按照可靠性篩選后得到的若干弱分類器(selectors)與其對應的權重一起構成了強分類器：

其中，J表示弱分類器的個數(shù)；α_j表示每個弱分類器所占的權重；表示對樣本點x屬性的判斷，與該SURF特征尺度和旋轉(zhuǎn)不變鄰域內(nèi)的1個Haar特征對應，Haar特征同時做了尺度和主方向的歸一化，如圖5所示。由弱分類器構成的強分類器，同時具備了尺度和旋轉(zhuǎn)的不變性，能夠滿足圖像匹配的需求。

步驟三：基于SURF特征的2維尺度旋轉(zhuǎn)不變空間描述

將詞袋模型與局部特征結(jié)合，對目標模型中每個SURF特征點用一些視覺單詞來表達，同時為視覺單詞賦予尺度和旋轉(zhuǎn)不變性。具體地，以每個SURF特征點為中心，在初始圖像中提取圖像塊鄰域，并按照不同層(octave)對其實現(xiàn)基于尺度空間的表達。各個octave上的圖像塊具有相同尺寸N×N，是在初始圖像的基礎上進行插值或降采樣之后再提取得到的。相同octave上的圖像塊具有旋轉(zhuǎn)變化。每個圖像塊對應一個視覺單詞，所有視覺單詞組成了尺度和旋轉(zhuǎn)不變的2維空間，即本算法中的詞袋。

圖6描述了對某個SURF特征構建2維空間的過程，是從該特征在2維空間的初始對應位置(依據(jù)尺度和主方向得到的)出發(fā)，共采用了4個尺度空間，每個octave各個圖像塊主方向的取值范圍是(0,π/2)，(π/2,π)，(π,3π/2)，(3π/2,2π)。

步驟四：分類器與視覺單詞協(xié)同匹配

假設目標模型中所有SURF特征點集合為B＝{b₁,b₂,...,b_M}，對應的分類器集合為{C₁,C₂,...,C_M}，對當前幀提取的SURF特征集合為首先利用分類器C_m找到特征b_m的候選對應點ψ_m，其中1≤m≤M，之后按照匹配可靠性將候選對應點集進行排序Ψ＝{ψ₁,ψ₂,...,ψ_M}，從中挑選出能夠適應當前目標變化的子集。具體地，將匹配分數(shù)C_m(ψ_m)同預設門限λ進行比較，認為只有匹配分數(shù)大于門限的點能夠適應當前變化，并將其作為候選點對；反之，則棄掉ψ_m，再利用詞袋中尺度和旋轉(zhuǎn)不變的視覺單詞補充匹配。

在補充匹配中，將目標模型中的特征點b_M對應的2維尺度和旋轉(zhuǎn)不變空間的每一個視覺單詞作為模板，并利用圖像相關技術在當前圖像的搜索區(qū)域內(nèi)找到與模板最相近的圖像塊，同時記錄匹配分數(shù)。對所有視覺單詞進行相同的操作后，比較各個匹配分數(shù)的大小，并從中選出對應最大匹配分數(shù)的視覺單詞和當前幀的圖像塊。我們將此圖像塊稱為“準SURF特征”，并將圖像塊的中心點作為候選對應點ψ_M，尺度和主方向與對應的視覺單詞相同。圖7顯示了SURF特征和視覺單詞協(xié)同匹配的示意圖。

步驟五：目標跟蹤

初始幀I₁和第t幀I_t目標區(qū)域之間的最終運動參數(shù)h_t,1是利用步驟三和步驟四匹配得到的，最終確定了當前幀的目標區(qū)域。

步驟六：在線更新

在對目標區(qū)域完成定位后，需要對目標模型進行更新，整個流程如表1所示。如果正確的匹配點對是通過基于分類器匹配得到的，我們利用匹配點作為正樣本，更新對應的分類器和2維尺度旋轉(zhuǎn)不變空間；如果正確的匹配點是通過準特征點匹配得到的，我們只更新準特征點的尺度旋轉(zhuǎn)不變空間；對于錯誤的匹配點，不做任何更新。

表1 智能化目標模型更新流程

最后，無論當前對應點來自特征點匹配還是準特征點匹配，都需要對其2維尺度和旋轉(zhuǎn)空間的視覺單詞進行更新。對于當前幀中的正樣本點，圍繞此點的鄰域提取N×N圖像塊Y，并將Y置于與其匹配的視覺單詞P_i在2維空間中所處的位置。假設P_i已經(jīng)包含了L_i個N×N的圖像塊，對P_i做出如下的順序更新：

L_i＝L_i+1 (10)

其中，公式(11)依照現(xiàn)有觀測分量的數(shù)量對Y和P_i進行了加權和的操作，過程如圖8所示，其中ω₁和ω₂表示相應圖像塊的權重。類似地，我們通過對Y在當前圖像范圍進行尺度和旋轉(zhuǎn)的處理，更新當前2維空間的其他視覺單詞表達。

以上實施例僅用以說明本發(fā)明的技術方案而非對其進行限制，本領域的普通技術人員可以對本發(fā)明的技術方案進行修改或者等同替換，而不脫離本發(fā)明的精神和范圍，本發(fā)明的保護范圍應以權利要求書所述為準。