專利名稱：一種針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)Mean-shift跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機(jī)器視覺、視頻圖像處理領(lǐng)域，特別涉及尺度方向自適應(yīng)的 Mean-shift跟蹤方法，主要用于智能監(jiān)控系統(tǒng)中。
背景技術(shù)：
運(yùn)動(dòng)目標(biāo)跟蹤是智能視頻監(jiān)控的關(guān)鍵步驟，在交通監(jiān)測、公共安防等系統(tǒng)中均有 廣泛應(yīng)用。其主要目的是在視頻序列的每一幀中定位感興趣的運(yùn)動(dòng)目標(biāo)，進(jìn)而提煉目標(biāo)的 運(yùn)動(dòng)參數(shù)，如質(zhì)心軌跡、方向變化、尺度變化等。Mean-shift算法最初由文獻(xiàn)⑴提出，是一種無參密度梯度上升算法，用于尋找概 率密度函數(shù)的極值。2003年Comaniciu等2將其應(yīng)用于目標(biāo)跟蹤，以目標(biāo)色彩直方圖作 為特征，以巴氏系數(shù)作為相似性度量，以Mean-shift迭代方式定位目標(biāo)，實(shí)時(shí)性、有效性甚 好，獲得廣泛推崇。Mean-shift跟蹤方法中尺度、方向自適應(yīng)機(jī)制一直是重要問題。傳統(tǒng)的 Mean-shift算法采用固定帶寬和方向的核函數(shù)，不能自適應(yīng)跟蹤目標(biāo)的縮放、旋轉(zhuǎn)等多自 由度變化，且容易導(dǎo)致定位不準(zhǔn)。當(dāng)所選擇的帶寬過大時(shí)，所提取的候選區(qū)域特征概率分布 將包含背景干擾，影響定位；反之，則只能獲得目標(biāo)局部的特征概率分布，同樣會(huì)導(dǎo)致定位 誤差。運(yùn)動(dòng)物體往往具有長短軸，通常情況下需采用橢圓擬合目標(biāo)區(qū)域，當(dāng)物體發(fā)生旋轉(zhuǎn) 時(shí)，如果橢圓區(qū)域沒有隨之改變方向，則定位將受干擾。一些學(xué)者針對該問題也提出一些解決方案=Collins3在二維空間的基礎(chǔ)上增加 一維尺度空間，進(jìn)行三維Mean-shift迭代求取極值點(diǎn)，計(jì)算量較大，且本質(zhì)上同文獻(xiàn)2；文 獻(xiàn)4采用帶寬矩陣替代單一的帶寬變量后再進(jìn)行迭代，可以同時(shí)求取尺度、方向信息，但本 質(zhì)上也同文獻(xiàn)2;文獻(xiàn)5提出一種后向跟蹤、形心配準(zhǔn)的尺度自動(dòng)選取算法，用于解決目標(biāo) 不斷變大時(shí)Mean-shift定位不準(zhǔn)的問題，但是通常目標(biāo)尺度變化未知，如果目標(biāo)尺度正當(dāng) 變小，則用文中算法將導(dǎo)致后向跟蹤定位不準(zhǔn)，從而給前向跟蹤帶來根本性誤差。SIFT (Scale Invariant Feature Transform)特征檢測是近年較為流行的一種點(diǎn) 特征提取方法。SIFT算法依據(jù)其提出的DOG (Difference of Gaussian)算子6提取圖像 在不同尺度上的特征點(diǎn)，并利用特征點(diǎn)鄰域內(nèi)采樣點(diǎn)的梯度信息構(gòu)成特征描述符。其對圖 像旋轉(zhuǎn)、縮放、仿射變換、光照變化等均保持一定不變性，獨(dú)特性、穩(wěn)定性較好，精度較高，常 用于圖像配準(zhǔn)、圖像檢索、目標(biāo)跟蹤。SIFT特征檢測過程中可產(chǎn)生兩個(gè)中間產(chǎn)物特征點(diǎn)所在尺度以及特征點(diǎn)主方向。 目前基于SIFT特征的目標(biāo)跟蹤方法往往僅利用SIFT特征描述符以及特征點(diǎn)位置信息，而 忽略了特征點(diǎn)所在尺度以及特征點(diǎn)主方向信息這兩個(gè)信息。SIFT特征點(diǎn)的尺度參數(shù)對應(yīng)于其所采用的高斯濾波函數(shù)的均方差參數(shù)。對視頻序 列中的一個(gè)運(yùn)動(dòng)目標(biāo)，當(dāng)攝像機(jī)與其距離較遠(yuǎn)時(shí)，目標(biāo)成像較小，此時(shí)利用較小的尺度參數(shù) 即可獲得目標(biāo)的輪廓概貌特征，或者說輪廓概貌特征處于較小的尺度參數(shù)上；隨著距離減小，目標(biāo)成像越來越大，細(xì)節(jié)信息也將越來越多，需要較大的尺度參數(shù)才能獲取到輪廓概貌 特征，相對之前，輪廓概貌特征位于一個(gè)更大的尺度參數(shù)上，不僅是輪廓概貌特征，隨著距 離拉近，目標(biāo)上所有特征所處的尺度都將相應(yīng)增大。因此，視頻序列中目標(biāo)的尺度變化與目 標(biāo)上某一特征所在尺度的變化應(yīng)存在一定聯(lián)系。這種聯(lián)系將有助于利用SIFT特征點(diǎn)尺度 變化進(jìn)行目標(biāo)尺度自適應(yīng)檢測。SIFT特征點(diǎn)鄰域梯度信息用于構(gòu)建特征點(diǎn)主方向。通過構(gòu)建特征點(diǎn)鄰域內(nèi)所有像 素的梯度方向直方圖，尋找其峰值作為該特征點(diǎn)的主方向。確定主方向后，特征描述符中的 梯度方向信息將以此為標(biāo)桿，從而保證SIFT特征的旋轉(zhuǎn)不變性。顯然，特征點(diǎn)主方向變化 與目標(biāo)旋轉(zhuǎn)角度一致。參考文獻(xiàn)1、Fukunaga K, Hostetler L. Estimation of gradient of a density-function with applications in pattern recognition[J]. IEEE Trans on Information Theory, 1975,21(1) :32-40.2、Comaniciu D., Ramesh V, Meer P. Kernel-based object tracking[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2003,25(5) :564-577.3、Collins R T. Mean-shift blob tracking through scale space[C]. Proc of IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Washington DC,2003 :234-240.4、Qi S M, Huang X W. Hand tracking and gesture gecogmton by anisotropic kernel mean shift[C]Proc of Int Conf on Neural Networks and Signal Processing. China =ZhenJiang,2008 :581-585.5、彭寧嵩，楊杰.Mean-Shift跟蹤算法中核函數(shù)窗寬的自動(dòng)選取[J].軟件學(xué)報(bào)， 2005，16(9) :1542-1550.6、Lowe D G. Distinctive image features from scale-invariant keypoints[J], Int J of Computer Vision,2004,60(2) :91-110.

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有的Mean-shift跟蹤方法的不足，提出一種針對視 頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方法，挖掘SIFT特征信息用于調(diào)整 Mean-shift算法中核函數(shù)的帶寬和方向，實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)位置位移、尺度變化、方向變化的 多自由度聯(lián)合跟蹤。本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的 Mean-shift跟蹤方法在視頻序列的圖像幀中，先通過Mean-shift算法為SIFT特征檢測提供預(yù)測區(qū)域， 縮小搜索范圍；再利用SIFT特征檢測時(shí)獲得的當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的尺度變化信 息，來跟蹤目標(biāo)尺度變化；利用SIFT特征檢測時(shí)獲得的當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的主方向變化信 息，來跟蹤目標(biāo)旋轉(zhuǎn)運(yùn)動(dòng)；
將所獲得的所述目標(biāo)尺度和目標(biāo)方向用于調(diào)整Mean-shift算法中核函數(shù)的帶寬 和方向，重新進(jìn)行Mean-shift跟蹤，對目標(biāo)位置進(jìn)行更新求精的定位；當(dāng)目標(biāo)尺度變化超過一定閾值時(shí)，則進(jìn)行參考幀目標(biāo)模板直方圖和SIFT特征點(diǎn) 集的更新；具體步驟如下1)目標(biāo)初始化將初始幀作為參考幀，以其初始的尺度和方向參數(shù)構(gòu)建目標(biāo)色彩 直方圖分布，作為Mean-shift跟蹤的模板；構(gòu)建參考幀的目標(biāo)SIFT特征點(diǎn)集，作為SIFT特 征點(diǎn)匹配的模板；2)目標(biāo)位置預(yù)測根據(jù)前一幀中計(jì)算得到目標(biāo)的尺度和方向信息，在當(dāng)前幀中進(jìn) 行基于色彩直方圖分布的Mean-shift跟蹤，初步對目標(biāo)進(jìn)行定位；3) SIFT特征匹配以第2)步中Mean-shift初步定位結(jié)果為中心，利用前一幀的 目標(biāo)的尺度和方向信息構(gòu)建目標(biāo)預(yù)測區(qū)域，在此區(qū)域中進(jìn)行SIFT特征檢測，并將檢測結(jié)果 與參考幀的SIFT特征點(diǎn)集進(jìn)行匹配；4)目標(biāo)尺度修正根據(jù)第3)步得到的SIFT特征點(diǎn)匹配對，計(jì)算每個(gè)特征點(diǎn)的尺 度變化比例，統(tǒng)計(jì)該信息，排除誤匹配對的干擾，計(jì)算當(dāng)前幀目標(biāo)尺度；5)目標(biāo)方向修正根據(jù)第3)步得到的SIFT特征點(diǎn)匹配對，計(jì)算每個(gè)特征點(diǎn)的主 方向旋轉(zhuǎn)角度，統(tǒng)計(jì)該信息，排除誤匹配對的干擾，計(jì)算當(dāng)前幀目標(biāo)方向；6)目標(biāo)精確定位利用第4)步獲得的目標(biāo)尺度和第幻步獲得的目標(biāo)方向，重新 進(jìn)行Mean-shift跟蹤，對目標(biāo)位置進(jìn)行更新求精的定位；7)參考幀更新當(dāng)目標(biāo)尺度變化超過閾值時(shí)，觸發(fā)參考幀更新如果當(dāng)前幀跟蹤結(jié)果中目標(biāo)色彩直方圖和原參考幀直方圖的相似性即巴氏系數(shù) 大于設(shè)定的閾值！^，則將當(dāng)前幀設(shè)置為新的參考幀，根據(jù)當(dāng)前幀目標(biāo)位置、尺度和方向計(jì)算 結(jié)果重新構(gòu)建模板直方圖qu和模板SIFT特征點(diǎn)集F ；巴氏系數(shù)不大于設(shè)定的閾值，則繼續(xù)進(jìn)行Mean-shift跟蹤。本發(fā)明有益效果是在Mean-shift跟蹤方法框架內(nèi)，結(jié)合SIFT特征檢測技術(shù)，實(shí) 現(xiàn)目標(biāo)位置、尺度、方向的多自由度跟蹤，其主要特點(diǎn)是利用SIFT特征點(diǎn)檢測過程中的 尺度和主方向兩個(gè)中間產(chǎn)物，解決傳統(tǒng)的Mean-shift跟蹤方法不能自適應(yīng)調(diào)整核函數(shù)帶 寬和方向的問題。SIFT特征檢測在灰度域進(jìn)行，其實(shí)代表的是圖像紋理、結(jié)構(gòu)的信息，而 Mean-shift跟蹤方法采用目標(biāo)的顏色直方圖，二者結(jié)合是為目標(biāo)完整的描述。得益于SIFT 特征檢測算法高度的穩(wěn)定性、獨(dú)特性、高精度以及Mean-shift算法的高效率，本發(fā)明算法 可以取得較好效果。


圖1本發(fā)明跟蹤方法流程圖；圖2Mean-shift跟蹤結(jié)果為SIFT特征檢測提供的預(yù)測區(qū)域示意圖；圖3實(shí)際目標(biāo)尺度變化與特征點(diǎn)尺度變化的關(guān)系示意圖；圖4本發(fā)明跟蹤方法和文獻(xiàn)2中算法跟蹤效果對比示意圖，分別截取3幀代表性 圖像(照片)；其中圖4(a)、4(b)、4(c)是本發(fā)明跟蹤方法的處理結(jié)果，圖4(d)、4(e)、4(f) 是文獻(xiàn)2跟蹤方法對應(yīng)的處理結(jié)果。
圖5本發(fā)明算法獲得的目標(biāo)的尺度變化示意圖；圖6本發(fā)明算法獲得的目標(biāo)的方向變化示意圖；圖7文獻(xiàn)2Mean-shift算法獲得的目標(biāo)尺度變化示意圖。
具體實(shí)施例方式下面結(jié)合附圖與具體實(shí)施方式
對本技術(shù)方案作進(jìn)一步說明。本發(fā)明跟蹤方法流程如圖1所示，詳細(xì)實(shí)施方式如下1、構(gòu)建目標(biāo)色彩直方圖模板qu，如式⑴所示；提取模板目標(biāo)的SIFT特征點(diǎn)集F， 采用1 維的特征點(diǎn)描述符向量，并記錄每個(gè)特征點(diǎn)i所在尺度參數(shù)σ mi和主方向Rmi。設(shè) 置目標(biāo)位置、尺度、方向初始值分別為14和0m。假設(shè)目標(biāo)橫縱方向的半徑長度分別為hx、 hy，則以目標(biāo)橫向半徑長度代表目標(biāo)尺度，即^11 = hx，在后續(xù)操作中先求解目標(biāo)橫向半徑長 度hx，縱向半徑長度可通過hx和hy的比值獲得。
權(quán)利要求
1.一種針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方法，其特征在于 在視頻序列的圖像幀中，先通過Mean-shift算法為SIFT特征檢測提供預(yù)測區(qū)域，縮小搜索范圍；再利用SIFT特征檢測時(shí)獲得的當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的尺度變化信息， 來跟蹤目標(biāo)尺度變化；利用SIFT特征檢測時(shí)獲得的當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的主方向變化信息， 來跟蹤目標(biāo)旋轉(zhuǎn)運(yùn)動(dòng)；將所獲得的所述目標(biāo)尺度和目標(biāo)方向用于調(diào)整Mean-shift算法中核函數(shù)的帶寬和方 向，重新進(jìn)行Mean-shift跟蹤，對目標(biāo)位置進(jìn)行更新求精的定位；當(dāng)目標(biāo)尺度變化超過一定閾值時(shí)，則進(jìn)行參考幀目標(biāo)模板直方圖和SIFT特征點(diǎn)集的 更新；具體步驟如下1)目標(biāo)初始化將初始幀作為參考幀，以其初始的尺度和方向參數(shù)構(gòu)建目標(biāo)色彩直方 圖分布，作為Mean-shift跟蹤的模板；構(gòu)建參考幀的目標(biāo)SIFT特征點(diǎn)集，作為SIFT特征點(diǎn) 匹配的模板；2)目標(biāo)位置預(yù)測根據(jù)前一幀中計(jì)算得到目標(biāo)的尺度和方向信息，在當(dāng)前幀中進(jìn)行基 于色彩直方圖分布的Mean-shift跟蹤，初步對目標(biāo)進(jìn)行定位；3)SIFT特征匹配以第2)步中Mean-shift初步定位結(jié)果為中心，利用前一幀的目標(biāo) 的尺度和方向信息構(gòu)建目標(biāo)預(yù)測區(qū)域，在此區(qū)域中進(jìn)行SIFT特征檢測，并將檢測結(jié)果與參 考幀的SIFT特征點(diǎn)集進(jìn)行匹配；4)目標(biāo)尺度修正根據(jù)第幻步得到的SIFT特征點(diǎn)匹配對，計(jì)算每個(gè)特征點(diǎn)的尺度變 化比例，統(tǒng)計(jì)該信息，排除誤匹配對的干擾，計(jì)算當(dāng)前幀目標(biāo)尺度；5)目標(biāo)方向修正根據(jù)第3)步得到的SIFT特征點(diǎn)匹配對，計(jì)算每個(gè)特征點(diǎn)的主方向 旋轉(zhuǎn)角度，統(tǒng)計(jì)該信息，排除誤匹配對的干擾，計(jì)算當(dāng)前幀目標(biāo)方向；6)目標(biāo)精確定位利用第4)步獲得的目標(biāo)尺度和第幻步獲得的目標(biāo)方向，重新進(jìn)行 Mean-shift跟蹤，對目標(biāo)位置進(jìn)行更新求精的定位；7)參考幀更新當(dāng)目標(biāo)尺度變化超過閾值時(shí)，觸發(fā)參考幀更新如果當(dāng)前幀跟蹤結(jié)果中目標(biāo)色彩直方圖和原參考幀直方圖的相似性即巴氏系數(shù)大于 設(shè)定的閾值，則將當(dāng)前幀設(shè)置為新的參考幀，根據(jù)當(dāng)前幀目標(biāo)位置、尺度和方向計(jì)算結(jié)果重 新構(gòu)建模板直方圖和模板SIFT特征點(diǎn)集；巴氏系數(shù)不大于設(shè)定的閾值，則繼續(xù)進(jìn)行Mean-shift跟蹤。
2.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方法，其特征是，所述步驟1)中，初始化時(shí)，構(gòu)建的參考幀的目標(biāo)色彩直方圖分布qu，如式 ⑴
3.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方 法，其特征是，步驟幻中Mean-shift跟蹤的方法是利用前一幀獲得目標(biāo)尺度Slffev和方向 0PMV，采用式(2)計(jì)算當(dāng)前幀中位置％處的色彩直方圖分布Pu，如式(2):
4.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方 法，其特征是，步驟幻中所述預(yù)測區(qū)域的構(gòu)建方法為以Mean-shift預(yù)測的目標(biāo)位置為中 心構(gòu)建一橢圓，其主軸方向?yàn)镺prev，主半軸長為Sprev+Δ s，主副軸比例為hx/hy，Δ s是為提高 算法魯棒性設(shè)置的增量。
5.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方 法，其特征是，步驟4)、步驟幻中排除誤匹配對采用的方法設(shè)特征點(diǎn)i在當(dāng)前幀的尺度參數(shù)為Oei，對于oci/omi, i = 1,2,3,……1，1為 匹配上的特征點(diǎn)對數(shù)，如果
6.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方 法，其特征是，利用當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的尺度變化計(jì)算當(dāng)前目標(biāo)尺度S。，如 式(6)
7.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方 法，其特征是，利用當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的主方向變化計(jì)算當(dāng)前幀目標(biāo)方向 Oc，如式(7)
8.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方 法，其特征是，步驟6)中Mean-shift跟蹤的方法同步驟幻，但是采用步驟4)中獲得的當(dāng)前 幀目標(biāo)尺度S。和步驟5)中獲得的當(dāng)前幀目標(biāo)方向0。替代公式2)中的Spmv和0prev。
9.根據(jù)權(quán)利要求1所述的針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方 法，其特征是，模板直方圖的更新，如式(8)
全文摘要
針對視頻運(yùn)動(dòng)目標(biāo)的尺度方向自適應(yīng)的Mean-shift跟蹤方法，在視頻序列的圖像幀中，先通過Mean-shift算法為SIFT特征檢測提供預(yù)測區(qū)域，縮小搜索范圍；再利用SIFT特征檢測時(shí)獲得的當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的尺度變化信息，來跟蹤目標(biāo)尺度變化；利用SIFT特征檢測時(shí)獲得的當(dāng)前幀特征點(diǎn)相對于參考幀特征點(diǎn)的主方向變化信息，來跟蹤目標(biāo)旋轉(zhuǎn)運(yùn)動(dòng)；將所獲得的所述目標(biāo)尺度和目標(biāo)方向用于調(diào)整Mean-shift算法中核函數(shù)的帶寬和方向，重新進(jìn)行Mean-shift跟蹤；當(dāng)目標(biāo)尺度變化超過一定閾值時(shí)，則進(jìn)行參考幀目標(biāo)模板直方圖和SIFT特征點(diǎn)集的更新；實(shí)現(xiàn)目標(biāo)位置、尺度、方向多自由度跟蹤。
文檔編號(hào)G06T7/20GK102117487SQ201110045978
公開日2011年7月6日 申請日期2011年2月25日 優(yōu)先權(quán)日2011年2月25日
發(fā)明者丁文, 吳聰, 張瀟, 李勃, 江登表, 董蓉, 陳啟美, 陳抒容, 顧昊 申請人:南京大學(xué)