一種魯棒性的視頻目標(biāo)對(duì)象跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別是涉及一種能夠應(yīng)對(duì)視頻中目標(biāo)對(duì)象光照變 化、尺度變化、遮擋、變形、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、旋轉(zhuǎn)、背景雜波、低分辨率等各種挑戰(zhàn)，能夠 對(duì)目標(biāo)對(duì)象進(jìn)行連續(xù)準(zhǔn)確跟蹤的魯棒性的視頻目標(biāo)對(duì)象跟蹤方法。
【背景技術(shù)】
[0002] 視頻對(duì)象跟蹤是計(jì)算機(jī)視覺系統(tǒng)中一個(gè)重要的環(huán)節(jié)，它融合了圖像處理、隨機(jī)過 程、人工智能等多領(lǐng)域的理論知識(shí)。對(duì)象跟蹤就是利用指定目標(biāo)的顏色、紋理、邊緣、輪廓等 特征對(duì)目標(biāo)進(jìn)行檢測(cè)，采用跟蹤算法對(duì)目標(biāo)當(dāng)前時(shí)刻的運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，并對(duì)下一時(shí)刻 的狀態(tài)進(jìn)行預(yù)測(cè)，從而實(shí)現(xiàn)對(duì)指定目標(biāo)的準(zhǔn)確、穩(wěn)定、快速的跟蹤，獲得目標(biāo)的運(yùn)動(dòng)參數(shù)，例 如位置、速度、運(yùn)動(dòng)軌跡和加速度等，幫助下一步的處理與分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)識(shí)別及行 為理解，以完成更高級(jí)的檢測(cè)任務(wù)。視頻目標(biāo)跟蹤的關(guān)鍵就是建立每一幀圖像中候選目標(biāo) 與事先確定的跟蹤目標(biāo)的對(duì)應(yīng)關(guān)系。
[0003] 對(duì)象跟蹤技術(shù)有著廣闊的應(yīng)用前景和巨大的市場(chǎng)需求，不僅表征了監(jiān)控行業(yè)的未 來發(fā)展的方向，并且非常符合信息產(chǎn)業(yè)鏈將來發(fā)展的趨勢(shì)，其中蘊(yùn)涵著巨大的經(jīng)濟(jì)效益，也 受到了產(chǎn)業(yè)界和政府管理部門的高度重視。它在安全監(jiān)控、交通檢測(cè)、人機(jī)交互、醫(yī)學(xué)應(yīng) 用、軍事領(lǐng)域等方面已經(jīng)得到了成功的應(yīng)用。
[0004] 鑒于視頻對(duì)象跟蹤技術(shù)的重要應(yīng)用價(jià)值，學(xué)術(shù)界和公司企業(yè)對(duì)它進(jìn)行了廣泛的研 究，有著20多年的研究發(fā)展歷史，但是時(shí)至今日依然沒有一種好的跟蹤算法模型能夠?qū)?duì) 象進(jìn)行實(shí)時(shí)準(zhǔn)確跟蹤。主要原因是跟蹤對(duì)象存在著光照變化、尺度變化、遮擋、非剛性的對(duì) 象變形、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、旋轉(zhuǎn)、目標(biāo)離開視圖、背景雜波、低分辨率等各種挑戰(zhàn)，這些挑 戰(zhàn)嚴(yán)重影響了跟蹤的準(zhǔn)確度以及設(shè)計(jì)算法的復(fù)雜度。
[0005] 針對(duì)現(xiàn)有技術(shù)存在的不足，提出本發(fā)明。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明要解決的技術(shù)問題是提出一種克服視頻中目標(biāo)對(duì)象因光照變化、尺度變 化、遮擋、變形、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、旋轉(zhuǎn)、背景雜波、低分辨率等原因?qū)е赂櫜粶?zhǔn)確甚至 漂移的具有良好的魯棒性的視頻目標(biāo)對(duì)象跟蹤方法
[0007] 本發(fā)明提供的技術(shù)方案是：
[0008] -種魯棒性的視頻目標(biāo)對(duì)象跟蹤方法，用于對(duì)視頻中標(biāo)定的目標(biāo)對(duì)象進(jìn)行連續(xù)跟 蹤，包括以下步驟：
[0009] 步驟11)，基于粒子濾波重要性采樣原理，采樣獲取當(dāng)前幀第t幀的候選目標(biāo)粒 子；
[0010] 所述步驟11)包括預(yù)測(cè)和更新兩個(gè)階段，其中，預(yù)測(cè)階段包括：以第t-Ι幀的狀態(tài) 變量為均值和常數(shù)為方差進(jìn)行高斯隨機(jī)采樣獲得第t幀的狀態(tài)變量；定位出狀態(tài)變量在當(dāng) 前幀第t幀圖像中所對(duì)應(yīng)的區(qū)域；把所述區(qū)域映射到規(guī)范化大小的矩形模板；對(duì)所述矩形 模板向量化得到候選目標(biāo)粒子的灰度觀測(cè)向量；
[0011] 更新階段包括：計(jì)算的判別函數(shù)值作為篩選后的候選目標(biāo)粒子所對(duì)應(yīng)狀態(tài)變量的 權(quán)重，被濾去的候選目標(biāo)所對(duì)應(yīng)狀態(tài)變量權(quán)重設(shè)為0,并將所有粒子權(quán)重進(jìn)行歸一化處理， 根據(jù)歸一化后權(quán)值進(jìn)行重新采樣得到新的狀態(tài)變量。
[0012] 所述預(yù)測(cè)階段具體為，以第t-ι幀重采樣后的狀態(tài)變量矩陣
為均值， 定義的常數(shù)s e R1x6為方差進(jìn)行高斯隨機(jī)采樣得到第t幀狀態(tài)變量矩陣s t，
[0014] 其中，,
u u 是一個(gè)隨機(jī)矩陣，diag ( δ )是一個(gè)對(duì)角化的操作；η。為 粒子的數(shù)目，6為每個(gè)粒子狀態(tài)變量的維數(shù)，包括2個(gè)位置參數(shù)和4個(gè)變形參數(shù)；δ = (xt, yt, Θ t，St，at, φ t)，&為X方向的位移、y y方向的位移、Θ t為旋轉(zhuǎn)角度、s t為尺度 變化、at為寬高比、Φ t為斜切度；找出s t中每個(gè)粒子狀態(tài)變量，即s t的每一行在當(dāng)前幀第 t幀圖像中所對(duì)應(yīng)的區(qū)域并規(guī)范化為模板大小，相應(yīng)的向量化灰度圖像觀測(cè)組成的矩陣為 A= [.Xp .xV ??人]，其中Xi e R d為第i個(gè)候選目標(biāo)粒子的灰度觀測(cè)向量。
[0015] 步驟 12)，基于候選目標(biāo)粒子與第 t_50、t_40、t_30、t_20、t_10、t_5、t_4、t_3、 t-2、t-1幀目標(biāo)對(duì)象跟蹤結(jié)果的余弦相似度，濾去相似度值都小于閾值的候選目標(biāo)粒子，余 弦相似度的計(jì)算公式為：
[0016]
i = 1，2,…，n。; j = t_50, t_40, t_30, t_20, t_10, t_5, t_4， t~3, t~2, t_l ；
[0017] 其中，X1是第i個(gè)獲選目標(biāo)粒子的灰度觀測(cè)向量，y ]是第j幀目標(biāo)對(duì)象跟蹤結(jié)果 的灰度觀測(cè)向量。對(duì)于第i個(gè)候選目標(biāo)粒子，若(j = t-10，t-9，*"，t-l;n 為常數(shù)）都成立，就濾去該候選粒子，剩下的候選目標(biāo)粒子組成新的矩陣X e Rdxn，其中n<< η0〇
[0018] 步驟13)，篩選后的侯選目標(biāo)粒子基于模板字典的線性表示；
[0019] 具體為，通過對(duì)第一幀手動(dòng)標(biāo)出的目標(biāo)對(duì)象坐標(biāo)加1或者減1產(chǎn)生目標(biāo)模板集 A ,同時(shí)在標(biāo)出的目標(biāo)對(duì)象約定半徑外隨機(jī)采樣產(chǎn)生背景模板集
，」把目 標(biāo)模板集和背景模板集組合成模板字典
，其中I和n b分別為目標(biāo)模 板集和背景模板集中目標(biāo)模板和背景模板的個(gè)數(shù)，d為模板灰度向量化的維數(shù)。為應(yīng)對(duì)目 標(biāo)外觀的變化，防止跟蹤發(fā)生漂移，模板字典必須在跟蹤過程中更新；經(jīng)篩選后的候選目標(biāo) 粒子組成的矩陣X能夠被模板字典線性表示，公式表示為：X = DZ+E，其中X為篩選后的獲 選目標(biāo)粒子組成觀測(cè)矩陣，D為模板字典，Z為線性系數(shù)矩陣，E為誤差矩陣。
[0020] 步驟14)，線性系數(shù)矩陣的低秩稀疏數(shù)學(xué)模型；
[0021] 具體為，利用線性系數(shù)矩陣固有屬性和前后幀目標(biāo)對(duì)象線性表示系數(shù)一致性，建 立求解該系數(shù)矩陣的數(shù)學(xué)模型，該線性系數(shù)矩陣Z具有低秩、稀疏、行稀疏屬性，同時(shí)系數(shù) 矩陣Z的每一列都減去前一幀目標(biāo)對(duì)象的線性表示系數(shù)z。后具有列稀疏性，據(jù)此建立關(guān)于 系數(shù)矩陣的數(shù)學(xué)模型為：

[0024] 其中，X為篩選后的候選目標(biāo)粒子組成的觀測(cè)矩陣，每一列代表一個(gè)候選目標(biāo)粒 子；D為模板字典，包括目標(biāo)模板集和背景模板集；Z為線性系數(shù)矩陣，E為誤差矩陣；矩陣 Z。= z Jt的每一列都是z。，z。為前一幀目標(biāo)對(duì)象跟蹤結(jié)果的線性表示系數(shù)；I |Z| I $是矩陣 Z核范數(shù)，其值等于Z的奇異值之和，用來約束Z的秩，I |Z| |p，q是矩陣Z的p，q范數(shù)，
[0026] 其中，[Zilu為矩陣Z的第i行第j個(gè)元素 ，p = 1，q = 2時(shí)約束Z行稀疏，p = 2, q =1約束Z列稀疏，p = 1，q = 1約束Z稀疏。
[0027] 步驟15)，基于不精確拉格朗日乘子優(yōu)化算法求解系數(shù)矩陣；
[0028] 具體為，采樣不精確拉格朗日乘子優(yōu)化算法求解（式1)中系數(shù)矩陣，引進(jìn)了四個(gè) 等式約束：
[0035] 利用增廣拉格朗日乘子法合并（式2)中等式約束和目標(biāo)函數(shù)，得到拉格朗日函 數(shù)：
[0037] 其中，Y1, Y2, Y3, Y4, Y5為拉格朗日乘數(shù)，μ為大于0的懲罰參數(shù)，（式3)通過一個(gè) 封閉的迭代操作進(jìn)行優(yōu)化求出系數(shù)矩陣，算法過程為：
[0038] 輸入：X，D，Ζ。，λ I.+ ρ，μ，ymax，e
[0039] 輸出：Z，E
[0040] 初始化 Z，Z1, ...4, E，Y1, ...5為 0 矩陣；
[0041] while (norm(X_D*Z_E，，fro,) > e)

[0055] 在上述算法中，X為篩選后的候選目標(biāo)粒子組成的觀測(cè)矩陣，每一列代表一個(gè)候選 目標(biāo)粒子；D為模板字典，包括目標(biāo)模板集和背景模板集；Z為線性系數(shù)矩陣，E為誤差矩陣； Z1^4為與Z等價(jià)的中間變量，Yk5為拉格朗日乘數(shù)；μ為懲罰參數(shù)，P，ymax，e為常數(shù) 參數(shù)，本發(fā)明中設(shè)定 μ = 10 6，P = 1. 1，ymax = 101。，e = 10 s;S E (Q)、De (Q)、Te (Q)、 We (Q)是關(guān)于矩陣Q和參數(shù)ε的函數(shù)，公式如下：
[0056] S E (Q) = max (I QI - ε，〇) sgn (Q)，其中 sgn (·)