，根據(jù)上面定義的純凈模板、動態(tài)模板和輔助模板的建立，此刻我們就構(gòu)建了 一個過完備的字典D= [Dp，Dv，Df]。其中Dp、Dv、Df分別為純凈模板、動態(tài)模板和輔助模板的 隹厶 口 〇
[0068] (2)視頻序列的循環(huán)跟蹤。
[0069] 本發(fā)明采用傳統(tǒng)的粒子濾波作為跟蹤框架，從上一帖傳播過程中選定候選目標(biāo)模 板中抽取若干粒子，選擇過程服從高斯分布規(guī)律，按照仿射變換進(jìn)行傳播，產(chǎn)生一系列與粒 子相對應(yīng)的目標(biāo)候選區(qū)域。對于每個候選目標(biāo)區(qū)域y，如果用全部的模板字典進(jìn)行稀疏重 構(gòu)，會導(dǎo)致計算過程緩慢，實時性較差。為了提高計算效率，本項目對純凈模板子塊進(jìn)行 選擇，對跟蹤城中模板數(shù)量做一定的壓縮，具體操作如下：
[0070] 在跟蹤第i個關(guān)鍵帖和第i+1個關(guān)鍵帖之間的子序列時，我們選擇該兩個關(guān)鍵帖 產(chǎn)生的純凈模板、動態(tài)模板和輔助模板，形成字典D =[巧，/乂 。
[0071] 為提高跟蹤的準(zhǔn)確率，我們采取從.[嗎，?，馬；1，嗎"，…，中選取與候 選目標(biāo)區(qū)域y相近的模板，具體過程如下；計算候選目標(biāo)區(qū)域y與上述字典中的每個 模板之間的相似度sim<y，di〉，計算結(jié)果按升序排列，選取前1個作為待添加的模板 嗎=I 4 }，最后將巧加入到字典集合里形成對候選目標(biāo)區(qū)域y進(jìn)行重構(gòu)的模板字 典D =[峰，巧1，Z);，A，馬]。上述選擇標(biāo)準(zhǔn)的含義是；只要候選區(qū)域y與純凈模板子塊中任 一模板之間的距離小于一定的闊值，就采用該純凈模板子塊對候選區(qū)域進(jìn)行稀疏重構(gòu)；否 則就不采用該純凈模板子塊對候選區(qū)域進(jìn)行稀疏重構(gòu)。
[0072] 其次，在理想情況下，候選區(qū)域y均可W用目標(biāo)模板/?)' = [/乂，巧1，作，A ](除輔助 模板外）進(jìn)行線性地表達(dá)，y = D' a = ai ? di+a2 ? d2+'''+am ?屯。但是，在實際情況中往往 存在圖像噪聲和遮擋，使得上述線性模型無法精準(zhǔn)地表示候選區(qū)域，因此需要引入噪聲項 y = D' a = ai ? di+a2 ? d2+'''+am ?屯+ C，而且C可W用輔助模板線性表述C = Df ? e = Gi ? ii+62 ? i2+63 ? is+…+6d ? id，此刻我們的候選區(qū)域就可W表示為產(chǎn)[0'，0/] ^ =邸。利 用Li正則化的約束，上述表示模型的重構(gòu)稀疏可W通過如下優(yōu)化問題獲得：
[0073] 戸二 ar^min 蘆1 subject to Dp 二 y
[0074] 而候選區(qū)域y與目標(biāo)模型的相似度可W用重構(gòu)誤差來衡量I |y-D'a||2。
[0075] 在計算所有粒子對應(yīng)的候選區(qū)域的重構(gòu)誤差后，選擇誤差最小的候選區(qū)域作為跟 蹤結(jié)果。
[0076] 最后，如圖2所示，本發(fā)明在跟蹤過程中采取循環(huán)的方式跟蹤，在兩個關(guān)鍵帖之 間，首先從第一個關(guān)鍵帖出發(fā)沿著正方向?qū)σ曨l序列進(jìn)行跟蹤，另外從第二個關(guān)鍵帖出發(fā) 沿著反方向?qū)σ曨l序列進(jìn)行跟蹤，W該種方式進(jìn)行循環(huán)跟蹤，直到跟蹤完該兩個關(guān)鍵帖之 間的子序列為止。將兩個方向循環(huán)跟蹤的結(jié)果進(jìn)行比較，選擇跟蹤結(jié)果誤差最小的帖作為 循環(huán)跟蹤的交點，從而獲得整段子序列的跟蹤結(jié)果。
[0077] (3)動態(tài)模板字典的半監(jiān)督學(xué)習(xí)。
[007引首先，將當(dāng)前帖之前5帖的跟蹤結(jié)果（重構(gòu)誤差最小的候選區(qū)域）作為有標(biāo)簽的 樣本數(shù)據(jù)，其構(gòu)成的集合記為Xhbd;從重構(gòu)誤差較?。ㄖ貥?gòu)誤差排序前k的候選區(qū)域）選 取一些候選區(qū)域作為無標(biāo)簽的樣本數(shù)據(jù)，其構(gòu)成的集合記為
[0079] 其次，記X=技血abeAabJ，X在當(dāng)前字典D下的稀疏表示矩陣為A= [A皿labelAiabJ。 記G為原始數(shù)據(jù)的稀疏重構(gòu)系數(shù)矩陣，即G的第i行表示樣本Xi在X中的稀疏重構(gòu)系數(shù)（其 中要求Xi不能用它本身來表示，即g。聲0)。
[0080] 最后，利用矩陣Li和12,1正則化約束，通過求解W下半監(jiān)督字典學(xué)習(xí)框架
【主權(quán)項】
1. 一種基于關(guān)鍵帖的在線學(xué)習(xí)的離線視頻跟蹤方法，其特征在于，包括w下步驟： (1) 對于給定的離線視頻，選擇一定數(shù)量的關(guān)鍵帖進(jìn)行標(biāo)注，并由此構(gòu)建完備的模板字 典，該模板字典包含=個部分：純凈模板、動態(tài)模板和輔助模板； (2) 在跟蹤過程中，對于每一個候選圖像區(qū)域，計算其與純凈模板子塊之間的距離，從 而有效對純凈模板子塊進(jìn)行選擇，提高計算效率； (3) 采用循環(huán)跟蹤的策略將開環(huán)問題轉(zhuǎn)化為閉環(huán)問題； (4) 利用跟蹤的結(jié)果，對動態(tài)模板進(jìn)行在線地半監(jiān)督學(xué)習(xí)，W適應(yīng)目標(biāo)表觀的變化。
2. 根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵帖的在線學(xué)習(xí)的離線視頻跟蹤方法，其特征在 于；所述的步驟（1)具體包括W下子步驟： (1. 1)，從整個視頻中選擇一定數(shù)量的關(guān)鍵帖，手工標(biāo)定目標(biāo)區(qū)域； (1. 2)，在每個關(guān)鍵帖標(biāo)定的區(qū)域中，上下左右各擾動1-2個像素產(chǎn)生十個純凈模板； 相鄰關(guān)鍵帖之間，由對應(yīng)的純凈模板線性組合生產(chǎn)一系列動態(tài)模板； (1. 3)，構(gòu)建產(chǎn)生一系列輔助模板，每個輔助模板只有一個元素的值為1，其他元素均為 0,不同的輔助模板對應(yīng)著目標(biāo)模板不同位置的像素；如某個輔助模板的重構(gòu)系數(shù)不為零， 則表明其對應(yīng)的像素有可能被噪聲污染或者被其他物體遮擋。
3. 根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵帖的在線學(xué)習(xí)的離線視頻跟蹤方法，其特征在 于；所述的步驟（2)具體包括W下子步驟： (2. 1)，將純凈模板根據(jù)產(chǎn)生它的關(guān)鍵帖分成不同的子塊； (2. 2)，對于每一個候選圖像區(qū)域，計算其與純凈模板子塊之間的距離； (2. 3)，只要候選區(qū)域與純凈模板子塊中任一模板之間的距離小于一定的闊值，就采用 該純凈模板子塊對候選區(qū)域進(jìn)行稀疏重構(gòu)；否則就不采用該純凈模板子塊對候選區(qū)域進(jìn)行 稀疏重構(gòu)。
4. 根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵帖的在線學(xué)習(xí)的離線視頻跟蹤方法，其特征在 于；所述的步驟（3)具體包括W下子步驟： (3. 1)，將整段視頻序列根據(jù)關(guān)鍵帖分成若干段子序列； (3. 2)，在每段子序列上，從兩個關(guān)鍵帖節(jié)點開始，分別進(jìn)行跟蹤，在跟蹤過程中，采用 步驟（2)中所選擇的模板字典進(jìn)行對所有候選區(qū)域進(jìn)行稀疏重構(gòu)，按重構(gòu)誤差從小到大排 序，選擇重構(gòu)誤差最小的候選區(qū)域作為跟蹤結(jié)果； (3. 3)，將兩個關(guān)鍵帖節(jié)點循環(huán)跟蹤的結(jié)果進(jìn)行比較，選擇跟蹤結(jié)果誤差最小的帖作為 循環(huán)跟蹤的交點，并由此獲得整個子序列的跟蹤結(jié)果。
5. 根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵帖的在線學(xué)習(xí)的離線視頻跟蹤方法，其特征在 于；所述的步驟（4)具體包括W下子步驟： (4. 1)，將當(dāng)前帖之前5帖的跟蹤結(jié)果中重構(gòu)誤差最小的候選區(qū)域作為有標(biāo)簽的樣本 數(shù)據(jù)； (4. 2)，從重構(gòu)誤差較小，重構(gòu)誤差排序前k的候選區(qū)域選取一些候選區(qū)域作為無標(biāo)簽 的樣本數(shù)據(jù)； (4. 3)，根據(jù)上述樣本數(shù)據(jù)集合，采用基于保持稀疏重構(gòu)的半監(jiān)督字典學(xué)習(xí)方法，對模 板字典中的動態(tài)模板進(jìn)行選擇性更新。
【專利摘要】本發(fā)明公開了一種基于關(guān)鍵幀的在線學(xué)習(xí)的離線視頻跟蹤方法，包括以下步驟：對于給定的離線視頻，選擇一定數(shù)量的關(guān)鍵幀進(jìn)行標(biāo)注，并由此構(gòu)建完備的模板字典，在跟蹤過程中，對于每一個候選圖像區(qū)域，計算其與純凈模板子塊之間的距離，從而有效對純凈模板子塊進(jìn)行選擇，提高計算效率；為了減少跟蹤誤差的積累，采用循環(huán)跟蹤的策略將開環(huán)問題轉(zhuǎn)化為閉環(huán)問題，從而有效地提高目標(biāo)跟蹤的魯棒性；利用跟蹤的結(jié)果，對動態(tài)模板進(jìn)行在線地半監(jiān)督學(xué)習(xí)，以適應(yīng)目標(biāo)表觀的變化。在跟蹤過程中對目標(biāo)模板字典進(jìn)行有效地在線學(xué)習(xí)，從而避免每次模板更新所帶來的誤差累積；采用循環(huán)跟蹤的策略將開環(huán)問題轉(zhuǎn)化為閉環(huán)問題，從而有效的提高目標(biāo)跟蹤的魯棒性。
【IPC分類】G06T7-20, G06K9-66
【公開號】CN104537694
【申請?zhí)枴緾N201510010227
【發(fā)明人】張笑欽, 劉飛, 王迪, 葉修梓, 蔣紅星
【申請人】溫州大學(xué)
【公開日】2015年4月22日
【申請日】2015年1月9日...