本發(fā)明屬于圖像處理技術(shù)技術(shù)領(lǐng)域，具體涉及一種基于多特征融合的稀疏表示目標(biāo)追蹤方法。

背景技術(shù)：

圖像信號(hào)處理一直是人們研究的熱門領(lǐng)域，在移動(dòng)互聯(lián)的數(shù)據(jù)化時(shí)代，對(duì)于高效魯棒性的圖像處理技術(shù)的需求更是推動(dòng)了該領(lǐng)域的長(zhǎng)足發(fā)展，同時(shí)也對(duì)該領(lǐng)域的研究人員提出了更大的挑戰(zhàn)。近年來，視頻追蹤將計(jì)算機(jī)視覺、模式識(shí)別、人工智能等學(xué)科的技術(shù)很好地融合在一起，成為視覺研究領(lǐng)域內(nèi)一個(gè)非?；钴S的分支。視頻處理領(lǐng)域中的運(yùn)動(dòng)目標(biāo)追蹤主要是對(duì)傳感器采集到的視頻序列進(jìn)行分析，提取場(chǎng)景中感興趣的運(yùn)動(dòng)目標(biāo)，給對(duì)應(yīng)于同一目標(biāo)的像素區(qū)域分配相同的標(biāo)記，在連續(xù)的圖像幀之間跟蹤各個(gè)標(biāo)記目標(biāo)的位置、輪廓、形狀、速度、紋理、顏色等特征信息的變化情況。實(shí)現(xiàn)目標(biāo)跟蹤的關(guān)鍵在于完整地分割目標(biāo)、合理地提取特征和準(zhǔn)確地識(shí)別目標(biāo)，同時(shí)要考慮算法實(shí)現(xiàn)的時(shí)間，保證實(shí)時(shí)性。

近年來，稀疏表示方法已成為計(jì)算機(jī)視覺發(fā)展新的方向。稀疏表示的目的就是在給定的超完備字典中用盡可能少的原子來表示信號(hào)，可以獲得信號(hào)更為簡(jiǎn)潔的表示方式，從而使我們更容易地獲取信號(hào)中所蘊(yùn)含的信息，更方便進(jìn)一步對(duì)信號(hào)進(jìn)行加工處理，如壓縮、編碼等。

設(shè)a為一過完備字典，a＝[a1,a2,…,an]∈r^m×n，m＜n，字典a中每個(gè)列向量為一個(gè)模板原子。觀察樣本y∈r^m×1可以通過字典a線性表示：

y＝x1a1+x2a2+…+xnan(1)

上式中，x＝[x1,x2,…,xn]^t為y關(guān)于字典a的系數(shù)向量。由于m＜n，所以上述線性方程是欠定的。稀疏表示指的是在求解欠定方程的過程中，對(duì)解向量x中非零元素個(gè)數(shù)進(jìn)行約束，使得解向量x盡可能稀疏，即非零解個(gè)數(shù)盡可能少。對(duì)系數(shù)向量x加上稀疏約，則樣本y關(guān)于字典a的系數(shù)求解變?yōu)槿缦滤?

x＝argminx||x||0subjecttoax＝y(tǒng)(2)

上式中，||·||0是l0范數(shù)，表示向量里非零項(xiàng)的個(gè)數(shù)。在實(shí)際應(yīng)用中，觀察樣本會(huì)受到噪聲的影響，所以需要在線性方程中考慮誤差，則優(yōu)化問題變?yōu)椋?/p>

x＝argminx||x||0subjectto||y-ax||2≤ε(3)

上式中，ε表示誤差常數(shù)。

稀疏表示系數(shù)求解指的是給定觀察樣本y∈r^m×1和過完備字典a∈r^m×n，求解y關(guān)于a的稀疏向量x的過程。求解方式可以分為貪婪算法和凸松弛算法等。

典型的貪婪算法包括匹配追蹤算法mp(matchingpursuit)和正交匹配追蹤omp(orthogonalmatchingpursuit)等。匹配追蹤算法通過計(jì)算樣本圖像在過完備字典上的最佳非線性估計(jì)來直接得到信號(hào)的稀疏表示。匹配追蹤算法迭代進(jìn)行樣本殘差與字典中原子的內(nèi)積計(jì)算并選擇最佳原子，然后更新新樣本與該原子投影的殘差，最后算法在迭代結(jié)束時(shí)輸出樣本的最優(yōu)稀疏估計(jì)。由于字典原子是不正交的，因此有可能被重復(fù)選擇，導(dǎo)致匹配追蹤算法可能出現(xiàn)不收斂的情況。在改進(jìn)的正交匹配追蹤算法中，樣本殘差總是與選擇的字典原子正交，意味著同一個(gè)字典原子不會(huì)被重復(fù)選擇，算法能保證有限迭代次數(shù)內(nèi)收斂。

凸松弛法可將原本非凸的l0問題通過凸優(yōu)化理論來求解。在受限等距約束(restrictedisometryproperty)條件下，l1范數(shù)與l0范數(shù)最小化問題有著相同的解。用l1范數(shù)取代上述優(yōu)化問題中的l0范數(shù)，公式(3)變?yōu)椋?/p>

x＝argminx||x||1subjectto||y-ax||2≤ε(4)

凸松弛處理后問題(4)常用的求解方法有內(nèi)點(diǎn)方法(interiorpointmethods)、同倫算法(homotopy)、迭代收縮算法(iterativeshrinkage)、近端梯度法(proximalgradientmethods)和增廣拉格朗日乘子法(augmentedlagrangemultiplier)等。

目前，基于稀疏表示的目標(biāo)追蹤算法是學(xué)術(shù)界研究的熱點(diǎn)，被稱為l1tracker的經(jīng)典追蹤算法，因其單獨(dú)對(duì)每個(gè)粒子采樣觀測(cè)值進(jìn)行稀疏表示建模而使目標(biāo)追蹤具有較高復(fù)雜度。除此之外，獨(dú)立構(gòu)建的稀疏表示模型將忽略粒子關(guān)系使跟蹤器出現(xiàn)目標(biāo)漂移。將類似l1tracker的稀疏表示目標(biāo)追蹤方法推向?qū)嶋H工程應(yīng)用需解決如下問題：1)降低稀疏表示計(jì)算復(fù)雜度；2)觀測(cè)系數(shù)的有效融合方法；3)保證遮擋、光照變化等復(fù)雜場(chǎng)景下的追蹤精度。已提出的目標(biāo)追蹤算法，重點(diǎn)針對(duì)以上一個(gè)或者兩個(gè)難點(diǎn)展開的，并沒有一種算法系統(tǒng)的對(duì)上述三個(gè)難點(diǎn)同時(shí)進(jìn)行考慮。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)基于稀疏表示的目標(biāo)追蹤方法推向?qū)嶋H工程應(yīng)用的難點(diǎn)，提出了一種基于多特征融合的稀疏表示的目標(biāo)追蹤方法。

為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是一種基于多特征融合的稀疏表示的目標(biāo)追蹤方法，包括如下步驟：

步驟a，訓(xùn)練核權(quán)重；

步驟b，獲取觀測(cè)粒子值；

步驟c，稀疏重構(gòu)算法求解θ；

步驟d，利用θ進(jìn)行狀態(tài)估計(jì)。

進(jìn)一步，上述步驟a中訓(xùn)練核權(quán)重的步驟為：

步驟a1，采用視頻第一幀訓(xùn)練核權(quán)重wm，所提出的權(quán)重訓(xùn)練模型為：

步驟a2，用nsga-ⅱ算法求解權(quán)重訓(xùn)練模型中的b^m，最終的權(quán)重計(jì)算方法為：

進(jìn)一步，上述步驟b獲取觀測(cè)粒子值又包含：

步驟b1，通過粒子濾波器獲取當(dāng)前幀的特征子空間的粒子觀測(cè)值矩陣構(gòu)建多任務(wù)稀疏表示模型來估計(jì)粒子觀測(cè)矩陣的稀疏表示矩陣，稀疏表示模型如下表示：

步驟b2，為優(yōu)化問題(6)，其改進(jìn)模型為：

進(jìn)一步，上述步驟c中稀疏重構(gòu)算法求解θ又包含：

步驟c1，使用可微函數(shù)bu(·)來近似上述模型的l1范數(shù)，降低l1和l2,1的混合范數(shù)的計(jì)算復(fù)雜度，問題(7)轉(zhuǎn)換為：

步驟c2，公式(8)可以使用apg算法來求解。

進(jìn)一步，上述步驟d中利用θ進(jìn)行狀態(tài)估計(jì)又包含：

步驟d1，觀測(cè)可能值為：

步驟d2，更新粒子權(quán)重ω^t為：

步驟d3，最終優(yōu)化追蹤結(jié)果為：

相比于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)在于：

1)本發(fā)明將所有粒子采樣觀測(cè)向量統(tǒng)一起來組成觀測(cè)向量矩陣，利用觀測(cè)向量矩陣進(jìn)行稀疏表示便于探究粒子采樣觀測(cè)向量間的相關(guān)性；

2)本發(fā)明在進(jìn)行基于核函數(shù)的多特征融合時(shí)，能自適應(yīng)訓(xùn)練核函數(shù)的加權(quán)系數(shù)，核函數(shù)的加權(quán)系數(shù)反映不同類型目標(biāo)特征對(duì)于遮擋、光照變化等干擾的魯棒性強(qiáng)弱，通過自適應(yīng)訓(xùn)練的加權(quán)系數(shù)的訓(xùn)練可有效排除魯棒性弱的目標(biāo)外觀特征對(duì)目標(biāo)追蹤造成的干擾；

3)本發(fā)明所構(gòu)造的稀疏表示模型中稀疏字典的構(gòu)造不需要眾多模板向量，這將明顯降低稀疏表示模型的運(yùn)算復(fù)雜度；

4)本發(fā)明將fisher判別標(biāo)準(zhǔn)引入多特征核函數(shù)權(quán)重訓(xùn)練模型中，可準(zhǔn)確判斷出特征向量的魯棒性強(qiáng)弱，提升多特征核函數(shù)融合的可靠性；使采用混合范數(shù)自適應(yīng)的選擇相關(guān)高的粒子觀察用于多任務(wù)稀疏重建，可有效排除非相關(guān)采樣粒子的干擾；重構(gòu)算法具有快速收斂性以及較強(qiáng)的魯棒性。

附圖說明

圖1本發(fā)明的的結(jié)構(gòu)示意圖。

圖2本發(fā)明中稀疏建模流程圖。

具體實(shí)施方式

現(xiàn)結(jié)合附圖對(duì)本發(fā)明做詳細(xì)的說明。本發(fā)明提出的基于多特征融合的稀疏表示目標(biāo)追蹤方法，其結(jié)構(gòu)內(nèi)容如圖1所示。

本發(fā)明針對(duì)的是視頻序列集，其處理流程為：采用視頻第一幀訓(xùn)練核權(quán)重，將視頻當(dāng)前幀通過粒子濾波器獲得粒子觀測(cè)值，使用基于多特征稀疏表示的模型估計(jì)粒子觀測(cè)值矩陣的稀疏表示稀疏，利用稀疏表示系數(shù)進(jìn)行下一幀運(yùn)動(dòng)位置預(yù)測(cè)。整個(gè)目標(biāo)追蹤的詳細(xì)實(shí)現(xiàn)步驟如下，其中稀疏建模流程圖如圖2所示：

步驟1：訓(xùn)練核權(quán)重，權(quán)重訓(xùn)練模型為：

其中，m表示目標(biāo)模板中有m個(gè)特征；表示第m個(gè)特征空間中的采樣矩陣；n是指特征空間中的采樣粒子數(shù)目；而是在第m個(gè)采樣空間里的第i個(gè)采樣訓(xùn)練向量；是對(duì)矩陣φ(t^m)進(jìn)行稀疏優(yōu)化后獲取的稀疏表示系數(shù)矩陣；是第m個(gè)特征空間中的對(duì)角加權(quán)矩陣。本專利為訓(xùn)練b^m，先使用稀疏表示工具箱估計(jì)x^m，再采用nsga-ⅱ算法獲取b^m中不同特征向量。其中目標(biāo)函數(shù)的數(shù)目m取為256，粒子數(shù)n為400，nsga-ⅱ算法集群數(shù)n為50。內(nèi)核函數(shù)映射結(jié)果wm的計(jì)算方法為

步驟2：通過粒子濾波器獲取當(dāng)前幀在不同特征子空間的粒子觀測(cè)值矩陣構(gòu)建多特征稀疏表示模型來估計(jì)粒子觀測(cè)矩陣的稀疏表示矩陣，發(fā)明基于多特征的稀疏表示模型，如下所示：

上述模型中，m表示m個(gè)目標(biāo)外觀特征，am是第m個(gè)特征的目標(biāo)模板矩陣，包括目標(biāo)模板向量和背景模板向量，設(shè)置為aⁱ∈r^256×20(i＝1,2,3)；是第m個(gè)特征空間的粒子觀測(cè)矩陣；wm(m＝1,2,...,m)是核函數(shù)的權(quán)重系數(shù)；稱為混合范數(shù)。使用混合范數(shù)可以自適應(yīng)地選擇高度相關(guān)的粒子觀測(cè)值用于多任務(wù)稀疏重建。該模型采用不同特征映射函數(shù)的加權(quán)組合來表示目標(biāo)模板，這樣做的優(yōu)點(diǎn)是可實(shí)現(xiàn)特征之間的互補(bǔ)。

為求解問題(12)，需先將(12)改寫為：

式(13)中k(a,a)是核矩陣，它的計(jì)算方式為[k[a,a]]i,j＝φ(ai)^tφ(aj)＝k(ai,aj)，其中k(·)是核函數(shù)。核函數(shù)的表達(dá)式為：k(ai,aj)＝(<xi,xj>+1)^p。相似的k(a,y)是另一種核矩陣，計(jì)算公式為[k[a,y]]i,j＝φ(ai)^tφ(yj)＝k(ai,yj)；tr(·)表示一個(gè)矩陣的軌跡。

步驟3：為了解決模型中混合范數(shù)所引起的不平滑問題，本發(fā)明采用可微函數(shù)bu(·)來近似問題中的l1范數(shù)，模型(13)轉(zhuǎn)換為：

可微函數(shù)bu(·)定義為v^*＝s(μ^-1θ)。設(shè)a為一個(gè)標(biāo)量，s(a)＝min(1,max(-1,a))。s(μ^-1θ)輸出為矩陣，矩陣中的每個(gè)元素用s(·)計(jì)算。由于bu(·)是可微的，本發(fā)明采用apg算法解決問題(14)，同時(shí)可以達(dá)到快速收斂。

完整稀疏重構(gòu)具體算法流程如下：

首先，輸入?yún)?shù)k1，k2，λ1和λ2，設(shè)置λ1＝0.001τ，λ2＝0.001(1-τ)，而且τ∈[0,1]，輸出結(jié)果為θ。

步驟ⅰ，初始化參數(shù)

初始化k＝0，θ⁰＝u⁰＝h⁰＝0，以及

步驟ⅱ，判斷公式是否收斂，如果不收斂，轉(zhuǎn)到步驟ⅲ；如果收斂，算法結(jié)束。

步驟ⅲ，更新h^k

h^k+1＝u^k-η(k1u^k-k2+λ1v^*)

步驟ⅳ，最小化

步驟ⅴ，更新

步驟ⅵ，更新u^k

步驟ⅶ，迭代更新

將迭代次數(shù)加一，轉(zhuǎn)到步驟ⅱ。

上述迭代更新過程中，首先要判斷算式是否收斂，在不收斂的情況下進(jìn)行迭代。在h的第k+1次迭代更新過程中，先通過已知參數(shù)：η＝0.01，v^*，輸入的參數(shù)k1、k2以及λ1，根據(jù)步驟里的等式迭代更新獲得h^k+1。然后對(duì)簡(jiǎn)化模型優(yōu)化，得到θ。對(duì)參數(shù)α更新，并帶入u^k的迭代更新等式里，這時(shí)候得到的是u^k+1與θ^k+1的一個(gè)關(guān)系式。迭代更新后再進(jìn)行收斂判斷，如果仍然不收斂，此時(shí)繼續(xù)開始更新h^k，同時(shí)也是得到由θ^k表示的一個(gè)等式。對(duì)θ^k最小優(yōu)化又一次得到一個(gè)θ值。如此循環(huán)迭代，直到θ收斂為止。

步驟4：得到θ后可以判斷最優(yōu)追蹤結(jié)果。本發(fā)明的追蹤算法中的觀測(cè)可能值為：

式(15)中，是控制高斯模型形狀的參數(shù)；γ是一個(gè)標(biāo)準(zhǔn)化系數(shù)。

根據(jù)更新粒子權(quán)重ω^t，更新公式為最終優(yōu)化的追蹤結(jié)果在t幀時(shí)可以計(jì)算為：

本發(fā)明對(duì)目標(biāo)外觀可以在遮擋、背景雜波或照明改變等情況下都能很好的追蹤，表現(xiàn)出基于多特征融合的稀疏表示目標(biāo)追蹤方法有較高的精度。為了驗(yàn)證本發(fā)明所提的算法功能，實(shí)驗(yàn)仿真首先選取了20個(gè)視頻序列來評(píng)估我們提出的視覺跟蹤算法的性能，這些視頻序列在以下意義上是非常具有挑戰(zhàn)性的：它們包含許多對(duì)視覺跟蹤的不利因素，例如：快速運(yùn)動(dòng)，姿態(tài)和尺度的大變化，遮擋和非剛性物體變形等。實(shí)驗(yàn)對(duì)比了提出的跟蹤算法與八個(gè)最先進(jìn)的方法：ivt、ct、11-apg、mtt、lrt、pls、csk和基于ksr的追蹤方法(ksrt)。首先，本發(fā)明使用慢跑和地鐵序列，分別使用等核權(quán)重的單核和多核融合結(jié)果分方法，以及本發(fā)明提出的方法。實(shí)驗(yàn)結(jié)果很明顯看出所提出的內(nèi)核權(quán)重訓(xùn)練模型可以給出最佳融合結(jié)果并增強(qiáng)跟蹤性能。然后，再挑選6個(gè)具有挑戰(zhàn)性的視頻序列，分別有快速移動(dòng)和移動(dòng)模糊、尺度和姿勢(shì)的變化、照明變化和嚴(yán)重遮擋的問題。各個(gè)問題的視頻序列在使用本發(fā)明提出的模型都能很好的識(shí)別出目標(biāo)，正確追蹤。這說明新的稀疏表示模型具有很好的魯棒性。

應(yīng)當(dāng)理解的是，上述針對(duì)本發(fā)明實(shí)施例的描述較為詳細(xì)，并不能因此而認(rèn)為是對(duì)本發(fā)明專利保護(hù)范圍的限制，本發(fā)明的專利保護(hù)范圍應(yīng)以所附權(quán)利要求書為準(zhǔn)。