本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及基于相關(guān)粒子濾波的視覺跟蹤方法及裝置。

背景技術(shù)：

視覺跟蹤由于其廣泛應(yīng)用(如視頻監(jiān)控，行為分析，人機(jī)交互和車輛導(dǎo)航等)而成為計(jì)算機(jī)視覺中最為重要的領(lǐng)域之一。目標(biāo)物體的外觀隨時(shí)間發(fā)生大的變化是魯棒視覺跟蹤的主要難點(diǎn)。雖然近幾年取得了一定的進(jìn)展，但其仍然是一個(gè)很困難的任務(wù)。當(dāng)下急需在存在諸如光照變化，快速動(dòng)作，姿勢(shì)變化，局部遮擋和背景雜亂等因素影響下的跟蹤場(chǎng)景中設(shè)計(jì)魯棒的算法來(lái)進(jìn)行目標(biāo)狀態(tài)估計(jì)。

基于相關(guān)濾波的跟蹤方法已經(jīng)被證明可以達(dá)到相當(dāng)高的速度和好的魯棒性效果。對(duì)于跟蹤而言，相關(guān)濾波器估計(jì)相似度是通過(guò)計(jì)算每一個(gè)對(duì)齊后的基于測(cè)試圖像樣本學(xué)得的模板(或?yàn)V波器)得點(diǎn)積來(lái)得到的。相關(guān)濾波的計(jì)算可以利用卷積定理來(lái)加快計(jì)算速度，即時(shí)域中的卷積可以通過(guò)傅里葉變換轉(zhuǎn)化為頻域中的相乘運(yùn)算。由于其計(jì)算效率高，在視覺跟蹤領(lǐng)域中，相關(guān)濾波被給予較高的關(guān)注度。盡管CSK和KCF方法在準(zhǔn)確率和魯棒性方面都達(dá)到了最先進(jìn)的水平，但這些基于相關(guān)濾波的跟蹤器不能很好地解決尺度變化和遮擋問(wèn)題。為了解決跟蹤過(guò)程中的尺度變化問(wèn)題，DSST跟蹤器使用了具有HOG特征的多尺度相關(guān)濾波。盡管DSST對(duì)于基于尺度金字塔表示學(xué)得的相關(guān)濾波器在魯棒性尺度估計(jì)的任務(wù)中效果好，但對(duì)于局部和全部遮擋問(wèn)題表現(xiàn)不佳。然而，當(dāng)目標(biāo)物體被較大程度遮擋時(shí)，這兩類跟蹤器會(huì)失去作用。這些基于相關(guān)濾波的跟蹤方法不能夠很好解決遮擋問(wèn)題，因?yàn)樗麄冎皇褂昧艘环N單一假設(shè)，這意味著這些跟蹤方法只是在上一時(shí)刻的狀態(tài)附近去搜索現(xiàn)在目標(biāo)物體的狀態(tài)。結(jié)果是當(dāng)局部遮擋和快速動(dòng)作出現(xiàn)時(shí)，這些跟蹤器很有可能失效。

另一方面，粒子濾波可以被用來(lái)解決大尺度變化和局部遮擋。粒子濾波是基于貝葉斯公式的。公式中樣本是隨時(shí)間而增加多種假設(shè)，并且樣本使用一個(gè)隨機(jī)運(yùn)動(dòng)模型去預(yù)測(cè)下一時(shí)間的狀態(tài)。在基于粒子的跟蹤算法中，多樣的假設(shè)使得跟蹤方法能夠解決背景雜亂，局部和完全遮擋，從失敗和目標(biāo)暫時(shí)消失中恢復(fù)。因此，粒子濾波由于其能夠解決非線性目標(biāo)動(dòng)作和與其他不同物體表示兼容的靈活性優(yōu)勢(shì)，在跟蹤方法中被廣泛使用?？傮w來(lái)說(shuō)，當(dāng)采樣更多的粒子來(lái)建立魯棒的目標(biāo)表示時(shí)，基于粒子濾波的跟蹤算法在雜亂和噪聲的環(huán)境中的表現(xiàn)可信度更高。然而，基于粒子濾波的跟蹤器的計(jì)算成本隨著粒子的數(shù)目會(huì)線性增加，這就是其在視覺跟蹤中的使用瓶頸。進(jìn)一步來(lái)說(shuō)，基于粒子濾波的跟蹤器是通過(guò)采樣粒子確定每個(gè)目標(biāo)物體狀態(tài)的。如果采樣粒子不能夠很好覆蓋目標(biāo)物體狀態(tài)，則預(yù)測(cè)的目標(biāo)物體狀態(tài)很可能不準(zhǔn)確。為了去克服這個(gè)問(wèn)題，最好是能夠引導(dǎo)粒子中心朝向目標(biāo)物體。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是結(jié)合相關(guān)濾波和粒子濾波的優(yōu)勢(shì)，設(shè)計(jì)魯棒性的視覺跟蹤方法。通過(guò)利用粒子濾波有效輔助相關(guān)濾波解決尺度變化和局部遮擋問(wèn)題。另外，相關(guān)濾波可以將粒子移動(dòng)到局部最大激活的地方，進(jìn)而使用更為少量的粒子進(jìn)行相關(guān)濾波，從而降低運(yùn)算復(fù)雜度。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于相關(guān)粒子濾波的視覺跟蹤方法，該方法包括以下步驟：

步驟S1，根據(jù)上一時(shí)刻的粒子狀態(tài)和粒子權(quán)重在當(dāng)前時(shí)刻生成粒子并進(jìn)行重采樣；

步驟S2，對(duì)當(dāng)前時(shí)刻重采樣得到的每個(gè)粒子進(jìn)行混合相關(guān)濾波使其移動(dòng)并到達(dá)一個(gè)穩(wěn)定的位置；

步驟S3，使用混合相關(guān)濾波響應(yīng)更新所述每個(gè)粒子的權(quán)重并更新進(jìn)行混合相關(guān)濾波的相關(guān)濾波器的參數(shù)；

步驟S4，根據(jù)更新后的粒子權(quán)重對(duì)每個(gè)粒子狀態(tài)進(jìn)行加權(quán)從而獲得被跟蹤目標(biāo)在當(dāng)前幀的跟蹤狀態(tài)。

步驟S1包括：

步驟S11：根據(jù)上一時(shí)刻的粒子狀態(tài)和粒子權(quán)重推測(cè)得到在當(dāng)前時(shí)刻生成的粒子狀態(tài)；

步驟S12：對(duì)前一時(shí)刻得到的粒子權(quán)重進(jìn)行重采樣。

步驟S11中當(dāng)前時(shí)刻可能的粒子狀態(tài)的狀態(tài)分布轉(zhuǎn)移概率p(s_t|s_t-1)的計(jì)算方式如下：

其中，p(s_t|s_t-1)表示狀態(tài)分布轉(zhuǎn)移概率，表示t-1時(shí)刻第i個(gè)粒子的狀態(tài)，表示t-1時(shí)刻第i個(gè)粒子的權(quán)重。

步驟S12中對(duì)前一時(shí)刻得到的粒子權(quán)重進(jìn)行重采樣包括，利用下式更新前一時(shí)刻的得到的粒子權(quán)重：

這里為第i個(gè)粒子在t-1時(shí)刻的權(quán)重，n是粒子數(shù)目。

步驟S2包括：

步驟S21；利用混合相關(guān)濾波計(jì)算當(dāng)前時(shí)刻所述每個(gè)粒子的響應(yīng)分布：

這里為t時(shí)刻第i個(gè)粒子通過(guò)混合相關(guān)濾波獲得的響應(yīng)分布，π_k是第k個(gè)相關(guān)濾波器的歸一化后的最大響應(yīng)值，是粒子i的觀測(cè)，是目標(biāo)的表觀模型；和代表傅里葉變換及其反變換；φ是核函數(shù)，α_k的計(jì)算方式如下：

這里x是一個(gè)P×Q維的圖像塊，對(duì)應(yīng)于粒子的觀測(cè)，r＝{r(p，q)}對(duì)應(yīng)于所有的關(guān)于圖像塊的循環(huán)平移x_p，q，(p，q)∈{0，1，...，P-1}×{0，1，...，Q-1}的高斯函數(shù)標(biāo)簽，λ是正則化參數(shù)；

步驟S21，對(duì)于所述每個(gè)粒子，搜索該粒子響應(yīng)分布最大值，得到該響應(yīng)分布最大值對(duì)應(yīng)的位置并將該粒子平移至該響應(yīng)最大值的位置處，得到更新后的粒子狀態(tài)，記為

步驟S3包括：

步驟S31：利用混合相關(guān)濾波模型對(duì)當(dāng)前時(shí)刻所述每個(gè)粒子計(jì)算響應(yīng)，然后利用所計(jì)算得到的響應(yīng)更新粒子的權(quán)重

步驟S32：使用混合相關(guān)濾波器，選取具有最大響應(yīng)的相關(guān)濾波器更新相關(guān)濾波器參數(shù)，同時(shí)更新相關(guān)濾波器的重要性。

在步驟S31中，由于粒子權(quán)重正比于似然函數(shù)與前一時(shí)刻粒子權(quán)重的乘積，即由于粒子經(jīng)過(guò)了重采樣過(guò)程，所以這里為似然函數(shù)，定義如下：

y_t為t時(shí)刻的觀測(cè)；為當(dāng)前時(shí)刻時(shí)刻第i個(gè)粒子經(jīng)過(guò)混合相關(guān)濾波后得到的響應(yīng)分布，為第i個(gè)粒子在當(dāng)前時(shí)刻t的狀態(tài)分布。

步驟S32中如下更新相關(guān)濾波器的模型參數(shù)：

這里，索引k代表在當(dāng)前時(shí)刻t時(shí)第k個(gè)相關(guān)濾波器在所有K個(gè)濾波器中具有最大響應(yīng)，η為學(xué)習(xí)速率參數(shù)，α_k和x_k為相關(guān)濾波器的模型參數(shù)，π_k是第k個(gè)相關(guān)濾波器的最大響應(yīng)值。

步驟S4包括：

步驟S41，計(jì)算當(dāng)前時(shí)刻t預(yù)測(cè)目標(biāo)的跟蹤狀態(tài)的期望值：

這里E[s_t|y_1：t]為當(dāng)前時(shí)刻t預(yù)測(cè)目標(biāo)的跟蹤狀態(tài)的期望值，y_1：t表示從第一時(shí)刻到當(dāng)前時(shí)刻t的視頻圖像幀，該步驟利用此期望值作為目標(biāo)狀態(tài)的預(yù)測(cè)。

根據(jù)本發(fā)明第二方面，提供了一種基于相關(guān)粒子濾波的視覺跟蹤裝置，該裝置包括：

粒子生成模塊，被配置為根據(jù)上一時(shí)刻的粒子狀態(tài)和粒子權(quán)重在當(dāng)前時(shí)刻生成粒子并進(jìn)行重采樣；

濾波模塊，被配置為對(duì)當(dāng)前時(shí)刻重采樣得到的每個(gè)粒子進(jìn)行混合相關(guān)濾波使其移動(dòng)并到達(dá)一個(gè)穩(wěn)定的位置；

更新模塊，被配置為使用混合相關(guān)濾波響應(yīng)更新所述每個(gè)粒子的權(quán)重并更新進(jìn)行混合相關(guān)濾波的相關(guān)濾波器的參數(shù)；

跟蹤模塊，被配置為根據(jù)更新后的粒子權(quán)重對(duì)每個(gè)粒子狀態(tài)進(jìn)行加權(quán)從而獲得被跟蹤目標(biāo)在當(dāng)前幀的跟蹤狀態(tài)。

本發(fā)明的有益效果：1)本發(fā)明對(duì)于局部和完全遮擋具有魯棒性，并能夠通過(guò)增加多種假設(shè)從丟失軌跡的狀態(tài)中恢復(fù)。2)本發(fā)明可以像傳統(tǒng)粒子濾波一樣通過(guò)粒子采樣策略克服尺度變化問(wèn)題。3)本發(fā)明可以在后驗(yàn)密度中對(duì)較少的粒子使用卷積相關(guān)濾波而有效增加多種模型，從而降低計(jì)算代價(jià)。4)本發(fā)明通過(guò)使用混合相關(guān)濾波，引導(dǎo)采樣粒子朝向目標(biāo)物體，從而增加跟蹤時(shí)魯棒性。

附圖說(shuō)明

圖1是本發(fā)明基于相關(guān)粒子濾波的視覺跟蹤方法的流程圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。

圖1為本發(fā)明提出的基于相關(guān)粒子濾波的視覺跟蹤方法的流程圖，所述方法通過(guò)混合相關(guān)濾波對(duì)物體表觀變化建模，結(jié)合粒子濾波進(jìn)行粒子重采樣，并在一個(gè)統(tǒng)一的框架對(duì)目標(biāo)狀態(tài)進(jìn)行最優(yōu)估計(jì)。如圖1所示，所述方法包括四個(gè)部分：1)使用狀態(tài)轉(zhuǎn)移模型產(chǎn)生粒子并對(duì)其進(jìn)行重采樣，2)對(duì)每個(gè)粒子進(jìn)行相關(guān)濾波使其移動(dòng)并到達(dá)一個(gè)穩(wěn)定的位置，3)使用相關(guān)濾波響應(yīng)更新粒子權(quán)重并更新各相關(guān)濾波器參數(shù)，4)根據(jù)粒子權(quán)重對(duì)粒子狀態(tài)進(jìn)行加權(quán)從而獲得被跟蹤目標(biāo)在當(dāng)前幀的最佳狀態(tài)。

本發(fā)明針對(duì)傳統(tǒng)的基于相關(guān)濾波的跟蹤方法無(wú)法很好的解決局部遮擋和快速移動(dòng)等問(wèn)題和傳統(tǒng)的基于粒子濾波的跟蹤方法計(jì)算復(fù)雜度高的問(wèn)題，提出了基于相關(guān)粒子濾波的視覺跟蹤方法。本發(fā)明具有以下優(yōu)勢(shì)：(1)對(duì)于局部和完全遮擋具有魯棒性，并能夠通過(guò)維持多個(gè)假設(shè)從丟失軌跡中恢復(fù)跟蹤目標(biāo)的狀態(tài)；(2)本發(fā)明可以像傳統(tǒng)粒子濾波方法一樣通過(guò)粒子采樣策略克服尺度變化問(wèn)題；(3)在后驗(yàn)密度中較少的粒子保持多種模式，從而降低計(jì)算代價(jià)；(4)利用混合相關(guān)濾波方法，使得采樣粒子被引導(dǎo)向目標(biāo)物體，從而增加跟蹤的魯棒性。

在一實(shí)施例中，如圖1所示，本發(fā)明所提供的基于相關(guān)濾波的跟蹤方法方法包括以下步驟：

步驟S1，根據(jù)上一時(shí)刻的粒子狀態(tài)和粒子權(quán)重在當(dāng)前時(shí)刻生成粒子并重采樣他們。所述粒子狀態(tài)表示目標(biāo)在視頻幀中可能的狀態(tài)，即目標(biāo)的位置和尺度等。所述目標(biāo)可以是任意感興趣的物體，包括人、車輛、動(dòng)物、商品等。

所述步驟S1進(jìn)一步包括以下步驟：

步驟S11：根據(jù)上一時(shí)刻的粒子狀態(tài)和粒子權(quán)重在當(dāng)前時(shí)刻生成粒子。該步驟利用目標(biāo)在上一幀的狀態(tài)分布s_t-1和權(quán)重分布w_t-1推測(cè)目標(biāo)在當(dāng)前幀的狀態(tài)分布s_t：

p(s_t|s_t-1)代表狀態(tài)分布轉(zhuǎn)移概率，這里表示t-1時(shí)刻第i個(gè)粒子的狀態(tài)，表示t-1時(shí)刻第i個(gè)粒子的權(quán)重，除外，其余由步驟S3逐幀確定。設(shè)置為默認(rèn)初始值：這里n為粒子數(shù)量。假定相鄰幀存在一個(gè)仿射運(yùn)動(dòng)模型，因此，狀態(tài)變量由6個(gè)仿射變換參數(shù)組成(2D線性轉(zhuǎn)換和2D平移)。為狀態(tài)轉(zhuǎn)移函數(shù)，由一個(gè)對(duì)角高斯分布函數(shù)進(jìn)行建模，該高斯函數(shù)的均值為各狀態(tài)變量的均值，對(duì)角協(xié)方差矩陣中對(duì)角線上的元素取各狀態(tài)變量均值的0.25倍。

步驟S12：對(duì)前一時(shí)刻得到的粒子權(quán)重進(jìn)行重采樣，即更新各粒子的重要性。

由于在步驟S31中對(duì)當(dāng)前時(shí)刻粒子權(quán)重的計(jì)算依賴于上一時(shí)刻的粒子權(quán)重，為了防止某些粒子的權(quán)重在當(dāng)前時(shí)刻出現(xiàn)過(guò)大或過(guò)小的情況，本步驟對(duì)上一時(shí)刻的粒子進(jìn)行重采樣，重采樣的方式如下：

這里為第i個(gè)粒子在t-1時(shí)刻的權(quán)重。n是粒子數(shù)目。

步驟S2，對(duì)每個(gè)粒子進(jìn)行混合相關(guān)濾波使其移動(dòng)并到達(dá)一個(gè)穩(wěn)定的位置。利用混合相關(guān)濾波計(jì)算每個(gè)粒子的響應(yīng)分布：

這里為t時(shí)刻第i個(gè)粒子通過(guò)混合相關(guān)濾波獲得的響應(yīng)分布，π_k是第k個(gè)相關(guān)濾波器的歸一化后的最大響應(yīng)值。是粒子i的觀測(cè)(即指代粒子i對(duì)應(yīng)的圖像塊)，是目標(biāo)的表觀模型。和代表傅里葉變換及其反變換。φ是核函數(shù)，說(shuō)明了從輸入的低維空間到高維核空間的映射，在一實(shí)施例中，φ可以是高斯核函數(shù)。α_k的計(jì)算方式如下：

這里x是一個(gè)P×Q維的圖像塊，對(duì)應(yīng)于粒子觀測(cè)的具體像素值，r＝{r(p，q)}對(duì)應(yīng)于所有的關(guān)于圖像塊的循環(huán)平移x_p，q，(p，q)∈{0，1，...，P-1}×{0，1，...，Q-1}的高斯函數(shù)標(biāo)簽，λ是正則化參數(shù)；

當(dāng)粒子狀態(tài)計(jì)算完成后，對(duì)于所述每個(gè)粒子，搜索該粒子響應(yīng)分布最大值，得到所述響應(yīng)分布最大值對(duì)應(yīng)的位置并據(jù)此位置把粒子的中心橫縱坐標(biāo)平移至響應(yīng)最大值對(duì)應(yīng)的位置處，得到更新后的粒子狀態(tài)(在一實(shí)施例中，采用6個(gè)狀態(tài)變換參數(shù)來(lái)表示)，記為

步驟S3，使用混合相關(guān)濾波響應(yīng)更新粒子權(quán)重并更新各相關(guān)濾波器的參數(shù)。

所述步驟S3進(jìn)一步包括以下步驟：

步驟S31：使用混合相關(guān)濾波響應(yīng)更新粒子權(quán)重該步驟利用混合相關(guān)濾波模型對(duì)各粒子計(jì)算響應(yīng)。然后利用各粒子的響應(yīng)更新粒子的權(quán)重

粒子權(quán)重正比于似然函數(shù)與前一時(shí)刻粒子權(quán)重的乘積，即由于粒子經(jīng)過(guò)了重采樣過(guò)程，所以我們定義似然函數(shù)如下：

這里為似然函數(shù)，y_t為粒子在t時(shí)刻的觀測(cè)，即t時(shí)刻的視頻幀。為粒子t時(shí)刻第i個(gè)粒子經(jīng)過(guò)混合相關(guān)濾波后得到的響應(yīng)分布。

步驟S32：更新相關(guān)濾波器的模型參數(shù)。該步驟使用混合相關(guān)濾波器，在所有K個(gè)濾波器中選取具有最大響應(yīng)的相關(guān)濾波器，對(duì)其濾波器參數(shù)進(jìn)行更新，同時(shí)更新該相關(guān)濾波器的重要性。在一實(shí)施例中，K可以取3。

更新相關(guān)濾波器的模型參數(shù)如下：

這里，索引k代表在時(shí)間t時(shí)第k個(gè)相關(guān)濾波器在所有K個(gè)濾波器中具有最大響應(yīng)。η為學(xué)習(xí)速率參數(shù)，α_k和更新時(shí)考慮了當(dāng)前數(shù)值，π_k是第k個(gè)相關(guān)濾波器的最大響應(yīng)值，用以表示該相關(guān)濾波器的重要性。每次更新之后，權(quán)重π_k被標(biāo)準(zhǔn)化，即

步驟S4，根據(jù)粒子權(quán)重對(duì)粒子狀態(tài)進(jìn)行加權(quán)從而獲得被跟蹤目標(biāo)在當(dāng)前幀的最佳狀態(tài)。

當(dāng)前時(shí)刻t的最佳狀態(tài)的期望可以被離散近似為：

這里n是粒子數(shù)目。E[s_t|y_1：t]為當(dāng)前時(shí)刻預(yù)測(cè)狀態(tài)的期望值，y_1：t表示從時(shí)刻1到時(shí)刻t的視頻圖像幀，該步驟利用此期望值作為目標(biāo)狀態(tài)的預(yù)測(cè)，即當(dāng)前時(shí)刻的目標(biāo)狀態(tài)為E[s_t|y_1：t]，由各粒子狀態(tài)的加權(quán)組合來(lái)確定。

以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。