基于目標(biāo)引導(dǎo)顯著性檢測的對象跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺對象跟蹤技術(shù)領(lǐng)域，特別涉及計(jì)算機(jī)圖形圖像處理技術(shù)領(lǐng) 域。
【背景技術(shù)】
[0002] 視覺對象跟蹤是許多計(jì)算機(jī)視覺應(yīng)用的基本和關(guān)鍵問題，如視頻分析，智能監(jiān)控， 人機(jī)交互，行為識別等，盡管研宄人員對此做出了大量的工作，但要在復(fù)雜的環(huán)境中實(shí)現(xiàn)實(shí) 時穩(wěn)定的對象跟蹤仍然是極具挑戰(zhàn)性的任務(wù)。
[0003] 目前依賴檢測或者學(xué)習(xí)的對象跟蹤方法（如 TLD, Tracking-Learning-Detection)受到越來越廣泛的關(guān)注。這些方法通過學(xué)習(xí)某種分類 器，如支持向量機(jī)、自舉、隨機(jī)森林，或者隨機(jī)蕨等來發(fā)掘未知的數(shù)據(jù)和信息，進(jìn)而增強(qiáng)其對 目標(biāo)及其場景變化的適應(yīng)能力。在基礎(chǔ)（短時）跟蹤（如KLT、均值漂移、粒子濾波等）失 敗時，這些分類器則被用作檢測器進(jìn)行目標(biāo)檢測，以達(dá)到恢復(fù)跟蹤的目的。為了保證分類器 學(xué)習(xí)的準(zhǔn)確性，同時又能盡可能的適應(yīng)目標(biāo)的變化，Babenko等提出了袋學(xué)習(xí)的思想和OMB 方法（Online-MILBoost)，Kalal 等提出了 P-N(Positive-Negative)正負(fù)樣例學(xué)習(xí)的方法。 然而，這些方法仍然難以處理非剛性運(yùn)動變化以及遮擋等問題。對此，霍夫森林提供了一種 可能的解決方法?；舴蛏质且环N融合霍夫變換的隨機(jī)森林，它由多個決策樹組成，每棵樹 將圖像或者視頻中的局部表觀映射到它的葉節(jié)點(diǎn)中，而每個葉節(jié)點(diǎn)則包含在霍夫空間中的 概率投票。由此，對象的定位或者檢測被看作是尋求在霍夫圖像中的概率極大值點(diǎn)。然而 這樣的檢測過程十分耗時，因此基于霍夫森林的對象跟蹤方法在實(shí)時性上遠(yuǎn)不及基于隨機(jī) 蕨的方法。此外，基于稀疏表示和學(xué)習(xí)的對象跟蹤方法，由于其較穩(wěn)定的跟蹤性能受到越來 越多的關(guān)注和研宄，然而這些方法十分依賴樣例模板，同樣存在不小的失敗風(fēng)險(xiǎn)，且計(jì)算結(jié) 構(gòu)復(fù)雜而難以滿足實(shí)際實(shí)時性的要求。
[0004] 一般情況下，場景越復(fù)雜，跟蹤或者檢測就變得越困難，由于計(jì)算資源的局限和效 率的要求，對象表觀模型不能過于復(fù)雜。實(shí)際上，除了目標(biāo)本身以外，背景信息也是十分有 用且重要的信息。Yang等采用圖像分割融合方法，通過時空分析發(fā)掘輔助對象作為跟蹤協(xié) 助，其對應(yīng)實(shí)現(xiàn)的CAT跟蹤系統(tǒng)表現(xiàn)出較穩(wěn)定的跟蹤結(jié)果。然而該輔助對象的獲取基于一 定的運(yùn)動假設(shè)，因而難以適應(yīng)更復(fù)雜的跟蹤環(huán)境，且計(jì)算效率有待進(jìn)一步的提高。Grabner 等提出通過獲取目標(biāo)周圍有價值的特征點(diǎn)，借此預(yù)測目標(biāo)的位置，增強(qiáng)了跟蹤的穩(wěn)定性，然 而檢測和匹配所有這些局部特征點(diǎn)的方法在計(jì)算上十分耗時。Thang等通過將PNT作為基 礎(chǔ)跟蹤和同時增加對誤匹配項(xiàng)的跟蹤來改進(jìn)Grabner等的算法，能夠在一定程度上區(qū)分與 目標(biāo)相似的對象，從而表現(xiàn)出更好的跟蹤性能。Fan等提出學(xué)習(xí)具有較強(qiáng)區(qū)別性的關(guān)注區(qū) 域用以輔助跟蹤，然而在場景出現(xiàn)劇烈運(yùn)動時，受這些局部區(qū)域的限制，其計(jì)算效率依然不 高。Godec等通過對場景進(jìn)行聚類學(xué)習(xí)，將背景分類為多個虛擬的類型，取得了較為滿意的 跟蹤效果，但是該方法假設(shè)背景只是逐步而細(xì)微的改變，這在很多跟蹤場合并不成立，因此 其應(yīng)用有限。
[0005] 因此，本發(fā)明提出一種新的對象跟蹤方法。該方法利用灰度直方圖將目標(biāo)和場景 的信息融合到顯著性計(jì)算中，在短時跟蹤失敗的情況下首先根據(jù)這種顯著性計(jì)算方法得到 顯著圖，該顯著圖突出了更可能屬于目標(biāo)的圖像區(qū)域，然后通過搜索計(jì)算最大目標(biāo)置信度 值對目標(biāo)進(jìn)行定位，并據(jù)此更新目標(biāo)圖像塊及其歸一化灰度直方圖。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種基于目標(biāo)引導(dǎo)顯著性檢測的對象跟蹤方法，它能有效地 解決對剛性和非剛性目標(biāo)對象長時間實(shí)時穩(wěn)定的跟蹤問題。
[0007] 本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：具體包括如下步驟：
[0008] (1)目標(biāo)選取
[0009] 從初始圖像中選擇并確定要跟蹤的目標(biāo)對象。目標(biāo)選取過程可以通過運(yùn)動目標(biāo)檢 測方法自動提取，也可以通過人機(jī)交互方法手動指定。設(shè)為'-(i3I5 fl2，···，α?，···，^^^表 示目標(biāo)圖像塊Zt的歸一化灰度直方圖，其中M A ^勺總量化級數(shù)，a k表示A τ中第k個量 化級數(shù)對應(yīng)的直方圖取值。
[0010] (2)圖像輸入
[0011] 在實(shí)時處理情況下，提取通過攝像頭采集并保存在存儲區(qū)的視頻圖像，作為要進(jìn) 行跟蹤的輸入圖像；在離線處理情況下，將已采集的視頻文件分解為多個幀組成的圖像序 列，按照時間順序，逐個提取幀圖像作為輸入圖像。如果輸入圖像為空，則跟蹤結(jié)束。
[0012] (3)執(zhí)行短時跟蹤
[0013] 這里，短時跟蹤采用基于歸一化交叉互相關(guān)（NCC，Normalized Cross-Correlation)的方法。設(shè)候選圖像塊Z。與目標(biāo)圖像塊Z τ的歸一化交叉互相關(guān)值為 VNCC(Zc，Zt)，短時跟蹤過程為：在以上次確定的目標(biāo)位置為中心的搜索區(qū)域內(nèi)選擇候選圖像 塊并計(jì)算其與目標(biāo)圖像塊的v N。。值，搜索使V Ν。。值最大的位置作為當(dāng)前預(yù)測的目標(biāo)位置。設(shè) 閾值θΕ=〇. 8,如果最大的vNrc>0Nrc，則目標(biāo)定位成功，當(dāng)前跟蹤完成，跳轉(zhuǎn)到⑵；否則， 跳轉(zhuǎn)到（4)。
[0014] (4)目標(biāo)引導(dǎo)顯著性檢測
[0015] 設(shè)Λ= (4, 4，…，込，…，~s)表示整個圖像的歸一化灰度直方圖，其中魄為 Ab的總量化級數(shù)，且MB=MT，bk表示A b中第k個量化級數(shù)對應(yīng)的直方圖取值，則位置為（i，j) 的像素的顯著性值S (i，j)計(jì)算為：
[0016]
【主權(quán)項(xiàng)】
1. 一種基于目標(biāo)引導(dǎo)顯著性檢測的對象跟蹤方法，包括如下步驟： (1) 目標(biāo)選取 從初始圖像中選擇并確定要跟蹤的目標(biāo)對象，目標(biāo)選取過程可以通過運(yùn)動目標(biāo)檢測方 法自動提取，也可以通過人機(jī)交互方法手動指定，設(shè)七，…，4表示目 標(biāo)圖像塊Zt的歸一化灰度直方圖，其中M A #勺總量化級數(shù)，a k表示A τ中第k個量化級 數(shù)對應(yīng)的直方圖取值； (2) 圖像輸入 在實(shí)時處理情況下，提取通過攝像頭采集并保存在存儲區(qū)的視頻圖像，作為要進(jìn)行跟 蹤的輸入圖像；在離線處理情況下，將已采集的視頻文件分解為多個幀組成的圖像序列，按 照時間順序，逐個提取幀圖像作為輸入圖像。如果輸入圖像為空，則跟蹤結(jié)束； (3) 執(zhí)行短時跟蹤 這里短時跟蹤采用基于歸一化交叉互相關(guān)的方法，設(shè)候選圖像塊Z。與目標(biāo)圖像塊Z 4勺 歸一化交叉互相關(guān)值為Vicc(Zc^Zt)，短時跟蹤過程為：在以上次確定的目標(biāo)位置為中心的搜 索區(qū)域內(nèi)選擇候選圖像塊并計(jì)算其與目標(biāo)圖像塊的v N。。值，搜索使vN。。值最大的位置作為 當(dāng)前預(yù)測的目標(biāo)位置；設(shè)閾值Θ 0. 8,如果最大的V Ν。?！郸?，則目標(biāo)定位成功，當(dāng)前跟 蹤完成，跳轉(zhuǎn)到（2);否則，跳轉(zhuǎn)到（4); (4) 目標(biāo)引導(dǎo)顯著性檢測 設(shè)(《，/?，…，/?，…，表不整個圖像的歸一化灰度直方圖，其中魄為八^勺 總量化級數(shù)，且MB=MT，bk表示Ab中第k個量化級數(shù)對應(yīng)的直方圖取值，則位置為（i，j)的 像素的顯著性值S(i，j)計(jì)算為：
其中，W和H分別表示圖像的寬和高；I(i，j)表示位置為（i，j)的像素的灰度值， I (m，η)表示位置為（m，η)的像素的灰度值；δ (I (i，j))表示灰度值為I (i，j)在灰度直方 圖中對應(yīng)的級數(shù)；C為歸一化因虧
根據(jù)以上公式，計(jì)算圖像中每個像素的顯著性值，得到顯著圖G，在上面的顯著性計(jì) 算公式中，乘積項(xiàng)&6(1(^)是根據(jù)目標(biāo)的歸一化灰度直方圖得到的屬于目標(biāo)的概率，而 α-buu?)則是根據(jù)整個圖像的歸一化灰度直方圖計(jì)算得到的屬于目標(biāo)的概率，因此在 這里的顯著性計(jì)算中融合了目標(biāo)的信息，即目標(biāo)的信息實(shí)際上引導(dǎo)了顯著性的計(jì)算； (5) 目標(biāo)定位 設(shè)目標(biāo)的寬和高分別為WJPHt，則位置為（i，j)對應(yīng)的目標(biāo)置信度值p (i，j)計(jì)算為：
其中，G(m，η)表示位置為（m，η)對應(yīng)的顯著性值，設(shè)ρ(ΛΓ)表示最大的目標(biāo)置信度 值，則κ=, 1'將當(dāng)前目標(biāo)的位置設(shè)置為（λ _r)，從而完成對目標(biāo)的定 位，并據(jù)此更新目標(biāo)圖像塊及其歸一化灰度直方圖；當(dāng)前跟蹤完成，跳轉(zhuǎn)到（2)。
【專利摘要】本發(fā)明提供了一種基于目標(biāo)引導(dǎo)顯著性檢測的對象跟蹤方法，屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域。它能解決對剛性和非剛性目標(biāo)對象長時間實(shí)時穩(wěn)定的跟蹤問題。主要步驟為：目標(biāo)選取，從初始圖像中選擇并確定要跟蹤的目標(biāo)對象。目標(biāo)選取過程可以通過運(yùn)動目標(biāo)檢測方法自動提取，也可以通過人機(jī)交互方法手動指定。圖像輸入：在實(shí)時處理情況下，提取通過攝像頭采集并保存在存儲區(qū)的視頻圖像，作為要進(jìn)行跟蹤的輸入圖像。再分別執(zhí)行執(zhí)行短時跟蹤：目標(biāo)引導(dǎo)顯著性檢測和目標(biāo)定位。該方法利用灰度直方圖將目標(biāo)和場景的信息融合到顯著性計(jì)算中，在短時跟蹤失敗的情況下首先根據(jù)這種顯著性計(jì)算方法得到顯著圖，然后通過搜索計(jì)算最大目標(biāo)置信度值對目標(biāo)進(jìn)行定位。
【IPC分類】G06T7-00, G06T7-20
【公開號】CN104637052
【申請?zhí)枴緾N201510031269
【發(fā)明人】權(quán)偉, 張衛(wèi)華, 陳錦雄, 林國松, 何武, 江永全
【申請人】西南交通大學(xué)
【公開日】2015年5月20日
【申請日】2015年1月22日