本發(fā)明涉及計算機(jī)領(lǐng)域，尤其涉及一種基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法。
背景技術(shù)：
：計算機(jī)視覺是指利用計算機(jī)及相關(guān)成像設(shè)備作為硬件基礎(chǔ)收集圖像信息，然后利用計算機(jī)方法等軟件對收集到的圖像信息進(jìn)行處理，獲取其中的目標(biāo)或者語義等內(nèi)容，以實現(xiàn)對生物視覺系統(tǒng)的仿真模擬。其中成像設(shè)備作為視覺器官的替代用于對周圍環(huán)境的圖像信息進(jìn)行采集，計算機(jī)方法則作為人腦的替代對收集到的信息進(jìn)行加工處理得到其中感興趣的場景信息和內(nèi)容。其中視頻內(nèi)目標(biāo)跟蹤作為計算機(jī)視覺領(lǐng)域中重要的問題之一，不僅需要攻克的技術(shù)難點較多，而且它還是一系列后續(xù)工作任務(wù)的基礎(chǔ)，如車牌識別、目標(biāo)行為估計、運動估計、智能交通流量管理及限制等，所以視頻目標(biāo)跟蹤作為一項具有挑戰(zhàn)性的基礎(chǔ)性工作，受到了世界各地研究者的高度關(guān)注和研究。視頻目標(biāo)跟蹤是對輸入的視頻流的每一幀，通過前向幀積累的目標(biāo)特征信息(如顏色、紋理、形狀等)，再對新輸入的一幀進(jìn)行采樣分析找出和前向幀的目標(biāo)在當(dāng)前幀中的位置內(nèi)容信息(如坐標(biāo)位置、尺度大小等)，最后對連續(xù)幀分析到的結(jié)果相關(guān)聯(lián)，從而進(jìn)一步對目標(biāo)的相關(guān)信息進(jìn)行估計和獲取，如運動速度、方向等。截止目前為止，計算機(jī)視覺已經(jīng)經(jīng)過了半個世紀(jì)的研究和發(fā)展，已經(jīng)涌現(xiàn)了許許多多高效可靠的方法，并也已應(yīng)用在了人們生活的方方面面。①人機(jī)交互：20世紀(jì)計算機(jī)被發(fā)明，截止21世紀(jì)，計算機(jī)已經(jīng)發(fā)展了半個多世紀(jì)，極大了解放了人類的生物勞動。但這之前人類主要用鼠標(biāo)、鍵盤及觸摸板等硬件設(shè)備與計算機(jī)進(jìn)行交互。隨著科技進(jìn)步，人類迫切希望在不需要直接物理硬件的條件下與計算機(jī)進(jìn)行交互，操作并控制計算機(jī)。其中利用成像設(shè)備捕捉人類的肢體語言信號并利用方法加以分析解讀，借此來實現(xiàn)與計算機(jī)交互。②智能交通監(jiān)控：隨著城市化的加劇和經(jīng)濟(jì)發(fā)展以及城市人口密度的增加，間接促進(jìn)汽車的普及，給城市公共交通帶來了巨大壓力，對人們的日常生活也產(chǎn)生了干擾。如何有效的利用道路視頻監(jiān)控分析道路交通壓力，并加以調(diào)節(jié)，合理的對交通進(jìn)行控制分流也已經(jīng)是一項迫切解決的問題。③視覺導(dǎo)航：近年來，無人控制設(shè)備行業(yè)呈現(xiàn)茁壯發(fā)展的局面，包括無人機(jī)，無人駕駛汽車等新技術(shù)，新產(chǎn)品的不斷問世。而這些產(chǎn)品需要解決的一個重要問題就是如何合理有效的解讀出無人設(shè)備捕獲的圖像信息中包含的各種信息，如此便可針對各種干擾因素作用下的環(huán)境做出最合理最正確的動作反應(yīng)。④違章識別：在現(xiàn)實生活中，本已擁擠不堪的馬路不時有不遵守規(guī)章制度的車輛，如超速、違規(guī)停車等。如果利用道路監(jiān)控系統(tǒng)對這些違章行為有效的識別，一方面可以規(guī)范駕駛?cè)藛T，保障人們的生命財產(chǎn)安全，另一方面又可以有效減少車管所工作人員的工作負(fù)荷。而這需要一個強(qiáng)大、實時、可靠的視頻目標(biāo)跟蹤及運動估計方法。此外，精密定位系統(tǒng)、應(yīng)急人員疏散和管理等眾多方面也廣泛需要可靠的視頻目標(biāo)跟蹤技術(shù)，因而開發(fā)一款滿足高魯棒性、實時性好的優(yōu)秀方法具有巨大的現(xiàn)實和生活意義。但由于實際應(yīng)用中的目標(biāo)跟蹤往往會受到各種不同因素的干擾，給方法的開發(fā)帶來巨大的挑戰(zhàn)。STC方法的缺點STC方法框架中，STC方法是一個純粹的基于線性貝葉斯濾波框架的方法，雖然這個框架可以方便地通過先序Markov鏈傳播后驗概率知識，同時不可避免的帶入了跟蹤漂移問題，即易發(fā)生模型漂移。盡管視頻目標(biāo)跟蹤方法已經(jīng)研究發(fā)展了數(shù)十年，并且已有各式各樣的方法被提出，但是目前常見的跟蹤方法依然是基于線性結(jié)構(gòu)模型，其中分為時間線性結(jié)構(gòu)模型和貝葉斯平均結(jié)構(gòu)模型。時間線性結(jié)構(gòu)模型是一種比較簡單且可靠的選擇，因為它能很好的適應(yīng)在線跟蹤類型的框架且后驗概率密度傳播也非常簡單，計算量小，但是模型過于簡單，其僅使用了前一幀結(jié)果進(jìn)行概率密度傳播來估計新幀的結(jié)果，忽略了目標(biāo)在時間軸上變化的連貫性，在某些場景下其估計的結(jié)果會不可靠，如突然的外觀變化、快速運動以及遮擋等，因此不能處理復(fù)雜環(huán)境下的目標(biāo)跟蹤。貝葉斯平均結(jié)構(gòu)模型是對前一種線性結(jié)構(gòu)模型的優(yōu)化結(jié)構(gòu)，該模型同時使用所有前向幀的概率密度對新幀進(jìn)行估計并得到結(jié)果，但卻盲目的對所有前向幀的概率密度進(jìn)行平均處理，忽略了跟蹤過程中可能引入的誤差，造成誤差累積致使最終丟失目標(biāo)。以上兩種模型均是基于馬爾科夫時間平滑假設(shè)前提下的結(jié)構(gòu)模型。即認(rèn)為當(dāng)時間足夠短時，在時間上相鄰的兩幀中的目標(biāo)的變化比較微小，包括位置、外觀等，雖然基于這種假設(shè)可以有效的減少在新幀中估計目標(biāo)位置時的搜索空間，但是低估了復(fù)雜環(huán)境條件下的目標(biāo)跟蹤可能出現(xiàn)的漂移以及潛在的采樣誤差等。當(dāng)方法繼續(xù)學(xué)習(xí)這些帶有少量誤差的樣本時，隨著誤差積累，方法的跟蹤過程將不可避免的出現(xiàn)偏差和目標(biāo)漂移，而以上兩種框架均未此進(jìn)行處理，并全盤肯定了前向幀的估計結(jié)果并加以學(xué)習(xí)。隨著跟蹤過程的繼續(xù)處理，誤差將被逐漸積累直至模板徹底混淆了前景目標(biāo)與背景干擾，致使跟蹤的目標(biāo)出現(xiàn)漂移直至完全丟失。如圖1所示，STC方法屬于基于貝葉斯平均結(jié)構(gòu)模型，因此也存在先天抗漂移能力弱情況。FaceOcc1視頻在STC方法下的跟蹤結(jié)果中，目標(biāo)在受到遮擋時，STC方法的估計結(jié)果出現(xiàn)了漂移，而且STC方法不加選擇的全盤學(xué)習(xí)了被背景污染的結(jié)果，使得有部分背景信息被吸收到了目標(biāo)模板中。隨著時間的推移，STC不斷的學(xué)習(xí)和積累背景信息，直至模板徹底混淆了前景目標(biāo)和背景干擾，最終將背景干擾判定為了前景。這樣出現(xiàn)的結(jié)果就是目標(biāo)在跟蹤過程中出現(xiàn)漂移，然后目標(biāo)一點一點的偏出方法估計的結(jié)果中心直至完全丟失。時間線性結(jié)構(gòu)模型和貝葉斯平均模型，這兩種模型存在著先天缺陷：1)首先基于時間線性結(jié)構(gòu)模型的方法過于簡單，忽略了待跟蹤目標(biāo)在時間軸上變化的連貫性，而基于貝葉斯平均模型的方法則盲目的對所有前向幀的概率密度函數(shù)進(jìn)行了平均；2)其次截止目前為止，還未有完美的方法能夠在每一幀的預(yù)測估計都能得到最完美的結(jié)果，尤其在多種干擾并存的復(fù)雜場景下的跟蹤；3)此外還包括潛在的采樣誤差。因此有許多幀的目標(biāo)估計均會不可避免的包含背景信息在內(nèi)。而由于這兩種基于時間平滑假設(shè)的模型均忽視了方法估計引入的誤差，導(dǎo)致這些誤差信息均會被學(xué)習(xí)到方法模板中積累，最終引起目標(biāo)跟蹤發(fā)生漂移直至丟失。因STC方法屬于基于貝葉斯平均模型的方法，所以必然存在著同類型模型方法存在的易發(fā)生模型漂移的先天缺陷。技術(shù)實現(xiàn)要素：本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法。為了實現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，包括如下步驟：S1，用戶指定并給出視頻第一幀初始矩形框的跟蹤目標(biāo)，并用于初始化得到STC常規(guī)模板，然后立即對該常規(guī)模板進(jìn)行一次快照保存得到第一個歷史快照模板并將其加入快照模板組中；S2，當(dāng)t幀到來時，同時使用歷史快照模板組和STC常規(guī)模板對t幀進(jìn)行跟蹤估計；S3，然后取出快照模板組中估計得到的最高置信度代入公式中判斷，若歷史快照模板的適應(yīng)性強(qiáng)于常規(guī)模板時，則將歷史快照模板對常規(guī)進(jìn)行快照回滾，最后將幀索引值代入公式Indexframe％φ＝＝0中判斷是否達(dá)到了快照采集的間隔閾值來采集新的快照，從而始終保持準(zhǔn)確跟蹤目標(biāo)。所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S1包括：S1-1，打開視頻文件的輸入流in并初始化圖形窗口Window；S1-2，從輸入流in中讀取第一幀F(xiàn)1，并由用戶手工輸入第一幀初始矩形框Rect1＝(x1,y1,width1,height1)，初始化尺度變量更新間隔閾值常量n、快照模板抓取間隔常量φ以及快照模板組容量其中x為目標(biāo)中心橫坐標(biāo)、y為目標(biāo)中心縱坐標(biāo)，width為目標(biāo)寬度、height為目標(biāo)高度；S1-3，使用F1和Rect1初始化STC模型并得到STC常規(guī)模板T1nor；S1-4，對當(dāng)前STC常規(guī)模板進(jìn)行一次快照保存并加入快照模板組中得到其中，上標(biāo)S1為快照模板組中的第一個快照，下標(biāo)F1表示該歷史快照模板保存的是第一幀時刻的快照。所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S1-3包括：S1-3-1，初始化尺度參數(shù)σ1＝0.5*(width1+height1)，尺度變量Scale1＝1，局部上下文區(qū)域大小S1-3-2，根據(jù)公式b是一個規(guī)范化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)，初始化標(biāo)準(zhǔn)置信圖矩陣m(x)，S1-3-3，根據(jù)公式其中F-1代表反FFT變換，得到的空間上下文模型hsc學(xué)習(xí)了不同像素之間的相對空間關(guān)系，計算第一幀F(xiàn)1的空間上下文模型并用之初始化第二幀的時空上下文模型I(x)為像素強(qiáng)度，ω(x-x*)是高斯權(quán)重函數(shù)，x*為目標(biāo)中心坐標(biāo)，β是形狀參數(shù)。所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2中歷史快照模板組包括：假設(shè)Ft-1幀已經(jīng)跟蹤完成，當(dāng)前待跟蹤的視頻幀為Ft，t＝2，3，….，n，其中n為待跟蹤視頻最后一幀的序號，此時已知t-1幀的目標(biāo)框Rectt-1＝(xt-1,yt-1,widtht-1,heightt-1)，尺度參數(shù)σt-1，尺度變量Scalet-1，其中，STC常規(guī)模板歷史快照模板組所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2還包括：輸入，待跟蹤的第t幀圖像的矩陣數(shù)據(jù)Ft；S2-1，更新尺度參數(shù)σt＝σt-1*Scalet-1；S2-2，使用STC常規(guī)模板組對t幀進(jìn)行估計；S2-3，使用歷史快照模板組對t幀進(jìn)行估計；S2-4，將常規(guī)置信度和快照模板組最高置信度代入公式中進(jìn)行適應(yīng)性判斷，若STC常規(guī)模板的適應(yīng)性滿足則轉(zhuǎn)入S2-6，否則轉(zhuǎn)入S2-5；S2-5，此時STC常規(guī)模板的適應(yīng)性已弱于歷史快照模板組中最優(yōu)秀的模板，假設(shè)歷史快照模板組中最優(yōu)秀的是第j個模板，則使用第j個歷史快照模板對STC常規(guī)模板進(jìn)行快照回滾；S2-6，此時STC常規(guī)模板的適應(yīng)性仍然足夠，采納STC常規(guī)模板對t幀的估計結(jié)果作為最終的結(jié)果，分別為和S2-7，更新常規(guī)STC模板和必要的參數(shù)；S2-8、輸出Rectt到外部文件并將其繪制到t幀圖像矩陣Ft上，最后將圖像矩陣Ft繪制到圖形窗口window中，如果t＜n，則更新t＝t+1，并轉(zhuǎn)入S2-1，否則轉(zhuǎn)入S2-9；S2-9、跟蹤結(jié)束。所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-2包括：S2-2-1，根據(jù)公式其中I(g)是像素強(qiáng)度，用于表示上下文外觀，以及矩形框Rectt-1計算上下文先驗概率模型S2-2-2，將t幀時空上下文模型以及上下文先驗概率模型代入公式計算得到置信圖矩陣S2-2-3，將置信度代入公式計算得到t幀對應(yīng)的矩形框S2-2-4，根據(jù)公式以及矩形框計算上下文先驗概率模型S2-2-5，將t幀時空上下文模型以及上下文先驗概率模型代入公中計算得到置信圖矩陣。S2-2-3，將置信度代入公式計算得到t幀對應(yīng)的置信度所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-3包括：S2-3-1，依次使用快照模板組中的快照模板對t幀進(jìn)行估計并得到對應(yīng)的置信度和目標(biāo)框S2-3-2，從中找出快照模板組所估計計算得到的最高置信度假設(shè)最高置信度模板對應(yīng)的索引計數(shù)為j，即Indexmax＝j(luò)，則其對應(yīng)的目標(biāo)框所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-5包括：S2-5-1，使用第j個歷史快照模板對STC常規(guī)模板進(jìn)行重置恢復(fù)，即STC常規(guī)模板S2-5-2，對第j個歷史快照模板使用數(shù)加一，并對快照模板組中快照按最近使用時間重排序，便于之后按照LRU原則剔除過時快照模板；S2-5-3，采納第j個歷史快照模板對t幀估計的結(jié)果作為最終的結(jié)果，包括置信度和跟蹤目標(biāo)框結(jié)果，分別為和轉(zhuǎn)入S2-7。所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2-7包括：S2-7-1，此時無論STC模板是否經(jīng)過回滾重置都已經(jīng)是適應(yīng)性最強(qiáng)的模板，只需將其簡單的學(xué)習(xí)t幀的內(nèi)容特征后即可，其中ρ為學(xué)習(xí)參數(shù)，其值越大表示更新速度越快；S2-7-2，如果t％n＝＝0，使用公式計算并更新Scalet，否則Scalet＝Scalet-1，其中st′是連續(xù)兩個相鄰幀之間的估計尺度，為全部幀平均估計尺度，σ為尺度參數(shù)，λ為尺度學(xué)習(xí)參數(shù)；S2-7-3，如果t％φ＝＝0，對STC常規(guī)模板抓取一次快照并將其加入到快照模板組SnapSet中，之后檢查快照模板的數(shù)量是否超出了容量上限若超出限制則采用LRU最近最少使用原則進(jìn)行剔除。所述的基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法，優(yōu)選的，所述S2還包括：S2A，若S2‐4中公式成立說明STC常規(guī)模板的適應(yīng)性已不如快照模板，或由于STC常規(guī)模板積累了過多的背景信息特征，或目標(biāo)狀態(tài)發(fā)生變化回到一個歷史上相似的狀態(tài)使得歷史快照模板更加契合，此時使用快照模板對STC常規(guī)模板進(jìn)行覆蓋，并對該快照模板使用計數(shù)值+1；S2B，否則說明STC常規(guī)模板的適應(yīng)性仍然最好無需替換，繼續(xù)使用該常規(guī)模板完成t幀的跟蹤；S2C，最后STC常規(guī)模板無論是否發(fā)生回滾，都已經(jīng)是適應(yīng)性最強(qiáng)的模板，可以繼續(xù)學(xué)習(xí)t幀最新的內(nèi)容特征；所述S3還包括：S3A，若S2‐7‐3中t％φ＝＝0公式成立，則對STC常規(guī)模板抓取一次快照并加入歷史快照模板組中；S3B，若快照模板組中的數(shù)量超出容量上限則根據(jù)LRU原則進(jìn)行剔除，如此往復(fù)直至完成整個視頻序列的跟蹤。綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：在Boy視頻序列的實驗中，本發(fā)明所提出的ASTC方法實現(xiàn)了最好的效果，達(dá)到了95％的成功率，STC和CT的成功率分別為67％和37％，且平均中心坐標(biāo)誤差也同時優(yōu)于CT的85.38和STC的42。這是由于本發(fā)明提出了一個新的適用于在線學(xué)習(xí)類型跟蹤的自適應(yīng)結(jié)構(gòu)模型，在一定程度上否定了馬爾科夫時間平滑假設(shè)，通過保存多個歷史快照模板同時對新幀進(jìn)行預(yù)測估計，當(dāng)檢測到歷史模板比常規(guī)模板具有更佳的適應(yīng)性時立即進(jìn)行替換，實現(xiàn)常規(guī)模板的快照回滾，丟棄了之前一段時間內(nèi)學(xué)習(xí)積累的背景特征，使得更加適合于當(dāng)前時刻的跟蹤，因而獲得了更好的跟蹤效果。針對當(dāng)前STC方法中存在的易發(fā)生模型漂移問題進(jìn)行了改進(jìn)，通過采用一種新的自適應(yīng)結(jié)構(gòu)模型，本發(fā)明研究提出了一種改進(jìn)的上下文目標(biāo)跟蹤方法ASTC。由于STC方法使用了貝葉斯平均結(jié)構(gòu)模型，其模型基于Markov時間平滑假設(shè)，對于估計到的每一幀的結(jié)果都全盤采納并學(xué)習(xí)，并且由于潛在的采樣誤差等，極易造成STC方法模板的誤差積累，導(dǎo)致估計結(jié)果出現(xiàn)漂移直至丟失。而本發(fā)明改進(jìn)方法ASTC所提出的自適應(yīng)結(jié)構(gòu)模型是在適用于離線方法的樹狀結(jié)構(gòu)模型的基礎(chǔ)上，對在線方法進(jìn)行了適應(yīng)性改進(jìn)，使其不但遵從時間變化，且不會過多影響在線方法的實時性。自適應(yīng)模型通過保存多個歷史快照模板，且同時使用快照組和常規(guī)模板進(jìn)行跟蹤，當(dāng)檢測到歷史快照模板的適應(yīng)性高于常規(guī)模板時，立即對常規(guī)模板進(jìn)行回滾，丟棄之前一段時間內(nèi)學(xué)習(xí)積累的誤差，以實現(xiàn)更加魯棒的跟蹤。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。附圖說明本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中：圖1是現(xiàn)有技術(shù)中FaceOcc1視頻序列在STC方法下的部分跟蹤結(jié)果截圖；圖2是本發(fā)明基于自適應(yīng)結(jié)構(gòu)的時空上下文目標(biāo)跟蹤方法(ASTC)流程圖。圖3是本發(fā)明所提出的自適應(yīng)結(jié)構(gòu)模型的圖解模型。具體實施方式下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。STC最終將跟蹤問題轉(zhuǎn)化為在置信圖中尋找置信度最高的點作為目標(biāo)中心：m(x)＝P(x|o)(1.1)其中m(x)即為待求置信圖，x∈i2代表了目標(biāo)坐標(biāo)，o代表目標(biāo)外觀表示。公式(1.1)等價于后驗概率P(o|x)因為STC使用了一致的先驗概率P(o)用于簡化目標(biāo)表示。x*作為待跟蹤目標(biāo)中心的坐標(biāo)，則定義當(dāng)前幀的上下文特征集合表示為：Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)}，其中I(z)表示z坐標(biāo)處的像素強(qiáng)度，Ωc(x*)表示以x*坐標(biāo)為中心，兩倍于原始目標(biāo)框范圍的局部上下文區(qū)域。最后結(jié)合一些概率公式，公式(1.1)的置信圖的計算可以化簡表示為m(x)=P(x|o)q=Σc(z)∈XcP(x,c(z)|o)=Σc(z)∈XcP(x|c(z),o)P(c(z)|o)---(1.2)]]>其中條件概率函數(shù)P(x|c(z),o)是對目標(biāo)坐標(biāo)及它的上下文信息之間的空間關(guān)系進(jìn)行建模，并且這個建模信息可以幫助我們解決由于對圖像低層級處理帶來的歧義，P(c(z)|o)是對局部上下文區(qū)域建模得到的上下文先驗概率模型，P(x|c(z),o)的主要作用用于連結(jié)目標(biāo)坐標(biāo)和它的空間上下文?？臻g上下文建模在公式(1.2)中的條件概率函數(shù)P(x|c(z),o)被定義為P(x|c(z),o)＝hsc(x-z)(1.3)其中函數(shù)hsc(x-z)代表了目標(biāo)坐標(biāo)x和它的局部上下文坐標(biāo)z之間的相對空間距離和相對方向，因此能夠?qū)δ繕?biāo)和它的空間上下文的相對空間關(guān)系進(jìn)行編碼，作為空間上下文模型。注意到hsc(x-z)不是一個對稱的放射函數(shù)，并且它把目標(biāo)及它的局部上下文之間的不同的空間關(guān)系都考慮在內(nèi)。這會幫助解決當(dāng)有和目標(biāo)相似的背景出現(xiàn)且和目標(biāo)距離較近時帶來的歧義性。上下文先驗概率模型在公式(1.2)中，上下文先驗概率模型是與上下文外觀相關(guān)的，且可以簡化為P(c(z)|o)＝I(z)ωσ(z-x*)(1.4)其中I(g)是像素強(qiáng)度，用于表示上下文外觀，ωσ(g)是一個高斯權(quán)重函數(shù)，其定義為ωσ(z-x*)=ae-|z-x*|2σ2---(1.5)]]>其中a是一個規(guī)范化常數(shù)，σ是尺度參數(shù)。在公式(1.4)中，STC采用該公式進(jìn)行建模是受到生物視覺系統(tǒng)激發(fā)影響，這樣可以對圖像中心區(qū)域進(jìn)行更精確的分析。越接近目標(biāo)中心x*坐標(biāo)的上下文區(qū)域的點z，就對預(yù)測未來幀的目標(biāo)中心越重要，將被賦予更高的權(quán)重。置信圖根據(jù)對象坐標(biāo)建模得到的置信圖函數(shù)表示為m(x)=P(x|o)=be-|x-x*α|β---(1.6)]]>其中b是一個規(guī)范化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)。公式(1.6)中的置信圖矩陣m(x)考慮了目標(biāo)坐標(biāo)的先驗信息在內(nèi)，可有效處理坐標(biāo)帶來的歧義性。目標(biāo)坐標(biāo)歧義性經(jīng)常發(fā)生在視頻目標(biāo)跟蹤過程中，這會極大的影響跟蹤效果。越接近當(dāng)前幀跟蹤位置的坐標(biāo)，越容易發(fā)生歧義。在STC方法中，通過選取一個合適的形狀參數(shù)β來解決這個坐標(biāo)歧義問題。當(dāng)β選取較大時(如β＝2)會導(dǎo)致置信圖在目標(biāo)中心附近區(qū)域過度平滑，不能很好的處理坐標(biāo)導(dǎo)致的歧義性。另一方面，當(dāng)β選取較小時(如β＝0.5)會導(dǎo)致在目標(biāo)中心附近區(qū)域過度尖銳，導(dǎo)致當(dāng)在學(xué)習(xí)空間上下文模型時不能得到足夠的正樣本。最終通過實驗驗證選取β＝1時可得到最魯棒的結(jié)果?？臻g上下文模型的計算基于置信圖函數(shù)(1.6)和上下文先驗概率模型(1.4)，STC將公式(1.3)、(1.4)、(1.5)、(1.6)代入公式(1.2)中可以得到m(x)=be-|x-x*α|β=Σz∈Ωc(x*)hsc(x-z)I(z)ωσ(z-x*)=hsc(x)⊗(I(x)ω(x-x*))---(1.7)]]>其中表示卷積運算。對于公式(1.7)，由于卷積運算計算復(fù)雜度較高，運算比較耗時，STC通過使用FFT(FastFourierTransform)變換將運算進(jìn)行轉(zhuǎn)換，這樣可以大幅降低計算復(fù)雜度，節(jié)約時間。經(jīng)過FFT變換后的公式為F(be-|x-x*α|β)=F(hsc(x))eF(I(x)ω(x-x*))---(1.8)]]>其中F代表FFT運算，e代表按對應(yīng)元素相乘，因此最終的運算進(jìn)一步轉(zhuǎn)換為hsc(x)=F-1(F(be-|x-x*α|β)F(I(x)ω(x-x*)))---(1.9)]]>其中F-1代表反FFT變換。這里得到的空間上下文模型hsc學(xué)習(xí)了不同像素之間的相對空間關(guān)系。STC的跟蹤過程在這之后STC的跟蹤任務(wù)就格式為一個檢測的過程。首先STC假定第一幀的目標(biāo)坐標(biāo)已經(jīng)由人為手工劃定且給出。第t幀時，STC通過公式(1.6)已經(jīng)學(xué)習(xí)得到了空間上下文模型并將其用于更新并得到t+1幀時空上下文模型如此可減少由于目標(biāo)外觀變化導(dǎo)致的噪聲。然后將t+1幀的時空上下文模型用于t+1幀目標(biāo)中心位置的偵測。當(dāng)t+1幀到來時，STC根據(jù)t幀的目標(biāo)中心坐標(biāo)在t+1幀上裁剪得到局部上下文區(qū)域并構(gòu)造得到對應(yīng)的上下文特征集合待求取的t+1幀的目標(biāo)中心坐標(biāo)可以通過求t+1幀置信圖的最大值得到，其公式為xt+1*=argmaxmt+1x∈Ωx(xt*)(x)---(1.10)]]>其中mt+1(x)為t+1幀的置信圖，根據(jù)公式(1.7)可得到其計算公式為mt+1(x)=Ht+1stc(x)⊗(It+1(x)ωσt(x-xt*))---(1.11)]]>其中時空上下文模型可由空間上下文模型經(jīng)過低通時間濾波處理得到，因此可在一定程度上減少因為突然的目標(biāo)外觀變化而導(dǎo)致t+1幀的像素強(qiáng)度It+1變化，進(jìn)而減少引入的噪聲污染。對于該公式，同樣可以使用FFT變換加速運算，所以最終的計算公式為mt+1(x)=F-1(F(Ht+1stc(x))eF(It+1(x)ωσt(x-x*)))---(1.12)]]>時空上下文模型的更新時空上下文模型的更新公式定義為Ht+1stc=(1-ρ)-Htstc+ρktsc---(1.13)]]>其中參數(shù)ρ為學(xué)習(xí)速率，其值越大表示更新速度越快，保留之前的特征也越少；是由公式(1.9)計算得到的t幀的空間上下文模型。對于公式(1.13)而言，相當(dāng)于進(jìn)行了一次低通時間濾波處理過程，其對應(yīng)在頻域的處理公式為Hωstc=Fωhωsc---(1.14)]]>其中對應(yīng)的時間傅里葉變換公式為時間濾波函數(shù)Fω可用公式表示為Fω=ρejω-(1-ρ)---(1.15)]]>其中j表示虛數(shù)單位。很容易可以證實公式(1.15)是一個低通濾波處理。因此STC可以很好的過濾出由于圖像外觀變化而引入的噪聲，并得到更加魯棒的結(jié)果。尺度更新根據(jù)公式(1.12)可以得到當(dāng)前幀中的目標(biāo)中心坐標(biāo)，但是并不能獲得尺度信息。然而目標(biāo)的尺度也在隨時發(fā)生在變化，因此公式(1.5)中的尺度參數(shù)σ也應(yīng)該被相應(yīng)的更新。STC提出了自己的尺度更新機(jī)制，其對應(yīng)公式為st′=mt(xt*)mt-1(xt-1*),s‾t=1nΣi=1nst-i′,st+1=(1-λ)st+λs‾t,σt+1=stσt,---(1.16)]]>其中mt(g)是有公式(1.12)計算得到的t幀的置信度，st′是連續(xù)兩個相鄰幀之間的估計尺度，λ＞0是一個濾波參數(shù)，類似于公式(1.13)中的學(xué)習(xí)參數(shù)ρ。STC為了增強(qiáng)估計魯棒性以及減少估計誤差引入的噪聲，目標(biāo)估計尺度st+1將使用連續(xù)n個相鄰幀的平均估計尺度進(jìn)行一次濾波處理后得到。如圖2所示，基于自適應(yīng)模型的稠密時空上下文目標(biāo)跟蹤方法ASTC(VisualTrackingusingAdaptiveStructureModelbasedonSpatio-temporalContext)的算法流程圖新模型通過保存固定數(shù)量的歷史模板快照，每當(dāng)新的一幀到來時，同時使用快照模板和常規(guī)模板進(jìn)行估計，當(dāng)快照模板估計得到足夠好的結(jié)果時，即快照模板的適應(yīng)性高于常規(guī)模板，此時我們認(rèn)為常規(guī)模板可能積累了太多的誤差信息，已經(jīng)不適合繼續(xù)使用用于接下來的跟蹤，則我們采納快照模板跟蹤得到的結(jié)果并用快照模板對常規(guī)模板進(jìn)行替換，實現(xiàn)常規(guī)模板的快照式回滾，相當(dāng)于丟棄了從保存快照時刻開始到現(xiàn)在的這段時間間隔內(nèi)的學(xué)習(xí)積累的潛在的背景特征內(nèi)容。此外，針對模板快照替換準(zhǔn)則，本發(fā)明提出一個適應(yīng)性公式用于判斷，其公式如下：Csnapmaxk-CnormalkCnormalk>ξ---(1)]]>其中表示快照模板組中對第k幀估計得到的最大置信度，是常規(guī)模板對第k幀估計得到的置信度，ξ為常數(shù)閾值。該公式表示當(dāng)快照模板組中估計的最大置信度對常規(guī)模板估計的置信度的超出幅度達(dá)到了一定閾值時即認(rèn)為常規(guī)模板的適應(yīng)性過低，需使用快照模板對常規(guī)模板進(jìn)行替換。目前本發(fā)明方法采集快照模板策略是設(shè)定一個間隔常量φ，即每間隔φ幀就對常規(guī)模板采集一次快照并加入快照模板組，其公式如下：Indexframe％φ＝＝0(2)其中Indexframe表示視頻幀序號，φ為間隔常量。每當(dāng)快照模板組中的某個模板被使用于對常規(guī)模板回滾時，將對該快照模板使用計數(shù)加一或者重排序，便于接下來的應(yīng)用。由于本發(fā)明的方法主要應(yīng)用于基于在線學(xué)習(xí)類型的框架，因此對實時性要求較高，快照組的容量必須進(jìn)行限制，否則將影響跟蹤的實時性。本發(fā)明設(shè)快照模板組的容量為其對應(yīng)公式為：其中Sizesnap為快照模板組當(dāng)前的大小，是常量，為快照模板組的最大容量限制。當(dāng)新采集的快照模板加入進(jìn)來使得時，本發(fā)明根據(jù)LRU(LeastRecentlyUsed，最近最少使用)原則進(jìn)行剔除，這樣可以最大程度的保存最優(yōu)質(zhì)的模板便于必要時刻用于對常規(guī)模板進(jìn)行替換。圖3為本發(fā)明提出的自適應(yīng)結(jié)構(gòu)模型的圖解模型。其中設(shè)φ＝1,即快照模板保存間隔為1，快照模板組容量為4。假設(shè)第一幀由手工給定且初始化完畢，此時快照模板組狀態(tài)為其中s1表示快照模板組中序號為1，F(xiàn)1表示保存的快照模板只包含第一幀的內(nèi)容特征，常規(guī)模板狀態(tài)為T1nor。當(dāng)?shù)诙絹頃r，常規(guī)模板估計得到最好的結(jié)果，并將第二幀的結(jié)果進(jìn)行學(xué)習(xí)得到為表示此模板中包含了第一幀和第二幀的特征信息，此時對常規(guī)模板進(jìn)行一次快照采集并加入快照模板組中得到第三幀的處理結(jié)果同上，此時快照模板組和常規(guī)模板的狀態(tài)分別為和第四幀到來時，假設(shè)快照模板組中估計結(jié)果最好的是第二份快照且經(jīng)過公式判斷后證明它的適應(yīng)性比常規(guī)模板要高，此時進(jìn)行快照替換，替換后的快照模板組再進(jìn)行一次重排序，狀態(tài)為常規(guī)模板狀態(tài)為此時的常規(guī)模板已經(jīng)發(fā)生了回滾，相當(dāng)于丟棄了第三幀學(xué)習(xí)的內(nèi)容特征，這時常規(guī)模板能對第四幀估計能得到和一樣最好的結(jié)果，之后將第四幀的內(nèi)容學(xué)習(xí)并再次采集快照模板，最后快照模板組和常規(guī)模板的狀態(tài)分別為和當(dāng)?shù)?幀到來時，常規(guī)模板完成估計和學(xué)習(xí)后的狀態(tài)為此時，所采集一次快照并加入快照模板組中的時候的狀態(tài)為集合超出了快照模板組的容量上限，根據(jù)LRU原則進(jìn)行一次剔除，剔除后的快照模板組狀態(tài)為如此往復(fù)直至完成所有視頻幀的跟蹤。其中改進(jìn)方法ASTC的形式化描述本發(fā)明改進(jìn)方法ASTC中提出了一個適用于在線學(xué)習(xí)類型跟蹤方法的新結(jié)構(gòu)模型，稱為自適應(yīng)結(jié)構(gòu)模型。該模型不再拘泥于之前同類方法所基于的Markov時間平滑假設(shè)，因為該假設(shè)存在先天不足，導(dǎo)致基礎(chǔ)方法對新幀的內(nèi)容不加判斷就進(jìn)行學(xué)習(xí)，極有可能學(xué)習(xí)并積累錯誤的背景信息導(dǎo)致跟蹤漂移。所提出的改進(jìn)方法通過保持一定數(shù)量的快照模板組，讓歷史快照模板組和常規(guī)模板同時對新幀進(jìn)行跟蹤，當(dāng)某一個歷史快照模板得到比常規(guī)模板更好的跟蹤結(jié)果時，立即用該快照模板對常規(guī)模板進(jìn)行覆蓋實現(xiàn)快照式回滾，使得常規(guī)模板更佳契合對當(dāng)前幀的跟蹤，有效增強(qiáng)跟蹤魯棒性。首先第一幀的初始目標(biāo)跟蹤框由用戶指定并給出，并使用該初始信息初始化STC方法并得到對應(yīng)模板稱之為STC方法的常規(guī)模板，然后立即對該常規(guī)模板進(jìn)行一次快照保存得到第一個歷史快照模板并將其加入快照模板組中。當(dāng)t幀到來時，同時使用歷史快照模板組和STC常規(guī)模板對t幀進(jìn)行跟蹤估計。然后取出快照模板組中估計得到的最高置信度代入公式中判斷，若成立說明STC常規(guī)模板的適應(yīng)性已不如該快照模板，或STC常規(guī)模板積累了過多的背景信息特征，或目標(biāo)狀態(tài)發(fā)生變化回到一個歷史上相似的狀態(tài)使得歷史快照模板更加契合，此時使用該快照模板對STC常規(guī)模板進(jìn)行覆蓋，并對該快照模板使用計數(shù)值+1；否則說明STC常規(guī)模板的適應(yīng)性仍然最好無需替換，繼續(xù)使用該常規(guī)模板完成t幀的跟蹤。此時STC常規(guī)模板無論是否發(fā)生回滾，都已經(jīng)是適應(yīng)性最強(qiáng)的模板，然后繼續(xù)學(xué)習(xí)t幀最新的內(nèi)容特征。最后將幀索引值代入公式Indexframe％φ＝＝0中判斷是否達(dá)到了快照采集的間隔閾值，若未達(dá)到則繼續(xù)下一幀的跟蹤；若已達(dá)到，則對STC常規(guī)模板抓取一次快照并加入歷史快照模板組中，若快照模板組中的數(shù)量超出容量上限，則根據(jù)LRU原則進(jìn)行剔除。如此往復(fù)直至完成整個視頻序列的跟蹤。改進(jìn)方法ASTC的形式化描述如下：初始化：1、根據(jù)指定參數(shù)打開對應(yīng)視頻文件的輸入流in并初始化圖形窗口Window；2、從輸入流in中讀取第一幀F(xiàn)1，輸入第一幀初始矩形框Rect1＝(x1,y1,width1,height1)，初始化尺度變量更新間隔閾值常量n、快照模板抓取間隔常量φ以及快照模板組容量其中x為目標(biāo)中心橫坐標(biāo)、y為目標(biāo)中心縱坐標(biāo)，width為目標(biāo)寬度、height為目標(biāo)長度；3、使用F1和Rect1初始化STC模型并得到STC常規(guī)模板T1nor：(1)、初始化尺度參數(shù)σ1＝0.5*(width1+height1)，尺度變量Scale1＝1，局部上下文區(qū)域大小(2)、根據(jù)公式b是一個規(guī)范化常數(shù)，α是尺度參數(shù)，β是形狀參數(shù)。初始化標(biāo)準(zhǔn)置信圖矩陣m(x)，(3)、根據(jù)公式其中F-1代表反FFT變換。得到的空間上下文模型hsc學(xué)習(xí)了不同像素之間的相對空間關(guān)系。計算第一幀F(xiàn)1的空間上下文模型并用之初始化第二幀的時空上下文模型I(x)為像素強(qiáng)度，ω(x-x*)是高斯權(quán)重函數(shù)，x*為目標(biāo)中心坐標(biāo)，β是形狀參數(shù)；4、對當(dāng)前STC常規(guī)模板進(jìn)行一次快照保存并加入快照模板組中得到其中，上標(biāo)S1為快照模板中的序號，下標(biāo)F1表示該歷史快照模板保存的是第一幀時刻的快照，跟蹤過程：假設(shè)Ft-1幀已經(jīng)跟蹤完成，當(dāng)前待跟蹤的視頻幀為Ft，t＝2，3，….，n，其中n為待跟蹤視頻最后一幀的序號。此時已知t-1幀的目標(biāo)框Rectt-1＝(xt-1,yt-1,widtht-1,heightt-1)，尺度參數(shù)σt-1，尺度變量Scalet-1，STC常規(guī)模板歷史快照模板組輸入：待跟蹤的第t幀圖像的矩陣數(shù)據(jù)Ft；Step1、更新尺度參數(shù)σt＝σt-1*Scalet-1；Step2、使用STC常規(guī)模板組對t幀進(jìn)行估計：(1)、根據(jù)公式其中I(g)是像素強(qiáng)度，用于表示上下文外觀，以及矩形框Rectt-1計算上下文先驗概率模型(2)、將t幀時空上下文模型以及上下文先驗概率模型代入公式計算得到置信圖矩陣(3)、將置信度代入公式計算得到t幀對應(yīng)的矩形框(4)、根據(jù)公式以及矩形框計算上下文先驗概率模型(5)、將t幀時空上下文模型以及上下文先驗概率模型代入公式中計算得到置信圖矩陣(6)、將置信度代入公式計算得到t幀對應(yīng)的置信度Step3、使用歷史快照模板組對t幀進(jìn)行估計：(1)、依次使用快照模板組中的快照模板對t幀進(jìn)行估計并得到對應(yīng)的置信度和目標(biāo)框(2)、從中找出快照模板組所估計計算得到的最高置信度假設(shè)最高置信度模板對應(yīng)的索引計數(shù)為j，即Indexmax＝j(luò)，則其對應(yīng)的目標(biāo)框Step4、將常規(guī)置信度和快照模板組最高置信度代入公式中進(jìn)行適應(yīng)性判斷，若STC常規(guī)模板的適應(yīng)性滿足則轉(zhuǎn)入Step6，否則轉(zhuǎn)入Step5；Step5、此時STC常規(guī)模板適應(yīng)性已弱于歷史快照模板組中的第j個模板的適應(yīng)性，對STC常規(guī)模板進(jìn)行快照回滾：(1)、使用第j個歷史快照模板對STC常規(guī)模板進(jìn)行重置恢復(fù)，即STC常規(guī)模板(2)、對第j個歷史快照模板使用數(shù)加一，并對快照模板組中快照按最近使用時間重排序，便于之后按照LRU原著剔除舊快照模板；(3)、采納第j個歷史快照模板對t幀估計的結(jié)果作為最終的結(jié)果，包括置信度和跟蹤目標(biāo)框結(jié)果，分別為和(4)、轉(zhuǎn)入步驟7；Step6、此時STC常規(guī)模板的適應(yīng)性仍然足夠，采納STC常規(guī)模板對t幀的估計結(jié)果作為最終的結(jié)果，分別為和Step7、更新常規(guī)STC模板和必要的參數(shù)：(1)、此時無論STC模板是否經(jīng)過回滾重置都已經(jīng)是適應(yīng)性最強(qiáng)的模板，只需將其簡單的學(xué)習(xí)t幀的內(nèi)容特征后即可，其中ρ為學(xué)習(xí)參數(shù)，其值越大表示更新速度越快；(2)、如果t％n＝＝0，使用公式計算并更新Scalet，否則Scalet＝Scalet-1，其中st′是連續(xù)兩個相鄰幀之間的估計尺度，為全部幀平均估計尺度，σ為尺度參數(shù)，λ為尺度學(xué)習(xí)速率；(3)、如果t％φ＝＝0，對STC常規(guī)模板抓取一次快照并將其加入到快照模板組SnapSet中，之后檢查快照模板的數(shù)量是否超出了容量上限若超出限制則采用LRU最近最少使用原則進(jìn)行剔除；Step8、輸出Rectt到外部文件并將其繪制到t幀圖像矩陣Ft上，最后將圖像矩陣Ft繪制到圖形窗口window中，如果t＜n，則更新t＝t+1，并轉(zhuǎn)入Step1，否則轉(zhuǎn)入Step9；Step9、跟蹤結(jié)束。我們使用了三個評價標(biāo)準(zhǔn)對實驗結(jié)果進(jìn)行定量評判：分別為成功率(SR)、中心坐標(biāo)誤差(CLE)以及幀速(FPS)，前兩者均是與手工標(biāo)注的基準(zhǔn)數(shù)據(jù)對比得出。SR(successrate)的計算方法為：首先計算每一幀跟蹤的得分score，其計算公式定義為：score=area(Rt∩Rg)area(Rt∪Rg)---(4)]]>其中Rt表示方法在每一幀計算得出的目標(biāo)框，Rg表示手工標(biāo)注的精確的目標(biāo)框，area(R)為R區(qū)域的面積，當(dāng)score＞0.5時，我們就認(rèn)為這一幀跟蹤成功；然后使用跟蹤成功的幀數(shù)除以視頻的總幀數(shù)并乘以100％即可得到SR。故而SR越高，即越接近1，表示方法的跟蹤精確性越高，效果越好。CLE(thecenterlocationerror)定義為每一幀方法得到目標(biāo)中心與手工標(biāo)注的目標(biāo)中心的歐式距離，其計算公式定義為：CLEt=(xt-xgt)2+(yt-ygt)2---(5)]]>其中CLEt表示待計算的第t幀的中心坐標(biāo)誤差，xt表示方法得到的第t幀結(jié)果的目標(biāo)中心的x坐標(biāo)，xgt表示手工標(biāo)注的第t幀目標(biāo)中心的x坐標(biāo)。該參數(shù)體現(xiàn)了方法在目標(biāo)跟蹤過程中估計得到的結(jié)果與真實結(jié)果之間的漂移程度，故而CLE越低，表示方法跟蹤效果越好，穩(wěn)定性越高。一段視頻序列包含了不定長數(shù)量的視頻幀，其對應(yīng)的ACLE(theaverateofcenterlocationerror，平均中心坐標(biāo)誤差)的計算公式為：ACLE=Σi=1nCLEin---(6)]]>其中ACLE即為所求的平均中心坐標(biāo)誤差，n為對應(yīng)視頻長度，即視頻幀的總數(shù)。CLE定量展示了每一幀的跟蹤情況，ACLE則展示了一段視頻的整體跟蹤情況。FPS(framepersecond)為方法每秒處理的幀數(shù)，其值越高越好，說明方法的處理速度越快，效率越高，實時性越好。注意，本發(fā)明在計算FPS時由于代碼未做優(yōu)化，同時為了利于肉眼觀看及方便幀速計算，均對每一幀的處理都加入了一定的延時，故而FPS只可作為相對參考對比，不可作為絕對參考數(shù)值。提出的基于自適應(yīng)模型的時空上下文目標(biāo)跟蹤方法(ASTC)、當(dāng)前Spatio-temporalContextTracking(STC)方法和現(xiàn)有CompressiveTracking(CT)方法三個方法進(jìn)行了對比?？焖龠\動、面內(nèi)旋轉(zhuǎn)及運動模糊Boy視頻序列，在該視頻中待跟蹤目標(biāo)受到了包括快速運動、面內(nèi)旋轉(zhuǎn)以及運動模糊等因素的干擾，給目標(biāo)跟蹤帶來相當(dāng)大的挑戰(zhàn)。在圖像幀中，CT方法的估計結(jié)果已經(jīng)出現(xiàn)了嚴(yán)重的漂移，至后續(xù)幀，CT方法已經(jīng)徹底丟失了目標(biāo)，再也未能找回并恢復(fù)跟蹤，因此僅實現(xiàn)了約37％的成功率。對于STC方法而言，該視頻序列前期并未受到劇烈的干擾，因此跟蹤效果較好，但在#407幀附近發(fā)生了一次極快速的面外旋轉(zhuǎn)及運動模糊，STC的跟蹤開始出現(xiàn)漂移，截止#416幀已經(jīng)徹底丟失了待跟蹤的目標(biāo)，完全被背景內(nèi)容所吸引，實現(xiàn)了67％的成功率。Boy視頻序列對應(yīng)的跟蹤中心坐標(biāo)誤差曲線圖中可以看出，CT和STC分別在對應(yīng)幀附近出現(xiàn)了跟蹤漂移，而后完全丟失了跟蹤目標(biāo)，并且在干擾結(jié)束后也未能恢復(fù)跟蹤，究其原因在于這兩者方法均基于Markov時間平滑假設(shè)，完全依賴新幀的跟蹤結(jié)果，不加判斷的學(xué)習(xí)，導(dǎo)致方法模板積累了過多的背景內(nèi)容特征，完全混淆了前景目標(biāo)特征和背景特征。在該視頻序列中，本發(fā)明所提出的ASTC方法實現(xiàn)了最好的效果，達(dá)到了95％的成功率，且僅為3.1的平均中心坐標(biāo)誤差也同時優(yōu)于CT的85.38和STC的42。這是由于本發(fā)明提出了一個新的適用于在線學(xué)習(xí)類型跟蹤的自適應(yīng)結(jié)構(gòu)模型，在一定程度上否定了馬爾科夫時間平滑假設(shè)，通過保存多個歷史快照模板同時對新幀進(jìn)行預(yù)測估計，當(dāng)檢測到歷史模板比常規(guī)模板具有更佳的適應(yīng)性時立即進(jìn)行替換，實現(xiàn)常規(guī)模板的快照回滾，丟棄了之前一段時間內(nèi)學(xué)習(xí)積累的背景特征，使得更加適合于當(dāng)前時刻的跟蹤。Boy視頻序列對應(yīng)的跟蹤中心坐標(biāo)誤差曲線中可以看出本發(fā)明提出的ASTC方法同樣后續(xù)幀附近的強(qiáng)干擾下出現(xiàn)了短暫漂移，但是在干擾結(jié)束后及時通過歷史快照模板進(jìn)行了修正，因而獲得了更好的跟蹤效果。運動模糊及背景混亂在Deer視頻序列中，目標(biāo)受到了劇烈的運動模糊和背景混亂干擾。待跟蹤目標(biāo)為一只小鹿的頭部，而小鹿的整個身體均是一致的毛色，同時周圍還有別的同樣紋理特征的干擾鹿，給目標(biāo)跟蹤帶來了相當(dāng)嚴(yán)峻的考驗，因而在該視頻上實驗結(jié)果表明包括CT和STC在內(nèi)的兩個方法的跟蹤效果均不甚理想，分別只有8％和6％的成功率，而且平均中心坐標(biāo)誤差也分別達(dá)到了150.18和374.38。在#7幀可以明顯看出，STC方法已經(jīng)由于漂移徹底丟失了目標(biāo)，ASTC雖也出現(xiàn)了一定程度的漂移，但到后續(xù)幀時可以看出，ASTC經(jīng)過歷史快照模板的修正丟棄幀之間學(xué)習(xí)到的錯誤背景特征，已經(jīng)重新找回了目標(biāo)并恢復(fù)了正確的跟蹤，而STC由于學(xué)習(xí)并積累了過多了背景內(nèi)容特征，已無可能恢復(fù)跟蹤。在#11幀附近，由于待跟蹤目標(biāo)的一次快速運動以及背景混亂，CT方法的跟蹤開始出現(xiàn)漂移，CT方法已丟失了目標(biāo)。而本發(fā)明所提出的ASTC方法由于采用了新的自適應(yīng)結(jié)構(gòu)模型，當(dāng)常規(guī)模板因積累過多背景信息導(dǎo)致適應(yīng)性降低時，該模型可以通過適應(yīng)性公式檢測到這種情況，，并及時用歷史快照模板進(jìn)行了重置回滾，丟棄了積累的錯誤背景內(nèi)容特征，增強(qiáng)了跟蹤穩(wěn)定性和魯棒性，實現(xiàn)了最好的跟蹤效果，達(dá)到了83％的成功率和9.7的平均中心坐標(biāo)誤差。遮擋狀態(tài)遮擋問題是視頻跟蹤領(lǐng)域常談常新的一個問題，不僅是因為它是一個最常見的干擾因素，而且它同時對跟蹤方法帶來了巨大的挑戰(zhàn)，因而是當(dāng)前衡量一款跟蹤方法性能和魯棒性的關(guān)鍵要素。FaceOcc1視頻，在該序列中，目標(biāo)不斷受到各種不同程度的遮擋，因此如何處理遮擋過程中的跟蹤以及遮擋后的恢復(fù)是跟蹤方法亟待解決的問題。在FaceOcc1的視頻序列的后續(xù)幀附近發(fā)生了一次時間較長且嚴(yán)重的遮擋，從#170幀開始直到后續(xù)幀附近才完全結(jié)束遮擋。在如此長時間且嚴(yán)重的遮擋干擾下，完全基于Markov時間平滑假設(shè)的STC方法由于不間斷的學(xué)習(xí)導(dǎo)致積累過多的遮擋物特征，已經(jīng)將前景目標(biāo)特征與背景特征相混淆，從視頻幀可以看出，STC已經(jīng)被遮擋物的特征所吸引，故而STC方法僅實現(xiàn)了25％的成功率和327.86的平均中心坐標(biāo)誤差。對于CT方法而言，該方法同樣基于Markov時間平滑假設(shè)，故而也容易出現(xiàn)跟蹤漂移問題。在FaceOcc1視頻序列上，在幀與幀期間又發(fā)生了一次長時間的嚴(yán)重遮擋。從圖像幀遮擋物開始移出至后續(xù)幀完全移出的過程中，CT的跟蹤結(jié)果被遮擋物的特征所吸引也隨著遮擋物向下移，由于CT方法限定結(jié)果目標(biāo)框必須處于視頻內(nèi)容范圍，因此當(dāng)前跟蹤結(jié)果未能滑出視頻畫面；同樣的從圖像幀期間，遮擋物重新出現(xiàn)，CT再次將遮擋物判定為前景目標(biāo)并跟隨遮擋物上移，歪打正著的估計出正確結(jié)果；再次在圖像幀期間，CT的跟蹤結(jié)果同樣被遮擋物吸引，又一次隨著遮擋物左移。由此說明同樣基于Markov時間平滑假設(shè)的CT方法也由于過多學(xué)習(xí)背景特征而混淆了前景目標(biāo)特征和背景遮擋物特征。但由于FaceOcc1視頻序列分辨率較低，待跟蹤目標(biāo)本身較大，且CT方法的結(jié)果目標(biāo)框必須在視頻內(nèi)容內(nèi)，因而即便CT結(jié)果出現(xiàn)漂移也能包含部分正確目標(biāo)區(qū)域不至于導(dǎo)致中心坐標(biāo)誤差過大，或當(dāng)人臉目標(biāo)被嚴(yán)重遮擋時CT由于正確估計出遮擋物而歪打正著估計得到正確的結(jié)果，故此CT的成功率和平均中心坐標(biāo)誤差分別達(dá)到了75％和31.84。對于FaceOcc1視頻序列，本發(fā)明所提出的ASTC方法取得了最佳的實驗效果，正確率和平均中心坐標(biāo)誤差分別達(dá)到了98％和12.72。究其原因在于ASTC采用了新的自適應(yīng)結(jié)構(gòu)模型，通過對STC常規(guī)模板結(jié)果進(jìn)行適應(yīng)性檢查，當(dāng)檢測到STC常規(guī)模板適應(yīng)性弱于歷史快照模板時，及時使用歷史快照模板對STC常規(guī)模板進(jìn)行重置恢復(fù)，使STC常規(guī)模板回滾到歷史上的某一時刻，丟棄了一段時間內(nèi)學(xué)習(xí)積累的錯誤遮擋物特征，提高了STC常規(guī)模板的適應(yīng)性，使其更加適合當(dāng)前時刻的跟蹤，有效增強(qiáng)了跟蹤魯棒性。在FaceOcc1視頻序列實際實驗中發(fā)生常規(guī)模板快照回滾的圖像幀時刻狀態(tài)。在該狀態(tài)下快照模板組中共保存了4張快照模板，分別在圖像幀時刻，可以明顯看出，ASTC方法估計的結(jié)果也同樣由于連續(xù)不斷學(xué)習(xí)遮擋物的特征，被遮擋物所吸引，并隨著遮擋物的移除而向下移。至歷史快照模板估計到了比STC常規(guī)模板更好的結(jié)果，本發(fā)明所提出的ASTC方法有效抑制了跟蹤漂移，增強(qiáng)了STC常規(guī)模板的魯棒性，提升了跟蹤效果。FaceOcc2視頻序列，從圖像幀可以明顯看出STC被遮擋物所吸引出現(xiàn)漂移直至完全丟失，而CT方法雖較好的估計到正確目標(biāo)但由于不支持尺度變化導(dǎo)致其成功率并不高，僅為56％，只有本發(fā)明的ASTC方法較好的完成了跟蹤，實現(xiàn)了98％的成功率。從圖像幀可以看出CT和STC方法均出現(xiàn)了一定程度的漂移，自圖像幀左右開始出現(xiàn)了嚴(yán)重遮擋，STC已完全跟丟且未能在遮擋結(jié)束后恢復(fù)，而本發(fā)明的ASTC則能較好的完成了跟蹤。CT方法已被遮擋物所吸引導(dǎo)致跟蹤丟失，圖像幀再次出現(xiàn)了遮擋并且更為嚴(yán)重，STC開始出現(xiàn)漂移直至丟失，ASTC方法則通過適應(yīng)性檢查及時修正了常規(guī)模板中積累的誤差，實現(xiàn)了最好的跟蹤，達(dá)到了86％的成功率和5.32的平均中心坐標(biāo)誤差。光照變化及面內(nèi)外旋轉(zhuǎn)Sylvester視頻序列包含了光照變化、面內(nèi)外旋轉(zhuǎn)以及尺度縮放等多種因素的干擾。CT的跟蹤已發(fā)生漂移并完全丟失目標(biāo)，而STC方法也由于待跟蹤目標(biāo)不斷受到多種因素干擾的情況不能及時修正模板積累的誤差，出現(xiàn)了明顯的漂移，僅實現(xiàn)了54％的成功率。對于本發(fā)明所提出的ASTC方法由于及時丟棄了常規(guī)模板中積累的誤差并回滾到歷史上更加適合當(dāng)前目標(biāo)狀態(tài)的跟蹤模板，有效提升了成功率，達(dá)到了85％。跟蹤丟失后的目標(biāo)尋回CT方法屬于局部候選搜索方法，其搜索半徑限定在上一幀目標(biāo)中心半徑25個像素距離的范圍內(nèi)；同樣的對于STC方法也是局部搜索候選搜索方法，STC方法的搜索范圍是限定在初始目標(biāo)框兩倍大小的局部上下文區(qū)域內(nèi)。因此當(dāng)目標(biāo)重新出現(xiàn)的位置超出了局部搜索范圍是無可能重新找回目標(biāo)的，CT、STC均被遮擋物所吸引，至圖像幀目標(biāo)重新完整出現(xiàn)后已完全超出了其候選目標(biāo)中心的搜索范圍，是無可能重新找回，因而CT和STC分別僅實現(xiàn)了16％和17％的成功率。同樣對于Jogging2視頻序列，本發(fā)明所提出的ASTC方法實現(xiàn)了最好的效果，成功率達(dá)到了99％，究其原因在于ASTC完整保存了歷史快照模板的各項參數(shù)信息，包括位置估計等，有效增大了候選搜索區(qū)域，并通過對常規(guī)模板進(jìn)行歷史回滾進(jìn)而丟棄了之前學(xué)習(xí)積累的遮擋物的內(nèi)容特征，增強(qiáng)了跟蹤魯棒性，故而實現(xiàn)了最好的實驗效果。盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。當(dāng)前第1頁1 2 3