一種基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法
【專利摘要】一種基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，步驟如下：目標(biāo)物體特征描述階段，首先用戶給定初始視頻中的位置信息，采用局部約束的壓縮感知對目標(biāo)物體、以及下一幀中的候選區(qū)域進(jìn)行特征描述；幀間低秩關(guān)聯(lián)性分析階段，從目標(biāo)物體特征庫中抽取關(guān)鍵描述，組成局部特征庫，然后將局部特征庫與候選區(qū)域的特征描述一齊進(jìn)行低秩分解，得到的稀疏矩陣；計(jì)算幀間低秩關(guān)聯(lián)先驗(yàn)、遮擋掩模；依據(jù)稀疏矩陣以及低秩關(guān)聯(lián)先驗(yàn)、遮擋掩模輸出當(dāng)前目標(biāo)物體位置；更新目標(biāo)庫，對目標(biāo)特征庫進(jìn)行全局低秩分析，共性最強(qiáng)的低秩描述將被當(dāng)前的目標(biāo)物體描述所替換。本發(fā)明能夠?qū)σ曨l中的單個物體進(jìn)行實(shí)時、穩(wěn)定的進(jìn)行長時間追蹤，具有追蹤速率高，追蹤精度高等特點(diǎn)。
【專利說明】一種基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方 法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于對視頻當(dāng)前幀中特征區(qū)域進(jìn)行壓縮感知的特征描述以及幀 間的低秩關(guān)聯(lián)性進(jìn)行低秩分解的實(shí)時物體追蹤方法。

【背景技術(shù)】
[0002] 視頻物體追蹤是當(dāng)前計(jì)算機(jī)視覺、模式識別領(lǐng)域一個非常熱門的研究方向，其具 體應(yīng)用包括救生視頻監(jiān)控，交通控制，運(yùn)動識別等。盡管對視頻物體追蹤的研究在近幾年取 得了非常大的成果，但傳統(tǒng)的一些局限性仍然沒有得到很好的解決，如無法穩(wěn)定的實(shí)時追 蹤發(fā)生快速物體形變且遮擋的高速移動物體?？偟膩碚f，當(dāng)前的視頻物體追蹤方法可以分 為兩類：基于區(qū)分度模型的視頻物體追蹤方法；基于泛形模型的視頻物體追蹤方法。
[0003] 基于區(qū)分度模型的視頻物體追蹤方法通常依據(jù)當(dāng)前視頻幀之前的視頻追蹤結(jié)果， 以其作為分類器的訓(xùn)練樣本數(shù)據(jù)來動態(tài)的區(qū)分待追蹤的物體以及不相關(guān)的背景。為了處理 追蹤過程中發(fā)生的遮擋，許多基于區(qū)分度模型的視頻物體追蹤方法強(qiáng)制當(dāng)前的物體狀態(tài)不 能過分偏離初始物體狀態(tài)。因此，當(dāng)待追蹤的物體發(fā)生快速形變以及尺度發(fā)生較大改變的 時候，追蹤結(jié)果很容易發(fā)生漂移現(xiàn)象。不同于基于區(qū)分度模型的視頻物體追蹤方法，基于泛 形模型的視頻物體追蹤方法通常依賴于"物體模型庫"，而這一模型庫是在物體的追蹤過程 中逐幀得到更新，并且將當(dāng)前待檢測的所有潛在物體位置的特征描述與該模型庫匹配最接 近的位置認(rèn)為是當(dāng)前幀物體的位置。因此，理論上來說，以計(jì)算量的增加為代價，通過無限 增大模型庫的容積，基于泛形模型的視頻物體追蹤方法能夠應(yīng)付任何的物體形變。因此，泛 形模型追蹤方法所面臨的問題是，在有限的模型庫的前提下，如何設(shè)計(jì)合理的模型庫描述 以及待追蹤物體的特征描述逐成為了當(dāng)前的研究熱點(diǎn)。
[0004] 為了解決上述問題，本發(fā)明依靠對目標(biāo)物體全局模型庫進(jìn)行全局有偏低秩分析生 成的局部目標(biāo)物體特征庫來適應(yīng)目標(biāo)物體的快速形變，并采用基于視頻幀間低秩關(guān)聯(lián)性的 物體追蹤方法，來獲取高精度的視頻追蹤結(jié)果，最終借助于對全局模型庫進(jìn)行有偏低秩分 析，完成對目標(biāo)物體當(dāng)前狀態(tài)的更新，保證追蹤過程的穩(wěn)定性。該方法對視頻物體追蹤的精 度高，穩(wěn)定性好，計(jì)算代價低等特點(diǎn)。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明解決的技術(shù)問題是：通過基于帶局部約束的壓縮感知方法來對目標(biāo)物體進(jìn) 行特征描述，其生成的特征空間維數(shù)低、區(qū)分度好，能夠?qū)⒛繕?biāo)物體與背景物體很好的進(jìn)行 區(qū)分；對目標(biāo)物體特征庫進(jìn)行全局有偏低秩分析，生成局部特征庫以適應(yīng)目標(biāo)物體的快速 形變；利用幀間低秩關(guān)聯(lián)一致性，對局部特征庫和當(dāng)前幀中的候選特征描述一齊進(jìn)行低秩 分析，獲得穩(wěn)定的追蹤結(jié)果；對目標(biāo)物體特征庫進(jìn)行全局無偏低秩分析進(jìn)行目標(biāo)庫的更新， 避免偏移現(xiàn)象的發(fā)生。
[0006] 本發(fā)明采用的技術(shù)方案為：一種基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時視頻物 體追蹤方法，其特征在于包括以下六個步驟：
[0007] 步驟（1)、基于局部約束的壓縮感知的目標(biāo)物體特征描述：對當(dāng)前幀的特征物體 以及下一幀的潛在物體區(qū)域進(jìn)行統(tǒng)一的、隨機(jī)的特征區(qū)域采樣，以原像素級灰度信息為基 礎(chǔ)，采用帶有局部約束的隨機(jī)觀測矩陣（_1，〇，1)進(jìn)行觀測，反復(fù)150次觀測結(jié)果作為當(dāng)前 區(qū)域的特征描述。
[0008] 步驟（2)、生成局部目標(biāo)物體特征庫：將當(dāng)前幀中的目標(biāo)物體特征描述與目標(biāo)特 征庫中的全部描述一并進(jìn)行目標(biāo)特征偏重的低秩分析，依據(jù)低秩分解得到的稀疏矩陣的 L1-范數(shù)的前15小的特征描述作為局部目標(biāo)特征庫。
[0009] 步驟（3)、幀間低秩關(guān)聯(lián)性分析：將下一視頻幀中的潛在目標(biāo)區(qū)域的特征描述（從 步驟（1)獲取）與局部目標(biāo)特征庫進(jìn)行特征庫偏重的低秩分析，依據(jù)低秩分解得到的稀疏 矩陣L1-范數(shù)作為物體檢測基礎(chǔ)指示。
[0010] 步驟（4)、獲取低秩先驗(yàn)及遮擋掩模：將前一幀的步驟（3)中獲取的稀疏矩陣 L1-范數(shù)作為當(dāng)前幀的物體檢測基礎(chǔ)指示的權(quán)重，并且將當(dāng)前的稀疏矩陣L1-范數(shù)中處于 較高水平的部分作為遮擋掩模。
[0011] 步驟（5)、輸出當(dāng)前幀目標(biāo)物體追蹤結(jié)果：結(jié)合步驟（3)以及步驟⑷中的輸出結(jié) 果作為目標(biāo)物體檢測的最終指示，其最大值對應(yīng)的特征區(qū)域?yàn)槟繕?biāo)物體所在當(dāng)前幀中的位 置。
[0012] 步驟（6)、更新目標(biāo)物體特征庫：采用步驟（1)中的特征描述方法描述步驟（5)中 檢測得到的特征物體，并對目標(biāo)物體特征庫進(jìn)行全局低秩分析，最終用當(dāng)前特征物體的特 征描述替換稀疏矩陣中L1-范數(shù)值較低的前K個特征描述對應(yīng)的特征庫記錄。
[0013] 進(jìn)一步的，步驟（1)中所述的基于局部約束的壓縮感知的目標(biāo)物體特征描述方 法，該方法強(qiáng)制約束觀測壓縮感知的觀測矩陣中每一行僅存在一個非0元素，1或-1。然 后將各觀測位的局部區(qū)域積分圖作為該點(diǎn)的觀測結(jié)果，重復(fù)觀測150次，即觀測矩陣為150 行，利用快速的矩陣乘法、卷積得到目標(biāo)物體的特征描述（150維）。
[0014] 進(jìn)一步的，步驟（2)中所述的生成局部目標(biāo)物體特征庫，該方法以視頻追蹤過程 中前一幀的追蹤結(jié)果為參照，將該參照結(jié)果與目標(biāo)物體特征庫一齊進(jìn)行全局低秩分析。其 低秩分析的過程中，采用的BRP(bilateralrandomprojection)低秩分解過程是完全偏向 于前一幀追蹤結(jié)果。最終依據(jù)低秩分解得到的稀疏矩陣的L1行范數(shù)最小的前15個特征描 述作為局部目標(biāo)物體特征庫。
[0015] 進(jìn)一步的，步驟（3)中所述的幀間低秩關(guān)聯(lián)性分析，該方法以步驟（2)中得到的局 部目標(biāo)物體特征庫為參照，將該參照與當(dāng)前幀中目標(biāo)物體潛在位置的特征描述一齊進(jìn)行低 秩分析。其低秩分析的過程（BRP)完全偏向于局部目標(biāo)物體特征庫。最終依據(jù)低秩分析得 到的稀疏矩陣中，當(dāng)前幀目標(biāo)物體潛在位置對應(yīng)的最小L1行稀疏矩陣范數(shù)為當(dāng)前幀目標(biāo) 物體所在的初步位置。
[0016] 進(jìn)一步的，步驟（4)中所述獲取低秩先驗(yàn)及遮擋掩模，該方法依據(jù)先前視頻幀追 蹤過程中產(chǎn)生的低秩稀疏矩陣作為當(dāng)前幀的追蹤先驗(yàn)。而當(dāng)前幀低秩分析過程中，通過迭 代的方式認(rèn)為稀疏矩陣中處于較高水平的殘余值為潛在的遮擋發(fā)生位，并依此作為遮擋掩 模。最終將遮擋掩模結(jié)合低秩先驗(yàn)融入到步驟（3)所確定的目標(biāo)物體初步位置，進(jìn)一步的 對目標(biāo)物體的實(shí)際位置進(jìn)行確定。
[0017] 進(jìn)一步的，步驟（5)中所述的輸出當(dāng)前幀目標(biāo)物體追蹤結(jié)果，該方法通過重復(fù)迭 代的過程，反復(fù)過濾步驟（3)和步驟（4)得到的追蹤結(jié)果，并逐步的縮小目標(biāo)物體潛在位置 可能存在的范圍，從而得到正確的物體追蹤結(jié)果。
[0018] 進(jìn)一步的，步驟（6)中所述的更新目標(biāo)物體特征庫，該方法通過對目標(biāo)物體特征 庫進(jìn)行全局無偏的低秩分析，將特征庫中處于低秩成分的特征描述替換為當(dāng)前視頻幀中目 標(biāo)物體最新的特征描述，以避免視頻追蹤的過程中，由于目標(biāo)特征庫過于陳舊而導(dǎo)致的偏 移現(xiàn)象。
[0019] 本發(fā)明的原理在于：
[0020] (1)通過帶有局部約束的壓縮感知對目標(biāo)物體進(jìn)行低代價、高區(qū)分度的特征描述， 能夠在保證全局信息強(qiáng)相關(guān)性同時，保證了目標(biāo)物體的特征描述在追蹤過程中不會應(yīng)為遮 擋的發(fā)生而發(fā)生較大的全局變化。并且由于該方法的計(jì)算代價不高、產(chǎn)生的特征維數(shù)低，控 制了后續(xù)追蹤過程的計(jì)算規(guī)模，為實(shí)時視頻物體追蹤提供了保障。
[0021] (2)通過多次有偏、無偏的低秩分析，保證了追蹤過程中局部信息、全局信息有效 的結(jié)合。由于局部特征庫的引入，保證了追蹤過程中部會應(yīng)為目標(biāo)物體的快速形變而導(dǎo)致 錯誤的追蹤結(jié)果。并且?guī)g低秩性分析，保證了得到高精度的追蹤結(jié)果。采用全局低秩分 析進(jìn)行特征庫更新，避免了漂移現(xiàn)象的發(fā)生。而生成局部目標(biāo)物體特征庫、幀間低秩分析 物體初步定為為有偏低秩分析，其中間過程中產(chǎn)生的低秩投影矩陣能夠被反復(fù)、多次的使 用，大大減少了計(jì)算量。
[0022] (3)追蹤過程中，候選目標(biāo)物體潛在區(qū)域的選取參考了運(yùn)動模型，通過迭代的方 式，結(jié)合低秩先驗(yàn)、遮擋掩模，保證了追蹤過程僅需較低的計(jì)算代價，并且擁有很好的追蹤 精度。
[0023] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：
[0024] 1、將傳統(tǒng)的壓縮感知方法用來描述視頻追蹤過程中的目標(biāo)物體，提供了一種低代 價、高區(qū)分度、抗遮擋、低代價的目標(biāo)物體描述方法。
[0025] 2、利用對全局目標(biāo)物體特征庫進(jìn)行有偏低秩分析，生成局部目標(biāo)物體特征庫用于 實(shí)際的目標(biāo)物體追蹤，保證了追蹤方法能夠適應(yīng)物體的快速形變。
[0026] 3、利用幀間的低秩關(guān)聯(lián)性分析，將局部信息結(jié)合全局信息，保證了高精度目標(biāo)物 體定位。
[0027] 4、利用對全局目標(biāo)物體特征庫進(jìn)行無偏低秩分析，保證了特征庫的高差異度，在 有限的容量前提下，盡可能多的記錄目標(biāo)物體的各種不同的形態(tài)，從而較傳統(tǒng)的方法能夠 更好的避免漂移現(xiàn)象的發(fā)生。

【專利附圖】

【附圖說明】
[0028] 圖1實(shí)時物體追蹤的模塊流程圖。
[0029] 圖2為基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法的總體處理流程 圖。
[0030] 圖3為帶有局部約束的壓縮感知目標(biāo)物體特征描述方法展示圖，其中（a)為輸入 視頻幀，（b)為（a)中的放大細(xì)節(jié)，（c)為隨機(jī)觀測矩陣，（d)為采用觀測矩陣進(jìn)行壓縮感知 特征描述，（e)壓縮感知特征描述結(jié)果。
[0031] 圖4為幀間低秩關(guān)聯(lián)性分析展示圖，（a)為前一視頻幀的目標(biāo)物體追蹤結(jié)果，（b) 展示當(dāng)前生成的局部特征描述庫、全局特征描述庫，（c)對當(dāng)前視頻幀進(jìn)行目標(biāo)物體追蹤， (d)候選目標(biāo)區(qū)域的放大顯示，（e)通過稀疏分析得到的稀疏矩陣。
[0032] 圖5為遮擋掩模展示圖，（a)目標(biāo)物體幀間低秩共性展示，（b_d)為不同視頻幀下 的遮擋掩模展示。
[0033] 圖6展示迭代追蹤過程，（a)前一視頻幀目標(biāo)物體追蹤結(jié)果，（d)當(dāng)前視頻幀的候 選搜索區(qū)域的劃分展示，（c)進(jìn)一步縮小搜索區(qū)域，（d)放大顯示，（e)經(jīng)過三次搜索迭代， 獲得穩(wěn)定的目標(biāo)物體位置。
[0034] 圖7展示了最終目標(biāo)物體響應(yīng)權(quán)重分布結(jié)果，（a)為響應(yīng)值分布結(jié)果，（b)為放大 顯示，（c)響應(yīng)值的三維空間分布展示，（d)當(dāng)前視頻幀的目標(biāo)物體追蹤結(jié)果。

【具體實(shí)施方式】
[0035] 下面結(jié)合附圖及【具體實(shí)施方式】進(jìn)一步說明本發(fā)明。
[0036] 圖2給出了基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法的總體處理 流程。
[0037] 本文發(fā)明一種基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，主要步驟 介紹如下：
[0038] 1、基于局部約束的壓縮感知的目標(biāo)物體特征描述方法
[0039] 該方法首先通過帶有局部約束的隨機(jī)觀測矩陣R對目標(biāo)物體進(jìn)行150次的隨機(jī)重 復(fù)觀察，觀察位置的隨機(jī)生成如圖3(c)所示。這里的觀測矩陣R為稀疏矩陣，其列大小等 于目標(biāo)物體寬X高，其行大小為觀測次數(shù)（150)。所謂的局部約束為R矩陣中每一行的非 零元素在原始圖像空間中是局部區(qū)域連續(xù)的，約束形式如公式（1)所示。
[0040] ||Rj|。=l，iG{l，2，...，n} (1)
[0041] 其中|| ? ||。表示L0范數(shù)，&表示觀測矩陣的第i行，n= 150。然后，將觀測位 置周圍（矩形觀測窗口，窗口寬度（W)、高度（H)設(shè)為目標(biāo)物體寬度、高度的1/7)的像素點(diǎn) 之和作為該觀測點(diǎn)的最終觀測結(jié)果，其具體做法如公式（2)所示。

【權(quán)利要求】
1. 一種基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，其特征在于包括以下 六個步驟： 步驟（1)、基于局部約束的壓縮感知的目標(biāo)物體特征描述：對當(dāng)前幀的特征物體以及 下一幀的潛在物體區(qū)域進(jìn)行統(tǒng)一的、隨機(jī)的特征區(qū)域采樣，以原像素級灰度信息為基礎(chǔ)，采 用帶有局部約束的隨機(jī)觀測矩陣（-1，〇, 1)進(jìn)行觀測，反復(fù)150次觀測結(jié)果作為當(dāng)前區(qū)域的 特征描述； 步驟（2)、生成局部目標(biāo)物體特征庫：將當(dāng)前幀中的目標(biāo)物體特征描述與目標(biāo)特征庫 中的全部描述一并進(jìn)行目標(biāo)特征偏重的低秩分析，依據(jù)低秩分解得到的稀疏矩陣的L1-范 數(shù)的前15小的特征描述作為局部目標(biāo)特征庫； 步驟（3)、幀間低秩關(guān)聯(lián)性分析：將下一視頻幀中的潛在目標(biāo)區(qū)域的特征描述（從步驟 (1)獲取）與局部目標(biāo)特征庫進(jìn)行特征庫偏重的低秩分析，依據(jù)低秩分解得到的稀疏矩陣 L1-范數(shù)作為物體檢測基礎(chǔ)指示； 步驟（4)、獲取低秩先驗(yàn)及遮擋掩模：將前一幀的步驟（3)中獲取的稀疏矩陣L1-范數(shù) 作為當(dāng)前幀的物體檢測基礎(chǔ)指示的權(quán)重，并且將當(dāng)前的稀疏矩陣L1-范數(shù)中處于較高水平 的部分作為遮擋掩模； 步驟（5)、輸出當(dāng)前幀目標(biāo)物體追蹤結(jié)果：結(jié)合步驟（3)以及步驟（4)中的輸出結(jié)果作 為目標(biāo)物體檢測的最終指示，其最大值對應(yīng)的特征區(qū)域?yàn)槟繕?biāo)物體所在當(dāng)前幀中的位置； 步驟￠)、更新目標(biāo)物體特征庫：采用步驟（1)中的特征描述方法描述步驟（5)中檢測 得到的特征物體，并對目標(biāo)物體特征庫進(jìn)行全局低秩分析，最終用當(dāng)前特征物體的特征描 述替換稀疏矩陣中L1-范數(shù)值較低的前K個特征描述對應(yīng)的特征庫記錄。
2. 根據(jù)權(quán)利要求1所述的基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法， 其特征在于：步驟（1)中所述的基于局部約束的壓縮感知的目標(biāo)物體特征描述，直接采用 原始灰度空間中的像素級信息為基礎(chǔ)，通過統(tǒng)一大小的局部小方塊區(qū)域作為壓縮感知的一 次隨機(jī)觀測，每次觀察的結(jié)果為該小區(qū)域所有像素點(diǎn)灰度值之和，并結(jié)合隨機(jī)（_1，〇，1)值 作為觀測最終結(jié)果，反復(fù)觀測150次并進(jìn)行最大最小歸一化作為該目標(biāo)區(qū)域的最終特征描 述。
3. 根據(jù)權(quán)利要求1述的基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，其特 征在于：步驟（2)中所述的生成局部目標(biāo)物體特征庫，將目標(biāo)物體特征描述與目標(biāo)物體特 征庫中的全部描述一齊進(jìn)行偏重于當(dāng)前目標(biāo)物體的低秩分析，依據(jù)低秩分解得到的稀疏矩 陣的殘差量L1-范數(shù)的大小，從特征庫中選取最小的15個特征描述作為局部目標(biāo)物體特征 庫。
4. 根據(jù)權(quán)利要求1述的基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，其特 征在于：步驟（3)中所述幀間低秩關(guān)聯(lián)性分析，將當(dāng)前幀中目標(biāo)物體可能存在的潛在位置 的全部特征描述與局部目標(biāo)物體特征庫進(jìn)行偏重于特征庫的低秩分析，依據(jù)低秩分解得到 的稀疏矩陣的L1-范數(shù)作為當(dāng)前物體檢測基礎(chǔ)指示。
5. 根據(jù)權(quán)利要求1述的基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，其特 征在于：步驟（4)中所述獲取低秩先驗(yàn)及遮擋掩模，將前面幀的物體檢測基礎(chǔ)指示（低秩分 解得到的稀疏矩陣）作為當(dāng)前基礎(chǔ)指示的先驗(yàn)權(quán)重，并通過迭代的方式，計(jì)算當(dāng)前物體檢 測基礎(chǔ)指示的較高稀疏度對應(yīng)的局部觀測窗口作為遮擋掩模。
6. 根據(jù)權(quán)利要求1述的基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，其特 征在于：步驟（5)中所述輸出當(dāng)前幀目標(biāo)物體追蹤結(jié)果，結(jié)合步驟（3)以及步驟⑷中的輸 出結(jié)果作為目標(biāo)物體檢測的最終指示，其最大值對應(yīng)的特征區(qū)域?yàn)槟繕?biāo)物體所在當(dāng)前幀中 的位置。
7. 根據(jù)權(quán)利要求1述的基于視頻幀間低秩關(guān)聯(lián)信息一致性的實(shí)時物體追蹤方法，其特 征在于：步驟￠)中所述更新目標(biāo)物體特征庫，對目標(biāo)物體特征描述庫進(jìn)行全局無偏的低 秩分析，依據(jù)低秩分解得到的稀疏矩陣的L1-范數(shù)值為指示，從中選取K個最小的值所對應(yīng) 的特征描述，這些特征描述將被當(dāng)前檢測得到的目標(biāo)物體描述直接替換或線性更新。
【文檔編號】G06T7/20GK104408748SQ201410743179
【公開日】2015年3月11日 申請日期:2014年12月5日 優(yōu)先權(quán)日:2014年12月5日
【發(fā)明者】郝愛民, 陳程立詔, 李帥, 秦洪 申請人:北京航空航天大學(xué)