基于隨機(jī)蕨叢和隨機(jī)投影的在線目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，特別涉及一種視覺(jué)跟蹤方法，可用于在精度和要求 高的嵌入式系統(tǒng)的視覺(jué)跟蹤中。
【背景技術(shù)】
[0002] 在視覺(jué)跟蹤中，Avidan促使探測(cè)跟蹤得到更多的運(yùn)用，從此跟蹤問(wèn)題更多的是關(guān) 注區(qū)分前景和背景的分類(lèi)問(wèn)題。探測(cè)跟蹤中所用的分類(lèi)器被反復(fù)離線訓(xùn)練，與此同時(shí)很多 的近期方法用即將到來(lái)的幀訓(xùn)練分類(lèi)器，從而在跟蹤之前并且在沒(méi)有目標(biāo)訓(xùn)練樣本的需求 的如提下能夠跟蹤到任意的對(duì)象。
[0003] 針對(duì)分類(lèi)器在線訓(xùn)練方法，Grabner等人對(duì)Boosting方法進(jìn)行改造，使其能夠 適應(yīng)在線方法并且提出了在線的Boosting跟蹤器。其主要思想是，在第一幀圖像中，用 Boosting框架把特定邊界框中的圖像小塊作為正樣本，把邊界框周?chē)膱D像小塊當(dāng)作負(fù)樣 本來(lái)訓(xùn)練分類(lèi)器。這種方法容易累積分類(lèi)錯(cuò)誤，從而導(dǎo)致漂移問(wèn)題甚至目標(biāo)丟失問(wèn)題。
[0004] 后來(lái)，Grabner又提出了在線半監(jiān)督Boosting方法，這種方法能夠有效的處理視 覺(jué)跟蹤中的漂移問(wèn)題。其改進(jìn)的思想在于先標(biāo)記第一幀中的訓(xùn)練樣本，然后用后續(xù)幀中未 標(biāo)注的樣本和已標(biāo)注的樣本來(lái)更新分類(lèi)器。這種方法在目標(biāo)快速變化的情況下，跟蹤性能 會(huì)下降。
[0005] 對(duì)上述的在線半監(jiān)督Boosting方法中的的問(wèn)題，Babenko等人在其方法的基礎(chǔ)上 提出用在線多實(shí)例學(xué)習(xí)跟蹤算法來(lái)解決并取得了顯著的成績(jī)。但是，在線多示例學(xué)習(xí)方法 又存在效率低的問(wèn)題，造成計(jì)算機(jī)內(nèi)存和計(jì)算資源的大量消耗。
[0006] 針對(duì)在線多示例學(xué)習(xí)方法存在的問(wèn)題，Ozuysal等人在目標(biāo)檢測(cè)中提出一個(gè)非常 簡(jiǎn)單并且有效的圖像描述方法叫做隨機(jī)蕨叢。他們簡(jiǎn)單的通過(guò)灰度比較隨機(jī)的選取像素 對(duì)，這些像素對(duì)能夠?qū)D像塊哈希到一個(gè)二進(jìn)制數(shù)值中，然后從訓(xùn)練樣本提取的二進(jìn)制數(shù) 值中分析得到概率分布。根據(jù)Bayes準(zhǔn)則用后驗(yàn)概率進(jìn)行樣本分類(lèi)。
[0007] Kalal等人將隨機(jī)蕨叢用在動(dòng)態(tài)跟蹤系統(tǒng)P-N學(xué)習(xí)策略中并把它作為分類(lèi)器表現(xiàn) 出很好的效果。但是，使用隨機(jī)蕨叢仍然存在一些潛在的問(wèn)題。首先，每個(gè)像素對(duì)的比較會(huì) 產(chǎn)生一個(gè)bit的特征值，因此內(nèi)存需求量和一個(gè)蕨中的像素對(duì)的數(shù)目呈指數(shù)關(guān)系。其次，每 個(gè)像素對(duì)的比較產(chǎn)生兩個(gè)可能的輸出〇或1，造成其他的信息丟失，因此需要更多的像素對(duì) 來(lái)彌補(bǔ)損失。這兩個(gè)原因造成該方法消耗大量?jī)?nèi)存。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于避免上述已有技術(shù)的不足，提出一種基于隨機(jī)蕨叢和隨機(jī)投影 的在線目標(biāo)跟蹤方法，將隨機(jī)蕨叢和隨機(jī)投影結(jié)合起來(lái)，以在復(fù)雜情況下減小內(nèi)存需求量 和計(jì)算資源的消耗，達(dá)到實(shí)時(shí)有效的跟蹤效果。
[0009] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)關(guān)鍵是將隨機(jī)蕨叢和隨機(jī)映射結(jié)合。在隨機(jī)蕨叢中用實(shí)數(shù) 特征值來(lái)替代二元特征值，使特征值更多的保存兩個(gè)像素之間灰度值差異的信息，也使內(nèi) 存需求量減少。并且，用隨機(jī)投影方法處理實(shí)數(shù)特征值以減少內(nèi)存需求量和計(jì)算資源的消 耗。其技術(shù)步驟包括如：
[0010] (1)將待檢測(cè)圖像中大小為WXh個(gè)像素的圖像塊用特征集F = {fp f2, . . .，fq，. . .，fn}來(lái)表示，其中q = 1，2, . . .，η ;把特征集F分為S個(gè)子集Fi = {4 4，...，4...，心}，其中」_ = 1，2，...^" = 11/5，每個(gè)子集對(duì)應(yīng)一個(gè)蕨，蕨內(nèi)部保 持?jǐn)?shù)據(jù)的相關(guān)性，蕨與蕨之間是相互獨(dú)立的；根據(jù)蕨的劃分將圖像塊特征表示為：F = (F1, F2,. . . , Fi,. . . , Fj ；
[0011] (2)在圖像塊內(nèi)隨機(jī)選取像素對(duì)，通過(guò)像素對(duì)坐標(biāo)位置以及灰度值信息建立特征 值表示函數(shù)：
[0012] fi；J= I (x ^i, j))-I (x2(i, j)),
[0013] 其中，X1Q, j)和x2(i，j)分別表示第i個(gè)蕨中隨機(jī)產(chǎn)生的的第j個(gè)像素對(duì)的第 一個(gè)像素的坐標(biāo)和第二個(gè)像素的坐標(biāo)，I(X 1^j))和I(x2(i，j))分別表示圖像在坐標(biāo) X1 (i，j)和X2 (i，j)處的灰度值，fu表示第i個(gè)蕨中第j個(gè)像素對(duì)的特征值，S表示圖像塊 中蕨的個(gè)數(shù)；
[0014] (3)通過(guò)特征值表示函數(shù)計(jì)算出每個(gè)蕨中的每個(gè)像素對(duì)的特征值；
[0015] (4)用隨機(jī)投影方法對(duì)每個(gè)蕨中的多個(gè)特征值進(jìn)行映射處理，即將每一個(gè)蕨中的 N個(gè)像素對(duì)特征值化成一個(gè)實(shí)數(shù)值Fk:
【主權(quán)項(xiàng)】
1. 一種基于隨機(jī)蕨叢和隨機(jī)投影的在線目標(biāo)跟蹤方法，包括如下步驟： (1) 將待檢測(cè)圖像中大小為WXh個(gè)像素的圖像塊用特征集F = {f\，f2,...，f,，...，fn} 來(lái)表示，其中q = 1，2, . . .，η ;把特征集F分為S個(gè)子集Fi= {f p f2, . . .，fj，. . .，fN}，其中 j = 1，2,. . .，N, N = n/S，每個(gè)子集對(duì)應(yīng)一個(gè)蕨，蕨內(nèi)部保持?jǐn)?shù)據(jù)的相關(guān)性，蕨與蕨之間是相 互獨(dú)立的；根據(jù)蕨的劃分將圖像塊特征表示為：F =的，F(xiàn)2,. . .，F(xiàn)i,. . .，F(xiàn)s}; (2) 在圖像塊內(nèi)隨機(jī)選取像素對(duì)，通過(guò)像素對(duì)坐標(biāo)位置以及灰度值信息建立特征值表 示函數(shù)： fi；J= I (x 1 (i, j))-I (x2(i, j)), 其中，X1 (i，j)和X2 (i，j)分別表示第i個(gè)蕨中隨機(jī)產(chǎn)生的的第j個(gè)像素對(duì)的第一個(gè)像 素的坐標(biāo)和第二個(gè)像素的坐標(biāo)，I (X1Q, j))和I(x2(i，j))分別表示圖像在坐標(biāo)X1 (i，j)和 x2(i，j)處的灰度值，fu表示第i個(gè)蕨中第j個(gè)像素對(duì)的特征值，S表示圖像塊中蕨的個(gè) 數(shù)； (3) 通過(guò)特征值表示函數(shù)計(jì)算出每個(gè)蕨中的每個(gè)像素對(duì)的特征值； (4) 用隨機(jī)投影方法對(duì)每個(gè)蕨中的多個(gè)特征值進(jìn)行映射處理，即將每一個(gè)蕨中的N個(gè) 像素對(duì)特征值化成一個(gè)實(shí)數(shù)值Fk:
其中，表示第k個(gè)蕨的第t個(gè)像素對(duì)的特征值，w t是根據(jù)高斯分布隨機(jī)產(chǎn)生的實(shí)數(shù) 值； (5) 根據(jù)圖像塊中所有蕨經(jīng)映射處理得到的S個(gè)Fk，用半樸素貝葉斯分類(lèi)器得到圖像 塊的隨機(jī)蕨分類(lèi)器：
其中c表示類(lèi)的隨機(jī)變量，H表示圖像的前景和背景的集合，
P(c)是假設(shè)的均勻概率分布，？坑，^...，&)是一個(gè)與類(lèi)別無(wú)關(guān)的數(shù)，p (Fk |c)是被模 擬為高斯分布的類(lèi)條件下的特征值概率，P (c)和p (F1, F2, ...，F(xiàn)s)均為確定的常數(shù)； (6) 將每個(gè)隨機(jī)蕨分類(lèi)器檢測(cè)器，對(duì)下一幀圖像中的圖像塊分類(lèi)，得到目標(biāo)在下一幀的 幾個(gè)位置； (7) 對(duì)視頻序列的首幀通過(guò)手動(dòng)確定目標(biāo)所在位置，用矩形框表示目標(biāo)位置，在矩形 框內(nèi)初始化一些光流點(diǎn)，用中值流跟蹤器跟蹤這些點(diǎn)，在下一幀圖像中獲得目標(biāo)的一個(gè)位 置； (8) 將步驟（6)中檢測(cè)器得到的目標(biāo)位置和步驟（7)中跟蹤器得到的目標(biāo)位置進(jìn)行融 合，確定出最終的目標(biāo)位置； (9) 在最終目標(biāo)位置周?chē)杉瘶颖精@得訓(xùn)練數(shù)據(jù)集，通過(guò)標(biāo)準(zhǔn)隨機(jī)蕨叢方法中的IIR 濾波器在線更新隨機(jī)蕨分類(lèi)器，以對(duì)下一幀待檢測(cè)圖像進(jìn)行檢測(cè)分類(lèi)。
2. 根據(jù)權(quán)利要求1所述的視覺(jué)跟蹤方法，其特征在于步驟（7)所述的用中值流跟蹤器 跟蹤光流點(diǎn)獲得目標(biāo)位置，按如下步驟進(jìn)行： (7a)設(shè)圖像序列A = {It，It+1，. . .，ItJ，1,為t時(shí)刻圖像，X ,為t時(shí)刻特征點(diǎn)， 以\為初始點(diǎn)，采用L-K光流法跟蹤特征點(diǎn)，得到t到t+m時(shí)刻前向跟蹤的軌跡為 IT = ，…，xf+m；[;再以Xt+m為初始點(diǎn)，得到相應(yīng)的 t+m到t時(shí)刻的后向跟蹤軌跡 Γ ，其中其中？ t為后向跟蹤軌跡中第t時(shí)刻特征點(diǎn)，？ t+m= X t+m； (7b)用歐式距離計(jì)算前向和后向兩次跟蹤的誤差值Μ):
(7c)將t+m個(gè)跟蹤點(diǎn)的誤差值⑷從大到小排列，去除前50%的誤差值 FZ?￡(77|/i)的跟蹤點(diǎn)，用余下50%誤差值的跟蹤點(diǎn)估計(jì)目標(biāo)的位置，并用一個(gè)矩形框標(biāo)識(shí) 該目標(biāo)位置。
3. 根據(jù)權(quán)利要求1所述的視覺(jué)跟蹤方法，其特征在于步驟（9)所述的通過(guò)標(biāo)準(zhǔn)隨機(jī)蕨 叢方法中的IIR濾波器更新檢測(cè)器，按如下步驟進(jìn)行： (9a)根據(jù)當(dāng)前幀圖像中所有樣本的第k個(gè)蕨的類(lèi)條件下特征值Fk的平均數(shù)/4和方差 <，對(duì)下一幀待檢測(cè)圖像中的第k個(gè)蕨的A和進(jìn)行加權(quán)參數(shù)更新，即：
其中，λ是學(xué)習(xí)率，和<·"?分別是通過(guò)下一幀待檢測(cè)圖像中訓(xùn)練樣本計(jì)算出來(lái)的 新的平均值和標(biāo)準(zhǔn)差，//1和σ?分別表示加權(quán)更新后的平均值和標(biāo)準(zhǔn)差； (9b)計(jì)算出第k個(gè)蕨的加權(quán)更新后的平均值和方差σ?,得到新的高斯分布函數(shù)； (9c)用新的高斯分布函數(shù)更新隨機(jī)蕨分類(lèi)器。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于隨機(jī)蕨叢和隨機(jī)投影的在線目標(biāo)跟蹤方法。主要解決在線跟蹤方法中計(jì)算量大及跟蹤結(jié)果不準(zhǔn)確的問(wèn)題。其實(shí)現(xiàn)步驟是：首先采用隨機(jī)蕨叢檢測(cè)器檢測(cè)圖像中的目標(biāo)位置；然后利用中值流跟蹤器跟蹤目標(biāo)的大致位置；再用檢測(cè)器和跟蹤器的結(jié)果相互融合得到最終的目標(biāo)位置；最后用IIR濾波器在線更新檢測(cè)器，以對(duì)下一幀待檢測(cè)圖像進(jìn)行檢測(cè)分類(lèi)。本發(fā)明具有跟蹤效率高、跟蹤結(jié)果準(zhǔn)確、內(nèi)存資源和計(jì)算資源消耗少的優(yōu)點(diǎn)，可用于嵌入式系統(tǒng)的視覺(jué)跟蹤中。
【IPC分類(lèi)】G06K9-66
【公開(kāi)號(hào)】CN104680194
【申請(qǐng)?zhí)枴緾N201510112837
【發(fā)明人】劉凱, 張勁, 張勉, 程飛
【申請(qǐng)人】西安電子科技大學(xué)
【公開(kāi)日】2015年6月3日
【申請(qǐng)日】2015年3月15日