基于多核融合的視頻中目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別是一種基于多核融合的視頻中目標(biāo)跟蹤方法。
【背景技術(shù)】
[0002] 目標(biāo)跟蹤的主要任務(wù)是從視頻序列中對(duì)目標(biāo)狀態(tài)進(jìn)行估計(jì)。它在實(shí)際生活中的很 多領(lǐng)域，如：智能視頻監(jiān)控、智能交通控制、無人機(jī)駕駛與導(dǎo)航、體感人機(jī)交互以及機(jī)器人控 制等，有著重要的應(yīng)用前景和潛在的商業(yè)價(jià)值。同時(shí)，目標(biāo)跟蹤在軍事國防領(lǐng)域，如：智能安 防、反恐等方面也有著重要的應(yīng)用前景。
[0003] 目標(biāo)跟蹤的主要難點(diǎn)集中在如下幾個(gè)方面。第一個(gè)問題是光照，主要包括光照不 穩(wěn)定（隨場景變化）、光強(qiáng)過高或過低和陰影等難點(diǎn)。第二個(gè)問題是姿態(tài)變化，主要有大尺 度縮放、大角度旋轉(zhuǎn)以及非剛體運(yùn)動(dòng)等難點(diǎn)。第三個(gè)問題是背景干擾，主要包括背景的復(fù)雜 多變以及背景與目標(biāo)的相似。第四個(gè)問題是遮擋。為了處理上述難點(diǎn)，國內(nèi)外研究者提出 了非常多算法。近年來，基于分類或檢測的跟蹤算法因其能有效地處理上述難點(diǎn)而備受關(guān) 注。在所有基于分類的目標(biāo)跟蹤算法中，基于在線支持向量機(jī)（Online SVM)的目標(biāo)跟蹤算 法是最經(jīng)典算法之一。
[0004] 在目標(biāo)跟蹤中，很難得到某種通用的特征能處理上述所有的難點(diǎn)。例如，RGB顏色 特征對(duì)光照或相似背景相對(duì)敏感；邊緣特征通常容易受復(fù)雜的背景的干擾。因此，在目標(biāo)跟 蹤中使用多特征，并且自適應(yīng)地融合多特征使之能互相彌補(bǔ)非常重要。

【發(fā)明內(nèi)容】

[0005] (一）要解決的技術(shù)問題
[0006] 本發(fā)明的目的在于，提供一種基于多核融合的視頻中目標(biāo)跟蹤方法，有效地使用 多特征融合策略解決目標(biāo)跟蹤中的主要難題。
[0007] (二）技術(shù)方案
[0008] 本發(fā)明提供一種基于多核融合的視頻中目標(biāo)跟蹤方法，包括：
[0009] 步驟S1，在視頻的初始幀，根據(jù)目標(biāo)初始狀態(tài)，初始化所有粒子；
[0010] 步驟S2,通過改變目標(biāo)狀態(tài)，獲得正樣本，通過在目標(biāo)周圍進(jìn)行隨機(jī)采樣，獲得負(fù) 樣本；
[0011] 步驟S3,采用正樣本和負(fù)樣本訓(xùn)練支持向量機(jī)；
[0012] 步驟S4,在視頻的隨后幀，以支持向量機(jī)的分類結(jié)果為觀測模型，通過粒子濾波來 跟蹤目標(biāo)。
[0013] (三）有益效果
[0014] 本發(fā)明通過使用理想核指導(dǎo)的多核學(xué)習(xí)方法，自適應(yīng)地將多特征融合起來用于目 標(biāo)跟蹤，多特征融合能有效地處理目標(biāo)跟蹤中光照、姿態(tài)變化以及背景復(fù)雜等難點(diǎn)；同時(shí)， 本發(fā)明使用在線SVM分類作為跟蹤方法，能有效地處理背景與目標(biāo)相似的難點(diǎn)。
【附圖說明】
[0015] 圖1是本發(fā)明實(shí)施例提供的基于理想核指導(dǎo)的多核融合目標(biāo)跟蹤方法的流程圖；
[0016] 圖2是本發(fā)明實(shí)施例提供的SVM訓(xùn)練的流程圖；
[0017] 圖3是本發(fā)明實(shí)施例提供的粒子濾波跟蹤的流程圖；
[0018] 圖4是本發(fā)明實(shí)施例提供的正負(fù)樣本獲取的示意圖；
[0019] 圖5是本發(fā)明實(shí)施例提供的跟蹤效果對(duì)比的示意圖。
【具體實(shí)施方式】
[0020] 本發(fā)明提供一種基于多核融合的視頻中目標(biāo)跟蹤方法，在視頻初始幀，通過手工 標(biāo)注目標(biāo)的初始狀態(tài)，生成粒子的初始狀態(tài)以及權(quán)重，通過正負(fù)樣本訓(xùn)練基于多核融合后 的核的SVM，在隨后幀，利用粒子濾波跟蹤目標(biāo)；其中，每個(gè)粒子的觀測由分類結(jié)果定義，在 得到目標(biāo)的最終估計(jì)位置后，每隔一定幀，獲得正負(fù)樣本并替換部分非支持向量的樣本。
[0021] 根據(jù)本發(fā)明的一種實(shí)施方式，目標(biāo)跟蹤方法具體包括：
[0022] 步驟S1，在視頻的初始幀，根據(jù)目標(biāo)初始狀態(tài)，初始化所有粒子；
[0023] 步驟S2,通過微小地改變目標(biāo)狀態(tài)，獲得正樣本，通過在目標(biāo)周圍進(jìn)行隨機(jī)采樣， 獲得負(fù)樣本，其中，正樣本是指跟蹤目標(biāo)樣本，負(fù)樣本是指目標(biāo)附近的背景樣本，正負(fù)樣本 的數(shù)量可根據(jù)實(shí)際需要來設(shè)定；
[0024] 步驟S3,采用正樣本和負(fù)樣本訓(xùn)練支持向量機(jī)；
[0025] 步驟S4,在視頻的隨后幀，以支持向量機(jī)的分類結(jié)果為觀測模型，通過粒子濾波來 跟蹤目標(biāo)。
[0026] 根據(jù)本發(fā)明的一種實(shí)施方式，在步驟Sl中，目標(biāo)初始狀態(tài)s定義如下：
[0027] s = [x, y, h, w],
[0028] 其中，x表示目標(biāo)的中心位置的橫坐標(biāo)，y表示目標(biāo)的中心位置的縱坐標(biāo)，h表示目 標(biāo)的高度，w表示目標(biāo)的寬度，X，y，h，w的單位均為像素；
[0029] 所有粒子在初始化后的初始狀態(tài)及其對(duì)應(yīng)的權(quán)重定義如下：
[0031] 其中，S0表示第i個(gè)粒子的狀態(tài)，N表示粒子的個(gè)數(shù)（一般可設(shè)定為600)。
[0032] 根據(jù)本發(fā)明的一種實(shí)施方式，步驟S3包括：
[0033] 步驟S31，對(duì)每一個(gè)樣本提取多個(gè)特征，針對(duì)每個(gè)特征，計(jì)算核矩陣；
[0034] 步驟S32,構(gòu)造理想核矩陣，并利用理想核矩陣進(jìn)行多核融合；
[0035] 步驟S33,利用融合后的矩陣，進(jìn)行支持向量機(jī)訓(xùn)練。
[0036] 根據(jù)本發(fā)明的一種實(shí)施方式，多個(gè)特征包括RGB顏色特征、梯度方向特征及HUE顏 色特征，其對(duì)應(yīng)的核矩陣為：

[0041] 其中，&為RGB顏色特征對(duì)應(yīng)的核矩陣，K2為梯度方向特征對(duì)應(yīng)的核矩陣，K 3為 HUE顏色特征對(duì)應(yīng)的核矩陣，民和Hk分別表示第j和k個(gè)樣本的特征直方圖，B表示直方圖 的總Bin數(shù)，Rnxn表示nXn的矩陣，η為樣本數(shù)量。
[0042] 根據(jù)本發(fā)明的一種實(shí)施方式，理想核矩陣Kldeal的表達(dá)式為：
[0044] 根據(jù)本發(fā)明的一種實(shí)施方式，多核融合的定義如下：
[0046] 其中，K_b表示融合后的核矩陣，β i表示非負(fù)組合系數(shù)，非負(fù)組合系數(shù)β i通過優(yōu) 化多核融合目標(biāo)得到，其目標(biāo)函數(shù)定義如下：
[0049] 其中，λ表示加權(quán)系數(shù)，在本實(shí)施例中λ = 〇. 01，#為均勻加權(quán)系數(shù)，在本實(shí)施 例中萬二[I / 3,1 / 3,1 / 3]，K1為第i個(gè)特征對(duì)應(yīng)的核矩陣。
[0050] 根據(jù)本發(fā)明的一種實(shí)施方式，訓(xùn)練所述支持向量機(jī)的目標(biāo)函數(shù)為：
[0053] a ^ C, i = I, 2, . . . ,n
[0054] 其中，a種α廣示對(duì)偶變量，C為正則化參數(shù)，y滿y』分別為第i個(gè)和j個(gè)粒 子的標(biāo)簽（標(biāo)簽取1或者〇)。
[0055] 根據(jù)本發(fā)明的一種實(shí)施方式，支持向量機(jī)f的定義如下：
[0057] 其中，K(i,)表不樣本與第i個(gè)樣本形成的核，b表不分類器的偏置項(xiàng)。
[0058] 根據(jù)本發(fā)明的一種實(shí)施方式，步驟S4包括：
[0059] 步驟S41，對(duì)所述粒子進(jìn)行狀態(tài)轉(zhuǎn)移；
[0060] 步驟S42,基于所述支持向量機(jī)的分類結(jié)果，將所述粒子的權(quán)重更新；
[0061] 步驟S43,根據(jù)新的權(quán)重計(jì)算目標(biāo)的位置；
[0062] 步驟S44,根據(jù)新的權(quán)重，重采樣得到新粒子。
[0063] 根據(jù)本發(fā)明的一種實(shí)施方式，采用狀態(tài)轉(zhuǎn)移函數(shù)對(duì)所述粒子進(jìn)行狀態(tài)轉(zhuǎn)移，所述 狀態(tài)轉(zhuǎn)移函數(shù)P定義如下：
[0065] 其中，GauDist (·)表示以S丨_丨為均值、Σ為協(xié)方差的高斯隨機(jī)函數(shù)，Sh表示第t-1 時(shí)刻第i個(gè)粒子的狀態(tài)。
[0066] 根據(jù)本發(fā)明的一種實(shí)施方式，粒子的權(quán)重更新的定義如下：
[0068] 其中，表示第t-Ι時(shí)刻第i個(gè)粒子的權(quán)重，f為SVM分類器的輸出結(jié)果，仁表 示第t幀圖像，A和B是系數(shù)。
[0069] 根據(jù)本發(fā)明的一種實(shí)施方式，目標(biāo)位置計(jì)算表達(dá)式為：
[0071 ] 其中，<和％分別表示第t時(shí)刻第i個(gè)粒子的狀態(tài)和權(quán)重。
[0072] 根據(jù)本發(fā)明的一種實(shí)施方式，在隨后幀中進(jìn)行目標(biāo)跟蹤時(shí)，通過替換非支持向量 的樣本來對(duì)所述樣本進(jìn)行更新。
[0073] 本發(fā)明通過使用理想核指導(dǎo)的多核學(xué)習(xí)方法，自適應(yīng)地將多特征融合起來用于目 標(biāo)跟蹤，多特征融合能有效地處理目標(biāo)跟蹤中光照、姿態(tài)變化以及背景復(fù)雜等難點(diǎn)；同時(shí)， 本發(fā)明使用在線SVM分類作為跟蹤方法，能有效地處理背景與目標(biāo)相似的難點(diǎn)。
[0074] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。
[0075] 圖1是本發(fā)明實(shí)施例提供的基于理想核指導(dǎo)的多核融合目標(biāo)跟蹤方法的流程圖， 如圖1所示，方法包括：
[0076] 步驟Sl，在視頻的初始幀，根據(jù)目標(biāo)初始狀態(tài)，初始化所有粒子。其中，目標(biāo)初始狀 態(tài)s定義如下：
[0077] s = [x, y, h, w],
[0078] 其中，x表示目標(biāo)的中心位置的橫坐標(biāo)，y表示目標(biāo)的中心位置的縱坐標(biāo)，h表示目 標(biāo)的高度，W表示目標(biāo)的寬度，X，y，h，W的單位均為像