本發(fā)明涉及一種視頻目標(biāo)跟蹤方法，具體為一種基于深度玻爾茲曼機(jī)跨模式特征學(xué)習(xí)的RGB-D視頻目標(biāo)跟蹤方法。
背景技術(shù)：
：基于視頻的目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵問題之一，在視頻監(jiān)控，機(jī)器人導(dǎo)航，智能交通、虛擬現(xiàn)實(shí)等領(lǐng)域都有著廣泛的應(yīng)用。國內(nèi)外，很多研究人員做了這方面的研究，并且取得了一些進(jìn)展。現(xiàn)有技術(shù)中的視頻目標(biāo)跟蹤方法主要是在二維圖像序列中實(shí)現(xiàn)目標(biāo)定位，缺少三維信息，因此，會在目標(biāo)發(fā)生遮擋、旋轉(zhuǎn)和姿態(tài)變化時(shí)，出現(xiàn)跟蹤失敗的情形。隨著RGB-D傳感器的推出，我們可以同時(shí)獲得彩色圖像和深度圖像。深度信息可以改善視頻目標(biāo)跟蹤的性能，如何更好的將RGB信息和深度信息有效融合，進(jìn)而來提升視頻目標(biāo)跟蹤的性能是視頻目標(biāo)跟蹤領(lǐng)域的研究重點(diǎn)，以往的相關(guān)技術(shù)普遍存在以下技術(shù)問題：采用人工設(shè)計(jì)的特征作為觀測似然模型，人工設(shè)計(jì)的特征會存在一定的局限性；對RGB模式和Depth模式下的人工設(shè)計(jì)特征分別進(jìn)行運(yùn)算，然后采用加權(quán)等方法對兩種模式下提取的特征進(jìn)行簡單的融合，融合方式忽略了RGB模式和Depth模式之間復(fù)雜的相關(guān)性。技術(shù)實(shí)現(xiàn)要素：本發(fā)明針對以上問題的提出，而研制一種基于深度玻爾茲曼機(jī)跨模式特征學(xué)習(xí)的RGB-D視頻目標(biāo)跟蹤方法。本發(fā)明的技術(shù)手段如下：一種基于深度玻爾茲曼機(jī)跨模式特征學(xué)習(xí)的RGB-D視頻目標(biāo)跟蹤方法，包括如下步驟：步驟1：構(gòu)建基于高斯-伯努利限制玻爾茲曼機(jī)的RGB模式-Depth模式的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)；步驟2：采集大量隨機(jī)RGB-D視頻數(shù)據(jù)集中的無標(biāo)簽樣本；所述RGB-D視頻數(shù)據(jù)集無標(biāo)簽樣本包括無標(biāo)簽RGB圖像樣本和無標(biāo)簽Depth圖像樣本；步驟3：利用所述RGB-D視頻數(shù)據(jù)集中的無標(biāo)簽樣本，對基于高斯-伯努利限制玻爾茲曼機(jī)的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行無監(jiān)督訓(xùn)練，提取樣本的跨模式特征；步驟4：針對具有跟蹤目標(biāo)的RGB-D視頻序列，選取初始m幀中跟蹤目標(biāo)的正負(fù)樣本作為目標(biāo)樣本庫中的初始模板；所述初始模板包括初始m幀中跟蹤目標(biāo)的RGB圖像正負(fù)樣本和Depth圖像正負(fù)樣本；步驟5：將初始m幀中跟蹤目標(biāo)的RGB圖像正負(fù)樣本、Depth圖像正負(fù)樣本分別輸入到訓(xùn)練好的基于高斯-伯努利限制玻爾茲曼機(jī)的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)中，得到目標(biāo)樣本的跨模式特征；步驟6：將目標(biāo)正負(fù)樣本的跨模式特征送入到邏輯回歸分類器，對所述邏輯回歸分類器進(jìn)行有監(jiān)督訓(xùn)練；步驟7：構(gòu)建狀態(tài)轉(zhuǎn)移模型，根據(jù)所構(gòu)建的狀態(tài)轉(zhuǎn)移模型在所述RGB-D視頻序列前一幀視頻的目標(biāo)跟蹤結(jié)果周圍進(jìn)行采樣，得到樣本集，所述樣本集為多個目標(biāo)跟蹤塊；步驟8：將所述樣本輸入到訓(xùn)練好的基于高斯-伯努利限制玻爾茲曼機(jī)的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)中，得到各個樣本的跨模式特征；步驟9：將各樣本的跨模式特征送入到訓(xùn)練好的邏輯回歸分類器，獲得的結(jié)果作為觀測似然模型；步驟10：根據(jù)公式得到所述RGB-D視頻序列第t幀視頻的目標(biāo)跟蹤結(jié)果其中p(Zt|Xt)表示觀測似然模型、p(Xt|Xt-1)表示第t-1幀和第t幀連續(xù)兩幀的狀態(tài)轉(zhuǎn)移模型,后驗(yàn)概率p(Xt|Zt)∝p(Zt|Xt)∫p(Xt|Xt-1)p(Xt-1|Zt-1)dXt-1。進(jìn)一步地，在對目標(biāo)進(jìn)行跟蹤的過程中對目標(biāo)樣本庫進(jìn)行更新，采用跟蹤得到的目標(biāo)跟蹤結(jié)果替換目標(biāo)樣本庫中的初始模板；進(jìn)一步地，所述狀態(tài)轉(zhuǎn)移模型p(Xt|Xt-1)＝N(Xt；Xt-1,Ψ)，其中，Ψ為對角矩陣，該對角矩陣中的元素是目標(biāo)的運(yùn)動仿射變換參數(shù)的方差進(jìn)一步地，所述觀測似然模型為其中，w為邏輯回歸分類器的待優(yōu)化參數(shù)。由于采用了上述技術(shù)方案，本發(fā)明提供的基于深度玻爾茲曼機(jī)跨模式特征學(xué)習(xí)的RGB-D視頻目標(biāo)跟蹤方法，能夠在目標(biāo)之間發(fā)生嚴(yán)重遮擋、旋轉(zhuǎn)、關(guān)照等變化時(shí)，比較穩(wěn)定的跟蹤上運(yùn)動目標(biāo)，具有較高的準(zhǔn)確率和較強(qiáng)的魯棒性。附圖說明圖1是本發(fā)明玻爾茲曼機(jī)的結(jié)構(gòu)示意圖；圖2是本發(fā)明限制玻爾茲曼機(jī)的結(jié)構(gòu)示意圖；圖3是本發(fā)明RGB-D數(shù)據(jù)跨模式特征深度玻爾茲曼機(jī)的示意圖。圖4是本發(fā)明所述視頻目標(biāo)跟蹤方法的流程示意圖；圖5至圖7依次是RGB-D測試視頻face_occ2、express2_occ、bear_change的平均中心定位誤差結(jié)果對比圖。具體實(shí)施方式一種基于深度玻爾茲曼機(jī)跨模式特征學(xué)習(xí)的RGB-D視頻目標(biāo)跟蹤方法，包括如下步驟：步驟1：構(gòu)建基于高斯-伯努利限制玻爾茲曼機(jī)的RGB模式-Depth模式的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)；步驟2：采集大量隨機(jī)RGB-D視頻數(shù)據(jù)集中的無標(biāo)簽樣本；所述RGB-D視頻數(shù)據(jù)集無標(biāo)簽樣本包括無標(biāo)簽RGB圖像樣本和無標(biāo)簽Depth圖像樣本；步驟3：利用所述RGB-D視頻數(shù)據(jù)集中的無標(biāo)簽樣本，對基于高斯-伯努利限制玻爾茲曼機(jī)的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行無監(jiān)督訓(xùn)練，提取樣本的跨模式特征；步驟4：針對具有跟蹤目標(biāo)的RGB-D視頻序列，選取初始m幀中跟蹤目標(biāo)的正負(fù)樣本作為目標(biāo)樣本庫中的初始模板；所述初始模板包括初始m幀中跟蹤目標(biāo)的RGB圖像正負(fù)樣本和Depth圖像正負(fù)樣本；步驟5：將初始m幀中跟蹤目標(biāo)的RGB圖像正負(fù)樣本、Depth圖像正負(fù)樣本分別輸入到訓(xùn)練好的基于高斯-伯努利限制玻爾茲曼機(jī)的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)中，得到目標(biāo)樣本的跨模式特征；步驟6：將目標(biāo)正負(fù)樣本的跨模式特征送入到邏輯回歸分類器，對所述邏輯回歸分類器進(jìn)行有監(jiān)督訓(xùn)練；步驟7：構(gòu)建狀態(tài)轉(zhuǎn)移模型，根據(jù)所構(gòu)建的狀態(tài)轉(zhuǎn)移模型在所述RGB-D視頻序列前一幀視頻的目標(biāo)跟蹤結(jié)果周圍進(jìn)行采樣，得到樣本集，所述樣本集為多個目標(biāo)跟蹤塊；步驟8：將所述樣本輸入到訓(xùn)練好的基于高斯-伯努利限制玻爾茲曼機(jī)的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)中，得到各個樣本的跨模式特征；步驟9：將各樣本的跨模式特征送入到訓(xùn)練好的邏輯回歸分類器，獲得的結(jié)果作為觀測似然模型；步驟10：根據(jù)公式得到所述RGB-D視頻序列第t幀視頻的目標(biāo)跟蹤結(jié)果其中p(Zt|Xt)表示觀測似然模型、p(Xt|Xt-1)表示第t-1幀和第t幀連續(xù)兩幀的狀態(tài)轉(zhuǎn)移模型,后驗(yàn)概率p(Xt|Zt)∝p(Zt|Xt)∫p(Xt|Xt-1)p(Xt-1|Zt-1)dXt-1。進(jìn)一步地，在對目標(biāo)進(jìn)行跟蹤的過程中對目標(biāo)樣本庫進(jìn)行更新，采用跟蹤得到的目標(biāo)跟蹤結(jié)果替換目標(biāo)樣本庫中的初始模板；進(jìn)一步地，所述狀態(tài)轉(zhuǎn)移模型p(Xt|Xt-1)＝N(Xt；Xt-1,Ψ)，其中，Ψ為對角矩陣，該對角矩陣中的元素是目標(biāo)的運(yùn)動仿射變換參數(shù)的方差進(jìn)一步地，所述觀測似然模型為其中，w為邏輯回歸分類器的待優(yōu)化參數(shù)。玻爾茲曼機(jī)(BoltzmannMachines，BM)于1983年由Hinton和Sejnowski提出，是一種由隨機(jī)神經(jīng)元全連接組成的反饋神經(jīng)網(wǎng)絡(luò)，神經(jīng)元之間的連接是對稱的，且無自反饋，神經(jīng)元的輸出只有兩種狀態(tài)(未激活和激活狀態(tài))，用二進(jìn)制的0和1表示。圖1示出了玻爾茲曼機(jī)的結(jié)構(gòu)，如圖1所示，玻爾茲曼機(jī)的神經(jīng)元包含可見單元v∈{0,1}D和隱藏單元h∈{0,1}F，可見單元和隱藏單元分別由可見節(jié)點(diǎn)和隱藏節(jié)點(diǎn)組成，D，F(xiàn)分別為可見節(jié)點(diǎn)和隱層節(jié)點(diǎn)的數(shù)量。可見單元v∈{0,1}D表示可觀察的數(shù)據(jù)，隱藏單元h∈{0,1}F表示從數(shù)據(jù)中提取的特征?？梢妼庸?jié)點(diǎn)和隱藏層節(jié)點(diǎn)(v,h)之間的能量函數(shù)定義為：E(v,h;θ)=-12v′Lv-12h′Jh-v′Wh-v′B-h′A---(1)]]>式中，θ＝{W,L,J,B,A}是模型參數(shù)，W,L,J表示可見層到隱藏層，可見層到可見層和隱藏層到隱藏層的對稱連接權(quán)，L和J的對角線元素為0，B和A分別是可見層節(jié)點(diǎn)和隱藏層節(jié)點(diǎn)的閾值。玻爾茲曼機(jī)學(xué)習(xí)的目的是得到各個神經(jīng)元之間的連接權(quán)，找到系統(tǒng)的最小全局能量結(jié)構(gòu)。將能量函數(shù)指數(shù)化并且正則化，可以得到可見單元v和隱藏單元h狀態(tài)均為1的聯(lián)合概率分布：P(v,h;θ)=P*(v,h;θ)Z(θ)=1Z(θ)exp(-E(v,h;θ))---(2)]]>式中，P*表示非歸一化概率，表示配分函數(shù)，是歸一化項(xiàng)玻爾茲曼機(jī)具有很強(qiáng)大的無監(jiān)督學(xué)習(xí)能力，能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則，但是學(xué)習(xí)的時(shí)間很長，于是，引入限制玻爾茲曼機(jī)。令L＝0和J＝0，即：限制玻爾茲曼機(jī)可見層和隱藏層層內(nèi)的節(jié)點(diǎn)之間沒有鏈接，只有可見層和隱藏層之間的節(jié)點(diǎn)有連接權(quán)，在很大程度上提高了深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練效率。圖2示出了限制玻爾茲曼機(jī)的示意圖，如圖2所示，限制玻爾茲曼機(jī)可見層節(jié)點(diǎn)和隱藏層節(jié)點(diǎn)(v,h)之間的能量函數(shù)為：E(v,h；θ)＝-v′Wh-v′B-h′A(3)可見單元v和隱藏單元h狀態(tài)均為1的聯(lián)合概率分布為：P(v,h;θ)=1Z(θ)exp(-E(v,h;θ))--(4)]]>同樣，式中表示配分函數(shù)，是歸一化項(xiàng)。當(dāng)輸入信號為實(shí)值圖像，限制玻爾茲曼機(jī)模型中的可見層節(jié)點(diǎn)為實(shí)數(shù)隱藏層節(jié)點(diǎn)h∈{0,1}F為二元隨機(jī)數(shù)時(shí)，原有模型失效。于是定義高斯－伯努利受限玻爾茲曼機(jī)(Gaussian-BernoulliRBM,GRBM)模型，其能量函數(shù)為：E(v,h;θ)=Σi=1D(vi-bi)22σi2-Σi=1DΣj=1FviσiWijhj-Σj=1Fajhj---(5)]]>式中，θ＝{a,b,W,σ}為模型參數(shù)。通過對國內(nèi)外已有的基于RGB-D數(shù)據(jù)的目標(biāo)跟蹤方法的深入研究和總結(jié)，我們發(fā)現(xiàn)現(xiàn)有文獻(xiàn)均是在RGB信息和深度信息兩種模式下獨(dú)立的對目標(biāo)的特征分別進(jìn)行運(yùn)算，然后采用加權(quán)等方法將兩種模式下的特征進(jìn)行簡單的融合，這樣的特征融合方式忽略了兩種模式之間復(fù)雜的相關(guān)性，所得到的特征對目標(biāo)跟蹤性能的提高不夠顯著。本發(fā)明利用基于高斯-伯努利限制玻爾茲曼機(jī)的RGB模式-Depth模式的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)提取目標(biāo)RGB模式-Depth模式下的跨模式特征，圖3是本發(fā)明跨模式特征深度學(xué)習(xí)的過程示意圖，如圖3所示，在兩種模式(RGB模式、Depth模式)分別建立深度學(xué)習(xí)網(wǎng)絡(luò)，如圖3(a)和3(b)所示，在兩種模式的第二隱藏層上增加一個跨模式聯(lián)合表達(dá)的隱藏層，如圖3(c)所示，通過逐層學(xué)習(xí)來獲得RGB-D數(shù)據(jù)的跨模式特征所述跨模式聯(lián)合表達(dá)的隱藏層與前述第二隱藏層一樣，但其輸入信號是RGB模式所對應(yīng)的高斯-伯努利限制玻爾茲曼機(jī)的第二隱藏層的輸出、以及Depth模式所對應(yīng)的高斯-伯努利限制玻爾茲曼機(jī)的輸出，圖3示出了跨模式特征深度學(xué)習(xí)的示意圖。具體構(gòu)建過程如下:深度玻爾茲曼機(jī)是一種具有對稱耦合隨機(jī)二值單元的網(wǎng)絡(luò)，與僅有一個隱藏層的RBM不同，深度玻爾茲曼機(jī)包含一系列的可視單元v∈{0,1}D和多個隱藏層單元本文通過構(gòu)建RGB和Depth的跨模式深度玻爾茲曼機(jī)來提取RGB-D數(shù)據(jù)的跨模式特征，首先，建立帶有兩個隱藏層的提取RGB序列特征的高斯-伯努利深度玻爾茲曼機(jī)，如圖3(a)所示，令表示可見單元，此處為實(shí)值RGB圖像輸入，令和表示兩個隱藏層的隱藏單元，基于RGB的兩層高斯-伯努利深度玻爾茲曼機(jī)的能量函數(shù)為：E(vRGB,h(1RGB),h(2RGB);θRGB)=Σi=1D(vi(RGB)-bi(RGB))22σi(RGB)2-Σi=1DΣj=1F1RGBvi(RGB)σi(RGB)Wij(1RGB)hj(1RGB)-Σj=1F1RGBΣl=1F2RGBWjl(2RGB)hj(1RGB)hl(2RGB)-Σj=1F1RGBaj(1RGB)hj(1RGB)-Σl=1F2RGBal(2RGB)hl(2RGB)---(6)]]>式中，是高斯模型的標(biāo)準(zhǔn)差，θRGB是深度玻爾茲曼機(jī)的模型參數(shù)向量?；赗GB的兩層高斯-伯努利深度玻爾茲曼機(jī)聯(lián)合概率分布為：P(vRGB,h(1RGB),h(2RGB);θRGB)=1Z(θRGB)Σh(1RGB)(2RGB)exp(-E(vRGB,h(1RGB),h(2RGB);θRGB))---(7)]]>同理，令表示可見單元，即實(shí)值深度圖像輸入，令和表示兩個隱藏層的隱藏單元，同樣可以構(gòu)建帶有兩個隱藏層的提取RGB序列特征的高斯-伯努利深度玻爾茲曼機(jī)，如圖3(b)所示，它的能量方程和聯(lián)合概率分布分別為：E(vDepth,h(1Depth),h(2Depth);θDepth)=Σi=1D(vi(Depth)-bi(Depth))22σi(Depth)2-Σi=1DΣj=1F1Depthvi(Depth)σi(Depth)Wij(1Depth)hj(1Depth)-Σj=1F1DepthΣl=1F2DepthWjl(2Depth)hj(1Depth)hl(2Depth)-Σj=1F1Depthaj(1Depth)hj(1Depth)-Σl=1F2Depthal(2Depth)hl(2Depth)---(8)]]>P(vDepth,h(1Depth),h(2Depth);θDepth)=1Z(θDepth)Σh(1Depth)(2Depth)exp(-E(vDepth,h(1Depth),h(2Depth);θDepth))---(9)]]>本文利用深度玻爾茲曼機(jī)提取RGB和Depth兩種模式下的目標(biāo)特征，在兩種模式的第二隱藏層上增加一個跨模式聯(lián)合表達(dá)的隱藏層，構(gòu)建一個具有三個隱藏層的RGB和Depth跨模式的高斯-伯努利深度玻爾茲曼機(jī)，通過逐層學(xué)習(xí)來獲得RGB-D數(shù)據(jù)跨模式特征跨模式特征的高斯-伯努利深度玻爾茲曼機(jī)示意圖如圖3(c)所示。令{vRGB,vDepth}表示實(shí)值高斯變量，{h(1RGB),h(2RGB),h(1Depth),h(2Depth),h(3)}表示三個隱藏層的隱藏單元，則跨模式高斯-伯努利深度玻爾茲曼機(jī)聯(lián)合概率分布和能量方程分別為：P(vRGB,vDepth;θ)=Σh(2RGB),h(2Depth),h(3)P(h(2RGB),h(2Depth),h(3))(Σh(1RGB)P(vRGB,h(1RGB),h(2RGB))(Σh(1Depth)P(vDepth,h(1Depth),h(2Depth)))=1Z(θ)Σhexp(-Σi(viRGB)22σi2)+Σijvi(RGB)σiWij(1RGB)hj(1RGB)+ΣjlWjl(2RGB)hj(2RGB)hl(2RGB)-(-Σi(viDepth)22σi2)+Σijvi(Depth)σiWij(1Depth)hj(1Depth)+ΣjlWjl(2Depth)hj(1Depth)hl(2Depth)+ΣlpW(3RGB)hl(2RGB)hp(3)+ΣlpW(3Depth)hl(2Depth)hp(3)---(10)]]>E(v,h;θ)=Σi=1D(vi(RGB)-bi(RGB))22σi(RGB)2-Σi=1DΣj=1F1RGBvi(RGB)σi(RGB)Wij(1RGB)hj(1RGB)-Σj=1F1RGBΣl=1F2RGBhj(1RGB)Wjl(2RGB)hl(2RGB)+Σl=1F2RGBΣp=1F3RGBhj(2RGB)Wlp(3RGB)hp(3RGB)-Σj=1F1RGBaj(1RGB)hj(RGB)-Σl=1F2RGBal(2RGB)hl(2RGB)+Σi=1K(vi(Depth)-bi(Depth))22σi(Depth)2-Σi=1KΣj=1F1Depthvi(Depth)σi(Depth)Wij(1Depth)hj(1Depth)-Σj=1F1DepthΣl=1F2Depthhj(1Depth)Wjl(2Depth)hl(2Depth)-Σl=1F2DepthΣp=1F3Depthhj(2Depth)Wlp(3Depth)hp(3Depth)-Σj=1F1Depthaj(1Depth)hj(1Depth)-Σl=1F2Depthal(2Depth)hl(2Depth)-Σp=1F3ap(3)hp(3)---(11)]]>RGB-Depth跨模式特征的高斯-伯努利深度玻爾茲曼機(jī)的學(xué)習(xí)任務(wù)就是計(jì)算公式(11)的最大似然概率，得到相應(yīng)的模型參數(shù)，但是獲得公式(11)準(zhǔn)確的最大似然概率是十分困難的，可以利用平均場推斷和基于隨機(jī)近似的MCMC來實(shí)現(xiàn)隨機(jī)近似學(xué)習(xí)。本發(fā)明所述視頻目標(biāo)跟蹤方法基于貝葉斯最大后驗(yàn)概率，所述貝葉斯最大后驗(yàn)概率可以看做是隱馬爾科夫模型中隱藏狀態(tài)變量的貝葉斯最大后驗(yàn)概率估計(jì)的問題。即：在第t幀得到一系列的觀測圖像Yt＝{y1，y2，…，yt}，利用貝葉斯MAP理論估計(jì)隱藏狀態(tài)變量xt。由貝葉斯理論可知：p(xt|Yt)∝p(yt|xt)∫p(xt|xt-1)p(xt-1|Yt-1)dxt-1(12)式中，p(xt|xt-1)表示連續(xù)兩幀的狀態(tài)轉(zhuǎn)移模型，p(yt|xt)表示觀測似然模型。第t幀目標(biāo)的最佳狀態(tài)值可以通過最大后驗(yàn)概率估計(jì)得到，即：式中，代表第t幀的狀態(tài)變量xt的第l個樣本。為了不失一般性，本發(fā)明假設(shè)狀態(tài)轉(zhuǎn)移模型服從正態(tài)分布，即：p(Xt|Xt-1)＝N(Xt；Xt-1,Ψ)(14)式中，Ψ為對角矩陣，其中的元素是目標(biāo)的運(yùn)動仿射變換參數(shù)的方差觀測似然模型可以分為判別式模型(Discriminativemodel)和生成式模型(Generativemodel)兩大類：本發(fā)明采用其中的判別式模型，利用邏輯回歸(LogisticRegression)分類器對樣本特征進(jìn)行分類，在完成對跟蹤目標(biāo)正負(fù)樣本的RGB-D跨模式特征提取后，將跨模式特征輸入到邏輯回歸分類器中，獲得置信分?jǐn)?shù)(ConfidenceScore)；邏輯回歸分類器的原理具體如下：設(shè)第i個訓(xùn)練樣本的跨模式特征表達(dá)為第i個訓(xùn)練樣本的標(biāo)簽為yi∈{-1,+1}，則正樣本集合為正樣本對應(yīng)的標(biāo)簽為同樣，負(fù)樣本集合為負(fù)樣本對應(yīng)的標(biāo)簽為邏輯回歸分類器可以通過最小化代價(jià)函數(shù)來對其進(jìn)行訓(xùn)練，即min±w[C+Σi+=1D+log(1+eyi+±wT±hi+(3))+C-Σi-=1D-log(1+eyi-±wT±hi-(3))]---(15)]]>式中，分別是正負(fù)兩類邏輯代價(jià)的權(quán)重參數(shù)、w為邏輯回歸分類器的待優(yōu)化參數(shù)、wT為w的轉(zhuǎn)置、D+表示正樣本的個數(shù)、D-表示負(fù)樣本的個數(shù)；本發(fā)明將上述置信分?jǐn)?shù)作為觀測似然模型p(Zt|Xti)=11+e-(±wT±zi)---(16)]]>式中，zi表示一個目標(biāo)候選的觀測；本發(fā)明首先構(gòu)建構(gòu)建基于高斯-伯努利限制玻爾茲曼機(jī)的RGB模式-Depth模式的跨模式特征深度學(xué)習(xí)網(wǎng)絡(luò)，利用該網(wǎng)絡(luò)提取提取RGB-D視頻數(shù)據(jù)中樣本的跨模式特征；然后將樣本的跨模式特征輸入到邏輯回歸分類器中，得到邏輯回歸分類器的結(jié)果作為貝葉斯算法的觀測似然模型，同時(shí)構(gòu)建合理的狀態(tài)轉(zhuǎn)移模型；最后通過貝葉斯算法來實(shí)現(xiàn)RGB-D視頻數(shù)據(jù)中的目標(biāo)跟蹤；下面通過具體的實(shí)驗(yàn)過程來對本發(fā)明所述視頻目標(biāo)跟蹤方法作進(jìn)一步說明：本發(fā)明所述視頻目標(biāo)跟蹤方法的實(shí)現(xiàn)基于Windows10操作系統(tǒng)，采用MATLABR2014a作為軟件平臺，計(jì)算機(jī)配置為3.40GHz的CPU和TITANGPU；采用Kinect在不同環(huán)境下拍攝的100組公共測試視頻數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，鑒于篇幅下面只列舉其中3組測試視頻的目標(biāo)跟蹤結(jié)果。為了評估本發(fā)明的性能，選用現(xiàn)有技術(shù)中的6種目前比較具有代表性的目標(biāo)跟蹤方法進(jìn)行實(shí)驗(yàn)結(jié)果的對比，其中，6種典型算法分別為：TLDTracker、StruckTracker、CTTracker、VTDTracker、MILTracker、RGB-DTracker和DAETracker。其中DAETracker是選用深度去噪自編碼器(DenoisingAuto-Encoder，DAE)進(jìn)行跨模式特征學(xué)習(xí)的視頻目標(biāo)跟蹤方法；本發(fā)明采用兩個評價(jià)標(biāo)準(zhǔn)來評估各個跟蹤算法的性能，具體為平均中心定位誤差(AverageCenterPositionErrors，ACPE)和成功率(SuccessRate)；其中，中心定位誤差的定義為跟蹤框中心與真實(shí)目標(biāo)中心之間的歐式距離，成功率的定義為：其中，Bobject是目標(biāo)跟蹤的矩形框、Bground是真實(shí)的目標(biāo)框、成功率大于0.5則表示跟蹤成功；圖5至圖7依次示出了RGB-D測試視頻face_occ2、express2_occ、bear_change的平均中心定位誤差結(jié)果對比圖，如圖5、圖6和圖7所示，本發(fā)明所述視頻目標(biāo)跟蹤方法具有相對較低的平均中心定位誤差和相對較高的準(zhǔn)確性，為了說明本發(fā)明應(yīng)用在100組公共測試數(shù)據(jù)上的整體性能，進(jìn)一步地選用成功率作為跟蹤算法的評價(jià)標(biāo)準(zhǔn)，各個算法的成功率對比結(jié)果參見表1。本發(fā)明利用稀疏去噪自編碼深度學(xué)習(xí)網(wǎng)絡(luò)提取RGB-D視頻數(shù)據(jù)中樣本的跨模式特征，該特征可以描述兩種模式(RGB模式，Depth模式)之間復(fù)雜的相關(guān)性，將跨模式特征輸入到邏輯回歸分類器中，得到的結(jié)果作為貝葉斯算法的觀測似然模型，通過貝葉斯算法來實(shí)現(xiàn)RGB-D視頻數(shù)據(jù)中的目標(biāo)跟蹤；實(shí)驗(yàn)結(jié)果表明，本發(fā)明所述視頻目標(biāo)跟蹤方法能夠在目標(biāo)之間發(fā)生嚴(yán)重遮擋、旋轉(zhuǎn)、關(guān)照等變化時(shí)，比較穩(wěn)定的跟蹤上運(yùn)動目標(biāo)，具有較高的準(zhǔn)確率和較強(qiáng)的魯棒性。以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本
技術(shù)領(lǐng)域：
的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁1 2 3