一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法
【專利摘要】本發(fā)明公開了一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法。多目標(biāo)跟蹤是指在攝像機(jī)捕獲的畫面中對(duì)感興趣的多個(gè)目標(biāo)不斷的跟蹤?，F(xiàn)有的多行人跟蹤方法在當(dāng)目標(biāo)被完全遮擋或者從視野中消失極易導(dǎo)致跟蹤失敗。本發(fā)明方法將多目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為尋找?guī)g檢測(cè)到的目標(biāo)之間對(duì)應(yīng)關(guān)系問(wèn)題，在目標(biāo)消失再現(xiàn)后，采用基于深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)有效的軌跡恢復(fù)，改善長(zhǎng)距離跟蹤效果。本發(fā)明具有較好的魯棒性，非常適合應(yīng)用在安防監(jiān)控領(lǐng)域，對(duì)協(xié)助公共場(chǎng)所的維護(hù)治安有非常大的實(shí)際價(jià)值。
【專利說(shuō)明】
一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理和模式識(shí)別領(lǐng)域，涉及一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的 多目標(biāo)跟蹤方法。
【背景技術(shù)】
[0002] 隨著機(jī)器視覺(jué)理論與技術(shù)以及計(jì)算機(jī)硬件的發(fā)展，對(duì)圖像內(nèi)容進(jìn)行識(shí)別與理解成 為研究的熱點(diǎn)，擁有廣闊的應(yīng)用市場(chǎng)。尤其在安防監(jiān)控、智能交通、自動(dòng)駕駛等領(lǐng)域，對(duì)多目 標(biāo)跟蹤的需求日益增強(qiáng)。同時(shí)，多目標(biāo)跟蹤作為眾多計(jì)算機(jī)視覺(jué)的底層技術(shù)，該技術(shù)的發(fā)展 也會(huì)對(duì)計(jì)算機(jī)視覺(jué)的其他分支產(chǎn)生極大的影響和促進(jìn)。
[0003] 多目標(biāo)跟蹤就是在視頻序列中持續(xù)不斷的自動(dòng)識(shí)別和定位目標(biāo)，同時(shí)記錄下目標(biāo) 的運(yùn)動(dòng)軌跡。多目標(biāo)跟蹤相對(duì)于單目標(biāo)跟蹤更為復(fù)雜，不僅需要處理單目標(biāo)跟蹤中出現(xiàn)的 復(fù)雜的背景環(huán)境，如遮擋、光照變化、目標(biāo)姿態(tài)變化等因素，還要面對(duì)目標(biāo)數(shù)量動(dòng)態(tài)變化以 及多目標(biāo)之間的相互遮擋等問(wèn)題。這些難題的存在導(dǎo)致當(dāng)前主流的多目標(biāo)跟蹤方法并不魯 棒。
[0004] 隨著近年來(lái)各個(gè)領(lǐng)域?qū)Χ嗄繕?biāo)跟蹤技術(shù)的需求日益增大，出現(xiàn)了很多的研究成 果。自從首次將網(wǎng)絡(luò)流的方法應(yīng)用到多目標(biāo)跟蹤，大量的相關(guān)方法也隨之出現(xiàn)。這類方法的 基本思想是將跟蹤目標(biāo)看成圖中的節(jié)點(diǎn)，構(gòu)建網(wǎng)絡(luò)流圖，通過(guò)尋找最小代價(jià)流來(lái)進(jìn)行跟蹤。 目標(biāo)檢測(cè)的技術(shù)日益完善后，催生了兩段式的基于檢測(cè)的跟蹤，跟蹤的方法是在檢測(cè)結(jié)果 之間尋找關(guān)聯(lián)關(guān)系?？紤]到目標(biāo)運(yùn)動(dòng)中需要符合一系列的關(guān)聯(lián)準(zhǔn)則以及與其他運(yùn)動(dòng)目標(biāo)的 相互關(guān)系，SFM模型（social force model)被提出了，隨后該模型被應(yīng)用到了多目標(biāo)跟蹤領(lǐng) 域。但迄今為止，并沒(méi)有很好的方法能夠?qū)⑾е噩F(xiàn)目標(biāo)的軌跡重新恢復(fù)，而是重新將其當(dāng) 做新的跟蹤對(duì)象，這顯然不符合實(shí)際需要。
[0005] 自從2012年Hinton團(tuán)隊(duì)將Deep Learning用于ImageNet數(shù)據(jù)集并取得了驚人的成 績(jī)后，深度學(xué)習(xí)重新得到了重視并在各個(gè)研究領(lǐng)域得到了廣泛的應(yīng)用，結(jié)合深度學(xué)習(xí)的跟 蹤方法也隨之出現(xiàn)。自動(dòng)編碼器(Auto Encoder)全卷積網(wǎng)絡(luò)也被用于目標(biāo)跟蹤，實(shí)現(xiàn)了端 到端的目標(biāo)跟蹤。但一個(gè)好的CNN網(wǎng)絡(luò)需要大量的樣本學(xué)習(xí)好的特征描述，而且在現(xiàn)有的硬 件條件下，有監(jiān)督的CNN龐大的計(jì)算代價(jià)難以滿足跟蹤實(shí)時(shí)性的要求。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，以解決多目 標(biāo)跟蹤中的消失目標(biāo)重現(xiàn)時(shí)的軌跡恢復(fù)問(wèn)題，提高跟蹤的準(zhǔn)確性和魯棒性。
[0007] 為解決上述問(wèn)題，本發(fā)明提供一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方 法，包括以下步驟：
[0008] 對(duì)于視頻中的每一幀，檢測(cè)所有存在的目標(biāo)，將檢測(cè)結(jié)果中的若干候選目標(biāo)用集 合C表示，將已有的若干跟蹤目標(biāo)用集合0s表示，對(duì)一個(gè)跟蹤目標(biāo)的軌跡記為，下標(biāo)i是唯 一的跟蹤標(biāo)識(shí)；
[0009] 將當(dāng)前幀檢測(cè)到的候選目標(biāo)與已有的跟蹤目標(biāo)進(jìn)行匹配，當(dāng)在檢測(cè)結(jié)果中距離最 近且符合距離小于一個(gè)閾值時(shí)，則認(rèn)定該候選目標(biāo)滿足強(qiáng)關(guān)聯(lián)條件并將其加入對(duì)應(yīng)跟蹤目 標(biāo)的軌跡當(dāng)中，所有跟蹤目標(biāo)匹配結(jié)束后，將沒(méi)有匹配到任何跟蹤目標(biāo)的候選目標(biāo)加入隊(duì) 列Q中，隊(duì)列Q表示在匹配階段不滿足強(qiáng)關(guān)聯(lián)條件的候選目標(biāo)集合；
[0010] 若隊(duì)列Q為空，該幀跟蹤結(jié)束，重新讀取視頻幀進(jìn)行上述步驟；
[0011] 若隊(duì)列Q不為空，利用當(dāng)前所有歷史跟蹤記錄更新輔助跟蹤網(wǎng)絡(luò)，將隊(duì)列Q中所有 目標(biāo)輸入更新后的輔助跟蹤網(wǎng)絡(luò)中，得到識(shí)別結(jié)果和相應(yīng)的置信度，當(dāng)隊(duì)列Q中識(shí)別結(jié)果的 置信度高于閾值的候選目標(biāo)依據(jù)其識(shí)別結(jié)果進(jìn)行跟蹤。
[0012] 作為一種實(shí)施方式，所述將當(dāng)前幀檢測(cè)到的候選目標(biāo)與已有的跟蹤目標(biāo)進(jìn)行匹配 步驟中，包括以下步驟：
[0013]根據(jù)空間局部性原理縮小匹配范圍，篩選出符合距離要求的候選目標(biāo)作為相似目 標(biāo)。
[0014] 作為一種實(shí)施方式，所述根據(jù)空間局部性原理縮小匹配范圍，具體包括以下步驟：
[0015] 根據(jù)如下公式進(jìn)行篩選：
[0016] Ur={cj lEudideon^of1, c})</)
[0017] 其中Ut表示符合要求的候選目標(biāo)每的集合，qf表示第t幀中檢測(cè)到的第j個(gè)候選目 標(biāo)，_^[1，11]，〇廣1表示第卜1幀中目標(biāo)1其中1￡[1， 2]3￡[1，111]。
[0018] 作為一種實(shí)施方式，所述將當(dāng)前幀檢測(cè)到的候選目標(biāo)與已有的跟蹤目標(biāo)進(jìn)行匹 配，具體包括以下步驟：
[0019] 在當(dāng)前幀檢測(cè)結(jié)果中尋找跟蹤目標(biāo)0丨-1相似度高的候選目標(biāo)；
[0020] 通過(guò)如下公式尋找最相似候選目標(biāo)；
[0021 ] argmirij dist ^f(o·-1), f(c[)j , c·" E C1
[0022] 其中f (.)表示對(duì)目標(biāo)提取特征，dist(.)表示距離度量函數(shù)。
[0023] 作為一種實(shí)施方式，若目標(biāo)提取特征為顏色直方圖特征時(shí)，具體包括以下步驟： [0024]根據(jù)空間局部性原理篩選符合距離要求的候選目標(biāo)；
[0025]提取目標(biāo)t-Ι幀中已有跟蹤目標(biāo)和t幀中檢測(cè)到的候選目標(biāo)的RGB顏色直方圖特 征；
[0026]根據(jù)巴氏距離度量函數(shù)計(jì)算兩個(gè)直方圖分布特征的距離，計(jì)算公式如下：
[0027] argmirij DB ^hist(o}_1), hist(u-)j , u- e L^,
[0028] 其中hist(.)表示顏色直方圖特征，Db表示目標(biāo)提取特征為顏色直方圖特征時(shí)的 巴氏距離度量函數(shù)；
[0029]若巴氏距離最近且小于一個(gè)閾值，則認(rèn)定該候選目標(biāo)為滿足強(qiáng)關(guān)聯(lián)條件，為最相 似候選目標(biāo)。
[0030] 作為一種實(shí)施方式，所述利用當(dāng)前所有歷史跟蹤記錄更新輔助跟蹤網(wǎng)絡(luò)，具體包 括以下步驟：
[0031] 將當(dāng)前所有跟蹤目標(biāo)的歷史跟蹤結(jié)果作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，將網(wǎng)絡(luò)輸出的特征和 跟蹤標(biāo)識(shí)組成訓(xùn)練樣本去訓(xùn)練SVM分類器，完成輔助跟蹤網(wǎng)絡(luò)的更新。
[0032] 作為一種實(shí)施方式，所述將隊(duì)列Q中所有目標(biāo)輸入網(wǎng)絡(luò)中，得到識(shí)別結(jié)果和相應(yīng)的 置信度，具體包括以下步驟：
[0033] 將隊(duì)列Q中每一個(gè)目標(biāo)輸入更新后的輔助跟蹤網(wǎng)絡(luò)中，通過(guò)前饋運(yùn)算結(jié)果獲得目 標(biāo)的深度特征，再將深度特征輸入線性SVM分類器得到識(shí)別標(biāo)識(shí)和相應(yīng)的置信度。
[0034] 作為一種實(shí)施方式，所述深度特征包括網(wǎng)絡(luò)輸出特征，通過(guò)前饋運(yùn)算結(jié)果獲得目 標(biāo)的網(wǎng)絡(luò)輸出特征，具體包括以下步驟：
[0035] 將一個(gè)樣本經(jīng)過(guò)兩層卷積，得到若干個(gè)特征圖；
[0036] 每個(gè)樣本卷積后加入最大值池化的運(yùn)算，將特征圖變小；
[0037] 當(dāng)獲取所有卷積的特征圖，對(duì)卷積結(jié)果進(jìn)行二值化操作；
[0038] 以每η個(gè)特征圖采取加權(quán)和的方式合并，在對(duì)所有合并后的特征圖分塊提取直方 圖特征，最終得到網(wǎng)絡(luò)輸出特征。
[0039] 作為一種實(shí)施方式，還包括將隊(duì)列Q中識(shí)別結(jié)果的置信度低于閾值要求的候選目 標(biāo)當(dāng)做新出現(xiàn)的目標(biāo)，將新出現(xiàn)的目標(biāo)建立跟蹤目標(biāo)并加入到跟蹤目標(biāo)〇s中。
[0040] 作為一種實(shí)施方式，將隊(duì)列Q中所有目標(biāo)輸入更新后的輔助跟蹤網(wǎng)絡(luò)中，所述網(wǎng)絡(luò) 為深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括兩個(gè)卷積層、兩個(gè)最大值池化層和二值量化層。兩個(gè)所述卷積層 包括第一卷積層和第二卷積層，所述第一卷積層濾波器個(gè)數(shù)為8個(gè)，第二卷積層濾波器個(gè)數(shù) 為64個(gè)。
[0041] 本發(fā)明提供的技術(shù)方案的有益效果是:本發(fā)明主要針對(duì)當(dāng)目標(biāo)存在嚴(yán)重遮擋以及 目標(biāo)從攝像機(jī)視野中短暫消失的情況進(jìn)行研究，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助 的多目標(biāo)跟蹤方法，將多目標(biāo)的跟蹤問(wèn)題轉(zhuǎn)化為尋找?guī)g檢測(cè)到的目標(biāo)之間尋找對(duì)應(yīng)關(guān)系 的過(guò)程，采用了基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別方法來(lái)進(jìn)行輔助跟蹤，可以很好地解決目標(biāo) 消失再現(xiàn)和存在嚴(yán)重遮擋時(shí)造成的目標(biāo)丟失的問(wèn)題，當(dāng)目標(biāo)再次出現(xiàn)時(shí)可以通過(guò)識(shí)別輔助 跟蹤的方法恢復(fù)消失重現(xiàn)目標(biāo)的跟蹤軌跡。
【附圖說(shuō)明】
[0042] 圖1為本發(fā)明基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法的流程圖；
[0043] 圖2為本發(fā)明使用的輔助跟蹤網(wǎng)絡(luò)的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0044]為了進(jìn)一步詳細(xì)描述本發(fā)明的過(guò)程，結(jié)合附圖對(duì)本發(fā)明進(jìn)行更加具體的闡述。
[0045] 本發(fā)明提供一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，主要分為三個(gè) 步驟，目標(biāo)檢測(cè)、匹配跟蹤以及深度學(xué)習(xí)網(wǎng)絡(luò)輔助跟蹤，其簡(jiǎn)要步驟如下:第一，首先檢測(cè)器 對(duì)于視頻的每一幀進(jìn)行目標(biāo)檢測(cè)，檢測(cè)結(jié)果為之后的跟蹤做準(zhǔn)備。第二，相鄰兩幀中的目標(biāo) 之間通過(guò)相似度匹配，得到初步的跟蹤結(jié)果。第三，結(jié)合輔助跟蹤網(wǎng)絡(luò)恢復(fù)消失重現(xiàn)目標(biāo)的 跟蹤軌跡，進(jìn)一步提尚跟蹤效果。
[0046] 在本實(shí)施例中，將目標(biāo)以行人進(jìn)行闡述。如圖1所示，本方法開始執(zhí)行之前，需要首 先初始化檢測(cè)器，使用的特征為分塊的梯度統(tǒng)計(jì)直方圖，對(duì)行人數(shù)據(jù)庫(kù)提取梯度統(tǒng)計(jì)直方 圖特征，將該特征作為SVM分類器的輸入，訓(xùn)練分類器以得到一個(gè)魯棒的差分分類器。第一 幀中檢測(cè)到的目標(biāo)不做匹配，直接當(dāng)做新的跟蹤目標(biāo)，加入集合〇s中，程序初始化完成。下 面結(jié)合附圖對(duì)本方法進(jìn)行詳細(xì)的描述：
[0047]步驟101:首先采用基于分塊梯度直方圖特征的檢測(cè)器對(duì)視頻圖像中每一幀 進(jìn)行目標(biāo)檢測(cè)，并記錄所有檢測(cè)到的目標(biāo)，ft表示視頻幀，t是幀編號(hào)，N是視頻的總幀數(shù);檢 測(cè)時(shí)采用滑動(dòng)窗口機(jī)制對(duì)整個(gè)圖像遍歷，對(duì)滑動(dòng)窗口掃描過(guò)的每一個(gè)位置用SVM分類器判 斷是否為目標(biāo)。為了能檢測(cè)到不同尺度的目標(biāo)，滑動(dòng)窗口存在尺度變化。檢測(cè)結(jié)束時(shí)，檢測(cè) 結(jié)果記為0 =記,44}4表示第七幀中檢測(cè)到的第」個(gè)候選目標(biāo)，#[1，11]，11為在第七 幀中檢測(cè)到的目標(biāo)總數(shù)。將所有的跟蹤目標(biāo)用一個(gè)集合表示，記為Ο^ΙΟ^Ο^.,.,ΟζΚζ* 跟蹤目標(biāo)的總數(shù)，每一個(gè)跟蹤目標(biāo)的軌跡記錄為〇 :i = {〇丨,丨表示第t幀中目標(biāo) 土，其中1^[1,2]，1：￡[1，1]1]，下標(biāo);[是唯一的跟蹤標(biāo)識(shí)。
[0048]基于分塊梯度直方圖特征的目標(biāo)檢測(cè)操作具體為：用行人數(shù)據(jù)庫(kù)訓(xùn)練檢測(cè)器，正 樣本為行人圖片，負(fù)樣本為背景圖片。抽取訓(xùn)練樣本的Hog特征作為分類器的輸入特征，然 后將準(zhǔn)備好的數(shù)據(jù)交由SVM學(xué)習(xí)一個(gè)可以將行人和背景有效區(qū)分的超平面。
[0049] 步驟102:將當(dāng)前幀檢測(cè)到的候選目標(biāo)與已有的跟蹤目標(biāo)進(jìn)行匹配。對(duì)每一個(gè)0^ 尋找最為相似的候選目標(biāo)時(shí)，首先尋找距離最近的目標(biāo)。根據(jù)空間局部性原理，認(rèn)為其在 第t幀中的目標(biāo)不會(huì)偏離太遠(yuǎn)，通過(guò)1/= & ;g<v}篩選出符合距離要求的 相似目標(biāo)。然后用hist(.)函數(shù)提取顏色直方圖特征，再由巴氏距離度量函數(shù)(記為Db)計(jì)算 兩個(gè)直方圖分布特征的距離。⑴'·.押丨-,uj e Uf，選出匹配程度最 高的候選目標(biāo)。如果最優(yōu)目標(biāo)的距離同時(shí)滿足距離小于閾值，認(rèn)為滿足強(qiáng)關(guān)聯(lián)條件，將最優(yōu) 目標(biāo)加入對(duì)應(yīng)跟蹤目標(biāo)的軌跡中。當(dāng)完成所有跟蹤目標(biāo)和候選目標(biāo)之間關(guān)聯(lián)之后，將沒(méi)有 加入到任何跟蹤軌跡的候選目標(biāo)加入到隊(duì)列Q中。
[0050] 依據(jù)空間局部性原理縮小搜索范圍操作具體為：由于空間局部性原理，同一個(gè)目 標(biāo)在相鄰幀中距離不會(huì)太大。因此，并不需要將所有候選目標(biāo)與跟蹤目標(biāo)逐一計(jì)算距離，只 需要在滿足距離小于一定范圍的候選目標(biāo)中尋找匹配對(duì)象即可。根據(jù)如下公式進(jìn)行篩選： [0051 ] |fwc//dean(o- JCy)</}
[0052] 其中IJt表示符合要求的Cf的集合，經(jīng)過(guò)篩選，候選目標(biāo)的范圍大大縮小，達(dá)到加快 運(yùn)行速度的要求。
[0053] 基于滿足強(qiáng)關(guān)聯(lián)條件的關(guān)聯(lián)操作具體為:對(duì)一個(gè)目標(biāo)跟蹤的目的是不斷的尋找目 標(biāo)of1在當(dāng)前幀檢測(cè)結(jié)果中相似度最高的Cf，將其當(dāng)做目標(biāo)〇^t幀中的預(yù)測(cè)結(jié)果g。尋找 最相似候選目標(biāo)的公式如下：
[0054] argminj dist(f(o-_i), f(c|)j ,cf E C1
[0055] 其中f(.)表示目標(biāo)提取特征，dist(.)表示距離度量函數(shù)，當(dāng)一個(gè)候選目標(biāo)與喊一1 距離最近且距離小于一個(gè)閾值時(shí)，認(rèn)為該候選目標(biāo)為匹配結(jié)果。在本實(shí)施中，目標(biāo)提取特征 f(.)為顏色直方圖特征hist(.)。
[0056] 步驟103:隊(duì)列Q如果為空，則跟蹤結(jié)束。否則使用輔助跟蹤網(wǎng)絡(luò)輔助跟蹤。首先將 現(xiàn)有的所有歷史跟蹤結(jié)果更新輔助跟蹤網(wǎng)絡(luò)，如圖2所示，為本發(fā)明設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)，主要包括兩個(gè)卷積層、兩個(gè)最大值池化層和二值量化層，第一個(gè)卷積層濾波器個(gè)數(shù)為8， 第二層濾波器為64個(gè)。當(dāng)一個(gè)樣本通過(guò)兩層卷積之后，會(huì)生成64個(gè)特征圖。每個(gè)在隊(duì)列Q中 的候選目標(biāo)經(jīng)卷積層之后加入最大值池化的運(yùn)算，每經(jīng)歷一次池化操作，特征圖的大小會(huì) 變小。例如，當(dāng)池化操作的卷積核為2 X 2時(shí)，每次池化后特征圖的長(zhǎng)寬分別會(huì)變?yōu)樵瓉?lái)二分 之一。當(dāng)獲取所有的卷積特征圖之后，對(duì)卷積結(jié)果進(jìn)行二值化操作。然后每η個(gè)特征圖采取 加權(quán)和的方式合并，在對(duì)所有合并后的特征圖分塊提取直方圖特征，最終得到網(wǎng)絡(luò)輸出特 征。對(duì)于分類層，采用有監(jiān)督的學(xué)習(xí)方法學(xué)習(xí)分類器。將網(wǎng)絡(luò)的卷積特征和標(biāo)簽輸入到SVM 中，訓(xùn)練得到最終的分類器。當(dāng)網(wǎng)絡(luò)更新完成后，再由網(wǎng)絡(luò)給出Q中每一個(gè)候選目標(biāo)的識(shí)別 結(jié)果和置信度α。
[0057] 步驟104在步驟103的描述下，將Q中識(shí)別結(jié)果的置信度α低于閾值要求的候選目標(biāo) 當(dāng)做新出現(xiàn)的目標(biāo)，同時(shí)將這些新出現(xiàn)的目標(biāo)建立跟蹤對(duì)象并加入到〇s中。
[0058] 步驟105在步驟103的描述下，將Q中識(shí)別結(jié)果的置信度α高于閾值要求的候選目標(biāo) 依據(jù)其識(shí)別結(jié)果進(jìn)行跟蹤，當(dāng)置信度α高于設(shè)定的閾值時(shí)，則判斷該目標(biāo)之前曾出現(xiàn)過(guò)，再 通過(guò)識(shí)別結(jié)果將其與跟蹤目標(biāo)對(duì)應(yīng)起來(lái)，從而實(shí)現(xiàn)消失在線目標(biāo)的軌跡恢復(fù)。
[0059]綜上所述，這樣就避免了傳統(tǒng)方法在目標(biāo)短暫消失再次出現(xiàn)時(shí)將其誤判為新的跟 蹤目標(biāo)或者丟失目標(biāo)的情況。
[0060]以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步的 詳細(xì)說(shuō)明，應(yīng)當(dāng)理解，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限定本發(fā)明的保護(hù) 范圍。特別指出，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修 改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在于，包括W下步驟： 對(duì)于視頻中的每一帖，檢測(cè)所有存在的目標(biāo)，將檢測(cè)結(jié)果中的若干候選目標(biāo)用集合ct表 示，將已有的若干跟蹤目標(biāo)用集合Os表示，對(duì)一個(gè)跟蹤目標(biāo)的軌跡記為化，下標(biāo)i是唯一的 跟蹤標(biāo)識(shí)； 將當(dāng)前帖檢測(cè)到的候選目標(biāo)與已有的跟蹤目標(biāo)進(jìn)行匹配，當(dāng)在檢測(cè)結(jié)果中距離最近且 符合距離小于一個(gè)闊值時(shí)，則認(rèn)定該候選目標(biāo)滿足強(qiáng)關(guān)聯(lián)條件并將其加入對(duì)應(yīng)跟蹤目標(biāo)的 軌跡當(dāng)中，所有跟蹤目標(biāo)匹配結(jié)束后，將沒(méi)有匹配到任何跟蹤目標(biāo)的候選目標(biāo)加入隊(duì)列Q 中，隊(duì)列Q表示在匹配階段不滿足強(qiáng)關(guān)聯(lián)條件的候選目標(biāo)集合； 若隊(duì)列Q為空，該帖跟蹤結(jié)束，重新讀取視頻帖進(jìn)行上述步驟； 若隊(duì)列Q不為空，利用當(dāng)前所有歷史跟蹤記錄更新輔助跟蹤網(wǎng)絡(luò)，將隊(duì)列Q中所有目標(biāo) 輸入更新后的輔助跟蹤網(wǎng)絡(luò)中，得到識(shí)別結(jié)果和相應(yīng)的置信度，當(dāng)隊(duì)列Q中識(shí)別結(jié)果的置信 度高于闊值的候選目標(biāo)依據(jù)其識(shí)別結(jié)果進(jìn)行跟蹤。2. 根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，所述將當(dāng)前帖檢測(cè)到的候選目標(biāo)與已有的跟蹤目標(biāo)進(jìn)行匹配步驟中，包括W下步驟： 根據(jù)空間局部性原理縮小匹配范圍，篩選出符合距離要求的候選目標(biāo)作為相似目標(biāo)。3. 根據(jù)權(quán)利要求2所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，所述根據(jù)空間局部性原理縮小匹配范圍，具體包括W下步驟： 根據(jù)如下公式進(jìn)行篩選：其中護(hù)表示符合要求的候選目標(biāo)cf前集合，c|表示第t帖中檢測(cè)到的第j個(gè)候選目標(biāo)，j e [1 ,η]，〇!; 1 表不第t-1帖中目標(biāo)i，其中 i e[l,z],te[l,m]。4. 根據(jù)權(quán)利要求3所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，所述將當(dāng)前帖檢測(cè)到的候選目標(biāo)與已有的跟蹤目標(biāo)進(jìn)行匹配，具體包括W下步驟： 在當(dāng)前帖檢測(cè)結(jié)果中尋找跟蹤目標(biāo)相似度高的候選目標(biāo)； 通過(guò)如下公式尋找最相似候選目標(biāo)；其中f (.)表示對(duì)目標(biāo)提取特征，dist(.)表示距離度量函數(shù)。5. 根據(jù)權(quán)利要求4所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，若目標(biāo)提取特征為顏色直方圖特征時(shí)，具體包括W下步驟： 根據(jù)空間局部性原理篩選符合距離要求的候選目標(biāo)； 提取目標(biāo)t-1帖中已有跟蹤目標(biāo)和t帖中檢測(cè)到的候選目標(biāo)的RGB顏色直方圖特征； 根據(jù)己氏距離度量函數(shù)計(jì)算兩個(gè)直方圖分布特征的距離，計(jì)算公式如下：其中hist(.)表示顏色直方圖特征，Db表示目標(biāo)提取特征為顏色直方圖特征時(shí)的己氏距 罔度重函數(shù)； 若己氏距離最近且小于一個(gè)闊值，則認(rèn)定該候選目標(biāo)為滿足強(qiáng)關(guān)聯(lián)條件，為最相似候 選目標(biāo)。6. 根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，所述利用當(dāng)前所有歷史跟蹤記錄更新輔助跟蹤網(wǎng)絡(luò)，具體包括W下步驟： 將當(dāng)前所有跟蹤目標(biāo)的歷史跟蹤結(jié)果作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，將網(wǎng)絡(luò)輸出的特征和跟蹤 標(biāo)識(shí)組成訓(xùn)練樣本去訓(xùn)練SVM分類器，完成輔助跟蹤網(wǎng)絡(luò)的更新。7. 根據(jù)權(quán)利要求6所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，所述將隊(duì)列Q中所有目標(biāo)輸入網(wǎng)絡(luò)中，得到識(shí)別結(jié)果和相應(yīng)的置信度，具體包括W下步 驟： 將隊(duì)列Q中每一個(gè)目標(biāo)輸入更新后的輔助跟蹤網(wǎng)絡(luò)中，通過(guò)前饋運(yùn)算結(jié)果獲得目標(biāo)的 深度特征，再將深度特征輸入線性SVM分類器得到識(shí)別標(biāo)識(shí)和相應(yīng)的置信度。8. 根據(jù)權(quán)利要求7所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，所述深度特征包括網(wǎng)絡(luò)輸出特征，通過(guò)前饋運(yùn)算結(jié)果獲得目標(biāo)的網(wǎng)絡(luò)輸出特征，具體包 括W下步驟： 將一個(gè)樣本經(jīng)過(guò)兩層卷積，得到若干個(gè)特征圖； 每個(gè)樣本卷積后加入最大值池化的運(yùn)算，將特征圖變小. 當(dāng)獲取所有卷積的特征圖，對(duì)卷積結(jié)果進(jìn)行二值化操作； W每η個(gè)特征圖采取加權(quán)和的方式合并，在對(duì)所有合并后的特征圖分塊提取直方圖特 征，最終得到網(wǎng)絡(luò)輸出特征。9. 根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，還包括將隊(duì)列Q中識(shí)別結(jié)果的置信度低于闊值要求的候選目標(biāo)當(dāng)做新出現(xiàn)的目標(biāo)，將新 出現(xiàn)的目標(biāo)建立跟蹤目標(biāo)并加入到跟蹤目標(biāo)Os中。10. 根據(jù)權(quán)利要求6所述的基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別輔助的多目標(biāo)跟蹤方法，其特征在 于，將隊(duì)列Q中所有目標(biāo)輸入更新后的輔助跟蹤網(wǎng)絡(luò)中，所述網(wǎng)絡(luò)為深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包 括兩個(gè)卷積層、兩個(gè)最大值池化層和二值量化層。兩個(gè)所述卷積層包括第一卷積層和第二 卷積層，所述第一卷積層濾波器個(gè)數(shù)為8個(gè)，第二卷積層濾波器個(gè)數(shù)為64個(gè)。
【文檔編號(hào)】G06T7/20GK106097391SQ201610420557
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月13日 公開號(hào)201610420557.X, CN 106097391 A, CN 106097391A, CN 201610420557, CN-A-106097391, CN106097391 A, CN106097391A, CN201610420557, CN201610420557.X
【發(fā)明人】王慧燕, 楊宇濤
【申請(qǐng)人】浙江工商大學(xué)