本發(fā)明屬于目標(biāo)追蹤
技術(shù)領(lǐng)域：
，更具體地，涉及一種基于深度學(xué)習(xí)的監(jiān)控視頻多目標(biāo)追蹤方法。
背景技術(shù)：
：平安城市的建設(shè)、高清攝像頭的普及產(chǎn)生了海量的監(jiān)控視頻，僅僅依靠人力從海量的視頻圖像數(shù)據(jù)中采集線(xiàn)索是非常耗時(shí)和困難的，而且由于視覺(jué)疲勞等人為因素去辨別目標(biāo)很難做到萬(wàn)無(wú)一失。隨著視覺(jué)計(jì)算的發(fā)展，從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)，計(jì)算機(jī)能夠更加智能的理解視頻中的信息，視頻智能分析系統(tǒng)應(yīng)運(yùn)而生。視頻智能分析系統(tǒng)通過(guò)對(duì)連續(xù)的圖像序列進(jìn)行分析，提取出每一幀的運(yùn)動(dòng)目標(biāo)，通過(guò)追蹤技術(shù)確定相鄰幀中的目標(biāo)關(guān)系，確定一個(gè)目標(biāo)的移動(dòng)方向、速率，提取軌跡和步態(tài)等其他特征信息，從而給用戶(hù)提供視頻檢索、快速定位目標(biāo)、查看目標(biāo)在視頻中出現(xiàn)的片段、收集目標(biāo)行為信息等功能。視頻智能分析系統(tǒng)中一個(gè)關(guān)鍵技術(shù)目標(biāo)追蹤，即怎樣確定相鄰幀中目標(biāo)的關(guān)系，獲得一個(gè)目標(biāo)在整個(gè)視頻中完整的運(yùn)動(dòng)序列成為一個(gè)重要的研究方向。監(jiān)控視頻多目標(biāo)追蹤是視頻智能分析系統(tǒng)的前提基礎(chǔ)，對(duì)視頻信息進(jìn)行更深層次的挖掘有重要的影響。外觀是描述一個(gè)目標(biāo)的重要特性，根據(jù)外觀模型可以將目標(biāo)追蹤算法分為兩大類(lèi)別。第一類(lèi)是產(chǎn)生式方法。產(chǎn)生式方法首先使用定義好的算法建立目標(biāo)的空間描述，然后對(duì)比多個(gè)候選區(qū)域找到最為匹配的區(qū)域。產(chǎn)生式方法由于忽略背景而強(qiáng)調(diào)目標(biāo)外觀的描述，當(dāng)目標(biāo)遇到遮擋的情況時(shí)會(huì)出現(xiàn)漂移。另一類(lèi)是判別式方法，依據(jù)使用檢測(cè)結(jié)果進(jìn)行匹配的思想先使用目標(biāo)檢測(cè)來(lái)提出前景目標(biāo)，將跟蹤轉(zhuǎn)化為分類(lèi)問(wèn)題。判別式模型充分利用了前景與背景信息，可以將兩者更好的區(qū)分，因而具有較強(qiáng)的魯棒性。但在利用樣本進(jìn)行在線(xiàn)學(xué)習(xí)與更新的過(guò)程中，也容易因樣本的標(biāo)注錯(cuò)誤影響分類(lèi)器的性能，造成誤分類(lèi)。目前大多數(shù)基于深度學(xué)習(xí)的方法大都是使用卷積神經(jīng)網(wǎng)絡(luò)建立外觀模型來(lái)實(shí)現(xiàn)目標(biāo)追蹤，著眼于圖像在空間域的信息，未考慮到目標(biāo)追蹤是對(duì)一系列連續(xù)、有著緊密時(shí)序關(guān)系的幀圖像的處理，并沒(méi)有挖掘到更多有效的時(shí)序信息。遮擋問(wèn)題是目標(biāo)追蹤的一大問(wèn)題。遮擋問(wèn)題可以分為兩種情況，一種是目標(biāo)被背景信息遮擋，開(kāi)始遮擋時(shí)，目標(biāo)還可以檢測(cè)出一部分，慢慢的無(wú)法被檢測(cè)出，直到目標(biāo)重新出現(xiàn)后再次被檢測(cè)到。另一種情況是兩個(gè)或者多個(gè)目標(biāo)重疊，當(dāng)目標(biāo)剛開(kāi)始發(fā)生重疊時(shí)，還能夠被檢測(cè)為多個(gè)目標(biāo)，但空間特征逐漸接近，當(dāng)完全發(fā)生合并時(shí)，多個(gè)目標(biāo)可能被檢測(cè)為一個(gè)目標(biāo)，當(dāng)目標(biāo)分離后，必須能夠?qū)δ繕?biāo)進(jìn)行追蹤而不發(fā)生紊亂。常見(jiàn)的解決這檔問(wèn)題的方法是將目標(biāo)分為多個(gè)空間區(qū)域，每個(gè)空間區(qū)域設(shè)置一個(gè)追蹤器，被遮擋時(shí)還有部門(mén)追蹤器能夠繼續(xù)跟蹤，因此會(huì)有多個(gè)追蹤器同時(shí)運(yùn)行，導(dǎo)致追蹤的速度過(guò)慢。技術(shù)實(shí)現(xiàn)要素：針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于深度學(xué)習(xí)的監(jiān)控視頻多目標(biāo)追蹤方法，其目的在于使用卷積神經(jīng)網(wǎng)絡(luò)提取空間特征的基礎(chǔ)上，使用循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)的運(yùn)動(dòng)規(guī)律，對(duì)目標(biāo)的特征進(jìn)行融合，對(duì)目標(biāo)的位置進(jìn)行預(yù)測(cè)，結(jié)合時(shí)間和空間兩個(gè)方面計(jì)算目標(biāo)的相似度進(jìn)行目標(biāo)匹配，實(shí)現(xiàn)目標(biāo)追蹤的目的。此方法可以減少多目標(biāo)追蹤的漏檢率，提升多目標(biāo)追蹤的準(zhǔn)確度，并解決追蹤過(guò)程中短時(shí)間的目標(biāo)遮擋問(wèn)題。為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于深度學(xué)習(xí)的監(jiān)控視頻多目標(biāo)追蹤方法，所述方法包括：(1)對(duì)監(jiān)控視頻按設(shè)定的間隔時(shí)間進(jìn)行解碼獲得圖像；(2)將解碼獲得的圖像輸入到訓(xùn)練好的fasterr-cnn目標(biāo)檢測(cè)網(wǎng)絡(luò)模型中，得到多個(gè)目標(biāo)的位置信息和空間特征；(3)將目標(biāo)在多個(gè)時(shí)刻的位置信息以及空間特征輸入到lstm網(wǎng)絡(luò)模型中進(jìn)行l(wèi)stm網(wǎng)絡(luò)模型線(xiàn)下訓(xùn)練，利用訓(xùn)練好的lstm網(wǎng)絡(luò)模型預(yù)測(cè)目標(biāo)在下一時(shí)刻的位置；(4)將目標(biāo)在多個(gè)時(shí)刻的空間特征融合得到融合特征，計(jì)算目標(biāo)的融合特征和目標(biāo)在當(dāng)前時(shí)刻提取的空間特征的相似度，同時(shí)計(jì)算目標(biāo)通過(guò)lstm方法預(yù)測(cè)的位置矩形ro和目標(biāo)在當(dāng)前時(shí)刻檢測(cè)出的位置矩形rs之間的相似度，根據(jù)結(jié)合空間特征和位置信息的匹配判斷最新檢測(cè)出的目標(biāo)與已經(jīng)追蹤到目標(biāo)的歸屬關(guān)系。進(jìn)一步地，所述步驟(2)具體包括：(21)將圖像輸入到訓(xùn)練好的fasterr-cnn網(wǎng)絡(luò)模型中，通過(guò)網(wǎng)絡(luò)頂端分類(lèi)層和窗口回歸層提取出多個(gè)目標(biāo)信息，每個(gè)目標(biāo)信息包括[分類(lèi)編號(hào)，置信度，x，y，width，height]；(22)過(guò)濾掉置信度低于置信度閾值的目標(biāo)，剩下目標(biāo)中舍棄目標(biāo)信息中的[分類(lèi)編號(hào)，置信度]，保留位置信息[x,y,width,height]，其中，置信度閾取值范圍是0.15～0.25優(yōu)選0.2，；(23)在感興趣區(qū)域池化層，依據(jù)rpn算法生成的區(qū)域的映射關(guān)系中提取出多個(gè)目標(biāo)的空間特征。進(jìn)一步地，所述步驟(3)中l(wèi)stm網(wǎng)絡(luò)模型線(xiàn)下訓(xùn)練具體方法為：(31)對(duì)訓(xùn)練視頻間隔同樣的時(shí)間進(jìn)行解碼提取圖像序列；(32)通過(guò)fasterr-cnn網(wǎng)絡(luò)對(duì)所述圖像序列中的每一張圖像進(jìn)行檢測(cè)得到多個(gè)目標(biāo)的位置信息和空間特征；(33)lstm網(wǎng)絡(luò)設(shè)置為sn層，每次取出連續(xù)相鄰sn張圖像中同一個(gè)目標(biāo)的空間特征和位置信息輸入到lstm網(wǎng)絡(luò)中，訓(xùn)練中的損失函數(shù)使用均方誤差計(jì)算位置信息的差距，計(jì)算方式如下：其中，ldet是fasterr-cnn網(wǎng)絡(luò)檢測(cè)出下一個(gè)時(shí)刻的位置，lpred是lstm網(wǎng)絡(luò)輸出的預(yù)測(cè)位置，位置數(shù)值要?dú)w一化到[0-1]區(qū)間之內(nèi)；(34)對(duì)所有測(cè)試視頻中的目標(biāo)通過(guò)步驟(33)進(jìn)行訓(xùn)練并計(jì)算平均lossavg，計(jì)算方式如下:其中，n為所有視頻中所有目標(biāo)輸入到網(wǎng)絡(luò)的次數(shù)，lossi為步驟(33)中網(wǎng)絡(luò)每次處理后得到loss值，當(dāng)平均lossavg小于預(yù)測(cè)閾值并且loss函數(shù)收斂的時(shí)候，訓(xùn)練結(jié)束，其中，預(yù)測(cè)閾值取值范圍為0.15～0.25，優(yōu)選0.2；否則選取另外連續(xù)相鄰sn張圖像重復(fù)步驟(33)。進(jìn)一步地，所述步驟(3)具體為：取出同一個(gè)目標(biāo)在圖像序列中連續(xù)sn張的空間特征和目標(biāo)位置輸入到訓(xùn)練好的lstm網(wǎng)絡(luò)模型中，經(jīng)過(guò)lstm網(wǎng)絡(luò)模型的處理后輸出目標(biāo)在下一時(shí)刻的預(yù)測(cè)位置。進(jìn)一步地，所述步驟(4)具體(41)將同一個(gè)目標(biāo)在相鄰連續(xù)時(shí)刻的空間特征融合得到目標(biāo)的融合特征，計(jì)算方式為：其中，tn代表tn-1的上一時(shí)刻，fo,t代表目標(biāo)在時(shí)刻t的融合特征，代表此目標(biāo)在t1時(shí)刻的空間特征，代表此目標(biāo)在t2時(shí)刻的空間特征；(42)將目標(biāo)的融合特征fo,t和目標(biāo)在當(dāng)前時(shí)刻提取的空間特征fs,t對(duì)比，使用余弦相似度計(jì)算其特征相似度f(wàn)，計(jì)算方式如下：(43)將目標(biāo)通過(guò)lstm方法預(yù)測(cè)的位置矩形ro和目標(biāo)在當(dāng)前時(shí)刻檢測(cè)出的位置矩形rs對(duì)比，使用矩形的面積交并比iou計(jì)算位置相似度r，表示如下：其中，sinter＝(min(r1.r,r2.r)-max(r1.l,r2.l))*(min(r1.b,r2.b)-max(r1.t,r2.t))；r1.t,r1.b,r1.l,r1.r分別代表矩形rs的上、下、左、右邊界值，r2.t,r2.b,r2.l,r2.r分別代表矩形ro的上、下、左、右邊界值，sinter為兩個(gè)矩形的重疊面積，s1、s2分別代表rs和ro兩個(gè)矩形的面積；(44)將特征相似度和位置相似度結(jié)合起來(lái)，添加特征相似度權(quán)值w1和位置相似度權(quán)值w2進(jìn)行平衡以獲取綜合相似度：diffs,o＝w1f+w2r(45)將在當(dāng)前時(shí)刻檢測(cè)出的一個(gè)目標(biāo)與處于追蹤狀態(tài)的所有目標(biāo)進(jìn)行比較得到綜合相似度最高的，即diffs,o值最大的目標(biāo)作待定匹配目標(biāo)；設(shè)最大值為diff，若diff值大于匹配閾值，則認(rèn)為匹配成功，其中，匹配閾值取值范圍為0.6～0.7，優(yōu)選0.65。總體而言，通過(guò)本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)特征及有益效果：(1)本發(fā)明方法采用fasterr-cnn目標(biāo)檢測(cè)算法檢測(cè)出一幀圖像中多個(gè)目標(biāo)的位置信息和空間特征，提取出的空間特征對(duì)目標(biāo)具有更強(qiáng)的表達(dá)能力，通過(guò)外觀模型的匹配有更高的相似度；(2)本發(fā)明方法將目標(biāo)位置信息和目標(biāo)空間特征輸入到lstm網(wǎng)絡(luò)中，使用lstm循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)的運(yùn)動(dòng)規(guī)律，對(duì)目標(biāo)位置有很強(qiáng)的預(yù)測(cè)能力，在目標(biāo)位置匹配時(shí)有更高的相似度；(3)本發(fā)明技術(shù)方案將目標(biāo)的空間特征通過(guò)融合的方法得到目標(biāo)在下一時(shí)刻的融合特征，通過(guò)位置相似度和空間特征相似度兩方面添加不同的權(quán)重得到最終的相似度，然后判斷當(dāng)前時(shí)刻檢測(cè)出的多個(gè)目標(biāo)和與之前處于追蹤狀態(tài)的多個(gè)目標(biāo)的對(duì)應(yīng)關(guān)系；將預(yù)測(cè)位置和融合特征兩個(gè)方面的特征結(jié)合起來(lái)使用，可以進(jìn)一步提升目標(biāo)追蹤的準(zhǔn)確率。附圖說(shuō)明圖1為本發(fā)明方法的主要流程示意圖；圖2為本發(fā)明方法中目標(biāo)的時(shí)空特征計(jì)算流程示意圖；圖3為本發(fā)明方法中目標(biāo)的匹配的流程圖；圖4為本發(fā)明方法對(duì)視頻venice-1的追蹤結(jié)果；圖5為本發(fā)明方法對(duì)目標(biāo)密集型視頻mot16-3的追蹤結(jié)果。具體實(shí)施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。本發(fā)明方法流程如圖1所示：(1)視頻隔幀解碼：(11)在每秒提取4幀的基礎(chǔ)上設(shè)置解碼間隔幀數(shù)，若視頻fps為24，則間隔幀數(shù)為6；(12)按解碼間隔幀數(shù)使用opencv對(duì)視頻實(shí)時(shí)解碼出圖像；(13)對(duì)圖像進(jìn)行預(yù)處理操作，將圖像縮放到224*224像素大小，以適應(yīng)fasterr-cnn網(wǎng)絡(luò)的大??；(2)fasterr-cnn目標(biāo)檢測(cè)：fasterr-cnn是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，使用fasterr-cnn進(jìn)行目標(biāo)檢測(cè)首先需要先線(xiàn)下訓(xùn)練模型參數(shù)，然后線(xiàn)上處理圖像以得到目標(biāo)的位置和空間特征；線(xiàn)下訓(xùn)練模型的過(guò)程為：標(biāo)記出圖像中的目標(biāo)位置和目標(biāo)分類(lèi)，使得網(wǎng)絡(luò)可以通過(guò)設(shè)定的標(biāo)記進(jìn)行反向傳播確定模型參數(shù)；模型訓(xùn)練是一個(gè)有監(jiān)督的訓(xùn)練過(guò)程，訓(xùn)練的圖像樣本同樣使用視頻中提取的圖像，保證與實(shí)際使用的場(chǎng)景相似；模型訓(xùn)練是一個(gè)反復(fù)迭代的過(guò)程，通過(guò)反饋調(diào)節(jié)，使得最終模型的輸出誤差在一定范圍內(nèi)；線(xiàn)上實(shí)際處理過(guò)程為：(21)將圖像輸入到訓(xùn)練好的fasterr-cnn網(wǎng)絡(luò)模型中，通過(guò)網(wǎng)絡(luò)頂端分類(lèi)層和窗口回歸層提取出多個(gè)目標(biāo)信息，每個(gè)目標(biāo)信息包括[分類(lèi)編號(hào)，置信度，x，y，width，height]；(22)過(guò)濾掉置信度低于置信度閾值0.2的目標(biāo)，[分類(lèi)編號(hào)，置信度]因和時(shí)序無(wú)關(guān)被舍棄，而位置信息[x,y,width,height]與時(shí)序相關(guān)保留下來(lái)；(23)在感興趣區(qū)域池化層，依據(jù)rpn算法生成的區(qū)域的映射關(guān)系中提取出多個(gè)目標(biāo)的空間特征，不同的目標(biāo)在外觀上會(huì)有差異，可以用來(lái)區(qū)分不同的目標(biāo)；(3)lstm目標(biāo)預(yù)測(cè)：lstm是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，使用lstm進(jìn)行目標(biāo)預(yù)測(cè)同樣需要先線(xiàn)下訓(xùn)練模型，然后線(xiàn)上處理圖像進(jìn)行預(yù)測(cè)；線(xiàn)下訓(xùn)練模型的過(guò)程為：(31)對(duì)訓(xùn)練視頻按照步驟(11)中的每秒提取4幀的時(shí)間間隔進(jìn)行解碼，提取圖像序列；(32)通過(guò)fasterr-cnn網(wǎng)絡(luò)對(duì)此圖像序列中的每一張圖像進(jìn)行檢測(cè)得到多個(gè)目標(biāo)的位置信息和空間特征；(33)lstm網(wǎng)絡(luò)設(shè)置為6層，每次取出連續(xù)相鄰6張圖像中同一個(gè)目標(biāo)的空間特征和位置信息輸入到lstm網(wǎng)絡(luò)中，訓(xùn)練中的損失函數(shù)使用均方誤差計(jì)算位置信息的差距，計(jì)算方式如下：其中，ldet是fasterr-cnn網(wǎng)絡(luò)檢測(cè)出下一個(gè)時(shí)刻的位置，lpred是lstm網(wǎng)絡(luò)輸出的預(yù)測(cè)位置；位置數(shù)值要?dú)w一化到[0-1]區(qū)間之內(nèi)；(34)通過(guò)不斷的迭代，使lstm網(wǎng)絡(luò)輸出的位置越來(lái)越接近目標(biāo)在下一時(shí)刻的位置，依此來(lái)學(xué)習(xí)到目標(biāo)的運(yùn)動(dòng)規(guī)律，進(jìn)行軌跡預(yù)測(cè)。線(xiàn)上實(shí)際處理過(guò)程為：取出同一個(gè)目標(biāo)在連續(xù)6張圖像序列中的空間特征和位置信息輸入到網(wǎng)絡(luò)中，經(jīng)過(guò)網(wǎng)絡(luò)的處理后輸出結(jié)果即為目標(biāo)在下一時(shí)刻的預(yù)測(cè)位置；(4)目標(biāo)匹配：(41)將同一個(gè)目標(biāo)在相鄰連續(xù)時(shí)刻的空間特征融合得到目標(biāo)的融合特征，計(jì)算方式為：其中，tn代表tn-1的上一時(shí)刻，fo,t代表目標(biāo)在時(shí)刻t的融合特征，代表此目標(biāo)在t1時(shí)刻的空間特征，代表此目標(biāo)在t2時(shí)刻的空間特征，融合特征計(jì)算示意圖如圖2所示；(42)將目標(biāo)的融合特征fo,t和目標(biāo)在當(dāng)前時(shí)刻提取的空間特征fs,t對(duì)比，使用余弦相似度計(jì)算其特征相似度f(wàn)，計(jì)算方式如下：(43)將目標(biāo)通過(guò)lstm方法預(yù)測(cè)的位置矩形ro和目標(biāo)在當(dāng)前時(shí)刻檢測(cè)出的位置矩形rs對(duì)比，使用矩形的面積交并比iou計(jì)算位置相似度r，表示如下：矩形r1與r2的iou1,2計(jì)算方式如下：sinter＝(min(r1.r,r2.r)-max(r1.l,r2.l))*(min(r1.b,r2.b)-max(r1.t,r2.t))其中，r1.t,r1.b,r1.l,r1.r分別代表矩形r1的上、下、左、右邊界值，r2.t,r2.b,r2.l,r2.r分別代表矩形r2的上、下、左、右邊界值，sinter為兩個(gè)矩形的重疊面積，s1和s2分別代表兩個(gè)矩形的面積；(44)將特征相似度和位置相似度結(jié)合起來(lái)，添加特征相似度權(quán)值w1，w1＝0.6位置相似度權(quán)值w2，w2＝0.4進(jìn)行平衡以獲取最好的效果，最終的匹配策略如下所示：diffs,o＝w1f+w2r(45)將在當(dāng)前時(shí)刻檢測(cè)出的一個(gè)目標(biāo)與處于追蹤狀態(tài)的所有目標(biāo)進(jìn)行相似度比較得到相似度最高的，即diffs,o值最大的目標(biāo)作待定匹配目標(biāo)；設(shè)最大值為diff，若diff值大于匹配閾值0.65，則認(rèn)為匹配成功，否則匹配失敗，為新出現(xiàn)的目標(biāo)。整個(gè)過(guò)程的流程圖如圖3所示；(46)在目標(biāo)匹配之后，需要更新目標(biāo)的追蹤狀態(tài)；目標(biāo)的追蹤狀態(tài)有四種狀態(tài)：初始追蹤狀態(tài)os_begin、追蹤過(guò)程中os_tracking、未成功匹配os_unmatch和目標(biāo)追蹤結(jié)束os_end；目標(biāo)未匹配狀態(tài)下，可能發(fā)生了目標(biāo)遮擋、未檢測(cè)出目標(biāo)或者目標(biāo)剛剛離開(kāi)畫(huà)面，仍然要對(duì)目標(biāo)進(jìn)行追蹤；目標(biāo)追蹤結(jié)束表明目標(biāo)可能追蹤失敗或者目標(biāo)離開(kāi)視頻畫(huà)面；其中，目標(biāo)的初始追蹤狀態(tài)是在匹配過(guò)程中設(shè)置的；若目標(biāo)處理初始追蹤狀態(tài)，當(dāng)前時(shí)刻處理結(jié)束后更新為追蹤過(guò)程中，使其在下一時(shí)刻進(jìn)行匹配；若目標(biāo)正處于追蹤過(guò)程中狀態(tài)，則檢查目標(biāo)在當(dāng)前時(shí)刻是否匹配到追蹤中的目標(biāo)，若匹配成功，則添加此信息到目標(biāo)中，更新目標(biāo)的融合特征并預(yù)測(cè)目標(biāo)在下一時(shí)刻的位置信息；若匹配失敗，則設(shè)置為目標(biāo)未匹配狀態(tài)，將其預(yù)測(cè)的位置作為在目標(biāo)在當(dāng)前時(shí)刻的位置；若目標(biāo)處于未匹配狀態(tài)，表示目標(biāo)在上一時(shí)刻中未匹配成功，需要檢查在當(dāng)前時(shí)刻是否成功匹配，若匹配成功，則設(shè)置為追蹤過(guò)程中，表明目標(biāo)遮擋結(jié)束或者再次被檢測(cè)到；若匹配失敗，則需要檢查目標(biāo)處于未匹配狀態(tài)下的連續(xù)幀數(shù)，若超過(guò)一定幀數(shù)，則認(rèn)為目標(biāo)離開(kāi)畫(huà)面或者追蹤失敗，設(shè)置為追蹤結(jié)束狀態(tài)；否則，保持當(dāng)前狀態(tài)，繼續(xù)使用預(yù)測(cè)信息作為在目標(biāo)在當(dāng)前時(shí)刻的結(jié)果；若目標(biāo)處理追蹤結(jié)束狀態(tài)，則將其移除追蹤隊(duì)列中，不再進(jìn)行目標(biāo)匹配。實(shí)驗(yàn)測(cè)試：實(shí)驗(yàn)的主機(jī)軟件環(huán)境為ubuntu16.04lts64位、opencv3.1.0、cuda8.0，硬件配置中cpu為intelcorei5-6500、gpu為geforcegtx1080。使用motchallenge中的評(píng)價(jià)方法，選取了以下幾個(gè)指標(biāo)：fn：漏檢個(gè)數(shù)，值越低效果越好；fp：虛警個(gè)數(shù)，值越低效果越好；idsw：所有目標(biāo)發(fā)生跳變的個(gè)數(shù)，值越低效果越好；mota：通過(guò)漏檢個(gè)數(shù)、虛警個(gè)數(shù)和目標(biāo)發(fā)生跳變的個(gè)數(shù)3個(gè)指標(biāo)計(jì)算得出的多目標(biāo)跟蹤的準(zhǔn)確度，是多目標(biāo)追蹤評(píng)判標(biāo)準(zhǔn)中最主要的綜合指標(biāo)，展示了目標(biāo)追蹤到的個(gè)數(shù)和目標(biāo)匹配的準(zhǔn)確度，值越高效果越好；motp：依據(jù)所有跟蹤目標(biāo)的平均邊框重疊率計(jì)算得到的多目標(biāo)跟蹤的精確度，表明目標(biāo)在位置結(jié)果中的精確度，值越高效果越好；hz：系統(tǒng)在一段時(shí)間內(nèi)追蹤的圖像幀數(shù)平均值，以秒為單位，作為評(píng)價(jià)追蹤算法執(zhí)行效率和速度的指標(biāo)，值越高性能越好；實(shí)驗(yàn)通過(guò)motchallenge數(shù)據(jù)集中的視頻的結(jié)果來(lái)對(duì)比本發(fā)明使用方法與目前大部分方法中基于卷積神經(jīng)網(wǎng)絡(luò)提取空間特征方法的效果，記m1為單獨(dú)使用空間深度特征進(jìn)行匹配的方法，m2為單獨(dú)使用時(shí)序上的位置進(jìn)行匹配的方法，m3為兩者結(jié)合起來(lái)使用的方法。使用三個(gè)方法分別對(duì)視頻venice-1和mot16-3進(jìn)行追蹤，視頻信息如表1所示，實(shí)驗(yàn)結(jié)果如下表2所示。由表1、表2可以看出，視頻venice-1的目標(biāo)密度適中，特征區(qū)分度比較高，單獨(dú)使用每一種策略可以取得不錯(cuò)的結(jié)果，多策略方法能夠提升準(zhǔn)確度。對(duì)于視頻mot16-3，目標(biāo)密度高，使用多策略方法對(duì)準(zhǔn)確度有很大的提升。表1測(cè)試視頻信息表視頻venice-1mot16-3分辨率1920*10801920*1080時(shí)間時(shí)長(zhǎng)(幀)4501500目標(biāo)個(gè)數(shù)4563104556目標(biāo)密度中等超高表2不同視頻在不同策略下的追蹤結(jié)果依據(jù)idsw的得分可以看出，視頻mot16-3在方法m2上的值遠(yuǎn)大于方法m3，說(shuō)明在目標(biāo)密度比較高的情況下，基于位置的匹配較容易出錯(cuò)，主要在于密度高導(dǎo)致多個(gè)目標(biāo)的位置重疊率高，不容易區(qū)分。依據(jù)fn可以看出，兩個(gè)視頻的在方法m2的值都要小于m1，說(shuō)明lstm的預(yù)測(cè)能力能夠減少漏檢率。視頻venice-1的追蹤結(jié)果如圖4所示，視頻mot16-3在部分區(qū)域的追蹤結(jié)果如圖5所示，其中灰色細(xì)線(xiàn)矩形框代表目標(biāo)經(jīng)過(guò)檢測(cè)后追蹤到的結(jié)果，白色粗線(xiàn)矩形框代表沒(méi)有檢測(cè)到或者遮擋中的目標(biāo)經(jīng)過(guò)預(yù)測(cè)的結(jié)果。矩形框上方的數(shù)字代表追蹤到的目標(biāo)編號(hào)，由此來(lái)比較目標(biāo)的匹配情況，右下角數(shù)字代表圖像在視頻中的幀號(hào)。由展示的追蹤結(jié)果可以看出圖像中的行人都被正確的追蹤為同一個(gè)目標(biāo)。本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁(yè)12