基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及復(fù)雜環(huán)境下的目標(biāo)跟蹤領(lǐng)域，具體涉及一種基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法。
【背景技術(shù)】
[0002]目標(biāo)跟蹤是指對(duì)視頻中指定的目標(biāo)進(jìn)行連續(xù)跟蹤定位。具體講，就是在視頻起始幀框出要跟蹤的目標(biāo)(或者通過(guò)檢測(cè)算法得到要跟蹤的目標(biāo))并提取出跟蹤目標(biāo)位置的相關(guān)信息，然后在后續(xù)幀中自動(dòng)識(shí)別并跟蹤目標(biāo)的位置直至視頻結(jié)束。目標(biāo)跟蹤具有很大的現(xiàn)實(shí)意義，特別是復(fù)雜背景下的目標(biāo)跟蹤技術(shù)，現(xiàn)今目標(biāo)跟蹤技術(shù)越來(lái)越廣泛地應(yīng)用于電場(chǎng)環(huán)境、軍事視覺(jué)制導(dǎo)、安全檢測(cè)、交通管理、重要場(chǎng)所的安保等許多重要的領(lǐng)域。
[0003]現(xiàn)有的目標(biāo)跟蹤方法根據(jù)其跟蹤目標(biāo)的表達(dá)方式以及相似度度量方法可分為五大類(lèi):基于主動(dòng)輪廓線的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于模型的跟蹤和基于運(yùn)動(dòng)特征的跟蹤。
[0004]1、基于主動(dòng)輪廓線的跟蹤。該類(lèi)方法采用分割的思想，先對(duì)目標(biāo)進(jìn)行分割，再將目標(biāo)邊緣輪廓提取出來(lái)作為模板，然后對(duì)接下來(lái)的每幀圖像都進(jìn)行二值化操作，并跟蹤圖像的信息自動(dòng)更新邊緣輪廓并跟蹤。但是該類(lèi)方法在目標(biāo)邊界與背景部分特征相近或者目標(biāo)被部分及全部遮擋的情況下，目標(biāo)模型通常容易退化，跟蹤效果將受到很到限制。
[0005]2、基于特征的跟蹤。該類(lèi)方法通過(guò)提取對(duì)尺度變換、旋轉(zhuǎn)及部分遮擋不敏感的特征點(diǎn)，比如:紋理、顏色、邊緣等特征。然后對(duì)目標(biāo)的局部特征點(diǎn)進(jìn)行匹配以此達(dá)到跟蹤的任務(wù)。但是該類(lèi)方法在目標(biāo)運(yùn)動(dòng)狀態(tài)比較復(fù)雜，或者目標(biāo)出現(xiàn)暫時(shí)消失的情況，就難以繼續(xù)跟蹤，而且該類(lèi)方法難以滿足跟蹤的實(shí)時(shí)性要求。
[0006]3、基于區(qū)域的跟蹤。該類(lèi)方法通過(guò)設(shè)置不同的偏移值，將跟蹤目標(biāo)在當(dāng)前幀進(jìn)行偏移，然后根據(jù)相似性度量算法對(duì)每次偏移得到的圖像與當(dāng)前幀圖像進(jìn)行相關(guān)性處理，目標(biāo)的位置即相似度最大的位置，最后在后續(xù)幀中采用相關(guān)匹配準(zhǔn)則繼續(xù)跟蹤目標(biāo)。但是該類(lèi)方法在復(fù)雜背景下會(huì)導(dǎo)致前景背景分割不好影響最后的跟蹤。
[0007]4、基于模型的跟蹤。該類(lèi)方法采用一些先驗(yàn)知識(shí)來(lái)獲得目標(biāo)模型，跟蹤過(guò)程即將運(yùn)動(dòng)區(qū)域和目標(biāo)模型進(jìn)行匹配的過(guò)程。對(duì)于剛體目標(biāo)，該類(lèi)方法無(wú)需時(shí)時(shí)跟蹤模型，而對(duì)于非剛體目標(biāo)，就要對(duì)模型進(jìn)行更新。但是該類(lèi)方法需要事先了解相應(yīng)目標(biāo)的模型結(jié)構(gòu)，但是實(shí)際運(yùn)用中無(wú)法事先知道目標(biāo)的結(jié)果，而且該類(lèi)方法也不具備實(shí)時(shí)性能。
[0008]5、基于運(yùn)動(dòng)特性的跟蹤。該類(lèi)方法跟蹤目標(biāo)在較短時(shí)間間隔內(nèi)的運(yùn)動(dòng)特性建立運(yùn)動(dòng)模型并利用該模型預(yù)測(cè)估計(jì)目標(biāo)在下一刻可能的位置，并以估計(jì)的位置為中心，再擴(kuò)展一定區(qū)域，之后在這個(gè)區(qū)域內(nèi)搜索目標(biāo)最佳位置的一種運(yùn)動(dòng)預(yù)測(cè)跟蹤方法。但是該類(lèi)方法需要保存大量之前的運(yùn)動(dòng)矢量信息，難以在時(shí)間系統(tǒng)中應(yīng)用。

【發(fā)明內(nèi)容】

[0009]有鑒于此，本發(fā)明的目的是提供一種一種基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法，該類(lèi)方法在復(fù)雜的環(huán)境下可實(shí)時(shí)完成對(duì)目標(biāo)的跟蹤，并且能保證跟蹤的性能。
[0010]本發(fā)明采用以下方案實(shí)現(xiàn):一種基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法，其特征在于包括以下步驟:
步驟S1:進(jìn)行目標(biāo)定位:在視頻第一幀中框出需要跟蹤的目標(biāo)或?qū)η捌谀繕?biāo)檢測(cè)算法檢測(cè)到的目標(biāo)進(jìn)行跟蹤；
步驟S2:提供一檢測(cè)模塊、一跟蹤模塊以及一綜合模塊，所述所述檢測(cè)模塊與跟蹤模塊可同時(shí)獨(dú)立運(yùn)行，用以對(duì)需要跟蹤的目標(biāo)進(jìn)行檢測(cè)與跟蹤；
步驟S3:模塊初始化:根據(jù)所述步驟SI中框出需要跟蹤的目標(biāo)，對(duì)所述檢測(cè)模塊內(nèi)設(shè)置的檢測(cè)器以及所述跟蹤模塊內(nèi)設(shè)置的跟蹤器進(jìn)行初始化；
步驟S4:下一幀圖像輸入:根據(jù)既定的幀率，輸入下一幀圖像；
步驟S5:同時(shí)進(jìn)入檢測(cè)模塊與跟蹤模塊:所述檢測(cè)模塊內(nèi)的檢測(cè)器在上一幀中跟蹤目標(biāo)進(jìn)行多尺度檢測(cè)并輸出結(jié)果；所述跟蹤模塊內(nèi)的跟蹤器對(duì)上一幀中跟蹤目標(biāo)進(jìn)行跟蹤，并輸出跟S示結(jié)果；
步驟S6:進(jìn)入整合模塊:所述整合模塊接收所述步驟S5中檢測(cè)模塊與跟蹤模塊輸出的結(jié)果，并對(duì)所有結(jié)果進(jìn)行綜合分析，將置信度最高的結(jié)果作為當(dāng)前幀的跟蹤目標(biāo)進(jìn)行輸出；
步驟S7:結(jié)果顯示:對(duì)所述步驟S6中整合模塊的輸出進(jìn)行判斷，若有輸出結(jié)果，則在當(dāng)前視頻幀中框出該位置，若沒(méi)有則不做操作；
步驟S8:判斷視頻幀是否結(jié)束，若該視頻幀還沒(méi)結(jié)束，則返回步驟S4，若該視頻幀結(jié)束，則結(jié)束，完成目標(biāo)跟蹤任務(wù)。
[0011]進(jìn)一步地，所述步驟S5中所述檢測(cè)器包括方差過(guò)濾器與極限學(xué)習(xí)機(jī)分類(lèi)器，所述方差過(guò)濾器用以在快速將大部分的背景區(qū)域?yàn)V除，并求取留下的極少部分候選區(qū)域的方向梯度直方圖，將所述方向梯度直方圖送入訓(xùn)練好的極限學(xué)習(xí)機(jī)分類(lèi)器中進(jìn)行分類(lèi)，丟棄背景區(qū)域。
[0012]進(jìn)一步地，所述步驟S5中所述檢測(cè)器在上一幀中跟蹤目標(biāo)進(jìn)行多尺度檢測(cè)的檢測(cè)策略為:在上一幀中跟蹤目標(biāo)位置的局部區(qū)域內(nèi)進(jìn)行多尺度檢測(cè)，若檢測(cè)到跟蹤目標(biāo)則輸出結(jié)果，若沒(méi)有檢測(cè)到跟蹤目標(biāo)，則在當(dāng)前幀的全局區(qū)域進(jìn)行多尺度檢測(cè)并輸出結(jié)果。檢測(cè)器輸出的若輸出多個(gè)目標(biāo)結(jié)果，則需要采用聚類(lèi)算法，對(duì)多個(gè)目標(biāo)目標(biāo)位置進(jìn)行聚類(lèi)。其中局部區(qū)域的大小設(shè)置為為目標(biāo)框區(qū)域大小的2倍；若在局部區(qū)域里沒(méi)有檢測(cè)到目標(biāo)，則需要在除了檢測(cè)過(guò)的局部區(qū)域以外的周邊區(qū)域進(jìn)行檢測(cè)；多尺度檢測(cè)的尺度因子為1.2，最小目標(biāo)框尺寸為20個(gè)像素點(diǎn)。
[0013]進(jìn)一步地，所述極限學(xué)習(xí)機(jī)分類(lèi)器在所述步驟S2中完成初始化訓(xùn)練，具體訓(xùn)練過(guò)程為:隨機(jī)提取10張與目標(biāo)區(qū)域重疊80%以上的圖像塊，并分別作仿射變換生成200張目標(biāo)訓(xùn)練樣本；在遠(yuǎn)離目標(biāo)的區(qū)域隨機(jī)提取200張圖像塊作為背景訓(xùn)練樣本，對(duì)所述背景訓(xùn)練樣本進(jìn)行尺度歸一化并提取方向梯度直方圖作為特征訓(xùn)練極限學(xué)習(xí)機(jī)。
[0014]進(jìn)一步地，所述步驟S5中，所述跟蹤器對(duì)上一幀中跟蹤目標(biāo)進(jìn)行跟蹤的跟蹤策略為:采用前向后向跟蹤算法，求取特征點(diǎn)的SIFT描述子用以匹配跟蹤目標(biāo)，具體包括以下步驟:
步驟S51:將當(dāng)前幀圖像進(jìn)行網(wǎng)格化，并選擇網(wǎng)格的左上角的點(diǎn)作為特征點(diǎn)； 步驟S52:采用Lucas-Kanade光流法預(yù)測(cè)特征點(diǎn)在下一幀的位置；
步驟S53:采用Lucas-Kanade光流法從下一幀往回跟蹤，獲得前向預(yù)測(cè)跟反向預(yù)測(cè)軌跡位移偏差，丟棄位移偏差超過(guò)閾值的特征點(diǎn)；
步驟S54:求取剩下的特征點(diǎn)的SIFT描述子；
步驟S55:對(duì)所述步驟S54中所有求取SIFT描述子刻畫(huà)的特征點(diǎn)進(jìn)行匹配，若一特征點(diǎn)的相似度小于中值，則丟棄該特征點(diǎn)，若一特征點(diǎn)的相似度不小于中值，則保留該特征占.V，
步驟S56:若所述步驟S55保留的特征點(diǎn)個(gè)數(shù)少于閾值，則得到跟蹤的目標(biāo)區(qū)域，若所述步驟S55保留的特征點(diǎn)個(gè)數(shù)大于閾值，則輸出跟蹤到的目標(biāo)區(qū)域；所述閾值為10個(gè)特征點(diǎn)。
[0015]進(jìn)一步地，所述步驟S6中所述整合模塊接收結(jié)果與綜合分析的具體方法為:所述整合模塊首先判斷所述跟蹤模塊與所述檢測(cè)模塊是否有結(jié)果輸出，若兩個(gè)模塊都沒(méi)有輸出結(jié)果的話，則表示該幀沒(méi)有跟蹤到目標(biāo)，則無(wú)結(jié)果輸出；若兩個(gè)模塊均有結(jié)果輸出則先判斷兩個(gè)模塊的輸出結(jié)果區(qū)域重疊率是否大于0.6，若重疊率大于0.6，則對(duì)重疊的目標(biāo)區(qū)域進(jìn)行聚類(lèi)并輸出最終的結(jié)果；若重疊率不大于0.6，則將所有的候選區(qū)域與目標(biāo)模型進(jìn)行匹配，若匹配的置信度大于0.5，則將置信度最大的區(qū)域作為最終的目標(biāo)區(qū)域。
[0016]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于:1、本發(fā)明基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法，由于該方法將跟蹤技術(shù)與檢測(cè)技術(shù)結(jié)合起來(lái)完成對(duì)目標(biāo)的跟蹤，并且跟蹤技術(shù)與檢測(cè)技術(shù)分別處理，可以達(dá)到互為監(jiān)督糾正的功能，因此對(duì)目標(biāo)出現(xiàn)遮擋、背景相似等情況具有魯棒性。2、本發(fā)明基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法，由于該方法檢測(cè)模塊中的第一步:積分圖方差過(guò)濾器能快速消除大部分背景區(qū)域，以及采用局部-全局搜索相結(jié)合的方式，由此提高跟蹤速度。3、本發(fā)明基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法，由于該方法采用的極限學(xué)習(xí)機(jī)具備很好的分類(lèi)性能，學(xué)習(xí)速度極快從而可以滿足跟蹤的實(shí)時(shí)性及精度。
[0017]4、本發(fā)明基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法，由于該方法在跟蹤模塊中結(jié)合SIFT描述子的特征點(diǎn)匹配方法，由此可提高最終的跟蹤精度。
【附圖說(shuō)明】
[0018]圖1為本發(fā)明的基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法的總體框圖。
[0019]圖2為本發(fā)明中檢測(cè)模塊的流程圖。
[0020]圖3為本發(fā)明中跟蹤模塊的流程圖。
[0021]圖4為本發(fā)明中整合模塊的流程圖。
[0022]
【具體實(shí)施方式】
[0023]下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做進(jìn)一步說(shuō)明。
[0024]本實(shí)施例提供一種基于極限學(xué)習(xí)機(jī)的復(fù)雜背景下目標(biāo)跟蹤方法，如圖1所示，其特征在于包括以下步驟:
步驟S1:進(jìn)行目標(biāo)定位:在視頻第一幀中框出需要跟蹤的目標(biāo)或?qū)η捌谀繕?biāo)檢測(cè)算法檢測(cè)到的目標(biāo)進(jìn)行跟蹤；
步驟S2:提供一檢測(cè)模塊、一跟蹤模塊以及一綜合模塊，所述所述檢測(cè)模塊與跟蹤模塊可同時(shí)獨(dú)立運(yùn)行，用以對(duì)需要跟蹤的目標(biāo)進(jìn)行檢測(cè)與跟蹤；
步驟S3:模塊初始化:根據(jù)所述步驟SI中框出需要跟蹤的目標(biāo)，對(duì)所述檢測(cè)模塊內(nèi)設(shè)置的檢測(cè)器以及所述跟蹤模塊內(nèi)設(shè)置的跟蹤器進(jìn)行初始化；
步驟S4:下一幀圖像輸入:根據(jù)既定的幀率，輸入下一幀圖像；
步驟S5:同時(shí)進(jìn)入檢測(cè)模塊與跟蹤