專利名稱：基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種目標(biāo)跟蹤方法，具體涉及一種基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法。
背景技術(shù)：
目標(biāo)跟蹤在視覺導(dǎo)航、行為識別、智能交通、環(huán)境監(jiān)測、戰(zhàn)場偵察、軍事打擊等眾多領(lǐng)域有非常廣泛的研究和應(yīng)用。目前，經(jīng)典的相關(guān)跟蹤方法對于目標(biāo)的縮放、旋轉(zhuǎn)、遮擋等適應(yīng)性不佳；研究比較熱門的以SIFT為代表的不變性特征，SIFT算法通過計算多個尺度下不同窗口的高斯濾波處理圖像來實現(xiàn)對目標(biāo)的多尺度縮放、旋轉(zhuǎn)、模糊等的魯棒性，但其計算量大、復(fù)雜度高，難以滿足實時處理需求；而均值漂移理論采用直方圖作為特征并用核概率密度估計的方法實現(xiàn)目標(biāo)跟蹤，其雖然對目標(biāo)的遮擋、旋轉(zhuǎn)有一定魯棒性，但對于大角度的旋轉(zhuǎn)以及超平面旋轉(zhuǎn)則效果不佳；以粒子濾波、卡爾曼濾波為代表的基于濾波理論的目標(biāo)跟蹤方法以濾波預(yù)測為核心思想，對目標(biāo)的部分和全部遮擋有很好的魯棒性，但是目標(biāo)跟蹤尚有很多問題，如目標(biāo)的大尺度縮放、旋轉(zhuǎn)、超平面旋轉(zhuǎn)、光照變化、部分遮擋、模糊、目標(biāo)在視場中消失后的重新捕獲等；沒有很好的完整的解決方案，隨著對統(tǒng)計學(xué)習(xí)理論的研究和半監(jiān)督學(xué)習(xí)理論在圖像領(lǐng)域的應(yīng)用，為本發(fā)明提供了靈感和技術(shù)支持，本發(fā)明所提出的方法從目標(biāo)的建模、跟蹤、檢測，到聯(lián)合、學(xué)習(xí)更新是一個完整的實現(xiàn)長期、穩(wěn)定目標(biāo)跟蹤的構(gòu)架，可以很好解決以上所有問題。發(fā)明內(nèi)容
本發(fā)明為解決現(xiàn)有目標(biāo)跟蹤方法的計算量大、復(fù)雜度高，難以滿足實時處理需求， 對于大角度的旋轉(zhuǎn)以及超平面旋轉(zhuǎn)效果差，并且在目標(biāo)的大尺度縮放、旋轉(zhuǎn)、超平面旋轉(zhuǎn)、 超平面旋轉(zhuǎn)、噪聲、遮擋、粘連、攝像機抖動、模糊以及目標(biāo)在視場中消失后的重新捕獲等難題，提供一種基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法。
基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，該方法由以下步驟實現(xiàn)
步驟一、在線模型初始化，對輸入圖像進行不同尺寸的S形窗口掃描，獲得窗口圖像的尺寸及位置，將得到的窗口圖像尺寸大于閾值的保留，并計算保留的各個窗口圖像與初始點選的目標(biāo)的重疊率，取重疊率最大的窗口圖像作為正實例，在重疊率小于閾值且方差大于閾值的窗口圖像中隨機取出多個窗口圖像作為負實例，將得到的正實例和負實例進行圖像規(guī)范化后加入在線模型；
步驟二、檢測器初始化，生成多棵隨機蕨類的相對位置，并對各棵蕨類的各特征值是正實例的數(shù)量、負實例的數(shù)量以及是正實例的后驗概率初始化為O ;
步驟三、訓(xùn)練檢測器，計算步驟一所述的不同尺寸的S形窗口掃描后保留的各個窗口圖像與初始點選的目標(biāo)的重疊率，取重疊率最大的多個窗口圖像作為正實例，并計算所述正實例的窗口圖像的隨機蕨類的特征值；再對獲得的正實例的窗口圖像進行隨機角度、隨機位移、隨機尺度的仿射變換并加入白噪聲后計算各個窗口圖像隨機蕨類的特征值，取重疊率小于一定閾值并且方差大于正實例方差的窗口圖像作為負實例，并計算所述負實例的隨機蕨類特征值，將獲得的正實例的隨機蕨類特征值和負實例的隨機蕨類特征值更新步驟二所述的各棵蕨類的各特征值是正實例的數(shù)量、是負實例的數(shù)量以及是正實例的后驗概率；判斷是否有新一幀圖像，如果是，執(zhí)行步驟四，如果否，執(zhí)行步驟九；
步驟四、短期目標(biāo)跟蹤，首先對上一幀窗口圖像在上一幀的目標(biāo)位置進行橫豎各十次采樣，選出一百個點作為特征點，對本幀窗口圖像采用基于Lucas-Kanade算法進行特征點匹配，找到上一幀窗口圖像與本幀窗口圖像匹配的特征點集，并計算匹配點間的歸一化互相關(guān)系數(shù)以及所述歸一化互相關(guān)系數(shù)的中值，取歸一化互相關(guān)系數(shù)中大于中值的對應(yīng)匹配點確定當(dāng)前幀的窗口圖像的目標(biāo)位置和尺寸；
步驟五、跟蹤有效性評估，對步驟四所述的短期目標(biāo)跟蹤獲得的當(dāng)前幀的窗口圖像的目標(biāo)位置對應(yīng)的窗口圖像進行規(guī)范化，并計算規(guī)范化后的窗口圖像與在線模型的距離，計算當(dāng)前幀的窗口圖像的目標(biāo)位置的置信度，如果置信度大于閾值則當(dāng)前幀的窗口圖像的目標(biāo)位置有效，否則，該目標(biāo)位置無效；
步驟六、檢測器檢測，計算步驟一獲得的各個窗口圖像的位置對應(yīng)當(dāng)前幀的窗口圖像的隨機蕨類特征值，并采用步驟三獲得的隨機蕨類特征值是正實例的后驗概率進行加權(quán)計算，取計算結(jié)果大于閾值的窗口圖像作為正實例，將所述正實例的窗口圖像進行規(guī)范化后采用最近鄰原則計算正實例的窗口圖像的置信度，取置信度大于閾值的窗口圖像作為檢測結(jié)果；
步驟七、檢測器檢測結(jié)果與短期目標(biāo)跟蹤結(jié)果的聯(lián)合，分四種情況進行處理
第一種情況、短期目標(biāo)跟蹤結(jié)果和檢測器檢測的結(jié)果均有輸出，則對短期目標(biāo)跟蹤的結(jié)果和檢測器檢測的結(jié)果進行聚類，判斷聚類結(jié)果是否為一個類，如果是，并且該類與短期目標(biāo)跟蹤結(jié)果的重疊率小于閾值，閾值為O. 5，并且聚類結(jié)果的置信度大于短期跟蹤結(jié)果的置信度，則返回步驟二，并將跟蹤系統(tǒng)的有效性置O ;如果否，采用檢測器檢測結(jié)果中與短期目標(biāo)跟蹤結(jié)果重疊率大于閾值的窗口圖像與短期目標(biāo)跟蹤結(jié)果進行加權(quán)平均，獲得當(dāng)前幀的窗口圖像的目標(biāo)位置；
第二種情況、短期目標(biāo)跟蹤有結(jié)果輸出，檢測器無結(jié)果輸出，將短期目標(biāo)跟蹤的結(jié)果和有效性分別作為跟蹤系統(tǒng)獲得的當(dāng)前幀的窗口圖像的目標(biāo)位置及有效性；
第三種情況、短期目標(biāo)跟蹤無結(jié)果輸出，檢測器有結(jié)果輸出，對檢測器的檢測結(jié)果進行聚類，如果結(jié)果為一類，采用檢測器檢測的結(jié)果對跟蹤系統(tǒng)重新初始化；
第四種情況、短期目標(biāo)跟蹤和檢測器均無結(jié)果輸出，不進行任何處理；
步驟八、學(xué)習(xí)并更新訓(xùn)練集，當(dāng)跟蹤系統(tǒng)的有效性為I時，計算步驟七獲得的短期目標(biāo)跟蹤結(jié)果的置信度和對應(yīng)窗口圖像位置的方差，并進行行為約束，若滿足方差大于正實例窗口圖像的方差、置信度大于閾值的學(xué)習(xí)更新條件，所述閾值為O. 5，則進行學(xué)習(xí)更新;
步驟九、窗口圖像的輸出顯不，判斷是否是最后一巾貞，如果是，結(jié)束；如果否，返回執(zhí)行步驟四。
本發(fā)明的有益效果本發(fā)明所述的基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，是一個完整的目標(biāo)跟蹤解決方案，在實際的視頻監(jiān)控、行為分析、智能交通、電子警察、精確制導(dǎo)等領(lǐng)域有廣闊的應(yīng)用；使用本跟蹤方法，用戶可以很好的解決當(dāng)前跟蹤算法中的經(jīng)典難題，實現(xiàn)對復(fù)雜背景下長期、穩(wěn)定、精確的目標(biāo)跟蹤，比如場景中目標(biāo)大尺度縮放、 旋轉(zhuǎn)、超平面旋轉(zhuǎn)、光照變化、遮擋、粘連、模糊等問題；并具有在全視場實時搜索能力，特別對于目標(biāo)忽然變軌或全部阻塞造成在視場中消失后又重新出現(xiàn)有快速捕獲的能力，同時由于是基于穩(wěn)定特征點的像素級跟蹤，目標(biāo)的尺寸、速度、方向都可以準(zhǔn)確計算，形成穩(wěn)定的目標(biāo)軌跡及目標(biāo)的全視角在線模型。


圖I為本發(fā)明所述的基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法的流程圖。
具體實施方式
具體實施方式
一、結(jié)合圖I說明本實施方式，基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，本方法通過建立目標(biāo)的全視角在線模型，通過跟蹤、檢測及其聯(lián)合得到目標(biāo)的位置，并進行學(xué)習(xí)后對檢測器及在線模型更新，該方法由以下步驟實現(xiàn)
一、在線模型初始化，對輸入圖像進行不同尺度的S形窗口掃描，將得到的尺寸大于閾值(thw=24)的窗口保留，并計算保留的各窗口圖像與初始點選的目標(biāo)的重疊率，取重疊率最大的窗口圖像作為正實例，在重疊率小于一定閾值(overlap〈0. 2)且窗口圖像的方差大于一定閾值(overlap〈0. 2)的所有窗口圖像中隨機取出若干個窗口圖像(n=100)作為負實例，將得到的正、負實例進行圖像規(guī)范化后加入在線模型；
二、檢測器初始化，生成隨機蕨類的相對位置，并對各棵蕨類的各特征值是正實例的數(shù)量、是負實例的數(shù)量以及是正實例的后驗概率均初始化為O ;
三、訓(xùn)練檢測器，計算不同尺度S形窗口掃描后保留的各窗口圖像與初始點選的目標(biāo)的重疊率，取重疊率最大的若干個窗口圖像作為正實例計算其隨機蕨類的特征值，將這些正實例窗口圖像進行隨機角度、隨機位移、隨機尺度的仿射變換并加入白噪聲后計算其隨機蕨類的特征值，并取重疊率小于一定(oVerlap〈0. 2)并且方差大于正實例窗口圖像的方差的窗口圖像作為負實例計算其隨機蕨類特征值，用此處得到的隨機蕨類特征值來更新各棵蕨類的各特征值是正實例的數(shù)量、是負實例的數(shù)量以及是正實例的后驗概率；
四、短期目標(biāo)跟蹤，首先在上一幀圖像對上一幀的目標(biāo)位置處進行橫豎各10次采樣，選出一百個點作為特征點，對本幀圖像采用基于Lucas-Kanade的特征點匹配，找到匹配的特征點集，并計算匹配點間的歸一化互相關(guān)系數(shù)并計算其中值，取所有歸一化互相關(guān)系數(shù)中大于中值的對應(yīng)匹配點確定當(dāng)前幀目標(biāo)位置和尺度。
五、跟蹤有效性評估，對“短期”目標(biāo)跟蹤得到的跟蹤結(jié)果對應(yīng)的窗口圖像進行規(guī)范化，并計算其與在線模型的距離，以及其置信度，若置信度大于一定閾值(thc=0.65)則認(rèn)為該跟蹤結(jié)果有效，否則認(rèn)為無效；
六、檢測器檢測，計算初始化時得到的各窗口位置對應(yīng)在當(dāng)前幀的窗口圖像的隨機蕨類特征值，并用之前得到的隨機蕨類各特征值是正實例的后驗概率進行加權(quán)投票，取投票結(jié)果大于閾值(thd=0.5)的窗口圖像作為正實例，將這些窗口圖像進行規(guī)范化，而后用最近鄰原則計算其置信度，取置信度大于閾值(thdc=0.65)的作為檢測結(jié)果；
七、檢測與跟蹤的聯(lián)合，將分四種情況進行處理第一種情況“短期”目標(biāo)跟蹤和檢測器檢測均有輸出，則對檢測到的結(jié)果進行聚類，若聚類結(jié)果為一個類，并且這個類與 “短期”目標(biāo)跟蹤結(jié)果的重疊率小于閾值(thdo=0. 5)，并且其置信度大于“短期”跟蹤的置信度，那么跟蹤系統(tǒng)將被重新初始化，并將跟蹤系統(tǒng)的有效性置O ;若聚類結(jié)果不是一個類， 那么利用檢測結(jié)果中與“短期”跟蹤結(jié)果重疊度大于一定閾值(thtdo=0.7)的塊與“短期” 跟蹤結(jié)果進行加權(quán)平均，得到當(dāng)前幀的目標(biāo)位置。
第二種情況跟蹤模塊有結(jié)果，而檢測模塊無輸出結(jié)果，此時，將跟蹤器的結(jié)果和有效性分別作為跟蹤系統(tǒng)得到的當(dāng)前幀目標(biāo)位置及有效性。
第三種情況跟蹤模塊無結(jié)果，檢測器有結(jié)果，那么也是對檢測結(jié)果進行聚類，若結(jié)果為一類，那么利用此結(jié)果對跟蹤系統(tǒng)重新初始化。
第四種情況跟蹤模塊和檢測模塊均無輸出結(jié)果，此模塊不進行任何處理。
八、學(xué)習(xí)并更新訓(xùn)練集，當(dāng)跟蹤系統(tǒng)的有效性為I時，則計算聯(lián)合得到的目標(biāo)跟蹤結(jié)果的置信度、對應(yīng)位置的方差，并進行行為約束，若這些均滿足學(xué)習(xí)更新條件則進行學(xué)習(xí)更新。
本實施方式所述的將窗口圖像進行規(guī)范化指的是將圖像的灰度取值拉伸至 0 255。
通過本實施方式的檢測與跟蹤的聯(lián)合得到的結(jié)果就是目標(biāo)在當(dāng)前幀的位置，從而可以計算出目標(biāo)的尺寸、速度、方向，在線模型中正實例即目標(biāo)的全視角模型，每幀隨著目標(biāo)在線模型不斷更新。
本發(fā)明所述的實施方法，并不僅限于本實施例，凡采用同等替換或等效變換形成的技術(shù)方案，均落在本發(fā)明要求保護的范圍之內(nèi)。
權(quán)利要求
1.基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，其特征是，該方法由以下步驟實現(xiàn) 步驟一、在線模型初始化，對輸入圖像進行不同尺寸的S形窗口掃描，獲得窗口圖像的尺寸及位置，將得到的窗口圖像尺寸大于閾值的保留，并計算保留的各個窗口圖像與初始點選的目標(biāo)的重疊率，取重疊率最大的窗口圖像作為正實例，在重疊率小于閾值且方差大于閾值的窗口圖像中隨機取出多個窗口圖像作為負實例，將得到的正實例和負實例進行圖像規(guī)范化后加入在線模型； 步驟二、檢測器初始化，生成多棵隨機蕨類的相對位置，并對各棵蕨類的各特征值是正實例的數(shù)量、負實例的數(shù)量以及是正實例的后驗概率初始化為O ; 步驟三、訓(xùn)練檢測器，計算步驟一所述的不同尺寸的S形窗口掃描后保留的各個窗口圖像與初始點選的目標(biāo)的重疊率，取重疊率最大的多個窗口圖像作為正實例，并計算所述正實例的窗口圖像的隨機蕨類的特征值；再對獲得的正實例的窗口圖像進行隨機角度、隨機位移、隨機尺度的仿射變換并加入白噪聲后計算各個窗口圖像隨機蕨類的特征值，取重疊率小于一定閾值并且方差大于正實例方差的窗口圖像作為負實例，并計算所述負實例的隨機蕨類特征值，將獲得的正實例的隨機蕨類特征值和負實例的隨機蕨類特征值更新步驟二所述的各棵蕨類的各特征值是正實例的數(shù)量、是負實例的數(shù)量以及是正實例的后驗概率；判斷是否有新一幀圖像，如果是，執(zhí)行步驟四，如果否，執(zhí)行步驟九； 步驟四、短期目標(biāo)跟蹤，首先對上一幀窗口圖像在上一幀的目標(biāo)位置進行橫豎各十次采樣，選出一百個點作為特征點，對本幀窗口圖像采用基于Lucas-Kanade算法進行特征點匹配，找到上一幀窗口圖像與本幀窗口圖像匹配的特征點集，并計算匹配點間的歸一化互相關(guān)系數(shù)以及所述歸一化互相關(guān)系數(shù)的中值，取歸一化互相關(guān)系數(shù)中大于中值的對應(yīng)匹配點確定當(dāng)前幀的窗口圖像的目標(biāo)位置和尺寸； 步驟五、跟蹤有效性評估，對步驟四所述的短期目標(biāo)跟蹤獲得的當(dāng)前幀的窗口圖像的目標(biāo)位置對應(yīng)的窗口圖像進行規(guī)范化，并計算規(guī)范化后的窗口圖像與在線模型的距離，計算當(dāng)前幀的窗口圖像的目標(biāo)位置的置信度，如果置信度大于閾值則當(dāng)前幀的窗口圖像的目標(biāo)位置有效，否則，該目標(biāo)位置無效； 步驟六、檢測器檢測，計算步驟一獲得的各個窗口圖像的位置對應(yīng)當(dāng)前幀的窗口圖像的隨機蕨類特征值，并采用步驟三獲得的隨機蕨類特征值是正實例的后驗概率進行加權(quán)計算，取計算結(jié)果大于閾值的窗口圖像作為正實例，將所述正實例的窗口圖像進行規(guī)范化后采用最近鄰原則計算正實例的窗口圖像的置信度，取置信度大于閾值的窗口圖像作為檢測結(jié)果; 步驟七、檢測器檢測結(jié)果與短期目標(biāo)跟蹤結(jié)果的聯(lián)合，分四種情況進行處理 第一種情況、短期目標(biāo)跟蹤結(jié)果和檢測器檢測的結(jié)果均有輸出，則對短期目標(biāo)跟蹤的結(jié)果和檢測器檢測的結(jié)果進行聚類，判斷聚類結(jié)果是否為一個類，如果是，并且該類與短期目標(biāo)跟蹤結(jié)果的重疊率小于閾值，閾值為0. 5，并且聚類結(jié)果的置信度大于短期跟蹤結(jié)果的置信度，則返回步驟二，并將跟蹤系統(tǒng)的有效性置0;如果否，采用檢測器檢測結(jié)果中與短期目標(biāo)跟蹤結(jié)果重疊率大于閾值的窗口圖像與短期目標(biāo)跟蹤結(jié)果進行加權(quán)平均，獲得當(dāng)前幀的窗口圖像的目標(biāo)位置； 第二種情況、短期目標(biāo)跟蹤有結(jié)果輸出，檢測器無結(jié)果輸出，將短期目標(biāo)跟蹤的結(jié)果和有效性分別作為跟蹤系統(tǒng)獲得的當(dāng)前幀的窗ロ圖像的目標(biāo)位置及有效性； 第三種情況、短期目標(biāo)跟蹤無結(jié)果輸出，檢測器有結(jié)果輸出，對檢測器的檢測結(jié)果進行聚類，如果結(jié)果為ー類，采用檢測器檢測的結(jié)果對跟蹤系統(tǒng)重新初始化； 第四種情況、短期目標(biāo)跟蹤和檢測器均無結(jié)果輸出，不進行任何處理； 步驟八、學(xué)習(xí)并更新訓(xùn)練集，當(dāng)跟蹤系統(tǒng)的有效性為I吋，計算步驟七獲得的短期目標(biāo)跟蹤結(jié)果的置信度和對應(yīng)窗ロ圖像位置的方差，并進行行為約束，若滿足方差大于正實例窗ロ圖像的方差、置信度大于閾值的學(xué)習(xí)更新條件，所述閾值為O. 5，則進行學(xué)習(xí)更新； 步驟九、窗ロ圖像的輸出顯示，判斷是否是最后ー幀，如果是，結(jié)束；如果否，返回執(zhí)行步驟四。
2.根據(jù)權(quán)利要求I所述的基于半監(jiān)瞀學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，其特征在于，步驟一所述的在重疊率小于閾值且方差大于閾值的窗ロ圖像中隨機取出多個窗ロ圖像作為負實例，所述閾值〈O. 2。
3.根據(jù)權(quán)利要求I所述的基于半監(jiān)瞀學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，其特征在于，步驟五所述的如果置信度大于閾值則當(dāng)前幀的窗ロ圖像的目標(biāo)位置有效，所述閾值為 O. 65。
4.根據(jù)權(quán)利要求I所述的基于半監(jiān)瞀學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，其特征在于，步驟六所述的取結(jié)果大于閾值的窗ロ圖像作為正實例中的閾值為0.5。
5.根據(jù)權(quán)利要求I所述的基于半監(jiān)瞀學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，其特征在于，步驟七所述的采用檢測器檢測結(jié)果中與短期目標(biāo)跟蹤結(jié)果重疊率大于閾值的窗ロ圖像與短期目標(biāo)跟蹤結(jié)果進行加權(quán)平均，獲得當(dāng)前幀的窗ロ圖像的目標(biāo)位置中的閾值為O. 7。
全文摘要
基于半監(jiān)督學(xué)習(xí)和隨機蕨類分類器的目標(biāo)跟蹤方法，涉及一種目標(biāo)跟蹤方法，解決現(xiàn)有目標(biāo)跟蹤方法的計算量大、復(fù)雜度高，難以滿足實時處理需求，對于大角度的旋轉(zhuǎn)以及超平面旋轉(zhuǎn)效果差等難題，本發(fā)明方法可以處理場景中目標(biāo)尺度變化、旋轉(zhuǎn)、超平面旋轉(zhuǎn)、噪聲、遮擋、粘連、攝像機抖動、模糊等難題，形成穩(wěn)定的目標(biāo)軌跡及目標(biāo)的全視角在線模型。該跟蹤方法包括在線模型初始化，生成正、實例，并對其進行規(guī)范化；檢測器初始化，；訓(xùn)練檢測器；“短期”跟蹤器跟蹤；跟蹤有效性評估；檢測器檢測；檢測與跟蹤的聯(lián)合；學(xué)習(xí)并更新訓(xùn)練集。該方法是完整的目標(biāo)跟蹤解決方案，在實際的視頻監(jiān)控、行為分析、智能交通、電子警察、精確制導(dǎo)等領(lǐng)域有廣闊的應(yīng)用。
文檔編號G06K9/62GK102982340SQ201210428369
公開日2013年3月20日 申請日期2012年10月31日 優(yōu)先權(quán)日2012年10月31日
發(fā)明者高文, 郝志成, 魯健峰, 朱明 申請人:中國科學(xué)院長春光學(xué)精密機械與物理研究所