本發(fā)明涉及計算機視覺領域,具體涉及一種基于自適應搜索的目標跟蹤方法及裝置。
背景技術:
在計算機視覺領域,目標跟蹤一直是熱點研究領域之一。所謂目標跟蹤,即是在一個連續(xù)的圖像序列中,對感興趣的目標進行持續(xù)的定位的過程。目標跟蹤廣泛應用于軍事、交通、監(jiān)控等多個領域。由于光照變化,目標形變,目標遮擋以及實時性等因素影響,精確的目標跟蹤算法還難以實現(xiàn)。
核相關濾波跟蹤算法是近年來發(fā)展起來的一種效果較好的跟蹤算法,采用循環(huán)移位的思想,構造大量的樣本來訓練分類器,同時利用離散傅里葉變換降低分類器訓練和檢測過程中的運算量。
但是核相關濾波跟蹤算法存在一些固有的問題:首先,當目標物體被連續(xù)遮擋時,遮擋物會遮擋住目標,從而導致跟蹤結果偏離。其次,在目標物體的尺度或形態(tài)發(fā)生較大變化的情況下,跟蹤性能受到很大的限制。因此如何在跟蹤目標發(fā)生變化時更好的進行跟蹤稱為亟待解決的問題。再次,如果目標物體快速移動,超出了跟蹤算法的搜索區(qū)域,則無法跟蹤到目標物體,導致跟蹤性能也會受到影響。
技術實現(xiàn)要素:
因此,本發(fā)明要解決的技術問題在于現(xiàn)有技術中的跟蹤方法當目標物體被遮擋或尺寸發(fā)生變化或目標物體快速移動超出目標跟蹤范圍時導致跟蹤失敗。
為此,本發(fā)明提供一種基于自適應搜索的目標的跟蹤方法,其包括如下步驟:
獲取目標物體的原始位置;
根據(jù)所述原始位置對目標物體進行跟蹤,得到跟蹤位置;
計算所述跟蹤位置與目標物體的原始位置的相似度;
判斷所述相似度是否小于預設閾值;
若所述相似度小于預設閾值,通過級聯(lián)檢測器獲取多個候選跟蹤區(qū)域,將所述候選跟蹤區(qū)域聚類置信度最高的區(qū)域為跟蹤結果,用所述跟蹤結果更新所述目標物體的原始位置,下一幀圖像中在更新后的位置對目標物體進行跟蹤;
若所述相似度不小于預設閾值,則獲取跟蹤位置中的目標物體的尺寸,根據(jù)目標物體的尺寸更新原始目標物體,下一幀圖像根據(jù)更新后的目標尺寸對目標物體進行跟蹤。
優(yōu)選地,對目標物體進行跟蹤的步驟中,采用核相關濾波跟蹤算法進行跟蹤。
優(yōu)選地,所述級聯(lián)檢測器包括依次連接的方差分類器、集成分類器和最近鄰分類器。
優(yōu)選地,所述集成分類器和所述最近鄰分類器通過正負樣本來訓練。
此外,本發(fā)明提供一種快速移動目標的跟蹤裝置,包括:
原始位置提取單元,用于獲取目標物體的原始位置;
跟蹤單元,用于根據(jù)所述原始位置對目標物體進行跟蹤,得到跟蹤位置;
相似度計算單元,用于計算所述跟蹤位置與目標物體的原始位置的相似度;
判斷單元,用于判斷所述相似度是否小于預設閾值;
判斷所述相似度是否小于預設閾值;
第一跟蹤單元,用于若所述相似度小于預設閾值,通過級聯(lián)檢測器獲取多個候選跟蹤區(qū)域,將所述候選跟蹤區(qū)域聚類置信度最高的區(qū)域為跟蹤結果,用所述跟蹤結果更新所述目標物體的原始位置,下一幀圖像中在更新后的位置對目標物體進行跟蹤;
第二跟蹤單元,用于若所述相似度不小于預設閾值,則獲取跟蹤位置中的目標物體的尺寸,根據(jù)目標物體的尺寸更新原始目標物體,下一幀圖像根據(jù)更新后的目標尺寸對目標物體進行跟蹤。
優(yōu)選地,采用核相關濾波跟蹤算法進行跟蹤。
優(yōu)選地,所述級聯(lián)檢測器包括依次連接的方差分類器、集成分類器和最近鄰分類器。
優(yōu)選地,所述集成分類器和所述最近鄰分類器通過正負樣本來訓練。
本發(fā)明技術方案,具有如下優(yōu)點:
本發(fā)明提供的基于自適應搜索的目標的跟蹤方法,首先獲取目標物體的原始位置,根據(jù)該位置對目標物體進行跟蹤,得到跟蹤位置,然后計算所述跟蹤位置與目標物體的原始位置的相似度,若所述相似度小于預設閾值,通過級聯(lián)檢測器獲取多個候選跟蹤區(qū)域,將所述候選跟蹤區(qū)域聚類置信度最高的區(qū)域為跟蹤結果;若所述相似度不小于預設閾值,則獲取跟蹤位置中的目標物體的尺寸,根據(jù)目標物體的尺寸更新原始目標物體,下一幀圖像根據(jù)更新后的目標尺寸對目標物體進行跟蹤。該方案中,通過級聯(lián)檢測器對跟蹤結果進行校對,如果與原始位置的差別太大,則說明目標快速移動而導致跟蹤失敗,此時則通過級聯(lián)檢測器檢測出現(xiàn)目標物體的多個區(qū)域,通過聚類選擇最優(yōu)的區(qū)域作為跟蹤結果。如果差別較小,則說明跟蹤成功,但目標物體的尺寸或形態(tài)發(fā)生變化,通過最新的目標物體的形態(tài)更新原始目標,為后續(xù)準確跟蹤奠定基礎。該方法能夠克服現(xiàn)有算法在目標快速移動條件下或在目標物體遮擋、尺寸變化時導致跟蹤失敗的情況,改善現(xiàn)有算法的性能。
附圖說明
為了更清楚地說明本發(fā)明具體實施方式或現(xiàn)有技術中的技術方案,下面將對具體實施方式或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實施方式,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例中一種基于自適應搜索的目標跟蹤方法的一個具體示例的流程圖。
圖2為本發(fā)明實施例中一種基于自適應搜索的目標跟蹤裝置的一個具體示例的結構框圖;
具體實施方式
下面將結合附圖對本發(fā)明的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
在本發(fā)明的描述中,需要說明的是,術語“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置關系,僅是為了便于描述本發(fā)明和簡化描述,而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作,因此不能理解為對本發(fā)明的限制。此外,術語“第一”、“第二”、“第三”僅用于描述目的,而不能理解為指示或暗示相對重要性。
在本發(fā)明的描述中,需要說明的是,除非另有明確的規(guī)定和限定,術語“安裝”、“相連”、“連接”應做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或一體地連接;可以是機械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連,還可以是兩個元件內(nèi)部的連通,可以是無線連接,也可以是有線連接。對于本領域的普通技術人員而言,可以具體情況理解上述術語在本發(fā)明中的具體含義。
此外,下面所描述的本發(fā)明不同實施方式中所涉及的技術特征只要彼此之間未構成沖突就可以相互結合。
實施例1
本實施例中提供一種基于自適應搜索的目標跟蹤方法,用于跟蹤目標物體,尤其對于快速移動的目標物體可以更好的進行跟蹤。該方法可以用戶電腦、服務器等智能設備中,對輸入的視頻中的目標物體進行跟蹤。
本實施例中的基于自適應搜索的目標跟蹤方法如圖1所示,包括如下步驟:
S1、獲取目標物體的原始位置。在視頻初始幀,給定目標初始位置。
S2、根據(jù)所述原始位置對目標物體進行跟蹤,得到跟蹤位置,跟蹤位置為一個矩形框。對目標物體進行跟蹤的步驟中,采用核相關濾波跟蹤算法進行跟蹤。
核相關濾波算法的跟蹤過程可以分解為如下幾步:
第一步,在初始幀圖像中,目標初始位置位于位置p(t)。在第I(t)幀圖像中,在位置p(t)附近采樣,訓練一個回歸器,這個回歸器能夠計算每個采樣小窗口的響應。
第二步,在I(t+1)幀中,在前一幀位置p(t)附近采樣,用上一幀訓練的回歸器計算每個采樣窗口的響應,響應最大的窗口作為本幀的目標位置p(t+1),該目標位置即為跟蹤結果。
核相關濾波算法具有以下優(yōu)點:首先,使用目標區(qū)域周圍區(qū)域的循環(huán)矩陣采集正負樣本,利用嶺回歸訓練回歸器,并成功的利用循環(huán)矩陣在傅里葉空間可對角化的性質,大大降低運算量,提高算法運算速度。其次,將線性嶺回歸通過核函數(shù)映射到非線性空間,使線性不可分的樣本在非線性空間中可分。
核相關濾波算法中,所有的訓練樣本是由目標樣本循環(huán)移位得到,循環(huán)移位可由排列矩陣得到,對于二維圖像,可以通過x軸和y軸分別循環(huán)移動實現(xiàn)不同位置的移動。
通過循環(huán)移位構造出來的二維圖像訓練樣本如下所示:
這樣所有的訓練樣本就得到了,然后通過嶺回歸和傅里葉變換的方法訓練分類器。
設訓練樣本集(xi,yi),那么其線性回歸函數(shù)f(xi)=ωTxi,w是列向量表示權重系數(shù),可通過最小二乘法求解,
通過求偏導數(shù),進行化簡,得到最后解析解的形式:
w=(XHY+λ)-1XHy
然后通過引入傅里葉變換,降低矩陣求逆的計算復雜度。
S3、計算所述跟蹤位置與目標物體的原始位置的相似度。
可以通過最近鄰分類器來計算跟蹤位置與目標物體的原始位置的相似度,在最近鄰分類器中預先存儲目標物體的原始位置。跟蹤結果返回目標矩形框,計算該位置與最近鄰分類器中保存的真實的目標位置的相關相似度S(r)。
S4、判斷所述相似度是否小于預設閾值。S(r)大于或等于閾值則認為跟蹤成功,執(zhí)行S5-S6;若S(r)小于設定的閾值,就認為當前目標由于快速移動導致跟蹤失敗,執(zhí)行S7-S9。
S5、若所述相似度大于預設閾值,獲取跟蹤位置中的目標物體的尺寸。
S6、根據(jù)目標物體的尺寸更新原始目標物體,下一幀圖像中在更新后的位置對目標物體進行跟蹤。這種情況下認為跟蹤成功,但是由于物體的尺寸形態(tài)等發(fā)生變化,此時需要進一步對目標物體的尺寸進行調(diào)整,以使其與遮擋或尺寸變化后的圖像相適應。能夠克服現(xiàn)有技術中的跟蹤方法當目標物體被遮擋或尺寸發(fā)生變化時導致跟蹤失敗,改善現(xiàn)有算法的性能。
S7、若所述相似度小于預設閾值,通過級聯(lián)檢測器獲取多個候選跟蹤區(qū)域。
由于跟蹤算法在新的一幀跟蹤時,是在上一幀的目標位置附近采樣,計算回歸響應,這就導致算法無法解決目標快速移動和尺度變化的情況,因此引入級聯(lián)檢測器部分對這兩種情況進行修正。
級聯(lián)檢測器通過滑動窗口來掃描輸入圖像,然后判斷每個窗口中有沒有目標,級聯(lián)檢測器主要包含三個模塊:方差分類器,集成分類器和最近鄰分類器。
初始化階段:按照一定的步長和縮放比例得到能夠包含所有可能的大小和變換的初始掃描網(wǎng)格,正樣本從給定目標初始位置合成得到。在距離初始矩形框最近的掃描網(wǎng)格中,選擇10個矩形框,對于每一個矩形框,我們通過幾何變換(±1%的偏移,±1%比例縮放,±10°的平面旋轉)生成20個不同矩形框,并附加以方差為5的標準高斯噪聲,最后得到200個正樣本。負樣本是從初始矩形框的周圍搜選得到的,不需要進行仿射變換。
通過初始化得到的正負樣本,訓練集成分類器和最近鄰分類器。
最近鄰分類器中相關相似度S(r)變化范圍從0到1。取值越大表示圖像塊越有可能是目標區(qū)域。
其中S(+)是正樣本相似度:
其中S(-)是負樣本相似度:
在最近鄰分類器計算過程中,相關相似度S(r)被用于指出一個任意的圖像塊和目標模型中的部分有多大的相似。如果Sr(p,M)>θNN,那么圖像p被分類為正樣本,否則就被分類為負樣本。
掃描圖像分類階段:在方差分類器模塊中,計算圖像塊方差,如果這個圖像塊的方差小于目標圖像塊方差的一半,就拒絕這個圖像塊。集成分類器是由一系列基本分類器組成,通過計算圖像的LBP特征,來判斷圖像塊是否輸出。通過前兩步,圖像塊得到了大幅的減少,利用最近鄰分類器,輸出最終的目標區(qū)域,此處的目標區(qū)域便是候選跟蹤區(qū)域。
S8、將所述候選跟蹤區(qū)域聚類置信度最高的區(qū)域為跟蹤結果。針對級聯(lián)檢測器會返回若干個候選跟蹤區(qū)域,每個候選跟蹤區(qū)域對應一個相關相似度,通過聚類,得到幾個最可信的目標區(qū)域,利用加權平均,輸出最終的一個檢測結果。
S9、用所述跟蹤結果更新所述目標物體的原始位置,下一幀圖像中在更新后的位置對目標物體進行跟蹤。從而提高了后續(xù)幀圖像跟蹤的準確度。
該方案中,通過級聯(lián)檢測器對跟蹤結果進行校對,如果與原始位置的差別太大,則說明目標快速移動而導致跟蹤失敗,此時則通過級聯(lián)檢測器檢測出現(xiàn)目標物體的多個區(qū)域,通過聚類選擇最優(yōu)的區(qū)域作為跟蹤結果。如果差別較小,則說明跟蹤成功,但目標物體的尺寸或形態(tài)發(fā)生變化,通過最新的目標物體的形態(tài)更新原始目標,為后續(xù)準確跟蹤奠定基礎。該方法能夠克服現(xiàn)有算法在目標快速移動條件下或在目標物體遮擋、尺寸變化時導致跟蹤失敗的情況,改善現(xiàn)有算法的性能。
與現(xiàn)有技術相比,基于核相關濾波算法利用循環(huán)矩陣的方法,有效的構造大量樣本,能夠得到較好的分類器,并利用傅里葉變換降低運算時間,同時本發(fā)明利用級聯(lián)檢測器檢測結果,有效的解決了目標快速移動和目標多尺度的問題。
實施例2:
本實施例中提供一種基于自適應搜索的目標的跟蹤裝置,用于對視頻圖像中的目標物體進行跟蹤,尤其適用于快速移動的目標和存在遮擋的目標,該裝置結構如圖2所示,包括:
原始位置提取單元21,用于獲取目標物體的原始位置;
跟蹤單元22,用于根據(jù)所述原始位置對目標物體進行跟蹤,得到跟蹤位置;采用核相關濾波跟蹤算法進行跟蹤。
相似度計算單元23,用于計算所述跟蹤位置與目標物體的原始位置的相似度;
判斷單元24,用于判斷所述相似度是否小于預設閾值;
第一跟蹤單元25,用于若所述相似度小于預設閾值,通過級聯(lián)檢測器獲取多個候選跟蹤區(qū)域,將所述候選跟蹤區(qū)域聚類置信度最高的區(qū)域為跟蹤結果,用所述跟蹤結果更新所述目標物體的原始位置,下一幀圖像中在更新后的位置對目標物體進行跟蹤;
第二跟蹤單元26,用于若所述相似度不小于預設閾值,則獲取跟蹤位置中的目標物體的尺寸,根據(jù)目標物體的尺寸更新原始目標物體,下一幀圖像根據(jù)更新后的目標尺寸對目標物體進行跟蹤。
其中,采用核相關濾波跟蹤算法進行跟蹤。所述級聯(lián)檢測器包括依次連接的方差分類器、集成分類器和最近鄰分類器。所述集成分類器和所述最近鄰分類器通過正負樣本來訓練。
本領域內(nèi)的技術人員應明白,本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此,本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且,本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質
(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。
本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合??商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上,使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理,從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
顯然,上述實施例僅僅是為清楚地說明所作的舉例,而并非對實施方式的限定。對于所屬領域的普通技術人員來說,在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護范圍之中。