本發(fā)明涉及目標(biāo)檢測和定位領(lǐng)域，尤其是涉及了一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法。

背景技術(shù)：

目標(biāo)跟蹤定位技術(shù)是目前極具挑戰(zhàn)性的研究熱點(diǎn)之一，到現(xiàn)在已經(jīng)形成了一系列的方法，其在視頻監(jiān)控、智能交通、人機(jī)交互和軍事領(lǐng)域都具有巨大的應(yīng)用前景。目標(biāo)跟蹤問題的主要技術(shù)難點(diǎn)是實(shí)時、準(zhǔn)確和穩(wěn)定地將感興趣的目標(biāo)變現(xiàn)出來，但是目標(biāo)可能由于照明、遮擋、變形、運(yùn)動模糊等而難以檢測，目前大多數(shù)檢測技術(shù)的準(zhǔn)確率和穩(wěn)定性都不高，因此目標(biāo)對象的檢測和準(zhǔn)確定位仍存在一定難度。

本發(fā)明提出了一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法，先提取關(guān)鍵點(diǎn)，顏色(RGB)和局部二值相似性模式(LBSP)特征為初始化的邊界框，構(gòu)建外觀模型，再觀察模型比較關(guān)鍵點(diǎn)描述符，并進(jìn)行目標(biāo)定位，通過評估關(guān)鍵點(diǎn)的接近度來適應(yīng)關(guān)鍵點(diǎn)的一致性，最后添加和刪除關(guān)鍵點(diǎn)來更新外觀模型。本發(fā)明采用多錨點(diǎn)跟蹤，有助于跟蹤一般的和可變形的目標(biāo)對象，沒有對特定目標(biāo)對象的限制；減少了照明、遮擋、變形、運(yùn)動模糊等產(chǎn)生的影響，提高了分辨率和識別性能。

技術(shù)實(shí)現(xiàn)要素：

針對準(zhǔn)確率和穩(wěn)定性不高的問題，本發(fā)明的目的在于提供一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法，先提取關(guān)鍵點(diǎn)，RGB和LBSP特征為初始化的邊界框，構(gòu)建外觀模型，再觀察模型比較關(guān)鍵點(diǎn)描述符，并進(jìn)行目標(biāo)定位，通過評估關(guān)鍵點(diǎn)的接近度來適應(yīng)關(guān)鍵點(diǎn)的一致性，最后添加和刪除關(guān)鍵點(diǎn)來更新外觀模型。

為解決上述問題，本發(fā)明提供一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法，其主要內(nèi)容包括：

(一)特征提??；

(二)構(gòu)建外觀模型；

(三)觀察模型；

(四)目標(biāo)定位；

(五)一致性適應(yīng)；

(六)外觀模型更新。

其中，所述的特征提取，它提取三個特征，即，點(diǎn)特征(指向目標(biāo)中心的向量編碼的關(guān)鍵點(diǎn))、顏色(RGB)和局部二值相似性模式(LBSP)；首先，針對邊界框檢測和描述關(guān)鍵點(diǎn)，將其編碼到錨點(diǎn)中；使用尺度不變特征變換(SIFT)的關(guān)鍵點(diǎn)，因?yàn)樗鼈儗τ谡彰?，旋轉(zhuǎn)，標(biāo)度等是魯棒的，可以使用任何其他關(guān)鍵點(diǎn)；類似地，對于包含在邊界框中的目標(biāo)，計算RGB直方圖和LBSP描述符；LBSP是一個16位的二進(jìn)制編碼的描述符，提供了像素級建模；在RGB顏色模型中，所有的像素值在初始化包圍盒的加權(quán)三維直方圖中計算；因此，在建議的跟蹤框架中，保留三個特征作為參考模型的目標(biāo)進(jìn)行跟蹤；為了目標(biāo)定位，僅使用錨點(diǎn)特征，在錨點(diǎn)外觀模型更新期間使用顏色和像素級特征。

其中，所述的構(gòu)建外觀模型，從初始軸向包圍盒中得到濾波后的關(guān)鍵點(diǎn)，可以表示為G(P,L)的有向星狀圖結(jié)構(gòu)的形式可視化，其中，頂點(diǎn)指向中心；P代表屬于目標(biāo)的關(guān)鍵點(diǎn)和邊緣L，表示頂點(diǎn)和結(jié)構(gòu)根之間的連接；關(guān)鍵點(diǎn)的向量是邊緣，記為指向中心；其中，包含關(guān)鍵點(diǎn)的位置相對于中心的歐氏距離；因此，錨點(diǎn)外觀模型包括以下內(nèi)容：

(1)錨點(diǎn)模型中關(guān)鍵點(diǎn)的描述符；

(2)約束描述其相對于目標(biāo)中心位置關(guān)鍵點(diǎn)的向量，由L表示一致性；

(3)短期(ST)和長期(LT)關(guān)鍵點(diǎn)，表明關(guān)鍵點(diǎn)與目標(biāo)的相關(guān)性；位于目標(biāo)中心附近的關(guān)

鍵點(diǎn)將具有與其他目標(biāo)相比更高的LT一致性，并且在跟蹤過程期間在線適應(yīng)學(xué)習(xí)參數(shù)。

其中，所述的觀察模型，在第一幀中構(gòu)造外觀模型后，針對后續(xù)幀檢測和描述關(guān)鍵點(diǎn)；然后通過使用L2范數(shù)(測度空間上的平方可積函數(shù)構(gòu)成的函數(shù)空間)比較它們的特征描述符，使這些關(guān)鍵點(diǎn)與存在于錨點(diǎn)外觀模型中的關(guān)鍵點(diǎn)的特征描述符相匹配；為了過濾不良的關(guān)鍵點(diǎn)匹配，使用比率測試刪除距離比大于0.9的匹配；此外，確定連續(xù)幀之間的關(guān)鍵點(diǎn)相互匹配對應(yīng)，不考慮用于投射和目標(biāo)定位的單側(cè)匹配關(guān)鍵點(diǎn)，只保留雙面相互匹配。

其中，所述的目標(biāo)定位，考慮通過圖像空間中目標(biāo)中心的關(guān)鍵點(diǎn)進(jìn)行可視化投射；關(guān)鍵點(diǎn)指向目標(biāo)中心的像素位置，使中心比周圍的其他像素位置給出更有價值的高斯補(bǔ)??；因此，當(dāng)關(guān)鍵點(diǎn)k_i匹配時，它投射目標(biāo)中心x，其結(jié)構(gòu)化約束向量為：

其中，P(x|k_i)是由關(guān)鍵點(diǎn)給出的約束向量分?jǐn)?shù)，k_i是目標(biāo)中心，x和∑是協(xié)方差；

每個關(guān)鍵點(diǎn)對于具有受約束的矢量得分、長期一致性和短期一致性的目標(biāo)中心投射，作為得分矩陣SM中的總分?jǐn)?shù)；目標(biāo)中心的總分可以表達(dá)為似然函數(shù)，由關(guān)鍵點(diǎn)的約束向量分?jǐn)?shù)、長期一致性和短期一致性的數(shù)量積給出；作為關(guān)鍵點(diǎn)總分?jǐn)?shù)的函數(shù)似然表達(dá)式可以寫為：

其中，是關(guān)鍵點(diǎn)長期一致性，是關(guān)鍵點(diǎn)的短期一致性，是針對匹配的錨點(diǎn)外觀模型中包含的關(guān)鍵點(diǎn)設(shè)置的指示符函數(shù)當(dāng)前幀；K是存在于錨點(diǎn)外觀模型中的關(guān)鍵點(diǎn)的總數(shù)；將各個分?jǐn)?shù)的和最高簇作為最終目標(biāo)中心位置，表示為x_OCenter；

x_OCenter＝argmax(SM(x)|x∈SM) (3)

因此，最終目標(biāo)位置由上式給出。

其中，所述的一致性適應(yīng)，包括模型參數(shù)估計和模型參數(shù)適應(yīng)。

進(jìn)一步地，所述的模型參數(shù)估計，包括長期(LT)關(guān)鍵點(diǎn)的一致性和短期(ST)關(guān)鍵點(diǎn)的一致性。

進(jìn)一步地，所述的長期(LT)關(guān)鍵點(diǎn)的一致性，使用與關(guān)鍵點(diǎn)相關(guān)聯(lián)的接近度的度量來估計關(guān)鍵點(diǎn)，并且計算目標(biāo)中心關(guān)鍵點(diǎn)的預(yù)測接近度，表示為使用公式(3)最終獲得目標(biāo)中心，使用公式(4)計算當(dāng)前幀T；

因此，與其他點(diǎn)相比，更接近中心的關(guān)鍵點(diǎn)將具有更高的接近值；最終獲得的中心預(yù)測關(guān)鍵點(diǎn)分配為0.0的值，從而減少它們對未來幀的目標(biāo)中心的投射影響；此參數(shù)適用于所有幀；對于初始幀，使用公式(5)初始化外觀模型中存在的所有關(guān)鍵點(diǎn)的接近度量：

這里，是與幀T₀的每個關(guān)鍵點(diǎn)k_i相關(guān)聯(lián)的初始向量，α是接近系數(shù)；在第一幀LT關(guān)鍵點(diǎn)的一致性等于

進(jìn)一步地，所述的短期(ST)關(guān)鍵點(diǎn)的一致性，通過分析預(yù)測關(guān)鍵點(diǎn)到幀t中的最終目標(biāo)中心的距離，可以控制k_i對投射中的未來目標(biāo)中心預(yù)測的影響；例如，如果目標(biāo)中心的關(guān)鍵點(diǎn)預(yù)測非常接近于在幀t中從公式(3)獲得的目標(biāo)中心，則使用公式(6)增加幀t+1的短期一致性；另一方面，如果關(guān)鍵點(diǎn)投射距離目標(biāo)中心遠(yuǎn)，則減小幀t+1的目標(biāo)中心預(yù)測的短期一致性；

如果關(guān)鍵點(diǎn)具有高度的長期一致性，并且突然產(chǎn)生外觀變化，對于具有較高投射分?jǐn)?shù)的目標(biāo)中心，關(guān)鍵點(diǎn)投射不正確；但如果分析短期一致性，其價值將變小，因此減少對公式(3)中的投射分?jǐn)?shù)的影響：

其中，η是比例因子。

進(jìn)一步地，所述的模型參數(shù)適應(yīng)，根據(jù)關(guān)系點(diǎn)的接近度度量，為外觀模型中存在的所有關(guān)鍵點(diǎn)調(diào)整長期一致性；與預(yù)測更遠(yuǎn)的關(guān)鍵點(diǎn)相比，更頻繁匹配的關(guān)鍵點(diǎn)將具有更大的接近度，并且對于這些關(guān)鍵點(diǎn)，它們的單獨(dú)預(yù)測更接近于從公式(3)獲得的多數(shù)預(yù)測；它還指示關(guān)鍵點(diǎn)屬于目標(biāo)還是背景關(guān)鍵點(diǎn)，因?yàn)槿绻P(guān)鍵點(diǎn)不是中心預(yù)測或者預(yù)測非常遠(yuǎn)，則其接近度將變小，長期一致性也將減??；最終，如公式(7)：

其中，δ是適應(yīng)因子。

其中，所述的外觀模型更新，僅當(dāng)實(shí)現(xiàn)高跟蹤質(zhì)量時才更新外觀模型；用于測量跟蹤質(zhì)量的標(biāo)準(zhǔn)基于兩個特征，即局部像素級LBSP(局部二值相似性模式)特征和全局RGB顏色特征；僅錨點(diǎn)外觀模型用于目標(biāo)定位，并且在基于匹配的LBSP的相似性標(biāo)準(zhǔn)和初始幀保持為參考模型的RGB顏色特征的跟蹤處理期間被更新；因此，在跟蹤器使用錨點(diǎn)模型進(jìn)行每個目標(biāo)定位之后，針對所獲得的邊界框的LBSP和RGB顏色模型，與它們各自的LBSP和加權(quán)RGB參考模型的相似性進(jìn)行匹配；使用漢明距離使LBSP描述符與相似性匹配，并且使用L2范數(shù)分別匹配加權(quán)顏色直方圖的相似性；

如果相似性比較與參考模型一致，則將新的錨點(diǎn)添加到錨點(diǎn)外觀模型；新添加的關(guān)鍵點(diǎn)用它們各自的結(jié)構(gòu)化約束向量和一致性值初始化；從模型中刪除長期一致性差和低于的閾值的關(guān)鍵點(diǎn)。

附圖說明

圖1是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的構(gòu)建外觀模型。

圖3是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的目標(biāo)定位。

圖4是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的一致性適應(yīng)。

具體實(shí)施方式

需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)說明。

圖1是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的系統(tǒng)流程圖。主要包括特征提取，構(gòu)建外觀模型，觀察模型，目標(biāo)定位，一致性適應(yīng)和外觀模型更新。

特征提取，它提取三個特征，即，點(diǎn)特征(指向目標(biāo)中心的向量編碼的關(guān)鍵點(diǎn))、顏色(RGB)和局部二值相似性模式(LBSP)；首先，針對邊界框檢測和描述關(guān)鍵點(diǎn)，將其編碼到錨點(diǎn)中；使用尺度不變特征變換(SIFT)的關(guān)鍵點(diǎn)，因?yàn)樗鼈儗τ谡彰?，旋轉(zhuǎn)，標(biāo)度等是魯棒的，可以使用任何其他關(guān)鍵點(diǎn)；類似地，對于包含在邊界框中的目標(biāo)，計算RGB直方圖和LBSP描述符；LBSP是一個16位的二進(jìn)制編碼的描述符，提供了像素級建模；在RGB顏色模型中，所有的像素值在初始化包圍盒的加權(quán)三維直方圖中計算；因此，在建議的跟蹤框架中，保留三個特征作為參考模型的目標(biāo)進(jìn)行跟蹤；為了目標(biāo)定位，僅使用錨點(diǎn)特征，在錨點(diǎn)外觀模型更新期間使用顏色和像素級特征。

觀察模型，在第一幀中構(gòu)造外觀模型后，針對后續(xù)幀檢測和描述關(guān)鍵點(diǎn)；然后通過使用L2范數(shù)(測度空間上的平方可積函數(shù)構(gòu)成的函數(shù)空間)比較它們的特征描述符，使這些關(guān)鍵點(diǎn)與存在于錨點(diǎn)外觀模型中的關(guān)鍵點(diǎn)的特征描述符相匹配；為了過濾不良的關(guān)鍵點(diǎn)匹配，使用比率測試刪除距離比大于0.9的匹配；此外，確定連續(xù)幀之間的關(guān)鍵點(diǎn)相互匹配對應(yīng)，不考慮用于投射和目標(biāo)定位的單側(cè)匹配關(guān)鍵點(diǎn)，只保留雙面相互匹配。

外觀模型更新，僅當(dāng)實(shí)現(xiàn)高跟蹤質(zhì)量時才更新外觀模型；用于測量跟蹤質(zhì)量的標(biāo)準(zhǔn)基于兩個特征，即局部像素級LBSP(局部二值相似性模式)特征和全局RGB顏色特征；僅錨點(diǎn)外觀模型用于目標(biāo)定位，并且在基于匹配的LBSP的相似性標(biāo)準(zhǔn)和初始幀保持為參考模型的RGB顏色特征的跟蹤處理期間被更新；因此，在跟蹤器使用錨點(diǎn)模型進(jìn)行每個目標(biāo)定位之后，針對所獲得的邊界框的LBSP和RGB顏色模型，與它們各自的LBSP和加權(quán)RGB參考模型的相似性進(jìn)行匹配；使用漢明距離使LBSP描述符與相似性匹配，并且使用L2范數(shù)分別匹配加權(quán)顏色直方圖的相似性；

如果相似性比較與參考模型一致，則將新的錨點(diǎn)添加到錨點(diǎn)外觀模型；新添加的關(guān)鍵點(diǎn)用它們各自的結(jié)構(gòu)化約束向量和一致性值初始化；從模型中刪除長期一致性差和低于的閾值的關(guān)鍵點(diǎn)。

圖2是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的構(gòu)建外觀模型。從初始軸向包圍盒中得到濾波后的關(guān)鍵點(diǎn)，可以表示為G(P,L)的有向星狀圖結(jié)構(gòu)的形式可視化，其中，頂點(diǎn)指向中心；P代表屬于目標(biāo)的關(guān)鍵點(diǎn)和邊緣L，表示頂點(diǎn)和結(jié)構(gòu)根之間的連接；關(guān)鍵點(diǎn)的向量是邊緣，記為指向中心；其中，包含關(guān)鍵點(diǎn)的位置相對于中心的歐氏距離；因此，錨點(diǎn)外觀模型包括以下內(nèi)容：

(1)錨點(diǎn)模型中關(guān)鍵點(diǎn)的描述符；

(2)約束描述其相對于目標(biāo)中心位置關(guān)鍵點(diǎn)的向量，由L表示一致性；

(3)短期(ST)和長期(LT)關(guān)鍵點(diǎn)，表明關(guān)鍵點(diǎn)與目標(biāo)的相關(guān)性；位于目標(biāo)中心附近的關(guān)

鍵點(diǎn)將具有與其他目標(biāo)相比更高的LT一致性，并且在跟蹤過程期間在線適應(yīng)學(xué)習(xí)參數(shù)。

圖3是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的目標(biāo)定位?？紤]通過圖像空間中目標(biāo)中心的關(guān)鍵點(diǎn)進(jìn)行可視化投射；關(guān)鍵點(diǎn)指向目標(biāo)中心的像素位置，使中心比周圍的其他像素位置給出更有價值的高斯補(bǔ)??；因此，當(dāng)關(guān)鍵點(diǎn)k_i匹配時，它投射目標(biāo)中心x，其結(jié)構(gòu)化約束向量為：

其中，P(x|k_i)是由關(guān)鍵點(diǎn)給出的約束向量分?jǐn)?shù)，k_i是目標(biāo)中心，x和∑是協(xié)方差；

每個關(guān)鍵點(diǎn)對于具有受約束的矢量得分、長期一致性和短期一致性的目標(biāo)中心投射，作為得分矩陣SM中的總分?jǐn)?shù)；目標(biāo)中心的總分可以表達(dá)為似然函數(shù)，由關(guān)鍵點(diǎn)的約束向量分?jǐn)?shù)、長期一致性和短期一致性的數(shù)量積給出；作為關(guān)鍵點(diǎn)總分?jǐn)?shù)的函數(shù)似然表達(dá)式可以寫為：

其中，是關(guān)鍵點(diǎn)長期一致性，是關(guān)鍵點(diǎn)的短期一致性，是針對匹配的錨點(diǎn)外觀模型中包含的關(guān)鍵點(diǎn)設(shè)置的指示符函數(shù)當(dāng)前幀；K是存在于錨點(diǎn)外觀模型中的關(guān)鍵點(diǎn)的總數(shù)；將各個分?jǐn)?shù)的和最高簇作為最終目標(biāo)中心位置，表示為x_OCenter；

x_OCenter＝argmax(SM(x)|x∈SM) (3)

因此，最終目標(biāo)位置由上式給出。

圖4是本發(fā)明一種基于多錨點(diǎn)跟蹤的目標(biāo)檢測和定位的方法的一致性適應(yīng)。包括模型參數(shù)估計和模型參數(shù)適應(yīng)。

其中，模型參數(shù)估計包括長期(LT)關(guān)鍵點(diǎn)的一致性和短期(ST)關(guān)鍵點(diǎn)的一致性。

長期(LT)關(guān)鍵點(diǎn)的一致性：使用與關(guān)鍵點(diǎn)相關(guān)聯(lián)的接近度的度量來估計關(guān)鍵點(diǎn)，并且計算目標(biāo)中心關(guān)鍵點(diǎn)的預(yù)測接近度，表示為使用公式(3)最終獲得目標(biāo)中心，使用公式(4)計算當(dāng)前幀T；

因此，與其他點(diǎn)相比，更接近中心的關(guān)鍵點(diǎn)將具有更高的接近值；最終獲得的中心預(yù)測關(guān)鍵點(diǎn)分配為0.0的值，從而減少它們對未來幀的目標(biāo)中心的投射影響；此參數(shù)適用于所有幀；對于初始幀，使用公式(5)初始化外觀模型中存在的所有關(guān)鍵點(diǎn)的接近度量：

這里，是與幀T₀的每個關(guān)鍵點(diǎn)k_i相關(guān)聯(lián)的初始向量，α是接近系數(shù)；在第一幀LT關(guān)鍵點(diǎn)的一致性等于

短期(ST)關(guān)鍵點(diǎn)的一致性：通過分析預(yù)測關(guān)鍵點(diǎn)到幀t中的最終目標(biāo)中心的距離，可以控制k_i對投射中的未來目標(biāo)中心預(yù)測的影響；例如，如果目標(biāo)中心的關(guān)鍵點(diǎn)預(yù)測非常接近于在幀t中從公式(3)獲得的目標(biāo)中心，則使用公式(6)增加幀t+1的短期一致性；另一方面，如果關(guān)鍵點(diǎn)投射距離目標(biāo)中心遠(yuǎn)，則減小幀t+1的目標(biāo)中心預(yù)測的短期一致性；

如果關(guān)鍵點(diǎn)具有高度的長期一致性，并且突然產(chǎn)生外觀變化，對于具有較高投射分?jǐn)?shù)的目標(biāo)中心，關(guān)鍵點(diǎn)投射不正確；但如果分析短期一致性，其價值將變小，因此減少對公式(3)中的投射分?jǐn)?shù)的影響：

其中，η是比例因子。

其中，模型參數(shù)適應(yīng)，根據(jù)關(guān)系點(diǎn)的接近度度量，為外觀模型中存在的所有關(guān)鍵點(diǎn)調(diào)整長期一致性；與預(yù)測更遠(yuǎn)的關(guān)鍵點(diǎn)相比，更頻繁匹配的關(guān)鍵點(diǎn)將具有更大的接近度，并且對于這些關(guān)鍵點(diǎn)，它們的單獨(dú)預(yù)測更接近于從公式(3)獲得的多數(shù)預(yù)測；它還指示關(guān)鍵點(diǎn)屬于目標(biāo)還是背景關(guān)鍵點(diǎn)，因?yàn)槿绻P(guān)鍵點(diǎn)不是中心預(yù)測或者預(yù)測非常遠(yuǎn)，則其接近度將變小，長期一致性也將減?。蛔罱K，如公式(7)：

其中，δ是適應(yīng)因子。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。