單目標(biāo)跟蹤方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種單目標(biāo)跟蹤方法，包括如下步驟：a.從輸入視頻的當(dāng)前幀中手動(dòng)選擇一個(gè)待跟蹤目標(biāo)，進(jìn)行隨機(jī)蕨分類器訓(xùn)練，并建立在線目標(biāo)模型；b.在所述輸入視頻的下一幀中產(chǎn)生所有可能的圖像塊并進(jìn)行過(guò)濾，以進(jìn)行待跟蹤目標(biāo)的圖像“粗定位”；c.在得到“粗定位”的結(jié)果后，利用隱形狀模型進(jìn)行待跟蹤目標(biāo)在步驟b所述幀的精準(zhǔn)定位；d.將前一幀中的在線目標(biāo)模型與步驟b所述幀中的目標(biāo)模型作加權(quán)相加，根據(jù)步驟b所述幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練；及e.重復(fù)步驟b至步驟d，處理所述輸入視頻的每一幀信息，直至視頻結(jié)束。本發(fā)明還涉及一種單目標(biāo)跟蹤系統(tǒng)。本發(fā)明能夠提高單目標(biāo)跟蹤的實(shí)時(shí)性、穩(wěn)定性以及準(zhǔn)確度。
【專利說(shuō)明】單目標(biāo)跟蹤方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種單目標(biāo)跟蹤方法及系統(tǒng)。
【背景技術(shù)】
[0002]視覺(jué)跟蹤技術(shù)是計(jì)算機(jī)視覺(jué)領(lǐng)域中重要的研究方向，在行人檢測(cè)、車輛檢測(cè)、機(jī)器人導(dǎo)航、自動(dòng)化航空航天中等領(lǐng)域都有著重要的應(yīng)用。同時(shí)，作為人工智能的應(yīng)用基礎(chǔ)，視覺(jué)跟蹤模擬人類視覺(jué)的行為，例如:人類可以根據(jù)目標(biāo)移動(dòng)的速度去理解目標(biāo)周圍環(huán)境的變化。而計(jì)算機(jī)通過(guò)這種基本的行為——視覺(jué)跟蹤去作更深層次的理解，如目標(biāo)識(shí)別以及場(chǎng)景識(shí)別等等。所以視覺(jué)跟蹤對(duì)于計(jì)算機(jī)模擬人類智能行為是不可或缺的ー個(gè)研究方向。
[0003]另外，視覺(jué)跟蹤技術(shù)主要是研究視頻序列的跟蹤，即從第一幀中選擇出待跟蹤的目標(biāo)，通過(guò)相應(yīng)的算法處理，預(yù)測(cè)該目標(biāo)在后續(xù)幀中的精確位置。在目標(biāo)跟蹤技術(shù)中，光照的變化、目標(biāo)本身的運(yùn)動(dòng)變化(比如目標(biāo)的尺度變換、目標(biāo)的表面變化、目標(biāo)被遮擋或者完全消失)、復(fù)雜的背景等一系列的干擾都有可能使得目標(biāo)跟蹤失敗或者目標(biāo)跟蹤結(jié)果不理想。

【發(fā)明內(nèi)容】

[0004]有鑒于此，有必要提供ー種單目標(biāo)跟蹤方法及系統(tǒng)。
[0005]本發(fā)明提供一種單目標(biāo)跟蹤方法，該方法包括如下步驟:a.從輸入視頻的當(dāng)前幀中手動(dòng)選擇一個(gè)待跟蹤目標(biāo)，進(jìn)行隨機(jī)蕨分類器訓(xùn)練，并建立在線目標(biāo)模型；b.在所述輸入視頻的下一幀中產(chǎn)生所有可能的圖像塊并進(jìn)行過(guò)濾，以進(jìn)行待跟蹤目標(biāo)的圖像“粗定位”;c.在得到“粗定位”的結(jié)果后，利用隱形狀模型進(jìn)行待跟蹤目標(biāo)在步驟b所述幀的精準(zhǔn)定位；d.將前ー幀中的在線目標(biāo)模型與步驟b所述幀中的目標(biāo)模型作加權(quán)相加，根據(jù)步驟b所述幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練 '及e.重復(fù)步驟b至步驟d，處理所述輸入視頻的每ー幀信息，直至視頻結(jié)束。
[0006]其中，所述的步驟a具體包括:在輸入視頻當(dāng)前幀的搜索空間中定義正樣本最大距離r及負(fù)樣本最大距離d，以所述待跟蹤目標(biāo)的位置為中心，在半徑為r的范圍內(nèi)選擇出正樣本，在半徑大于r并且小于d的范圍內(nèi)選擇出負(fù)樣本,將所述正樣本及所述負(fù)樣本送入隨機(jī)蕨分類器進(jìn)行訓(xùn)練。
[0007]所述的步驟b具體包括:利用隨機(jī)蕨分類器過(guò)濾掉輸出置信度在50%以下的圖像塊。
[0008]所述的步驟c具體包括:將每ー個(gè)圖像塊中每一個(gè)點(diǎn)與前一幀的在線目標(biāo)模型做匹配，匹配度大于閾值的點(diǎn)作為激活特征，利用每ー個(gè)圖像塊中的激活特征及與待跟蹤目標(biāo)位置的對(duì)應(yīng)關(guān)系進(jìn)行投票，選出投票結(jié)果最優(yōu)秀的ー個(gè)圖像塊作為步驟b所述幀中待跟蹤目標(biāo)的位置。
[0009]所述的加權(quán)相加公式為:
[0010]At=a Tt+(1-a ) Ah[0011]其中，At、Tt分別是t時(shí)刻的在線目標(biāo)模型以及t時(shí)刻時(shí)的目標(biāo)模型，a為權(quán)值，即遺忘因子。
[0012]本發(fā)明提供ー種單目標(biāo)跟蹤系統(tǒng)，包括相互電性連接的處理模塊、粗定位模塊及精準(zhǔn)定位模塊，其中:所述處理模塊用于從輸入視頻的當(dāng)前幀中手動(dòng)選擇ー個(gè)待跟蹤目標(biāo)，進(jìn)行隨機(jī)蕨分類器訓(xùn)練，并建立在線目標(biāo)模型；所述粗定位模塊用于在所述輸入視頻的下一幀中產(chǎn)生所有可能的圖像塊并進(jìn)行過(guò)濾，以進(jìn)行待跟蹤目標(biāo)的圖像“粗定位”;所述精準(zhǔn)定位模塊用于在得到“粗定位”的結(jié)果后，利用隱形狀模型進(jìn)行待跟蹤目標(biāo)在所述粗定位模塊中所述幀的精準(zhǔn)定位；所述處理模塊還用于將前一幀中的在線目標(biāo)模型與所述粗定位模塊中所述幀中的目標(biāo)模型作加權(quán)相加，根據(jù)所述粗定位模塊中所述幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練。
[0013]其中，所述的加權(quán)相加公式為:
[0014]At=a Tt+(1-a ) Ah
[0015]其中，At、Tt分別是t時(shí)刻的在線目標(biāo)模型以及t時(shí)刻時(shí)的目標(biāo)模型，a為權(quán)值，即遺忘因子。
[0016]本發(fā)明所提供的單目標(biāo)跟蹤方法及系統(tǒng)，各部分框架相對(duì)簡(jiǎn)單，易于實(shí)現(xiàn)，在提高單目標(biāo)跟蹤的實(shí)時(shí)性、穩(wěn)定性以及準(zhǔn)確度的同時(shí)，對(duì)于目標(biāo)跟蹤還具有很高的魯棒性。
【專利附圖】

【附圖說(shuō)明】
[0017]圖1為本發(fā)明單目標(biāo)跟蹤方法的流程圖；
[0018]圖2為本發(fā)明單目標(biāo)跟蹤系統(tǒng)的硬件架構(gòu)圖。
【具體實(shí)施方式】
[0019]下面結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明作進(jìn)ー步詳細(xì)的說(shuō)明。
[0020]參閱圖1所示，是本發(fā)明單目標(biāo)跟蹤方法較佳實(shí)施例的作業(yè)流程圖。
[0021]步驟S401，從輸入視頻的當(dāng)前幀中手動(dòng)選擇一個(gè)待跟蹤目標(biāo)，進(jìn)行隨機(jī)蕨分類器訓(xùn)練，并建立在線目標(biāo)模型。具體步驟如下:首先輸入視頻當(dāng)前幀，從當(dāng)前幀中手動(dòng)選擇出ー個(gè)待跟蹤目標(biāo)。在捜索空間中定義兩個(gè)距離，正樣本最大距離r以及負(fù)樣本最大距離d，其中d>r。然后以所述待跟蹤目標(biāo)的位置為中心，在半徑為r的范圍內(nèi)選擇出N副正樣本，同時(shí)在半徑大于r并且小于d的范圍內(nèi)選擇出負(fù)樣本。在得到正負(fù)樣本后，將其送入隨機(jī)蕨分類器進(jìn)行訓(xùn)練。并利用所述待跟蹤目標(biāo)即當(dāng)前幀中手動(dòng)選擇的目標(biāo)，建立在線目標(biāo)模型。
[0022]步驟S402，在所述輸入視頻的下ー幀中，進(jìn)行待跟蹤目標(biāo)的圖像“粗定位”。本發(fā)明從所述輸入視頻的第二幀開始進(jìn)行自動(dòng)的目標(biāo)跟蹤。具體而言，首先將輸入視頻的下一幀(以下稱當(dāng)前幀，即當(dāng)前輸入到隨機(jī)蕨分類器的那ー幀)輸入到隨機(jī)蕨分類器中，在前一幀定義的捜索空間d范圍內(nèi)，產(chǎn)生當(dāng)前幀所有可能的圖像塊，然后利用隨機(jī)蕨分類器快速高效的特點(diǎn)，過(guò)濾掉輸出置信度在50%以下的圖像塊，進(jìn)行圖像“粗定位”。
[0023]步驟S403,在得到“粗定位”的結(jié)果后,利用隱形狀模型(Implicit Shape Model,ISM)進(jìn)行待跟蹤目標(biāo)在當(dāng)前幀的精準(zhǔn)定位。具體而言，利用ISM中激活特征的特點(diǎn)，將每ー個(gè)圖像塊中每一個(gè)點(diǎn)與前ー幀的在線目標(biāo)模型做匹配，匹配度大于閾值a的點(diǎn)當(dāng)作激活特征，所述閾值a為人為定義。然后利用每ー個(gè)圖像塊中的激活特征，結(jié)合ISM中激活特征與待跟蹤目標(biāo)位置的對(duì)應(yīng)關(guān)系進(jìn)行投票，選出投票結(jié)果最優(yōu)秀的一個(gè)圖像塊作為當(dāng)前幀中待跟蹤目標(biāo)的位置。
[0024]步驟S404，將前ー幀中的在線目標(biāo)模型與當(dāng)前幀中的目標(biāo)模型作加權(quán)相加，根據(jù)當(dāng)前幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練。具體步驟如下:
[0025]在待跟蹤目標(biāo)在當(dāng)前幀進(jìn)行精準(zhǔn)定位后，將前ー幀中的在線目標(biāo)模型與當(dāng)前幀中的目標(biāo)模型作加權(quán)相加:
[0026]At=a Tt+(1-a ) At-1
[0027]其中，At、Tt分別是t時(shí)刻的在線目標(biāo)模型以及t時(shí)刻時(shí)的目標(biāo)模型，a為權(quán)值，SP遺忘因子。表示越是歷史的信息，對(duì)當(dāng)前幀以及下ー幀的影響越小。同時(shí)，類似步驟S401，利用當(dāng)前幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練。
[0028]步驟S405，重復(fù)步驟S402至步驟S404，處理所述輸入視頻的每ー幀信息，直至視
頻結(jié)束。
[0029]參閱圖2所示，是本發(fā)明單目標(biāo)跟蹤系統(tǒng)的硬件架構(gòu)圖。該系統(tǒng)包括相互電性連接的處理模塊、粗定位模塊及精準(zhǔn)定位模塊。
[0030]所述處理模塊用于從輸入視頻的當(dāng)前幀中手動(dòng)選擇一個(gè)待跟蹤目標(biāo)，進(jìn)行隨機(jī)蕨分類器訓(xùn)練，并建立在線目標(biāo)模型。具體步驟如下:首先輸入視頻當(dāng)前幀，從當(dāng)前幀中手動(dòng)選擇出ー個(gè)待跟蹤目標(biāo)。在捜索空間中定義兩個(gè)距離，正樣本最大距離r以及負(fù)樣本最大距離d，其中d>r。然后以所述待跟蹤目標(biāo)的位置為中心，在半徑為r的范圍內(nèi)選擇出N副正樣本，同時(shí)在半徑大于r并且小于d的范圍內(nèi)選擇出負(fù)樣本。在得到正負(fù)樣本后，將其送入隨機(jī)蕨分類器進(jìn)行訓(xùn)練。并利用所述待跟蹤目標(biāo)即當(dāng)前幀中手動(dòng)選擇的目標(biāo)，建立在線目標(biāo)模型。
[0031]所述粗定位模塊用于在所述輸入視頻的下ー幀中，進(jìn)行待跟蹤目標(biāo)的圖像“粗定位，，。本發(fā)明從所述輸入視頻的第二幀開始進(jìn)行自動(dòng)的目標(biāo)跟蹤。具體而言，首先將輸入視頻的下ー幀(以下稱當(dāng)前幀，即當(dāng)前輸入到隨機(jī)蕨分類器的那ー幀)輸入到隨機(jī)蕨分類器中，在前一幀定義的捜索空間d范圍內(nèi)，產(chǎn)生當(dāng)前幀所有可能的圖像塊，然后利用隨機(jī)蕨分類器快速高效的特點(diǎn)，過(guò)濾掉輸出置信度在50%以下的圖像塊，進(jìn)行圖像“粗定位”。
[0032]所述精準(zhǔn)定位模塊用于在得到“粗定位”的結(jié)果后，利用隱形狀模型(ImplicitShape Model，ISM)進(jìn)行待跟蹤目標(biāo)在當(dāng)前幀的精準(zhǔn)定位。具體而言，利用ISM中激活特征的特點(diǎn)，將每ー個(gè)圖像塊中每一個(gè)點(diǎn)與前一幀的在線目標(biāo)模型做匹配，匹配度大于閾值a的點(diǎn)當(dāng)作激活特征，所述閾值a為人為定義。然后利用每ー個(gè)圖像塊中的激活特征，結(jié)合ISM中激活特征與待跟蹤目標(biāo)位置的對(duì)應(yīng)關(guān)系進(jìn)行投票，選出投票結(jié)果最優(yōu)秀的ー個(gè)圖像塊作為當(dāng)前幀中待跟蹤目標(biāo)的位置。
[0033]所述處理模塊還用于將前一幀中的在線目標(biāo)模型與當(dāng)前幀中的目標(biāo)模型作加權(quán)相加，根據(jù)當(dāng)前幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練。具體步驟如下:
[0034]在待跟蹤目標(biāo)在當(dāng)前幀進(jìn)行精準(zhǔn)定位后，將前ー幀中的在線目標(biāo)模型與當(dāng)前幀中的目標(biāo)模型作加權(quán)相加:[0035]At=Q Tt+(l-a )At_![0036]其中，At、Tt分別是t時(shí)刻的在線目標(biāo)模型以及t時(shí)刻時(shí)的目標(biāo)模型，a為權(quán)值，即遺忘因子。表示越是歷史的信息，對(duì)當(dāng)前幀以及下ー幀的影響越小。同時(shí)，類似步驟S401，利用當(dāng)前幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練。
[0037]雖然本發(fā)明參照當(dāng)前的較佳實(shí)施方式進(jìn)行了描述，但本領(lǐng)域的技術(shù)人員應(yīng)能理解，上述較佳實(shí)施方式僅用來(lái)說(shuō)明本發(fā)明，并非用來(lái)限定本發(fā)明的保護(hù)范圍，任何在本發(fā)明的精神和原則范圍之內(nèi)，所做的任何修飾、等效替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種單目標(biāo)跟蹤方法，其特征在于，該方法包括如下步驟: a.從輸入視頻的當(dāng)前幀中手動(dòng)選擇一個(gè)待跟蹤目標(biāo)，進(jìn)行隨機(jī)蕨分類器訓(xùn)練，并建立在線目標(biāo)模型； b.在所述輸入視頻的下一幀中產(chǎn)生所有可能的圖像塊并進(jìn)行過(guò)濾，以進(jìn)行待跟蹤目標(biāo)的圖像“粗定位”； c.在得到“粗定位”的結(jié)果后，利用隱形狀模型進(jìn)行待跟蹤目標(biāo)在步驟b所述幀的精準(zhǔn)定位; d.將前ー幀中的在線目標(biāo)模型與步驟b所述幀中的目標(biāo)模型作加權(quán)相加，根據(jù)步驟b所述幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練 '及 e.重復(fù)步驟b至步驟d，處理所述輸入視頻的每ー幀信息，直至視頻結(jié)束。
2.如權(quán)利要求1所述的方法，其特征在于，所述的步驟a具體包括:在輸入視頻當(dāng)前幀的捜索空間中定義正樣本最大距離r及負(fù)樣本最大距離d，以所述待跟蹤目標(biāo)的位置為中心，在半徑為r的范圍內(nèi)選擇出正樣本，在半徑大于r并且小于d的范圍內(nèi)選擇出負(fù)樣本，將所述正樣本及所述負(fù)樣本送入隨機(jī)蕨分類器進(jìn)行訓(xùn)練。
3.如權(quán)利要求1所述的方法，其特征在于，所述的步驟b具體包括:利用隨機(jī)蕨分類器過(guò)濾掉輸出置信度在50%以下的圖像塊。
4.如權(quán)利要求1所述的方法，其特征在于，所述的步驟c具體包括:將每ー個(gè)圖像塊中每ー個(gè)點(diǎn)與前一幀的在線目標(biāo)模型做匹配，匹配度大于閾值的點(diǎn)作為激活特征，利用每ー個(gè)圖像塊中的激活特征及與待跟蹤目標(biāo)位置的對(duì)應(yīng)關(guān)系進(jìn)行投票，選出投票結(jié)果最優(yōu)秀的ー個(gè)圖像塊作為步驟b所述幀中待跟蹤目標(biāo)的位置。
5.如權(quán)利要求1所述的方法，其特征在于，所述的加權(quán)相加公式為:
At= a Tt+(1-a )AW 其中，At、Tt分別是t時(shí)刻的在線目標(biāo)模型以及t時(shí)刻時(shí)的目標(biāo)模型，a為權(quán)值，即遺忘因子。
6.ー種單目標(biāo)跟蹤系統(tǒng)，其特征在干，該系統(tǒng)包括相互電性連接的處理模塊、粗定位模塊及精準(zhǔn)定位模塊，其中: 所述處理模塊用于從輸入視頻的當(dāng)前幀中手動(dòng)選擇一個(gè)待跟蹤目標(biāo)，進(jìn)行隨機(jī)蕨分類器訓(xùn)練，并建立在線目標(biāo)模型； 所述粗定位模塊用于在所述輸入視頻的下一幀中產(chǎn)生所有可能的圖像塊并進(jìn)行過(guò)濾，以進(jìn)行待跟蹤目標(biāo)的圖像“粗定位”; 所述精準(zhǔn)定位模塊用于在得到“粗定位”的結(jié)果后，利用隱形狀模型進(jìn)行待跟蹤目標(biāo)在所述粗定位模塊中所述幀的精準(zhǔn)定位； 所述處理模塊還用于將前一幀中的在線目標(biāo)模型與所述粗定位模塊中所述幀中的目標(biāo)模型作加權(quán)相加，根據(jù)所述粗定位模塊中所述幀中待跟蹤目標(biāo)位置產(chǎn)生新的正負(fù)樣本，并利用所述新的正負(fù)樣本進(jìn)行隨機(jī)蕨分類器的再訓(xùn)練。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述的加權(quán)相加公式為:
At= a Tt+(1-a )AW 其中，At、Tt分別是t時(shí)刻的在線目標(biāo)模型以及t時(shí)刻時(shí)的目標(biāo)模型，a為權(quán)值，即遺忘因子 。
【文檔編號(hào)】G06K9/62GK103593856SQ201310587238
【公開日】2014年2月19日 申請(qǐng)日期:2013年11月20日 優(yōu)先權(quán)日:2013年11月20日
【發(fā)明者】楊凌霄, 葛紅, 謝曉華 申請(qǐng)人:中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院