專利名稱：基于最近鄰分類器和均值漂移的目標(biāo)跟蹤方法
基于最近鄰分類器和均值漂移的目標(biāo)跟蹤方法技術(shù)領(lǐng)域
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及視頻目標(biāo)跟蹤方法，可應(yīng)用于智能監(jiān)控、目標(biāo) 跟蹤和人機(jī)界面。
背景技術(shù)：
序列圖像的目標(biāo)跟蹤是圖像處理技術(shù)應(yīng)用的重要組成部分，它是指通過對輸入的 的視頻圖像序列進(jìn)行分析，確定各幀中目標(biāo)所在的位置，獲得相關(guān)的參數(shù)。目標(biāo)跟蹤是計(jì)算 機(jī)視覺中關(guān)鍵技術(shù)之一，其融合了圖像處理、模式識別和人工智能等領(lǐng)域，在機(jī)器人視覺導(dǎo) 航、安全監(jiān)測、交通管制、視頻壓縮以及氣象分析等許多方面都有廣泛應(yīng)用。如軍事方面，已 被成功地應(yīng)用于武器的成像制導(dǎo)、軍事偵察和監(jiān)視等。民用方面，如視覺監(jiān)控，已被廣泛地 應(yīng)用于社會生活的各方面。目標(biāo)跟蹤可應(yīng)用于社區(qū)和重要設(shè)施的保安監(jiān)控；用于智能交通 系統(tǒng)中進(jìn)行車輛的實(shí)時(shí)追蹤，可以得到車流量、車型、車速、車流密度等等許多有價(jià)值的交 通流參數(shù)，同時(shí)還可以檢測事故或故障等突發(fā)狀況。
廣州靈視信息科技有限公司提出的專利申請“一種基于圖像塊特征的目標(biāo)跟蹤方 法及跟蹤系統(tǒng)”(專利申請?zhí)朇N201110267278. 1，公開號CN102324030A)公開了一種基于圖 像塊特征的目標(biāo)跟蹤方法及跟蹤系統(tǒng)。該跟蹤方法包括根據(jù)基準(zhǔn)目標(biāo)圖像塊和背景圖像 塊的特征建立基準(zhǔn)目標(biāo)模板，將待跟蹤目標(biāo)的特征與基準(zhǔn)目標(biāo)圖像塊的特征進(jìn)行相似度比 較，根據(jù)相似度比較結(jié)果確定待跟蹤目標(biāo)的位置。該方法雖然對正常運(yùn)動情況下的目標(biāo)有 一定的跟蹤效果，但是仍然存在的不足是當(dāng)目標(biāo)出現(xiàn)遮擋或者快速變化這些相對多變的 運(yùn)動時(shí)，會導(dǎo)致跟蹤的失敗。
上海大學(xué)提出的專利申請“一種復(fù)雜場景下的運(yùn)動目標(biāo)跟蹤方法”(專利申請?zhí)?CN201110043782. 3，公開號CN102110296A)，公開了一種復(fù)雜場景下的運(yùn)動目標(biāo)跟蹤方法。 本方法包括對指定的圖像區(qū)域采用背景加權(quán)的方法統(tǒng)計(jì)直方圖，在跟蹤過程中對每幀圖 像利用貝葉斯公式建立背景的更新顏色概率分布圖，實(shí)時(shí)地更新搜索區(qū)域內(nèi)的目標(biāo)顏色 概率，對適應(yīng)背景的更的顏色概率分布圖利用Camshift算法迭代出質(zhì)心位置。該方法雖 然能夠在復(fù)雜場景下對目標(biāo)進(jìn)行較準(zhǔn)確的跟蹤，但當(dāng)運(yùn)動目標(biāo)發(fā)生遮擋，跟蹤就會發(fā)生漂 移且無法恢復(fù)正常，導(dǎo)致跟蹤失敗。發(fā)明內(nèi)容
本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)的不足，提出一種基于最近鄰分類器和均值 漂移的目標(biāo)跟蹤方法，以提高目標(biāo)跟蹤對目標(biāo)發(fā)生遮擋和運(yùn)動快速變化的魯棒性。
實(shí)現(xiàn)本發(fā)明的技術(shù)方案是在第一幀標(biāo)記出待跟蹤目標(biāo)，并初始化前景和背景模 型，將特征匹配和均值漂移meanshift算法的跟蹤進(jìn)行決策級的融合作為最終的跟蹤結(jié) 果，同時(shí)通過引入的遮擋判定思想，當(dāng)目標(biāo)發(fā)生遮擋時(shí)對目標(biāo)模型不更新，提高目標(biāo)模板更 新的準(zhǔn)確性，以完成目標(biāo)的正確跟蹤。具體步驟包括如下
(I)輸入一段視頻中的第一幀，并用矩形框標(biāo)記出待跟蹤目標(biāo)，分別用g和h表示該矩形框的長和寬；
(2)模型初始化
2a)提取步驟(I)中視頻第一幀的尺度不變sift特征，并用待跟蹤目標(biāo)的尺度不變sift特征初始化為目標(biāo)模型，并計(jì)算該目標(biāo)模型的顏色直方圖，用第一幀中其余的尺度不變sift特征初始化為背景模型；
2b)用步驟(I)中待跟蹤目標(biāo)的中心位置初始化均值漂移meanshift模型；
(3)確定新一幀視頻圖像中目標(biāo)搜索區(qū)域；
(4)提取步驟(3)中得到的目標(biāo)搜索區(qū)域內(nèi)的尺度不變sift特征，根據(jù)目標(biāo)搜索區(qū)域和上一幀的目標(biāo)跟蹤結(jié)果，通過均值漂移meanshift模型獲得當(dāng)前幀的目標(biāo)中心位置，得到一個(gè)面積為A的目標(biāo)框；
(5)利用最近鄰分類器對步驟(4)中提取的尺度不變sift特征和步驟2a)得到的初始化目標(biāo)模型及背景模型進(jìn)行特征點(diǎn)匹配，得到一個(gè)面積為B的目標(biāo)框，其中成功匹配點(diǎn)的數(shù)目記為η ；
(6)輸出當(dāng)前幀的目標(biāo)跟蹤結(jié)果
6a)根據(jù)步驟⑷中得到的面積為A的目標(biāo)框和步驟(5)中得到的面積為B的目標(biāo)框，計(jì)算兩個(gè)目標(biāo)框的重疊面積C，得到面積重疊率P = C/(A+B-C)；
6b)將面積重疊率P和成功匹配點(diǎn)的數(shù)目η分別與設(shè)定的閾值T和閾值N進(jìn)行比較，如果成功匹配點(diǎn)的數(shù)目η大于閾值N = 35，則將面積為B的目標(biāo)框作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出；如果η < N，且面積重疊率P大于閾值T = O. 7，則將兩個(gè)目標(biāo)框?qū)?yīng)坐 標(biāo)取均值作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出，否則將面積為A的目標(biāo)框作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出，并計(jì)算目標(biāo)跟蹤結(jié)果的顏色直方圖。
(7)判斷目標(biāo)是否被遮擋
7a)根據(jù)步驟2a)得到的目標(biāo)模型的顏色直方圖和步驟(6)得到的目標(biāo)跟蹤結(jié)果的顏色直方圖得出遮擋因子Occ ；
7b)將遮擋因子Occ與閾值T1進(jìn)行比較，如果遮擋因子Occ小于閾值T1 = O. 6表示目標(biāo)沒有發(fā)生遮擋，則提取當(dāng)前幀的目標(biāo)跟蹤結(jié)果的尺度不變sift特征，將其作為更新的目標(biāo)模型，并計(jì)算此時(shí)目標(biāo)模型的顏色直方圖；如果遮擋因子Occ大于閾值T1表示目標(biāo)發(fā)生了遮擋，則目標(biāo)模型不予更新；
(8)循環(huán)執(zhí)行步驟(3) 步驟(7)，直到視頻的最后一幀。
本發(fā)明與現(xiàn)有技術(shù)相比有以下優(yōu)點(diǎn)
第一，本發(fā)明采用了特征匹配和均值漂移模型，并在決策級對它們進(jìn)行融合，在目標(biāo)跟蹤過程中，特征點(diǎn)匹配約束均值漂移模型防止其跟蹤發(fā)生漂移，同時(shí)當(dāng)目標(biāo)因快速運(yùn)動出現(xiàn)運(yùn)動模糊而無法捕獲目標(biāo)的特征時(shí)，用均值漂移模型約束特征點(diǎn)匹配防止跟蹤失敗，克服了現(xiàn)有技術(shù)中因跟蹤發(fā)生漂移以及運(yùn)動模糊無法捕獲目標(biāo)特征而導(dǎo)致跟蹤失敗的缺點(diǎn)，提聞了目標(biāo)跟蹤的準(zhǔn)確性。
第二，本發(fā)明引入了遮擋判定的思想，當(dāng)目標(biāo)被遮擋時(shí)，不更新目標(biāo)模型，避免了錯(cuò)誤模板的積累，解決了現(xiàn)有技術(shù)中目標(biāo)模板更新錯(cuò)誤的問題，提高了目標(biāo)跟蹤的效率。


圖1為本發(fā)明的流程圖2為本發(fā)明輸入的第一幀視頻圖像并用矩形框標(biāo)記出待跟蹤目標(biāo)的示意圖3為本發(fā)明輸入新一幀視頻圖像的跟蹤結(jié)果；
圖4為本發(fā)明在目標(biāo)被遮擋情況下的仿真效果圖5為本發(fā)明在目標(biāo)快速運(yùn)動情況下的仿真效果圖6為本發(fā)明對目標(biāo)的搜索區(qū)域提取尺度不變sift特征圖。
具體實(shí)施措施
參照圖1，本發(fā)明的具體實(shí)施過程如下
步驟1.輸入一段視頻中的第一幀，并用矩形框標(biāo)記出待跟蹤目標(biāo)，分別用g和h 表示該矩形框的長和寬，本發(fā)明實(shí)例輸入一段視頻序列如圖2，它是一段玩具運(yùn)動視頻的第一幀圖像，圖2中矩形框框定的區(qū)域作為待跟蹤的目標(biāo)。
步驟2.對目標(biāo)模型、背景模型和均值漂移meanshift模型進(jìn)行初始化
2a)提取步驟I中視頻第一幀圖2的尺度不變sift特征，并用待跟蹤目標(biāo)的尺度不變sift特征初始化為目標(biāo)模型，用第一幀中其余的尺度不變sift特征初始化為背景模型，并計(jì)算初始化后目標(biāo)模型的顏色直方圖，即對紅-綠-藍(lán)RGB顏色的目標(biāo)模型，將紅色R 通道均勻量化為16個(gè)小區(qū)間，將綠色G通道均勻量化為16個(gè)小區(qū)間，將藍(lán)色B通道均勻量化為16個(gè)小區(qū)間，統(tǒng)計(jì)目標(biāo)模型中的顏色落在每個(gè)小區(qū)間內(nèi)的像素?cái)?shù)量得到顏色直方2b)用步驟I中待跟蹤目標(biāo)的中心位置初始化均值漂移meanshift模型，即根據(jù)待跟蹤目標(biāo)中心位置的偏移量，移動該點(diǎn)到其偏移量均值的位置處，然后以此位置為新的起始點(diǎn)，循環(huán)迭代，直至收斂到極大值點(diǎn)處。
步驟3.確定新一幀視頻圖像中目標(biāo)搜索區(qū)域
在輸入的新一幀視頻圖像上，根據(jù)上一幀視頻圖像的目標(biāo)跟蹤結(jié)果，將標(biāo)記目標(biāo)的矩形框的長和寬分別加上2Xmin(g，h)得到一個(gè)新的矩形框，并將該擴(kuò)大后的矩形框區(qū)域作為目標(biāo)搜索區(qū)域，其中，min(g, h)表示取g和h中值較小的一項(xiàng)。
步驟4.提取步驟3中得到的目標(biāo)搜索區(qū)域內(nèi)的尺度不變sift特征，如圖6所示， 其中圖6上的點(diǎn)表示提取的尺度不變sift特征，根據(jù)目標(biāo)搜索區(qū)域和上一幀的目標(biāo)跟蹤結(jié)果，通過均值漂移meanshift模型獲得當(dāng)前幀的目標(biāo)中心位置，得到一個(gè)面積為A的目標(biāo)框。
步驟5.利用最近鄰分類器對步驟4中提取的尺度不變sift特征和步驟2a)得到的初始化目標(biāo)模型及背景模型進(jìn)行特征點(diǎn)匹配，根據(jù)有效的子框搜索得到一個(gè)面積為B的目標(biāo)框，其中成功匹配點(diǎn)的數(shù)目記為η。
步驟6.輸出當(dāng)前幀的目標(biāo)跟蹤結(jié)果
6a)根據(jù)步驟4中得到的面積為A的目標(biāo)框和步驟5中得到的面積為B的目標(biāo)框， 計(jì)算兩個(gè)目標(biāo)框的重疊面積C，得到面積重疊率P = C/(A+B-C)；
6b)將面積重疊率P和成功匹配點(diǎn)的數(shù)目η分別與設(shè)定的閾值T和閾值N比較，如果成功匹配點(diǎn)的數(shù)目η大于閾值N = 35，則將面積為B的目標(biāo)框作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出，如圖3所示；如果η < N,且面積重疊率P大于閾值T = O. 7，則將兩個(gè)目標(biāo)框?qū)?yīng)坐標(biāo)取均值作為當(dāng) 前幀的目標(biāo)跟蹤結(jié)果輸出，如圖4所示，否則將面積為A的目標(biāo)框作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出，如圖5所示，并計(jì)算目標(biāo)跟蹤結(jié)果的顏色直方圖，它與步驟2a)采用的計(jì)算顏色直方圖的方法相同。
步驟7.判斷目標(biāo)是否被遮擋
7a)根據(jù)步驟2a)得到的目標(biāo)模型的顏色直方圖和步驟6得到的目標(biāo)跟蹤結(jié)果的 顏色直方圖得出遮擋因子Occ;
7b)將遮擋因子Occ與閾值T1進(jìn)行比較，如果遮擋因子Occ小于閾值T1 = O. 6表 示目標(biāo)沒有發(fā)生遮擋，則提取當(dāng)前幀的目標(biāo)跟蹤結(jié)果的尺度不變sift特征，將其作為更新 的目標(biāo)模型，并計(jì)算此時(shí)目標(biāo)模型的顏色直方圖，它與步驟2a)采用的計(jì)算顏色直方圖的 方法相同；如果遮擋因子Occ大于閾值T1表示目標(biāo)發(fā)生了遮擋，則目標(biāo)模型不予更新。
步驟8.循環(huán)執(zhí)行步驟3 步驟7，直到視頻的最后一幀。
本發(fā)明的效果可通過以下仿真進(jìn)一步說明
仿真內(nèi)容，首先，輸入一段玩具運(yùn)動視頻的第一幀圖像如圖2，其中圖2中矩形 框框定的區(qū)域?yàn)榇櫮繕?biāo)，提取待跟蹤目標(biāo)的尺度不變sift特征建立目標(biāo)模型；其次， 提取當(dāng)前幀中搜索區(qū)域的尺度不變sift特征，與目標(biāo)模型進(jìn)行匹配，同時(shí)運(yùn)用均值漂移 meanshift模型跟蹤目標(biāo)，然后對特征匹配結(jié)果和均值漂移meanshift模型跟蹤結(jié)果進(jìn)行 決策級融合，并將融合結(jié)果作為目標(biāo)跟蹤的結(jié)果，當(dāng)目標(biāo)在普通無障礙情況下運(yùn)動時(shí)，輸出 的目標(biāo)跟蹤結(jié)果如圖3所示，當(dāng)目標(biāo)發(fā)生遮擋時(shí)，輸出的目標(biāo)跟蹤結(jié)果如圖4所示，當(dāng)目標(biāo) 快速運(yùn)動出現(xiàn)運(yùn)動模糊時(shí)，輸出的目標(biāo)跟蹤結(jié)果如圖5所示；最后，啟動遮擋判斷裝置，依 據(jù)判斷如果目標(biāo)沒有發(fā)生遮擋，則更新目標(biāo)模型，循環(huán)執(zhí)行上述跟蹤步驟直到視頻的最后 一中貞。
從圖3、圖4和圖5所示的實(shí)驗(yàn)結(jié)果表明，本發(fā)明能夠?qū)Πl(fā)生遮擋和以及快速運(yùn)動 甚至出現(xiàn)運(yùn)動模糊的目標(biāo)實(shí)現(xiàn)有效跟蹤。
權(quán)利要求
1.一種基于最近鄰分類器和均值漂移的目標(biāo)跟蹤方法，包括以下步驟 (1)輸入一段視頻中的第一幀，并用矩形框標(biāo)記出待跟蹤目標(biāo)，分別用g和h表示該矩形框的長和寬； (2)模型初始化 2a)提取步驟(I)中視頻第一幀的尺度不變sift特征，并用待跟蹤目標(biāo)的尺度不變sift特征初始化為目標(biāo)模型，并計(jì)算該目標(biāo)模型的顏色直方圖，用第一幀中其余的尺度不變sift特征初始化為背景模型； 2b)用步驟(I)中待跟蹤目標(biāo)的中心位置初始化均值漂移meanshift模型； (3)確定新一幀視頻圖像中目標(biāo)搜索區(qū)域； (4)提取步驟(3)中得到的目標(biāo)搜索區(qū)域內(nèi)的尺度不變sift特征，根據(jù)目標(biāo)搜索區(qū)域和上一幀的目標(biāo)跟蹤結(jié)果，通過均值漂移meanshift模型獲得當(dāng)前幀的目標(biāo)中心位置，得到一個(gè)面積為A的目標(biāo)框； (5)利用最近鄰分類器對步驟(4)中提取的尺度不變sift特征和步驟2a)得到的初始化目標(biāo)模型及背景模型進(jìn)行特征點(diǎn)匹配，得到一個(gè)面積為B的目標(biāo)框，其中成功匹配點(diǎn)的數(shù)目記為η ； (6)輸出當(dāng)前幀的目標(biāo)跟蹤結(jié)果 6a)根據(jù)步驟(4)中得到的面積為A的目標(biāo)框和步驟(5)中得到的面積為B的目標(biāo)框，計(jì)算兩個(gè)目標(biāo)框的重疊面積C，得到面積重疊率P = C/(A+B-C)； 6b)將面積重疊率P和成功匹配點(diǎn)的數(shù)目η分別與設(shè)定的閾值T和閾值N進(jìn)行比較，如果成功匹配點(diǎn)的數(shù)目η大于閾值N = 35，則將面積為B的目標(biāo)框作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出；如果η < N，且面積重疊率P大于閾值T = O. 7，則將兩個(gè)目標(biāo)框?qū)?yīng)坐標(biāo)取均值作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出，否則將面積為A的目標(biāo)框作為當(dāng)前幀的目標(biāo)跟蹤結(jié)果輸出，并計(jì)算目標(biāo)跟蹤結(jié)果的顏色直方圖。
(7)判斷目標(biāo)是否被遮擋 7a)根據(jù)步驟2a)得到的目標(biāo)模型的顏色直方圖和步驟(6)得到的目標(biāo)跟蹤結(jié)果的顏色直方圖得出遮擋因子Occ; 7b)將遮擋因子Occ與閾值T1進(jìn)行比較，如果遮擋因子Occ小于閾值T1 = O. 6表示目標(biāo)沒有發(fā)生遮擋，則提取當(dāng)前幀的目標(biāo)跟蹤結(jié)果的尺度不變sift特征，將其作為更新的目標(biāo)模型，并計(jì)算此時(shí)目標(biāo)模型的顏色直方圖；如果遮擋因子Occ大于閾值T1表示目標(biāo)發(fā)生了遮擋，則目標(biāo)模型不予更新； (8)循環(huán)執(zhí)行步驟(3廣步驟(7)，直到視頻的最后一幀。
2.根據(jù)權(quán)利要求1所述的基于最近鄰分類器和均值漂移的目標(biāo)跟蹤方法，所述步驟2a)、步驟(4)和步驟7b)中的顏色直方圖，是通過計(jì)算圖像中顏色的像素點(diǎn)數(shù)量得到，即對紅-綠-藍(lán)RGB顏色的圖像模型，將紅色R通道均勻量化為16個(gè)小區(qū)間，將綠色G通道均勻量化為16個(gè)小區(qū)間，將藍(lán)色B通道均勻量化為16個(gè)小區(qū)間，統(tǒng)計(jì)圖像模型中的顏色落在每個(gè)小區(qū)間內(nèi)的像素?cái)?shù)量得到顏色直方圖。
3.根據(jù)權(quán)利要求1所述的基于最近鄰分類器和均值漂移的目標(biāo)跟蹤方法，所述步驟2b)和步驟6b)中的均值漂移meanshift模型，是運(yùn)用迭代運(yùn)算尋找概率密度的極大值，SP根據(jù)待跟蹤目標(biāo)中心位置的偏移量，移動該點(diǎn)到其偏移量均值的位置處，然后以此位置為新的起始點(diǎn)，循環(huán)迭代，直至收斂到極大值點(diǎn)處。
4.根據(jù)權(quán)利要求1所述的基于最近鄰分類器和均值漂移的目標(biāo)跟蹤方法，所述步驟(3)的目標(biāo)搜索區(qū)域，是在新一幀視頻圖像上，根據(jù)上一幀視頻圖像的目標(biāo)跟蹤結(jié)果，將標(biāo)記目標(biāo)的矩形框的長和寬分別加上2Xmin(g，h)得到新的矩形框，并將該擴(kuò)大后的矩形框區(qū)域作為目標(biāo)搜索區(qū)域，其中，min(g, h)表示取g和h中值較小的一項(xiàng)。
全文摘要
本發(fā)明公開一種基于最近鄰分類器和均值漂移的目標(biāo)跟蹤方法，主要解決現(xiàn)有技術(shù)中由于目標(biāo)運(yùn)動模糊無法捕獲特征點(diǎn)和跟蹤漂移無法恢復(fù)而導(dǎo)致的跟蹤失敗問題。其實(shí)現(xiàn)步驟為(1)輸入視頻的第一幀，并用矩形框標(biāo)記出待跟蹤目標(biāo)；(2)對目標(biāo)模型初始化；(3)確定新一幀視頻圖像中目標(biāo)搜索區(qū)域；(4)提取搜索區(qū)域內(nèi)的尺度不變sift特征與目標(biāo)模型匹配，同時(shí)用均值漂移模型跟蹤目標(biāo)；(5)對步驟(4)的結(jié)果進(jìn)行決策級融合作為目標(biāo)跟蹤結(jié)果輸出；(6)更新沒有發(fā)生遮擋的目標(biāo)模型；(7)循環(huán)執(zhí)行步驟(3)~步驟(6)，直至視頻結(jié)束。本發(fā)明與現(xiàn)有技術(shù)相比在目標(biāo)快速運(yùn)動甚至出現(xiàn)運(yùn)動模糊或者發(fā)生遮擋情況下提高了目標(biāo)跟蹤的準(zhǔn)確性。
文檔編號G06T7/20GK102999920SQ201210414788
公開日2013年3月27日 申請日期2012年10月25日 優(yōu)先權(quán)日2012年10月25日
發(fā)明者田小林, 焦李成, 劉朵, 張小華, 緱水平, 朱虎明, 鐘樺, 馬文萍 申請人:西安電子科技大學(xué)