一種基于mser和surf特征點匹配的目標(biāo)丟失再捕獲方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種目標(biāo)丟失再捕獲方法，特別是一種基于MSER和SURF特征點匹配 的目標(biāo)丟失再捕獲方法，在目標(biāo)跟蹤過程中能夠準(zhǔn)確判斷是否正確跟蹤，并在跟蹤錯誤時 及時退出，同時在目標(biāo)重新出現(xiàn)后進行自動捕獲，屬于目標(biāo)跟蹤領(lǐng)域。
【背景技術(shù)】
[0002] 目標(biāo)跟蹤是光電吊艙的關(guān)鍵功能之一，在目標(biāo)穩(wěn)定跟蹤前提下，操作人員才能夠 穩(wěn)定的觀察目標(biāo)，同時光電吊艙才能夠?qū)δ繕?biāo)進行激光測距和定位。如果目標(biāo)跟蹤算法在 目標(biāo)丟失后不能準(zhǔn)確判斷并及時退出，則會輸出錯誤脫靶量，由于通信延遲，錯誤脫靶量會 導(dǎo)致吊艙進入短時不可控狀態(tài)，不僅會讓操作人員再次捕獲目標(biāo)變得困難，嚴(yán)重時會造成 激光測距等關(guān)鍵設(shè)備損壞，因此，目標(biāo)跟蹤算法能夠準(zhǔn)確判斷目標(biāo)跟蹤準(zhǔn)確性，在錯誤跟蹤 時及時主動退出，在目標(biāo)出現(xiàn)時自動捕獲，會極大提高光電吊艙操作便利性，并提高系統(tǒng)使 用的安全性。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明解決的技術(shù)問題是：克服現(xiàn)有技術(shù)的不足，提供了一種基于MSER和SURF特 征點匹配的目標(biāo)丟失再捕獲方法，在跟蹤錯誤時能夠及時退出跟蹤狀態(tài)，保持光電吊艙穩(wěn) 定不飛轉(zhuǎn)，在丟失的目標(biāo)再次出現(xiàn)后，自動捕獲目標(biāo)，減輕操作人員工作量，提高光電吊艙 設(shè)備的自動化程度。
[0004] 本發(fā)明的技術(shù)解決方案是：一種基于MSER和SURF特征點匹配的目標(biāo)丟失再捕獲 方法，步驟如下：
[0005] (1)鎖定目標(biāo)后，在目標(biāo)圖像中提取用于目標(biāo)跟蹤的跟蹤特征，并確定一個波門， 在該波門區(qū)域內(nèi)提取極大穩(wěn)定區(qū)域，即MSER特征區(qū)域和SURF特征點；
[0006] (2)連續(xù)跟蹤目標(biāo)N幀，提取N組MSER特征區(qū)域和SURF特征點，并將每一組的 MSER特征區(qū)域和SURF特征點與步驟（1)中的MSER特征區(qū)域模板和SURF特征點模板進行 匹配，若MSER特征區(qū)域模板中的某一個特征區(qū)域或SURF特征點模板中的某一個特征點與 N組MSER特征區(qū)域中對應(yīng)的特征區(qū)域或N組SURF特征點中對應(yīng)的特征點匹配成功次數(shù)大 于等于aXN，則該特征區(qū)域為特征區(qū)域模板，該特征點為特征點模板；否則該特征區(qū)域為 無效特征區(qū)域，該特征點為無效特征點；所述a的取值范圍為：0. 4 <a< 0. 8 ;所述N的取 值范圍為：N> = 30 ;
[0007] (3)確定特征區(qū)域模板和特征點模板后，每完成一幀跟蹤，提取該次跟蹤目標(biāo)圖像 的MSER特征區(qū)域和SURF特征點，并將提取的MSER特征區(qū)域和SURF特征點與步驟（2)獲 取的特征區(qū)域模板和特征點模板進行匹配，若成功匹配的特征區(qū)域數(shù)量和特征點數(shù)量之和 連續(xù)M幀減少，則丟失目標(biāo)，退出跟蹤模式，重新進行搜索，進入步驟（4);否則，目標(biāo)跟蹤正 常，繼續(xù)進行跟蹤，并在跟蹤過程中對特征區(qū)域模板和特征點模板進行篩選；所述M大于等 于5 ;
[0008] (4)連續(xù)進行N2幀的預(yù)測和搜索，提取每一幀預(yù)測位置的MSER特征區(qū)域和SURF 特征點，并與特征區(qū)域模板和特征點模板進行匹配，若N2幀中任意一幀成功匹配，則目標(biāo) 重新出現(xiàn)，自動鎖定目標(biāo)并轉(zhuǎn)入捕獲跟蹤階段；否則，搜索失敗，所述N2大于等于5。
[0009] 所述步驟（2)中MSER特征區(qū)域匹配成功具體為：若MSER特征區(qū)域匹配參數(shù)大于 等于預(yù)設(shè)值，則MSER特征區(qū)域匹配成功，否則MSER特征區(qū)域匹配失敗；
[0010] 所述MSER特征區(qū)域匹配參數(shù)具體由公式：
[0011]
【主權(quán)項】
1. 一種基于MSER和SURF特征點匹配的目標(biāo)丟失再捕獲方法，其特征在于步驟如下： (1) 鎖定目標(biāo)后，在目標(biāo)圖像中提取用于目標(biāo)跟蹤的跟蹤特征，并確定一個波門，在該 波門區(qū)域內(nèi)提取極大穩(wěn)定區(qū)域，即MSER特征區(qū)域和SURF特征點； (2) 連續(xù)跟蹤目標(biāo)N幀，提取N組MSER特征區(qū)域和SURF特征點，并將每一組的MSER 特征區(qū)域和SURF特征點與步驟（1)中的MSER特征區(qū)域模板和SURF特征點模板進行匹配， 若MSER特征區(qū)域模板中的某一個特征區(qū)域或SURF特征點模板中的某一個特征點與N組 MSER特征區(qū)域中對應(yīng)的特征區(qū)域或N組SURF特征點中對應(yīng)的特征點匹配成功次數(shù)大于等 于aXN，則該特征區(qū)域為特征區(qū)域模板，該特征點為特征點模板；否則該特征區(qū)域為無效 特征區(qū)域，該特征點為無效特征點；所述a的取值范圍為：0. 4 <a< 0. 8 ;所述N的取值范 圍為：N> = 30 ; (3) 確定特征區(qū)域模板和特征點模板后，每完成一幀跟蹤，提取該次跟蹤目標(biāo)圖像的 MSER特征區(qū)域和SURF特征點，并將提取的MSER特征區(qū)域和SURF特征點與步驟（2)獲取的 特征區(qū)域模板和特征點模板進行匹配，若成功匹配的特征區(qū)域數(shù)量和特征點數(shù)量之和連續(xù) M幀減少，則丟失目標(biāo)，退出跟蹤模式，重新進行搜索，進入步驟（4);否則，目標(biāo)跟蹤正常， 繼續(xù)進行跟蹤，并在跟蹤過程中對特征區(qū)域模板和特征點模板進行篩選；所述M大于等于 5 ； (4) 連續(xù)進行N2幀的預(yù)測和搜索，提取每一幀預(yù)測位置的MSER特征區(qū)域和SURF特征 點，并與特征區(qū)域模板和特征點模板進行匹配，若N2幀中任意一幀成功匹配，則目標(biāo)重新 出現(xiàn)，自動鎖定目標(biāo)并轉(zhuǎn)入捕獲跟蹤階段；否則，搜索失敗，所述N2大于等于5。
2. 根據(jù)權(quán)利要求1所述的一種基于MSER和SURF特征點匹配的目標(biāo)丟失再捕獲方法， 其特征在于：所述步驟（2)中MSER特征區(qū)域匹配成功具體為：若MSER特征區(qū)域匹配參數(shù)大 于等于預(yù)設(shè)值，則MSER特征區(qū)域匹配成功，否則MSER特征區(qū)域匹配失敗； 所述MSER特征區(qū)域匹配參數(shù)具體由公式：
給出，其中％和M』為兩個MSER特征區(qū)域的灰度平均值，F(xiàn)JPF』為兩個MSER特征區(qū)域 的平均灰度，匪^和匪1」為兩個MSER特征區(qū)域的歸一化轉(zhuǎn)動慣量，VJPV」為兩個MSER特 征區(qū)域的像素灰度均方差，PJPP』為兩個MSER特征區(qū)域與波門內(nèi)圖像灰度平均值的關(guān)系， 所述關(guān)系為：若MSER區(qū)域大于波門內(nèi)圖像平均灰度，則P= 1，否則P= -1，AA2、A3和 入4均為系數(shù)，且均根據(jù)實際成像載荷的不同和使用條件來確定大小。
3. 根據(jù)權(quán)利要求1所述的一種基于MSER和SURF特征點匹配的目標(biāo)丟失再捕獲方法， 其特征在于：所述步驟（2)中SURF特征點匹配成功具體為：SURF特征點符合匹配成功判斷 準(zhǔn)則，所述匹配成功判斷準(zhǔn)則具體由公式：
其中Tlx表示SURF特征點模板的特征向量元素，T2x為當(dāng)前幀中與SURF模板特征點最 接近SURF特征點的特征向量元素，T3x為當(dāng)前幀中與SURF模板特征點次接近SURF特征點 的特征向量元素。
4. 根據(jù)權(quán)利要求1所述的一種基于MSER和SURF特征點匹配的目標(biāo)丟失再捕獲方法， 其特征在于：所述步驟（3)中在跟蹤過程中對特征區(qū)域模板和特征點模板進行篩選，包括 特征區(qū)域模板和特征點模板的增加和刪除， 所述特征區(qū)域模板和特征點模板的刪除具體為： 若連續(xù)跟蹤N3幀后，某一個特征區(qū)域模板和特征點模板成功匹配的次數(shù)為0,則刪除 該特征區(qū)域模板和特征點模板；所述N3大于等于3 ; 所述特征區(qū)域模板和特征點模板的增加具體為： 若跟蹤過程中，提取的MSER特征區(qū)域和SURF特征點不在步驟（1)中MSER特征區(qū)域模 板和SURF特征點模板中，則利用步驟（2)中的方法對新增的MSER特征區(qū)域或SURF特征點 進行判斷。
5. 所述權(quán)利要求1所述的一種基于MSER和SURF特征點匹配的目標(biāo)丟失再捕獲方法， 其特征在于：所述步驟（4)中每一幀預(yù)測位置的MSER特征區(qū)域和SURF特征點，與特征區(qū)域 模板和特征點模板進行匹配的匹配方法具體為： 若SURF特征點匹配成功超過4對，則在匹配成功的SURF特征點中任意選取三對計 算預(yù)測位置SURF特征點與特征點模板之間的仿射變換關(guān)系，并將計算得到的仿射變換關(guān) 系進行聚類分析，剔除錯誤的仿射變換關(guān)系，求取正確仿射變換關(guān)系變換系數(shù)的平均值，從 而得到準(zhǔn)確的仿射變換關(guān)系，利用該仿射變換關(guān)系對MSER特征模板進行仿射變換，并與預(yù) 測位置匹配成功的MSER特征區(qū)域進行像素灰度相減取絕對值和運算，再對絕對值和進行 求平均，若該絕對值小于等于1. 2倍的區(qū)域內(nèi)像素平均值的差值絕對值，則預(yù)測位置的該 MSER特征區(qū)域為目標(biāo)區(qū)域，重新捕獲目標(biāo)并提取目標(biāo)模板時選取目標(biāo)區(qū)域內(nèi)的MSER特征 區(qū)域； 若SURF特征點匹配成功小于4對，或所有匹配成功的MSER特征區(qū)域?qū)环侠?用SURF特征點對計算得到的仿射變換關(guān)系，則判斷匹配成功的SURF特征點與匹配成功的 MSER特征區(qū)域的位置關(guān)系，若預(yù)測位置的SURF特征點均包含在MSER特征區(qū)域中，則預(yù)測 位置的該MSER特征區(qū)域為目標(biāo)區(qū)域，重新捕獲目標(biāo)并提取目標(biāo)模板時選取目標(biāo)區(qū)域內(nèi)的 MSER特征區(qū)域。
【專利摘要】一種基于MSER和SURF特征點匹配的目標(biāo)丟失再捕獲方法，首先在目標(biāo)圖像中確定一個波門，在該波門區(qū)域內(nèi)提取MSER特征區(qū)域和SURF特征點；進一步確定特征區(qū)域模板和特征點模板；然后利用提取的跟蹤目標(biāo)圖像的MSER特征區(qū)域和SURF特征點以及特征區(qū)域模板和特征點模板判斷目標(biāo)是否跟蹤正常，并在跟蹤過程中對特征區(qū)域模板和特征點模板進行篩選；最后判斷目標(biāo)是否丟失；本方法可以準(zhǔn)確判斷吊艙目標(biāo)跟蹤過程中因為遮擋造成的目標(biāo)丟失，并且與合適的預(yù)測算法相結(jié)合，可以實現(xiàn)目標(biāo)丟失后的自動捕獲。
【IPC分類】G06K9-46, G06T7-00
【公開號】CN104574384
【申請?zhí)枴緾N201410830445
【發(fā)明人】劉少鵬, 丁楠, 丁祝順
【申請人】北京航天控制儀器研究所
【公開日】2015年4月29日
【申請日】2014年12月26日