一種基于tld優(yōu)化算法的目標(biāo)重捕獲系統(tǒng)及方法
【專利摘要】本發(fā)明提出一種基于TLD優(yōu)化算法的重捕獲技術(shù)，包括以下模塊：多分辨率幀間配準(zhǔn)模塊、模板匹配跟蹤模塊、基于遙測(cè)數(shù)據(jù)的快速檢測(cè)學(xué)習(xí)模塊。本發(fā)明的優(yōu)點(diǎn)在于：提出一種快速的幀間攝像機(jī)運(yùn)動(dòng)補(bǔ)償算法，保證在攝像機(jī)晃動(dòng)較大的情況下仍可以實(shí)現(xiàn)對(duì)目標(biāo)實(shí)時(shí)、穩(wěn)定的跟蹤；能實(shí)現(xiàn)在較低配置硬件平臺(tái)上（如嵌入式平臺(tái)）的實(shí)時(shí)跟蹤；能夠?qū)Ω櫟哪繕?biāo)進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)在目標(biāo)被遮擋或者脫離視場(chǎng)之后再出現(xiàn)時(shí)仍可以重新捕獲并跟蹤；通過遙測(cè)數(shù)據(jù)可大幅減少目標(biāo)檢測(cè)時(shí)需匹配的圖像塊個(gè)數(shù)，實(shí)現(xiàn)快速、準(zhǔn)確的檢測(cè)與重捕獲。
【專利說明】一種基于TLD優(yōu)化算法的目標(biāo)重捕獲系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視覺圖像領(lǐng)域，具體涉及一種通過幀間運(yùn)動(dòng)補(bǔ)償與模板匹配學(xué)習(xí)的方 法實(shí)現(xiàn)的目標(biāo)跟蹤與重捕獲系統(tǒng)及方法。

【背景技術(shù)】
[0002] 目前對(duì)于目標(biāo)丟失后的重新捕獲主要通過TLD算法來實(shí)現(xiàn)。TLD(TrackLearning Detection)是一種可以對(duì)目標(biāo)進(jìn)行在線學(xué)習(xí)的跟蹤算法。該算法由跟蹤、學(xué)習(xí)和檢測(cè)三個(gè) 模塊構(gòu)成。當(dāng)目標(biāo)出現(xiàn)時(shí)跟蹤模塊對(duì)目標(biāo)進(jìn)行跟蹤，跟蹤的結(jié)果傳入學(xué)習(xí)模塊進(jìn)行學(xué)習(xí)。通 過學(xué)習(xí)讓計(jì)算機(jī)"記住"目標(biāo)的特征。在目標(biāo)丟失或者跟蹤失敗的情況下，檢測(cè)模塊會(huì)根據(jù) 之前"記憶"的特征在當(dāng)前幀中檢測(cè)目標(biāo)。一旦檢測(cè)到目標(biāo)再次出現(xiàn)，則繼續(xù)跟蹤和學(xué)習(xí)。 該算法可以長(zhǎng)時(shí)間對(duì)目標(biāo)進(jìn)行跟蹤，當(dāng)目標(biāo)被遮擋后再次出現(xiàn)時(shí)，仍可以對(duì)目標(biāo)進(jìn)行跟蹤。 然而該算法計(jì)算量較大，不適應(yīng)在計(jì)算資源非常有限的無人機(jī)系統(tǒng)中使用。
[0003] TLD算法結(jié)合目標(biāo)跟蹤和機(jī)器學(xué)習(xí)算法，實(shí)現(xiàn)了對(duì)目標(biāo)的穩(wěn)定跟蹤與重捕獲。TLD 算法應(yīng)用在無人機(jī)系統(tǒng)上是新技術(shù)。在無人機(jī)系統(tǒng)上使用TLD算法面臨如下問題：（1)如 何在有限的硬件資源下實(shí)現(xiàn)實(shí)時(shí)跟蹤；(2)如何跟蹤在高空拍攝的"小"目標(biāo)；（3)如何處理 由無人機(jī)姿態(tài)變化帶來的鏡頭旋轉(zhuǎn)（目標(biāo)沒有旋轉(zhuǎn)）；(4)如何處理目標(biāo)旋轉(zhuǎn)時(shí)跟蹤失敗問 題；（5)如何處理跟蹤短時(shí)間目標(biāo)丟失時(shí)的正樣本生成；（6)如何處理目標(biāo)丟失后發(fā)生錯(cuò)誤 重捕獲等問題。
[0004] 本發(fā)明的技術(shù)解決問題：克服現(xiàn)有技術(shù)的不足，提供了一種基于TLD優(yōu)化算法的 重捕獲技術(shù)，該技術(shù)解決了TLD算法在無人機(jī)系統(tǒng)中應(yīng)用的諸多問題。在有限的計(jì)算資源 上實(shí)現(xiàn)了實(shí)時(shí)穩(wěn)定跟蹤；解決了對(duì)小目標(biāo)的特征提取及跟蹤，提升了對(duì)旋轉(zhuǎn)攝像機(jī)和目標(biāo) 出現(xiàn)旋轉(zhuǎn)的情況下跟蹤的魯棒性；降低了重捕獲的誤檢率。
[0005] 本發(fā)明的技術(shù)解決方案：一種基于TLD優(yōu)化算法的重捕獲技術(shù)，包括以下模塊：多 分辨率幀間配準(zhǔn)模塊、模板匹配跟蹤模塊、基于遙測(cè)數(shù)據(jù)的快速檢測(cè)學(xué)習(xí)模塊。其中多分辨 率幀間匹配模塊用以對(duì)攝像機(jī)的運(yùn)動(dòng)進(jìn)行補(bǔ)償；模板匹配跟蹤模塊可在預(yù)測(cè)的較小搜索范 圍內(nèi)進(jìn)行目標(biāo)的快速匹配與跟蹤；基于遙測(cè)數(shù)據(jù)的快速檢測(cè)學(xué)習(xí)模塊，可通過讀取遙測(cè)數(shù) 據(jù)提供的高度信息，大幅縮減用于檢測(cè)的搜索窗口數(shù)量，從而提升檢測(cè)速度。
[0006] 所述的多分辨率幀間配準(zhǔn)模塊，通過在四分之一分辨率的圖像上進(jìn)行粗略的模板 匹配，計(jì)算出攝像機(jī)大致的運(yùn)動(dòng)方向；在四分之一分辨率圖像上尋找角點(diǎn)，之后在全分辨率 圖像上跟蹤這些角點(diǎn)；對(duì)于每一對(duì)跟蹤點(diǎn)計(jì)算其跟蹤質(zhì)量參數(shù)；對(duì)所有跟蹤點(diǎn)對(duì)的跟蹤質(zhì) 量參數(shù)進(jìn)行排序，僅選取質(zhì)量最好的前26個(gè)點(diǎn)對(duì)進(jìn)行透視變換矩陣的計(jì)算；該透視變換矩 陣可以消除攝像機(jī)帶來的旋轉(zhuǎn)、平移、縮放以及透視變換。
[0007] 所述的模板運(yùn)動(dòng)匹配跟蹤模塊可通過多分辨幀間配準(zhǔn)模塊計(jì)算出來的透視變換 矩陣，進(jìn)一步縮小跟蹤的搜索范圍?？s小模板匹配的搜索范圍可以大幅縮短模板匹配的計(jì) 算時(shí)間，同時(shí)降低誤匹配。對(duì)于靜止目標(biāo)可以通過透視變換矩陣計(jì)算出目標(biāo)在下一幀中大 致的位置，在該位置周圍設(shè)置搜索范圍進(jìn)行模板匹配跟蹤。對(duì)于運(yùn)動(dòng)目標(biāo)可在透視變換的 基礎(chǔ)上加入運(yùn)動(dòng)估計(jì)預(yù)測(cè)，確定較為精確的搜索范圍。
[0008] 所述的基于遙測(cè)數(shù)據(jù)的快速檢測(cè)學(xué)習(xí)模塊，通過讀取遙測(cè)數(shù)據(jù)中的焦距值和高度 值來縮減用于檢測(cè)的圖像塊的數(shù)量。在原始TLD算法中，需要將圖像分割成大小不一位置 不同的多個(gè)圖像塊。當(dāng)目標(biāo)在像空間大小變化較大時(shí)，只能通過多尺度圖像塊的檢測(cè)才能 實(shí)現(xiàn)目標(biāo)的重捕獲。本模塊可以通過遙測(cè)數(shù)據(jù)對(duì)像平面中點(diǎn)進(jìn)行定位，計(jì)算出攝像機(jī)到大 地的距離，通過該距離與焦距可以估計(jì)出目標(biāo)在像空間中的大致尺寸。利用該尺寸可以快 速選擇合適的目標(biāo)檢測(cè)圖像塊大小。同時(shí)提出了一種基于相似度的快速模板學(xué)習(xí)算法。
[0009] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：
[0010] (1)本發(fā)明提出一種快速的幀間攝像機(jī)運(yùn)動(dòng)補(bǔ)償算法，保證在攝像機(jī)晃動(dòng)較大的 情況下仍可以實(shí)現(xiàn)對(duì)目標(biāo)實(shí)時(shí)、穩(wěn)定的跟蹤。
[0011] (2)本發(fā)明大大提升了跟蹤的執(zhí)行效率，能實(shí)現(xiàn)在較低配置硬件平臺(tái)上（如嵌入 式平臺(tái)）的實(shí)時(shí)跟蹤。
[0012] (3)本發(fā)明能夠?qū)Ω櫟哪繕?biāo)進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)在目標(biāo)被遮擋或者脫離視場(chǎng)之后再 出現(xiàn)時(shí)仍可以重新捕獲并跟蹤。
[0013] (4)本發(fā)明通過遙測(cè)數(shù)據(jù)可大幅減少目標(biāo)檢測(cè)時(shí)需匹配的圖像塊個(gè)數(shù)，實(shí)現(xiàn)快速、 準(zhǔn)確的檢測(cè)與重捕獲。

【專利附圖】

【附圖說明】
[0014] 圖1為重捕獲算法整體流程圖；
[0015] 圖2為多分辨率幀間配準(zhǔn)流程圖；
[0016] 圖3為模板匹配跟蹤示意圖。

【具體實(shí)施方式】
[0017] 整體算法流程如圖1所示。幀間配準(zhǔn)模塊向模板匹配跟蹤模塊提供攝像機(jī)運(yùn)動(dòng)估 計(jì)。模板跟蹤模塊將跟蹤目標(biāo)送入快速檢測(cè)學(xué)習(xí)模塊，進(jìn)行目標(biāo)的統(tǒng)計(jì)與丟失之后的檢測(cè)。
[0018] 下面從多分辨率幀間配準(zhǔn)，模板匹配跟蹤，基于遙測(cè)數(shù)據(jù)的快速檢測(cè)等幾個(gè)步驟， 結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步介紹。
[0019] 1.多分辨率幀間配準(zhǔn)
[0020] 如圖2所示，設(shè)原始圖像的寬為w，高為h。將原始圖像進(jìn)行等比例縮放，縮放因子 為s，則縮放之后的低分辨率圖像寬為

【權(quán)利要求】
1. 一種基于TLD優(yōu)化算法的目標(biāo)重捕獲系統(tǒng)，其特征在于，所述系統(tǒng)包括以下模塊： 多分辨率幀間配準(zhǔn)模塊，用以對(duì)攝像機(jī)的運(yùn)動(dòng)進(jìn)行補(bǔ)償； 模板匹配跟蹤模塊，用于在預(yù)測(cè)的較小搜索范圍內(nèi)進(jìn)行目標(biāo)的快速匹配與跟蹤； 基于遙測(cè)數(shù)據(jù)的快速檢測(cè)學(xué)習(xí)模塊，通過讀取遙測(cè)數(shù)據(jù)中的焦距值和高度值來縮減用 于檢測(cè)的搜索窗口數(shù)量。
2. 根據(jù)權(quán)利要求1所述的目標(biāo)重捕獲系統(tǒng)，其特征在于，所述多分辨率幀間配準(zhǔn)模 塊通過在長(zhǎng)寬各為原始分辨率長(zhǎng)寬n分之一的圖像上進(jìn)行粗略的模板匹配(其中n為2的 冪)，計(jì)算出攝像機(jī)大致的運(yùn)動(dòng)方向；在低分辨率圖像上尋找特征點(diǎn)，之后在全分辨率圖像 上跟蹤這些特征點(diǎn)；對(duì)于每一對(duì)跟蹤點(diǎn)將其匹配度作為其跟蹤質(zhì)量參數(shù)；對(duì)所有跟蹤點(diǎn)對(duì) 的跟蹤質(zhì)量參數(shù)進(jìn)行排序，僅選取質(zhì)量最好的前m (m小于總的跟蹤點(diǎn)數(shù)）個(gè)點(diǎn)對(duì)進(jìn)行單應(yīng) 性矩陣的計(jì)算。
3. 根據(jù)權(quán)利要求1所述的目標(biāo)重捕獲系統(tǒng)，其特征在于，所述的模板運(yùn)動(dòng)匹配跟蹤模 塊通過多分辨幀間配準(zhǔn)模塊計(jì)算出來的透視變換矩陣，進(jìn)一步縮小跟蹤的搜索范圍；對(duì)于 靜止目標(biāo)可以通過透視變換矩陣計(jì)算出目標(biāo)在下一幀中大致的位置，在該位置周圍設(shè)置搜 索范圍進(jìn)行模板匹配跟蹤；對(duì)于運(yùn)動(dòng)目標(biāo)可在透視變換的基礎(chǔ)上加入運(yùn)動(dòng)估計(jì)預(yù)測(cè)，確定 較為精確的搜索范圍。
4. 根據(jù)權(quán)利要求1所述的目標(biāo)重捕獲系統(tǒng)，其特征在于，當(dāng)焦距值發(fā)生變化時(shí)，可根 據(jù)焦距的變化選擇合適的縮放因子。
5. -種基于TLD優(yōu)化算法的目標(biāo)重捕獲方法，其特征在于，所述方法包括以下步驟： 1) 多分辨率幀間配準(zhǔn)步驟，用以對(duì)攝像機(jī)的運(yùn)動(dòng)進(jìn)行補(bǔ)償； 2) 模板匹配跟蹤步驟，用于在預(yù)測(cè)的較小搜索范圍內(nèi)進(jìn)行目標(biāo)的快速匹配與跟蹤； 3) 基于遙測(cè)數(shù)據(jù)的快速檢測(cè)學(xué)習(xí)步驟，通過讀取遙測(cè)數(shù)據(jù)中的焦距值和高度值來縮減 用于檢測(cè)的搜索窗口數(shù)量。
【文檔編號(hào)】G06T7/20GK104408725SQ201410709327
【公開日】2015年3月11日 申請(qǐng)日期:2014年11月28日 優(yōu)先權(quán)日:2014年11月28日
【發(fā)明者】吳國(guó)強(qiáng), 聶志彪, 向永紅, 趙甲, 尹中義, 孫浩惠, 魏巍 申請(qǐng)人:中國(guó)航天時(shí)代電子公司