功耗低的基于dsp的相關(guān)跟蹤方法
【專利摘要】本發(fā)明公開了一種功耗低的基于DSP的相關(guān)跟蹤方法，本發(fā)明的目標(biāo)跟蹤方法采用基于歸一化積相關(guān)（NProd）的模板匹配算法與遮擋判定、運(yùn)動(dòng)預(yù)估相結(jié)合的方式，通過Kalman運(yùn)動(dòng)預(yù)估設(shè)置搜索中心，采用基于NProd函數(shù)的子模板相關(guān)矩陣作為匹配度量，在波門中搜索目標(biāo)；如果子模板之間的相關(guān)度誤差滿足遮擋條件，則中止模板更新，直接采用運(yùn)動(dòng)預(yù)估值作為最佳匹配位置，直到目標(biāo)離開遮擋區(qū)域。本發(fā)明可以對(duì)存在復(fù)雜背景中的、與背景顏色分布相似的、突然出現(xiàn)大面積遮擋的目標(biāo)進(jìn)行有效跟蹤，體積小、功耗低，適用性強(qiáng)。
【專利說明】功耗低的基于DSP的相關(guān)跟蹤方法
[0001] 本申請(qǐng)是申請(qǐng)?zhí)枺?01310309831. 2、申請(qǐng)日：2013. 07. 22、名稱："基于DSP的相關(guān) 跟蹤方法"的分案申請(qǐng)。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及一種圖像處理技術(shù)，具體涉及的是一種基于DSP的目標(biāo)相關(guān)跟蹤方法 及其裝置。

【背景技術(shù)】
[0003] 基于圖像處理的目標(biāo)跟蹤在人機(jī)交互、智能視頻監(jiān)控及軍事應(yīng)用等領(lǐng)域具有很多 實(shí)際應(yīng)用。但是難點(diǎn)在于如何使跟蹤過程具有較強(qiáng)的魯棒性，因?yàn)槟繕?biāo)的形狀變化及遮擋 等情況都會(huì)影響跟蹤的可靠性。
[0004] 基于模板匹配的相關(guān)跟蹤方法是目標(biāo)跟蹤中的一種方法，通過自動(dòng)檢測(cè)或人工設(shè) 定得到包含目標(biāo)的模板圖像，然后采用一定的判定準(zhǔn)則即匹配度量函數(shù)，在搜索圖像中找 出最佳匹配位置，從而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。相關(guān)跟蹤方法具有精度高、跟蹤穩(wěn)定且對(duì)背景顏 色分布不敏感的優(yōu)點(diǎn)，但是當(dāng)目標(biāo)發(fā)生形變或者被遮擋時(shí)，跟蹤精度會(huì)降低甚至跟蹤失敗。 通過對(duì)模板進(jìn)行更新，可以在一定程度上抑制目標(biāo)形變對(duì)跟蹤的影響，但是每一幀上的微 小誤差會(huì)隨著相對(duì)運(yùn)動(dòng)過程逐漸積累，從而可能導(dǎo)致目標(biāo)跟蹤點(diǎn)偏離原先瞄準(zhǔn)中心越來越 遠(yuǎn)，即模板出現(xiàn)漂移。除此以外還需要特別注意當(dāng)目標(biāo)進(jìn)入遮擋時(shí)，如果不立即中止模板更 新，會(huì)導(dǎo)致遮擋物進(jìn)入模板，從而對(duì)后續(xù)跟蹤造成嚴(yán)重影響。
[0005] 現(xiàn)有的技術(shù)系統(tǒng)一般難以應(yīng)對(duì)目標(biāo)遮擋這種突變干擾，為了更加有效地提高相 關(guān)跟蹤的魯棒性，可以同時(shí)從兩個(gè)方面開展研究：其一，構(gòu)造更加魯棒的匹配度量函數(shù)；其 二，研究合適的模板更新方法。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于提供一種利用可見光圖像對(duì)存在復(fù)雜背景中的，與背景顏色分 布相似的，突然出現(xiàn)大面積遮擋的目標(biāo)進(jìn)行跟蹤，并可以將跟蹤圖像傳送給監(jiān)視器實(shí)時(shí)顯 示，將跟蹤結(jié)果實(shí)時(shí)傳輸給上位機(jī)的基于DSP的相關(guān)跟蹤方法及專用裝置。
[0007] 本發(fā)明的技術(shù)解決方案是：
[0008] -種基于DSP的相關(guān)跟蹤方法，包括以下步驟：
[0009] 步驟一：模擬視頻信號(hào)由攝像機(jī)的視頻輸出端連接到視頻捕獲模塊實(shí)現(xiàn)視頻信號(hào) 的輸入，輸入視頻信號(hào)通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號(hào)，輸入信號(hào)為標(biāo)準(zhǔn)視頻信號(hào)，為 PAL制式或者NTSC制式，數(shù)字圖像信號(hào)的輸出格式為YUV ;
[0010] 步驟二：控制波門位置及大小，手動(dòng)選擇要跟蹤的目標(biāo)，以對(duì)應(yīng)區(qū)域的圖像亮度信 號(hào)（Y)建立目標(biāo)模板，或者根據(jù)預(yù)先存儲(chǔ)的圖像數(shù)據(jù)設(shè)定目標(biāo)模板；
[0011] 步驟三：根據(jù)所建立的目標(biāo)模板在波門內(nèi)搜索目標(biāo)，采用基于NProd函數(shù)的子模 板相關(guān)矩陣作為匹配度量計(jì)算當(dāng)前模板與目標(biāo)模板的相似度，取相似度最高的點(diǎn)作為目標(biāo) 最佳匹配位置；
[0012] 步驟四：根據(jù)計(jì)算的目標(biāo)運(yùn)動(dòng)軌跡，采用Kalman濾波預(yù)估目標(biāo)在下一幀中的最大 可能位置，以該點(diǎn)為中心設(shè)置下一幀的搜索波門；
[0013] 步驟五：根據(jù)子模板相關(guān)度誤差進(jìn)行目標(biāo)遮擋判斷，如果沒有遮擋，取當(dāng)前最佳匹 配位置對(duì)應(yīng)圖像數(shù)據(jù)作為候選模板，與當(dāng)前目標(biāo)模板共同構(gòu)造新模板；
[0014] 步驟六：如果判斷目標(biāo)存在遮擋，停止模板更新，取Kalman濾波預(yù)估點(diǎn)作為下一 幀的最佳匹配位置，并將對(duì)應(yīng)圖像數(shù)據(jù)作為候選模板，通過計(jì)算其子模板相關(guān)度誤差進(jìn)行 目標(biāo)遮擋判斷；
[0015] 步驟七：根據(jù)當(dāng)前幀的目標(biāo)最佳匹配位置在圖像上疊加波門，處理后的數(shù)字圖像 信號(hào)輸入視頻顯示模塊，通過視頻編碼器轉(zhuǎn)換為模擬視頻信號(hào)供給監(jiān)視器，通過監(jiān)視器顯 示當(dāng)前跟蹤情況；
[0016] 步驟八：數(shù)據(jù)傳輸模塊將圖像跟蹤模塊計(jì)算出的目標(biāo)實(shí)時(shí)位置、相關(guān)匹配中間參 量及目標(biāo)遮擋判斷參量等數(shù)據(jù)通過UART數(shù)據(jù)傳輸接口傳送給上位機(jī)。
[0017] 一種基于DSP的相關(guān)跟蹤方法及其裝置，包括視頻捕獲模塊、圖像跟蹤模塊、視頻 顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機(jī)與視頻捕獲模塊相連接，監(jiān)視器與視頻顯示模塊 相連接，上位機(jī)通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模塊分別與視頻捕獲模 塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機(jī)將采集的模擬視頻信號(hào)傳送給視頻捕獲 模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號(hào)，傳送給圖像跟蹤模塊，圖像跟蹤模塊根據(jù)數(shù)字 圖像信號(hào)執(zhí)行相關(guān)匹配計(jì)算、目標(biāo)運(yùn)動(dòng)預(yù)估、目標(biāo)遮擋判斷及模板更新，并將處理后的數(shù)字 圖像信號(hào)傳送給視頻顯示模塊，將目標(biāo)跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模塊，視頻顯示模塊通過 視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號(hào)傳送給監(jiān)視器，數(shù)據(jù)傳輸模塊將數(shù)據(jù)通過UART 口 傳送給上位機(jī)。
[0018] 一種基于DSP的相關(guān)跟蹤方法及其裝置，其視頻捕獲模塊包括視頻輸入接口、視 頻解碼器，視頻顯示模塊包括視頻輸出接口、視頻編碼器，圖像跟蹤模塊包括DSP處理器、 電源電路、復(fù)位電路、時(shí)鐘電路、同步動(dòng)態(tài)存儲(chǔ)SDRAM、非揮發(fā)性FLASH內(nèi)存，數(shù)據(jù)傳輸模塊 包括調(diào)試接口、UART接口，其中，DSP處理器分別與電源電路、復(fù)位電路、時(shí)鐘電路、同步動(dòng) 態(tài)存儲(chǔ)SDRAM、非揮發(fā)性FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連 接。
[0019] 本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯著優(yōu)點(diǎn)：
[0020] (1)本發(fā)明系統(tǒng)能通過可變波門手動(dòng)選擇目標(biāo)，也可通過預(yù)設(shè)目標(biāo)圖像信息自動(dòng) 選擇目標(biāo)；
[0021] (2)本發(fā)明系統(tǒng)采用子模板相關(guān)度矩陣匹配算法，相對(duì)于一般的相關(guān)匹配算法，跟 蹤的魯棒性有所提1? ;
[0022] (3)本發(fā)明系統(tǒng)采用了基于子模板相關(guān)誤差的目標(biāo)遮擋判斷算法，可以有效判斷 目標(biāo)是否進(jìn)入遮擋，并結(jié)合Kalman濾波運(yùn)動(dòng)預(yù)估有效提高目標(biāo)在遮擋情況下的跟蹤成功 率；
[0023] (4)本發(fā)明系統(tǒng)單幀處理時(shí)間及CPU負(fù)載率滿足實(shí)時(shí)跟蹤要求，且體積小、功耗 低，適用性強(qiáng)，具有新穎性與實(shí)用性。
[0024] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述

【專利附圖】

【附圖說明】
[0025] 圖1是本發(fā)明基于DSP的相關(guān)跟蹤裝置的結(jié)構(gòu)示意圖。
[0026] 圖2是本發(fā)明基于DSP的相關(guān)跟蹤方法流程圖。

【具體實(shí)施方式】
[0027] 由圖1可知，一種基于DSP的相關(guān)跟蹤方法及其裝置，其裝置包括視頻捕獲模塊、 圖像跟蹤模塊、視頻顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機(jī)1與視頻捕獲模塊相連接， 監(jiān)視器與視頻顯示模塊相連接，上位機(jī)通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模 塊分別與視頻捕獲模塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機(jī)將采集的模擬視頻 信號(hào)傳送給視頻捕獲模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號(hào)，傳送給圖像跟蹤模塊，圖 像跟蹤模塊根據(jù)數(shù)字圖像信號(hào)執(zhí)行相關(guān)匹配計(jì)算、目標(biāo)運(yùn)動(dòng)預(yù)估、目標(biāo)遮擋判斷及模板更 新，并將處理后的數(shù)字圖像信號(hào)傳送給視頻顯示模塊，將目標(biāo)跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模 塊，視頻顯示模塊通過視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號(hào)傳送給監(jiān)視器13,數(shù)據(jù)傳輸 模塊將數(shù)據(jù)通過UART 口傳送給上位機(jī)12。
[0028] 視頻捕獲模塊包括視頻輸入接口、視頻解碼器2,視頻顯示模塊包括視頻輸出接 口、視頻編碼器3,圖像跟蹤模塊包括DSP處理器4、電源電路5、復(fù)位電路6、時(shí)鐘電路7、 同步動(dòng)態(tài)存儲(chǔ)SDRAM8、非揮發(fā)性FLASH內(nèi)存9,數(shù)據(jù)傳輸模塊包括調(diào)試接口 10、UART接口 11，其中，DSP處理器分別與電源電路、復(fù)位電路、時(shí)鐘電路、同步動(dòng)態(tài)存儲(chǔ)SDRAM、非揮發(fā)性 FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連接。圖像跟蹤模塊為本系 統(tǒng)的核心器件，它對(duì)基于可見光模擬視頻信號(hào)轉(zhuǎn)換而來的數(shù)字圖像進(jìn)行處理，計(jì)算出目標(biāo) 當(dāng)前位置，判斷目標(biāo)是否存在遮擋、實(shí)現(xiàn)模板更新并在數(shù)字圖像上疊加波門。本發(fā)明的DSP 處理器選用DM642芯片，視頻解碼器選用TVP5150視頻解碼芯片，視頻編碼器選用SAA7104 視頻編碼芯片。
[0029] 由圖2可知，一種基于DSP的相關(guān)跟蹤方法，包括以下步驟：
[0030] 1. 1模擬視頻信號(hào)由攝像機(jī)的視頻輸出端連接到視頻捕獲模塊實(shí)現(xiàn)視頻信號(hào)的輸 入，輸入視頻信號(hào)通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號(hào)，輸入信號(hào)為標(biāo)準(zhǔn)視頻信號(hào)，為PAL 制式或者NTSC制式，數(shù)字圖像信號(hào)的輸出格式為YUV。
[0031] 1. 2控制波門位置及大小，手動(dòng)選擇要跟蹤的目標(biāo)，以對(duì)應(yīng)區(qū)域的圖像亮度信號(hào) (Y)建立目標(biāo)模板，或者根據(jù)預(yù)先存儲(chǔ)的圖像數(shù)據(jù)設(shè)定目標(biāo)模板。模板圖像的大小在32*32 像素到64*64像素之間。
[0032] 1. 3根據(jù)所建立的目標(biāo)模板在波門內(nèi)搜索目標(biāo)，采用基于NProd函數(shù)的子模板相 關(guān)矩陣作為匹配度量計(jì)算當(dāng)前模板與目標(biāo)模板的相似度，取相似度最高的點(diǎn)作為目標(biāo)最佳 匹配位置。具體如下：
[0033] 子模板大小由模板圖像大小決定，在8*8像素到16*16像素之間，子模板的數(shù)量在 16到64之間。將模板圖像與實(shí)時(shí)圖像對(duì)應(yīng)區(qū)域的圖像按同樣方式均勻分割成MXN個(gè)子模 板，在每一個(gè)搜索位置按公式（1)計(jì)算子模板與子圖對(duì)應(yīng)位置子圖像的去均值歸一化相關(guān) 系數(shù)D kl(i，j) (0彡Dkl(i，j)彡1，1彡k彡M，1彡1彡N)，得到一個(gè)MXN維的相關(guān)度量矩 陣S，將矩陣S存儲(chǔ)在一個(gè)數(shù)組之中。 (1)
[0035] 式中，m，n分別為模板圖像的寬與高，f (x, y)為模板圖像，t(x_u, y-v)對(duì)應(yīng)于與實(shí) 際配準(zhǔn)位置偏差（u，v)個(gè)像素的子圖，7為模板圖像的灰度均值，為子圖的灰度均值， D(u，v)是度量函數(shù)位置偏移為（u，v)時(shí)的匹配度量值。
[0036] 根據(jù)子模板與瞄準(zhǔn)中心的距離對(duì)相關(guān)度矩陣TM進(jìn)行一次加權(quán)修正，修正方法如 下：

【權(quán)利要求】
1. 一種功耗低的基于DSP的相關(guān)跟蹤方法，其特征是：包括以下步驟： 步驟一：模擬視頻信號(hào)由攝像機(jī)的視頻輸出端連接到視頻捕獲模塊實(shí)現(xiàn)視頻信號(hào)的輸 入，輸入視頻信號(hào)通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號(hào)，輸入信號(hào)為標(biāo)準(zhǔn)視頻信號(hào)，為PAL 制式或者NTSC制式，數(shù)字圖像信號(hào)的輸出格式為YUV ; 步驟二：控制波門位置及大小，手動(dòng)選擇要跟蹤的目標(biāo)，以對(duì)應(yīng)區(qū)域的圖像亮度信號(hào)Y 建立目標(biāo)模板，或者根據(jù)預(yù)先存儲(chǔ)的圖像數(shù)據(jù)設(shè)定目標(biāo)模板； 步驟三：根據(jù)所建立的目標(biāo)模板在波門內(nèi)搜索目標(biāo)，采用基于NProd函數(shù)的子模板相 關(guān)矩陣作為匹配度量計(jì)算當(dāng)前模板與目標(biāo)模板的相似度，取相似度最高的點(diǎn)作為目標(biāo)最佳 匹配位置； 步驟四：根據(jù)計(jì)算的目標(biāo)運(yùn)動(dòng)軌跡，采用Kalman濾波預(yù)估目標(biāo)在下一幀中的最大可能 位置，以該點(diǎn)為中心設(shè)置下一幀的搜索波門； 步驟五：根據(jù)子模板相關(guān)度誤差進(jìn)行目標(biāo)遮擋判斷，如果沒有遮擋，取當(dāng)前最佳匹配位 置對(duì)應(yīng)圖像數(shù)據(jù)作為候選模板，與當(dāng)前目標(biāo)模板共同構(gòu)造新模板； 步驟六：如果判斷目標(biāo)存在遮擋，停止模板更新，取Kalman濾波預(yù)估點(diǎn)作為下一幀的 最佳匹配位置，并將對(duì)應(yīng)圖像數(shù)據(jù)作為候選模板，通過計(jì)算其子模板相關(guān)度誤差進(jìn)行目標(biāo) 遮擋判斷； 步驟七：根據(jù)當(dāng)前幀的目標(biāo)最佳匹配位置在圖像上疊加波門，處理后的數(shù)字圖像信號(hào) 輸入視頻顯示模塊，通過視頻編碼器轉(zhuǎn)換為模擬視頻信號(hào)供給監(jiān)視器，通過監(jiān)視器顯示當(dāng) iu跟蹤情況； 步驟八：數(shù)據(jù)傳輸模塊將圖像跟蹤模塊計(jì)算出的目標(biāo)實(shí)時(shí)位置、相關(guān)匹配中間參量及 目標(biāo)遮擋判斷參量數(shù)據(jù)通過UART數(shù)據(jù)傳輸接口傳送給上位機(jī)； 步驟四中采用Kalman濾波預(yù)估目標(biāo)在下一幀中的最大可能位置，其預(yù)估方法為： 系統(tǒng)狀態(tài)xk包括xsk, ysk以及xvk, yvk,分別為目標(biāo)在圖像X軸與Y軸上的位置與速度； 二維觀測(cè)向量Zk包括xwk，ywk，分別表示匹配算法計(jì)算出的目標(biāo)坐標(biāo)； 根據(jù)目標(biāo)在單位時(shí)間間隔內(nèi)作勻速運(yùn)動(dòng)的假設(shè)，定義狀態(tài)轉(zhuǎn)移矩陣Φ、觀測(cè)矩陣Hk及 相互獨(dú)立的零均值高斯白噪聲向量wk，vk的協(xié)方差矩陣： '1 0 Γ 〇? Γ1 0 0 0' 0 1 0 Γ 0 10 0 φ = 〇 = 0 0 10 「1 00 0]灸 0 0 10 「10 Η, = R,= _〇 ο ο 1」* L〇 1 ο 〇」 L〇 ο ο i」 ι_ 對(duì)濾波器進(jìn)行初始化，將目標(biāo)初始位置與速度賦給χ〇,速度設(shè)為ο ;初始誤差協(xié)方差Ρ〇 設(shè)為0,同時(shí)記錄當(dāng)前時(shí)刻； 將Χ〇與狀態(tài)轉(zhuǎn)移矩陣Φ代入狀態(tài)預(yù)測(cè)方程，預(yù)測(cè)當(dāng)前目標(biāo)的運(yùn)動(dòng)狀態(tài)尤·，將預(yù)測(cè)的誤 差記為APk = Wk-sk ;將狀態(tài)轉(zhuǎn)移矩陣Φ與觀測(cè)矩陣Hk代入誤差協(xié)方差預(yù)測(cè)方程，得到新 的誤差協(xié)方差； 以預(yù)估的目標(biāo)坐標(biāo)（.4，34).為搜索區(qū)域中心，當(dāng)（攻，J4)暫時(shí)沒有得出時(shí)先 以Xk中的XSk，ysk作為搜索中心；按Λpk的大小設(shè)置搜索波門大小，尋找最佳匹配位置； 最佳匹配區(qū)域的子圖坐標(biāo)賦給觀測(cè)向量xw k，ywk，從而得到Zk ;代入狀態(tài)修正方程即可得 (xsk+1, ysk+1)； 計(jì)算濾波器狀態(tài)增益系數(shù)Kk，將Zk代入狀態(tài)修正方程，得到經(jīng)觀測(cè)修正后的狀態(tài)向量， 并計(jì)算修正誤差協(xié)方差方程； 搜索波門大小采取如下方式設(shè)定： 搜索波門寬/高=2 γ APk+模板圖像寬/高 其中Y為比例系數(shù)，取值范圍為1?2。
2. 根據(jù)權(quán)利要求1所述的基于DSP的相關(guān)跟蹤方法，其特征是：步驟二中控制波門位 置及大小，手動(dòng)選擇要跟蹤的目標(biāo)，以對(duì)應(yīng)區(qū)域的圖像亮度信號(hào)建立目標(biāo)模板，或者根據(jù)預(yù) 先存儲(chǔ)的圖像數(shù)據(jù)設(shè)定目標(biāo)模板，模板圖像的大小在32*32像素到64*64像素之間。
3. 根據(jù)權(quán)利要求1所述的基于DSP的相關(guān)跟蹤方法，其特征是：如果判斷目標(biāo)存在遮 擋，停止模板更新，取Kalman濾波預(yù)估點(diǎn)作為下一幀的最佳匹配位置，并將對(duì)應(yīng)圖像數(shù)據(jù) 作為候選模板，通過計(jì)算其子模板相關(guān)度誤差進(jìn)行目標(biāo)遮擋判斷。
【文檔編號(hào)】G06T7/20GK104065925SQ201410287315
【公開日】2014年9月24日 申請(qǐng)日期:2013年7月22日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】顧菊平, 徐一鳴, 陸觀, 華亮, 陳 峰, 陳娟 申請(qǐng)人:南通大學(xué)