專利名稱：一種復(fù)雜場景下自動目標(biāo)識別跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種自動目標(biāo)識別跟蹤方法及系統(tǒng)，尤其是一種復(fù)雜場景下自動目標(biāo) 識別跟蹤方法及系統(tǒng)。
背景技術(shù)：
自動目標(biāo)識別與跟蹤技術(shù)是采用計算機處理一個或多個傳感器的輸出信號(主 要是圖像信號)，識別和跟蹤特定目標(biāo)的一種技術(shù)。它對戰(zhàn)術(shù)導(dǎo)彈武器精確打擊目標(biāo)、智能 化攻擊目標(biāo)和提高發(fā)射平臺的生存能力，具有重要意義。
實際戰(zhàn)場場景大多非常復(fù)雜，復(fù)雜場景下自動目標(biāo)識別需解決的難點包括1)目 標(biāo)特性的多樣性；2)背景的千變?nèi)f化；3)隨天氣情況、太陽輻射變化等因素引起的目標(biāo)和 背景輻射特性的變化；4)模板圖與導(dǎo)引頭拍攝的圖像存在的旋轉(zhuǎn)、縮放以及幾何畸變；5) 實時快速完成信號處理任務(wù)。
現(xiàn)有的目標(biāo)識別算法主要有統(tǒng)計模式識別、基于模型(知識)的識別、基于不變量 的識別、基于特征的識別和基于模板的識別等。針對上述應(yīng)用難點，采用圖像不變特征的識 別算法比較適合。
采用圖像不變特征的識別算法具有旋轉(zhuǎn)、尺度以及仿射變化不變特性的適應(yīng)能 力，能夠較好的解決復(fù)雜場景下自動目標(biāo)識別問題，但由于此識別算法涉及到多尺度運算、 多維特征空間計算和亞像素定位等，計算較復(fù)雜，一般都是在計算機或者工控機上實現(xiàn)的， 還沒在嵌入式設(shè)備上實現(xiàn)快速識別功能，因此無法得到實際應(yīng)用。發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題克服現(xiàn)有技術(shù)的不足，提供一種復(fù)雜場景下自動目標(biāo) 識別跟蹤方法及系統(tǒng)，使其能夠在復(fù)雜場景下，在嵌入式設(shè)備上快速準(zhǔn)確自動識別目標(biāo)物 體，并能進(jìn)行穩(wěn)定實時的跟蹤。
本發(fā)明技術(shù)解決方案一種復(fù)雜場景下自動目標(biāo)識別跟蹤方法，實現(xiàn)步驟如下
(I)裝訂目標(biāo)模板信息；
前期采集不同位置的目標(biāo)圖像序列，并進(jìn)行目標(biāo)圖像序列的特征點提取和特征描 述子提取，然后將特征點和特征描述子疊加上采集圖像時所處的位置信息和目標(biāo)所在圖像 中的位置信息，生成目標(biāo)模板信息，然后將目標(biāo)模板信息裝訂到存儲設(shè)備上；
(2)根據(jù)目前所處的位置信息，從存儲器中的目標(biāo)模板信息序列中，選取與目前所 處位置最接近的目標(biāo)模板信息；
(3)采集實時圖像信息，得到識別幀，進(jìn)入識別模式階段，所述識別模式實現(xiàn)為
(31)提取識別幀的特征點位置，并根據(jù)特征點周圍鄰域詳細(xì)的信息，即局部特征， 生成特征描述子；
(32)由步驟(2)中讀取的目標(biāo)模板信息中的特征點和特征描述子與步驟(31)中 的識別幀的特征點及特征描述子，兩兩比較找出相互匹配的若干對特征點，建立景物間的對應(yīng)關(guān)系；
(33)在若干對特征點中，根據(jù)大于四對相互匹配的特征點關(guān)系，擬合透視變換參 數(shù)；
(34)由步驟(2)中讀取的目標(biāo)模板信息中的目標(biāo)所在圖像中的位置信息和步驟(33)得到的透視變換參數(shù)，計算目標(biāo)在識別幀中的相應(yīng)坐標(biāo)位置；
(35)在進(jìn)行步驟(31)、(32)、(33)、(34)過程中，實時圖像由步驟(31)中的t0時 刻識別幀，更新到tn時刻的當(dāng)前幀，在此期間，采用相關(guān)跟蹤算法計算t0時刻識別幀與tn 時刻當(dāng)前幀的坐標(biāo)位置變化關(guān)系，由步驟(34)得到的目標(biāo)在識別幀中的相應(yīng)坐標(biāo)位置和 t0時刻到tn時刻坐標(biāo)位置變化關(guān)系計算得到目標(biāo)在tn時刻當(dāng)前幀的準(zhǔn)確位置；
(4)最后將步驟(35)中的tn時刻識別結(jié)果代入跟蹤模塊，進(jìn)行實時跟蹤模式階 段，完成跟蹤任務(wù)。
本發(fā)明的一種復(fù)雜場景下自動目標(biāo)識別跟蹤系統(tǒng)，包含
嵌入式圖像處理器，與視頻解碼設(shè)備相連，獲得實時圖像信息，與FPGA相連，獲得 識別幀和當(dāng)前幀坐標(biāo)位置變化關(guān)系，與大容量N0RFLASH相連，獲得目標(biāo)模板圖信息，與大 容量DDR2 RAM相連，存儲實時圖像信息，與圖像顯示設(shè)備相連，輸出圖像信息，嵌入式圖像 處理器完成識別幀的特征點位置和特征描述子提取、識別幀與目標(biāo)模板信息匹配、擬合透 視變化參數(shù)、計算目標(biāo)在識別幀的位置信息、根據(jù)目標(biāo)在識別幀的位置信息和FPGA提供的 識別幀和當(dāng)前幀坐標(biāo)位置變化關(guān)系計算目標(biāo)在當(dāng)前幀的位置信息；
高速FPGA處理器，與串口設(shè)備相連，獲得控制指令，并發(fā)送跟蹤結(jié)果，與嵌入式圖 像處理器相連，提供識別幀和當(dāng)前幀坐標(biāo)位置變化關(guān)系，高速FPGA處理器完成串口通信以 及相關(guān)跟蹤算法實現(xiàn)；
大容量N0RFLASH，與嵌入式圖像處理器相連，提供嵌入式圖像處理器所需的目標(biāo) 模板信息，大容量N0RFLASH用于目標(biāo)模板信息的掉電存儲以及系統(tǒng)運行程序的掉電存儲；
大容量DDR2 RAM,與嵌入式圖像處理器相連，提供嵌入式圖像處理器運行程序所 需內(nèi)存空間；
圖像采集設(shè)備，與視頻解碼設(shè)備相連，提供模擬視頻信息，圖像采集設(shè)備用于實時 模擬圖像信息的采集；
視頻解碼設(shè)備，與圖像采集設(shè)備相連，用于轉(zhuǎn)換模擬圖像信息為數(shù)字圖像信息，與 嵌入式圖像處理器相連，提供實時數(shù)字圖像信息；
圖像顯示設(shè)備，與嵌入式圖像處理器相連，用于處理結(jié)果及實時圖像的顯示；
串口控制設(shè)備，與FPGA相連，用于控制命令的發(fā)送以及跟蹤結(jié)果的接收。
本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于
(I)存儲器中裝訂有多幅不同位置拍攝的目標(biāo)模板信息，目標(biāo)模板信息包括拍攝 位置信息、目標(biāo)位置信息、從模板圖像提取的特征點位置以及特征描述子信息。目標(biāo)模板圖 像前期進(jìn)行特征提取與描述，再裝訂到存儲器上，等待系統(tǒng)選取，這樣節(jié)省了系統(tǒng)在進(jìn)行目 標(biāo)模板圖和實時圖進(jìn)行匹配時，提取目標(biāo)模板圖特征信息的時間，提高了識別速度。
(2)在讀取目標(biāo)模板信息時，系統(tǒng)會根據(jù)目前所處的位置信息，從存儲器中選取與 目前所處位置最接近的目標(biāo)模板信息，以減小目標(biāo)模板圖與識別幀的位置差異，從而提高 識別目標(biāo)的速度和精度。
(3)經(jīng)過上述改進(jìn)后，識別速度大大提升，但還無法提升到實時識別的程度，從而 影響識別精度，進(jìn)而影響跟蹤精度。因此，在嵌入式圖像處理器進(jìn)行識別幀目標(biāo)識別過程 中，F(xiàn)PGA同時對識別幀和在目標(biāo)識別過程中后續(xù)實時視頻圖像進(jìn)行相關(guān)跟蹤，即MAD，從而 得到嵌入式圖像處理器在目標(biāo)識別過程中，識別幀與捕獲目標(biāo)后當(dāng)前實時視頻圖像當(dāng)前幀 的坐標(biāo)位置關(guān)系，由上述數(shù)據(jù)可快速計算出目標(biāo)捕獲后在當(dāng)前實時視頻圖像的準(zhǔn)確坐標(biāo)， 從而為后續(xù)跟蹤提供準(zhǔn)確目標(biāo)位置信息。
(4)選取了嵌入式圖像處理器+高速FPGA處理器架構(gòu)，便于提高圖像處理的效率 以及實用化；并針對硬件系統(tǒng)的特點，對識別算法進(jìn)行了改進(jìn)，提高了復(fù)雜場景下在本發(fā)明 硬件系統(tǒng)上的識別速度，并具有一定的抗尺度和旋轉(zhuǎn)變化的功能；同時在系統(tǒng)中加入了識 別策略，保證系統(tǒng)識別的快速準(zhǔn)確性，從而為后續(xù)實時跟蹤提供準(zhǔn)確位置信息。


圖1為本發(fā)明的硬件系統(tǒng)結(jié)構(gòu)圖2為本發(fā)明的方法實現(xiàn)流程框圖3為本發(fā)明的識別算法框圖4為非極大值抑制圖5為Haar小波模板圖6為特征描述子表不圖7為本發(fā)明的目標(biāo)模板圖和實時圖的特征點與目標(biāo)關(guān)系其中(a)目標(biāo)模板圖特征點和目標(biāo)位置，(b)實時圖匹配點和目標(biāo)位置；
圖8為本發(fā)明的圖像目標(biāo)位置隨時間變化圖。
具體實施方式
為了提高系統(tǒng)處理速度，本發(fā)明硬件系統(tǒng)采用了嵌入式圖像處理器+高速FPGA處 理器架構(gòu)，用嵌入式圖像處理器完成復(fù)雜場景下的目標(biāo)識別功能，用高速FPGA處理器完成 目標(biāo)的實時跟蹤以及通信模塊功能，同時提出一種識別策略，這樣既保證了復(fù)雜場景下目 標(biāo)識別的高效性，同時也保證了目標(biāo)識別和跟蹤的精度。
本發(fā)明硬件系統(tǒng)架構(gòu)如圖1所示，包括
嵌入式圖像處理器，用于實現(xiàn)復(fù)雜場景下的目標(biāo)快速自動識別。圖像處理器型號 為TMS320DM6437，其基于C64x+內(nèi)核結(jié)構(gòu)，片內(nèi)采用L1/L2兩級緩存結(jié)構(gòu)，芯片主頻最高可 達(dá)660MHz，處理能力達(dá)5280MIPS。這些都有利于實現(xiàn)對圖像數(shù)據(jù)的迅速處理。另外其帶有 視頻處理子系統(tǒng)，可以與視頻解碼芯片無縫連接，并可以直接輸出模擬視頻信號，用于處理 結(jié)果及實時圖像的顯示；
高速FPGA處理器，用于實現(xiàn)實時跟蹤及通信接口擴展。其采用45nm的CMOS工藝， 包含147443個邏輯資源，為實現(xiàn)實時跟蹤與通信的同時處理提供了硬件基礎(chǔ)；
大容量N0RFLASH，用于目標(biāo)模板信息序列以及系統(tǒng)運行程序的掉電存儲；
大容量DDR2 RAM，用于系統(tǒng)程序的在線運行、圖像數(shù)據(jù)存儲以及數(shù)據(jù)處理的緩 存；
圖像采集設(shè)備，用于實時模擬視頻圖像的采集；
視頻解碼設(shè)備，用于轉(zhuǎn)換模擬視頻信號為數(shù)字視頻信號；
圖像顯示設(shè)備，用于處理結(jié)果以及實時圖像的顯示；
串口控制設(shè)備，用于控制命令的發(fā)送以及處理結(jié)果的接收。
當(dāng)系統(tǒng)加電后，硬件設(shè)備會自動完成相應(yīng)初始化工作，然后進(jìn)入軟件流程。
本發(fā)明方法實現(xiàn)如圖2，包括如下步驟
系統(tǒng)在使用前，需要上電裝訂在不同位置采集并處理后的目標(biāo)模板信息序列。目標(biāo)模板信息包括拍攝位置信息、目標(biāo)位置信息、從模板圖像提取的特征點位置以及特征描述子信息。系統(tǒng)使用前期，需要在不同位置采集目標(biāo)所在區(qū)域的圖像序列，并在PC機上對不同位置采集的目標(biāo)圖像序列進(jìn)行特征點提取和特征描述子提取后，疊加上采集圖像時所處的位置信息，目標(biāo)所在圖像中的位置信息，生成目標(biāo)模板信息，待系統(tǒng)上電后，裝訂到 N0RFLASH上，等待系統(tǒng)使用時選??；
目標(biāo)模板信息裝訂完畢后，再次上電，根據(jù)用戶需求，既可選擇再次裝訂目標(biāo)模板信息，即更新目標(biāo)模板信息，也可選擇進(jìn)行人機交互，對系統(tǒng)進(jìn)行配置，待系統(tǒng)接收到目標(biāo)識別指令后，F(xiàn)PGA從串口控制設(shè)備得到目前系統(tǒng)所處位置信息，再通過外部總線將位置信息傳送給嵌入式圖像處理器；
嵌入式圖像處理器根據(jù)目前系統(tǒng)所處位置信息從大容量N0RFLASH讀取最接近目前位置的目標(biāo)模板圖信息，存入大容量DDR2 RAM中。
視頻采集設(shè)備開始實時采集視頻圖像信息，經(jīng)由視頻解碼設(shè)備將模擬視頻信號轉(zhuǎn)為數(shù)字信號，嵌入式圖像處理器將數(shù)字圖像信號存入大容量DDR2 RAM中，然后進(jìn)入目標(biāo)識別模式。
進(jìn)入目標(biāo)識別模式，嵌入式圖像處理器對當(dāng)前幀圖像數(shù)據(jù)進(jìn)行識別算法計算，其步驟參見圖3。
(I)提取當(dāng)前幀圖像數(shù)據(jù)的特征點位置，并根據(jù)特征點周圍鄰域詳細(xì)的信息(局部特征)生成特征描述子。對于當(dāng)前幀圖像，計算圖像在不同尺度下的濾波器響應(yīng)值，然后在圖像中提取特征點位置可分為三個步驟
a.濾波器響應(yīng)與提前設(shè)定的閾值進(jìn)行比較，低于閾值的點被去除。因此，增大閾值會減少檢測到的興趣點的數(shù)目，只有響應(yīng)最強的點被保留；而減小閾值則會檢測到更多的興趣點。所以，閾值應(yīng)根據(jù)實際需求進(jìn)行選取。
b.閾值處理后，要執(zhí)行非極大值抑制尋找候選特征點。尺度空間(Scale)中的每一個點都要與其26個鄰域點(由同尺度層的8個相鄰點和上下相鄰尺度層各9個點)進(jìn)行比較，以確保在尺度空間和圖像位置空間都檢測到極值點。如圖4所示，標(biāo)記‘X’的像素點的特征值若大于周圍像素則可確定該點為該區(qū)域的特征點。
c.以上特征點的搜索是在離散空間中進(jìn)行的，檢測到的極值點并不是真正的特征點，因此需要對檢測到特征點插值得到連續(xù)空間特征點。利用泰勒級數(shù)，將H(x，y，(O展開為二次函數(shù)如下，其中H為圖像坐標(biāo)為(x,y),尺度為σ的hession矩陣行列式。
權(quán)利要求
1.一種復(fù)雜場景下自動目標(biāo)識別跟蹤方法，其特征在于實現(xiàn)步驟如下(1)裝訂目標(biāo)模板信息；前期采集不同位置的目標(biāo)圖像序列，并進(jìn)行目標(biāo)圖像序列的特征點提取和特征描述子提取，然后將特征點和特征描述子疊加上采集圖像時所處的位置信息和目標(biāo)所在圖像中的位置信息，生成目標(biāo)模板信息，然后將目標(biāo)模板信息裝訂到存儲設(shè)備上；(2)根據(jù)目前所處的位置信息，從存儲器中的目標(biāo)模板信息序列中，選取與目前所處位置最接近的目標(biāo)模板信息；(3)采集實時圖像信息，得到識別幀，進(jìn)入識別模式階段，所述識別模式實現(xiàn)為(31)提取識別幀的特征點位置，并根據(jù)特征點周圍鄰域詳細(xì)的信息，即局部特征，生成特征描述子；(32)由步驟(2)中讀取的目標(biāo)模板信息中的特征點和特征描述子與步驟(31)中的識別幀的特征點及特征描述子，兩兩比較找出相互匹配的若干對特征點，建立景物間的對應(yīng)關(guān)系;(33)在若干對特征點中，根據(jù)大于四對相互匹配的特征點關(guān)系，擬合透視變換參數(shù)；(34)由步驟(2)中讀取的目標(biāo)模板信息中的目標(biāo)所在圖像中的位置信息和步驟(33) 得到的透視變換參數(shù)，計算目標(biāo)在識別幀中的相應(yīng)坐標(biāo)位置；(35)在進(jìn)行步驟(31)、(32)、(33)、(34)過程中，實時圖像由步驟(31)中的t0時刻識別幀，更新到tn時刻的當(dāng)前幀，在此期間，采用相關(guān)跟蹤算法計算t0時刻識別幀與tn時刻當(dāng)前幀的坐標(biāo)位置變化關(guān)系，由步驟(34)得到的目標(biāo)在識別幀中的相應(yīng)坐標(biāo)位置和t0時刻到tn時刻坐標(biāo)位置變化關(guān)系計算得到目標(biāo)在tn時刻當(dāng)前幀的準(zhǔn)確位置；(4)最后將步驟(35)中的tn時刻識別結(jié)果代入跟蹤模塊，進(jìn)行實時跟蹤模式階段，完成跟蹤任務(wù)。
2.一種復(fù)雜場景下自動目標(biāo)識別跟蹤系統(tǒng)，其特征在于包含嵌入式圖像處理器，與視頻解碼設(shè)備相連，獲得實時圖像信息，與FPGA相連，獲得識別幀和當(dāng)前幀坐標(biāo)位置變化關(guān)系，與大容量N0RFLASH相連，獲得目標(biāo)模板圖信息，與大容量 DDR2 RAM相連，存儲實時圖像信息，與圖像顯示設(shè)備相連，輸出圖像信息，嵌入式圖像處理器完成識別幀的特征點位置和特征描述子提取、識別幀與目標(biāo)模板信息匹配、擬合透視變化參數(shù)、計算目標(biāo)在識別幀的位置信息、根據(jù)目標(biāo)在識別幀的位置信息和FPGA提供的識別幀和當(dāng)前幀坐標(biāo)位置變化關(guān)系計算目標(biāo)在當(dāng)前幀的位置信息；高速FPGA處理器，與串口設(shè)備相連，獲得控制指令，并發(fā)送跟蹤結(jié)果，與嵌入式圖像處理器相連，提供識別幀和當(dāng)前幀坐標(biāo)位置變化關(guān)系，高速FPGA處理器完成串口通信以及相關(guān)跟蹤算法實現(xiàn)；大容量N0RFLASH，與嵌入式圖像處理器相連，提供嵌入式圖像處理器所需的目標(biāo)模板信息，大容量N0RFLASH用于目標(biāo)模板信息的掉電存儲以及系統(tǒng)運行程序的掉電存儲；大容量DDR2RAM，與嵌入式圖像處理器相連，提供嵌入式圖像處理器運行程序所需內(nèi)存空間；圖像采集設(shè)備，與視頻解碼設(shè)備相連，提供模擬視頻信息，圖像采集設(shè)備用于實時模擬圖像信息的采集；視頻解碼設(shè)備，與圖像采集設(shè)備相連，用于轉(zhuǎn)換模擬圖像信息為數(shù)字圖像信息，與嵌入式;圖傢處埋器相連，提供買時數(shù) 圖傢佶息；圖像顯示設(shè)備，與嵌入式圖像處理器相連，用于處理結(jié)果及實時圖像的顯示 串口控制設(shè)備，與FPGA相連，用于控制命令的發(fā)送以及跟蹤結(jié)果的接收。
全文摘要
本發(fā)明公開一種復(fù)雜場景下自動目標(biāo)識別跟蹤方法及系統(tǒng)，采用嵌入式圖像處理器+高速FPGA處理器架構(gòu)，用嵌入式圖像處理器完成復(fù)雜場景下的目標(biāo)自動識別功能，用高速FPGA處理器架構(gòu)完成實時跟蹤以及通信模塊功能。本發(fā)明還公開了一種基于上述系統(tǒng)的復(fù)雜場景下自動目標(biāo)識別跟蹤方法，既保證了復(fù)雜場景下目標(biāo)的快速識別，同時也保證了目標(biāo)識別和跟蹤的精度，從而解決了目前復(fù)雜場景下無法在嵌入式設(shè)備上完成目標(biāo)的快速識別問題，在精確制導(dǎo)武器方面具有重大的應(yīng)用價值和良好的應(yīng)用前景。
文檔編號G06K9/20GK103065131SQ20121059516
公開日2013年4月24日 申請日期2012年12月28日 優(yōu)先權(quán)日2012年12月28日
發(fā)明者王冬, 王懷野, 趙曉霞, 溫陽, 宋敏, 郭慧敏, 劉松博, 張軍, 李世海, 周英, 劉華 申請人:中國航天時代電子公司