基于dsp+fpga的移動平臺下運動目標(biāo)檢測裝置制造方法
【專利摘要】本實用新型公開了一種基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置。該裝置包括呈三明治結(jié)構(gòu)的電源接口混合板、FPGA預(yù)處理板和DSP圖像處理板，圖像傳感器接入FPGA預(yù)處理板，F(xiàn)PGA預(yù)處理板和DSP圖像處理板分別通過視頻接口接入顯示器，且分別通過網(wǎng)絡(luò)接口接入網(wǎng)關(guān)。方法如下：FPGA預(yù)處理板獲取圖像傳感器采集的圖像數(shù)據(jù)，對其進行角點檢測等預(yù)處理后輸入DSP圖像處理板；DSP圖像處理板以攝像機光心為中心建立坐標(biāo)系，將移動平臺下運動目標(biāo)檢測轉(zhuǎn)換成靜止平臺下場景全局運動與運動目標(biāo)獨立運動；通過FEE快速極線估計確定FEE稠密隸屬度，最終完成運動目標(biāo)檢測并將結(jié)果發(fā)送至顯示器。本實用新型裝置可以在移動平臺下實現(xiàn)運動目標(biāo)的檢測，具有精度高、穩(wěn)定性強的優(yōu)點。
【專利說明】基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝直
一、【技術(shù)領(lǐng)域】
[0001]本實用新型屬于數(shù)字圖像處理與模式識別領(lǐng)域，特別是一種基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置。
二、【背景技術(shù)】
[0002]自動運動目標(biāo)檢測技術(shù)是目標(biāo)搜索與跟蹤系統(tǒng)中的關(guān)鍵技術(shù)，為后續(xù)航跡關(guān)聯(lián)、目標(biāo)識別等技術(shù)提供了初步的信息。在傳統(tǒng)的運動目標(biāo)檢測系統(tǒng)中，攝像機通常是靜止的，并廣泛應(yīng)用于視頻監(jiān)控、交通檢測等系統(tǒng)中，然而在車載手持等移動平臺下，三維場景會產(chǎn)生視差的問題，此時就需要對場景視差進行有效的估計。
[0003]傳統(tǒng)方法一般是利用運動平臺下圖像間的對極幾何關(guān)系，如平面單應(yīng)矩陣、基礎(chǔ)矩陣以及三焦點張量等，以此來補償或估計攝像機的運動。其中，單應(yīng)矩陣?yán)猛黄矫嫔掀ヅ潼c對之間的映射關(guān)系，特別適用于場景視差幾乎可以忽略無人機航拍等情況；基礎(chǔ)矩陣?yán)脠D像匹配點對間的射極幾何關(guān)系來檢測運動目標(biāo)；三焦點張量利用的多視點圖像由兩視圖增加到三視圖，代表圖像之間不以場景結(jié)構(gòu)為轉(zhuǎn)移的內(nèi)在射影幾何關(guān)系的數(shù)學(xué)量也由基本矩陣變成了三焦點張量，但計算更為復(fù)雜。
[0004]但是以上傳統(tǒng)方法需要幾何信息已知的參照標(biāo)定物，基于主動視覺的標(biāo)定方法需要利用精準(zhǔn)的云臺等硬件平臺隨時提供攝像機的方位信息，對硬件要求極高，不適用于便攜式攝像機場合；基于自標(biāo)定的方法如基本矩陣、三視角張量，雖然對標(biāo)定場景和標(biāo)定儀器要求不高，但往往工作量大、魯棒性差、精確度不高。
三、實用新型內(nèi)容
[0005]本實用新型的目的在于提供一種精度高、穩(wěn)定性強的基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置，解決在車載手持等移動平臺下，三維場景會產(chǎn)生視差的問題，對運動目標(biāo)進行實時聞效的檢測。
[0006]實現(xiàn)本實用新型目的的技術(shù)解決方案為，一種基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置，包括電源接口混合板、FPGA預(yù)處理板、DSP圖像處理板、網(wǎng)關(guān)、顯示器、圖像傳感器和電源，其中電源接口混合板上設(shè)有模式選擇開關(guān)，F(xiàn)PGA預(yù)處理板上設(shè)有第一視頻接口和第一網(wǎng)絡(luò)接口，DSP圖像處理板上設(shè)有第二視頻接口和第二網(wǎng)絡(luò)接口 ；
[0007]所述電源接口混合板、FPGA預(yù)處理板、DSP圖像處理板通過板級接插件相連且呈三明治結(jié)構(gòu)，圖像傳感器的信號輸出端通過第一視頻接口與FPGA預(yù)處理板的視頻輸入端連接，F(xiàn)PGA預(yù)處理板的視頻輸出端通過第一視頻接口接入顯示器，F(xiàn)PGA預(yù)處理板的網(wǎng)絡(luò)信號輸出端通過第一網(wǎng)絡(luò)接口接入網(wǎng)關(guān)；DSP圖像處理板的視頻輸出端通過第二視頻接口接入顯示器，DSP圖像處理板的網(wǎng)絡(luò)信號輸出端通過第二網(wǎng)絡(luò)接口接入網(wǎng)關(guān)；電源分別接入電源接口混合板、圖像傳感器、網(wǎng)關(guān)和顯示器的電源輸入端；
[0008]電源給裝置上電后，圖像傳感器將采集到的圖像數(shù)據(jù)通過第一視頻接口輸入FPGA預(yù)處理板，F(xiàn)PGA預(yù)處理板對采集到的圖像數(shù)據(jù)進行模數(shù)轉(zhuǎn)換以及數(shù)字圖像預(yù)處理，并將預(yù)處理后的圖像數(shù)據(jù)通過第一視頻接口輸出至顯示器，同時將預(yù)處理后的圖像數(shù)據(jù)通過板級接插件輸入至DSP圖像處理板，DSP圖像處理板對輸入的圖像數(shù)據(jù)進行處理，并將處理結(jié)果通過第二視頻接口輸出至顯示器。
[0009]本實用新型與現(xiàn)有技術(shù)相比，其顯著優(yōu)點是:(I)裝置可以安裝在移動平臺下，無需高精度云臺、陀螺儀等笨重的設(shè)備實現(xiàn)運動目標(biāo)檢測；(2)系統(tǒng)依據(jù)快速極線估計(FastEstimation Estimate, FEE)法,補償相機運動引起的整體運動,在保證準(zhǔn)確性與魯棒性的前提下，大大提升了處理速度，解決了場景運動估計工作量大的問題；(3)系統(tǒng)能實時檢測運動目標(biāo)，且穩(wěn)定性強，幀頻為25pf/s。
四、【專利附圖】

【附圖說明】
[0010]圖1是本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的結(jié)構(gòu)示意圖。
[0011]圖2是本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的檢測方法流程圖。
[0012]圖3是本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的三維空間點繞光心旋轉(zhuǎn)示意圖。
[0013]圖4是本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的單目標(biāo)檢測結(jié)果圖，其中(a)為第k巾貞圖像，(b)為第k+1巾貞圖像，(c)為Harris角點匹配的結(jié)果，(d)為FEE的殘差，(e)為FEE殘差圖，(f)為FEE運動目標(biāo)檢測結(jié)果。
[0014]圖5是本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的多目標(biāo)檢測結(jié)果圖，其中(a)為第k巾貞圖像，(b)為第k+1巾貞圖像，(c)為Harris角點匹配的結(jié)果，(d)為FEE的殘差，(e)為FEE殘差圖，(f)為FEE運動目標(biāo)檢測結(jié)果。
[0015]圖6是本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的FEE線性估計法的處理時間對比圖。
[0016]圖7是本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的FEE RANSAC估計法處理時間對比圖。
五、【具體實施方式】
[0017]下面結(jié)合附圖及具體實施例對本實用新型作出進一步詳細(xì)說明。
[0018]本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測主要是利用FPGA強大的并行能力與多核DSP強大的數(shù)據(jù)處理能力進行圖像處理，基于射極幾何的原理，從特征點速度場的角度，重新建立相應(yīng)的數(shù)學(xué)模型，根據(jù)場景的運動特征，最終快速估計極線，實現(xiàn)運動目標(biāo)的檢測，實驗結(jié)果證明該方法的有效性，硬件平臺支持通信協(xié)議豐富，具有可重復(fù)利用性，尤其適用于研發(fā)、測試等場合。
[0019]結(jié)合圖1，本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置，包括電源接口混合板1、FPGA預(yù)處理板2、DSP圖像處理板3、網(wǎng)關(guān)4、顯示器5、圖像傳感器6和電源7，其中電源接口混合板I上設(shè)有模式選擇開關(guān)8，F(xiàn)PGA預(yù)處理板2上設(shè)有第一視頻接口 21和第一網(wǎng)絡(luò)接口 22，DSP圖像處理板3上設(shè)有第二視頻接口 31和第二網(wǎng)絡(luò)接口 32 ;所述電源接口混合板UFPGA預(yù)處理板2、DSP圖像處理板3通過板級接插件9相連且呈三明治結(jié)構(gòu)，圖像傳感器6的信號輸出端通過第一視頻接口 21與FPGA預(yù)處理板2的視頻輸入端連接，F(xiàn)PGA預(yù)處理板2的視頻輸出端通過第一視頻接口 21接入顯示器5，F(xiàn)PGA預(yù)處理板2的網(wǎng)絡(luò)信號輸出端通過第一網(wǎng)絡(luò)接口 22接入網(wǎng)關(guān)4 ;DSP圖像處理板3的視頻輸出端通過第二視頻接口 31接入顯示器5，DSP圖像處理板3的網(wǎng)絡(luò)信號輸出端通過第二網(wǎng)絡(luò)接口 32接入網(wǎng)關(guān)4 ;電源7分別接入電源接口混合板1、圖像傳感器6、網(wǎng)關(guān)4和顯示器5的電源輸入端;
[0020]電源7給裝置上電后，圖像傳感器6將采集到的圖像數(shù)據(jù)通過第一視頻接口 21輸A FPGA預(yù)處理板2，F(xiàn)PGA預(yù)處理板2對采集到的圖像數(shù)據(jù)進行模數(shù)轉(zhuǎn)換以及數(shù)字圖像預(yù)處理，并將預(yù)處理后的圖像數(shù)據(jù)通過第一視頻接口 21輸出至顯示器5，同時將預(yù)處理后的圖像數(shù)據(jù)通過板級接插件9輸入至DSP圖像處理板3，DSP圖像處理板3對輸入的圖像數(shù)據(jù)進行處理，并將處理結(jié)果通過第二視頻接口 31輸出至顯示器5。
[0021]所述FPGA預(yù)處理板2的核心FPGA芯片采用Xilinx的XC5VFX30T，是Xilinx公司生產(chǎn)的V系列的XC5VFX30T，是采用第二代ASMBL? (高級硅片組合模塊)列式架構(gòu)的高性能FPGA，包含多種硬IP系統(tǒng)級模塊，包括強大的36Kb Block RAM/FIFO、第二代25X 18DSPSlice、帶有內(nèi)置數(shù)控阻抗的SelectIO?技術(shù)、ChipSync?源同步接口模塊、系統(tǒng)監(jiān)視器功能、帶有集成DCM (數(shù)字時鐘管理器)和鎖相環(huán)(PLL)時鐘發(fā)生器的增強型時鐘管理模塊以及高級配置選項，并具有高級串行連接功能。所述DSP圖像處理板3的核心DSP芯片采用TI的TMS320C6678，是采用8個1.25GHz DSP內(nèi)核構(gòu)建而成，并在單個器件上完美集成了320GMAC與160GFL0P定點及浮點性能，從而使用戶不僅能整合多個DSP以縮小板級空間并降低成本，同時還能減少整體的功耗要求。所述電源接口混合板I上設(shè)置有SMA接口 10，實現(xiàn)數(shù)據(jù)的串行差分高速率傳輸，傳輸速率達(dá)3Gb/s，最終滿足板間的大數(shù)據(jù)量實時傳輸。
[0022]本文針對單目移動攝像機下運動目標(biāo)的檢測問題，研究并提出了一種基于場景的全局運動的方法，即以攝像機光心為中心,建立坐標(biāo)系,其中攝像機在此坐標(biāo)系下永遠(yuǎn)靜止，只有場景和運動目標(biāo)在運動，將原來移動平臺下運動目標(biāo)檢測的問題轉(zhuǎn)換成靜止平臺下場景全局運動與運動目標(biāo)獨立運動的問題，結(jié)合KLT點跟蹤法來快速估計FEE (FastEstimation Estimate)模型，從而無需三維重建便可有效地解決單目移動攝像機下運動目標(biāo)檢測的問題。
[0023]結(jié)合圖2，本實用新型基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置的運動目標(biāo)檢測方法，包括以下步驟:
[0024]步驟I，電源7給裝置上電后，電源接口混合板I將轉(zhuǎn)換后的電源通過板級接插件9依次接入FPGA預(yù)處理板2和DSP圖像處理板3。
[0025]步驟2，通過模式選擇開關(guān)8選擇視頻輸入模式、以及FPGA預(yù)處理板2和DSP圖像處理板3的通信接口模式；所述視頻輸入模式包括PAL制、LVDS數(shù)據(jù)等，所述通信接口模式包括 SR10、UDP、LVDS 等。
[0026]步驟3，圖像傳感器6采集原始圖像數(shù)據(jù)并輸出至FPGA預(yù)處理板2，F(xiàn)PGA預(yù)處理板2對原始圖像數(shù)據(jù)進行A/D轉(zhuǎn)換和時序恢復(fù)，獲得大小為HeightXWidth的圖像并記為fk(x，y)，其中Height、Width均為正整數(shù)，x為行號且0≤x ≤ Height-1, y為列號且
0≤y ≤Width-1, k 為幀號且 k = 1，2，3，…。
[0027]步驟4，F(xiàn)PGA預(yù)處理板2對時序恢復(fù)后的圖像fk (x, y)進行Harris角點檢測，并將角點檢測結(jié)果以hk(x，y)表示，進行數(shù)據(jù)協(xié)議封裝，以如下矩陣W的形式發(fā)送給DSP圖像處理板3:
[0028]
【權(quán)利要求】
1.一種基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置，其特征在于，包括電源接口混合板(1)、FPGA預(yù)處理板(2)、DSP圖像處理板(3)、網(wǎng)關(guān)(4)、顯示器(5)、圖像傳感器(6)和電源(7)，其中電源接口混合板(I)上設(shè)有模式選擇開關(guān)(8)，F(xiàn)PGA預(yù)處理板(2)上設(shè)有第一視頻接口(21)和第一網(wǎng)絡(luò)接口(22)，DSP圖像處理板(3)上設(shè)有第二視頻接口(31)和第二網(wǎng)絡(luò)接口(32)； 所述電源接口混合板(I)、FPGA預(yù)處理板(2 )、DSP圖像處理板(3 )通過板級接插件(9 )相連且呈三明治結(jié)構(gòu)，圖像傳感器(6)的信號輸出端通過第一視頻接口(21)與FPGA預(yù)處理板(2)的視頻輸入端連接，F(xiàn)PGA預(yù)處理板(2)的視頻輸出端通過第一視頻接口(21)接入顯示器(5)，F(xiàn)PGA預(yù)處理板(2)的網(wǎng)絡(luò)信號輸出端通過第一網(wǎng)絡(luò)接口(22)接入網(wǎng)關(guān)(4);DSP圖像處理板(3)的視頻輸出端通過第二視頻接口(31)接入顯示器(5)，DSP圖像處理板(3)的網(wǎng)絡(luò)信號輸出端通過第二網(wǎng)絡(luò)接口(32)接入網(wǎng)關(guān)(4);電源(7)分別接入電源接口混合板(I)、圖像傳感器(6)、網(wǎng)關(guān)(4)和顯示器(5)的電源輸入端； 電源(7)給裝置上電后，圖像傳感器(6)將采集到的圖像數(shù)據(jù)通過第一視頻接口(21)輸入FPGA預(yù)處理板(2)，F(xiàn)PGA預(yù)處理板(2)對采集到的圖像數(shù)據(jù)進行模數(shù)轉(zhuǎn)換以及數(shù)字圖像預(yù)處理，并將預(yù)處理后的圖像數(shù)據(jù)通過第一視頻接口(21)輸出至顯示器(5)，同時將預(yù)處理后的圖像數(shù)據(jù)通過板級接插件(9)輸入至DSP圖像處理板(3)，DSP圖像處理板(3)對輸入的圖像數(shù)據(jù)進行處理，并將處理結(jié)果通過第二視頻接口(31)輸出至顯示器(5)。
2.根據(jù)權(quán)利要求1所述的基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置，其特征在于，所述FPGA預(yù)處理板(2)的FPGA芯片采用Xilinx的XC5VFX30T，DSP圖像處理板(3)的DSP 芯片采用 TI 的 TMS320C6678。
3.根據(jù)權(quán)利要求1所述的基于DSP+FPGA的移動平臺下運動目標(biāo)檢測裝置，其特征在于，所述電源接口混合板(I)上設(shè)置有SMA接口( 10 )。
【文檔編號】G06T7/20GK203397395SQ201320435166
【公開日】2014年1月15日 申請日期:2013年7月19日 優(yōu)先權(quán)日:2013年7月19日
【發(fā)明者】陳海欣, 顧國華, 尹章芹, 楊陳晨, 錢惟賢, 陳錢, 徐富元, 任侃, 路東明, 汪鵬程 申請人:南京理工大學(xué)