本發(fā)明涉及圖像處理技術領域，尤其涉及一種基于AER圖像傳感器的后端仿生處理系統(tǒng)，具有實時、高速、并行、精確的優(yōu)勢，實現(xiàn)目標識別追蹤的智能視覺圖像應用。

背景技術：

視覺傳感器廣泛應用于科學研究、國防安全、工業(yè)生產和日常生活等領域。視覺傳感技術結合圖像處理和網絡技術，承載了物聯(lián)網中絕大部分的信息獲取任務，日益成為關系到科研、國防、生產和生活等各個領域實現(xiàn)智能化的重要基礎和技術支撐。而計算機視覺技術在對視覺信息的感知和處理過程中具有廣泛的應用，運動物體識別的研究價值日漸凸現(xiàn)。它在交通監(jiān)控、周界防護、虛擬現(xiàn)實、人機交互及移動機器人導航等領域都有著廣泛的應用。在智能監(jiān)控系統(tǒng)中，對運動目標實現(xiàn)無人檢測、監(jiān)控是當今研究的熱點問題，涉及到圖像獲取、圖像處理、模式識別和人工智能等多領域的核心技術。

傳統(tǒng)的目標識別系統(tǒng)包括圖像采集和后端處理系統(tǒng)，參考圖1，圖像采集多采用CMOS圖像傳感器采集圖像，后端處理系統(tǒng)包括預處理、特征提取形狀及識別過程。后端處理系統(tǒng)讀取圖像信息后，首先采用平滑濾波對圖像進行預處理，而圖像信息處理的方法有很多，對于仿生目標識別，最初的提取特征算法有背景差分法、幀間差分法、光流法、數(shù)學形態(tài)學法等，識別過程通過BP神經網絡等簡單網絡進行分類，從而最終實現(xiàn)的識別功能。

傳統(tǒng)的目標識別系統(tǒng)往往存在一些不足。如：圖像傳感器將采集到的數(shù)據串行向后傳輸，存在嚴重的帶寬限制；后端處理系統(tǒng)對圖像處理時也是逐個像素串行處理的，由于串行傳輸和串行處理的限制，傳統(tǒng)目標識別系統(tǒng)的處理速度遠遠無法滿足高速實時性需求。另外，傳統(tǒng)目標識別算法雖然操作簡單，但處理步驟繁多，考慮到目標形狀的多樣性，形狀模型集和計算非常復雜，不能達到目標追蹤的實時輸出，且面對復雜目標和背景噪聲干擾大的圖像時，提取結果也不夠理想。因此，設計一種實時、高速的目標識別系統(tǒng)是十分必要的。

技術實現(xiàn)要素：

為克服現(xiàn)有技術的不足，針對傳統(tǒng)圖像采集及后端視覺處理系統(tǒng)所存在的問題，本發(fā)明旨在提供一種基于事件驅動的仿生目標識別系統(tǒng)。該系統(tǒng)實時采集并處理從AER圖像傳感器采集到的圖像信息，在后端仿生視覺系統(tǒng)處理階段始終采用基于事件的處理方式，實現(xiàn)目標識別功能并提供目標位置參數(shù)等信息。為此，本發(fā)明采用的技術方案是，基于事件驅動的仿生目標識別系統(tǒng)，包括基于地址-事件表示AER(Address-Event Representation)的圖像傳感器、后端仿生處理系統(tǒng)，AER圖像傳感器作為運動物體的信息采集源，采集到的圖像數(shù)據并行輸入到后端仿生處理系統(tǒng)中；后端仿生處理系統(tǒng)包括特征提取模塊和目標識別模塊，特征提取模塊采用基于事件驅動的特征提取算法對輸入的圖像數(shù)據進行處理；基于事件驅動的目標識別模塊采用脈沖神經網絡SNN(Spiking Neural Network)對特征提取模塊的輸出進行處理，提取出運動目標，計算目標位置參數(shù)，以便實時顯示出處理結果。

特征提取模塊分為卷積處理和最大值競爭模塊，并行的卷積處理模塊提取不同方向、不同角度的特征信息，并傳輸給最大值競爭模塊，通過獲取最明顯的特征中心，來進一步除去冗余信息，提取最具代表性的特征；并行的卷積處理模塊由b個二維平面組成，也就是子模塊，每個子模塊尺寸與像素陣列相同，卷積處理過程為：選取m×n大小的Gabor卷積核，對接收到的時間標簽進行卷積，提取不同方向、不同尺度下的目標特征信息，Gabor濾波器的頻率和方向表示接近人類視覺系統(tǒng)對于頻率和方向的表示，表達式為：

X＝xcosθ+ysinθ (2)

Y＝-xsinθ+ycosθ (3)

其中，θ是濾波器的方向，σ是高斯包絡在x軸和y軸上的標準差，λ表示復正弦函數(shù)的波長，γ為縱橫比，x和y分別為在x軸和y軸上的坐標位置，卷積的具體操作是依照傳輸順序依次讀取時間標簽，并以每個時間標簽所攜帶的位置坐標信息為中心，將卷積核上的數(shù)值加到子模塊的坐標位置及其鄰域內，鄰域范圍與卷積核尺寸相同，初始時被累加的子模塊上所有位置不賦值或默認為0；

最大值競爭模塊則是在時間標簽全部通過卷積處理模塊后，分別對卷積處理模塊中各個子模塊進行處理，將卷積處理模塊中各個子模塊得到的響應即數(shù)值與其鄰域內所用響應進行比較，只有絕對值最大的響應即峰值響應才能被提取出來，從而得到最終的特征提取結果。

目標識別模塊選取帶泄漏的積分觸發(fā)LIF(leaky integrate-and-fire)神經元結合尖峰時間相關可塑性STDP(spike-Timing-dependent plasticity)規(guī)則，將特征提取模塊與目標識別模塊進行全連接，b個子模塊的每個坐標位置都與脈沖神經網絡的輸入一一對應，使特征信息傳入神經網絡輸入層中，脈沖神經網絡含有a個輸入層，c個隱含層，d個輸出層，隱含層節(jié)點個數(shù)為e個，輸出層節(jié)點個數(shù)即目標神經元個數(shù)與設定可識別目標種類一致；通過在神經網絡中反復的訓練學習，最終輸出目標類別并提供目標位置參數(shù)信息。

目標識別模塊挑選特征提取模塊中峰值響應最大的p個輸入到神經網絡進行訓練，首先經過時間優(yōu)先脈沖神經元的轉換，將響應轉換為時間，響應越大，時間越小，越快傳輸?shù)侥ぶ校唧w為挑選出所有輸入中最大的響應R，設置最后一個神經元輸入時間為T，則每個輸入脈沖r_i根據公式4計算其輸入時間t_i：

而神經網絡中激活函數(shù)K為：

τ_m和τ_s分別代表膜積分的衰退時間常數(shù)和突觸脈沖的衰退時間常數(shù)，V₀為標準化的突觸后電位，t為當前時間，t_i為第i個輸入突觸的激發(fā)時間，各突觸后電位PSP(postsynaptic potential)權重為ω_i，V_rest為休眠時神經元的膜勢能，最終得到的任意時間神經元的膜勢能為：

隨著時間的推移，突觸后電位PSP(postsynaptic potential)即K(t)不斷疊加，使膜勢能V(t)不斷升高，當達到閾值時則被觸發(fā)并產生輸出，在訓練過程中，需要不斷調節(jié)權值ω_i使應該觸發(fā)的點觸發(fā)，不應該觸發(fā)的點休眠，測試過程直接統(tǒng)計哪類目標神經元被觸發(fā)即可，從而確定最終的目標分類。

本發(fā)明的特點及有益效果是：

在圖像信息采集及目標識別基礎上提出基于事件驅動的仿生目標識別系統(tǒng)，突破了原有圖像處理基于“幀”的串行處理模式，完善了基于AER方式仿生視覺系統(tǒng)的模型架構，減少處理數(shù)據量及冗余信息，大幅度提升視覺系統(tǒng)的等效處理幀頻，滿足了高速實時性的需求。

附圖說明：

圖1傳統(tǒng)目標識別系統(tǒng)流程圖。

圖2特征提取模塊示意圖。

圖3神經網絡示意圖。

圖4基于AER方式仿生視覺系統(tǒng)架構圖。

具體實施方式

本發(fā)明的構思是：利用人眼對運動物體敏感的特質，模仿視覺系統(tǒng)的工作機制，減小傳輸數(shù)據量及并行傳輸數(shù)據可以提高系統(tǒng)的運行速度,達到實時性需求。本發(fā)明選用基于地址-事件表示(Address-Event Representation,AER)的圖像傳感器作為運動物體的信息采集源，并將采集到的圖像數(shù)據并行輸入到后端仿生處理系統(tǒng)中；后端系統(tǒng)對接收的原始圖像數(shù)據進行快速并行計算處理，提取出運動目標，計算目標位置參數(shù)，并實時顯示出處理結果。后端仿生處理系統(tǒng)包含兩大模塊，特征提取模塊和目標識別模塊。

特征提取模塊的輸入數(shù)據由具有N×N像素陣列的AER圖像傳感器提供，其中N為自然數(shù)，數(shù)據產生時附帶時間標簽，時間標簽僅包含時間信息和位置坐標信息，基于事件驅動的特征提取算法對依次輸入的時間標簽進行處理。

基于事件驅動的特征提取模塊的工作過程如下，分為卷積處理和最大值競爭模塊，參考圖2。并行的卷積處理模塊提取不同方向、不同角度的特征信息，并傳輸給最大值競爭模塊，通過獲取最明顯的特征中心，來進一步除去冗余信息，提取最具代表性的特征。并行的卷積處理模塊由多個二維平面組成，也就是子模塊，本發(fā)明定義該模塊含有b個子模塊，每個子模塊尺寸與像素陣列相同，參考圖3，卷積處理主要方法為：選取m×n大小的Gabor卷積核(不同子模塊的m、n數(shù)值可能不同)，對接收到的時間標簽進行卷積，提取不同方向、不同尺度下的目標特征信息，Gabor濾波器的頻率和方向表示接近人類視覺系統(tǒng)對于頻率和方向的表示，表達式為：

X＝xcosθ+ysinθ (2)

Y＝-xsinθ+ycosθ (3)

其中，θ是濾波器的方向，σ是高斯包絡在x軸和y軸上的標準差,λ表示復正弦函數(shù)的波長,γ為縱橫比，x和y分別為在x軸和y軸上的坐標位置。卷積的具體操作是依照傳輸順序依次讀取時間標簽，并以每個時間標簽所攜帶的位置坐標信息為中心，將卷積核上的數(shù)值加到子模塊的坐標位置及其鄰域內，鄰域范圍與卷積核尺寸相同。初始時被累加的子模塊上所有位置不賦值或默認為0。

最大值競爭模塊則是在時間標簽全部通過卷積處理模塊后，分別對卷積處理模塊中各個子模塊進行處理，將卷積處理模塊中各個子模塊得到的響應(即數(shù)值)與其鄰域內所用響應進行比較，只有絕對值最大的響應即峰值響應才能被提取出來，從而得到最終的特征提取結果。

基于事件驅動的目標識別模塊選取脈沖神經網絡(Spiking Neural Network，SNN)對圖像進行處理。脈沖神經網絡為第三類神經網絡，引入了時間的概念，可以很好的描述時間和空間上的行為。目標識別模塊選取帶泄漏的積分觸發(fā)(leaky integrate-and-fire，LIF)神經元結合尖峰時間相關可塑性(spike-Timing-dependent plasticity，STDP)規(guī)則。將特征提取模塊與目標識別模塊進行全連接，b個子模塊的每個坐標位置都與脈沖神經網絡的輸入一一對應，使特征信息傳入神經網絡輸入層中，脈沖神經網絡含有a個輸入層，c個隱含層，d個輸出層，隱含層節(jié)點個數(shù)為e個，輸出層節(jié)點個數(shù)(即目標神經元個數(shù))與設定可識別目標種類一致。通過在神經網絡中反復的訓練學習，最終輸出目標類別并提供目標位置參數(shù)等信息。

挑選特征提取模塊中峰值響應最大的p個輸入到神經網絡進行訓練，首先經過時間優(yōu)先脈沖神經元的轉換，將響應轉換為時間，響應越大，時間越小，越快傳輸?shù)侥ぶ?。具體方法為挑選出所有輸入中最大的響應R，設置最后一個神經元輸入時間為T，則每個輸入脈沖r_i可根據公式4計算其輸入時間t_i：

而神經網絡中激活函數(shù)K為：

τ_m和τ_s分別代表膜積分的衰退時間常數(shù)和突觸脈沖的衰退時間常數(shù)，V₀為標準化的突觸后電位。t為當前時間，t_i為第i個輸入突觸的激發(fā)時間。各突觸后電位(postsynaptic potential，PSP)權重為ω_i，V_rest為休眠時神經元的膜勢能，最終得到的任意時間神經元的膜勢能為：

隨著時間的推移，突觸后電位(postsynaptic potential，PSP)即K(t)不斷疊加，使膜勢能V(t)不斷升高，當達到閾值時則被觸發(fā)并產生輸出。在訓練過程中，需要不斷調節(jié)權值ω_i使應該觸發(fā)的點觸發(fā)，不應該觸發(fā)的點休眠。測試過程直接統(tǒng)計哪類目標神經元被觸發(fā)即可，從而確定最終的目標分類。

基于事件驅動的仿生目標識別系統(tǒng)可通過Matlab編程得到，也可通過編寫Verilog代碼在FPGA等硬件中實現(xiàn)或進行布局布線生成版圖。

本發(fā)明的一個實例如圖4所示，是基于本實施例視覺圖像處理系統(tǒng)的高速目標識別追蹤算法流程。本發(fā)明所提出的運動物體識別算法支持三類運動的識別：平行移動、下蹲、跳起。首先利用AER圖像傳感器捕獲光強變化的像素點，像素陣列選用128×128分辨率，特征提取模塊含有16個卷積核，角度為、、、，尺寸為3×3，5×5，7×7，9×9。脈沖神經網絡含有1個輸入層，無隱含層，1個輸出層，隱含層節(jié)點個數(shù)為3個，挑選特征提取模塊中100個最大的峰值響應輸入到神經網絡進行訓練，設置最后一個神經元輸入時間為1，τ_m和τ_s分別設為0.1和0.025，V₀設為1，V_rest設為0，脈沖神經網絡經過充分的訓練學習完成之后就是識別過程，注意到待識別動作中的一種特殊情況(即沒有待識別區(qū)域的“空白”手勢)，神經網絡將輸出空。