欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種融合事件相機和深度學習的空中目標檢測方法與流程

文檔序號:40606963發(fā)布日期:2025-01-07 20:47閱讀:6來源:國知局
一種融合事件相機和深度學習的空中目標檢測方法與流程

本發(fā)明涉及空中目標成像及探測,具體涉及一種融合事件相機和深度學習的空中目標檢測方法。


背景技術:

1、空中目標的準確檢測是目標識別與威脅度分析以及態(tài)勢感知的重要基礎。目前現(xiàn)有技術中,空中目標精準探測主要面臨兩方面的挑戰(zhàn):一方面,現(xiàn)有基于傳統(tǒng)相機的光學成像空中目標探測技術手段,存在成像速率慢、動態(tài)范圍有限、功耗較高、占用帶寬高等問題,難以實現(xiàn)高實時性目標成像以及逆光條件下的長時間工作需求。而空中目標在逆光條件下,由于太陽光的干擾,導致成像傳感器產生過曝現(xiàn)象,無法實現(xiàn)對空中目標的實時成像,從而給目標精準探測帶來挑戰(zhàn)。另一方面,空中目標往往相對尺寸小或尺度變化極大,且目標速度快、動態(tài)性強,存在背景干擾、快速移動的目標和目標尺度變化從而影響空中目標的準確檢測的問題。同時,由于這些目標通常是在遠距離或高空下進行檢測,所以還需要考慮光照、氣象等因素的影響。


技術實現(xiàn)思路

1、本發(fā)明的目的是為了提供一種融合事件相機和深度學習的空中目標檢測方法。此方法旨在解決現(xiàn)有技術中存在的成像速率慢、動態(tài)范圍有限、功耗較高、占用帶寬高、以及存在背景干擾、快速移動的目標和目標尺度變化影響空中目標檢測的問題。

2、為達到上述目的,本發(fā)明通過以下技術方案實現(xiàn):

3、本發(fā)明提供一種融合事件相機和深度學習的空中目標檢測方法,包括:

4、步驟s1:利用高速成像事件相機完成目標信息采集,得到時空事件流數(shù)據;

5、步驟s2:采用離散點去噪方法,對所述時空事件流數(shù)據進行去噪處理,得到去噪后的時空事件流數(shù)據;

6、步驟s3:對所述去噪后的時空事件流數(shù)據進行圖像重構,并對圖像進行標注,劃分訓練集和測試集;

7、步驟s4:構建單階段卷積神經網絡目標識別模型;

8、步驟s5:通過所述單階段卷積神經網絡目標識別模型對重構后的事件圖像進行目標識別,實現(xiàn)空中目標的高速探測識別任務。

9、優(yōu)選的,所述高速成像事件相機的動態(tài)范圍大于120db、空間分辨率大于2k且平均功耗小于1w。

10、優(yōu)選的,每一所述時空事件流數(shù)據中均包括:單類目標和多類目標。

11、優(yōu)選的,所述步驟s2中,所述的采用離散點去噪方法,對所述時空事件流數(shù)據進行去噪處理,其具體包括:

12、步驟s2.1:采用離散點去噪方法,對所述時空事件流數(shù)據進行去噪處理,具體為:

13、將時空事件流數(shù)據中的每個事件視為點,采用歐式距離計算方法,計算點與點之間的距離,具體為:

14、

15、其中,deuc(x,y)表示x點和y點之間的歐式距離,下標euc是euclidean的縮寫,表示歐式,xi為i維度上的x點坐標值,yi為i維度上的y點坐標值,k表示歐式空間維度;

16、步驟s2.2:將所述歐式距離小于半徑閾值的點連接起來,構成一個簇;若所述簇中的事件點的個數(shù)少于噪聲識別閾值,則將所述簇中的事件點的點位視為噪聲并剔除所述簇中的事件點,得到去噪后的時空事件流數(shù)據。

17、優(yōu)選的,所述步驟s3具體包括:

18、步驟s3.1:事件相機的輸出形式為事件流,所述事件流由下述公式表示:

19、evj=[xj,tj,pj]t,j∈{1,2,...,n}

20、其中,evj表示第j個事件,其坐標為xj=[xj,yj]t,tj表示時間戳,極性pi∈[-1,1],標志著事件光強的改變,-1表示off事件,1表示on事件;

21、步驟s3.2:將所述事件流的事件信息轉換為空間信息,將所述事件流的時間戳tk轉換為像素的灰度,從而將所述事件流轉換為圖像幀,其具體為:

22、以xk=[xk,yk]t為中心的一個(2r+1)×(2r+1)的窗口,則時間上下文表示為:

23、tk(u,p)=maxl<ktl|xl=(xk+u),pl=p

24、其中,tk(u,p)是時間上下文,u=[ux,uy]t是窗口中的像素,ux∈[-r,...,r],uy∈[-r,...,r],極性pl∈[-1,1];

25、步驟s3.3:采用標注軟件對重構后的事件圖像進行標注,得到標注后的數(shù)據集,所述標注后的數(shù)據集包括(c,h,w,x,y),其中,c表示目標類別的索引,h表示目標區(qū)域標注框的高,w表示目標區(qū)域標注框的寬,x、y分別表示目標區(qū)域標注框的中心坐標;

26、步驟s3.4:將所述標注后的數(shù)據集按照預定比例,劃分為所述訓練集和所述測試集。

27、優(yōu)選的,所述標注后的數(shù)據集按照8:2的比例,劃分為所述訓練集和所述測試集。

28、優(yōu)選的,所述步驟s4中,構建單階段卷積神經網絡目標識別模型,具體包括:

29、步驟s4.1:構建骨干網絡模塊,所述骨干網絡模塊包括:卷積層、池化層和空間金字塔池化層,每一個卷積層后跟隨非線性激活函數(shù)和正則化層;

30、步驟s4.2:構建頸部網絡模塊,所述頸部網絡模型中采用自頂向下的方式將所述骨干網絡模型輸出的特征逐層融合;

31、步驟s4.3:構建預測頭網絡模塊,用于輸出目標的預測結果,在所述預測頭網絡模塊中,采用1×1大小的卷積核對所述預測頭網絡模塊每層輸出的特征通道數(shù)進行調整;

32、步驟s4.4:所述單階段卷積神經網絡目標識別模型通過應用錨框和非極大值抑制,對所述目標的預測結果進行解析和篩選;

33、步驟s4.5:設定損失函數(shù)以及優(yōu)化策略,完成對識別模型的訓練;

34、步驟s4.6:根據所述設計損失函數(shù),采用隨機梯度下降算法優(yōu)化所述單階段卷積神經網絡目標識別模型。

35、優(yōu)選的,所述步驟s4.5中,所述的設定損失函數(shù)以及優(yōu)化策略包括:通過計算最小化空中目標預測邊界框和真實邊界框的左上點和右下點距離,以得到重疊或不重疊區(qū)域、中心點距離、寬度和高度偏差,同時簡化了計算過程,具體為:

36、

37、lmpdiou=1-mpdiou

38、其中,a和b分別表示預測邊界框和實際邊界框,mpdiou表示預測邊界框和實際邊界框的交并比,分別表示預測邊界框的左上和右下點坐標,分別表示真實邊界框左上和右下點坐標,w和h表示輸入圖像的寬度和高度,lmpdiou表示損失函數(shù)。

39、優(yōu)選的,所述步驟s5具體包括:

40、步驟s5.1:將待檢測的事件圖像輸入到所述單階段卷積神經網絡目標識別模型中,所述單階段卷積神經網絡目標識別模型輸出目標的類型、檢測準確率及目標框位置;

41、步驟s5.2:對所述單階段卷積神經網絡目標識別模型進行定性和/或定量分析。

42、優(yōu)選的,所述步驟s5.2具體包括:根據所述單階段卷積神經網絡目標識別模型輸出的目標的類型、檢測準確率及目標框位置,采用準確率p、召回率r和平均精度map來作為評估網絡性能的關鍵指標,正樣本指預測為正的樣本,準確率指預測為正的樣本中實際為正的比例,召回率指正樣本中被正確預測的比例,ap表示某一類別的平均準確率,各參數(shù)的具體表達式分別為:

43、

44、其中,tp為正樣本被正確預測的數(shù)量,fp為正樣本被錯誤預測的數(shù)量,fn為正樣本沒有被預測出來的數(shù)量,c表示空中目標類別數(shù),z表示樣本數(shù)量,map表示所有類別的平均準確率均值。

45、與現(xiàn)有技術相比,本發(fā)明具有以下有益效果:

46、本發(fā)明利用高速成像事件相機完成目標信息采集,得到時空事件流數(shù)據;采用離散點去噪方法,對事件相機輸出時空事件流數(shù)據進行去噪處理,獲得去噪后的時空事件流數(shù)據;將去噪后的事件流數(shù)據進行圖像重構,并對圖像進行標注,劃分訓練集和測試集;構建單階段卷積神經網絡目標識別模型,通過骨干網路模塊獲取多尺度上下文特征信息,通過頸部網絡模塊將多尺度上下文特征信息進行自頂向下逐層級融合,通過預測頭網絡模塊,輸出目標的預測結果,通過應用錨框和非極大值抑制,對目標的預測結果進行解析和篩選,構建損失函數(shù)以及優(yōu)化策略,得到魯棒性更強的模型,實現(xiàn)空中目標高精度識別。

當前第1頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
蛟河市| 牟定县| 诸城市| 盱眙县| 临夏县| 苍山县| 赣州市| 扶余县| 错那县| 漳平市| 霍州市| 德钦县| 辽宁省| 徐州市| 万州区| 靖边县| 通榆县| 将乐县| 孝昌县| 仙桃市| 常山县| 万全县| 新巴尔虎右旗| 灵台县| 雅江县| 泰和县| 西宁市| 平原县| 石首市| 乳山市| 伽师县| 潜山县| 湖南省| 崇左市| 延边| 巴南区| 邻水| 鄂温| 文成县| 巴东县| 台前县|