本發(fā)明涉及目標檢測與多傳感器數(shù)據(jù)融合領域，更具體地，涉及基于點云啟發(fā)的遠小目標雙模態(tài)跟蹤感知方法及系統(tǒng)。

背景技術：

1、毫米波雷達作為汽車在遠距離目標感知技術中的主要傳感器，相較于激光雷達、超聲波雷達等其他車載傳感器，其具備探測距離遠、全天候工作能力強以及探測精度高和可靠性好的優(yōu)勢。目前，現(xiàn)有的基于毫米波雷達與視覺傳感器融合的遠小目標感知方法可分為兩類。第一類方法通過雷達點云與圖像進行融合并提取特征進行感知。這類方法通常需要針對遠小目標進行額外的訓練。同時，對于視覺傳感器而言，遠小目標在圖像中的尺寸往往不足以實現(xiàn)目標識別。而毫米波雷達在遠距離時探測會受環(huán)境干擾和多徑效應影響，導致探測到的噪聲點云比目標點云更繁雜且頻繁，從而影響現(xiàn)有方法對遠小目標感知的精確性和持續(xù)性。第二類方法依靠兩種傳感器的檢測結果進行決策級融合。通過對不同傳感器的檢測結果進行加權融合后進行跟蹤，實現(xiàn)遠小目標感知。然而，這類方法較難提升復雜環(huán)境下遠小目標的檢測準確率，進而影響遠小目標探測的魯棒性。

2、現(xiàn)有技術公開一種結合圖象識別與激光雷達點云分割的駕駛環(huán)境感知方法，包括：(1)在真實道路上，收集地面激光雷達點云數(shù)據(jù)和圖像數(shù)據(jù)。(2)使用收集的圖像數(shù)據(jù)作為參考，將激光雷達點云數(shù)據(jù)與圖像數(shù)據(jù)進行標定，標記收集的激光雷達點云數(shù)據(jù)。(3)初始化點云分割網(wǎng)絡，對標記的激光雷達點云數(shù)據(jù)進行訓練，更新網(wǎng)絡參數(shù)。(4)將訓練好的網(wǎng)絡移植到無人車工控機中，獲得點云所屬物體的類別。(5)對圖像數(shù)據(jù)進行識別。(6)對分割后的激光雷達點云數(shù)據(jù)與圖像識別后的圖像數(shù)據(jù)進行融合，獲取道路和物體所在的準確位置。然而該方法在遠距離時探測會受環(huán)境干擾和多徑效應影響，導致探測到的噪聲點云比目標點云更繁雜且頻繁，從而影響現(xiàn)有方法對遠小目標感知的精確性和持續(xù)性

技術實現(xiàn)思路

1、本發(fā)明的目的在于公開對遠小目標感知效果更好的基于點云啟發(fā)的遠小目標雙模態(tài)跟蹤感知方法及系統(tǒng)。

2、為了實現(xiàn)上述目的，本發(fā)明提供基于點云啟發(fā)的遠小目標雙模態(tài)跟蹤感知方法，包括：

3、s1：獲取原始雷達點云以及視頻數(shù)據(jù)，對駕駛環(huán)境中原始雷達點云以及視頻數(shù)據(jù)進行預處理，獲得點云簇向量集和原始圖像數(shù)據(jù)；

4、s2：將點云簇向量集、原始圖像數(shù)據(jù)以及原始雷達點云通過雙模態(tài)融合感知框架，獲得遠小目標在圖像域的位置及身份特征；

5、s3：基于遠小目標在圖像域的位置及身份特征、點云簇向量，進行雙模態(tài)聯(lián)合跟蹤，完成遠小目標感知，輸出感知目標在鳥瞰視圖中的位置信息。

6、進一步地，在步驟s1中，包括：使用毫米波雷達與攝像頭同步采集數(shù)據(jù)，獲取駕駛環(huán)境中原始雷達點云以及視頻數(shù)據(jù)，對駕駛環(huán)境中原始雷達點云以及視頻數(shù)據(jù)進行預處理，濾除雷達噪聲點，獲得點云簇向量集和原始圖像數(shù)據(jù)。

7、進一步地，在步驟s1中，對駕駛環(huán)境中原始雷達點云以及視頻數(shù)據(jù)進行預處理，濾除雷達噪聲點包括：

8、對駕駛環(huán)境中原始雷達點云以及視頻數(shù)據(jù)進行標準化；

9、調整濾波器或去噪算法的參數(shù)；通過濾波器或去噪算法對駕駛環(huán)境中原始雷達點云以及視頻數(shù)據(jù)進行去噪；

10、對去噪后的數(shù)據(jù)進行驗證，確保數(shù)據(jù)的準確性和完整性，確保去除的噪聲不會影響到目標檢測和環(huán)境理解的精度。

11、進一步地，在步驟s1中，包括：

12、s1-1：同步采集t時刻的毫米波雷達與圖像數(shù)據(jù)，獲得原始雷達點云數(shù)據(jù)集合pdt以及原始圖像數(shù)據(jù)vdt，其中himg和wimg分別為原始圖像的高和寬，原始圖像的顏色通道數(shù)為三

13、原始雷達點云數(shù)據(jù)集合表示如下：

14、

15、其中，表示t時刻原始雷達點云數(shù)據(jù)集合中第np個雷達點，np＝1,...,np表示原始雷達點云數(shù)據(jù)集合中雷達點的索引，為雷達點在雷達空間坐標系中的位置信息，為雷達點在雷達空間坐標系中的速度信息；

16、s1-2：獲取靜態(tài)雷達點云集合：

17、

18、s1-3：獲取動態(tài)雷達點云集合：

19、

20、s1-4：對進行聚類，實現(xiàn)雷達噪聲點過濾，獲得雷達點云簇向量集

21、

22、

23、其中，表示第m個雷達點云簇，m＝1,2,...,m表示雷達點云簇索引，表示t時刻第m個雷達點云簇內的第nm個雷達點，nm＝1,2,...,nm表示第m個簇內雷達點的索引，表示在雷達空間坐標系中的位置和速度信息；

24、s1-5：統(tǒng)計的雷達點云信息，公式如下：

25、

26、其中，cxt，m、cyt，m、czt，m表示在雷達空間坐標系中的中心坐標，表示在雷達空間坐標系中的各向平均速度，σxt，m、σyt，m、σzt，m表示在雷達空間坐標系中，各個坐標的方差；

27、s1-6：計算在像素平面上的中心坐標(cut，m，cvt，m)，公式如下：

28、

29、其中，為雷達空間坐標系到像素平面的變換矩陣；

30、s1-7：獲得雷達點云簇向量集prt：

31、prt＝[prt，1，...，prt，m,...，prt，m]

32、

33、其中prt，m為第m個雷達點云簇向量。

34、進一步地，在步驟s2中，雙模態(tài)融合感知框架包括：候選區(qū)域生成子網(wǎng)絡n21、圖像生成模塊m21、圖像增強子網(wǎng)絡n22、雙模態(tài)融合模塊m22、圖像特征提取子網(wǎng)絡n23、目標檢測子網(wǎng)絡n24以及目標身份特征子網(wǎng)絡n25；

35、將點云簇向量集、原始圖像數(shù)據(jù)以及原始雷達點云通過雙模態(tài)融合感知框架，獲得遠小目標在圖像域的位置及身份特征包括：

36、s2-1：將prt輸入候選區(qū)域生成子網(wǎng)絡n21中，獲得初始候選區(qū)域集rpnt：

37、rpnt＝[rpnt，1,...，rpnt,m，...，rpnt，m]

38、

39、其中rpnt，m表示第m個初始候選區(qū)域，表示rpnt，m在像素平面上的中心點，表示rpnt，m在像素平面上的寬和高；

40、所述候選區(qū)域生成子網(wǎng)絡n21輸入為prt，輸出為rpnt，作用是通過統(tǒng)計雷達點云簇向量獲得像素平面上的初始候選區(qū)域的位置，其中，該子網(wǎng)絡包含依次連接的第一卷積層、第一激活層、第一全連接層、第二激活層、第一殘差加權求和點、第二全連接層；其中第一卷積層的輸入端與第一殘差加權求和點的輸入端連接；

41、s2-2：將rpnt和vdt輸入至切片圖像生成模塊m21中，獲得歸一化后的預處理切片圖像集

42、s2-3：將輸入圖像增強子網(wǎng)絡n22中，獲得高分辨率切片圖像集hmt，其中hmt＝[hmt，1，...，hmt，m，...，hmt，m]，hmt,m為第m個高分辨率切片圖像；

43、所述圖像增強子網(wǎng)絡n22輸入為輸出為hmt，該子網(wǎng)絡作用是提升歸一化切片圖像集的分辨率，增強圖像集的外觀表征能力，獲得高分辨率切片圖像，其中，該子網(wǎng)絡包含依次連接的第二卷積層、若干個殘差注意力模塊、上采樣層、第三卷積層和第二殘差加權求和點；其中第二卷積層的輸入端經過雙線性插值后與第二殘差加權求和點的輸入端連接；

44、s2-4：將獲得的hmt、rpnt、輸入至雙模態(tài)融合模塊m22中，獲得雙模態(tài)融合切片圖像集rmt；

45、s2-5：將rmt輸入至融合圖像特征提取子網(wǎng)絡n23中，獲得雷視融合圖像特征

46、s2-6：將輸入至目標檢測子網(wǎng)絡n24中，獲得圖像檢測目標dett：

47、

48、dett＝[dett,1,...,det,n,...,det，n]

49、其中，n為檢測到的目標的總個數(shù)，dett，n為檢測到的第n個目標，分別為目標類別、目標在像素平面上的橫坐標、縱坐標、寬度、高度；

50、s2-7：將dett和輸入目標身份特征子網(wǎng)絡n25中，獲得目標身份特征集featt：featt＝[featt，1，...，featt，n，...，featt，n]

51、其中，featt，n表示第n個目標的身份特征

52、目標身份特征子網(wǎng)絡n25輸入為dett和輸出為featt，目標身份特征子網(wǎng)絡n25根據(jù)檢測目標的類別和目標在像素平面上的位置信息以及融合特征，獲得目標外觀特征。

53、進一步地，在步驟s2-2中，將rpnt和vdt輸入至切片圖像生成模塊m21中，獲得歸一化后的預處理切片圖像集包括：

54、s2-2-1：計算rpnt，m在像素平面的邊界位置，公式如下：

55、

56、其中，分別為rpnt，m的右邊界和左邊界，分別為rpnt，m的下邊界和上邊界，β為候選區(qū)域放縮系數(shù)；

57、s2-2-2：獲得有效候選區(qū)域公式如下：

58、

59、其中，為第m個有效候選區(qū)域，分別為的右邊界值和左邊界值，分別為的下邊界值和上邊界值；

60、s2-2-3：根據(jù)和vdt，獲得初始切片圖像集公式如下：

61、

62、s2-2-4：獲得歸一化切片圖像集公式如下：

63、

64、進一步地，在步驟s2-4中，將獲得的hmt、rpnt、輸入至雙模態(tài)融合模塊m22中，獲得雙模態(tài)融合切片圖像集rmt包括：

65、s2-4-1：計算在鳥瞰視圖中的徑向距離以及徑向速度公式如下：

66、

67、s2-4-2：計算在像素平面上的坐標，公式如下：

68、

69、其中，分別為在像素平面上的橫坐標以及縱坐標；

70、s2-4-3：計算的投影線的長度公式如下：

71、

72、s2-4-4：創(chuàng)建和hmt,m同等尺寸但通道數(shù)為二的初始偽圖wmt，m，并將初始值設為0；

73、s2-4-5：將prt，m內雷達點云線投影至wmt，m，獲得雷達偽圖prt，m：

74、

75、其中drawline表示構造投影線，wmt，m表示用于構造投影線的偽圖，表示投影線的中心點的橫坐標，表示投影線的中心點的縱坐標，η表示投影線的像素寬度，表示為投影線的長度，表示投影線在wmt，m上的兩個通道的值；

76、s2-4-6：將prt，m和hmt，m進行拼接，獲得雙模態(tài)融合切片圖像集rmt：

77、

78、rmt＝[rmt，1，...，rmt，m，...，rmt，m]

79、其中，rmt，m為第m個雙模態(tài)融合切片圖像，為拼接操作。

80、進一步地，其中，所述目標身份特征子網(wǎng)絡n25包含依次連接的第四卷積層、第一批歸一化層、第三激活層、殘差模塊、第五激活層、第二批歸一化層和第三殘差加權求和點以及第六激活層，其中第四卷積層的輸入端與第三殘差加權求和點的輸入端相連。

81、進一步地，在步驟s3中，包括：

82、s3-1：獲得t時刻所有感知目標：

83、

84、s3-2：對t-1時刻現(xiàn)有跟蹤器進行預測，獲得預測跟蹤器：

85、

86、其中，為t時刻的第q個預測跟蹤器，q＝1,2,...q表示為t-1時刻的跟蹤器的索引，f為狀態(tài)轉移矩陣，為t-1時刻的第q個現(xiàn)有跟蹤器，為t-1時刻的噪聲，表示在鳥瞰視圖中的平面位置，表示的各向速度，表示的身份特征，表示的連續(xù)預測次數(shù)；

87、s3-3：

88、s3-4：κ為預測次數(shù)閾值；

89、s3-5：刪除跟蹤器

90、s3-6：對dett內m和n個目標進行關聯(lián)，返回成功關聯(lián)目標集合

91、s3-7：k＝1；

92、s3-8：判斷若是則執(zhí)行s3-10-1，若否則執(zhí)行s3-9；

93、s3-9：判斷若是則執(zhí)行s3-10-2，若否則執(zhí)行s3-20-3；

94、s3-10-1：

95、s3-10-2：

96、其中，ipm表示圖像逆投影，表示圖像目標在鳥瞰視圖中的位置坐標；

97、s3-11：鳥瞰視圖中圖像感知目標為：

98、

99、s3-12：計算與的距離dk，1：q；

100、s3-13：判斷min(dk，1：q)≤μ，若是則執(zhí)行s3-14，若否則執(zhí)行s3-20-1；

101、s3-14：

102、s3-15：計算與的余弦距離ck，q，公式如下：

103、

104、s3-16：判斷若是則執(zhí)行s3-17，若否則跳轉至s3-18；

105、s3-17：

106、s3-18：判斷q≤q，若是則執(zhí)行s3-19，若否則執(zhí)行s3-20-2；

107、s3-19：q＝q+1，并跳轉至s3-15；

108、s3-20-1：創(chuàng)建新跟蹤器其中，

109、s3-20-2：更新跟蹤器公式如下：

110、

111、其中h為觀測矩陣，gt為濾波增益；

112、s3-20-3：并跳轉至s3-22；

113、s3-21：

114、s3-22：k＝k+1；

115、s3-23：判斷k>k，若是則跳轉至s3-8，若否則執(zhí)行s3-24；

116、s3-24：輸出所有和

117、此外本發(fā)明還提供一種基于點云啟發(fā)的遠小目標雙模態(tài)跟蹤感知系統(tǒng)，包括：

118、獲取模塊：獲取原始雷達點云以及視頻數(shù)據(jù)，對駕駛環(huán)境中原始雷達點云以及視頻數(shù)據(jù)進行預處理，獲得點云簇向量集和原始圖像數(shù)據(jù)；

119、位置及身份特征模塊：將點云簇向量集、原始圖像數(shù)據(jù)以及原始雷達點云通過雙模態(tài)融合感知框架，獲得遠小目標在圖像域的位置及身份特征；

120、位置信息輸出模塊：基于遠小目標在圖像域的位置及身份特征、點云簇向量，進行雙模態(tài)聯(lián)合跟蹤，完成遠小目標感知，輸出感知目標在鳥瞰視圖中的位置信息。

121、與現(xiàn)有技術相比，本發(fā)明技術方案的有益效果是：

122、本發(fā)明首先進行預處理減少噪聲點，然后通過雷達點云來啟發(fā)和增強遠小目標的圖像表征能力，隨后通過雙模態(tài)特征融合提高遠小目標的檢測準確率，并獲得遠小目標在圖像域中的位置信息及身份特征。最后進行雙模態(tài)聯(lián)合跟蹤，實現(xiàn)對遠小目標的持續(xù)感知。