本技術(shù)涉及目標檢測技術(shù)，特別涉及一種三維目標檢測方法、裝置、存儲介質(zhì)和電子設(shè)備。

背景技術(shù)：

1、隨著多種傳感器的普及與推廣，可以利用多種傳感器的互補特性，通過對多種傳感器的采集數(shù)據(jù)進行綜合處理，來實現(xiàn)目標檢測。目前，對于三維目標檢測，就可以基于4d毫米波雷達采集的點云數(shù)據(jù)結(jié)合相機等圖像傳感器采集的圖像數(shù)據(jù)，來進行三維目標的檢測。例如，在自動駕駛系統(tǒng)中，可以將車載4d毫米波雷達和車載相機所采集的數(shù)據(jù)結(jié)合到一起進行綜合處理，從而實現(xiàn)三維目標檢測。

2、現(xiàn)有的利用4d毫米波雷達和圖像傳感器進行三維目標檢測的方案，經(jīng)過實際應(yīng)用發(fā)現(xiàn)目標檢測的準確性有待提高。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種三維目標檢測方法、裝置、存儲介質(zhì)和電子設(shè)備，能夠有效提高三維目標檢測的準確性。

2、為實現(xiàn)上述目的，本技術(shù)采用如下技術(shù)方案：

3、一種三維目標檢測方法，包括：

4、獲取對應(yīng)同一場景的4d毫米波雷達點云數(shù)據(jù)和圖像采集數(shù)據(jù)；

5、對所述圖像采集數(shù)據(jù)進行特征提取和特征轉(zhuǎn)換，得到圖像特征；

6、利用第一骨干模型和第二骨干模型分別對所述點云數(shù)據(jù)進行點云特征提取，對應(yīng)得到雷達特征 f radar-pillar和 f radar-transformer；其中，所述第一骨干模型的輸入包括所述點云數(shù)據(jù)對應(yīng)的雷達空間坐標、雷達速度和點云信噪比；

7、利用交叉注意力機制將所述 f radar-pillar和所述 f radar-transformer進行融合，并將得到的第一融合結(jié)果與所述 f radar-pillar進行拼接，得到融合后的點云特征；其中，在進行所述融合時，基于所述 f radar-pillar確定查詢矩陣q，基于所述 f radar-transformer確定鍵矩陣k和值矩陣v；

8、將所述融合后的點云特征和所述圖像特征進行跨模態(tài)融合，基于得到的第二融合結(jié)果進行三維目標檢測。

9、較佳地，利用交叉注意力機制或可變形的交叉注意力機制，進行所述跨模態(tài)融合。

10、較佳地，該方法進一步包括：

11、對所述 f radar-transformer進行特征提取，預(yù)測得到用于表示各個位置是否存在目標的占用信息；

12、所述基于得到的第二融合結(jié)果進行三維目標檢測，包括：

13、將所述第二融合結(jié)果與所述占用信息進行拼接，基于拼接結(jié)果進行所述三維目標檢測。

14、較佳地，該方法進一步包括：對所述圖像特征進行bev特征提取，將相應(yīng)的特征提取結(jié)果作為新的所述圖像特征。

15、較佳地，該方法進一步包括：對所述融合后的點云特征進行bev特征提取，將相應(yīng)的特征提取結(jié)果作為新的所述融合后的點云特征。

16、一種三維目標檢測裝置，包括：數(shù)據(jù)獲取單元、圖像數(shù)據(jù)處理單元、點云數(shù)據(jù)處理單元、跨模態(tài)融合單元和檢測單元；

17、所述數(shù)據(jù)獲取單元，用于獲取對應(yīng)同一場景的4d毫米波雷達點云數(shù)據(jù)和圖像采集數(shù)據(jù)；

18、所述圖像數(shù)據(jù)處理單元，用于對所述圖像采集數(shù)據(jù)進行特征提取和特征轉(zhuǎn)換，得到圖像特征；

19、所述點云數(shù)據(jù)處理單元，用于利用第一骨干模型和第二骨干模型分別對所述點云數(shù)據(jù)進行點云特征提取，對應(yīng)得到雷達特征 f radar-pillar和 f radar-transformer；還用于利用交叉注意力機制將所述 f radar-pillar和所述 f radar-transformer進行融合，并將得到的第一融合結(jié)果與所述 f radar-pillar進行拼接，得到融合后的點云特征；其中，所述第一骨干模型的輸入包括所述點云數(shù)據(jù)對應(yīng)的雷達空間坐標、雷達速度和點云信噪比；在進行所述融合時，基于所述 f radar-pillar確定查詢矩陣q，基于所述 f radar-transformer確定鍵矩陣k和值矩陣v；

20、所述跨模態(tài)融合單元，用于將所述融合后的點云特征和所述圖像特征進行跨模態(tài)融合，得到第二融合結(jié)果；

21、所述檢測單元，用于基于所述第二融合結(jié)果進行三維目標檢測。

22、較佳地，在所述跨模態(tài)融合單元中，利用交叉注意力機制或可變形的交叉注意力機制，進行所述跨模態(tài)融合。

23、較佳地，所述點云數(shù)據(jù)處理單元，進一步用于對所述 f radar-transformer進行特征提取，預(yù)測得到用于表示各個位置是否存在目標的占用信息；

24、在所述檢測單元中，所述基于所述第二融合結(jié)果進行三維目標檢測，包括：

25、將所述第二融合結(jié)果與所述占用信息進行拼接，基于拼接結(jié)果進行所述三維目標檢測。

26、較佳地，所述圖像數(shù)據(jù)處理單元，進一步用于對所述圖像特征進行bev特征提取，將相應(yīng)的特征提取結(jié)果作為新的所述圖像特征。

27、較佳地，所述點云數(shù)據(jù)單元，進一步用于對所述融合后的點云特征進行bev特征提取，將相應(yīng)的特征提取結(jié)果作為新的所述融合后的點云特征。

28、本技術(shù)提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機指令，所述指令被處理器執(zhí)行時可實現(xiàn)上述任一項所述的三維目標檢測方法。

29、本技術(shù)提供一種電子設(shè)備，該電子設(shè)備至少包括計算機可讀存儲介質(zhì)，還包括處理器；

30、所述處理器，用于從所述計算機可讀存儲介質(zhì)中讀取可執(zhí)行指令，并執(zhí)行所述指令以實現(xiàn)上述任一項所述的三維目標檢測方法。

31、由上述技術(shù)方案可見，本技術(shù)中，首先獲取對應(yīng)同一場景的4d毫米波雷達點云數(shù)據(jù)和圖像采集數(shù)據(jù)，以用于對相應(yīng)場景進行三維目標檢測。接下來，一方面圖像采集數(shù)據(jù)進行特征提取和轉(zhuǎn)換，得到bev空間下的圖像特征；另一方面對于點云數(shù)據(jù)分別利用第一骨干模型和第二骨干模型進行點云特征提取，得到雷達特征 f radar-pillar和 f radar-transformer，并利用交叉注意力機制對于兩個雷達特征進行融合后，將融合結(jié)果與雷達特征 f radar-pillar進行拼接，得到融合后的點云特征；由此，通過第一骨干模型的特性有效利用點云數(shù)據(jù)的多維度信息，提高點云特征的準確性，彌補4d毫米波雷達中高度信息準確性低的問題，同時通過第二骨干模型有效利用點云的周邊信息提高點云特征的準確性，并在融合 f radar-pillar和 f radar-transformer時以反映點云分布特征的 f radar-pillar為主特征，并將融合結(jié)果與 f radar-pillar進行拼接，保證融合后的點云特征能夠在反映周邊點云信息的同時更主要地反映點云分布特性。最后，將基于點云數(shù)據(jù)確定的融合后的點云特征和基于圖像采集數(shù)據(jù)確定的bev空間的圖像特征進行跨模態(tài)融合，能夠有效結(jié)合兩類數(shù)據(jù)的各自特征信息，再基于此進行三維目標檢測。由于對點云數(shù)據(jù)的特別處理能夠有效提高點云特征的準確性，因此可以相應(yīng)地提高三維目標檢測的準確性。