本技術(shù)涉及自動(dòng)駕駛，尤其是涉及基于全局關(guān)系感知的4d毫米波雷達(dá)目標(biāo)檢測方法及裝置。

背景技術(shù)：

1、為了解決使用4d毫米波雷達(dá)時(shí)檢測能力不足的問題，考慮使用深度學(xué)習(xí)方法直接處理點(diǎn)云數(shù)據(jù)。但是，毫米波雷達(dá)點(diǎn)云是四維數(shù)據(jù)，且其存在著稀疏性和噪聲問題，傳統(tǒng)的三維目標(biāo)檢測方法很難保證目標(biāo)檢測的精度。目前常用的方法是將點(diǎn)云數(shù)據(jù)劃分為多個(gè)體素，從每個(gè)體素內(nèi)提取信息，但是這種方法沒有關(guān)注全局特征信息，降低了遠(yuǎn)距離信息捕獲的效率，失去了部分目標(biāo)檢測精度。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)提供了基于全局關(guān)系感知的4d毫米波雷達(dá)目標(biāo)檢測方法及裝置，以解決上述技術(shù)問題。

2、第一方面，本技術(shù)實(shí)施例提供一種基于全局關(guān)系感知的4d毫米波雷達(dá)目標(biāo)檢測方法，包括：

3、獲取自車上4d毫米波雷達(dá)采集的點(diǎn)云數(shù)據(jù)；

4、對所述點(diǎn)云數(shù)據(jù)進(jìn)行支柱特征編碼，得到各體素的特征圖；

5、利用全局關(guān)系感知網(wǎng)絡(luò)對所有體素的特征圖進(jìn)行處理，得到具有全局關(guān)系的特征圖，將具有全局信息的特征圖還原為增強(qiáng)后的點(diǎn)云數(shù)據(jù)；

6、利用檢測頭對所述增強(qiáng)后的點(diǎn)云數(shù)據(jù)進(jìn)行處理，得到3d目標(biāo)檢測結(jié)果。

7、在一種可能的實(shí)現(xiàn)中，對所述點(diǎn)云數(shù)據(jù)進(jìn)行支柱特征編碼，得到各體素的特征圖，包括：

8、利用點(diǎn)云中各點(diǎn)的發(fā)散角對各點(diǎn)的坐標(biāo)進(jìn)行修正，得到修正后的點(diǎn)云數(shù)據(jù)；

9、對修正后的點(diǎn)云數(shù)據(jù)進(jìn)行支柱方式特征編碼，得到各體素的第一張量(d,p,n)；其中p為體素的數(shù)量，n是所述體素存儲(chǔ)的點(diǎn)的最大數(shù)量，d是所述體素內(nèi)的各點(diǎn)的屬性；

10、對各體素的第一張量(d,p,n)進(jìn)行卷積操作，生成第二張量(c,p,n)，其中，c為通道數(shù)；對通道數(shù)c進(jìn)行最大池化的操作，得到第三張量(c,p)；

11、將第三張量(c,p)中的p轉(zhuǎn)化為(w,h)，得到大小為(c,w,h)的特征圖，其中，w為特征圖的寬，h為特征圖的高。

12、在一種可能的實(shí)現(xiàn)中，利用點(diǎn)云中各點(diǎn)的發(fā)散角對各點(diǎn)的坐標(biāo)進(jìn)行修正，得到修正后的點(diǎn)云數(shù)據(jù)；包括：

13、計(jì)算點(diǎn)云數(shù)據(jù)中各點(diǎn)的發(fā)散角，判斷所有點(diǎn)的發(fā)散角是否符合正態(tài)分布；若為是，使用所有點(diǎn)的發(fā)散角的平均值θd表示所有點(diǎn)的發(fā)散角：

14、

15、否則，使用平均值θd作為高斯正態(tài)分布統(tǒng)計(jì)模型中的中值來表示所有點(diǎn)的發(fā)散角；

16、對點(diǎn)云數(shù)據(jù)中各點(diǎn)的x坐標(biāo)值和z坐標(biāo)值進(jìn)行修正:

17、

18、其中，θi,xi和zi為第i個(gè)點(diǎn)的原始的發(fā)散角，x坐標(biāo)和z坐標(biāo)，xi,t和zi,t為調(diào)整后的第i個(gè)點(diǎn)的x坐標(biāo)和z坐標(biāo)。

19、在一種可能的實(shí)現(xiàn)中，所述全局關(guān)系感知網(wǎng)絡(luò)包括：最大池化層、三個(gè)并行的通道交叉變換器、注意力權(quán)重模塊和融合模塊；三個(gè)并行的通道交叉變換器包括：第一通道交叉變換器、第二通道交叉變換器和第三通道交叉變換器；

20、利用全局關(guān)系感知網(wǎng)絡(luò)對所有體素的特征圖進(jìn)行處理，得到具有全局信息的特征圖，包括：

21、利用最大池化層對各體素的特征圖進(jìn)行處理，得到大小為w×h的原始特征圖；

22、利用第一通道交叉變換器對大小為w×h的原始特征圖進(jìn)行處理，得到大小為w×1的第一注意特征圖；

23、利用第二通道交叉變換器對大小為w×h的原始特征圖的轉(zhuǎn)置進(jìn)行處理，得到大小為1×w的第二注意特征圖；

24、利用第三通道交叉變換器對大小為w×h的原始特征圖進(jìn)行處理，得到大小為w×1的第三注意特征圖；

25、利用注意力權(quán)重模塊對第一注意特征圖和第二注意特征圖進(jìn)行融合，得到大小為w×w的注意力權(quán)重特征圖；

26、利用融合模塊對第三注意特征圖和注意力權(quán)重特征圖進(jìn)行融合，得到具有全局信息的特征圖。

27、在一種可能的實(shí)現(xiàn)中，第一通道交叉變換器包括：自注意力機(jī)制操作單元、殘差單元、全連接層和平均池化層；

28、利用第一通道交叉變換器對大小為w×h的原始特征圖進(jìn)行處理，得到大小為w×1的第一注意特征圖；包括：

29、利用自注意力機(jī)制操作單元對w×h的原始特征圖進(jìn)行處理，得到具有全局上下文信息的特征：查詢向量q、鍵向量k和值向量v；

30、利用殘差單元對具有全局上下文信息的特征和大小為w×h的原始特征圖進(jìn)行殘差連接，得到大小為w×h的第一中間特征圖；

31、利用全連接層對w×h的第一中間特征圖和原始特征圖進(jìn)行處理，得到大小為w×h的第二中間特征圖；

32、利用平均池化層對大小為w×h的第二中間特征圖進(jìn)行處理，得到大小為w×1的第一注意特征圖。

33、在一種可能的實(shí)現(xiàn)中，注意力權(quán)重模塊包括：第一乘法單元和歸一化單元；

34、利用注意力權(quán)重模塊對第一注意特征圖和第二注意特征圖進(jìn)行融合，得到注意力權(quán)重特征圖，包括：

35、利用第一乘法單元對第一注意特征圖和第二注意特征圖進(jìn)行點(diǎn)乘運(yùn)算，得到大小為w×w的第三中間特征圖；

36、利用歸一化單元對大小為w×w的第三中間特征圖進(jìn)行處理，得到大小為w×w注意力權(quán)重特征圖。

37、在一種可能的實(shí)現(xiàn)中，所述融合模塊包括并行的第一分支和第二分支以及加法單元；所述第一分支包括：第二乘法單元和減法單元，所述第二分支包括：處理單元和第三乘法單元；

38、利用融合模塊對第三注意特征圖和注意力權(quán)重特征圖進(jìn)行融合，得到具有全局信息的特征圖；包括：

39、利用第二乘法單元對第三注意特征圖和注意力權(quán)重特征圖進(jìn)行點(diǎn)乘運(yùn)算，得到大小為w×1的第四中間特征圖；

40、利用減法單元對大小為w×1的第四中間特征圖和第一注意力特征圖進(jìn)行處理，得到大小為w×1的第五中間特征圖；

41、利用處理單元對大小為w×1的第三注意力特征圖和大小為w×w的第三中間特征圖的任意一行及其轉(zhuǎn)置進(jìn)行處理，得到大小為w×w的第六中間特征圖；

42、利用第三乘法單元對大小為w×w的第六中間特征圖和大小為w×1的第一注意力特征圖和進(jìn)行乘法運(yùn)算，得到大小為w×1的第七中間特征圖；

43、利用加法單元對大小為w×1的第五中間特征圖和大小為w×1的第七中間特征圖進(jìn)行加法處理，得到大小為w×1的具有全局信息的特征圖。

44、第二方面，本技術(shù)實(shí)施例提供一種基于全局關(guān)系感知的4d毫米波雷達(dá)目標(biāo)檢測裝置，包括：

45、獲取單元，用于獲取自車上4d毫米波雷達(dá)采集的點(diǎn)云數(shù)據(jù)；

46、編碼單元，用于對所述點(diǎn)云數(shù)據(jù)進(jìn)行支柱特征編碼，得到各體素的特征圖；

47、處理單元，用于利用全局關(guān)系感知網(wǎng)絡(luò)對所有體素的特征圖進(jìn)行處理，得到具有全局信息的特征圖，將具有全局信息的特征圖還原為增強(qiáng)后的點(diǎn)云數(shù)據(jù)；

48、檢測單元，用于利用檢測頭對所述增強(qiáng)后的點(diǎn)云數(shù)據(jù)進(jìn)行處理，得到3d目標(biāo)檢測結(jié)果。

49、第三方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，包括：存儲(chǔ)器、處理器和存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本技術(shù)實(shí)施例的方法。

50、第四方面，本技術(shù)實(shí)施例一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)實(shí)現(xiàn)本技術(shù)實(shí)施例的方法。

51、本技術(shù)提高了點(diǎn)云數(shù)據(jù)的3d目標(biāo)檢測的準(zhǔn)確性和精度，尤其是對行人、騎行的人等小目標(biāo)的檢測效果提升顯著。