本發(fā)明涉及目標(biāo)檢測(cè)，特別涉及一種目標(biāo)檢測(cè)方法、裝置、整車控制器及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、依托長(zhǎng)期以來(lái)的技術(shù)積累和近期人工智能領(lǐng)域的突破，加之日趨成熟的政策，無(wú)人駕駛正在向人們走來(lái)。各大互聯(lián)網(wǎng)公司和汽車巨頭大量投入資源發(fā)展無(wú)人駕駛技術(shù)的事實(shí)表明，無(wú)人駕駛已經(jīng)逐步成為信息產(chǎn)業(yè)和汽車行業(yè)的大勢(shì)所趨。在無(wú)人駕駛汽車眾多的關(guān)鍵技術(shù)中，對(duì)于交通環(huán)境的感知技術(shù)無(wú)疑是其中的核心與基礎(chǔ)。

2、在無(wú)人駕駛的動(dòng)態(tài)目標(biāo)感知問(wèn)題中，因?yàn)轳{駛環(huán)境中動(dòng)態(tài)目標(biāo)復(fù)雜多樣，且包含較多的人為因素，這就要求無(wú)人駕駛汽車要對(duì)實(shí)際駕駛環(huán)境具有較強(qiáng)的感知能力。在相關(guān)技術(shù)中，通常包含二維目標(biāo)檢測(cè)技術(shù)和三維目標(biāo)檢測(cè)技術(shù)，其中，二維目標(biāo)檢測(cè)技術(shù)采用基于視覺(jué)相機(jī)拍攝的二維圖像，對(duì)交通標(biāo)志、車道線、信號(hào)燈等目標(biāo)進(jìn)行檢測(cè)；三維目標(biāo)檢測(cè)技術(shù)基于激光雷達(dá)拍攝的點(diǎn)云圖像對(duì)目標(biāo)進(jìn)行檢測(cè)。

3、然而，上述目標(biāo)檢測(cè)技術(shù)采用的原始信息均較為單一，導(dǎo)致進(jìn)行目標(biāo)檢測(cè)的準(zhǔn)確度較差。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明旨在提出一種目標(biāo)檢測(cè)方法、裝置、整車控制器及可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中目標(biāo)檢測(cè)的準(zhǔn)確度較差的問(wèn)題。

2、為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、第一方面，本發(fā)明提供了一種目標(biāo)檢測(cè)方法，所述方法包括：

4、對(duì)基于點(diǎn)云數(shù)據(jù)確定的體素空間進(jìn)行特征提取，得到空間三維特征；

5、對(duì)二維圖像進(jìn)行特征提取，得到二維待融合特征；

6、基于三維骨干網(wǎng)絡(luò)對(duì)所述空間三維特征和所述二維待融合特征進(jìn)行特征提取，得到由所述三維骨干網(wǎng)絡(luò)輸出的目標(biāo)提取特征；

7、基于感興趣區(qū)域池化網(wǎng)絡(luò)對(duì)所述目標(biāo)提取特征進(jìn)行目標(biāo)檢測(cè)，并對(duì)目標(biāo)檢測(cè)過(guò)程中產(chǎn)生的池化結(jié)果與所述二維待融合特征進(jìn)行融合，得到所述感興趣區(qū)域池化網(wǎng)絡(luò)輸出的三維目標(biāo)檢測(cè)結(jié)果。

8、可選地，所述基于三維骨干網(wǎng)絡(luò)對(duì)所述空間三維特征和所述二維待融合特征進(jìn)行特征提取，得到由所述三維骨干網(wǎng)絡(luò)輸出的目標(biāo)提取特征，包括：

9、融合所述空間三維特征與所述二維待融合特征，得到目標(biāo)空間三維特征；

10、基于三維骨干網(wǎng)絡(luò)對(duì)所述目標(biāo)空間三維特征進(jìn)行特征提取，并對(duì)特征提取過(guò)程中產(chǎn)生的中間特征與所述二維待融合特征進(jìn)行融合，得到所述三維骨干網(wǎng)絡(luò)輸出的目標(biāo)提取特征。

11、可選地，所述融合所述空間三維特征與所述二維待融合特征，得到目標(biāo)空間三維特征，包括：

12、獲取所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的映射矩陣；

13、根據(jù)所述映射矩陣，確定所述空間三維特征中各個(gè)空間三維特征元素在所述二維待融合特征中分別對(duì)應(yīng)的第一特征元素；

14、對(duì)所述空間三維特征中的各個(gè)空間三維特征元素，與所述空間三維特征元素對(duì)應(yīng)的第一特征元素進(jìn)行融合處理，得到所述目標(biāo)空間三維特征。

15、可選地，所述對(duì)所述空間三維特征中的各個(gè)空間三維特征元素，與所述空間三維特征元素對(duì)應(yīng)的第一特征元素進(jìn)行融合處理，得到所述目標(biāo)空間三維特征，包括：

16、基于所述空間三維特征元素對(duì)應(yīng)的第一特征元素，以及所述第一特征元素在所述二維待融合特征中的相鄰特征元素，確定所述空間三維特征元素對(duì)應(yīng)的待融合特征元素；

17、對(duì)所述空間三維特征中的各個(gè)空間三維特征元素，與所述空間三維特征元素對(duì)應(yīng)的待融合特征元素進(jìn)行融合處理，得到所述目標(biāo)空間三維特征。

18、可選地，所述基于三維骨干網(wǎng)絡(luò)對(duì)所述目標(biāo)空間三維特征進(jìn)行特征提取，并對(duì)特征提取過(guò)程中產(chǎn)生的中間特征與所述二維待融合特征進(jìn)行融合，得到所述三維骨干網(wǎng)絡(luò)輸出的目標(biāo)提取特征，包括：

19、針對(duì)所述三維骨干網(wǎng)絡(luò)對(duì)所述目標(biāo)空間三維特征進(jìn)行特征提取時(shí)產(chǎn)生的至少一個(gè)中間特征，對(duì)所述中間特征與所述二維待融合特征進(jìn)行融合處理，得到所述中間特征對(duì)應(yīng)的中間融合特征；

20、將所述中間融合特征輸入至下一層網(wǎng)絡(luò)結(jié)構(gòu)；

21、獲取所述三維骨干網(wǎng)絡(luò)輸出的所述目標(biāo)提取特征。

22、可選地，所述對(duì)所述中間特征與所述二維待融合特征進(jìn)行融合處理，得到所述中間特征對(duì)應(yīng)的中間融合特征，包括：

23、對(duì)所述中間特征進(jìn)行上采樣處理，得到特征分辨率與所述空間三維特征的特征分辨率相同的上采樣中間特征；

24、根據(jù)所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的映射矩陣，確定所述上采樣中間特征中各個(gè)上采樣中間特征元素，在所述二維待融合特征中分別對(duì)應(yīng)的第二特征元素；

25、對(duì)所述上采樣中間特征中的各個(gè)上采樣中間特征元素，與所述上采樣中間特征元素對(duì)應(yīng)的第二特征元素進(jìn)行融合處理，得到融合中間特征；

26、對(duì)所述融合中間特征進(jìn)行下采樣處理，得到特征分辨率與所述中間特征的特征分辨率相同的所述中間融合特征。

27、可選地，所述感興趣區(qū)域池化網(wǎng)絡(luò)包括第一感興趣區(qū)域池化子網(wǎng)絡(luò)，所述池化結(jié)果包括第一池化結(jié)果，所述基于感興趣區(qū)域池化網(wǎng)絡(luò)對(duì)所述目標(biāo)提取特征進(jìn)行目標(biāo)檢測(cè)，并對(duì)目標(biāo)檢測(cè)過(guò)程中產(chǎn)生的池化結(jié)果與所述二維待融合特征進(jìn)行融合，得到所述感興趣區(qū)域池化網(wǎng)絡(luò)輸出的三維目標(biāo)檢測(cè)結(jié)果，包括：

28、將所述目標(biāo)提取特征輸入第一感興趣區(qū)域池化子網(wǎng)絡(luò)的第一池化層，得到所述第一池化層輸出的所述第一池化結(jié)果；

29、對(duì)所述第一池化結(jié)果與所述二維待融合特征進(jìn)行特征融合，得到第一目標(biāo)池化結(jié)果；

30、將所述第一目標(biāo)池化結(jié)果輸入所述第一感興趣區(qū)域池化子網(wǎng)絡(luò)的第一檢測(cè)層，得到所述第一檢測(cè)層輸出的所述三維目標(biāo)檢測(cè)結(jié)果。

31、可選地，所述感興趣區(qū)域池化網(wǎng)絡(luò)包括第二感興趣區(qū)域池化子網(wǎng)絡(luò)，所述池化結(jié)果包括第二池化結(jié)果，所述將所述第一目標(biāo)池化結(jié)果輸入所述第一感興趣區(qū)域池化子網(wǎng)絡(luò)的第一檢測(cè)層，得到所述第一檢測(cè)層輸出的所述三維目標(biāo)檢測(cè)結(jié)果，包括：

32、將所述第一目標(biāo)池化結(jié)果輸入所述第一感興趣區(qū)域池化子網(wǎng)絡(luò)的第一檢測(cè)層，得到所述第一檢測(cè)層輸出的中間目標(biāo)檢測(cè)結(jié)果；

33、將所述中間目標(biāo)檢測(cè)結(jié)果輸入所述第二感興趣區(qū)域池化子網(wǎng)絡(luò)的第二池化層，得到所述第二池化層輸出的所述第二池化結(jié)果；

34、對(duì)所述第二池化結(jié)果與所述二維待融合特征進(jìn)行融合處理，得到第二目標(biāo)池化結(jié)果；

35、將所述第二目標(biāo)池化結(jié)果輸入所述第二感興趣區(qū)域池化子網(wǎng)絡(luò)的第二檢測(cè)層，得到所述第二檢測(cè)層輸出的三維目標(biāo)檢測(cè)結(jié)果。

36、可選地，所述對(duì)二維圖像進(jìn)行特征提取，得到二維待融合特征，包括：

37、基于圖像特征編碼網(wǎng)絡(luò)對(duì)所述二維圖像進(jìn)行特征提取，得到所述二維圖像對(duì)應(yīng)的二維圖像特征和語(yǔ)義分割掩碼特征；其中，所述二維圖像特征包括所述圖像特征編碼網(wǎng)絡(luò)輸出的目標(biāo)尺寸特征、偏差校正特征、檢測(cè)框位置特征，以及所述圖像特征編碼網(wǎng)絡(luò)對(duì)所述二維圖像進(jìn)行特征檢測(cè)過(guò)程中產(chǎn)生的臨時(shí)特征中的至少一項(xiàng)；

38、基于所述二維圖像特征和所述語(yǔ)義分割掩碼特征，確定所述二維圖像對(duì)應(yīng)的二維待融合特征。

39、可選地，所述基于所述二維圖像特征和所述語(yǔ)義分割掩碼特征，確定所述二維圖像對(duì)應(yīng)的二維待融合特征，包括：

40、對(duì)所述二維圖像特征進(jìn)行上采樣處理，得到特征分辨率與所述語(yǔ)義分割掩碼特征的特征分辨率相同的上采樣二維圖像特征；

41、對(duì)所述上采樣二維圖像特征和所述語(yǔ)義分割掩碼特征進(jìn)行特征融合處理，得到所述二維待融合特征。

42、可選地，所述方法還包括：

43、將樣本二維圖像輸入初始特征編碼網(wǎng)絡(luò)，得到所述初始特征編碼網(wǎng)絡(luò)輸出的樣本二維圖像特征和樣本語(yǔ)義分割掩碼特征；

44、將所述樣本二維圖像輸入語(yǔ)義分割模型，得到所述語(yǔ)義分割模型輸出的參考語(yǔ)義分割掩碼特征；

45、基于所述參考語(yǔ)義分割掩碼特征，以及所述樣本二維圖像特征對(duì)應(yīng)的標(biāo)簽二維圖像特征，對(duì)所述初始特征編碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述圖像特征編碼網(wǎng)絡(luò)。

46、第二方面，本發(fā)明提供了一種目標(biāo)檢測(cè)裝置，所述裝置包括：

47、空間三維特征模塊，用于對(duì)基于點(diǎn)云數(shù)據(jù)確定的體素空間進(jìn)行特征提取，得到空間三維特征；

48、待融合特征模塊，用于對(duì)二維圖像進(jìn)行特征提取，得到二維待融合特征；

49、特征提取模塊，用于基于三維骨干網(wǎng)絡(luò)對(duì)所述空間三維特征和所述二維待融合特征進(jìn)行特征提取，得到由所述三維骨干網(wǎng)絡(luò)輸出的目標(biāo)提取特征；

50、池化結(jié)果融合模塊，用于基于感興趣區(qū)域池化網(wǎng)絡(luò)對(duì)所述目標(biāo)提取特征進(jìn)行目標(biāo)檢測(cè)，并對(duì)目標(biāo)檢測(cè)過(guò)程中產(chǎn)生的池化結(jié)果與所述二維待融合特征進(jìn)行融合，得到所述感興趣區(qū)域池化網(wǎng)絡(luò)輸出的三維目標(biāo)檢測(cè)結(jié)果。

51、可選地，所述特征提取模塊包括：

52、空間三維特征融合子模塊，用于融合所述空間三維特征與所述二維待融合特征，得到目標(biāo)空間三維特征；

53、目標(biāo)提取特征子模塊，用于基于三維骨干網(wǎng)絡(luò)對(duì)所述目標(biāo)空間三維特征進(jìn)行特征提取，并對(duì)特征提取過(guò)程中產(chǎn)生的中間特征與所述二維待融合特征進(jìn)行融合，得到所述三維骨干網(wǎng)絡(luò)輸出的目標(biāo)提取特征。

54、可選地，所述空間三維特征融合子模塊包括：

55、映射矩陣子模塊，用于獲取所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的映射矩陣；

56、第一特征元素子模塊，用于根據(jù)所述映射矩陣，確定所述空間三維特征中各個(gè)空間三維特征元素在所述二維待融合特征中分別對(duì)應(yīng)的第一特征元素；

57、空間三維特征元素融合子模塊，用于對(duì)所述空間三維特征中的各個(gè)空間三維特征元素，與所述空間三維特征元素對(duì)應(yīng)的第一特征元素進(jìn)行融合處理，得到所述目標(biāo)空間三維特征。

58、可選地，所述空間三維特征元素融合子模塊包括：

59、待融合特征元素子模塊，用于基于所述空間三維特征元素對(duì)應(yīng)的第一特征元素，以及所述第一特征元素在所述二維待融合特征中的相鄰特征元素，確定所述空間三維特征元素對(duì)應(yīng)的待融合特征元素；

60、目標(biāo)空間三維特征生成子模塊，用于對(duì)所述空間三維特征中的各個(gè)空間三維特征元素，與所述空間三維特征元素對(duì)應(yīng)的待融合特征元素進(jìn)行融合處理，得到所述目標(biāo)空間三維特征。

61、可選地，所述目標(biāo)提取特征子模塊包括：

62、中間融合特征子模塊，用于針對(duì)所述三維骨干網(wǎng)絡(luò)對(duì)所述目標(biāo)空間三維特征進(jìn)行特征提取時(shí)產(chǎn)生的至少一個(gè)中間特征，對(duì)所述中間特征與所述二維待融合特征進(jìn)行融合處理，得到所述中間特征對(duì)應(yīng)的中間融合特征；

63、中間融合特征輸入子模塊，用于將所述中間融合特征輸入至下一層網(wǎng)絡(luò)結(jié)構(gòu)；

64、目標(biāo)提取特征獲取子模塊，用于獲取所述三維骨干網(wǎng)絡(luò)輸出的所述目標(biāo)提取特征。

65、可選地，所述中間融合特征子模塊包括：

66、上采樣中間特征子模塊，用于對(duì)所述中間特征進(jìn)行上采樣處理，得到特征分辨率與所述空間三維特征的特征分辨率相同的上采樣中間特征；

67、第二特征元素子模塊，用于根據(jù)所述點(diǎn)云數(shù)據(jù)與所述二維圖像之間的映射矩陣，確定所述上采樣中間特征中各個(gè)上采樣中間特征元素，在所述二維待融合特征中分別對(duì)應(yīng)的第二特征元素；

68、融合中間特征子模塊，用于對(duì)所述上采樣中間特征中的各個(gè)上采樣中間特征元素，與所述上采樣中間特征元素對(duì)應(yīng)的第二特征元素進(jìn)行融合處理，得到融合中間特征；

69、中間融合特征生成子模塊，用于對(duì)所述融合中間特征進(jìn)行下采樣處理，得到特征分辨率與所述中間特征的特征分辨率相同的所述中間融合特征。

70、可選地，所述感興趣區(qū)域池化網(wǎng)絡(luò)包括第一感興趣區(qū)域池化子網(wǎng)絡(luò)，所述池化結(jié)果包括第一池化結(jié)果，所述池化結(jié)果融合模塊包括：

71、第一池化結(jié)果子模塊，用于將所述目標(biāo)提取特征輸入第一感興趣區(qū)域池化子網(wǎng)絡(luò)的第一池化層，得到所述第一池化層輸出的所述第一池化結(jié)果；

72、第一目標(biāo)池化結(jié)果子模塊，用于對(duì)所述第一池化結(jié)果與所述二維待融合特征進(jìn)行特征融合，得到第一目標(biāo)池化結(jié)果；

73、三維目標(biāo)檢測(cè)結(jié)果子模塊，用于將所述第一目標(biāo)池化結(jié)果輸入所述第一感興趣區(qū)域池化子網(wǎng)絡(luò)的第一檢測(cè)層，得到所述第一檢測(cè)層輸出的所述三維目標(biāo)檢測(cè)結(jié)果。

74、可選地，所述感興趣區(qū)域池化網(wǎng)絡(luò)包括第二感興趣區(qū)域池化子網(wǎng)絡(luò)，所述池化結(jié)果包括第二池化結(jié)果，所述三維目標(biāo)檢測(cè)結(jié)果子模塊包括：

75、中間目標(biāo)檢測(cè)結(jié)果子模塊，用于將所述第一目標(biāo)池化結(jié)果輸入所述第一感興趣區(qū)域池化子網(wǎng)絡(luò)的第一檢測(cè)層，得到所述第一檢測(cè)層輸出的中間目標(biāo)檢測(cè)結(jié)果；

76、第二池化結(jié)果子模塊，用于將所述中間目標(biāo)檢測(cè)結(jié)果輸入所述第二感興趣區(qū)域池化子網(wǎng)絡(luò)的第二池化層，得到所述第二池化層輸出的所述第二池化結(jié)果；

77、第二目標(biāo)池化結(jié)果獲取子模塊，用于對(duì)所述第二池化結(jié)果與所述二維待融合特征進(jìn)行融合處理，得到第二目標(biāo)池化結(jié)果；

78、將所述第二目標(biāo)池化結(jié)果輸入所述第二感興趣區(qū)域池化子網(wǎng)絡(luò)的第二檢測(cè)層，得到所述第二檢測(cè)層輸出的三維目標(biāo)檢測(cè)結(jié)果。

79、可選地，所述待融合特征模塊包括：

80、特征提取子模塊，用于基于圖像特征編碼網(wǎng)絡(luò)對(duì)所述二維圖像進(jìn)行特征提取，得到所述二維圖像對(duì)應(yīng)的二維圖像特征和語(yǔ)義分割掩碼特征；其中，所述二維圖像特征包括所述圖像特征編碼網(wǎng)絡(luò)輸出的目標(biāo)尺寸特征、偏差校正特征、檢測(cè)框位置特征，以及所述圖像特征編碼網(wǎng)絡(luò)對(duì)所述二維圖像進(jìn)行特征檢測(cè)過(guò)程中產(chǎn)生的臨時(shí)特征中的至少一項(xiàng)；

81、二維待融合特征子模塊，用于基于所述二維圖像特征和所述語(yǔ)義分割掩碼特征，確定所述二維圖像對(duì)應(yīng)的二維待融合特征。

82、可選地，所述二維待融合特征子模塊包括：

83、上采樣二維圖像特征子模塊，用于對(duì)所述二維圖像特征進(jìn)行上采樣處理，得到特征分辨率與所述語(yǔ)義分割掩碼特征的特征分辨率相同的上采樣二維圖像特征；

84、二維待融合特征生成子模塊，用于對(duì)所述上采樣二維圖像特征和所述語(yǔ)義分割掩碼特征進(jìn)行特征融合處理，得到所述二維待融合特征。

85、可選地，所述裝置還包括：

86、初始特征編碼網(wǎng)絡(luò)模塊，用于將樣本二維圖像輸入初始特征編碼網(wǎng)絡(luò)，得到所述初始特征編碼網(wǎng)絡(luò)輸出的樣本二維圖像特征和樣本語(yǔ)義分割掩碼特征；

87、參考語(yǔ)義分割掩碼特征模塊，用于將所述樣本二維圖像輸入語(yǔ)義分割模型，得到所述語(yǔ)義分割模型輸出的參考語(yǔ)義分割掩碼特征；

88、圖像特征編碼網(wǎng)絡(luò)訓(xùn)練模塊，用于基于所述參考語(yǔ)義分割掩碼特征，以及所述樣本二維圖像特征對(duì)應(yīng)的標(biāo)簽二維圖像特征，對(duì)所述初始特征編碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述圖像特征編碼網(wǎng)絡(luò)。

89、第三方面，本發(fā)明提供了一種整車控制器，所述整車控制器包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述目標(biāo)檢測(cè)方法。

90、第四方面，本發(fā)明提供了一種可讀存儲(chǔ)介質(zhì)，當(dāng)所述可讀存儲(chǔ)介質(zhì)中的指令由整車控制器的處理器執(zhí)行時(shí)，使得所述整車控制器能夠執(zhí)行上述目標(biāo)檢測(cè)方法。

91、第五方面，本發(fā)明提供了一種車輛，包括上述整車控制器。

92、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明所述的一種目標(biāo)檢測(cè)方法、裝置、整車控制器及可讀存儲(chǔ)介質(zhì)具有以下優(yōu)勢(shì)：

93、綜上，本發(fā)明實(shí)施例提供了一種目標(biāo)檢測(cè)方法，包括：對(duì)基于點(diǎn)云數(shù)據(jù)確定的體素空間進(jìn)行特征提取，得到空間三維特征；對(duì)二維圖像進(jìn)行特征提取，得到二維待融合特征；其中，二維圖像與點(diǎn)云數(shù)據(jù)拍攝于相同時(shí)空；基于三維骨干網(wǎng)絡(luò)對(duì)空間三維特征和二維待融合特征進(jìn)行特征提取，得到由三維骨干網(wǎng)絡(luò)輸出的目標(biāo)提取特征；基于感興趣區(qū)域池化網(wǎng)絡(luò)對(duì)目標(biāo)提取特征進(jìn)行目標(biāo)檢測(cè)，并對(duì)目標(biāo)檢測(cè)過(guò)程中產(chǎn)生的池化結(jié)果與二維待融合特征進(jìn)行融合，得到感興趣區(qū)域池化網(wǎng)絡(luò)輸出的三維目標(biāo)檢測(cè)結(jié)果。在本發(fā)明實(shí)施例中，可以在根據(jù)點(diǎn)云數(shù)據(jù)進(jìn)行三維目標(biāo)檢測(cè)的過(guò)程中，融合進(jìn)入二維圖像對(duì)應(yīng)的二維待融合特征，使得在進(jìn)行三維目標(biāo)檢測(cè)的過(guò)程中，可以考慮二維圖像獨(dú)有的一些信息(例如紋理信息等)，通過(guò)點(diǎn)云信息和二維圖像的互補(bǔ)，提升進(jìn)行三維目標(biāo)檢測(cè)的準(zhǔn)確性，進(jìn)而得到高精度的三位檢測(cè)結(jié)果。