本技術(shù)涉及融合檢測(cè)，具體而言，涉及一種數(shù)據(jù)融合方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、在融合檢測(cè)領(lǐng)域中，通常是在車(chē)端進(jìn)行圖像、激光雷達(dá)、毫米波等傳感器的融合目標(biāo)檢測(cè)，結(jié)合各車(chē)載傳感器的應(yīng)用場(chǎng)景，采用占據(jù)柵格或鳥(niǎo)瞰視角(bird's?eye?view，簡(jiǎn)稱(chēng)bev)來(lái)檢測(cè)車(chē)身周?chē)哪繕?biāo)。

2、目前，通過(guò)融合目標(biāo)檢測(cè)進(jìn)行車(chē)載實(shí)時(shí)檢測(cè)時(shí)，點(diǎn)云、圖像融合檢測(cè)網(wǎng)絡(luò)通常直接對(duì)整個(gè)圖像或者點(diǎn)云進(jìn)行網(wǎng)絡(luò)推理，由于傳感器結(jié)構(gòu)特性存在差距，因此融合網(wǎng)絡(luò)往往參數(shù)規(guī)模較大，且過(guò)深的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)影響算法的計(jì)算效率。另外，路側(cè)固定設(shè)備的檢測(cè)距離大，一般為150米-200米，導(dǎo)致bev算法難以實(shí)現(xiàn)大范圍高精度的目標(biāo)檢測(cè)。

3、因此，因此，現(xiàn)有技術(shù)中點(diǎn)云圖像融合目標(biāo)檢測(cè)算法存在一定局限性。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種數(shù)據(jù)融合方法、裝置、設(shè)備及介質(zhì)，以解決現(xiàn)有技術(shù)中點(diǎn)云圖像融合目標(biāo)檢測(cè)算法存在一定局限性的實(shí)際需要的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例采用的技術(shù)方案如下：

3、第一方面，本技術(shù)實(shí)施例提供一種數(shù)據(jù)融合方法，所述方法包括：

4、獲取激光雷達(dá)傳感器采集的點(diǎn)云數(shù)據(jù)以及相機(jī)采集的圖像數(shù)據(jù)；

5、根據(jù)所述點(diǎn)云數(shù)據(jù)，確定多個(gè)目標(biāo)點(diǎn)云并生成所述多個(gè)目標(biāo)點(diǎn)云對(duì)應(yīng)的三維邊界框，根據(jù)所述圖像數(shù)據(jù)，提取所述圖像數(shù)據(jù)的全局圖像特征；其中，所述目標(biāo)點(diǎn)云為動(dòng)態(tài)點(diǎn)云；

6、根據(jù)所述三維邊界框以及所述全局圖像特征，確定所述多個(gè)目標(biāo)點(diǎn)云的感興趣區(qū)域，并提取所述感興趣區(qū)域的圖像特征；

7、根據(jù)所述感興趣區(qū)域的圖像特征以及所述目標(biāo)點(diǎn)云，確定所述點(diǎn)云數(shù)據(jù)的融合特征；

8、根據(jù)所述點(diǎn)云數(shù)據(jù)的融合特征以及預(yù)設(shè)的鳥(niǎo)瞰視角平面，確定所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)的目標(biāo)融合數(shù)據(jù)。

9、作為一種可選的實(shí)現(xiàn)方式，所述根據(jù)所述點(diǎn)云數(shù)據(jù)，確定多個(gè)目標(biāo)點(diǎn)云并生成所述多個(gè)目標(biāo)點(diǎn)云對(duì)應(yīng)的三維邊界框，包括：

10、對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行背景過(guò)濾處理，確定所述點(diǎn)云數(shù)據(jù)中的各點(diǎn)云所在的體素是否為背景體素；

11、若否，則通過(guò)鳥(niǎo)瞰視角的二維點(diǎn)云聚類(lèi)，將所述點(diǎn)云作為一個(gè)所述目標(biāo)點(diǎn)云，并生成所述目標(biāo)點(diǎn)云對(duì)應(yīng)的三維邊界框。

12、作為一種可選的實(shí)現(xiàn)方式，所述對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行背景過(guò)濾處理，確定所述點(diǎn)云數(shù)據(jù)中的各點(diǎn)云所在的體素是否為背景體素之前，還包括：

13、對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云檢測(cè)，確定所述點(diǎn)云數(shù)據(jù)中的靜態(tài)點(diǎn)云；

14、根據(jù)各所述靜態(tài)點(diǎn)云，構(gòu)建各所述背景體素。

15、作為一種可選的實(shí)現(xiàn)方式，所述根據(jù)所述三維邊界框以及所述全局圖像特征，確定所述多個(gè)目標(biāo)點(diǎn)云的感興趣區(qū)域，包括：

16、確定感興趣區(qū)域的掩膜圖像，所述掩膜圖像用于標(biāo)記所述感興趣區(qū)域；

17、將所述三維邊界框投影至所述掩膜圖像的二維平面上，確定所述多個(gè)目標(biāo)點(diǎn)云的感興趣區(qū)域。

18、作為一種可選的實(shí)現(xiàn)方式，所述提取所述感興趣區(qū)域的圖像特征，包括：

19、按照預(yù)設(shè)比例對(duì)所述多個(gè)目標(biāo)點(diǎn)云的感興趣區(qū)域進(jìn)行放大，得到所述多個(gè)目標(biāo)點(diǎn)云的放大后感興趣區(qū)域；

20、在所述全局圖像特征中保留所述放大后感興趣區(qū)域的圖像特征，并基于一個(gè)二維稀疏卷積提取所述放大后感興趣區(qū)域的圖像特征，得到所述感興趣區(qū)域的圖像特征。

21、作為一種可選的實(shí)現(xiàn)方式，所述根據(jù)所述感興趣區(qū)域的圖像特征以及所述目標(biāo)點(diǎn)云，確定所述點(diǎn)云數(shù)據(jù)的融合特征，包括：

22、基于預(yù)設(shè)的內(nèi)參矩陣和外參矩陣，將所述感興趣區(qū)域的圖像特征反投影至所述目標(biāo)點(diǎn)云的感興趣區(qū)域，確定所述多個(gè)目標(biāo)點(diǎn)云所在的體素中心與所述圖像數(shù)據(jù)的對(duì)應(yīng)關(guān)系；

23、根據(jù)所述多個(gè)目標(biāo)點(diǎn)云所在的體素中心與所述圖像數(shù)據(jù)的對(duì)應(yīng)關(guān)系，確定所述點(diǎn)云數(shù)據(jù)的融合特征。

24、作為一種可選的實(shí)現(xiàn)方式，所述根據(jù)所述點(diǎn)云數(shù)據(jù)的融合特征以及預(yù)設(shè)的鳥(niǎo)瞰視角平面，確定所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)的目標(biāo)融合數(shù)據(jù)，包括：

25、將所述點(diǎn)云數(shù)據(jù)的融合特征投影于所述預(yù)設(shè)的鳥(niǎo)瞰視角平面，基于多個(gè)稀疏卷積對(duì)所述鳥(niǎo)瞰視角平面上的融合特征進(jìn)行處理，得到二維鳥(niǎo)瞰視角平面的融合特征，將所述二維鳥(niǎo)瞰視角平面的融合特征作為所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)的目標(biāo)融合數(shù)據(jù)。

26、第二方面，本技術(shù)實(shí)施例提供一種數(shù)據(jù)融合裝置，所述裝置包括：

27、獲取模塊，用于獲取激光雷達(dá)傳感器采集的點(diǎn)云數(shù)據(jù)以及相機(jī)采集的圖像數(shù)據(jù)；

28、確定模塊，用于根據(jù)所述點(diǎn)云數(shù)據(jù)，確定多個(gè)目標(biāo)點(diǎn)云并生成所述多個(gè)目標(biāo)點(diǎn)云對(duì)應(yīng)的三維邊界框，根據(jù)所述圖像數(shù)據(jù)，提取所述圖像數(shù)據(jù)的全局圖像特征；其中，所述目標(biāo)點(diǎn)云為動(dòng)態(tài)點(diǎn)云；

29、所述確定模塊，還用于根據(jù)所述三維邊界框以及所述全局圖像特征，確定所述多個(gè)目標(biāo)點(diǎn)云的感興趣區(qū)域，并提取所述感興趣區(qū)域的圖像特征；

30、所述確定模塊，還用于根據(jù)所述感興趣區(qū)域的圖像特征以及所述目標(biāo)點(diǎn)云，確定所述點(diǎn)云數(shù)據(jù)的融合特征；

31、所述確定模塊，還用于根據(jù)所述點(diǎn)云數(shù)據(jù)的融合特征以及預(yù)設(shè)的鳥(niǎo)瞰視角平面，確定所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)的目標(biāo)融合數(shù)據(jù)。

32、作為一種可選的實(shí)現(xiàn)方式，所述確定模塊具體用于：

33、對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行背景過(guò)濾處理，確定所述點(diǎn)云數(shù)據(jù)中的各點(diǎn)云所在的體素是否為背景體素；

34、若否，則通過(guò)鳥(niǎo)瞰視角的二維點(diǎn)云聚類(lèi)，將所述點(diǎn)云作為一個(gè)所述目標(biāo)點(diǎn)云，并生成所述目標(biāo)點(diǎn)云對(duì)應(yīng)的三維邊界框。

35、作為一種可選的實(shí)現(xiàn)方式，所述確定模塊還用于：

36、對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云檢測(cè)，確定所述點(diǎn)云數(shù)據(jù)中的靜態(tài)點(diǎn)云；

37、根據(jù)各所述靜態(tài)點(diǎn)云，構(gòu)建各所述背景體素。

38、作為一種可選的實(shí)現(xiàn)方式，所述確定模塊具體用于：

39、確定感興趣區(qū)域的掩膜圖像，所述掩膜圖像用于標(biāo)記所述感興趣區(qū)域；

40、將所述三維邊界框投影至所述掩膜圖像的二維平面上，確定所述多個(gè)目標(biāo)點(diǎn)云的感興趣區(qū)域。

41、作為一種可選的實(shí)現(xiàn)方式，所述確定模塊具體用于：

42、按照預(yù)設(shè)比例對(duì)所述多個(gè)目標(biāo)點(diǎn)云的感興趣區(qū)域進(jìn)行放大，得到所述多個(gè)目標(biāo)點(diǎn)云的放大后感興趣區(qū)域；

43、在所述全局圖像特征中保留所述放大后感興趣區(qū)域的圖像特征，并基于一個(gè)二維稀疏卷積提取所述放大后感興趣區(qū)域的圖像特征，得到所述感興趣區(qū)域的圖像特征。

44、作為一種可選的實(shí)現(xiàn)方式，所述確定模塊具體用于：

45、基于預(yù)設(shè)的內(nèi)參矩陣和外參矩陣，將所述感興趣區(qū)域的圖像特征反投影至所述目標(biāo)點(diǎn)云的感興趣區(qū)域，確定所述多個(gè)目標(biāo)點(diǎn)云所在的體素中心與所述圖像數(shù)據(jù)的對(duì)應(yīng)關(guān)系；

46、根據(jù)所述多個(gè)目標(biāo)點(diǎn)云所在的體素中心與所述圖像數(shù)據(jù)的對(duì)應(yīng)關(guān)系，確定所述點(diǎn)云數(shù)據(jù)的融合特征。

47、作為一種可選的實(shí)現(xiàn)方式，所述確定模塊具體用于：

48、將所述點(diǎn)云數(shù)據(jù)的融合特征投影于所述預(yù)設(shè)的鳥(niǎo)瞰視角平面，基于多個(gè)稀疏卷積對(duì)所述鳥(niǎo)瞰視角平面上的融合特征進(jìn)行處理，得到二維鳥(niǎo)瞰視角平面的融合特征，將所述二維鳥(niǎo)瞰視角平面的融合特征作為所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)的目標(biāo)融合數(shù)據(jù)。

49、第三方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)設(shè)備，包括：處理器、存儲(chǔ)器和總線(xiàn)，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)所述計(jì)算機(jī)設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)器之間通過(guò)總線(xiàn)通信，所述處理器執(zhí)行所述機(jī)器可讀指令，執(zhí)行如上述第一方面所述的數(shù)據(jù)融合方法的步驟。

50、第四方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，執(zhí)行如上述第一方面所述的數(shù)據(jù)融合方法的步驟。

51、本技術(shù)的有益效果是：

52、本技術(shù)提供了一種數(shù)據(jù)融合方法、裝置、設(shè)備及介質(zhì)，在數(shù)據(jù)融合的前處理階段，從激光雷達(dá)傳感器采集的點(diǎn)云數(shù)據(jù)中篩選得到多個(gè)動(dòng)態(tài)的目標(biāo)點(diǎn)云，并生成多個(gè)動(dòng)態(tài)的目標(biāo)點(diǎn)云對(duì)應(yīng)的三維邊界框，從相機(jī)采集的圖像數(shù)據(jù)中提取得到圖像數(shù)據(jù)的全局圖像特征?；诟鲃?dòng)態(tài)的目標(biāo)點(diǎn)云對(duì)應(yīng)的三維邊界框以及圖像數(shù)據(jù)，投影得到各動(dòng)態(tài)的目標(biāo)點(diǎn)云的感興趣區(qū)域，以識(shí)別圖像數(shù)據(jù)中感興趣區(qū)域的局部特定對(duì)象和細(xì)節(jié)，并基于全局圖像特征和各動(dòng)態(tài)的目標(biāo)點(diǎn)云的感興趣區(qū)域，提取得到感興趣區(qū)域的圖像特征。根據(jù)感興趣區(qū)域的圖像特征和動(dòng)態(tài)的目標(biāo)點(diǎn)云，融合得到點(diǎn)云數(shù)據(jù)的融合特征，點(diǎn)云數(shù)據(jù)的融合特征為三維的融合特征，以準(zhǔn)備表征動(dòng)態(tài)的移動(dòng)對(duì)象。在數(shù)據(jù)融合的后處理階段，根據(jù)點(diǎn)云數(shù)據(jù)的融合特征和預(yù)設(shè)的鳥(niǎo)瞰視角平面，通過(guò)視角轉(zhuǎn)換將三維空間的點(diǎn)云數(shù)據(jù)的融合特征轉(zhuǎn)換到二維鳥(niǎo)瞰圖場(chǎng)景下，并基于點(diǎn)云數(shù)據(jù)的融合特征提取更復(fù)雜的特征，得到點(diǎn)云數(shù)據(jù)與圖像數(shù)據(jù)的目標(biāo)融合數(shù)據(jù)。點(diǎn)云數(shù)據(jù)的融合特征為動(dòng)態(tài)的目標(biāo)點(diǎn)云的融合特征，使得網(wǎng)絡(luò)的裁剪空間變大，通過(guò)減少網(wǎng)絡(luò)深度或尺寸提高了融合效率，進(jìn)而提高了動(dòng)態(tài)目標(biāo)檢測(cè)的檢測(cè)效率和檢測(cè)精度。