本發(fā)明涉及自動(dòng)駕駛感知，特別涉及一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法及裝置。

背景技術(shù)：

1、在自動(dòng)駕駛感知領(lǐng)域，3d目標(biāo)檢測(cè)技術(shù)是實(shí)現(xiàn)車(chē)輛對(duì)周?chē)h(huán)境精確感知的關(guān)鍵。然而，在3d目標(biāo)檢測(cè)過(guò)程中，面對(duì)復(fù)雜的交通場(chǎng)景，由于傳感器視野受限，導(dǎo)致目標(biāo)被遮擋，從而影響3d目標(biāo)檢測(cè)的準(zhǔn)確性和可靠性。

2、相關(guān)技術(shù)中，通過(guò)車(chē)路協(xié)同檢測(cè)方法來(lái)解決目標(biāo)被遮擋問(wèn)題，通過(guò)車(chē)與車(chē)、車(chē)與路之間的信息交互，有效解決單車(chē)感知受限問(wèn)題。但是車(chē)路協(xié)同在實(shí)現(xiàn)過(guò)程中需要處理融合的數(shù)據(jù)量非常大，無(wú)法保證目標(biāo)檢測(cè)結(jié)果的實(shí)時(shí)性和準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法及裝置。技術(shù)方案如下：

2、一方面，提供了一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法，所述服務(wù)端用于對(duì)服務(wù)區(qū)域內(nèi)的三維體素特征進(jìn)行維護(hù)，所述方法包括：

3、獲取多個(gè)監(jiān)控點(diǎn)當(dāng)前時(shí)刻發(fā)來(lái)的對(duì)應(yīng)監(jiān)控區(qū)域的監(jiān)控?cái)?shù)據(jù)；所述監(jiān)控點(diǎn)包括車(chē)輛和路側(cè)設(shè)施，且所述監(jiān)控點(diǎn)位于服務(wù)區(qū)域內(nèi)或服務(wù)區(qū)域的邊緣區(qū)域內(nèi)；所述監(jiān)控?cái)?shù)據(jù)包括激光雷達(dá)點(diǎn)云數(shù)據(jù)和多視角二維圖像數(shù)據(jù)；

4、將多個(gè)監(jiān)控點(diǎn)對(duì)應(yīng)的監(jiān)控?cái)?shù)據(jù)按照區(qū)域位置進(jìn)行特征融合，得到多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域在當(dāng)前時(shí)刻的融合特征；所述多個(gè)監(jiān)控區(qū)域與多個(gè)監(jiān)控點(diǎn)一一對(duì)應(yīng)；

5、確定多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域與所述服務(wù)區(qū)域的交集區(qū)域，并將該交集區(qū)域在當(dāng)前時(shí)刻的融合特征與該交集區(qū)域內(nèi)上一時(shí)刻的維護(hù)特征進(jìn)行特征融合，得到服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征；

6、利用所述服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征向目標(biāo)車(chē)輛進(jìn)行特征反饋，以使所述目標(biāo)車(chē)輛利用反饋特征進(jìn)行3d目標(biāo)檢測(cè)。

7、另一方面，提供了一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法，應(yīng)用于車(chē)輛端，所述方法包括：

8、獲取監(jiān)控區(qū)域內(nèi)當(dāng)前時(shí)刻的監(jiān)控?cái)?shù)據(jù)，并將當(dāng)前時(shí)刻的監(jiān)控?cái)?shù)據(jù)發(fā)送至服務(wù)端，以使所述服務(wù)端利用上述任一所述的融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法進(jìn)行特征反饋；所述監(jiān)控區(qū)域與所述服務(wù)端的服務(wù)區(qū)域存在重疊區(qū)域；所述監(jiān)控?cái)?shù)據(jù)包括激光雷達(dá)點(diǎn)云數(shù)據(jù)和多視角二維圖像數(shù)據(jù)；

9、接收所述服務(wù)端發(fā)送的反饋特征，并利用該反饋特征進(jìn)行3d目標(biāo)檢測(cè)。

10、另一方面，提供了一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)裝置，應(yīng)用于服務(wù)端，所述服務(wù)端用于對(duì)服務(wù)區(qū)域內(nèi)的三維體素特征進(jìn)行維護(hù)，所述裝置包括：

11、獲取單元，用于獲取多個(gè)監(jiān)控點(diǎn)當(dāng)前時(shí)刻發(fā)來(lái)的對(duì)應(yīng)監(jiān)控區(qū)域的監(jiān)控?cái)?shù)據(jù)；所述監(jiān)控點(diǎn)包括車(chē)輛和路側(cè)設(shè)施，且所述監(jiān)控點(diǎn)位于服務(wù)區(qū)域內(nèi)或服務(wù)區(qū)域的邊緣區(qū)域內(nèi)；所述監(jiān)控?cái)?shù)據(jù)包括激光雷達(dá)點(diǎn)云數(shù)據(jù)和多視角二維圖像數(shù)據(jù)；

12、第一融合單元，用于將多個(gè)監(jiān)控點(diǎn)對(duì)應(yīng)的監(jiān)控?cái)?shù)據(jù)按照區(qū)域位置進(jìn)行特征融合，得到多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域在當(dāng)前時(shí)刻的融合特征；所述多個(gè)監(jiān)控區(qū)域與多個(gè)監(jiān)控點(diǎn)一一對(duì)應(yīng)；

13、第二融合單元，用于確定多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域與所述服務(wù)區(qū)域的交集區(qū)域，并將該交集區(qū)域在當(dāng)前時(shí)刻的融合特征與該交集區(qū)域內(nèi)上一時(shí)刻的維護(hù)特征進(jìn)行特征融合，得到服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征；

14、反饋單元，用于利用所述服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征向目標(biāo)車(chē)輛進(jìn)行特征反饋，以使所述目標(biāo)車(chē)輛利用反饋特征進(jìn)行3d目標(biāo)檢測(cè)。

15、另一方面，提供了一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)裝置，應(yīng)用于車(chē)輛端，所述裝置包括：

16、監(jiān)控單元，用于獲取監(jiān)控區(qū)域內(nèi)當(dāng)前時(shí)刻的監(jiān)控?cái)?shù)據(jù)，并將當(dāng)前時(shí)刻的監(jiān)控?cái)?shù)據(jù)發(fā)送至服務(wù)端，以使所述服務(wù)端利用上述任一所述的融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法進(jìn)行特征反饋；所述監(jiān)控區(qū)域與所述服務(wù)端的服務(wù)區(qū)域存在重疊區(qū)域；所述監(jiān)控?cái)?shù)據(jù)包括激光雷達(dá)點(diǎn)云數(shù)據(jù)和多視角二維圖像數(shù)據(jù)；

17、檢測(cè)單元，用于接收所述服務(wù)端發(fā)送的反饋特征，并利用該反饋特征進(jìn)行3d目標(biāo)檢測(cè)。

18、另一方面，提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器用于存放計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述存儲(chǔ)器上所存放的計(jì)算機(jī)程序，以實(shí)現(xiàn)上述所述的融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法的步驟。

19、另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述所述融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法的步驟。

20、本發(fā)明提供的技術(shù)方案至少可以帶來(lái)以下有益效果：

21、由服務(wù)端對(duì)一個(gè)服務(wù)區(qū)域內(nèi)的特征進(jìn)行維護(hù)，位于該服務(wù)區(qū)域內(nèi)或服務(wù)區(qū)域的邊緣區(qū)域內(nèi)的車(chē)輛和路側(cè)設(shè)施作為監(jiān)控點(diǎn)，實(shí)時(shí)將其監(jiān)控區(qū)域內(nèi)的監(jiān)控?cái)?shù)據(jù)發(fā)送給服務(wù)端，由計(jì)算能力強(qiáng)和處理效率高的服務(wù)端將多個(gè)監(jiān)控點(diǎn)所對(duì)應(yīng)監(jiān)控?cái)?shù)據(jù)進(jìn)行特征融合，由此能夠得到多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域在當(dāng)前時(shí)刻的融合特征，通過(guò)確定并集區(qū)域和服務(wù)區(qū)域的交集區(qū)域，并將交集區(qū)域在當(dāng)前時(shí)刻的融合特征與上一時(shí)刻的維護(hù)特征進(jìn)行特征融合，從而可以得到服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征，其中該維護(hù)特征為三維體素特征。可見(jiàn)，由服務(wù)端對(duì)一個(gè)服務(wù)區(qū)域內(nèi)的三維體素特征進(jìn)行維護(hù)，能夠?yàn)榉?wù)區(qū)域內(nèi)的多個(gè)車(chē)輛提供該服務(wù)區(qū)域內(nèi)所需的維護(hù)特征，能夠保證多個(gè)車(chē)輛在進(jìn)行3d目標(biāo)檢測(cè)時(shí)的實(shí)時(shí)性；并且通過(guò)將當(dāng)前時(shí)刻的融合特征與上一時(shí)刻的維護(hù)特征進(jìn)行特征融合，能夠保持時(shí)序性特征，從而可以提高3d目標(biāo)檢測(cè)結(jié)果的準(zhǔn)確性。

技術(shù)特征：

1.一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法，其特征在于，應(yīng)用于服務(wù)端，所述服務(wù)端用于對(duì)服務(wù)區(qū)域內(nèi)的三維體素特征進(jìn)行維護(hù)，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將多個(gè)監(jiān)控點(diǎn)對(duì)應(yīng)的監(jiān)控?cái)?shù)據(jù)按照區(qū)域位置進(jìn)行特征融合，得到多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域在當(dāng)前時(shí)刻的融合特征，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述按照區(qū)域位置進(jìn)行特征融合，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將該交集區(qū)域在當(dāng)前時(shí)刻的融合特征與該交集區(qū)域內(nèi)上一時(shí)刻的維護(hù)特征進(jìn)行特征融合，得到服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征，包括：

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述按照自注意力機(jī)制進(jìn)行特征融合，包括：

6.一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)方法，其特征在于，應(yīng)用于車(chē)輛端，所述方法包括：

7.一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)裝置，其特征在于，應(yīng)用于服務(wù)端，所述服務(wù)端用于對(duì)服務(wù)區(qū)域內(nèi)的三維體素特征進(jìn)行維護(hù)，所述裝置包括：

8.一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3d目標(biāo)檢測(cè)裝置，其特征在于，應(yīng)用于車(chē)輛端，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器用于存放計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述存儲(chǔ)器上所存放的計(jì)算機(jī)程序，以實(shí)現(xiàn)上述權(quán)利要求1-6任一所述方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6任一所述的方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種融合路側(cè)信息的車(chē)路網(wǎng)聯(lián)3D目標(biāo)檢測(cè)方法及裝置，屬于自動(dòng)駕駛感知技術(shù)領(lǐng)域。方法包括：獲取多個(gè)監(jiān)控點(diǎn)當(dāng)前時(shí)刻發(fā)來(lái)的對(duì)應(yīng)監(jiān)控區(qū)域的監(jiān)控?cái)?shù)據(jù)；將多個(gè)監(jiān)控點(diǎn)對(duì)應(yīng)的監(jiān)控?cái)?shù)據(jù)按照區(qū)域位置進(jìn)行特征融合，得到多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域在當(dāng)前時(shí)刻的融合特征；確定多個(gè)監(jiān)控區(qū)域所對(duì)應(yīng)并集區(qū)域與所述服務(wù)區(qū)域的交集區(qū)域，并將該交集區(qū)域在當(dāng)前時(shí)刻的融合特征與該交集區(qū)域內(nèi)上一時(shí)刻的維護(hù)特征進(jìn)行特征融合，得到服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征；利用服務(wù)區(qū)域內(nèi)當(dāng)前時(shí)刻的維護(hù)特征向目標(biāo)車(chē)輛進(jìn)行特征反饋，以使目標(biāo)車(chē)輛利用反饋特征進(jìn)行3D目標(biāo)檢測(cè)。本發(fā)明能夠保證車(chē)輛在進(jìn)行3D目標(biāo)檢測(cè)時(shí)的實(shí)時(shí)性以及提高3D目標(biāo)檢測(cè)結(jié)果的準(zhǔn)確性。

技術(shù)研發(fā)人員：弭瓔娜,崔志勇,李?？?林鵬飛,張?zhí)鞓?lè),鐔昊,劉航奇,李傲杰,任毅龍,于海洋
受保護(hù)的技術(shù)使用者：北京工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9