本發(fā)明涉及自動駕駛，特別涉及一種基于融合模態(tài)的目標(biāo)檢測方法、裝置、計算機(jī)設(shè)備及介質(zhì)。

背景技術(shù)：

1、自動駕駛汽車指主要依靠人工智能、視覺計算、雷達(dá)、gps定位以及結(jié)構(gòu)化道路車路協(xié)同等技術(shù)，使汽車具有環(huán)境感知，路徑規(guī)劃和自主控制的能力，從而可讓嵌入式邊緣計算終端自動操作的機(jī)動車輛。從2020年開始，行業(yè)內(nèi)已經(jīng)開始普及l(fā)2、l3級別自動駕駛的概念。2021年是自動駕駛技術(shù)發(fā)展的非常重要的節(jié)點(diǎn)，不少業(yè)內(nèi)人士將2021年作為自動駕駛技術(shù)進(jìn)入l3級別的元年。有別于傳統(tǒng)的駕駛車輛的是，自動駕駛車輛非常核心的特點(diǎn)就是ai技術(shù)的應(yīng)用及主導(dǎo)，其駕駛過程也是計算機(jī)通過不間斷的收集行駛過程中的各類信息，通過機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的方式進(jìn)行信息分析和自我學(xué)習(xí)而后操控車輛，從而達(dá)到計算機(jī)自動駕駛車輛的系統(tǒng)工程。而對于自動駕駛車輛來說，所追求的是在任何路況，任何環(huán)境下都要安全行駛并及時對極端情況反應(yīng)，保障駕駛者的人生安全和車輛安全以及道路參與者的安全。

2、目前自動駕駛領(lǐng)域是深度學(xué)習(xí)算法實現(xiàn)部署及落地的一個重要領(lǐng)域，自動駕駛算法也處在快速更新迭代的過程，不僅有各式新穎的算法在目標(biāo)檢測，車道線識別，目標(biāo)跟蹤，語義分割，動態(tài)目標(biāo)軌跡預(yù)測，多任務(wù)學(xué)習(xí)等領(lǐng)域不斷被提出。自動駕駛算法技術(shù)框架核心分為環(huán)境感知、決策規(guī)劃、控制執(zhí)行三部分，其中環(huán)境感知部分將傳感器數(shù)據(jù)轉(zhuǎn)換成車輛所處場景的機(jī)器語言，具體可以包括：物體檢測、識別跟蹤、環(huán)境建模、運(yùn)動估計等。近年來隨著高階輔助駕駛方案越來越被市場接收，對于自動駕駛感知算法的要求也越來越高，bev(b?i?rd?eye?vi?ew，鳥瞰視圖)感知受到了廣泛的關(guān)注。bev感知范式主要提供了一個統(tǒng)一的空間，方便各項任務(wù)、傳感器的融合。bev感知系統(tǒng)可以將多個攝像頭或雷達(dá)得到的信息轉(zhuǎn)換至鳥瞰視角，再做目標(biāo)檢測、實例分割等任務(wù)，能更直觀地顯示出bev空間中的物體大小和方向。目前學(xué)術(shù)界提出的3d檢測模型(bev模型)精度需要進(jìn)一步提高模型的檢測精度，對小目標(biāo)、少樣本目標(biāo)回歸精度不高。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明實施例提供了一種基于融合模態(tài)的目標(biāo)檢測方法，以解決現(xiàn)有技術(shù)中數(shù)據(jù)集樣本失衡、視覺模態(tài)和點(diǎn)云模態(tài)存在對齊的技術(shù)問題。該方法包括：

2、獲取自采的視覺數(shù)據(jù)和第一點(diǎn)云數(shù)據(jù)；

3、在開源數(shù)據(jù)集中提取與所述第一點(diǎn)云數(shù)據(jù)中的類別相對應(yīng)的第二點(diǎn)云數(shù)據(jù)；

4、將所述第一點(diǎn)云數(shù)據(jù)與所述第二點(diǎn)云數(shù)據(jù)進(jìn)行整合，獲得第三點(diǎn)云數(shù)據(jù)；

5、將所述視覺數(shù)據(jù)和所述第三點(diǎn)云數(shù)據(jù)分別進(jìn)行特征提取，獲得視覺模態(tài)bev特征和點(diǎn)云模態(tài)bev特征；

6、基于所述視覺模態(tài)bev特征和所述點(diǎn)云模態(tài)bev特征，獲得模態(tài)偏移矩陣；

7、基于所述模態(tài)偏移矩陣對所述視覺模態(tài)bev特征和所述點(diǎn)云模態(tài)bev特征進(jìn)行特征融合，獲得融合特征；

8、基于所述融合特征進(jìn)行目標(biāo)檢測。

9、本發(fā)明實施例還提供了一種基于融合模態(tài)的目標(biāo)檢測裝置，以解決現(xiàn)有技術(shù)中數(shù)據(jù)集樣本失衡、視覺模態(tài)和點(diǎn)云模態(tài)存在對齊的技術(shù)問題。該裝置包括：

10、數(shù)據(jù)獲取模塊，用于獲取自采的視覺數(shù)據(jù)和第一點(diǎn)云數(shù)據(jù)；

11、數(shù)據(jù)提取模塊，用于在開源數(shù)據(jù)集中提取與所述第一點(diǎn)云數(shù)據(jù)中的類別相對應(yīng)的第二點(diǎn)云數(shù)據(jù)；

12、整合模塊，用于將所述第一點(diǎn)云數(shù)據(jù)與所述第二點(diǎn)云數(shù)據(jù)進(jìn)行整合，獲得第三點(diǎn)云數(shù)據(jù)；

13、特征提取模塊，用于將所述視覺數(shù)據(jù)和所述第三點(diǎn)云數(shù)據(jù)分別進(jìn)行特征提取，獲得視覺模態(tài)bev特征和點(diǎn)云模態(tài)bev特征；

14、模態(tài)偏移矩陣獲取模塊，用于基于所述視覺模態(tài)bev特征和所述點(diǎn)云模態(tài)bev特征，獲得模態(tài)偏移矩陣；

15、特征融合模塊，用于基于所述模態(tài)偏移矩陣對所述視覺模態(tài)bev特征和所述點(diǎn)云模態(tài)bev特征進(jìn)行特征融合，獲得融合特征；

16、目標(biāo)檢測模塊，用于基于所述融合特征進(jìn)行目標(biāo)檢測。

17、本發(fā)明實施例還提供了一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)上述任意的基于融合模態(tài)的目標(biāo)檢測方法，以解決現(xiàn)有技術(shù)中數(shù)據(jù)集樣本失衡、視覺模態(tài)和點(diǎn)云模態(tài)存在對齊的技術(shù)問題。

18、本發(fā)明實施例還提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行上述任意的基于融合模態(tài)的目標(biāo)檢測方法的計算機(jī)程序，以解決現(xiàn)有技術(shù)中數(shù)據(jù)集樣本失衡、視覺模態(tài)和點(diǎn)云模態(tài)存在對齊的技術(shù)問題。

19、與現(xiàn)有技術(shù)相比，本說明書實施例采用的上述至少一個技術(shù)方案能夠達(dá)到的有益效果至少包括：獲取自采的視覺數(shù)據(jù)和第一點(diǎn)云數(shù)據(jù)；在開源數(shù)據(jù)集中提取與第一點(diǎn)云數(shù)據(jù)中的類別相對應(yīng)的第二點(diǎn)云數(shù)據(jù)；將第一點(diǎn)云數(shù)據(jù)與第二點(diǎn)云數(shù)據(jù)進(jìn)行整合，獲得第三點(diǎn)云數(shù)據(jù)；將視覺數(shù)據(jù)和第三點(diǎn)云數(shù)據(jù)分別進(jìn)行特征提取，獲得視覺模態(tài)bev特征和點(diǎn)云模態(tài)bev特征；基于視覺模態(tài)bev特征和點(diǎn)云模態(tài)bev特征，獲得模態(tài)偏移矩陣；基于模態(tài)偏移矩陣對視覺模態(tài)bev特征和點(diǎn)云模態(tài)bev特征進(jìn)行特征融合，獲得融合特征；基于融合特征進(jìn)行目標(biāo)檢測。本申請通過在自采數(shù)據(jù)集中加入開源數(shù)據(jù)集，一方面能夠解決多個數(shù)據(jù)集之間的各種差異導(dǎo)致的負(fù)收益問題，另一方面能很好的解決自采數(shù)據(jù)集樣本失衡的問題；通過視覺模態(tài)和點(diǎn)云模態(tài)的bev空間特征當(dāng)做輸入預(yù)測兩者的模態(tài)偏移矩陣，然后根據(jù)生成的模態(tài)偏移矩陣進(jìn)行兩個模態(tài)的特征融合，可使模態(tài)更加對齊，提高目標(biāo)檢測算法精度。

技術(shù)特征：

1.一種基于融合模態(tài)的目標(biāo)檢測方法，其特征在于，包括：

2.如權(quán)利要求1所述的基于融合模態(tài)的目標(biāo)檢測方法，其特征在于，所述將所述第一點(diǎn)云數(shù)據(jù)與所述第二點(diǎn)云數(shù)據(jù)進(jìn)行整合，獲得第三點(diǎn)云數(shù)據(jù)，包括：

3.如權(quán)利要求2所述的基于融合模態(tài)的目標(biāo)檢測方法，其特征在于，所述對所述第二點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云強(qiáng)度增強(qiáng)，包括：

4.如權(quán)利要求1所述的基于融合模態(tài)的目標(biāo)檢測方法，其特征在于，所述將所述視覺數(shù)據(jù)和所述第三點(diǎn)云數(shù)據(jù)分別進(jìn)行特征提取，獲得視覺模態(tài)bev特征和點(diǎn)云模態(tài)bev特征，包括：

5.如權(quán)利要求1所述的基于融合模態(tài)的目標(biāo)檢測方法，其特征在于，所述基于所述視覺模態(tài)bev特征和所述點(diǎn)云模態(tài)bev特征，獲得模態(tài)偏移矩陣，包括：

6.如權(quán)利要求5所述的基于融合模態(tài)的目標(biāo)檢測方法，其特征在于，所述基于所述模態(tài)偏移矩陣對所述視覺模態(tài)bev特征和所述點(diǎn)云模態(tài)bev特征進(jìn)行特征融合，獲得融合特征，包括：

7.如權(quán)利要求1所述的基于融合模態(tài)的目標(biāo)檢測方法，其特征在于，所述將所述第一點(diǎn)云數(shù)據(jù)與所述第二點(diǎn)云數(shù)據(jù)進(jìn)行整合，獲得第三點(diǎn)云數(shù)據(jù)，包括：

8.一種基于融合模態(tài)的目標(biāo)檢測裝置，其特征在于，包括：

9.一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)權(quán)利要求1至7中任一項所述的基于融合模態(tài)的目標(biāo)檢測方法。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行權(quán)利要求1至7中任一項所述的基于融合模態(tài)的目標(biāo)檢測方法的計算機(jī)程序。

技術(shù)總結(jié)
本發(fā)明實施例提供了一種基于融合模態(tài)的目標(biāo)檢測方法、裝置、計算機(jī)設(shè)備及介質(zhì)，涉及自動駕駛技術(shù)領(lǐng)域，包括獲取自采的視覺數(shù)據(jù)和第一點(diǎn)云數(shù)據(jù)；在開源數(shù)據(jù)集中提取與第一點(diǎn)云數(shù)據(jù)中的類別相對應(yīng)的第二點(diǎn)云數(shù)據(jù)；將第一點(diǎn)云數(shù)據(jù)與第二點(diǎn)云數(shù)據(jù)進(jìn)行整合，獲得第三點(diǎn)云數(shù)據(jù)；將視覺數(shù)據(jù)和第三點(diǎn)云數(shù)據(jù)分別進(jìn)行特征提取，獲得視覺模態(tài)BEV特征和點(diǎn)云模態(tài)BEV特征；基于視覺模態(tài)BEV特征和點(diǎn)云模態(tài)BEV特征，獲得模態(tài)偏移矩陣；基于模態(tài)偏移矩陣對視覺模態(tài)BEV特征和點(diǎn)云模態(tài)BEV特征進(jìn)行特征融合，獲得融合特征；基于融合特征進(jìn)行目標(biāo)檢測。本申請解決了自采數(shù)據(jù)集樣本失衡問題，提高了目標(biāo)檢測方法的魯棒性和精度。

技術(shù)研發(fā)人員：程建偉,李章洪,王汝卓,王雅儒,趙文博
受保護(hù)的技術(shù)使用者：武漢極目智能技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6