本技術(shù)涉及自動(dòng)駕駛感知，尤其涉及一種基于路測(cè)多相機(jī)的融合感知方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、基于傳感器檢測(cè)感知是車(chē)路協(xié)同的核心信息源，決定著車(chē)路協(xié)同系統(tǒng)交通流量統(tǒng)計(jì)、路徑規(guī)劃、交通態(tài)勢(shì)識(shí)別等功能的應(yīng)用效果?；谙鄼C(jī)的視覺(jué)感知以其成本低、信息密度高，在智能駕駛廣泛使用。

2、目前多相機(jī)感知框架以后融合為主，利用卷積神經(jīng)網(wǎng)絡(luò)輸出多維特征完成單相機(jī)的感知檢測(cè)后，將多個(gè)相機(jī)的檢出對(duì)象進(jìn)行關(guān)聯(lián)，基于關(guān)聯(lián)結(jié)果輸出全局感知結(jié)果。

3、然而，上述方法在融合中的對(duì)象檢測(cè)，限制了感知精度的提高，降低了融合感知精度，產(chǎn)生失敗的關(guān)聯(lián)和去重，進(jìn)一步降低感知的性能。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種基于路測(cè)多相機(jī)的融合感知方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中多相機(jī)感知融合性能差、精度低的問(wèn)題。

2、第一方面，本技術(shù)提供一種基于路測(cè)多相機(jī)的融合感知方法，包括：

3、基于預(yù)先構(gòu)建的編碼器，對(duì)多個(gè)待處理圖像進(jìn)行處理，生成編碼器輸出結(jié)果，所述編碼器是基于多個(gè)圖像進(jìn)行自監(jiān)督學(xué)習(xí)訓(xùn)練得到的；

4、基于所述編碼器對(duì)應(yīng)的解碼器和預(yù)先設(shè)定的查詢向量集合，對(duì)所述編碼器輸出結(jié)果進(jìn)行特征匯聚，生成解碼器輸出結(jié)果；

5、對(duì)所述解碼器輸出結(jié)果進(jìn)行感知提取，得到感知結(jié)果，所述感知結(jié)果包括至少一個(gè)交通對(duì)象對(duì)應(yīng)的參數(shù)，所述參數(shù)包括類別、位置、航向和標(biāo)識(shí)。

6、結(jié)合第一方面，在一些實(shí)施例中，所述基于所述編碼器對(duì)應(yīng)的解碼器和預(yù)先設(shè)定的查詢向量集合，對(duì)所述編碼器輸出結(jié)果進(jìn)行特征匯聚，生成解碼器輸出結(jié)果，包括：

7、對(duì)所述查詢向量集合進(jìn)行解碼器自相關(guān)特征匯聚，得到處理后的查詢向量集合，所述查詢向量集合包括多個(gè)查詢向量，每個(gè)查詢向量表示相機(jī)視野內(nèi)的特定位置；

8、基于所述處理后的查詢向量集合，對(duì)所述編碼器輸出結(jié)果進(jìn)行互相關(guān)特征匯聚，生成所述解碼器輸出結(jié)果。

9、結(jié)合第一方面，在一些實(shí)施例中，所述基于所述處理后的查詢向量集合，對(duì)所述編碼器輸出結(jié)果進(jìn)行解碼器互相關(guān)特征匯聚，生成所述解碼器輸出結(jié)果，包括：

10、針對(duì)于每個(gè)待處理圖像，基于所述待處理圖像對(duì)應(yīng)相機(jī)的內(nèi)外參數(shù)，確定所述處理后的查詢向量集合中每個(gè)查詢向量在所述待處理圖像中的參考點(diǎn)；

11、根據(jù)所有參考點(diǎn)和所述編碼器輸出結(jié)果，通過(guò)預(yù)設(shè)的互相關(guān)公式對(duì)每個(gè)待處理圖像中的圖像特征進(jìn)行聚合提取，得到所述解碼器輸出結(jié)果。

12、結(jié)合第一方面，在一些實(shí)施例中，所述基于所述待處理圖像對(duì)應(yīng)相機(jī)的內(nèi)外參數(shù)，確定所述處理后的查詢向量集合中每個(gè)查詢向量在所述待處理圖像中的參考點(diǎn)，包括：

13、針對(duì)于每個(gè)待處理圖像，根據(jù)所述待處理圖像對(duì)應(yīng)相機(jī)的內(nèi)外參數(shù)，構(gòu)建所述相機(jī)的位姿投影矩陣；

14、根據(jù)所述位姿投影矩陣和每個(gè)查詢向量計(jì)算得到每個(gè)查詢向量在所述待處理圖像中的參考點(diǎn)。

15、結(jié)合第一方面，在一些實(shí)施例中，所述基于預(yù)先構(gòu)建的編碼器，對(duì)多個(gè)待處理圖像進(jìn)行處理，生成編碼器輸出結(jié)果，包括：

16、針對(duì)于每個(gè)待處理圖像，對(duì)所述待處理圖像進(jìn)行區(qū)塊劃分預(yù)處理，得到所述待處理圖像對(duì)應(yīng)的多個(gè)圖像塊序列；

17、針對(duì)于每個(gè)圖像塊序列，通過(guò)預(yù)設(shè)的自相關(guān)公式對(duì)所述圖像塊序列進(jìn)行編碼器自相關(guān)特征匯聚，得到所述圖像塊序列對(duì)應(yīng)的特征向量；

18、將所有的圖像塊序列對(duì)應(yīng)的特征向量匯總，得到所述編碼器輸出結(jié)果。

19、結(jié)合第一方面，在一些實(shí)施例中，所述對(duì)所述待處理圖像進(jìn)行區(qū)塊劃分預(yù)處理，得到所述待處理圖像對(duì)應(yīng)的多個(gè)圖像塊序列，包括：

20、針對(duì)于每個(gè)待處理圖像，將所述待處理圖像進(jìn)行區(qū)塊劃分，得到所述待處理圖像對(duì)應(yīng)的多個(gè)圖像塊；

21、對(duì)所述待處理圖像對(duì)應(yīng)的每個(gè)圖像塊進(jìn)行嵌入編碼并疊加位置編碼，得到所述待處理圖像對(duì)應(yīng)的多個(gè)圖像塊序列。

22、結(jié)合第一方面，在一些實(shí)施例中，所述方法還包括：

23、將每個(gè)待處理圖像對(duì)應(yīng)相機(jī)的視野范圍對(duì)應(yīng)的并集進(jìn)行網(wǎng)格劃分；

24、根據(jù)網(wǎng)格劃分后每個(gè)網(wǎng)格的坐標(biāo)，確定每個(gè)網(wǎng)格對(duì)應(yīng)的查詢向量；

25、將所有的查詢向量匯總，得到所述查詢向量集合。

26、第二方面，本技術(shù)提供一種基于路測(cè)多相機(jī)的融合感知裝置，包括：

27、編碼模塊，用于基于預(yù)先構(gòu)建的編碼器，對(duì)多個(gè)待處理圖像進(jìn)行處理，生成編碼器輸出結(jié)果，所述編碼器是基于多個(gè)圖像進(jìn)行自監(jiān)督學(xué)習(xí)訓(xùn)練得到的；

28、解碼模塊，用于基于所述編碼器對(duì)應(yīng)的解碼器和預(yù)先設(shè)定的查詢向量集合，對(duì)所述編碼器輸出結(jié)果進(jìn)行特征匯聚，生成解碼器輸出結(jié)果；

29、感知模塊，用于對(duì)所述解碼器輸出結(jié)果進(jìn)行感知提取，得到感知結(jié)果，所述感知結(jié)果包括至少一個(gè)交通對(duì)象對(duì)應(yīng)的參數(shù)，所述參數(shù)包括類別、位置、航向和標(biāo)識(shí)。

30、結(jié)合第二方面，在一些實(shí)施例中，所述解碼模塊，包括：

31、第一匯聚單元，用于對(duì)所述查詢向量集合進(jìn)行解碼器自相關(guān)特征匯聚，得到處理后的查詢向量集合，所述查詢向量集合包括多個(gè)查詢向量，每個(gè)查詢向量表示相機(jī)視野內(nèi)的特定位置；

32、第二匯聚單元，用于基于所述處理后的查詢向量集合，對(duì)所述編碼器輸出結(jié)果進(jìn)行互相關(guān)特征匯聚，生成所述解碼器輸出結(jié)果。

33、結(jié)合第二方面，在一些實(shí)施例中，所述第二匯聚單元，包括：

34、確定子單元，用于針對(duì)于每個(gè)待處理圖像，基于所述待處理圖像對(duì)應(yīng)相機(jī)的內(nèi)外參數(shù)，確定所述處理后的查詢向量集合中每個(gè)查詢向量在所述待處理圖像中的參考點(diǎn)；

35、匯聚子單元，用于根據(jù)所有參考點(diǎn)和所述編碼器輸出結(jié)果，通過(guò)預(yù)設(shè)的互相關(guān)公式對(duì)每個(gè)待處理圖像中的圖像特征進(jìn)行聚合提取，得到所述解碼器輸出結(jié)果。

36、結(jié)合第二方面，在一些實(shí)施例中，所述確定子單元，具體用于：

37、針對(duì)于每個(gè)待處理圖像，根據(jù)所述待處理圖像對(duì)應(yīng)相機(jī)的內(nèi)外參數(shù)，構(gòu)建所述相機(jī)的位姿投影矩陣；

38、根據(jù)所述位姿投影矩陣和每個(gè)查詢向量計(jì)算得到每個(gè)查詢向量在所述待處理圖像中的參考點(diǎn)。

39、結(jié)合第二方面，在一些實(shí)施例中，所述編碼模塊，包括：

40、預(yù)處理單元，用于針對(duì)于每個(gè)待處理圖像，對(duì)所述待處理圖像進(jìn)行區(qū)塊劃分預(yù)處理，得到所述待處理圖像對(duì)應(yīng)的多個(gè)圖像塊序列；

41、匯聚單元，用于針對(duì)于每個(gè)圖像塊序列，通過(guò)預(yù)設(shè)的自相關(guān)公式對(duì)所述圖像塊序列進(jìn)行編碼器自相關(guān)特征匯聚，得到所述圖像塊序列對(duì)應(yīng)的特征向量；

42、匯總單元，用于將所有的圖像塊序列對(duì)應(yīng)的特征向量匯總，得到所述編碼器輸出結(jié)果。

43、結(jié)合第二方面，在一些實(shí)施例中，所述預(yù)處理單元，包括：

44、劃分子單元，用于針對(duì)于每個(gè)待處理圖像，將所述待處理圖像進(jìn)行區(qū)塊劃分，得到所述待處理圖像對(duì)應(yīng)的多個(gè)圖像塊；

45、編碼子單元，用于對(duì)所述待處理圖像對(duì)應(yīng)的每個(gè)圖像塊進(jìn)行嵌入編碼并疊加位置編碼，得到所述待處理圖像對(duì)應(yīng)的多個(gè)圖像塊序列。

46、結(jié)合第二方面，在一些實(shí)施例中，所述裝置還包括：

47、劃分模塊，用于將每個(gè)待處理圖像對(duì)應(yīng)相機(jī)的視野范圍對(duì)應(yīng)的并集進(jìn)行網(wǎng)格劃分；

48、確定模塊，用戶根據(jù)網(wǎng)格劃分后每個(gè)網(wǎng)格的坐標(biāo)，確定每個(gè)網(wǎng)格對(duì)應(yīng)的查詢向量；

49、匯總模塊，用于將所有的查詢向量匯總，得到所述查詢向量集合。

50、第三方面，本技術(shù)提供一種電子設(shè)備，包括：處理器，以及與所述處理器通信連接的存儲(chǔ)器；

51、所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；

52、所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令，以實(shí)現(xiàn)第一方面中任一項(xiàng)所述的基于路測(cè)多相機(jī)的融合感知方法。

53、第四方面，本技術(shù)提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)前述任一方面所述的基于路測(cè)多相機(jī)的融合感知方法。

54、第五方面，本技術(shù)提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述任一方面所述的基于路測(cè)多相機(jī)的融合感知方法。

55、本技術(shù)提供的基于路測(cè)多相機(jī)的融合感知方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，基于預(yù)先構(gòu)建的編碼器，對(duì)多個(gè)待處理圖像進(jìn)行處理，生成編碼器輸出結(jié)果，然后基于編碼器對(duì)應(yīng)的解碼器和預(yù)先設(shè)定的查詢向量集合，對(duì)編碼器輸出結(jié)果進(jìn)行特征匯聚，生成解碼器輸出結(jié)果，最后對(duì)解碼器輸出結(jié)果進(jìn)行感知提取，得到感知結(jié)果。通過(guò)設(shè)計(jì)以前融合為核心特征的編碼器-解碼器框架，實(shí)現(xiàn)多相機(jī)的融合感知，并通過(guò)與空間位置對(duì)應(yīng)的查詢向量，有針對(duì)性的從多個(gè)待處理圖像中提取目標(biāo)信息，豐富了感知識(shí)別目標(biāo)對(duì)象的信息維度，由特定查詢向量直接提取3d感知定位信息，避免了相機(jī)投影病態(tài)逆變換，有力提高了感知精度，摒棄了卷積神經(jīng)網(wǎng)絡(luò)處理，降低了系統(tǒng)計(jì)算資源消耗。