本公開涉及一種預(yù)測碰撞時(shí)間的技術(shù)，特別涉及一種通過圖像相似度以及神經(jīng)網(wǎng)絡(luò)以預(yù)測碰撞時(shí)間的方法，及一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法。

背景技術(shù)：

1、在自動(dòng)駕駛領(lǐng)域進(jìn)行碰撞時(shí)間預(yù)測中，需要高精確度的碰撞時(shí)間(time?tocontact，ttc)估計(jì)，不準(zhǔn)確的ttc估計(jì)會(huì)影響到自動(dòng)駕駛系統(tǒng)的路徑規(guī)劃及安全性。在本文中，ttc可表示自車與目標(biāo)對象(例如，障礙物或前車)之間的碰撞時(shí)間的預(yù)測值。

2、在相關(guān)技術(shù)中，基于圖像估計(jì)本車與其他車輛的ttc可以采用封閉曲線、光流、亮度或光照強(qiáng)度的方式?；蛘?，可以采用檢測框(或稱邊界框)尺度比例方式來預(yù)測ttc。根據(jù)光流的碰撞時(shí)間預(yù)測方法是通過檢測圖像的像素點(diǎn)的位置偏移隨時(shí)間的變化，而推斷出物體移動(dòng)的速度及方向，進(jìn)而估計(jì)出本車與目標(biāo)對象之間的ttc的預(yù)測值。然而，通過光流估計(jì)的ttc依賴于準(zhǔn)確的光流信息，這會(huì)導(dǎo)致顯著的計(jì)算開銷。具體而言，無論封閉曲線、光流、亮度或光照強(qiáng)度方式皆需要仔細(xì)調(diào)整參數(shù)或強(qiáng)大的先驗(yàn)知識，例如是恒定的亮度或靜態(tài)場景。這限制了預(yù)測ttc的實(shí)際適用性。除此之外，基于深度學(xué)習(xí)的方法也可以用于ttc的估計(jì)。深度學(xué)習(xí)的方法需要大量帶有標(biāo)注的場景流真實(shí)數(shù)據(jù)。然而，由于昂貴的標(biāo)注成本，場景流數(shù)據(jù)集大多是通過合成而獲得，導(dǎo)致其與實(shí)際應(yīng)用領(lǐng)域之間存在差距。

3、除了基于場景流的方法，基于單目標(biāo)跟蹤(single?object?tracking,sot)的方法也可以推斷模板和跟蹤對象之間的尺度比例，但是這類方法在神經(jīng)網(wǎng)絡(luò)推理的過程中會(huì)使用較大倍數(shù)的降采樣，導(dǎo)致物體邊界框的估計(jì)不夠準(zhǔn)確，無法滿足ttc估算的要求。另外，根據(jù)邊界框尺度比例的碰撞時(shí)間預(yù)測方法是基于兩幀圖像中的邊界框尺寸計(jì)算尺度比例，然后直接計(jì)算ttc。根據(jù)尺度比例計(jì)算ttc的公式：其中α為時(shí)刻t0到時(shí)刻t1的尺度比例。然而，在邊界框未準(zhǔn)確標(biāo)示目標(biāo)對象(例如，兩幀圖像中邊界框的大小不一致或不準(zhǔn)確)時(shí)，會(huì)造成較大誤差的ttc。

4、因此，為了實(shí)現(xiàn)更高精度的ttc預(yù)測，有必要提出更優(yōu)化的ttc預(yù)測方法，以提升自動(dòng)駕駛系統(tǒng)的路徑規(guī)劃效能及安全性。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本公開提出一種目基于圖像預(yù)測碰撞時(shí)間的方法、裝置和計(jì)算機(jī)可讀儲(chǔ)存介質(zhì)，以實(shí)現(xiàn)高精度的碰撞時(shí)間預(yù)測。

2、本公開的第一個(gè)方面提出了一種基于圖像預(yù)測碰撞時(shí)間的方法，包括：根據(jù)目標(biāo)對象，收集多個(gè)幀的圖像，其中多個(gè)幀的圖像包括第一幀對應(yīng)的第一圖像及第二幀對應(yīng)的第二圖像，第二幀在時(shí)序上在第一幀之后；得到第一邊界框以及第二邊界框，其中第一邊界框?qū)?yīng)第一圖像中的目標(biāo)對象，且第二邊界框?qū)?yīng)第二圖像中的目標(biāo)對象；分別對第一圖像及第二圖像進(jìn)行編碼，得到第一特征圖像及第二特征圖像；根據(jù)多個(gè)尺度比例的每一個(gè)縮放第二邊界框，以得到第三邊界框；通過第三邊界框，從第一特征圖像中擷取出第一特征圖像塊；通過第二邊界框，從第二特征圖像中擷取出第二特征圖像塊；對每個(gè)尺度比例所對應(yīng)的第一特征圖像塊與第二特征圖像塊進(jìn)行相似度計(jì)算，以得出每個(gè)尺度比例對應(yīng)的相似度得分；以及根據(jù)每個(gè)尺度比例對應(yīng)的相似度得分，篩選出至少一個(gè)尺度比例，以計(jì)算目標(biāo)對象的碰撞時(shí)間的預(yù)測值。

3、本公開的第二個(gè)方面提出了一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，包括：得到第一邊界框以及第二邊界框，其中第一邊界框?qū)?yīng)第一圖像中的目標(biāo)對象，且第二邊界框?qū)?yīng)第二圖像中的目標(biāo)對象，第一圖像對應(yīng)于第一幀，且第二圖像對應(yīng)于第二幀，第二幀在時(shí)序上在第一幀之后；輸入第一圖像及第二圖像至神經(jīng)網(wǎng)絡(luò)，得到通過預(yù)測模型所輸出的第一特征圖像及第二特征圖像；根據(jù)多個(gè)尺度比例的每一個(gè)縮放第二邊界框，以得到第三邊界框；通過第三邊界框，從第一特征圖像中擷取出第一特征圖像塊；通過第二邊界框，從第二特征圖像中擷取出第二特征圖像塊；對每個(gè)尺度比例所對應(yīng)的第一特征圖像塊與第二特征圖像塊進(jìn)行相似度計(jì)算，以得出每個(gè)尺度比例對應(yīng)的相似度得分，其中相似度得分用以表示相似度得分所對應(yīng)的尺度比例是否接近真實(shí)尺度比例；根據(jù)真實(shí)尺度比例，得到每個(gè)尺度比例對應(yīng)的樣本相似度得分；對于每個(gè)尺度比例，比較相似度得分以及樣本相似度得分，以產(chǎn)生比較結(jié)果；以及神經(jīng)網(wǎng)絡(luò)根據(jù)比較結(jié)果更新預(yù)測模型，以輸出新的相似度得分，更新后的預(yù)測模型用以使新的相似度得分更能響應(yīng)所對應(yīng)的尺度比例是否接近真實(shí)尺度比例。

4、本公開的第三個(gè)方面提出了一種基于圖像預(yù)測碰撞時(shí)間的裝置，包括一個(gè)或多個(gè)處理器，以及存儲(chǔ)程序的存儲(chǔ)器。程序包括指令，此指令在由處理器執(zhí)行時(shí)使裝置執(zhí)行上述的基于圖像預(yù)測碰撞時(shí)間的方法。

5、本公開的第四個(gè)方面提出了一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的裝置，包括一個(gè)或多個(gè)處理器，以及存儲(chǔ)程序的存儲(chǔ)器。程序包括指令，此指令在由處理器執(zhí)行時(shí)使裝置執(zhí)行上述的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法。

6、本公開的第五個(gè)方面提出了一種存儲(chǔ)有程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，此程序包括指令，此指令在由計(jì)算裝置的一個(gè)或者多個(gè)處理器執(zhí)行時(shí)，致使計(jì)算裝置執(zhí)行上述的基于圖像預(yù)測碰撞時(shí)間的方法。

7、基于上述的公開，由于上述的基于圖像預(yù)測碰撞時(shí)間的方法包括對圖像進(jìn)行編碼，得到第一特征圖像及第二特征圖像，接著，根據(jù)多個(gè)尺度比例從第一特征圖像及第二特征圖像擷取出第一特征圖像塊及第二特征圖像塊，并對于每個(gè)尺度比例所對應(yīng)的第一特征圖像塊及第二特征圖像塊進(jìn)行相似度計(jì)算，以得出相似度得分，進(jìn)而根據(jù)相似度得分篩選出至少一個(gè)尺度比例，以計(jì)算目標(biāo)對象的碰撞時(shí)間的預(yù)測值。因此，本公開的方法可以通過對圖像進(jìn)行編碼以及低計(jì)算開銷的相似度計(jì)算結(jié)果，篩選出適當(dāng)?shù)某叨缺壤齺碛?jì)算碰撞時(shí)間的預(yù)測值，提升碰撞時(shí)間的預(yù)測值的精確度。本公開的方法具有良好的實(shí)際適用性，可以在低計(jì)算開銷的基礎(chǔ)上優(yōu)化自動(dòng)駕駛系統(tǒng)的路徑規(guī)劃及安全性。

技術(shù)特征：

1.一種基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，包括：

2.如權(quán)利要求1所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，分別對所述第一圖像及所述第二圖像進(jìn)行編碼，得到所述第一特征圖像及所述第二特征圖像，包括：

3.如權(quán)利要求2所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，對所述每個(gè)尺度比例所對應(yīng)的所述第一特征圖像塊與所述第二特征圖像塊進(jìn)行相似度計(jì)算，以得出所述每個(gè)尺度比例對應(yīng)的所述相似度得分，包括：

4.如權(quán)利要求3所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，將所述每個(gè)尺度比例對應(yīng)的相似度值轉(zhuǎn)換為相似度得分，包括：

5.如權(quán)利要求2所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，對所述每個(gè)尺度比例所對應(yīng)的所述第一特征圖像塊與所述第二特征圖像塊進(jìn)行相似度計(jì)算，以得出所述每個(gè)尺度比例對應(yīng)的相似度得分，包括：

6.如權(quán)利要求5所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，根據(jù)所述多個(gè)區(qū)域的多個(gè)對位相似度值，計(jì)算所述特征圖像塊相似度值，以得出所述相似度得分，包括：

7.如權(quán)利要求5所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，根據(jù)所述多個(gè)區(qū)域的多個(gè)對位相似度值，計(jì)算所述特征圖像塊相似度值，以得出所述相似度得分，包括：

8.如權(quán)利要求5所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，所述方法更包括：

9.如權(quán)利要求1所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，根據(jù)所述每個(gè)尺度比例對應(yīng)的相似度得分，篩選出所述至少一個(gè)尺度比例，以計(jì)算所述目標(biāo)對象的碰撞時(shí)間的預(yù)測值，包括：

10.如權(quán)利要求1所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，根據(jù)所述每個(gè)尺度比例對應(yīng)的相似度得分，篩選出所述至少一個(gè)尺度比例，以計(jì)算所述目標(biāo)對象的碰撞時(shí)間的預(yù)測值，包括：

11.如權(quán)利要求1所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，通過所述第三邊界框，從所述第一特征圖像中擷取出所述第一特征圖像塊，包括：

12.如權(quán)利要求1所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，通過所述第三邊界框，從所述第一特征圖像中擷取出所述第一特征圖像塊，包括：

13.如權(quán)利要求12所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，分別將所述中心特征圖像塊及所述至少一個(gè)其他特征圖像塊與所述第二特征圖像塊進(jìn)行相似度計(jì)算，以從所述中心特征圖像塊及所述至少一個(gè)其他特征圖像塊之中進(jìn)行篩選，得到所述第一特征圖像塊，包括：

14.如權(quán)利要求1所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，更包括：

15.如權(quán)利要求14所述的基于圖像預(yù)測碰撞時(shí)間的方法，其特征在于，將所述第一特征圖像塊的尺寸調(diào)整至與所述第二特征圖像塊為相同，包括：

16.一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，包括：

17.如權(quán)利要求16所述的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，對所述每個(gè)尺度比例所對應(yīng)的所述第一特征圖像塊與所述第二特征圖像塊進(jìn)行相似度計(jì)算，以得出所述每個(gè)尺度比例對應(yīng)的所述相似度得分，包括：

18.如權(quán)利要求16所述的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)根據(jù)所述比較結(jié)果更新所述預(yù)測模型，以輸出所述新的相似度得分，包括：

19.如權(quán)利要求16所述的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，所述真實(shí)尺度比例為通過激光雷達(dá)得到對于所述目標(biāo)對象的真實(shí)碰撞時(shí)間并通過所述真實(shí)碰撞時(shí)間所計(jì)算出的尺度比例。

20.如權(quán)利要求16所述的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，根據(jù)所述真實(shí)尺度比例，得到所述每個(gè)尺度比例對應(yīng)的所述樣本相似度得分，包括：

21.如權(quán)利要求20所述的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，根據(jù)所述真實(shí)尺度比例，得到所述每個(gè)尺度比例對應(yīng)的初始樣本相似度得分，包括：

22.如權(quán)利要求16所述的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，根據(jù)所述真實(shí)尺度比例，得到所述每個(gè)尺度比例對應(yīng)的所述樣本相似度得分，包括：

23.一種基于圖像預(yù)測碰撞時(shí)間的裝置，其特征在于，包括：

24.一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的裝置，其特征在于，包括：

25.一種存儲(chǔ)有程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述程序包括指令，所述指令在由計(jì)算裝置的一個(gè)或者多個(gè)處理器執(zhí)行時(shí)，致使所述計(jì)算裝置執(zhí)行根據(jù)權(quán)利要求1至22中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供一種基于圖像預(yù)測碰撞時(shí)間的方法，包括：根據(jù)目標(biāo)對象，收集多個(gè)幀的圖像，其中多個(gè)幀的圖像包括第一幀對應(yīng)的第一圖像及第二幀對應(yīng)的第二圖像；得到對應(yīng)第一圖像的第一邊界框以及對應(yīng)第二圖像的第二邊界框；分別對第一圖像及第二圖像進(jìn)行編碼，得到第一特征圖像及第二特征圖像；根據(jù)多個(gè)尺度比例的每一個(gè)縮放第二邊界框，以得到第三邊界框；通過第三邊界框，從第一特征圖像中擷取出第一特征圖像塊；通過第二邊界框，從第二特征圖像中擷取出第二特征圖像塊；對每個(gè)尺度比例所對應(yīng)的第一特征圖像塊與第二特征圖像塊進(jìn)行相似度計(jì)算，以篩選出至少一個(gè)尺度比例，以計(jì)算目標(biāo)對象的碰撞時(shí)間的預(yù)測值。此外，一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法亦被提出。

技術(shù)研發(fā)人員：史育恒,黃澤昊,王乃巖
受保護(hù)的技術(shù)使用者：北京圖森智途科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9