本發(fā)明屬于智能駕駛，具體涉及一種基于目標(biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)方法、車輛、設(shè)備及介質(zhì)。

背景技術(shù)：

1、自動(dòng)駕駛技術(shù)是一種利用計(jì)算機(jī)和傳感器技術(shù)來使汽車能夠獨(dú)立駕駛的創(chuàng)新技術(shù)。這種技術(shù)的目標(biāo)是實(shí)現(xiàn)車輛在沒有人類司機(jī)干預(yù)的情況下安全地行駛，從而提高交通效率、減少交通事故和提供更便利的出行方式。軌跡預(yù)測(cè)在自動(dòng)駕駛中發(fā)揮著關(guān)鍵作用，它是自動(dòng)駕駛系統(tǒng)的一個(gè)重要組成部分，有助于實(shí)現(xiàn)安全、高效和智能的自動(dòng)駕駛。

2、軌跡預(yù)測(cè)技術(shù)主要用于預(yù)測(cè)車輛未來的行駛軌跡，以便車輛做出相應(yīng)的決策和行駛控制。在自動(dòng)駕駛系統(tǒng)中，軌跡預(yù)測(cè)不僅關(guān)乎車輛行駛的安全性和穩(wěn)定性，還與車輛的路徑規(guī)劃、障礙物避讓等功能緊密相關(guān)。只有通過準(zhǔn)確的軌跡預(yù)測(cè)，車輛才能夠更好地規(guī)避交通障礙物、預(yù)測(cè)其他車輛的行駛意圖、保持安全的行駛距離和速度等。因此，軌跡預(yù)測(cè)技術(shù)對(duì)自動(dòng)駕駛系統(tǒng)的性能和可靠性具有重要意義。該技術(shù)在各種領(lǐng)域中都有廣泛的應(yīng)用，包括自動(dòng)駕駛、無人機(jī)導(dǎo)航、物流和航空航天等領(lǐng)域。

3、以前的軌跡預(yù)測(cè)技術(shù)僅關(guān)注車輛的歷史軌跡和駕駛環(huán)境，主要集中于研究觀察時(shí)間窗口內(nèi)車輛之間的交互以及車輛與環(huán)境間的交互，然而很少在預(yù)測(cè)時(shí)間窗口中進(jìn)行探索車輛的駕駛行為，如車輛在未來某個(gè)時(shí)刻因?yàn)樽袷伛{駛道德規(guī)范而做出避讓行為。此外，在真實(shí)的駕駛環(huán)境中，人類的意圖非常復(fù)雜。例如，在十字路口，駕駛員可能有多種選擇，如停車、加速或轉(zhuǎn)彎，不同的行為可能會(huì)導(dǎo)致完全相反的結(jié)果，這使得了解行為意圖對(duì)未來軌跡預(yù)測(cè)非常重要。

4、隨著自動(dòng)駕駛和相關(guān)領(lǐng)域的發(fā)展，對(duì)軌跡預(yù)測(cè)技術(shù)的要求越來越高，尤其是在解決復(fù)雜、多樣化和不確定的交通場(chǎng)景時(shí)?；谀繕?biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)技術(shù)已經(jīng)成為這一領(lǐng)域的前沿，并且在滿足這些高要求方面發(fā)揮著關(guān)鍵作用。

5、基于目標(biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)技術(shù)是一種高級(jí)軌跡預(yù)測(cè)方法，旨在更準(zhǔn)確地預(yù)測(cè)移動(dòng)目標(biāo)(如車輛、行人、自行車等)的未來軌跡，以改善自動(dòng)駕駛和相關(guān)領(lǐng)域的決策制定和安全性。這項(xiàng)技術(shù)的核心思想是將多模態(tài)數(shù)據(jù)(如傳感器數(shù)據(jù))與目標(biāo)的意圖和可能行為相結(jié)合，以生成多種可能的軌跡預(yù)測(cè)。這些軌跡預(yù)測(cè)可以覆蓋不同情況下的各種可能性，幫助系統(tǒng)更好地理解周圍環(huán)境，并做出更智能的決策。多模態(tài)軌跡預(yù)測(cè)技術(shù)具有數(shù)據(jù)融合、多樣性、不確定性處理、目標(biāo)意圖理解、實(shí)時(shí)性、交互性考慮和廣泛應(yīng)用領(lǐng)域等多重優(yōu)勢(shì)，使其成為自動(dòng)駕駛和相關(guān)領(lǐng)域的關(guān)鍵技術(shù)之一。這一技術(shù)有助于提高交通系統(tǒng)的智能性和安全性，從而為未來的移動(dòng)性提供更多可能性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于，提供一種基于目標(biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)方法、車輛、設(shè)備及介質(zhì)，通過更準(zhǔn)確地預(yù)測(cè)其他車輛、行人和自行車的行為，使自動(dòng)駕駛系統(tǒng)可以更好地規(guī)避潛在的危險(xiǎn)情況，從而提高道路安全性，減少交通事故。

2、下面本發(fā)明的第一方面，提供了一種基于目標(biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)方法，該方法包括：

3、獲取高精度自動(dòng)駕駛數(shù)據(jù)集，該數(shù)據(jù)集包括道路參與者的軌跡數(shù)據(jù)以及矢量化高精度地圖；

4、通過u-net對(duì)道路參與者的歷史軌跡數(shù)據(jù)sobs進(jìn)行特征提取操作以獲得軌跡特征hs；

5、根據(jù)矢量化高精度地圖構(gòu)建lane?graph，利用lanegcn對(duì)lane?graph進(jìn)行卷積操作以獲得地圖特征hg；

6、利用lanegcn和空間注意力層融合軌跡特征hs和地圖特征hg，以捕獲道路參與者和道路之間的所有交互信息，得到融合后的特征x；

7、基于融合后的特征x，給每個(gè)道路參與者預(yù)測(cè)ke個(gè)候選目標(biāo)并應(yīng)用mlp為每個(gè)候選目標(biāo)計(jì)算置信度分?jǐn)?shù)，且使用smoothe1?loss函數(shù)計(jì)算最佳候選目標(biāo)和真實(shí)目標(biāo)之間的誤差；

8、篩選出置信度分?jǐn)?shù)最高的候選目標(biāo)作為預(yù)測(cè)目標(biāo)，并將預(yù)測(cè)目標(biāo)一定范圍內(nèi)的區(qū)域視為goi區(qū)域，對(duì)goi區(qū)域編碼得到最終的特征x；

9、利用最終的特征x為每個(gè)道路參與者預(yù)測(cè)出ka條預(yù)測(cè)軌跡以及軌跡對(duì)應(yīng)的置信度分?jǐn)?shù)；通過應(yīng)用max-margin?loss函數(shù)計(jì)算分類誤差，應(yīng)用smoothe1?loss函數(shù)計(jì)算在每個(gè)時(shí)間步的所有預(yù)測(cè)軌跡與其相應(yīng)的地面實(shí)際軌跡坐標(biāo)之間的位移誤差；

10、訓(xùn)練完成后，選取置信度分?jǐn)?shù)最高的預(yù)測(cè)軌跡作為最終的軌跡預(yù)測(cè)結(jié)果。

11、上述方案中，該方法還包括：

12、對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作，清洗和處理原始數(shù)據(jù)，處理缺失值、異常值和噪聲，并進(jìn)行坐標(biāo)系轉(zhuǎn)換和單位標(biāo)準(zhǔn)化。

13、上述方案中，通過u-net對(duì)道路參與者的歷史軌跡數(shù)據(jù)sobs進(jìn)行特征提取操作以獲得軌跡特征hs，包括：

14、將道路參與者的軌跡數(shù)據(jù)劃分成觀察到的歷史軌跡數(shù)據(jù)sobs和需要預(yù)測(cè)的真實(shí)軌跡數(shù)據(jù)spred，使用u-net的編碼器對(duì)歷史軌跡數(shù)據(jù)sobs進(jìn)行特征提取，再利用u-net的解碼器將編碼器提取的特征映射回原始數(shù)據(jù)的形式，以獲得軌跡特征hs。

15、上述方案中，道路參與者和道路之間的所有交互信息包括：道路參與者對(duì)道路a2l、道路對(duì)道路l2l、道路對(duì)道路參與者l2a和道路參與者對(duì)道路參與者a2a。

16、上述方案中，基于融合后的特征x，給每個(gè)道路參與者預(yù)測(cè)ke個(gè)候選目標(biāo)并應(yīng)用mlp為每個(gè)候選目標(biāo)計(jì)算置信度分?jǐn)?shù)，且使用smooth?l1?loss函數(shù)計(jì)算最佳候選目標(biāo)和真實(shí)目標(biāo)之間的誤差，包括：

17、應(yīng)用transformer給每個(gè)道路參與者生成一組候選目標(biāo)：

18、

19、其中，g為候選目標(biāo)集合，n為道路參與者的數(shù)量，表示第i個(gè)道路參與者的第j個(gè)候選目標(biāo)；

20、為了使候選目標(biāo)更接近真實(shí)目標(biāo)，設(shè)計(jì)一個(gè)由mlp?m(·)構(gòu)成的分類分支，用于輸出每個(gè)候選目標(biāo)對(duì)應(yīng)的置信度分?jǐn)?shù)：

21、

22、其中，c為置信度分?jǐn)?shù)集合，表示第i個(gè)道路參與者的第j個(gè)候選目標(biāo)的置信度分?jǐn)?shù)；

23、計(jì)算候選目標(biāo)和真實(shí)目標(biāo)之間的smoothe1?loss，用于進(jìn)一步提升預(yù)測(cè)目標(biāo)的準(zhǔn)確度：

24、

25、其中，∈表示margin，表示候選目標(biāo)中預(yù)測(cè)結(jié)果最好的那個(gè)，r表示候選目標(biāo)的數(shù)量；

26、在回歸過程中，應(yīng)用smooth?l1?loss計(jì)算正向目標(biāo)：

27、

28、其中，表示第i個(gè)道路參與者真實(shí)軌跡最后一個(gè)坐標(biāo)位置，reg(z)＝∑id(zi)：

29、

30、其中，zi表示smoothe1?loss，‖zi‖代表zi的l1范數(shù)。

31、上述方案中，篩選出置信度分?jǐn)?shù)最高的候選目標(biāo)作為預(yù)測(cè)目標(biāo)，并將預(yù)測(cè)目標(biāo)一定范圍內(nèi)的區(qū)域視為goi區(qū)域，對(duì)goi區(qū)域編碼得到最終的特征x，包括：

32、

33、其中，第i個(gè)道路參與者的第i’個(gè)特征為以該道路參與者為中心提取的交通特征，用xi表示；第j個(gè)車道節(jié)點(diǎn)的第j’個(gè)特征值為當(dāng)前交通場(chǎng)景下的環(huán)境特征，用yj表示；權(quán)重矩陣用wi表示，φi表示relu函數(shù)的層歸一化，△i,j＝mlp(vi-vj)，vi表示屬于第i個(gè)道路參與者的第i’個(gè)坐標(biāo)，vj表示第j個(gè)車道節(jié)點(diǎn)的第j’個(gè)坐標(biāo)；concat()表示拼接。

34、上述方案中，利用最終的特征x為每個(gè)道路參與者預(yù)測(cè)出ka條預(yù)測(cè)軌跡以及軌跡對(duì)應(yīng)的置信度分?jǐn)?shù)；通過應(yīng)用max-margin?loss函數(shù)計(jì)算分類誤差，應(yīng)用smooth?l1?loss函數(shù)計(jì)算在每個(gè)時(shí)間步的所有預(yù)測(cè)軌跡與其相應(yīng)的地面實(shí)際軌跡坐標(biāo)之間的位移誤差，包括：

35、使用線性層對(duì)每個(gè)道路參與者的ka條預(yù)測(cè)軌跡進(jìn)行回歸：

36、

37、其中，表示第n個(gè)道路參與者在第i個(gè)時(shí)間步的第k個(gè)模式的預(yù)測(cè)坐標(biāo)；分類分支為每條預(yù)測(cè)軌跡輸出置信度分?jǐn)?shù)：

38、

39、回歸過程，通過應(yīng)用smooth?l1?loss計(jì)算每個(gè)時(shí)間步的所有預(yù)測(cè)軌跡與其相應(yīng)真實(shí)坐標(biāo)的位移誤差：

40、

41、式中，表示第n個(gè)道路參與者在第t個(gè)時(shí)間步的真實(shí)坐標(biāo)，t表示時(shí)間步總數(shù)；

42、使用分類和回歸損失函數(shù)對(duì)模型進(jìn)行端到端的訓(xùn)練：

43、l＝lcls+lreg

44、式中，l表示總損失，lcls表示分類損失，lreg表示回歸損失。

45、根據(jù)本發(fā)明的第二方面，提供了一種車輛，該車輛包括上述中任意一項(xiàng)所述的基于目標(biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)方法的步驟。

46、根據(jù)本發(fā)明的第三方面，提供了一種電子設(shè)備，包括：處理器和存儲(chǔ)器，存儲(chǔ)器存儲(chǔ)可在處理器上運(yùn)行的程序或指令，程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述中任意一項(xiàng)所述的基于目標(biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)方法的步驟。

47、根據(jù)本發(fā)明的第四方面，提供了一種可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序或指令，程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述中任意一項(xiàng)所述的基于目標(biāo)驅(qū)動(dòng)的多模態(tài)軌跡預(yù)測(cè)方法的步驟。

48、總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得以下有益效果：

49、(1)本發(fā)明引入目標(biāo)區(qū)域編碼，對(duì)預(yù)測(cè)目標(biāo)附近范圍內(nèi)的場(chǎng)景上下文和運(yùn)動(dòng)軌跡進(jìn)行編碼，融合感興趣目標(biāo)(goi)區(qū)域內(nèi)的特征，從而幫助更好地理解目標(biāo)的意圖。

50、(2)本發(fā)明通過預(yù)測(cè)多個(gè)候選目標(biāo)以及預(yù)測(cè)一組未來軌跡，以反映不同的目標(biāo)行為或意圖，這有助于系統(tǒng)適應(yīng)多樣性的交通情況，提高了決策的靈活性。

51、(3)本發(fā)明通過估計(jì)和建模不確定性，使系統(tǒng)可以更好地處理復(fù)雜的和不確定的交通情況，提高了決策的魯棒性。