本發(fā)明屬于汽車自動駕駛，具體涉及一種基于圖交互機制的多模態(tài)車輛軌跡預(yù)測方法。

背景技術(shù)：

1、隨著智能交通系統(tǒng)和自動駕駛技術(shù)的迅速發(fā)展，軌跡預(yù)測已成為交通管理和自動導(dǎo)航等領(lǐng)域的重要研究方向，傳統(tǒng)的軌跡預(yù)測方法通常基于物理模型，依賴于已知的運動學(xué)和動力學(xué)規(guī)律，然而在復(fù)雜且動態(tài)的環(huán)境中，物理模型難以應(yīng)對不確定性，近年來機器學(xué)習(xí)特別是深度學(xué)習(xí)的興起，使得利用大數(shù)據(jù)進行軌跡預(yù)測成為可能，但現(xiàn)有的方法往往需要大量標(biāo)記數(shù)據(jù)進行訓(xùn)練并計算成本較高，實時預(yù)測能力受限，同時基于歷史軌跡數(shù)據(jù)的方法雖然可以捕捉一定規(guī)律，但對環(huán)境變化的適應(yīng)性不足，缺乏針對復(fù)雜場景的魯棒性；

2、為了解決這些問題，提出了一種新的軌跡預(yù)測方法，該方法通過圖建模交互關(guān)系，能夠精確捕捉軌跡之間的復(fù)雜關(guān)聯(lián)，并結(jié)合多頭注意力機制，增強模型對重要信息的關(guān)注能力，此外該方法還引入了基于貝塞爾曲線的連續(xù)軌跡解碼器進行軌跡預(yù)測的解碼，這種解碼器能夠有效地生成平滑且連貫的軌跡，從而提高預(yù)測的準(zhǔn)確性和可行性，盡管某些研究嘗試采用社交行為模型來提高預(yù)測性能，但這類方法在實時應(yīng)用中依然面臨挑戰(zhàn)，因此運用圖建模、多頭注意力機制和基于貝塞爾曲線的解碼器的創(chuàng)新方法，為軌跡預(yù)測提供了新的解決思路。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的不足，本發(fā)明目的是提出一種基于圖交互機制的多模態(tài)車輛軌跡預(yù)測方法，以解決現(xiàn)有軌跡預(yù)測無法準(zhǔn)確建模交互，并且可能輸出運動學(xué)上不可行軌跡的問題。

2、為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：一種基于圖交互機制的多模態(tài)車輛軌跡預(yù)測方法，包括如下步驟：

3、s1、構(gòu)建一個包含車輛軌跡數(shù)據(jù)的深度學(xué)習(xí)數(shù)據(jù)庫，并將其劃分為訓(xùn)練集和驗證集；

4、s2、定義車輛軌跡預(yù)測任務(wù)，獲取并處理交通參與者的歷史軌跡信息和目標(biāo)車輛的車道信息，交通參與者的歷史軌跡信息包括車輛在過去一段時間內(nèi)的軌跡坐標(biāo)、速度、加速度及橫擺角速度屬性；而目標(biāo)車輛的車道信息則是根據(jù)其位置信息提取的周圍車道線坐標(biāo)、轉(zhuǎn)向車道及是否為交叉路口；

5、s3、利用lstm編碼器對輸入信息進行編碼，采用圖多頭注意力模型處理車輛交互，得到車輛軌跡的交互特征，使用多模態(tài)稀疏注意力模型以提取車道和車輛交互的局部特征，最后使用基于貝塞爾曲線的軌跡解碼器進行軌跡解碼；

6、s4、構(gòu)建損失函數(shù)，其中總損失為回歸損失與分類損失的加權(quán)和，不斷計算損失值；

7、s5、循環(huán)s3至s4，直至迭代次數(shù)達到預(yù)設(shè)值，然后使用驗證集進行評估，選取在驗證集上準(zhǔn)確率最高的權(quán)重，從而獲得最終的車輛軌跡預(yù)測模型。

8、步驟s1具體如下：

9、s1.1、提取目標(biāo)車輛所處場景內(nèi)所有車輛的歷史行駛軌跡數(shù)據(jù)，每輛車對應(yīng)一份數(shù)據(jù)集，每份數(shù)據(jù)集均詳細(xì)記錄了對應(yīng)車輛在過去某一預(yù)定時間段內(nèi)，每個采樣時間點的具體位置坐標(biāo)，這樣便能全面掌握場景中每輛車的歷史行駛軌跡；

10、s1.2、將場景中收集到的歷史軌跡信息，通過轉(zhuǎn)換為2d坐標(biāo)系統(tǒng)的形式進行處理，從而構(gòu)建出一個適用于深度學(xué)習(xí)算法的車輛軌跡數(shù)據(jù)庫，這個數(shù)據(jù)庫將作為后續(xù)分析和預(yù)測車輛行為的基礎(chǔ)數(shù)據(jù)源；

11、s1.3、將構(gòu)建好的車輛軌跡數(shù)據(jù)庫進行劃分，一部分作為訓(xùn)練集，用于訓(xùn)練深度學(xué)習(xí)模型，使其能夠?qū)W習(xí)并理解車輛軌跡的特征和規(guī)律；另一部分則作為驗證集，用于在模型訓(xùn)練過程中進行性能評估，幫助調(diào)整和優(yōu)化模型參數(shù)，確保模型具有良好的泛化能力。

12、步驟s2具體如下：

13、軌跡預(yù)測的目標(biāo)是根據(jù)目標(biāo)場景車輛及其周圍場景車輛的狀態(tài)特征，預(yù)測目標(biāo)場景車輛未來的多個可能的軌跡，在有n個場景車輛的場景中，狀態(tài)特征定義為：為第i輛車輛的歷史狀態(tài)，包括車輛i的位置用2d坐標(biāo)表示、車輛速度車輛加速度和車輛的橫擺角速度即m為高精地圖信息，即通過高精地圖的應(yīng)用程序接口獲取的車道中心線位置，基于該場景中的可用特征，多模態(tài)軌跡預(yù)測任務(wù)可以表示為預(yù)測以tf為預(yù)測的時間范圍，以

14、步驟s3具體如下：

15、s3.1、用lstm編碼器對輸入的車輛歷史狀態(tài)信息和高精地圖信息進行編碼提取特征，對于車輛歷史狀態(tài)，提取觀測軌跡的特征和車輛行駛狀態(tài)特征；對于高精地圖，提取的特征信息能夠反映空間關(guān)系，首先模型的輸入經(jīng)過嵌入層進行升維得到固定長度的嵌入向量然后利用lstm編碼器網(wǎng)絡(luò)提取隱藏狀態(tài)特征編碼過程如下：

16、

17、

18、

19、φ表示激活函數(shù)為relu的全連接層,和分別為嵌入層輸出結(jié)果與lstm編碼器的隱藏層，wemb、we為嵌入層和lstm編碼器的可學(xué)習(xí)權(quán)重；

20、s3.2、首先用圖表示車輛間的關(guān)系，將圖注意力機制和多頭注意力機制結(jié)合，形成圖多頭注意力模型來編碼車輛之間的交互，節(jié)點集v中的每個節(jié)點對應(yīng)一個交通場景中的對象，考慮到每個對象在不同時間步長可能有不同的狀態(tài)，定義節(jié)點集其中n為場景中觀察到的對象數(shù)量，th為觀察到的時間步長，為第i個車輛在時刻t的隱藏特征，最后計算車輛交互權(quán)重，表達式如下：

21、

22、

23、

24、式中：wqs、wks和wvs表示車輛交互中對應(yīng)矩陣的可學(xué)習(xí)矩陣,計算第h個注意力頭的車輛i在t時刻對觀測時刻的注意力值表達式為：

25、

26、將多頭注意力平行運算h次并且串聯(lián)，表達式為：

27、ci＝coni(head1,head2,…,headh)∈rn×d；

28、式中：con為concat操作，ci為i時刻的交互特征，再將結(jié)果拼接并加權(quán)得到觀測時域內(nèi)的交互特征h，表達式為：

29、

30、s3.3、使用了車輛與車道信息的交互模塊，使每個車輛能夠收集到局部的靜態(tài)車道信息，從而產(chǎn)生關(guān)心車道信息的預(yù)測結(jié)果，在車和車道交互編碼器中，q是來自車輛交互編碼器的交互特征，k和v是來自地圖編碼器的特征向量，首先對鍵矩陣k采樣，得到采樣后的矩陣然后對查詢矩陣q的第i行qi求關(guān)于的m值，

31、

32、式中：為評價qi是否重要的指標(biāo)，的值越大，qi越重要；為的第j行；為縮放因子，d為k的列數(shù)，lk為k的行數(shù)，然后找到m值最大的u個qi，將這u個qi組成新的查詢矩陣并對求關(guān)于k的score值

33、最后求得概率稀疏自注意力：

34、

35、將多頭稀疏注意力改為多模態(tài)稀疏注意力如下式所示，具體來說沒有將單個頭部的結(jié)果連接起來，并將連接的向量投影到低維向量上，而是直接輸出單個頭部的結(jié)果，最終的軌跡輸出取決于單個頭部，

36、multimodel(q,k,v)＝(head1,…,headh)；

37、式中：multimodel(q,k,v)為多模態(tài)稀疏注意力；headh為第h個“頭”，headh＝attention(qh,kh,vh)，qh,kh,vh分別為第h個“頭”的q，k，v矩陣；

38、s3.4、在獲得車輛交互特征和車圖交互特征后與目標(biāo)車輛的特征進行拼接，并發(fā)送給多模態(tài)運動解碼器以生成對所有行動者的預(yù)測，預(yù)測了k種可能的未來，并且對于每種模式，應(yīng)用了一個簡單的mlp，它具有軌跡的回歸頭和分類頭，然后是相應(yīng)概率分?jǐn)?shù)的softmax函數(shù)，軌跡回歸頭使用基于貝塞爾曲線的連續(xù)參數(shù)化表示。

39、所述s3.4具體包括如下步驟：

40、s3.4.1、為了利用參數(shù)化軌跡的優(yōu)勢，引入bernstein基多項式，其中的系數(shù)是具有具體空間意義的控制點，從而獲得更好的收斂性，具體來說，n次貝塞爾曲線表示為：

41、

42、式中，為i階bernstein基，為二項式系數(shù)，t為參數(shù)曲線變量，pi為控制點，對于n階貝塞爾曲線，總共有n+1個控制點，第一個和最后一個控制點總是曲線的端點，由于貝塞爾曲線定義在t∈[0,1]上，本發(fā)明對實際時間τ∈[0,τmax]進行歸一化，因此參數(shù)曲線可以寫成此外由于矢狀圖的性質(zhì)，n階貝塞爾曲線的導(dǎo)數(shù)仍然是貝塞爾曲線，其控制點定義為即軌跡的速度剖面可由下式計算：

43、

44、s3.4.2、使用一個簡單的mlp作為回歸頭，執(zhí)行從拼接好的車輛特征到控制點的映射，然后每個預(yù)測軌跡的位置坐標(biāo)ypos∈rt×2可以通過常數(shù)基矩陣b∈rt×(n+1)與相應(yīng)的預(yù)測二維控制點p∈r(n+1)×2簡單地計算出來，

45、

46、其中t為預(yù)測軌跡所需的采樣時間戳數(shù)，為歸一化時間點，對于具有非完整約束的智能體，如車輛和自行車，偏航角與軌跡的切向量對齊，我們可以從速度估計中導(dǎo)出每個狀態(tài)的航向角，最后根據(jù)參與者對應(yīng)的錨定姿態(tài)進一步將預(yù)測軌跡轉(zhuǎn)換回全局坐標(biāo)。

47、步驟s4具體如下：

48、s4.1、設(shè)置車輛軌跡預(yù)測模型的訓(xùn)練參數(shù)；其中包括車輛軌跡預(yù)測模型的迭代次數(shù)、訓(xùn)練的學(xué)習(xí)率；

49、s4.2、構(gòu)建損失函數(shù)，并計算其損失值。

50、所述s4.2具體包括如下步驟：

51、s4.2.1、總體損失函數(shù)是回歸損失和分類損失的加權(quán)和：

52、

53、其中ω∈[0,1]是平衡這些分量的權(quán)重，我們使用wta策略來處理多模態(tài)，對于每個智能體，我們通過選擇最終位移誤差最小的一個，在k個假設(shè)中找到最佳預(yù)測軌跡k*；

54、s4.2.2、對于分類任務(wù)，本專利使用最大邊際損失來區(qū)分正向模式和其他類似的模式，

55、

56、s4.2.3、對于軌跡回歸任務(wù)，除了位置坐標(biāo)回歸之外，本方法還引入了可選的偏航角損失來提供輔助監(jiān)督，從而得到

57、

58、其中ˉy(·)表示地面真實狀態(tài)，y?k*(·)是wta模式的預(yù)測位置和偏航角。本研究將平滑l1損失作為位置回歸損失，將偏航回歸損失指定為

59、

60、其中cossim(·，·)是余弦相似性度量，對于兩個對齊的偏航矢量，其值為1，對于兩個相反的偏航矢量，其值為，考慮偏航角損失隱含地增強了連續(xù)狀態(tài)之間的一致性，使預(yù)測軌跡具有更高的平滑性和運動學(xué)可行性，并產(chǎn)生更真實的軌跡，特別是對于低速車輛。

61、本發(fā)明的有益效果是：通過利用lstm編碼器對輸入信息進行時間序列編碼，通過圖建模交互關(guān)系，采用圖多頭注意力機制強化對重要交互特征的捕捉，并通過多模態(tài)稀疏注意力模型提取車道與車輛的局部特征，以提升軌跡預(yù)測的精度。最終，基于貝塞爾曲線的軌跡解碼器生成平滑、自然的軌跡，增強了預(yù)測結(jié)果的可解釋性和可操作性。該方法具備廣泛的應(yīng)用前景，能夠有效支持自動駕駛和智能交通系統(tǒng)，為提高交通安全和效率提供科學(xué)依據(jù)，提升決策支持能力。