本發(fā)明涉及自動駕駛,特別涉及一種端到端自動駕駛自車軌跡規(guī)劃方法、系統(tǒng)、設(shè)備及介質(zhì)。
背景技術(shù):
1、自動駕駛領(lǐng)域一般分為感知、規(guī)劃及控制三大模塊,三者從感知到規(guī)劃再到控制模塊形成串行的結(jié)構(gòu),逐級傳遞每層模塊的信息。對于此松耦合的串行自動駕駛架構(gòu)設(shè)計來說,有利于各個模塊的專業(yè)工程師并行開發(fā)及優(yōu)化,但不同模塊之間的最終優(yōu)化目標(biāo)可能不相同,整個系統(tǒng)很難找到一個最佳解決方案來平衡每個模塊。同時,串行方式可能會導(dǎo)致整個系統(tǒng)輸出存在累積誤差。故而近段時間學(xué)術(shù)界及工業(yè)界越來越將目光放在端到端自動駕駛架構(gòu)的研究及開發(fā)上,如圖1所示,緊耦合設(shè)計的端到端自動駕駛系統(tǒng)是傳統(tǒng)松耦合駕駛系統(tǒng)的一種演進(jìn)。
2、目前,一種主流的緊耦合端到端自動駕駛系統(tǒng)是整體基于dnn(deep?neuralnetwork深度神經(jīng)網(wǎng)絡(luò))/transformer(注意力機(jī)制)模型設(shè)計的,針對這樣的架構(gòu)設(shè)計可以用統(tǒng)一的一個目標(biāo)來優(yōu)化整個系統(tǒng)。同時,緊密耦合設(shè)計避免了每個模塊之間的累計誤差和全局優(yōu)化的不一致性。最后,可以在這樣緊耦合設(shè)計的系統(tǒng)上應(yīng)用模型量化、模型蒸餾和模型修剪技巧來提高模型的實(shí)時性。
3、現(xiàn)有的基于dnn/transformer的端到端算法往往僅依賴于傳感器的輸入,在端到端算法部署過程中并未考慮到其他因素提升精度,降低了規(guī)劃結(jié)果的精度。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此,本發(fā)明實(shí)施例提供了一種基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,以解決現(xiàn)有技術(shù)中基于現(xiàn)有端到端算法的規(guī)劃結(jié)果精度低的技術(shù)問題。該方法包括:
2、對感知數(shù)據(jù)提取bev特征;
3、將所述bev特征輸入基于適應(yīng)器的軌跡預(yù)測模塊,得到目標(biāo)物軌跡預(yù)測結(jié)果,其中,在所述軌跡預(yù)測模塊的訓(xùn)練過程中加入第一目標(biāo)物相關(guān)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù);
4、將所述bev特征輸入基于適應(yīng)器的地圖檢測模塊,得到檢測的局部地圖,其中,在所述地圖檢測模塊的訓(xùn)練過程中加入離線地圖作為訓(xùn)練數(shù)據(jù);
5、將所述目標(biāo)物軌跡預(yù)測結(jié)果以及所述檢測的局部地圖輸入基于適應(yīng)器的規(guī)劃模塊,得到自車軌跡規(guī)劃結(jié)果,其中,在所述規(guī)劃模塊的訓(xùn)練過程中加入離線地圖和/或第二目標(biāo)物相關(guān)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。
6、本發(fā)明實(shí)施例還提供了一種于適應(yīng)器的端到端自動駕駛架構(gòu)系統(tǒng),以解決現(xiàn)有技術(shù)中基于現(xiàn)有端到端算法的規(guī)劃結(jié)果精度低的技術(shù)問題。該系統(tǒng)包括:
7、特征提取模塊,用于對感知數(shù)據(jù)提取bev特征;
8、軌跡預(yù)測模塊,用于將所述bev特征輸入基于適應(yīng)器的軌跡預(yù)測模塊,得到目標(biāo)物軌跡預(yù)測結(jié)果,其中,在所述軌跡預(yù)測模塊的訓(xùn)練過程中加入第一目標(biāo)物相關(guān)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù);
9、地圖檢測模塊,用于將所述bev特征輸入基于適應(yīng)器的地圖檢測模塊,得到檢測的局部地圖,其中,在所述地圖檢測模塊的訓(xùn)練過程中加入離線地圖作為訓(xùn)練數(shù)據(jù);
10、規(guī)劃模塊,用于將所述目標(biāo)物軌跡預(yù)測結(jié)果以及所述檢測的局部地圖輸入基于適應(yīng)器的規(guī)劃模塊,得到自車軌跡規(guī)劃結(jié)果,其中,在所述規(guī)劃模塊的訓(xùn)練過程中加入離線地圖和/或第二目標(biāo)物相關(guān)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。
11、本發(fā)明實(shí)施例還提供了一種計算機(jī)設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)上述任意的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,以解決現(xiàn)有技術(shù)中基于現(xiàn)有端到端算法的規(guī)劃結(jié)果精度低的技術(shù)問題。
12、本發(fā)明實(shí)施例還提供了一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行上述任意的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法的計算機(jī)程序,于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,以解決現(xiàn)有技術(shù)中基于現(xiàn)有端到端算法的規(guī)劃結(jié)果精度低的技術(shù)問題。
13、與現(xiàn)有技術(shù)相比,本說明書實(shí)施例采用的上述至少一個技術(shù)方案能夠達(dá)到的有益效果至少包括:提出了采用基于適應(yīng)器的軌跡預(yù)測模塊、基于適應(yīng)器的地圖檢測模塊和基于適應(yīng)器的規(guī)劃模塊進(jìn)行自動駕駛自車軌跡的規(guī)劃,實(shí)現(xiàn)了緊耦合的端到端自動駕駛架構(gòu);同時,在基于適應(yīng)器的軌跡預(yù)測模塊、基于適應(yīng)器的地圖檢測模塊和基于適應(yīng)器的規(guī)劃模塊的訓(xùn)練過程中均加入了除傳感器數(shù)據(jù)之外的其他數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),有利于提高基于適應(yīng)器的軌跡預(yù)測模塊、基于適應(yīng)器的地圖檢測模塊和基于適應(yīng)器的規(guī)劃模塊中各自模塊的輸出結(jié)果的精度,進(jìn)而有利于提高規(guī)劃結(jié)果的精度。
1.一種基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,其特征在于,包括:
2.如權(quán)利要求1所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,其特征在于,將所述bev特征輸入基于適應(yīng)器的地圖檢測模塊,得到檢測的局部地圖,包括:
3.如權(quán)利要求1所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,其特征在于,將所述bev特征輸入基于適應(yīng)器的軌跡預(yù)測模塊,得到目標(biāo)物軌跡預(yù)測結(jié)果,包括:
4.如權(quán)利要求3所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,其特征在于,將所述融合目標(biāo)物感知結(jié)果以及所述檢測的局部地圖輸入第一軌跡預(yù)測器,輸出第一目標(biāo)軌跡預(yù)測結(jié)果,包括:
5.如權(quán)利要求1所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,其特征在于,將所述目標(biāo)物軌跡預(yù)測結(jié)果以及所述檢測的局部地圖輸入基于適應(yīng)器的規(guī)劃模塊,得到自車軌跡規(guī)劃結(jié)果,包括:
6.如權(quán)利要求5所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,其特征在于,將所述目標(biāo)物軌跡預(yù)測結(jié)果和所述檢測的局部地圖輸入第二局部路徑規(guī)劃器,輸出第二局部路徑規(guī)劃結(jié)果,包括:
7.如權(quán)利要求5所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法,其特征在于,將所述第一局部路徑規(guī)劃結(jié)果、所述第二局部路徑規(guī)劃結(jié)果和所述第三局部路徑規(guī)劃結(jié)果輸入第四適應(yīng)器,生成融合的局部路徑規(guī)劃結(jié)果,包括:
8.一種基于適應(yīng)器的端到端自動駕駛架構(gòu)系統(tǒng),其特征在于,包括:
9.一種計算機(jī)設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,其特征在于,所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)權(quán)利要求1至7中任一項所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法。
10.一種計算機(jī)可讀存儲介質(zhì),其特征在于,所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行權(quán)利要求1至7中任一項所述的基于適應(yīng)器的端到端自動駕駛自車軌跡規(guī)劃方法的計算機(jī)程序。