本發(fā)明屬于輔助駕駛，尤其涉及一種慣性導航和機器視覺的輔助駕駛方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、在輔助駕駛技術(shù)領(lǐng)域，慣性導航系統(tǒng)和機器視覺系統(tǒng)是兩種重要的技術(shù)手段。慣性導航系統(tǒng)通過測量車輛的加速度和角速度，結(jié)合初始位置和方向信息，可以實時計算車輛的位置和姿態(tài)。而機器視覺系統(tǒng)通過攝像頭傳感器獲取車輛周圍環(huán)境圖像信息并進行圖像處理和分析，從而為輔助駕駛系統(tǒng)提供道路、車輛、行人等環(huán)境信息。

2、然而，單獨使用慣性導航系統(tǒng)或機器視覺系統(tǒng)都存在一定的局限性。慣性導航系統(tǒng)可能會因精度不高和誤差累積而影響定位的準確性，尤其在長時間行駛或復雜路況下。另一方面，機器視覺系統(tǒng)受光照和天氣條件的影響較大，且其性能很大程度上依賴于手工設(shè)計的特征提取和匹配算法，這些局限性共同導致了輔助駕駛系統(tǒng)準確率較低的問題。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提出了一種慣性導航和機器視覺的輔助駕駛方法、系統(tǒng)、設(shè)備及介質(zhì)，通過不同的特征提取器分別提取輔助駕駛視覺特征和輔助駕駛慣性特征并通過多頭注意力進行特征融合，通過transformer訓練并測試得到輔助駕駛姿態(tài)模型，提高融合特征的魯棒性，從而更全面地感知車輛周圍環(huán)境和車輛運動狀態(tài)，提高輔助駕駛系統(tǒng)的準確性。

2、本發(fā)明的目的可以通過以下技術(shù)方案實現(xiàn)：

3、一種慣性導航和機器視覺的輔助駕駛方法，包括：

4、收集歷史輔助駕駛數(shù)據(jù)，所述歷史輔助駕駛數(shù)據(jù)包括歷史慣性傳感器數(shù)據(jù)、歷史車輛周圍環(huán)境圖像數(shù)據(jù)、歷史車輛姿態(tài)變換參數(shù)，所述歷史慣性傳感器數(shù)據(jù)包括車輛歷史加速度數(shù)據(jù)、車輛歷史角速度數(shù)據(jù)；

5、根據(jù)所述歷史輔助駕駛數(shù)據(jù)通過數(shù)據(jù)標注得到歷史車輛姿態(tài)數(shù)據(jù)集，根據(jù)所述歷史車輛姿態(tài)數(shù)據(jù)集通過數(shù)據(jù)預處理得到歷史車輛姿態(tài)標準集，所述歷史車輛姿態(tài)標準集包括歷史車輛周圍環(huán)境圖像標準集和歷史慣性傳感器數(shù)據(jù)標準集；

6、根據(jù)所述歷史車輛姿態(tài)標準集通過transformer訓練并測試得到輔助駕駛姿態(tài)模型；

7、獲取實時輔助駕駛數(shù)據(jù)，根據(jù)所述實時輔助駕駛數(shù)據(jù)通過所述輔助駕駛姿態(tài)模型得到車輛姿態(tài)變換參數(shù)，根據(jù)所述車輛姿態(tài)變換參數(shù)通過車輛控制系統(tǒng)執(zhí)行輔助駕駛功能。

8、優(yōu)選的，所述根據(jù)所述歷史輔助駕駛數(shù)據(jù)通過數(shù)據(jù)標注得到歷史車輛姿態(tài)數(shù)據(jù)集包括：

9、根據(jù)所述歷史車輛周圍環(huán)境圖像數(shù)據(jù)通過標注工具標注車道線位置和車輛周圍障礙物，根據(jù)所述歷史慣性傳感器數(shù)據(jù)通過標注工具標注車輛加速度和車輛角速度，根據(jù)所述歷史車輛姿態(tài)變換參數(shù)通過標注工具標注車輛轉(zhuǎn)向角度和車輛橫向位移。

10、優(yōu)選的，所述根據(jù)所述歷史車輛姿態(tài)數(shù)據(jù)集通過數(shù)據(jù)預處理得到歷史車輛姿態(tài)標準集包括：

11、根據(jù)所述歷史車輛周圍環(huán)境圖像數(shù)據(jù)通過車輛周圍環(huán)境圖像數(shù)據(jù)預處理得到歷史車輛周圍環(huán)境圖像標準數(shù)據(jù)，所述車輛周圍環(huán)境圖像數(shù)據(jù)預處理包括圖像增強、裁剪、數(shù)據(jù)歸一化；

12、根據(jù)所述歷史慣性傳感器數(shù)據(jù)通過慣性傳感器數(shù)據(jù)預處理得到歷史慣性傳感器標準數(shù)據(jù)，所述慣性傳感器數(shù)據(jù)預處理包括濾波、去噪、數(shù)據(jù)歸一化。

13、優(yōu)選的，所述根據(jù)所述歷史車輛姿態(tài)標準集通過transformer訓練并測試得到輔助駕駛姿態(tài)模型包括：

14、根據(jù)歷史車輛周圍環(huán)境圖像標準集通過flownetsimple特征編碼器提取得到輔助駕駛視覺特征集，根據(jù)所述歷史慣性傳感器數(shù)據(jù)標準集通過雙向?lstm?網(wǎng)絡提取得到輔助駕駛慣性特征集；

15、根據(jù)所述輔助駕駛視覺特征集和所述輔助駕駛慣性特征集通過多頭注意力特征融合得到輔助駕駛?cè)诤咸卣骷?/p>

16、根據(jù)所述輔助駕駛?cè)诤咸卣骷ㄟ^數(shù)據(jù)集劃分得到輔助駕駛?cè)诤咸卣饔柧毤洼o助駕駛?cè)诤咸卣鳒y試集；

17、根據(jù)所述輔助駕駛?cè)诤咸卣饔柧毤ㄟ^transformer訓練得到輔助駕駛姿態(tài)初始模型，根據(jù)所述輔助駕駛?cè)诤咸卣鳒y試集通過評價指標評估輔助駕駛姿態(tài)初始模型得到輔助駕駛姿態(tài)初始模型評估結(jié)果，根據(jù)所述輔助駕駛姿態(tài)初始模型評估結(jié)果通過transformer模型迭代得到輔助駕駛姿態(tài)模型。

18、優(yōu)選的，所述根據(jù)所述輔助駕駛視覺特征集和所述輔助駕駛慣性特征集通過多頭注意力特征融合得到輔助駕駛?cè)诤咸卣骷ǎ?/p>

19、根據(jù)所述輔助駕駛視覺特征集和所述輔助駕駛慣性特征集通過特征集拼接得到視覺慣性長序列特征集；

20、根據(jù)所述視覺慣性長序列特征集通過視覺慣性長序列線性變換得到視覺慣性長序列查詢向量、視覺慣性長序列鍵向量、視覺慣性長序列值向量；

21、根據(jù)所述視覺慣性長序列查詢向量和所述視覺慣性長序列鍵向量通過相似度映射計算得到視覺慣性長序列單頭注意力權(quán)重，所述相似度映射的數(shù)學表達式為：

22、，

23、其中， a為所述視覺慣性長序列單頭注意力權(quán)重， q為所述視覺慣性長序列查詢向量， k t為所述視覺慣性長序列鍵向量的轉(zhuǎn)置， d k為所述視覺慣性長序列鍵向量的維度；

24、根據(jù)所述視覺慣性長序列單頭注意力權(quán)重和所述視覺慣性長序列值向量通過點乘加權(quán)計算得到視覺慣性長序列單頭注意力加權(quán)特征，所述點乘加權(quán)的數(shù)學表達式為：

25、，

26、其中， h為視覺慣性長序列單頭注意力加權(quán)特征， a為所述視覺慣性長序列單頭注意力權(quán)重， z為所述視覺慣性長序列值向量；

27、根據(jù)所述視覺慣性長序列單頭注意力加權(quán)特征通過多頭拼接得到所述輔助駕駛?cè)诤咸卣骷?，所述多頭拼接的數(shù)學表達式為：

28、，

29、其中， f為所述輔助駕駛?cè)诤咸卣骷? h為多頭注意力頭數(shù)。

30、優(yōu)選的，所述視覺慣性長序列特征集的數(shù)學表達式為：

31、，

32、，

33、，

34、其中， v為所述輔助駕駛視覺特征集， v為輔助駕駛視覺特征樣本， j為所述輔助駕駛慣性特征集， j為輔助駕駛慣性特征樣本， s為所述視覺慣性長序列特征集，s為視覺慣性長序列特征樣本， m為所述輔助駕駛視覺特征集特征總數(shù)， n為所述輔助駕駛慣性特征集特征總數(shù)。

35、優(yōu)選的，所述視覺慣性長序列線性變換的數(shù)學表達式為：

36、，

37、其中， q為所述視覺慣性長序列查詢向量， k為所述視覺慣性長序列鍵向量， p為所述視覺慣性長序列值向量， s為所述視覺慣性長序列特征集， w q為視覺慣性長序列查詢向量權(quán)重， w k ?為視覺慣性長序列鍵向量權(quán)重， w p為視覺慣性長序列值向量權(quán)重。

38、一種慣性導航和機器視覺的輔助駕駛系統(tǒng)，所述系統(tǒng)應用上述的慣性導航和機器視覺的輔助駕駛方法，包括慣性導航模塊、機器視覺模塊、?輔助駕駛特征融合模塊、輔助駕駛控制模塊；

39、所述慣性導航模塊用于通過加速度計和陀螺儀捕獲慣性傳感器數(shù)據(jù)并進行慣性導航數(shù)據(jù)預處理及慣性導航數(shù)據(jù)特征提取；

40、所述機器視覺模塊用于通過攝像頭傳感器獲取車輛周圍環(huán)境圖像數(shù)據(jù)并進行車輛周圍環(huán)境圖像數(shù)據(jù)預處理和車輛周圍環(huán)境圖像數(shù)據(jù)特征提?。?/p>

41、所述輔助駕駛特征融合模塊用于將所述慣性導航模塊和所述機器視覺模塊輸出的慣性導航特征和機器視覺特征進行融合得到車輛綜合狀態(tài)信息；

42、所述輔助駕駛控制模塊用于根據(jù)所述車輛綜合狀態(tài)信息生成車輛控制指令，實現(xiàn)輔助駕駛功能。

43、一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述的計算機程序時實現(xiàn)上述慣性導航和機器視覺的輔助駕駛方法。

44、一種包含計算機可執(zhí)行指令的存儲介質(zhì)，所述計算機可執(zhí)行指令在由計算機處理器執(zhí)行時用于執(zhí)行上述慣性導航和機器視覺的輔助駕駛方法。

45、本發(fā)明的有益效果為：

46、（1）通過對車輛周圍環(huán)境圖像數(shù)據(jù)進行圖像增強、裁剪、數(shù)據(jù)歸一化預處理，使得所述車輛周圍環(huán)境圖像數(shù)據(jù)更易于被模型識別和處理，從而提高輔助駕駛視覺特征提取的效率。

47、（2）通過對慣性傳感器數(shù)據(jù)進行濾波、去噪、數(shù)據(jù)歸一化預處理，提高了慣性傳感器數(shù)據(jù)質(zhì)量，減少了由于噪聲和干擾造成的誤差，?提高了輔助駕駛姿態(tài)模型預測精度；通過數(shù)據(jù)歸一化，使得不同類型的數(shù)據(jù)在同一尺度下進行比較，有利于輔助駕駛姿態(tài)模型的訓練和預測。

48、（3）通過flownetsimple特征編碼器對車輛周圍環(huán)境圖像數(shù)據(jù)進行特征提取，?能夠自動從圖像中提取出有用的輔助駕駛視覺特征，避免了手動設(shè)計特征提取算法的復雜性，同時增強了特征表達，能夠?qū)W習到更加復雜和抽象的特征表示。

49、（4）通過多頭注意力機制將輔助駕駛視覺特征和輔助駕駛慣性特征進行特征融合得到輔助駕駛?cè)诤咸卣骷瑢⒉煌瑏碓吹奶卣鬟M行融合并按不同特征的重要性進行加權(quán)，提高了融合特征的魯棒性，從而更全面地感知車輛周圍環(huán)境和車輛運動狀態(tài)，提高輔助駕駛系統(tǒng)的準確性。

50、（5）通過實時輔助駕駛數(shù)據(jù)處理和輔助駕駛功能執(zhí)行，可以提高駕駛的安全性和舒適性，同時提高駕駛效率，減少人為因素對駕駛的影響。