本發(fā)明屬于智能駕駛，具體涉及一種基于長短時記憶時域車道線估計方法、裝置、非暫時性計算機可讀存儲介質(zhì)及車輛。

背景技術(shù)：

1、在自動駕駛場景中，通過單個或者多個攝像頭提供的2d圖像，使用深度學(xué)習(xí)進行車道線估計是一種低成本、高性能的方式。之前的一些方法往往只依靠單幀圖像進行判別，這種方式在連續(xù)的視頻序列上缺少關(guān)聯(lián)信息，導(dǎo)致對于車道線遮擋問題無法依靠歷史幀進行輔助識別和矯正；另一些方法通過3d卷集神經(jīng)網(wǎng)絡(luò)來建模一小段時間內(nèi)的表觀信息，由于此類方法的計算開銷大，使得其在高幀率、高響應(yīng)、高時長的情況下難以應(yīng)用；另一些方法通過rnn網(wǎng)絡(luò)來迭代更新表觀特征，這類方法可以建模長期的時序依賴關(guān)系，但是受限于梯度傳播機制，會產(chǎn)生災(zāi)難性的遺忘。

2、除上述問題外，另一個問題是往往在自動駕駛?cè)蝿?wù)上圖像分辨率和模型性能之間存在著權(quán)衡，分辨率、推理時延和模型性能之間是正相關(guān)的，因此需要進行合理的設(shè)置達(dá)到最優(yōu)的平衡點。

3、有了合理的時序建模方法和訓(xùn)得計算性能和模型效果的權(quán)衡后，緊接著需要面對的就是如何應(yīng)用時序信息的問題。通常情況下，時序車道線的模型需要用歷史的信息來輔助當(dāng)前幀車道線的識別。在時間長度一致時，車道線位置的變化程度主要受到樣本自身情況的影響，例如直線和彎道在同樣時間維度下變化情況后者更快，因此模型往往會在這種場景下難以預(yù)測。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例所要解決的技術(shù)問題在于，提供一種基于長短時記憶時域車道線估計方法、裝置、非暫時性計算機可讀存儲介質(zhì)及車輛，增強鳥瞰圖特征的時序信息，改善車道線被遮擋情況下的預(yù)測性能。

2、為解決上述技術(shù)問題，本發(fā)明提供一種基于長短時記憶時域車道線估計方法，包括：

3、獲取車輛前方預(yù)設(shè)范圍內(nèi)的圖像，并對所述圖像進行特征提取，得到多幀圖像特征；

4、將提取的多幀圖像特征作為短期圖像特征按時序存入短期圖像特征存儲隊列；

5、對當(dāng)前幀圖像特征與上一幀的短期圖像特征進行融合，并對融合后的圖像特征提取鳥瞰圖特征，得到當(dāng)前幀的鳥瞰圖特征；

6、根據(jù)所述當(dāng)前幀的鳥瞰圖特征生成當(dāng)前幀的查詢向量、鍵向量和值向量，并存入長期圖像特征存儲隊列；

7、判斷是否有車輛運動信息，并根據(jù)判斷結(jié)果從所述長期圖像特征存儲隊列中獲取相應(yīng)的歷史時刻的鍵向量和值向量；

8、將所述歷史時刻的鍵向量和值向量與當(dāng)前幀的鍵向量和值向量進行融合，得到更新的鍵向量和值向量；

9、采用所述當(dāng)前幀的查詢向量和所述更新的鍵向量和值向量進行車道線識別。

10、優(yōu)選地，所述判斷是否有車輛運動信息，并根據(jù)判斷結(jié)果從所述長期圖像特征存儲隊列中獲取相應(yīng)的歷史時刻的鍵向量和值向量，具體包括：

11、判斷是否有車輛運動信息；

12、如果沒有車輛運動信息，則獲取所述長期圖像特征存儲隊列中的所有鍵向量和值向量；

13、如果有車輛運動信息，則根據(jù)車輛運動信息計算對應(yīng)的歷史時刻，根據(jù)計算出的該歷史時刻從所述長期圖像特征存儲隊列中選取該歷史時刻的鍵向量和值向量。

14、優(yōu)選地，所述將所述歷史時刻的鍵向量和值向量與當(dāng)前幀的鍵向量和值向量進行融合，得到更新的鍵向量和值向量，具體是：將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的所有鍵向量和值向量進行融合；或者將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的歷史時刻的鍵向量和值向量進行融合。

15、優(yōu)選地，所述根據(jù)車輛運動信息計算對應(yīng)的歷史時刻，具體是：根據(jù)車速和車輛位置變化計算出車輛歷史位置及其對應(yīng)的歷史時刻。

16、優(yōu)選地，對當(dāng)前幀圖像特征與上一幀的短期圖像特征通過warp對齊進行融合。

17、本發(fā)明還提供一種非暫時性計算機可讀存儲介質(zhì)，所述非暫時性計算機可讀存儲介質(zhì)包括存儲的計算機程序；其中，所述計算機程序在運行時控制所述非暫時性計算機可讀存儲介質(zhì)所在的設(shè)備執(zhí)行所述的基于長短時記憶時域車道線估計方法。

18、本發(fā)明還提供一種基于長短時記憶時域車道線估計裝置，包括：

19、圖像特征提取模塊，用于獲取車輛前方預(yù)設(shè)范圍內(nèi)的圖像，并對所述圖像進行特征提取，得到多幀圖像特征；

20、存儲模塊，用于將提取的多幀圖像特征作為短期圖像特征按時序存入短期圖像特征存儲隊列；

21、鳥瞰圖特征獲取模塊，用于對當(dāng)前幀圖像特征與上一幀的短期圖像特征進行融合，并對融合后的圖像特征提取鳥瞰圖特征，得到當(dāng)前幀的鳥瞰圖特征；

22、向量生成模塊，用于根據(jù)所述當(dāng)前幀的鳥瞰圖特征生成當(dāng)前幀的查詢向量、鍵向量和值向量，并存入長期圖像特征存儲隊列；

23、向量獲取模塊，用于判斷是否有車輛運動信息，并根據(jù)判斷結(jié)果從所述長期圖像特征存儲隊列中獲取相應(yīng)的歷史時刻的鍵向量和值向量；

24、向量融合模塊，用于將所述歷史時刻的鍵向量和值向量與當(dāng)前幀的鍵向量和值向量進行融合，得到更新的鍵向量和值向量；

25、識別模塊，用于采用所述當(dāng)前幀的查詢向量和所述更新的鍵向量和值向量進行車道線識別。

26、優(yōu)選地，所述向量獲取模塊具體用于：判斷是否有車輛運動信息；如果沒有車輛運動信息，則獲取所述長期圖像特征存儲隊列中的所有鍵向量和值向量；如果有車輛運動信息，則根據(jù)車輛運動信息計算對應(yīng)的歷史時刻，根據(jù)計算出的該歷史時刻從所述長期圖像特征存儲隊列中選取該歷史時刻的鍵向量和值向量。

27、優(yōu)選地，所述向量融合模塊具體用于：將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的所有鍵向量和值向量進行融合；或者將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的歷史時刻的鍵向量和值向量進行融合。

28、優(yōu)選地，所述根據(jù)車輛運動信息計算對應(yīng)的歷史時刻，具體方式是：根據(jù)車速和車輛位置變化計算出車輛歷史位置及其對應(yīng)的歷史時刻。

29、優(yōu)選地，所述鳥瞰圖特征獲取模塊具體用于對當(dāng)前幀圖像特征與上一幀的短期圖像特征通過warp對齊進行融合。

30、本發(fā)明還提供一種車輛，包括所述的基于長短時記憶時域車道線估計裝置。

31、實施本發(fā)明具有如下有益效果：本發(fā)明實施例基于長短時序建模進行車道線識別，引入短期圖像特征來平衡分辨率和性能；通過較低的空間開銷維系一個長期的時序特征隊列，在對當(dāng)前幀車道線進行識別時，可以結(jié)合車輛運動狀態(tài)，通過長期的時序特征隊列獲得全局的環(huán)境和車道線時序信息，提高車道線被遮擋情況下網(wǎng)絡(luò)識別的能力。

技術(shù)特征：

1.一種基于長短時記憶時域車道線估計方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷是否有車輛運動信息，并根據(jù)判斷結(jié)果從所述長期圖像特征存儲隊列中獲取相應(yīng)的歷史時刻的鍵向量和值向量，具體包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述歷史時刻的鍵向量和值向量與當(dāng)前幀的鍵向量和值向量進行融合，得到更新的鍵向量和值向量，具體是：將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的所有鍵向量和值向量進行融合；或者將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的歷史時刻的鍵向量和值向量進行融合。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)車輛運動信息計算對應(yīng)的歷史時刻，具體是：根據(jù)車速和車輛位置變化計算出車輛歷史位置及其對應(yīng)的歷史時刻。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，對當(dāng)前幀圖像特征與上一幀的短期圖像特征通過warp對齊進行融合。

6.一種非暫時性計算機可讀存儲介質(zhì)，其特征在于，所述非暫時性計算機可讀存儲介質(zhì)包括存儲的計算機程序；其中，所述計算機程序在運行時控制所述非暫時性計算機可讀存儲介質(zhì)所在的設(shè)備執(zhí)行如權(quán)利要求1～5任一項所述的基于長短時記憶時域車道線估計方法。

7.一種基于長短時記憶時域車道線估計裝置，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述向量獲取模塊具體用于：判斷是否有車輛運動信息；如果沒有車輛運動信息，則獲取所述長期圖像特征存儲隊列中的所有鍵向量和值向量；如果有車輛運動信息，則根據(jù)車輛運動信息計算對應(yīng)的歷史時刻，根據(jù)計算出的該歷史時刻從所述長期圖像特征存儲隊列中選取該歷史時刻的鍵向量和值向量。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述向量融合模塊具體用于：將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的所有鍵向量和值向量進行融合；或者將當(dāng)前幀的鍵向量和值向量與從長期圖像特征存儲隊列中選取的歷史時刻的鍵向量和值向量進行融合。

10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述根據(jù)車輛運動信息計算對應(yīng)的歷史時刻，具體方式是：根據(jù)車速和車輛位置變化計算出車輛歷史位置及其對應(yīng)的歷史時刻。

11.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述鳥瞰圖特征獲取模塊具體用于對當(dāng)前幀圖像特征與上一幀的短期圖像特征通過warp對齊進行融合。

12.一種車輛，其特征在于，包括如權(quán)利要求7～11任一項所述的基于長短時記憶時域車道線估計裝置。

技術(shù)總結(jié)
本發(fā)明公開一種基于長短時記憶時域車道線估計方法、裝置、非暫時性計算機可讀存儲介質(zhì)及車輛，其中，方法包括：對當(dāng)前幀圖像特征與上一幀的短期圖像特征進行融合，并對融合后的圖像特征提取鳥瞰圖特征，得到當(dāng)前幀的鳥瞰圖特征；根據(jù)當(dāng)前幀的鳥瞰圖特征生成當(dāng)前幀的查詢向量、鍵向量和值向量，并存入長期圖像特征存儲隊列；判斷是否有車輛運動信息，并根據(jù)判斷結(jié)果從長期圖像特征存儲隊列中獲取相應(yīng)的歷史時刻的鍵向量和值向量；將歷史時刻的鍵向量和值向量與當(dāng)前幀的鍵向量和值向量進行融合，得到更新的鍵向量和值向量；采用當(dāng)前幀的查詢向量和所述更新的鍵向量和值向量進行車道線識別。本發(fā)明可以提高車道線被遮擋情況下網(wǎng)絡(luò)識別的能力。

技術(shù)研發(fā)人員：胡益琿,牟永強
受保護的技術(shù)使用者：廣州汽車集團股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6