本發(fā)明屬于智能駕駛，具體涉及一種基于時序鳥瞰圖的車道線識別方法、裝置、非暫時性計算機(jī)可讀存儲介質(zhì)及車輛。

背景技術(shù)：

1、在自動駕駛場景中，通過單個或者多個攝像頭提供的2d圖像，使用深度學(xué)習(xí)進(jìn)行車道線估計是一種低成本、高性能的方式。但是之前的方法往往只依靠單幀圖像進(jìn)行判別，這種方式在連續(xù)的視頻序列上缺少關(guān)聯(lián)信息，導(dǎo)致對于車道線遮擋問題無法依靠歷史幀進(jìn)行輔助識別和矯正。

2、bev是鳥瞰圖(bird’s?eye?view)的簡稱，是一種用于描述感知世界的視角或坐標(biāo)系(3d)，將圖像空間轉(zhuǎn)換到bev空間可以更好的表觀環(huán)境的3d信息?；赽ev空間的車道線感知是目前主流的方案。其中深度信息對于3d車道線的感知至關(guān)重要，因此部分工作探索如何更好地利用深度信息來進(jìn)行識別。例如lls探索利用卷積網(wǎng)絡(luò)提取圖片中的深度信息，根據(jù)深度信息獲取bev特征再進(jìn)行后續(xù)的識別，但是這些方法需要額外的信息輸入，會帶來計算資源的消耗。除了深度信息的探索外，部分工作開始研究如何更好地提取和關(guān)聯(lián)圖像空間和時序空間的特征，來建模更加魯棒的bev特征。例如bevformer采用了四個時刻的6個視角的環(huán)視圖作為輸入，利用deformabledetr來進(jìn)行特征的提取，persformer則是前視圖作為輸入，采用金字塔式的方式來構(gòu)造bev特征。

3、然而，bevformer方案輸入的多視角圖像會帶來計算資源開銷大的問題，并且，當(dāng)輸入的兩幀樣本變化較大時，難以通過運(yùn)動信息對齊相同的位置點，這樣就會引入對齊無差進(jìn)而影響網(wǎng)絡(luò)的學(xué)習(xí)。在實際應(yīng)用場景下，從時序上看車道線往往會在某一幀被遮擋，而persformer的處理邏輯是對于每一幀單獨預(yù)測，因此當(dāng)某一幀的車道線被遮擋或者變化快時，由于無法利用之前的歷史信息來輔助，導(dǎo)致當(dāng)前車道線的識別困難。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例所要解決的技術(shù)問題在于，提供一種基于時序鳥瞰圖的車道線識別方法、裝置、非暫時性計算機(jī)可讀存儲介質(zhì)及車輛，以改善車道線被遮擋情況下的預(yù)測性能。

2、為解決上述技術(shù)問題，本發(fā)明提供一種基于時序鳥瞰圖的車道線識別方法，包括：

3、獲取車輛前方預(yù)設(shè)范圍內(nèi)的圖像，并對所述圖像進(jìn)行特征提取，得到多幀圖像特征；

4、將提取的多幀圖像特征按時序存入預(yù)設(shè)圖像特征存儲隊列；

5、分別獲取所述預(yù)設(shè)圖像特征存儲隊列中歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征；

6、將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征進(jìn)行融合，得到更新的歷史幀的鳥瞰圖特征；

7、采用所述更新的歷史幀的鳥瞰圖特征進(jìn)行車道線識別。

8、優(yōu)選地，在將提取的多幀圖像特征按時序存入預(yù)設(shè)圖像特征存儲隊列時還包括：

9、判斷所述預(yù)設(shè)圖像特征存儲隊列中是否沒有歷史幀的鳥瞰圖特征；

10、如果沒有歷史幀的鳥瞰圖特征，則將當(dāng)前幀作為歷史幀，并提取當(dāng)前幀的鳥瞰圖特征作為歷史幀的鳥瞰圖特征；

11、如果有歷史幀的鳥瞰圖特征，則提取當(dāng)前幀的鳥瞰圖特征。

12、優(yōu)選地，當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀不是初始幀時，將當(dāng)前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

13、優(yōu)選地，將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征進(jìn)行融合，具體是：將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征使用deformabledetr進(jìn)行融合，其中，當(dāng)前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

14、優(yōu)選地，在得到更新的歷史幀的鳥瞰圖特征后，還包括：判斷當(dāng)前幀的鳥瞰圖特征是否是所述預(yù)設(shè)圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當(dāng)前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則繼續(xù)進(jìn)行bev特征提取和歷史幀的bev特征更新。

15、本發(fā)明還提供一種非暫時性計算機(jī)可讀存儲介質(zhì)，所述非暫時性計算機(jī)可讀存儲介質(zhì)包括存儲的計算機(jī)程序；其中，所述計算機(jī)程序在運(yùn)行時控制所述非暫時性計算機(jī)可讀存儲介質(zhì)所在的設(shè)備執(zhí)行所述的基于時序鳥瞰圖的車道線識別方法。

16、本發(fā)明還提供一種基于時序鳥瞰圖的車道線識別裝置，包括：

17、圖像特征提取模塊，用于對獲取的車輛前方預(yù)設(shè)范圍內(nèi)的圖像進(jìn)行特征提取，得到多幀圖像特征；

18、存儲模塊，用于將提取的多幀圖像特征按時序存入預(yù)設(shè)圖像特征存儲隊列；

19、鳥瞰圖特征獲取模塊，用于分別獲取所述預(yù)設(shè)圖像特征存儲隊列中歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征；

20、鳥瞰圖特征融合模塊，用于將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征進(jìn)行融合，得到更新的歷史幀的鳥瞰圖特征；

21、識別模塊，用于采用所述更新的歷史幀的鳥瞰圖特征進(jìn)行車道線識別。

22、優(yōu)選地，所述存儲模塊在將提取的多幀圖像特征按時序存入預(yù)設(shè)圖像特征存儲隊列時還用于：判斷所述預(yù)設(shè)圖像特征存儲隊列中是否沒有歷史幀的鳥瞰圖特征；

23、所述鳥瞰圖特征獲取模塊還用于：如果沒有歷史幀的鳥瞰圖特征，則將當(dāng)前幀作為歷史幀，并提取當(dāng)前幀的鳥瞰圖特征作為歷史幀的鳥瞰圖特征；如果有歷史幀的鳥瞰圖特征，則提取當(dāng)前幀的鳥瞰圖特征。

24、優(yōu)選地，所述鳥瞰圖特征獲取模塊還用于：當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀不是初始幀時，將當(dāng)前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

25、優(yōu)選地，所述鳥瞰圖特征融合模塊具體用于：將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征使用deformabledetr進(jìn)行融合，其中，當(dāng)前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

26、優(yōu)選地，所述裝置還包括迭代模塊，用于在得到更新的歷史幀的鳥瞰圖特征后，判斷當(dāng)前幀的鳥瞰圖特征是否是所述預(yù)設(shè)圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當(dāng)前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則由所述鳥瞰圖特征獲取模塊繼續(xù)獲取相應(yīng)的鳥瞰圖特征、由所述鳥瞰圖特征融合模塊進(jìn)行鳥瞰圖特征的融合。

27、本發(fā)明還提供一種車輛，包括所述的基于時序鳥瞰圖的車道線識別裝置。

28、實施本發(fā)明具有如下有益效果：通過引入具有時序信息的鳥瞰圖特征來對歷史幀的鳥瞰圖特征進(jìn)行更新，從而在當(dāng)前車道線被遮擋時，可以根據(jù)歷史時間信息從歷史特征中找到和當(dāng)前特征相似的區(qū)域，采用該區(qū)域內(nèi)的車道線信息來輔助當(dāng)前車道線識別，為改善車道線被遮擋情況下的預(yù)測性能提供有力支撐。

技術(shù)特征：

1.一種基于時序鳥瞰圖的車道線識別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將提取的多幀圖像特征按時序存入預(yù)設(shè)圖像特征存儲隊列時還包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀不是初始幀時，將當(dāng)前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征進(jìn)行融合，具體是：將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征使用deformabledetr進(jìn)行融合，其中，當(dāng)前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在得到更新的歷史幀的鳥瞰圖特征后，還包括：判斷當(dāng)前幀的鳥瞰圖特征是否是所述預(yù)設(shè)圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當(dāng)前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則繼續(xù)進(jìn)行bev特征提取和歷史幀的bev特征更新。

6.一種非暫時性計算機(jī)可讀存儲介質(zhì)，其特征在于，所述非暫時性計算機(jī)可讀存儲介質(zhì)包括存儲的計算機(jī)程序；其中，所述計算機(jī)程序在運(yùn)行時控制所述非暫時性計算機(jī)可讀存儲介質(zhì)所在的設(shè)備執(zhí)行如權(quán)利要求1～5任一項所述的基于時序鳥瞰圖的車道線識別方法。

7.一種基于時序鳥瞰圖的車道線識別裝置，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述存儲模塊在將提取的多幀圖像特征按時序存入預(yù)設(shè)圖像特征存儲隊列時還用于：判斷所述預(yù)設(shè)圖像特征存儲隊列中是否沒有歷史幀的鳥瞰圖特征；

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述鳥瞰圖特征獲取模塊還用于：當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當(dāng)存入所述預(yù)設(shè)圖像特征存儲隊列的當(dāng)前幀不是初始幀時，將當(dāng)前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述鳥瞰圖特征融合模塊具體用于：將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征使用deformabledetr進(jìn)行融合，其中，當(dāng)前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

11.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括迭代模塊，用于在得到更新的歷史幀的鳥瞰圖特征后，判斷當(dāng)前幀的鳥瞰圖特征是否是所述預(yù)設(shè)圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當(dāng)前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則由所述鳥瞰圖特征獲取模塊繼續(xù)獲取相應(yīng)的鳥瞰圖特征、由所述鳥瞰圖特征融合模塊進(jìn)行鳥瞰圖特征的融合。

12.一種車輛，其特征在于，包括如權(quán)利要求7～11任一項所述的基于時序鳥瞰圖的車道線識別裝置。

技術(shù)總結(jié)
本發(fā)明公開一種基于時序鳥瞰圖的車道線識別方法、裝置、非暫時性計算機(jī)可讀存儲介質(zhì)及車輛，其中，方法包括：獲取車輛前方預(yù)設(shè)范圍內(nèi)的圖像，并對所述圖像進(jìn)行特征提取，得到多幀圖像特征；將提取的多幀圖像特征按時序存入預(yù)設(shè)圖像特征存儲隊列；分別獲取所述預(yù)設(shè)圖像特征存儲隊列中歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征；將所述歷史幀的鳥瞰圖特征和當(dāng)前幀的鳥瞰圖特征進(jìn)行融合，得到更新的歷史幀的鳥瞰圖特征；采用所述更新的歷史幀的鳥瞰圖特征進(jìn)行車道線識別。本發(fā)明通過引入具有時序信息的鳥瞰圖特征來對歷史幀的鳥瞰圖特征進(jìn)行更新，為改善車道線被遮擋情況下的預(yù)測性能提供有力支撐。

技術(shù)研發(fā)人員：胡益琿,牟永強(qiáng)
受保護(hù)的技術(shù)使用者：廣州汽車集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6