本申請(qǐng)涉及汽車，具體涉及一種三維車道線識(shí)別方法及其裝置、存儲(chǔ)介質(zhì)、電子設(shè)備。

背景技術(shù)：

1、隨著社會(huì)與城市化發(fā)展，城市的各方面社會(huì)功能與空間結(jié)構(gòu)都處于不斷復(fù)雜化的趨勢(shì)中。其中，道路交通網(wǎng)絡(luò)的復(fù)雜化正在逐漸加大人們駕駛出行所需的學(xué)習(xí)成本與駕駛精神力。在此背景下，汽車自動(dòng)駕駛技術(shù)通過依靠人工智能、視覺計(jì)算、雷達(dá)、監(jiān)控裝置和全球定位系統(tǒng)的協(xié)同合作，旨在解放任何人類的主動(dòng)操作，自動(dòng)安全地完成出行任務(wù)。感知任務(wù)在汽車自動(dòng)駕駛技術(shù)中相當(dāng)于車的“眼睛”，是自動(dòng)駕駛中的基礎(chǔ)性工作，在此基礎(chǔ)上，自動(dòng)駕駛汽車通過結(jié)合路面感知結(jié)果與其它任務(wù)模塊以實(shí)現(xiàn)最終的運(yùn)動(dòng)控制。

2、而在所有路面感知目標(biāo)中，車道線是關(guān)鍵性的路面感知目標(biāo)，目前主流的車道線感知技術(shù)是基于二維的車道線感知實(shí)現(xiàn)的，通常由三個(gè)步驟組成：(1)對(duì)二維圖像進(jìn)行車道線分割，提取圖像中屬于車道線的像素集合；(2)通過空間變換將車道線分割結(jié)果由圖像坐標(biāo)系轉(zhuǎn)換到bev坐標(biāo)系下表示；(3)通過強(qiáng)假設(shè)世界為平面，用二維的車道線曲線擬合結(jié)果近似地代表真實(shí)三維世界。但這種假設(shè)本身就具有不合理性，這種方法在凹凸不平的路面時(shí)感知結(jié)果誤差較大，容易會(huì)導(dǎo)致車輛駕駛事故的發(fā)生。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的目的在于提出一種三維車道線識(shí)別方法及其裝置、存儲(chǔ)介質(zhì)、電子設(shè)備，以解決基于二維的車道線感知實(shí)現(xiàn)方案在凹凸不平的路面時(shí)感知結(jié)果誤差較大，容易會(huì)導(dǎo)致車輛駕駛事故的發(fā)生的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)實(shí)施例提供一種三維車道線識(shí)別方法，包括：

3、獲取車輛前視圖像；

4、將所述車輛前視圖像輸入預(yù)先訓(xùn)練好的三維車道線識(shí)別模型進(jìn)行車道線識(shí)別，得到三維車道線信息；

5、其中，所述三維車道線識(shí)別模型包括依次連接的主干網(wǎng)絡(luò)、空間變換網(wǎng)絡(luò)、編碼器、解碼器，所述主干網(wǎng)絡(luò)用于接收車輛前視圖像，對(duì)所述車輛前視圖像進(jìn)行二維特征編碼得到二維的車道線分割結(jié)果；所述空間變換網(wǎng)絡(luò)用于對(duì)所述二維的車道線分割結(jié)果轉(zhuǎn)換至top-view坐標(biāo)系；所述編碼器用于對(duì)top-view坐標(biāo)系下的車道分割結(jié)果進(jìn)行三維特征編碼得到三維車道線特征；所述解碼器用于對(duì)所述三維車道線特征進(jìn)行解碼得到三維車道線信息。

6、在一些方案中，所述三維車道線識(shí)別模型的訓(xùn)練包括第一階段和第二階段，所述第一階段包括獲取待訓(xùn)練主干網(wǎng)絡(luò)，使用車輛前視圖像樣本及其對(duì)應(yīng)的二維標(biāo)注對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；所述第二階段包括根據(jù)所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)和待訓(xùn)練的空間變換網(wǎng)絡(luò)、編碼器、解碼器構(gòu)建待訓(xùn)練三維車道線識(shí)別模型，并使用車輛前視圖像樣本及其對(duì)應(yīng)的三維標(biāo)注對(duì)所述待訓(xùn)練三維車道線識(shí)別模型進(jìn)行訓(xùn)練得到三維車道線識(shí)別模型。

7、在一些方案中，所述二維標(biāo)注為車輛前視圖像樣本對(duì)應(yīng)的掩膜圖像。

8、在一些方案中，所述三維標(biāo)注為車輛前視圖像樣本中車道線的三維位置信息。

9、在一些方案中，所述第一階段具體包括：以所述二維標(biāo)注作為待訓(xùn)練主干網(wǎng)絡(luò)的監(jiān)督信號(hào)對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；

10、所述第二階段具體包括：

11、以所述三維標(biāo)注作為所述編碼器、解碼器的監(jiān)督信號(hào)對(duì)所述編碼器、解碼器進(jìn)行訓(xùn)練。

12、在一些方案中，所述第二階段具體包括：

13、根據(jù)車輛前視攝像頭的內(nèi)外參數(shù)，將所述車輛前視圖像樣本中車道線的三維位置信息投影至車輛前視攝像頭視角下的二維空間生成二維標(biāo)注，并以該二維標(biāo)注作為所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)的監(jiān)督信號(hào)對(duì)所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

14、本申請(qǐng)實(shí)施例還提供一種三維車道線識(shí)別裝置，包括：

15、圖像獲取模塊，用于獲取車輛前視圖像；

16、圖像識(shí)別模塊，用于將所述車輛前視圖像輸入預(yù)先訓(xùn)練好的三維車道線識(shí)別模型進(jìn)行車道線識(shí)別，得到三維車道線信息；

17、其中，所述三維車道線識(shí)別模型包括依次連接的主干網(wǎng)絡(luò)、空間變換網(wǎng)絡(luò)、編碼器、解碼器，所述主干網(wǎng)絡(luò)用于接收車輛前視圖像，對(duì)所述車輛前視圖像進(jìn)行二維特征編碼得到二維的車道線分割結(jié)果；所述空間變換網(wǎng)絡(luò)用于對(duì)所述二維的車道線分割結(jié)果轉(zhuǎn)換至top-view坐標(biāo)系；所述編碼器用于對(duì)top-view坐標(biāo)系下的車道分割結(jié)果進(jìn)行三維特征編碼得到三維車道線特征；所述解碼器用于對(duì)所述三維車道線特征進(jìn)行解碼得到三維車道線信息。

18、在一些方案中，所述三維車道線識(shí)別模型的訓(xùn)練包括第一階段和第二階段，所述第一階段包括獲取待訓(xùn)練主干網(wǎng)絡(luò)，使用車輛前視圖像樣本及其對(duì)應(yīng)的二維標(biāo)注對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；所述第二階段包括根據(jù)所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)和待訓(xùn)練的空間變換網(wǎng)絡(luò)、編碼器、解碼器構(gòu)建待訓(xùn)練三維車道線識(shí)別模型，并使用車輛前視圖像樣本及其對(duì)應(yīng)的三維標(biāo)注對(duì)所述待訓(xùn)練三維車道線識(shí)別模型進(jìn)行訓(xùn)練得到三維車道線識(shí)別模型。

19、在一些方案中，所述二維標(biāo)注為車輛前視圖像樣本對(duì)應(yīng)的掩膜圖像，所述三維標(biāo)注為車輛前視圖像樣本中車道線的三維位置信息。

20、在一些方案中，所述第一階段具體包括：以所述二維標(biāo)注作為待訓(xùn)練主干網(wǎng)絡(luò)的監(jiān)督信號(hào)對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；

21、所述第二階段具體包括：

22、以所述三維標(biāo)注作為所述編碼器、解碼器的監(jiān)督信號(hào)對(duì)所述編碼器、解碼器進(jìn)行訓(xùn)練；

23、根據(jù)車輛前視攝像頭的內(nèi)外參數(shù)，將所述車輛前視圖像樣本中車道線的三維位置信息投影至車輛前視攝像頭視角下的二維空間生成二維標(biāo)注，并以該二維標(biāo)注作為所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)的監(jiān)督信號(hào)對(duì)所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

24、本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上所述的三維車道線識(shí)別方法。

25、本申請(qǐng)實(shí)施例還提供一種電子設(shè)備，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上所述的三維車道線識(shí)別方法。

26、本申請(qǐng)實(shí)施例提供了一種三維車道線識(shí)別方法及其裝置、存儲(chǔ)介質(zhì)、電子設(shè)備，基于三維車道線識(shí)別模型實(shí)現(xiàn)對(duì)車輛前視圖像中車道線的識(shí)別，該三維車道線識(shí)別模型依次連接的主干網(wǎng)絡(luò)、空間變換網(wǎng)絡(luò)、編碼器、解碼器，通過主干網(wǎng)絡(luò)接收車輛前視圖像，對(duì)所述車輛前視圖像進(jìn)行二維特征編碼得到二維的車道線分割結(jié)果，并通過空間變換網(wǎng)絡(luò)用于對(duì)所述二維的車道線分割結(jié)果轉(zhuǎn)換至top-view坐標(biāo)系；相對(duì)于現(xiàn)有技術(shù)通過強(qiáng)假設(shè)世界為平面，用二維的車道線曲線擬合結(jié)果近似地代表真實(shí)三維世界的方法而言，本實(shí)施例通過編碼器對(duì)top-view坐標(biāo)系下的車道分割結(jié)果進(jìn)行三維特征編碼得到三維車道線特征，并通過解碼器對(duì)所述三維車道線特征進(jìn)行解碼得到三維車道線信息，獲得的三維車道線信息能夠更接近車道線的真實(shí)三維信息，因此，能夠有效地提高在凹凸不平的路面時(shí)感知結(jié)果精度，避免車輛駕駛事故的發(fā)生。

技術(shù)特征：

1.一種三維車道線識(shí)別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述三維車道線識(shí)別模型的訓(xùn)練包括第一階段和第二階段，所述第一階段包括獲取待訓(xùn)練主干網(wǎng)絡(luò)，使用車輛前視圖像樣本及其對(duì)應(yīng)的二維標(biāo)注對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；所述第二階段包括根據(jù)所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)和待訓(xùn)練的空間變換網(wǎng)絡(luò)、編碼器、解碼器構(gòu)建待訓(xùn)練三維車道線識(shí)別模型，并使用車輛前視圖像樣本及其對(duì)應(yīng)的三維標(biāo)注對(duì)所述待訓(xùn)練三維車道線識(shí)別模型進(jìn)行訓(xùn)練得到三維車道線識(shí)別模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述二維標(biāo)注為車輛前視圖像樣本對(duì)應(yīng)的掩膜圖像。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述三維標(biāo)注為車輛前視圖像樣本中車道線的三維位置信息。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一階段具體包括：以所述二維標(biāo)注作為待訓(xùn)練主干網(wǎng)絡(luò)的監(jiān)督信號(hào)對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述第二階段具體包括：

7.一種三維車道線識(shí)別裝置，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述三維車道線識(shí)別模型的訓(xùn)練包括第一階段和第二階段，所述第一階段包括獲取待訓(xùn)練主干網(wǎng)絡(luò)，使用車輛前視圖像樣本及其對(duì)應(yīng)的二維標(biāo)注對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；所述第二階段包括根據(jù)所述預(yù)訓(xùn)練主干網(wǎng)絡(luò)和待訓(xùn)練的空間變換網(wǎng)絡(luò)、編碼器、解碼器構(gòu)建待訓(xùn)練三維車道線識(shí)別模型，并使用車輛前視圖像樣本及其對(duì)應(yīng)的三維標(biāo)注對(duì)所述待訓(xùn)練三維車道線識(shí)別模型進(jìn)行訓(xùn)練得到三維車道線識(shí)別模型。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述二維標(biāo)注為車輛前視圖像樣本對(duì)應(yīng)的掩膜圖像，所述三維標(biāo)注為車輛前視圖像樣本中車道線的三維位置信息。

10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述第一階段具體包括：以所述二維標(biāo)注作為待訓(xùn)練主干網(wǎng)絡(luò)的監(jiān)督信號(hào)對(duì)所述待訓(xùn)練主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到預(yù)訓(xùn)練主干網(wǎng)絡(luò)；

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1～6中任一項(xiàng)所述的三維車道線識(shí)別方法。

12.一種電子設(shè)備，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1～6中任一項(xiàng)所述的三維車道線識(shí)別方法。

技術(shù)總結(jié)
本申請(qǐng)涉及一種三維車道線識(shí)別方法及其裝置、存儲(chǔ)介質(zhì)、電子設(shè)備，包括：獲取車輛前視圖像，將所述車輛前視圖像輸入預(yù)先訓(xùn)練好的三維車道線識(shí)別模型進(jìn)行車道線識(shí)別得到三維車道線信息；三維車道線識(shí)別模型包括依次連接的主干網(wǎng)絡(luò)、空間變換網(wǎng)絡(luò)、編碼器、解碼器，主干網(wǎng)絡(luò)用于接收車輛前視圖像，對(duì)車輛前視圖像進(jìn)行二維特征編碼得到二維的車道線分割結(jié)果；空間變換網(wǎng)絡(luò)用于對(duì)二維的車道線分割結(jié)果轉(zhuǎn)換至top?view坐標(biāo)系；編碼器用于對(duì)top?view坐標(biāo)系下的車道分割結(jié)果進(jìn)行三維特征編碼得到三維車道線特征；解碼器用于對(duì)三維車道線特征進(jìn)行解碼得到三維車道線信息。通過本申請(qǐng)，能夠提高車輛系統(tǒng)對(duì)復(fù)雜路面的三維車道線識(shí)別能力。

技術(shù)研發(fā)人員：聶鵬,牟永強(qiáng)
受保護(hù)的技術(shù)使用者：廣州汽車集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2