本技術(shù)涉及自動駕駛,特別是涉及一種障礙物識別模型訓(xùn)練方法、裝置、存儲介質(zhì)和電子設(shè)備。
背景技術(shù):
1、自動駕駛輔助系統(tǒng)(autonomous?driver?assistance?systems,adas)是利用安裝在車上的各式各樣傳感器(毫米波雷達(dá)、激光雷達(dá)、單\雙目攝像頭以及衛(wèi)星導(dǎo)航),在汽車行駛過程中隨時(shí)來感應(yīng)周圍的環(huán)境,收集數(shù)據(jù),進(jìn)行靜態(tài)、動態(tài)物體的辨識、偵測與追蹤,并結(jié)合導(dǎo)航地圖數(shù)據(jù),進(jìn)行系統(tǒng)的運(yùn)算與分析,從而預(yù)先讓駕駛者察覺到可能發(fā)生的危險(xiǎn),有效增加汽車駕駛的舒適性和安全性。
2、自動駕駛輔助系統(tǒng)大致可以分為感知、融合、決策、執(zhí)行四個模塊,其中,感知模塊主要通過攝像頭和毫米波雷達(dá)識別車輛周圍的障礙物,再通過融合模塊對不同車載傳感器采集的數(shù)據(jù)進(jìn)行融合,后續(xù)的決策模塊和執(zhí)行模塊將全面依賴于融合的結(jié)果,實(shí)現(xiàn)對車輛的控制。
3、目前判斷物體是否是障礙物主要取決于攝像頭的識別結(jié)果,本質(zhì)上是由于毫米波雷達(dá)點(diǎn)云過于稀疏,導(dǎo)致聚類結(jié)果準(zhǔn)確率較低,毫米波雷達(dá)輸出的“物體成為可移動障礙物概率”的置信度不高,造成需要另行采用更為復(fù)雜的算法實(shí)現(xiàn)對可移動障礙物的識別,導(dǎo)致影響后續(xù)的融合算法和決策算法的效率和準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)提供一種障礙物識別模型訓(xùn)練方法、裝置、存儲介質(zhì)和電子設(shè)備,基于毫米波雷達(dá)采集的原始數(shù)據(jù),訓(xùn)練得到能夠輸出具有高置信度的“物體為可移動障礙物的概率”這一衍生變量的目標(biāo)障礙物識別模型,以便能夠告知后續(xù)算法毫米波雷達(dá)識別到的物體為可移動障礙物的可能性,從而輔助后續(xù)算法進(jìn)行更高效準(zhǔn)確的決策。
2、為了解決上述問題,本技術(shù)采用了以下的技術(shù)方案:
3、第一方面,本技術(shù)實(shí)施例提供了一種障礙物識別模型訓(xùn)練方法,所述方法包括:
4、獲取毫米波雷達(dá)采集的原始數(shù)據(jù)以及真值系統(tǒng)同步采集的真值數(shù)據(jù);
5、基于所述真值數(shù)據(jù),確定所述原始數(shù)據(jù)中的有效目標(biāo)和無效目標(biāo),并為所述有效目標(biāo)和所述無效目標(biāo)添加對應(yīng)的真值標(biāo)簽,以得到已標(biāo)注數(shù)據(jù);
6、基于所述已標(biāo)注數(shù)據(jù),對初始障礙物識別模型進(jìn)行訓(xùn)練,得到目標(biāo)障礙物識別模型,所述目標(biāo)障礙物識別模型用于確定車輛周圍的物體為可移動障礙物的概率。
7、在本技術(shù)一實(shí)施例中,基于所述真值數(shù)據(jù),確定所述原始數(shù)據(jù)中的有效目標(biāo)和無效目標(biāo)的步驟,包括:
8、將所述真值數(shù)據(jù)和所述原始數(shù)據(jù)進(jìn)行時(shí)間對齊,得到多個數(shù)據(jù)組;每個數(shù)據(jù)組中具有一一對應(yīng)的真值數(shù)據(jù)幀和原始數(shù)據(jù)幀;
9、針對任一數(shù)據(jù)組,確定所述數(shù)據(jù)組中的真值數(shù)據(jù)幀中的目標(biāo)物體距離自車的第一位置信息以及所述數(shù)據(jù)組中的原始數(shù)據(jù)幀中的目標(biāo)物體距離所述自車的第二位置信息;
10、在所述第一位置信息與所述第二位置信息之間的位置偏差位于閾值范圍內(nèi)時(shí),確定所述原始數(shù)據(jù)幀中的目標(biāo)物體為有效目標(biāo);
11、在所述第一位置信息與所述第二位置信息之間的位置偏差超出閾值范圍內(nèi)時(shí),確定所述原始數(shù)據(jù)幀中的目標(biāo)物體為無效目標(biāo)。
12、在本技術(shù)一實(shí)施例中,將所述真值數(shù)據(jù)和所述原始數(shù)據(jù)進(jìn)行時(shí)間對齊,得到多個數(shù)據(jù)組的步驟,包括:
13、獲取所述真值數(shù)據(jù)中的每個真值數(shù)據(jù)幀對應(yīng)的第一時(shí)間戳和所述原始數(shù)據(jù)中的原始數(shù)據(jù)幀對應(yīng)的第二時(shí)間戳;
14、基于所述第一時(shí)間戳和所述第二時(shí)間戳,匹配時(shí)間鄰近的真值數(shù)據(jù)幀和原始數(shù)據(jù)幀,以得到多個數(shù)據(jù)組。
15、在本技術(shù)一實(shí)施例中,基于所述已標(biāo)注數(shù)據(jù),對初始障礙物識別模型進(jìn)行訓(xùn)練,得到目標(biāo)障礙物識別模型的步驟,包括:
16、對所述已標(biāo)注數(shù)據(jù)進(jìn)行預(yù)處理,得到目標(biāo)數(shù)據(jù);所述目標(biāo)數(shù)據(jù)包括模型訓(xùn)練樣本和模型測試樣本;
17、將所述模型訓(xùn)練樣本作為訓(xùn)練集,對所述初始障礙物識別模型進(jìn)行訓(xùn)練,得到第一障礙物識別模型;
18、通過所述第一障礙物識別模型對所述模型測試樣本進(jìn)行識別,得到第一識別結(jié)果;
19、在所述第一識別結(jié)果滿足所述預(yù)設(shè)識別指標(biāo)的情況下,,得到所述目標(biāo)障礙物識別模型。
20、在本技術(shù)一實(shí)施例中,對所述已標(biāo)注數(shù)據(jù)進(jìn)行預(yù)處理,得到目標(biāo)數(shù)據(jù)的步驟,包括:
21、對所述已標(biāo)注數(shù)據(jù)中不同類型的物體進(jìn)行均衡采樣,得到初始數(shù)據(jù);
22、對所述初始數(shù)據(jù)進(jìn)行特征處理,得到目標(biāo)數(shù)據(jù)。
23、在本技術(shù)一實(shí)施例中,對所述已標(biāo)注數(shù)據(jù)中不同類型的物體進(jìn)行均衡采樣,得到初始數(shù)據(jù)的步驟,包括:
24、獲取所述已標(biāo)注數(shù)據(jù)中的物體的類型屬性信息;所述類型屬性信息包括弱勢道路使用者、車輛和無效目標(biāo);
25、按照所述弱勢道路使用者、所述車輛和所述無效目標(biāo)各自對應(yīng)的采樣權(quán)重,對已標(biāo)注數(shù)據(jù)進(jìn)行均衡采樣,得到所述初始數(shù)據(jù)。
26、在本技術(shù)一實(shí)施例中,對所述初始數(shù)據(jù)進(jìn)行特征處理,得到目標(biāo)數(shù)據(jù)的步驟,包括:
27、對所述初始數(shù)據(jù)中的不同信號進(jìn)行不同的特征處理,得到特征數(shù)據(jù);
28、清除所述特征數(shù)據(jù)中的無效特征,得到所述目標(biāo)數(shù)據(jù)。
29、在本技術(shù)一實(shí)施例中,基于所述已標(biāo)注數(shù)據(jù),對初始障礙物識別模型進(jìn)行訓(xùn)練,得到目標(biāo)障礙物識別模型的步驟之后,所述方法還包括:
30、將所述目標(biāo)障礙物識別模型部署至目標(biāo)車輛中;
31、獲取所述目標(biāo)車輛上設(shè)置的毫米波雷達(dá)采集的第二原始數(shù)據(jù);
32、將所述第二原始數(shù)據(jù)輸入所述目標(biāo)障礙物識別模型,輸出得到所述目標(biāo)車輛周圍的物體為可移動障礙物的概率。
33、第二方面,基于相同發(fā)明構(gòu)思,本技術(shù)實(shí)施例提供了一種障礙物識別模型訓(xùn)練裝置,所述裝置包括;
34、第一獲取模塊,用于獲取毫米波雷達(dá)采集的原始數(shù)據(jù)以及真值系統(tǒng)同步采集的真值數(shù)據(jù);
35、標(biāo)注模塊,用于基于所述真值數(shù)據(jù),確定所述原始數(shù)據(jù)中的有效目標(biāo)和無效目標(biāo),并為所述有效目標(biāo)和所述無效目標(biāo)添加對應(yīng)的真值標(biāo)簽,以得到已標(biāo)注數(shù)據(jù);
36、訓(xùn)練模塊,用于基于所述已標(biāo)注數(shù)據(jù),對初始障礙物識別模型進(jìn)行訓(xùn)練,得到目標(biāo)障礙物識別模型,所述目標(biāo)障礙物識別模型用于確定車輛周圍的物體為可移動障礙物的概率。
37、在本技術(shù)一實(shí)施例中,所述標(biāo)注模塊包括:
38、時(shí)間對齊子模塊,用于將所述真值數(shù)據(jù)和所述原始數(shù)據(jù)進(jìn)行時(shí)間對齊,得到多個數(shù)據(jù)組;每個數(shù)據(jù)組中具有一一對應(yīng)的真值數(shù)據(jù)幀和原始數(shù)據(jù)幀
39、位置信息確定子模塊,用于針對任一數(shù)據(jù)組,確定所述數(shù)據(jù)組中的真值數(shù)據(jù)幀中的目標(biāo)物體距離自車的第一位置信息以及所述數(shù)據(jù)組中的原始數(shù)據(jù)幀中的目標(biāo)物體距離所述自車的第二位置信息;
40、有效目標(biāo)確定子模塊,用于在所述第一位置信息與所述第二位置信息之間的位置偏差位于閾值范圍內(nèi)時(shí),確定所述原始數(shù)據(jù)幀中的目標(biāo)物體為有效目標(biāo);
41、無效目標(biāo)確定子模塊,用于在所述第一位置信息與所述第二位置信息之間的位置偏差超出閾值范圍內(nèi)時(shí),確定所述原始數(shù)據(jù)幀中的目標(biāo)物體為無效目標(biāo)。
42、在本技術(shù)一實(shí)施例中,所述時(shí)間對齊子模塊包括:
43、時(shí)間戳獲取單元,用于獲取所述真值數(shù)據(jù)中的每個真值數(shù)據(jù)幀對應(yīng)的第一時(shí)間戳和所述原始數(shù)據(jù)中的原始數(shù)據(jù)幀對應(yīng)的第二時(shí)間戳;
44、匹配單元,用于基于所述第一時(shí)間戳和所述第二時(shí)間戳,匹配時(shí)間鄰近的真值數(shù)據(jù)幀和原始數(shù)據(jù)幀,以得到多個數(shù)據(jù)組。
45、在本技術(shù)一實(shí)施例中,所述訓(xùn)練模塊包括:
46、預(yù)處理子模塊,用于對所述已標(biāo)注數(shù)據(jù)進(jìn)行預(yù)處理,得到目標(biāo)數(shù)據(jù);所述目標(biāo)數(shù)據(jù)包括模型訓(xùn)練樣本和模型測試樣本;
47、訓(xùn)練子模塊,用于將所述模型訓(xùn)練樣本作為訓(xùn)練集,對所述初始障礙物識別模型進(jìn)行訓(xùn)練,得到第一障礙物識別模型;
48、測試子模塊,用于通過所述第一障礙物識別模型對所述模型測試樣本進(jìn)行識別,得到第一識別結(jié)果;
49、獲得子模塊,用于在所述第一識別結(jié)果滿足所述預(yù)設(shè)識別指標(biāo)的情況下,得到所述目標(biāo)障礙物識別模型。
50、在本技術(shù)一實(shí)施例中,所述預(yù)處理子模塊包括:
51、均衡采樣單元,用于對所述已標(biāo)注數(shù)據(jù)中不同類型的物體進(jìn)行均衡采樣,得到初始數(shù)據(jù);
52、特征處理單元,用于對所述初始數(shù)據(jù)進(jìn)行特征處理,得到目標(biāo)數(shù)據(jù)。
53、在本技術(shù)一實(shí)施例中,所述均衡采樣單元包括:
54、類型信息獲取子單元,用于獲取所述已標(biāo)注數(shù)據(jù)中的物體的類型屬性信息;所述類型屬性信息包括弱勢道路使用者、車輛和無效目標(biāo);
55、采樣子單元,用于按照所述弱勢道路使用者、所述車輛和所述無效目標(biāo)各自對應(yīng)的采樣權(quán)重,對已標(biāo)注數(shù)據(jù)進(jìn)行均衡采樣,得到所述初始數(shù)據(jù)。
56、在本技術(shù)一實(shí)施例中,所述特征處理單元包括:
57、特征處理子單元,用于對所述初始數(shù)據(jù)中的不同信號進(jìn)行不同的特征處理,得到特征數(shù)據(jù);
58、清除子單元,用于清除所述特征數(shù)據(jù)中的無效特征,得到所述目標(biāo)數(shù)據(jù)。
59、在本技術(shù)一實(shí)施例中,所述障礙物識別模型訓(xùn)練裝置還包括:
60、部署模塊,用于將所述目標(biāo)障礙物識別模型部署至目標(biāo)車輛中;
61、第二獲取模塊,用于獲取所述目標(biāo)車輛上設(shè)置的毫米波雷達(dá)采集的第二原始數(shù)據(jù);
62、輸出模塊,用于將所述第二原始數(shù)據(jù)輸入所述目標(biāo)障礙物識別模型,輸出得到所述目標(biāo)車輛周圍的物體為可移動障礙物的概率。
63、第三方面,基于相同發(fā)明構(gòu)思,本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì),所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本技術(shù)第一方面提出的障礙物識別模型訓(xùn)練方法。
64、第四方面,基于相同發(fā)明構(gòu)思,本技術(shù)實(shí)施例提供了一種電子設(shè)備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如本技術(shù)第一方面提出的障礙物識別模型訓(xùn)練方法。
65、與現(xiàn)有技術(shù)相比,本技術(shù)包括以下優(yōu)點(diǎn):
66、本技術(shù)實(shí)施例提供的一種障礙物識別模型訓(xùn)練方法,首先,通過獲取毫米波雷達(dá)采集的原始數(shù)據(jù)以及真值系統(tǒng)同步采集的真值數(shù)據(jù);然后,基于真值數(shù)據(jù),確定原始數(shù)據(jù)中的有效目標(biāo)和無效目標(biāo),并為有效目標(biāo)和無效目標(biāo)添加對應(yīng)的真值標(biāo)簽,以得到已標(biāo)注數(shù)據(jù);最后基于已標(biāo)注數(shù)據(jù),對初始障礙物識別模型進(jìn)行訓(xùn)練,得到目標(biāo)障礙物識別模型。本技術(shù)實(shí)施例訓(xùn)練得到的目標(biāo)障礙物識別模型,能夠準(zhǔn)確地輸出具有高置信度的“物體為可移動障礙物的概率”這一衍生變量,以替代毫米波雷達(dá)最原始的識別結(jié)果,進(jìn)而能夠告知后續(xù)算法毫米波雷達(dá)識別到的物體為可移動障礙物的概率,輔助后續(xù)算法進(jìn)行更高效準(zhǔn)確的決策。