本技術(shù)涉及車輛定位,尤其涉及一種基于低算力平臺的車輛定位方法、電子設(shè)備及系統(tǒng)。
背景技術(shù):
1、在自動駕駛領(lǐng)域的車道標(biāo)線識別,通過基于傳統(tǒng)視覺的方法(如使用opencv庫)來實(shí)現(xiàn),可以用于車輛定位。但是,基于傳統(tǒng)視覺的車道標(biāo)線識別,主要依賴于例如通過顏色、形狀或紋理等特征規(guī)則,來識別車道標(biāo)線等,其缺點(diǎn)是魯棒性不強(qiáng),容易受到光照、天氣等環(huán)境因素的影響。同時還缺失深度信息,限制了其在三維空間中精確定位車道標(biāo)線的能力。
2、基于此,相關(guān)技術(shù)中提出了基于深度學(xué)習(xí)的車道標(biāo)線識別的方法,即使用深度神經(jīng)網(wǎng)絡(luò)來識別車道標(biāo)線,處理更復(fù)雜的場景和光照條件。這種方式需要大量的算力支持,對于計(jì)算資源有限的低算力平臺(如低功耗嵌入式系統(tǒng))的車輛來說,實(shí)現(xiàn)起來較為困難。這是因?yàn)?,低算力平臺的車輛,能配備的處理器性能較低,無法運(yùn)行計(jì)算密集型的算法;電池容量也受到限制,不能支撐大算力的計(jì)算。
3、因此,如何實(shí)現(xiàn)基于低算力平臺的車輛定位是本領(lǐng)域當(dāng)前需要解決的技術(shù)問題之一。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的目的在于提供一種基于低算力平臺的車輛定位方法、電子設(shè)備及系統(tǒng),解決了計(jì)算資源有限的低算力平臺下的車輛定位問題。
2、本技術(shù)的目的采用以下技術(shù)方案實(shí)現(xiàn):
3、第一方面,本技術(shù)提供了一種基于低算力平臺的車輛定位方法,用于車輛在目標(biāo)區(qū)域的車輛定位,包括以下步驟:
4、根據(jù)所述車輛的當(dāng)前幀信息,獲取地圖構(gòu)建信息;所述當(dāng)前幀信息包括圖像數(shù)據(jù)、激光雷達(dá)數(shù)據(jù)和慣性測量數(shù)據(jù);
5、將所述地圖構(gòu)建信息與預(yù)設(shè)靜態(tài)地圖進(jìn)行匹配,獲取局部地圖;
6、基于相機(jī)坐標(biāo)系,將所述局部地圖的點(diǎn)云投影到所述圖像數(shù)據(jù),獲取包含深度信息的相機(jī)照片作為深度圖像信息;
7、利用低算力平臺的分割模型對所述深度圖像信息進(jìn)行地面標(biāo)線的語義分割,將分割出來的具有深度信息的點(diǎn)云作為地面標(biāo)線點(diǎn)云,根據(jù)所述地面標(biāo)線點(diǎn)云進(jìn)行所述車輛的重定位;
8、其中,所述車輛包括自動巡檢車和儲能充電車中的至少一種,所述目標(biāo)區(qū)域是實(shí)時動態(tài)測量信號缺失的區(qū)域,所述分割模型是unet網(wǎng)絡(luò)模型。
9、該技術(shù)方案的有益效果在于,車輛定位方法中,當(dāng)前幀信息是指車輛的傳感器捕獲的環(huán)境數(shù)據(jù),反映了車輛在該時刻周圍環(huán)境的即時狀態(tài)??梢酝ㄟ^相機(jī)模塊、激光測量模塊與慣性測量模塊分別采集圖像數(shù)據(jù)、激光雷達(dá)數(shù)據(jù)和慣性測量數(shù)據(jù)并共同構(gòu)成了當(dāng)前幀的完整信息,用于后續(xù)的處理和分析。然后利用慣性測量數(shù)據(jù)(imu)對激光雷達(dá)數(shù)據(jù)進(jìn)行去畸變處理,以校正傳感器誤差引起的數(shù)據(jù)失真,從而獲得準(zhǔn)確的地圖構(gòu)建信息。通過算法識別并移除激光雷達(dá)數(shù)據(jù)中的動態(tài)物體(如車輛、行人等),以獲得凈化后的激光雷達(dá)數(shù)據(jù),為后續(xù)的精確定位做準(zhǔn)備。將地圖構(gòu)建信息與預(yù)先構(gòu)建的預(yù)設(shè)靜態(tài)地圖進(jìn)行匹配,匹配成功后獲取預(yù)設(shè)靜態(tài)地圖的局部地圖。將局部地圖的點(diǎn)云數(shù)據(jù)投影到相機(jī)坐標(biāo)系中,為圖像數(shù)據(jù)中的每個像素賦予深度信息,從而生成包含深度信息的相機(jī)照片,即深度圖像信息。沒有深度值的像素不參與后續(xù)的特征運(yùn)算,以提高處理效率。對深度圖像信息進(jìn)行地面標(biāo)線的分割提取,使用圖像分割技術(shù)(如unet網(wǎng)絡(luò))識別出地面標(biāo)線。提取出的地面標(biāo)線點(diǎn)云將被用于更新局部地圖的點(diǎn)云信息。更新后的局部地圖點(diǎn)云信息將被用于車輛的重定位??梢哉J(rèn)為,在重定位過程中,局部地圖點(diǎn)云信息可以用于精確確定車輛在地圖中的位置。
10、相較于相關(guān)技術(shù)中,需要基于深度學(xué)習(xí)的方法,采用訓(xùn)練后的多任務(wù)深度神經(jīng)網(wǎng)絡(luò)對連續(xù)的待測圖像序列進(jìn)行處理,獲得圖像幀之間的位姿變換信息、深度信息和語義分割信息,對算力要求比較高。本技術(shù)針對rtk信號容易缺失的區(qū)域中高動態(tài)環(huán)境的挑戰(zhàn),加入unet分割提取的必要的語義信息后,能夠很大程度上提高車輛定位方法的適用性和魯棒性。實(shí)現(xiàn)上述車輛定位的方法,并不需要額外的cuda顯卡,節(jié)省電量的同時也節(jié)省了經(jīng)濟(jì)成本。
11、進(jìn)一步地,所述根據(jù)所述車輛的當(dāng)前幀信息,獲取地圖構(gòu)建信息,包括:
12、根據(jù)所述慣性測量數(shù)據(jù)對所述激光雷達(dá)數(shù)據(jù)進(jìn)行去畸變處理,將動態(tài)物體從畸變處理后的激光雷達(dá)數(shù)據(jù)中移除,得到地圖構(gòu)建信息。
13、該技術(shù)方案的有益效果在于,由于傳感器誤差、車輛運(yùn)動或環(huán)境因素,激光雷達(dá)數(shù)據(jù)包含畸變,根據(jù)慣性測量數(shù)據(jù)進(jìn)行去畸變處理,以校正誤差,從而獲得的地圖構(gòu)建信息更準(zhǔn)確。
14、進(jìn)一步地,在獲取地圖構(gòu)建信息之前,所述方法還包括:
15、對相機(jī)模塊、激光測量模塊和慣性測量模塊的外參進(jìn)行標(biāo)定,使其之間的相互關(guān)系為固定參數(shù);
16、利用所述相機(jī)模塊獲取所述車輛的圖像數(shù)據(jù),利用所述激光測量模塊獲取所述車輛的激光雷達(dá)數(shù)據(jù),利用所述慣性測量模塊獲取所述車輛的慣性測量數(shù)據(jù);將所述圖像數(shù)據(jù)、所述激光雷達(dá)數(shù)據(jù)和所述慣性測量數(shù)據(jù)作為當(dāng)前幀信息。
17、該技術(shù)方案的有益效果在于,在低算力平臺上資源是有限的,本技術(shù)方案通過外參標(biāo)定(和后續(xù)可能的數(shù)據(jù)融合)確保傳感器數(shù)據(jù)被高效處理,避免了不必要的計(jì)算負(fù)擔(dān),從而優(yōu)化了有限資源的利用,進(jìn)而減少如深度學(xué)習(xí)推理的計(jì)算密集型任務(wù),有助于降低整體能耗,延長電池使用時間。
18、進(jìn)一步地,將所述局部地圖中的點(diǎn)云投影到所述圖像數(shù)據(jù)的過程包括:
19、根據(jù)所述圖像數(shù)據(jù)、所述激光雷達(dá)數(shù)據(jù)各自的時間戳進(jìn)行位姿插補(bǔ),確定所述相機(jī)模塊在所述局部地圖中的具體位姿;
20、根據(jù)所述相機(jī)模塊的內(nèi)參,將所述局部地圖中的點(diǎn)云數(shù)據(jù)投影到與圖像數(shù)據(jù)對應(yīng)的二維圖像平面上,生成包含深度信息的相機(jī)照片作為深度圖像信息。
21、該技術(shù)方案的有益效果在于,深度圖像信息為車輛提供了更為豐富的環(huán)境感知數(shù)據(jù),通過后續(xù)分割過程得到的數(shù)據(jù),使得車輛能夠更好地理解其周圍環(huán)境,包括障礙物的位置、道路邊緣以及地面標(biāo)線等。通過去除動態(tài)物體并利用靜態(tài)特征(如地面標(biāo)線),該技術(shù)方案提高了在動態(tài)環(huán)境下的魯棒性,減少了因環(huán)境變化引起的定位誤差。
22、綜上所述,該技術(shù)方案通過精確的位姿插補(bǔ)和點(diǎn)云投影,生成包含深度信息的深度圖像信息,從而提高了車輛的定位精度和環(huán)境感知能力,同時降低了對高性能硬件的依賴,具有顯著的經(jīng)濟(jì)效益和應(yīng)用價值。
23、進(jìn)一步的,所述局部地圖的點(diǎn)云只包含地面的激光點(diǎn)云,所述根據(jù)所述相機(jī)模塊的內(nèi)參,將所述局部地圖中的點(diǎn)云數(shù)據(jù)投影到與圖像數(shù)據(jù)對應(yīng)的二維圖像平面上,包括:
24、針對每一個激光點(diǎn)云,首先按照下式對其進(jìn)行轉(zhuǎn)換:
25、
26、然后對轉(zhuǎn)換后的點(diǎn)進(jìn)行去畸變,實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)的投影,去畸變的過程對應(yīng)以下公式:
27、
28、其中,k為相機(jī)內(nèi)參矩陣,系數(shù)(( k1, k2, k3)為徑向畸變,系數(shù)( p1, p2)為切向畸變,x、y是激光點(diǎn)云的坐標(biāo), xcorrected、 ycorrected對應(yīng)x、y去畸變后的數(shù)據(jù), r2是激光點(diǎn)云到圖像中心的歸一化距離。
29、該技術(shù)方案的有益效果在于,首先針對局部地圖中的每一個激光點(diǎn)云,根據(jù)相機(jī)模塊的內(nèi)參k進(jìn)行坐標(biāo)轉(zhuǎn)換。k包含了相機(jī)的焦距和光心坐標(biāo),用于將三維世界坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)系下的二維圖像坐標(biāo)。轉(zhuǎn)換后的點(diǎn)云數(shù)據(jù)需要進(jìn)行去畸變處理,經(jīng)過去畸變處理后的點(diǎn)云數(shù)據(jù)被投影到與圖像數(shù)據(jù)對應(yīng)的二維圖像平面上,生成包含深度信息的相機(jī)照片。
30、綜上所述,通過精確的內(nèi)參矩陣和去畸變處理,在低算力平臺的有限算力下提高了激光點(diǎn)云到圖像坐標(biāo)的轉(zhuǎn)換精度,從而提高了車輛的定位精度。去畸變后的點(diǎn)云數(shù)據(jù)能夠更真實(shí)地反映環(huán)境情況,增強(qiáng)了對環(huán)境的感知能力。
31、進(jìn)一步地,所述方法還包括:判斷所述車輛的當(dāng)前工作模式,當(dāng)前工作模式包括定位模式和建圖模式;
32、當(dāng)工作模式是定位模式時,所述根據(jù)所述地面標(biāo)線點(diǎn)云進(jìn)行所述車輛的重定位,包括:
33、加載歷史關(guān)鍵點(diǎn)云,形成只有地面標(biāo)線的局部歷史地圖;將所述地面標(biāo)線點(diǎn)云和所述局部歷史地圖進(jìn)行匹配,輸出車輛的重定位位姿;
34、當(dāng)工作模式是建圖模式時,將所述地面標(biāo)線點(diǎn)云與車輛的當(dāng)前位置相關(guān)聯(lián),并將其保存為地面標(biāo)線關(guān)鍵幀。
35、該技術(shù)方案的有益效果在于,通過使用歷史關(guān)鍵點(diǎn)云和局部歷史地圖,能夠在rtk信號不佳或缺失的環(huán)境中,更準(zhǔn)確地確定車輛的位置。有效地復(fù)用了歷史關(guān)鍵點(diǎn)云數(shù)據(jù),減少了對實(shí)時傳感器數(shù)據(jù)的依賴,提高了數(shù)據(jù)處理的效率和系統(tǒng)的魯棒性。通過區(qū)分定位模式和建圖模式,可以根據(jù)實(shí)際需求靈活切換工作模式。對于自動巡檢車和儲能充電車等應(yīng)用,準(zhǔn)確的定位和有效的建圖能夠提升作業(yè)效率,減少人工干預(yù),提高用戶體驗(yàn)。
36、進(jìn)一步地,所述低算力平臺搭建于所述車輛的車輛控制器上。
37、該技術(shù)方案的有益效果在于,利用車輛現(xiàn)有的車輛控制器(vcu),減少了對額外高性能計(jì)算硬件的需求,從而降低了系統(tǒng)的成本。由于vcu通常設(shè)計(jì)為低功耗設(shè)備,有助于自動巡檢車或儲能充電車的能耗,提高電池的使用時長。將數(shù)據(jù)處理和決策集成在vcu中,簡化了車輛的電子架構(gòu)。集中處理減少了數(shù)據(jù)在多個計(jì)算單元之間傳輸?shù)男枨螅档土艘蛲ㄐ佩e誤導(dǎo)致的風(fēng)險(xiǎn),提高了車輛定位系統(tǒng)的可靠性。
38、第二方面,本技術(shù)還提供了一種電子設(shè)備,其所述電子設(shè)備包括存儲器和處理器,所述存儲器存儲有計(jì)算機(jī)程序,所述處理器被配置成執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)上述任一項(xiàng)所述的方法的步驟。
39、第三方面,本技術(shù)還提供了一種車輛定位系統(tǒng),包括第二方面所述的電子設(shè)備,還包括與所述電子設(shè)備電連接的信息獲取裝置;所述信息獲取裝置包括相機(jī)模塊、激光測量模塊和慣性測量模塊,所述相機(jī)模塊用于獲取圖像數(shù)據(jù),所述激光測量模塊用于獲取激光雷達(dá)數(shù)據(jù),所述慣性測量模塊用于獲取慣性測量數(shù)據(jù)。