本發(fā)明屬于車輛自動(dòng)駕駛技術(shù)領(lǐng)域,具體涉及一種智能駕駛中激光雷達(dá)云點(diǎn)數(shù)據(jù)與車輛信息融合的方法。
背景技術(shù):
自動(dòng)駕駛系統(tǒng)在運(yùn)行過(guò)程中,需要實(shí)時(shí)地獲取車輛周圍的障礙物信息,這些障礙物包括路面上的車輛、行人、動(dòng)物、建筑物、樹(shù)木等,不應(yīng)該包含地面、雨水、霧、霾、雪花、灰塵、煙等。當(dāng)車輛遇到障礙物時(shí),應(yīng)該繞過(guò)障礙物或者停止自動(dòng)駕駛;當(dāng)?shù)缆飞蠜](méi)有障礙物時(shí),車輛應(yīng)該沿著車道正常行駛。
目前檢測(cè)障礙物的一種常用的方法是使用激光雷達(dá)進(jìn)行檢測(cè)。激光雷達(dá)是一種檢測(cè)精度很高的雷達(dá),可以對(duì)障礙物進(jìn)行厘米級(jí)的定位。常用的激光雷達(dá)有ibeo激光雷達(dá)、velodyne激光雷達(dá)等。
激光雷達(dá)通過(guò)發(fā)射激光,獲取障礙物的輪廓,并以點(diǎn)云數(shù)據(jù)的形式發(fā)給自動(dòng)駕駛系統(tǒng)別的子系統(tǒng)使用。原始的激光點(diǎn)云數(shù)據(jù)除了會(huì)包含車輛、行人等障礙物外,還會(huì)包含地面、雨水、塵埃等自動(dòng)駕駛系統(tǒng)不希望檢測(cè)到的障礙物。
除了雷達(dá)獲取障礙物的原理之外,地面等干擾點(diǎn)云數(shù)據(jù)形成的原因可能還包含雷達(dá)的安裝角度、車輛在行駛時(shí)的顛簸、地面上的細(xì)小顆粒、拐彎時(shí)車輛的四個(gè)輪子所在平面與地面不平行等,而且這些干擾因素并不容易消除。
正常情況下,自動(dòng)駕駛系統(tǒng)在運(yùn)行時(shí),遇到車輛等障礙物時(shí),應(yīng)該從其旁邊繞行過(guò)去,當(dāng)不能繞行通過(guò)時(shí),應(yīng)該停車。遇到下雨的天氣,且地面上沒(méi)有障礙物時(shí),應(yīng)該順著車道向前行駛。若有時(shí)將雨水和地面當(dāng)做障礙物,則自動(dòng)駕駛系統(tǒng)在行駛時(shí),會(huì)突然拐彎或停車,給人一種突兀的感覺(jué),應(yīng)該盡量避免此種情況的發(fā)生。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有技術(shù)的不足,本發(fā)明要解決的技術(shù)問(wèn)題是提供一種在智能駕駛中激光雷達(dá)點(diǎn)云數(shù)據(jù)與車輛信息融合的方法,以去除車輛在運(yùn)行的過(guò)程中,激光雷達(dá)點(diǎn)云中包含的地面、塵埃等信息對(duì)自動(dòng)駕駛的障礙物判斷造成的影響。
本發(fā)明所采用的技術(shù)方案具體包括以下步驟:
s1,獲取當(dāng)前幀的點(diǎn)云數(shù)據(jù)、當(dāng)前幀的車輛速度curv和車輛航向角curheading,對(duì)激光雷達(dá)數(shù)據(jù)進(jìn)行建模,將三維形式的點(diǎn)云數(shù)據(jù),去除垂直方向的信息,投影到水平面上,轉(zhuǎn)換成二維形式的信息并進(jìn)行量化處理,生成具有寬和高的當(dāng)前幀圖像數(shù)據(jù);
s2,定義參考幀索引圖像;判斷當(dāng)前幀圖像是否為系統(tǒng)采集的第一幀圖像,若是,則利用當(dāng)前幀圖像數(shù)據(jù)對(duì)參考幀索引圖像進(jìn)行更新,得到當(dāng)前參考幀索引圖像并跳轉(zhuǎn)至步驟s4,否則利用車速與航向角對(duì)上一幀圖像對(duì)應(yīng)的參考幀索引圖像和當(dāng)前幀圖像進(jìn)行配準(zhǔn),得到當(dāng)前參考幀索引圖像;
s3,對(duì)當(dāng)前參考幀索引圖像進(jìn)行熱核擴(kuò)散處理,減少配準(zhǔn)誤差并去掉雷達(dá)數(shù)據(jù)中不穩(wěn)定的噪點(diǎn),并根據(jù)處理后的圖像以及當(dāng)前幀圖像更新當(dāng)前參考幀索引圖像;
s4,按照固定閾值,根據(jù)當(dāng)前參考幀索引圖像生成二值化的雷達(dá)點(diǎn)云數(shù)據(jù)圖像并輸出,同時(shí)更新計(jì)數(shù)器,并跳轉(zhuǎn)至步驟s2進(jìn)行下一幀點(diǎn)云數(shù)據(jù)的處理。
與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點(diǎn):
以往的算法依賴gnss定位經(jīng)緯度位置的精度。當(dāng)車輛行駛到隧道、高大建筑物中間時(shí),gnss信號(hào)會(huì)受到很大的影響,造成gnss定位精度嚴(yán)重下降,致使建筑物等道路兩旁的障礙物信息在融合后,會(huì)顯示在道路上。
此算法只依賴于激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)、車輛行駛速度和偏航角,魯棒性更好,適用范圍更大。車輛行駛速度和偏航角可以從組合慣導(dǎo)獲取,也可以從車輛can總線獲取,或者從imu慣性測(cè)量單元獲取。
附圖說(shuō)明
圖1為本發(fā)明方法流程圖;
具體實(shí)施方式
為了使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂,下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做詳細(xì)的說(shuō)明。
智能駕駛中激光雷達(dá)點(diǎn)云數(shù)據(jù)與車輛信息融合的方法,包括以下步驟:
s1,參數(shù)初始化,對(duì)參考幀索引圖像index賦初值為0,幀數(shù)索引curframe賦初值0,參考幀的車速refv賦初值0,參考幀的航向角refheading賦初值0,雷達(dá)數(shù)據(jù)的輸入幀率fps,雷達(dá)點(diǎn)云數(shù)據(jù)量化為圖像后的像素寬w、像素高h(yuǎn),雷達(dá)所在點(diǎn)在圖像中的像素坐標(biāo)(mid_w,mid_h)。
s2,獲取當(dāng)前幀的輸入數(shù)據(jù)
獲取當(dāng)前幀的點(diǎn)云數(shù)據(jù),當(dāng)前幀的車輛速度curv和車輛航向角curheading,根據(jù)不同的雷達(dá)點(diǎn)云數(shù)據(jù)協(xié)議,將當(dāng)前幀的點(diǎn)云數(shù)據(jù)圖像存儲(chǔ)為(x,y,z)形式的點(diǎn)云數(shù)據(jù),該坐標(biāo)中各個(gè)分量的單位均為米,其中(0,0,0)表示雷達(dá)所在的位置。
s3,根據(jù)下式將當(dāng)前幀的三維點(diǎn)云數(shù)據(jù)curcloud轉(zhuǎn)換為離散的二維圖像數(shù)據(jù)curm。點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為圖像時(shí),考慮到雷達(dá)點(diǎn)云的精度,0.1米的間距量化為1個(gè)像素。
其中,0≤i<w,0≤j<h,(x,y,z)為當(dāng)前幀的點(diǎn)云數(shù)據(jù)curcloud中的三維點(diǎn)。這一步是為了將(x,y,z)格式的三維點(diǎn)列表轉(zhuǎn)換為一幅二值圖像。其中x,y,z是三維空間坐標(biāo)系中三個(gè)數(shù)軸的坐標(biāo),取值范圍是實(shí)數(shù)。(mid_w,mid_h)為車輛在圖像中的坐標(biāo)位置。圖像中值為0的點(diǎn)表示沒(méi)有障礙物,255表示有障礙物。轉(zhuǎn)換為圖像之后,提供了后面處理步驟的基礎(chǔ)。
s4,當(dāng)curframe為0時(shí),跳轉(zhuǎn)到步驟s5,否則跳轉(zhuǎn)到步驟s6;
s5,根據(jù)curm的值,對(duì)index進(jìn)行初始化,
然后跳轉(zhuǎn)至步驟s8;該步驟是為了對(duì)上一幀參考幀索引圖像進(jìn)行初始化,將有障礙物的點(diǎn)的索引值設(shè)置為一個(gè)合理的值。此步驟中的數(shù)值8為一個(gè)經(jīng)驗(yàn)值,也可以設(shè)置為別的比0大的整數(shù)值。
s6,對(duì)上一幀的參考幀索引圖像進(jìn)行配準(zhǔn)
利用下式
對(duì)當(dāng)前幀圖像curmn與上一參考幀索引圖像indexn-1做配準(zhǔn),得到配準(zhǔn)后的當(dāng)前參考幀索引圖像indexn';式中,yaw為第n幀圖像與第n-1幀圖像中車輛的偏航角,
yaw=refheading-curheading
refheading為上一參考幀索引圖像數(shù)據(jù)中車輛的航向角,亦即采集上一幀圖像時(shí)車輛的航向角,curheading為采集當(dāng)前幀圖像時(shí)車輛的航向角,refheading,curheading和yaw的單位均為弧度;shifty為車輛在兩幀之間前進(jìn)方向行走的距離,單位是像素,1個(gè)像素代表的物理意義是0.1米。
shifty=10*((curv+refv)/2)/fps
refv表示上一參考幀的車速,亦即采集上一幀圖像時(shí)的車速,curv表示采集當(dāng)前幀圖像時(shí)的車速,fps表示雷達(dá)數(shù)據(jù)的輸入幀率。
找到上一幀圖像中點(diǎn)(i,j)到當(dāng)前幀圖像(i',j')的對(duì)應(yīng)關(guān)系后,將上一幀的參考幀索引圖像indexn-1轉(zhuǎn)換為對(duì)應(yīng)到當(dāng)前時(shí)刻的索引圖像,也即indexn'。物理意義上講,當(dāng)在上一時(shí)刻時(shí),一個(gè)障礙物位于點(diǎn)(i,j)時(shí),則在當(dāng)前時(shí)刻,這個(gè)障礙物會(huì)處在點(diǎn)(i',j')處。車輛在運(yùn)動(dòng)時(shí),(i,j)和(i',j')是不相同的;當(dāng)車輛靜止時(shí),(i,j)和(i',j')是相同的。
s7,對(duì)配準(zhǔn)后的參考幀索引圖像indexn'進(jìn)行熱核擴(kuò)散,得到擴(kuò)散之后的圖像indexheat';如下式所示:
模擬物理中熱向周圍擴(kuò)散的思想,對(duì)配準(zhǔn)后的索引圖像中每一點(diǎn)進(jìn)行操作,針對(duì)點(diǎn)p,對(duì)于其周圍上下左右四個(gè)位置的點(diǎn),值增大為p點(diǎn)值的一半,小于該點(diǎn)值一半的點(diǎn)保持值不變;對(duì)于周圍左上角、右上角、左下角、右下角四個(gè)角上的點(diǎn),值增大為p點(diǎn)值的三分之一,小于p點(diǎn)值三分之一的點(diǎn)保持值不變;p點(diǎn)本身的值減少1。進(jìn)行熱擴(kuò)散的目的是為了減少配準(zhǔn)時(shí)產(chǎn)生的誤差,以及去掉雷達(dá)數(shù)據(jù)中不穩(wěn)定的噪點(diǎn)。
根據(jù)當(dāng)前幀的圖像,以及配準(zhǔn)后的參考幀索引圖像,更新參考幀索引圖像;
將當(dāng)前幀中出現(xiàn)的新的障礙物看做新的熱源,并在其對(duì)應(yīng)位置在熱擴(kuò)散后的圖像上累加一個(gè)數(shù)值,例如4,達(dá)到信息增強(qiáng)的目的;當(dāng)前幀中沒(méi)有障礙物的位置維持熱擴(kuò)散的結(jié)果不變。這樣得到更新后的參考幀圖像index。
更新后的參考幀圖像中,每個(gè)點(diǎn)的值為0到10之間的整數(shù)。計(jì)算過(guò)程中,計(jì)算結(jié)果是分?jǐn)?shù)時(shí),對(duì)值進(jìn)行取整,舍棄小數(shù)部分;是負(fù)數(shù)時(shí)修改為0;大于10時(shí)修改為10。
s8,獲取當(dāng)前幀的輸出圖像,根據(jù)更新后的參考幀索引圖像,按照一個(gè)固定的閾值,生成二值化后的雷達(dá)點(diǎn)云數(shù)據(jù)圖像obstacle。
雷達(dá)點(diǎn)云數(shù)據(jù)圖像obstacle即為融合后的結(jié)果,該圖像輸出給自動(dòng)駕駛系統(tǒng)別的功能模塊使用。
s9,更新計(jì)數(shù)器,繼續(xù)下一幀點(diǎn)云數(shù)據(jù)的處理,跳轉(zhuǎn)至步驟s2。
在本說(shuō)明書(shū)的描述中,術(shù)語(yǔ)“一個(gè)實(shí)施例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書(shū)中,對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或?qū)嵗6?,描述的具體特征、結(jié)構(gòu)、材料或特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。
說(shuō)明書(shū)中未闡述的部分均為現(xiàn)有技術(shù)或公知常識(shí)。本實(shí)施例僅用于說(shuō)明該發(fā)明,而不用于限制本發(fā)明的范圍,本領(lǐng)域技術(shù)人員對(duì)于本發(fā)明所做的等價(jià)置換等修改均認(rèn)為是落入該發(fā)明權(quán)利要求書(shū)所保護(hù)范圍內(nèi)。