路面檢測(cè)方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種路面檢測(cè)方法和裝置。該路面檢測(cè)方法包括：獲得包括路面的V視差圖；以及從V視差圖中提取直線作為路面，其中從V視差圖中提取直線作為路面包括：利用霍夫變換提取第一直線作為第一路面近似；以及基于第一直線，利用最小二乘法擬合得到第二直線作為路面。利用本發(fā)明的路面檢測(cè)方法和裝置，可以克服霍夫變換因著眼于取經(jīng)過(guò)點(diǎn)最多的直線而可能偏離路面區(qū)域的不足，也可以克服普通最小二乘法對(duì)噪聲敏感的不足，可以更準(zhǔn)確地檢測(cè)路面。
【專(zhuān)利說(shuō)明】路面檢測(cè)方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理，更具體地涉及路面檢測(cè)方法和裝置。
【背景技術(shù)】
[0002]駕駛輔助系統(tǒng)的應(yīng)用日漸普及。而道路或車(chē)道警告系統(tǒng)(Lane/Road detectionwarning, LDW/RDW)是駕駛輔助系統(tǒng)的子系統(tǒng)，可以避免碰撞，更準(zhǔn)確地確定駕駛方向等。道路檢測(cè)對(duì)于LDW/RDW系統(tǒng)非常關(guān)鍵，只有在知道了道路"[目息的基礎(chǔ)上才可能做進(jìn)一步的處
理，例如警告。
[0003]立體相機(jī)具有可以獲得高精度視差圖及距離圖像的優(yōu)勢(shì)，因而得到了廣泛的應(yīng)用。理解3D道路場(chǎng)景其中的一個(gè)任務(wù)就是道路路面平面檢測(cè)。但是現(xiàn)有的方法對(duì)于復(fù)雜的環(huán)境不適用，并且容易受噪聲的干擾。
[0004]在非專(zhuān)利文獻(xiàn)U-V-Disparity based Obstacle Detection with 3D Cameraand Steerable Filter, Y.Gao, X.Ai, Y.Wang, J.Rarity and N.Dahnoun, 2011 IEEEIntelligent Vehicles Symposium中,提出了一種路面檢測(cè)方法,其中利用3D相機(jī)獲得深度信息，從而得到UV視差圖，利用霍夫變換提取直線特征，以檢測(cè)路面。
[0005]當(dāng)前的基于視差圖的路面檢測(cè)方法通常只采用了簡(jiǎn)單的霍夫變換和一些簡(jiǎn)單位置特征或形狀特征，所以對(duì)復(fù)雜環(huán)境的魯棒性不強(qiáng)。

【發(fā)明內(nèi)容】

[0006]鑒于現(xiàn)有技術(shù)中的上述問(wèn)題，提出了本發(fā)明。
[0007]本發(fā)明的一個(gè)目的是提高路面檢測(cè)的魯棒性，以便適于復(fù)雜環(huán)境下的路面檢測(cè)。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種路面檢測(cè)方法，可以包括:獲得包括路面的V視差圖；以及從V視差圖中提取直線作為路面，其中從V視差圖中提取直線作為路面包括:利用霍夫變換提取第一直線作為第一路面近似；以及基于第一直線，利用最小二乘法擬合得到第二直線作為路面。
[0009]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種路面檢測(cè)裝置，可以包括:V視差圖獲得部件，用于獲得包括路面的V視差圖；以及路面提取部件，用于從V視差圖中提取直線作為路面，其中，路面提取部件包括:第一直線提取部件，用于利用霍夫變換提取第一直線作為第一路面近似；以及第二直線提取部件，用于基于第一直線，利用最小二乘法擬合得到第二直線作為路面。
[0010]根據(jù)本發(fā)明的再一方面，提供了一種路面像素點(diǎn)過(guò)濾方法，可以包括:獲得包括路面的V視差圖；以及判斷V視差圖中的每個(gè)像素是否滿足預(yù)定形態(tài)學(xué)條件，如果滿足，則保留該像素點(diǎn)，否則去除該像素點(diǎn)，其中，該形態(tài)學(xué)條件為:對(duì)于待判斷的像素，以該像素為中心獲得預(yù)定大小的正方形區(qū)域，對(duì)角線上的像素點(diǎn)均具有大于預(yù)定閾值的灰度值。
[0011]根據(jù)本發(fā)明的又一方面，提供了一種路面像素點(diǎn)過(guò)濾裝置，可以包括:V視差圖獲得部件，用于獲得包括路面的V視差圖；以及形態(tài)學(xué)過(guò)濾部件，用于判斷V視差圖中的每個(gè)像素是否滿足預(yù)定形態(tài)學(xué)條件，如果滿足，則保留該像素點(diǎn)，否則去除該像素點(diǎn)，其中，該形態(tài)學(xué)條件為:對(duì)于待判斷的像素，以該像素為中心獲得預(yù)定大小的正方形區(qū)域，對(duì)角線上的像素點(diǎn)均具有大于預(yù)定閾值的灰度值。
[0012]利用本發(fā)明的路面檢測(cè)方法和裝置，基于路面在V視差圖中近似成直線形式的特性，結(jié)合霍夫變換直線提取方法和最小二乘法直線提取方法，可以克服霍夫變換因著眼于取經(jīng)過(guò)點(diǎn)最多的直線而可能偏離路面區(qū)域的不足，也可以克服普通最小二乘法對(duì)噪聲敏感的不足，從而可以更準(zhǔn)確地檢測(cè)路面。
[0013]利用本發(fā)明的路面像素點(diǎn)過(guò)濾方法和裝置，基于路面在V視差圖中的直線斜率應(yīng)該在預(yù)定范圍內(nèi)的性質(zhì)，通過(guò)考察待分析像素在斜率方向上和相鄰像素的連續(xù)性，來(lái)判斷該像素是否為路面上的點(diǎn)，從而實(shí)現(xiàn)了基于形態(tài)學(xué)條件的過(guò)濾處理，能夠簡(jiǎn)單有效地增強(qiáng)線性結(jié)構(gòu)，降低噪聲干擾。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0014]圖1是有助于理解本發(fā)明的、作為本發(fā)明應(yīng)用環(huán)境的示例的車(chē)載系統(tǒng)示意圖；
[0015]圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的路面檢測(cè)方法的整體流程圖；
[0016]圖3示意性地示出了車(chē)載立體相機(jī)拍攝獲得的路面區(qū)域視差圖；
[0017]圖4示意性地示出了由圖3所示的視差圖變換得到的V視差圖；
[0018]圖5示出了根據(jù)本發(fā)明實(shí)施例從V視差圖中提取直線作為路面的示例性方法的流程圖；
[0019]圖6給出了霍夫變換原理的示意圖；
[0020]圖7示意性地示出了最小二乘法擬合直線的原理的示意圖；
[0021]圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于第一直線、利用最小二乘法擬合得到第二直線作為路面的第一示例性方法的流程圖；
[0022]圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于第一直線，利用最小二乘法擬合得到第二直線作為路面的第二示例性方法的流程圖；
[0023]圖10示出了 V視差圖上路面檢測(cè)的結(jié)果示例的比較示意圖；
[0024]圖11示出了視差圖上路面檢測(cè)結(jié)果的比較示例；
[0025]圖12示出了根據(jù)本發(fā)明第二實(shí)施例的路面檢測(cè)方法的整體過(guò)程的流程圖；
[0026]圖13示意性地示出了用于過(guò)濾的形態(tài)學(xué)條件的示意圖；
[0027]圖14示出了在對(duì)圖4所示的原始V視差圖進(jìn)行根據(jù)本發(fā)明實(shí)施例的基于形態(tài)學(xué)條件過(guò)濾后的結(jié)果示例；
[0028]圖15示出了根據(jù)本發(fā)明第三實(shí)施例的路面檢測(cè)方法的整體過(guò)程的流程圖；
[0029]圖16示出了對(duì)于圖14所示的視差圖經(jīng)過(guò)僅保留每列底部若干像素所獲得的結(jié)果示例；
[0030]圖17示出了根據(jù)本發(fā)明第四實(shí)施例的路面檢測(cè)方法的整體過(guò)程的流程圖；
[0031]圖18示出了根據(jù)本發(fā)明實(shí)施例的路面檢測(cè)裝置的框圖；以及
[0032]圖19是示出按照本發(fā)明實(shí)施例的路面檢測(cè)系統(tǒng)的硬件配置的概念圖。
【具體實(shí)施方式】[0033]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0034]將按如下順序進(jìn)行描述:
[0035]1、發(fā)明思想概述和基本概念介紹
[0036]2、第一實(shí)施例
[0037]3、第二實(shí)施例
[0038]4、第三實(shí)施例
[0039]5、第四實(shí)施例
[0040]6、路面檢測(cè)裝置
[0041]7、系統(tǒng)硬件配置
[0042]8、總結(jié)
[0043]1、發(fā)明思想概述和基本概念介紹
[0044]在具體描述之前，首先總體介紹一下本發(fā)明的思想，以便本領(lǐng)域人員更好地理解本發(fā)明:V視差圖已被本領(lǐng)域技術(shù)人員應(yīng)用來(lái)檢測(cè)路面。后面將對(duì)視差圖和V視差圖的概念進(jìn)行介紹。形象地說(shuō)，可以將V視差圖理解為視差圖的橫向投影，即側(cè)視圖。一段平坦路面在V視差圖中呈現(xiàn)出直線特性?；诖颂匦?，如前所述，本領(lǐng)域技術(shù)人員已經(jīng)通過(guò)利用霍夫變換在V視差圖中檢測(cè)直線來(lái)檢測(cè)路面。不過(guò)由于路面本身的特性以及霍夫變換自身的特性，導(dǎo)致霍夫變換應(yīng)用于路面提取時(shí)存在一些問(wèn)題:例如，就路面本身的特性而言，實(shí)際上路面并不是平的而是兩邊低中間高的拱形，這樣在V視差圖中路面并不是表現(xiàn)為絕對(duì)的直線，而是一條帶狀區(qū)域或矩形長(zhǎng)條區(qū)域，此時(shí)相對(duì)于例如該帶狀區(qū)域的對(duì)角線、底部的直線或者頂部的直線，一般認(rèn)為帶狀區(qū)域中近似居中的直線更好地代表了路面，但是霍夫變換由于只考慮經(jīng)過(guò)點(diǎn)最多的直線的本質(zhì)，很有可能提取出帶狀區(qū)域的對(duì)角線作為路面。另一種常見(jiàn)的提取直線的方法是最小二乘法，也稱為線性回歸算法，不過(guò)最小二乘法對(duì)噪聲較敏感，因此一些噪聲，即非路面上的點(diǎn)，例如車(chē)輛、護(hù)欄會(huì)使估計(jì)出的道路路面偏離真實(shí)路面。但是，發(fā)明人想到，可以通過(guò)霍夫變換來(lái)首先提取直線，該直線相當(dāng)于圈定了一個(gè)大概的路面范圍，基于此大概的路面范圍，再利用最小二乘法來(lái)提取直線，由此降低噪聲的影響，更準(zhǔn)確地檢測(cè)路面。
[0045]下面介紹一下基本概念，以便于理解。
[0046]視差，實(shí)際指從某一基線兩端各引一直線到同一較遠(yuǎn)物體時(shí)，其間所成的夾角。一般指從有一定距離的兩個(gè)點(diǎn)上觀察同一個(gè)目標(biāo)所產(chǎn)生的方向差異。從目標(biāo)看兩個(gè)點(diǎn)之間的夾角，叫做這兩個(gè)點(diǎn)的視差角，兩點(diǎn)之間的距離稱作基線。只要知道視差角度和基線長(zhǎng)度，就可以計(jì)算出目標(biāo)和觀測(cè)者之間的距離。
[0047]視差圖(disparity map)是以任一幅圖像為基準(zhǔn),其大小為該基準(zhǔn)圖像的大小,元素值為視差值的圖像。視差圖包含了場(chǎng)景的距離信息。視差圖可以從雙目相機(jī)拍攝的左圖像和右圖像中計(jì)算得到，或者通過(guò)立體視圖中的深度圖計(jì)算得到。
[0048]普通二維視差圖中的某點(diǎn)坐標(biāo)以(U，V)表示,其中U為橫坐標(biāo)，V為縱坐標(biāo)；點(diǎn)(U, V)處的像素的像素值用d(u，v)表示，表示該點(diǎn)(u，v)處的視差。
[0049]為便于理解，形象地說(shuō)，V視差圖可以視為視差圖的側(cè)視圖，而U視差圖可以視為視差圖的俯視圖。V視差圖可以從視差圖中計(jì)算得到。V-視差圖中任意一點(diǎn)(d，v)的灰度值是對(duì)應(yīng)視差圖的縱坐標(biāo)為V的行中視差值等于d的點(diǎn)的個(gè)數(shù)。
[0050]2、第一實(shí)施例
[0051]圖1是有助于理解本發(fā)明的、作為本發(fā)明應(yīng)用環(huán)境的示例的車(chē)載系統(tǒng)示意圖。本發(fā)明的軟件或者硬件實(shí)現(xiàn)可以作為其中的道路檢測(cè)部件。
[0052]圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的路面檢測(cè)方法1000的整體流程圖。
[0053]在步驟SllOO中，獲得包括路面的V視差圖。如前面所述，可以通過(guò)雙目相機(jī)、多目相機(jī)、立體相機(jī)拍攝并計(jì)算得到包括道路區(qū)域的視差圖，由視差圖變換得到V視差圖；或者從立體視圖中獲得深度圖，根據(jù)深度圖得到視差圖，由視差圖變換得到V視差圖。
[0054]圖3示意性地示出了車(chē)載立體相機(jī)拍攝獲得的道路區(qū)域視差圖。圖4示意性地示出了由圖3所示的視差圖變換得到的V視差圖。
[0055]前文描述的情形是先獲得視差圖，然后從視差圖獲得V視差圖。不過(guò)這僅為示例，也可以通過(guò)對(duì)例如雙目相機(jī)獲得的圖像進(jìn)行處理或計(jì)算，直接獲得V視差圖。
[0056]在步驟S1200中，從V視差圖中提取直線作為路面。
[0057]圖5示出了根據(jù)本發(fā)明實(shí)施例從V視差圖中提取直線作為路面的示例性方法1200的流程圖，該方法1200可以應(yīng)用于圖2所示的步驟S1200。
[0058]如圖5所示，在步驟S1210，利用霍夫變換提取第一直線作為第一路面近似。
[0059]利用霍夫變換提取直線是本領(lǐng)域技術(shù)人員熟知的。粗略而言，霍夫變換的大致原理為:就極坐標(biāo)形式而言，過(guò)一個(gè)數(shù)據(jù)點(diǎn)的一條直線可以用角度0和距離P表示為P =XCOS 0 +ysin 0 ,霍夫變換希望找到通過(guò)點(diǎn)最多的一條直線的參數(shù)p和0。圖像中的一個(gè)點(diǎn)對(duì)應(yīng)參數(shù)平面中的一條曲線，圖像中的一條直線對(duì)應(yīng)參數(shù)平面中的一個(gè)點(diǎn)。對(duì)圖像上所有的點(diǎn)作霍夫變換，最終所要檢測(cè)的直線對(duì)應(yīng)的是參數(shù)平面中曲線相交最多的那個(gè)點(diǎn)。圖6給出了霍夫變換原理的示意圖，其中曲線的交點(diǎn)給出了通過(guò)點(diǎn)最多的直線的角度和距離參數(shù)。
[0060]具體地，在本發(fā)明實(shí)施例中，可以利用霍夫變換在V視差圖中找直線。
[0061]例如，可以將其中從視差最大且V值最大處起的第一個(gè)斜線段作為道路平面，其中視差最大表示距離最近，而V值最大表示高度最低，也就是按照從近到遠(yuǎn)從低到高的順序來(lái)利用霍夫變換找直線。這是因?yàn)槿绫绢I(lǐng)域技術(shù)人員公知的，視差與距離成倒數(shù)關(guān)系，這里的距離是相對(duì)于拍攝的相機(jī)而言的。在雙目相機(jī)安裝在汽車(chē)上的情況下，視差圖像中距離汽車(chē)最近的路面可以認(rèn)為與汽車(chē)水平面平行，希望將該段路面先檢測(cè)到。V值體現(xiàn)的是高度，與常見(jiàn)的普通坐標(biāo)系不同，在V視差圖中，V坐標(biāo)軸是自坐標(biāo)原點(diǎn)向下延伸，按V值從大到小表示按從低到高的順序進(jìn)行檢測(cè)。這是因?yàn)椋话愣?，路面是最低的，這樣的檢測(cè)順序可以保證快速準(zhǔn)確地檢測(cè)到路面，而減少將一段高高的樓頂檢測(cè)為路面的可能性。
[0062]此外，替代地，也可以在霍夫變換找到的直線中，選擇通過(guò)點(diǎn)最多的斜線段、視差最大的斜線段、長(zhǎng)度最長(zhǎng)的斜線段中的一個(gè)斜線段作為斜線段，即作為路面。
[0063]本示例中利用霍夫變換來(lái)提取第一直線作為路面近似。不過(guò)作為替代，也可以利用其它方法例如連接連續(xù)點(diǎn)的方法來(lái)提取第一直線。
[0064]在步驟S1220，基于第一直線，利用最小二乘法擬合得到第二直線作為路面。
[0065]霍夫變換或者利用其它直線提取方法獲得的第一直線提供了一個(gè)路面區(qū)域的范圍信息，可以基于這樣的信息，利用最小二乘法來(lái)擬合得到第二直線來(lái)作為路面。在后文中，為描述方便，有時(shí)將本發(fā)明中的最小二乘法稱為基于霍夫變換的最小二乘法。
[0066]最小二乘法是給定樣本點(diǎn)，擬合一條直線，使得所有點(diǎn)到這條直線的距離的平方和最小的方法。假設(shè)該直線用y= a+3 X表示，則需要做的是計(jì)算參數(shù)a，3。
[0067]假設(shè)選取的像素點(diǎn)為Pl (xl，yl),P2 (x2, y2)…，Pn (xn，yn)，其中n為大于2的整數(shù)，則最小二乘法中參數(shù)a，^的計(jì)算公式可用公式(I)表示:
[0069]即，求使得所有所選取的像素點(diǎn)到直線的距離最小的參數(shù)a，P。圖7示意性地示出了最小二乘法擬合直線的原理的示意圖。
[0070]例如，作為基于第一直線，利用最小二乘法擬合得到第二直線作為路面的第一示例性方法，可以利用第一直線來(lái)篩選像素點(diǎn)，利用篩選出來(lái)的像素點(diǎn)來(lái)通過(guò)最小二乘法進(jìn)行直線擬合。圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于第一直線、利用最小二乘法擬合得到第二直線作為路面的第一示例性方法1220的流程圖，該第一示例性方法1220可以應(yīng)用于圖5所示的步驟S1220。
[0071]如圖8所示，在步驟S1221，計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離。該距離可以是歐式距離，不過(guò)也可以采用其它距離計(jì)算方法，例如范數(shù)。
[0072]在步驟S1222，將各個(gè)像素點(diǎn)距第一直線的距離和預(yù)定閾值相比較，并選取距第一直線的距離小于等于預(yù)定閾值的像素點(diǎn)。此處的預(yù)定閾值可以根據(jù)經(jīng)驗(yàn)確定，或者通過(guò)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到
[0073]在步驟S1223，利用所選取的像素點(diǎn)，通過(guò)最小二乘法擬合得到第二直線作為路面。
[0074]再例如，作為基于第一直線，利用最小二乘法擬合得到第二直線作為路面的第二示例性方法，可以根據(jù)各個(gè)像素點(diǎn)距離第一直線的距離，來(lái)為每個(gè)像素賦予權(quán)重，該權(quán)重也可以理解為是對(duì)于該像素是否屬于路面點(diǎn)的可能性的評(píng)估，或者說(shuō)置信度，然后利用加權(quán)最小二乘法來(lái)進(jìn)行直線擬合。圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于第一直線，利用最小二乘法擬合得到第二直線作為路面的第二示例性方法1220’的流程圖，該第二示例性方法1220’可以應(yīng)用于圖5所示的步驟S1220。
[0075]如圖9所示，在步驟S1221’，計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離。與圖8的步驟S1221類(lèi)似，該距離可以是歐式距離，不過(guò)也可以采用其它距離計(jì)算方法，例如范數(shù)。
[0076]在步驟S1222’，基于各個(gè)像素點(diǎn)距第一直線的距離來(lái)確定權(quán)重。
[0077]作為確定權(quán)重的一種示例性方法，可以采用指數(shù)函數(shù)形式，例如，假設(shè)像素點(diǎn)Pi(xi,yi)距離第一直線的距離為di，則權(quán)重wi可用公式(2)計(jì)算
[0079]不過(guò)公式(2)所示的權(quán)重確定方法僅為示例，可以采用任何權(quán)重計(jì)算方法，只要滿足距第一直線的距離越近，權(quán)重越高即可。
[0080]在步驟S1223，根據(jù)如此確定的權(quán)重，利用加權(quán)最小二乘法擬合得到第二直線作為路面。在采用上述公式(2)計(jì)算權(quán)重的情況下，最小二乘法中參數(shù)a，^的計(jì)算公式可用公式(3)表不[0081]ming B y]:' wi * (y1-a- 0xif...(3)
[0082]上面參考圖8和圖9給出了基于霍夫變換提取的第一直線利用最小二乘法擬合得到第二直線作為路面的兩個(gè)例子。不過(guò)這僅為示例，本發(fā)明并不局限于此，可以采用能夠基于霍夫變換提取的第一直線的信息來(lái)利用最小二乘法擬合得到第二直線的其它方法。例如，可以組合上述第一示例性方法和第二示例性方法，即既基于距離來(lái)篩選樣本點(diǎn)，也對(duì)篩選后的樣本點(diǎn)賦予不同的權(quán)重。
[0083]另外，上述示例中樣本點(diǎn)的加權(quán)方法僅僅考慮了樣本距第一直線的距離信息，不過(guò)本發(fā)明并不局限于此，根據(jù)設(shè)計(jì)要求，對(duì)樣本點(diǎn)加權(quán)時(shí)也可以同時(shí)考慮其它因素，例如:樣本點(diǎn)的值，樣本點(diǎn)的值越大，則越不可能是噪聲點(diǎn)，可以賦予更大的權(quán)重；樣本點(diǎn)的位置，樣本點(diǎn)越靠近底部，則越可能是路面點(diǎn)，可以賦予更大的權(quán)重；樣本點(diǎn)和周?chē)鷺颖军c(diǎn)的連接關(guān)系，樣本點(diǎn)如果和對(duì)角線或者近似對(duì)角線方向上的其它樣本點(diǎn)相鄰，則越可能是路面點(diǎn)，可以賦予更大的權(quán)重，反之如果是孤立的樣本點(diǎn)，則越可能不是路面點(diǎn)，可以賦予較小的權(quán)重，等等。
[0084]利用本發(fā)明的基于霍夫變換的最小二乘法，可以克服霍夫變換因著眼于取經(jīng)過(guò)點(diǎn)最多的直線而可能偏離路面區(qū)域的不足，也可以克服普通最小二乘法對(duì)噪聲敏感的不足，可以更準(zhǔn)確地檢測(cè)路面。
[0085]圖10示出了 V視差圖上路面檢測(cè)的結(jié)果示例的比較示意圖，其中，帶三角標(biāo)記的直線是利用霍夫變換提取的第一直線，帶圓圈標(biāo)記的直線是利用本發(fā)明實(shí)施例的基于霍夫變換的最小二乘法提取的第二直線。該霍夫變換提取的第一直線偏高，相當(dāng)于基本提取了拱形路面的頂部，而根據(jù)本發(fā)明實(shí)施例的基于霍夫變換的最小二乘法提取的直線則更好地代表了路面。
[0086]圖11示出了視差圖上路面檢測(cè)結(jié)果示例的比較示意圖。圖11中的11 (a)表示用霍夫變換提取的路面，其中包括了一輛汽車(chē)，如環(huán)形曲線圈出的部分所示意的。圖11中的(b)表示用根據(jù)本發(fā)明實(shí)施例的基于霍夫變換的最小二乘法提取的路面，可見(jiàn)其中不包含高于路面的汽車(chē)。
[0087]3、第二實(shí)施例
[0088]圖12示出了根據(jù)本發(fā)明第二實(shí)施例的路面檢測(cè)方法的整體過(guò)程2000的流程圖。
[0089]圖12所示的第二實(shí)施例的路面檢測(cè)方法與圖2所示的路面檢測(cè)方法的不同在于:在獲得V視差圖的步驟S2100和從V視差圖中提取直線作為路面的步驟S2200之間，多了基于形態(tài)學(xué)條件過(guò)濾像素的步驟S2110。下面將詳細(xì)描述步驟S2110。關(guān)于步驟S2100和S2200，可參考圖2中的對(duì)應(yīng)步驟以及描述，這里不再贅述。
[0090]在步驟S2110中，對(duì)于V視差圖中的每個(gè)像素點(diǎn)，判定是否滿足預(yù)定形態(tài)學(xué)條件，如果滿足，則保留該像素點(diǎn)，否則去除該像素點(diǎn)。
[0091]一般而言，因?yàn)閳D像來(lái)自車(chē)前相機(jī)并且車(chē)是在路上，所以在視差圖中路面的斜率應(yīng)該在一個(gè)預(yù)定范圍內(nèi)，這樣V視差圖中的路面點(diǎn)應(yīng)該滿足近似在45度傾斜方向上，一個(gè)像素的左上和右下均存在相鄰像素，且像素點(diǎn)的灰度值應(yīng)該大于預(yù)定閾值。
[0092]圖13示出了用于過(guò)濾的形態(tài)學(xué)條件示例的示意圖。其中居中的黑框表示要分析的像素，該像素和周邊緊鄰像素構(gòu)成了一個(gè)3*3的矩陣。該形態(tài)學(xué)條件要求在對(duì)角線方向上，都應(yīng)該存在像素點(diǎn)，即要分析的像素點(diǎn)的左上和右下相鄰像素點(diǎn)應(yīng)該具有大于預(yù)定閾值的灰度值。關(guān)于該預(yù)定閾值，可以根據(jù)經(jīng)驗(yàn)設(shè)置，例如設(shè)置為I (表示對(duì)應(yīng)視差圖的一行中對(duì)應(yīng)相同視差值的點(diǎn)只有一個(gè)，這樣的V視差圖中的像素點(diǎn)很有可能是噪聲)，預(yù)定閾值也可以基于訓(xùn)練數(shù)據(jù)庫(kù)學(xué)習(xí)得到。
[0093]圖13所示的形態(tài)學(xué)中僅考慮了要分析的像素點(diǎn)的左上和右下方向的各一個(gè)相鄰像素，或者說(shuō)僅僅分析對(duì)角線方向上的三個(gè)相鄰像素是否都大于預(yù)定灰度值。不過(guò)這僅為示例，可以考慮要分析的像素點(diǎn)的左上和右下方向的多個(gè)相鄰像素，例如考察要分析的像素的左上方向的相鄰兩個(gè)像素，以及右下方向的兩個(gè)相鄰像素，即分析對(duì)角線方向上的5個(gè)相鄰像素是否都大于預(yù)定灰度值。
[0094]這樣的基于形態(tài)學(xué)的濾波器實(shí)現(xiàn)簡(jiǎn)單，同時(shí)非常有效，可以明顯增強(qiáng)線性結(jié)構(gòu)，減小噪聲的干擾。
[0095]圖14示出了在對(duì)圖4所示的原始V視差圖進(jìn)行根據(jù)本發(fā)明實(shí)施例的基于形態(tài)學(xué)條件的過(guò)濾后的結(jié)果示例?？梢?jiàn)，通過(guò)根據(jù)本發(fā)明實(shí)施例的基于形態(tài)學(xué)條件的過(guò)濾，有效地去除了噪聲，增強(qiáng)了線性結(jié)構(gòu)。
[0096]4、第三實(shí)施例
[0097]圖15示出了根據(jù)本發(fā)明第三實(shí)施例的路面檢測(cè)方法的整體過(guò)程3000的流程圖。
[0098]圖15所示的第三實(shí)施例的路面檢測(cè)方法與圖12所示的根據(jù)第二實(shí)施例的路面檢測(cè)方法的不同在于多了步驟S3120。下面將詳細(xì)描述步驟S3120。關(guān)于步驟S3100、S3110和S3200，可參考圖12中的對(duì)應(yīng)步驟以及描述，這里不再贅述。
[0099]如前所述，路面是比較低的，因此V視差圖中路面也位于底部?？梢曰诖颂匦赃M(jìn)行過(guò)濾。
[0100]在步驟S3120中，在從V視差圖中提取直線作為路面之前，對(duì)于V視差圖中的各列，僅保留從列的底部起的預(yù)定數(shù)目個(gè)像素點(diǎn)。關(guān)于預(yù)定數(shù)目，可以根據(jù)經(jīng)驗(yàn)設(shè)定，例如設(shè)定為4個(gè)，該預(yù)定數(shù)目也可以通過(guò)訓(xùn)練數(shù)據(jù)學(xué)習(xí)獲得。
[0101]圖16示出了對(duì)于圖14所示的視差圖經(jīng)過(guò)僅保留每列底部若干像素所獲得的結(jié)果示例?？梢?jiàn)經(jīng)過(guò)該處理，有效地去除了車(chē)輛、建筑物、行人等高于路面的噪聲。
[0102]5、第四實(shí)施例
[0103]圖17示出了根據(jù)本發(fā)明第四實(shí)施例的路面檢測(cè)方法的整體過(guò)程4000的流程圖。
[0104]圖17所示的第四實(shí)施例的路面檢測(cè)方法與圖2所示的根據(jù)第一實(shí)施例的路面檢測(cè)方法的不同在于多了步驟S4300。下面將詳細(xì)描述步驟S4300。關(guān)于步驟S4100和S4200，可參考圖2中的對(duì)應(yīng)步驟以及描述，這里不再贅述。
[0105]在步驟S4300中，采用卡爾曼濾波器來(lái)組合當(dāng)前檢測(cè)的路面信息與先前的路面信
肩、O
[0106]卡爾曼濾波器是一種由卡爾曼(Kalman)提出的用于時(shí)變線性系統(tǒng)的遞歸濾波器?？柭鼮V波器是將過(guò)去的測(cè)量估計(jì)誤差合并到新的測(cè)量誤差中來(lái)估計(jì)將來(lái)的誤差。卡爾曼濾波是一種遞歸的估計(jì)，即只要獲知上一時(shí)刻狀態(tài)的估計(jì)值以及當(dāng)前狀態(tài)的觀測(cè)值就可以計(jì)算出當(dāng)前狀態(tài)的估計(jì)值，因此不需要記錄觀測(cè)或者估計(jì)的歷史信息?？柭鼮V波器與大多數(shù)濾波器不同之處，在于它是一種純粹的時(shí)域?yàn)V波器，它不需要像低通濾波器等頻域?yàn)V波器那樣，需要在頻域設(shè)計(jì)再轉(zhuǎn)換到時(shí)域?qū)崿F(xiàn)。關(guān)于卡爾曼濾波器的具體實(shí)現(xiàn)方法可以從許多工具書(shū)中獲得，并非本發(fā)明重點(diǎn)，這里省略對(duì)其的描述。[0107]根據(jù)本發(fā)明的實(shí)施例，在實(shí)際輔助駕駛環(huán)境中，路面的檢測(cè)是實(shí)時(shí)連續(xù)的，可看作是路面位置的跟蹤。通過(guò)利用卡爾曼濾波器來(lái)結(jié)合例如利用前面根據(jù)第一、第二或第三實(shí)施例的路面檢測(cè)方法獲得的當(dāng)前路面信息(當(dāng)前幀的檢測(cè))和通過(guò)系統(tǒng)的動(dòng)態(tài)模型獲得的路面信息(當(dāng)前幀的預(yù)測(cè))，可以形成比單獨(dú)利用路面檢測(cè)方法獲得的當(dāng)前路面信息或者卡爾曼的動(dòng)態(tài)模型預(yù)測(cè)更好的路面檢測(cè)結(jié)果。
[0108]6、路面檢測(cè)裝置
[0109]圖18示出了根據(jù)本發(fā)明一實(shí)施例的路面檢測(cè)裝置5000的框圖。
[0110]如圖18所示，路面檢測(cè)裝置5000可以包括:V視差圖獲得部件5100，用于獲得包括路面的V視差圖；路面提取部件5200，用于從V視差圖中提取直線作為路面。其中路面提取部件5200包括:第一直線提取部件5210，用于利用霍夫變換提取第一直線作為第一路面近似；以及第二直線提取部件5220，用于基于第一直線，利用最小二乘法擬合得到第二直線作為路面。關(guān)于路面檢測(cè)裝置5000各部件的操作可以參考結(jié)合圖2所示的流程圖進(jìn)行的描述，這里不再贅述。
[0111]7、系統(tǒng)硬件配置
[0112]本發(fā)明還可以通過(guò)一種檢測(cè)道路區(qū)域和/或檢測(cè)分道線的系統(tǒng)來(lái)實(shí)施。圖19是示出按照本發(fā)明實(shí)施例的路面檢測(cè)系統(tǒng)6000的硬件配置的概念圖。如圖19所示，路面檢測(cè)系統(tǒng)6000可以包括:輸入設(shè)備6100,用于從外部輸入將要處理的圖像,例如雙目相機(jī)拍攝的左右圖像、立體相機(jī)拍攝的立體視頻等，該輸入設(shè)備例如可以包括鍵盤(pán)、鼠標(biāo)器、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等；處理設(shè)備6200，用于實(shí)施上述的按照本發(fā)明實(shí)施例的路面檢測(cè)方法和/或路面像素點(diǎn)過(guò)濾方法，或者實(shí)施為上述的按照本發(fā)明實(shí)施例的路面檢測(cè)設(shè)備，例如可以包括計(jì)算機(jī)的中央處理器或其它的具有處理能力的芯片等等，可以連接到諸如因特網(wǎng)的網(wǎng)絡(luò)(未示出)，根據(jù)處理過(guò)程的需要而從網(wǎng)絡(luò)獲取數(shù)據(jù)例如左右圖像等等；輸出設(shè)備6300，用于向外部輸出實(shí)施上述路面檢測(cè)過(guò)程所得的結(jié)果，例如可以包括顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等；以及存儲(chǔ)設(shè)備6400，用于以易失或非易失的方式存儲(chǔ)上述從網(wǎng)絡(luò)中查找與主題詞相關(guān)的名稱的過(guò)程所涉及的圖像、所得的結(jié)果、命令、中間數(shù)據(jù)等等，例如可以包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬盤(pán)、或半導(dǎo)體存儲(chǔ)器等等的各種易失或非易失性存儲(chǔ)器。
[0113]8、總結(jié)
[0114]上文描述了根據(jù)本發(fā)明實(shí)施例的路面檢測(cè)方法，該路面檢測(cè)方法可以包括:獲得包括路面的V視差圖；以及從V視差圖中提取直線作為路面，其中從V視差圖中提取直線作為路面包括:利用霍夫變換提取第一直線作為第一路面近似；以及基于第一直線，利用最小二乘法擬合得到第二直線作為路面。
[0115]所述基于第一直線，利用最小二乘法擬合得到第二直線作為路面可以包括:計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離；將各個(gè)像素點(diǎn)距第一直線的距離和預(yù)定閾值相比較，并選取距第一直線的距離小于等于預(yù)定閾值的像素點(diǎn)；以及利用所選取的像素點(diǎn)，通過(guò)最小二乘法擬合得到第二直線作為路面。
[0116]替代地，所述基于第一直線，利用最小二乘法擬合得到第二直線作為路面可以包括:計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離；基于各個(gè)像素點(diǎn)距第一直線的距離來(lái)確定權(quán)重；以及根據(jù)如此確定的權(quán)重，利用加權(quán)最小二乘法擬合得到第二直線作為路面。[0117]該路面檢測(cè)方法還可以包括:在從V視差圖中提取直線作為路面之前，對(duì)于V視差圖中的每個(gè)像素點(diǎn)，判定是否滿足預(yù)定形態(tài)學(xué)條件，如果滿足，則保留該像素點(diǎn)，否則去除該像素點(diǎn)。
[0118]所述形態(tài)學(xué)條件可以為:對(duì)于待判斷的像素，以該像素為中心獲得預(yù)定大小的正方形區(qū)域，對(duì)角線上的像素點(diǎn)均具有大于預(yù)定閾值的灰度值。
[0119]該路面檢測(cè)方法還可以包括:在從V視差圖中提取直線作為路面之前，對(duì)于V視差圖中的各列，僅保留從列的底部起的預(yù)定數(shù)目個(gè)像素點(diǎn)。
[0120]該路面檢測(cè)方法還可以包括:利用卡爾曼濾波器結(jié)合當(dāng)前檢測(cè)的路面信息和先前的路面信息，從而更新該當(dāng)前檢測(cè)的路面信息。
[0121]根據(jù)本發(fā)明實(shí)施例，還提供了一種路面像素點(diǎn)過(guò)濾方法，可以包括:獲得包括路面的V視差圖；以及判斷V視差圖中的每個(gè)像素是否滿足預(yù)定形態(tài)學(xué)條件，如果滿足，則保留該像素點(diǎn)，否則去除該像素點(diǎn)，其中，該形態(tài)學(xué)條件為:對(duì)于待判斷的像素，以該像素為中心獲得預(yù)定大小的正方形區(qū)域，對(duì)角線上的像素點(diǎn)均具有大于預(yù)定閾值的灰度值。
[0122]根據(jù)本發(fā)明實(shí)施例，還提供了一種路面檢測(cè)裝置，可以包括:V視差圖獲得部件，用于獲得包括路面的V視差圖；以及路面提取部件，用于從V視差圖中提取直線作為路面，其中，路面提取部件包括:第一直線提取部件，用于利用霍夫變換提取第一直線作為第一路面近似；以及第二直線提取部件，用于基于第一直線，利用最小二乘法擬合得到第二直線作為路面。
[0123]第二直線提取部件基于第一直線利用最小二乘法擬合得到第二直線作為路面可以包括:計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離；基于各個(gè)像素點(diǎn)距第一直線的距離來(lái)確定權(quán)重；以及根據(jù)如此確定的權(quán)重，利用加權(quán)最小二乘法擬合得到第二直線作為路面。
[0124]利用本發(fā)明的路面檢測(cè)方法和裝置，至少可以一定程度上同時(shí)克服霍夫變換因著眼于取經(jīng)過(guò)點(diǎn)最多的直線而可能偏離路面區(qū)域的不足，也可以克服普通最小二乘法對(duì)噪聲敏感的不足，可以更準(zhǔn)確地檢測(cè)路面。
[0125]本發(fā)明實(shí)施例的描述僅為示例，本領(lǐng)域技術(shù)人員可以根據(jù)需要進(jìn)行變化、替代或組合。
[0126]在前面的描述中提到，從視差圖計(jì)算得到的V視差圖，不過(guò)，可以想見(jiàn)的是，V視差圖也可以直接從特殊相機(jī)例如雙目相機(jī)、多目相機(jī)、立體相機(jī)拍攝的左右圖像中直接計(jì)算得出，或者直接通過(guò)立體視圖中的深度圖計(jì)算得到。
[0127]另外，前述實(shí)施例中，示意的是車(chē)向前行駛，雙目相機(jī)拍攝車(chē)前景的情況。不過(guò)本發(fā)明同樣適用于倒車(chē)情況下，雙目相機(jī)拍攝車(chē)后景的情況，只不過(guò)這時(shí)檢測(cè)的是車(chē)后方的路面。
[0128]以上結(jié)合具體實(shí)施例描述了本發(fā)明的基本原理，但是，需要指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員而言，能夠理解本發(fā)明的方法和裝置的全部或者任何步驟或者部件，可以在任何計(jì)算裝置(包括處理器、存儲(chǔ)介質(zhì)等)或者計(jì)算裝置的網(wǎng)絡(luò)中，以硬件、固件、軟件或者它們的組合加以實(shí)現(xiàn)，這是本領(lǐng)域普通技術(shù)人員在閱讀了本發(fā)明的說(shuō)明的情況下運(yùn)用他們的基本編程技能就能實(shí)現(xiàn)的。
[0129]因此，本發(fā)明的目的還可以通過(guò)在任何計(jì)算裝置上運(yùn)行一個(gè)程序或者一組程序來(lái)實(shí)現(xiàn)。所述計(jì)算裝置可以是公知的通用裝置。因此，本發(fā)明的目的也可以僅僅通過(guò)提供包含實(shí)現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來(lái)實(shí)現(xiàn)。也就是說(shuō)，這樣的程序產(chǎn)品也構(gòu)成本發(fā)明，并且存儲(chǔ)有這樣的程序產(chǎn)品的存儲(chǔ)介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲(chǔ)介質(zhì)可以是任何公知的存儲(chǔ)介質(zhì)或者將來(lái)所開(kāi)發(fā)出來(lái)的任何存儲(chǔ)介質(zhì)。
[0130]還需要指出的是，在本發(fā)明的裝置和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。并且，執(zhí)行上述系列處理的步驟可以自然地按照說(shuō)明的順序按時(shí)間順序執(zhí)行，但是并不需要一定按照時(shí)間順序執(zhí)行。某些步驟可以并行或彼此獨(dú)立地執(zhí)行，例如，在結(jié)合圖15描述的路面檢測(cè)方法中，描述的是先進(jìn)行基于形態(tài)學(xué)條件過(guò)濾像素的處理(步驟S3110)，然后進(jìn)行每列保留最低位置的像素的處理(步驟S3120)，不過(guò)當(dāng)然可以先執(zhí)行步驟S3120，然后執(zhí)行步驟S3110。
[0131]上述【具體實(shí)施方式】，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種路面檢測(cè)方法，包括: 獲得包括路面的V視差圖；以及 從V視差圖中提取直線作為路面， 其中從V視差圖中提取直線作為路面包括: 利用霍夫變換提取第一直線作為第一路面近似；以及 基于第一直線，利用最小二乘法擬合得到第二直線作為路面。
2.根據(jù)權(quán)利要求1的路面檢測(cè)方法，所述基于第一直線，利用最小二乘法擬合得到第二直線作為路面包括: 計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離； 將各個(gè)像素點(diǎn)距第一直線的距離和預(yù)定閾值相比較，并選取距第一直線的距離小于等于預(yù)定閾值的像素點(diǎn)；以及 利用所選取的像素點(diǎn)，通過(guò)最小二乘法擬合得到第二直線作為路面。
3.根據(jù)權(quán)利要求1的路面檢測(cè)方法，所述基于第一直線，利用最小二乘法擬合得到第二直線作為路面包括: 計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離； 基于各個(gè)像素點(diǎn)距第一直線的距離來(lái)確定權(quán)重；以及 根據(jù)如此確定的權(quán)重，利用加權(quán)最小二乘法擬合得到第二直線作為路面。
4.根據(jù)權(quán)利要求1到3中任一項(xiàng)的路面檢測(cè)方法，還包括: 在從V視差圖中提取直線作為路面之前，對(duì)于V視差圖中的每個(gè)像素點(diǎn)，判定是否滿足預(yù)定形態(tài)學(xué)條件，如果滿足，則保留該像素點(diǎn)，否則去除該像素點(diǎn)。
5.根據(jù)權(quán)利要求4的路面檢測(cè)方法，其中，所述形態(tài)學(xué)條件為:對(duì)于待判斷的像素，以該像素為中心獲得預(yù)定大小的正方形區(qū)域，對(duì)角線上的像素點(diǎn)均具有大于預(yù)定閾值的灰度值。
6.根據(jù)權(quán)利要求1到3中任一項(xiàng)的路面檢測(cè)方法，還包括: 在從V視差圖中提取直線作為路面之前，對(duì)于V視差圖中的各列，僅保留從列的底部起的預(yù)定數(shù)目個(gè)像素點(diǎn)。
7.根據(jù)權(quán)利要求1到3中任一項(xiàng)的路面檢測(cè)方法，還包括: 利用卡爾曼濾波器結(jié)合當(dāng)前檢測(cè)的路面信息和先前的路面信息，從而更新該當(dāng)前檢測(cè)的路面信息。
8.一種路面像素點(diǎn)過(guò)濾方法，包括: 獲得包括路面的V視差圖；以及 判斷V視差圖中的每個(gè)像素是否滿足預(yù)定形態(tài)學(xué)條件，如果滿足，則保留該像素點(diǎn)，否則去除該像素點(diǎn)， 其中，該形態(tài)學(xué)條件為:對(duì)于待判斷的像素，以該像素為中心獲得預(yù)定大小的正方形區(qū)域，對(duì)角線上的像素點(diǎn)均具有大于預(yù)定閾值的灰度值。
9.一種路面檢測(cè)裝置，包括: V視差圖獲得部件，用于獲得包括路面的V視差圖；以及 路面提取部件，用于從V視差圖中提取直線作為路面， 其中，路面提取部件包括:第一直線提取部件，用于利用霍夫變換提取第一直線作為第一路面近似；以及 第二直線提取部件，用于基于第一直線，利用最小二乘法擬合得到第二直線作為路面。
10.根據(jù)權(quán)利要求9的路面檢測(cè)裝置，其中第二直線提取部件基于第一直線利用最小二乘法擬合得到第二直線作為路面包括: 計(jì)算V視差圖中各個(gè)像素點(diǎn)距第一直線的距離； 基于各個(gè)像素點(diǎn)距第一直線的距離來(lái)確定權(quán)重；以及 根據(jù)如此確定的權(quán)重，利用 加權(quán)最小二乘法擬合得到第二直線作為路面。
【文檔編號(hào)】G06K9/46GK103489175SQ201210194074
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2012年6月13日 優(yōu)先權(quán)日:2012年6月13日
【發(fā)明者】夏冰, 陳超 申請(qǐng)人:株式會(huì)社理光