檢測(cè)道路路面的可行駛區(qū)域的方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種檢測(cè)道路路面的可行駛區(qū)域的方法和設(shè)備。所述方法包括：根據(jù)包括道路路面的灰度圖導(dǎo)出視差圖，并且從該視差圖中檢測(cè)道路路面；從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分，產(chǎn)生子視差圖；將該子視差圖轉(zhuǎn)換為U-視差圖；在U-視差圖中檢測(cè)可行駛區(qū)域；以及將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域。上述方法和設(shè)備不依賴(lài)于道路上的白線(xiàn)或柵欄，因此具有更廣泛的應(yīng)用范圍。此外，所述方法和裝置利用從視差圖獲得的U-視差圖來(lái)檢測(cè)道路路面的可行駛區(qū)域，具有良好的噪聲魯棒性和可靠性。
【專(zhuān)利說(shuō)明】檢測(cè)道路路面的可行駛區(qū)域的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及道路檢測(cè)，更具體地涉及檢測(cè)道路路面的可行駛區(qū)域的方法和設(shè)備?！颈尘凹夹g(shù)】
[0002]目前，正在研究汽車(chē)輔助駕駛技術(shù)。這種技術(shù)能夠在用戶(hù)駕駛汽車(chē)時(shí)向用戶(hù)提供必要的信息和/或警告，以避免車(chē)輛碰撞、車(chē)輛偏離道路等危險(xiǎn)情況。在某些情況下，甚至可以使用輔助駕駛技術(shù)來(lái)自動(dòng)地控制汽車(chē)行進(jìn)。
[0003]對(duì)于輔助駕駛技術(shù)而言，重要的是正確地檢測(cè)道路路面的可行駛區(qū)域。已經(jīng)提出了很多檢測(cè)道路路面的可行駛區(qū)域的方法。例如，美國(guó)專(zhuān)利申請(qǐng)公開(kāi)US20100250064A1公開(kāi)了一種利用道路兩側(cè)的白線(xiàn)來(lái)檢測(cè)可行駛區(qū)域的方法，但是這種方法不適用于兩側(cè)沒(méi)有白線(xiàn)的道路。美國(guó)專(zhuān)利申請(qǐng)公開(kāi)US20050015201A1公開(kāi)了一種對(duì)道路進(jìn)行分割并且使用距離和分段的斜率來(lái)檢測(cè)可行駛路面的方法，但是這種方法不適用于道路上的點(diǎn)較為稀疏的稀疏視差圖。
[0004]因此，需要一種能夠可靠地檢測(cè)道路路面的可行駛區(qū)域的方法和設(shè)備。

【發(fā)明內(nèi)容】

[0005]鑒于現(xiàn)有技術(shù)中的上述問(wèn)題，提出了本發(fā)明。本發(fā)明的目的是提供一種能夠可靠地檢測(cè)道路路面的可行駛區(qū)域的方法和設(shè)備。
[0006]根據(jù)本發(fā)明的一個(gè)方面，提供了一種檢測(cè)道路路面的可行駛區(qū)域的方法，包括:根據(jù)包括道路路面的灰度圖導(dǎo)出視差圖，并且從該視差圖中檢測(cè)道路路面；從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分，產(chǎn)生子視差圖；將該子視差圖轉(zhuǎn)換為U-視差圖；在U-視差圖中檢測(cè)可行駛區(qū)域；以及將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域。
[0007]根據(jù)本發(fā)明的上述方面，所述從視差圖中檢測(cè)道路路面的步驟可以包括:將視差圖轉(zhuǎn)換為V-視差圖；以及在V-視差圖中擬合代表道路路面的道路線(xiàn)。
[0008]根據(jù)本發(fā)明的上述方面，可以通過(guò)從視差圖中刪除在道路線(xiàn)上方并且距道路線(xiàn)的距離大于所述預(yù)定高度閾值的部分，來(lái)產(chǎn)生子視差圖。
[0009]根據(jù)本發(fā)明的上述方面，在U-視差圖中檢測(cè)可行駛區(qū)域的步驟可以包括:在U-視差圖中選擇位于可行駛區(qū)域中的初始位置；通過(guò)從初始位置起在U-視差圖中移動(dòng)預(yù)定大小的檢測(cè)窗口來(lái)檢測(cè)U-視差圖中的特定區(qū)域，作為可行駛區(qū)域，該特定區(qū)域包括所述初始位置，并且當(dāng)檢測(cè)窗口在該特定區(qū)域內(nèi)移動(dòng)時(shí)，該檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量始終小于預(yù)定數(shù)量閾值，其中所述有效點(diǎn)是亮度大于亮度閾值的點(diǎn)。
[0010]根據(jù)本發(fā)明的上述方面，通過(guò)從初始位置起在U-視差圖中移動(dòng)預(yù)定大小的檢測(cè)窗口來(lái)檢測(cè)U-視差圖中的特定區(qū)域的步驟可以包括:a)從所述初始位置起沿行的方向向左水平移動(dòng)檢測(cè)窗口，當(dāng)滿(mǎn)足第一預(yù)定條件時(shí)停止移動(dòng)檢測(cè)窗口，并且記錄該窗口的停止位置作為該行的左停止位置，然后從所述初始位置起沿行的方向向右水平移動(dòng)檢測(cè)窗口，當(dāng)滿(mǎn)足第二預(yù)定條件時(shí)停止移動(dòng)檢測(cè)窗口，并且記錄該窗口的停止位置作為該行的右停止位置；b)將檢測(cè)窗口向上移動(dòng)等于該檢測(cè)窗口高度的距離，重復(fù)步驟a);c)重復(fù)步驟b)，直到檢測(cè)窗口到達(dá)U-視差圖的上邊緣或者同一行內(nèi)的左停止位置與右停止位置相鄰為止；
d)在U-視差圖中提取通過(guò)移動(dòng)檢測(cè)窗口而覆蓋的區(qū)域作為可行駛區(qū)域，其中，所述第一預(yù)定條件為以下條件之一:檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量大于預(yù)定數(shù)量閾值；盡管檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口到達(dá)U-視差圖左邊緣；盡管檢測(cè)窗口沒(méi)有到達(dá)左邊緣并且檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口的位置距上一行的左停止位置的水平距離小于預(yù)定距離閾值；所述第二預(yù)定條件為以下條件之一:檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量大于預(yù)定數(shù)量閾值；盡管檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口到達(dá)U-視差圖右邊緣；盡管檢測(cè)窗口沒(méi)有到達(dá)右邊緣并且檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口的位置距上一行的右停止位置的水平距離小于預(yù)定距離閾值。
[0011]根據(jù)本發(fā)明的上述方面，將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域的步驟可以包括:獲取在U-視差圖中檢測(cè)的可行駛區(qū)域中的每個(gè)點(diǎn)的坐標(biāo)；利用在V-視差圖中擬合的道路線(xiàn)的表達(dá)式，將各個(gè)點(diǎn)的坐標(biāo)轉(zhuǎn)換為灰度圖中的坐標(biāo)，從而獲得灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)；根據(jù)灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)，提取灰度圖中的可行駛區(qū)域。
[0012]根據(jù)本發(fā)明的另一方面，提供了一種檢測(cè)道路路面的可行駛區(qū)域的設(shè)備，包括:道路路面檢測(cè)裝置，被配置為根據(jù)包括道路路面的灰度圖導(dǎo)出視差圖，并且從該視差圖中檢測(cè)道路路面；子視差圖產(chǎn)生裝置，被配置為從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分，產(chǎn)生子視差圖；U-視差圖產(chǎn)生裝置，被配置為將該子視差圖轉(zhuǎn)換為U-視差圖；u-視差圖檢測(cè)裝置，在U-視差圖中檢測(cè)可行駛區(qū)域；以及可行駛區(qū)域轉(zhuǎn)換裝置，被配置為將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域。
[0013]根據(jù)本發(fā)明的上述方面，所述道路路面檢測(cè)裝置可以包括:V-視差圖產(chǎn)生單元，被配置為將視差圖轉(zhuǎn)換為V-視差圖；以及道路線(xiàn)擬合單元，被配置為在V-視差圖中擬合代表道路路面的道路線(xiàn)。
[0014]根據(jù)本發(fā)明的上述方面，U-視差圖檢測(cè)裝置可以包括:選擇單元，被配置為在U-視差圖中選擇位于可行駛區(qū)域中的初始位置；檢測(cè)單元，被配置為通過(guò)從初始位置起在U-視差圖中移動(dòng)預(yù)定大小的檢測(cè)窗口來(lái)檢測(cè)U-視差圖中的特定區(qū)域，作為可行駛區(qū)域，該特定區(qū)域包括所述初始位置，并且當(dāng)檢測(cè)窗口在該特定區(qū)域內(nèi)移動(dòng)時(shí)，該檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量始終小于預(yù)定數(shù)量閾值，其中所述有效點(diǎn)是亮度大于亮度閾值的點(diǎn)。
[0015]根據(jù)本發(fā)明的上述方面，所述可行駛區(qū)域轉(zhuǎn)換裝置可以包括:坐標(biāo)提取單元，被配置為獲取U-視差圖中的可行駛區(qū)域中的每個(gè)點(diǎn)的坐標(biāo)；轉(zhuǎn)換單元，被配置為利用在V-視差圖中擬合的道路線(xiàn)的表達(dá)式，將各個(gè)點(diǎn)的坐標(biāo)轉(zhuǎn)換為灰度圖中的坐標(biāo)，從而獲得灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)；可行駛區(qū)域提取單元，被配置為根據(jù)灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)，提取灰度圖中的可行駛區(qū)域。
[0016]根據(jù)本發(fā)明上述方面的用于檢測(cè)道路路面的可行駛區(qū)域的方法和設(shè)備不依賴(lài)于道路上的白線(xiàn)或柵欄，因此具有更廣泛的應(yīng)用范圍。此外，所述方法和設(shè)備利用從視差圖獲得的U-視差圖，基于檢測(cè)窗口中的有效點(diǎn)密度來(lái)檢測(cè)可行駛區(qū)域，因而具有良好的噪聲魯棒性和可靠性。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0017]通過(guò)結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)描述，本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)將會(huì)變得更加清楚，其中:
[0018]圖1示意性地示出了從視差圖導(dǎo)出V-視差圖的過(guò)程；
[0019]圖2示意性地示出了從視差圖導(dǎo)出U-視差圖的過(guò)程；
[0020]圖3示意性地示出了可執(zhí)行根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的方法的系統(tǒng)的示意圖；
[0021]圖4是根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的方法的流程圖；
[0022]圖5示出了利用雙目相機(jī)拍攝的左右圖像之一的示例；
[0023]圖6示出了以圖5所示的圖像為基準(zhǔn)圖像計(jì)算的視差圖；
[0024]圖7示出了通過(guò)轉(zhuǎn)換圖6所示的視差圖獲得的V-視差圖；
[0025]圖8示出在圖7所示的V-視差圖中進(jìn)行擬合而獲得的道路線(xiàn)；
[0026]圖9示意性地示出了計(jì)算視差圖中位于道路路面上方的點(diǎn)距道路路面的距離的圖；
[0027]圖10示出了通過(guò)從圖6所示的視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分而獲得的子視差圖；
[0028]圖11示出了通過(guò)轉(zhuǎn)換圖10所示的子視差圖獲得的U-視差圖；
[0029]圖12示出了在圖11所示的U-視差圖中選擇初始位置并且設(shè)置檢測(cè)窗口的過(guò)程的圖；
[0030]圖13示出了從初始位置起圖向左移動(dòng)檢測(cè)窗口的過(guò)程的圖；
[0031]圖14示出了確定在該行中檢測(cè)窗口的左停止位置的圖；
[0032]圖15示出了從初始位置起圖向右移動(dòng)檢測(cè)窗口的過(guò)程的圖；
[0033]圖16示出了確定在該行中檢測(cè)窗口的右停止位置的圖；
[0034]圖17示出了將檢測(cè)窗口向上移動(dòng)之后的初始位置的圖；
[0035]圖18示出了從圖17所示的初始位置起向左移動(dòng)檢測(cè)窗口的過(guò)程的圖；
[0036]圖19示出了確定在該行中檢測(cè)窗口的左停止位置的圖；
[0037]圖20示出了從圖17所示的初始位置起向右移動(dòng)檢測(cè)窗口的過(guò)程的圖；
[0038]圖21示出了確定在該行中檢測(cè)窗口的右停止位置的圖；
[0039]圖22示意性地示出了在圖11所示的U-視差圖中檢測(cè)的可行駛區(qū)域；
[0040]圖23示意性地示出了在U-視差圖和灰度圖之間的坐標(biāo)轉(zhuǎn)換；
[0041]圖24示意性地示出了在圖5所示的灰度圖中檢測(cè)的道路路面的可行駛區(qū)域；
[0042]圖25示出了根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的設(shè)備的框圖；
[0043]圖26示出了圖25所示的道路路面檢測(cè)裝置的詳細(xì)結(jié)構(gòu)的框圖；
[0044]圖27示出了圖25所示的U-視差圖檢測(cè)裝置的詳細(xì)結(jié)構(gòu)的框圖；
[0045]圖28示出了圖25所示的可行駛區(qū)域檢測(cè)裝置的詳細(xì)結(jié)構(gòu)的框圖；
[0046]圖29示出了用硬件實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的設(shè)備時(shí)的硬件配置的示意圖。
[0047]應(yīng)當(dāng)注意，這些圖不一定是按比例繪制的，它們只是用于說(shuō)明的目的，而不是限制本發(fā)明。
【具體實(shí)施方式】
[0048]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0049]<基本概念介紹>
[0050]在本發(fā)明的實(shí)施例中，使用了視差、視差圖、V-視差圖和U-視差圖的概念。這些概念是本領(lǐng)域公知的，因此在這里只對(duì)這些概念進(jìn)行簡(jiǎn)單的介紹。
[0051]視差，是指從相隔一定距離的兩個(gè)點(diǎn)上觀察同一個(gè)目標(biāo)所產(chǎn)生的方向差異。當(dāng)利用例如雙目相機(jī)拍攝同一個(gè)目標(biāo)的左右兩幅圖像時(shí)，該目標(biāo)的視差可以理解為該目標(biāo)在左圖像中的橫坐標(biāo)與在右圖像中的橫坐標(biāo)之間的差。
[0052]視差圖(disparity map)是以任一圖像為基準(zhǔn)圖像，其尺寸為該基準(zhǔn)圖像的尺寸，其每個(gè)點(diǎn)(像素點(diǎn))對(duì)應(yīng)于基準(zhǔn)圖像中與該點(diǎn)坐標(biāo)相同的點(diǎn)，并且其每個(gè)點(diǎn)的灰度值為基準(zhǔn)圖像中對(duì)應(yīng)點(diǎn)的視差的圖像。可以以本領(lǐng)域公知的很多方式獲得視差圖。例如，可以從雙目相機(jī)拍攝的左圖像和右圖像計(jì)算得到視差圖，可以從多目相機(jī)或立體相機(jī)拍攝的圖像計(jì)算得到視差圖，或者可以通過(guò)立體視圖中的深度圖計(jì)算得到視差圖。在使用雙目相機(jī)拍攝左右圖像的情況下，可以對(duì)左右圖像應(yīng)用絕對(duì)差值之和立體匹配算法(Sum of AbsoluteDifferences, SAD)來(lái)計(jì)算視差圖，或者也可以使用本領(lǐng)域公知的其他算法來(lái)計(jì)算視差圖。
[0053]基準(zhǔn)圖像中的點(diǎn)的坐標(biāo)可以表示為(X，y)，其中X為橫坐標(biāo)，y為縱坐標(biāo)，y越小，該點(diǎn)離相機(jī)越近。在通過(guò)轉(zhuǎn)換該基準(zhǔn)圖像而獲得的二維視差圖中，與點(diǎn)(X，y)對(duì)應(yīng)的點(diǎn)的坐標(biāo)可以表示為U，V)，其中u為橫坐標(biāo)，V為縱坐標(biāo)，并且u=x，v=y。視差圖中每個(gè)點(diǎn)處的灰度值為該點(diǎn)處的視差，用d表示?？商鎿Q地，可以將視差圖中的點(diǎn)表示為(u，v，d)以便同時(shí)反映點(diǎn)的坐標(biāo)和視差。
[0054]V-視差圖和U-視差圖可以從視差圖導(dǎo)出。V-視差圖可以視為視差圖的側(cè)視圖，其橫坐標(biāo)軸為d軸，縱坐標(biāo)軸為V軸，其上的點(diǎn)可表示為(d，V)，并且點(diǎn)(d，v)的灰度值(亮度值)是對(duì)應(yīng)視差圖的縱坐標(biāo)為V的行中視差等于d的點(diǎn)的數(shù)量，因此，可以通過(guò)統(tǒng)計(jì)該數(shù)量或者使用本領(lǐng)域公知的其他方法來(lái)從視差圖導(dǎo)出V-視差圖。圖1示意性地示出了從視差圖導(dǎo)出V-視差圖的過(guò)程。U-視差圖可以視為視差圖的俯視圖，其橫坐標(biāo)軸為u軸，縱坐標(biāo)軸為d軸，其上的點(diǎn)可表示為(u，d)，并且點(diǎn)(u，d)的灰度值(亮度值)是對(duì)應(yīng)視差圖的橫坐標(biāo)為u的列中視差等于d的點(diǎn)的數(shù)量，因此，可以通過(guò)統(tǒng)計(jì)該數(shù)量或者使用本領(lǐng)域公知的其他方法來(lái)從視差圖導(dǎo)出U-視差圖。圖2示意性地示出了從視差圖導(dǎo)出U-視差圖的過(guò)程。
[0055]<實(shí)施例>
[0056]下面，將參照附圖描述根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的方法和裝置。
[0057]首先，描述根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的方法。該方法例如可以通過(guò)圖3所示的系統(tǒng)執(zhí)行。如圖3所示，可以在汽車(chē)上安裝雙目相機(jī)。當(dāng)汽車(chē)在道路上行駛時(shí)，利用雙目相機(jī)拍攝汽車(chē)前方的包括道路路面的左右兩幅圖像。所述圖像被輸入芯片，該芯片處理左右圖像，獲得視差圖，并且按照下文所述的方式，基于該視差圖而檢測(cè)道路路面上的可行駛區(qū)域。
[0058]圖4示出了根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的方法的流程圖。
[0059]如圖4所示，在步驟S401中，根據(jù)包括道路路面的灰度圖導(dǎo)出視差圖，并且從該視差圖中檢測(cè)道路路面。
[0060]在使用雙目相機(jī)的情況下，可以首先獲取包括道路路面的左右圖像(灰度圖)。例如，可以將雙目相機(jī)安裝在車(chē)上，并且拍攝車(chē)輛前方的包括道路路面的左右兩幅灰度圖像，或者，可以用雙目相機(jī)拍攝包括道路路面的左右兩幅彩色圖像并且將其轉(zhuǎn)換為灰度圖。圖5示出了利用雙目相機(jī)拍攝的左右兩幅灰度圖像之一的示例，在下文中，將以該圖像為例進(jìn)行描述。如圖5所示，在該圖像上建立xy坐標(biāo)系，其上的點(diǎn)可以表示為(x，y)。
[0061]然后，可以選擇左圖像和右圖像中的任意一副圖像為基準(zhǔn)圖像，并且使用左圖像和右圖像來(lái)導(dǎo)出視差圖，該視差圖當(dāng)然也包括道路路面?？梢允褂蒙衔乃龅姆椒ǘ鴱淖笥覉D像計(jì)算視差圖，在這里不再贅述。圖6示出了以圖5所示的圖像為基準(zhǔn)圖像計(jì)算的視差圖。如圖6所示,在視差圖上建立Uv坐標(biāo)系,該視差圖上與點(diǎn)(X, y)對(duì)應(yīng)的點(diǎn)可以被表示為(u, V, d),其中u=x, v=y, d為該點(diǎn)的視差。應(yīng)當(dāng)注意，在使用匹配算法來(lái)從左圖像和右圖像計(jì)算視差圖時(shí)，物體的邊緣(例如道路路面的邊緣、道路路面上的障礙物、道路路面之外的物體的邊緣)等更易于被識(shí)別，而諸如道路路面之類(lèi)的不存在邊緣的部分則相對(duì)難以被識(shí)別，因此，在所述視差圖中，與所述邊緣對(duì)應(yīng)的位置具有更密集的點(diǎn)，而諸如道路路面的可行駛區(qū)域之類(lèi)的不存在邊緣的部分則具有較為稀疏的點(diǎn)。
[0062]接下來(lái)，根據(jù)所述視差圖來(lái)檢測(cè)道路路面。
[0063]具體地，首先可以將所述包括道路路面的視差圖轉(zhuǎn)換為V-視差圖?？梢允褂蒙衔乃龅姆椒ㄟM(jìn)行這一轉(zhuǎn)換，在這里不再贅述。圖7示出了通過(guò)轉(zhuǎn)換圖6所示的視差圖獲得的V-視差圖。
[0064]然后，可以在V-視差圖中擬合代表道路路面的道路線(xiàn)。在通過(guò)安裝在車(chē)上的照相機(jī)拍攝的圖像中，道路路面從圖像下方開(kāi)始向上方延伸且逐漸變窄，在圖像上方中，非道路路面的其他物體增多。相應(yīng)地，在V-視差圖中，與道路路面對(duì)應(yīng)的點(diǎn)更多地位于圖中顯示的所有點(diǎn)的下部，而上部的點(diǎn)更多地對(duì)應(yīng)于非道路路面的其他物體。因此，可以在V-視差圖顯示的所有點(diǎn)中選擇最低的一部分點(diǎn)進(jìn)行擬合，由此可以擬合出代表道路路面的道路線(xiàn)，并且獲得該道路線(xiàn)的表達(dá)式V=kd+b，其中，k為道路線(xiàn)的斜率，b為常數(shù)。例如，可以使用在 Jun Zhao, Mark Albert Whitty 和 Jayantha Katupitiya 發(fā)表的論文 “Detection ofNon-flat Ground Surfaces Using V-Disparity Images，，,2009IEEE/RSJ InternationalConference on Intelligent Robots and Systems, Octoberll-15，2009St.Louis, USA 中提出的方法來(lái)進(jìn)行該擬合。在圖7所示的示例中，通過(guò)按照上述方式選擇最低的一部分點(diǎn)來(lái)進(jìn)行擬合，可以獲得圖8所示的道路線(xiàn)，其表達(dá)式為v=0.5d+233。
[0065]返回圖4，在步驟402中，從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分，產(chǎn)生子視差圖。
[0066]眾所周知，在道路兩側(cè)可能存在電線(xiàn)桿、樹(shù)木、柱子等高的物體。此外，在道路上方的天空中也可能存在高架電線(xiàn)。在如下文所述使用U-視差圖識(shí)別道路路面的可行駛區(qū)域時(shí)，如果不對(duì)這種情況進(jìn)行適當(dāng)?shù)奶幚?，這些非道路路面的物體會(huì)被反映在U-視差圖中并且可能被錯(cuò)誤地檢測(cè)為道路路面。
[0067]為了避免這樣的問(wèn)題，考慮到上述物體相對(duì)于道路路面有一定的高度這一事實(shí)，可以預(yù)先設(shè)置高度閾值，從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分以產(chǎn)生子視差圖，然后使用該子視差圖而不是視差圖來(lái)產(chǎn)生U-視差圖。如上文所述，V-視差圖中的道路線(xiàn)代表道路路面，因此可以通過(guò)從視差圖中刪除在道路線(xiàn)上方并且距道路線(xiàn)的距離大于所述預(yù)定高度閾值的部分，來(lái)產(chǎn)生子視差圖。所述高度閾值可以根據(jù)道路的實(shí)際情況(例如障礙物的種類(lèi)、高度、分布等)靈活地設(shè)定，例如可以設(shè)定為4米。
[0068]具體地，首先，可以對(duì)視差圖中位于道路路面上方的每個(gè)點(diǎn)P U’，V’，d’)，計(jì)算其相對(duì)于道路路面的高度。點(diǎn)P (u’，V’，d’)在V-視差圖中的坐標(biāo)為(d’，V’)。V-視差圖中的道路線(xiàn)的表達(dá)式為v=kd+b，因此，在V-視差圖中位于道路線(xiàn)(道路路面)上的具有視差d’的點(diǎn)r的坐標(biāo)為(d’，kd’ +b)，則在V-視差圖上，點(diǎn)p相對(duì)于點(diǎn)r (或道路路面)的像素距離為V’ _(kd’ +b)，換言之，在V-視差圖上，點(diǎn)P與道路路面之間的距離為V’ _(kd’ +b)個(gè)像素。通過(guò)將該像素距離乘以每個(gè)像素對(duì)應(yīng)的物理空間中的實(shí)際距離m，就可以計(jì)算出在物理空間中點(diǎn)P相對(duì)于道路路面的高度?？梢允褂帽绢I(lǐng)域公知的各種方法來(lái)計(jì)算每個(gè)像素對(duì)應(yīng)的物理空間中的實(shí)際距離m。例如,可以使用在Gary Bradski和Adrian Kaebler所著的“Learning OpenCV”, O’Reilly Media中提出的方法來(lái)計(jì)算實(shí)際距離m,在這里不再贅述。在圖8的例子中，對(duì)于視差圖中的點(diǎn)(400，800，600)，按照上述方式，可以計(jì)算出其距道路路面的像素距離為800-(0.5*600+233) =267。假設(shè)每個(gè)像素對(duì)應(yīng)的實(shí)際距離m為4毫米，則該點(diǎn)相對(duì)于道路路面的高度為267像素*4毫米/像素=1068毫米，如圖9所示。
[0069]然后，可以將視差圖中位于道路路面上方的點(diǎn)相對(duì)于道路路面的高度與所述高度閾值進(jìn)行比較。如果該點(diǎn)相對(duì)于道路路面的高度大于高度閾值，則從視差圖中刪除該點(diǎn)，反之則保留該點(diǎn)。在圖9所示的示例中，由于1068毫米小于高度閾值4米，因此保留該點(diǎn)。
[0070]通過(guò)對(duì)V-視差圖中位于道路線(xiàn)上方的每個(gè)點(diǎn)都執(zhí)行上述操作，可以確定相對(duì)于道路路面的高度大于高度閾值的所有點(diǎn)，然后，通過(guò)在視差圖中將這些點(diǎn)刪除，可以產(chǎn)生子視差圖。在圖8所示的示例中，當(dāng)將預(yù)定高度設(shè)為4米時(shí)，可以獲得圖10所示的子視差圖。
[0071]接下來(lái)，在步驟S403中，將該子視差圖轉(zhuǎn)換為U-視差圖。可以使用上文所述的方法或者本領(lǐng)域公知的其他方法來(lái)進(jìn)行這一轉(zhuǎn)換。例如，可以使用ZhenchengHu, Francisco Lamosa 和 Keiichi Uchimura 發(fā)表的論文 “A Complete U-V-DisparityStudy for Stereovision Based 3D Driving Environment Analysis，，，Proceedingsof the Fifth International Conference on 3-D Digital Imaging and Modeling2005 (3DM’05)，pp.204-211中提出的方法來(lái)進(jìn)行這一轉(zhuǎn)換，在這里不再贅述。在上述示例中，通過(guò)轉(zhuǎn)換圖10所示的子視差圖獲得的U-視差圖如圖11所示。
[0072]返回圖4，在步驟S404中，在上述U-視差圖中檢測(cè)可行駛區(qū)域。
[0073]如上文所述，在視差圖中，與各種邊緣(例如道路邊緣、道路上的障礙物的邊緣等)對(duì)應(yīng)的位置具有更密集的點(diǎn)，而與諸如道路路面的可行駛區(qū)域之類(lèi)的不存在邊緣或邊緣較少的部分則具有較為稀疏的點(diǎn)，因此，在將這樣的視差圖轉(zhuǎn)換為U-視差圖時(shí)，在U-視差圖中與所述邊緣(其對(duì)應(yīng)于不可行駛區(qū)域)對(duì)應(yīng)的點(diǎn)具有更高的亮度，而與道路路面的可行駛區(qū)域?qū)?yīng)的點(diǎn)則具有較低的亮度?？梢曰谶@一事實(shí)來(lái)在U-視差圖中檢測(cè)可行駛區(qū)域。簡(jiǎn)單地說(shuō)，可以設(shè)置預(yù)定大小的檢測(cè)窗口和亮度閾值，并且在U-視差圖中從預(yù)先選擇的必然位于可行駛區(qū)域內(nèi)的某個(gè)初始位置開(kāi)始移動(dòng)該檢測(cè)窗口，當(dāng)該檢測(cè)窗口內(nèi)的有效點(diǎn)(亮度超過(guò)該亮度閾值的點(diǎn))的數(shù)量(或稱(chēng)為有效點(diǎn)密度)超過(guò)預(yù)定數(shù)量閾值時(shí)，可以認(rèn)為該檢測(cè)窗口的當(dāng)前位置位于道路路面的可行駛區(qū)域邊緣或之外。所述檢測(cè)窗口的大小和所述亮度閾值可以根據(jù)道路的實(shí)際情況或者對(duì)于檢測(cè)精度的要求而靈活地設(shè)定。最終，通過(guò)檢測(cè)窗口的移動(dòng)，可以從U視差圖中檢測(cè)出特定區(qū)域作為可行駛區(qū)域，該特定區(qū)域包括所述初始位置，并且當(dāng)檢測(cè)窗口在該特定區(qū)域內(nèi)移動(dòng)時(shí)，該檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量始終小于所述數(shù)量閾值。該移動(dòng)過(guò)程實(shí)際上相當(dāng)于逐漸擴(kuò)展最初置于初始位置的檢測(cè)窗口所包含的小的可行駛區(qū)域以獲得最終的可行駛區(qū)域。所述初始位置可以自由地設(shè)定，只要其位于可行駛區(qū)域內(nèi)即可。通常，由于車(chē)輛在道路上行駛時(shí)，緊鄰車(chē)輛正前方的位置不會(huì)有障礙物并且位于可行駛區(qū)域內(nèi)，因此，當(dāng)如上文所述基于安裝在車(chē)輛上的相機(jī)拍攝的灰度圖檢測(cè)可行駛區(qū)域時(shí)，優(yōu)選地，可以在U-視差圖中選擇與上述位置對(duì)應(yīng)的位置，即U-視差圖最下方中間處的位置作為初始位置。
[0074]可以按照各種方式來(lái)移動(dòng)檢測(cè)窗口。優(yōu)選地，可以使用8鄰域(8-CCA)方法來(lái)移動(dòng)檢測(cè)窗口，以便檢測(cè)上述特定區(qū)域。下面將結(jié)合圖11所示的U-視差圖來(lái)描述使用8鄰域方法移動(dòng)檢測(cè)窗口的示例過(guò)程。
[0075]首先，在U-視差圖中選擇所述初始位置。如圖12所示，在這里，選擇位于U-視差圖最下端中央的位置作為所述初始位置。檢測(cè)窗口被置于該初始位置，如圖12中的方框“I”所示。
[0076]然后，從所述初始位置起沿行的方向向左水平移動(dòng)檢測(cè)窗口，如圖13所示，當(dāng)滿(mǎn)足第一預(yù)定條件時(shí)停止移動(dòng)檢測(cè)窗口，并且記錄該窗口的停止位置作為該行的左停止位置。該左停止位置即為可行駛區(qū)域在該行的左邊緣位置。所述第一預(yù)定條件可以是以下條件之一:(1)檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量大于預(yù)定數(shù)量閾值；(2)盡管檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口到達(dá)U-視差圖左邊緣；(3)盡管檢測(cè)窗口沒(méi)有到達(dá)左邊緣并且檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口的位置距上一行的左停止位置的水平距離小于第一距離閾值。當(dāng)滿(mǎn)足條件(I)時(shí)，這說(shuō)明檢測(cè)窗口已經(jīng)移動(dòng)到可行駛區(qū)域邊緣上或邊緣之外，因此應(yīng)當(dāng)停止向左移動(dòng)該檢測(cè)窗口。當(dāng)滿(mǎn)足條件(2)時(shí)，雖然此時(shí)檢測(cè)窗口仍然在可行駛區(qū)域內(nèi)，但是由于檢測(cè)窗口已經(jīng)到達(dá)U-視差圖左邊緣，因此應(yīng)當(dāng)停止向左移動(dòng)檢測(cè)窗口。條件(3)的設(shè)定則是基于以下事實(shí):在相機(jī)拍攝的圖像中，越靠近圖像下端，所顯示的道路路面越寬，相應(yīng)地，所顯示的可行駛區(qū)域也越寬，而越靠近圖像上端，所顯示的道路路面越窄，相應(yīng)地，所顯示的可行駛區(qū)域也越窄，因此，檢測(cè)窗口越向上移動(dòng)，其左停止位置應(yīng)當(dāng)越靠近圖像的水平方向的中心線(xiàn)，換言之，當(dāng)前行的左停止位置應(yīng)當(dāng)在上一行的左停止位置的右側(cè)。當(dāng)滿(mǎn)足條件(3)時(shí)，這表明雖然不滿(mǎn)足上述條件(I)和(2)，但是檢測(cè)窗口的當(dāng)前位置已經(jīng)到達(dá)上一行的左停止位置附近，為了避免檢測(cè)結(jié)果違背上述事實(shí)，應(yīng)當(dāng)停止向左移動(dòng)檢測(cè)窗口。所述第一距離閾值可以根據(jù)道路的實(shí)際情況或者對(duì)于檢測(cè)結(jié)果的精度要求而靈活地設(shè)定。在圖13的示例中，由于檢測(cè)窗口位于U-視差圖最下面的一行，并且檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量始終沒(méi)有大于所述數(shù)量閾值，因此檢測(cè)窗口最終移動(dòng)到U-視差圖左邊緣，即，該行的左停止位置為U-視差圖左邊緣，如圖14所示。[0077]接下來(lái)，從所述初始位置起沿行的方向向右水平移動(dòng)檢測(cè)窗口，如圖15所示，當(dāng)滿(mǎn)足第二預(yù)定條件時(shí)停止移動(dòng)檢測(cè)窗口，并且記錄該窗口的停止位置作為該行的右停止位置。與第一預(yù)定條件類(lèi)似，所述第二預(yù)定條件為以下條件之一:檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量大于預(yù)定數(shù)量閾值；盡管檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口到達(dá)U-視差圖右邊緣；盡管檢測(cè)窗口沒(méi)有到達(dá)右邊緣并且檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口的位置距上一行的右停止位置的水平距離小于第二距離閾值。第一距離閾值可以與第二距離閾值相同或不同，但是優(yōu)選地將二者設(shè)置為相同。在圖15的示例中，類(lèi)似地，檢測(cè)窗口最終移動(dòng)到U-視差圖右邊緣，即，該行的右停止位置為U-視差圖右邊緣，如圖16所不。
[0078]接下來(lái)，將檢測(cè)窗口向上移動(dòng)一行，即上移等于該檢測(cè)窗口高度的距離，重復(fù)上述向左和向右移動(dòng)檢測(cè)窗口的操作，并且記錄該行的左停止位置和右停止位置。應(yīng)當(dāng)注意，當(dāng)將檢測(cè)窗口向上移動(dòng)時(shí)，在該行中移動(dòng)檢測(cè)窗口的初始位置可以是第一行中的初始位置上移的對(duì)應(yīng)位置，也可以是重新選擇的該行內(nèi)位于可行駛區(qū)域中的其他位置。
[0079]在該行的移動(dòng)完成之后，重復(fù)將檢測(cè)窗口上移一行、向左和向右移動(dòng)檢測(cè)窗口、并且記錄該行的左停止位置和右停止位置的操作，直到檢測(cè)窗口到達(dá)U-視差圖的上邊緣或者同一行內(nèi)的左停止位置與右停止位置相鄰為止。
[0080]隨著檢測(cè)窗口的上移，檢測(cè)窗口停止移動(dòng)所滿(mǎn)足的條件可能發(fā)生變化。例如，圖17-21示出了當(dāng)在中間行向左和向右移動(dòng)檢測(cè)窗口的情況，其中，當(dāng)向左和向右移動(dòng)檢測(cè)窗口時(shí)，由于檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量大于數(shù)量閾值而停止移動(dòng)檢測(cè)窗口。
[0081]然后，在U-視差圖中提取通過(guò)移動(dòng)檢測(cè)窗口而覆蓋的區(qū)域作為可行駛區(qū)域，如圖22所示。這樣，通過(guò)在U-視差圖中逐行地移動(dòng)檢測(cè)窗口，可以逐步擴(kuò)展初始可行駛區(qū)域，從而獲得最終的可行駛區(qū)域。應(yīng)當(dāng)注意，上文所述的逐行移動(dòng)檢測(cè)窗口的方式僅僅是說(shuō)明性的，而是限制性的，也可以采用其他移動(dòng)方式，例如逐列地移動(dòng)檢測(cè)窗口，只要最終能夠檢測(cè)出上述特定區(qū)域即可。
[0082]返回圖4，在步驟S405中，將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域。
[0083]具體地，在U-視差圖中檢測(cè)出可行駛區(qū)域之后，可以獲取該可行駛區(qū)域中的各個(gè)點(diǎn)的坐標(biāo)(u’, d’)。
[0084]由于在V-視差圖中已經(jīng)確定了道路線(xiàn)的表達(dá)式v=kd+b，因此隨后可以基于各個(gè)點(diǎn)的坐標(biāo)(u’，d’),利用該表達(dá)式計(jì)算出各個(gè)點(diǎn)的V’坐標(biāo)(V’ =kd’ +b),從而計(jì)算出各個(gè)點(diǎn)在視差圖中的坐標(biāo)(u’，v’)，該坐標(biāo)即為各個(gè)點(diǎn)在灰度圖中的坐標(biāo)(X’ =u’，y’ =v’)。圖23示出了該坐標(biāo)轉(zhuǎn)換的示例。如圖23所示，對(duì)于U-視差圖中的點(diǎn)PP (400，800)，根據(jù)道路線(xiàn)表達(dá)式v=0.5d+233，可以計(jì)算出該點(diǎn)的V’坐標(biāo)為633，因此，該點(diǎn)在灰度圖上的坐標(biāo)為(400，633)。
[0085]接下來(lái)，根據(jù)灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)，提取灰度圖中的可行駛區(qū)域。圖24示意性地示出了在上述示例中提取的道路路面的可行駛區(qū)域。
[0086]可以看到，根據(jù)本發(fā)明實(shí)施例的上述方法并不依賴(lài)于道路上的白線(xiàn)、柵欄等等，因此具有更廣泛的適用范圍。此外，在上述檢測(cè)方法中，使用U-視差圖來(lái)檢測(cè)可行駛區(qū)域，在此期間，使用檢測(cè)窗口中的有效點(diǎn)的密度，并且考慮相鄰行的停止位置之間的關(guān)系來(lái)檢測(cè)可行駛區(qū)域，因此可以顯著降低噪聲對(duì)檢測(cè)結(jié)果的影響，使得該方法具有良好的噪聲魯棒性和可靠性。
[0087]下面，參照?qǐng)D25來(lái)描述根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的設(shè)備。該設(shè)備可以執(zhí)行上文所述的方法。
[0088]如圖25所示，檢測(cè)設(shè)備250包括道路路面檢測(cè)裝置251、子視差圖產(chǎn)生裝置252、U-視差圖產(chǎn)生裝置253、U-視差圖檢測(cè)裝置254以及可行駛區(qū)域轉(zhuǎn)換裝置255。
[0089]道路路面檢測(cè)裝置251根據(jù)包括道路路面的灰度圖導(dǎo)出視差圖，并且從該視差圖中檢測(cè)道路路面。圖26示出了道路路面檢測(cè)裝置251的詳細(xì)結(jié)構(gòu)。如圖26所示，道路路面檢測(cè)裝置251包括:V-視差圖產(chǎn)生單元2511，其將視差圖轉(zhuǎn)換為V-視差圖；以及道路線(xiàn)擬合單元2512，其在V-視差圖中確定代表道路路面的道路線(xiàn)。
[0090]子視差圖產(chǎn)生裝置252從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分，產(chǎn)生子視差圖。子視差圖產(chǎn)生裝置252可以按照上文所述的方式來(lái)產(chǎn)生子視差圖，在這里不再贅述。
[0091]U-視差圖產(chǎn)生裝置253將該子視差圖轉(zhuǎn)換為U-視差圖。
[0092]U-視差圖檢測(cè)裝置254在U-視差圖中檢測(cè)可行駛區(qū)域。圖27示出了 U-視差圖檢測(cè)裝置254的詳細(xì)結(jié)構(gòu)。如圖27所示，U-視差圖檢測(cè)裝置254包括選擇單元2541，其在U-視差圖中選擇位于可行駛區(qū)域中的初始位置；以及檢測(cè)單元2542，其通過(guò)從初始位置起在U-視差圖中移動(dòng)預(yù)定大小的檢測(cè)窗口來(lái)檢測(cè)U-視差圖中的特定區(qū)域，作為可行駛區(qū)域，該特定區(qū)域包括所述初始位置，并且當(dāng)檢測(cè)窗口在該特定區(qū)域內(nèi)移動(dòng)時(shí)，該檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量始終小于預(yù)定數(shù)量閾值，其中所述有效點(diǎn)是亮度大于亮度閾值的點(diǎn)。如上文所述，所述初始位置優(yōu)選地是U-視差圖最下端中間的位置。此外，檢測(cè)單元2542可以按照上文所述的方式(例如使用8鄰域法)移動(dòng)檢測(cè)窗口，從而檢測(cè)U-視差圖中的可行駛區(qū)域。
[0093]可行駛區(qū)域轉(zhuǎn)換裝置255將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域。圖28示出了可行駛區(qū)域轉(zhuǎn)換裝置255的詳細(xì)結(jié)構(gòu)。如圖28所示，可行駛區(qū)域轉(zhuǎn)換裝置255包括:坐標(biāo)提取單元2551，其獲取在U-視差圖中檢測(cè)的可行駛區(qū)域中的每個(gè)點(diǎn)的坐標(biāo)；轉(zhuǎn)換單元2552，其基于各個(gè)點(diǎn)的坐標(biāo)，利用在V-視差圖中擬合的道路線(xiàn)的表達(dá)式，計(jì)算灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)；以及可行駛區(qū)域提取單元2553，其根據(jù)灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)，提取灰度圖中的可行駛區(qū)域。
[0094]道路路面檢測(cè)裝置251、子視差圖產(chǎn)生裝置252、U-視差圖產(chǎn)生裝置253、U-視差圖檢測(cè)裝置254和可行駛區(qū)域轉(zhuǎn)換裝置255以及它們的各個(gè)組件可以按照參照?qǐng)D4描述的方式執(zhí)行上述操作，在這里不再贅述。
[0095]以上結(jié)合具體實(shí)施例描述了本發(fā)明的基本原理，但是，需要指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員而言，能夠理解本發(fā)明的方法和設(shè)備的全部或者任何步驟或者部件，可以在任何計(jì)算裝置(包括處理器、存儲(chǔ)介質(zhì)等)或者計(jì)算裝置的網(wǎng)絡(luò)中，以硬件、固件、軟件或者它們的組合加以實(shí)現(xiàn)，這是本領(lǐng)域普通技術(shù)人員在閱讀了本發(fā)明的說(shuō)明的情況下運(yùn)用他們的基本編程技能就能實(shí)現(xiàn)的。
[0096]例如，圖29示出了用硬件實(shí)現(xiàn)上述設(shè)備時(shí)的硬件配置的示意圖。如圖29所示，該設(shè)備可以包括:輸入裝置290，用于從外部輸入將要處理的圖像，例如雙目相機(jī)拍攝的左右圖像、立體相機(jī)拍攝的立體視頻等，其例如可以包括鍵盤(pán)、鼠標(biāo)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等；處理裝置291，用于從輸入裝置290接收所述圖像，并且對(duì)所述圖像實(shí)施上述的按照本發(fā)明實(shí)施例的用于檢測(cè)道路路面的可行駛區(qū)域的方法，或者用于實(shí)現(xiàn)參照?qǐng)D25-28所述的設(shè)備的各個(gè)組件和子組件，其例如可以包括計(jì)算機(jī)的中央處理器或其它的具有處理能力的芯片(如圖3所示)等等；存儲(chǔ)裝置292，用于以易失或非易失的方式存儲(chǔ)上述從輸入裝置290接收的圖像以及處理裝置291在執(zhí)行處理期間產(chǎn)生的各種數(shù)據(jù)和/或結(jié)果等等，其例如可以包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬盤(pán)、或半導(dǎo)體存儲(chǔ)器等等的各種易失或非易失性存儲(chǔ)器；以及輸出裝置293，用于向外部輸出所檢測(cè)的可行駛區(qū)域，其例如可以包括顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出裝置等等。
[0097]本發(fā)明的目的還可以通過(guò)在任何計(jì)算裝置上運(yùn)行一個(gè)程序或者一組程序來(lái)實(shí)現(xiàn)。所述計(jì)算裝置可以是公知的通用裝置。因此，本發(fā)明的目的也可以?xún)H僅通過(guò)提供包含實(shí)現(xiàn)所述方法或者設(shè)備的程序代碼的程序產(chǎn)品來(lái)實(shí)現(xiàn)。也就是說(shuō)，這樣的程序產(chǎn)品也構(gòu)成本發(fā)明，并且存儲(chǔ)有這樣的程序產(chǎn)品的存儲(chǔ)介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲(chǔ)介質(zhì)可以是任何公知的存儲(chǔ)介質(zhì)或者將來(lái)所開(kāi)發(fā)出來(lái)的任何存儲(chǔ)介質(zhì)。
[0098]還需要指出的是，在本發(fā)明的設(shè)備和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。并且，執(zhí)行上述系列處理的步驟可以自然地按照說(shuō)明的順序按時(shí)間順序執(zhí)行，但是并不需要一定按照時(shí)間順序執(zhí)行。某些步驟可以并行或彼此獨(dú)立地執(zhí)行。
[0099]此外，盡管在上文中在汽車(chē)輔助駕駛的背景下描述了本發(fā)明，但是本發(fā)明也可以應(yīng)用于車(chē)輛檢測(cè)和跟蹤、駕駛預(yù)警等其他領(lǐng)域。
[0100]上述【具體實(shí)施方式】，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種檢測(cè)道路路面的可行駛區(qū)域的方法，包括: 根據(jù)包括道路路面的灰度圖導(dǎo)出視差圖，并且從該視差圖中檢測(cè)道路路面； 從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分，產(chǎn)生子視差圖； 將該子視差圖轉(zhuǎn)換為U-視差圖； 在U-視差圖中檢測(cè)可行駛區(qū)域；以及 將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域。
2.如權(quán)利要求1所述的方法，其中，從視差圖中檢測(cè)道路路面的步驟包括: 將視差圖轉(zhuǎn)換為V-視差圖；以及 在V-視差圖中擬合代表道路路面的道路線(xiàn)。
3.如權(quán)利要求2所述的方法，其中，通過(guò)從視差圖中刪除在道路線(xiàn)上方并且距道路線(xiàn)的距離大于所述預(yù)定高度閾值的部分，來(lái)產(chǎn)生子視差圖。
4.如權(quán)利要求1所述的方法，其中，在U-視差圖中檢測(cè)可行駛區(qū)域的步驟包括: 在U-視差圖中選擇位于可行駛區(qū)域中的初始位置； 通過(guò)從初始位置起在U-視差圖中移動(dòng)預(yù)定大小的檢測(cè)窗口來(lái)檢測(cè)U-視差圖中的特定區(qū)域，作為可行駛區(qū)域，該特定區(qū)域包括所述初始位置，并且當(dāng)檢測(cè)窗口在該特定區(qū)域內(nèi)移動(dòng)時(shí)，該檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量始終小于預(yù)定數(shù)量閾值，其中所述有效點(diǎn)是亮度大于亮度閾值的點(diǎn)。
5.如權(quán)利要求4所述的方法，其中，通過(guò)從初始位置起在U-視差圖中移動(dòng)預(yù)定大小的檢測(cè)窗口來(lái)檢測(cè)U-視差圖中的特定區(qū)域的步驟包括: a)從所述初始位置起沿行的方向向左水平移動(dòng)檢測(cè)窗口，當(dāng)滿(mǎn)足第一預(yù)定條件時(shí)停止移動(dòng)檢測(cè)窗口，并且記錄該窗口的停止位置作為該行的左停止位置，然后從所述初始位置起沿行的方向向右水平移動(dòng)檢測(cè)窗口，當(dāng)滿(mǎn)足第二預(yù)定條件時(shí)停止移動(dòng)檢測(cè)窗口，并且記錄該窗口的停止位置作為該行的右停止位置； b)將檢測(cè)窗口向上移動(dòng)等于該檢測(cè)窗口高度的距離，重復(fù)步驟a)； c)重復(fù)步驟b)，直到檢測(cè)窗口到達(dá)U-視差圖的上邊緣或者同一行內(nèi)的左停止位置與右停止位置相鄰為止； d)在U-視差圖中提取通過(guò)移動(dòng)檢測(cè)窗口而覆蓋的區(qū)域作為可行駛區(qū)域， 其中，所述第一預(yù)定條件為以下條件之一:檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量大于預(yù)定數(shù)量閾值；盡管檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口到達(dá)U-視差圖左邊緣；盡管檢測(cè)窗口沒(méi)有到達(dá)左邊緣并且檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口的位置距上一行的左停止位置的水平距離小于第一距離閾值； 所述第二預(yù)定條件為以下條件之一:檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量大于預(yù)定閾值；盡管檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口到達(dá)U-視差圖右邊緣；盡管檢測(cè)窗口沒(méi)有到達(dá)右邊緣并且檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量沒(méi)有大于預(yù)定數(shù)量閾值，但是檢測(cè)窗口的位置距上一行的右停止位置的水平距離小于第二距離閾值。
6.如權(quán)利要求2所述的方法，其中，將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域的步驟包括: 獲取在U-視差圖中檢測(cè)的可行駛區(qū)域中的各個(gè)點(diǎn)的坐標(biāo)； 基于各個(gè)點(diǎn)的坐標(biāo)，利用在V-視差圖中擬合的道路線(xiàn)的表達(dá)式，計(jì)算灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)； 根據(jù)灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)，提取灰度圖中的可行駛區(qū)域。
7.—種檢測(cè)道路路面的可行駛區(qū)域的設(shè)備，包括: 道路路面檢測(cè)裝置，被配置為根據(jù)包括道路路面的灰度圖導(dǎo)出視差圖，并且從該視差圖中檢測(cè)道路路面； 子視差圖產(chǎn)生裝置，被配置為從視差圖中刪除相對(duì)于道路路面的高度大于預(yù)定高度閾值的部分，產(chǎn)生子視差圖； U-視差圖產(chǎn)生裝置，被配置為將該子視差圖轉(zhuǎn)換為U-視差圖； U-視差圖檢測(cè)裝置，在U-視差圖中檢測(cè)可行駛區(qū)域；以及 可行駛區(qū)域轉(zhuǎn)換裝置，被配置為將在U-視差圖中檢測(cè)的可行駛區(qū)域轉(zhuǎn)換為灰度圖中的可行駛區(qū)域。
8.如權(quán)利要求7所述的設(shè)備，其中，所述道路路面檢測(cè)裝置包括: V-視差圖產(chǎn)生單元,被配置為將視差圖轉(zhuǎn)換為V-視差圖；以及 道路線(xiàn)擬合單元，被配置為在V-視差圖中擬合代表道路路面的道路線(xiàn)。
9.如權(quán)利要求7所述的設(shè)備，其中，U-視差圖檢測(cè)裝置包括: 選擇單元，被配置為在U-視差圖中選擇位于可行駛區(qū)域中的初始位置； 檢測(cè)單元，被配置為通過(guò)從初始位置起在U-視差圖中移動(dòng)預(yù)定大小的檢測(cè)窗口來(lái)檢測(cè)U-視差圖中的特定區(qū)域，作為`可行駛區(qū)域，該特定區(qū)域包括所述初始位置，并且當(dāng)檢測(cè)窗口在該特定區(qū)域內(nèi)移動(dòng)時(shí)，該檢測(cè)窗口內(nèi)的有效點(diǎn)的數(shù)量始終小于預(yù)定數(shù)量閾值，其中所述有效點(diǎn)是亮度大于亮度閾值的點(diǎn)。
10.如權(quán)利要求2所述的設(shè)備，其中，所述可行駛區(qū)域轉(zhuǎn)換裝置包括: 坐標(biāo)提取單元，被配置為獲取在U-視差圖中檢測(cè)的可行駛區(qū)域中的每個(gè)點(diǎn)的坐標(biāo)； 轉(zhuǎn)換單元，被配置為基于各個(gè)點(diǎn)的坐標(biāo)，利用在V-視差圖中擬合的道路線(xiàn)的表達(dá)式，計(jì)算灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)； 可行駛區(qū)域提取單元，被配置為根據(jù)灰度圖中的可行駛區(qū)域內(nèi)的各個(gè)點(diǎn)的坐標(biāo)，提取灰度圖中的可行駛區(qū)域。
【文檔編號(hào)】G06K9/00GK103679127SQ201210358202
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2012年9月24日 優(yōu)先權(quán)日:2012年9月24日
【發(fā)明者】游贛梅, 魯耀杰, 師忠超, 王剛 申請(qǐng)人:株式會(huì)社理光