專利名稱：基于單目視覺的道路邊緣檢測及粗定位方法
技術(shù)領(lǐng)域：
發(fā)明涉及計算機視覺、模式識別領(lǐng)域，移動機器人導(dǎo)航技術(shù)及方法。
背景技術(shù)：
智能移動機器人是包含環(huán)境感知、控制決策、路徑規(guī)劃等多個模塊并應(yīng)用計算機技術(shù)、信息技術(shù)、機器人技術(shù)、微電子技術(shù)的復(fù)雜系統(tǒng)。它一般融合了多種傳感器技術(shù)，包括GPS、激光雷達(dá)、攝像機、超聲波、陀螺儀等，將感知的數(shù)據(jù)進(jìn)行處理和融合，從而得到機器人定位信息，前方障礙信息，用于行走規(guī)劃和決策。移動機器人現(xiàn)在廣泛應(yīng)用于軍事、醫(yī)療、農(nóng)業(yè)、エ業(yè)等各個領(lǐng)域。特別是在遇到極端環(huán)境和危險條件時，如核污染、高壓、深海，甚至是外太空，移動機器人均可以有效降低人工作業(yè)的風(fēng)險，提高工作效率，推動了社會和科技的進(jìn)步與發(fā)展。移動機器人有多種分類，由控制類型可分為遙控型機器人和自主型機器人。2011年11月26日，美國成功發(fā)射了“好奇號”新一代火星探測車是集最新科技的核動カ遙控型移動機器人，它是繼“勇氣號”、“機遇號”、“鳳凰號”之后第四個火星探測車，具有很強的移動行駛能力，攜帯了大量環(huán)境分析監(jiān)測儀器，可以將多種分析資料通過衛(wèi)星傳回地球。自主型移動機器人是未來的發(fā)展趨勢。它綜合應(yīng)用了計算機視覺、模式識別、模糊控制，專家系統(tǒng)等人工智能技術(shù)，由已知的結(jié)構(gòu)化環(huán)境、半結(jié)構(gòu)化環(huán)境下的自主移動，向非結(jié)構(gòu)化未知環(huán)境的自主移動和探索發(fā)展。其中智能汽車又是目前備受關(guān)注的移動機器人技術(shù)應(yīng)用領(lǐng)域之一。清華大學(xué)研制的智能汽車THMR-V，可以行駛在一般道路和高速公路上，設(shè)計車速為高速公路80km/h，一般道路20km/h。汽車上裝備有彩色攝像機和激光測距儀，差分GPS、磁羅盤和光碼盤等導(dǎo)航和環(huán)境檢測系統(tǒng)，可在校園等非結(jié)構(gòu)化環(huán)境中行駛和避障。谷歌于2010年公布了自己正在研制中的智能車，豐田Prius。它安裝了視頻攝像頭，激光測距儀，雷達(dá)傳感器，GPS衛(wèi)星定位系統(tǒng)，從傳感信息中獲得交通情況，在谷歌自己的地圖導(dǎo)航下行駛了超過16萬英里(其中包括偶爾有人控制的行駛路段)。智能車感知道路環(huán)境是依靠多種傳感器的信息融合，對傳感器的精度要求較高。對于移動機器人來說，最常使用的是視覺傳感器，即安裝彩色攝像機。計算機視覺，模式識別技術(shù)對移動機器人的導(dǎo)航起到了至關(guān)重要的作用。對于結(jié)構(gòu)化道路的視覺識別算法，一般是對車道線，交通標(biāo)識，信號燈及道路區(qū)域的檢測。對于非結(jié)構(gòu)化道路的視覺識別算法，有對于可行駛區(qū)域，障礙物的檢測。目前帶有車道線的結(jié)構(gòu)化的道路檢測算法已經(jīng)比較成熟，而對于鄉(xiāng)村道路、不帶車道線的城市道路的檢測還缺少ー些通用性較強的算法。針對目前的多數(shù)視覺識別算法，對傳感器要求高，時間復(fù)雜性高的缺點，對非結(jié)構(gòu)化的環(huán)境識別仍需要滿足較多條件，無法準(zhǔn)確的給出導(dǎo)航信息的現(xiàn)狀，本發(fā)明提出了基于單目視覺的道路邊緣檢測及粗定位方法。

發(fā)明內(nèi)容
本發(fā)明針對移動機器人視覺算法對傳感器要求高，實時性弱，對非結(jié)構(gòu)化道路識別通用性較低等問題，提出了基于單目視覺的道路邊緣檢測及粗定位方法。本發(fā)明的特征在干，是ー種半自動式的基于移動機器人單目視覺的道路邊緣檢測和粗定位方法，是在由操作人員操控的計算機和裝在移動機器人上的單鏡頭CCD攝像機共同串接而成的基于單目視覺的道路邊緣檢測和粗定位系統(tǒng)中實現(xiàn)的，該方法是依次按照以下步驟實現(xiàn)的；步驟(I)，單鏡頭CCD攝像機將機器人前進(jìn)時拍攝到的能反映道路和非道路邊界兩側(cè)顏色差異的路況圖像輸入到計算機中顯示；步驟(2)，操作人員根據(jù)所述的道路和非道路邊界兩側(cè)的顏色差異，來選擇性的啟動設(shè)在所述計算機內(nèi)的兩個不同的軟件模塊；對于道路和非道路邊界兩側(cè)顏色有顯著差異的RGB顔色空間彩色路況圖像，啟動基于顏色的道路邊緣檢測模塊；對于道路和非道路邊界兩側(cè)顏色模糊且無明顯邊界的RBG顔色空間彩色路況圖像，啟動基于閾值分割的道路邊緣檢測模塊；
·
步驟(3)，所述基于顔色的道路邊緣檢測模塊依次執(zhí)行以下步驟進(jìn)行道路邊緣的檢測；步驟(3. I)，參數(shù)初始化，讀入所述RBG顔色空間的彩色路況圖像，設(shè)置感興趣區(qū)域ROI的范圍為所述路況圖像的1/Γ1/2大小，從所述彩色路況圖像左下角開始劃分；步驟(3. 2)，從所述彩色路況圖像中取出感興趣區(qū)域ROI的圖像并轉(zhuǎn)換到HSV顔色空間，得到新的路況圖像；亮度V=max (R, G, B),
fV-min(R,G,B)ヒ。
飽和度S = j v，
(O 其他
r60(G - B)/(V - min(R, G, B) ifV = R色度 η =120+[vmB)]ifv=G,
,240 + [V-ITr^B)]ifv = B若H〈0，則用(H+360)代替，其中RGB分別為原像素點紅、藍(lán)、綠三色的亮度值，令Y' =255V，S' =255S，H' =H/2 ;步驟(3. 3),按以下方式用openCV庫中的cvCanny函數(shù)模塊進(jìn)行canny抽邊,得到canny 圖設(shè)定步驟(3. 2)得到的結(jié)果圖像邊緣連接處作為控制邊緣其梯度閾值為50，內(nèi)側(cè)初始分割處作為控制強邊緣其梯度閾值為150，輸入為所述感興趣區(qū)域ROI的HSV顏色空間圖像和上述兩個參數(shù)；輸出為canny抽邊圖；步驟(3. 4)，設(shè)定HSV的顏色范圍區(qū)間，把緑色區(qū)域或土黃色區(qū)域提取出來，其中綠色的范圍區(qū)間為(20，O，O廣(70，40，O)，土黃色的范圍為(10，0，O廣(30，0，150)；步驟(3. 5),利用openCV庫中的cvErode函數(shù)模塊對步驟(3. 4)得到的綠色或土黃色區(qū)域進(jìn)行腐蝕操作，輸出為結(jié)果圖像；步驟(3. 6),利用openCV庫中的cvDilate函數(shù)模塊對步驟(3. 5)得到的結(jié)果圖像進(jìn)行膨脹操作，輸出為經(jīng)過腐蝕膨脹操作后的緑色或土黃色區(qū)域結(jié)果圖像；步驟(3. 7)，從步驟(3. 6)得到的結(jié)果圖像中提取擬合用的邊緣點為道路左側(cè)邊緣時，在步驟(3. 6)得到的結(jié)果圖像內(nèi)，從右至左地掃描，若所述邊緣區(qū)域內(nèi)某個邊緣點左側(cè)的5個像素內(nèi)有綠色點,而右側(cè)的5個像素內(nèi)對應(yīng)的沒有綠色點,則認(rèn)為該邊緣點為真實邊緣點，所述邊緣點左右不足5個像素的像素點直接舍去，得到ー個真實邊緣點樣本集；對土黃色區(qū)域按同樣步驟；
步驟(3. 8)，判斷真實邊緣點若所述真實邊緣點樣本集中，真實邊緣點的個數(shù)m > 30，則執(zhí)行以下步驟；步驟(3.8. I)，從所述真實邊緣點樣本集中，隨機地選出兩個真實邊緣點，作為兩個樣本數(shù)據(jù)；步驟(3. 8. 2),通過openCV庫中的cvFitline函數(shù)模塊,用最小ニ乘法擬合出一條直線；在計算誤差類型為CV_DIST_L2，極坐標(biāo)半徑和角度誤差均為O. 01條件下，輸出所擬合直線的參數(shù)；之后再統(tǒng)計與所述直線距離小于4個像素點的邊緣點個數(shù)k，以此作為擬合用的點；步驟(3. 8. 3)，若k/m大于O. 3，則接受擬合模型，再通過所述的k個點利用最小ニ乘法重新擬合直線，即得到最終結(jié)果；否則，返回步驟(3.8. I);當(dāng)重復(fù)執(zhí)行次數(shù)大于設(shè)定的最大循環(huán)次數(shù)200次時，則失??；若所述真實邊緣點樣本集中的真實邊緣點數(shù)小于30時則失敗；步驟(4)，所述基于閾值分割的道路邊緣檢測模塊，在道路右側(cè)邊緣處，依次做以下步驟進(jìn)行道路邊緣檢測；步驟(4. I)，設(shè)置感興趣區(qū)域ROI的大小為圖像右下角1/4部分；步驟(4. 2)，取出所述感興趣區(qū)域圖像，并按下式轉(zhuǎn)換為灰度圖像；v0(x, y) = O. 212671XR(x, y) +0. 715160XG(x, y) +0. 072169XB(x, y)，X，y代表所述圖像中以左上角為原點的像素點坐標(biāo)值；V(I表示(X，y)像素點的灰度值，R表示彩色圖像中所在像素的紅色通道值，G表示彩色圖像中所在像素的緑色通道值，B表示彩色圖像中所在像素的藍(lán)色通道值，v0, R，G，B都在
內(nèi)；步驟(4. 3)，按下式對像素點(x，y)進(jìn)行均值模糊處理，將以(x，y)為中心的5X5的像素值矩陣V與核矩陣K卷積，得到新的像素值Vl ；V1U, y)=V*K, * 表示卷積，
rl I I I IiIllllK = -X I I I I I,
11111
-11111-
權(quán)利要求
1.基于單目視覺的道路邊緣檢測和粗定位方法，其特征在于，是一種半自動式的基于移動機器人單目視覺的道路邊緣檢測和粗定位方法，是在由操作人員操控的計算機和裝在移動機器人上的單鏡頭CCD攝像機共同串接而成的基于單目視覺的道路邊緣檢測和粗定位系統(tǒng)中實現(xiàn)的，該方法是依次按照以下步驟實現(xiàn)的； 步驟(I)，單鏡頭CXD攝像機將機器人前進(jìn)時拍攝到的能反映道路和非道路邊界兩側(cè)顏色差異的路況圖像輸入到計算機中顯示； 步驟(2)，操作人員根據(jù)所述的道路和非道路邊界兩側(cè)的顏色差異，來選擇性的啟動設(shè)在所述計算機內(nèi)的兩個不同的軟件模塊； 對于道路和非道路邊界兩側(cè)顏色有顯著差異的RGB顏色空間彩色路況圖像，啟動基于顏色的道路邊緣檢測模塊； 對于道路和非道路邊界兩側(cè)顏色模糊且無明顯邊界的RBG顏色空間彩色路況圖像，啟動基于閾值分割的道路邊緣檢測模塊； 步驟(3)，所述基于顏色的道路邊緣檢測模塊依次執(zhí)行以下步驟進(jìn)行道路邊緣的檢測； 步驟(3. I)，參數(shù)初始化，讀入所述RBG顏色空間的彩色路況圖像，設(shè)置感興趣區(qū)域ROI的范圍為所述路況圖像的1/4 1/2大小，從所述彩色路況圖像左下角開始劃分； 步驟(3. 2)，從所述彩色路況圖像中取出感興趣區(qū)域ROI的圖像并轉(zhuǎn)換到HSV顏色空間，得到新的路況圖像；亮度 V=max (R, G, B),fV~min(R,G,B) 豐。飽和度S = ^， I0 其他 r 60(G - B)/(V - min(R, G, B) if V = R色度H= 120 + |V:=b)丨詩氣240+—^^—ifV= B 、[V—Ttim(RjGjB)] 若H〈0，則用(H+360)代替，其中RGB分別為原像素點紅、藍(lán)、綠三色的亮度值，令Yr =255V，S' =255S，H' =H/2 ; 步驟(3. 3),按以下方式用openCV庫中的cvCanny函數(shù)模塊進(jìn)行canny抽邊，得到canny 圖 設(shè)定步驟(3. 2)得到的結(jié)果圖像邊緣連接處作為控制邊緣其梯度閾值為50，內(nèi)側(cè)初始分割處作為控制強邊緣其梯度閾值為150，輸入為所述感興趣區(qū)域ROI的HSV顏色空間圖像和上述兩個參數(shù)；輸出為canny抽邊圖； 步驟(3. 4)，設(shè)定HSV的顏色范圍區(qū)間，把綠色區(qū)域或土黃色區(qū)域提取出來，其中綠色的范圍區(qū)間為(20，0，0) (70，40，0)，土黃色的范圍為(10，0，0) (30，0，150)； 步驟(3. 5),利用openCV庫中的cvErode函數(shù)模塊對步驟(3. 4)得到的綠色或土黃色區(qū)域進(jìn)行腐蝕操作，輸出為結(jié)果圖像； 步驟(3. 6),利用openCV庫中的cvDilate函數(shù)模塊對步驟(3. 5)得到的結(jié)果圖像進(jìn)行膨脹操作，輸出為經(jīng)過腐蝕膨脹操作后的綠色或土黃色區(qū)域結(jié)果圖像；步驟(3. 7)，從步驟(3. 6)得到的結(jié)果圖像中提取擬合用的邊緣點為道路左側(cè)邊緣時，在步驟(3. 6)得到的結(jié)果圖像內(nèi)，從右至左地掃描，若所述邊緣區(qū)域內(nèi)某個邊緣點左側(cè)的5個像素內(nèi)有綠色點,而右側(cè)的5個像素內(nèi)對應(yīng)的沒有綠色點,則認(rèn)為該邊緣點為真實邊緣點，所述邊緣點左右不足5個像素的像素點直接舍去，得到一個真實邊緣點樣本集；對土黃色區(qū)域按同樣步驟； 步驟(3. 8)，判斷真實邊緣點 若所述真實邊緣點樣本集中，真實邊緣點的個數(shù)m > 30，則執(zhí)行以下步驟； 步驟(3. 8. I)，從所述真實邊緣點樣本集中，隨機地選出兩個真實邊緣點，作為兩個樣本數(shù)據(jù)； 步驟(3. 8. 2),通過openCV庫中的cvFitline函數(shù)模塊,用最小二乘法擬合出一條直線；在計算誤差類型為CV_DIST_L2，極坐標(biāo)半徑和角度誤差均為0. 01條件下，輸出所擬合直線的參數(shù)；之后再統(tǒng)計與所述直線距離小于4個像素點的邊緣點個數(shù)k，以此作為擬合用的點； 步驟(3. 8. 3)，若k/m大于0. 3，則接受擬合模型，再通過所述的k個點利用最小二乘法重新擬合直線，即得到最終結(jié)果；否則，返回步驟(3.8. I);當(dāng)重復(fù)執(zhí)行次數(shù)大于設(shè)定的最大循環(huán)次數(shù)200次時，則失??；若所述真實邊緣點樣本集中的真實邊緣點數(shù)小于30時則失敗； 步驟(4)，所述基于閾值分割的道路邊緣檢測模塊，在道路右側(cè)邊緣處，依次做以下步驟進(jìn)行道路邊緣檢測； 步驟(4. I)，設(shè)置感興趣區(qū)域ROI的大小為圖像右下角1/4部分； 步驟(4. 2)，取出所述感興趣區(qū)域圖像，并按下式轉(zhuǎn)換為灰度圖像；V0(X，y) =0. 212671XR(x, y) +0. 715160XG(x, y) +0. 072169XB(x, y)，x，y代表所述圖像中以左上角為原點的像素點坐標(biāo)值；V(1表示(x，y)像素點的灰度值，R表示彩色圖像中所在像素的紅色通道值，G表示彩色圖像中所在像素的綠色通道值，B表示彩色圖像中所在像素的藍(lán)色通道值，v0, R，G，B都在
內(nèi)； 步驟(4. 3)，按下式對像素點(x，y)進(jìn)行均值模糊處理，將以(x，y)為中心的5X5的像素值矩陣V與核矩陣K卷積，得到新的像素值Vl ；V1 (X, y) =V*K, * 表示卷積，
全文摘要
基于單目視覺的道路邊緣檢測以及粗定位方法，涉及機器視覺和智能控制領(lǐng)域。本發(fā)明針對連續(xù)的具有不同邊緣特征的道路提供了兩種道路邊緣檢測方法，適用于半結(jié)構(gòu)化和非結(jié)構(gòu)化的道路，可用于機器人的視覺導(dǎo)航及智能控制。一種是基于顏色的道路邊緣檢測方法，另一種是基于閾值分割的道路邊緣檢測方法。在得到道路邊緣的基礎(chǔ)之上，對圖像進(jìn)行逆透視投影變換，將前視圖轉(zhuǎn)化成俯視圖，根據(jù)轉(zhuǎn)換后的圖像中的像素和實際距離的線性對應(yīng)關(guān)系，計算機器人當(dāng)前位置和道路邊緣的垂直距離以及航向角。本發(fā)明的方法實施簡單，抗干擾力強，實時性好，適用于半結(jié)構(gòu)化道路、非結(jié)構(gòu)化道路。
文檔編號G06K9/00GK102682292SQ20121014408
公開日2012年9月19日 申請日期2012年5月10日 優(yōu)先權(quán)日2012年5月10日
發(fā)明者嚴(yán)潤晨, 王宏, 趙云鵬 申請人:清華大學(xué)