基于單目視覺的道路檢測方法
【專利摘要】本發(fā)明公開了一種基于單目視覺的在線道路檢測方法，主要包括：(1)對第一幀圖像進行道路邊緣區(qū)域正負樣本采樣，并在選取得到的正負樣本中提取局部特征描述子，使用結構支持向量機作為分類器訓練得到初始幀樣本的分類平面；(2)對于后續(xù)測試幀圖像，利用上一幀的道路區(qū)域位置確定測試幀的候選樣本采樣區(qū)域，并利用前一幀訓練得到的結構支持向量機確定測試幀中樣本的道路歸屬。同時采用隨機抽樣一致性方法用兩條相交直線擬合道路邊緣位置，最終確定道路區(qū)域。利用本發(fā)明，可以得到道路的準確位置，從而為汽車輔助駕駛，行人車輛檢測等提供有效的先驗信息。
【專利說明】
基于單目視覺的道路檢測方法
技術領域
[0001] 本發(fā)明屬于計算機視覺和機器學習技術領域，特別設及一種基于單目視覺的在線 道路檢測方法。
【背景技術】
[0002] 近年來，隨著公路里程數(shù)和汽車數(shù)量的不斷增加，交通事故造成的人員傷亡和財 產損失也在快速增加。2012年我國因交通事故死亡人數(shù)達5. 9萬人，直接財產損失11. 7億 元。在此背景下，汽車輔助駕駛系統(tǒng)，包括車道偏離預警、行人預警、異常檢測等，能夠有效 提高汽車駕駛安全，降低人員傷亡和財產損失。該系統(tǒng)的一項關鍵技術就是道路檢測，因為 道路檢測可W為汽車輔助駕駛系統(tǒng)提供關鍵的約束信息。
[0003] 根據(jù)使用的傳感器類型劃分，道路檢測技術可W分為主動式道路檢測和被動式道 路檢測。其中主動式道路檢測指的是使用主動傳感器（如激光雷達）直接獲取場景的第 Ξ維信息，然后通過檢測平面區(qū)域進一步確定道路區(qū)域。運種主動式方法雖然可W得到較 好的結果，但是場景中多個傳感器使用時會存在相互干擾，除此之外，主動式傳感器造價昂 貴，不適宜大范圍推廣。而基于單目攝像頭的被動式檢測方法造價低，便于推廣。因此我們 選擇被動式道路檢測方法，即基于單目視覺的道路檢測方法。
[0004] 目前，通過單目視覺進行道路檢測的方法主要分為兩類： 陽〇化]第一種是基于特征描述的方法。運類方法手動選取或自動學習圖像的有效特征 表達，通過分類器或者貝葉斯方法確定道路區(qū)域或者道路邊緣位置。J. Alvarez等人在文 獻"J.Alvarez and A. Lopez. Road Detection based on Illumin曰nt Inv曰ri曰nee. IEEE Transactions on Intelligent Transportation Systems, 12 (1) : 184-193, 2011"中提出了 光照不變特征用于道路檢測。該方法通過攝像機參數(shù)得到光照不變特征，然后用似然分類 器確定道路區(qū)域。此方法需要知道攝像機的內參，但是一般情況下運些參數(shù)需要通過標定 獲取。
[0006] 第二種是基于道路模型的方法。運類方法根據(jù)先驗知識，通過用直線、二次函數(shù)或 其他函數(shù)擬合確定道路邊界，從而確定道路區(qū)域。王永忠等人申請的專利技術"基于化ar 紋理的非結構化道路檢測方法"（申請?zhí)枺?012103158588申請日：2012. 08. 30申請公布號： CN102915441A)中公開了一種基于化ar特征的道路檢測方法。該方法首先通過設計哈爾小 波化aar)矩形模板，實現(xiàn)哈爾小波紋理特征的快速提取，并通過正交校正，在角度和距離 的約束下，結合像素點紋理方向，采用投票機制確定道路消失點，最后利用道路的色彩信息 和方向一致性信息實現(xiàn)道路檢測。該方法存在的不足是默認假設道路邊界可W通過同頂點 的兩條射線擬合，在道路明顯彎曲的情況下檢測精度偏低。

【發(fā)明內容】

[0007] 本發(fā)明的目的在于針對上述現(xiàn)有方法的不足，提出一種基于單目視覺的道路檢測 方法，通過分類器檢測道路邊界，從而提高道路檢測精度。
[0008] 本發(fā)明的技術方案是：
[0009] 一種基于單目視覺的道路檢測方法，其特殊之處在于：包括W下步驟：
[0010] 1)對于輸入圖像序列的第一帖，手動選取道路邊緣位置，然后進行正負類樣本選 取，根據(jù)采樣得到的正負類樣本，提取局部特征描述子，計算每個樣本的特征表達，組成訓 練數(shù)據(jù)集；
[0011] 2)對于步驟1)中得到的樣本特征表達的訓練數(shù)據(jù)集，使用結構支持向量機作為 分類器，訓練求解得到分類器的超平面參數(shù)；
[0012] 3)對于后續(xù)帖圖像，選取前一帖道路邊緣位置的一個鄰域作為該帖道路邊緣位置 的候選區(qū)域，均勻采樣選取測試像素點，根據(jù)步驟1)中的樣本特征表達方法，用局部特征 描述子描述測試像素點；根據(jù)步驟2)使用的分類器，計算所有測試像素點的分類結果，根 據(jù)測試得到的正類樣本位置，得到正類樣本二值圖；
[0013] 4)使用超像素分割方法計算候選區(qū)域的邊緣二值圖，和正類樣本二值圖進行"或" 操作，得到候選邊緣像素點集合；采用隨機抽樣一致性方法，通過兩條相交的直線擬合得到 最終的道路邊緣位置，擬合直線相交區(qū)域的內部即為該帖圖像的道路檢測結果；
[0014] 5)根據(jù)直線擬合結果和分類器分類結果，確定錯誤劃分的像素點，全部重新加入 訓練數(shù)據(jù)集，更新分類器；
[001引 6)對于最新輸入的帖圖像，重復步驟。到步驟5)，完成所有圖像的道路檢測。
[0016] 基于W上步驟，還可W包括步驟7):
[0017] 根據(jù)手動標記結果，計算道路區(qū)域檢測的精確度。
[0018] 優(yōu)選的步驟1)中正類樣本的選取是對邊緣位置的像素點均勻采樣；負類樣本的 選取是在距離道路邊緣位置一定像素的區(qū)域內，隨機選取樣本點。
[0019] 優(yōu)選的步驟1)中采樣時進行了正負類樣本平衡處理。
[0020] 正類樣本的數(shù)目和負類樣本的數(shù)目都是2000。
[0021] 所述步驟1)中的局部特征描述子包括尺度不變特征轉換、方向梯度直方圖和局 部二值模式。
[0022] 本發(fā)明的優(yōu)點是：
[0023] 1)本發(fā)明采用了在線更新分類器的方法，可W適應道路場景發(fā)生變換的情形；
[0024] 2)本發(fā)明采用了結構支持向量機作為分類器，考慮了正負類樣本數(shù)據(jù)分布的結構 特性，進一步增強了分類精度；
[0025] 3)本發(fā)明選取了分類出錯的樣本點更新訓練數(shù)據(jù)集，使得訓練過程更具有針對 性，提高了道路檢測精度。
【附圖說明】
[0026] 圖1為本發(fā)明基于單目視覺的道路檢測方法流程圖；
[0027] 圖2為本發(fā)明在四組測試數(shù)據(jù)集上的道路檢測結果。
【具體實施方式】
[0028] 下面結合圖1對本發(fā)明做出進一步說明。
[0029] 本發(fā)明提出一種基于單目視覺在線學習的道路檢測方法。該方法通過使用在線 結構性支持向量機（St;ruc1:ured Support Vector Machine,簡稱SSVM)獲取輸入數(shù)據(jù)的結 構分布，同時在線更新分類器使其可W適應環(huán)境變化。結合圖1，輸入視頻，I = (Itlt = 1,2……，η}，η為視頻帖數(shù)。本發(fā)明的實現(xiàn)步驟如下：
[0030] 步驟1，對于輸入的單目圖像，判斷是否是第一帖，如果是第一帖，則執(zhí)行步驟2， 否則執(zhí)行步驟3。
[0031] 步驟2,初始輸入數(shù)據(jù)Ii處理。
[0032] (2a)對于輸入的第一帖數(shù)據(jù)Ii，歸一化圖像到300X500大小。正類樣本使用手 動標記方法確定道路邊緣位置，用二值圖Ri描述道路邊緣位置；
[0033] (2b)均勻采樣道路邊緣位置的像素點為正類樣本。
[0034] (2c)局部特征描述子提取。
[0035] 對于樣本中的每個像素點，選取了Ξ種當前最有效的局部特征描述子，分別是尺 度不變特征轉換（Scale Invariant Fea1:ure Transform,簡稱SIFT),方向梯度直方圖 化istogram of Oriented Gradient,簡稱冊G)和局部二值模式(Xocal Binary Patterns, 簡稱LB巧，進行局部特征描述。對于尺度不變特征轉換（SIFT),選取W該像素為中屯、的 4X4鄰域，提取直方圖8個方向的統(tǒng)計特征，特征維數(shù)是4X4X8 = 128,得到的SIFT特 征可W表示為化|i = 1，2……，1}(其中1為樣本個數(shù)）。對于方向梯度直方圖（HOG)， 特征維數(shù)是31，表示為也|i = 1，2……，1}。對于局部二值模式特征（LB巧，特征維數(shù)是 10,表示為忙I i = 1，2......，1}。最后，第i個樣本點的特征表達為Xi= [d i;h i;I i], i = 1,2......, 1。 W36] (2d)根據(jù)步驟（2c)計算得到特征描述子，則正類樣本可W表示為Tp = {(Xi，+1) I i = 1……，Ip}，其中Ip為正類樣本數(shù)目。對于負類樣本，選取距離道路邊界為d =30個像素點的，寬度h = 10的區(qū)域為負類樣本候選區(qū)域，均勻采樣，根據(jù)步驟（2c)，得到 負類樣本描述T"= {(Xi，-1) |i = 1……，1。}，其中1。為負類樣本數(shù)目。
[0037] 關于負類樣本的選取，主要是考慮到道路場景的復雜性，遠離道路區(qū)域的位置都 可W看做是背景信息，對確定道路邊緣位置影響較小，所W該發(fā)明從距離道路邊緣一定位 置的區(qū)域選取負類樣本，使得分類器更具有針對性。考慮到分類器的樣本均衡問題，在該發(fā) 明中正負類樣本數(shù)目lp= 1。= 2000。
[00測 （2e)根據(jù)步驟（2d)得到的正負訓練樣本，則訓練數(shù)據(jù)，T =化U T J = {(x"y,)|y,e {+1,-1}, i = 1,2……，1片。}，然后訓練SSVM分類器，即求解如下公式中的 W ：
[0039]
陽040] S. t. W' Ψ (Xi, Yi)-w' Ψ (Xi, y)+ξ Δ (y i, y),
[0041 ] /:二 1，...乂 Yy 巨 Y, 陽0創(chuàng)其中：Δ從，y) = (l-yj)/%平衡因子C = 1，ψ (Xi，yi)是經(jīng)典SVM中的核函數(shù)， 此處為高斯核函數(shù)。
[0043] 步驟3,第i帖圖像Ii道路檢測 W44] (3a)根據(jù)第i-1帖檢測得到的道路邊緣位置Ri 1，確定距離該邊緣位置d = 50的 區(qū)域為候選區(qū)域Si。為了降低計算量，對該候選區(qū)域均勻采樣，然后根據(jù)步驟（2c)計算局 部特征，得到測試樣本IXi I i = 1，2......，m}，其中測試樣本個數(shù)m = 1000。 W45] (3b)根據(jù)訓練好的分類器W，測試測試樣本{Xi|i = 1，2……，m}，得到對應樣本的 標簽，測試結果D= Kxi，yi)|yie {+1，-1}，1 = 1，2……，m}，根據(jù)測試得到的正類樣本位 置，得到正類樣本二值圖氣\
[0046] (3c)使用簡單線性迭代聚類（Simple Linear Iterative Clustering,簡稱化 1C) 作為超像素分割方法對Ii進行超像素分割，保留候選區(qū)域S 1中的超像素塊的邊緣位置二 值圖《。融合更新候選道路邊緣位置二值圖馬=巧W巧。使用隨機抽樣一致性（RANdom SAmple Consensus,簡稱RANSAC)方法，用兩條相交直線擬合二值圖Ri，得到最終的道路邊 緣位置Ri，其中擬合直線相交區(qū)域內部即為該帖圖像的道路檢測結果。
[0047] 步驟4,訓練數(shù)據(jù)集T更新及分類器更新
[0048] (4a)根據(jù)最終的道路邊緣位置二值圖Ri和正類樣本二值圖可W容易確定分類 錯誤劃分的樣本點集合D"dw= {(X i, yi) lyi^ {+1,-1}, i = 1, 2......，4}，其中1^是錯誤劃 分樣本個數(shù)。 W例 （4b)更新原始訓練樣本集?_= {Τ U Τ "。。,}，根據(jù)樣本均衡約束和訓練集樣本數(shù) 目的約束，分別對訓練集中地正負類樣本均勻采樣，使得1ρ= 1。= 2000,得到更新后的訓 練樣本集 Τ = {(Xi, y;) I y; e {+1, -1}, i = 1, 2......，1。+1。}，更新分類器。
[0050] 步驟5,計算檢測精確度
[0051] 對于其余所有輸入圖像，重復步驟（2)~步驟（4)，完成所有帖圖像的道路檢測。 根據(jù)手動標記的道路邊緣位置，計算檢測結果與真實區(qū)域的重合率，得到道路檢測的精確 度。
[0052] 本發(fā)明的效果可W通過W下仿真實驗做進一步的說明。 陽〇5引 1.仿真條件
[0054] 本發(fā)明是在中央處理器為 Intel (時 Core i3-2130 3. 40GHZ、內存 16G、WINDOWS 7 操作系統(tǒng)上，運用MATLAB軟件進行的仿真。
[0055] 實驗中使用的測試視頻分別是結構性道路（白天），結構性道路（黃昏），非結構 性高速公路和非結構性±質道路四種場景，為了驗證該發(fā)明的有效性，手動標記了此四種 視頻的道路區(qū)域作為真實結果。
[0056] 2.仿真內容
[0057] 選取四種場景下的視頻分別測試本發(fā)明的道路檢測算法，計算每種視頻的檢測精 度，求取平均值作為本發(fā)明算法的精確度，其中道路檢測結果如圖2.為了對比本發(fā)明的 有效性，選取了 K. Kong 等人在文獻"H. Kong, J.Audibe;rt, and J. Ponce. Vanishing Point Detection for Road Detection. In Proceedings of IEEE Conference on Computer Vision and Pattern Reco即ition, 96-103, 2009"中提到的基于消失點的道路檢測方法。 對比結果如表1所示。
[0058] 表1道路檢測精確度
[0059]
W60] 從表1可已看出，本發(fā)明的檢測精確度對比消失點方法要高出19%。運是因為，本 發(fā)明采用了在線更新策略更新分類器，可W適應汽車在行駛過程中場景發(fā)生變化的情形。 同時，該發(fā)明使用了結構性分類器進一步挖掘樣本內部的結構信息，提升了分類器的分類 精度。除此之外，通過選取錯誤劃分的樣本加入訓練集，使得分類器的訓練更具有針對性， 提高了道路檢測精度。
【主權項】
1. 一種基于單目視覺的道路檢測方法，其特征在于：包括以下步驟： 1) 對于輸入圖像序列的第一幀，手動選取道路邊緣位置，然后進行正負類樣本選取，根 據(jù)采樣得到的正負類樣本，提取局部特征描述子，計算每個樣本的特征表達，組成訓練數(shù)據(jù) 集； 2) 對于步驟1)中得到的樣本特征表達的訓練數(shù)據(jù)集，使用結構支持向量機作為分類 器，訓練求解得到分類器的超平面參數(shù)； 3) 對于后續(xù)幀圖像，選取前一幀道路邊緣位置的一個鄰域作為該幀道路邊緣位置的候 選區(qū)域，均勻采樣選取測試像素點，根據(jù)步驟1)中的樣本特征表達方法，用局部特征描述 子描述測試像素點；根據(jù)步驟2)使用的分類器，計算所有測試像素點的分類結果，根據(jù)測 試得到的正類樣本位置，得到正類樣本二值圖； 4) 使用超像素分割方法計算候選區(qū)域的邊緣二值圖，和正類樣本二值圖進行"或"操 作，得到候選邊緣像素點集合；采用隨機抽樣一致性方法，通過兩條相交的直線擬合得到最 終的道路邊緣位置，擬合直線相交區(qū)域的內部即為該幀圖像的道路檢測結果； 5) 根據(jù)直線擬合結果和分類器分類結果，確定錯誤劃分的像素點，全部重新加入訓練 數(shù)據(jù)集，更新分類器； 6) 對于最新輸入的幀圖像，重復步驟2)到步驟5)，完成所有圖像的道路檢測。2. 根據(jù)權利要求1所述的基于單目視覺的道路檢測方法，其特征在于： 還包括步驟7): 根據(jù)手動標記結果，計算道路區(qū)域檢測的精確度。3. 根據(jù)權利要求1或2所述的基于單目視覺的道路檢測方法，其特征在于：步驟1)中 正類樣本的選取是對邊緣位置的像素點均勻采樣；負類樣本的選取是在距離道路邊緣位置 一定像素的區(qū)域內，隨機選取樣本點。4. 根據(jù)權利要求3所述的基于單目視覺的道路檢測方法，其特征在于：步驟1)中采樣 時進行了正負類樣本平衡處理。5. 根據(jù)權利要求4所述的基于單目視覺的道路檢測方法，其特征在于：正類樣本的數(shù) 目和負類樣本的數(shù)目都是2000。6. 根據(jù)權利要求1或2所述的基于單目視覺的道路檢測方法，其特征在于：所述步驟 1)中的局部特征描述子包括尺度不變特征轉換、方向梯度直方圖和局部二值模式。
【文檔編號】G06K9/00GK105989334SQ201510076619
【公開日】2016年10月5日
【申請日】2015年2月12日
【發(fā)明人】袁媛, 王 琦, 姜志宇
【申請人】中國科學院西安光學精密機械研究所