專利名稱：使用道路模型的暢通路徑檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機(jī)動車輛的自動或半自動控制。
背景技術(shù)：
本部分的陳述僅僅提供與本發(fā)明相關(guān)的背景信息，可能不構(gòu)成現(xiàn)有技術(shù)。自主駕駛系統(tǒng)和半自主駕駛系統(tǒng)利用與路況和其它駕駛情況相關(guān)的輸入來自動 控制節(jié)氣門和轉(zhuǎn)向機(jī)構(gòu)。精確地估計并識別機(jī)動車輛所能行駛的暢通路徑，對于成功取代 以人腦作為控制機(jī)構(gòu)的車輛操作來說是至關(guān)重要的。路況可能會很復(fù)雜。在車輛正常操作的情況下，駕駛員每分鐘進(jìn)行數(shù)百次觀察并 根據(jù)所感知的路況來調(diào)整車輛操作。感知路況的一個方面是感知車道上和周邊的物體并在 物體中間導(dǎo)航出暢通路徑。用科技來取代人類的感知首先包括精確感知物體的手段；還包 括繼而在這些物體周圍有效地進(jìn)行導(dǎo)航。感知物體或路況的科技手段包括從視頻攝像機(jī)、雷達(dá)成像、激光雷達(dá)、車輛之間的 通信、車輛與基礎(chǔ)設(shè)施之間的通信所得到的數(shù)據(jù)以及使用由數(shù)字地圖得到的全球定位數(shù) 據(jù)。攝像機(jī)將輻射形式的視覺圖像-如光圖案或紅外特征轉(zhuǎn)換成可讀數(shù)據(jù)格式。一種這類 數(shù)據(jù)格式包括像素圖像，在像素圖像中，感知到的場景被分割成一系列像素。雷達(dá)成像利用 發(fā)射器產(chǎn)生的無線電波來估計出現(xiàn)在發(fā)射器前方的形狀和物體。由這些形狀和物體反射回 來的電波圖案能夠被分析，從而估計物體的位置。有關(guān)車輛前方地面的數(shù)據(jù)一旦產(chǎn)生，這些數(shù)據(jù)必須經(jīng)過分析以便從數(shù)據(jù)中估計出 物體的存在。通過使用攝像機(jī)和雷達(dá)成像系統(tǒng)，可以分析車輛前方的地面或道路，從而得到 可能需要避開的物體的存在。然而，僅僅識別那些需要避免的潛在物體并沒有完成分析過 程。任何自主系統(tǒng)的一個重要元素都包括如何處理并操縱在所感知的地面數(shù)據(jù)中識別出的 潛在物體以便識別操作車輛的暢通路徑。一種已知的識別操作車輛的暢通路徑的方法是將所有感知到的物體進(jìn)行分類并 臨時性地識別所有感知到的導(dǎo)航因素，并且根據(jù)所識別的物體的位置和特性來識別暢通路 徑。可根據(jù)圖像的形式以及圖像與道路的關(guān)系來處理這些圖像，從而識別并分類物體。盡 管在識別暢通路徑時該方法是有效的，但是其需要大量的處理能力，例如，在視覺圖像中辨
5別不同的物體并對其進(jìn)行分類，比如區(qū)分路邊的樹以及走向路緣的行人。這些方法在處理 復(fù)雜情況時的速度慢或者有效性差，或者需要笨重且昂貴的設(shè)備來提供必須的處理能力。

發(fā)明內(nèi)容
一種用于檢測車輛行駛的暢通路徑的方法，該檢測包括通過圖像分析進(jìn)行的暢通 路徑檢測與描述道路幾何形狀的道路幾何形狀數(shù)據(jù)的融合，該方法包括監(jiān)測來自車輛上 的攝像機(jī)裝置的圖像；通過暢通路徑分析來分析圖像，以確定圖像中的行駛暢通路徑；監(jiān) 測道路幾何形狀數(shù)據(jù)；分析道路幾何形狀數(shù)據(jù)以確定道路幾何形狀數(shù)據(jù)對暢通路徑的影 響；基于對道路幾何形狀數(shù)據(jù)的分析來修正暢通路徑；以及在車輛導(dǎo)航中使用修正后的暢 通路徑。


現(xiàn)在將參考附圖通過示例來描述一個或多個實施方式，附圖中圖1示出了配備有根據(jù)本發(fā)明的攝像機(jī)和雷達(dá)成像系統(tǒng)的車輛的示例性設(shè)置；圖2示出了根據(jù)本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法；圖3示出了根據(jù)本發(fā)明的一種使用圖像幾率分析來確定暢通路徑的示例性方法；圖4示出了根據(jù)本發(fā)明的一種分析圖像的示例性方法；圖5示出了根據(jù)本發(fā)明的一種通過調(diào)整單個閾值來確定分類誤差的示例性方法；圖6A、6B和6C示出了根據(jù)本發(fā)明的一種通過計算絕對圖像強(qiáng)度差別來確定圖像 差別的示例性方法；圖7示出了根據(jù)本發(fā)明的、將一個特征同時分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的一種示例性方法；圖8示出了根據(jù)本發(fā)明的、將一個特征同時分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的另一種示例性方法；圖9示出了根據(jù)本發(fā)明的通過幾率分析來分析圖像的一個示例性過程；圖10示出了根據(jù)本發(fā)明的用于檢測暢通路徑的第一處理方案；圖11示出了根據(jù)本發(fā)明的一個示例性當(dāng)前圖像，該當(dāng)前圖像包含在當(dāng)前圖像上 識別出的一組示例性的關(guān)切點(diǎn)；圖12示出了根據(jù)本發(fā)明的在圖11所示圖像之后捕獲的示例性當(dāng)前圖像；圖13A和13B示出了根據(jù)本發(fā)明的示例性的匹配點(diǎn)對，該匹配點(diǎn)對包括當(dāng)前圖像 中的關(guān)切點(diǎn)和與其對應(yīng)的先前圖像中的關(guān)切點(diǎn)，并且示例性的像素區(qū)域環(huán)繞這些點(diǎn)；圖13A示出了當(dāng)前圖像中的關(guān)切點(diǎn)和環(huán)繞該關(guān)切點(diǎn)的像素區(qū)域；圖13B示出了先前圖像中的關(guān)切點(diǎn)和環(huán)繞該關(guān)切點(diǎn)的像素區(qū)域；圖14以繪圖形式示出了根據(jù)本發(fā)明的、使用示例性當(dāng)前圖像、示例性先前圖像、 以及宿主車輛的操作來確定觀察到的特征的位置；圖15以繪圖形式示出了根據(jù)本發(fā)明的一個示例性的上方地圖，其描述了在宿主 車輛前方的X和y坐標(biāo)內(nèi)關(guān)切點(diǎn)的垂直位置；圖16示出了根據(jù)本發(fā)明的用于檢測暢通路徑的第二處理方案；圖17示出了根據(jù)本發(fā)明的基于像素顏色強(qiáng)度的一個示例性的濾波圖像；
圖18示出了根據(jù)本發(fā)明的采用邊緣識別方法的一個示例性的濾波圖像；圖19示出了根據(jù)本發(fā)明的用于第二處理方案的可替換的示例性過程；圖20示出了根據(jù)本發(fā)明的車輛外部的視場；圖21示出了根據(jù)本發(fā)明的檢測更優(yōu)暢通路徑的示例性過程；圖22示出了根據(jù)本發(fā)明的確定車道標(biāo)記的示例性處理方案；以及圖23示出了根據(jù)本發(fā)明的示例性暢通路徑與示例性道路模型的示例性互利改 良ο
具體實施例方式現(xiàn)在參考附圖，附圖的目的僅在于示出某些示例性實施方式，而并非用于限制本 發(fā)明，圖1示出了根據(jù)本發(fā)明的攝像機(jī)110的示例性設(shè)置，攝像機(jī)110定位在車輛100前部 并指向車輛100前方的地面。攝像機(jī)110與處理模塊120進(jìn)行通訊，處理模塊120包含處 理來自攝像機(jī)Iio的輸入的邏輯算法。車輛100也可以配備雷達(dá)成像系統(tǒng)130，當(dāng)配備雷達(dá) 成像系統(tǒng)130時該系統(tǒng)同樣也與處理模塊120進(jìn)行通信。本領(lǐng)域技術(shù)人員應(yīng)該理解的是， 車輛100能夠利用多種方法來識別路面狀況，這些方法可與攝像機(jī)110和雷達(dá)成像系統(tǒng)130 同時使用或者選擇使用，包括GPS信息、來自與車輛100通信的其他車輛的信息、特定道路 的歷史數(shù)據(jù)、生物檢測信息-例如讀取駕駛員視覺焦點(diǎn)的系統(tǒng)信息、雷達(dá)成像系統(tǒng)或者其 他類似系統(tǒng)。本發(fā)明可應(yīng)用于各種設(shè)備，因此不局限于此。攝像機(jī)110是本領(lǐng)域公知的，其能夠?qū)⒐廨椛?、紅外輻射或其他電磁(EM)輻射形 式的視覺輸入轉(zhuǎn)換成易于分析的數(shù)據(jù)格式，例如數(shù)字圖像、像素圖像。在一個實施方式中， 攝像機(jī)110使用電荷耦合裝置(CCD)傳感器來產(chǎn)生表示視場的圖像。優(yōu)選地，攝像機(jī)110被 配置成連續(xù)產(chǎn)生圖像，例如，每秒鐘產(chǎn)生30幅圖像。由攝像機(jī)110產(chǎn)生的圖像可以存儲在攝 像機(jī)110內(nèi)的存儲器中或者傳給處理模塊120來存儲和/或分析。優(yōu)選地，攝像機(jī)110所 產(chǎn)生的每幅圖像都是由多個可識別像素構(gòu)成的、已知像素維度的二維圖像。多個可識別像 素能夠以陣列方式來存儲和分析。每個像素可以在陣列中表示為一組比特(bit)或多組比 特，其中，比特對應(yīng)于預(yù)定調(diào)色板或色彩圖中的顏色。例如在紅-綠-藍(lán)(RGB)顏色模式或 青-品紅-黃-黑(CMYK)顏色模式中，每個像素能夠表示成多個顏色強(qiáng)度值的函數(shù)。優(yōu)選 地，每個像素包括多組比特，其中每組比特對應(yīng)于一個顏色強(qiáng)度和一個顏色強(qiáng)度值，例如， 在RGB顏色模式中，第一組比特對應(yīng)于紅色強(qiáng)度值，第二組比特對應(yīng)于綠色強(qiáng)度值，第三組 比特對應(yīng)于藍(lán)色強(qiáng)度值。雷達(dá)成像裝置130是本領(lǐng)域公知的裝置，其包含如下設(shè)備發(fā)射器，其能夠發(fā)射無 線電波或其他電磁輻射；接收器，其能夠感測被發(fā)射器前的物體反射而回到接收器的發(fā)射 波；以及將感測到的波轉(zhuǎn)換成能夠分析的數(shù)據(jù)格式的裝置，這些數(shù)據(jù)表示出從物體反射回 的波的范圍和角度等信息。替代性地，可使用光檢測和測距(LIDAR)系統(tǒng)來取代雷達(dá)成像 裝置130或者作為其補(bǔ)充，光檢測和測距系統(tǒng)被構(gòu)造成發(fā)射并接收光能量。接收到的光能 量可以用來確定車輛100附近的物體的尺寸和/或幾何參數(shù)。需注意的是，對于執(zhí)行這里 公開的很多方法而言，雷達(dá)成像裝置130是可選的而不是必須的，其中，處理視覺圖像能夠 實現(xiàn)暢通路徑檢測。圖1示出了處理模塊120，這里將處理模塊120描述成一個分立元件。這種圖示
7是為了描述方便，應(yīng)該認(rèn)識到這個元件所實現(xiàn)的功能可以由一個或多個裝置組合完成，例 如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。處理模塊120可以是一個通用數(shù)字計算機(jī)，其 包括微處理器或中央處理單元；由包括只讀存儲器的非易失性存儲器和電子可編程只讀 存儲器組成的存儲介質(zhì)；隨機(jī)存取存儲器；高速時鐘；模_數(shù)和數(shù)_模轉(zhuǎn)換電路；輸入/輸 出電路和裝置以及適當(dāng)?shù)男盘栒{(diào)節(jié)和緩沖電路?？商鎿Q地，處理模塊120可以是一個數(shù)字 信號處理(DSP)單元，例如現(xiàn)場可編程門陣列的定制集成電路。處理模塊120具有一組處 理算法，這些算法包括在非易失性存儲器中存儲并且被執(zhí)行以提供所需功能的常駐程序指 令和校準(zhǔn)值。算法優(yōu)選在預(yù)設(shè)環(huán)路循環(huán)中執(zhí)行。算法由中央處理單元執(zhí)行，并能夠監(jiān)測來 自上述檢測裝置的輸入，并且這些算法通過使用預(yù)設(shè)的校準(zhǔn)值來執(zhí)行控制和診斷程序以便 控制致動器的操作。環(huán)路循環(huán)可以規(guī)則性間隔執(zhí)行，例如，在發(fā)動機(jī)運(yùn)行和車輛操作中，每 3. 125,6. 25、12. 5、25和100毫秒執(zhí)行一次?？商鎿Q地，算法可以響應(yīng)于事件的發(fā)生來執(zhí)行。處理模塊120處理在其中存儲的算法代碼，以便監(jiān)測相關(guān)儀器，如攝像機(jī)110、雷 達(dá)成像系統(tǒng)130，并執(zhí)行在處理模塊內(nèi)進(jìn)行的分析所指示的命令或數(shù)據(jù)傳輸。處理模塊120 可包括算法和機(jī)構(gòu)來實現(xiàn)自主駕駛控制，其實現(xiàn)方式在本領(lǐng)域中是已知的，在此不再詳述； 或者，處理模塊120可以僅僅為一個獨(dú)立的自主駕駛系統(tǒng)提供信息。處理模塊120適于在 必要的時候接收來自其他系統(tǒng)和操作者的輸入信號，這取決于與控制模塊結(jié)合使用的具體 實施方式。圖2示出了根據(jù)本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法。對應(yīng)于車 輛100前方的道路產(chǎn)生圖像10。通過多種方法中的一種，物體40A、40B和40C在圖像10內(nèi) 被識別，且每個物體根據(jù)過濾和訓(xùn)練的物體特性來進(jìn)行分類。每個物體的單獨(dú)處理在計算 量方面的強(qiáng)度較大，需要昂貴且笨重的儀器才能承受這種計算負(fù)荷。一種算法處理所有與 道路和物體40有關(guān)的可用信息，以便估計對車輛100來說可行的暢通路徑。暢通路徑的確 定取決于被識別物體40的特定分類和特性。圖3示出了根據(jù)本發(fā)明的一種為自主或半自主行駛確定暢通路徑的示例性方法。 圖像10示出為包括地面20、水平線30以及物體40。圖像10由攝像機(jī)110收集，并表示車 輛100前方的道路環(huán)境。地面20代表了在不基于可能存在的物體進(jìn)行區(qū)分的情況下可 供車輛行駛的所有路徑。圖3所示的基于路面20確定暢通路徑的方法首先假設(shè)所有地面 20都是暢通的，然后利用可用數(shù)據(jù)來確定地面20的某些部分是不暢通的。圖2是將每個物 體40進(jìn)行分類，與圖2的方法不同，圖3的方法分析地面20，并從可用數(shù)據(jù)中限定出一個幾 率，其中，可用數(shù)據(jù)指的是因為一些異常而限制通行或不暢通的那部分地面20的數(shù)據(jù)，這 些異常是可檢測的且可能代表物體40。關(guān)注地面20而不是物體40就避免了檢測物體所帶 來的復(fù)雜的計算任務(wù)。單獨(dú)分類和對每個物體進(jìn)行追蹤就不是必須的了，因為獨(dú)立的物體 40都被簡單地統(tǒng)一為地面20上的整體均勻阻礙的一部分。上述地面20-也即在不進(jìn)行區(qū) 分的情況下都能夠行駛的路徑減去地面20上被發(fā)現(xiàn)不暢通的不暢通區(qū)域，就可定義出暢 通路徑50，也即圖3中虛線內(nèi)的區(qū)域，或者具有允許車輛100行駛的某個閾值幾率的區(qū)域。在地面20上產(chǎn)生不暢通限制的物體40有多種形式。例如，物體40可以代表一個 獨(dú)立的物體，如停著的汽車、行人或者道路障礙；物體40還可以代表不太明顯的表面圖案 變化，這些變化指示諸如路側(cè)緣的路邊緣、草的輪廓線或者道路上的水。物體40還可以包 括與地面20相聯(lián)系的平坦路面的缺失，例如，路面上的大坑。物體40還可以包括相對于路面在高度上沒有任何明顯變化的指示牌，但對于該路段來說是明顯的暢通路徑提示，例如 道路上的指示車道標(biāo)記的圖案。這里公開的方法并沒有試圖去識別物體40，而是通過僅僅 提取地面20上的視覺線索以及所有在圖像10中的地面附近的物體，從而評估不暢通路徑 和暢通路徑的幾率，并在任何物體40存在時調(diào)整車輛100的控制。二維(2D)圖像的自動分析有多種可行的方法。由處理模塊120內(nèi)的算法對圖像 10進(jìn)行分析。圖4示出了根據(jù)本發(fā)明的一種可用于分析圖像10的示例性方法。該方法將 圖像10細(xì)分，識別地面20上的子圖像或補(bǔ)片60來進(jìn)行分析，從補(bǔ)片60中提取特征或分析 可用的視覺信息，以識別出其中的任何關(guān)切特征(interesting features)或區(qū)別特征，并 依據(jù)對特征的分析、根據(jù)暢通路徑的幾率來對補(bǔ)片進(jìn)行分類。大于特定幾率閾值的補(bǔ)片被 歸類為暢通的，對這類補(bǔ)片的匯編能夠用來構(gòu)成圖像內(nèi)的暢通路徑。作為圖像10的子圖像，補(bǔ)片60能夠通過多種已知方法來識別，例如，圖像10的隨 機(jī)搜索或密集搜索?？商鎿Q地，從其他信息源_例如雷達(dá)成像系統(tǒng)130得到的有關(guān)物體40 存在的信息能夠用來識別補(bǔ)片，以分析能夠描述物體40的那部分圖像10。圖像10需要很 多補(bǔ)片60來分析整個圖像。另外，多個疊層補(bǔ)片或不同大小的補(bǔ)片能夠用來全面分析包含 關(guān)切信息的圖像10的區(qū)域。例如，一個小的補(bǔ)片60能夠用來分析路上的一個小點(diǎn)；然而， 一個大的補(bǔ)片60需要用來分析一系列的點(diǎn)，這些點(diǎn)獨(dú)自看來都不是關(guān)切點(diǎn)，但是對于整個 系列來說，其能夠指示出關(guān)切物體40。另外，應(yīng)用到某特定區(qū)域的補(bǔ)片的分辨率可以基于可 用信息進(jìn)行調(diào)制，例如，可應(yīng)用更多的補(bǔ)片到圖像10中的物體40可能存在的區(qū)域。多種手 段或策略可以用來確定用于分析的補(bǔ)片60，本發(fā)明不限于這里所述的具體實施方式
。—旦補(bǔ)片60已被識別而用于分析，處理模塊120就通過應(yīng)用濾波器從補(bǔ)片中提取 特征而對該補(bǔ)片進(jìn)行處理。此外，處理模塊120可以對補(bǔ)片位置執(zhí)行相對于車輛位置的分 析。所使用的濾波器可以采用多種形式。用于提取特征的濾波算法經(jīng)常搜索可用的視覺信 息，以便找到與物體相關(guān)的圖像中的特征性圖案，這些圖案通過線的方向、線的位置、顏色、 角落特點(diǎn)、其他視覺屬性和學(xué)習(xí)屬性來定義的特征。學(xué)習(xí)屬性可通過車輛內(nèi)的機(jī)器學(xué)習(xí)算 法來學(xué)得，但學(xué)習(xí)屬性通常進(jìn)行離線編程，且能夠通過足以精確地訓(xùn)練區(qū)別屬性的建?；?其他技術(shù)以實驗方式、經(jīng)驗方式、預(yù)測方式來得出。一旦補(bǔ)片60中的特征被提取，補(bǔ)片就基于特征被分類以確定路徑是暢通路徑的 幾率。幾率分析在本領(lǐng)域是已知的，在這種分析中存在某特定條件的幾率值或信心被導(dǎo)出。 應(yīng)用到本發(fā)明中，分類包括幾率分析以確定補(bǔ)片是否代表暢通路徑、或者該補(bǔ)片中的地面 20是否被物體40所限制。在一個示例性實施方式中，分類通過應(yīng)用分類器或算法來實施， 其中，所述算法因被訓(xùn)練而含有數(shù)據(jù)庫，該數(shù)據(jù)庫包括示例性路況以及與被檢測物體的相 互作用。這些分類器允許處理模塊120導(dǎo)出補(bǔ)片60的分?jǐn)?shù)型式的暢通路徑幾率值，該幾率 值將信心值量化在0與1之間，在該區(qū)間中，在補(bǔ)片內(nèi)識別出的特征并不代表一個將會限制 車輛100自由行駛的限制物體40。閾值信心限定確定該補(bǔ)片是暢通路徑的暢通路徑幾率， 例如可通過如下邏輯來設(shè)定閾值信心信心=暢通路徑幾率(i)如果_信心> 0. 5，那么_ 補(bǔ)片=暢通路徑 (1)在這個特定的示例性實施方式中，50%或者0. 5的信心被選定為 閾值信心。該數(shù)字能夠通過足以精確評估用于暢通路徑特征的補(bǔ)片的建模或其他技術(shù)而實 驗方式、經(jīng)驗方式、預(yù)測方式來得出。在一個示例性實施方式中，如上所述的幾率分析能夠通過將訓(xùn)練過的分類器應(yīng)用到從補(bǔ)片提取的特征來實現(xiàn)。一種方法通過使用一組訓(xùn)練圖像來分析假定的特征。在該 訓(xùn)練階段，從一個原始特征組中來選擇區(qū)別特征，區(qū)別特征由本領(lǐng)域的已知方法定義，例如 Harr小波、Gabor小波以及Leimg和Malik濾波器組。另外，基于每個特征的最小分類誤差 并且計算為錯誤接受率(FAR)和錯誤拒絕率(FRR)的總和的二維圖像位置信息能夠通過調(diào) 制圖5所示的單一閾值而被使用。這種分類誤差能用下面的表達(dá)式來描述分類誤差(i) =FARJFRRi (2)從訓(xùn)練過的分類器中得到的信息用來分類或加權(quán)特征，作為指示暢通 路徑或不暢通路徑的特征。該特定分類取決于與訓(xùn)練數(shù)據(jù)的比較強(qiáng)度。如果該特征是補(bǔ)片 內(nèi)的唯一特征，那么該特征的分類能夠直接應(yīng)用到該補(bǔ)片。有多個識別特征的補(bǔ)片的分類 可能有多種形式，包括由最能代表補(bǔ)片是不暢通的包含特征來定義補(bǔ)片，或者由所有包含 特征的加權(quán)和來定義補(bǔ)片。上述方法能夠用來檢查單一圖像10，并基于圖像10內(nèi)所包含的視覺信息來估計 暢通路徑50。該方法可以隨著車輛沿道路行駛而以某種間隔重復(fù)，從而考慮新的信息并將 確定的暢通路徑擴(kuò)展至車輛的新位置前方的某些范圍。間隔的選擇必須能夠以足量頻率來 更新圖像10，以便準(zhǔn)確地為車輛100提供行駛的暢通路徑。然而，該間隔也可以選擇為足以 控制車輛同時不會對處理模塊120施加過度的計算負(fù)荷的某個最小值。如上所述，暢通路徑檢測能夠通過單一圖像10來完成。但是，補(bǔ)充使用與原始圖 像的時間間隔非常近的第二幅圖像，例如從連續(xù)視頻補(bǔ)片得到的一系列圖像，則能夠提高 處理速度和精確度。第二幅圖像能夠與第一幅圖像直接比較，并提供有關(guān)車輛行進(jìn)和被檢 測物體運(yùn)動的最新信息。同時，攝像機(jī)110視角的改變允許對第一幅圖像中的特征進(jìn)行不 同的分析在第一幅圖像中沒有清晰地顯現(xiàn)的或者不清楚的特征可能在不同的攝像角度中 出現(xiàn)、更加清楚，或者與第一幅圖像相比已經(jīng)移動的特征，也能夠使得分類算法有額外的機(jī) 會來定義該特征。處理與原始圖像10相關(guān)的第二幅圖像能通過計算圖像差異來進(jìn)行。如果關(guān)切點(diǎn) 的圖像差異-例如由雷達(dá)識別出的特征不是0，那么該點(diǎn)能夠被識別為體現(xiàn)新的信息。圖像 差別為0的點(diǎn)能夠從分析中排除，且計算資源能夠保留。確定圖像差異的方法包括絕對圖 像強(qiáng)度差異和車輛運(yùn)動補(bǔ)償?shù)膱D像差異。通過計算絕對圖像強(qiáng)度差異而確定圖像差異能夠用來收集兩幅圖像之間的信息。 一種絕對圖像強(qiáng)度差異方法包括如下步驟確定原始圖像與第二幅圖像之間的等效圖像特 征，以便補(bǔ)償圖像之間的車輛運(yùn)動；重疊圖像；并標(biāo)注出圖像強(qiáng)度之間的任何的顯著變化。 表示圖像強(qiáng)度在某個特定區(qū)域的變化的圖像之間的比較包含新的信息。強(qiáng)度上顯示出無變 化的區(qū)域或補(bǔ)片在分析中不再被強(qiáng)調(diào)，而在強(qiáng)度上顯示出明顯變化的區(qū)域被重點(diǎn)關(guān)注，使 用上述方法來分析任一或兩個所獲取的圖像上的補(bǔ)片。圖6A、6B和6C示出根據(jù)本發(fā)明的一種通過計算絕對圖像強(qiáng)度差異來確定圖像差 異的示例性方法。圖6A示出了原始圖像。圖6B示出了比原始圖像有所變化的第二幅圖像。 特別是圓圈向左移動了。圖6C示出了兩幅圖像的比較，所得結(jié)論代表了絕對圖像強(qiáng)度差異 比較的結(jié)果，從第一幅圖像到第二幅圖像識別出一個區(qū)域的亮度變深、另一個區(qū)域的亮度 變淺。這種方法能夠描述為區(qū)別。這種比較分析產(chǎn)生某種信息，該信息表明由運(yùn)動或視角 變化引起的某種變化可能存在于圖像區(qū)域中。這樣，絕對圖像強(qiáng)度差異能夠用來分析一對 連續(xù)圖像以識別潛在的不暢通路徑。
同樣，通過計算車輛運(yùn)動補(bǔ)償?shù)膱D像差異來確定圖像差異能夠用來收集兩幅圖像 之間的信息。計算車輛補(bǔ)償?shù)膱D像差異的很多方法是已知的。一種計算車輛補(bǔ)償?shù)膱D像差 異的示例性方法包括分析一個潛在物體，將其同時作為暢通路徑的靜態(tài)部分以及被檢測物 體。對特征實施幾率分析，其中，該特征是根據(jù)同時對兩種分類的潛在物體進(jìn)行識別所得到 的，分類可以被比較，例如可通過以下邏輯進(jìn)行這種比較信心⑴=暢通路徑幾率⑴-被 檢測物體幾率(i)如果_信心> 0，那么_補(bǔ)片=暢通路徑 (3)在這種示例性的比較 中，如果信心(i)大于0，那么包含該特征的補(bǔ)片被分類為暢通路徑。如果信心(i)等于或 小于0，那么包含該特征的補(bǔ)片被分類為不暢通路徑或受限制路徑。然而，可以選擇不同的 信心水平數(shù)值來將路徑分類為暢通路徑。例如，測試可能會表明錯誤正值比錯誤負(fù)值更有 可能出現(xiàn)，因此可能會引入一些因數(shù)或偏差。圖7示出了根據(jù)本發(fā)明的一種將特征進(jìn)行分類的方法，如上所述，該特征同時作 為暢通路徑的一部分和被檢測物體被分類。圖像10包括物體40、梯形投影70和矩形投影 80。這種方法假定投影物體40作為地面上投影70內(nèi)的平面物體，以測試作為暢通路徑的一 部分的特征的分類。該方法還假設(shè)投影物體40作為一個在矩形投影80內(nèi)的垂直物體，來測 試特征作為被檢測物體的分類。圖8示出了根據(jù)本發(fā)明對在兩幅圖像之間收集的數(shù)據(jù)進(jìn)行 比較以評價本發(fā)明的物體40的屬性的方法。攝像機(jī)110在、時刻發(fā)現(xiàn)并以第一幅圖像的 形式獲取了來自物體40的數(shù)據(jù)。如果物體40是一個實際檢測到的物體，那么在、時刻攝 像機(jī)110觀測到的物體40的輪廓將與點(diǎn)90A相對應(yīng)。如果物體40是一個與地面20在同一 平面上的平坦物體，那么攝像機(jī)110在、時刻觀測到的物體40的輪廓將與點(diǎn)90B相對應(yīng)。 在時刻、和t2之間，攝像機(jī)110行駛了一定的距離。在t2時刻獲取第二幅圖像，關(guān)于物體 40的信息能用算法來進(jìn)行測試，該算法著眼于第二幅圖像相對于第一幅圖像的可見屬性。 如果物體40是一個實際檢測到的物體，且從地面20向上延伸，那么在時刻t2物體40的輪 廓將在點(diǎn)90C處被觀察到。如果物體40是一個與地面20在同一平面上的平坦物體，那么 物體40在時刻t2的輪廓將在點(diǎn)90B處被觀察到。通過車輛運(yùn)動補(bǔ)償?shù)膱D像差異所得到的 比較能夠通過使用基于對點(diǎn)90進(jìn)行觀察的分類器直接設(shè)定一個信心值；或者，該比較可以 簡單地指向顯示變化的區(qū)域，作為關(guān)切點(diǎn)。對被作為平坦物體和實際檢測到的物體分類的 物體進(jìn)行的測試使得要么能夠識別包含物體40的區(qū)域以便通過如上所述的補(bǔ)片分析進(jìn)行 進(jìn)一步分析；要么能夠直接得出暢通路徑幾率和被檢測物體幾率值以便例如在上述邏輯表 達(dá)式3中進(jìn)行比較。從對第二幅圖像的分析所得到的可用信息能夠通過結(jié)合與車輛運(yùn)動有關(guān)的信息 而被額外改善，所述信息例如是速度和偏航率。與車輛運(yùn)動有關(guān)的信息可以有很多來源，包 括車輛測速儀、車輛動力傳感器或車輪速度傳感器、防抱死制動機(jī)構(gòu)和GPS定位系統(tǒng)?？稍?算法中利用這種車輛運(yùn)動信息，例如結(jié)合圖7和圖8所示的投影，以便基于從第一幅圖像得 到的數(shù)據(jù)和車輛在兩幅圖像之間的測得運(yùn)動來投影某些角度，所述角度應(yīng)當(dāng)出現(xiàn)在第二幅 圖像的地面上的平坦特征中。比較所用的圖像數(shù)量不一定限制為兩個。多個圖像分析可在多重迭代中實現(xiàn)，物 體在多個循環(huán)中被追蹤和比較。如上所述，計算效率能夠通過圖像差異分析而得以提高，其 中，圖像差異分析識別關(guān)切點(diǎn)并剔除與后續(xù)分析具有0差異的區(qū)域。這種效率能夠用在多 重迭代中，例如，也就是說只有在第一幅圖像和第二幅圖像之間識別出的關(guān)切點(diǎn)在第三和第四幅圖像中被分析。有時候，一組新圖像需要被比較，以保證顯示0差異的區(qū)域均沒有任 何變化，例如，一個移動物體撞擊到之前識別出的暢通路徑上。圖像差異分析和聚焦分析的 使用剔除了識別出零變化的區(qū)域，圖像差異分析和聚焦分析的使用對于不同的應(yīng)用和不同 的操作條件而言是不同的，這些操作條件例如是車輛速度或所觀察到的操作環(huán)境。圖像差 異分析和聚焦分析的特定應(yīng)用可能有多種不同的實施方式，本發(fā)明不局限于此處提及的具 體實施方式。圖9示出了根據(jù)本發(fā)明的一個示例性過程200，其中分析來自攝像機(jī)的輸入以確 定暢通路徑的幾率。攝像機(jī)的輸入以圖像形式在步驟202中生成。在步驟204中，從圖像 中選取補(bǔ)片用于分析。步驟206示出了用于處理補(bǔ)片的一個濾波器或一組濾波器。在步驟 208中，對所選取的補(bǔ)片應(yīng)用來自步驟206的濾波器和其它算法以便進(jìn)行特征提取。應(yīng)該理 解，某些特征具有意義而另一些特征則沒有意義，并且選擇特征的過程可以用于確定用于 分析的一組最佳特征。步驟210包括分類器訓(xùn)練過程。如上文提到的，用于得出幾率值的 分類器或邏輯最初是離線訓(xùn)練的。訓(xùn)練可以基于模糊邏輯、神經(jīng)網(wǎng)絡(luò)或其它本領(lǐng)域已知的 學(xué)習(xí)機(jī)構(gòu)在車輛中選擇性地繼續(xù)進(jìn)行。這些經(jīng)過訓(xùn)練的分類器被用于步驟212中從而在通 過步驟208提取的特征上執(zhí)行幾率分析，并且得出補(bǔ)片的幾率值。這種幾率值表示被選取 的補(bǔ)片是暢通的信心。在步驟214中，比較在步驟212中獲得的幾率值與閾值。如果幾率 值大于該閾值，那么在步驟218中該補(bǔ)片被確定為暢通路徑。如果幾率值不大于該閾值，那 么該補(bǔ)片被確定為非暢通路徑。如上所述，通過選擇和分析不同的補(bǔ)片來對相同的圖像進(jìn) 行反復(fù)分析，過程200可以多種方式被重復(fù)或迭代，并且可以追蹤一個被識別的補(bǔ)片并分 析其在多個連續(xù)圖像間的變化。如上所述，處理模塊120可包括通過此處未描述但本領(lǐng)域已知的方法來實現(xiàn)自主 駕駛控制的算法和機(jī)構(gòu)，或者處理模塊120可僅僅為獨(dú)立的自主駕駛系統(tǒng)提供信息。對觀 察到的物體的反應(yīng)也可有所不同，包括但不局限于轉(zhuǎn)向變化、節(jié)氣門變化、剎車響應(yīng)、警告 和將車輛控制交給操作者。上述對補(bǔ)片進(jìn)行分析的方法是為車輛建立一個行駛暢通路徑的方法中的一種。兩 個額外的相關(guān)處理方案也被公開，其采用類似的方法對像素進(jìn)行分析而不是對補(bǔ)片進(jìn)行分 析。所公開的第一個處理方案是采用富含紋理的方法來分析圖像以確定暢通路徑。圖10 示出了用于檢測暢通路徑的第一處理方案101，其在此處被描述為包括離散元件。這樣的圖 示是為了便于描述，并且應(yīng)該理解由這些元件執(zhí)行的功能可以組合在一個或多個裝置中實 現(xiàn)，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。處理方案101是采用富含紋理的圖像來分析宿主車輛前方視場的示例性方法，并 且開始于步驟103，在該步驟中產(chǎn)生車輛前方的視場的圖像。在步驟106中，檢查被監(jiān)測到 的圖像中是否有關(guān)切點(diǎn)，例如，檢查上面描述的像素顏色強(qiáng)度以及將該像素或一組像素與 周圍像素進(jìn)行比較。通過本領(lǐng)域已知的方法，可以識別出關(guān)切點(diǎn)并且利用這些關(guān)切點(diǎn)來實 現(xiàn)上述方法。在步驟109中，當(dāng)車輛在運(yùn)動時，比較車輛前方視場中的連續(xù)圖像，并且在可 能的情況下將從每個圖像中提取的關(guān)切點(diǎn)與連續(xù)圖像中的相應(yīng)的點(diǎn)進(jìn)行匹配，這些點(diǎn)對應(yīng) 于視場中的相同點(diǎn)。匹配包括通過模板匹配或者在連續(xù)圖像上對關(guān)切點(diǎn)進(jìn)行比較而定位對 應(yīng)的點(diǎn)，同時考慮宿主車輛的運(yùn)動，并作出兩個點(diǎn)是否代表視場中相同的可視物體或可視 特征的最佳估計。雖然可以匹配關(guān)切點(diǎn)，但不是所有匹配的對應(yīng)點(diǎn)對都代表高質(zhì)量的對應(yīng)
12點(diǎn)對，高質(zhì)量的對應(yīng)點(diǎn)對允許識別它們在視場中的三維位置以便分類為能使車輛通過的暢 通路徑。在步驟112中，濾波器被應(yīng)用于匹配的對應(yīng)點(diǎn)對，以便識別出高質(zhì)量的對應(yīng)點(diǎn)對， 高質(zhì)量的對應(yīng)點(diǎn)對可以高信心水平用于三維位置識別。在步驟115中，分析高質(zhì)量的對應(yīng) 點(diǎn)對，從而確定所述對應(yīng)點(diǎn)對代表的物體的三維位置。可以理解的是，在連續(xù)的圖像中與地 面相比具有不同高度的對應(yīng)點(diǎn)對的移動是不相同的。分析關(guān)切點(diǎn)的運(yùn)動可以得出這些關(guān)切 點(diǎn)的三維坐標(biāo)。在步驟118中，所確定的物體位置被用于繪制宿主車輛前方的物體位置的 地圖。在步驟121中，該地圖被用于確定宿主車輛前方的暢通路徑。圖11示出了一個示例性的當(dāng)前圖像(k) 500，其包括在當(dāng)前圖像(k)上被識別的一 組關(guān)切點(diǎn)501，每個關(guān)切點(diǎn)501對應(yīng)于一個像素。處理模塊120優(yōu)選地在所生成的包括當(dāng)前 圖像(k) 500和先前圖像(k-Ι)的每個圖像上識別關(guān)切點(diǎn)501。關(guān)切點(diǎn)501是圖像上的可識 別像素，并且與一組視覺信息-即富含紋理的特征相關(guān)聯(lián)，而且還與位于視場中的物體相 關(guān)聯(lián)。圖11所示的示例性的視場或視圖包括路面510、路面部分515、路緣520和521、車 道標(biāo)記522、交叉車道526和建筑物524和525。候選關(guān)切點(diǎn)501通過關(guān)切點(diǎn)提取程序在視 圖中被識別出來，通過關(guān)切點(diǎn)提取程序可以選出一組關(guān)切點(diǎn)501。關(guān)切點(diǎn)提取程序可以通 過很多已知方法中的一種在多個圖像上執(zhí)行，例如，比例不變特征變換(SIFT)，采用拐角檢 測或其它形狀檢測的方法，或Sobel濾波器。關(guān)切點(diǎn)提取程序優(yōu)選地在處理模塊120中執(zhí) 行，但是也可以組合在一個或多個裝置中執(zhí)行，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí) 行。關(guān)切點(diǎn)提取程序在每個圖像中定位與預(yù)定的富含紋理的可識別特征對應(yīng)的候選關(guān)切點(diǎn) 501，這些特征例如是指示邊緣的像素、指示視覺數(shù)據(jù)中的轉(zhuǎn)變的像素，其中可在視圖中識 別出潛在的重要特征。在圖11的示例性視圖中，在多個被識別出的關(guān)切點(diǎn)501中，點(diǎn)501A 在路緣520中的部分505的拐角處被識別。在識別出候選關(guān)切點(diǎn)501后，關(guān)切點(diǎn)提取程序可通過除去多余的候選關(guān)切點(diǎn)來過 濾這些候選關(guān)切點(diǎn)，多余的候選關(guān)切點(diǎn)就是對應(yīng)于同一特征的候選關(guān)切點(diǎn)。例如，該關(guān)切 點(diǎn)提取程序可過濾多個對應(yīng)于邊緣的候選關(guān)切點(diǎn)，從而得到對應(yīng)于邊緣的更少的候選關(guān)切 點(diǎn)。剩余的候選關(guān)切點(diǎn)組即是該圖像的關(guān)切點(diǎn)。在一個實施方式中，過濾多余的候選關(guān)切 點(diǎn)是為了提高計算效率。一旦在當(dāng)前圖像(k)500中識別出關(guān)切點(diǎn)501，處理模塊120便對來自當(dāng)前圖像 (k)的關(guān)切點(diǎn)組與來自先前圖像(k-Ι)的關(guān)切點(diǎn)組進(jìn)行匹配，從而確定一組匹配的點(diǎn)對，這 對應(yīng)于過程101中的步驟109。第一種確定一組匹配點(diǎn)對的方法包括采用對應(yīng)匹配程序來匹配當(dāng)前圖像(k)和 先前圖像(k-Ι)中的關(guān)切點(diǎn)。處理模塊120對來自當(dāng)前圖像(k)的一組關(guān)切點(diǎn)與在先前圖 像(k-Ι)中識別出的一組關(guān)切點(diǎn)進(jìn)行匹配，從而確定一組匹配的關(guān)切點(diǎn)對。圖12示出了一 個在圖11所示的圖像之后捕獲到的示例性的當(dāng)前圖像(k)。該示例性的當(dāng)前圖像(k)530 表示一個在圖11所示的圖像之后捕獲的圖像，其中在兩個圖像之間觀察者的視角已沿著 被觀察的道路稍微前進(jìn)。在這種示例性的情況下，雖然當(dāng)時是作為當(dāng)前圖像(k)捕獲的，但 是此時圖11中的圖像500可作為當(dāng)前圖像(k)530的先前圖像(k-Ι)。圖12中示出的示例 性視圖包括如圖11所示的路面510、路面部分515、路緣520和521、車道標(biāo)記522、交叉車 道526和建筑物524和525，只是在視圖中每個特征的視角略有不同。在圖12的示例性視 圖中，多個識別出的關(guān)切點(diǎn)531根據(jù)上述方法被識別，點(diǎn)531A被識別為在路緣520中的部
13分505的拐角處。應(yīng)該注意到，在圖像530中識別出的關(guān)切點(diǎn)531不一定直接對應(yīng)于在圖 像500中的識別出的關(guān)切點(diǎn)501。在圖像530中識別出的點(diǎn)531被處理并過濾，如上文結(jié) 合圖11描述的點(diǎn)501的處理和過濾一樣。優(yōu)選地，來自當(dāng)前圖像(k)530的關(guān)切點(diǎn)組中的 多個關(guān)切點(diǎn)531與來自先前圖像(k-l)500的關(guān)切點(diǎn)組中的多個關(guān)切點(diǎn)501進(jìn)行匹配，以確 定多個匹配的點(diǎn)對。包含一個匹配點(diǎn)對的每個關(guān)切點(diǎn)被期望與同一特征對應(yīng)，該同一特征 與視圖中的物體相關(guān)聯(lián)。為了確定一組匹配的點(diǎn)對，通過多個已知的對應(yīng)匹配程序中的一 種-例如比例不變特征變換(SIFT)特征匹配程序和光流程序?qū)碜援?dāng)前圖像(k)的關(guān)切 點(diǎn)組531與在先前圖像(k-Ι)中識別出的關(guān)切點(diǎn)組501進(jìn)行比較。該對應(yīng)匹配程序優(yōu)選在 處理模塊120中執(zhí)行，但是也可以組合在一個或多個裝置中執(zhí)行，例如在軟件、硬件和/或 專用集成電路中執(zhí)行。所產(chǎn)生的匹配點(diǎn)對與既位于當(dāng)前圖像(k)上又位于先前圖像(k-1) 上的同一特征相對應(yīng)，其中該同一特征與視圖中的同一物體相關(guān)聯(lián)。第二種確定一組匹配點(diǎn)對的方法包括采用模板匹配程序來匹配當(dāng)前圖像(k)和 先前圖像(k-Ι)中的關(guān)切點(diǎn)。在一個實施方式中，采用關(guān)切點(diǎn)周圍的預(yù)定像素區(qū)域來產(chǎn)生 模板。一個示例性的區(qū)域535在圖12中被示出為與關(guān)切點(diǎn)531A相關(guān)聯(lián)。模板匹配可通過 多個方法中的一個來確定，包括采用多個已知模板匹配程序方法中的一個來找到先前圖像 中的對應(yīng)的關(guān)切點(diǎn)，例如采用Lucas-Kanade或Horn-Schunck。優(yōu)選地，將當(dāng)前圖像中的鄰 近關(guān)切點(diǎn)的模板與光前圖像中的鄰近關(guān)切點(diǎn)的模板進(jìn)行比較。當(dāng)模板匹配程序確定所述模 板彼此匹配時，這些關(guān)切點(diǎn)便被包含在匹配點(diǎn)對的組中。所產(chǎn)生的匹配點(diǎn)對與既位于當(dāng)前 圖像(k)上又位于先前圖像(k-Ι)上的同特征相對應(yīng)，其中該同一特征與視圖中的同一物 體相關(guān)聯(lián)。圖13A和13B示出了一個示例性的匹配點(diǎn)對，該匹配點(diǎn)對包括當(dāng)前圖像(k) 530中 的關(guān)切點(diǎn)531A和先前圖像(k-l)500中的第二關(guān)切點(diǎn)501A以及一個環(huán)繞這些點(diǎn)的示例性 的像素區(qū)域。根據(jù)上述方法，在圖13A中示出了環(huán)繞關(guān)切點(diǎn)531A的像素區(qū)域535。如上所 述，關(guān)切點(diǎn)531A被識別為位于路緣520的若干部分之間的部分505的拐角處。像素區(qū)域535 環(huán)繞點(diǎn)531A選出并且優(yōu)選地包括能用于充分識別該區(qū)域的可識別特征、紋理或圖案。圖 13B類似地示出了關(guān)切點(diǎn)501A和環(huán)繞該關(guān)切點(diǎn)的像素區(qū)域540。由于圖像500和圖像530 的視角發(fā)生改變，可能就使像素區(qū)域535和像素區(qū)域540包含一些不同之處，但是采用上述 方法，通過比較所述像素區(qū)域并識別其中特征的方式，可以某種信心水平確認(rèn)關(guān)切點(diǎn)531A 和501A代表在圖像500和530中捕獲的相同特征并且可以被看作是一個匹配點(diǎn)對。如上述的示例性步驟112，當(dāng)確定匹配點(diǎn)對后，通過應(yīng)用濾波器以除去代表匹配不 佳或錯誤匹配的點(diǎn)對的低質(zhì)量的匹配點(diǎn)對，處理模塊120從匹配點(diǎn)對的組中選擇出高質(zhì)量 的優(yōu)選的匹配點(diǎn)對。優(yōu)選的匹配點(diǎn)對可基于質(zhì)量控制標(biāo)準(zhǔn)來選擇。在一個實施方式中，匹 配點(diǎn)對被分析并且在滿足每個標(biāo)準(zhǔn)之后被識別為優(yōu)選的匹配點(diǎn)對。當(dāng)匹配點(diǎn)對的點(diǎn)之間的距離小于一個閾值時，第一個標(biāo)準(zhǔn)被滿足。該距離基于這 些點(diǎn)在相同的二維圖像坐標(biāo)中的位置來確定。該閾值可以是預(yù)設(shè)的，并且由位置決定或基 于車速來動態(tài)決定。當(dāng)匹配點(diǎn)對中的兩個點(diǎn)與圖像邊界的距離為預(yù)定的閾值距離時，第二 標(biāo)準(zhǔn)得以滿足。由于攝像機(jī)對圖像邊界的邊緣處的物體的視角以及車輛運(yùn)動的原因，太接 近邊緣的點(diǎn)不能定位出對應(yīng)的點(diǎn)，該對應(yīng)的點(diǎn)可能位于攝像機(jī)的視角之外或者會產(chǎn)生對物 體位置的錯誤估計。此外，在車輛正常向前行駛的過程中，車輛需要視圖最邊緣處的暢通路徑的信息的可能性很小。當(dāng)匹配點(diǎn)對中的每個點(diǎn)附近的預(yù)定區(qū)域的色差小于色差閾值時， 第三標(biāo)準(zhǔn)得以滿足。通過采用圖13中定義的示例性像素區(qū)域，像素區(qū)域535和540之間的 色差則可用于增大匹配點(diǎn)對的信心水平。每個區(qū)域內(nèi)的每個像素基于它相應(yīng)的顏色被分配 一個數(shù)值。所分配的數(shù)值可以基于捕獲圖像時確定的比特值或者可以基于參考預(yù)定調(diào)色板 的索引顏色。處理模塊120 —個像素接著一個像素地計算第一區(qū)域501和第二區(qū)域502內(nèi) 被分配的數(shù)值之間的絕對差值，并且對這些差值求和，所得結(jié)果即是色差。將該色差與閾值 色差進(jìn)行比較。如果該色差小于閾值色差，則第三標(biāo)準(zhǔn)得以滿足。該閾值色差可以通過任何 足以校準(zhǔn)精確路況存在或暢通路徑估計的方法來選取。基于車輛外部的亮度水平、天氣、車 速或其它任何基于色差而影響暢通路徑存在的精確評估的因素，可采用不同的閾值色差。 通過判斷環(huán)繞關(guān)切點(diǎn)的區(qū)域是否相似，可以判斷包含由所述關(guān)切點(diǎn)代表的特征的相同區(qū)域 是否在兩個圖像中均被分析。可以理解的是，上述三個標(biāo)準(zhǔn)只是用于判斷匹配點(diǎn)對的示例性標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)中 的某些部分或其它沒有名稱但相似的標(biāo)準(zhǔn)也可以用于判斷匹配點(diǎn)對的有效性。此外，可基 于下述條件來選擇判斷匹配點(diǎn)對的標(biāo)準(zhǔn)，例如，車輛外部的亮度水平、天氣、車速和任何其 它影響判斷匹配點(diǎn)對的能力的因素或快速準(zhǔn)確地定義暢通路徑的緊迫性。在選取優(yōu)選的匹配點(diǎn)對之后，如上述的示例性步驟115，處理模塊120確定多個點(diǎn) 相對于車輛100的位置，這些點(diǎn)與視圖中的物體的特征相關(guān)聯(lián)。圖14以繪圖形式示出了使 用一個示例性的當(dāng)前圖像、一個示例性的先前圖像以及宿主車輛的運(yùn)動來確定觀測到的特 征的位置?？梢曰谶B續(xù)圖像317和327內(nèi)的匹配點(diǎn)對(這些匹配點(diǎn)對在該圖中用點(diǎn)1和 2表示)的優(yōu)選組、車輛100從第一位置310到第二位置320的行駛距離(d)以及車輛偏航 (θ )來確定物體在參考水平框架中的位置和相對于地平面的物體高度。該處理模塊120執(zhí) 行多種已知的三角測量方法中的一種來確定相對于車輛100的點(diǎn)的位置和該點(diǎn)的高度。在 圖14中，示出了來自310的包含圖像k-1317的視場315和來自320的包含圖像k 327的 視場325。所示的距離d表示觀測者在點(diǎn)310和320之間的移動距離。線312和322分別 表示與視場315和325沿縱向垂直相交的線。方向的角度改變或偏航(θ )示出為表示線 312和322之間的角度。通過在點(diǎn)310的時間和點(diǎn)320的時間之間的樣本時間內(nèi)追蹤車速， 可以為示例性車輛確定距離d。類似地，通過在樣本時間內(nèi)追蹤車輛的偏航率可以確定θ。 示出了被觀察到的物體305，所示出的線318和328分別表示從點(diǎn)310和320到物體305的 觀察線。點(diǎn)1和2示出為在圖像317和327上，分別位于線318和328與圖像317和327 相交的位置。距離(a)可定義為表示點(diǎn)1在圖像317上的位置，距離(b)可定義為表示點(diǎn)2 在圖像327上的位置?？梢岳斫獾氖?，圖14代表一個上方地圖，其中物體305的位置可以 被定義在一個水平面內(nèi)，并且在相同物體的側(cè)視圖中進(jìn)行的類似運(yùn)算可用于確定物體的垂 直位置，該垂直位置是相對于觀察者所在的已知地平面的。通過應(yīng)用已知的三角測量方法， 來自連續(xù)圖像的位置數(shù)據(jù)_例如距離a和b以及車輛數(shù)據(jù)-例如車速、車輛偏航率和樣本 時間可用于確定觀察到的物體相對于車輛的位置以及確定物體相對于車輛的相對運(yùn)動。這 些三角測量方法可以得出物體在水平面中的位置和相對于地平面的高度。一旦位置和高度被確定，如上述的示例性步驟118，處理模塊120可在上方地圖上 繪出這些點(diǎn)。圖15以繪圖形式示出了一個示例性的上方地圖，該地圖示出了宿主車輛前方 的χ和y坐標(biāo)系內(nèi)的關(guān)切點(diǎn)的垂直位置。在χ軸和y軸上的位置<0、0>對應(yīng)于上述車輛100的第二位置320，或車輛100的當(dāng)前位置。優(yōu)選地，物體的高度被分類到預(yù)定類別中。例如， 具有最小高度的物體_例如低于預(yù)定閾值的物體可以被分類為地面，超過地面高度但是小 于第二預(yù)定閾值的物體可以被分到第二類別中，該類別接近并且優(yōu)選地小于車輛高度，大 于第二預(yù)定閾值的物體被分到第三類別中。如圖15所示，具有最小高度的物體被分類為地 面(地面)，超過地面高度但是小于2米閾值的物體被分到第二類別中(小于2m)，大于2m 閾值的物體被分到第三類別中(大于2m)。在地圖上繪出這些物體后，如上述的示例性步驟121，處理模塊120基于地圖上繪 出的特征檢測暢通路徑。用于此處的術(shù)語“暢通路徑”對于本領(lǐng)域普通技術(shù)人員來說采用的 是它的通常和習(xí)慣性含義(并且不局限于某種特殊或特定的含義)，并且該術(shù)語不加限制 地意指不存在超過一定閾值的物體的路徑，例如，不存在被分到上述第二和第三類別中的 物體的路徑。被分到預(yù)定類別_例如上述第二和第三類別中的物體的特征由處理模塊120 識別為不暢通的區(qū)域，也就是不希望車輛通行的區(qū)域。優(yōu)選地，被分到預(yù)定類別中的每個物 體附近的預(yù)定區(qū)域也由處理模塊120識別為不暢通的區(qū)域。該處理模塊120可采用多種方 法中的一種來確定地圖上存在暢通路徑。用于確定暢通路徑的第一種方法包括對預(yù)期路徑 與包含非暢通區(qū)域的地圖進(jìn)行比較。如果預(yù)期路徑?jīng)]有與任何非暢通區(qū)域相交，那么處理 模塊120確定該預(yù)期路徑是暢通路徑。然而，如果預(yù)期路徑與非暢通區(qū)域相交，那么處理模 塊120確定沒有暢通路徑。用于確定暢通路徑的第二種方法包括使用地圖上的非暢通區(qū)域 來確定暢通路徑。任何沒有與非暢通區(qū)域相交的路徑均可作為暢通路徑。上述方法采用連續(xù)圖像來建立車輛前方的物體的位置和垂直高度的地圖，從而得 以確定暢通路徑。可以理解的是，在任何兩個給定的圖像中，一個特定物體可能不會被分類 為包含足以在地圖上繪制而用于特定分析的兩個高質(zhì)量的關(guān)切點(diǎn)。然而，上述分析在車輛 行駛過程中每秒發(fā)生多次。當(dāng)車輛通過暢通路徑向前行駛時，將獲得一個物體的不同視角， 并且將對大量的圖像進(jìn)行分析。在路徑上行駛和對通過該路徑的多個重復(fù)圖像的分析可以 通過分析建立一個信心水平，該信心水平表明沒有限制暢通路徑的物體存在于識別出的暢 通路徑上。圖16示出了用于檢測暢通路徑的第二處理方案。此處描述的第一處理方案采用 了富含紋理的方法，其基于圖像內(nèi)的環(huán)境視圖分析描述不同關(guān)切點(diǎn)的像素特征，所公開的 第二處理方案可以被描述為示例性的無紋理圖分析方法，其從圖像中過濾不一致的區(qū)域圖 像，該不一致的區(qū)域圖像不屬于與平坦一致的路面。通過從圖像中過濾不一致的區(qū)域，可以 從剩余圖像部分中識別出暢通表面，該暢通表面作為車輛行駛的潛在暢通路徑。圖16中示 出了過程250，過程250在此被描述為具有離散元件。這樣的描述是為了便于說明，并且應(yīng) 該意識到，由這些元件執(zhí)行的功能可以組合在一個或多個裝置中執(zhí)行，例如在軟件、硬件和 /或?qū)Ｓ眉呻娐分袌?zhí)行。例如，過程250可以作為處理模塊120中的一個或多個算法來執(zhí) 行。用于檢測暢通路徑的過程250包括產(chǎn)生多個濾波圖像和將這些濾波圖像融合在一起從 而確定暢通路徑。所公開的示例性過程250包括采用一個示例性的無紋理暢通路徑檢測方法的步 驟。過程250開始于產(chǎn)生圖像的步驟253。步驟256、259、262和265描述了對圖像進(jìn)行濾 波從而識別包括路面的暢通路徑位置的替代性的示例性方法。可以理解的是，每種方法以 某種方式處理圖像以便有助于識別暢通路徑。一個過程可以采用四個示例性方法的某些部分或者一個過程可以采用包含未命名但是相似的方法來處理圖像。可以采用在圖像內(nèi)過濾 出暢通表面的任何方法，在該暢通表面上可以從不能表示潛在路面的其它部分中估計出路 面。步驟256采用一種示例性方法來過濾出在地平線或消失點(diǎn)以下的區(qū)域，該區(qū)域包括車 輛能夠行駛的路面，上述區(qū)域從地平線或消失點(diǎn)以上的區(qū)域中過濾出來，該區(qū)域包括天空 和不能為路面的一部分的其它垂直特征。基于路面是一個視覺強(qiáng)度大致相同的大表面的假 設(shè)前提，步驟259在像素強(qiáng)度變化的基礎(chǔ)上應(yīng)用濾波器。在區(qū)別連續(xù)圖像的基礎(chǔ)上，步驟 262應(yīng)用一個濾波器來分析圖像之間的變化。步驟265在識別視覺數(shù)據(jù)中的代表邊緣或轉(zhuǎn) 變的像素的基礎(chǔ)上應(yīng)用一個濾波器。并行應(yīng)用所述多種方法，所得結(jié)果將在步驟268中被 融合到一個圖像的地圖上，并且在步驟271中所述結(jié)果被分析以便得到指示行駛暢通路徑 的視覺數(shù)據(jù)。在上述的示例性步驟256中，采用消失點(diǎn)來生成第一濾波圖像。在此處采用的術(shù) 語“消失點(diǎn)”是一個廣義術(shù)語，并且對于本領(lǐng)域技術(shù)人員來說其使用的是普通且慣用的含 義，并且該術(shù)語表示的是在視圖中與地面上的多條平行線相交的無窮遠(yuǎn)的點(diǎn)。識別路面所 生成的行駛暢通路徑必然位于消失點(diǎn)或地平線以下。對圖像進(jìn)行濾波以便僅分析地平線 以下的區(qū)域有助于區(qū)別用于識別路面的像素和不相關(guān)的像素。本領(lǐng)域技術(shù)人員應(yīng)該理解的 是，存在很多種用于確定消失點(diǎn)或相應(yīng)的地平線的已知方法。一種已知的方法包括基于宿 主車輛左邊和右邊的車道標(biāo)記的交叉點(diǎn)來確定消失點(diǎn)?；谙c(diǎn)來確定地平線。第一濾 波圖像包括當(dāng)前圖像上的位于地平線以下的像素。如在上述的示例性步驟259中，處理模塊120基于包含在當(dāng)前圖像(k)中多個像 素的像素顏色強(qiáng)度來生成第二濾波圖像。圖17示出了基于像素顏色強(qiáng)度的示例性的第二 濾波圖像。該第二濾波圖像包含從多個像素中選取的像素。可以預(yù)想出多個對像素進(jìn)行濾 波的方法。處理模塊120將像素的每個顏色強(qiáng)度值與相關(guān)的顏色分布均值-例如紅、綠、藍(lán) 顏色強(qiáng)度分布均值進(jìn)行比較。這些顏色分布均值是相關(guān)顏色強(qiáng)度的平均顏色強(qiáng)度分布，所 述相關(guān)顏色強(qiáng)度與先前在暢通路徑中識別出的像素相關(guān)。這些顏色分布均值還可以基于歷 史性收集的相關(guān)顏色的暢通路徑像素的顏色分布均值來確定。當(dāng)某個像素的每個顏色強(qiáng)度 值均小于相關(guān)顏色分布均值的顏色強(qiáng)度閾值時，將選擇該像素用于第二濾波圖像。當(dāng)某個 像素的一個顏色強(qiáng)度值大于相關(guān)顏色分布均值的顏色強(qiáng)度閾值時，該像素將從第二濾波圖 像中排除。用于相關(guān)顏色強(qiáng)度的顏色分布均值是分布在圖像中的平均顏色強(qiáng)度值。這些顏 色分布均值最初是預(yù)定的。在一個實施方式中，處理模塊120基于預(yù)定數(shù)量的圖像中的顏 色強(qiáng)度分布來調(diào)整每個相關(guān)顏色強(qiáng)度的顏色分布均值。如上所述，每個像素包括多個顏色強(qiáng)度值。優(yōu)選地，將該顏色強(qiáng)度值與相關(guān)顏色分 布均值進(jìn)行比較。例如，對于采用RGB顏色模式生成的像素，對和紅顏色強(qiáng)度相關(guān)聯(lián)的第一 比特組與和紅顏色強(qiáng)度相關(guān)聯(lián)的顏色分布均值進(jìn)行比較，對和綠顏色強(qiáng)度相關(guān)的比特組與 和綠顏色強(qiáng)度相關(guān)的顏色分布均值進(jìn)行比較，并且對和藍(lán)顏色強(qiáng)度相關(guān)的比特組與和藍(lán)顏 色強(qiáng)度相關(guān)的顏色分布均值進(jìn)行比較。如果包含在該像素中的每個顏色強(qiáng)度與相關(guān)顏色分 布均值之間的差值小于顏色強(qiáng)度閾值，那么該像素被用于第二濾波圖像。通過采用RGB顏色模式，每個像素包括第一、第二和第三顏色強(qiáng)度值。第一顏色強(qiáng) 度是紅色強(qiáng)度，第二顏色強(qiáng)度是綠色強(qiáng)度，而第三顏色強(qiáng)度是藍(lán)色強(qiáng)度。當(dāng)該像素的紅色強(qiáng) 度與紅色分布均值之間的差值小于紅色強(qiáng)度閾值、該像素的綠色強(qiáng)度與綠色分布均值之間的差值小于綠色強(qiáng)度閾值、并且該像素的藍(lán)色強(qiáng)度與藍(lán)色分布均值之間的差值小于藍(lán)色強(qiáng) 度閾值時，便從包含在當(dāng)前圖像(k)中的多個像素中選出該像素用于第二濾波圖像。下面 的表達(dá)式表示采用RGB顏色模式的這種過程|R-Rm| <閾值k并且|G-Gm| <閾值e并且 IB-Bm I <閾值b (4)其中R表示紅色，G表示綠色，B表示藍(lán)色，Rm是紅色的顏色分布均 值，Gm是綠色的顏色分布均值，Bm是藍(lán)色的顏色分布均值，閾值κ是紅色強(qiáng)度閾值，閾值e是 綠色強(qiáng)度閾值，閾值B是藍(lán)色強(qiáng)度閾值。本領(lǐng)域技術(shù)人員應(yīng)該理解的是，上面的表達(dá)式4可配置成與包括CMYK、YUV和LAB 在內(nèi)的多個其它顏色模式結(jié)合使用。如在上述的示例性步驟262中，處理模塊120通過區(qū)別當(dāng)前圖像(k)和先前圖像 (k-Ι)來產(chǎn)生第三濾波圖像。在一個示例性的產(chǎn)生差別圖像的過程中，第三濾波圖像作為 當(dāng)前圖像(k)和先前圖像(k-Ι)的圖像差別而產(chǎn)生，開且包括對代表當(dāng)前圖像(k)和先前 圖像(k-Ι)的差別的像素一個一個地進(jìn)行比較。這樣的過程在上文中結(jié)合圖6A-6C進(jìn)行了 描述。用于確定第三濾波圖像的第一種方法包括確定當(dāng)前圖像(k)上的每個像素與先前圖 像(k-Ι)上的每個對應(yīng)像素的差別。通過從對應(yīng)的顏色強(qiáng)度值中減去與一個像素相關(guān)聯(lián)的 顏色強(qiáng)度值從而確定個顏色強(qiáng)度差值，可以確定該差值，例如，從先前圖像(k-Ι)上的第一 像素的紅色強(qiáng)度值中減去當(dāng)前圖像(k)上的第一像素的紅色強(qiáng)度值。所得到的顏色強(qiáng)度差 值包括該像素的值并且對應(yīng)于當(dāng)前圖像(k)和先前圖像(k-Ι)上的該像素之間的差別。每 個像素值可存儲對應(yīng)于第三濾波圖像的陣列中。在一個實施方式中，該差值的絕對值被確 定并且被存儲在陣列中。所得到的陣列包括代表兩個圖像之間差值的數(shù)值并且包括圖像差 異。在確定該陣列后，處理模塊120除去代表變化小于預(yù)定閾值的像素的數(shù)值。在一個實 施方式中，所得到的數(shù)值可以用預(yù)定數(shù)值一例如1來代替，該預(yù)定閾值在所得到的圖像上 代表識別出的所使用的兩個圖像之間的差別的清楚地圖。此處描述了基于區(qū)別圖像來確定第三濾波圖像的第二種示例性方法。通過比較當(dāng) 前圖像(k)和運(yùn)動調(diào)整的先前圖像(k-Ι)可以作出一個決定，并且這些圖像之間的差別可 用于繪制與用于產(chǎn)生運(yùn)動調(diào)整圖像的特定模型不匹配的物體。一個產(chǎn)生運(yùn)動調(diào)整圖像的示 例性模型包括使用三角測量方法_例如結(jié)合圖14描述的方法、關(guān)于車輛運(yùn)動的信息、以及 所有被檢測的點(diǎn)都位于地平面上的假設(shè)來預(yù)測先前圖像(k-Ι)中的物體的運(yùn)動。通過采用 圖像中的所有物體都位于地平面的假設(shè)，對合成圖像中的物體的運(yùn)動的預(yù)測與先前圖像一 致，其中先前圖像作為存在于地平面處的整體平坦的圖像而存在。對所得到的經(jīng)運(yùn)動調(diào)整 的先前圖像(k-Ι)與實際當(dāng)前圖像(k)進(jìn)行比較一包括不在地平面上的物體的視角變化， 使得能夠識別出圖像中的不在地平面上的所有物體或特征。通過減去被比較圖像中的像 素，例如根據(jù)上述用于確定第三濾波圖像的第一示例性過程，代表沒有在地平面上的物體 的像素可以通過非零值或超過預(yù)定閾值的數(shù)字而被識別出來。這樣，采用當(dāng)前圖像(k)和 代替先前圖像(k-Ι)的經(jīng)運(yùn)動調(diào)整的先前圖像，處理模塊120可以如上所述地確定第三濾 波圖像。如在上述的示例性步驟256中，處理模塊120基于包含在當(dāng)前圖像(k)中的多個 像素的顏色強(qiáng)度值生成第四濾波圖像。圖18示出了采用邊緣識別方法的第四濾波圖像。該 第四濾波圖像包括當(dāng)前圖像(k)的邊緣。為了生成第四濾波圖像，處理模塊120基于與邊 緣對應(yīng)的顏色強(qiáng)度值、采用一個已知的邊緣檢測濾波器-例如Sobel濾波器從圖像中提取
18像素。該邊緣檢測濾波器優(yōu)選地在處理模塊120中執(zhí)行，但是也可以組合在一個或多個裝 置中執(zhí)行，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。在一個實施方式中，采用Sobel 運(yùn)算器分析每個像素。該Sobel運(yùn)算器計算每個像素處的顏色強(qiáng)度的梯度向量，從而得出 從亮到暗的最大可能增大方向以及在該方向上的變化率。與超過一定閾值的變化率和附近 像素的梯度向量對應(yīng)的點(diǎn)表示邊緣并且被包含在第四濾波圖像中。這些像素將被預(yù)定的像 素顏色-例如黑色替代。如在示例性步驟268中所述的，在生成多個濾波圖像后，處理模塊120將這些濾波 圖像進(jìn)行融合從而確定對應(yīng)于暢通路徑的像素位置。融合而成的濾波圖像包括一個圖像， 該圖像僅包含在所有濾波圖像中都包含的像素，也就是說，只有包含在多個濾波圖像中的 每個濾波圖像的特定像素位置的像素被包含在融合而成的濾波圖像中。融合這些濾波圖像 包括確定包含在多個濾波圖像中的每個圖像上的像素的位置。將每個像素位置與每個濾波 圖像中的對應(yīng)的像素位置進(jìn)行比較。當(dāng)多個濾波圖像中的每個都包含位于對應(yīng)像素位置處 的一個像素時，該像素便被包含在代表暢通路面的融合而成的暢通路徑地圖上。該融合而 成的暢通路徑被用于檢測車輛100的暢通路徑。融合暢通路徑地圖上的像素對應(yīng)于視圖中 的期望駕駛位置。融合暢通路徑地圖上沒有像素的位置對應(yīng)于視圖中的非期望駕駛位置。圖16所示的過程250并行應(yīng)用多種不同方法從視圖中識別與定義暢通路徑相關(guān) 的特征。然而，應(yīng)該理解的是，這些方法并非必須并行執(zhí)行，相反這些方法可以被用于連續(xù) 地按步驟處理圖像從而識別出視圖中的與定義暢通路徑相關(guān)的特征。圖19中示出了用于 第二處理方案的示例性過程600。過程600開始于步驟603，在步驟603中生成了一系列圖 像。每個圖像被平行地輸送到兩個步驟中，并且從這兩個步驟中輸出的結(jié)果被融合并用于 該過程中的后續(xù)步驟。所述平行步驟包括步驟606和步驟609，在步驟606中第一濾波圖像 根據(jù)上述的消失點(diǎn)方法對像素進(jìn)行濾波，以便從圖像中濾除不能代表路面的圖像部分，在 中步驟609根據(jù)強(qiáng)度對像素進(jìn)行濾波而得到的第二濾波圖像被用于從圖像中濾除表示與 路面不一致的特征的圖像部分。在步驟612中，融合第一濾波圖像和第二濾波圖像，融合而 成的圖像包括僅僅位于消失點(diǎn)以下的圖像部分和與路面強(qiáng)度一致的像素。在步驟615中， 通過采用上述的一種區(qū)別方法，用連續(xù)的融合圖像來生成第三濾波圖像。在步驟618中，通 過采用上述的邊緣提取方法，用第三濾波圖像來生成一第四濾波圖像。過程600的結(jié)果然 后可被分析，以便得到指示行駛暢通路徑的視覺數(shù)據(jù)。過程250和600示出了兩種示例性布置，其中組合使用各種濾波方法以處理一系 列連續(xù)圖像從而識別暢通路徑。然而，應(yīng)該理解的是，這樣的組合可以采用多種形式，不同 的步驟可以不同的順序應(yīng)用，并且更少或額外的濾波器可以不同的組合使用。此外，可選擇 性地采用濾波器或者可選擇性地采用各過程的結(jié)構(gòu)，例如在白天使用不同的組合，而在夜 晚采用其它組合。例如，某些組合可繼續(xù)用于分析前燈照亮的路面，而在沒有完全照亮的 視圖中其它方法可能無法使用。在另一個示例中，當(dāng)路面上有雨或雪時，可以采用不同的組 合。例如，某些方法和分析方法在只有薄雪的情況下仍然有用，例如可以將雪中的輪胎路徑 確定為潛在暢通路徑，而當(dāng)白雪隱藏了大多數(shù)可識別特征時，其它方法可能就不再有用。在 另一個示例中，當(dāng)提供有額外的信息時，可以采用不同的組合從而基于這些額外信息來擴(kuò) 充或幫助圖像濾波，這些信息例如是紅外線、雷達(dá)、或GPS數(shù)據(jù)?？梢灶A(yù)想出濾波方法的多 種組合，并且本發(fā)明不限于此處描述的特定實施方式。
如上所述，描述了采用富含紋理方法的第一處理方案和采用無紋理方法的第二處 理方案，每個方案都能識別出用于描述車輛視圖中的暢通路徑的道路特征。然而，應(yīng)該理解 的是，基于任一方案的單獨(dú)分析會產(chǎn)生模糊的結(jié)果，例如，其中特定照明條件、其它車輛的 影子、熱量所致的路面變形、或其它類似因素都會使路面的某些部分不能被識別為與路面 的其余部分一致。一種去除模糊結(jié)果的方法是通過在車輛沿著道路行進(jìn)的同時分析多個迭 代圖像。應(yīng)該理解的是，當(dāng)車輛沿著道路行進(jìn)時，可以對特定路段的快速連續(xù)地獲得的成千 上百個圖像進(jìn)行分析。當(dāng)車輛向前行進(jìn)時，由于觀察視角不同，將會觀察到不同的路面照明 和暴露部分。在路徑上的行駛以及對通過該路徑的多個迭代圖像的分析可通過分析而建立 一個信心水平，該信心水平表明路面的特定部分被正確地估計為暢通路徑。解決任一方案的模糊結(jié)果的另一種方法是同時利用兩種方案并融合其結(jié)果，采用 兩種方案的組合來增大識別暢通路徑的信心水平。每種方案在檢測暢通路徑的不同方面都 具有相對于另一種方案的優(yōu)點(diǎn)。例如，示例性的富含紋理方法的優(yōu)點(diǎn)在于檢測富含紋理的 從地平面明顯豎立的物體。該方法主動識別處于不同高度的可檢測的物體并且生成一個車 輛不應(yīng)在其上行駛否則可能會導(dǎo)致車輛與物體發(fā)生碰撞的區(qū)域的地圖。在另一個示例中， 該示例性的無紋理方法的優(yōu)點(diǎn)在于識別其中的像素具有共同外表面的區(qū)域。該方法主動識 別一個很可能存在路面的區(qū)域，并且繪制出該路面的邊界。第一種方案和第二種方案可以多種方式融合。帶有被識別點(diǎn)和所確定的高度的、 通過富含紋理方法識別出的圖像能夠由無紋理方法產(chǎn)生的濾波圖像覆蓋，并且兩種方法的 一致性能用來通過重疊圖像定義暢通路徑。在另一種融合兩種方案的方法中，來自每個方 案的數(shù)據(jù)都能用來將信息投影在車輛前方區(qū)域的編程上方地圖上，包含從兩個方案的分析 中得到的數(shù)據(jù)的該上方地圖可包含建立該地圖的各個區(qū)域的信心指示。在另一種融合兩 種方案的方法中，一個方案可作為主要或主導(dǎo)方案使用，第二個方案可用來分析或者被激 活以便分析在視場中被識別為不清晰或不清楚的區(qū)域。在融合兩個方案的任何方法中，一 個處理方案的長處能用來彌補(bǔ)另一個處理方案的弱點(diǎn)。如果兩個方案同時認(rèn)定路徑是暢 通的，那么應(yīng)用這些方案的處理模塊可通過更高的信心水平來確定車輛適于通過該路徑。 融合這些識別方案的多種方法都已被考慮到，本發(fā)明并不局限于此處所描述的特定實施方 式。另外，其中一個或兩個方案可與上述利用補(bǔ)片分析的方法進(jìn)行組合。本領(lǐng)域技術(shù)人員能夠認(rèn)識到，亮度規(guī)范化(lighting normalization)可應(yīng)用于所 獲取的圖像數(shù)據(jù)。規(guī)范化是改變像素強(qiáng)度值的范圍的一種過程。規(guī)范化的目的是將圖像的 范圍改變?yōu)楦m合機(jī)器處理的范圍，以提高可靠度。例如，每個像素值被規(guī)范化為零均值和 單位方差，以提高圖像的對比度，特別是在光照較暗的環(huán)境中或?qū)Ρ榷纫驗榉垂舛^低的 情況下。上述濾波器和算法可以采用多種形式。用于提取特征的濾波算法經(jīng)常搜索可用的 視覺信息，以便在數(shù)據(jù)中找到特征性圖案，這些圖案通過線的方向、線的位置、顏色、角落特 點(diǎn)、其他視覺屬性和學(xué)習(xí)屬性來定義特征。屬性可通過通過足以精確地訓(xùn)練區(qū)別屬性的建 模或其他技術(shù)以實驗方式、經(jīng)驗方式、預(yù)測方式來獲得。學(xué)習(xí)屬性可以由車輛內(nèi)的隨時間而 調(diào)整的機(jī)器學(xué)習(xí)算法或模糊邏輯而學(xué)得。此外，可以通過車輛在一個路徑上的重復(fù)行駛來 收集學(xué)習(xí)特性或?qū)W習(xí)標(biāo)記，并且在暢通路徑識別中采用這些學(xué)習(xí)特性或?qū)W習(xí)標(biāo)記。以上描述的實施方式用于通過攝像機(jī)數(shù)據(jù)分析來檢測車輛行駛的暢通路徑。此外，此處論述的示例性實施方式包括一種方法，該方法基于描述道路幾何形狀的監(jiān)測數(shù)據(jù) 來確定道路模型從而優(yōu)化暢通路徑的確定。監(jiān)測描述道路幾何形狀的數(shù)據(jù)可以包括監(jiān)測來 自攝像機(jī)裝置的圖像或監(jiān)測來自配置成發(fā)送并接收光能的激光雷達(dá)(LIDAR)系統(tǒng)的返回 數(shù)據(jù)。值得注意的是，LIDAR系統(tǒng)是可選的，而不是執(zhí)行此處公開的多種方法所必需的，在這 些方法中，視覺圖像的處理便能夠?qū)崿F(xiàn)暢通路徑確定以及道路模型確定。道路模型確定描 述包括車道標(biāo)記的位置和道路邊緣的位置的道路幾何形狀。應(yīng)該知道的是，可以由處理模 塊來分析描繪地平線以下的車道標(biāo)記位置和道路邊緣位置的道路模型，其中，可以額外地 確定和分析車輛道路中的車道。從而能夠通過互利改良、用暢通路徑確定來擴(kuò)充所分析的 道路模型，以修正或優(yōu)化暢通路徑確定，其中，在車輛導(dǎo)航中使用優(yōu)化的暢通路徑。例如，行 駛暢通路徑最可能與道路上檢測到的車道相一致，如由車道標(biāo)記和道路邊緣確定的車道。 可以將與檢測到的車道標(biāo)記不一致的暢通路徑結(jié)果標(biāo)記為不可靠的，或者可以調(diào)用額外的 處理資源來確定道路模型是錯誤的還是檢測到的暢通路徑是錯誤的。同樣地，限定不包括 暢通路徑的區(qū)域的暢通路徑邊界可以用于加強(qiáng)道路模型確定中的道路邊緣。在本發(fā)明的示例性實施方式中，圖21示出了用于基于道路模型分析與檢測到的 暢通路徑的地圖融合之間的互利改良來確定更優(yōu)的暢通路徑的處理方案800。示例性過程 800開始于步驟802，在步驟802中生成圖像。應(yīng)該知道的是，在步驟806處，根據(jù)上述方法， 可以通過基于攝像機(jī)的暢通路徑分析檢測出暢通路徑。在步驟810處，執(zhí)行在步驟806中 使用的任意多種方法的融合，以通過多種方法產(chǎn)生行駛暢通路徑。上文已經(jīng)論述了這些方 法及其組合。在步驟804處，檢測道路幾何形狀的道路模型可以被確定并且在步驟808處 被分析。道路模型包括確定道路幾何形狀，確定道路幾何形狀可以包括檢測車道標(biāo)記的位 置和/或道路邊緣的位置。步驟804的輸入可以包括圖中示出的圖像輸入、獨(dú)立的LIDAR 輸入、或任何其他足以準(zhǔn)確檢測車道標(biāo)記和/或道路邊緣的方法?？梢栽诓襟E804中使用 多種方法來確定道路模型。在步驟812處，所分析的道路模型可以通過檢測到并融合了的 暢通路徑來擴(kuò)充，或者與檢測到并融合了的暢通路徑相融合，以便實現(xiàn)互利改良?；ダ牧?為檢測到的暢通路徑提供信心，并且額外地可以使用互利改良來推斷車道標(biāo)記和/或沿道 路的道路邊緣的位置。在步驟814處，可以基于在步驟812處確定的互利改良來確定更優(yōu) 的暢通路徑。如上所述，通過處理模塊監(jiān)測并分析由攝像機(jī)裝置生成的一個圖像或多個圖像。 基于來自攝像機(jī)系統(tǒng)的分析圖像，可以確定暢通路徑，在該暢通路徑上，可以從圖像中的不 表示潛在道路表面其他部分估計出潛在的道路表面。例如，參照圖9，第一方案使用車輛前 方的視場中的富含紋理的圖像分析，其中，基于圖像內(nèi)的環(huán)境視圖描述不同關(guān)切點(diǎn)的被分 析的像素特征被繪圖，并且被用于確定宿主車輛前方的暢通路徑。在另一個示例中，參照圖 16和19，第二方案使用無紋理圖像分析來濾除圖像中的不屬于平坦一致的道路表面的不 一致區(qū)域，其中，多個濾波圖像被融合在一起以確定暢通路徑。以上方法描述了基于攝像機(jī)的方法，通過這些方法可以估計暢通路徑。如上所述， LIDAR可以作為額外的或可替換的輸入而使用，以檢測車道標(biāo)記和道路邊緣。用于這種檢測 的LIDAR的使用在同時待審且共同轉(zhuǎn)讓的美國專利申請W). 12/175634中公開，該專利申請 的名稱為基于LIDAR的幾何道路曲線檢測，并且該申請通過引用并入本文。LIDAR發(fā)射光并 且檢測返回的光。返回的光的大小描述被檢測表面的反射率。例如，道路表面與在道路標(biāo)
21記中使用的反射性涂料在返回光方面存在明顯差別，因此可以用于檢測表示車道標(biāo)記的位 置的圖案。此外，返回光可以描述與被檢測表面之間的距離。這種橫跨表面的距離可以描 述該表面的紋理，并且在道路與中間分隔帶、路肩、或覆蓋道路側(cè)邊的草之間檢測到的紋理 差異可以用于檢測道路邊緣。LIDAR返回光的使用可以采用多種實施方式，并且本發(fā)明不限 制于此處描述的特定的示例性實施方式。在本發(fā)明的示例性實施方式中，用于確定道路模型的示例性過程900在圖22中示 出。道路模型包括確定道路幾何形狀，確定道路幾何形狀包括檢測車道標(biāo)記的位置并且來 自所獲取的圖像數(shù)據(jù)。過程900使用以上論述的基于攝像機(jī)的感測技術(shù)。過程900使用并 行處理方法，這些處理方法包括(1)亮度規(guī)范化(lighting normalization)步驟，(2)線 檢測步驟，(3)哈夫變換(Houghtransformation)步驟以及(4)錯誤警報阻止步驟。如圖20所示，參照步驟902，由攝像機(jī)裝置生成描述車輛外部的視場的圖像。圖 20示出了包括道路邊緣702、車道標(biāo)記704、車道706和地平線708的示例性視場700。示 出了視場的圖像包括像素陣列。在步驟904中，對來自攝像機(jī)裝置的圖像應(yīng)用亮度規(guī)范化。 如上所述，規(guī)范化是改變像素強(qiáng)度值的范圍的過程。規(guī)范化的目的在于使圖像處于更適合 機(jī)器處理的范圍內(nèi)，以提高可靠性。例如，將每個像素值規(guī)范化為零均值和單位方差，以增 強(qiáng)圖像對比度，尤其在低亮度環(huán)境中或者當(dāng)由于反光而對比度弱時。將規(guī)范化的圖像分成多個平行處理路徑，用于幾個主要定向角度中的道路幾何形 狀檢測。參照方塊906a_f，在每個主要定向角度α中，用具有α角度的定向線檢測濾波器 對規(guī)范化的圖像數(shù)據(jù)求卷積，用于檢測道路幾何形狀的具有接近α的角度(即主體部分) 的線。此外，用具有α角度的定向邊緣檢測濾波器對規(guī)范化的被捕獲圖像數(shù)據(jù)求卷積，用 于檢測具有接近α的角度的、限定道路幾何形狀線的邊界的邊緣。定向線檢測濾波器以不 同的角度定向，用于識別車道標(biāo)記的各個方向(例如，α = 0，α = 30，α = 60，α = 90， α = 120以及α = 150)。例如，通過選擇性地將一組定向濾波器與彎曲的車道標(biāo)記進(jìn)行 匹配，以便識別出該彎曲的車道標(biāo)記的各個區(qū)段以及各個區(qū)段的定向角，用于該彎曲的車 道標(biāo)記的被捕獲圖像數(shù)據(jù)便會被識別出來。通過將以不同角度定向的直線連接在一起來檢 測曲線。聯(lián)接每個都以不同角度定向的直線便能夠識別出車道標(biāo)記的曲率。也就是說，對 于彎曲的車道標(biāo)記而言，多個定向車道檢測濾波器被應(yīng)用于車道標(biāo)記的多個區(qū)段，以生成 識別出該車道標(biāo)記的每個區(qū)段的方向的濾波響應(yīng)。上述定向檢測濾波器可以是高斯濾波器 (Gaussian filter)的一階禾口二階導(dǎo)數(shù)(firstand second derivatives)。參照步驟908a-f，哈夫變換(Hough transform)技術(shù)被用于識別道路幾何形狀的 線段，以得到道路幾何形狀的候選點(diǎn)。哈夫變換是用于得到正被分析的候選點(diǎn)的形狀類別 中的物體的有瑕疵情形的特征提取技術(shù)。哈夫變換涉及圖像的候選點(diǎn)中的線的識別，并且 更具體地涉及圖像中的候選點(diǎn)內(nèi)的線的位置和角度的識別。例如，步驟906a中的具有α =0角度的定向邊緣檢測濾波器和定向線檢測濾波器用作預(yù)處理器，以獲得規(guī)范化圖像中 的具有接近α =0的角度(具有沿α的垂直方向的大的正性線濾波器響應(yīng)以及大的正性 和大的負(fù)性邊緣濾波器響應(yīng))的期望線條上的候選點(diǎn)。由于定向邊緣檢測濾波器、定向線 檢測濾波器、或者規(guī)范化的被捕獲圖像數(shù)據(jù)中的噪聲中的缺陷，在期望直線/曲線上可能 會丟失像素或存在由濾波結(jié)果生成的噪聲。因此，可以通過基于圖像中的候選點(diǎn)來參數(shù)化 這些線而實現(xiàn)將候選點(diǎn)分組到候選線段中。哈夫變換技術(shù)主要基于候選點(diǎn)來確定是否存在足夠的線的證據(jù)。如果存在足夠的證據(jù)，則計算出該線的參數(shù)。哈夫技術(shù)用兩個參數(shù)P和 θ參數(shù)化哈夫域中的線，其中P表示線與原點(diǎn)之間的距離，而θ為線的角度。通過這種參 數(shù)化，編寫等式如下=Pi = xcos θ i+ysin θ i (5)對于圖像平面中的具有參數(shù)(P，θ ) 的線，穿越該線的所有點(diǎn)都遵循以上等式。結(jié)果，對于候選圖像點(diǎn)，哈夫變換算法確定提取 哪些線以及去除哪些線。參照方塊910a_f，將錯誤警報阻止分析同于驗證通過哈夫技術(shù)提取的識別出的車 道標(biāo)記是車道標(biāo)記。為了執(zhí)行錯誤警報阻止分析測試，在全局坐標(biāo)(world coordinates) 中，通過相對于地平面的攝像機(jī)校準(zhǔn)來確定每個識別出的車道標(biāo)記的長度。接下來，將每個 識別出的車道標(biāo)記的長度與預(yù)定長度相比較。預(yù)定長度代表相應(yīng)的車道標(biāo)記必須具有以便 被認(rèn)為是車道標(biāo)記的最小長度。如果長度大于預(yù)定長度，則識別出車道標(biāo)記被認(rèn)為是車道 標(biāo)記。如果長度(1)小于預(yù)定長度，則識別出的車道標(biāo)記不被認(rèn)為是車道標(biāo)記。第二錯誤阻止分析測試可以額外地或代替上述錯誤警報阻止分析測試而使用。在 全局坐標(biāo)中，通過相對于地平面的攝像機(jī)校準(zhǔn)來確定介于第一個識別出的車道標(biāo)記與第二 個識別出的車道標(biāo)記之間的距離，該第二個識別出的車道標(biāo)記平行于第一個識別出的車道 標(biāo)記。將該距離與預(yù)定寬度相比較。該寬度代表車道的至少最小寬度。然后，響應(yīng)于小于 預(yù)定寬度的寬度而作出第一個和第二個識別出的車道標(biāo)記是否為車道標(biāo)記的確定。如果第 一個與第二個識別出的車道標(biāo)記之間的寬度小于預(yù)定寬度，則作出第一個和第二個識別出 的車道標(biāo)記不是車道標(biāo)記的確定，或者各識別出的車道標(biāo)記中至少一個不是車道標(biāo)記。這 個相應(yīng)的錯誤警報阻止測試幫助辨別車道標(biāo)記和陰影，這些陰影來自樹和在道路上留下陰 影的其它物體。參照步驟912，執(zhí)行道路模型調(diào)試和追蹤。如上所述，將并列過程應(yīng)用于規(guī)范化的 圖像，這些過程包括線檢測步驟906、哈夫變換步驟908和錯誤警報阻止步驟910。規(guī)范化 的圖像數(shù)據(jù)通過具有α角度的定向線檢測濾波器被求卷積，用于檢測車道標(biāo)記的具有接 近α的角度的線。應(yīng)該知道的是，步驟906a-910a對應(yīng)于具有α =0角度的定向線檢測 濾波器，步驟906b-910b對應(yīng)于具有α = 30角度的定向線檢測濾波器，而步驟906f_910f 對應(yīng)于具有α = 150角度的定向線檢測濾波器。調(diào)試并追蹤具有α角度的每個定向線檢 測濾波器的檢測到的線，以檢測車道標(biāo)記的位置，如步驟914中所示。如上所述，道路幾何形狀還可以包括道路邊緣的位置。道路邊緣可以由路緣、路 肩、自行車道或中間分隔帶限定，但不局限于此。道路邊緣的位置可以通過多種方法確定。 例如，可以基于來自攝像機(jī)系統(tǒng)的被分析圖像來檢測道路邊緣，所述圖像對應(yīng)于預(yù)定的可 識別的富含紋理特征，例如表示道路邊緣的像素。在另一個示例中，可以利用無紋理圖像分 析來檢測道路邊緣，以便從圖像中濾除不屬于平坦一致的道路表面的非一致性圖像區(qū)域， 其中，將多個濾波圖像融合在一起以檢測道路邊緣。在另一個示例中，可以利用來自LIDAR 系統(tǒng)的監(jiān)測數(shù)據(jù)來檢測道路邊緣。應(yīng)該知道的是，通過上述任意方法檢測到的包括車道標(biāo)記和道路邊緣的道路幾何 形狀可以融合到一起，以生成確定的道路模型。從而分析確定的道路模型，并且通過互利 改良、用所確定的暢通路徑來擴(kuò)充該道路模型或者使該道路模型與所確定的暢通路徑相融 合，以確定更優(yōu)的暢通路徑。從而可以在車輛導(dǎo)航中使用該更優(yōu)的暢通路徑。例如，車輛中 的自主轉(zhuǎn)向模塊可以包括圖像顯示裝置，其中，自主轉(zhuǎn)向模塊使用更優(yōu)的暢通路徑，從而自主地使車輛位置維持在檢測到的車道標(biāo)記之間。在另一個示例中，車輛中的速度控制裝置 可以利用更優(yōu)的暢通路徑，從而在檢測到的車道標(biāo)記之間自主地維持車速。此外，圖像顯示 裝置可以突出顯示例如檢測到的車道標(biāo)記和檢測到的道路邊緣的道路幾何形狀，用于為車 輛駕駛員在視覺上增強(qiáng)車道，如圖20中所示。突出顯示是本領(lǐng)域公知的，其指的是識別圖 像數(shù)據(jù)中的車道標(biāo)記或路段的位置，并且可以通過用于顯示圖像數(shù)據(jù)中的車道標(biāo)記或路段 的位置的任何相當(dāng)?shù)姆椒▉韺崿F(xiàn)。圖21的步驟812示出了互利改良，輸入暢通路徑和物體位置或追蹤信息，輸出更 優(yōu)的暢通路徑。從以上描述的方法應(yīng)該知道的是，暢通路徑可以從道路模型中受益，擴(kuò)充了 對何種區(qū)域可能是暢通路徑的理解。應(yīng)該知道的是，可以通過識別暢通路徑的分析來類似 地實現(xiàn)更優(yōu)的道路模型。例如，將通過限定行駛車道的可視屬性來頻繁地限定暢通路徑的 邊界。確定道路模型的計算資源可以專用于暢通路徑的邊界，以便最有效地確定需要的標(biāo) 記和道路模型所需的邊緣。這種分析能夠通過連續(xù)圖像而反復(fù)加強(qiáng)，從而沿暢通路徑和道 路模型的行駛路徑建立信心。此外，可以通過暢通路徑分析和加強(qiáng)單個圖像的道路模型屬 性的多種迭代來反復(fù)核查單個圖像。這種分析循環(huán)可以有利地改進(jìn)初始假定和分析結(jié)果。 圖23以繪圖方式示出了根據(jù)本發(fā)明的這種迭代分析。步驟812被示出為包括步驟809中 的道路模型改良和步驟811中的暢通路徑改良。如上所述，步驟812輸出更優(yōu)的暢通路徑， 并額外地輸出更優(yōu)的道路模型。如上所述的互利改良可以采用幾種不同的實施方式。一個特定的實施方式包括使 用道路模型來限定可能是暢通路徑的區(qū)域和不可能是暢通路徑的區(qū)域。沿當(dāng)前行駛車道的 右側(cè)的道路邊緣使得當(dāng)前車道的右側(cè)不可能為暢通路徑。類似地，描述車輛不可能行駛的 區(qū)域的限定的暢通路徑可用于將車道標(biāo)記和道路邊緣檢測技術(shù)集中在暢通路徑描述為可 能包括道路表面的區(qū)域上。本發(fā)明已經(jīng)描述了某些優(yōu)選實施方式及其改型。在閱讀并理解說明書的情況下可 以對這些實施方式作出進(jìn)一步改型和變型。因此，可以預(yù)期的是，本發(fā)明不限于作為實施本 發(fā)明的預(yù)期最佳模式而公開的特定實施方式，而是包括落入所附權(quán)利要求的范圍之內(nèi)的所 有實施方式。
2權(quán)利要求
一種用于檢測車輛行駛的暢通路徑的方法，該檢測包括通過圖像分析進(jìn)行的暢通路徑檢測與描述道路幾何形狀的道路幾何形狀數(shù)據(jù)的融合，所述方法包括監(jiān)測來自車輛上的攝像機(jī)裝置的圖像；通過暢通路徑檢測分析來分析圖像，以確定圖像內(nèi)的行駛暢通路徑；監(jiān)測道路幾何形狀數(shù)據(jù)；分析道路幾何形狀數(shù)據(jù)，以確定道路幾何形狀數(shù)據(jù)對暢通路徑的影響；基于對道路幾何形狀數(shù)據(jù)的上述分析來修正暢通路徑；以及在車輛導(dǎo)航中使用修正后的暢通路徑。
2.根據(jù)權(quán)利要求1的方法，其中，分析道路幾何形狀數(shù)據(jù)以確定道路幾何形狀數(shù)據(jù)對 暢通路徑的影響包括檢測當(dāng)前行駛道路的車道標(biāo)記。
3.根據(jù)權(quán)利要求2的方法，其中，監(jiān)測道路幾何形狀數(shù)據(jù)包括監(jiān)測來自所述攝像機(jī)裝 置的圖像。
4.根據(jù)權(quán)利要求3的方法，其中，檢測當(dāng)前行駛道路的車道標(biāo)記包括 對道路幾何形狀數(shù)據(jù)應(yīng)用亮度規(guī)范化，以生成規(guī)范化的道路幾何形狀數(shù)據(jù)；用邊緣檢測濾波器對所述規(guī)范化的道路幾何形狀數(shù)據(jù)求卷積，以便生成基于邊緣的濾 波響應(yīng)；用線檢測濾波器對所述規(guī)范化的道路幾何形狀數(shù)據(jù)求卷積，以便生成基于線的濾波響應(yīng)；響應(yīng)于基于邊緣的濾波響應(yīng)和基于線的濾波響應(yīng)來選擇候選的車道標(biāo)記；以及 將變換技術(shù)應(yīng)用于所述候選的車道標(biāo)記，以便識別車道標(biāo)記。
5.根據(jù)權(quán)利要求4的方法，進(jìn)一步包括應(yīng)用錯誤警報阻止分析，該錯誤警報阻止分析 用于驗證識別出的車道標(biāo)記是否為車道標(biāo)記，其中，所述錯誤警報阻止分析包括確定識別出的車道標(biāo)記的長度； 將所述長度與預(yù)定長度相比較；以及響應(yīng)于所述長度大于所述預(yù)定長度而確定識別出的車道標(biāo)記為車道標(biāo)記，否則，確定 識別出的車道標(biāo)記不是車道標(biāo)記。
6.根據(jù)權(quán)利要求4的方法，進(jìn)一步包括應(yīng)用錯誤警報阻止分析，該錯誤警報阻止分析 用于驗證識別出的車道標(biāo)記是否為車道標(biāo)記，其中，所述錯誤警報阻止分析包括確定第一個識別出的車道標(biāo)記與第二個識別出的車道標(biāo)記之間的距離； 將所述距離與預(yù)定寬度相比較，所述預(yù)定寬度至少代表車道的寬度；以及 基于小于所述預(yù)定寬度的寬度而確定所述第一個車道標(biāo)記和所述第二個車道標(biāo)記為 車道標(biāo)記，否則，確定所述第一個車道標(biāo)記和所述第二個車道標(biāo)記不是車道標(biāo)記。
7.根據(jù)權(quán)利要求6的方法，其中，確定所述第一個車道標(biāo)記和所述第二個車道標(biāo)記為 車道標(biāo)記進(jìn)一步基于確定所述第一個車道標(biāo)記和所述第二個車道標(biāo)記彼此平行，否則，確 定所述第一個車道標(biāo)記和所述第二個車道標(biāo)記不是車道標(biāo)記。
8.根據(jù)權(quán)利要求4的方法，其中，檢測當(dāng)前道路的車道標(biāo)記被實時執(zhí)行。
9.根據(jù)權(quán)利要求4的方法，其中，道路幾何形狀數(shù)據(jù)被分割為以不同角度定向的、代表 車輛道路中的潛在車道標(biāo)記的曲率的多條直線。
10.根據(jù)權(quán)利要求9的方法，其中，所述邊緣檢測濾波器包括多個基于邊緣的定向濾波器，其中，每個基于邊緣的定向濾波器被應(yīng)用于每條被分割的直線。
11.根據(jù)權(quán)利要求9的方法，其中，所述線檢測濾波器包括多個基于線的定向濾波器， 其中，每個基于線的定向濾波器被應(yīng)用于每條相應(yīng)的被分割的直線。
12.根據(jù)權(quán)利要求2的方法，其中，監(jiān)測道路幾何形狀數(shù)據(jù)包括監(jiān)測來自LIDAR系統(tǒng)的 返回數(shù)據(jù)。
13.根據(jù)權(quán)利要求1的方法，其中，分析道路幾何形狀數(shù)據(jù)以確定道路幾何形狀數(shù)據(jù)對 暢通路徑的影響包括檢測當(dāng)前行駛道路的道路邊緣。
14.根據(jù)權(quán)利要求13的方法，其中，檢測當(dāng)前行駛道路的道路邊緣包括 監(jiān)測來自所述攝像機(jī)裝置的圖像，所述圖像包含多個像素；將富含紋理的分析用于分析所述像素；以及 基于表示道路邊緣的像素圖案來識別道路邊緣。
15.根據(jù)權(quán)利要求13的方法，其中，檢測當(dāng)前行駛道路的道路邊緣包括 監(jiān)測來自所述攝像機(jī)裝置的圖像；以及將無紋理分析用于分析所述圖像，這種分析包括對所述圖像進(jìn)行濾波，以便從所述圖像的不表示潛在道路邊緣的其它部分中分離出所 述圖像的能夠估計出道路邊緣的部分，以及 基于所述濾波來確定道路邊緣。
16.根據(jù)權(quán)利要求13的方法，其中，監(jiān)測道路幾何形狀數(shù)據(jù)包括監(jiān)測來自LIDAR系統(tǒng)的 返回數(shù)據(jù)。
17.一種用于確定車輛行駛的更優(yōu)的暢通路徑的方法，所述方法利用對位于車輛上的 攝像機(jī)裝置生成的多個圖像的分析，所述方法包括監(jiān)測來自所述攝像機(jī)裝置的圖像；分析來自所述攝像機(jī)裝置的圖像，這種分析包括通過基于攝像機(jī)的暢通路徑分析來確定暢通路徑，在所述暢通路徑上，可以從所述圖 像的不表示潛在道路表面的其他部分中估計出潛在道路表面， 確定描述道路幾何形狀的道路模型，所述道路幾何形狀包括 檢測車道標(biāo)記，以及 檢測道路邊緣，分析所述道路模型和所述暢通路徑；擴(kuò)充所述道路模型和所述暢通路徑，以確定更優(yōu)的暢通路徑；以及 在車輛導(dǎo)航中使用所述更優(yōu)的暢通路徑。
18.一種用于檢測車輛行駛的暢通路徑的系統(tǒng)，該檢測利用來自位于車輛上的攝像機(jī) 裝置的多個圖像的分析，所述系統(tǒng)包括所述攝像機(jī)裝置；以及 處理模塊，所述處理模塊執(zhí)行下列操作 監(jiān)測所述圖像，并且 分析所述圖像，這種分析包括從所述圖像的不表示行駛暢通路徑的其他部分中確定出行駛暢通路徑，以及 基于所述分析確定道路模型，分析所述暢通路徑和所述道路模型，基于所述暢通路徑和所述道路模型的分析來修正所述暢通路徑，以及 基于修正后的暢通路徑幫助所述車輛導(dǎo)航。
19.根據(jù)權(quán)利要求18的系統(tǒng)，進(jìn)一步包括自主轉(zhuǎn)向系統(tǒng)和速度控制裝置，其中，所述自 主轉(zhuǎn)向系統(tǒng)和速度控制裝置能夠基于對來自攝像機(jī)系統(tǒng)的圖像的分析進(jìn)行操作。
全文摘要
本發(fā)明涉及使用道路模型的暢通路徑檢測。用于檢測車輛行駛的暢通路徑的方法，該檢測包括通過圖像分析進(jìn)行的暢通路徑檢測與描述道路幾何形狀的道路幾何形狀數(shù)據(jù)的融合，該方法包括監(jiān)測來自車輛上的攝像機(jī)裝置的圖像；通過暢通路徑檢測分析來分析圖像，以確定圖像中的行駛暢通路徑；監(jiān)測道路幾何形狀數(shù)據(jù)；分析道路幾何形狀數(shù)據(jù)，以確定道路幾何形狀數(shù)據(jù)對暢通路徑的影響；基于道路幾何形狀數(shù)據(jù)的分析來修正暢通路徑；以及在車輛導(dǎo)航中使用修正后的暢通路徑。
文檔編號G01S13/94GK101929867SQ20091024685
公開日2010年12月29日 申請日期2009年10月23日 優(yōu)先權(quán)日2009年5月8日
發(fā)明者S·M·奈克, W·張 申請人:通用汽車環(huán)球科技運(yùn)作公司