專利名稱：用于產(chǎn)生道路信息的方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于產(chǎn)生道路信息的方法。本發(fā)明進(jìn)一步涉及一種用于產(chǎn)生道路 信息的設(shè)備、 一種計(jì)算機(jī)程序產(chǎn)品及攜載所述計(jì)算機(jī)程序產(chǎn)品的處理器可讀媒體。
#絲*
需要為導(dǎo)航系統(tǒng)及類似系統(tǒng)中所使用的數(shù)字地圖數(shù)據(jù)庫(kù)收集大量水平道路信息， 例如，車道分隔帶、道路中心線、道路寬度等等。道路信息的地理位置可存儲(chǔ)為絕對(duì) 或相對(duì)位置信息。例如，中心線可以絕對(duì)地理位置信息存儲(chǔ)，且道路寬度可以相對(duì)位 置信息存儲(chǔ)，所述相對(duì)位置信息相對(duì)于中心線的絕對(duì)地理位置為相對(duì)信息。可通過解 釋高分辨率航空經(jīng)正射校正(orthorectified)的圖像獲得所述道路信息。這些高分辨率 經(jīng)正射校正的圖像應(yīng)具有低于25 cm的像素大小。獲得這些圖像極昂貴且不保證俘獲 所有道路水平信息。
可從航空?qǐng)D像極有效地獲得經(jīng)正射校正的圖像。然而，常常引入誤差，此可導(dǎo)致 對(duì)地理位置數(shù)據(jù)的不精確測(cè)繪。主要問題是，通常不準(zhǔn)確地垂直于地球表面拍攝航空 圖像。即使在接近于地球表面拍攝圖片時(shí)，僅所述圖片的中心準(zhǔn)確地垂直于地球表面。 為對(duì)此圖像進(jìn)行正射校正，必須另外獲得地形的高度信息。結(jié)合用于確定所述經(jīng)正射 校正的圖像的三角測(cè)量過程，在航空?qǐng)D像中缺少對(duì)象的精確高度信息可導(dǎo)致這些圖像 高達(dá)十幾米的不精確度。精確度可通過拍攝重疊圖像并比較從來自相同航空相機(jī)的后 續(xù)圖像獲得的相同表面而得以改善。但是仍存在對(duì)所獲得的精確度對(duì)額外成本的限制。
此外，為從航空經(jīng)正射校正的圖像獲得"水平"道路信息，必須分析所述圖像。 在所述圖像中，必須檢測(cè)路面。因經(jīng)正射校正的圖像的位置不精確度，地圖數(shù)據(jù)庫(kù)中 道路的地理位置不可用于精確地確定路面在所述經(jīng)正射校正的圖像中的所在位置。此 外，因航空經(jīng)正射校正的圖像的分辨率及路面因陰影而強(qiáng)烈變化的照明，難以借助基 于色彩的分割算法檢測(cè)路面。
現(xiàn)今，可通過分析并解釋水平圖片圖像及借助只在地球上的移動(dòng)收集裝置收集的 其它數(shù)據(jù)來獲得用于導(dǎo)航系統(tǒng)及類似系統(tǒng)中所使用的數(shù)字地圖數(shù)據(jù)庫(kù)的"垂直"道路 信息，例如，速度限制、方向路標(biāo)等等。術(shù)語"垂直"指示道路信息的信息平面大致 平行于重力矢量。移動(dòng)測(cè)繪車輛(其是基于陸地的車輛，例如，汽車或有篷貨車)用 于為增強(qiáng)數(shù)字地圖數(shù)據(jù)庫(kù)而收集移動(dòng)數(shù)據(jù)。增強(qiáng)的實(shí)例為交通符號(hào)、路線符號(hào)、交通 燈、顯示街道名稱等等的街道符號(hào)的位置。
4移動(dòng)測(cè)繪車輛具有多個(gè)相機(jī)，這些相機(jī)中的一些為立體照相相機(jī)且所有這些相機(jī) 因具有精密GPS及其它車載位置確定器材的有篷貨車而經(jīng)精確地地理定位。在行駛于 道路網(wǎng)絡(luò)上時(shí)，俘獲圖像序列。這些圖像可為視頻或靜止圖片圖像。
移動(dòng)測(cè)繪車輛在對(duì)象(例如，建筑物或路面)的圖像序列中記錄多于一個(gè)圖像， 且針對(duì)圖像序列的每一圖像，連同所述圖像序列的定向數(shù)據(jù)一起精確地確定地理位置。 具有對(duì)應(yīng)的地理位置信息的圖像序列將稱為經(jīng)地理編碼的圖像序列。因?yàn)橛上鄼C(jī)獲得 的圖像序列表示"水平"道路信息的視覺透視圖，所以圖像處理算法可為從所述圖像 序列抽取道路信息提供解決方案。

發(fā)明內(nèi)容
本發(fā)明設(shè)法提供一種產(chǎn)生供在地圖數(shù)據(jù)庫(kù)中使用的道路信息的經(jīng)改善的方法。 根據(jù)本發(fā)明，所述方法包括
-從借助安裝于移動(dòng)車輛上的基于陸地的相機(jī)獲得的圖像序列獲取一個(gè)或一個(gè) 以上源圖像；
-從與所述一個(gè)或一個(gè)以上源圖像中表示所述移動(dòng)車輛前方或后方的路面的預(yù) 界定區(qū)域相關(guān)聯(lián)的像素確定道路色彩樣本，所述預(yù)界定區(qū)域包含所述移動(dòng)車輛的軌跡 線；
-依據(jù)所述道路色彩樣本從所述一個(gè)或一個(gè)以上源圖像產(chǎn)生路面圖像；及， -依據(jù)所述路面圖像及與所述源圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)產(chǎn)生道路信息。 本發(fā)明是基于辨識(shí)移動(dòng)測(cè)繪車輛，所述移動(dòng)測(cè)繪車輛行駛在地球表面上、用基于 陸地的相機(jī)記錄表面收集的地理位置圖像序列。所述圖像序列中的一些包含車輛前方 或后方的道路。此外，通常，車輛的行駛方向大致相似于所述車輛前方或后方的道路 的方向。此外，已知相機(jī)相對(duì)于車輛且因此相對(duì)于路面的位置和定向。借助GPS接收 器及慣性測(cè)量裝置(例如， 一個(gè)或一個(gè)以上回轉(zhuǎn)儀及/或加速計(jì))確定車輛的位置和定 向。
因?yàn)榛陉懙氐南鄼C(jī)與所記錄的地球表面之間的距離有限且借助車載定位系統(tǒng) (例如，GPS接收器)及其它額外位置和定向確定器材(例如，慣性導(dǎo)航系統(tǒng)_ INS) 精確已知所述相機(jī)的地理位置，所以可精確地確定每一像素(假設(shè)所述像素表示地球 表面)的絕對(duì)地理位置。此外，所述相機(jī)相對(duì)于車輛的定向數(shù)據(jù)使得我們能夠針對(duì)每 一圖像確定圖像中以一確定程度表示路面的區(qū)域或像素群組。此使得我們能夠自動(dòng)且 精確地獲得路面的色彩光譜樣本。所述色彩光譜樣本包括對(duì)應(yīng)于所假設(shè)的路面的像素 的所有色彩值。使用所述色彩光譜來檢測(cè)圖像中可對(duì)應(yīng)于路面的像素。使用因此獲得 的路面圖像來檢測(cè)道路的邊沿，此使得我們能夠?qū)С龅缆沸畔?，例如，中心線的絕對(duì) 或相對(duì)位置及道路寬度。優(yōu)選地，為獲得道路色彩樣本的預(yù)界定區(qū)域?qū)?yīng)于車輛正行 駛于其上的車道的車道標(biāo)記之間的路面。以此方式，通常，所述道路色彩樣本對(duì)應(yīng)于
5路面或人行道材料的背景色彩的色彩光譜?，F(xiàn)在，僅將選擇對(duì)應(yīng)于道路色彩背景的像 素作為路面，且對(duì)應(yīng)于車道標(biāo)記的像素將被排除在外。以此方式，從路面圖像，可檢 測(cè)且定位道路邊緣及道路中心線以及車道信息，例如，車道分隔帶、車道寬度、車道 標(biāo)記、車道涂料等等。
在本發(fā)明的實(shí)施例中，產(chǎn)生道路信息包括
-確定所述路面圖像中的道路邊緣像素；
-對(duì)所述道路邊緣像素執(zhí)行曲線擬合以獲得表示道路邊緣的曲線及
-依據(jù)所述路面圖像中所述曲線的位置及對(duì)應(yīng)的位置和定向數(shù)據(jù)計(jì)算所述道路
信息o
在本發(fā)明的進(jìn)一步實(shí)施例中，已從所述一個(gè)或一個(gè)以上源圖像中表示所述移動(dòng)車 輛前方或后方預(yù)界定區(qū)域的區(qū)域選擇了路面圖像，所述預(yù)界定區(qū)域包含所述移動(dòng)車輛 的所述軌跡線。借助相機(jī)獲得的"垂直"圖像中的每一像素在水平平面中具有對(duì)應(yīng)的 分辨率。所述分辨率隨著車輛與路面之間的距離而減小。這些特征使得我們能夠通過 不考慮表示車輛前方或后方比預(yù)定距離遠(yuǎn)的地球表面的像素來以所保證的精確度導(dǎo)出 位置信息。
在本發(fā)明的進(jìn)一步實(shí)施例中，獲取源圖像包括
-依據(jù)與來自所述圖像序列的一個(gè)或一個(gè)以上圖像相關(guān)聯(lián)的位置數(shù)據(jù)和定向數(shù) 據(jù)處理所述一個(gè)或一個(gè)以上圖像以獲得所述一個(gè)或一個(gè)以上源圖像，其中每一源圖像 對(duì)應(yīng)于經(jīng)正射校正的圖像。此特征具有路面的透視圖以路面的俯視像轉(zhuǎn)換的優(yōu)點(diǎn)。 在經(jīng)正射校正的圖像中，道路的邊沿及中心線彼此平行于。此外，經(jīng)正射校正的圖像 的每一像素表示地球表面的相似大小。這些性質(zhì)使得能夠從經(jīng)正射校正的圖像有效且 精確地導(dǎo)出道路信息。使用多于一個(gè)圖像使得我們能夠產(chǎn)生經(jīng)正射校正的圖像(亦即， 道路段的經(jīng)正射校正的鑲嵌圖)且從所述經(jīng)正射校正的圖像導(dǎo)出所述道路段的道路信 息。
在本發(fā)明的實(shí)施例中，產(chǎn)生道路信息包括
-確定所述路面圖像中的道路邊緣像素；
-執(zhí)行線擬合算法以獲得表示道路邊緣的線；及，
-依據(jù)所述線以及位置和定向數(shù)據(jù)計(jì)算道路信息。這些特征允許程序有效地確定 道路邊緣及供在地圖數(shù)據(jù)庫(kù)中使用的對(duì)應(yīng)的道路信息。 在本發(fā)明的實(shí)施例中，產(chǎn)生道路信息包括 -確定所述路面圖像中的道路邊緣像素；
-確定所述路面圖像中條紋的位置，其包括與屬于所述條紋的道路邊緣像素的數(shù) 目相關(guān)的最大值，其中所述條紋具有預(yù)界定寬度及平行于與所述路面圖像相關(guān)聯(lián)的移 動(dòng)車輛的行駛方向的方向；
-對(duì)屬于所述條紋的道路邊緣像素執(zhí)行線擬合算法以獲得表示道路邊緣的線；及 -依據(jù)所述線以及位置和定向數(shù)據(jù)計(jì)算道路信息。在此實(shí)施例中，首先確定平行
6于所述圖像中的路邊的行駛方向的最可能位置，且隨后僅考慮靠近于所述位置的道路 邊緣像素以導(dǎo)出道路信息。所述路面像素的色彩不具一種色彩而具有不同色彩的集合。 因此，在所述路面圖像中，路面的邊沿不是直線而是噪聲嚴(yán)重的曲線或波狀曲線。所 述條紋對(duì)應(yīng)于源圖像中表示透視圖的四邊形且是源圖像中表示經(jīng)正射校正的視圖的矩 形。此實(shí)施例的這些特征減少圖像中的干擾減小與道路信息相關(guān)聯(lián)的位置信息的精確 度的可能性。如果源圖像為經(jīng)正射校正的圖像，其中一列像素對(duì)應(yīng)于平行于行駛方向 的線，那么此實(shí)施例的特征可通過以下步驟極有效地實(shí)施及處理 -確定所述路面圖像中的道路邊緣像素；
-針對(duì)每一列對(duì)道路邊緣像素的數(shù)目進(jìn)行計(jì)數(shù)以獲得邊緣像素柱狀圖； -過濾所述邊緣像素柱狀圖以獲得表示道路邊緣的列的位置； -依據(jù)所述列的位置以及位置和定向數(shù)據(jù)計(jì)算所述道路信息。 這些特征使得我們能夠極容易且有效地確定路面邊沿的位置。借助相關(guān)聯(lián)的定向 及位置數(shù)據(jù)，可獲得經(jīng)正射校正的圖像，其中一列對(duì)應(yīng)于行駛方向。以此方式，所述 條紋平行于行駛方向定向且對(duì)應(yīng)于一個(gè)或一個(gè)以上毗鄰列。以此方式，可通過首先針 對(duì)每一列對(duì)邊緣像素的數(shù)目進(jìn)行計(jì)數(shù)且隨后針對(duì)每一列位置對(duì)所述一個(gè)或一個(gè)以上毗
鄰列中邊緣像素的數(shù)目進(jìn)行計(jì)數(shù)來容易地對(duì)所述條紋中邊緣像素的數(shù)目進(jìn)行計(jì)數(shù)。 在有利實(shí)施例中，過濾包括
-確定柱狀圖中具有與一個(gè)或一個(gè)以上毗鄰列中所計(jì)數(shù)道路邊緣像素的數(shù)目相 關(guān)的最大值的列的位置。且在進(jìn)一步實(shí)施例中，計(jì)算包括
-通過計(jì)算一個(gè)或一個(gè)以上列中毗鄰于柱狀圖中在路面圖像的左部具有最大值 的列的所確定位置的邊緣像素的列位置的平均值確定路面的左邊沿的位置；
-通過計(jì)算一個(gè)或一個(gè)以上列中毗鄰于柱狀圖中在路面圖像的右部具有最大值 的列的所確定位置的邊緣像素的列位置的平均值確定路面的右邊沿的位置；
-依據(jù)左側(cè)及右側(cè)的位置計(jì)算道路信息。這些特征提供一種簡(jiǎn)單且快速的算法來 產(chǎn)生道路信息。且在本發(fā)明的進(jìn)一步實(shí)施例中，所述道路信息包括表示道路的中心的 位置的一組參數(shù)，其中計(jì)算包括通過計(jì)算路面的左邊沿及右邊沿的位置的平均位置來 確定所述組參數(shù)。且在本發(fā)明的另一進(jìn)一步實(shí)施例中，所述道路信息包括道路寬度參 數(shù)，其中計(jì)算包括借助計(jì)算路面的左邊沿及右邊沿的位置之間的距離來導(dǎo)出所述道路 寬度參數(shù)的值。以此方式，可容易地獲得對(duì)應(yīng)于道路的中心及寬度的道路信息。
在本發(fā)明的實(shí)施例中，已通過處理來自圖像序列的第一及第二圖像產(chǎn)生了道路信 息，其中所述第一圖像及時(shí)跟隨所述第二圖像。此特征使得我們能夠檢測(cè)對(duì)應(yīng)于移動(dòng)
對(duì)象的像素。
在本發(fā)明的進(jìn)一步實(shí)施例中，所述方法進(jìn)一步包括 -確定兩個(gè)連續(xù)源圖像內(nèi)表示所述路面的相似地理區(qū)域的共用區(qū)域； -針對(duì)所述共用區(qū)域的像素，確定其是否必須分類為固定像素或移動(dòng)對(duì)象像素。 這些特征使得我們能夠針對(duì)連續(xù)圖像的像素(當(dāng)被投影于表示移動(dòng)車輛前面或后方的
7地球表面的共用平面上時(shí)所述連續(xù)圖像具有相似的地理位置)確定所述像素在兩個(gè)圖 像中顯形相同對(duì)象還是不同對(duì)象。
在進(jìn)一步實(shí)施例中，己從預(yù)界定區(qū)域中的固定像素確定了道路色彩樣本且移動(dòng)對(duì) 象像素被排除在外。此特征使得我們能夠獲得對(duì)路面的色彩光譜的更好估計(jì)。
在本發(fā)明的進(jìn)一步實(shí)施例中，從共用區(qū)域的預(yù)界定區(qū)域確定道路色彩樣本。此特 征使得實(shí)踐本發(fā)明的工程師能夠?qū)⒂糜诖_定所述道路色彩樣本的像素限于通常應(yīng)以極 高確定程度表示路面的像素。
在本發(fā)明的進(jìn)一步實(shí)施例中，從共用區(qū)域產(chǎn)生路面圖像。這些特征使得我們能夠 在兩個(gè)經(jīng)正射校正的圖像中檢査像素是否表示路面。
在本發(fā)明的有利實(shí)施例中，產(chǎn)生路面圖像包括
-檢測(cè)共用區(qū)域中移動(dòng)對(duì)象的像素；及 -將所述像素標(biāo)記為從路面排除。
借助所述特征，可從路面排除在汽車的前方或后方的路面上移動(dòng)的對(duì)象。在不同 時(shí)間記錄第一及第二圖像的共用區(qū)域。移動(dòng)跨越所述路面的對(duì)象將在所述第一及第二 圖像中具有不同位置?？山柚娝苤膱D像處理方法來檢測(cè)移動(dòng)且隨后可確定第一 及第二圖像中移動(dòng)對(duì)象的位置。此使得我們能夠獲得指示假設(shè)經(jīng)正射校正的圖像的哪 些像素對(duì)應(yīng)于路面像素的圖像。
在本發(fā)明的另一實(shí)施例中，產(chǎn)生道路信息包括
-處理路面圖像的不具有指示來表示路面像素的像素以檢測(cè)、識(shí)別并抽取描述車 道標(biāo)記及其它所涂繪道路標(biāo)記的道路信息。如果從僅表示路面的背景色彩的像素獲得 道路色彩樣本，那么將不把對(duì)應(yīng)于道路涂料的像素指派為路面像素。所述道路涂料將 被看作所述路面圖像中的孔?？赏ㄟ^分析這些孔及其對(duì)應(yīng)的位置和定向來識(shí)別道路信 息，例如，車道分隔帶、中斷線、實(shí)心車道線、虛線及其它規(guī)格化的道路標(biāo)記。
可使用軟件、硬件或軟件與硬件的組合來實(shí)施本發(fā)明。當(dāng)本發(fā)明的全部或部分在 軟件中實(shí)施時(shí)，所述軟件可駐留于處理器可讀存儲(chǔ)媒體上。適當(dāng)?shù)奶幚砥骺勺x存儲(chǔ)媒 體的實(shí)例包含軟盤、硬盤、CD ROM、 DVD、存儲(chǔ)器IC等等。當(dāng)系統(tǒng)包含硬件時(shí)， 所述硬件可包含輸出裝置(例如，監(jiān)視器、揚(yáng)聲器或打印機(jī))；輸入裝置(例如，鍵 盤、指向裝置及/或麥克風(fēng))；及處理器，其與所述輸出裝置通信；以及處理器可讀存 儲(chǔ)媒體，其與所述處理器通信。所述處理器可讀存儲(chǔ)媒體存儲(chǔ)代碼，所述代碼能夠編
程所述處理器以執(zhí)行這些動(dòng)作從而實(shí)施本發(fā)明。本發(fā)明的過程還可在可經(jīng)由電話線或 其它網(wǎng)絡(luò)或英特網(wǎng)連接存取的服務(wù)器上實(shí)施。


下文將使用許多實(shí)例性實(shí)施例參照所附圖式更詳細(xì)地論述本發(fā)明，這些圖式打算 圖解說明本發(fā)明但不限制其由所附權(quán)利要求書及其等效實(shí)施例界定的范圍，其中
8圖1顯示具有相機(jī)的MMS系統(tǒng)； 圖2顯示位置和定向參數(shù)的圖示；
圖3為根據(jù)本發(fā)明用于產(chǎn)生道路信息的過程的范例實(shí)施方案的框圖4顯示將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊的一般原理的側(cè)視圖5顯示將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊的一般原理的俯視圖6顯示將立體圖像對(duì)轉(zhuǎn)換成兩個(gè)經(jīng)正射校正的圖像塊；
圖7顯示疊加圖6中的兩個(gè)經(jīng)正射校正的圖像塊的結(jié)果；
圖8顯示用于獲得道路色彩樣本的區(qū)域；
圖9顯示疊加兩個(gè)后續(xù)圖像的結(jié)果；
圖IO顯示檢測(cè)與移動(dòng)對(duì)象相關(guān)聯(lián)的像素的結(jié)果；
圖ll顯示具有路面、道路邊緣及所計(jì)算的道路邊緣的經(jīng)正射校正的圖像； 圖12顯示經(jīng)正射校正的圖像的一列中用于確定道路邊緣的位置的所計(jì)數(shù)邊緣像 素的條形圖的實(shí)例；
圖13顯形中心線的確定；
圖14顯示本發(fā)明可借助其執(zhí)行的計(jì)算機(jī)布置的框圖； 圖15a、 15b及15c顯示從圖像序列提取的三個(gè)源圖像的實(shí)例； 圖16顯示從對(duì)應(yīng)于圖15中所示的源圖像的圖像序列獲得的路面的經(jīng)正射校正的 鑲嵌圖17顯示上覆圖16中所示的經(jīng)正射校正的鑲嵌圖的路面圖像；及 圖18圖解說明本發(fā)明在應(yīng)用于一個(gè)圖像上時(shí)的情況。
具體實(shí)施例方式
圖1顯示采用汽車1形式的MMS系統(tǒng)。汽車1具有一個(gè)或一個(gè)以上相機(jī)9(i), i = 1， 2， 3,... I。汽車1可由駕駛員駕駛著沿感興趣的道路行駛。
汽車1具有多個(gè)車輪2。此外，汽車1具有高精確度位置確定裝置。如圖1中所
示，所述位置確定裝置包括以下組件
GPS (全球定位系統(tǒng))單元，其連接到天線8且經(jīng)布置以與多個(gè)衛(wèi)星SLi (i = 1, 2， 3，...)通信且依據(jù)從衛(wèi)星SLi接收的信號(hào)計(jì)算位置信號(hào)。所述GPS單元連接到微處理 器UP?；趶乃鯣PS單元接收的信號(hào)，所述微處理器tiP可確定將顯示于汽車1 中的監(jiān)視器4上的適宜的顯示信號(hào)，從而告知駕駛員汽車的所在位置及所述汽車可能 正沿哪一方向行進(jìn)。替代GPS單元，可使用差分GPS單元。差分全球定位系統(tǒng)(DGPS) 是對(duì)全球定位系統(tǒng)(GPS)的增強(qiáng)，其使用固定的基于地面的參考站網(wǎng)絡(luò)來廣播由衛(wèi)星系 統(tǒng)所指示的位置與已知固定位置之間的差。這些站廣播所測(cè)量的衛(wèi)星偽距與實(shí)際(在 內(nèi)部計(jì)算的)偽距之間的差，且接收站可將其偽距校正相同量。
DMI (距離測(cè)量器具)。此器具是通過感測(cè)車輪2中的一者或一者以上的旋轉(zhuǎn)
9次數(shù)來測(cè)量汽車1行進(jìn)的距離的計(jì)程儀。所述DMI還連接到微處理器W P以允許所述 微處理器y P考慮由所述DMI測(cè)量的距離，同時(shí)依據(jù)來自所述GPS單元的輸出信號(hào) 計(jì)算顯示信號(hào)。
IMU(慣性測(cè)量單元)。此IMU可實(shí)施為3個(gè)回轉(zhuǎn)儀單元，其經(jīng)布置以測(cè)量沿3 個(gè)正交方向的旋轉(zhuǎn)加速度及平移加速度。所述IMU還連接到微處理器liP以允許所述 微處理器UP考慮所述DMI的測(cè)量結(jié)果，同時(shí)依據(jù)來自所述GPS單元的輸出信號(hào)計(jì) 算顯示信號(hào)。所述IMU還可包括航位推算傳感器。
如圖1中所示的系統(tǒng)為所謂的"移動(dòng)測(cè)繪系統(tǒng)"，其例如通過借助安裝于汽車1 上的一個(gè)或一個(gè)以上相機(jī)9(i)拍攝圖片來收集地理數(shù)據(jù)。所述相機(jī)連接到微處理器U P。所述汽車前方的相機(jī)9(i)可為立體相機(jī)。所述相機(jī)可經(jīng)布置以產(chǎn)生圖像序列，其中 已以預(yù)界定幀速率俘獲了圖像。在實(shí)例性實(shí)施例中，所述相機(jī)中的一者或一者以上為 靜止圖片相機(jī)，其經(jīng)布置以在汽車1的每一預(yù)界定位移或每一時(shí)間間隔俘獲圖片。所 述預(yù)界定位移經(jīng)挑選以使得兩個(gè)后續(xù)圖片包括路面的相似部分，亦即，具有相同地理 位置或表示相同地理區(qū)域。例如，可在每8米的行進(jìn)后俘獲一圖片。
通常想要從3個(gè)測(cè)量單元GPS、 IMU及DMI盡可能精確地提供位置和定向測(cè)量。 測(cè)量這些位置和定向數(shù)據(jù)，同時(shí)相機(jī)9(i)拍攝圖片。存儲(chǔ)這些圖片以供稍后聯(lián)合在拍 攝這些圖片的同時(shí)收集的汽車1的對(duì)應(yīng)的位置和定向數(shù)據(jù)用于uP的適宜的存儲(chǔ)器中。
這些圖片包含關(guān)于道路信息的信息，例如，道路的中心、路面邊緣及道路寬度。
圖2顯示哪些位置信號(hào)可從圖1中所示的三個(gè)測(cè)量單元GPS、 DMI及IMU獲得。
圖2顯示微處理器uP經(jīng)布置以計(jì)算6個(gè)不同參數(shù)，亦即，相對(duì)于預(yù)定坐標(biāo)系統(tǒng)中的
原點(diǎn)的3個(gè)距離參數(shù)x、 y、 z;以及3個(gè)角參數(shù)"x、 "y及"z，其分別表示分別圍繞x
軸、y軸及z軸的旋轉(zhuǎn)。z方向與重力矢量的方向一致。
汽車l中的微處理器及存儲(chǔ)器9可實(shí)施為計(jì)算機(jī)布置。圖14中顯示此計(jì)算機(jī)布
置的實(shí)例。
圖3顯示根據(jù)本發(fā)明產(chǎn)生道路信息的過程的實(shí)例性實(shí)施方案的框圖。所述過程通 過借助如圖1中所示的移動(dòng)測(cè)繪車輛俘獲具有相關(guān)聯(lián)的位置和定向數(shù)據(jù)的源圖像序列 且將所俘獲的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)媒體上而以MMS (移動(dòng)測(cè)繪系統(tǒng))對(duì)話31開始。在過 程塊32中，處理所俘獲的數(shù)據(jù)以針對(duì)具有相關(guān)聯(lián)的位置和定向數(shù)據(jù)的每一源圖像產(chǎn)生 經(jīng)正射校正的圖像塊。所述相關(guān)聯(lián)的位置和定向數(shù)據(jù)包含可從GPS、 DMI及IMU獲 得的位置信號(hào)以及相應(yīng)相機(jī)相對(duì)于汽車的位置和定向的位置和定向。下文將更詳細(xì)地 描述經(jīng)正射校正的圖像塊從源圖像的產(chǎn)生。所述位置和定向數(shù)據(jù)使得我們能夠疊加兩 個(gè)連續(xù)圖像，包括路面中表示具有相同地理位置的相同地理區(qū)域的相似部分。此外， 從所俘獲的數(shù)據(jù)中的位置和定向數(shù)據(jù)，可確定汽車的軌跡線。
使用這些經(jīng)正射校正的圖像塊來檢測(cè)對(duì)應(yīng)于路面上的移動(dòng)對(duì)象的像素且導(dǎo)出道 路色彩樣本。塊33表示檢測(cè)移動(dòng)對(duì)象的像素的過程，且塊34表示用于導(dǎo)出道路色彩 樣本的過程。對(duì)相同圖像同時(shí)執(zhí)行兩個(gè)過程。因此，塊33針對(duì)第n個(gè)圖像產(chǎn)生經(jīng)正射
10校正的二進(jìn)制第n個(gè)圖像，其中針對(duì)每一像素指示所述像素是對(duì)應(yīng)于固定對(duì)象還是移 動(dòng)對(duì)象，且塊34針對(duì)第n個(gè)圖像產(chǎn)生相關(guān)聯(lián)的道路色彩樣本。道路色彩樣本為具有已 辨識(shí)為一個(gè)或一個(gè)以上連續(xù)源圖像中的路面的色彩的值的色彩值的集合，例如，基于 相機(jī)相對(duì)于移動(dòng)測(cè)繪車輛的行駛方向的定向的第n個(gè)圖像的像素值應(yīng)表示在正常條件 下的路面。例如，從來自所述圖像中的多邊形的像素提取道路色彩樣本，其中所述多 邊形的區(qū)域?qū)?yīng)于車輛將行駛于其上的路面。
在塊35中，使用第n個(gè)源圖像的道路色彩樣本來選擇所述第n個(gè)源圖像中具有 包含于所述道路色彩樣本中的色彩的所有像素。隨后，將把所述第n個(gè)圖像中已識(shí)別 為對(duì)應(yīng)于移動(dòng)對(duì)象的像素標(biāo)記為非固定像素。塊35的結(jié)果為針對(duì)每一像素指示所述第 n個(gè)圖像中相關(guān)聯(lián)的像素是否對(duì)應(yīng)于路面且是否對(duì)應(yīng)于移動(dòng)對(duì)象的二進(jìn)制經(jīng)正射校正 的圖像。
在塊36中，從所述二進(jìn)制經(jīng)正射校正的圖像確定左側(cè)及右側(cè)或道路位置。下文 將更詳細(xì)地描述用以確定道路的左側(cè)及右側(cè)的算法。使用所確定的位置來導(dǎo)出所述第 n個(gè)圖像中所示的路面的中心的位置及所述路面的寬度。借助與所述第n個(gè)源圖像相 關(guān)聯(lián)的位置和定向數(shù)據(jù)，可計(jì)算道路的中心的對(duì)應(yīng)的地理位置。
此外，在塊36中，使用所述二進(jìn)制經(jīng)正射校正的圖像來檢測(cè)、識(shí)別并抽取描述 車道標(biāo)記及其它所涂繪道路標(biāo)記的道路信息。如果從僅表示路面的背景色彩的像素獲 得道路色彩樣本，那么將不把對(duì)應(yīng)于道路涂料的像素指派為路面像素。所述道路涂料 將被看作二進(jìn)制圖像中的孔。可通過分析這些孔及其對(duì)應(yīng)的位置和定向來識(shí)別道路信 息，例如，車道分隔帶、中斷線、實(shí)心車道線、虛線及其它規(guī)格化的道路標(biāo)記。確定 孔的形狀及大小且使其與車道標(biāo)記及其它規(guī)格化的道路涂料的已知特性匹配。在實(shí)施 例中，針對(duì)每一孔產(chǎn)生多邊形。使用所述多邊形來識(shí)別對(duì)應(yīng)的道路涂料。通過識(shí)別圖 像中道路的車道分隔帶，可導(dǎo)出車道的總數(shù)目?？上鄬?duì)于路邊、道路的中心線及鄰近 道路標(biāo)記的位置驗(yàn)證所匹配孔的位置和定向以減小錯(cuò)誤檢測(cè)的道路信息項(xiàng)目的數(shù)目。 此外，可使用孔內(nèi)像素的色彩值來分析所述孔以進(jìn)一步減小有誤差的檢測(cè)。
在塊37中，將道路的所計(jì)算的中心及道路寬度以及其它道路信息項(xiàng)目存儲(chǔ)為供 在數(shù)字地圖數(shù)據(jù)庫(kù)中使用的數(shù)據(jù)庫(kù)中的屬性。此數(shù)字地圖數(shù)據(jù)庫(kù)可在導(dǎo)航應(yīng)用(例如， 導(dǎo)航系統(tǒng)及類似系統(tǒng))中使用，以在顯示器上顯示表示用戶正在上面行駛的道路的透 視圖或俯視圖或使用與方向指引或安全應(yīng)用有關(guān)的信息?，F(xiàn)將更詳細(xì)地揭示圖3中所 示的相應(yīng)塊。
圖4顯示在塊32中執(zhí)行的將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊的一般原理的側(cè) 視圖。相機(jī)或CCD相機(jī)202 (圖2中所示)中的圖像傳感器IOI記錄源圖像序列。所 述源圖像表示由如圖1中所示安裝于汽車上的基于陸地的相機(jī)9(i)記錄的更多或更少 垂直圖像。所述源圖像可為借助靜止圖片相機(jī)記錄的靜止圖片序列，所述相機(jī)在例如 8米的每一位移被觸發(fā)。包括所述圖像傳感器的相機(jī)具有視角a 。所述視角a由所述 相機(jī)的透鏡的焦距102確定。所述視角a可在45。
< a < 180°的范圍中。此外，
11所述相機(jī)具有視軸(looking axis) 103，其處于視角的中心。在圖1中，視軸103平行 于水平平面104。圖像傳感器101垂直于視軸103安裝。在此情況中，圖像傳感器101 記錄"純"垂直源圖像。如果進(jìn)一步已知所述圖像傳感器相對(duì)于水平平面(例如，地 球表面)的高度，那么由圖像傳感器101記錄的圖像可變換為表示水平平面的俯視圖 的經(jīng)縮放版本的經(jīng)正射校正的圖像塊。為在水平方向上獲得具有適宜分辨率的水平線 圖像，使用所述圖像傳感器的有限區(qū)域。圖4顯示圖像傳感器101的對(duì)應(yīng)于水平平面 中的部分108的部分106。所述經(jīng)正射校正的圖像塊的最小可接受分辨率確定所述圖 像傳感器與水平平面中的最遠(yuǎn)點(diǎn)之間的最大距離。借助三角法，從所述基于陸地的相 機(jī)檢索的源圖像可轉(zhuǎn)換為任一虛平面。即使所述視軸相對(duì)于水平平面以一已知角度成 角度，也可從源圖像獲得經(jīng)正射校正的圖像塊。
圖5顯示將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊200的一般原理的俯視圖。相機(jī)202 的視軸103、 218的視角及定向確定水平平面的由圖像傳感器101記錄的部分。經(jīng)正射 校正的圖像塊200的邊沿由參考編號(hào)224指示。在圖5中，相機(jī)202的視軸218與道 路的具有車道標(biāo)記的方向中心軸一致。屬性集合及導(dǎo)航系統(tǒng)及類似系統(tǒng)所需的精確度 需要所述經(jīng)正射校正的圖像塊的預(yù)界定最小分辨率。這些要求限制水平平面的可從源 圖像獲得的部分。相機(jī)焦點(diǎn)208相對(duì)于水平平面的位置與水平平面的區(qū)域的邊界之間 的最大距離206確定所述最小分辨率。此外，實(shí)際上，最大距離206可受到兩個(gè)汽車 當(dāng)行駛于特定道路上時(shí)其之間的最小距離的限制。因此，通過限制最大距離，在大多 數(shù)情況中具有如下優(yōu)點(diǎn)經(jīng)正射校正的圖像塊中的路面不包括行駛于移動(dòng)測(cè)繪車輛前 方的汽車的后面。此外，最大距離206與最小距離204之間的差確定相機(jī)的后續(xù)圖像 記錄之間的最大可允許距離。此可限制車輛的最大行駛速度。水平平面的矩形對(duì)應(yīng)于 源圖像中近似具有梯形形式的區(qū)域。從圖5可見，所述最小距離及所述視角確定經(jīng)正 射校正的圖像塊200是否包括在源圖像中不具有對(duì)應(yīng)的區(qū)域的小區(qū)域210。經(jīng)正射校 正的圖像塊200為虛線正方形且小區(qū)域210為在接近由200所指示的虛線正方形的角 落處切出的小三角形。
在實(shí)施例中，經(jīng)正射校正的圖像塊200對(duì)應(yīng)于具有16m寬度220及16m長(zhǎng)度222 的區(qū)域。在每8米俘獲圖像的情況中，可在兩個(gè)連續(xù)圖像中看見99%的路面。對(duì)于所 述經(jīng)正射校正的圖像塊的進(jìn)一步處理，具有呈矩形形式的經(jīng)正射校正的圖像塊是有利 的。將給予所述經(jīng)正射校正的圖像塊的在源圖像中不具有相關(guān)聯(lián)的像素的像素預(yù)界定 色彩值。預(yù)界定色彩值的實(shí)例為對(duì)應(yīng)于現(xiàn)有路面色彩的色彩或在源圖像中通常將不存 在或幾乎不存在的值。此減少所述經(jīng)正射校正的圖像塊的進(jìn)一步處理中誤差的可能性。
在轉(zhuǎn)換源圖像以針對(duì)每一像素216 (離視軸具有距離214且離焦點(diǎn)208具有距離 204)獲得經(jīng)正射校正的圖像塊的實(shí)施例中，借助三角法確定源圖像中的對(duì)應(yīng)的位置， 在未公開的專利申請(qǐng)案PCT/NL2006/050252中更詳細(xì)地描述三角法，所述專利申請(qǐng)案 以參考方式同此并入。應(yīng)注意，當(dāng)將源圖像轉(zhuǎn)換為經(jīng)正射校正的圖像時(shí)，分辨率(每 一像素表示的物理大小)改變(變得較大)。通過對(duì)源圖像中相關(guān)聯(lián)的像素的色彩值
12求平均值以獲得所述經(jīng)正射校正的圖像的像素的色彩值來完成大小增加。所述求平均 值具有使路面色彩樣本成群且減少所述過程內(nèi)的噪聲的效應(yīng)。
在一個(gè)實(shí)施例中，圖6在上側(cè)顯示立體圖像對(duì)。在下側(cè)顯示兩個(gè)對(duì)應(yīng)的所轉(zhuǎn)換的 經(jīng)正射校正的圖像塊?？赏ㄟ^首先借助三角法或三角測(cè)量確定源圖像中的對(duì)應(yīng)的位置 且其次復(fù)制源圖像中最近像素的值來導(dǎo)出所述經(jīng)正射校正的圖像塊中像素的值。還可
通過在四個(gè)或9個(gè)最近像素之間插值獲得所述值。虛線302及304指示源圖像的用于 獲得經(jīng)正射校正的圖像塊的區(qū)域。在優(yōu)選實(shí)施例中，所述經(jīng)正射校正的圖像塊為矩形。 使用立體相機(jī)將導(dǎo)致產(chǎn)生具有相對(duì)大重疊區(qū)域的兩個(gè)經(jīng)正射校正的圖像塊序列。圖7 顯示通過疊加圖6中的兩個(gè)經(jīng)正射校正的圖像塊獲得的經(jīng)正射校正的鑲嵌圖。所述疊 加可基于相應(yīng)經(jīng)正射校正的圖像塊的地理位置。從位置確定函數(shù)導(dǎo)出每一經(jīng)正射校正 的圖像塊的地理位置，所述位置確定函數(shù)包含來自移動(dòng)車輛的GPS位置、移動(dòng)車輛的 行駛方向或定向、移動(dòng)車輛上相機(jī)的位置及移動(dòng)車輛上相機(jī)的定向。將為導(dǎo)出經(jīng)正射 校正的圖像塊的地理位置的這些參數(shù)存儲(chǔ)為與源圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)。分別 從圖6中的左經(jīng)正射校正的圖像塊及右經(jīng)正射校正的圖像塊獲得經(jīng)正射校正的鑲嵌圖 的左區(qū)域402及右區(qū)域406。從左經(jīng)正射校正的圖像塊或右經(jīng)正射校正的圖像塊的對(duì) 應(yīng)的區(qū)域獲得經(jīng)正射校正的鑲嵌圖的中間區(qū)域404。在前方使用一立體相機(jī)或兩個(gè)相 機(jī)的優(yōu)點(diǎn)是，可獲得較大/較寬廣的經(jīng)正射校正的鑲嵌圖，因?yàn)閮蓚€(gè)相機(jī)可在比僅一個(gè) 所述相機(jī)更大的角度上記錄圖像。相似地，結(jié)合側(cè)面查看相機(jī)使用前方査看相機(jī)使得 我們能夠從極寬廣的道路或具有人行道的街道獲得精確的經(jīng)正射校正的鑲嵌圖。以此 方式，可產(chǎn)生以其全寬度表示路面的經(jīng)正射校正的圖像。
在塊34中，從經(jīng)正射校正的圖像獲得道路色彩樣本以檢測(cè)所述經(jīng)正射校正的圖 像中的路面。圖8顯示用于獲得道路色彩樣本的區(qū)域的實(shí)例。汽車行駛于道路800上。 箭頭804識(shí)別汽車的行駛方向。以806指示的區(qū)域?yàn)槁愤?。?dāng)汽車行駛于道路上時(shí)， 我們可假設(shè)在汽車正前面必須僅為道路。然而，路面的像素不具有一種色彩而具有來 自所謂的色空間的色彩。在每一經(jīng)正射校正的圖像中，界定通常包括表示路面的像素 的預(yù)界定區(qū)域802。預(yù)界定區(qū)域802可呈矩形形式，其表示移動(dòng)測(cè)繪車輛前方的車道 中距5-ll米的區(qū)域中的像素。優(yōu)選地，所述預(yù)界定區(qū)域包含所述車輛的軌跡線且足夠 窄以便從車道標(biāo)記排除含有色彩的像素且僅包含表示路面的背景色彩的像素。使用來 自預(yù)界定區(qū)域802中的像素的色彩來產(chǎn)生道路色彩樣本。使用所述道路色彩樣本來確 定像素是否可能是路面。如果像素具有所述經(jīng)正射校正的圖像的所述道路色彩樣本中 存在的色彩值，那么所述像素可能是路面?？勺罱訌挠涗浺苿?dòng)測(cè)繪車輛前方的道路的 圖像(例如，來自立體相機(jī)的圖像對(duì)的圖像中的一者)獲得所述道路色彩樣本，因?yàn)?這些圖像包含所述車輛的軌跡線且所述軌跡線通常在路面上?？蓮囊粋€(gè)圖像提取道路 色彩樣本以檢測(cè)所述圖像中的路面。工程師可找到許多方式來獲得色彩樣本且可對(duì)許 多參數(shù)求平均值。在另一實(shí)施例中，可從多于一個(gè)連續(xù)圖像提取道路色彩樣本。還可 每n個(gè)圖像地確定道路色彩樣本且可將所述道路色彩樣本用于第n個(gè)圖像及(n-l)個(gè)連
13續(xù)圖像。有規(guī)則地獲得道路色彩樣本很重要，因?yàn)槁访娴纳试诤艽蟪潭壬先Q于道 路的照明條件及燈強(qiáng)度。在陰影中的路面經(jīng)具有與在直接陽(yáng)光中的路面明顯不同的道 路色彩樣本。因此，如果足夠處理能力可用于每一經(jīng)正射校正的圖像，那么應(yīng)確定對(duì) 應(yīng)的道路色彩樣本且將所述道路色彩樣本用于檢測(cè)所述圖像中的路面。此外，可組合 來自數(shù)個(gè)圖像的道路色彩樣本以實(shí)現(xiàn)對(duì)不想要的暫時(shí)樣本的過濾。
所述道路色彩樣本可受到移動(dòng)車輛前方的移動(dòng)對(duì)象的色彩的污染。因此，視情況， 可從所述道路色彩樣本排除塊33中檢測(cè)為移動(dòng)對(duì)象像素的像素的色彩值。以此方式，
可避免對(duì)所述道路色彩樣本的污染。此選項(xiàng)在圖3中由到塊34的虛線指示。
應(yīng)注意，圖8表示源圖像的經(jīng)正射校正的部分。當(dāng)視軸不平行于車輛的行駛方向 時(shí)，所述部分的輪廓不對(duì)稱(如圖所示)。
為能夠確定道路的寬度及中心，相機(jī)必須俘獲道路的全寬度。通常，當(dāng)汽車正行 駛于所述道路上時(shí)，其與所述汽車前方的車輛之間存在最小距離。此距離可用于確定 預(yù)界定區(qū)域以獲得道路色彩樣本。此外，可假設(shè)一直到所述汽車前方出現(xiàn)汽車，在圖 像中可看不到除路面以外的任何其它情況。然而，在所述道路的其它車道中，移動(dòng)對(duì) 象(例如，汽車、摩托車、有篷貨車)可通過移動(dòng)測(cè)繪車輛。對(duì)應(yīng)于這些移動(dòng)車輛的 像素不應(yīng)分類為路面。
圖3中的塊33檢測(cè)源圖像中移動(dòng)對(duì)象的像素?？稍趦蓚€(gè)連續(xù)經(jīng)正射校正的圖像 中的共用區(qū)域中檢測(cè)移動(dòng)對(duì)象的像素。圖9顯示疊加兩個(gè)后續(xù)圖像的結(jié)果。參考編號(hào) 902及904指示第n個(gè)及第(n+l)個(gè)經(jīng)正射校正的圖像的具有已從第n個(gè)及第(n+l)個(gè)源 圖像導(dǎo)出的像素的部分的邊界。箭頭908指示移動(dòng)測(cè)繪車輛的行駛方向。假設(shè)所述第 n個(gè)及第(n+l)個(gè)經(jīng)正射校正的圖像在行駛方向上包括16米的道路且所述第(n+l)個(gè)圖像 是在移動(dòng)測(cè)繪車輛在俘獲第n個(gè)圖像后在8米的位移后拍攝。在那一情況中，在車輛 的行駛方向上存在為8米的共用平面906。與對(duì)應(yīng)于第(n+l)個(gè)圖像的共用平面的像素 相比，對(duì)應(yīng)于第n個(gè)圖像的共用平面906的像素對(duì)應(yīng)于另一時(shí)刻。移動(dòng)對(duì)象在第n個(gè) 及第(n+l)個(gè)圖像中將具有不同位置，而固定對(duì)象將不在共用平面906中移動(dòng)?？赏ㄟ^ 確定在共用平面906中具有等效位置的像素之間的色彩距離來找到移動(dòng)對(duì)象的像素。
共用平面906中第n個(gè)圖像的像素由rn、 gn、 bv表示，其中r、 g及b對(duì)應(yīng)于像素 的紅色、綠色及藍(lán)色色彩值。共用平面906中處于相同位置處的第(n+l)個(gè)圖像的像素 由rn+1、 gn+1、 K+i表示。在范例實(shí)施例中，在共用平面中具有相同位置的所述像素的
色彩由以下方程式確定 j. +G +
3
其中-
14如果dist〉thr2，其中thr為自適應(yīng)閾值，那么所述像素表示移動(dòng)對(duì)象，否則所述 像素表示固定的某事物。在實(shí)施例中，所述閾值在經(jīng)典RGB空間中為102 - 152的距離。 另一方法是使用相對(duì)于光譜特性(例如，像素的平均色彩)的距離。工程師可找到許 多其它方式來確定像素是表示移動(dòng)對(duì)象還是表示固定的某事物。
應(yīng)注意，替代RGB空間，在本發(fā)明中可使用其它色空間。色空間的實(shí)例為絕對(duì) 色空間、LUV色空間、C正LAB、 C正XYZ、 Adobe RGB及sRGB。這些相應(yīng)色空間中 的每一者具有其特定優(yōu)點(diǎn)及缺點(diǎn)。
圖10顯示在執(zhí)行對(duì)對(duì)應(yīng)于第n個(gè)及第(n+l)個(gè)經(jīng)正射校正的圖像1002、 1004的共 用平面1006的像素上的移動(dòng)對(duì)象的像素的檢測(cè)后的實(shí)例性結(jié)果。所述結(jié)果為二進(jìn)制圖 像，其中白色像素與固定對(duì)象相關(guān)聯(lián)，且黑色像素與移動(dòng)對(duì)象相關(guān)聯(lián)。移動(dòng)對(duì)象為在 第n個(gè)及第(n+l)個(gè)源圖像中具有不同地理位置的對(duì)象。在第n個(gè)及第(n+l)個(gè)經(jīng)正射校 正的圖像1002、 1004的共用平面1006中檢測(cè)所述移動(dòng)，且如果所述共用平面中的像 素具有大于兩個(gè)連續(xù)圖像之間的閾值量的色移，那么所述像素與移動(dòng)對(duì)象相關(guān)聯(lián)。圖 10中的移動(dòng)對(duì)象1010可為行駛于另一車道上的車輛。箭頭1008指示攜載相機(jī)的車輛 的行駛方向。
使用與由塊34產(chǎn)生的第n個(gè)圖像相關(guān)聯(lián)的道路色彩樣本來檢測(cè)表示所述第n個(gè) 圖像中的路面的像素且產(chǎn)生路面圖像。針對(duì)所述第n個(gè)圖像的共用平面906中的每一 像素，進(jìn)行檢査以看所述像素的色彩值是否處于道路色彩樣本中或在距所述道路色彩 樣本中的任一色彩或來自所述道路色彩樣本的一個(gè)或一個(gè)以上特性(例如，道路色彩 樣本的平均色彩或色譜)的預(yù)定距離內(nèi)。如果是這樣，那么路面圖像中的對(duì)應(yīng)的像素 將被分類為路面像素。應(yīng)注意，通過處理源圖像中多于一個(gè)像素的值獲得經(jīng)正射校正 的圖像中的像素。此減少道路色彩樣本的色彩光譜中的噪聲，且因此改善路面像素選 擇及識(shí)別的質(zhì)量。此外，應(yīng)注意，可使用文理分析及段生長(zhǎng)或區(qū)生長(zhǎng)算法來從經(jīng)正射 校正的圖像選擇路面像素。使用與由塊33產(chǎn)生的指示像素是固定像素還是對(duì)應(yīng)于移動(dòng) 對(duì)象的第n個(gè)圖像相關(guān)聯(lián)的二進(jìn)制圖像來給路面圖像中的每一圖像指派對(duì)應(yīng)的參數(shù)。 使用路面圖像的這兩個(gè)性質(zhì)來選擇道路邊緣像素且產(chǎn)生道路邊緣圖像。首先，針對(duì)所 述路面圖像中的每一行，選擇、識(shí)別最左及最右像素且將其存儲(chǔ)為道路邊緣像素的一 部分以供進(jìn)一步處理。應(yīng)注意，可使用其它算法來選擇道路邊緣像素，例如，選擇路 面中形成最左及最右毗鄰像素鏈的像素。其次，針對(duì)每一道路邊緣像素，驗(yàn)證其位置 是否靠近對(duì)應(yīng)于移動(dòng)對(duì)象的像素。如果道路邊緣像素靠近移動(dòng)對(duì)象像素，那么可將所 述像素標(biāo)記為可疑像素或可將其從二進(jìn)制圖像中的道路邊緣像素排除。如果道路邊緣 像素與最近移動(dòng)對(duì)象像素之間的距離小于三個(gè)像素，那么將所述道路邊緣像素視為靠 近于移動(dòng)對(duì)象像素。在實(shí)施例中，當(dāng)路面中的對(duì)應(yīng)的被標(biāo)記為移動(dòng)對(duì)象像素時(shí)，將道 路邊緣像素標(biāo)記為可疑像素或?qū)⑵渑懦??？墒褂盟隹梢芍甘緛泶_定其是否仍可能以
15預(yù)定可靠性來自動(dòng)地導(dǎo)出對(duì)應(yīng)于源圖像的道路邊緣的位置。如果存在太多可疑道路邊 緣像素，那么所述方法可經(jīng)布置以提供源圖像從而使得人類能夠在所述源圖像或經(jīng)正 射校正的源圖像中指示左道路邊緣及/或右道路邊緣的位置。因此獲得的位置存儲(chǔ)在數(shù) 據(jù)庫(kù)中以供進(jìn)一步處理。因此，如果由塊33產(chǎn)生的二進(jìn)制圖像指示共用平面中的像素 為固定像素且經(jīng)正射校正的圖像中相關(guān)聯(lián)的像素的色彩為來自道路色彩樣本的色彩， 那么將所述像素分類為道路邊緣像素。將任一不滿足此要求的像素分類為道路邊緣像 素。當(dāng)顯形路面圖像且從路面像素排除對(duì)應(yīng)于移動(dòng)對(duì)象的像素時(shí)，將把移動(dòng)對(duì)象看作 路面中的孔或路面的側(cè)處的切口 。
圖11顯示路面圖像1100的理想化實(shí)例，其包括路面1102、左道路邊緣及右道路 邊緣1104、 1106以及沿道路1108的草地邊沿。此外，圖11顯示路面圖像1100、車 輛1110的行駛方向以及道路的所計(jì)算的左側(cè)及右側(cè)1112、 1114上的上覆圖。路面1102 的邊緣1104、 1106不平滑，因?yàn)榭拷愤叺穆访娴纳士刹煌诘缆飞蕵颖?。例如?路邊可覆蓋有灰塵。此外，道路色彩可因陰影而出現(xiàn)偏離。因此，這些邊緣為鋸齒狀。 在塊36中，首先將確定路面圖像中的邊緣像素。邊緣像素為垂直于行駛方向的線1116 上的極端路面像素。以此方式，路面內(nèi)部中的孔因移動(dòng)對(duì)象或其它噪聲而將不導(dǎo)致對(duì) 道路邊緣的虛假檢測(cè)。應(yīng)注意，在圖11中，道路邊緣1104及1106由連續(xù)線表示。實(shí) 際上，因(例如)移動(dòng)對(duì)象，道路邊緣可不連續(xù)，因?yàn)榭膳懦龢?biāo)記為可疑像素的道路 邊緣像素。
其次，將邊緣點(diǎn)擬合為直線。下文所述的算法是基于道路的邊緣大致平行于車輛 的行駛方向的假設(shè)。使用平行于行駛方向的條紋或窗來獲得對(duì)路面圖像中的路面的左 側(cè)及右側(cè)的位置的粗略估計(jì)。所述條紋具有預(yù)界定寬度。將所述條紋從左側(cè)移動(dòng)到右 側(cè)且針對(duì)所述條紋的每一可能位置確定落在所述條紋內(nèi)的道路邊緣像素的數(shù)目?？梢?條形圖表示每一位置的道路邊緣像素的數(shù)目。圖12顯示可在上述方法像圖11 一樣應(yīng) 用于路面圖像以確定路邊的位置時(shí)獲得的條形圖。垂直軸1202指示落在所述條紋內(nèi)的 道路邊緣像素的數(shù)目，且水平軸1204指示所述條紋的位置。將形成頂部或在局部具有 最大數(shù)目的像素的位置視為粗略地指示路邊的位置。所述位置為粗略位置，因?yàn)槁愤?的確切位置在所述條紋內(nèi)?？赏ㄟ^將落在所述條紋中的邊緣像素?cái)M合為平行于行駛方 向的直線來確定路邊的位置。例如，可使用眾所周知的線性最小二乘法擬合技術(shù)來找 到平行于行駛方向通過邊緣像素的最佳擬合直線。還已發(fā)現(xiàn)多邊形骨架算法及穩(wěn)健線 性回歸算法(例如，基于中值的線性回歸)極適于確定道路邊緣的位置、道路寬度及 中心線。因?yàn)橐阎?jīng)正射校正的圖像的地理位置，所以可極容易地計(jì)算因此找到的直 線的地理位置。以相似方式，可確定右路邊的位置。應(yīng)注意，可將邊緣像素應(yīng)用于任 一線擬合算法從而替代直的道路邊緣獲得曲線狀路邊。此將增加處理源圖像所需的處 理能力，但可有益于道路的彎曲。將所確定的道路邊緣及中心線存儲(chǔ)為一組參數(shù)，所 述參數(shù)包含端點(diǎn)及形狀點(diǎn)的位置中的至少一者。所述組參數(shù)可包括用于表示的多項(xiàng)式 的系數(shù)的參數(shù)，所述多項(xiàng)式表示對(duì)應(yīng)的線。
16用于確定上文所界定的路邊的位置的算法可用于任一經(jīng)正射校正的圖像上，其中 已知車輛相對(duì)于所述圖像的定向的行駛方向。所述行駛方向及定向允許我們精確地確
定所述圖像內(nèi)當(dāng)車輛行駛于直的道路或甚至彎曲道路上時(shí)對(duì)應(yīng)于所述車輛的軌跡線的 區(qū)域?？墒褂么藚^(qū)域來獲得道路色彩樣本。因?yàn)樗鲕壽E線通?？缭铰访妫钥勺?動(dòng)地獲得所述道路色彩樣本，而不執(zhí)行專門圖像分析算法來確定圖像的哪一區(qū)域可表 示路面。
在有利實(shí)施例中，塊32經(jīng)布置以產(chǎn)生經(jīng)正射校正的圖像，其中所述經(jīng)正射校正
的圖像的像素的列與車輛的行駛方向相對(duì)應(yīng)。在此情況中，可極容易地確定路邊的位
置。如上文中所揭示的條紋中邊緣像素的數(shù)目對(duì)應(yīng)于x個(gè)毗鄰列中邊緣像素的和，其 中x為列數(shù)目且對(duì)應(yīng)于所述條紋的寬度。優(yōu)選地，所述條紋的位置對(duì)應(yīng)于形成所述條 紋的列的中間列的位置。在實(shí)施例中，所述條紋的寬度對(duì)應(yīng)于為1.5米的寬度。
用于確定路邊的位置的算法可包括如下動(dòng)作
-針對(duì)每一列像素，對(duì)邊緣像素的數(shù)目進(jìn)行計(jì)數(shù)；
-針對(duì)每一列位置，合計(jì)X個(gè)毗鄰列的邊緣像素的數(shù)目；
-確定在這X個(gè)毗鄰列的所合計(jì)邊緣像素的數(shù)目中具有局部最大值的列的位置； -確定對(duì)應(yīng)于與先前所確定的位置相關(guān)聯(lián)的則X個(gè)毗鄰列的邊緣像素的平均值 (列)位置。
所有這些動(dòng)作可以簡(jiǎn)單操作執(zhí)行，例如計(jì)數(shù)、加法、比較及求平均數(shù)。經(jīng)正射校 正的圖像的左部中的局部最大值與左路邊相關(guān)聯(lián)，且經(jīng)正射校正的圖像的右部中的局 部最大值與右路邊相關(guān)聯(lián)。
在已確定了對(duì)應(yīng)于左路邊及右路邊的直線的位置后，可通過計(jì)算左路邊及右路邊 的平均位置來確定道路的中心?？蓪⒌缆返闹行拇鎯?chǔ)為以(例如)端點(diǎn)的具有瑋度及 經(jīng)度的坐標(biāo)表征的一組參數(shù)?？赏ㄟ^計(jì)算左路邊與右路邊的位置之間的距離來確定道 路的寬度。圖13顯示經(jīng)正射校正的圖像1302的實(shí)例。道路的右所檢測(cè)邊緣、道路的 左所檢測(cè)邊緣及道路的所計(jì)算的中心線疊加于所述圖像上。
應(yīng)注意，上述方法使用色彩信息及對(duì)與移動(dòng)對(duì)象相關(guān)聯(lián)的像素的檢測(cè)兩者。應(yīng)注 意，所述方法還在無對(duì)所述像素的檢測(cè)的情況中很好地執(zhí)行。在那一情況中，每次僅 使用一個(gè)源圖像來產(chǎn)生供在地圖數(shù)據(jù)庫(kù)中使用的道路信息。
圖15a、 15b及15c顯示從由如圖1中所示的MMS系統(tǒng)獲得的圖像序列提取的三 個(gè)源圖像的實(shí)例。已通過以規(guī)則間隔拍攝圖像獲得了所述圖像序列。以此方式，產(chǎn)生 具有預(yù)界定幀速率(例如，30幀/秒或25幀/秒)的圖像序列。圖15a到15c中所示的 三個(gè)源圖像不是所述圖像序列的后續(xù)圖像。借助高精確度定位裝置，針對(duì)每一圖像， 可精確地確定相機(jī)位置和定向。借助未公開的專利申請(qǐng)案PCT/NL2006/050252中所述 的方法，透視像轉(zhuǎn)換為經(jīng)正射校正的圖像，其中針對(duì)每一像素，可從位置和定向 數(shù)據(jù)導(dǎo)出對(duì)應(yīng)的地理位置。與每一經(jīng)正射校正的圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)使得能 夠從所述經(jīng)正射校正的圖像產(chǎn)生經(jīng)正射校正的鑲嵌圖。
17圖16顯示從對(duì)應(yīng)于圖15a到15c中所示的三個(gè)源圖像的圖像序列以及插入圖像獲 得的路面的經(jīng)正射校正的鑲嵌圖。在所述經(jīng)正射校正的鑲嵌圖中，指示對(duì)應(yīng)于這三個(gè) 圖像的區(qū)域。由151a、 152a及153a所指示的區(qū)域分別對(duì)應(yīng)于圖15a、 15b及15c中所 示的源圖像的經(jīng)正射校正的部分。由151b、 152b及153b指示的區(qū)域分別對(duì)應(yīng)于可已 通過圖15a、 15b及15c中所示的源圖像的對(duì)應(yīng)的部分的正射校正獲得的區(qū)域，但其不 用于經(jīng)正射校正的鑲嵌圖中，因?yàn)槔^圖15a -15c中所示的源圖像之后的圖像提供相同 區(qū)域但具有較高分辨率及所述汽車前方的汽車正遮擋對(duì)路面的觀察的較少機(jī)會(huì)，因?yàn)?位置相機(jī)與路面之間的距離較短。再次出于相同原因，也不使用最遠(yuǎn)部分151b、 152b 及153b但替代使用后續(xù)圖像(未指示于圖16中)。可見，僅源圖像的小區(qū)域用于經(jīng) 正射校正的鑲嵌圖中。所使用的區(qū)域?qū)?yīng)于從距MMS系統(tǒng)的預(yù)界定距離一直到與 MMS系統(tǒng)在對(duì)應(yīng)于幀速率的隨后時(shí)間間隔期間的行進(jìn)速度相關(guān)的距離的路面。源圖 像的所使用的區(qū)域?qū)㈦S著行進(jìn)速度的增加而增加。在圖16中進(jìn)一步指示所述MMS系 統(tǒng)的軌跡線160。相機(jī)位置與由源圖像的像素表示的路面之間的最大距離優(yōu)選小于正 行駛于道路上的兩個(gè)汽車之間的最小距離。如果情況如此，那么可產(chǎn)生道路區(qū)段的路 面的經(jīng)正射校正的鑲嵌圖，其因正行駛于所述MMS系統(tǒng)前方的車輛而不顯示失真。
此外，從圖16可容易地看出，路面的每一部分俘獲于至少兩個(gè)圖像中?？煽闯?由151b、 152b及153b指示的區(qū)域的部分還將由從圖15a到15c中所示的圖像獲得的 經(jīng)正射校正的圖像覆蓋。未顯示但可容易推斷出，區(qū)域151b、 152b及153b的部分為 來自繼圖15a到15c中所示的圖像之后的圖像的經(jīng)正射校正的部分。然而在圖15a到 15c中所示的圖像序列的圖像中，汽車為可見，那些汽車在經(jīng)正射校正的鑲嵌圖中不 再可見。應(yīng)注意，區(qū)域151a顯示汽車的底架在正前方的暗組件。因?yàn)榍笆鰣D像中的對(duì) 應(yīng)的地理區(qū)域顯示除所述暗組件之外的組件，所以對(duì)應(yīng)于所述暗組件的所述像素將標(biāo) 記為移動(dòng)對(duì)象像素且將從道路色彩樣本排除。
使用上述方法來產(chǎn)生表示路面色彩的道路色彩樣本。從圖15中所示的源圖像及 圖16中所示的經(jīng)正射校正的鑲嵌圖可見路面不具有均勻色彩。使用所述經(jīng)正射校正的 鑲嵌圖來確定道路信息，例如，道路寬度、車道寬度。上文揭示怎樣將道路色彩樣本 用于確定哪些像素對(duì)應(yīng)于路面且所述像素中的哪些不對(duì)應(yīng)于路面。此外，上文描述可 怎樣針對(duì)每一像素確定其是固定像素還是移動(dòng)對(duì)象像素。還使用這些方法來確定適于
在經(jīng)正射校正的鑲嵌圖中確定對(duì)應(yīng)于路面的像素的道路色彩樣本?？蓮呐c一個(gè)源圖像 中表示其上安裝相機(jī)的移動(dòng)車輛前方的路面的預(yù)界定區(qū)域相關(guān)聯(lián)的像素確定道路色彩 樣本。然而，如果所述預(yù)界定區(qū)域中的路面不包括陰影，那么所述道路色彩樣本將不 把對(duì)應(yīng)于有陰影的路面的像素指派給將針對(duì)經(jīng)正射校正的鑲嵌圖產(chǎn)生的路面圖像。因
此，在本發(fā)明的實(shí)施例中，從多于一個(gè)連續(xù)圖像確定所述道路色彩樣本。所述道路色 彩樣本可對(duì)應(yīng)于經(jīng)正射校正的圖像中用于解釋經(jīng)正射校正的鑲嵌圖的預(yù)界定區(qū)域中存
在的所有像素值。在另一實(shí)施例中，所述道路色彩樣本對(duì)應(yīng)于經(jīng)正射校正的鑲嵌圖的 預(yù)界定區(qū)域中存在的所有像素值，其中所述預(yù)界定區(qū)域包括跟隨移動(dòng)車輛的軌跡線
18160的條紋中的所有像素。所述軌跡線可在所述條紋的中間，但應(yīng)在所述條紋中的某 處。因此獲得的道路色彩樣本將幾乎包括路面的所有色彩值，從而使得所述應(yīng)用能夠 在經(jīng)正射校正的鑲嵌圖中幾乎正確地檢測(cè)對(duì)應(yīng)于路面的所有像素且獲得可從其確定道 路信息(例如，道路邊緣的位置)的路面圖像。
在實(shí)施例中，已從預(yù)界定區(qū)域中的固定像素確定了道路色彩樣本并移動(dòng)對(duì)象像素 被排除在外。在此實(shí)例中，所述道路色彩樣本僅包括預(yù)定區(qū)域中未被分類為移動(dòng)對(duì)象 像素的像素的色彩值。以此方式，所述道路色彩樣本更好地表示路面的色彩。
圖17顯示圖16的經(jīng)正射校正的鑲嵌圖，其中路面圖像在頂部。區(qū)域170指示未 被分類為路面像素的像素的區(qū)域。分類為路面像素的像素在圖17中為透明。形成區(qū)域 170與圖17中的透明區(qū)域之間的邊界的像素將被指派為道路邊緣像素且用于確定道路 信息，例如道路邊緣及道路中心線的位置。
應(yīng)注意，經(jīng)正射校正的鑲嵌圖為源圖像中表示移動(dòng)車輛前方的預(yù)界定區(qū)域的區(qū)域 的合成物。因此，從所述經(jīng)正射校正的鑲嵌圖產(chǎn)生的路面圖像為源圖像中表示移動(dòng)車 輛前方的預(yù)界定區(qū)域的區(qū)域的合成物。
當(dāng)保證在俘獲圖像序列期間移動(dòng)對(duì)象已存在于移動(dòng)車輛前方的預(yù)界定區(qū)域中時(shí)， 上述方法將適當(dāng)?shù)毓ぷ鳌Ｈ欢?，情況并不總是如此。在圖16中，對(duì)應(yīng)于源圖像2的鑲 嵌圖部分包括陰影。對(duì)應(yīng)于所述陰影的色彩值可導(dǎo)致路面圖像的不適當(dāng)產(chǎn)生。因此， 如上文所述，針對(duì)用于產(chǎn)生所述道路色彩樣本的每一像素確定其是對(duì)應(yīng)于固定像素還 是移動(dòng)對(duì)象像素。
針對(duì)經(jīng)正射校正的鑲嵌圖，將產(chǎn)生對(duì)應(yīng)的圖像(亦即，移動(dòng)對(duì)象圖像)，從而針 對(duì)每一像素識(shí)別所述經(jīng)正射校正的鑲嵌圖中的對(duì)應(yīng)像素是固定像素還是移動(dòng)對(duì)象像
素。接著僅使用跟隨移動(dòng)車輛的軌跡線的條紋中的像素的像素值來獲得道路色彩樣本 并將排除所述條紋中分類為移動(dòng)對(duì)象像素的所有像素。以此方式，僅使用在所述圖像 序列的兩個(gè)后續(xù)圖像中識(shí)別為固定像素的像素的像素值來獲得道路色彩樣本。此將改 善道路色彩樣本的質(zhì)量且因此路面圖像的質(zhì)量。
當(dāng)應(yīng)用上述移動(dòng)對(duì)象檢測(cè)時(shí)，對(duì)應(yīng)于陰影的像素將因在圖像序列的先前圖像中而 被識(shí)別為移動(dòng)對(duì)象像素，經(jīng)正射校正的圖像中的對(duì)應(yīng)的像素將顯示移動(dòng)車輛前方的車 輛，其色彩明顯不同于有陰影的路面。
移動(dòng)對(duì)象圖像可進(jìn)一步用于改善對(duì)應(yīng)于經(jīng)正射校正的鑲嵌圖的路面圖像中道路 邊緣的位置的確定。前文描述一種用于改善的方法。
在大多數(shù)情況中，道路區(qū)段或沿軌跡并不是直的。圖16顯示稍微彎曲道路?？?使用眾所周知的曲線擬合算法來確定路面圖像中道路邊緣的位置且隨后道路邊緣的地 理位置。可從曲線擬合算法道路排除被分類為移動(dòng)對(duì)象像素的道路邊緣像素。
顯示，根據(jù)本發(fā)明的方法可應(yīng)用于經(jīng)正射校正的圖像及經(jīng)正射校正的鑲嵌圖兩者 上。在兩種情況中，從與一個(gè)或一個(gè)以上源圖像中表示移動(dòng)車輛前方的路面的預(yù)界定 區(qū)域相關(guān)聯(lián)的像素確定道路色彩樣本，所述預(yù)界定區(qū)域包含所述移動(dòng)車輛的軌跡線。
19此外，從一個(gè)或一個(gè)以上源圖像依據(jù)道路色彩樣本產(chǎn)生路面圖像，且依據(jù)所述路面圖 像以及與源圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)產(chǎn)生道路信息。
對(duì)于兩種類型的圖像，優(yōu)選地首先針對(duì)每一像素確定其是固定像素還是移動(dòng)對(duì)象 像素。為此，使用兩個(gè)連續(xù)源圖像內(nèi)的共用區(qū)域，其中當(dāng)被投影于相同平面上時(shí)，所 述共用區(qū)域在所述圖像中的每一者中表示路面的相似地理區(qū)域。接著，使用此信息來 僅排除對(duì)應(yīng)于移動(dòng)對(duì)象的像素使其不確定道路色彩樣本且改善用于產(chǎn)生道路信息的方 法。
應(yīng)注意，如果僅使用一個(gè)源圖像來產(chǎn)生道路信息，那么可使用所述源圖像來確定 道路色彩樣本并產(chǎn)生二進(jìn)制路面圖像。從所述二進(jìn)制路面圖像，可檢索道路邊緣像素。 借助道路邊緣像素以及相關(guān)聯(lián)的位置和定向數(shù)據(jù)，可確定平行于行駛方向的最佳線。 可使用將源圖像轉(zhuǎn)換為經(jīng)正射校正的圖像的公式來確定源圖像中平行于行駛方向的 線。
圖18圖解說明根據(jù)本發(fā)明的方法在應(yīng)用于一個(gè)源圖像上時(shí)的實(shí)施例。圖18顯示 彎曲道路180及車輛181的軌跡線。可借助與圖像序列相關(guān)聯(lián)的位置和定向數(shù)據(jù)在圖 像中確定所述車輛的軌跡線。使用軌跡線181來確定所述圖像中表示移動(dòng)車輛前方的 路面的預(yù)界定區(qū)域182。線183指示預(yù)界定區(qū)域182的外部線。區(qū)域182在真實(shí)世界 中為具有預(yù)界定寬度的條紋，其具有平行于車輛181的軌跡線的兩個(gè)側(cè)?？梢妳^(qū)域182 延伸直到所述車輛前方的預(yù)界定距離。使用預(yù)界定區(qū)域182中像素的所有值來獲得道 路色彩樣本。使用所有色彩值來將每一像素分類為路面像素或非路面像素且產(chǎn)生對(duì)應(yīng) 的路面圖像。線184圖解說明對(duì)應(yīng)于路面180的右側(cè)的道路邊緣像素，且線185圖解 說明對(duì)應(yīng)于路面180的左側(cè)的道路邊緣像素。可使用曲線擬合算法來確定道路邊緣的 曲線及中心線曲線，未顯示所述曲線。借助與所述圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)，可 計(jì)算道路邊緣及中心線的坐標(biāo)。
當(dāng)可保證沒有汽車在所述車輛正前方時(shí)，根據(jù)本發(fā)明的方法將僅對(duì)一個(gè)圖像工 作。如果不能保證此，那么可如上文所述通過在后續(xù)圖像中使用預(yù)界定區(qū)域182的一 部分中的共用區(qū)域在所述部分中確定對(duì)應(yīng)于移動(dòng)對(duì)象的像素。
借助上文所述的方法，可確定道路的中心線的絕對(duì)位置。此外，可確定路邊的絕 對(duì)位置及指示所述路邊相對(duì)于中心線的相對(duì)位置的道路寬度。這些所確定的道路信息 存儲(chǔ)在供在地圖數(shù)據(jù)庫(kù)中使用的數(shù)據(jù)庫(kù)中。可使用所述道路信息來在導(dǎo)航系統(tǒng)中產(chǎn)生 路面的更現(xiàn)實(shí)視圖。例如，可顯形道路的變窄。此外，所述數(shù)據(jù)庫(kù)中道路的寬度可極 有益于確定用于可被太窄道路阻礙的例外運(yùn)輸?shù)淖罴崖肪€。
圖14圖解說明可用于實(shí)施執(zhí)行上述方法的道路信息產(chǎn)生器的計(jì)算機(jī)系統(tǒng)的高階 框圖。
圖14的計(jì)算機(jī)系統(tǒng)包含處理器單元1412及主存儲(chǔ)器1414。處理器單元1412可 含有單個(gè)微處理器，或可含有多個(gè)微處理器以供將所述計(jì)算機(jī)系統(tǒng)配置為多處理器系 統(tǒng)。主存儲(chǔ)器1414部分地存儲(chǔ)指令及數(shù)據(jù)以供由處理器單元1412執(zhí)行。如果本發(fā)明
20的方法全部或部分地在軟件中實(shí)施，那么主存儲(chǔ)器1414在操作時(shí)存儲(chǔ)可執(zhí)行代碼。主存儲(chǔ)器1414可包含動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)以及高速緩沖存儲(chǔ)器庫(kù)。
圖14的系統(tǒng)進(jìn)一步包含大容量存儲(chǔ)裝置1416、外圍裝置1418、輸入裝置1420、便攜式存儲(chǔ)媒體驅(qū)動(dòng)器1422、圖形子系統(tǒng)1424及輸出顯示器1426。為簡(jiǎn)潔起見，將圖14中所示的組件描繪為經(jīng)由單個(gè)總線1428連接。然而，這些組件可通過一個(gè)或一個(gè)以上數(shù)據(jù)傳輸構(gòu)件連接。例如，處理器單元1412及主存儲(chǔ)器1414可經(jīng)由本地微處理器總線連接，且大容量存儲(chǔ)裝置1416、外圍裝置1418、便攜式存儲(chǔ)媒體驅(qū)動(dòng)器1422及圖形子系統(tǒng)1424可經(jīng)由一個(gè)或一個(gè)以上輸入/瑜出(I/0)總線連接。大容量存儲(chǔ)裝置1416 (其可借助磁盤驅(qū)動(dòng)器或光盤驅(qū)動(dòng)器實(shí)施)為用于存儲(chǔ)數(shù)據(jù)的非易失性存儲(chǔ)裝置，這些數(shù)據(jù)例如相應(yīng)相機(jī)的經(jīng)地理編碼的圖像序列、相機(jī)的校準(zhǔn)信息、恒定及變化位置參數(shù)、恒定及變化定向參數(shù)、經(jīng)正射校正的圖像塊、道路色彩樣本、所產(chǎn)生的道路信息以及供處理器單元1412使用的指令。在一個(gè)實(shí)施例中，大容量存儲(chǔ)裝置1416存儲(chǔ)系統(tǒng)軟件或計(jì)算機(jī)程序以供出于加載至主存儲(chǔ)器1414的目的實(shí)施本發(fā)明。
便攜式存儲(chǔ)媒體驅(qū)動(dòng)器1422結(jié)合便攜式非易失性存儲(chǔ)媒體(例如，軟盤、微驅(qū)動(dòng)器及快閃存儲(chǔ)器)操作以將數(shù)據(jù)及代碼輸入到圖14的計(jì)算機(jī)系統(tǒng)且從圖14的計(jì)算機(jī)系統(tǒng)輸出數(shù)據(jù)及代碼。在一個(gè)實(shí)施例中，用于實(shí)施本發(fā)明的系統(tǒng)軟件以此便攜式媒體的形式存儲(chǔ)在處理器可讀媒體上，且經(jīng)由便攜式存儲(chǔ)媒體驅(qū)動(dòng)器1422輸入到所述計(jì)算機(jī)系統(tǒng)。外圍裝置1418可包含任一類型的計(jì)算機(jī)支持裝置(例如，輸入/輸出(1/0)接口)以將額外功能添加到所述計(jì)算機(jī)系統(tǒng)。例如，外圍裝置1418可包含網(wǎng)絡(luò)接口卡以供將計(jì)算機(jī)系統(tǒng)介接到網(wǎng)絡(luò)、調(diào)制解調(diào)器等等。
輸入裝置1420提供用戶接口的一部分。輸入裝置1420可包含用于輸入阿拉伯?dāng)?shù)字或其它鍵信息的阿拉伯?dāng)?shù)字鍵盤或指向裝置(例如，鼠標(biāo)、追蹤球、觸針或指針方向鍵)。為顯示原文及圖形信息，圖14的計(jì)算機(jī)系統(tǒng)包含圖形子系統(tǒng)1424及輸出顯示器1426。
輸出顯示器1426可包含陰極射線管(CRT)顯示器、液晶顯示器(LCD)或其它適宜的顯示裝置。圖形子系統(tǒng)1424接收原文及圖形信息，并處理所述信息以供輸出到顯示器1426。輸出顯示器1426可用于通過將所計(jì)算的中心線及道路邊緣上覆在相關(guān)聯(lián)的經(jīng)正射校正的圖像上來報(bào)告根據(jù)本發(fā)明的方法的結(jié)果、顯示經(jīng)正射校正的鑲嵌圖、顯示方向、顯示確認(rèn)信息及/或顯示是用戶接口的一部分的其它信息。圖14的系統(tǒng)還包含音頻系統(tǒng)1428，其包含麥克風(fēng)。在一個(gè)實(shí)施例中，音頻系統(tǒng)1428包含從麥克風(fēng)接收音頻信號(hào)的聲卡。另外，圖14的系統(tǒng)包含輸出裝置1432。適宜的輸出裝置的實(shí)例包含揚(yáng)聲器、打印機(jī)等等。
圖14的計(jì)算機(jī)系統(tǒng)中所含有的組件為通常在通用計(jì)算機(jī)系統(tǒng)中找到的那些組件，且打算表示在本計(jì)數(shù)中眾所周知的這些計(jì)算機(jī)組件的寬廣種類。
因此，圖14的計(jì)算機(jī)系統(tǒng)可為個(gè)人計(jì)算機(jī)、工作站、小型計(jì)算機(jī)、大型計(jì)算機(jī)等等。所述計(jì)算機(jī)還可包含不同總線配置、網(wǎng)絡(luò)式平臺(tái)、多處理器平臺(tái)等等。可使用
21各種操作系統(tǒng)，包含UNIX、 Solaris、 Linux、 Windows、 Macintosh OS及其它適宜的操作系統(tǒng)。
可自動(dòng)地執(zhí)行上述方法。可能碰巧圖像的質(zhì)量使得執(zhí)行本發(fā)明的圖像處理工具及對(duì)象辨識(shí)工具需要某一校正。例如，相關(guān)聯(lián)的經(jīng)正射校正的圖像塊上的所計(jì)算的路邊的疊加顯示不想要的可見出發(fā)。在那一情況中，所述方法包含一些驗(yàn)證及手動(dòng)調(diào)適動(dòng)作以實(shí)現(xiàn)確認(rèn)或調(diào)適中間結(jié)果的可能性。這些動(dòng)作還可適于接受道路信息產(chǎn)生的中間結(jié)果或最終結(jié)果。此外，可使用一個(gè)或一個(gè)以上后續(xù)圖像中有疑問標(biāo)記的數(shù)目來請(qǐng)求人類執(zhí)行驗(yàn)證。
由本發(fā)明產(chǎn)生的道路信息針對(duì)每一圖像產(chǎn)生道路信息并將其存儲(chǔ)在數(shù)據(jù)庫(kù)中?？蛇M(jìn)一步處理所述道路信息以減少信息的量。例如，對(duì)應(yīng)于與道路區(qū)段相關(guān)聯(lián)的圖像的道路信息可針對(duì)所述區(qū)段的道路寬度減少為一個(gè)參數(shù)。此外，如果所述道路區(qū)段足夠平滑，那么可用一組參數(shù)描述中心線，所述參數(shù)包含至少所述區(qū)段的端點(diǎn)及形狀點(diǎn)。表示所述中心線的線可由多項(xiàng)式的系數(shù)存儲(chǔ)。
已出于圖解說明及描述目的呈現(xiàn)了本發(fā)明的前述實(shí)施方式。并不打算窮盡列舉本發(fā)明的形式或?qū)⒈景l(fā)明限于所揭示的確切形式，且顯然鑒于以上教示許多修改及變化均可行。例如，替代記錄移動(dòng)車輛前方的路面的相機(jī)，可使用記錄移動(dòng)車輛后方的路面的相機(jī)。此外，本發(fā)明還適于確定經(jīng)正射校正的圖像中車道分隔帶或其它線性道路標(biāo)記的位置。
挑選所描述的實(shí)施例以便最佳地解釋本發(fā)明的原理及其實(shí)際應(yīng)用從而藉此使得所屬領(lǐng)域的技術(shù)人員能夠在各種實(shí)施例中且以適于所涵蓋的特定應(yīng)用的各種修改來最佳地利用本發(fā)明。本發(fā)明的范圍打算由所附權(quán)利要求書加以界定。
2權(quán)利要求
1、一種產(chǎn)生供在地圖數(shù)據(jù)庫(kù)中使用的道路信息的方法，所述方法包括從借助安裝于移動(dòng)車輛上的基于陸地的相機(jī)獲得的圖像序列獲取一個(gè)或一個(gè)以上源圖像；從與所述一個(gè)或一個(gè)以上源圖像中表示所述移動(dòng)車輛前方或后方的路面的預(yù)界定區(qū)域相關(guān)聯(lián)的像素確定道路色彩樣本，所述預(yù)界定區(qū)域包含所述移動(dòng)車輛的軌跡線；依據(jù)所述道路色彩樣本從所述一個(gè)或一個(gè)以上源圖像產(chǎn)生路面圖像；及，依據(jù)所述路面圖像及與所述源圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)產(chǎn)生道路信息。
2、 如權(quán)利要求1所述的方法，其中產(chǎn)生道路信息包括 確定所述路面圖像中的道路邊緣像素；對(duì)所述道路邊緣像素執(zhí)行曲線擬合以獲得表示道路邊緣的曲線及 依據(jù)所述路面圖像中所述曲線的位置及對(duì)應(yīng)的位置和定向數(shù)據(jù)計(jì)算所述道路信息。
3、 如權(quán)利要求1到2中任一所述的方法，其中己從所述一個(gè)或一個(gè)以上源圖像 中表示所述移動(dòng)車輛前方的預(yù)界定區(qū)域的區(qū)域選擇所述路面圖像，所述預(yù)界定區(qū)域包 含所述移動(dòng)車輛的所述軌跡線。
4、 如權(quán)利要求1到3中任一所述的方法，其中獲取源圖像包括 依據(jù)與來自所述圖像序列的一個(gè)或一個(gè)以上圖像相關(guān)聯(lián)的位置數(shù)據(jù)和定向數(shù)據(jù)處理所述一個(gè)或一個(gè)以上圖像以獲得所述一個(gè)或一個(gè)以上源圖像，其中每一源圖像對(duì) 應(yīng)于經(jīng)正射校正的圖像。
5、 如權(quán)利要求1到4中任一所述的方法，其中從多于一個(gè)連續(xù)圖像提取所述道 路色彩樣本。
6、 如權(quán)利要求1到5中任一所述的方法，其中所述方法進(jìn)一步包括 確定兩個(gè)連續(xù)源圖像內(nèi)表示所述路面的相似地理區(qū)域的共用區(qū)域； 針對(duì)所述共用區(qū)域的像素，確定其是否必須分類為固定像素或移動(dòng)對(duì)象像素。
7、 如權(quán)利要求6所述的方法，其中已從所述預(yù)界定區(qū)域中的所述固定像素確定 所述道路色彩樣本，且移動(dòng)對(duì)象像素被排除在外。
8、 如權(quán)利要求1到7中任一所述的方法，其中所述路面圖像為從后續(xù)源圖像獲 得的經(jīng)正射校正的鑲嵌圖。
9、 如權(quán)利要求1到8中任一所述的方法，其中所述路面圖像為從經(jīng)正射校正的 圖像獲得的經(jīng)正射校正的鑲嵌圖，每一經(jīng)正射校正的圖像表示所述車輛前方或后方的 預(yù)定區(qū)域。
10、 如權(quán)利要求6及9所述的方法，其中產(chǎn)生路面圖像包括 將像素標(biāo)記為所述路面圖像中的固定像素或移動(dòng)對(duì)象像素。
11、 如權(quán)利要求10所述的方法，其中產(chǎn)生道路信息包括依據(jù)所述標(biāo)記為非固定像素，將所述路面圖像的像素指派為道路邊緣像素。
12、 一種用于執(zhí)行如權(quán)利要求l到ll中任一所述的方法的設(shè)備，所述設(shè)備包括: 輸入裝置；處理器可讀存儲(chǔ)媒體；及處理器，其與所述輸入裝置及所述處理器可讀存儲(chǔ)媒體通信； 輸出裝置，其用以實(shí)現(xiàn)與顯示單元的連接；所述處理器可讀存儲(chǔ)媒體存儲(chǔ)代碼，所述代碼用以編程所述處理器以執(zhí)行包括如 下動(dòng)作的方法從借助安裝于移動(dòng)車輛上的基于陸地的相機(jī)獲得的圖像序列獲取源圖像； 從與所述源圖像中表示所述移動(dòng)車輛前方或后方的路面的預(yù)界定區(qū)域相關(guān)聯(lián)的 像素確定道路色彩樣本；依據(jù)所述道路色彩樣本從所述源圖像產(chǎn)生路面圖像；及， 依據(jù)所述路面圖像及與所述源圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)產(chǎn)生道路信息。
13、 一種包括指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)加載于計(jì)算機(jī)布置上時(shí)所述指令允許所 述計(jì)算機(jī)布置執(zhí)行如權(quán)利要求1到11所述的方法中的任何一者。
14、 一種攜載計(jì)算機(jī)程序產(chǎn)品的處理器可讀媒體，當(dāng)加載于計(jì)算機(jī)布置上時(shí)所述 計(jì)算機(jī)程序產(chǎn)品允許所述計(jì)算機(jī)布置執(zhí)行如權(quán)利要求1到11所述的方法中的任何一
全文摘要
本發(fā)明涉及一種產(chǎn)生供在地圖數(shù)據(jù)庫(kù)中使用的道路信息的方法，所述方法包括從借助安裝于移動(dòng)車輛上的基于陸地的相機(jī)獲得的圖像序列獲取源圖像；從與所述源圖像中表示所述移動(dòng)車輛前方或后方的路面的預(yù)界定區(qū)域相關(guān)聯(lián)的像素確定道路色彩樣本；依據(jù)所述道路色彩樣本從所述源圖像產(chǎn)生路面圖像；及，依據(jù)所述路面圖像及與所述源圖像相關(guān)聯(lián)的位置和定向數(shù)據(jù)產(chǎn)生道路信息。
文檔編號(hào)G06T5/00GK101689296SQ200880017372
公開日2010年3月31日 申請(qǐng)日期2008年4月18日 優(yōu)先權(quán)日2007年4月19日
發(fā)明者盧卡什·彼得·塔博羅維斯基, 馬爾欽·米夏爾·克米奇克 申請(qǐng)人:電子地圖有限公司