專利名稱：用于產(chǎn)生車道信息的方法及設備的制作方法
技術領域：
本發(fā)明涉及一種用于產(chǎn)生供在地圖數(shù)據(jù)庫中使用的車道信息的方法。本發(fā)明進一 步涉及一種用于產(chǎn)生車道信息的設備、一種計算機程序產(chǎn)品及一種攜載所述計算機程序產(chǎn) 品的處理器可讀媒體。
背景技術：
需要為導航系統(tǒng)及類似系統(tǒng)中所使用的數(shù)字地圖數(shù)據(jù)庫收集大量的水平道路信 息，例如，車道分隔帶、道路中心線、道路寬度等等。道路信息的地理位置可存儲為絕對或相 對位置信息。例如，中心線可以絕對地理位置信息存儲，且道路寬度可以相對位置信息存 儲，所述相對位置信息相對于中心線的絕對地理位置為相對信息?？赏ㄟ^解釋高分辨率航 攝經(jīng)正射校正(orthorectified)的圖像獲得所述道路信息。經(jīng)正射校正的圖像是“按比例 校正”的圖像，其描繪地面特征，所述地面特征是從其經(jīng)校正的地面位置上面看到的，其中 已使用攝影測量技術移除了由相機及飛行特性以及起伏位移導致的失真。經(jīng)正射校正的圖 像是一類航攝照片，已對其進行幾何校正(“正射校正”)使得所述照片的比例為均勻的，這 意味著可認為所述照片等效于地圖。經(jīng)正射校正的圖像可用于測量真實距離，這是因為其 是地球表面的精確表示，已針對地形起伏、透鏡失真及相機俯仰進行了調(diào)整。經(jīng)正射校正的 視圖與透視圖的不同于在于經(jīng)正射校正的視圖是以直角投影到參考平面，而透視圖是從單 個固定位置或視點從所述表面投影到所述參考平面?？赏ㄟ^任何適合地圖投影來獲得經(jīng)正 射校正的圖像。所述地圖投影可以是通過表面進行的投影，例如圓柱投影、偽圓柱投影、混 合投影、圓錐投影、偽圓錐投影或方位角投影。所述投影還可以是通過對度量性質(zhì)進行保存 而進行的投影。所述地圖投影的共同之處是其均為正交投影，其意指每一像素表示參考平 面的表面(近似地球形狀的橢圓面)上沿垂直于所述表面的線所看到的點。因此，地球表 面的經(jīng)正射校正的圖像的每一像素大致對應于沿垂直于近似地球形狀的橢圓面的線所看 到的地球表面的視圖。除了以上投影約束以外，經(jīng)正射校正的圖像還包括啟用用以將所述經(jīng)正射校正的 圖像的任一像素參考到地理坐標參考系統(tǒng)中的點的算法的元數(shù)據(jù)。已知每一像素在近似地 球形狀的橢圓面上的準確位置。因此，可從經(jīng)正射校正的圖像檢索地面特征的位置及大小 (例如，水平道路信息)，且可計算高度精確的距離及地球坐標。經(jīng)地理編碼的經(jīng)正射校正 的圖像的元數(shù)據(jù)界定投影坐標參考系統(tǒng)以為每一像素確定在所述地理坐標參考系統(tǒng)中的 對應位置。經(jīng)地理編碼的經(jīng)正射校正的圖像顯示具有(如果存在)道路標記的道路表面。圖 像處理算法使我們能夠檢測道路標記并確定對應像素。元數(shù)據(jù)使我們能夠精確地確定道路 標記在地理坐標參考系統(tǒng)中的位置。
此類高分辨率航攝經(jīng)正射校正的圖像應具有低于25cm的像素大小。獲得此類圖 像極昂貴且并不保證捕獲所有道路水平信息?？蓮暮綌z圖像獲得經(jīng)正射校正的圖像。然而，常常引入誤差，此可導致對地理位置數(shù)據(jù)的不精確測繪。主要問題是，通常不準確地垂直于地球表面拍攝航攝圖像。即使在接 近于地球表面拍攝圖片時，僅所述圖片的中心準確地垂直于地球表面。為對此一圖像進行 正射校正，必須另外獲得地形的高度信息?？赏ㄟ^拍攝重疊圖像并比較從來自相同航攝相 機的連續(xù)圖像獲得的相同表面來改進精確度。但是仍存在對所獲得的精確度對額外成本的 限制。應注意，航攝經(jīng)正射校正的圖像可以是俯視像的鑲嵌圖。 此外，為從航攝經(jīng)正射校正的圖像獲得“水平”道路信息，必須分析所述圖像。在 所述圖像中，必須檢測道路表面。由于已從不同的地理確定裝置獲得與航攝經(jīng)正射校正的 圖像相關聯(lián)的地理位置及地圖數(shù)據(jù)庫中的地理位置，因此無法始終直接使用道路在地圖數(shù) 據(jù)庫中的地理位置來精確地確定道路表面位于經(jīng)正射校正的圖像中的何處?，F(xiàn)今，可通過分析并解釋水平圖片圖像及借助只在地球上的移動收集裝置所收集 的其它數(shù)據(jù)來獲得用于導航系統(tǒng)及類似系統(tǒng)中所使用的數(shù)字地圖數(shù)據(jù)庫的“垂直”道路信 息，例如，速度限制、方向路標等等。術語“垂直”指示道路信息的信息平面大致平行于重力 向量。移動測繪車輛(其為基于陸地的車輛，例如，汽車或有篷貨車)用于為增強數(shù)字地圖 數(shù)據(jù)庫而收集移動數(shù)據(jù)。增強的實例為交通符號、路線符號、交通燈、顯示街道名稱等等的 街道符號的位置。移動測繪車輛具有若干相機，這些相機中的一些相機為立體照相相機且所有這些 相機因具有車載定位系統(tǒng)(例如，精密GPS接收器)及其它車載位置確定裝備(例如，慣性 導航系統(tǒng)-INS)的車輛而經(jīng)精確地地理定位。在行駛于道路網(wǎng)絡上時，捕獲經(jīng)地理編碼的 圖像序列。這些圖像可為視頻或靜止圖片圖像。經(jīng)地理編碼意指將與圖像相關聯(lián)的位置附 接到所述圖像的元數(shù)據(jù)。在本發(fā)明中，從包含GPS接收器及可能地INS以及可能地距離及 方位測量裝置的車輛的位置確定系統(tǒng)中導出所述位置。移動測繪車輛在對象(例如，建筑物或道路表面)的圖像序列中記錄多于一個圖 像，且針對圖像序列的每一圖像，精確地確定相對于坐標參考系統(tǒng)的地理位置和定向。具有 對應地理位置和定向信息的圖像序列將稱為經(jīng)地理編碼的圖像序列。由于由相機獲得的圖 像序列表示“水平”道路信息的視覺透視圖，因此圖像處理算法可提供從所述圖像序列提取 道路信息的解決方案。借助車載定位系統(tǒng)(例如，GPS接收器)以及其它額外位置和定向 確定裝備(例如，慣性導航系統(tǒng)-INS)精確地知道相機的地理位置。在航攝圖像及由移動測繪車輛捕獲的圖像序列兩者中，均存在車道信息。借助復 雜的圖像處理算法，可檢測車道信息且可確定對應位置信息。

發(fā)明內(nèi)容
本發(fā)明設法提供一種產(chǎn)生供在地圖數(shù)據(jù)庫中使用的車道信息的經(jīng)改進的方法。根據(jù)本發(fā)明，所述方法包括-獲取道路表面的一個或一個以上源圖像及相關聯(lián)位置和定向數(shù)據(jù)，所述道路具 有一方向及平行于所述道路的所述方向的車道標記；-獲取表示所述道路的所述方向的道路信息；-依據(jù)所述道路信息變換所述一個或一個以上源圖像以獲得經(jīng)變換的圖像，其中 所述經(jīng)變換的圖像的每一像素列對應于平行于所述道路的所述方向的表面；-對所述經(jīng)變換的圖像應用具有不對稱掩模的濾波器以獲得經(jīng)濾波的圖像；及，
-依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)從所述經(jīng)濾波 的圖像中產(chǎn)生車道信息。本發(fā)明基于以下認識可從數(shù)字地圖數(shù)據(jù)庫容易地獲得道路的位置和方向的信息。此外，可從在道路上行駛的移動測繪車輛容易地獲得道路的位置和定向。在道路上行 駛的車輛的方向或多或少地平行于所述道路的方向。此外，車道標記(例如作為噴涂在道 路表面上的線性標記的車道標記)為平行于所述道路的方向的標記?，F(xiàn)今，經(jīng)地理編碼的 圖像(其可以是俯視圖或經(jīng)正射校正的視像)為可公開獲得的，其中對于每一像素，已 知預界定坐標系統(tǒng)中的地理位置。經(jīng)地理編碼的圖像可以是航攝或衛(wèi)星圖像。所述一個或 一個以上源圖像還可以是已通過以下步驟獲得的源圖像檢索借助安裝于在所述道路上行 駛的移動車輛上的基于陸地的相機獲得的一個或一個以上圖像序列及相關聯(lián)位置和定向 數(shù)據(jù)以及對所述一個或一個以上圖像序列執(zhí)行正規(guī)化過程以獲得所述一個或一個以上圖 像及相關聯(lián)位置和定向數(shù)據(jù)。所述正規(guī)化過程可包含正射校正過程。為增強對車道信息的提取，對所述源圖像進行濾波。所述增強改進將要檢測的對 象的檢測率?？墒褂闷毡橐阎臑V波器(例如噪聲濾波器、形態(tài)濾波器及邊緣濾波器)來增 強所述提取。然而，由于在所述源圖像中并不知道線性對象的定向，因此所述濾波器必須為 定向不變的濾波器。這些濾波器為具有兩個維度的對稱濾波器，其沿兩個方向同時執(zhí)行一 功能。然而，當已知將要檢測的線性對象的定向時，可使用僅沿一個維度操作的濾波器。這 些濾波器具有數(shù)目減少的參數(shù)。因此，執(zhí)行此一濾波需要較少計算能力。此外，如果已知對 象的定向及形式，那么可使用較簡單的形狀檢測算法，這是因為形狀濾波器僅須在圖像中 檢測具有已知定向的對象。因此，根據(jù)本發(fā)明，在從所述源圖像中提取所述車道信息之前， 使用道路方向來獲得其中每一像素列平行于所述道路方向的圖像。因此，線性車道標記將 在圖像中具有垂直定向。此允許我們對經(jīng)變換的圖像使用具有僅沿一個維度的功能以增強 所述圖像，例如通過強調(diào)車道信息的特征。這些濾波器稱為不對稱濾波器，這是因為其僅沿 一個方向?qū)D像執(zhí)行濾波。通過濾波強調(diào)圖像中的特征的實例為圖像噪聲的減少、線性道 路標記的寬度的放大及不需要的圖像信息的移除或抑制。在對圖像進行濾波之后，可使用 標準特征提取技術來檢測線性車道油漆。此外，通過知道將要檢測的線性對象的定向，可設 計較高效的強調(diào)濾波器。在本發(fā)明的實施例中，已同時從由安裝于所述移動車輛中的定位確定構(gòu)件產(chǎn)生的 輸出信號中捕獲所述追蹤信息及所述一個或一個以上圖像序列的相關聯(lián)位置和定向信息。 此特征改進所產(chǎn)生的車道信息的位置信息的相對精確度。借助定位確定裝置確定所述車輛 的位置和定向，所述定位確定裝置可包含GPS接收器及慣性測量裝置，例如一個或一個以 上回轉(zhuǎn)儀及/或加速計。由于所述基于陸地的相機與所記錄的地球表面之間的距離為有限 的且借助車載定位系統(tǒng)(例如，GPS接收器)及其它額外位置和定向確定裝備(例如，慣性 導航系統(tǒng)-INS)精確地知道所述相機的地理位置，因此可精確地確定每一像素的絕對地理 位置(假定所述像素為地球表面的表示)。此使如未公開的專利申請案PCT/NL2006/050252 中所揭示的算法能夠極精確地產(chǎn)生經(jīng)正射校正的圖像及相關聯(lián)位置和定向數(shù)據(jù)。典型的移 動測繪系統(tǒng)(MMS)產(chǎn)生經(jīng)正射校正的鑲嵌圖或圖像，其具有8cm分辨率，其中在IOOm上的 相對精確度為50cm且絕對精確度為200cm。精確的位置和定向數(shù)據(jù)使我們能夠變換經(jīng)正射 校正的圖像，使得經(jīng)變換的圖像的每一像素列對應于平行于所述道路的方向的表面。應注意，如果正射校正過程產(chǎn)生其中每一列已平行于所述車輛的行駛方向的圖像，那么所述變 換可為任選的。在本發(fā)明的實施例中，變換包含旋轉(zhuǎn)操作。圖像旋轉(zhuǎn)為用于對準經(jīng)正射校正的視 像或俯視像使得一像素列對應于地球表面上平行于道路的導出方向的線的簡單 功能。在本發(fā)明的實施例中，應用具有不對稱掩模的濾波器包括-首先對所述經(jīng)變換的圖像應用第一濾波器且其次應用第二濾波器，所述第一濾 波器具有擴大沿垂直于所述車輛的所述行駛方向的方向的線的寬度的結(jié)構(gòu)化元件，所述第 二濾波器具有減小沿平行于所述車輛的所述行駛方向的方向的線的長度的結(jié)構(gòu)化元件。在本發(fā)明的進一步實施例中，所述第一濾波器為最大濾波器且所述第二濾波器為 最小濾波器。這些濾波器為用以擴大對象的寬度及用以減小對象的長度的極簡單的濾波器。
在本發(fā)明的進一步實施例中，應用具有不對稱掩模的濾波器進一步包括-再次應用第三濾波器，所述第三濾波器具有將沿平行于所述行駛方向的方向的 線的長度擴大到其原始大小的結(jié)構(gòu)化元件。在有利實施例中，所述第三濾波器為最大濾波 器。這些特征允許我們將對象的長度恢復到其原始大小，此使我們能夠精確地確定虛線的 每一段的長度。在本發(fā)明的實施例中，產(chǎn)生車道信息包括-在所述經(jīng)濾波的圖像中搜索實線；及，-依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)計算所述實線 的位置。在實例性實施例中，產(chǎn)生車道信息包括-在所述經(jīng)濾波的圖像中搜索矩形；及，-依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)計算矩形的位置?？墒褂密浖⒂布蜍浖c硬件的組合來實施本發(fā)明。當本發(fā)明的全部或部分在 軟件中實施時，所述軟件可駐存于處理器可讀存儲媒體上。恰當處理器可讀存儲媒體的實 例包含軟磁盤、硬磁盤、⑶ROM、DVD、存儲器IC等。當系統(tǒng)包含硬件時，所述硬件可包含 輸出裝置(例如，監(jiān)視器、揚聲器或打印機)；輸入裝置(例如，鍵盤、指向裝置及/或麥克 風)；及處理器，其與所述輸出裝置通信；以及處理器可讀存儲媒體，其與所述處理器通信。 所述處理器可讀存儲媒體存儲代碼，所述代碼能夠編程所述處理器以執(zhí)行實施本發(fā)明的動 作。本發(fā)明的過程還可在可經(jīng)由電話線或其它網(wǎng)絡或因特網(wǎng)連接存取的服務器上實施。


下文將使用若干實例性實施例參照附圖更詳細地論述本發(fā)明，所述附圖打算圖解 說明本發(fā)明而非限制其由所附權(quán)利要求書及其等效實施例界定的范圍，附圖中圖1顯示具有相機的匪S系統(tǒng)；圖2顯示位置和定向參數(shù)的圖示；圖3顯示執(zhí)行本發(fā)明可借助的計算機布置的框圖；圖4是根據(jù)本發(fā)明用于產(chǎn)生車道信息的過程的實例性實施方案的流程圖5顯示將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊的一般原理的側(cè)視圖；圖6顯示將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊的一般原理的俯視圖；圖7顯示道路段的經(jīng)正射校正的圖像；圖8顯示不對稱濾波的實例性實施例的流程圖；
圖9顯示濾波器掩模的實例性實施例；圖10顯示道路段的經(jīng)濾波的圖像；且圖11顯像圖10中所示的經(jīng)濾波的圖像中所找到的特征。
具體實施例方式圖1顯示采取汽車1形式的匪S系統(tǒng)。汽車1具備一個或一個以上相機9 (i)，i =1,2,3,…I。汽車1可由駕駛員駕駛著沿感興趣的道路行駛。汽車1具備多個車輪2。此外，汽車1具備高精確度位置確定裝置。如圖1中所 示，所述位置確定裝置包括以下組件 GPS(全球定位系統(tǒng))單元，其連接到天線8且經(jīng)布置以與多個衛(wèi)星SLi (i = 1， 2,3,…)通信且根據(jù)從衛(wèi)星SLi接收的信號計算位置信號。所述GPS單元連接到微處理 器μ P?；趶乃鯣PS單元接收的信號，所述微處理器μ P可確定將在汽車1中的監(jiān)視 器4上顯示的適合顯示信號，從而告知駕駛員汽車的所在位置及所述汽車可能正沿哪個方 向行進。可使用差分GPS單元替代GPS單元。差分全球定位系統(tǒng)(DGPS)是對全球定位系 統(tǒng)(GPS)的增強，其使用固定的基于地面的參考站網(wǎng)絡來廣播由衛(wèi)星系統(tǒng)指示的位置與已 知的固定位置之間的差異。這些站廣播所測量的衛(wèi)星偽距與實際(在內(nèi)部計算的)偽距之 間的差異，且接收器站可將其偽距校正相同量?！?DMI (距離測量儀器)。此儀器是通過感測車輪2中的一者或一者以上的旋轉(zhuǎn)次 數(shù)來測量汽車1行進的距離的里程表。所述DMI還連接到微處理器μ P以允許所述微處理 器μ P在根據(jù)來自所述GPS單元的輸出信號計算顯示信號的同時考慮到由所述DMI測量的距離。· IMU (慣性測量單元)。此一 IMU可實施為3個回轉(zhuǎn)儀單元，其經(jīng)布置以測量沿 3個正交方向的旋轉(zhuǎn)加速度及平移加速度。所述IMU還連接到所述微處理器μ P以允許所 述微處理器μ P在根據(jù)來自所述GPS單元的輸出信號計算顯示信號的同時考慮到所述DMI 的測量結(jié)果。所述IMU還可包含航位推算傳感器。如圖1中所示的系統(tǒng)為所謂的“移動測繪系統(tǒng)”，其(舉例來說)通過借助安裝于 汽車1上的一個或一個以上相機9 (i)拍攝圖片來收集地理數(shù)據(jù)。所述相機連接到所述微 處理器μ P。所述汽車前方的相機9(i)可以是立體相機。所述相機可經(jīng)布置以產(chǎn)生圖像序 列，其中已以預界定的幀速率捕獲了圖像。在實例性實施例中，所述相機中的一者或一者以 上為靜止圖片照相機，其經(jīng)布置以在汽車1的每個預界定位移或每個時間間隔捕獲圖片。 所述預界定位移經(jīng)選擇使得兩個連續(xù)圖片包括道路表面的相似部分。舉例來說，可在每行 進8米之后捕獲圖片。通常想要從3個測量單元GPS、IMU及DMI盡可能精確地提供位置和定向測量。在 相機9(i)拍攝圖片時，測量這些位置和定向數(shù)據(jù)。存儲這些圖片以供稍后在所述μ P的適 合存儲器中結(jié)合在拍攝這些圖片的同時收集的汽車1的對應位置和定向數(shù)據(jù)使用。所述圖片包含關于車道信息的信息，例如，道路的中心、道路表面邊緣及道路寬度。圖2顯示可從圖1中所示的三個測量單元GPS、DMI及IMU獲得哪些位置信號。圖 2顯示微處理器μ P經(jīng)布置以計算6個不同參數(shù)，即，相對于預定坐標系統(tǒng)中的原點的3個 距離參數(shù)x、y、z及分別為ωχ、coy、《2的3個角度參數(shù)，其分別表示繞χ軸、y軸及ζ軸的 旋轉(zhuǎn)。ζ方向與重力向量的方向一致。全球UTM坐標系統(tǒng)可用作預定坐標系統(tǒng)。汽車1中的微處理器μ P及存儲器可實施為計算機布置。圖3中顯示此一計算機布置的實例。在圖3中，給出計算機布置300的概略圖，其包括用于實施算術運算的處理器311。 在圖ι中所示的實施例中，所述處理器將是微處理器μP。處理器311連接到多個存儲器組件，包含硬磁盤312、只讀存儲器(ROM) 313、電可 擦除可編程只讀存儲器(EEPROM) 314及隨機存取存儲器(RAM) 315。并不一定需要提供所有 這些存儲器類型。此外，這些存儲器組件無需在物理上接近于處理器311定位而是可遠離 處理器311定位。處理器311還連接到(例如)用戶用來輸入指令、數(shù)據(jù)等的構(gòu)件，如鍵盤316及鼠 標317。也可提供所屬領域的技術人員已知的其它輸入構(gòu)件，例如觸摸屏、軌跡球及/或話
音轉(zhuǎn)換器。提供連接到處理器311的讀取單元319。讀取單元319經(jīng)布置以從可裝卸數(shù)據(jù)載 體或可裝卸存儲媒體(如軟磁盤320或CDROM 321)上讀取數(shù)據(jù)及可能地寫入數(shù)據(jù)。其它 可裝卸數(shù)據(jù)載體可以是磁帶、DVD、CD-R、DVD-R、存儲棒等，如所屬領域的技術人員已知。處理器311可連接到打印機323以在紙張上以及向顯示器318打印輸出數(shù)據(jù)，所 述顯示器例如是監(jiān)視器或LCD (液晶顯示器)屏幕或所屬領域的技術人員已知的任何其它 類型的顯示器。處理器311可連接到擴音器329。此外，處理器311可借助I/O構(gòu)件325連接到通信網(wǎng)絡327，例如，公共交換電話網(wǎng) (PSTN)、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、因特網(wǎng)等。處理器311可經(jīng)布置以通過網(wǎng)絡327與其 它通信布置通信。數(shù)據(jù)載體320、321可包括呈數(shù)據(jù)及指令形式的計算機程序產(chǎn)品，其經(jīng)布置以給所 述處理器提供執(zhí)行根據(jù)本發(fā)明的方法的能力。然而，另一選擇為，此計算機程序產(chǎn)品可經(jīng)由 電信網(wǎng)絡327下載。處理器311可實施為獨立系統(tǒng)，或?qū)嵤槎鄠€各自經(jīng)布置以實施較大計算機程序 的子任務的平行操作處理器，或?qū)嵤榫哂袛?shù)個子處理器的一個或一個以上主處理器。本 發(fā)明的部分功能性甚至可由通過電信網(wǎng)絡327與處理器311通信的遠程處理器實施。圖3的計算機系統(tǒng)中所含有的組件為通常在通用計算機系統(tǒng)中找到的那些組件， 且打算表示在所屬技術中眾所周知的寬泛類別的此類計算機組件。因此，圖3的計算機系統(tǒng)可以是個人計算機、工作站、小型計算機、大型計算機等。 所述計算機還可包含不同的總線配置、聯(lián)網(wǎng)平臺、多處理器平臺等?？墒褂酶鞣N操作系統(tǒng)， 包括 UNIX、Solaris、Linux、Windows、Macintosh OS 及其它適合操作系統(tǒng)。為對由相機9(i)拍攝的圖像及掃描進行后處理，將使用與圖3中的布置類似的布 置，但此布置將不定位于汽車1中而是可方便地定位于建筑物中用于離線后處理。將由相機9(i)拍攝的圖像及掃描存儲于一個或一個以上存儲器312到315中。此存儲可經(jīng)由首 先將所述圖像及掃描存儲于DVD、存儲棒或類似物上或從存儲器9中傳輸其(可能以無線方 式)來完成。圖4顯示根據(jù)本發(fā)明產(chǎn)生車道信息的過程的實例性實施例的流程圖。所述過程通過借助圖1中所示的移動測繪車輛捕獲具有坐標參考系統(tǒng)中的相關聯(lián)位置和定向數(shù)據(jù)的 源圖像的序列并將所捕獲的數(shù)據(jù)存儲于存儲媒體上而以MMS (移動測繪系統(tǒng))時間段41開 始。在過程塊42中，處理所述所捕獲的數(shù)據(jù)以產(chǎn)生每一源圖像的經(jīng)正射校正的圖像塊，所 述經(jīng)正射校正的圖像塊具有對應于所述坐標參考系統(tǒng)中的相關聯(lián)位置和定向數(shù)據(jù)的元數(shù) 據(jù)。所述正射校正過程移除由集合幾何結(jié)構(gòu)及地形引入的圖像失真，且將圖像重新取樣為 均勻地面樣本距離及用戶規(guī)定的地圖投影。所述相關聯(lián)位置和定向數(shù)據(jù)包含可從GPS、DMI 及IMU獲得的位置信號以及相應相機相對于汽車的位置和定向的位置和定向。將在下文中 更詳細地描述從源圖像中產(chǎn)生經(jīng)正射校正的圖像塊。所述位置和定向數(shù)據(jù)使我們能夠疊加 經(jīng)正射校正的圖像(包括道路表面的相似部分)以獲得經(jīng)正射校正的鑲嵌圖。經(jīng)正射校正 的圖像43可以是僅從一個源圖像中產(chǎn)生的經(jīng)正射校正的圖像或可以是經(jīng)正射校正的圖像 的鑲嵌圖，其表示(例如)從10米到100米不等的筆直道路段。此外，從所述所捕獲的數(shù)據(jù)中，可導出移動測繪車輛在道路上的行駛方向。當車輛 正在道路表面上行駛時，行駛方向大致平行于道路的方向。在此情況下，行駛方向為對道路 方向的估計。道路方向由塊44指示。應注意，根據(jù)本發(fā)明的方法可應用于任一地理參考的經(jīng)正射校正的圖像，例如，航 攝或衛(wèi)星經(jīng)正射校正的圖像(假設所述圖像的分辨率足以檢測車道信息)。此外，可從市售 地圖數(shù)據(jù)庫中檢索道路的方向。然而，由于移動測繪車輛同時記錄圖像數(shù)據(jù)及車輛的位置 和定向數(shù)據(jù)兩者，因此此數(shù)據(jù)使我們能夠比在借助航攝或衛(wèi)星圖像完成時在圖像中更精確 地選擇包括道路表面的圖像部分且極精確地計算坐標參考系統(tǒng)中的位置。未公開的專利申請案PCT/NL2006/050252中揭示一種產(chǎn)生經(jīng)正射校正的圖像及 界定經(jīng)正射校正的圖像的位置和定向數(shù)據(jù)的相關聯(lián)元數(shù)據(jù)的方法。此方法使我們能夠僅從 移動測繪系統(tǒng)數(shù)據(jù)產(chǎn)生極精確的經(jīng)地理編碼的經(jīng)正射校正的圖像。所述經(jīng)地理編碼的圖像 具有8cm(=圖像內(nèi)的相對位置精確度)的像素分辨率且界定圖像在地球表面上的位置和 定向的元數(shù)據(jù)具有分別為1米及0. 1度的絕對地理位置精確度。在塊45中，使用道路方向?qū)⒔?jīng)正射校正的圖像43變換成經(jīng)變換的圖像46。在一 實施例中，道路方向?qū)谝苿訙y繪車輛的行駛方向。在另一實施例中，從航攝或衛(wèi)星圖像 中導出所述道路方向。且在又一實施例中，從數(shù)字地圖數(shù)據(jù)庫中的數(shù)據(jù)中導出所述道路方 向。使用塊45處的變換正規(guī)化經(jīng)正射校正的圖像。在經(jīng)變換的圖像46中，道路的方向及分 辨率均為正規(guī)化的。正規(guī)化意指在經(jīng)變換的圖像46中，道路具有預界定方向且所述經(jīng)變換 的圖像的每一像素表示地球表面固定的預界定物理區(qū)域。此使我們能夠?qū)λ鼋?jīng)變換的圖 像僅應用一組簡單不對稱濾波器。在正規(guī)化過程(其可以是所述正射校正過程的一部分) 中調(diào)整像素大小，以使像素比例一致。通過旋轉(zhuǎn)經(jīng)正射校正的圖像來正規(guī)化道路方向。優(yōu) 選地，所述道路方向平行于所述經(jīng)變換圖像中的像素列。所述經(jīng)變換的圖像包括相關聯(lián)位 置和定向數(shù)據(jù)。所述位置和定向數(shù)據(jù)啟用用以在所述經(jīng)變換的圖像中針對每一像素確定預 界定坐標系統(tǒng)中的對應地理位置的過程。
在塊47中，對所述經(jīng)變換的圖像執(zhí)行不對稱濾波以獲得經(jīng)濾波的圖像48。下文將 描述所述濾波器的實例性實施例。已發(fā)現(xiàn)，可針對每一國家使用一組不對稱濾波器，這是因 為在每一國家中，道路標記具有標準化的預界定尺寸。通過知道圖像中道路標記的尺寸，可 針對所述尺寸來優(yōu)化所述濾波器。道路標記的尺寸可以是車道標記的寬度及虛線車道分隔 帶的長度，其中在經(jīng)變換的圖像中以像素的數(shù)目界定所述長度及寬度。在一實施例中，一像 素對應于地球表面8x 8cm的物理區(qū)域。通常為3m長及20cm寬的虛線在經(jīng)變換的圖像中 將具有37個像素的長度及2到3個像素的寬度。
不對稱濾波(在上文所給出的實例中，其為第一、第二及第三濾波器的組合)的目 標為加強在經(jīng)變換的圖像中搜索的信息且減少所述經(jīng)變換的圖像中的噪聲。加強的一些實 例為大小的放大及像素值的增亮/變暗。增強及噪聲減少兩者改進經(jīng)濾波的圖像中的特 征辨識。在塊50中，執(zhí)行特征辨識。所使用的特征辨識算法并非本發(fā)明的本質(zhì)特征。將要 檢測的特征為經(jīng)濾波的圖像中的大致垂直線或矩形。所述線可以是虛線、實線、雙實線或經(jīng) 濾波的圖像中的任一其它直線。所屬領域的技術人員知道哪些算法適于檢測所述特征。所 述算法必須在經(jīng)濾波的圖像中找到并檢測實線或矩形。在經(jīng)濾波的圖像中檢測一特征之 后，一程序確定所述特征在經(jīng)濾波的圖像中的X，y位置。由于所述經(jīng)濾波的圖像對應于包 括相關聯(lián)位置和定向數(shù)據(jù)的經(jīng)變換的圖像，因此可從與所述經(jīng)變換的圖像相關聯(lián)的位置和 定向數(shù)據(jù)中導出所述特征的地理位置?？赏ㄟ^在所述經(jīng)濾波的圖像中檢測前兩條或兩條以 上平行實線或虛線來計算道路及車道的寬度?？赏ㄟ^使用所述位置和定向數(shù)據(jù)將平行線之 間的距離翻譯成線之間的距離。將所辨識的特征及相關聯(lián)位置數(shù)據(jù)存儲于數(shù)據(jù)庫中以供在 數(shù)字地圖數(shù)據(jù)庫中使用。圖5顯示在塊42中執(zhí)行的將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊的一般原理的側(cè) 視圖。相機或CXD相機202 (顯示于圖6中)中的圖像傳感器101記錄源圖像序列。所述 源圖像表示由安裝于如圖1中所示的汽車上的基于陸地的相機9(i)記錄的或多或少垂直 的圖像。所述源圖像可以是借助靜止圖片相機記錄的靜止圖片序列，每移位(例如)8米觸 發(fā)所述相機。包括所述圖像傳感器的相機具有視角α。視角α由所述相機的鏡頭的焦距 102確定。視角α可介于45° < α < 180°的范圍中。此外，所述相機具有視軸103，其位 于所述視角的中心。在圖1中，視軸103平行于水平平面104。圖像傳感器101垂直于視軸 103而安裝。在此情況下，圖像傳感器101記錄“純”垂直源圖像。如果進一步知道所述圖 像傳感器相對于水平平面(例如，地球表面)的高度，那么可將由圖像傳感器101記錄的圖 像變換成經(jīng)正射校正的圖像塊，其表示所述水平平面的經(jīng)正射校正的視圖的經(jīng)比例縮放版 本。為獲得沿水平方向具有適合分辨率的水平圖像，使用所述圖像傳感器的有限區(qū)域。圖5 顯示圖像傳感器101中對應于水平平面中的部分108的部分106。所述經(jīng)正射校正的圖像 塊的最小可接受分辨率確定所述圖像傳感器與所述水平平面中的最遠點之間的最大距離。 借助幾何結(jié)構(gòu)，可將從基于陸地的相機中檢索的源圖像轉(zhuǎn)換成任一虛擬平面。即使所述視 軸相對于所述水平平面成已知角度，也可從源圖像獲得經(jīng)正射校正的圖像塊。圖6顯示將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像塊200的一般原理的經(jīng)正射校正的視 圖。相機202的視軸103、218的視角α及定向確定水平平面中由圖像傳感器101記錄的部 分。經(jīng)正射校正的圖像塊200的邊界由參考224指示。在圖6中，相機202的視軸218與車輛的方向中心軸一致，所述方向中心軸又與道路的車道標記對應。導航系統(tǒng)及類似系統(tǒng) 所必需的屬性的集合以及其位置精確度需要經(jīng)正射校正的圖像塊的預界定最小分辨率。這 些要求限制水平平面中可從源圖像獲得的部分。相機焦點208相對于水平平面的位置與所 述水平平面的區(qū)域的界線之間的最大距離206確定所述最小分辨率。此外，實際上，最大距 離206可由行駛于特定道路上時兩輛車之間的最小距離限制。通過如此限定最大距離，其 具有以下優(yōu)點在大多數(shù)情況下，經(jīng)經(jīng)正射校正的圖像塊中的道路表面不包括在移動測繪 車輛前方行駛的汽車的背部。此外，最大距離206與最小距離204之間的差確定相機對圖 像的連續(xù)記錄之間的最大容許距離。此可界定捕獲幀速率且可限制車輛的最大行駛速度。 水平平面的矩形對應于源圖像中大致具有梯形形式的區(qū)域。從圖6中可看到，所述最小距 離及視角α確定經(jīng)正射校正的圖像塊200是否包括在源圖像中不具有對應區(qū)域的小區(qū)域 210。經(jīng)正射校正的圖像塊200為虛線正方形且小區(qū)域210為切去200所指示的虛線正方 形的合攏拐角的小三角形。在一實施例中，經(jīng)正射校正的圖像塊200對應于16m寬度220及16m長度222的 區(qū)域。在每8米捕獲圖像的情況下，可在兩個相繼圖像中看到99%的道路表面。對于寬于 16m的道路，必須使用前視相機及側(cè)視相機來產(chǎn)生所述道路寬度的經(jīng)正射校正的圖像塊。從 由側(cè)視相機捕獲的圖像中檢索無法從由前視相機捕獲的圖像中檢索的道路部分。側(cè)視相機 可以是具有相對于車輛方向的傾斜視軸或垂直視軸的任一相機。經(jīng)正射校正的圖像塊200 現(xiàn)在為從前視相機及側(cè)視相機獲得的經(jīng)正射校正的圖像的鑲嵌圖。對于所述經(jīng)正射校正的 圖片的進一步處理，具有呈矩形形式的經(jīng)正射校正的圖像塊是有利的。將對經(jīng)正射校正的 圖像塊的在源圖像中不具有相關聯(lián)像素的像素賦予預界定色彩值。預界定色彩值的實例為 對應于非現(xiàn)有道路表面色彩的色彩或通常將不存在或幾乎不存在于源圖像中的值。此減小 經(jīng)正射校正的圖像塊的進一步處理中的誤差的可能性。
在轉(zhuǎn)換源圖像以獲得每一像素216(具有距視軸的距離214及距焦點208的距離 204)的經(jīng)正射校正的圖像塊的實施例中，借助更詳細地描述于未公開的專利申請案PCT/ NL2006/050252中的幾何結(jié)構(gòu)確定源圖像中的對應位置，所述未公開的專利申請案以引用 的方式并入本文中。應注意，在將源圖像轉(zhuǎn)換成經(jīng)正射校正的圖像時，分辨率(每一像素所 表示的物理大小)被改變(使其更大)。通過對源圖像中的相關聯(lián)像素的色彩值求平均以 獲得經(jīng)正射校正的圖像的像素的色彩值來完成大小增加。所述求平均具有對道路表面色彩 樣本進行聚類且減少過程內(nèi)的噪聲的效應。將每一經(jīng)正射校正的圖像與相關聯(lián)位置和定向數(shù)據(jù)一起存儲。借助坐標參考系統(tǒng) 中的位置和定向，界定經(jīng)正射校正的圖像的每一像素的地理位置。所述位置和定向數(shù)據(jù)使 處理器能夠疊加經(jīng)正射校正的圖像以獲得更大的經(jīng)正射校正的圖像或經(jīng)正射校正的鑲嵌 圖。圖7顯示道路段的經(jīng)正射校正的圖像，其已通過疊加5個經(jīng)正射校正的圖像702···710 而獲得。所述疊加可基于相應經(jīng)正射校正的圖像塊的元數(shù)據(jù)。每一經(jīng)正射校正的圖像塊的 元數(shù)據(jù)是從位置確定功能導出的，包含來自移動車輛的地理位置、移動車輛的行駛方向或 定向、移動車輛上的相機的位置及移動車輛上的相機的定向。將用以導出經(jīng)正射校正的圖 像塊的地理位置的參數(shù)存儲為與源圖像相關聯(lián)的位置和定向數(shù)據(jù)?？赏ㄟ^對重疊像素的像 素值求平均或通過選擇所述重疊像素中的一者的值來獲得重疊區(qū)域712中的像素值。在一 實施例中，從圖像中選擇像素值，在所述圖像中對應于一像素的地理位置之間的距離最接近于捕獲所述圖像的相機的地理位置。以此方式，保存道路段的組合的經(jīng)正射校正的圖像 中的最佳分辨率。圖7進一步顯示對應于道路表面的左側(cè)及右側(cè)的線714、716。可通過未公開的國際專利申請案PCT/NL2007/050159中所揭示的方法檢測這些側(cè)，所述專利申請案以引用的 方式并入本文中。使用對道路表面的左側(cè)及右側(cè)的檢測來減少經(jīng)處理用于找到水平車道信 息的像素的數(shù)目。圖7顯示兩車道車行道及側(cè)空間。可通過處理從一個前視相機獲得的圖 像來獲得圖7。為獲得五個車道的車行道，需要多于一個相機?？赏ㄟ^處理由一個或兩個前 視相機及兩個側(cè)視相機產(chǎn)生的圖像序列來獲得五個車道的車行道的經(jīng)正射校正的鑲嵌圖。圖7在道路段的中間顯示具有類似于虛線的色彩值的色彩值的小區(qū)域。將要使用 的濾波器的選定大小將確定將在經(jīng)濾波的圖像中移除還是強調(diào)所述小區(qū)域。圖8顯示不對稱濾波的過程的實例性實施例的流程圖。圖8及9中的濾波器掩 模的大小僅出于解釋原因而選擇。所屬領域的技術人員將根據(jù)情形及要求來選擇適合大 小。所述過程的輸入為道路段的經(jīng)正射校正的圖像902與相關聯(lián)位置和定向數(shù)據(jù)及界定所 述道路段的方向的數(shù)據(jù)904。經(jīng)正射校正的圖像902表示道路的大致筆直部分。所述道路 可在經(jīng)正射校正的圖像902中具有任何的任意定向和位置。界定所述道路段的方向的數(shù)據(jù) 904描述所述道路在預界定坐標系統(tǒng)中的地理位置和定向。通過將與所述經(jīng)正射校正的圖 像相關聯(lián)的位置和定向數(shù)據(jù)與數(shù)據(jù)904組合，可將所述經(jīng)正射校正的圖像變換成經(jīng)變換的 圖像908，其中所述道路的方向平行于像素列。所述變換過程由過程塊906指示。所述變換 過程對所述經(jīng)正射校正的圖像執(zhí)行至少旋轉(zhuǎn)功能。在所述經(jīng)正射校正的圖像的分辨率在圖 像之間變化的情況下，所述變換過程進一步包括比例縮放功能，其使變換功能能夠獲得均 具有相同分辨率的經(jīng)變換的圖像。此外，所述變換過程計算相關聯(lián)位置和定向數(shù)據(jù)。所述 相關聯(lián)位置和定向數(shù)據(jù)界定所述圖像中像素的位置與對應地理位置之間的關系。此使我們 能夠針對所述經(jīng)變換的圖像中的已辨識車道信息確定所述車道信息的真實尺寸及位置。借 助所述變換過程，獲得正規(guī)化的經(jīng)正射校正的圖像與對應位置和定向數(shù)據(jù)。所述經(jīng)變換的圖像具有通常為有噪聲的數(shù)據(jù)，這不僅是由于相機的噪聲且還由于 顯現(xiàn)于道路表面上的擦痕及斑點。如此，從圖像中提取車道信息相對困難，尤其在并不知道 圖像中道路的方向時。通常，借助具有對稱濾波器掩模或二維窗口的濾波器對此類圖像進行濾波。濾波 器基于特定功能將一個圖像變換成另一圖像。此功能針對輸入圖像的每一像素在作為相鄰 像素值的組合而計算的新圖像中輸出對應像素的值。所考慮到的相鄰像素形成所謂的濾波 器掩模。對稱濾波器掩模具有以下優(yōu)點對圖像執(zhí)行的濾波功能在水平及垂直方向上為等 效的。具有對稱濾波器掩模的濾波器在用于改進圖像的圖像處理中極為有用，其中并不知 道對象的定向。改進的實例為修飾將要辨識的對象的特征(例如，圖像中對象的邊緣)、使 噪聲平滑等等。所屬領域的技術人員普遍已知對稱形態(tài)濾波器。形態(tài)濾波器將廣泛范圍的 算子提供給圖像處理，所有算子均基于來自集論的幾個簡單數(shù)學概念。所述算子對于二進 制圖像的分析尤其有用且常見用途包含邊緣檢測、噪聲移除、圖像增強及圖像分段。一些類 型的形態(tài)濾波器為膨脹、腐蝕、開運算、閉運算。由于已知將要辨識的對象的定向，即平行于像素列，因此可在從圖像中辨識所需 信息之前使用不對稱濾波器對所述圖像進行濾波。不對稱濾波為在實際特征檢測或辨識步驟之前應用的數(shù)據(jù)準備或數(shù)據(jù)調(diào)整步驟。對于車道信息辨識的實施方案，使用濾波器來放 大所需信息并減少相同時間中的噪聲?？赏ㄟ^(例如)霍夫變換來辨識經(jīng)濾波的圖像中根 據(jù)車道信息的線。將經(jīng)變換的圖像908供應到水平濾波器910以獲得水平經(jīng)濾波的圖像。水平濾波 器為具有不對稱濾波器掩?；蛞痪S窗口的濾波器，其中所述掩?；虼翱谠谝幌袼匦兄袃H囊 括三個或三個以上相鄰像素。所述水平濾波器可具有如圖9中所示的濾波器掩模912。濾 波器掩模912具有對應于一像素行中的5個相鄰像素的窗口。當借助濾波器掩模912計算 輸出值時，將把所述值指派給相關聯(lián)水平經(jīng)濾波的圖像中的像素952。所述水平經(jīng)濾波的圖 像中像素952的位置類似于經(jīng)變換的圖像中的位置。因此，將把所述輸出值指派給由水平 濾波器掩模912界定的窗口的中間的像素。在一實施例中，所述水平濾波器為最大濾波器。 最大濾波器為其中輸出值對應于根據(jù)所述掩模具有最大值的像素的值的濾波器。在一實施 例中，所述最大值對應于具有RGB值的像素值，所述RGB值對應于最高亮度。用以針對輸入圖像的像素執(zhí)行最大濾波的算法可描述如下-針對掩模中的每一像素根據(jù)RGB值計算亮度，
-在所述掩模中找到具有最高亮度的像素，-檢索對應于最高像素的RGB值，及
-將RGB值指派給濾波器的輸出。此濾波器應用于整個圖像的所有像素。水平濾波器910對應于具有結(jié)構(gòu)化元件的濾波器，所述結(jié)構(gòu)化元件擴大沿垂直于 車輛行駛方向的方向的線的寬度。結(jié)構(gòu)化元件為表示像素的小格柵且應用到圖像以改變圖 像內(nèi)容的結(jié)構(gòu)。接下來，將水平經(jīng)濾波的圖像供應給第一垂直濾波器914以獲得垂直經(jīng)濾波的圖 像。垂直濾波器為具有不對稱濾波器掩?；蛞痪S窗口的濾波器，其中所述掩?；虼翱谠谝?像素列中僅囊括三個或三個以上相鄰像素。第一垂直濾波器914可具有如圖9中所示的濾 波器掩模916。濾波器掩模916具有對應于一像素列中的5個相鄰像素的窗口。借助濾波 器掩模916，將針對對應于由垂直濾波器掩模916覆蓋的窗口中的像素的像素956產(chǎn)生一 值。在一實施例中，所述第一垂直濾波器為最小濾波器。最小濾波器為其中輸出值對應于 根據(jù)所述掩模具有最小值的像素的值的濾波器。在一實施例中，所述最小值對應于具有RGB 值的像素值，所述RGB值對應于最低亮度或最暗像素。用以針對輸入圖像的像素執(zhí)行最小濾波的算法可描述如下-針對掩模中的每一像素根據(jù)RGB值計算亮度，-在所述掩模中找到具有最低亮度的像素(最暗像素)，-檢索對應于最暗像素的RGB值，及-將RGB值指派給濾波器的輸出。此濾波器應用于整個圖像的所有像素。第一垂直濾波器914對應于具有結(jié)構(gòu)化元件的濾波器，所述結(jié)構(gòu)化元件減小平行 于車輛行駛方向的方向的線的長度。任選地，將從第一垂直濾波器914獲得的垂直經(jīng)濾波的圖像供應到第二垂直濾波 器918以獲得經(jīng)濾波的圖像922。第二垂直濾波器918具有如圖9中所示的濾波器掩模920。所述濾波器掩模920具有對應于一像素列中的5個相鄰像素的窗口。在一實施例中， 第二垂直濾波器918為最大濾波器。第二垂直濾波器918對應于具有結(jié)構(gòu)化元件的濾波器，所述結(jié)構(gòu)化元件擴大平行于車輛行駛方向的方向的線的長度?？蓪λ鼋?jīng)變換的圖像應用不對稱濾波器，這是因為已知所述經(jīng)變換的圖像中車 道信息的定向。水平濾波器放大沿所述圖像的水平方向、因此沿一像素行的車道信息的寬 度。在RBG空間中，車道標記具有比道路表面材料亮的色彩。最大濾波器將使車道信息的 寬度伸展m-1個像素，其中m為濾波器掩模的相鄰像素的數(shù)目。舉例來說，具有一個像素的 寬度的垂直線將變?yōu)榫哂衜個像素的垂直線。此外，最大濾波器減少沿所述圖像中的像素 行的噪聲。作為最小濾波器的第一垂直濾波器減少沿行的噪聲且移除具有相對較亮色彩值 但無法表示車道信息的一個或一個以上像素。所述第一垂直濾波器將使車道信息的垂直大 小減小n-1個像素，其中η為濾波器掩模的相鄰像素的數(shù)目。η的值應小于將要檢測的最小 線段的像素中的長度。已發(fā)現(xiàn)，介于10到25個像素的范圍中的η值極適于對具有8x 8cm 的像素大小的圖像中具有3m長度的虛線進行濾波。如果η具有大于圖7中所示的道路段的中間的小區(qū)域的像素中的最大垂直長度的 值，那么將移除所述小區(qū)域。圖7中的虛線的線寬度為2個像素。所述小區(qū)域的長度為8 到9個像素。因此，在η = 10的情況下，將移除所述小區(qū)域。任選地，作為最大濾波器的第二垂直濾波器進一步減少噪聲且還在濾波器掩模的 大小類似于所述第一垂直濾波器的大小的情況下恢復車道信息的垂直大小。如果必須精確 地確定車道信息的長度，那么此選項為必需的。借助水平濾波器910及第一垂直濾波器912，獲得經(jīng)濾波的圖像，其中可精確地確 定平行于(例如)由車輛的軌跡或中心線界定的道路方向的車道信息的位置。通過借助不 對稱濾波器掩模進行濾波所獲得的經(jīng)濾波的圖像極適于車道信息的進一步辨識。車道信息 的寬度被擴大，而車道信息的中心線的位置保持不變。此外，車道信息及道路表面為噪聲減 少的，而不丟失重要信息。為精確地確定車道信息(例如虛線的個別線)的長度，所述第一垂直濾波器的濾 波器掩模的大小應類似于所述第二垂直濾波器的大小。然而，通過知道第一垂直濾波器914 的大小，可相應地校正從所述第一垂直濾波器的輸出圖像中導出的車道信息的長度。類似 地，可通過校正在獨立于水平濾波器的大小的經(jīng)濾波的圖像中找到的寬度來找到車道信息 的寬度。所述第一垂直濾波器的掩模的相鄰像素的數(shù)目m應小于經(jīng)變換的圖像中我們正 在尋找的線段。否則，將錯誤地移除車道信息。所述水平濾波器的掩模的相鄰像素的數(shù)目η取決于所述第一垂直濾波器的大小 及道路方向相對于將要檢測的車道信息的方向的偏差?？墒褂靡苿訙y繪車輛的軌跡作為對 道路方向的估計。然而，如果車輛改變車道，那么所述車輛的方向?qū)⑴c道路的真實方向有偏 差。所述偏差將導致經(jīng)正射校正的圖像的不正當?shù)淖儞Q，其意指不正當?shù)男D(zhuǎn)。車道信息 將不平行于像素列，而將具有對應于所述偏差的角度。以下方程式界定η與m之間的關系
其中m為所述水平濾波器的掩模的像素的數(shù)目的大小，w為將要檢測的車道信息的經(jīng)變換的圖像中的像素中的最小寬度，η為所述第一垂直濾波器的掩模的像素的數(shù)目的大小，且angle_of_vehicle(以度為單位)為汽車的前進方向與道路的實際方向之間的最
大角度差。在一實施例中，應用以下值n = 10、w = 3且m = 4。這些參數(shù)值允許高達30. 9 度的angle_0f_vehiCle。筆直行駛車輛的angle_0f_vehiCle通常在5度內(nèi)。突然車道改 變的angle_of_vehicle可高達9度?？汕宄氖牵琣ngle_of_vehicle的值n、w及m取決 于經(jīng)變換的圖像的水平及垂直分辨率。以上方程式描述最大容許angle_of_vehicle。所述angle_of_vehicle將對應于 變換中的車道信息相對于像素列的角度。當車輛正在道路曲線上行駛時，在經(jīng)變換的圖像 中車道標記的第一像素及最后一個像素也將具有相對于像素列的角度。因此，也可使用以 上方程式針對預定最大曲率量確定m及η的最優(yōu)值。所屬領域的技術人員可選擇值m及η 以針對所遇到的關于車輛角度及曲率量的條件優(yōu)化濾波過程。如果不符合以上方程式，那么可將線分成多于一個段或可錯誤地減小線的長度。 對于所屬領域的技術人員，進一步顯而易見的是，m應小于兩條平行線之間的像素的最小數(shù) 目。否則，所述兩條線將接合且視為一條線。圖10顯示道路段的經(jīng)濾波的圖像。所述道路段具有類似于圖7中所示的道路段 的分辨率。圖10顯示虛線車道分隔帶1002及分別為1006、1004的左路邊實線及右路邊實 線?？煽吹?，不對稱水平及垂直濾波器放大車道信息的寬度。此外，經(jīng)濾波的圖像中的像素 噪聲得以減少。圖10中所示的經(jīng)濾波的圖像應用于線辨識方法。為減少誤檢測的數(shù)目，經(jīng)濾波的 圖像中用于辨識車道信息的區(qū)域可限定于道路表面的左側(cè)及右側(cè)1010、1008的位置。由于 車道信息僅在道路表面上，因此可舍棄所述道路表面之外的圖像區(qū)域?？赏ㄟ^未公開的國 際專利申請案PCT/NL2007/050159中所揭示的方法確定道路表面的左側(cè)及右側(cè)。用以檢測 車道信息的簡單模式匹配算法可用作具有嚴格形狀的線。在本申請案中，模式辨識算法僅 搜索兩種類型的模式即足夠?qū)嵕€及作為虛線的部分的矩形。此外，可考慮到線的色彩以 確定線的類型。圖11顯像圖10中所示的經(jīng)濾波的圖像中所存在的特征的區(qū)域。由于可在 對所述經(jīng)濾波的圖像進行分析之前確定道路的左側(cè)及右側(cè)的位置，因此可封閉路邊不予分 析。因此，圖10的右側(cè)處的白色斑點不被辨識為車道信息。以上所描述的實施例均使用經(jīng)正射校正的圖像，對所述經(jīng)正射校正的圖像執(zhí)行了 變換及不對稱濾波?？扇菀椎亟M合經(jīng)正射校正的圖像以獲得(舉例來說)道路段或具有 多于五個車道的道路的經(jīng)正射校正的鑲嵌圖。應注意，不是從源圖像中產(chǎn)生16mxl6m的經(jīng) 正射校正的圖像，而是改為可產(chǎn)生俯視像。俯視像為其中每一像素是在一個點中 從上面看到的圖像。具有垂直于地球表面的視軸的相機將提供俯視像。借助根據(jù)本發(fā) 明的方法對俯視像的處理將提供極適于對車道信息進行辨識的經(jīng)濾波的圖像。通過知道所使用的投影，可從經(jīng)不對稱濾波的俯視像中精確地導出車道信息的地理參考的位置。如上所述，可使用航攝或衛(wèi)星經(jīng)正射校正的圖像來產(chǎn)生車道信息?，F(xiàn)在，對必須確 定其車道信息的道路進行取樣。每一樣本均具有坐標參考系統(tǒng)中的位置和定向。針對每一 樣本，首先將對應于所述像素周圍的區(qū)域(例如20mx20m)的航攝或衛(wèi)星圖像的像素變換成 其中經(jīng)變換的圖像的每一像素列對應于平行于所述道路的方向的表面的圖像。隨后，對所 述經(jīng)變換的圖像進行不對稱濾波。應進一步注意，如移動測繪車輛中所收集的圖像無需出于應用不對稱濾波器的目 的或甚至對于車道辨識步驟而為地理參考的。相機被安裝于車輛上。因此，已知所述相機 相對于行駛方向的定向。此允許我們在無地理參考的位置和定向數(shù)據(jù)的情況下產(chǎn)生經(jīng)濾波 的圖像并檢測所述圖像中的特征。慣性導航系統(tǒng)(INS)使我們能夠針對每一所檢測特征導 出坐標參考系統(tǒng)中的相對位置信息。某一形式的地理參考需要足夠精確度以將所檢測車道 信息匹配到地圖數(shù)據(jù)庫中的恰當?shù)缆?。所屬技術中已熟知此地理參考及地圖匹配。還應進一步注意，對于航攝及衛(wèi)星圖像需要足夠精確度的地理參考，使得可使用 來自適當?shù)缆返牡缆肺恢煤投ㄏ虼_定在圖像上的何處及以何種定向應用根據(jù)本發(fā)明的方 法且接著使所產(chǎn)生的車道信息相關聯(lián)回到地圖數(shù)據(jù)庫中的恰當?shù)缆贰?本發(fā)明研究對應于道路的預選長度的圖像塊。從由移動測繪車輛拍攝的圖像中， 可產(chǎn)生具有道路的16m長度的圖像。極為彎曲的道路是具有高達IOOm的半徑的道路。在 所顯示的汽車前方的16米中，此一彎曲車道標記的弧在起點與終點之間將具有10度偏差。 然而，所應用的不對稱濾波器應大至足以消除假定噪聲級但應始終小至不足以消除我們正 在尋找的車道標記。我們正在尋找的最小車道標記為虛線。虛線通常為3m長。因此，濾波 器的大小在真實世界坐標中應小于3m。在適合實施例中，第一垂直濾波器的大小為25個像 素。對于8x8cm的像素大小，此對應于具有2m長度的濾波器。在2m內(nèi)的弧的偏差將僅變 化1到2個像素。當對彎曲道路使用根據(jù)本發(fā)明的方法時，此偏差不會引入問題。類似地，車道改變不會引入問題。當以40km/h的速度行駛且在2秒內(nèi)改變車道 (此為極快速的)時，車輛向前移動25m且側(cè)向移動4m。此對應于與道路方向的9度偏差。如上所描述，可通過根據(jù)本發(fā)明的方法處理道路段(例如)的經(jīng)正射校正的圖像。 將已辨識的道路信息連同其類型及位置以及尺寸(如果有必要的話)一起存儲于數(shù)據(jù)庫中 以供在數(shù)字地圖數(shù)據(jù)庫中使用?？蓮呐c經(jīng)變換的圖像相關聯(lián)的位置和定向數(shù)據(jù)導出車道信 息的地理位置。所述位置可以預界定坐標系統(tǒng)中的地理位置的形式而為絕對位置或相對于 車輛的軌跡或從數(shù)據(jù)庫獲得的道路的位置而為相對位置。使用來自數(shù)據(jù)庫的道路的所述位 置信息來確定所述道路的方向?？墒褂密嚨佬畔⒃趯Ш较到y(tǒng)中產(chǎn)生道路表面的較現(xiàn)實的視 圖。舉例來說，可顯像道路從(例如)三個車道到兩個車道的變窄。此外，車道信息可極適 用于確定(例如)非泊車/停車區(qū)域及其中禁止超過其它汽車的道路段。此外，隨著導航 變得更精確，車道內(nèi)車輛的位置可變?yōu)橛糜诎踩珣靡约案毞较蛱崾镜南到y(tǒng)的一部分 (移到左車道以便于你即將來臨的轉(zhuǎn)彎)。不用說，車道標記及連續(xù)車道位置的此精確檢測還使所述系統(tǒng)能夠自動確定車道 的數(shù)目及車道的寬度。此可通過在經(jīng)濾波的圖像中搜索兩條或兩條以上平行實線或虛線來 完成。隨后，可容易地導出車道的數(shù)目。此外，可依據(jù)與一個或一個以上源圖像相關聯(lián)的位置和定向數(shù)據(jù)計算對應車道的寬度?？勺詣訄?zhí)行以上所描述的方法?？赡馨l(fā)生，圖像的質(zhì)量使得執(zhí)行本發(fā)明的圖像處 理工具及對象辨識工具需要某一校正。舉例來說，可針對沿道路的不連續(xù)性對連續(xù)道路段 的車道信息進行分析。舉例來說，一對連續(xù)道路段可具有沿道路的不同位置及/或類型信 息。在所述情況下，人們可審查對應經(jīng)變換的圖像或經(jīng)正射校正的圖像?，F(xiàn)在，所述方法包 含一些檢驗及手動調(diào)適動作以實現(xiàn)確認或調(diào)適中間結(jié)果的可能性。這些動作還可適于接受 車道信息產(chǎn)生的中間結(jié)果或最終結(jié)果。通過這些動作，可改進包括車道信息的數(shù)據(jù)庫的質(zhì) 量。通過本發(fā)明產(chǎn)生的車道信息產(chǎn)生每一經(jīng)正射校正的圖像的車道信息并將其存儲 于數(shù)據(jù)庫中?？蛇M一步處理所述車道信息以減少信息量。舉例來說，對應于與道路區(qū)段相 關聯(lián)的圖像的道路信息可減少到所述區(qū)段的道路寬度的一個參數(shù)。此外，如果所述道路區(qū) 段為足夠平滑，那么可通過包含至少所述區(qū)段的終點及形狀點的一組參數(shù)來描述車道分隔 帶。可由多項式的系數(shù)存儲表示所述車道分隔帶的線。或者，對于一組規(guī)則定位的車道，可 以寬度及與中心線的偏離體現(xiàn)車道信息。出于圖解說明及描述目的，已呈現(xiàn)了對本發(fā)明的前述詳細說明。并不打算窮盡列 舉本發(fā)明的形式或?qū)⒈景l(fā)明局限于所揭示的確切形式，且顯然鑒于以上教示內(nèi)容許多修改 及變化均可行。舉例來說，通過改變水平最大濾波器與垂直最大濾波器及垂直最小濾波器 與水平最小濾波器，可產(chǎn)生對應于垂直于道路方向的線的道路標記的道路信息。
此外，可由任一其它種類的不對稱濾波器(例如邊緣檢測濾波器、圖像聚類濾波 器、統(tǒng)計濾波器)替換所述最小及最大濾波器?；谒烙嫷牡缆贩较虻淖儞Q提供經(jīng)變換 的圖像，其中將要檢測的特征具有已知定向，即，車道分隔帶的垂直定向。此使我們能夠使 用僅在對沿一個方向(即，沿像素列的像素行)的圖像進行濾波中有效的濾波器。此與能 夠檢測具有任一定向的圖像中的特征的對稱濾波器相反。因此，在根據(jù)本發(fā)明的方法中可 使用具有濾波器掩模的任一濾波器或濾波器的組合，所述濾波器掩模基于經(jīng)變換的圖像46 中將要檢測的特征的定向。所述圖像中所述特征的已知定向使我們能夠使用與在所述圖像 中并不知道所述特征的定向的情況下必須使用的濾波器相比較不復雜的濾波器。挑選所描述的實施例以便最佳地解釋本發(fā)明的原理及其實際應用，借此使所屬領 域的技術人員能夠在各種實施例中且以適于所涵蓋的特定應用的各種修改來最佳地利用 本發(fā)明。本發(fā)明的范圍打算由所附權(quán)利要求書加以界定。
權(quán)利要求
一種產(chǎn)生供在地圖數(shù)據(jù)庫中使用的車道信息的方法，其包括獲取道路表面的一個或一個以上源圖像及相關聯(lián)位置和定向數(shù)據(jù)，所述道路具有方向及平行于所述道路的所述方向的車道標記；獲取表示所述道路的所述方向的道路信息；依據(jù)所述道路信息變換所述一個或一個以上源圖像以獲得經(jīng)變換的圖像，其中所述經(jīng)變換的圖像的每一像素列對應于平行于所述道路的所述方向的表面；對所述經(jīng)變換的圖像應用具有不對稱掩模的濾波器以獲得經(jīng)濾波的圖像；及，依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)從所述經(jīng)濾波的圖像中產(chǎn)生車道信息。
2.根據(jù)權(quán)利要求1所述的方法，其中從地圖數(shù)據(jù)庫獲得所述道路信息。
3.根據(jù)權(quán)利要求1所述的方法，其中從由安裝于在所述道路上行駛的移動車輛中的定 位確定構(gòu)件產(chǎn)生的追蹤信息獲得所述道路信息。
4.根據(jù)權(quán)利要求1、2及3中任一權(quán)利要求所述的方法，其中所述一個或一個以上源圖 像為航攝或衛(wèi)星圖像。
5.根據(jù)權(quán)利要求4所述的方法，其中所述圖像為經(jīng)正射校正的圖像。
6.根據(jù)權(quán)利要求1、2及3中任一權(quán)利要求所述的方法，其中已通過以下步驟獲得所述 一個或一個以上源圖像檢索借助安裝于在所述道路上行駛的移動車輛上的一個或一個以上基于陸地的相機 獲得的一個或一個以上圖像序列及相關聯(lián)位置和定向數(shù)據(jù)；及，對所述一個或一個以上圖像序列執(zhí)行正規(guī)化過程以獲得所述一個或一個以上圖像及 與所述一個或一個以上圖像相關聯(lián)的位置和定向數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，其中所述一個或一個以上相機包含具有沿所述移動車 輛的行駛方向的視軸的至少一個相機。
8.根據(jù)權(quán)利要求6或7所述的方法，其中所述一個或一個以上相機包含具有相對于所 述移動車輛的所述行駛方向的傾斜視軸的至少一個相機。
9.根據(jù)權(quán)利要求6、7或8所述的方法，其中所述一個或一個以上相機包含具有垂直于 所述移動車輛的所述行駛方向的視軸的至少一個相機。
10.根據(jù)權(quán)利要求6到9中任一權(quán)利要求所述的方法，其中所述正規(guī)化過程產(chǎn)生經(jīng)正射 校正的圖像。
11.根據(jù)從屬于權(quán)利要求3的權(quán)利要求6到10中任一權(quán)利要求所述的方法，其中已同 時從由安裝于所述移動車輛中的定位確定構(gòu)件產(chǎn)生的輸出信號中捕獲所述追蹤信息及所 述一個或一個以上圖像序列的相關聯(lián)位置和定向信息。
12.根據(jù)權(quán)利要求1到11中任一權(quán)利要求所述的方法，其中變換包含旋轉(zhuǎn)操作。
13.根據(jù)權(quán)利要求1到12中任一權(quán)利要求所述的方法，其中應用具有不對稱掩模的濾 波器包括首先對所述經(jīng)變換的圖像應用第一濾波器且其次應用第二濾波器，所述第一濾波器具 有擴大沿垂直于所述車輛的所述行駛方向的方向的線的寬度的結(jié)構(gòu)化元件，所述第二濾波 器具有減小沿平行于所述車輛的所述行駛方向的方向的線的長度的結(jié)構(gòu)化元件。
14.根據(jù)權(quán)利要求13所述的方法，其中所述第一濾波器為最大濾波器且所述第二濾波器為最小濾波器。
15.根據(jù)權(quán)利要求13或14所述的方法，其中應用具有不對稱掩模的濾波器進一步包括再次應用第三濾波器，所述第三濾波器具有將沿平行于所述行駛方向的方向的線的長 度擴大到其原始大小的結(jié)構(gòu)化元件。
16.根據(jù)權(quán)利要求15所述的方法，其中所述第三濾波器為最大濾波器。
17.根據(jù)權(quán)利要求1到16中任一權(quán)利要求所述的方法，其中產(chǎn)生車道信息包括 在所述經(jīng)濾波的圖像中搜索實線；及，依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)計算實線的位置。
18.根據(jù)權(quán)利要求1到16中任一權(quán)利要求所述的方法，其中產(chǎn)生車道信息包括 在所述經(jīng)濾波的圖像中搜索矩形；及，依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)計算矩形的位置。
19.根據(jù)權(quán)利要求1到16中任一權(quán)利要求所述的方法，其中產(chǎn)生車道信息包括 在所述經(jīng)濾波的圖像中搜索兩條或兩條以上平行實線或虛線；及，依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)根據(jù)所述兩條或兩 條以上實線或虛線的位置計算車道的寬度。
20.根據(jù)權(quán)利要求1到17中任一權(quán)利要求所述的方法，其中產(chǎn)生車道信息包括 在所述經(jīng)濾波的圖像中搜索兩條或兩條以上平行實線或虛線；及，根據(jù)所述兩條或兩條以上實線或虛線計算車道的數(shù)目。
21.一種用于執(zhí)行根據(jù)權(quán)利要求1到20中任一權(quán)利要求所述的方法的設備，所述設備 包括輸入裝置；處理器可讀存儲媒體；及處理器，其與所述輸入裝置及所述處理器可讀存儲媒體通信； 輸出裝置，其用以實現(xiàn)與顯示單元的連接；所述處理器可讀存儲媒體存儲代碼，所述代碼用以編程所述處理器以執(zhí)行包括以下動 作的方法獲取一個或一個以上源圖像及相關聯(lián)位置和定向數(shù)據(jù)；獲取在道路上行駛的車輛的追蹤信息，所述道路具有平行于所述道路的方向的車道標記；依據(jù)所述追蹤信息變換所述一個或一個以上源圖像以獲得經(jīng)變換的圖像，其中所述經(jīng) 變換的圖像表示所述車輛前方的道路表面且每一像素列對應于平行于所述車輛的行駛方 向的表面；對所述經(jīng)變換的圖像應用具有不對稱掩模的濾波器以獲得經(jīng)濾波的圖像；及， 依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)從所述經(jīng)濾波的圖 像中產(chǎn)生車道信息。
22.一種包括指令的計算機程序產(chǎn)品，所述指令當加載于計算機布置上時允許所述計 算機布置執(zhí)行根據(jù)權(quán)利要求1到20所述的方法中的任一方法。
23.一種攜載計算機程序產(chǎn)品的處理器可讀媒體，所述計算機程序產(chǎn)品當加載于計算機布置上時允許所述計算機布置執(zhí)行根據(jù)權(quán)利要求1到20所述的方法中的任一方法.
全文摘要
本發(fā)明涉及一種產(chǎn)生供在地圖數(shù)據(jù)庫中使用的車道信息的方法。所述方法包括獲取道路表面的一個或一個以上源圖像及相關聯(lián)位置和定向數(shù)據(jù)，所述道路具有方向及平行于所述道路的所述方向的車道標記；獲取表示所述道路的所述方向的道路信息；依據(jù)所述道路信息變換所述一個或一個以上源圖像以獲得經(jīng)變換的圖像，其中所述經(jīng)變換的圖像的每一像素列對應于平行于所述道路的所述方向的表面；對所述經(jīng)變換的圖像應用具有不對稱掩模的濾波器以獲得經(jīng)濾波的圖像；及，依據(jù)與所述一個或一個以上源圖像相關聯(lián)的所述位置和定向數(shù)據(jù)從所述經(jīng)濾波的圖像中產(chǎn)生車道信息。
文檔編號G06T5/00GK101842808SQ200780101342
公開日2010年9月22日 申請日期2007年11月16日 優(yōu)先權(quán)日2007年11月16日
發(fā)明者盧卡什·彼得·塔博羅維斯基, 馬爾欽·米夏爾·克米奇克 申請人:電子地圖有限公司