專利名稱：用于從基于陸地的移動測繪數(shù)據(jù)檢測對象的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種從基于陸地的移動測繪數(shù)據(jù)檢測對象的方法，其中所述基于陸地的 移動測繪數(shù)據(jù)已借助于具有行駛方向的在道路上行駛的基于陸地的移動測繪運載工具 來捕獲，所述移動測繪數(shù)據(jù)包含激光掃描儀數(shù)據(jù)、由至少一個相機(jī)獲得的源圖像以及所 述運載工具的位置和定向數(shù)據(jù)，其中所述激光掃描儀數(shù)據(jù)包含若干激光點，每一激光點 具有相關(guān)聯(lián)的位置和定向數(shù)據(jù)，目.每一源圖像包含相關(guān)聯(lián)的位置和定向數(shù)據(jù)。本發(fā)明進(jìn) 一步涉及一種用丁-從基于陸地的移動測繪數(shù)據(jù)捕獲供地圖數(shù)據(jù)庫中使用的對象的裝置、 一種計算機(jī)程序和一種攜載所述計算機(jī)程序的處理器可讀媒體。
技術(shù)背景需要為導(dǎo)航系統(tǒng)和類似系統(tǒng)中所使用的數(shù)字地圖數(shù)據(jù)庫收集大量"垂直"道路信息， 例如道路標(biāo)志、速度限制、方向路標(biāo)、公告牌等。術(shù)語"垂直"指示道路信息的信息平 面人體上平行于重力向量。"垂直道路信息"的特征在于，它們大體上是平面的?，F(xiàn)今， 可通過分析并解釋移動收集裝置所收集到的垂直圖片圖像和其它數(shù)據(jù)來獲得垂直道路 信息。作為基f陸地的運載工具的移動測繪運載工具(例如汽車或貨車)用于收集移動 測繪數(shù)據(jù)以增強(qiáng)數(shù)字地圖數(shù)據(jù)庫。增強(qiáng)的實例是交通標(biāo)志、道路標(biāo)志、交通燈、展示街 道名稱的街道標(biāo)志等的位置?？蓪⑦@些對象的地理空間位置添加到地圖數(shù)據(jù)庫，這些對 象在圖像內(nèi)的位置還可進(jìn) 一 步用于提取所述標(biāo)志上所呈現(xiàn)的信息。移動測繪運載工具具有許多相機(jī)，其中一些是立體照相的。所述相機(jī)由于貨車隨車 攜帶精確G P S以及其它位置和定向確定裝各而被準(zhǔn)確地地理定位。在沿道路網(wǎng)絡(luò)行駛的 同時，捕獲圖像序列。移動測繪運載工具記錄對象(例如，建筑物或道路表面)的一個以上圖像序列，且 針對圖像序列的每一圖像，連同所述圖像序列的定向數(shù)據(jù)一起準(zhǔn)確地確定地理位置。具 有對應(yīng)地理位置信息的圖像序列將被稱為經(jīng)地理編碼的圖像序列。也可同時地且以類似 的地理編碼方式通過其它傳感器收集其它數(shù)據(jù)。舉例來說，激光掃描儀可用于收集激光 掃描儀數(shù)據(jù)。高分辨率激光掃描儀提供這樣的激光掃描儀數(shù)據(jù)其使得工程師能夠自動 地從所述激光掃描儀數(shù)據(jù)中檢測對象。高分辨率激光掃描儀具有0.1度的沿掃描平面的分辨率和300 Hz的掃描頻率。然而，高分辨率激光掃描儀是昂貴的，這阻止其在常見陸地測量中的使用。由于大量數(shù)據(jù)要處理的緣故，所以圖像序列的分析是非常耗時的且花費許多處理功 率。此外，高分辨率激光掃描儀數(shù)據(jù)僅適合于通過形式、形狀或位置來檢測對象。 發(fā)明內(nèi)容本發(fā)明設(shè)法提供-1巾自動地從基于陸地的移動測繪數(shù)據(jù)檢測對象的經(jīng)改進(jìn)方法，所 述移動測繪數(shù)據(jù)包括可由低分辨率激光掃描儀裝置獲得的激光掃描儀數(shù)據(jù)。 根據(jù)本發(fā)明，所述方法包含 檢索運載工具的位置和定向；依據(jù)運載工具的位置和定向而過濾激光掃描儀數(shù)據(jù)，以獲得對應(yīng)于關(guān)注區(qū)的激光點；檢索與運載工具的位置和定向相關(guān)聯(lián)的源圖像；將對應(yīng)亍關(guān)注區(qū)的激光點映射到源圖像的圖像坐標(biāo)，以產(chǎn)生辨識掩模； 將辨識掩模與源圖像進(jìn)行組合，以獲得表示所述關(guān)注區(qū)的候選3D圖像；以及 從所述候選3D圖像檢測對象群組。本發(fā)明基于以卜.認(rèn)識由數(shù)碼相機(jī)拍攝的圖像的像素的顏色對應(yīng)于在相機(jī)的直接視 野中的^ -雖近表liu點的顏色，EL來自激光掃描儀裝置的激光數(shù)據(jù)對應(yīng)于激光掃描儀裝 置與反射激光束的表面點之間的距離。通常，當(dāng)今相機(jī)中所使用的透鏡具有數(shù)種分辨率 和焦距，其以約0.01到0.1度每像素的角分辨率拍攝圖片。針對其所指向的每一方向， 激光掃描儀裝置檢測并訃算激光掃描儀裝置與障礙物的反射激光束的表面點之間的距 離。本發(fā)明的激光掃描儀裝置的角分辨率為約1度。數(shù)碼相機(jī)的輸出(像素的顏色)和 激光掃描儀裝置的輸出(激光掃描儀與表面點之間的距離)兩者已經(jīng)由表面點與傳感器 之間的最短路徑來測量。因此，可組合所述輸出以通過考慮由激光掃描儀裝置獲得的相 應(yīng)像素的3維(3D)位置信息來改進(jìn)對源圖像中的對象的辨識?？蓮募す鈷呙鑳x數(shù)據(jù)形 成所捕獲表面的3D表示。移動測繪運載工具所捕獲的圖像和激光數(shù)據(jù)包含坐標(biāo)參考系 中的相關(guān)聯(lián)的位置和定向數(shù)據(jù)兩者。這使得我們能夠從已在不同吋刻拍攝的個別激光點 產(chǎn)生運載工具正在上面行駛的道路的環(huán)境的3D表示。因為相機(jī)和選定激光點的位置和 定向使用同一坐標(biāo)參考系。所以選定激光點可借助于三角法而投影在圖像的坐標(biāo)系上。 以此方式，3D激光掃描儀點可投影到圖像空間。此外，道路標(biāo)志、速度限制、交通燈、 方向路標(biāo)等應(yīng)11J從道路看到tl在預(yù)定義的道路廊道內(nèi)。預(yù)定義的道路廊道界定激光數(shù)據(jù) 屮的關(guān)注區(qū)。所述關(guān)注區(qū)可通過從激光掃描儀數(shù)據(jù)排除肯定不能關(guān)聯(lián)到關(guān)注對象的激光掃描儀樣本來獲得。關(guān)注對象可為道路標(biāo)志、交通燈、方向路標(biāo)、公告牌等。舉例來說， 道路標(biāo)志始終至少在地面上方0.5 m到6 m之間。此外，相對于數(shù)碼相機(jī)的位置，可認(rèn) 為關(guān)注對象始終位十相機(jī)左側(cè)和右側(cè)10m處，且為了識別源圖像中的道路標(biāo)志的類型， 道路標(biāo)志必須位于相機(jī)前方0.5到30m內(nèi)。此認(rèn)知使得我們能夠?qū)⑦^濾器界定為僅從激 光掃描儀數(shù)據(jù)選擇可能對應(yīng)于我們正在尋找的對象的激光點。所述過濾減少了待進(jìn)一步 處理的激光點的量。通過識別源圖像中的關(guān)注區(qū)，可極大地減少待分析以辨識對象的圖 像數(shù)據(jù)的量。過濾激光數(shù)據(jù)和僅分析圖像中對應(yīng)于關(guān)注區(qū)的像素兩者減少了用以處理在 移動測繪吋間期間所捕獲的所有數(shù)據(jù)的時間。此外，激光掃描儀數(shù)據(jù)可用于分割源圖像， 其中每一片段對應(yīng)于一鄰接或流暢表面。這改進(jìn)了辨識過程且降低了對象被錯誤地檢測 的可能性。在木發(fā)明的另一實施例中，組合包含依據(jù)辨識掩模而分割源圖像，以獲得中間候選圖像；將對應(yīng)于關(guān)注區(qū)的激光點的深度信息添加到所述中間候選圖像的對應(yīng)像素，以獲得 候選3D圖像。這匙特征使得我們能夠非常高效地處理源圖像。所述源圖像被分裂成多個圖像，所 述多個圖像只.有非常有限量的像素且包含深度信息。借助于深度信息，可非常高效地將 所述候選3D圖像按比例縮放到真實世界大小。此外，深度信息使得我們能夠計算所述 候選3 D圖像所表小的對象的真實世界大小。在本發(fā)明的另--實施例中，檢測包含針對每一候選3D圖像依據(jù)所述深度信息而確定候選3D圖像的大小和形狀；如果大小和形狀是根據(jù)預(yù)定義值的，那么依據(jù)深度信息而確定所述候選3D圖像表 面的深度一致性；如果候選3D圖像表面是深度-'致的，那么依據(jù)深度信息而確定候選3D圖像與行 駛方向的垂直性；如果候選3D圖像表面不是深度一致的，那么依據(jù)前一源圖像而確定候選3D圖像 與行駛方向的垂直性；依據(jù)與對象群組的垂直性而添加候選3D圖像。這些特征使得實踐本發(fā)明的工程師能夠非常高效地確定候選3D圖像是否對應(yīng)于道路標(biāo)志。在本發(fā)明的另-^實施例中，過濾包含依據(jù)行駛方向和激光掃描儀數(shù)據(jù)的局部深度 一 致性而選擇關(guān)注區(qū)中對應(yīng)丁-表面的8激光點；丑組合包含依據(jù)辨識掩模而分割源圖像，以獲得中間候選圖像；將對應(yīng)十與所述表面對應(yīng)的激光點的深度信息添加到所述中間候選圖像的對應(yīng)像 素，以獲得候選3D圖像。這些特征使得我們能夠在非常早的階段中確定激光樣本簇是 否對應(yīng)于關(guān)注對象，這導(dǎo)致被處理的激光點進(jìn)一步減少。這隨后減少了中間圖像的量。 這尤其是通過考慮關(guān)注對象的表面相對于運載工具行駛方向的垂直性來實現(xiàn)的。運載工 具的行駛方向充當(dāng)對道路方向的近似表示。計算工作被進(jìn)一步減少，因為一片段包含有 限量的像素，片段數(shù)S被減少，且不必執(zhí)行任何對中間圖像所表示的對象的定向的檢驗。在本發(fā)明的另一實施例中，檢測包含針對每一候選3D圖像依據(jù)所述深度信息而確定候選3D圖像的大小和形狀；依據(jù)大小和形狀而將候選3D圖像添加到對象群組。此特征使得實踐木發(fā)明的工程 師能夠高效地按比例縮放候選3D圖像以獲得所述對象的真實世界大小和形狀。隨后， 測量所述形狀，且僅將具有對應(yīng)形狀和大小的候選3D圖像添加到對象群組，所述群組 可存儲在數(shù)據(jù)庫中。在一實施例中，僅檢測具有平坦表面的對象。在本發(fā)明的另一實施例中，所述方法包含所述方法包含 檢索運載工具的位置和定向；依據(jù)運載工具的位置和定向而過濾激光掃描儀數(shù)據(jù)以獲得對應(yīng)于獲得第一關(guān)注區(qū)的激光點；檢索與運載工具的位置和定向相關(guān)聯(lián)的源圖像；將對應(yīng)于第一關(guān)注區(qū)的激光點映射到源圖像的圖像坐標(biāo)，以產(chǎn)生第一辨識掩模； 將第一辨識掩模與源圖像進(jìn)行組合，以獲得表示第一關(guān)注區(qū)的第一候選3D圖像； 依據(jù)行駛方向rffj從第1義選3D圖像檢測第-對象群組；依據(jù)運載「具的位置和定向以及激光掃描儀數(shù)據(jù)的局部深度一致性而過濾激光掃描儀數(shù)據(jù)，以獲得對應(yīng)于第二關(guān)注區(qū)的激光點將對應(yīng)于第二關(guān)注區(qū)的激光點映射到源圖像的圖像坐標(biāo)，以產(chǎn)生第二辨識掩模； 將第二辨識掩模與源圖像進(jìn)行組合，以獲得表示第二關(guān)注區(qū)的第二候選3D圖像；從第二候選3D圖像檢測第二對象群組；以及將第一和第二對象群組進(jìn)行組合。此實施例使得我們能夠改進(jìn)從移動測繪數(shù)據(jù)檢測 對象的速率。本發(fā)明可使用軟件、硬件或軟件與硬件的組合來實施。當(dāng)本發(fā)明的全部或部分以軟說明書第5/19頁
件實施時，所述軟件可駐留在處理器可讀存儲媒體上。適當(dāng)?shù)奶幚砥骺勺x存儲媒體的實例包括軟盤、硬盤、CD ROM、 DVD、存儲器IC等。當(dāng)系統(tǒng)包括硬件時，所述硬件可包括輸出裝置(例如，監(jiān)視器、揚聲器或打印機(jī))、輸入裝置(例如，鍵盤、指點裝置和/或麥克風(fēng))以及與輸出裝置通信的處理器和與處理器通信的處理器可讀存儲媒體。所述處理器可讀存儲媒體存儲能夠?qū)μ幚砥鬟M(jìn)行編程以執(zhí)行用以實施本發(fā)明的動作的代碼。本發(fā)明的過程還可在服務(wù)器上實施，所述服務(wù)器可經(jīng)由電話線或者其它網(wǎng)絡(luò)或因特網(wǎng)連接來接入。


F文將參看附圖使用許多示范性實施例來更詳細(xì)地論述本發(fā)明，在附圖中
圖1展示激光掃描儀數(shù)據(jù)在世界坐標(biāo)巾的表示；
圖2展示與圖1中的表示相關(guān)聯(lián)的圖像；
圖3是根據(jù)本發(fā)明的方法的實施例的流程圖4展示激光點到相機(jī)空間的投影的俯視圖5展示激光點到圖像像素變換；
圖6展示覆蓋有圖1的投影激光點的圖2的圖像；
圖7展示覆蓋有加寬投影的關(guān)注激光點的圖2的圖像；
圖8僅展示圖2的圖像中的關(guān)注區(qū)；
圖9說明對激光掃描儀數(shù)據(jù)的后續(xù)處理步驟的中間結(jié)果；圖IO說明組合本發(fā)明的兩個實施例的優(yōu)點；
圖11說明可用于實施根據(jù)本發(fā)明的方法的計算機(jī)系統(tǒng)的高級框圖；圖12展示具有相機(jī)和激光掃描儀的MMS系統(tǒng)；以及圖13展示位置和定向參數(shù)的圖。
具體實施例方式
圖12展示采取汽車20的形式的MMS系統(tǒng)。汽車20具備一個或一個以上相機(jī)29(i)(i=l、 2、 3、……、I)和一個或一個以上激光掃描儀23①(j=l、 2、 3、……、J)。觀
察角度或所述--個或--個以上相機(jī)29(i)可在相對于汽車21的行駛方向的任何方向上，且因此可為前部觀察相機(jī)、側(cè)部觀察相機(jī)或后部觀察相機(jī)等。相機(jī)29(i)的觀看窗口覆蓋運載工具前方的整個道路表面。優(yōu)選地，汽車21的行駛方向與相機(jī)的觀察角度之間的角度在任-側(cè)t在-45度到45度的范圍內(nèi)。汽車21可由駕駛員沿關(guān)注道路駕駛。
汽車21具備多個輪子22。此外，汽車21具備高準(zhǔn)確度位置確定裝置。如圖12中所示，位置確定裝置包含以下組件
GPS (全球定位系統(tǒng))單元，其連接到天線28,且經(jīng)布置以與多個衛(wèi)星SLi (i=l、2、 3、……)通信并從自衛(wèi)星SLi接收到的信號計算位置信號。所述GPS爭元連接到微處理器uP。 J^于從所述GPS單元接收到的信號，微處理器yP可確定待在汽車1中的監(jiān)視器24上顯示的合適的顯示信號，從而告知駕駛員汽車所在的位置以及可能汽車正行進(jìn)的方向。代替GPS單元，可使用差分GPS單元。差分全球定位系統(tǒng)(DGPS)是全球定位系統(tǒng)(GPS)的增強(qiáng)形式，其使用基于固定地面的參考站的網(wǎng)絡(luò)來廣播衛(wèi)星系統(tǒng)所指示的位置與已知固定位置之間的差異。這些站廣播測量到的衛(wèi)星偽距離與實際(內(nèi)部計算出的)偽距離之問的差異，且接收器站可將其偽距離校正相同量。
DMI (距離測量儀器)。此儀器足通過感測輪子22中的一者或一者以上的旋轉(zhuǎn)數(shù)目來測量汽車21所行進(jìn)的距離的里程表。DMI也連接到微處理器wP以允許微處理器y P在從來自GPS單元的輸出信號計算顯示信^的同時考慮如由DMI測量到的距離。
IMU (慣性測量單元)。此IMU可實施為三個陀螺儀單元，其經(jīng)布置以沿三個正交方向測量旋轉(zhuǎn)加速度和平移加速度。所述IMU也連接到微處理器y P以允許微處理器PP在從來自GPS單元的輸出信號計算顯示信號的同時考慮DMI的測量結(jié)果。IMU還可包含航位推算傳感器。
將注意到，所屬領(lǐng)域的技術(shù)人員可找到全球?qū)Ш叫l(wèi)星系統(tǒng)與車載慣性和航位推算系統(tǒng)的許多組合來提供運載工具且因此裝備(其參考運載工具的參考位置和定向以已知位置和定向安裝)的準(zhǔn)確位置和定向。
如以數(shù)字21展示的系統(tǒng)是所謂的"移動測繪系統(tǒng)"，其例如通過用安裝在汽車21十.的一個或一個以十.相機(jī)29(i)拍攝圖片來收集地理數(shù)據(jù)。相機(jī)29(i)連接到微處理器"P。位于汽車前方的相機(jī)29(i)可為立體相機(jī)。所述相機(jī)可經(jīng)布置以產(chǎn)生圖像序列，其中已經(jīng)以預(yù)定義的幀速率來捕獲圖像。在示范性實施例111，所述相機(jī)屮的'者或者以上為靜止圖片相機(jī)，其經(jīng)布置以在汽車21的每個預(yù)定義位移或每個時間間隔捕獲圖片。相機(jī)29(i)將圖像發(fā)送到y(tǒng) P。在一實施例中，移動測繪運載工具包含三個相機(jī)，即一個前部觀察相機(jī)以及位于每 一 側(cè)的相對于運載工具的航向方向具有在3 0到6 0度范圍內(nèi)且優(yōu)選為45度的觀察軸的相機(jī)。在所述情況下，前部觀察相機(jī)捕獲道路表面上方的尤其適合于檢測道路方向的圖像，且側(cè)部觀察相機(jī)捕獲尤其適合于檢測沿道路的對象(例如道路標(biāo)志)的圖像。
此外，在汽車21正沿關(guān)注道路行駛的同時，激光掃描儀23(j)獲取激光樣本。因此，所述激光樣本包含與同這些關(guān)注道路相關(guān)聯(lián)的環(huán)境有關(guān)的數(shù)據(jù)，且可包括與建筑塊，與樹目、交通標(biāo)志、停放的汽車、人、方向路標(biāo)等有關(guān)的數(shù)據(jù)。激光掃描儀23(j)也連接到微處理器U P，且將這些激光樣本發(fā)送到微處理器H P。
一般希望從所述三個測量單元GPS、 IMU和DMI提供盡可能準(zhǔn)確的位置和定向測量結(jié)果。在相機(jī)29(i)拍攝圖片且激光掃描儀23(i)獲取激光樣本的同時，測量這些位置和定向數(shù)據(jù)。所述圖片和激光樣本兩者結(jié)合汽車21的對應(yīng)位置和定向數(shù)據(jù)而存儲在所述yP的合適存儲器中以供稍后使用，所述位置和定向數(shù)據(jù)在拍攝這些圖片的同時被收集。所述圖片包括例如關(guān)于建筑塊，關(guān)于樹木、交通標(biāo)志、停放的汽車、人、方向路標(biāo)等的視覺佰息。激光掃描儀23G)提供激光掃描儀點云，其足夠密集以在沿道路信息(例如建筑塊、樹木、交通標(biāo)志、停放的汽車、人、方向路標(biāo)等)的3D表示中顯現(xiàn)。在一實施例中，激光掃描儀23(j)經(jīng)布置以產(chǎn)生具有最小50Hz和1度分辨率的輸出，以便為所述方法產(chǎn)生足夠密集的輸出。例如由SICK生產(chǎn)的MODEL LMS291-S05等激光掃描儀能夠產(chǎn)生此輸出。
圖2展示可從圖1中所示的三個測量單元GPS、 DMI和IMU獲得哪些位置信號。圖2展示微處理器nP經(jīng)布置以計算六個不同參數(shù)，即相對于預(yù)定坐標(biāo)系中的原點的三個距離參數(shù)x、 y、 z以及分別表示圍繞x軸、y軸和z軸的旋轉(zhuǎn)的三個角參數(shù)w、 C0y和co2。優(yōu)選地，z方向與重力向量的方向重合。全球UTM或WGS84坐標(biāo)系可用作預(yù)定坐標(biāo)參考系。應(yīng)注意到，根據(jù)本發(fā)明的方法可與局部坐標(biāo)參考系一起使用，所述局部坐標(biāo)參考系例如是NAD83和其它國家網(wǎng)格系統(tǒng)。所述六個不同參數(shù)提供6度自由度，其是及時跟蹤運載工具的位置和定向所需要的。所述相機(jī)和激光掃描儀相對于汽車21具有固定的位置和定向。這使得我們能夠從所述六個參數(shù)準(zhǔn)確地確定在拍攝圖像的時刻每--激光樣木在坐標(biāo)參考系中的位置以及相機(jī)在坐標(biāo)參考系中的位置和定向。
罔1展示激光掃描儀數(shù)據(jù)在真實世界坐標(biāo)中的表示。激光掃描儀檢測并計算激光掃描儀與第障礙物之間的距離。激光掃描儀使激光束旋轉(zhuǎn)，且每次在旋轉(zhuǎn)過預(yù)定義角度之后獲得一樣本。旋轉(zhuǎn)速度結(jié)合取樣速率界定了激光掃描儀數(shù)據(jù)的角分辨率。在本發(fā)明中，激光掃描儀具有1度的沿掃描平面的分辨率和75 Hz的掃描頻率。這在15 m距離處導(dǎo)致25 cm的激光掃描儀垂直分辨率，所述15 m距離對應(yīng)于到標(biāo)志的平均距離。激光掃描儀數(shù)據(jù)包含由三元組(t,d，a)給出的樣本，其中t是樣本的時間，d是到最近表面的距離，且a是激光在測量時的角度。激光掃描儀優(yōu)選安裝在移動測繪運載工具前面。激光掃描儀的旋轉(zhuǎn)軸優(yōu)選平行于道路表面。為了獲得對具有平坦表面的對象的最優(yōu)檢測，己發(fā)現(xiàn)旋轉(zhuǎn)軸優(yōu)選相對于所述平坦對象具有45度的角度。本發(fā)明的土要目標(biāo)是從移動觀ij繪數(shù)據(jù)提取道路標(biāo)志和方向路標(biāo)。移動測繪數(shù)據(jù)包括由移動測繪運載」:具中的移動測繪系統(tǒng)記錄的所有數(shù)據(jù)。道路標(biāo)志和方向路標(biāo)是具有垂直于道路的軸的平坦表面的對象。因此，用以檢測所述關(guān)注對象的激光掃描儀的最佳安裝是與移動測繪運載工具的行駛方向成45度。
移動測繪運載T.具裝備有定位平臺，其包含定位傳感器，例如GPS接收器和可能額外的慣性和航位推算傳感器以及定向傳感器，例如陀螺儀、加速計和距離測量單元。這些傳感器是通常已知的。通過這些傳感器，可非常準(zhǔn)確地確定并記錄運載工具的位置和定向。此外，移動測繪運載工具裝備有許多相機(jī)以記錄圖像序列。兩個相機(jī)可安裝在運載工具前方以記錄運載工具前方的圖像。這兩個相機(jī)可經(jīng)布置以產(chǎn)生立體圖像對序列。此外，相機(jī)可安裝在左側(cè)和右側(cè)以從運載工具獲得側(cè)視圖，且相機(jī)可安裝在運載工具后方以記錄從運載工具后方看到的活動中世界。如果相機(jī)安裝在運載工具的所有側(cè)上，那么可獲得圍繞所述運載工具的所有方向上的連續(xù)視圖。位于前方和后方的相機(jī)使得我們能夠(但從相反方向)獲得同一道路表面的兩個圖像序列。
所有所記錄的數(shù)據(jù)源均使用同--時間參考，所述數(shù)據(jù)源至少包含定位和定向數(shù)據(jù)、激光掃描數(shù)據(jù)和圖像序列。定位平臺使得我們能夠非常準(zhǔn)確地確定移動測繪運載T.具的位置和定向。此外，激光掃描儀安裝在運載工具上的已知位置處且相對于運載工具的行駛方向K.有已知定向。通過組合運載工具的位置和定向、激光掃描儀相對于運載工具位置的位置和定向以及以二元組記錄的掃描儀數(shù)據(jù)，可將激光掃描儀數(shù)據(jù)變換成3D世界坐標(biāo)。這在運載工具移動的給定方向上給出最近點網(wǎng)。圖1展示將激光掃描儀數(shù)據(jù)的三元組變換成3D世界坐標(biāo)的結(jié)果。圖1中所表示的激光數(shù)據(jù)已由兩個激光掃描儀獲得。所述激光掃描儀中的每一者具有180度的測量窗口，且具有平行于運載工具的行駛方向的旋轉(zhuǎn)軸。此描述中的所有圖式均使用激光掃描儀的所述配置。在此應(yīng)用中，行駛方向是對道路方向的近似表示。因為道路標(biāo)志通常相對于行駛方向以5度的角度而非垂直于行駛方向放置，所以可llj具有平行于行駛方向的旋轉(zhuǎn)軸的激光來檢測道路標(biāo)志(這是針對圖1而收集的數(shù)據(jù)的配置)。然而，已發(fā)現(xiàn)，具有相對于行駛方向具有45度的角度的旋轉(zhuǎn)軸的激光掃描儀提供更適合于檢測對象(例如道路標(biāo)志和建筑立面)的激光數(shù)據(jù)。圖1中的樣本的暗度表示激光掃描儀與反射表面之間的距離。
圖2展示與圖1中所給出的表示相關(guān)聯(lián)的源圖像。所述源圖像表示由基于陸地的相機(jī)記錄的或多或少的垂直圖像。所述源圖像可為借助于靜止圖片相機(jī)記錄的靜止圖片序列，所述靜止閣片相機(jī)每隔(例如)IO米的位移被觸發(fā)一次。包含圖像傳感器的相機(jī)具有視伯u 。視角a由相機(jī)的透鏡的焦距決定。視角a可在45°< a < 180。的范圍內(nèi)。此外，所述相機(jī)具有觀察軸，其在所述視角的中心處。所述觀察軸，行于水f面，例如道路表面。在圖2的實例中，觀察軸平行于運載工具的運動方向。通常，圖像傳感器被安 裝成垂直于觀察軸。在此情況下，圖像傳感器記錄"純"垂直源圖像。另外，圖像傳感 器相對于水平面(例如，地球表面)的高度是己知的。借助于三角法，可將從基于陸地 的相機(jī)檢索到的源圖像轉(zhuǎn)換為任何虛擬平面。即使觀察軸相對于水平面成己知角度，也 可針對源圖像獲得虛擬平面。
靜止圖片相機(jī)所拍攝的圖像是在相機(jī)視野內(nèi)的最近表面點的顏色的表示。像素的值 對應(yīng)于將經(jīng)由測量所述像素的顏色的圖像傳感器的光敏元件從相機(jī)的焦點看到的表面 的顏色。通常，當(dāng)今相機(jī)中所使用的透鏡具有數(shù)種分辨率和焦距，其以約0.01到0.1度 每像素的角分辨率記錄圖片。
靜止圖片相機(jī)的角分辨率比來自激光掃描儀的角分辨率精細(xì)約10到100倍。當(dāng)前 在移動測繪運載工具上所使用的相機(jī)具有0.05度的像素分辨率，其比所使用的激光掃描 儀的角分辨率精細(xì)20倍。
本發(fā)明組合激光掃描儀數(shù)據(jù)和源圖像兩者以從移動測繪數(shù)據(jù)提取關(guān)注對象。本發(fā)明 的特征在于，在不同時刻捕獲激光掃描儀數(shù)據(jù)，且在特定時刻捕獲源圖像。運載工具的 位置和定向數(shù)據(jù)對于能夠?qū)⒓す鈽颖驹诮^對或相對地理坐標(biāo)參考系中的3D位置投影在 源圖像的x,y像素位置上來說是必不可少的。與運載工具的位置和定向數(shù)據(jù)、相應(yīng)的源 圖像和激光掃描儀數(shù)據(jù)相關(guān)聯(lián)的時間參考使得微處理器能夠針對每 一 源圖像而確定界 定在坐標(biāo)參考系11'的參考位置和定向的兀數(shù)據(jù)，且針對每激光樣本時確定在所述坐標(biāo) 系中的位置。這使得我們能夠?qū)⒓す鈷呙鑳x樣本投影到圖像空問中。
本發(fā)明的第 一 實施例包含以下動作
1. 選擇激光掃描點的關(guān)注區(qū)；
2. 將關(guān)注激光「義.映射到圖像，從而產(chǎn)生辨識掩模；
3. 分割關(guān)注區(qū)；
4. 根據(jù)大小和形狀特征來過濾片段；
5. 確定片段是否被遮蔽；
5a.使用6度Q由度定向系統(tǒng)來計算任何被遮蔽片段的定向 5b.從激光數(shù)據(jù)計算未遮蔽片段的定向；
6. 借助于過濾來選擇垂直片段。 在本發(fā)明的第—:實施例中，所述方法包含以下動作 1.選擇激光掃描點的關(guān)注區(qū)
7. 從關(guān)注區(qū)提取垂宵.表面；8. 將垂直表面映射到圖像；
9. 對對應(yīng)于表面的圖像執(zhí)行顏色分離；
10. 借助于過濾來根據(jù)大小和形狀選擇表面。 下文將更詳細(xì)地論述第一和第二實施例的相應(yīng)動作。
圖3是根據(jù)本發(fā)明的方法的第三實施例的流程圖。在第三實施例中，第一和第二實 施例已被組合。左側(cè)路徑對應(yīng)于第一實施例，且右側(cè)路徑對應(yīng)于第二實施例。已發(fā)現(xiàn)， 第一實施例和第—:實施例執(zhí)行未經(jīng)相關(guān)的過程。根據(jù)第一實施例的方法(其基于對平而
對象的基f圖像的辨識)使得我們能夠檢測98%的對象，其屮假正率大約為0.01%。根 據(jù)第二實施例的方法(其基于對激光掃描儀數(shù)據(jù)中的平面對象的辨識)使得我們能夠以 類似的假正率檢測80%的對象。因為辨識過程未經(jīng)相關(guān)，所以辨識結(jié)果未經(jīng)相關(guān)。因此， 第二方法將找到第 一方法未檢測到的對象的80%,且第一過程將找到第二方法未檢測到 的對象的98%。因此，通過組合第一和第二方法的結(jié)果，可實現(xiàn)對99.6%的對象的辨識。 此性能使得所述過程能夠自動進(jìn)行。組合所述兩個實施例的優(yōu)點在圖11屮說明。
以下描述將更詳細(xì)地揭示第 一 實施例的動作。
動作l.選擇激光掃描點的關(guān)注區(qū)。
在此動作中，針對每一圖像，過濾激光點以提供關(guān)注區(qū)。區(qū)是由一組點表示的激光 掃描儀數(shù)據(jù)的一部分。每一圖像具有相關(guān)聯(lián)的位置和定向數(shù)據(jù)。激光點也具有相關(guān)聯(lián)的 位置和定向數(shù)據(jù)。濾出肯定不對應(yīng)于關(guān)注對象的表面的所有激光掃描儀點。此過濾器的 實例可為
在移動測繪運載工具的位置的左側(cè)和/或右側(cè)遠(yuǎn)于10m的所有點； 在道路表面卜.方低于0.5 m且/或高于6.0 m高度的所有點； 在相機(jī)或移動測繪運載工具前方0.5m到30 m外的所有點。
此動作顯著限制了待針對每- 圖像而處理的激光點的量。對應(yīng)于圖像的關(guān)注區(qū)的激 光點因此僅包含尚未濾出且可能來自尚待辨識的對象的激光點。因此，對應(yīng)于圖像的關(guān) 注區(qū)的激光點為激光掃描儀數(shù)據(jù)的子集。
動作2.將關(guān)注激光區(qū)映射到圖像，從而產(chǎn)生辨識掩模；
在此動作中，將應(yīng)對其執(zhí)行辨識的每一圖像的關(guān)注區(qū)的激光點映射到圖像坐標(biāo)?？?進(jìn)行此動作，因為每,片的焦點的位置是已知的，且相機(jī)的定向是已知的。相機(jī)的圖 像空間由觀看軸以及水平和垂直觀看角界定。圖4展示實例激光點到相機(jī)空間的投影的 俯視圖。只有位于相機(jī)觀看角內(nèi)的激光點被投影到圖像空間中。在圖4中，來自左側(cè)的 一個點和來自右側(cè)的三個點是不會被投影到圖像空間的點。圖5展示激光點(Xp, Yp， Zp)
15到圖像像素(Xs, Ys)的變換。(Xp,Yp, Zp)是激光點在世界坐標(biāo)中的坐標(biāo)，(Xc,Yc,Zc) 是相機(jī)的焦點在世界坐標(biāo)中的坐標(biāo)，且(Xs, Ys)是圖像空間中的坐標(biāo)。虛線對應(yīng)于相 機(jī)的觀察軸。
在」實施例中，將相機(jī)的世界坐標(biāo)指配給每一所捕獲的圖片。此外，借助移動測繪 平臺的位置和定向傳感器，非常準(zhǔn)確地知道相機(jī)和激光掃描儀相對于運載工具的參考定 向的所有旋轉(zhuǎn)。結(jié)合及時測量到的位置和行駛方向，可確定激光點相對于相機(jī)的觀看軸 的真實世界坐標(biāo)。這使得我們能夠非常準(zhǔn)確地選擇激光點并將其投影到圖像空間，這對 于本發(fā)明來說是關(guān)鍵的。這是特別重要的，因為來自激光掃描儀的點可在不同于圖像被 收集時的時間獲取，且必須準(zhǔn)確地考慮平臺的位置和定向以獲得本發(fā)明所需的精確配準(zhǔn) 水平。圖6揭不圖2的圖像，其中將激光點投影到所述圖像的圖像空間。然而，只有尚 未被第-動作過濾且因此可能來自對象的激光點用于產(chǎn)生掩模，所述掩模使得我們能夠 非常高效地僅選擇來自源圖像的對應(yīng)像素。所述掩模具有對應(yīng)于源圖像的圖像空間。這 使得我們能夠界定掩模像素與源圖像像素之間的一對一關(guān)系。
由于激光掃描裝置與相機(jī)的分辨率差異的緣故，激光點通常將在掩模中導(dǎo)致個別圓 點。因此，激光掃描儀點在掩模中將具有稀疏出現(xiàn)。為了在掩模中產(chǎn)生鄰接區(qū)域，借助 于眾所周知的基T形態(tài)學(xué)圖像的過濾器來加寬對應(yīng)于激光點的像素。在簡單實施例中， 所有激光點由具有固定長度和高度(以像素數(shù)目計)的正方形K域替代，所述固定長度 和高度粗略地從其分辨率和幾何學(xué)特征屮導(dǎo)出。圖7揭示在對激光點應(yīng)用關(guān)注區(qū)過濾器 且加寬所述掩模的對應(yīng)于所過濾激光點的像素之后已獲得的圖像。
實驗結(jié)果顯不上述操作使得我們能夠丟棄源圖像像素的85%到95%,從而僅留 —F被懷疑表示道路標(biāo)志的那些"有價值"像素。通過將源圖像中待檢査的像素減少為僅 剩有價值像素，對應(yīng)于對象的錯誤檢測的假正的數(shù)目以與有價值像素與總像素的比率成 比例的方式減少。此外，后續(xù)處理步驟中處理圖像的速度以相同比率減小。
應(yīng)注意，深度信息可僅附接到具有對應(yīng)激光掃描儀樣本的像素。在一實施例中，掩 模的其它像素的深度信息的值將對應(yīng)于"非深度信息"。因此，深度信息在圖像空間中 將只.有稀疏出現(xiàn)。在另一實施例中，與加寬過程同時地，指配深度信息。以此方式，掩 模的所有像素將具有深度信息。
動作3.分割關(guān)注區(qū)；
在此動作中，選擇對應(yīng)于動作2中所產(chǎn)牛的掩模的源圖像的像素。隨后，對選定像 素執(zhí)行"生長"算法以分割選定像素。生長算法使得所屬領(lǐng)域的工程師能夠產(chǎn)生片段或 候選3D圖像。因此，源圖像中作為所述片段的相鄰像素的所有像素均具有在預(yù)定義閾值外的顏色距離，且所述片段的所有像素均具有在預(yù)定義閾值內(nèi)的顏色距離。在此步驟 中，使用掩模圖像來產(chǎn)生候選3D圖像，其中每一候選3D圖像對應(yīng)于一個片段。舉例 來說，指示速度限制為80的限速標(biāo)志將被分割成7個片段，從而導(dǎo)致7個候選3D圖像， 其中一個片段用于紅色邊界， 一個片段用于數(shù)字周圍的白色背景， 一個片段用于8標(biāo)志 的黑色區(qū)域且一個區(qū)域用于0標(biāo)志的黑色區(qū)域，并且兩個片段用于8標(biāo)志中的ft色區(qū)域 且一個片段用于-0標(biāo)志中的白色區(qū)域。候選3D圖像的每一像素包含來O源圖像的顏色 信息和來S掩模的相關(guān)聯(lián)深度信息。在文獻(xiàn)中，此像素被稱為體素。
在實施例屮，像素的深度信息是真實世界坐標(biāo)中相機(jī)的焦點與包含同所述像素相 關(guān)聯(lián)的激光掃描儀點的垂直于相機(jī)觀察軸的平面之間的最小距離。在另一實施例中，像 素的深度信息是真實世界坐標(biāo)中相機(jī)的焦點與同所述像素相關(guān)聯(lián)的激光掃描儀點之間 的距離。
所述候選3D圖像中的每一者將在后續(xù)處理動作中被處理。請注意，辨識僅存在所 述標(biāo)志的'個主要片段關(guān)乎標(biāo)志信息的進(jìn)一步處理。主要片段是具有最高數(shù)目的像素或 特有預(yù)定義形狀和大小的片段。舉例來說，對于歐洲限速標(biāo)志，其將為具有內(nèi)部的紅色 圓圈對于警告標(biāo)志，其將為具有內(nèi)部的紅色三角形，等等。
在另一實施例中，將掩模的像素用作源圖像中的開始像素。對源圖像執(zhí)行生長算法 以獲得候選3D圖像。此實施例對于以下情形是有利的其中方向路標(biāo)的一部分在--些 掃描期間由i-1敫光掃描儀之間的對象時被遮蔽，但整個路標(biāo)在圖像屮是可見的。應(yīng)淸楚， 可使用其它算法來從掩模和源圖像的組合中獲得候選3D圖像。
動作4.根據(jù)人小和形狀特征來過濾片段
在此動作中，對每一候選3D圖像應(yīng)用大小和形狀過濾器。使用深度信息來按比例 縮放候選3D圖像的像素區(qū)域，其具有與對應(yīng)的真實世界位置中的真實世界大小類似的 深度信息。如果一片段與多個深度相關(guān)聯(lián)，那么針對每一深度，確定對應(yīng)區(qū)域的大小。 所確定的大小用于確定候選3D圖像是否具有預(yù)定大小。濾出大于或小于關(guān)注對象的候 選3D圖像。在本發(fā)明的實施例中，去除具有小于0.5X0.5米和大于1.2X1.2米的大小 的候選3D圖像。
因此對于上文的80 km限速標(biāo)志實例，紅色邊界和白色背景的候選3D圖像將通過 此大小過濾器。所有其它候選3D圖像(例如黑色8、黑色0、 0內(nèi)的白色補塊等)將太 小且將被濾出。在最終步驟中，所述兩個通過候選者將被辨認(rèn)為位于同一距離處且在圖 片的同 一區(qū)域中，所以它們將被視為同一標(biāo)志。
接著將剩余候選3D圖像應(yīng)用r形狀公式以確定空間形狀系數(shù)，例如布萊爾-布利斯與哈蘭里科(Blair-Bliss & Haralick)，所述系數(shù)在檢測道路標(biāo)志中是最有力的。形狀系 數(shù)允許我們?yōu)V出不具有對應(yīng)于關(guān)注對象形狀的形狀的對象。
存在可使用的許多形狀系數(shù)?？蓪⑵鋭澐殖蓛蓚€群組
快速且容易計算。
較精確區(qū)分對象，但較慢
優(yōu)選的是，確定來Q第二群組的兩個形狀系數(shù)。 通過以F等式來確定布萊爾-布利斯形狀系數(shù)
其中
S—候選3D圖像的面積 n—距形狀質(zhì)心的第i個像素距離 i一形狀像紊指數(shù)。
哈蘭里科形狀系數(shù)由以下等式確定:
其'l':
d,—距形狀質(zhì)心的第i個像素距離
n—輪廊像素計數(shù)
i一形狀像素指數(shù)
借助于所述形狀系數(shù)，可高效地選擇具有圓圈、二角形和矩形形式的形狀。
應(yīng)注意，根據(jù)其形狀特征來選擇片段是圖像處理領(lǐng)域中作為標(biāo)準(zhǔn)進(jìn)行的標(biāo)準(zhǔn)現(xiàn)有技 術(shù)動作。通常，如果在沒有僅對圖像源數(shù)據(jù)進(jìn)行進(jìn)一步推理的情況下執(zhí)行此動作，那么 假正率在少數(shù)百分比(1%到10%)的范圍內(nèi)。
然而，還應(yīng)注意，將深度信息附接到候選3D圖像使得我們能夠確定真實世界大小。 核對真實世界大小是額外的檢驗步驟，其在僅考慮圖像源數(shù)據(jù)的情況下不容易執(zhí)行。平 均起來，所述額外檢驗步驟使假正數(shù)目減少10倍。
動作5.確定片段是否在激光掃描儀數(shù)據(jù)中被遮蔽；
此動作在動作4之后執(zhí)行以確定候選3D圖像的深度一致性。候選3D圖像可包含 具有不同深度的像素或不包含任何深度信息?？赏ㄟ^簡單的眾所周知的邊緣檢測過濾器
18來檢測不同深度。借助于所述過濾器，確定深度一致性。如果(例如)在激光掃描數(shù)據(jù) 中樹木部分地遮擋了道路標(biāo)志且在源圖像中樹木沒有遮擋道路標(biāo)志，那么候選3D圖像 可能具有不同深度。因而，候選3D圖像的一些區(qū)域可不包含深度信息，或可包含對應(yīng) 于道路標(biāo)志后面的對象的深度信息。甚至可能發(fā)生以下情況候選3D圖像不包含任何 深度倍息，這在激光掃描儀與道路標(biāo)志之間的大樹完全遮擋住激光束使其無法到込道路 標(biāo)志時發(fā)生。
動作5a.從圖像數(shù)據(jù)計算被遮蔽片段的a向；
在此步驟屮，使用圖像處理技術(shù)來確定候選3D圖像相對十移動測繪運載工具的定 向或行駛方向的定向。使用6度自由度定向裝置來測量移動測繪運載工具的定向和行駛 方向。測量到的運載工具的定向和行駛方向用于在相機(jī)捕獲到對應(yīng)于候選3D圖像的源 圖像時計算相機(jī)的定向和絕對或相對位置。可通過三角測量技術(shù)來獲得對象的定向。如 果對應(yīng)于候選3D圖像的原始源圖像正來自立體相機(jī)，那么立體圖像對的其它圖像可用 于執(zhí)行三角測量且確定候選3D圖像的定向。在另一實施例中，在原始源圖像之前的源 圖像用于執(zhí)行三角測量以計算距離且確定對象的定向。每隔10米距離，捕獲一源圖像。 因此，前一源圖像足在當(dāng)前源圖像前10米處被捕獲的。因此，前一源將包含所述候選 3D圖像的表示，然而多了 IO米的距離且因此比在當(dāng)甜源圖像中小。借助于三角測量， 可確^對應(yīng)于候選3D圖像的對象的定向。
動作5b.從激光數(shù)據(jù)計算未遮蔽片段的定向；
如果候選3D圖像的像素的深度信息對應(yīng)于光滑表面(優(yōu)選的是，具有預(yù)定義深度 一致件的平坦表面)，那么在動作4之后執(zhí)行此動作。這在候選3D圖像的深度信息不包 含借助于對象相對于移動測繪運載工具的行駛方向的定向的定向中的深度信息來表示 的相鄰像素之間的較大變化時發(fā)生。
隨后，使用候選者的像素的深度信息來確定所述表面相對于移動測繪運載工具的行 駛方向的定向。所述對定向的確定由通常已知的算法執(zhí)行。
動作5a與動作5b之間的主要差異在于，在動作5a中，僅使用圖像源信息結(jié)合運 載工具的相關(guān)聯(lián)位置和定向數(shù)據(jù)以及移動方向來確定候選3D圖像所表示的對象是否相 對^行駛方向具有預(yù)止義定向，而在動作5b中，僅使用呈深度信息形式的激光掃描數(shù) 據(jù)來確定對象的定向。
此外，應(yīng)注意，實際上100個對象中約有1個上出現(xiàn)遮蔽。因此，主要處理流將經(jīng) 過動作5b而非動作5a。與在動作5a中基于圖像信息而確定每一候選3D圖像的定向相 比，在動作5b中基T深度信息而確定候選3D圖像的定向較精確且導(dǎo)致較少的假正(10倍)。此外，與動作5a相比，動作5b需要較少的處理功率。 動作6.借助于過濾來選擇垂直片段。
最后，在動作6中，使用定向來選擇哪些候選3D圖像必須被添加到對象數(shù)據(jù)庫以 供進(jìn)一步處理以獲得被檢測對象的更多特征。進(jìn)一步處理的實例是辨識道路標(biāo)志的類型 (例如80 km限速標(biāo)志)和計算道路標(biāo)志的位置，所述兩者經(jīng)確定以供數(shù)字地圖數(shù)據(jù)庫 中使用。
已發(fā)現(xiàn)，,平坦表面的定向(其在上文所提及的關(guān)注R內(nèi)找到)在移動運載工具的 方向的近似+ / -10度的范兩內(nèi)時，平面對象最有可能是道路標(biāo)志。 以下描述將更詳細(xì)地揭示本發(fā)明的第二實施例的后續(xù)動作。 動作l.選擇激光掃描點的關(guān)注區(qū)；
類似于第一實施例，執(zhí)行第一動作1以在激光數(shù)據(jù)中獲得關(guān)注區(qū)。圖9a揭示相對 于特定絕對或相對位置在預(yù)定義區(qū)域中的所有所收集激光點的3D表示的實例，且圖9b 揭示在執(zhí)行動作1之后的剩余激光點?？煽吹?，所有靠近地面的激光點都被從所收集激 光點去除。
7.從關(guān)汁:區(qū)提取垂直表面；
在此步驟中，使用關(guān)注區(qū)的所有激光點來通過確定相鄰激光點是否形成光滑的平坦 表而而確定深度一致性。圖9c展示對應(yīng)于在圖％的結(jié)果中所檢測到的平坦表而的激光 點的實例。閃為必須檢測道路標(biāo)志，所以所使用的算法尋找?guī)缀醮怪眆移動測繪運載工 具的移動方向的表面。對指配給關(guān)注區(qū)的激光掃描儀點執(zhí)行所述算法。隨機(jī)取樣 一 致 (RANSAC)算法用于尋找平面。所述算法在隨機(jī)的3個激光點處進(jìn)行選擇。從那些點 產(chǎn)生平面等式。隨后，所述算法將以給定公差尋找接近所述平面的激光點，且對接近激 光點的數(shù)目進(jìn)行計數(shù)。通過重復(fù)所述步驟，所述算法能夠找到具有落入所述公差內(nèi)的最 高數(shù)目的激光點的平面?？赏ㄟ^去除對應(yīng)于具有最高數(shù)目的激光點的平面的激光點且對 剩余激光點重復(fù)所述算法來重復(fù)此程序。以此方式，可找到激光數(shù)據(jù)中的所有候選平面。 RANSAC算法的有效性取決于屬于所述平面的激光點與屬于待分析的關(guān)注區(qū)的激光點 的總數(shù)目的比率。h述關(guān)系由以下等式給出
P = (l-(Pg)3)L
其'卜
P w是未找到平面A的概率，
Pg是隨機(jī)點適合平面A的概率(接近所述平面的點與所有點的比率)，且 L是循環(huán)迭代的數(shù)目。因此，所述方法的最佳使用是將關(guān)注區(qū)細(xì)分為若干子區(qū)，且對子區(qū)應(yīng)用此算法。在 本發(fā)明的實施例中，關(guān)注區(qū)的空間被劃分為在移動運載工具的方向上具有1 m深度的子 區(qū)。
隨后，針對通過所述算法找到的候選平面中的每一者，確定所述候選平面相對于運 載丄具的行駛方向的定向。圖9d說明具有不同定向的兩個平面。第 一平面950對應(yīng)于 建筑物的墻壁，且第二平面960對應(yīng)于具有標(biāo)桿的道路標(biāo)志。最后，將對應(yīng)于具有預(yù)定 義a向的平坦表面的激光點分組成若干相干區(qū)塊以進(jìn)一步減小關(guān)注區(qū)。為了檢測道路標(biāo) 志，已發(fā)現(xiàn)當(dāng)平坦表面的定向在移動運載工具的方向的近似十/-10度的范圍內(nèi)時，平坦 對象幾乎總是為道路標(biāo)志。圖9e說明在選擇具有預(yù)定義定向的對象之后的結(jié)果。所述 標(biāo)志的標(biāo)桿也在圖像中可見，因為無法確定標(biāo)桿相對于運載工具的行駛方向的定向，但 標(biāo)桿的位置類似于經(jīng)適當(dāng)定向的對象的表面。此情形將對附接到借助于表面檢測算法無 法判斷是單獨表而的表面的所有對象而發(fā)生。
此動作的結(jié)果是對應(yīng)于在激光掃描儀數(shù)據(jù)屮找到的平面的候選平面。在進(jìn)一步動作 中，單獨處現(xiàn)所述候選平面中的每一者以檢測對象。
動作8.將垂直表面映射到圖像。
此動作類似于動作2且因此不再進(jìn)一步詳細(xì)描述，且依據(jù)候選平面而產(chǎn)生掩模圖像。 動作9.對對應(yīng)于表而的圖像執(zhí)行顏色分離。
在此動作'l'，使汁j動作8屮所產(chǎn)生的掩模圖像來分割對應(yīng)于候選平面的源圖像的像 素。動作3中所描述的分割算法用于分割對應(yīng)于掩模的區(qū)域。因為先前動作己經(jīng)極大地 減少了待分析的像素的數(shù)H，所以可使用較低閾值來獲得片段。通過已經(jīng)執(zhí)行的動作， 候選平[M的確是所需對象的機(jī)會增加，且因此可以較小的準(zhǔn)確性來執(zhí)行根據(jù)顏色的分 割。此外，因為片段數(shù)目是有限的，所以動作9不僅產(chǎn)生對應(yīng)于片段的候選3D圖像， 而且產(chǎn)生作為個或--個以上片段的組合的候選3D圖像。由于此動作，對應(yīng)于圖9e中 所示的激光點的掩模圖像將導(dǎo)致以下候選3D圖像用于標(biāo)志的一個候選3D圖像，用 于標(biāo)志上方的標(biāo)桿的一個候選3D圖像和用于標(biāo)志下方的標(biāo)桿一個候選3D圖像，用于 標(biāo)志與標(biāo)志卜.方的標(biāo)桿的組合的一個候選3D圖像，用于標(biāo)志和標(biāo)志下方的標(biāo)桿的 一個 候選3D圖像，等等。
內(nèi)rfn，所述圖像(其己被假定為包含所需對象)的任何不3顏色分割均通過產(chǎn)生作
為片段組合的候選3D圖像而至少部分地被校正。以此力—式，由于遮光物而引起的對(例 如)標(biāo)志的紅色邊界的不當(dāng)分割通過提供作為陽光下的紅色邊界的片段與陰影中的紅色 邊界的片段的組合的候選3D圖像而被校正。以此方式，檢測到無法在本發(fā)明第一實施例中檢測到的對象，在第一實施例中，紅色邊界的每一片段將進(jìn)一步被獨立處理，且因 此由于不正確的大小或形狀而不作為道路標(biāo)志被檢測到。 動作10.借助十根據(jù)大小和形狀的過濾來進(jìn)行選擇。
在此動作中，應(yīng)用動作4中所描述的大小和形狀過濾器。大小和形狀過濾器將濾出 關(guān)于標(biāo)桿的候選3D圖像。圖9f展不與選定候選3D圖像相關(guān)聯(lián)的激光點。最后，選擇 具有所需形狀和大小的候選3D圖像，并將其添加到對象數(shù)據(jù)庫以供進(jìn)一步處理以獲得 被檢測對象的更多特征。
應(yīng)注意，選擇構(gòu)建連續(xù)平坦表面的激光點是現(xiàn)有技術(shù)算法。在此操作之后，選定點 云(例如，道路標(biāo)志的標(biāo)桿的激光點)中剩下少量錯誤選定的激光點。需要進(jìn)一步處理 動作來去除那些錯誤選定的激光點?？墒褂玫牡湫同F(xiàn)有技術(shù)動作是對激光數(shù)據(jù)進(jìn)行分析 以借助于形狀特征來將其去除。然而，考慮到激光數(shù)據(jù)的不良垂直和水平分辨率，即使 在此分析之后，仍存在少數(shù)百分比的假正率。通過激光掃描儀數(shù)據(jù)與閣像數(shù)據(jù)處理的此 組合，可獲得對假正率的平均達(dá)ioo倍的改進(jìn)。
此外，應(yīng)注意，經(jīng)執(zhí)行以從激光掃描儀數(shù)據(jù)中選擇激光點的過濾器包含被考慮到的 一匙規(guī)則。在動作1的實施例中，所述規(guī)則界定其中可能存在待檢測的對象的道路廊道。 舉例來說，道路廊道包含在移動測繪運載工具的軌道的左側(cè)不超過10 m和在移動測繪 運載工具的軌道的右側(cè)不超過10 m的所有激光點以及沿道路表面在運載工具的軌道0.5 m以上且10.0 m以下的激光點。對應(yīng)于所述道路廊道的激光點被存儲以供進(jìn)一步處理。 隨后，將對應(yīng)于所述道路廊道的激光點分裂成沿移動測繪運載工具的軌道的若干5米子 區(qū)。動作1的輸出于是為關(guān)注子區(qū)序列，其中每一關(guān)注子區(qū)在運載工具的軌道上具有一 參考點。優(yōu)選的是，參考點是對應(yīng)7區(qū)中沿運載工具軌道的第一位置。接著，處理源圖 像。在對源圖像執(zhí)行其它動作之前，使用源圖像的相關(guān)聯(lián)位置來選擇具有最接近源圖像 的相關(guān)聯(lián)位置的參考點的子區(qū)。在此實施例中，僅將一子區(qū)的激光點投影在圖像空間上 以獲得辨識掩模。此實施例允許減少產(chǎn)生關(guān)注區(qū)所需的處理功率。在動作1中， 一次性 處理整個激光掃描儀數(shù)據(jù)，且對應(yīng)于關(guān)注子區(qū)產(chǎn)生許多組激光點。隨后，針對每一源圖 像，必須選擇道路廊道的位于運載工具甜方的最近關(guān)注了區(qū)。待選擇的了區(qū)的數(shù)目取決 丁-運載工具前必須被考慮的距離。舉例來說，如果所述距離為30m，那么必須選擇最初 6個5 m子區(qū)。
圖3展示本發(fā)明實施例的流程圖。所述流程圖中的左側(cè)路徑對應(yīng)于上文所描述的第 一實施例，且右側(cè)路徑對應(yīng)于本發(fā)明的第二實施例。所述兩個實施例的結(jié)果可在構(gòu)成關(guān) 注對象的數(shù)據(jù)庫的一個數(shù)據(jù)庫中分組在一起。此外，通過僅對片段或候選3D圖像執(zhí)行大多數(shù)的圖像處理，極大地減少了待處理 的像素的量，這導(dǎo)致比基于全圖像的處理快約5倍的檢測速度。
圖11說明可用于實施執(zhí)行上述方法的對象檢測器的計算機(jī)系統(tǒng)的高級框圖。
圖9的計算機(jī)系統(tǒng)包括處理器單元912和主存儲器914。處理器單元912可含有單 個微處理器，或可含有多個微處理器以用于將所述計算機(jī)系統(tǒng)配置為多處理器系統(tǒng)。主. 存儲器914部分地存儲供處理器單元912執(zhí)行的指令和數(shù)據(jù)。如果本發(fā)明的方法全部或 部分地以軟件實施，那么主存儲器914當(dāng)在操作中時存儲可執(zhí)行代碼。主存儲器914可 包括動態(tài)隨機(jī)存取存儲器(DRAM)以及高速度高速緩沖存儲器的存儲體。
圖9的系統(tǒng)進(jìn)一步包含大容量存儲裝置916、外圍裝置918、輸入裝置920、便攜式 存儲媒體驅(qū)動器922、圖形子系統(tǒng)924和輸出顯示器926。出于簡單性目的，將圖9中 所示的組件描繪為經(jīng)由單個總線928連接。然而，所述組件可通過一個或一個以上數(shù)據(jù) 輸送構(gòu)件連接。舉例來說，處理器單元912和主存儲器914可經(jīng)由局部微處理器總線連 接，且大容量存儲裝置916、外圍裝置918、便攜式存儲媒體驅(qū)動器922和圖形子系統(tǒng) 924可經(jīng)由--個或 一個以上輸入/輸出(I/O)總線連接。大容量存儲裝置916 (其可用磁 盤驅(qū)動器或光盤驅(qū)動器實施)是用于存儲數(shù)據(jù)的非易失性存儲裝置，所述數(shù)據(jù)例如是相 應(yīng)相機(jī)的經(jīng)地理編碼的圖像序列、相機(jī)的校準(zhǔn)信息、恒定和可變位置參數(shù)、恒定和可變 定向參數(shù)、被檢測對象的候選3D圖像、任何中間結(jié)果和供處理器單元912使用的指令。 在'個實施例屮，大容量存儲裝置916存儲用于實施本發(fā)明的系統(tǒng)軟件或計算機(jī)程序以 用于加載到主存儲器914的冃的。
便攜式存儲媒體驅(qū)動器922結(jié)合便攜式非易失性存儲媒體(例如軟盤、微驅(qū)動器和 快閃存儲器)而操作，以將數(shù)據(jù)和代碼輸入到圖9的計算機(jī)系統(tǒng)以及從圖9的計算機(jī)系 統(tǒng)輸出數(shù)據(jù)和代碼。在一個實施例中，用于實施本發(fā)明的系統(tǒng)軟件存儲在呈此便攜式媒 體形式的處理器可讀媒體上，且經(jīng)由便攜式存儲媒體驅(qū)動器922輸入到計算機(jī)系統(tǒng)。外 圍裝置918可包括仟何類型的計算機(jī)支持裝置，例如輸入/輸出(I/O)接口，以向計算 機(jī)系統(tǒng)添加額外功能件。舉例來說，外圍裝置918可包括網(wǎng)絡(luò)接n卡，其用于將計算機(jī) 系統(tǒng)介接到網(wǎng)絡(luò)、調(diào)制解調(diào)器等。
輸入裝置920提供用戶接口的一部分。輸入裝置920可包括用于輸入字母數(shù)字和其 它按鍵信息的字母數(shù)字小鍵盤，或指點裝置，例如鼠標(biāo)、跟蹤球、鐵筆或光標(biāo)方向鍵。 為了顯示文本和圖形信息，圖9的計算機(jī)系統(tǒng)包括圖形子系統(tǒng)924和輸出顯示器926。
輸出顯不器926可包括陰極射線管(CRT)顯示器、液晶顯不器(LCD)或其它合 適的顯示裝置。圖形子系統(tǒng)924接收文本和圖形信息，且處理所述信息以供輸出到顯示器92 6 。輸出顯示器92 6可用于報告對象檢測過程的中間結(jié)果且/或作為用戶接口的 一 部 分顯示其它信息。圖9的系統(tǒng)還包括音頻系統(tǒng)928，其包括麥克風(fēng)。在一個實施例中， 音頻系統(tǒng)928包括聲卡，其從麥克風(fēng)接收音頻信號。另外，圖9的系統(tǒng)包括輸出裝置932。 合適的輸出裝置的實例包括揚聲器、打印機(jī)等。
圖9的計算機(jī)系統(tǒng)中所含有的組件是通常在通用計算機(jī)系統(tǒng)中找到的那勝組件，且 既定表示此項技術(shù)中眾所周知的廣泛種類的此類計算機(jī)組件。
因此，圖9的計算機(jī)系統(tǒng)可為個人計算機(jī)、工作站、小型計算機(jī)、大型計算機(jī)等。 所述計算機(jī)還可包括不同的總線配置、聯(lián)網(wǎng)平臺、多處理器平臺等。可使用各種操作系 統(tǒng)，其中包括UNIX、索拉里斯(Solaris)、哩納克斯(Linux)、視窗(Windows)、麥金 托什(Macintosh) OS和其它合適的操作系統(tǒng)。
卜:文所描述的方法可O動執(zhí)行?？赡馨l(fā)生以K情況圖像使得圖像處理工具和對象 辨識工具需要某種校正。在所述情況下，所述方法包括一些檢驗和亍動調(diào)適動作以允許 確認(rèn)或調(diào)適屮間結(jié)果的可能性。這些動作還可適合于接受被檢測對象的屮間結(jié)果或最終 結(jié)果。
己出于說明和描述的目的而呈現(xiàn)了前述對本發(fā)明的詳細(xì)描述。不希望所述描述是詳 盡的或?qū)⒛景l(fā)明限于所揭示的精確形式，且顯然，鑒于以上教示，許多修改和變化是可 能的。舉例來說，本發(fā)明還適合于準(zhǔn)確地確定可在源圖像中檢測到的任何種類對象的位 置。選擇所描述的實施例是為了最佳闡釋本發(fā)明的原理和其實際應(yīng)用，以進(jìn)而使得所屬 領(lǐng)域的技術(shù)人員能夠在各種實施例中且以適合于所預(yù)期的特定使用的各種修改來最佳 利用本發(fā)明。希望本發(fā)明的范圍由所附權(quán)利要求書界定。
權(quán)利要求
1. 一種從基于陸地的移動測繪數(shù)據(jù)中檢測對象的方法，其中已借助于在道路上行駛的具有行駛方向的基于陸地的移動測繪運載工具而捕獲到所述基于陸地的移動測繪數(shù)據(jù)，所述移動測繪數(shù)據(jù)包含激光掃描儀數(shù)據(jù)、由至少一個相機(jī)獲得的源圖像以及所述運載工具的位置和定向數(shù)據(jù)，其中所述激光掃描儀數(shù)據(jù)包含若干激光點，每一激光點具有相關(guān)聯(lián)的位置和定向數(shù)據(jù)，且每一源圖像包含相關(guān)聯(lián)的位置和定向數(shù)據(jù)，所述方法包含檢索所述運載工具的位置和定向；依據(jù)所述運載工具的所述位置和定向而過濾所述激光掃描儀數(shù)據(jù)，以獲得對應(yīng)于關(guān)注區(qū)的激光點；檢索與所述運載工具的所述位置和定向相關(guān)聯(lián)的源圖像；將對應(yīng)于關(guān)注區(qū)的所述激光點映射到所述源圖像的圖像坐標(biāo)，以產(chǎn)生辨識掩模；將所述辨識掩模與所述源圖像進(jìn)行組合，以獲得表示所述關(guān)注區(qū)內(nèi)的可能對象的候選3D圖像；以及從所述候選3D圖像中檢測對象群組。
2. 根據(jù)權(quán)利要求1所述的方法，其中組合包含依據(jù)所述辨識掩模而分割所述源圖像，以獲得中間候選圖像； 將對應(yīng)于關(guān)注區(qū)的所述激光點的深度信息添加到所述中間候選圖像的對應(yīng)像素， 以獲得所述候選3D圖像。
3. 根據(jù)權(quán)利要求2所述的方法，其中添加深度信息包含使用由所述移動測繪運載工具的位置和定向傳感器捕獲的所述位置和定向數(shù)據(jù)， 以將激光點坐標(biāo)準(zhǔn)確地變換成源圖像的圖像坐標(biāo)；依據(jù)所述激光點坐標(biāo)以及所述位置和定向數(shù)據(jù)而確定所述圖像坐標(biāo)的深度信息 以及將所述深度信息添加到具有所述圖像坐標(biāo)的像素。
4. 根據(jù)權(quán)利要求2或3所述的方法，其中檢測包含針對每一候選3D圖像依據(jù)所述深度信息而確定候選3D圖像的大小和形狀；如果大小和形狀是根據(jù)預(yù)定義值的，那么依據(jù)所述深度信息而確定所述候選3D 圖像表面的深度一致性；如果候選3D圖像表面是深度一致的，那么依據(jù)所述深度信息而確定所述候選3D圖像朝所述行駛方向的定向；如果候選3D圖像表而不是深度一致的，那么依據(jù)前一源圖像而確止所述候選3D 圖像朝所述行駛方向的定向；依據(jù)所述所確定的定向而將候選3D圖像添加到所述對象群組。
5. 根據(jù)權(quán)利要求1所述的方法，其中過濾包含依據(jù)所述行駛方向和所述激光掃描儀數(shù)據(jù)的局部深度一致性而選擇所述關(guān)注區(qū) 中對應(yīng)于表面的激光點；且組合包含依據(jù)所述辨識掩模而分割所述源圖像，以獲得中間候選圖像；將對應(yīng)于5所述表面對應(yīng)的所述激光點的深度信息添加到所述中間候選圖像的 對應(yīng)像素，以獲得所述候選3D圖像。
6. 根據(jù)權(quán)利要求5所述的方法，其中檢測包含針對每一候選3D圖像依據(jù)所述深度信息而確定所述候選3D圖像的大小和形狀； 依據(jù)大小和形狀而將候選3D圖像添加到所述對象群組。
7. 根據(jù)權(quán)利要求4、 5或6中仟一權(quán)利要求所述的方法，其中表面的深度一致性是所述表面的平i—y.性的度量。
8. -種從基于陸地的移動測繪數(shù)據(jù)中檢測對象的方法，其中已借助于在道路卜.行駛的 具有行駛方向的基于陸地的移動測繪運載工具捕獲到所述基于陸地的移動測繪數(shù) 據(jù)，所述移動測繪數(shù)據(jù)包含激光掃描儀數(shù)據(jù)、由至少一個相機(jī)獲得的源圖像以及所 述運載工具的位置和定向數(shù)據(jù)，其中所述激光掃描儀數(shù)據(jù)包含若干激光點，每一激 光點具有相關(guān)聯(lián)的位置和定向數(shù)據(jù)，且每一源圖像包含相關(guān)聯(lián)的位置和定向數(shù)據(jù)，所述方法包含檢索所述運載工具的位置和定向；依據(jù)所述運載工具的所述位置和定向而過濾所述激光掃描儀數(shù)據(jù)，以獲得對應(yīng)于 第一關(guān)注區(qū)的激光點；檢索與所述運載工具的所述位置和定向相關(guān)聯(lián)的源圖像；將對應(yīng)于所述第 一 關(guān)注區(qū)的所述激光點映射到所述源圖像的圖像坐標(biāo)，以產(chǎn)生第 一辨識掩模；將所述第辨識掩模與所述源圖像進(jìn)行組合，以獲得表示所述第-'關(guān)注區(qū)的第 候選3D圖像；依據(jù)所述行駛方向而從所述第一候選3D圖像中檢測第一對象群組； 依據(jù)所述運載工具的所述位置和定向以及所述激光掃描儀數(shù)據(jù)的局部深度一致性而過濾所述激光掃描儀數(shù)據(jù)，以獲得對應(yīng)于第二關(guān)注區(qū)的激光點；將對應(yīng)于所述第二關(guān)注區(qū)的所述激光點映射到所述源圖像的圖像坐標(biāo)，以產(chǎn)生第 二辨識掩模；將第二辨識掩模與所述源圖像進(jìn)行組合，以獲得表示所述第二關(guān)注區(qū)的第二候選 3D圖像；從所述第二候選3D圖像中檢測第二對象群組；以及 將所述第一和第二對象群組進(jìn)行組合。
9. 根據(jù)權(quán)利要求1或8所述的方法，其中所述運載工具的所述位置和定向數(shù)據(jù)己由定位平臺確定。
10. —種用于捕獲對象以供地圖數(shù)據(jù)庫中使用的設(shè)備，所述設(shè)備包含輸入裝置；處理器可讀存儲媒體；以及處理器，其與所述輸入裝置和所述處理器可讀存儲媒體通信； 輸出裝臂，其用以實現(xiàn)'J顯示爭元的連接；所述處理器可讀存儲媒體存儲用以對所述處理器進(jìn)行編程以執(zhí)行從基于陸地的 移動測繪數(shù)據(jù)中檢測對象的代碼，其中已借助于在道路卜.行駛的具有行駛方向的基 于陸地的移動測繪運載工具捕獲到所述基于陸地的移動測繪數(shù)據(jù)，所述移動測繪數(shù) 據(jù)包含激光掃描儀數(shù)據(jù)、由至少一個相機(jī)獲得的源圖像以及所述運載工具的位置和 定向數(shù)據(jù)，其中所述激光掃描儀數(shù)據(jù)包含若干激光點，每一激光點具有相關(guān)聯(lián)的位 置和定向數(shù)據(jù)，且每一源圖像包含相關(guān)聯(lián)的位置和定向數(shù)據(jù)，所述方法包含檢索所述運載工具的位置和定向；依據(jù)所述運載工具的所述位置和定向而過濾所述激光掃描儀數(shù)據(jù)，以獲得對應(yīng)于 關(guān)注區(qū)的激光點；檢索與所述運載工具的所述位置和定向相關(guān)聯(lián)的源圖像；將對應(yīng)于關(guān)注區(qū)的所述激光點映射到所述源圖像的圖像坐標(biāo)，以產(chǎn)生辨識掩模； 將所述辨識掩模與所述源圖像進(jìn)行組合，以獲得表示所述關(guān)注區(qū)內(nèi)的可能對象的 候選3D圖像；從所述候選3D圖像'l'檢測對象群組；以及 將所述對象群組存儲在存儲媒體上以用于表征所述對象。
11. 一種計算機(jī)程序，其在加載于計算機(jī)布置上時，經(jīng)布置以執(zhí)行根據(jù)權(quán)利要求1到9 所述的方法中的任一方法。
12. —種攜載計算機(jī)程序的處理器可讀媒體，所述計算機(jī)程序在加載于計算機(jī)布置卜. 時，經(jīng)布置以執(zhí)行根據(jù)權(quán)利要求1到9所述的方法中的任一方法。
全文摘要
本發(fā)明涉及一種從基于陸地的移動測繪數(shù)據(jù)中檢測對象的方法，其中已借助于在道路上行駛的具有行駛方向的基于陸地的移動測繪運載工具捕獲到所述基于陸地的移動測繪數(shù)據(jù)，所述移動測繪數(shù)據(jù)包含激光掃描儀數(shù)據(jù)、由至少一個相機(jī)獲得的源圖像以及所述運載工具的位置和定向數(shù)據(jù)，其中所述激光掃描儀數(shù)據(jù)包含數(shù)若干激光點，每一激光點具有相關(guān)聯(lián)的位置和定向數(shù)據(jù)，且每一源圖像包含相關(guān)聯(lián)的位置和定向數(shù)據(jù)。所述方法包含檢索所述運載工具的位置和定向；依據(jù)所述運載工具的所述位置和定向而過濾所述激光掃描儀數(shù)據(jù)，以獲得對應(yīng)于關(guān)注區(qū)的激光點；檢索與所述運載工具的所述位置和定向相關(guān)聯(lián)的源圖像；將對應(yīng)于關(guān)注區(qū)的所述激光點映射到所述源圖像的圖像坐標(biāo)，以產(chǎn)生辨識掩模；將所述辨識掩模與所述源圖像進(jìn)行組合，以獲得表示所述關(guān)注區(qū)內(nèi)的可能對象的候選3D圖像；以及從所述候選3D圖像中檢測對象群組。通過組合圖像辨識與激光掃描儀辨識，可使檢測速率增加到非常高的百分比，進(jìn)而實質(zhì)上減少人力。此外，在所述激光數(shù)據(jù)中產(chǎn)生關(guān)注區(qū)實現(xiàn)了在所述圖像中檢測所述對象所需的處理功率和/或處理時間的顯著減少。
文檔編號G06T7/00GK101523439SQ200780037620
公開日2009年9月2日 申請日期2007年10月30日 優(yōu)先權(quán)日2006年10月30日
發(fā)明者盧卡什·彼得·塔博羅維斯基, 拉法爾·揚·格利什琴斯基, 阿爾卡迪烏什·維索茨基, 馬爾欽·米夏爾·克米奇克 申請人:電子地圖有限公司