專利名稱：將范圍傳感器數據映射在圖像傳感器數據上的方法及布置的制作方法
技術領域：
本發(fā)明涉及借助移動車輛(例如移動測繪系統(tǒng)(MMS))上的圖像傳感器(如相機)捕獲并處理圖像及范圍傳感器數據且將這些數據映射在由定位于相同移動車輛上的至少 一個范圍傳感器獲得的范圍傳感器數據上的領域。在一實施例中，本發(fā)明還涉及從此類圖像中移除隱私敏感數據的領域。所述隱私 敏感數據可涉及正相對于固定世界(即，全球)移動的對象。
背景技術：
在一些MMS應用中，本發(fā)明將尤其捕獲建筑物立面及其它固定對象(如樹木、街道 標志及街燈)的圖片，所述圖片稍后在用于(例如)汽車導航系統(tǒng)中的“真實世界”2D及/ 或3D街道圖像中使用。接著，向具備此一導航系統(tǒng)的汽車的駕駛員顯示這些圖像，使得所 述駕駛員在所述導航系統(tǒng)的屏幕上看到與在透過所述汽車的窗戶觀察時的真實世界視圖 對應的2D及/或3D圖像。此類圖片還可用于除了汽車導航系統(tǒng)以外的應用中，舉例來說， 用于可作為獨立系統(tǒng)或作為聯網環(huán)境中的協(xié)作系統(tǒng)而在計算機上玩的游戲中。此一環(huán)境可 以是因特網。如下文所呈現的本發(fā)明的解決方案不限于特定應用。然而，數百萬個此類匪S圖像可含有無意中存在于所述圖像上的隱私信息，例如 人的面部及可讀汽車牌照。并不想要在此類隱私或其它不合意的信息仍完整無損的情況下 在公共應用中使用此類圖像。舉例來說，報紙已作出關于由Google 發(fā)布的街道地圖視圖 中所使用的圖像中存在此類不合意信息的報導。在真實世界狀況中拍攝的圖像表示在MMS 附近的靜態(tài)及移動對象。在所述圖像中，具有此類隱私或其它不合意的信息的對象可相對 于固定世界為靜態(tài)或移動對象。人們必須在由MMS上的相機拍攝的圖像中識別此類對象。 一些現有技術應用已設法僅在圖像性質的基礎上識別移動對象并基于圖像序列中的色彩 像素性質來確定其移動軌跡。然而，此一途徑僅在可依序在多于兩個圖像上確定對象以確 定軌跡的情況下起作用。其他人已揭示其中使用其它類型的傳感器來確定對象相對于布置有此類傳感器 的車輛的短時間軌跡近似的系統(tǒng)。此類傳感器可包含激光掃描儀、雷達系統(tǒng)及立體攝像機。 舉例來說，EP 1418444的引言中提到了此類系統(tǒng)。此文獻涉及其中對象相對于車輛的相對 位置和速度較重要(舉例來說)以避免車輛與對象之間的事故的實時應用。所述文獻未揭 示可如何將由傳感器獲得的位置和速度數據映射在由立體攝像機獲得的圖像數據上。此 夕卜，其未揭示如何確定此類對象的絕對位置和絕對速度。此處，“絕對”將被理解成相對于如 由地球及固定到地球的對象(如建筑物、交通標志、樹木、山脈等)確定的固定真實世界為 絕對的意義。此一真實世界可(舉例來說)由GPS系統(tǒng)所使用的參考格柵界定。此外，此 文獻未解決如何處理由攝像機拍攝的圖像中的隱私敏感數據。舉例來說，共同待決的專利申請案PCT/NL2006/050264中描述使用激光掃描儀數 據來幫助識別建筑物占用面積的位置。

發(fā)明內容
本發(fā)明的目標為提供一種允許由一個或一個以上相機拍攝的一系列圖像中存在的的對象的精確檢測的系統(tǒng)及方法，所述一個或一個以上相機在其正移動時拍攝圖片，例 如，這是因為其定位于移動測繪系統(tǒng)上。為此目的，本發(fā)明提供一種計算機布置，其包括處理器及連接到所述處理器的存 儲器，所述存儲器包括計算機程序，所述計算機程序包括經布置以允許所述處理器執(zhí)行以 下操作的數據及指令 接收來自裝載于移動系統(tǒng)上的位置確定裝置的時間及位置數據以及來自裝載 于所述移動系統(tǒng)上的至少第一范圍傳感器的第一范圍傳感器數據及來自裝載于所述移動 系統(tǒng)上的至少一個相機的圖像數據； 在所述第一范圍傳感器數據內識別與至少一個對象相關的第一點云； 產生與所述對象相關且基于所述第一點云的遮掩； 將所述遮掩映射在與來自所述至少一個相機的所述圖像數據中存在的相同的 所述對象相關的對象圖像數據上； 對所述對象圖像數據的至少一部分執(zhí)行預定圖像處理技術。所述位置數據可含有定向數據。所述范圍傳感器提供與不同對象相關的此類點云。由于對象并不位于相同位置 上，因此與此類點云中的每一者相關的點向所述范圍傳感器顯示清晰的不同距離及/或方 位(取決于所述點屬于哪一對象)。因此，使用相對于所述范圍傳感器的這些范圍差，可容 易地制成與不同對象相關的遮掩。接著，可將這些遮掩應用到由所述相機拍攝的圖像以在 所述圖像中識別對象。此結果為識別那些對象且比僅依賴于圖像數據早的可靠方式。如果對象不正相對于固定世界移動，那么此一方法證明為極其有效。然而，此類對 象可正移動。那么，減小了此一檢測的精確度。因此，在一實施例中，本發(fā)明涉及如上文所 界定的計算機布置，其中所述計算機程序經布置以允許所述處理器執(zhí)行以下操作 接收來自裝載于所述移動系統(tǒng)上的第二范圍傳感器的第二范圍傳感器數據； 在所述第二范圍傳感器數據內識別與所述相同的至少一個對象相關的第二點 云； 根據所述第一點云及所述第二點云計算所述至少一個對象的運動向量； 在使用所述運動向量的同時，將所述遮掩映射在所述對象圖像數據上。在此實施例中，所述系統(tǒng)確定對象在拍攝圖像時的絕對位置及絕對速度，且所述 系統(tǒng)使用對象的移動軌跡的短時間近似。即，由于連續(xù)圖像與連續(xù)范圍傳感器掃描之間所 涉及的時間周期極短，因此人們可假設所有運動均為大體線性的且可極精確地識別正相對 于固定世界移動的對象。為此目的，其使用至少兩個范圍傳感器的范圍傳感器掃描，由于所 述至少兩個范圍傳感器為間隔開的且為不同定向，因此其提供可容易地用于識別對象的位 置及移動的數據。此減少了與僅基于圖像性質來識別移動對象并基于圖像序列中的色彩像 素性質確定其移動軌跡相關的問題，如根據現有技術所已知。此外，當使用極準確的方法來確定正支撐相機及傳感器的MMS系統(tǒng)的絕對位置和 速度時，還可獲得MMS系統(tǒng)附近的存在于由相機拍攝的圖像上的對象的至少一點的極準確 的絕對位置及短時間軌跡估計。此允許圖像像素的3D位置的重構(此改進此類圖像的值)且允許由車輛的駕駛員所看到的所謂的道路走廊中存在的對象的經改進的重構。不僅可使 用圖像濾波技術，且還可添加空間特征(如空間間隔、實際大小、大小變化)以近似對象的 主軸或對象的參考點。此增加濾波的值。通過向圖像添加3D空間方面(即，通過向圖像中的對象添加ζ分量)，甚至可有效地分離具有相同色彩空間性質的對象(例如，近的灌木叢與遠的樹木)。像素可與(絕對)空間中的位置相關聯。通過這樣做，可將一個圖像分析及濾波 (如面部檢測或文本檢測)的結果容易地傳送且應用到具有到絕對空間的相同映射的其它 圖像。在一些情況下，可選擇并使用具有不可讀取性質的一個圖像上的ROI (感興趣的 區(qū)域)來確定另一圖像的ROI中的相同性質。舉例來說，可將兩個或兩個以上不同圖像的 ROI映射到空間中的相同ROI且可將來自第二圖像的性質應用到在時間上更早或更晚地拍 攝的圖像。因此，使用范圍傳感器測量可鏈接對多個圖像執(zhí)行的算法?？稍谑褂萌我活愋偷姆秶鷤鞲衅?例如激光掃描儀、雷達或激光雷達)的同時應 用本發(fā)明的原理?？捎砂战弟囕v的任一適合車輛所攜載的任一類型的相機拍攝圖像。MMS系統(tǒng)上的相機可及時拍攝相繼圖片，使得其再現具有相同場景的重疊部分的 數個圖片。在此類重疊部分中，可存在因此將在數個圖片中顯示出的對象。如果將對此一 對象應用圖像濾波技術，那么通過使用本發(fā)明的方法僅需對這些圖片中的一者(通常為在 時間首次拍攝的圖片)中的對象應用此技術。此將導致可用于其所存在于的所有圖片中的 圖像經處理對象。此節(jié)省顯著計算時間。當對象的速度相對于相機的速度較大時，重要因子是對象的所觀察到的大小，這 是因為兩者之間的速度差越大，所觀察到的大小與實際大小的偏差越大。因此，如果人們希 望將范圍傳感器數據映射在圖像數據上，那么必須對此效應進行補償。因此，在進一步實施 例中，根據短時間軌跡數據確定對象的大小。在此實施例中，對象的移動估計的短時間近似 允許計算機布置將形狀校正程序應用到與(快速)移動對象相關聯的點云(由范圍傳感器 獲得)，從而導致此類點云與由相機拍攝的圖像中的對象之間的較佳對應。


將參照一些圖式詳細地解釋本發(fā)明，所述圖式僅打算顯示本發(fā)明的實施例而非限 制范圍。本發(fā)明的范圍在所附權利要求書中且由其技術等效內容加以界定。所述圖式顯示圖1顯示具有相機及激光掃描儀的匪S系統(tǒng)；圖2顯示位置和定向參數的圖示；圖3顯示在其車頂上具備兩個相機及兩個范圍傳感器的汽車的示意性俯視圖；圖4a顯示執(zhí)行本發(fā)明可借助的計算機布置的圖示；圖4b顯示根據本發(fā)明實施例的基本過程的流程圖；圖5顯示非移動對象的圖像；圖6顯示由范圍傳感器中的一者獲得的與在圖5的圖像上可見的相同的場景相關 的范圍傳感器數據的實例；圖7顯示可如何使用圖6的數據來產生遮掩；
圖8顯示可如何使用圖7的遮掩在圖5中所示的圖像中識別對象；圖9顯示使圖8中所示的對象的圖像模糊的結果；圖10顯示由相機中的一者拍攝的圖片的實例；圖11顯示由范圍傳感器中的一者獲得的與在圖10的圖像上可見的相同的場景相關的范圍傳感器數據的實例；圖12顯示可如何使用圖11的數據來產生遮掩；圖13顯示可如何使用圖12的遮掩在圖10中所示的圖像中識別對象；圖14顯示根據本發(fā)明實施例的基本過程的流程圖；圖15a到15c顯示在連續(xù)時間瞬間對象相對于具備一相機及兩個范圍傳感器的汽 車的位置；圖16顯示對象的范圍傳感器測量點云；圖17顯示如在模型中用于計算對象的質心的圓柱體；圖18顯示指向不同方向的兩個范圍傳感器；圖19顯示如何在使用圖12中所示的遮掩且使用移動對象的速度估計的同時在圖 像中識別所述對象； 圖20顯示如由遮掩識別的對象；圖21顯示使圖20中所示的對象的圖像模糊的結果；圖22顯示可如何確定移動對象的真實大小和形狀。
具體實施例方式本發(fā)明主要涉及處理由移動測繪系統(tǒng)(MMS)上的相機拍攝的圖像的領域。更具體 來說，在一些實施例中，本發(fā)明涉及增強此類圖像或在此類圖像中識別(移動)對象以及消 除這些圖像中的隱私敏感數據。然而，并不排除所附權利要求書的范圍所涵蓋的其它應用。 舉例來說，所述相機可由任一其它適合車輛(如空降車輛)攜載。圖1顯示采取汽車1形式的匪S系統(tǒng)。汽車1具備一個或一個以上相機9 (I) (I = 1,2,3, ...I)及一個或一個以上激光掃描儀3 (j)(j = 1,2,3, ...J)。在本發(fā)明的上下文 中，如果必須識別移動對象，那么使用來自至少兩個或兩個以上激光掃描儀3(j)的信息。 汽車1可由駕駛員駕駛著沿感興趣的道路行駛。激光掃描儀3(j)可由任一種類的范圍傳 感器替代，所述任一種類的范圍傳感器允許針對某一組方位檢測所述范圍傳感器與由所述 范圍傳感器感測的對象之間的距離。此一替代范圍傳感器可以是(舉例來說)雷達傳感器 或激光雷達傳感器。如果使用雷達傳感器，那么其范圍和方位測量數據應與如可借助激光 掃描儀獲得的那些范圍和方位測量數據相當。此處術語“相機”被理解為包含任一類型的圖像傳感器，包含(舉例來說) Ladybug 0汽車1具備多個車輪2。此外，汽車1具備高精確度位置/定向確定裝置。此一裝 置經布置以提供關于汽車1的位置和定向的6自由度數據。圖1中顯示一實施例。如圖1 中所示，所述位置/定向確定裝置包括以下組件 GPS(全球定位系統(tǒng))單元，其連接到天線8且經布置以與多個衛(wèi)星SLk(k= 1， 2，3，...)通信且根據從衛(wèi)星SLk接收的信號計算位置信號。所述GPS單元連接到微處理器μ P。所述微處理器μ P經布置以存儲從所述GPS單元接收的隨時間而變的數據。此數 據將被發(fā)送到外部計算機布置以供進一步處理。在一實施例中，基于從所述GPS單元接收 的信號，所述微處理器μ P可確定將在汽車1中的監(jiān)視器4上顯示的適合顯示信號，從而告 知駕駛員汽車的所在位置及所述汽車可能正沿哪個方向行進?！?DMI (距離測量儀器)。此儀器是通過感測車輪2中的一者或一者以上的旋轉次 數來測量汽車1行進的距離的里程表。所述DMI還連接到所述微處理器μ P。所述微處理 器μ P經布置以存儲從所述DMI接收的隨時間而變的數據。此數據也將被發(fā)送到外部計算 機布置以供進一步處理。在一實施例中，所述微處理器μ P在根據來自所述GPS單元的輸 出信號計算顯示信號的同時考慮到由所述DMI測量的距離?！?IMU(慣性測量單元)。此一 IMU可實施為經布置以測量旋轉加速度的三個回轉 儀單元及沿三個正交方向的三個平移加速計。所述IMU還連接到所述微處理器μ P。所述 微處理器μ P經布置以存儲變化從所述IMU接收的隨時 間而變的數據。此數據也將被發(fā)送 到外部計算機布置以供進一步處理。如圖1中所示的系統(tǒng)(舉例來說)通過借助安裝于汽車1上的一個或一個以上相 機9(i)拍攝圖片來收集地理數據。所述相機連接到所述微處理器μΡ。此外，在汽車1正 沿感興趣的道路行駛時，激光掃描儀3 (j)拍攝激光樣本。因此，所述激光樣本包括與同這 些感興趣的道路相關聯的環(huán)境相關的數據且可包含與建筑物大廈、與樹木、交通標志、停泊 的車、人等相關的數據。激光掃描儀3 (j)還連接到所述微處理器μ P且將這些激光樣本發(fā)送到所述微處 理器μ P。通常想要從三個測量單元GPS、IMU及DMI盡可能精確地提供位置和定向測量。在 相機9(i)拍攝圖片且激光掃描儀3 (j)拍攝激光樣本時測量這些位置和定向數據。存儲所 述圖片及所述激光樣本兩者以供稍后在所述微處理器μP的適合存儲器中結合在拍攝這 些圖片及激光樣本時收集的汽車1的對應位置和定向數據使用。及時從所述GPS、IMU、DMI、 相機9(i)及激光掃描儀3 (j)中收集所有數據的替代方式為給所有這些數據加時間戳并將 所述時間戳數據連同其它數據一起存儲于所述微處理器的存儲器中?？商娲厥褂闷渌鼤r 間同步標記。所述圖片及激光樣本包含(舉例來說)關于建筑物大廈立面的信息。在一實施例 中，激光掃描儀3 (j)經布置以產生具有最小50Hz及Ideg分辨率的輸出以產生方法的足夠 密集的輸出。例如由SICK生產的MODEL LMS291-S05的激光掃描儀能夠產生此輸出。圖2顯示可從圖1中所示的三個測量單元GPS、DMI及IMU獲得哪些位置信號。圖 2顯示微處理器μ P經布置以計算6個不同參數，即，相對于預定坐標系統(tǒng)中的原點的3個 距離參數x、y、z及分別為ωχ、coy、《2的3個角度參數，其分別表示繞χ軸、y軸及ζ軸的 旋轉。ζ方向與重力向量的方向一致。圖3顯示具有兩個范圍傳感器3 (1) ,3(2)(其可以是激光掃描儀但另一選擇為可 以是(舉例來說)雷達)及兩個相機9(1)、9 (2)的匪S。兩個范圍傳感器3(1)、3 (2)布置 于汽車1的車頂上，使得在相對于汽車1的行駛方向觀看時其指向汽車1的右側。借助SDl 指示范圍傳感器3(1)的掃描方向而借助SD2指示范圍傳感器3 (2)的掃描方向。相機9(1) 也向右側觀看，即，其可垂直于汽車1的行駛方向指向。相機9(2)沿行駛方向觀看。此設置適于其中車輛在右車道中行駛的所有那些國家。在相機9(1)及激光掃描儀3(1)、3 (2) 定位于汽車車頂的左側上的意義上，所述設置優(yōu)選地針對其中車輛在街道的左側上行駛的 那些國家而改變(同樣，“左”是相對于汽車1的行駛方向界定的)。應理解，所屬領域的技 術人員可使用許多其它配置。汽車1中的微處理器可實施為計算機布置。圖4a中顯示此一計算機布置的實例。在圖4a中，給出計算機布置10的概略圖，其包括用于實施算術運算的處理器11。處理器11連接到多個存儲器組件，包含硬磁盤12、只讀存儲器(ROM) 13、電可擦除 可編程只讀存儲器(EEPROM) 14及隨機存取存儲器(RAM) 15。并不一定需要提供所有這些 存儲器類型。此外，這些存儲器組件無需在物理上接近于處理器11定位而是可遠離處理器 11定位。處理器11還連接到(例如)用戶用來輸入指令、數據等的構件，如鍵盤16及鼠標 17。也可提供所屬領域的技術人員已知的其它輸入構件，例如觸摸屏、軌跡球及/或話音轉 換器。
提供連接到處理器11的讀取單元19。讀取單元19經布置以從數據載體(如軟磁 盤20或⑶ROM 21)讀取數據及可能地在所述數據載體上寫入數據。其它數據載體可以是 磁帶、DVD、⑶-R、DVD-R、存儲棒等，如所屬領域的技術人員已知。處理器11還連接到打印機23以在紙張上以及向顯示器18打印輸出數據，所述顯 示器例如是監(jiān)視器或LCD (液晶顯示器)屏幕或所屬領域的技術人員已知的任何其它類型 的顯示器。處理器11可連接到擴音器29。處理器11可借助I/O構件25連接到通信網絡27，例如，公共交換電話網(PSTN)、 局域網(LAN)、廣域網(WAN)、因特網等。處理器11可經布置以通過網絡27與其它通信布 置通信。當車輛在沿街道移動的同時收集數據時，這些連接可不均實時地連接。數據載體20、21可包括呈數據及指令形式的計算機程序產品，其經布置以給所述 處理器提供執(zhí)行根據本發(fā)明的方法的能力。然而，另一選擇為，此計算機程序產品可經由電 信網絡27下載。處理器11可實施為獨立系統(tǒng)，或實施為多個各自經布置以實施較大計算機程序 的子任務的平行操作處理器，或實施為具有數個子處理器的一個或一個以上主處理器。本 發(fā)明的部分功能性甚至可由通過網絡27與處理器11通信的遠程處理器實施?？梢钥闯?，當應用于汽車1中時，所述計算機布置不需要具有圖4a中所示的所有 組件。舉例來說，那么所述計算機布置不需要具有擴音器及打印機。至于汽車1中的實施 方案，所述計算機布置需要至少處理器11、用以存儲適合程序的某一處理器及用以從操作 者接收指令及數據并向所述操作者顯示輸出數據的某一種類的接口。為對分別由相機9 (i)、激光掃描儀3 (j)及位置/定向測量裝置拍攝的圖片、掃描 及所存儲的位置和定向數據進行后處理，將使用與圖4a中所示的布置類似的布置，但此布 置將不定位于汽車1中而是可方便地定位于建筑物中用于離線后處理。將由相機9(i)、掃 描儀3(j)及位置/定向測量裝置拍攝的圖片、掃描及位置/定向數據存儲于存儲器12到 15中的一者中。此存儲可經由首先將所述圖片、掃描及位置/定向數據存儲于DVD、存儲棒 或類似物上或從存儲器12、13、14、15中傳輸其(可能以無線方式)來完成。優(yōu)選地還給所有測量加時間戳且還存儲這些各種時間測量。在本發(fā)明的實施例中，圖1中所示的布置應能夠在由相機9(i)拍攝的圖像中區(qū)別某些對象。應盡可能精確地確定其絕對位置及(任選地)其在拍攝所述圖像時的絕對速度。 舉例來說，應對其進行識別以處理其中的至少部分，使得經處理的部分對于觀看者不再清 晰可見。舉例來說，此類部分可與人面部、汽車牌照號碼、公告牌中的政治聲明、商業(yè)宣告、 商標名稱、有版權對象的可辨識特性等相關。在處理圖像期間的一個動作可以是在由相機 9(i)拍攝的圖像中將與建筑物立面相關的數據忽略。即，與建筑物立面相關的數據在最終 的應用中保持不變。可通過使用共同待決的專利申請案PCT/NL2006/050264中所描述及所 主張的方法來獲得關于此類建筑物立面在何處的位置數據。當然，可在本發(fā)明的上下文內 使用用以識別建筑物立面的位置的其它技術。在移除此建筑物立面數據的情況下，移除隱 私敏感數據將僅與移動測繪系統(tǒng)與此類立面之間存在的對象相關。此類對象可相對于固定世界而為移動對象。此類移動對象可以是人及汽車。在圖 像中識別移動對象可比識別固定對象困難。通過僅使用一個激光掃描儀3 (j)，人們可識別 非移動對象并將其適當地映射到圖像，但在圖像中識別移動對象且接著處理其中的若干部 分極為困難。因此，在與具有某一速度的對象相關的實施例中，本發(fā)明涉及具有一個或一個 以上相機9(i)及兩個或兩個以上激光掃描儀3 (j)的MMS。接著，使用相同對象但從兩個不 同激光掃描儀3 (j)中產生的的兩個點云來確定移動對象的短時間軌跡，其將用于估計所 述對象的隨時間而變的位置。接著將使用對所述對象的隨時間而變的位置的此一估計在由 相機9(i)在還收集激光掃描儀數據的時間周期中收集的圖像中識別所述對象。圖4a中所示的計算機布置經編程以提供根據本發(fā)明的某一功能性。本發(fā)明涵蓋 至少兩個方面與非移動對象相關的功能性及與移動對象相關的功能性。與非移動對象相 關的功能性概述于圖4b中所呈現的流程圖中而與移動對象相關的功能性概述于圖14中所 呈現的流程圖中。首先，圖4b顯示其中顯示在計算機布置10上執(zhí)行的本發(fā)明的基本動作的流程圖。 在詳細地解釋圖4b的動作之前，此處將對其進行簡要敘述。在動作30中，計算機布置10接收來自范圍傳感器3(i)及相機9(j)的數據以及 來自裝載于匪S上的位置/定向確定裝置的位置/定向及時間數據。在動作32中，處理器在從范圍傳感器3(i)中導出的數據中識別不同對象(如圖 5中所示的汽車)。在動作36中，計算機布置10基于來自范圍傳感器數據的數據產生一個或一個以 上對象的遮掩。在動作38中，計算機布置10將這些遮掩映射在如由一個或一個以上相機9 (j)拍 攝的圖片中的對應對象上，從而考慮到測量的不同時間及位置且還考慮到對象的移動。在動作40中，計算機布置10處理圖片中在由遮掩指示的界線內的至少一部分，這 樣以致使所述對象內的隱私敏感數據難以辨認?，F在，更詳細地解釋這些動作中的每一者。為此目的，參照圖5到9。圖5顯示其 上具有一些汽車的圖片。圖5的圖片是借助相機9(2)拍攝的。第一可見汽車(存在于點 線矩形內)具有其細節(jié)為清晰可見的牌照。從隱私觀點來看，必須移除此類細節(jié)。如在計 算機布置10上運行的程序識別所述對象或者在一實施例中識別所述對象內與可涉及隱私敏感信息且應被處理的部分。在圖5的情況下，所述程序在所述圖片中識別整個汽車或牌 照并處理所述整個汽車或所述牌照以使其難以辨認。圖6到9解釋可如何完成此動作。圖6顯示與圖5中所示的場景相同但由范圍傳感器3(1)拍攝的圖片。所述范圍傳感器的掃描點包含同范圍傳感器3(1)與所述汽車之間的距離相關的距離數據。如圖4b的動作30中所指示，將圖5及6中所示的數據傳輸到計算機布置10。除 了這些圖5及6中所示的數據以外，還將隨時間而變且由裝載于匪S上的位置確定/定向裝 置獲得的位置和定向數據傳輸到計算機布置10。此還適用于相機9(i)及范圍傳感器3(j) 相對于所述位置確定/定向裝置的位置的位置。可經由任一已知方法來完成動作30中數 據到計算機布置10的傳輸，舉例來說，經由如由汽車1中的匪S獲得的數據的無線傳輸或 經由中間媒體(如DVD、藍光盤、存儲棒等)。在動作32中，在所述范圍傳感器數據中識別對象。優(yōu)選地，計算機布置10應用立 面預測方法，即，用以識別其中定位了建筑物立面的位置的方法。如上所指示，通過使用共 同待決的專利申請案PCT/NL2006/050264中所描述及所主張的方法來獲得關于此類建筑 物立面在何處的位置數據。當然，可在本發(fā)明的上下文內使用用以識別建筑物立面的位置 的其它技術。如果這樣，那么可忽略與由相機9(i)拍攝的圖像中的建筑物立面相關的數據 不予任何進一步處理，例如從這些圖像中移除隱私敏感數據。還可以直接的方式移除與地 面相關的數據。舉例來說，計算機布置10可使用以下事實MMS正在地面上移動且因此其 知道地面相對于相機9(i)及范圍傳感器3(j)的位置。因此，可將地面近似為MMS在其上 移動的平面。如果需要，那么也可考慮到斜坡測量?？稍谟煞秶鷤鞲衅?(j)獲得的點云中 找到移動測繪系統(tǒng)與此類立面之間的固定及移動對象，所述范圍傳感器允許將圖像像素映 射到適當空間位置?？梢钥闯?，處理器可使用范圍傳感器數據來擴增用于確定對象相對于移動測繪系 統(tǒng)的圖像點位置的攝影測量方法。在此一動作中，可檢測移動對象以及固定對象。此外，可 估計此一移動對象所跟隨的軌跡。優(yōu)選地，程序將預濾波過程應用到范圍傳感器數據以識別感興趣的對象。此為較 適合且高效的，從而需要較少的處理時間，這是因為與對象相關的范圍傳感器數據一般將 包括比與相同對象相關的相機圖像數據少的數據。所述預濾波過程可基于對象的動態(tài)特 征、基于對象的大小及/或對象的位置特性。此可導致需要進一步處理的一個或一個以上 選定對象。將對相同對象的相機圖像數據執(zhí)行此進一步處理且此進一步處理可包含應用任 一已知的場景分解技術在圖像內識別(例如)與文本及/或人面部相關的部分。此圖像檢 測技術根據現有技術為已知的且此處不需要進一步解釋。實例為基于聚類及/或RANSAC 的搜索模型。范圍傳感器的掃描點包含同范圍傳感器3(1)與圖10的汽車之間的距離相關的距 離數據?；诖思捌渌占臏y量，計算機布置10可處理范圍傳感器的掃描點以識別汽 車的隨時間而變的位置以及其速度向量。如動作36中所指示，計算機布置10接著確定對 象的3D軌跡，其通過時間參數化使得位置與來自由相機9 (i)收集的圖像的點相關聯以產 生可用于使圖10中所示的圖片中的汽車模糊(或執(zhí)行任一其它適合圖像處理技術)的遮 掩，以獲得圖5的圖片中不再存在隱私敏感數據的情形。在變換成相機9(2)的圖像的位置 時，所述遮掩的位置將同與所述汽車相關的范圍傳感器的掃描點的位置重合。圖7中顯示此一遮掩。在動作38中，計算機布置10將此遮掩映射在圖5中所示的圖像上。如圖8中所 示，以此方式，計算機布置10使用所述遮掩來確立圖5的圖像中的汽車的界線。在所述界線內，在動作40中，計算機布置10可執(zhí)行任一所需圖像處理技術以確立 關于所述汽車在所述界線內的任一所需結果。舉例來說，如果存在足夠的重疊圖像或如果 存在有關場景的其它信息使得可在根本看不見對象的情況下復制所述場景，那么可從圖像 中完全移除此一汽車(或任一其它對象)。因此，在此實施例中，計算機布置10在圖像數據 中移除對象圖像數據，并用在所述對象原本不存在的情況下相機9 (2)原本可見的數據替 換由相機9(2)攝取的場景中的對象圖像數據。另一圖像處理技術為使與所述對象相關的圖像模糊，使得隱私數據不再可見。此 顯示于圖9中。然而，可使用具有使圖像的至少一部分不可見/不可辨識的效應的其它圖 像處理技術，如使所述部分散焦(參見例如:http://www. owlnet. rice, edu/ elec431/ proiects95/lords/elec431. html)或用不顯示任何隱私細節(jié)的標準圖像部分替代所述部 分。舉例來說，可用不具有牌照的標準汽車的圖 像替代完整汽車?；蛘?，如果已在汽車的圖 片內識別牌照，那么可僅使所述牌照模糊或僅用白板或用具有非私人牌照號碼的板替代所 述牌照。“像素化(pixelat) ”可以是將要使用的適合替代技術，其將位圖中的像素劃分成矩 形或圓形單元且接著通過用最小、最大或平均像素值(取決于所選擇的效應)填充那些單 元來重新創(chuàng)建圖像(來源:http://www. leadtools. com/SDK/Functions/Pixelate. htm)。在一實施例中，處理器11經布置以使用圖像處理分析技術在圖像內識別包括隱 私敏感數據或將要移除的其它數據的子對象。舉例來說，在處理器11上運行的程序可經布 置以通過尋找如眼睛、耳朵、鼻子等面部特征來識別人的面部。市場上可得到進行此操作的 程序，例如，可在英特爾(Intel)圖像處理庫中得到。另一選擇為或另外，在處理器11上運 行的程序可經布置以識別具有文本的部分。也可在市場上得到進行此操作的程序，例如，微 軟(Microsoft)提供可在此處使用的圖像處理庫?？稍谝韵戮W站上找到其它技術=http:// en. wikipedia. org/wiki/face detection,其提至丨J 以下鏈接:http//www, merl. com/ reports/docs/TR2004-Q43. pdf、http: //www, robots, ox. ac. uk/ cvrg/trinity2003/ schneiderman cvprOO. pdf。另一選擇為或另外，在處理器11上運行的程序可經布置以識別具有文本的部 分?？稍谑袌錾系玫竭M行此操作的程序，例如，http //en. wikipedia. orR/wiki/Optical character recoRnition提供可在此處使用的圖像處理庫。確實存在辨識汽車上的牌照 (其上的字符)的程序。以此方式，可識別人們希望移除或模糊的牌照及宣告。人們希望移 除或模糊的隱私敏感數據還可與私人電話號碼相關?？梢钥闯觯鄼C9(j)將連續(xù)拍攝匪S的周圍環(huán)境的圖像。在許多情況下，此將產 生具有場景的重疊部分的數個相繼圖像。因此，可存在其中具有相同對象的數個圖像。本 發(fā)明的優(yōu)點為其再現關于對象在所有這些圖像中的位置的信息。僅需對這些圖像中的一者 (通常為在時間上首次拍攝的圖像)中的對象應用一次圖像處理技術而非對所有那些圖像 中的相同對象均應用圖像處理技術。接著，也可在其它圖像中的任一者中使用經處理對象。 此減少處理時間。如果需要識別N個對象且在K個連續(xù)圖像中對其進行處理，那么使用本 發(fā)明會導致僅對這N個對象進行一次對象分析，即，由計算機布置10對范圍傳感器數據所執(zhí)行。計算機布置10不需要針對所有K個連續(xù)圖像重復此操作。在圖5到9的實例中，汽車為沿街道停泊的靜止不動的對象。這些圖中所示的圖像 為已由前視相機9(2)拍攝的圖像的右部分。一旦識別，即處理所述對象以修改其中的應不 可再辨識的信息。圖10到21與其中存在正相對于固定世界移動的對象的另一實例相關。 同樣，這些圖中所示的圖像為已由前視相機9(2)拍攝的圖像的右部分。所述實例與場景中 存在的正在行走的人相關，由于MMS快速移動且因此所述場景存在于由相機9(2)拍攝的圖 片中。出于處理圖像中與那人的面部相關的至少部分使得其將不可再辨識且因此保護那人 的隱私的目的，需要識別那人。圖10顯示由汽車1的前側上的相機9(2)拍攝的人的圖片。相機9(2)拍攝比范 圍傳感器3(1)、3(2)中的任一者早的人的圖片。舉例來說，范圍傳感器3(1)也已但在時間 上稍晚地感測到所述人。圖11顯示由范圍傳感器3(1)檢測的掃描點。這些掃描點中的一 些掃描點與在圖10中也為可見的人相關。圖10與11的比較將顯示圖10中的人的圖像與 同圖11中所示的相同人相關的范圍傳感器的點之間存在移位。范圍傳感器的掃描點包含同范圍傳感器3(1)與人之間的距離相關的距離數據。 基于此及其它所收集的測量，計算機布置10可處理范圍傳感器的掃描點以識別人的位置。 對于固定對象，計算機布置10可接著將所述對象的激光掃描儀點調整到與在由相機9(2) 收集的圖像中所看到的相同的位置以產生可用于從圖10中所示的圖片中抹除人(或執(zhí)行 任一其它適合圖像處理技術)的遮掩，以獲得圖10的圖片中不再存在隱私敏感數據的情 形。在變換成相機9(2)的圖像時，所述遮掩的位置將同與所述人相關的范圍傳感器的掃描 點的位置重合。圖12中顯示此一遮掩。 然而，如果所述對象(在此情況下為人)曾正在移 動，那么計算機布置10將基于范圍傳感器的掃描點抹除關于所述人的信息且所述人的一 部分(即，左部分)將保留在圖像上。此顯示于圖13中。這是因為所述人已在相機圖像的 時間與激光掃描的時間之間移動?？梢钥闯?，已展現了具有相機的系統(tǒng)，所述相機與激光掃描儀搭配且同步使得 其提供范圍傳感器數據與圖像數據之間的直接相關性。例如，已在以下網站上顯示此 類系統(tǒng):http://www. imk. fhR. de/sixcms/media. php/130/3d cameng.pdf 及 http:// www. 3dvsystems. com/technoloRy/3D% 20Camera% 20for% 20GaminR-l. pdf 0 市場上的其 它系統(tǒng)包括借助將來自特殊紅外相機的圖像與從正常CCD傳感器獲得的數據合并的ζ距離 擴增的相機圖像。然而，此類系統(tǒng)具有低分辨率及高價格。對于移動對象，本發(fā)明涉及通用 得多的解決方案且仍通過使用經估計短時間軌跡針對對象的運動進行調整而獲得來自范 圍傳感器的點云到來自相機的圖像的適當映射。因此，想要不僅基于范圍傳感器的數據產生此一遮掩且還確定界定在由相機9 (i) 中的至少一者拍攝的至少一個圖像中可見的對象在所述對象由所述相機攝取的時間與所 述對象由范圍傳感器3(j)中的一者掃描的時間之間的移動量及方向的運動軌跡數據。下 文將解釋可如何通過使用至少兩個范圍傳感器9 (i)來確定此一運動向量。在下文的解釋 中，假設鑒于所涉及的短時標，對象的運動為線性的。然而，本發(fā)明不限于此實施例。另一 選擇為，可將對象的運動估計為非線性軌跡，其中(例如)通過由多于兩個范圍傳感器3(j) 產生的掃描來確定此一軌跡。首先，圖14顯示其中顯示在計算機布置10上執(zhí)行的本發(fā)明的基本動作的流程圖。圖14中所示的方法動作與圖4b中的大體相同。差異為動作32與36之間的方法動作34。在動作34中，由計算機布置10計算一個或一個以上移動對象的運動向量。此外，在動作38 中，計算機布置10將動作36中所產生的遮掩映射在由一個或一個以上相機9 (j)拍攝的圖 片中的對應移動對象上，從而考慮到測量的不同位置且還考慮到對象的移動?，F在，更詳細地解釋(尤其是)動作34。上文已參照圖4b解釋了動作30及32。針對動作34中所執(zhí)行的計算對象的運動軌跡，做出以下假設在移動對象由相機 3(j)中的一者攝取與由范圍傳感器9(i)中的兩者或兩者以上感測的時間之間，所述移動 對象在很大程度上不改變其行進速度及方向。因此，假設運動向量在所述時間期間為大致 恒定的?？梢哉f使用“短時間軌跡近似”，其鑒于連續(xù)圖片與掃描之間所涉及的短時間周期 而為極好近似。因此，可通過根據來自兩個不同范圍傳感器9(i)的連續(xù)掃描確定運動向量 來估計所述運動向量的量值和方向?？梢钥闯?，在替代實施例中，可使用三個或三個以上范圍傳感器。如果這樣，那么 可使用多于兩個范圍傳感器掃描來識別對象的移動，從而產生比通過使用兩個范圍傳感器 獲得的更高階的對對象移動軌跡的近似。當對象正移動且首先由范圍傳感器3(1)并接著由范圍傳感器3(2)掃描時，那么 所述對象的位置在兩個掃描之間應不同。此示意性地顯示于圖15a、15b、15c中。在圖15a 中，在時間tl處，所述對象被范圍傳感器3(1)看到。在圖15b中，在比時間tl晚的時間t2 處，所述對象未被范圍傳感器3 (i)中的任一者看到而是僅處于相機9(1)的視場中。在圖 15c中，在比時間t2晚的時間t3處，所述對象處于范圍傳感器3(2)的視場中?？梢钥闯?，圖15a及15c顯示“位置不確定性”區(qū)域，其指示范圍傳感器3 (i)可不 以100%精確度識別所述對象的位置。這是由于范圍傳感器(例如激光掃描儀)需要數次 掃描所述對象來對其進行識別的事實所致。此花費一些時間。在此時間周期中，所述對象 可自身移動。如下文將參照圖22解釋，可檢測到快速移動的對象比實際上大。那么使用質 心的概念來識別移動可導致誤差，然而，可通過將在下文解釋的形狀校正技術來校正所述 誤差。下文將解釋計算機布置10可如何使用范圍傳感器掃描數據來導出對象的運動向 量。導出此之后，計算機布置10可計算對象的速度及對象的位置。假設問題僅為2D，這是 因為人們可假設道路上的大多數對象僅在平面上移動。當然，本發(fā)明的原理可擴展為包含 “飛行”對象，即，移動但不接觸地面的對象。將由范圍傳感器3(1)掃描的第一場景與由范圍傳感器3(2)掃描的第二場景進行 比較。如果對象已移動，那么其在所述第二場景中無法處于與所述第一場景中的位置相同 的位置中。計算機布置10可以如下方式執(zhí)行比較兩個范圍傳感器點云的掃描。首先，計算機 布置10計算兩個點云集，從而表示所述點云集之間的差DIFFl = scanl-scan2 ；DIFF2 = scan2_scanl ；其中scan2 =第二范圍傳感器3(2)的掃描中的點云scanl =第一范圍傳感器3(1)的掃描中的點云
可以看出，在執(zhí)行此集操作之前，所述點云中的點與其正確位置相關聯。接著，執(zhí) 行所述方程式再現表示在兩個不同時刻處的移動對象的兩個點云集。由于實際上移動對象 在空間上為單獨的，因此這兩個點云集的對應部分在空間上也為單獨的，此允許計算機布 置10將其有效地分解成表示單獨移動對象的點集。通過在DIFFl及DIFF2兩者中應用這 些操作，計算機布置10獲得表示相同對象的兩個點云集?？蓱盟鶎兕I域的技術人員已知的任一分解技術。一般來說，可使用以下技術。將 第一范圍傳感器3(1)的范圍傳感器掃描分成個別點云，其中每一個別點云與單個對象相 關。為進行此操作，將在平面絕對世界坐標上具有類似布局且彼此相距范圍距離內的點聚 合(聚類)在一起，依據掃描中的序列位置及/或到范圍傳感器的距離，針對每一點群組自 適應地確定所述范圍距離，且由于移動對象將為特別分離的，因此到屬于其它群組的點的 平均距離顯著不同。由分解方法產生的第一場景及第二場景中的所檢測到的對象通過比較兩個場景 中的對象特性以在兩個場景中找到相同對象來加以分析。關于每一點群組的形狀對其進行 分析。計算機布置10針對每一群組計算其是否與某一基本形狀配合，如盒子、圓柱體、球 體、平面等。針對每一群組，用此一基本形狀替代所述群組且計算機布置10存儲所述基本 形狀的基本特征，如高度、直徑、寬度等。接著，計算機布置10針對由第二范圍傳感器3 (2) 進行的掃描重復相同程序。計算機布置10現在能夠通過比較存在于兩個掃描中的基本形 狀來比較兩個掃描中的所檢測到的對象且接著使兩個掃描中的不同對象匹配或配合。計算機布置10可使用各種已知技術來確定那兩個集中的匹配對。舉例 來說，可應用擴展 到3D的經修改豪斯道夫距離測量(參見例如htMlZZciteseen i st.psu.edu/cache/papers/cs2/180/http:zSzzSzwww. cse.msu.eduzSzpripzS zFileszSzDubuisson.Tain. pdf/a-modified-hausdorff-distance, pdf)。場景中的每一對象具有所有場景中均存在的特性點。舉例來說，對象的適合特性 點為給對象定界的形狀的質心，可基于識別為屬于此一對象的點云子集計算所述質心。可 添加對象的指示(例如)對象的比例的一些形狀特性作為特性點。當對象為人時，可由圓 柱體(其中直徑及高度對應于人體的平均大小)近似所述人。在人群中，人們可如此接近 彼此以致計算機布置10不能將個人與人群分開。那么，可將此一人群作為一單個對象來分 析。在此單個對象中，無法檢測個別面部。仍然，可需要從顯示此一人群的圖像中移除隱私 敏感數據。此可通過使整個人群模糊來解決。另一選擇為，可像素化與人群相關的圖像部 分。作為進一步替代方案，即使在人群中，也可使用上文所提到的面部檢測技術在與人群相 關的圖像中識別面部部分，之后是通過圖像處理技術使那些面部模糊、用某一種類的標準 面部圖片等替代那些面部。如果自動圖像處理不產生可接受的結果，那么可替代地執(zhí)行手 動圖像處理。在大多數情況下，關于使由范圍傳感器3(1)進行的第一掃描中所檢測到的基本 形狀與由范圍傳感器3(2)進行的第二掃描中所檢測到的基本形狀配合不存在多義性。如 果存在多義性，那么其可通過借助應用于候選者的對象辨識技術擴展此方法來解決，所述 候選者用于匹配圖像部分(感興趣的區(qū)域)中的對象并比較由相機9(j)做出的圖像中的 每一者中的每一對象的ROI的色彩空間中的圖像性質。如果仍保留多義性，那么也可應用 手動介入。
接著，計算機布置10確定對象的絕對位置，S卩，兩個場景中的質心的位置。下文將 參照圖16及17解釋可如何計算質心?？梢匀我灰阎绞礁鶕矎腗MS接收的位置數據確定對象的絕對位置，所述位置 數據鏈接到相機9 (j)拍攝圖片且范圍傳感器3 (i)進行掃描的時間，如所屬領域的技術人 員已知?？梢試H專利申請案PCT/NL2006/000552中所詳細解釋的方式執(zhí)行根據所接收的 MMS數據計算絕對位置。計算機布置10可將對象的運動向量作為相同對象在第一場景與第二場景中的兩 個絕對位置之間的差來計算。對象在場景中的位置可與對象的質心在此場景中的位置相 關。以對象的速度不會快速改變?yōu)榧僭O(其在時間周期tl到t3中且還在接近于此周期 的時間處為有效的假設)，計算機布置10可使用所述運動向量計算對象在任一時間處的位 置。如上文看出，當場景中存在數個移動對象時，某一多義性可導致對哪一質心與哪一對象 相關進行分析。當開始對運動向量的計算時，假設已解決此多義性且已正確地識別所有對 象，例如，通過使用點云特性等，如上文所解釋。
0129]計算機布置10在使用以下計算的同時計算來自圖15b的位置(x2，y2)。
0130]計算機布置10使用以下數據
0131](Xl，Yl)=對象在時間tl處的絕對位置，其由計算機布置10根據從范圍傳感
0132]器3(1)接收的位置數據(其是相對于汽車1的)及汽車1在時間
0133]tl處的絕對位置數據(其由圖1中所示的位置確定裝置計算)計算；
0134]國際專利申請案PCT/NL2006/000552中描述使用如圖2中所示的位
0135]置確定裝置計算汽車1的位置的適合方法，然而，可使用其它方法。
0136](x3, y3)=對象在時間t3處的絕對位置，其由計算機布置10根據從范圍傳感
0137]器3 (2)接收的位置數據(其是相對于汽車1的)及汽車1在時間
0138]t3處的絕對位置數據(其由圖1中所示的位置確定裝置計算)計算；
0139]=范圍傳感器3(1)感測對象的時間；此時間已由汽車1中的微處理器記錄且
0140]稍后也已存儲于計算機布置10的存儲器中；
0141]t2 =相機9(1)攝取對象的時間；此時間已由汽車1中的微處理器記錄且稍后也
0142]已存儲于計算機布置10的存儲器中；
0143]t3 =范圍傳感器3(2)感測對象的時間；此時間已由汽車1中的微處理器記錄且
0144]稍后也已存儲于計算機布置10的存儲器中；
0145]在計算中，已假設汽車1的速度在周期tl到t3期間為大致恒定的。
0146]計算機布置10如下計算對象在時間t2處的位置(x2，y2)。其以通常已知的用于
根據在時間A t期間的行進距離A s計算對象的速度V的方程式開始 As 可將速度V視為與對象相關的運動向量。將V分解成x，y分量(Vx，Vy)，將As分 解成x，y分量A sx, A Sy,且用t3_tl替代A t再現 根據此，可導出(x2，y2)，如下: 以上所計算的位置(Xi，Yi)與有關對象的質心相關。做出以下假設質量均勻地 分布在有關對象上且對象的形狀大致未改變。如果情況并非如此，那么所計算的質心實際 上是對象中心。出于計算運動向量的目的，這并不重要?？梢苑Q來自范圍傳感器3(i)的與一個特定對象在時刻、處相關的所有掃描數據 形成測量點的“點云”。圖16顯示此一點云。與一個對象相關的每一所掃描點(通過以上 所解釋且由計算機布置10執(zhí)行的分解方法獲得)借助與任意原點(例如，由針對汽車1界 定的位置界定)成距離A的小圓圈指示。計算機布置10針對每一此點云計算質心。對于 如人的對象，計算機布置10還計算近似那人的圓柱體，如圖12中所示。其它對象可由其它 外形近似。外形與質心一起形成對對象的描述。此一云的點的幾何質心;{是根據下式得出的 可以看出，范圍傳感器3(i)可沿不同方向觀察，如圖18中所示意性地指示。在圖 18中，點線圓圈指示對象。范圍傳感器3(1)沿相對于相機9(1)的觀看方向具有角度a的 方向觀察，且范圍傳感器3 (2)沿相對于相機9(1)的觀看方向具有角度0的方向觀察?？?顯示，當兩個角度a、0均為0°時，計算機布置10可根據從范圍傳感器3 (i)接收的數據 最精確地計算對象的位置。然而，本發(fā)明不限于此值。事實上，為精確地計算速度，由a+d+b 指示的距離應盡可能大同時保持與軌跡的時間為短的假設一致。在動作36中，計算機布置10產生由與一個對象相關的一個云內的掃描點的至少 一部分界定的遮掩。圖19顯示用于與圖10中所示的人相關的像素云的此遮掩。所述遮掩 是根據同與圖像中的相同對象相關聯的對象相關的一個像素云導出的。所使用的遮掩具有 固定形狀，此對于那些即使其正在移動在所涉及的時標期間也大致不改變其形狀的對象很 有效，所述所涉及的時標對于其中對象僅正緩慢移動的那些情況證明是適合的假設。如果 對象正快速移動，那么由范圍傳感器3(i)檢測到的其形狀應首先由計算機布置10校正。下 文將參照圖22解釋可如何完成此操作。在動作38中，計算機布置10在使用所計算的運動向量的同時將此遮掩映射在如 圖10中所示的圖像中的位置(x2，y2)上。如圖20中所示，以此方式，計算機布置10使用所 述遮掩確立圖10的圖像中的對象的界線。在所述界線內，在動作40中，計算機布置10可執(zhí)行任一所需圖像處理技術以確立 關于所述對象在所述界線內的任一所需結果。如上所指示，一個此種圖像處理技術為使與所述對象相關的圖像模糊，使得隱私
18數據不再可見。此顯示于圖21中。然而，同樣，可使用具有使圖像的至少一部分不可見/不 可辨識的效果的其它圖像處理技術，如使所述部分散焦(參見例如=http://www. owlnet. rice, edu/ elec431/pro iects95/lords/elec431. html)或用不顯示任何隱私細節(jié)的標 準圖像部分替代所述部分。舉例來說，可用木偶的標準面部替代人的面部。“像素化”可以 是將要使用的適合技術，如已針對圖4b評述。在一實施例中，處理器11經布置以在移動對象內識別包括隱私敏感數據或將要 移除的其它數據的子對象。舉例來說，在處理器11上運行的程序可經布置以通過尋找如 眼睛、耳朵、鼻子等面部特征來識別人的面部。市場上可得到進行此操作的程序。微軟提 供可在此處使用的圖像處理庫?？稍谝韵戮W站上找到其它技術=http://en.wikipedia. orR/wiki/face detection,其提至丨J 以下鏈接:http//www, merl. com/reports/docs/ TR2004-Q43. pdf、http://www.robots.ox.ac.uk/ cvrfi/trinity2003/schneiderman cvprOO. pdfo另一選擇為或另外，在處理器11上運行的程序可經布置以識別具有文本的部 分。可在市場上得到進行此操作的程序，例如，http //en. wikipedia. org/wiki/Optical character recognition提供可在此處使用的圖像處理庫。確實存在辨識汽車上的牌照 (其上的字符)的程序。舉例來說，此類程序用于具有速度限制的道路段上。以此方式，可 識別人們希望移除或模糊的牌照、電話號碼及宣告。迄今，已論述了如何處理非移動對象及移動對象。然而，當移動對象相對于MMS本 身的速度快速移動時，由范圍傳感器3(j)觀察到的所述對象的大小將與其實際大小有偏 差。舉例來說，正超過MMS或被MMS超過的汽車繼續(xù)由范圍傳感器3(j)在比原本靜止不動 或幾乎靜止不動的情況下的長的時間周期內掃描。因此，此一汽車看上去比其實際長。如 果汽車正沿相反方向移動，那么發(fā)生相反效應。對于由相機9(i)拍攝的圖片，此算不上問 題，這是因為相機具有高快門速度所述圖片將顯示汽車的實際大小。汽車的實際大小與由范圍傳感器3(j)觀察到的點云中汽車的大小之間的差異會 導致根據范圍傳感器數據導出的太小或太大的遮掩。因此，在計算機布置10上運行的程序 必須對此所觀察到的大小誤差進行補償。此將在動作36中完成。圖22解釋可如何確定快速移動對象的速度及大小以及(任選地)形狀。所述圖 的上部部分與MMS超過汽車相關，而所述圖的下部部分與汽車沿相反方向超過相關。移動對象的所觀察到的長度由范圍傳感器中的一者的掃描時間ts。_ing確定。圖 22的上部部分顯示其中范圍傳感器3(1)第一次檢測汽車的情形。范圍傳感器3(1)的掃描 時間為由范圍傳感器3(1)進行的第一次檢測與最后一次檢測(圖22中未顯示最后一次檢 測)之間的時間。汽車的實際速度V,eal由下式界定Vreal =其中Vreal =汽車的實際速度VMS = MMS的速度，其根據位置確定裝置數據確定Vrelative =汽車相對于MMS的速度的相對速度，其在使用用于計算圖10的人的速度 的相同公式的同時計算
根據范圍傳感器數據及位置確定裝置數據計算的汽車的所觀察到的長度L。bsCTred 從下式得出Lobserved 一 VfflS tscanning然而，汽車的實際長度LMal從下式得出Lreai L0bserved Lcorr其中L。。 為由于汽車具有其自身的速度而進行的校正且等于L = v ！ t
LJ Lcorr real ^scanning因此，汽車的實際長度從下式得出 Lreal 一 (^MMS_Vreai) ^scanning應注意，在此后一方程式中，汽車的實際速度VMal在汽車正沿與MMS相同的方向行 駛的情況下應從匪S的速度中減去且在其正沿相反方向行駛的情況下應加上。汽車是正沿 相同方向還是正沿相反方向行駛基于兩個范圍傳感器3(1)、3(2)的數據從速度計算中得
出o一旦已確立汽車的實際長度Lreal，在動作36中，計算機布置10在計算遮掩的同時 即考慮到此。即，舉例來說，所述計算機布置將遮掩的長度乘以因子F，所述因子等于F 一 Lreal/L0bserved在動作38中使用如此獲得的遮掩。概述.上文已解釋，本發(fā)明涉及在由移動汽車(例如，匪S)上的一個或一個以上數碼相 機拍攝的圖像內確定對象(如立面、道路設備、人行道及車輛)的位置。使用布置于所述汽 車上的一個或一個以上范圍傳感器來產生遮掩，所述遮掩可用于在此一圖像中識別對象且 接著對此類對象或其部分執(zhí)行圖像處理動作?？墒褂冒ǜ浇拥酱艘?MMS的兩個或兩個以 上范圍傳感器(如激光掃描儀或其它范圍傳感器)的布置來近似圖像中可能移動的對象的 大小及軌跡，所述兩個或兩個以上范圍傳感器產生與由安裝于所述匪S上的相機攝取的相 同場景的掃描。在使用(例如)任一已知的建筑物/立面檢測算法并在由相機拍攝的圖片 內識別對象(在使用范圍傳感器數據的同時)且隨后將一個或一個以上圖像處理濾波器應 用到此類對象時，可實現以下優(yōu)點1.通過改變圖像上的隱私敏感部分或其它不合意部分的分辨率或其它圖像視覺 特性保護那些部分。2.與一個圖像中的對象或其部分相關的圖像部分在關于其中的不合意數據被處 理之后可用于顯示相同對象的其它MMS收集的圖像中。因此，對對象執(zhí)行的任一圖像處理 動作僅需應用一次且不需要在不同的圖像中重新應用。3.可區(qū)別范圍傳感器點中的靜態(tài)對象以及緩慢及快速移動的對象。可確定其實際 長度及實際速度。4.可基于通過所確定的長度及速度值以及激光掃描與圖像捕獲之間的時間差調 整對相機圖像的激光掃描檢測來精確地遮掩所述圖像中的對象。5.可移除汽車與立面之間的區(qū)中的不期望的對象且可處理來自另一圖像或來自 當前圖像的信息以替換前景圖像。
權利要求
一種計算機布置(10)，其包括處理器(11)及連接到所述處理器的存儲器(12；13；14；15)，所述存儲器包括計算機程序，所述計算機程序包括經布置以允許所述處理器(11)執(zhí)行以下操作的數據及指令接收來自裝載于移動系統(tǒng)上的位置確定裝置的時間及位置數據以及來自裝載于所述移動系統(tǒng)上的至少第一范圍傳感器(3(1))的第一范圍傳感器數據及來自裝載于所述移動系統(tǒng)上的至少一個相機(9(j))的圖像數據；在所述第一范圍傳感器數據內識別與至少一個對象相關的第一點云；產生與所述對象相關且基于所述第一點云的遮掩；將所述遮掩映射在與來自所述至少一個相機(9(j))的所述圖像數據中存在的相同的所述對象相關的對象圖像數據上；對所述對象圖像數據的至少一部分執(zhí)行預定圖像處理技術。
2.根據權利要求1所述的計算機布置(10)，其中所述計算機程序經布置以允許所述處 理器(11)執(zhí)行以下操作接收來自裝載于所述移動系統(tǒng)上的第二范圍傳感器(3(2))的第二范圍傳感器數據； 在所述第二范圍傳感器數據內識別與所述相同的至少一個對象相關的第二點云； 根據所述第一點云及第二點云計算所述至少一個對象的運動向量； 在使用所述運動向量的同時，將所述遮掩映射在所述對象圖像數據上。
3.根據權利要求2所述的計算機布置(10)，其中所述計算機程序經布置以允許所述處 理器(11)執(zhí)行以下操作基于所述第一范圍傳感器數據及第二范圍傳感器數據計算所述對象的實際大小； 在產生所述遮掩的同時，使用所述實際長度。
4.根據權利要求3所述的計算機布置(10)，其中所述計算機程序經布置以允許所述處 理器(11)執(zhí)行以下操作基于所述第一范圍傳感器數據及第二范圍傳感器數據中的一者計算所述對象的所觀 察到的大?。换谒鏊^察到的長度及所述實際長度計算所述遮掩。
5.根據權利要求2或3所述的計算機布置，其中所述處理器(11)以在來自所述至少第 一及第二范圍傳感器(3(i))的所述范圍傳感器數據內檢測到的任一對象的運動速度和方 向大致恒定為假設計算所述運動向量。
6.根據權利要求2到5中任一權利要求所述的計算機布置，其中所述識別所述第二點 云包括將所述至少一個對象與固定到地球的參考對象區(qū)別開。
7.根據前述權利要求中任一權利要求所述的計算機布置，其中所述識別所述第一點云 包括將所述至少一個對象與固定到地球的參考對象區(qū)別開。
8.根據權利要求6或7所述的計算機布置，其中所述參考對象為建筑物。
9.根據前述權利要求中任一權利要求所述的計算機布置，其中所述預定圖像處理技術 包含使所述至少一個部分模糊、使所述至少一個部分散焦及用預定圖像數據替代所述至少 一個部分中的至少一者。
10.根據前述權利要求中任一權利要求所述的計算機布置，其中所述計算機程序經布 置以允許所述處理器(11)通過使用對象辨識技術及字符辨識技術中的至少一者來識別所述至少一個部分。
11.根據前述權利要求中任一權利要求所述的計算機布置，其中所述至少一個部分包 含隱私敏感數據。
12.根據前述權利要求中任一權利要求所述的計算機布置，其中所述對象圖像數據屬 于某一場景，所述預定圖像處理技術包含在所述圖像數據中移除所述對象圖像數據并用在 所述對象原本不存在的情況下在所述場景中原本為可見的數據替換所述場景中的所述對 象圖像數據。
13.根據前述權利要求中任一權利要求所述的計算機布置，其中所述圖像數據與多個 圖像相關，所述多個圖像中的每一者均顯示所述相同對象，且所述處理器(11)經布置以通 過對所述多個圖像中的一者中的所述對象圖像數據的至少所述部分執(zhí)行所述預定圖像處 理技術的所述動作而產生經處理對象圖像，并用所述經處理對象圖像替代所述多個圖像中 的其它圖像中的所述對象。
14.一種包括根據前述權利要求中任一權利要求所述的計算機布置及移動系統(tǒng)的數據 處理系統(tǒng)，所述移動系統(tǒng)包括用于提供所述時間及位置和定向數據的 位置確定裝置、用于 提供所述第一范圍傳感器數據的至少第一范圍傳感器(3(i))及用于提供所述圖像數據的 至少一個相機(9(j))。
15.一種將來自第一范圍傳感器(3(1))的第一范圍傳感器數據映射到來自至少一個 相機(9(j))的圖像數據的方法，所述第一范圍傳感器(3(1))及所述至少一個相機(9(j)) 兩者以彼此固定的關系定位于移動系統(tǒng)上，所述方法包含接收來自裝載于所述移動系統(tǒng)上的位置確定裝置的時間及位置數據以及來自裝載于 所述移動系統(tǒng)上的所述第一范圍傳感器(3(1))的所述第一范圍傳感器數據及來自裝載于 所述移動系統(tǒng)上的所述至少一個相機(9(j))的所述圖像數據；在所述第一范圍傳感器數據內識別與至少一個對象相關的第一點云； 產生與所述對象相關且基于所述第一點云的遮掩；將所述遮掩映射到與來自所述至少一個相機(9(j))的所述圖像數據中存在的相同的 所述對象相關的對象圖像數據上；對所述對象圖像數據的至少一部分執(zhí)行預定圖像處理技術。
16.根據權利要求15所述的方法，其中所述方法包含接收來自裝載于所述移動系統(tǒng)上的第二范圍傳感器(3(2))的第二范圍傳感器數據； 在所述第二范圍傳感器數據內識別與所述相同的至少一個對象相關的第二點云； 根據所述第一點云及第二點云計算所述至少一個對象的運動向量； 通過使用所述運動向量將所述遮掩映射到所述對象圖像數據上。
17.根據權利要求16所述的方法，其中所述方法包含基于所述第一范圍傳感器數據及第二范圍傳感器數據計算所述對象的實際大??； 在產生所述遮掩的同時，使用所述實際大小。
18.—種包括可由計算機布置加載的數據及指令的計算機程序產品，從而允許所述計 算機布置執(zhí)行根據權利要求15到17所述的方法中的任一者。
19.一種具備根據權利要求18所述的計算機程序產品的數據載體。
20.一種計算機布置(10)，其包括處理器(11)及連接到所述處理器的存儲器(12 ；13 ；`14 ；15)，所述存儲器包括計算機程序，所述計算機程序包括經布置以允許所述處理器(11) 執(zhí)行以下操作的數據及指令接收來自裝載于移動系統(tǒng)上的位置確定裝置的時間及位置數據、來自裝載于所述移動 系統(tǒng)上的至少第一范圍傳感器(3(1))的第一范圍傳感器數據及來自裝載于所述移動系統(tǒng) 上的第二范圍傳感器(3(2))的第二范圍傳感器數據；在所述第一范圍傳感器數據內識別與至少一個對象相關的第一點云； 在所述第二范圍傳感器數據內識別與所述相同的至少一個對象相關的第二點云； 根據所述第一點云及第二點云計算所述至少一個對象的運動向量。
21.根據權利要求20所述的計算機布置，其中所述計算機程序產品經布置以允許所述 處理器(11)執(zhí)行以下操作在計算所述第一點云中的第一質心及所述第二點云中的第二質心的同時，計算所述運 動向量，及確立所述第一質心與所述第二質心之間的路徑長度。
22.根據權利要求20或21所述的計算機布置，其中所述計算機程序經布置以允許所述 處理器(11)執(zhí)行以下操作基于所述第一范圍傳感器數據及第二范圍傳感器數據計算所述對象的實際長度。
23.一種計算對象的運動向量的方法，其包含接收來自裝載于移動系統(tǒng)上的位置確定裝置的時間及位置數據、來自裝載于所述移動系統(tǒng)上的至少第一范圍傳感器(3(1))的第一范圍傳感器數據及來自裝載于所述移動系統(tǒng) 上的第二范圍傳感器(3(2))的第二范圍傳感器數據；在所述第一范圍傳感器數據內識別與至少一個對象相關的第一點云； 在所述第二范圍傳感器數據內識別與所述相同的至少一個對象相關的第二點云； 根據所述第一點云及第二點云計算所述至少一個對象的運動向量。
24.一種包括可由計算機布置加載的數據及指令的計算機程序產品，從而允許所述計算機布置執(zhí)行根據權利要求23所述的方法。
25.一種具備根據權利要求24所述的計算機程序產品的數據載體。
全文摘要
本發(fā)明提供將來自第一范圍傳感器(3(1))的第一范圍傳感器數據映射到來自相機(9(j))的圖像數據的方法及布置。所述方法包含接收來自裝載于移動系統(tǒng)上的位置確定裝置的時間及位置數據以及來自裝載于所述移動系統(tǒng)上的所述第一范圍傳感器(3(1))的所述第一范圍傳感器數據及來自裝載于所述移動系統(tǒng)上的所述相機(9(j))的所述圖像數據；在所述第一范圍傳感器數據內識別與至少一個對象相關的第一點云；基于所述第一點云產生與所述對象相關的遮掩；將所述遮掩映射在與來自所述至少一個相機(9(j))的所述圖像數據中存在的相同的所述對象相關的對象圖像數據上；對所述對象圖像數據的至少一部分執(zhí)行預定圖像處理技術。
文檔編號G06T17/05GK101842661SQ200780101325
公開日2010年9月22日 申請日期2007年11月7日 優(yōu)先權日2007年11月7日
發(fā)明者克日什托夫·米克薩, 盧卡什·彼得·塔博羅維斯基, 拉法爾·揚·格利什琴斯基 申請人:電子地圖有限公司