本公開總體上涉及用于生成虛擬傳感器數(shù)據(jù)的方法、系統(tǒng)和裝置，并且更具體地涉及生成虛擬傳感器數(shù)據(jù)以用于訓(xùn)練和測試檢測對象或障礙物——例如車輪止動器(wheelstop)或停車障礙——的模型或算法。

背景技術(shù)：

機(jī)動車輛為商業(yè)、政府和私營企業(yè)提供很大一部分運輸。由于機(jī)動車輛的高價值以及對乘客和駕駛員的潛在危害，駕駛員安全性和與其他車輛或?qū)ο蟀l(fā)生事故或碰撞的避免極其重要。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明，提供一種方法，該方法包含：

模擬包含一個或多個對象的三維(3d)環(huán)境；

生成針對3d環(huán)境內(nèi)一個或多個傳感器的多個位置的虛擬傳感器數(shù)據(jù)；

確定對應(yīng)于多個位置中的每一個的虛擬地面實況，該地面實況包含關(guān)于虛擬傳感器數(shù)據(jù)內(nèi)至少一個對象的信息；以及

存儲和關(guān)聯(lián)虛擬傳感器數(shù)據(jù)和虛擬地面實況。

根據(jù)本發(fā)明的一個實施例，該方法進(jìn)一步包含提供虛擬傳感器數(shù)據(jù)和虛擬地面實況中的一個或多個以用于訓(xùn)練或測試機(jī)器學(xué)習(xí)算法或模型。

根據(jù)本發(fā)明的一個實施例，其中機(jī)器學(xué)習(xí)模型或算法包含神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明的一個實施例，其中一個或多個對象包含停車障礙，并且其中訓(xùn)練機(jī)器學(xué)習(xí)算法或模型包含提供虛擬傳感器數(shù)據(jù)的至少一部分和對應(yīng)的虛擬地面實況以訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以確定停車障礙的高度和位置中的一個或多個。

根據(jù)本發(fā)明的一個實施例，其中測試機(jī)器學(xué)習(xí)算法或模型包含將虛擬傳感器數(shù)據(jù)的至少一部分提供至機(jī)器學(xué)習(xí)算法或模型以確定至少一個對象的分類或位置和將分類或位置與虛擬地面實況進(jìn)行比較。

根據(jù)本發(fā)明的一個實施例，其中多個位置對應(yīng)于車輛上傳感器的規(guī)劃位置。

根據(jù)本發(fā)明的一個實施例，其中虛擬傳感器數(shù)據(jù)包含下列中的一個或多個：計算機(jī)生成的圖像、計算機(jī)生成的雷達(dá)數(shù)據(jù)、計算機(jī)生成的lidar數(shù)據(jù)以及計算機(jī)生成的超聲數(shù)據(jù)。

根據(jù)本發(fā)明的一個實施例，其中模擬3d環(huán)境包含隨機(jī)生成針對下列中的一個或多個的不同條件：照明、天氣、一個或多個對象的位置、以及一個或多個對象的分類或類型。

根據(jù)本發(fā)明的一個實施例，其中生成虛擬傳感器數(shù)據(jù)包含在模擬3d環(huán)境內(nèi)一個或多個傳感器的運動期間周期性地生成虛擬傳感器數(shù)據(jù)。

根據(jù)本發(fā)明的一個實施例，其中確定虛擬地面實況包含生成與虛擬傳感器數(shù)據(jù)的幀互補的地面實況幀，其中地面實況幀包含針對對應(yīng)于一個或多個對象的像素的相同顏色值。

根據(jù)本發(fā)明，提供一種系統(tǒng)，該系統(tǒng)包含：

環(huán)境部件，該環(huán)境部件被配置為模擬包含一個或多個障礙物的三維(3d)環(huán)境；

虛擬傳感器部件，該虛擬傳感器部件被配置為生成針對3d環(huán)境內(nèi)一個或多個傳感器的多個位置的虛擬傳感器數(shù)據(jù)；

地面實況部件，該地面實況部件被配置為確定對應(yīng)于多個位置中的每一個的虛擬地面實況，其中該地面實況包含關(guān)于一個或多個障礙物中的至少一個障礙物的信息；以及

模型部件，該模型部件被配置為將虛擬感知數(shù)據(jù)和地面實況提供至機(jī)器學(xué)習(xí)模型或算法以訓(xùn)練或測試機(jī)器學(xué)習(xí)模型或算法。

根據(jù)本發(fā)明的一個實施例，其中模型部件被配置為訓(xùn)練機(jī)器學(xué)習(xí)算法或模型，其中訓(xùn)練包含：

提供虛擬傳感器數(shù)據(jù)的至少一部分和對應(yīng)的虛擬地面實況以訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以確定至少一個障礙物的分類或位置。

根據(jù)本發(fā)明的一個實施例，其中模型部件被配置為測試機(jī)器學(xué)習(xí)算法或模型，其中測試包含：

將虛擬傳感器數(shù)據(jù)的至少一部分提供至機(jī)器學(xué)習(xí)算法或模型以確定至少一個障礙物的分類或位置；以及

將分類或位置與虛擬地面實況進(jìn)行比較。

根據(jù)本發(fā)明的一個實施例，其中虛擬傳感器部件被配置為生成虛擬傳感器數(shù)據(jù)，該虛擬傳感器數(shù)據(jù)包含下列中的一個或多個：計算機(jī)生成的圖像、計算機(jī)生成的雷達(dá)數(shù)據(jù)、計算機(jī)生成的光探測和測距(lidar)數(shù)據(jù)和計算機(jī)生成的超聲數(shù)據(jù)。

根據(jù)本發(fā)明的一個實施例，其中環(huán)境部件被配置為通過隨機(jī)生成針對多個位置中的一個或多個的不同條件來模擬3d環(huán)境，其中不同條件包含下列中的一個或多個：

照明條件；

天氣條件；

一個或多個障礙物的位置；以及

一個或多個障礙物的尺寸。

根據(jù)本發(fā)明，提供一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)存儲指令，當(dāng)該指令由一個或多個處理器執(zhí)行時，指令使一個或多個處理器：

生成針對模擬的三維(3d)環(huán)境內(nèi)多個傳感器位置的虛擬傳感器數(shù)據(jù)，該模擬的3d環(huán)境包含一個或多個對象；

確定針對多個位置中的每一個的一個或多個模擬條件，其中模擬條件包含一個或多個對象中的至少一個對象的分類、位置和尺寸中的一個或多個；以及

存儲虛擬傳感器數(shù)據(jù)與模擬條件并且為虛擬傳感器數(shù)據(jù)注釋模擬條件。

根據(jù)本發(fā)明的一個實施例，其中該指令進(jìn)一步使一個或多個處理器基于虛擬傳感器數(shù)據(jù)和模擬條件中的一個或多個來訓(xùn)練或測試機(jī)器學(xué)習(xí)算法或模型。

根據(jù)本發(fā)明的一個實施例，其中：

該指令使一個或多個處理器通過以下方式來訓(xùn)練機(jī)器學(xué)習(xí)算法或模型：提供虛擬傳感器數(shù)據(jù)的至少一部分和對應(yīng)的模擬條件來訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個；以及/或者

該指令使一個或多個處理器通過以下方式來測試機(jī)器學(xué)習(xí)算法或模型：將虛擬傳感器數(shù)據(jù)的至少一部分提供至機(jī)器學(xué)習(xí)算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個，并且將所確定的至少一個對象的分類、位置和尺寸與模擬條件進(jìn)行比較。

根據(jù)本發(fā)明的一個實施例，其中生成虛擬傳感器數(shù)據(jù)包含通過針對多個位置中的一個或多個使模擬條件中的一個或多個隨機(jī)化來模擬3d環(huán)境，其中使一個或多個模擬條件隨機(jī)化包含使下列中的一個或多個隨機(jī)化：

照明條件；

天氣條件；

一個或多個對象的位置；以及

一個或多個對象的尺寸。

根據(jù)本發(fā)明的一個實施例，其中確定模擬條件進(jìn)一步包含生成與虛擬傳感器數(shù)據(jù)的幀互補的地面實況幀，其中該地面實況幀包含針對對應(yīng)于至少一個對象的像素的相同顏色值。

附圖說明

本公開的非限制性和非窮盡性的實施方式參照以下附圖進(jìn)行描述，其中貫穿幾個視圖，相同的附圖標(biāo)記指代相同的部件，除非另有說明。參考以下說明書和附圖，本公開的優(yōu)點將變得更好理解，附圖中：

圖1是說明包括自動駕駛/輔助系統(tǒng)的車輛控制系統(tǒng)的實施方式的示意性框圖；

圖2是說明用于生成傳感器數(shù)據(jù)的系統(tǒng)的實施方式的示意性框圖；

圖3是說明定位在停車輪擋(parkingchock)附近的車輛的側(cè)視圖的示意圖；

圖4是根據(jù)一個實施例說明虛擬停車場環(huán)境的示意性俯視圖；

圖5是傳感器數(shù)據(jù)的示例幀；

圖6是根據(jù)一種實施方式圖5所說明的幀的示例互補幀；

圖7是根據(jù)一種實施方式說明模擬部件的示例部件的示意性框圖；以及

圖8是根據(jù)一種實施方式說明用于生成虛擬傳感器數(shù)據(jù)的方法的示意性流程圖。

具體實施方式

車輛碰撞或事故的非常普遍的位置發(fā)生在駐車或離開停車位置期間。因為其他車輛、行人或其它對象的近距離，如果要避免損壞車輛，包括刮擦保險杠或側(cè)板，則往往是小誤差裕度。在許多停車場中，或在其他停車位置處，停車位(parkingstall)在至少一側(cè)上通過某種停車障礙——例如停車輪擋、路緣或諸如此類——來標(biāo)記或界定。停車障礙可以被用于使車輛不致于太向前(或向后)駛?cè)胲囕v的另一排，并且當(dāng)車輪遇到障礙時可以防止車輛移動太遠(yuǎn)。停車障礙可以包括，或在這里被稱為，停車障礙、停車輪擋、停車止輪器、路緣或諸如此類。

當(dāng)車輛被停放在停車場中時，它可能碰到車輪止動器或其他停車障礙。申請人已經(jīng)認(rèn)識到，車輪止動器的尺寸和高度可以顯著變化。在一些情況下，駕駛員、自動駕駛系統(tǒng)或自動輔助系統(tǒng)無法檢測到車輪止動器，并且車輛可能輾過它并且損壞前保險杠或后保險杠或護(hù)板(fascia)。為了避免這種碰撞，必須知道車輪止動器的位置和高度，以便可以避免碰到或刮擦車輛的底部。

然而，申請人已經(jīng)認(rèn)識到，如果通過車載感知來檢測車輪止動器或停車障礙，以便可以向駕駛員、自動駕駛系統(tǒng)或自動輔助系統(tǒng)提供警告或者以便自主制動可以根據(jù)需要被啟動，則檢測算法將需要對大量不同的數(shù)據(jù)進(jìn)行訓(xùn)練和測試。然而，真實世界傳感器數(shù)據(jù)花費相當(dāng)多的時間和資源來獲取，通過設(shè)置物理測試或帶著傳感器四處駕駛以收集相關(guān)情景的數(shù)據(jù)。

本申請公開了用于生成合成或虛擬傳感器數(shù)據(jù)和/或相關(guān)的地面實況的系統(tǒng)和方法。在一個實施例中，一種方法包括模擬包括一個或多個停車障礙的三維(3d)環(huán)境。該方法包括生成針對3d環(huán)境內(nèi)一個或多個傳感器的多個位置的虛擬傳感器數(shù)據(jù)。該方法進(jìn)一步包括確定對應(yīng)于多個位置中的每一個的虛擬地面實況，其中該地面實況包括停車障礙中至少一個的高度。該方法進(jìn)一步包括存儲和關(guān)聯(lián)虛擬傳感器數(shù)據(jù)和虛擬地面實況。

一些實施方式將利用3d建模和動畫工具創(chuàng)建的虛擬駕駛環(huán)境與傳感器模型整合以在短時間內(nèi)產(chǎn)生大量虛擬傳感器數(shù)據(jù)。在記錄的數(shù)據(jù)中，相關(guān)參數(shù)——例如車輪止動器的照明和定位——可以被隨機(jī)化以確保具有最小偏差的多樣化數(shù)據(jù)集。在一種實施方式中，傳感器根據(jù)其在車輛上的規(guī)劃位置而相對于道路或停車場(或其他虛擬駕駛環(huán)境)定位。虛擬傳感器可以沿著虛擬環(huán)境中的虛擬路徑被重新定位和/或被移動到它可以觀察到對象或障礙物——例如車輪止動器——的位置。

在虛擬移動或重新定位期間，虛擬傳感器可以周期性地記錄數(shù)據(jù)或生成虛擬傳感器數(shù)據(jù)。對于所記錄的數(shù)據(jù)的每一個時間步長(timestep)——例如，攝像機(jī)數(shù)據(jù)的每一個幀，自動提供注釋以記錄關(guān)于傳感器范圍內(nèi)所有車輪止動器的位置以及每一個車輪止動器的高度的地面實況信息。在攝像機(jī)數(shù)據(jù)的情況下，對于圖像數(shù)據(jù)的每一個幀，地面實況數(shù)據(jù)可以包括顯示相同視野的按像素分段的圖像數(shù)據(jù)的互補幀。例如，互補幀中車輪止動器的所有像素可以是具有恒定值的純色(例如，紅-綠-藍(lán)(rgb))，以便準(zhǔn)確地知道哪些像素屬于車輪止動器。地面實況信息可以被用于利用監(jiān)督式學(xué)習(xí)來訓(xùn)練感知算法，或者用于測試現(xiàn)有算法并量化其性能。實施例可以生成針對攝像機(jī)、光測距和探測(lidar)系統(tǒng)、雷達(dá)系統(tǒng)、超聲系統(tǒng)和/或不同的傳感器系統(tǒng)或傳感器類型的虛擬傳感器。

本文所公開的系統(tǒng)和方法可以提供優(yōu)于真實世界數(shù)據(jù)的顯著益處。例如，相比于真實世界數(shù)據(jù)，虛擬數(shù)據(jù)在時間、金錢和資源方面更便宜。具體地，本文所公開的系統(tǒng)和方法可以在幾分鐘內(nèi)生成針對各種條件的數(shù)千個虛擬圖像，與獲取相似數(shù)量的真實世界圖像的數(shù)小時或數(shù)月不同。具有自動注釋的虛擬傳感器數(shù)據(jù)極大地改善了在獲得對訓(xùn)練和測試對象檢測或定位有用的地面實況或其他數(shù)據(jù)(例如用于車輪止動器檢測算法)方面的易用性。

盡管本公開的一些實施例討論了用于停車障礙的檢測、分類和/或尺寸確定的模擬和虛擬數(shù)據(jù)，但是這些僅僅是通過示例的方式給出。本公開預(yù)期本文所公開的系統(tǒng)、方法和裝置用于任何對象或障礙物的檢測、分類、定位和尺寸檢測的用途。例如，在駕駛環(huán)境中可以被車輛檢測到的任何對象或障礙物的虛擬表示在本文中是可預(yù)期的。

現(xiàn)在參考附圖，圖1說明了可以被用于自動檢測停車障礙的示例車輛控制系統(tǒng)100。自動駕駛/輔助系統(tǒng)102可以被用于自動或控制車輛的操作或向人類駕駛員提供輔助。例如，自動駕駛/輔助系統(tǒng)102可以控制車輛的制動、轉(zhuǎn)向、加速、燈、警報、駕駛員通知、無線電、或任何其它輔助系統(tǒng)中的一個或多個。在另一個示例中，自動駕駛/輔助系統(tǒng)102可能無法提供對駕駛(例如，轉(zhuǎn)向、加速或制動)的任何控制，但是可以提供通知和警報以輔助人類駕駛員安全地駕駛。自動駕駛/輔助系統(tǒng)102可以利用神經(jīng)網(wǎng)絡(luò)或其它模型或算法來確定停車障礙或輪擋存在，并且還可以確定對象或障礙物——例如停車障礙或輪擋——的大小、位置和/或尺寸。

車輛控制系統(tǒng)100還包括一個或多個傳感器系統(tǒng)/裝置，該一個或多個傳感器系統(tǒng)/裝置用于檢測附近對象的存在或確定母車輛(例如，包括車輛控制系統(tǒng)100的車輛)的位置。例如，車輛控制系統(tǒng)100可以包括一個或多個雷達(dá)系統(tǒng)106、一個或多個lidar系統(tǒng)108、一個或多個攝像機(jī)系統(tǒng)110、全球定位系統(tǒng)(gps)112和/或一個或多個超聲系統(tǒng)114。車輛控制系統(tǒng)100可以包括數(shù)據(jù)存儲器116，該數(shù)據(jù)存儲器116用于存儲用于導(dǎo)航和安全性的相關(guān)或有用的數(shù)據(jù)，例如地圖數(shù)據(jù)、駕駛歷史或其他數(shù)據(jù)。車輛控制系統(tǒng)100還可以包括收發(fā)器118，收發(fā)器118用于與移動或無線網(wǎng)絡(luò)、其他車輛、基礎(chǔ)設(shè)施或任何其他通信系統(tǒng)進(jìn)行無線通信。

車輛控制系統(tǒng)100可以包括車輛控制致動器120以控制車輛的駕駛的各個方面，例如電動馬達(dá)、開關(guān)或其他致動器，以控制制動、加速、轉(zhuǎn)向或諸如此類。車輛控制系統(tǒng)100還可以包括一個或多個顯示器122、揚聲器124或其他設(shè)備，以便可以向人類駕駛員或乘客提供通知。顯示器122可以包括可以被車輛的駕駛員或乘客看到的抬頭顯示器、儀表板顯示器或指示器、顯示屏或任何其它視覺指示器。揚聲器124可以包括車輛的音響系統(tǒng)的一個或多個揚聲器，或者可以包括專用于駕駛員通知的揚聲器。

可以領(lǐng)會的是，圖1的實施例僅通過示例的方式給出。在不脫離本公開的范圍的前提下，其他實施例可以包括更少或附加的部件。此外，示出的部件可以被組合或包括在其它部件內(nèi)，而非限制。

在一個實施例中，自動駕駛/輔助系統(tǒng)102被配置為控制母車輛的駕駛或?qū)Ш?。例如，自動駕駛/輔助系統(tǒng)102可以控制車輛控制致動器120以在道路、停車場、行車道或其它位置的路徑上行駛。例如，自動駕駛/輔助系統(tǒng)102可以基于由部件106-118中的任何一個提供的信息或感知數(shù)據(jù)來確定路徑。傳感器系統(tǒng)/裝置106-110和114可以被用于獲取實時傳感器數(shù)據(jù)，以便自動駕駛/輔助系統(tǒng)102可以實時輔助駕駛員或駕駛車輛。自動駕駛/輔助系統(tǒng)102可以執(zhí)行算法或利用模型——例如深度神經(jīng)網(wǎng)絡(luò)——來處理傳感器數(shù)據(jù)并且識別停車障礙、對象或其他障礙物的存在、位置、高度和/或尺寸。然而，為了訓(xùn)練或測試模型或算法，可能需要大量的傳感器數(shù)據(jù)。

現(xiàn)在參考圖2，示出了用于生成傳感器數(shù)據(jù)的系統(tǒng)200的一個實施例。該系統(tǒng)200包括模擬部件202、存儲器204、訓(xùn)練部件206和測試部件208。模擬部件202可以被配置為模擬駕駛環(huán)境并且生成虛擬傳感器數(shù)據(jù)210和作為虛擬傳感器數(shù)據(jù)210的注釋212的虛擬地面實況或其他信息。該注釋可以包括任何類型的地面實況，例如模擬部件202所使用以生成駕駛環(huán)境和/或虛擬傳感器數(shù)據(jù)210的模擬條件。例如，虛擬地面實況可以包括傳感器與虛擬停車障礙之間的虛擬距離、虛擬停車障礙或任何其他對象或障礙物的一個或多個尺寸(例如，高度)。類似地，虛擬地面實況可以包括關(guān)于照明條件、天氣條件、傳感器位置、傳感器取向、傳感器速度和/或虛擬傳感器類型(例如，傳感器的特定模型)的一個或多個細(xì)節(jié)。模擬部件202可以為虛擬傳感器數(shù)據(jù)的幀或集合注釋對應(yīng)的地面實況，或者存儲虛擬地面實況與該虛擬地面實況屬于的傳感器數(shù)據(jù)的指示。

虛擬傳感器數(shù)據(jù)210和/或包括在注釋212中的任何信息可以被存儲在存儲器204中。存儲器204可以包括例如硬盤的長期存儲器或例如隨機(jī)存取存儲器(ram)的機(jī)器存儲器。虛擬傳感器數(shù)據(jù)210和任何相關(guān)的注釋212可以被存儲作為相同文件的一部分或者可以被存儲在單獨的文件中。訓(xùn)練部件206和/或測試部件208然后可以訪問和利用虛擬傳感器數(shù)據(jù)201和/或注釋212來訓(xùn)練或測試停車障礙檢測算法或模型。

訓(xùn)練部件206被配置為利用由模擬部件202生成的虛擬傳感器數(shù)據(jù)和地面實況來訓(xùn)練機(jī)器學(xué)習(xí)算法。例如，訓(xùn)練部件206可以通過以下方式來訓(xùn)練機(jī)器學(xué)習(xí)算法或模型：提供虛擬傳感器數(shù)據(jù)的至少一部分和對應(yīng)的虛擬地面實況來訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以確定一個或多個停車障礙、對象或其他障礙物的高度和位置中的一個或多個。訓(xùn)練部件206可以將虛擬傳感器數(shù)據(jù)和虛擬地面實況提供至用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法。例如，訓(xùn)練部件206可以利用在某一時間的傳感器數(shù)據(jù)和相關(guān)的地面實況的一個幀來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。在一個實施例中，訓(xùn)練部件206可以訓(xùn)練識別虛擬傳感器數(shù)據(jù)的不同方面的多個不同的機(jī)器學(xué)習(xí)模型。例如，一個模型可以被用于將虛擬傳感器幀中的對象分類為停車障礙，而另外一個或多個其他模型可以被用于確定停車障礙、對象或其他障礙物的位置、取向、距離和/或尺寸。

測試部件208可以利用虛擬傳感器數(shù)據(jù)和虛擬地面實況來測試機(jī)器學(xué)習(xí)算法或模型。例如，測試部件208可以將虛擬傳感器數(shù)據(jù)的至少一部分提供至機(jī)器學(xué)習(xí)算法或模型以確定停車障礙、對象或其他障礙物的高度和位置中的一個或多個，并且將所確定的高度或所確定的位置與虛擬地面實況進(jìn)行比較。測試部件208可以能夠準(zhǔn)確地確定模型或算法執(zhí)行得如何，因為所確定的分類或值可以與虛擬地面實況進(jìn)行比較。如果算法或模型足夠精確，則它可以作為自動駕駛/輔助系統(tǒng)102的一部分來實施。

圖3說明了車輛302和停車障礙304的側(cè)視圖。如果車輛302到達(dá)停車障礙304，則停車障礙304可能碰撞、刮擦或損壞車輛302的保險杠或其他部分。隨著車輛移動得更近，通過車輛302的擋風(fēng)玻璃停車障礙304可能不可見，并且安裝在車輛302的發(fā)動機(jī)罩或車頂上或其附近的一個或多個傳感器也可能無法檢測到停車障礙304。因此，重要的是，獲取停車障礙304的準(zhǔn)確高度和位置，同時可檢測到停車障礙，以便當(dāng)車輛被停放或以其它方式駕駛靠近停車障礙304時，可以避免車輛302與停車障礙304之間的接觸。另外，停車障礙304的位置可以被存儲在存儲器中，以便當(dāng)駕駛員返回或車輛302被重新啟動時，可以提醒駕駛員或自動駕駛/輔助系統(tǒng)102停車障礙304的存在和位置。

圖4是具有多個停車位置和停車障礙404的虛擬停車場環(huán)境400的俯視圖。例如，虛擬停車場環(huán)境400可以由模擬部件202生成和模擬。因此，虛擬停車場環(huán)境400和所有對象可以表示由模擬部件202生成的計算機(jī)模型或模擬。虛擬停車場環(huán)境400還可以包括一個或多個照明源或其他對象以模擬真實停車場環(huán)境。例如，照明可以模擬一天中的不同時間、各種天氣類型和/或照明位置。還可以生成或模擬虛擬停車場環(huán)境400的一個或多個植物、路緣或周圍環(huán)境。

在虛擬停車場環(huán)境400內(nèi)，車輛402被示為它正在接近或駛?cè)刖哂型＼囌系K404的特定停車位。停車障礙404包括停車輪擋。停車輪擋的實施例包括混凝土、橡膠或其他障礙，其被放置在停車位置處以防止車輛移動或行駛太遠(yuǎn)。虛擬停車場環(huán)境400包括用于每一個停車位的停車障礙404。然而，一些停車場對于停車障礙的包括可能不一致，使得駕駛員或系統(tǒng)不能基于其他停車位來假設(shè)特定停車位包括或不包括停車障礙。根據(jù)一個實施例，如線406所示，當(dāng)車輛402駛?cè)氲酵＼囄粫r，一個或多個傳感器可以獲取包括停車障礙404的一部分的數(shù)據(jù)(例如圖像或幀)。如以上所討論的，模擬部件202可以生成模擬車輛402上的傳感器在虛擬停車場環(huán)境400是真實世界環(huán)境的情況下將拍攝到的內(nèi)容的感知數(shù)據(jù)的虛擬幀。

在一個實施例中，車輛402(具有任何相關(guān)的虛擬傳感器)沿著虛擬停車場環(huán)境400內(nèi)的路徑移動或在虛擬停車場環(huán)境400內(nèi)被隨機(jī)重新定位，并且感知數(shù)據(jù)的附加幀可以被生成。類似地，對應(yīng)于模擬條件的信息可以與幀一起被保存，以便虛擬地面實況可用于每一個幀。在一個實施例中，虛擬停車場環(huán)境400內(nèi)對象的位置和一個或多個其他條件可以針對多個不同的幀而被隨機(jī)化。例如，照明、位置、天氣條件或諸如此類可以在可接受的界限內(nèi)隨機(jī)生成，以生成針對寬范圍的不同條件的虛擬傳感器數(shù)據(jù)。

盡管圖4說明了虛擬停車場環(huán)境400的平面圖，但是車輛可以被停放在停車障礙404或停車輪擋可能存在的各種各樣的位置中。例如，路邊停車位置、行車道停車位置或任何其他停車位置還可以包括停車障礙、停車輪擋、車輪止動器、路緣或其他對象以限定停車位置或停車位。因此，可以在一個或多個其他虛擬環(huán)境中模擬車輛被駕駛或可以被停放的任何位置。

圖5說明了由模擬部件202生成的傳感器數(shù)據(jù)的示例幀500。例如，幀500可以包括由位于虛擬環(huán)境內(nèi)模擬位置處的虛擬攝像機(jī)拍攝到的虛擬圖像。幀500包括定位在虛擬環(huán)境內(nèi)的停車障礙502。幀500內(nèi)停車障礙502的形狀和位置可以是停車障礙502以及“拍攝”幀500的虛擬攝像機(jī)的當(dāng)前位置和取向的結(jié)果。幀500的虛擬地面實況可以與幀500一起被保存或者可以與幀500相關(guān)聯(lián)，以便幀500的特定虛擬條件是已知的。虛擬地面實況可以包括傳感器與停車障礙502之間的距離(例如，以英尺、米或其他測量單位為單位的模擬距離)、傳感器的取向、停車障礙502的取向、停車障礙502的一個或多個尺寸、停車障礙502的材料、停車障礙502和拍攝幀500的傳感器兩者的具體位置、模擬的天氣條件、模擬的一天中的時間、模擬的照明位置、模擬的照明顏色或關(guān)于拍攝幀500的模擬環(huán)境的任何其他附加信息。

圖6說明了對應(yīng)于圖5的幀500的互補幀600的一個實施例。該互補幀包括純色區(qū)域602，該純色區(qū)域602對應(yīng)于幀500中停車障礙502的像素所在的區(qū)域。在圖6中，區(qū)域602是白色的，而互補幀600的其余部分是黑色的。然而，其他實施例可以類似于具有覆蓋停車障礙602的區(qū)域的純色的原始圖像。例如，亮綠色可以被用于區(qū)域602，而互補幀600的黑色部分可以不是黑色，但是可以與原始幀500的對應(yīng)區(qū)域/像素相同。在一個實施例中，互補幀600可以被包括在幀500的地面實況信息中，以便可以訓(xùn)練或測試算法。例如，互補幀600可以被提供有幀500以用于訓(xùn)練用于檢測和/或識別停車障礙的尺寸的神經(jīng)網(wǎng)絡(luò)。

雖然上面關(guān)于攝像機(jī)圖像討論了圖5和6，但是其他類型的傳感器數(shù)據(jù)幀是可預(yù)期的并且落在本公開的范圍內(nèi)。例如，lidar幀、雷達(dá)幀、超聲幀或任何其它類型的傳感器數(shù)據(jù)幀可以被生成和被存儲在任何模擬的地面實況內(nèi)。另外，雖然本文提供的一些實施例和示例包括停車障礙的模擬和模型，但是任何其他類型的對象或數(shù)據(jù)可以被使用。例如，可以生成在駕駛環(huán)境中可能遇到的任何類型的對象的虛擬傳感器數(shù)據(jù)。示例對象或障礙物可以包括停車障礙或路緣、其他車輛、道路或車道標(biāo)線、停車標(biāo)線、道路標(biāo)志、行人、騎自行車的人、動物、道路碎屑、道路中的隆起或凹陷、或任何其他對象、障礙物或特征，這可能改變車輛應(yīng)當(dāng)操作的方式或改變車輛的路徑。

圖7是說明模擬部件202的示例部件的框圖。在所描繪的實施例中，模擬部件202包括環(huán)境部件702、虛擬傳感器部件704、地面實況部件706、存儲部件708和模型部件710。部件702-710僅以說明的方式給出，并且可能不是全部都被包括在所有的實施例中。實際上，一些實施例可以包括部件702-710中的僅一個或兩個或更多個的任意組合。部件702-710中的一些可以位于模擬部件202外部。

環(huán)境部件702被配置為生成和/或模擬虛擬環(huán)境。在一個實施例中，環(huán)境部件702模擬或生成3d停車或駕駛環(huán)境。環(huán)境部件702可以利用3d游戲或模擬引擎來創(chuàng)建、模擬和/或渲染車輛可以被駕駛或停放的環(huán)境。例如，用于駕駛游戲或任何其他游戲設(shè)計的游戲引擎可以被用于模擬真實世界環(huán)境的目的。

在一個實施例中，環(huán)境部件702模擬具有多個虛擬對象的環(huán)境。該虛擬對象可以包括停車障礙、車輛、樹木、植物、路緣、涂漆線、建筑物、風(fēng)景、行人、動物或可能在駕駛或停車環(huán)境中找到的任何其它對象。環(huán)境部件702可以模擬具有大量車輛、行人或其他對象的擁擠狀況。環(huán)境部件702還可以模擬照明條件。例如，環(huán)境部件702可以模擬包括太陽、月光、路燈、建筑物燈、車輛前照燈、車輛制動燈或任何其它光源的光源。環(huán)境部件702還可以模擬陰影、在一天中的不同時間太陽或月亮的照明顏色、或天氣條件。例如，環(huán)境部件702可以模擬多云、多雨、多雪和其他天氣條件的照明。另外，環(huán)境部件702可以模擬虛擬環(huán)境中的道路、停車場和對象是濕的或被雪覆蓋的濕或雪條件。

在一個實施例中，環(huán)境部件702可以使模擬條件隨機(jī)化。例如，環(huán)境部件702可以周期性地使一個或多個模擬條件隨機(jī)化以生成具有寬范圍的條件的環(huán)境。在一個實施例中，環(huán)境部件702可以隨機(jī)生成針對下列中的一個或多個的不同條件：照明、天氣、一個或多個虛擬停車障礙或其他對象的位置、以及一個或多個虛擬停車障礙或其他對象的尺寸。

在一個實施例中，環(huán)境部件702可以模擬虛擬環(huán)境內(nèi)傳感器的位置。環(huán)境部件702可以模擬一個或多個傳感器沿著虛擬環(huán)境內(nèi)的路徑的運動，或者可以使傳感器定位隨機(jī)化。例如，環(huán)境部件702可以基于車輛上的規(guī)劃位置來模擬傳感器的位置和/或取向。在一個實施例中，環(huán)境部件702可以使虛擬環(huán)境內(nèi)傳感器的位置、高度、取向或其他定位方面隨機(jī)化。傳感器的隨機(jī)化位置或者虛擬環(huán)境的其他模擬條件可以在預(yù)定義的界限內(nèi)被隨機(jī)化，以增加虛擬環(huán)境類似于在真實世界情況下車輛可能遇到的狀況的可能性。

虛擬傳感器部件704被配置為生成由環(huán)境部件702生成或模擬的虛擬環(huán)境內(nèi)虛擬傳感器的傳感器數(shù)據(jù)或感知數(shù)據(jù)。在一個實施例中，虛擬傳感器部件704可以包括或利用將被車輛使用的一個或多個特定傳感器的真實世界性能的模型。例如，傳感器可以具有模擬傳感器的真實世界性能的虛擬模型。虛擬傳感器部件704可以模擬傳感器如何生成幀。虛擬傳感器部件704可以生成虛擬傳感器數(shù)據(jù)，該虛擬傳感器數(shù)據(jù)包括下列中的一個或多個：計算機(jī)生成的圖像、計算機(jī)生成的雷達(dá)數(shù)據(jù)、計算機(jī)生成的lidar數(shù)據(jù)、計算機(jī)生成的超聲數(shù)據(jù)或用于其他類型的感知傳感器的其他數(shù)據(jù)。

在一個實施例中，虛擬傳感器部件704被配置為周期性地生成傳感器幀或傳感器數(shù)據(jù)。例如，虛擬傳感器部件704可以在類似于攝像機(jī)頻繁地拍攝圖像的模擬間隔內(nèi)生成圖像(或其他傳感器)。在一個實施例中，虛擬傳感器部件704創(chuàng)建針對由環(huán)境部件702模擬的每一個位置的傳感器數(shù)據(jù)。例如，虛擬傳感器部件704可以生成針對沿著虛擬環(huán)境內(nèi)由虛擬車輛行駛的路徑的位置的傳感器數(shù)據(jù)。在一個實施例中，傳感器數(shù)據(jù)的圖像或幀中的一個或多個包括虛擬停車障礙或其他對象的一部分。例如，虛擬環(huán)境中停車障礙或其他對象的計算機(jī)生成的圖像可以由虛擬傳感器部件704產(chǎn)生。

地面實況部件706被配置為生成針對由虛擬傳感器部件704生成的虛擬傳感器數(shù)據(jù)的虛擬地面實況。例如，地面實況部件706可以確定針對由虛擬傳感器部件704拍攝到的每一個圖像或幀的模擬條件。在一個實施例中，環(huán)境部件702可以向地面實況部件706提供模擬條件。地面實況部件706可以基于針對特定虛擬傳感器數(shù)據(jù)的模擬條件來選擇一個或多個模擬條件作為地面實況，或者計算地面實況。例如，地面實況部件706可以選擇停車障礙的尺寸(例如高度)作為計算機(jī)生成的圖像或幀的地面實況。作為另一個示例，地面實況部件706可以接收停車障礙和傳感器的虛擬位置，并且然后計算虛擬傳感器與停車障礙之間的虛擬距離(例如，視線距離和/或水平距離)。關(guān)于虛擬環(huán)境內(nèi)其他對象或障礙物的類似信息也是可預(yù)期的。

虛擬地面實況可以包括關(guān)于傳感器的位置和取向、停車障礙或其他對象的位置和取向、停車障礙或其他對象的一個或多個尺寸、照明條件、天氣條件、傳感器與停車障礙或其他對象之間的距離、用于捕獲傳感器數(shù)據(jù)的傳感器的類型的信息或關(guān)于模擬條件的任何其它信息。在一個實施例中，可以確定針對由虛擬傳感器部件704生成的每一個幀或每一組傳感器數(shù)據(jù)的一組相同的地面實況。例如，針對生成虛擬傳感器數(shù)據(jù)的每一個位置的相同的地面實況信息(例如，傳感器高度、距離等)可以被計算。

在一個實施例中，地面實況部件706可以生成由虛擬傳感器部件704生成的傳感器數(shù)據(jù)的幀的互補幀(參見圖6)。例如，針對對應(yīng)于一個或多個虛擬停車障礙的像素，互補幀可以具有相同的顏色值。例如，對應(yīng)于虛擬停車障礙的每一個像素可以具有相同的顏色，以便訓(xùn)練算法或測試算法可以清楚地確定虛擬傳感器數(shù)據(jù)的哪個部分對應(yīng)于虛擬停車障礙。在一個實施例中，互補幀的每一個像素可以包括圖像像素、雷達(dá)或lidar矢量、或虛擬傳感器數(shù)據(jù)的其他像素或矩陣值。

存儲部件708被配置為存儲由虛擬傳感器部件704生成的虛擬傳感器數(shù)據(jù)和/或由地面實況部件706確定的任何地面實況。例如，存儲部件708可以將虛擬傳感器數(shù)據(jù)和/或地面實況存儲在圖2的存儲器204中。在一個實施例中，存儲部件708可以將虛擬傳感器數(shù)據(jù)與對應(yīng)的地面實況或關(guān)于模擬條件的其他信息相關(guān)聯(lián)或為虛擬傳感器數(shù)據(jù)注釋對應(yīng)的地面實況或關(guān)于模擬條件的其他信息。傳感器數(shù)據(jù)和地面實況然后可以被用于各種目的，例如用于訓(xùn)練機(jī)器學(xué)習(xí)算法或模型或用于測試機(jī)器學(xué)習(xí)算法或模型。

模型部件710被配置為將虛擬傳感器數(shù)據(jù)和/或地面實況提供至用于機(jī)器學(xué)習(xí)算法或模型的測試或訓(xùn)練的算法。例如，模型部件710可以將由虛擬傳感器部件704和/或地面實況部件706提供的虛擬傳感器數(shù)據(jù)和/或地面實況提供至圖2的訓(xùn)練部件206或測試部件208。在另一個實施例中，模型部件710可以包括訓(xùn)練部件206和/或測試部件208。例如，虛擬傳感器數(shù)據(jù)和/或虛擬地面實況可以被用于訓(xùn)練或測試用于檢測、識別、確定停車障礙或其他對象的一個或多個性質(zhì)的神經(jīng)網(wǎng)絡(luò)、深層神經(jīng)網(wǎng)絡(luò)和/或卷積神經(jīng)網(wǎng)絡(luò)(convolutionneuralnetwork)。例如，機(jī)器學(xué)習(xí)算法或模型可以被訓(xùn)練或測試以包括在圖1的自動駕駛/輔助系統(tǒng)102中。

現(xiàn)在參考圖8，說明了用于生成虛擬傳感器數(shù)據(jù)和地面實況的方法800的示意性流程圖。方法800可以由模擬部件或用于生成傳感器數(shù)據(jù)的系統(tǒng)——例如圖2或7的模擬部件202或圖2的用于生成傳感器數(shù)據(jù)的系統(tǒng)200——來執(zhí)行。

在802，方法800開始，并且環(huán)境部件702模擬包含一個或多個停車障礙或其他對象的三維(3d)環(huán)境。在804，虛擬傳感器部件704生成針對3d環(huán)境內(nèi)一個或多個傳感器的多個位置的虛擬傳感器數(shù)據(jù)。在806，地面實況部件706確定對應(yīng)于多個位置中的每一個的虛擬地面實況。該地面實況可以包括關(guān)于虛擬傳感器數(shù)據(jù)內(nèi)至少一個對象——例如在圖像或其他傳感器數(shù)據(jù)中捕獲的具有一個或多個特征的對象——的信息。該信息可以包括關(guān)于在此所討論的對象的任何信息，例如對象的尺寸、位置或取向。例如，地面實況可以包括停車障礙或其他對象中至少一個的高度。在808，存儲部件708存儲并關(guān)聯(lián)虛擬傳感器數(shù)據(jù)和虛擬地面實況。該方法還可以包括模型部件710將虛擬傳感器數(shù)據(jù)和/或虛擬地面實況提供至圖2的訓(xùn)練部件206或測試部件208以用于訓(xùn)練或測試機(jī)器學(xué)習(xí)算法或模型。在訓(xùn)練和/或測試模型(例如深層神經(jīng)網(wǎng)絡(luò))之后，該模型可以被包括在圖1的車輛控制系統(tǒng)100中以用于在真實世界駕駛條件期間激活對象或停車障礙檢測和尺寸估算。

示例

以下示例涉及另外的實施例。

示例1是一種方法，該方法包括模擬包括一個或多個對象(例如停車障礙)的3d環(huán)境。該方法包括生成針對3d環(huán)境內(nèi)一個或多個傳感器的多個位置的虛擬傳感器數(shù)據(jù)。該方法包括確定對應(yīng)于多個位置中的每一個的虛擬地面實況。該地面實況包括關(guān)于傳感器數(shù)據(jù)內(nèi)至少一個對象的信息。例如，該地面實況可以包括至少一個停車障礙的高度。該方法還包括存儲和關(guān)聯(lián)虛擬傳感器數(shù)據(jù)和虛擬地面實況。

在示例2中，示例1的方法進(jìn)一步包括提供虛擬傳感器數(shù)據(jù)和虛擬地面實況中的一個或多個以用于訓(xùn)練或測試機(jī)器學(xué)習(xí)算法或模型。

在示例3中，示例2中的機(jī)器學(xué)習(xí)模型或算法包括神經(jīng)網(wǎng)絡(luò)。

在示例4中，示例2-3中任一個中訓(xùn)練機(jī)器學(xué)習(xí)算法或模型包括提供虛擬傳感器數(shù)據(jù)的至少一部分和對應(yīng)的虛擬地面實況以訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以確定一個或多個停車障礙或其他對象的高度和位置中的一個或多個。

在示例5中，示例2-4中任一個中測試機(jī)器學(xué)習(xí)算法或模型包括將虛擬傳感器數(shù)據(jù)的至少一部分提供至機(jī)器學(xué)習(xí)算法或模型以確定至少一個對象的分類或位置并且將分類或位置與虛擬地面實況進(jìn)行比較。

在示例6中，示例1-5中任一個中的多個位置對應(yīng)于車輛上傳感器的規(guī)劃位置。

在示例7中，示例1-6中任一個中的虛擬傳感器數(shù)據(jù)包括下列中的一個或多個：計算機(jī)生成的圖像、計算機(jī)生成的雷達(dá)數(shù)據(jù)、計算機(jī)生成的lidar數(shù)據(jù)、和計算機(jī)生成的超聲數(shù)據(jù)。

在示例8中，示例1-7中任一個中模擬3d環(huán)境包括隨機(jī)生成針對下列中的一個或多個的不同條件：照明、天氣、一個或多個對象的位置、以及一個或多個對象的分類或類型。

在示例9中，示例1-8中任一個中生成虛擬傳感器數(shù)據(jù)包括在模擬3d環(huán)境內(nèi)一個或多個傳感器的運動期間周期性地生成虛擬傳感器數(shù)據(jù)。

在示例10中，示例1-9中任一個中確定虛擬地面實況包括生成與虛擬傳感器數(shù)據(jù)的幀互補的地面實況幀，其中該地面實況幀包括針對對應(yīng)于一個或多個對象的像素的相同顏色值。

示例11是一種系統(tǒng)，該系統(tǒng)包括環(huán)境部件、虛擬傳感器部件、地面實況部件和模型部件。環(huán)境部件被配置為模擬包含一個或多個虛擬對象或障礙物的3d環(huán)境。虛擬傳感器部件被配置為生成針對3d環(huán)境內(nèi)一個或多個傳感器的多個位置的虛擬傳感器數(shù)據(jù)。地面實況部件被配置為確定對應(yīng)于多個位置中的每一個的虛擬地面實況，其中該地面實況包括關(guān)于一個或多個障礙物中至少一個障礙物的信息。模型部件被配置為將虛擬感知數(shù)據(jù)和地面實況提供至機(jī)器學(xué)習(xí)算法或模型以訓(xùn)練或測試機(jī)器學(xué)習(xí)算法或模型。

在示例12中，示例11中的模型部件被配置為訓(xùn)練機(jī)器學(xué)習(xí)算法或模型，其中訓(xùn)練包括提供虛擬傳感器數(shù)據(jù)的至少一部分和對應(yīng)的虛擬地面實況以訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以確定至少一個障礙物的分類或位置。

在示例13中，示例11-12中任一個中的模型部件被配置為測試機(jī)器學(xué)習(xí)算法或模型。測試包括將虛擬傳感器數(shù)據(jù)的至少一部分提供至機(jī)器學(xué)習(xí)算法或模型以確定至少一個障礙物或?qū)ο蟮姆诸惢蛭恢煤蛯⒎诸惢蛭恢门c虛擬地面實況進(jìn)行比較。

在示例14中，示例11-13中任一個中的虛擬傳感器部件被配置為生成虛擬傳感器數(shù)據(jù)，該虛擬傳感器數(shù)據(jù)包含下列中的一個或多個：計算機(jī)生成的圖像、計算機(jī)生成的雷達(dá)數(shù)據(jù)、計算機(jī)生成的lidar數(shù)據(jù)和計算機(jī)生成的超聲數(shù)據(jù)。

在示例15中，示例11-14中任一個中的環(huán)境部件被配置為通過隨機(jī)生成針對多個位置中的一個或多個的不同條件來模擬3d環(huán)境，其中不同條件包含下列中的一個或多個：照明條件；天氣條件；一個或多個障礙物或?qū)ο蟮奈恢?；以及一個或多個障礙物或?qū)ο蟮某叽纭?/p>

示例16是一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)存儲指令，當(dāng)指令由一個或多個處理器執(zhí)行時，指令使一個或多個處理器生成針對模擬的3d環(huán)境內(nèi)多個傳感器位置的虛擬傳感器數(shù)據(jù)，該模擬的3d環(huán)境包含一個或多個虛擬對象。該指令使一個或多個處理器確定針對多個位置中的每一個的一個或多個模擬條件，其中模擬條件包含一個或多個對象中至少一個對象的分類、位置和尺寸中的一個或多個。該指令使一個或多個處理器存儲虛擬傳感器數(shù)據(jù)與模擬條件并且為虛擬傳感器數(shù)據(jù)注釋模擬條件。

在示例17中，示例16中的指令進(jìn)一步使一個或多個處理器基于虛擬傳感器數(shù)據(jù)和模擬條件中的一個或多個來訓(xùn)練或測試機(jī)器學(xué)習(xí)算法或模型。

在示例18中，示例16-17中任一個中的指令進(jìn)一步使處理器執(zhí)行下列操作中的一個或多個：通過以下方式訓(xùn)練機(jī)器學(xué)習(xí)算法或模型：提供虛擬傳感器數(shù)據(jù)的至少一部分和對應(yīng)的模擬條件以訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個；以及通過以下方式測試機(jī)器學(xué)習(xí)算法或模型：將虛擬傳感器數(shù)據(jù)的至少一部分提供至機(jī)器學(xué)習(xí)算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個并且將所確定的至少一個對象的分類、位置和尺寸與模擬條件進(jìn)行比較。

在示例19中，在示例16-18中任一個中生成虛擬傳感器數(shù)據(jù)包括通過針對多個位置中的一個或多個使模擬條件中的一個或多個隨機(jī)化來模擬3d環(huán)境，其中使一個或多個模擬條件隨機(jī)化包含使下列中的一個或多個隨機(jī)化：照明條件；天氣條件；一個或多個虛擬對象的位置；以及一個或多個虛擬對象的尺寸。

在示例20中，示例16-19中任一個中確定模擬條件進(jìn)一步包括生成與虛擬傳感器數(shù)據(jù)的幀互補的地面實況幀，其中該地面實況幀包含針對對應(yīng)于至少一個對象的像素的相同顏色值。

示例21是一種系統(tǒng)或裝置，該系統(tǒng)或裝置包括用于實施示例1-20中任一個的方法或?qū)崿F(xiàn)示例1-20中任一個的系統(tǒng)或裝置的手段。

在以上公開內(nèi)容中，參考附圖，附圖形成本公開的一部分并且在附圖中通過例證示出可以實踐本公開的特定實施方式。應(yīng)當(dāng)理解的是，在不脫離本公開的范圍的前提下，可以利用其他實施方式并且可以進(jìn)行結(jié)構(gòu)變化。說明書中引用“一個實施例”、“一實施例”，“一個示例實施例”等表明所描述的實施例可以包括特定特征、結(jié)構(gòu)或特性，但每一個實施例可能未必包括特定特征、結(jié)構(gòu)或特性。另外，這樣的短語未必是指同一實施例。此外，當(dāng)特定特征、結(jié)構(gòu)、或特性關(guān)于一個實施例進(jìn)行描述時，可以主張的是，無論是否明確描述，關(guān)于其他實施例改變這樣的特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的知識的范圍之內(nèi)。

如本文所使用的，“自主車輛”可以是完全獨立于人類駕駛員作用或操作的車輛；或者可以是在一些情況下獨立于人類駕駛員作用或操作的車輛而在其他情況下人類駕駛員可以能夠操作車輛；或者可以是主要由人類駕駛員操作但是具有自動駕駛/輔助系統(tǒng)的輔助的車輛。

本文所公開的系統(tǒng)、裝置和方法的實施方式可以包含或利用專用或通用計算機(jī)，該專用或通用計算機(jī)包括計算機(jī)硬件，例如，一個或多個處理器和系統(tǒng)存儲器，如本文所討論的。在本公開的范圍內(nèi)的實施方式還可以包括用于承載或存儲計算機(jī)可執(zhí)行指令和/或數(shù)據(jù)結(jié)構(gòu)的物理和其他計算機(jī)可讀介質(zhì)。這樣的計算機(jī)可讀介質(zhì)可以是可以由通用或?qū)Ｓ糜嬎銠C(jī)系統(tǒng)訪問的任何可用介質(zhì)。存儲計算機(jī)可執(zhí)行指令的計算機(jī)可讀介質(zhì)是計算機(jī)存儲介質(zhì)(裝置)。承載計算機(jī)可執(zhí)行指令的計算機(jī)可讀介質(zhì)是傳輸介質(zhì)。因此，舉例來說，而非限制，本公開的實施方式可以包含至少兩種明顯不同種類的計算機(jī)可讀介質(zhì)：計算機(jī)存儲介質(zhì)(裝置)和傳輸介質(zhì)。

計算機(jī)存儲介質(zhì)(裝置)包括隨機(jī)存取存儲器(ram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、只讀光盤存儲器(cd-rom)、固態(tài)驅(qū)動器(“ssd”)(例如，基于ram)、閃速存儲器、相變存儲器(“pcm”)、其他類型的存儲器、其它光盤存儲器、磁盤存儲器或其它磁性存儲設(shè)備、或者可以被用于存儲以計算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式的所需的程序代碼手段并且可以由通用或?qū)Ｓ糜嬎銠C(jī)訪問的任何其它介質(zhì)。

本文所公開的裝置、系統(tǒng)和方法的實施方式可以在計算機(jī)網(wǎng)絡(luò)上進(jìn)行通信?！熬W(wǎng)絡(luò)”被定義為允許電子數(shù)據(jù)在計算機(jī)系統(tǒng)和/或模塊和/或其他電子設(shè)備之間傳輸?shù)囊粋€或多個數(shù)據(jù)鏈路。當(dāng)信息通過網(wǎng)絡(luò)或另一通信連接(硬線連接、無線、或硬線連接或無線的組合)被傳送或提供至計算機(jī)時，計算機(jī)適當(dāng)?shù)貙⒃撨B接視為傳輸介質(zhì)。傳輸介質(zhì)可以包括可以被用于承載以計算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式的所需的程序代碼手段并且可以由通用或?qū)Ｓ糜嬎銠C(jī)來訪問的網(wǎng)絡(luò)和/或數(shù)據(jù)鏈路。上述組合也應(yīng)該被包括在計算機(jī)可讀介質(zhì)的范圍之內(nèi)。

計算機(jī)可執(zhí)行指令包含例如指令和數(shù)據(jù)，當(dāng)該指令和數(shù)據(jù)在處理器中執(zhí)行時，使通用計算機(jī)、專用計算機(jī)、或?qū)Ｓ锰幚碓O(shè)備來執(zhí)行某些功能或功能組。計算機(jī)可執(zhí)行指令可以是例如二進(jìn)制、例如匯編語言的中間格式指令、或甚至源代碼。雖然本發(fā)明主題已經(jīng)以針對結(jié)構(gòu)特征和/或方法論動作的語言進(jìn)行了描述，但是應(yīng)當(dāng)理解的是，在所附權(quán)利要求中限定的發(fā)明主題不一定局限于所描述的特征或以上所述的動作。相反，所描述的特征和動作被公開作為實施權(quán)利要求的示例形式。

本領(lǐng)域技術(shù)人員將領(lǐng)會的是，本公開可以在網(wǎng)絡(luò)計算環(huán)境中通過許多類型的計算機(jī)系統(tǒng)配置來實踐，包括內(nèi)置式車輛計算機(jī)、個人計算機(jī)、臺式計算機(jī)、膝上型計算機(jī)、消息處理器、手持式設(shè)備、多處理器系統(tǒng)、基于微處理器或可編程的消費者電子產(chǎn)品、網(wǎng)絡(luò)個人電腦(pc)、小型計算機(jī)、大型計算機(jī)、移動電話、個人數(shù)字助理(pda)、平板電腦、尋呼機(jī)、路由器、交換機(jī)、各種存儲設(shè)備和諸如此類。本公開也可以在本地和遠(yuǎn)程計算機(jī)系統(tǒng)都執(zhí)行任務(wù)的分布式系統(tǒng)環(huán)境中實踐，本地和遠(yuǎn)程計算機(jī)系統(tǒng)通過網(wǎng)絡(luò)鏈接(或者通過硬線數(shù)據(jù)鏈路、無線數(shù)據(jù)鏈路或者通過硬線和無線數(shù)據(jù)鏈路的組合)。在分布式系統(tǒng)環(huán)境中，程序模塊可以位于本地和遠(yuǎn)程存儲器存儲設(shè)備中。

此外，在適當(dāng)情況下，本文所描述的功能可以在下列中的一種或多種中執(zhí)行：硬件、軟件、固件、數(shù)字部件、或模擬部件。例如，一個或多個專用集成電路(asic)可以被編程為執(zhí)行本文所描述的系統(tǒng)和程序中的一個或多個。在整個說明書和權(quán)利要求書中，某些術(shù)語被用來指代特定的系統(tǒng)部件。本領(lǐng)域技術(shù)人員將領(lǐng)會的是，部件可以通過不同的名稱來稱呼。本文不旨在區(qū)分名稱不同但作用相同的部件。

應(yīng)當(dāng)指出的是，以上所討論的傳感器實施例可以包含計算機(jī)硬件、軟件、固件或其任何組合以執(zhí)行其功能的至少一部分。例如，傳感器可以包括被配置為在一個或多個處理器中執(zhí)行的計算機(jī)代碼，并且可以包括由計算機(jī)代碼控制的硬件邏輯/電子電路。本文提供這些示例設(shè)備是為了說明的目的，并不旨在進(jìn)行限制。本公開的實施例可以在其他類型的設(shè)備中實施，如相關(guān)領(lǐng)域技術(shù)人員將已知的那樣。

本公開的至少一些實施例涉及包含存儲在任何計算機(jī)可用介質(zhì)上的這樣的邏輯(例如，以軟件的形式)的計算機(jī)程序產(chǎn)品。這樣的軟件，當(dāng)在一個或多個數(shù)據(jù)處理設(shè)備中執(zhí)行時，使設(shè)備如本文所描述的那樣操作。

雖然以上已經(jīng)描述了本公開的各種實施例，但是應(yīng)當(dāng)理解的是，它們已僅通過舉例的方式呈現(xiàn)，而非限制。對相關(guān)領(lǐng)域的技術(shù)人員來說將顯而易見的是，形式和細(xì)節(jié)的各種改變可以在不脫離本公開的精神和范圍的前提下進(jìn)行。因此，本公開的廣度和范圍不應(yīng)該被上述示例性實施例中的任一個限制，而是應(yīng)該僅根據(jù)下面的權(quán)利要求書及其等同物來限定。為了說明和描述的目的，前面的描述已被呈現(xiàn)。它不旨在是窮盡或?qū)⒈竟_限制為所公開的精確形式。鑒于以上教導(dǎo)，許多修改和變化是可能的。此外，應(yīng)該指出的是，上述替代實施方式中的任一個或全部可以以任意所需的組合使用以形成本公開的附加混合實施方式。

此外，雖然本公開的特定實施方式已被描述和說明，但是本公開不被限于所描述和所說明的特定的形式或部件的布置。本公開的范圍由所附的權(quán)利要求、本申請中和不同申請中所提交的任何未來的權(quán)利要求及其等同物來限定。