本公開總體上涉及用于自動注視(fixation)生成的方法、系統(tǒng)和裝置，以及更具體地涉及合成顯著性地圖的生成。

背景技術(shù)：

汽車為商業(yè)、政府和私人實體提供交通工具的重要部分。自主車輛和駕駛輔助系統(tǒng)目前正在被開發(fā)并且被部署用于提供安全、減少所需的用戶輸入量或甚至完全消除用戶參與。例如，比如防撞系統(tǒng)這樣的某些駕駛輔助系統(tǒng)可以在人類正在駕駛時監(jiān)測車輛和其他物體的行駛、位置和速度。當(dāng)系統(tǒng)檢測到碰撞或撞擊即將發(fā)生時，防撞系統(tǒng)可以干預(yù)并且應(yīng)用制動器、轉(zhuǎn)向車輛或執(zhí)行其他規(guī)避或安全操縱。作為另一示例，自主車輛可以在很少或沒有用戶輸入的情況下駕駛并且導(dǎo)航車輛?；趥鞲衅鲾?shù)據(jù)的用于物體檢測的自動系統(tǒng)的訓(xùn)練使自動駕駛系統(tǒng)或駕駛輔助系統(tǒng)能夠安全地識別和避開障礙物或安全駕駛通常是必要的。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明的一方面，提供一種方法，該方法包含：

接收第一圖像和第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示；以及

生成并且存儲標(biāo)簽圖像，生成并且存儲標(biāo)簽圖像包含：

創(chuàng)建包含在相應(yīng)于子區(qū)域的區(qū)域中的具有第一顏色的一個或多個隨機(jī)點(diǎn)的中間圖像，中間圖像的剩余部分具有第二顏色，以及

把高斯模糊應(yīng)用于中間圖像。

根據(jù)本發(fā)明的一實施例，其中生成并且存儲標(biāo)簽圖像進(jìn)一步地包含創(chuàng)建并且存儲低分辨率的模糊的中間圖像。

根據(jù)本發(fā)明的一實施例，其中應(yīng)用高斯模糊包含為一個或多個隨機(jī)點(diǎn)中的每一個生成橢圓形狀模糊。

根據(jù)本發(fā)明的一實施例，本發(fā)明方法進(jìn)一步地包含基于第一圖像和標(biāo)簽圖像生成顯著性地圖(saliencymap)。

根據(jù)本發(fā)明的一實施例，其中生成顯著性地圖包含使用神經(jīng)網(wǎng)絡(luò)來生成，神經(jīng)網(wǎng)絡(luò)基于第一圖像和標(biāo)簽圖像輸出顯著性地圖。

根據(jù)本發(fā)明的一實施例，其中創(chuàng)建包含一個或多個隨機(jī)點(diǎn)的中間圖像包含創(chuàng)建二進(jìn)制圖像。

根據(jù)本發(fā)明的一實施例，其中創(chuàng)建包含一個或多個隨機(jī)點(diǎn)的中間圖像包含基于一個或多個子區(qū)域的子區(qū)域大小來確定一個或多個子區(qū)域的子區(qū)域中的隨機(jī)點(diǎn)的數(shù)目。

根據(jù)本發(fā)明的一實施例，本發(fā)明方法進(jìn)一步地包含訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)以基于標(biāo)簽圖像來確定關(guān)于一個或多個物體的信息。

根據(jù)本發(fā)明的另一方面，提供一種用于生成人工顯著性地圖的系統(tǒng)，該系統(tǒng)包含：

配置成接收第一圖像和相應(yīng)于第一圖像的地面實況的數(shù)據(jù)部件，其中地面實況包含第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示；

隨機(jī)部件，該隨機(jī)部件配置成創(chuàng)建包含在相應(yīng)于子區(qū)域的區(qū)域中的包含第一顏色的一個或多個隨機(jī)點(diǎn)的中間圖像，中間圖像的剩余部分包含第二顏色；

配制成把模糊應(yīng)用于中間圖像以生成標(biāo)簽圖像的模糊部件；以及

配置成基于標(biāo)簽圖像和第一圖像來創(chuàng)建顯著性地圖的地圖部件。

根據(jù)本發(fā)明的一實施例，本發(fā)明系統(tǒng)進(jìn)一步地包含配置成基于顯著性地圖和標(biāo)簽圖像來訓(xùn)練或測試機(jī)器學(xué)習(xí)算法的模型部件。

根據(jù)本發(fā)明的一實施例，其中地面實況進(jìn)一步地包含關(guān)于關(guān)注物體的一個或多個細(xì)節(jié)，一個或多個細(xì)節(jié)包含關(guān)注物體的分類、方向和相對位置中的一個或多個，并且其中模型部件配置成基于關(guān)于關(guān)注物體的一個或多個細(xì)節(jié)來訓(xùn)練或測試。

根據(jù)本發(fā)明的一實施例，其中模糊部件配置成通過產(chǎn)生低分辨率標(biāo)簽圖像來生成標(biāo)簽圖像并且其中地圖部件配置成基于低分辨率標(biāo)簽圖像來創(chuàng)建顯著性地圖。

根據(jù)本發(fā)明的一實施例，其中模糊部件配置成應(yīng)用高斯模糊。

根據(jù)本發(fā)明的一實施例，其中隨機(jī)部件配置成基于一個或多個子區(qū)域的子區(qū)域大小來確定一個或多個子區(qū)域的子區(qū)域中的隨機(jī)點(diǎn)的數(shù)目并且創(chuàng)建該隨機(jī)點(diǎn)。

根據(jù)本發(fā)明的又一方面，提供一種存儲指令的計算機(jī)可讀存儲介質(zhì)，該指令當(dāng)由一個或多個處理器執(zhí)行時使一個或多個處理器：

接收第一圖像和第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示；以及

創(chuàng)建包含在相應(yīng)于子區(qū)域的區(qū)域中的包含第一顏色的一個或多個隨機(jī)點(diǎn)的中間圖像，中間圖像的剩余部分包含第二顏色；

把高斯模糊應(yīng)用于中間圖像以產(chǎn)生標(biāo)簽圖像；以及

存儲標(biāo)簽圖像并且把標(biāo)簽圖像與第一圖像相關(guān)聯(lián)。

根據(jù)本發(fā)明的一實施例，其中指令使一個或多個處理器創(chuàng)建低分辨率的模糊中間圖像并且把低分辨率的模糊中間圖像存儲為標(biāo)簽圖像。

根據(jù)本發(fā)明的一實施例，其中指令進(jìn)一步地使一個或多個處理器把高斯模糊擬合于橢圓形狀的區(qū)域。

根據(jù)本發(fā)明的一實施例，其中指令使一個或多個處理器基于第一圖像和標(biāo)簽圖像來生成顯著性地圖，其中生成顯著性地圖包含使用神經(jīng)網(wǎng)絡(luò)來生成，神經(jīng)網(wǎng)絡(luò)基于第一圖像和標(biāo)簽圖像輸出顯著性地圖。

根據(jù)本發(fā)明的一實施例，其中指令進(jìn)一步地使一個或多個處理器訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)以基于標(biāo)簽圖像來確定關(guān)于一個或多個物體的信息。

根據(jù)本發(fā)明的一實施例，其中指令使一個或多個處理器基于一個或多個子區(qū)域的相應(yīng)子區(qū)域大小來確定隨機(jī)點(diǎn)區(qū)域的數(shù)目并且創(chuàng)建該隨機(jī)點(diǎn)區(qū)域。

附圖說明

參考下面的附圖描述本公開的非限制性且非詳盡的實施方式，其中除另有規(guī)定外，在各種視圖中的相同的附圖標(biāo)記指的是相同的部分。關(guān)于下面的描述和附圖，本公開的優(yōu)勢將變得更好理解，在附圖中：

圖1是說明包括自動駕駛/輔助系統(tǒng)的車輛控制系統(tǒng)的示例實施方式的示意性框圖；

圖2是說明用于自動注視生成的系統(tǒng)的實施方式的示意性框圖；

圖3說明駕駛環(huán)境的透視圖的圖像；

圖4說明根據(jù)一實施例的具有多個隨機(jī)點(diǎn)的圖像；

圖5說明根據(jù)一實施例的圖4的圖像的模糊版本；

圖6說明根據(jù)一實施例的圖5的圖像的低分辨率版本；

圖7是根據(jù)一實施方式的說明顯著性部件的示例部件的示意性框圖；以及

圖8是根據(jù)一實施方式的說明用于生成合成顯著性地圖、圖像標(biāo)簽或注視數(shù)據(jù)的方法的示意性流程圖。

具體實施方式

為了安全地操作，智能車輛應(yīng)該能夠快速地并且準(zhǔn)確地識別行人。關(guān)于主動安全性和駕駛員輔助應(yīng)用，共同的挑戰(zhàn)是快速地并且準(zhǔn)確地檢測場景中的行人和行人的位置。已經(jīng)利用深度神經(jīng)網(wǎng)絡(luò)成功地實現(xiàn)某些分類解決方案。然而，檢測和定位仍然是具有挑戰(zhàn)性的，因為行人以不同的尺度存在并且在不同的位置。例如，當(dāng)前的檢測和定位技術(shù)不能匹配人類確定場景中的關(guān)注物體的尺度和位置和/或快速地理解場景的“要點(diǎn)(gist)”的能力。

申請人已經(jīng)開發(fā)了改善自動行人定位和檢測的系統(tǒng)、裝置和方法。至少一個實施例使用物體檢測的兩階段計算機(jī)視覺方法。在第一階段，傳感器數(shù)據(jù)(比如圖像)的一個或多個區(qū)域被識別為更可能包括關(guān)注物體(比如行人)。例如，第一階段可以產(chǎn)生顯著性地圖形式的可能區(qū)域的指示，物體位于該可能區(qū)域中。第二階段確定關(guān)注物體是否實際上存在于在第一階段中識別的一個或多個區(qū)域內(nèi)。例如，第二階段可以使用第一階段輸出的顯著性地圖和原始圖像的至少一部分來確定關(guān)注物體是否實際上存在于一個或多個區(qū)域內(nèi)。然而，或者可以在第一階段或者可以在第二階段中使用的神經(jīng)網(wǎng)絡(luò)或其他模型可能首先需要被訓(xùn)練并且被測試。因為獲取可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)、模型或算法的傳感器數(shù)據(jù)、顯著性地圖或其他數(shù)據(jù)可以是非常困難耗費(fèi)時間的和/或昂貴的，所以實施上述兩階段方法可以是非常困難或昂貴的。

根據(jù)前述內(nèi)容，申請人已經(jīng)開發(fā)合成顯著性地圖的創(chuàng)建和使用的解決方案。這些合成顯著性地圖可以用于深度學(xué)習(xí)算法的訓(xùn)練或測試并且顯著地減少該深度學(xué)習(xí)算法的訓(xùn)練或測試所需的時間和成本。根據(jù)一實施例，方法包括接收第一圖像和該第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示。方法包括生成并且存儲標(biāo)簽圖像。生成標(biāo)簽圖像包括創(chuàng)建包括在相應(yīng)于子區(qū)域的區(qū)域中具有第一顏色的一個或多個隨機(jī)點(diǎn)的中間圖像，同時該中間圖像的剩余部分具有第二顏色。生成標(biāo)簽圖像也包括把高斯模糊應(yīng)用于中間圖像。

根據(jù)某些實施例，可以基于關(guān)注物體的圖像和相關(guān)地面實況邊界框生成人工顯著性地圖。可以用在邊界框內(nèi)(或在相應(yīng)于邊界框的區(qū)域內(nèi))的若干隨機(jī)點(diǎn)生成圖像。標(biāo)簽上每個隨機(jī)生成的點(diǎn)制成白色像素并且圖像中所有其他隨機(jī)生成的點(diǎn)是黑色的。將高斯模糊或其他模糊應(yīng)用于二進(jìn)制圖像并且以低分辨率存儲為用于相應(yīng)圖像的標(biāo)簽。標(biāo)簽和原始圖像可以被輸入深度神經(jīng)網(wǎng)絡(luò)，該深度神經(jīng)網(wǎng)絡(luò)輸出用于預(yù)測圖像中關(guān)注物體的位置的顯著性地圖。深度神經(jīng)網(wǎng)絡(luò)可以與由m.kummerer,l.theis和m.bethge(2014年11月)在“深度注視i：用在imagenet上訓(xùn)練的特征地圖提高顯著性預(yù)測(deepgazei:boostingsaliencypredictionwithfeaturemapstrainedonimagenet)”中討論和描述的那些相似。

如在此所使用的，術(shù)語“注視”指的是提醒注意傳感器數(shù)據(jù)的地區(qū)或區(qū)域的指示或標(biāo)簽，信息可以在該地區(qū)或區(qū)域中呈現(xiàn)。例如，識別在圖像內(nèi)的區(qū)域的信息是注視的一種類型的指示，物體識別算法應(yīng)該在該區(qū)域中尋找物體。同樣，任何區(qū)域標(biāo)識符可以在此稱為注視，顯著或相關(guān)信息位于該區(qū)域中。在一實施例中，通過確定注視區(qū)域，可以需要較少的時間和處理資源來檢測物體或基于傳感器數(shù)據(jù)來做出其他確定，因為可能需要分析不到所有的傳感器數(shù)據(jù)。

在一實施例中，可以使用低分辨率標(biāo)簽或顯著性地圖。例如，視覺心理研究已經(jīng)表明來自較低分辨率圖像的注視可以預(yù)測在更高分辨率圖像上的注視。因此，非常低分辨率版本的人工顯著性作為相應(yīng)圖像的標(biāo)簽的使用是可能的并且可以減少所需的計算能力。此外，模糊可以擬合橢圓以更好地預(yù)測物體的尺度和位置。例如，行人通常具有大于寬度的高度并且垂直地定向。因此，垂直長圓形的橢圓可以用作模糊的形狀。

在一實施例中，本公開把顯著性地圖應(yīng)用于物體檢測，這是當(dāng)前技術(shù)水平的改進(jìn)。此外，在一實施例中，本公開在沒有收集數(shù)據(jù)集上新的目光注視注釋的詳盡工作的情況下創(chuàng)建合成顯著性地圖以模仿人類感知。此外，至少某些實施例中產(chǎn)生的數(shù)據(jù)不需要消除中心偏差，該中心偏差通常是基于人類注視產(chǎn)生的注視注釋或數(shù)據(jù)集所需的。

現(xiàn)在參考附圖，圖1說明示例車輛控制系統(tǒng)100，該車輛控制系統(tǒng)100可以用于自動地檢測、分類和/或定位物體。自動駕駛/輔助系統(tǒng)102可以用于自動操作或控制車輛的操作或為人類駕駛員提供輔助。例如，自動駕駛/輔助系統(tǒng)102可以控制車輛的制動、轉(zhuǎn)向、加速、照明、警報、駕駛員通知、無線電或任何其他輔助系統(tǒng)中的一個或多個。在另一示例中，自動駕駛/輔助系統(tǒng)102可能不能提供任何駕駛控制(例如，轉(zhuǎn)向、加速或制動)，但可以提供通知和警報以幫助人類駕駛員安全駕駛。自動駕駛/輔助系統(tǒng)102可以使用神經(jīng)網(wǎng)絡(luò)或者其他模型或算法以基于由一個或多個傳感器收集的感知數(shù)據(jù)來檢測或定位物體。

車輛控制系統(tǒng)100也包括一個或多個用于檢測母車輛附近(例如，包括車輛控制系統(tǒng)100的車輛)或在母車輛(例如，包括車輛控制系統(tǒng)100的車輛)的傳感器范圍內(nèi)的物體的存在的傳感器系統(tǒng)/裝置。例如，車輛控制系統(tǒng)100可以包括一個或多個雷達(dá)系統(tǒng)106、一個或多個lidar(激光雷達(dá))系統(tǒng)108、一個或多個攝像機(jī)系統(tǒng)110、全球定位系統(tǒng)(gps)112和/或一個或多個超聲波系統(tǒng)114。車輛控制系統(tǒng)100可以包括用于存儲比如地圖數(shù)據(jù)、駕駛歷史或其他數(shù)據(jù)這樣的用于導(dǎo)航和安全性的相關(guān)或有用數(shù)據(jù)的數(shù)據(jù)存儲器116。車輛控制系統(tǒng)100也可以包括用于與移動或無線網(wǎng)絡(luò)、其他車輛、基礎(chǔ)設(shè)施或任何其他通信系統(tǒng)無線通信的收發(fā)器118。

車輛控制系統(tǒng)100可以包括車輛控制執(zhí)行器120以控制車輛的駕駛的各個方面，比如電動馬達(dá)、開關(guān)或其他執(zhí)行器以用于控制制動、加速、轉(zhuǎn)向等。車輛控制系統(tǒng)100也可以包括一個或多個顯示器122、揚(yáng)聲器124或其他裝置以便可以為人類駕駛員或乘客提供通知。顯示器122可以包括抬頭顯示器、儀表盤顯示器或指示器、顯示屏幕或可以被車輛的駕駛員或乘客看到的任何其他視覺指示器。揚(yáng)聲器124可以包括車輛的音響系統(tǒng)的一個或多個揚(yáng)聲器或可以包括專用于駕駛員通知的揚(yáng)聲器。

將要領(lǐng)會的是，僅通過示例給出圖1的實施例。其他實施例在沒有背離本公開的保護(hù)范圍的情況下可以包括較少部件或附加部件。此外，圖示部件可以沒有限制地結(jié)合在或包括在其他部件內(nèi)。

在一實施例中，自動駕駛/輔助系統(tǒng)102配置成控制母車輛的駕駛或?qū)Ш?。例如，自動駕駛/輔助系統(tǒng)102可以控制車輛控制執(zhí)行器120沿著道路、停車場、車道或其他位置上的路徑駕駛。例如，自動駕駛/輔助系統(tǒng)102可以基于由部件106-118中的任何一個提供的信息或感知數(shù)據(jù)來確定路徑。傳感器系統(tǒng)/裝置106-110和114可以用于獲取實時傳感器數(shù)據(jù)以便自動駕駛/輔助系統(tǒng)102可以實時幫助駕駛員或駕駛車輛。自動駕駛/輔助系統(tǒng)102可以實施算法或使用比如深度神經(jīng)網(wǎng)絡(luò)這樣的模型來處理傳感器數(shù)據(jù)以檢測、識別和/或定位一個或多個物體。然而，為了訓(xùn)練或測試模型或算法，可能需要大量的傳感器數(shù)據(jù)和傳感器數(shù)據(jù)的注釋。

現(xiàn)在參考圖2，顯示用于自動注視生成的系統(tǒng)200的一實施例。系統(tǒng)200包括顯著性部件202、存儲器204、訓(xùn)練部件206和測試部件208。顯著性部件202配置成基于數(shù)據(jù)圖像和地面實況數(shù)據(jù)來確定顯著性信息。數(shù)據(jù)圖像可以包括一幀的傳感器數(shù)據(jù)并且地面實況(groundtruth)可以包括關(guān)于該幀傳感器數(shù)據(jù)的信息。例如，地面實況可以包括在傳感器數(shù)據(jù)范圍內(nèi)的關(guān)注物體的一個或多個邊界框、分類、方向和/或相對位置。邊界框可以包括相應(yīng)于一個或多個關(guān)注物體的在數(shù)據(jù)圖像范圍內(nèi)的一個或多個子區(qū)域的指示。分類可以包括檢測物體的類型或分類的指示。例如，分類可以指示檢測物體是車輛、行人、騎自行車者、摩托車、道路碎片、道路標(biāo)志、車道屏障、樹或植物、建筑物、停車屏障、人行道或在道路上的或道路附近的任何物體或特征。方向可以指示物體的方向或物體的行進(jìn)方向，比如車輛、行人或任何其他物體的方向或行進(jìn)方向。相對位置可以指示車輛和物體之間的距離。

顯著性部件202可以通過基于數(shù)據(jù)圖像和/或地面實況自動地生成人工標(biāo)簽或人工顯著性地圖來確定顯著性信息。根據(jù)一實施例，顯著性部件202可以在指示的邊界框內(nèi)生成多個隨機(jī)點(diǎn)(其被設(shè)置為白色像素)、把所有其他的像素設(shè)置為黑色、對圖像執(zhí)行高斯模糊以產(chǎn)生標(biāo)簽、存儲標(biāo)簽的低分辨率版本、以及基于數(shù)據(jù)和標(biāo)簽信息生成顯著性地圖以預(yù)測圖像中物體的位置。顯著性部件202可以向存儲器204輸出顯著性數(shù)據(jù)210和/或把顯著性數(shù)據(jù)210存儲至存儲器204。例如，顯著性數(shù)據(jù)可以把標(biāo)簽圖像或顯著性地圖存儲為顯著性數(shù)據(jù)210的一部分。

訓(xùn)練部件206配置成使用數(shù)據(jù)圖像和任何相應(yīng)地面實況或顯著性數(shù)據(jù)210來訓(xùn)練機(jī)器學(xué)習(xí)算法。例如，訓(xùn)練部件206可以通過給一幀的傳感器數(shù)據(jù)提供相應(yīng)標(biāo)簽圖像或顯著性地圖來訓(xùn)練機(jī)器學(xué)習(xí)算法或模型以在任何圖像中輸出關(guān)注物體的顯著性地圖或預(yù)測位置來訓(xùn)練機(jī)器學(xué)習(xí)算法或模型。例如，機(jī)器學(xué)習(xí)算法或模型可以包括用于識別圖像的一個或多個區(qū)域的深度神經(jīng)網(wǎng)絡(luò)，該區(qū)域包括比如行人、車輛或要由自動駕駛/輔助系統(tǒng)102檢測或定位的其他物體這樣的關(guān)注物體。在一實施例中，深度神經(jīng)網(wǎng)絡(luò)可以以顯著性地圖或指示圖像的注視或顯著性子區(qū)域的任何其他格式的形式輸出區(qū)域的指示。

測試部件208可以使用顯著性數(shù)據(jù)210測試機(jī)器學(xué)習(xí)算法或模型。例如，測試部件208可以為機(jī)器學(xué)習(xí)算法或模型提供圖像或其他傳感器數(shù)據(jù)幀，該機(jī)器學(xué)習(xí)算法或模型然后輸出顯著性地圖或者注視或顯著性的其他指示。作為另一示例，測試部件208可以為機(jī)器學(xué)習(xí)算法或模型提供圖像或其他傳感器數(shù)據(jù)幀，該機(jī)器學(xué)習(xí)算法或模型確定關(guān)于關(guān)注物體的分類、位置、方向或其他數(shù)據(jù)。測試部件208可以把機(jī)器學(xué)習(xí)算法或模型的輸出與人工顯著性地圖或地面實況相比較以確定如何執(zhí)行模型或算法。例如，如果由機(jī)器學(xué)習(xí)算法或模型確定的顯著性地圖或其他細(xì)節(jié)是相同的或相似的，則測試部件208可以確定機(jī)器學(xué)習(xí)算法或模型是準(zhǔn)確的或很好地被訓(xùn)練以用于現(xiàn)實世界系統(tǒng)中的操作，比如圖1的自動駕駛/輔助系統(tǒng)102。

圖3說明可以在駕駛環(huán)境中捕捉的圖像300的透視圖。例如，圖像300說明在車輛前面的道路的場景，該場景在車輛正沿著道路行駛時可以被捕捉。圖像300包括在道路上的或道路附近的多個關(guān)注物體。在一實施例中，圖像300可以具有相關(guān)邊界框信息，該相關(guān)邊界框信息定義用于包括關(guān)注物體的圖像300的子區(qū)域的多個邊界框。具體地，為包括行人的區(qū)域定義第一邊界框302、第二邊界框304和第三邊界框306，該行人可以是一種類型的關(guān)注物體或其他關(guān)注物體。例如，圖像和相關(guān)邊界框302-306可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以檢測行人或其他關(guān)注物體或者測試神經(jīng)網(wǎng)絡(luò)檢測行人或其他關(guān)注物體的能力。其他實施例可以包括圖像和/或用于任何類型的關(guān)注物體或用于多種類型的關(guān)注物體的邊界框。

在一實施例中，邊界框信息可以被包括作為圖像300的地面實況的一部分。圖像300可以用地面實況注釋或地面實況可以被包括作為單獨(dú)文件的一部分。在一實施例中，圖像300可以保持是未注釋的以便可以測試或訓(xùn)練神經(jīng)網(wǎng)絡(luò)或者其他機(jī)器學(xué)習(xí)算法或模型。在一實施例中，地面實況可以包括定義邊界框302-306的信息，比如x-y坐標(biāo)或每一個邊界框的邊緣或中心的其他描述。地面實況也可以包括關(guān)于包括在邊界框中的是什么(例如，關(guān)注物體的類型)的信息或關(guān)于距傳感器的距離的信息或關(guān)于關(guān)注物體的其他細(xì)節(jié)。

顯著性部件202可以接收圖像300和任何相關(guān)地面實況并且生成用于圖像的標(biāo)簽和/或顯著性地圖。在一實施例中，顯著性部件202可以通過使除了由地面實況指示的在每個邊界框內(nèi)的一個或多個隨機(jī)點(diǎn)以外的所有像素是黑色的來創(chuàng)建新的圖像并且把模糊應(yīng)用于該圖像來生成標(biāo)簽。圖4-6說明關(guān)于標(biāo)簽圖像的生成的一實施例。

圖4說明第一中間圖像400。第一中間圖像400包括圖像，在該圖像中除了在相應(yīng)于圖3的邊界框302-306的第一區(qū)域402、第二區(qū)域404和第三區(qū)域406內(nèi)的多個隨機(jī)點(diǎn)以外的所有像素是黑色的。例如，顯著性部件202可以隨機(jī)生成在每一個區(qū)域402-406內(nèi)的點(diǎn)。每個隨機(jī)點(diǎn)可以包括一個或多個像素。區(qū)域402-406的區(qū)域標(biāo)記顯示用于說明的目的并且可能不被包括作為第一中間圖像400的一部分。雖然第一中間圖像400以黑色和白色顯示，某些實施例可以包括灰度、顏色或可用圖像類型的任何其他組合。

在一實施例中，在區(qū)域402-406內(nèi)的隨機(jī)點(diǎn)的數(shù)量是基于該區(qū)域的大小或面積。例如，第二區(qū)域404是最小的區(qū)域并且僅具有一個隨機(jī)點(diǎn)并且第三區(qū)域406是最大的區(qū)域并且具有九個隨機(jī)點(diǎn)。第一區(qū)域402比第三區(qū)域小，但比第二區(qū)域404大并且具有三個隨機(jī)點(diǎn)。在一實施例中，區(qū)域402-406的面積或者一個或多個尺寸可以用于計算隨機(jī)點(diǎn)的數(shù)目。隨機(jī)數(shù)發(fā)生器或其他隨機(jī)化算法可以用于生成在每個區(qū)域402-406內(nèi)的隨機(jī)點(diǎn)。

圖5說明第二中間圖像500。第二中間圖像500包括具有在黑色背景上的多個白色模糊區(qū)域502-506的圖像。模糊區(qū)域502-506包括分別相應(yīng)于圖4的第一區(qū)域402、第二區(qū)域404和第三區(qū)域406的第一模糊區(qū)域502、第二模糊區(qū)域504和第三模糊區(qū)域506。顯著性部件202可以通過把模糊應(yīng)用于圖4的第一中間圖像400來生成第二圖像500。例如，顯著性部件202可以通過把高斯模糊應(yīng)用于第一中間圖像400來生成第二圖像500，在此情況下模糊被設(shè)計用于創(chuàng)建橢圓形狀(例如，具有與垂直參數(shù)不同的水平參數(shù)的二維模糊)。每個橢圓可以由第一中間圖像400中的隨機(jī)點(diǎn)中的一個產(chǎn)生。在一實施例中，第二中間圖像500是應(yīng)用于包含第一中間圖像400的黑白圖像(例如二進(jìn)制圖像)的模糊結(jié)果。某些實施例可以包括灰度或彩色圖像，所以超過兩種顏色是可能的。例如，模糊灰度或彩色圖像可以導(dǎo)致在白色模糊區(qū)域502-506內(nèi)的梯度。在一實施例中，模糊大小或橢圓大小可以基于區(qū)域402-406的區(qū)域的位置或大小。例如，較大區(qū)域可以接受較大的橢圓大小和/或在圖像400上垂直向上更高定位的區(qū)域可以接受較小的橢圓大小。

在一實施例中，第二中間圖像500可以用作圖3的圖像300的標(biāo)簽。例如，模糊502-506可以指示圖3的數(shù)據(jù)圖像300的區(qū)域，該區(qū)域應(yīng)該被處理或分析用于物體檢測或識別。在一實施例中，第二中間圖像500可以與數(shù)據(jù)圖像300結(jié)合以生成顯著性地圖，該顯著性地圖可以被處理用于物體識別或檢測。在一實施例中，顯著性部件202可以把第二中間圖像500和圖像300輸入到神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)輸出顯著性地圖。在一實施例中，顯著性部件202可以把第二中間圖像500和圖像300輸入到訓(xùn)練部件206或測試部件208中以訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)的操作。例如，神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練以基于圖像輸出標(biāo)簽或顯著性地圖。作為另一示例，通過為神經(jīng)網(wǎng)絡(luò)提供圖像300并且把產(chǎn)生的顯著性地圖或標(biāo)簽與第二中間圖像500相比較，可以測試神經(jīng)網(wǎng)絡(luò)它產(chǎn)生顯著性地圖或標(biāo)簽的效果如何。

圖6說明是第二中間圖像500的低分辨率版本的低分辨率圖像600。例如，低分辨率顯著性地圖或標(biāo)簽可以在顯著性或注視預(yù)測上很少或沒有減少的情況下顯著性地減少處理資源或處理時間。在一實施例中，顯著性部件202可以把低分辨率圖像600保存為用于圖3的圖像300的標(biāo)簽。在低分辨率的情況下，低分辨率圖像600包括低分辨率模糊區(qū)域602-606，該低分辨率模糊區(qū)域602-606包括第一低分辨率模糊區(qū)域602、第二低分辨率模糊區(qū)域604和第三分辨率區(qū)域606。

在一實施例中，低分辨率圖像600可以用作用于圖3的圖像300的標(biāo)簽。例如，低分辨率模糊區(qū)域602-606可以指示圖3的數(shù)據(jù)圖像300的區(qū)域，該區(qū)域應(yīng)該被處理或分析用于物體檢測或識別。在一實施例中，低分辨率圖像600可以與數(shù)據(jù)圖像300結(jié)合以生成顯著性地圖，該顯著性地圖可以被處理用于物體識別或檢測。在一實施例中，顯著性部件202可以把低分辨率圖像600和圖像300輸入至神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)輸出顯著性地圖。在一實施例中，顯著性部件202可以把低分辨率圖像600和圖像300輸入至訓(xùn)練部件206或測試部件208中以訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)的操作。例如，神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練以基于圖像300(或任何其他圖像)輸出標(biāo)簽或顯著性地圖。作為另一示例，通過為神經(jīng)網(wǎng)絡(luò)提供圖像300并且把產(chǎn)生的顯著性地圖或標(biāo)簽與低分辨率圖像600相比較，可以測試神經(jīng)網(wǎng)絡(luò)它產(chǎn)生顯著性地圖或標(biāo)簽的效果如何。

在一實施例中，低分辨率圖像600將在訓(xùn)練——例如在深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中——被用作圖3的相應(yīng)全圖像300的標(biāo)簽。以這種方式，當(dāng)任何圖像輸入至網(wǎng)絡(luò)中時，在已經(jīng)訓(xùn)練網(wǎng)絡(luò)之后，產(chǎn)生相應(yīng)標(biāo)簽(可能的顯著性區(qū)域的地圖)。此外，(低分辨率)顯著性地圖可以經(jīng)歷后處理——例如用原始圖像閾值化——以提取要被輸入至用于關(guān)注物體的分類器中的關(guān)注區(qū)域(例如，檢測行人)。

雖然上面關(guān)于圖像討論了圖3-6，但其他類型的傳感器數(shù)據(jù)幀被預(yù)期在本公開的保護(hù)范圍內(nèi)。例如，lidar幀、雷達(dá)幀、超聲波幀或可以根據(jù)上面提供的過程和教導(dǎo)處理的其他類型的傳感器數(shù)據(jù)幀。例如，數(shù)據(jù)幀和用于數(shù)據(jù)幀的子區(qū)域的邊界框可以被處理以產(chǎn)生用于任何類型的數(shù)據(jù)幀的標(biāo)簽。

圖7是說明顯著性部件202的示例部件的框圖。在描繪的實施例中，顯著性部件202包括數(shù)據(jù)部件702、隨機(jī)部件704、模糊部件706、地圖部件708和模型部件710。部件702-710僅通過圖示給出并且可能不全部包括在所有實施例中。實際上，某些實施例可以僅包括部件702-710中的一個或者部件702-710中的兩個或兩個以上的任何組合。部件702-710中的某些可以位于顯著性部件202的外部。

數(shù)據(jù)部件702配置成接收數(shù)據(jù)圖像或其他傳感器數(shù)據(jù)以及關(guān)于數(shù)據(jù)圖像或傳感器數(shù)據(jù)的任何地面實況。例如，數(shù)據(jù)部件702可以接收由攝像機(jī)捕捉的圖像和圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示。圖像可以包括車輛附近的場景的圖像。例如，圖像可以包括由車載攝像機(jī)捕捉的圖像。在一實施例中，圖像可以包括模擬道路或駕駛環(huán)境的計算機(jī)生成圖像。

地面實況可以包括關(guān)于駕駛環(huán)境的真實世界或虛擬世界地面實況，在該駕駛環(huán)境中捕捉圖像。例如，地面實況可以包括關(guān)于關(guān)注物體的一個或多個細(xì)節(jié)，比如分類、方向和關(guān)注物體相對于攝像機(jī)的相對位置。在一實施例中，地面實況包括邊界框信息或定義圖像的區(qū)域的其他信息，關(guān)注物體位于該區(qū)域中。邊界框可以從已經(jīng)觀看到圖像的人類的輸入得到或可以由計算機(jī)生成。在一實施例中，基于當(dāng)人類看圖像時人類看的地方得到邊界框信息或邊界框信息可以基于由人類提供的明確輸入，該邊界框信息識別關(guān)注物體位于哪里(例如，在顯示圖像時通過使用鼠標(biāo)、觸摸屏或在其他裝置沿著區(qū)域拖拽框)。在一實施例中，邊界框信息可以由計算機(jī)生成。例如，如果由計算機(jī)基于模擬的三維環(huán)境生成數(shù)據(jù)圖像，則計算機(jī)也可以生成邊界框或指示計算機(jī)生成圖像的區(qū)域的其他信息，關(guān)注物體位于該區(qū)域中。

隨機(jī)部件704配置為生成圖像，該圖像具有在由邊界框定義或相應(yīng)于邊界框的區(qū)域內(nèi)的一個或多個隨機(jī)點(diǎn)。例如，隨機(jī)部件704可以創(chuàng)建包括在相應(yīng)于邊界框的區(qū)域中具有第一顏色的一個或多個隨機(jī)點(diǎn)的圖像(比如圖4的中間圖像400)，并且該圖像的剩余部分具有第二顏色。在一實施例中，隨機(jī)部件704創(chuàng)建二進(jìn)制圖像，該二進(jìn)制圖像除了在每個邊界框區(qū)域內(nèi)的一個或多個隨機(jī)點(diǎn)以外是黑色的。在一實施例中，二進(jìn)制圖像可以包括具有任何顏色的兩種不同的顏色。例如，二進(jìn)制圖像不一定是黑色背景上的白色點(diǎn)，但可以包括兩種或多種顏色的任何組合。在一實施例中，隨機(jī)部件704創(chuàng)建圖像，該圖像具有作為灰度或彩色圖像的一部分的隨機(jī)點(diǎn)。

隨機(jī)部件704可以使用隨機(jī)數(shù)發(fā)生器或其他隨機(jī)化算法來生成隨機(jī)點(diǎn)。隨機(jī)部件704可以在相應(yīng)于由數(shù)據(jù)部件702接收的地面實況中指示的區(qū)域的區(qū)域內(nèi)生成隨機(jī)點(diǎn)。在一實施例中，隨機(jī)部件704可以基于區(qū)域的大小在區(qū)域內(nèi)生成若干隨機(jī)點(diǎn)。例如，隨機(jī)部件704可以基于子區(qū)域的大小來確定要在子區(qū)域中生成的隨機(jī)點(diǎn)的數(shù)目。例如，具有較大面積的區(qū)域可以具有比具有較小面積的區(qū)域更多的隨機(jī)點(diǎn)。

模糊部件706配置成把模糊算法應(yīng)用于由隨機(jī)部件704創(chuàng)建的圖像，比如圖4的第一中間圖像400。在一實施例中，模糊部件706可以把高斯模糊應(yīng)用于包含一個或多個隨機(jī)點(diǎn)的圖像。模糊部件706可以模糊隨機(jī)點(diǎn)以遍布較大的面積并且由此模擬相應(yīng)于邊界框的區(qū)域。模糊可以基于關(guān)注物體的類型而擬合于或適用于特殊形狀。例如，垂直長圓形橢圓可以反映行人的大概形狀。在一實施例中，模糊算法可以設(shè)計用于產(chǎn)生所需的模糊形狀。例如，模糊算法可以在水平方向上與在垂直方向上不同地模糊圖像以生成垂直或水平長圓形形狀。也可以使用其他模糊算法。在一實施例中，模糊圖像(參照例如圖5)可以用作由數(shù)據(jù)部件702接收的相應(yīng)數(shù)據(jù)圖像的標(biāo)簽圖像。在另一實施例中，低分辨率圖像(參照例如圖6)可以被存儲并且被用作由數(shù)據(jù)部件702接收的相應(yīng)數(shù)據(jù)圖像的標(biāo)簽圖像。

地圖部件708配置成基于比如由隨機(jī)部件704和/或模糊部件706生成的標(biāo)簽圖像這樣的標(biāo)簽圖像生成用于數(shù)據(jù)圖像的顯著性地圖。在一實施例中，地圖部件708配置成基于數(shù)據(jù)圖像和標(biāo)簽圖像生成顯著性地圖。在一實施例中，地圖部件708配置成使用神經(jīng)網(wǎng)絡(luò)生成顯著性地圖，該神經(jīng)網(wǎng)絡(luò)基于作為輸入的數(shù)據(jù)圖像和標(biāo)簽圖像來輸出顯著性地圖。顯著性地圖可以包括由隨機(jī)部件704和/或模糊部件706產(chǎn)生的標(biāo)簽圖像或另一圖像定義的在模糊區(qū)域或其他區(qū)域內(nèi)的數(shù)據(jù)圖像的一個或多個細(xì)節(jié)。在一實施例中，地圖部件708可以使用閾值算法通過用標(biāo)簽圖像覆蓋數(shù)據(jù)圖像來生成顯著性地圖。例如，數(shù)據(jù)圖像可以在相應(yīng)于標(biāo)簽的黑色部分的區(qū)域中轉(zhuǎn)換成黑色，同時在顯著性地圖內(nèi)相應(yīng)于白色區(qū)域的數(shù)據(jù)圖像的部分可以轉(zhuǎn)換成灰度。

模型部件710配置成為用于機(jī)器學(xué)習(xí)算法或模型的測試或訓(xùn)練的算法提供虛擬傳感器數(shù)據(jù)和/或地面實況。例如，模型部件710可以為圖2的訓(xùn)練部件206或測試部件208提供數(shù)據(jù)圖像和標(biāo)簽圖像。在另一實施例中，模型部件710可以包括訓(xùn)練部件206和/或測試部件208。例如，數(shù)據(jù)圖像和/或標(biāo)簽圖像可以用于訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)和/或卷積神經(jīng)網(wǎng)絡(luò)以輸出標(biāo)簽圖像或顯著性地圖。例如，機(jī)器學(xué)習(xí)算法或模型可以被訓(xùn)練或測試以包含在圖1的自動駕駛/輔助系統(tǒng)102中。在一實施例中，模型部件710提供用于訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)圖像和標(biāo)簽圖像以基于該標(biāo)簽圖像來確定關(guān)于一個或多個物體的信息。在一實施例中，模型部件710基于顯著性地圖和標(biāo)簽圖像提供用于訓(xùn)練或測試機(jī)器學(xué)習(xí)算法的數(shù)據(jù)圖像和標(biāo)簽圖像。例如，數(shù)據(jù)圖像和/或標(biāo)簽圖像可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)輸出標(biāo)簽圖像或顯著性地圖。在訓(xùn)練之后，神經(jīng)網(wǎng)絡(luò)然后可以能夠僅給定攝像機(jī)圖像的情況下產(chǎn)生標(biāo)簽圖像或顯著性地圖圖像，該標(biāo)簽圖像或顯著性地圖圖像指示關(guān)注物體可以位于那里的區(qū)域。

現(xiàn)在參考圖8，說明用于生成合成顯著性地圖或圖像標(biāo)簽的方法800的示意性流程圖。方法800可以由顯著性部件或用于自動注視生成的系統(tǒng)執(zhí)行，比如圖2或7的顯著性部件202或圖2的系統(tǒng)200。

方法800開始并且在802中數(shù)據(jù)部件702接收第一圖像和該第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示。在804中隨機(jī)部件704創(chuàng)建包括在背景上的一個或多個隨機(jī)點(diǎn)的中間圖像。隨機(jī)點(diǎn)具有第一顏色并且位于相應(yīng)于子區(qū)域的區(qū)域內(nèi)并且中間圖像的剩余部分具有第二顏色。在806中模糊部件706把模糊應(yīng)用于中間圖像并且在808中存儲模糊的中間圖像。

示例

下面的示例與更多實施例有關(guān)。

示例1是包括接收第一圖像和該第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示的方法。方法包括生成并且存儲標(biāo)簽圖像。生成標(biāo)簽圖像包括創(chuàng)建中間圖像，該中間圖像具有在相應(yīng)于子區(qū)域的區(qū)域中的具有第一顏色的一個或多個隨機(jī)點(diǎn)。中間圖像的剩余部分具有第二顏色。方法包括把高斯模糊應(yīng)用于中間圖像并且把模糊的中間圖像存儲為標(biāo)簽圖像。

在示例2中，在示例1中的生成標(biāo)簽圖像進(jìn)一步地包括創(chuàng)建并且存儲模糊的中間圖像的低分辨率版本。

在示例3中，在示例1-2中的任一個中的應(yīng)用高斯模糊包括為一個或多個隨機(jī)點(diǎn)中的每一個生成橢圓形狀模糊。

在示例4中，示例1-3中的任一個中的方法進(jìn)一步地包括基于第一圖像和標(biāo)簽圖像生成顯著性地圖。

在示例5中，在示例4中的生成顯著性地圖包括使用神經(jīng)網(wǎng)絡(luò)來生成，該神經(jīng)網(wǎng)絡(luò)基于第一圖像和標(biāo)簽圖像輸出顯著性地圖。

在示例6中，在示例1-5中的任一個中的創(chuàng)建中間圖像包括創(chuàng)建二進(jìn)制圖像。

在示例7中，在示例1-6中的任一個中的創(chuàng)建中間圖像包括基于一個或多個子區(qū)域的子區(qū)域大小來確定一個或多個子區(qū)域的子區(qū)域中的隨機(jī)點(diǎn)的數(shù)目。

在示例8中，示例1-7中的任一個中的方法進(jìn)一步地包括訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)以基于標(biāo)簽圖像來確定關(guān)于一個或多個物體的信息或基于數(shù)據(jù)圖像生成標(biāo)簽圖像和顯著性地圖中的一個或多個。

示例9是包括數(shù)據(jù)部件、隨機(jī)部件、模糊部件和地圖部件的用于生成人工顯著性地圖的系統(tǒng)。數(shù)據(jù)部件配置成接收第一圖像和相應(yīng)于第一圖像的地面實況。地面實況包括第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示。隨機(jī)部件配置成創(chuàng)建中間圖像，該中間圖像包括在相應(yīng)于子區(qū)域的區(qū)域中的具有第一顏色的一個或多個隨機(jī)點(diǎn)。中間圖像的剩余部分具有第二顏色。模糊部件配置成把模糊應(yīng)用于中間圖像以生成標(biāo)簽圖像。地圖部件配置成基于標(biāo)簽圖像和第一圖像來創(chuàng)建顯著性地圖。

在示例10中，示例9的系統(tǒng)進(jìn)一步地包括配置成基于顯著性地圖和標(biāo)簽圖像來訓(xùn)練或測試機(jī)器學(xué)習(xí)算法的模型部件。

在示例11中，在示例9中的地面實況進(jìn)一步地包括關(guān)于關(guān)注物體的一個或多個細(xì)節(jié)，該一個或多個細(xì)節(jié)包含關(guān)注物體的分類、方向和相對位置中的一個或多個。模型部件配置成基于關(guān)于關(guān)注物體的一個或多個細(xì)節(jié)訓(xùn)練或測試機(jī)器學(xué)習(xí)算法或模型。

在示例12中，在示例9-11中的任一個中的模糊部件配置成通過產(chǎn)生低分辨率標(biāo)簽圖像來生成標(biāo)簽圖像并且地圖部件配置成基于該低分辨率標(biāo)簽圖像來創(chuàng)建顯著性地圖。

在示例13中，在示例9-12中的任一個中的模糊部件配置成應(yīng)用高斯模糊。

在示例14中，在示例9-13中的任一個中的隨機(jī)部件配置成基于一個或多個子區(qū)域的子區(qū)域大小來確定一個或多個子區(qū)域的子區(qū)域中的隨機(jī)點(diǎn)的數(shù)目并且創(chuàng)建該隨機(jī)點(diǎn)。

示例15是存儲指令的計算機(jī)可讀存儲介質(zhì)，該指令當(dāng)由一個或多個處理器執(zhí)行時使該一個或多個處理器接收第一圖像和第一圖像內(nèi)相應(yīng)于一個或多個關(guān)注物體的一個或多個子區(qū)域的指示。指令進(jìn)一步地使一個或多個處理器創(chuàng)建中間圖像，該中間圖像具有在相應(yīng)于子區(qū)域的區(qū)域中的包含第一顏色的一個或多個隨機(jī)點(diǎn)。中間圖像的剩余部分具有第二顏色。指令進(jìn)一步地使一個或多個處理器把高斯模糊應(yīng)用于中間圖像以產(chǎn)生標(biāo)簽圖像。指令進(jìn)一步地使一個或多個處理器存儲標(biāo)簽圖像并且把標(biāo)簽圖像與第一圖像相關(guān)聯(lián)。

在示例16中，示例15的指令進(jìn)一步地使一個或多個處理器創(chuàng)建低分辨率的模糊中間圖像并且把低分辨率的模糊中間圖像存儲為標(biāo)簽圖像。

在示例17中，在示例15-16中的任一個中的指令進(jìn)一步地使一個或多個處理器把高斯模糊擬合于橢圓形狀的區(qū)域。

在示例18中，在示例15-17中的任一個中的指令使一個或多個處理器使用神經(jīng)網(wǎng)絡(luò)基于第一圖像和標(biāo)簽圖像來生成顯著性地圖，該神經(jīng)網(wǎng)絡(luò)基于第一圖像和標(biāo)簽圖像來輸出顯著性地圖。

在示例19中，在示例15-18中的任一個中的指令進(jìn)一步地使一個或多個處理器訓(xùn)練或測試神經(jīng)網(wǎng)絡(luò)以基于標(biāo)簽圖像來確定關(guān)于一個或多個物體的信息。

在示例20中，在示例15-19中的任一個中的指令使一個或多個處理器基于一個或多個子區(qū)域的相應(yīng)子區(qū)域大小來確定隨機(jī)點(diǎn)區(qū)域的數(shù)目并且創(chuàng)建該隨機(jī)點(diǎn)區(qū)域。

示例21是包括用于實施方法或?qū)崿F(xiàn)如示例1-20中的任一個中的系統(tǒng)或裝置的手段的系統(tǒng)或裝置。

在上述公開中，參考形成其的一部分的附圖，并且在附圖中例示了本公開可以在其中實行的具體實施方式。應(yīng)該理解的是，可以利用其它實施方式并且可以在不背離本公開的保護(hù)范圍的情況下做出結(jié)構(gòu)變化。說明書中提到的“一實施例”、“實施例”、“示例實施例”等指示描述的實施例可以包括特定的特征、結(jié)構(gòu)或特性，但每一實施例可能不一定包括該特定的特征、結(jié)構(gòu)或特性。此外，這樣的短語不一定指的是同一實施例。此外，當(dāng)特定的特征、結(jié)構(gòu)或特性與實施例一起描述時，認(rèn)為對與無論是否明確地描述的其他實施例結(jié)合的這樣的特征、結(jié)構(gòu)或特性進(jìn)行改變是在本領(lǐng)域技術(shù)人員的知曉的范圍內(nèi)。

如在此所使用的，“自主車輛”可以是完全獨(dú)立于人類駕駛員起作用或操作的車輛；或可以是如下車輛，該車輛在某些情況下獨(dú)立于人類駕駛員起作用或操作同時在其他情況下人類駕駛員可以能夠操作該車輛；或可以是主要由人類駕駛員操作——但在自動駕駛/輔助系統(tǒng)的幫助下——的車輛。

在此公開的系統(tǒng)、裝置和方法的實施方式可以包含或利用包括比如在此所討論的一個或多個處理器和系統(tǒng)存儲器這樣的計算機(jī)硬件的專用計算機(jī)或通用計算機(jī)。在本公開的保護(hù)范圍內(nèi)的實施方式也可以包括用于承載或存儲計算機(jī)可執(zhí)行指令和/或數(shù)據(jù)結(jié)構(gòu)的物理介質(zhì)或其他計算機(jī)可讀介質(zhì)。這樣的計算機(jī)可讀介質(zhì)可以是可以由通用計算機(jī)系統(tǒng)或?qū)Ｓ糜嬎銠C(jī)系統(tǒng)訪問的任何可用介質(zhì)。存儲計算機(jī)可執(zhí)行指令的計算機(jī)可讀介質(zhì)是計算機(jī)存儲介質(zhì)(裝置)。承載計算機(jī)可執(zhí)行指令的計算機(jī)可讀介質(zhì)是傳輸介質(zhì)。因此，通過示例，而不是限制，本公開的實施方式可以包含至少兩個明顯不同種類的計算機(jī)可讀介質(zhì)：計算機(jī)存儲介質(zhì)(裝置)和傳輸介質(zhì)。

計算機(jī)存儲介質(zhì)(裝置)包括ram(隨機(jī)存取存儲器)、rom(只讀存儲器)、eeprom(電可擦可編程只讀存儲器)、cd-rom(緊湊型光盤只讀存儲器)、固態(tài)硬盤(“ssd”)(例如，基于ram)、閃速存儲器、相變存儲器(“pcm”)、其他類型的存儲器、其他光盤存儲器、磁盤存儲器或其他磁存儲裝置或任何其他介質(zhì)，該其他介質(zhì)可以用于存儲計算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)形式的所需程序代碼工具并且該其他介質(zhì)可以由通用計算機(jī)或?qū)Ｓ糜嬎銠C(jī)訪問。

在此公開的裝置、系統(tǒng)和方法的實施方式可以通過計算機(jī)網(wǎng)絡(luò)通信?！熬W(wǎng)絡(luò)”被定義為實現(xiàn)計算機(jī)系統(tǒng)和/或模塊和/或其他電子裝置之間的電子數(shù)據(jù)的傳輸?shù)囊粋€或多個數(shù)據(jù)鏈路。當(dāng)信息通過網(wǎng)絡(luò)或另一通信連接(或者硬連線、無線、或者硬連線或無線的組合)傳輸或提供至計算機(jī)時，該計算機(jī)正確地把連接看作傳輸介質(zhì)。傳輸介質(zhì)可以包括網(wǎng)絡(luò)和/或數(shù)據(jù)鏈路，該傳輸介質(zhì)可以用于承載計算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)形式的所需程序代碼工具并且該傳輸介質(zhì)可以由通用計算機(jī)或?qū)Ｓ糜嬎銠C(jī)訪問。上述的組合也應(yīng)該包括在計算機(jī)可讀介質(zhì)的保護(hù)范圍內(nèi)。

計算機(jī)可執(zhí)行指令包含例如指令和數(shù)據(jù)，該指令和數(shù)據(jù)——當(dāng)在處理器上執(zhí)行時——使通用計算機(jī)、專用計算機(jī)或?qū)Ｓ锰幚硌b置執(zhí)行某一功能或一組功能。計算機(jī)可執(zhí)行指令可以是例如二進(jìn)制、比如匯編語言或甚至源代碼這樣的中間格式指令。雖然已經(jīng)針對結(jié)構(gòu)特征和/或方法論行為用語言描述了主題，但應(yīng)該理解的是，在從屬權(quán)利要求中定義的主題不一定限于上述描述的特征或行為。相反，描述的特征和行為公開為實施權(quán)利要求的示例形式。

本領(lǐng)域技術(shù)人員將領(lǐng)會到本公開可以在具有許多類型的計算機(jī)系統(tǒng)配置的網(wǎng)絡(luò)計算環(huán)境中實行，包括內(nèi)置式車輛計算機(jī)、個人計算機(jī)、臺式計算機(jī)、膝上型計算機(jī)、消息處理器、手持設(shè)備、多處理器系統(tǒng)、基于微處理器的或可編程消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)計算機(jī)(pc)、小型計算機(jī)、大型計算機(jī)、移動電話、pda(個人數(shù)字助理)、平板電腦、尋呼機(jī)、路由器、開關(guān)、各種存儲裝置等。本公開也可以在分布式系統(tǒng)環(huán)境中實行，在該分布式系統(tǒng)環(huán)境中，通過網(wǎng)絡(luò)(或者通過硬接線數(shù)據(jù)鏈路、無線數(shù)據(jù)鏈路或通過硬接線數(shù)據(jù)鏈路和無線數(shù)據(jù)鏈路的組合)鏈接的本地計算機(jī)系統(tǒng)和遠(yuǎn)程計算機(jī)系統(tǒng)，兩者執(zhí)行任務(wù)。在分布式系統(tǒng)環(huán)境中，程序模塊可以位于本地和遠(yuǎn)程存儲器存儲裝置兩者中。

此外，在適當(dāng)?shù)那闆r下，在此描述的功能可以在如下的一個或多個中執(zhí)行：硬件、軟件、固件、數(shù)字部件或模擬部件。例如，一個或多個專用集成電路(asic)可以被編程為執(zhí)行在此描述的系統(tǒng)和程序中的一個或多個。某些術(shù)語在說明書和權(quán)利要求中用于描述特定的系統(tǒng)部件。如本領(lǐng)域技術(shù)人員將要領(lǐng)會的是，部件可以由不同的名字描述。本文件不旨在區(qū)分在名稱而不是功能方面不同的部件。

應(yīng)該注意的是，在上面討論的傳感器實施例可以包含計算機(jī)硬件、軟件、固件或其任何組合以執(zhí)行它們的功能的至少一部分。例如，傳感器可以包括配置成在一個或多個處理器中執(zhí)行的計算機(jī)代碼，并且可以包括由該計算機(jī)代碼控制的硬件邏輯/電氣電路。這些示例裝置在此提供說明的目的，并且不旨在限制。如將要被相關(guān)領(lǐng)域中的技術(shù)人員所知道的，本公開的實施例可在更多類型的裝置中實施。

本公開的至少某些實施例指向包含存儲在任何計算機(jī)可用介質(zhì)上的這樣的邏輯(例如，以軟件的形式)的計算機(jī)程序產(chǎn)品。這樣的軟件——當(dāng)在一個或多個數(shù)據(jù)處理裝置上執(zhí)行時——使裝置如在此所描述地操作。

雖然已經(jīng)在上面描述了本公開的各種實施例，但應(yīng)該理解的是它們僅通過示例呈現(xiàn)但不限制。將對相關(guān)領(lǐng)域技術(shù)人員顯而易見的是，可以在不背離本公開的精神和保護(hù)范圍的情況下做出形式和細(xì)節(jié)其中的各種變化。因此，本公開的廣度和保護(hù)范圍應(yīng)該不應(yīng)由上述示例性實施例中的任一個限制，而是應(yīng)該僅根據(jù)下面的權(quán)利要求和他們的等同物定義。前述說明書已經(jīng)被呈現(xiàn)用于說明和描述的目的。其并不旨在是詳盡的或把本公開限制為公開的精確形式。根據(jù)上述教導(dǎo)，許多修改和變化是可能的。此外，應(yīng)該注意的是，任何或所有前面提到的可選的實施方式可以以所需的任何組合的方式用于形成本公開的附加混合實施方式。

此外，雖然已經(jīng)描述和說明了本公開的特定實施方式，但本公開不限于像這樣描述和說明的部件的特定形式或設(shè)置。本公開的保護(hù)范圍由附于此的權(quán)利要求、這里并且在不同申請中提出的任何未來的權(quán)利要求以及他們的等同物來定義。