本申請涉及可移動設(shè)備領(lǐng)域，且更具體地，涉及一種位姿信息確定方法、裝置和可移動設(shè)備。

背景技術(shù)：

可移動設(shè)備(例如，機(jī)器人)在執(zhí)行任務(wù)時需要實(shí)時定位自己的位置和朝向信息(即，位姿信息)，進(jìn)而執(zhí)行目的地決策規(guī)劃、實(shí)時障礙物感知等。

現(xiàn)有的高精定位主要有兩種方法：一種是高精全球定位系統(tǒng)(gps)/實(shí)時動態(tài)差分(rtk)配合高端移動接收設(shè)備，在沒有遮擋等影響的理想情況下，它可以獲得厘米級定位精度；另一種是基于傳統(tǒng)的高精數(shù)字地圖配合高精傳感器(通常是比較昂貴的激光雷達(dá)和高端組合導(dǎo)航系統(tǒng))，通過高精傳感器采集實(shí)時數(shù)據(jù)并與高精地圖進(jìn)行匹配，從而得到高精定位。

然而，上述的第一種方法需要額外的地面站，第二種需要專門的地圖采集設(shè)備，實(shí)用性較低。也就是說，傳統(tǒng)的方法更多地將定位功能放在服務(wù)器設(shè)備端(云端)，顯著加大了云端基礎(chǔ)設(shè)施的開銷。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問題，提出了本申請。本申請的實(shí)施例提供了一種位姿信息確定方法、裝置、可移動設(shè)備、計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì)，其可以高效準(zhǔn)確地獲得可移動設(shè)備的位姿信息。

根據(jù)本申請的一個方面，提供了一種位姿信息確定方法，應(yīng)用于可移動設(shè)備，所述方法包括：接收由環(huán)境傳感器獲取的所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括位置數(shù)據(jù)和圖像數(shù)據(jù)；至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的局部位姿信息；根據(jù)所述可移動設(shè)備的局部位姿信息和所述圖像數(shù)據(jù)來構(gòu)建所述當(dāng)前移動環(huán)境的局部語義地圖，所述局部語義地圖包括所述當(dāng)前移動環(huán)境中的語義實(shí)體及其屬性信息，所述語義實(shí)體是可能影響移動的實(shí)體，所述屬性信息表明了所述語義實(shí)體的物理特性；獲取所述當(dāng)前移動環(huán)境的全局語義地圖；在所述全局語義地圖中匹配所述局部語義地圖；以及響應(yīng)于在所述全局語義地圖中匹配到所述局部語義地圖，根據(jù)匹配的結(jié)果來更新所述局部位姿信息。

根據(jù)本申請的另一方面，提供了一種位姿信息確定裝置，應(yīng)用于可移動設(shè)備，所述裝置包括：樣本數(shù)據(jù)接收單元，用于接收由環(huán)境傳感器獲取的所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括位置數(shù)據(jù)和圖像數(shù)據(jù)；位姿信息確定單元，用于至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的局部位姿信息；語義地圖構(gòu)建單元，用于根據(jù)所述可移動設(shè)備的局部位姿信息和所述圖像數(shù)據(jù)來構(gòu)建所述當(dāng)前移動環(huán)境的局部語義地圖，所述局部語義地圖包括所述當(dāng)前移動環(huán)境中的語義實(shí)體及其屬性信息，所述語義實(shí)體是可能影響移動的實(shí)體，所述屬性信息表明了所述語義實(shí)體的物理特性；語義地圖獲取單元，用于獲取所述當(dāng)前移動環(huán)境的全局語義地圖；語義地圖匹配單元，用于在所述全局語義地圖中匹配所述局部語義地圖；以及位姿信息更新單元，用于響應(yīng)于在所述全局語義地圖中匹配到所述局部語義地圖，根據(jù)匹配的結(jié)果來更新所述局部位姿信息。

根據(jù)本申請的另一方面，提供了一種可移動設(shè)備，包括：處理器；存儲器；以及存儲在所述存儲器中的計算機(jī)程序指令，所述計算機(jī)程序指令在被所述處理器運(yùn)行時使得所述處理器執(zhí)行上述的位姿信息確定方法。

根據(jù)本申請的另一方面，提供了一種位姿信息確定系統(tǒng)，包括：上述的可移動設(shè)備；以及服務(wù)器設(shè)備，用于存儲當(dāng)前移動環(huán)境的全局語義地圖。

根據(jù)本申請的另一方面，提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序指令，所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行上述的位姿信息確定方法。

根據(jù)本申請的另一方面，提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序指令，所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行上述的位姿信息確定方法。

與現(xiàn)有技術(shù)相比，采用根據(jù)本申請實(shí)施例的位姿信息確定方法、裝置、可移動設(shè)備、計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì)，可以接收由環(huán)境傳感器獲取的所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括位置數(shù)據(jù)和圖像數(shù)據(jù)；至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的局部位姿信息；根據(jù)所述可移動設(shè)備的局部位姿信息和所述圖像數(shù)據(jù)來構(gòu)建所述當(dāng)前移動環(huán)境的局部語義地圖，所述局部語義地圖包括所述當(dāng)前移動環(huán)境中的語義實(shí)體及其屬性信息，所述語義實(shí)體是可能影響移動的實(shí)體，所述屬性信息表明了所述語義實(shí)體的物理特性；獲取所述當(dāng)前移動環(huán)境的全局語義地圖；在所述全局語義地圖中匹配所述局部語義地圖；并且響應(yīng)于在所述全局語義地圖中匹配到所述局部語義地圖，根據(jù)匹配的結(jié)果來更新所述局部位姿信息。因此，可以高效準(zhǔn)確地獲得可移動設(shè)備的位姿信息。

附圖說明

通過結(jié)合附圖對本申請實(shí)施例進(jìn)行更詳細(xì)的描述，本申請的上述以及其他目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本申請實(shí)施例的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本申請實(shí)施例一起用于解釋本申請，并不構(gòu)成對本申請的限制。在附圖中，相同的參考標(biāo)號通常代表相同部件或步驟。

圖1圖示了根據(jù)本申請實(shí)施例的位姿信息確定系統(tǒng)的框圖。

圖2圖示了根據(jù)本申請實(shí)施例的位姿信息確定方法的流程圖。

圖3圖示了根據(jù)本申請實(shí)施例的局部位姿信息確定步驟的流程圖。

圖4圖示了根據(jù)本申請實(shí)施例的局部語義地圖構(gòu)建步驟的流程圖。

圖5圖示了根據(jù)本申請實(shí)施例的語義地圖匹配步驟的流程圖。

圖6圖示了根據(jù)本申請實(shí)施例的基于類別屬性匹配子步驟的流程圖。

圖7圖示了根據(jù)本申請實(shí)施例的局部位姿信息更新步驟的流程圖。

圖8圖示了根據(jù)本申請實(shí)施例的位姿信息確定方法的附加步驟的流程圖。

圖9圖示了根據(jù)本申請實(shí)施例第一具體示例的位姿信息確定場景的示意圖。

圖10圖示了根據(jù)本申請實(shí)施例第二具體示例的位姿信息確定場景的示意圖。

圖11圖示了根據(jù)本申請實(shí)施例的位姿信息確定裝置的框圖。

圖12圖示了根據(jù)本申請實(shí)施例的可移動設(shè)備的框圖。

具體實(shí)施方式

下面，將參考附圖詳細(xì)地描述根據(jù)本申請的示例實(shí)施例。顯然，所描述的實(shí)施例僅僅是本申請的一部分實(shí)施例，而不是本申請的全部實(shí)施例，應(yīng)理解，本申請不受這里描述的示例實(shí)施例的限制。

申請概述

如上所述，現(xiàn)有的高精定位方法存在以下問題：

1)支撐設(shè)備復(fù)雜昂貴：差分定位方法需要全面大范圍的基站覆蓋，并且需要云端整合通信矯正；而傳統(tǒng)高精地圖定位方法也需要高端的組合導(dǎo)航系統(tǒng)和昂貴激光雷達(dá)等高成本設(shè)備；

2)支撐系統(tǒng)復(fù)雜、地圖維護(hù)成本高：大范圍的差分定位需要云端運(yùn)行復(fù)雜的解算算法，來融合大量基站的矯正數(shù)據(jù)降低噪聲并提供大量移動端的實(shí)時訪問；傳統(tǒng)高精地圖的制作通常需要采用昂貴專業(yè)傳感器多次采集數(shù)據(jù)，制作成本很高，很難做到大量采集端實(shí)時采集更新，同時采集得到的大量數(shù)據(jù)需要復(fù)雜耗時的離線處理(很可能需要人工)才能得到高精地圖。

針對現(xiàn)有技術(shù)中存在的問題，本申請的基本構(gòu)思是提出一種位姿信息確定方法、位姿信息確定裝置、可移動設(shè)備、計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì)，其可以通過提升可移動設(shè)備的智能性來減輕服務(wù)器設(shè)備的基礎(chǔ)設(shè)施開銷。具體地，可移動設(shè)備(例如，車輛)首先根據(jù)普通硬件得到局部語義地圖和定位結(jié)果，用于車輛自動駕駛的決策控制，當(dāng)進(jìn)一步從服務(wù)器設(shè)備(例如，云端)下載到高精的全局語義地圖時，還可以通過語義地圖學(xué)習(xí)匹配得到全局高精定位。

換言之，通過本發(fā)明構(gòu)思，可移動設(shè)備可以利用普通gps加結(jié)構(gòu)化語義標(biāo)志進(jìn)行位姿計算，專門的差分gps基站不是必須的。由于充分利用現(xiàn)有移動環(huán)境(例如，道路)交通基礎(chǔ)設(shè)施，因此，具有成本底適用范圍廣的特性。傳統(tǒng)的定位方法主要依賴云端設(shè)施和計算，實(shí)時性和可靠性較低。相反地，在本申請的實(shí)施例中，通過更加智能的可移動設(shè)備，極大地增強(qiáng)了其自身的定位能力，使其能夠更加智能快速地根據(jù)場景進(jìn)行實(shí)時決策，并在結(jié)構(gòu)化語義信息足夠的情況下獲取全局定位結(jié)果，因此，整體上系統(tǒng)更加快速可靠智能。

在介紹了本申請的基本原理之后，下面將參考附圖來具體介紹本申請的各種非限制性實(shí)施例。

示例性系統(tǒng)

圖1圖示了根據(jù)本申請實(shí)施例的位姿信息確定系統(tǒng)的框圖。

如圖1所示，根據(jù)本申請實(shí)施例的位姿信息確定系統(tǒng)包括可移動設(shè)備100和服務(wù)器設(shè)備200。

該可移動設(shè)備100可以在已知或未知的移動環(huán)境中進(jìn)行移動。當(dāng)在沒有先驗(yàn)語義地圖的未知移動環(huán)境中移動時，其可以根據(jù)采集到的環(huán)境樣本數(shù)據(jù)，進(jìn)行局部位姿計算，新建未知移動環(huán)境的局部語義地圖，并根據(jù)局部定位結(jié)果來進(jìn)行移動控制。當(dāng)在存在先驗(yàn)語義地圖的已知移動環(huán)境中移動時，其可以利用該先驗(yàn)語義地圖和局部語義地圖進(jìn)行語義匹配，從而提高自己的局部定位精度，以生成更加精確高效的移動控制策略。此外，該可移動設(shè)備100還可以將該局部語義地圖上傳到服務(wù)器設(shè)備200中。

該服務(wù)器設(shè)備200可以接收可移動設(shè)備100的下載請求，檢測是否存在可移動設(shè)備100正在其中移動的當(dāng)前移動環(huán)境的先驗(yàn)語義地圖，如果存在，則將該先驗(yàn)語義地圖提供給該可移動設(shè)備100。此外，該服務(wù)器設(shè)備200還可以接收該可移動設(shè)備100上傳的局部語義地圖，對該局部語義地圖和先驗(yàn)的全局語義地圖進(jìn)行融合，以實(shí)現(xiàn)語義地圖的動態(tài)學(xué)習(xí)過程。

例如，該可移動設(shè)備100可以是能夠在移動環(huán)境中移動的任何類型的電子設(shè)備。例如，該移動環(huán)境例如可以是室內(nèi)環(huán)境和/或室外環(huán)境。并且，該可移動設(shè)備100可以是用于各種用途的可移動機(jī)器人，例如，可以是諸如車輛、飛行器、航天器、水中運(yùn)載工具之類的交通工具等。當(dāng)然，本申請不限于此。例如，它也可以是掃地機(jī)器人、擦窗機(jī)器人、空氣凈化機(jī)器人、安防機(jī)器人、家電管理機(jī)器人、提醒機(jī)器人、巡邏機(jī)器人等。

該服務(wù)器設(shè)備200可以是云端服務(wù)器，其運(yùn)算處理能力較強(qiáng)，并可包含多個處理引擎對語義地圖進(jìn)行融合。當(dāng)然，本申請不限于此。例如，該服務(wù)器設(shè)備200也可以全部或部分地位于可移動設(shè)備100的本地端，并且形成分布式服務(wù)器的架構(gòu)。

需要注意的是，圖1所示的位姿信息確定系統(tǒng)僅是為了便于理解本申請的精神和原理而示出，本申請的實(shí)施例不限于此。例如，該可移動設(shè)備100和或該服務(wù)器設(shè)備200可以是一個或多個。

在介紹了本申請的基本原理之后，下面將參考附圖來具體介紹本申請的各種非限制性實(shí)施例。為了描述方便，將以在道路上行駛的車輛和云端服務(wù)器分別作為可移動設(shè)備100和服務(wù)器設(shè)備200的示例進(jìn)行說明。

可移動設(shè)備的示例性方法

首先，將描述根據(jù)本申請實(shí)施例的應(yīng)用于可移動設(shè)備100的位姿信息確定方法。

圖2圖示了根據(jù)本申請實(shí)施例的位姿信息確定方法的流程圖。

如圖2所示，根據(jù)本申請實(shí)施例的位姿信息確定方法可以應(yīng)用于可移動設(shè)備100，并且包括：

在步驟s110中，接收由環(huán)境傳感器獲取的所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括位置數(shù)據(jù)和圖像數(shù)據(jù)。

可移動設(shè)備100(例如，車輛)可以在移動環(huán)境(例如，道路)中進(jìn)行移動，同時它可以利用在其上裝備的環(huán)境傳感器來捕捉所述移動環(huán)境的樣本數(shù)據(jù)。

例如，該環(huán)境傳感器可以用于獲取所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)，它可以是各種類型的傳感器。例如，它可以包括：用于捕捉圖像數(shù)據(jù)的圖像傳感器，其可以是攝像頭或攝像頭陣列；用于捕捉掃描數(shù)據(jù)的激光傳感器；用于獲取可移動設(shè)備100的實(shí)時位置坐標(biāo)的gps器件；用于基于載波相位觀測值進(jìn)行實(shí)時動態(tài)定位的rtk器件、用于基于物體三軸姿態(tài)角(或角速率)以及加速度進(jìn)行定位的慣性測量單元(imu)器件等。當(dāng)然，該環(huán)境傳感器也可以是其他各種器件，只要其能夠產(chǎn)生用于描述移動環(huán)境的樣本數(shù)據(jù)即可。需要說明的是，在本申請的實(shí)施例中，該環(huán)境傳感器無需采用高端傳感器，而可以是低成本的采集器件即可。

例如，基本地，環(huán)境傳感器獲取到的樣本數(shù)據(jù)可以包括車輛的位置數(shù)據(jù)以及該車輛周圍環(huán)境的圖像數(shù)據(jù)。例如，該位置數(shù)據(jù)可以是該可移動設(shè)備100的絕對位置坐標(biāo)(例如，gps器件直接得到的經(jīng)緯度)，也可以是相對位置坐標(biāo)(例如，由車輛車輪的轉(zhuǎn)動圈數(shù)、速度等得到的累計運(yùn)動參數(shù)，諸如距離等)。該圖像數(shù)據(jù)可以是相機(jī)視覺圖像，也可以是激光掃描圖像。更進(jìn)一步地，該樣本數(shù)據(jù)還可以包括姿態(tài)數(shù)據(jù)，其可以是通過差分gps而獲得的絕對朝向角度，也可以是相對朝向角度(例如，由車輛車輪的轉(zhuǎn)動角度等得到的累計運(yùn)動參數(shù)，諸如方向等)。例如，該姿態(tài)數(shù)據(jù)可以與位置數(shù)據(jù)相結(jié)合而形成位姿數(shù)據(jù)。

在步驟s120中，至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的局部位姿信息。

在一個示例中，可以僅僅基于位置數(shù)據(jù)(和姿態(tài)數(shù)據(jù))來確定所述可移動設(shè)備在當(dāng)前移動環(huán)境中的局部位姿信息。

簡單地，可以僅僅根據(jù)所采集的位置數(shù)據(jù)來確定所述可移動設(shè)備在當(dāng)前移動環(huán)境中的局部位姿信息。例如，可以直接將車輛的gps經(jīng)緯度參數(shù)作為它的局部位置坐標(biāo)，并通過前后兩幀gps參數(shù)的差分計算出局部朝向角度，而結(jié)合生成局部位姿信息。由于這種位姿信息僅僅依靠gps獲得，所以它是一種絕對局部位姿信息。

替換地，也可以根據(jù)所采集的位置數(shù)據(jù)和姿態(tài)數(shù)據(jù)(位姿數(shù)據(jù))來確定所述可移動設(shè)備在當(dāng)前移動環(huán)境中的局部位姿信息。例如，可以根據(jù)車輛啟動時的初始位姿信息和imu所得到的累計運(yùn)動距離和方向等參數(shù)來確定該車輛的局部位姿信息。由于這種位姿信息僅僅依靠運(yùn)動變化獲得，所以它是一種相對局部位姿信息。

由于gps可能存在遮擋、多徑效應(yīng)等因素影響其定位精確度，而累計運(yùn)動參數(shù)也可能存在誤差累計等因素而產(chǎn)生定位偏差，進(jìn)一步地，也可以對兩者結(jié)果進(jìn)行融合，以獲得更加準(zhǔn)確可靠的局部位姿信息。

在另一示例中，在確定所述可移動設(shè)備的局部位姿信息的過程中，還可以進(jìn)一步引入圖像數(shù)據(jù)。下面，將參考圖3進(jìn)行說明。

圖3圖示了根據(jù)本申請實(shí)施例的局部位姿信息確定步驟的流程圖。

如圖3所示，步驟s120可以包括：

在子步驟s121中，至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的絕對位姿信息。

在子步驟s122中，至少根據(jù)所述圖像數(shù)據(jù)來確定所述可移動設(shè)備的相對位姿信息。

在子步驟s123中，根據(jù)所述絕對位姿信息和所述相對位姿信息來生成所述局部位姿信息。

除了gps、imu這種傳統(tǒng)意義上的定位器件之外，車輛中裝備的相機(jī)和/或激光傳感器所采集的實(shí)時視覺圖像和/或掃描圖像在經(jīng)過算法處理之后，也可以得到局部里程計。局部里程計例如可以體現(xiàn)出兩幀圖像之間車輛的局部運(yùn)動差異，其可以計算出車輛在這兩幀之間的局部相對位移和轉(zhuǎn)向等。換言之，通過將imu、gps及相機(jī)局部里程計融合，可以得到更加魯棒更加精確的局部定位結(jié)果。例如，這種融合過程可以是修正噪聲比較大的局部位姿信息。

在步驟s130中，根據(jù)所述可移動設(shè)備的局部位姿信息和所述圖像數(shù)據(jù)來構(gòu)建所述當(dāng)前移動環(huán)境的局部語義地圖，所述局部語義地圖包括所述當(dāng)前移動環(huán)境中的語義實(shí)體及其屬性信息，所述語義實(shí)體是可能影響移動的實(shí)體，所述屬性信息表明了所述語義實(shí)體的物理特性。

在確定所述可移動設(shè)備的局部位姿信息之后，可以進(jìn)一步根據(jù)它和樣本數(shù)據(jù)中的圖像數(shù)據(jù)來構(gòu)建局部語義地圖。

圖4圖示了根據(jù)本申請實(shí)施例的局部語義地圖構(gòu)建步驟的流程圖。

如圖4所示，步驟s130可以包括：

在子步驟s131中，根據(jù)所述圖像數(shù)據(jù)來檢測所述當(dāng)前移動環(huán)境中的語義實(shí)體。

例如，可以根據(jù)所采集的圖像數(shù)據(jù)來檢測當(dāng)前移動環(huán)境中存在哪些語義實(shí)體。例如，所述語義實(shí)體可以是可能影響可移動設(shè)備100自身移動的實(shí)體。當(dāng)然，本申請不限于此。例如，更廣義地，它也可以是可能影響除了可移動設(shè)備100之外其他關(guān)注物體移動的實(shí)體。這是因?yàn)槔?，盡管可移動設(shè)備100是車輛，但是其在構(gòu)建地圖的過程中，可以同樣考慮到可能在該道路上出現(xiàn)的其他交通實(shí)體(例如，行人、自行車等)作為將來使用該地圖的潛在主體。

例如，在可移動設(shè)備100是車輛的情況下，該語義實(shí)體可以是可行駛道路、路沿、交通標(biāo)志(例如，諸如信號燈、攝像頭、路牌等立體標(biāo)志，諸如車道線、停止線、人行橫道等路面標(biāo)志)、隔離帶、綠化帶等。

通常來說，所述語義實(shí)體遵循一定規(guī)范并具有具體意義。例如，它可能具有特定的幾何形狀(例如，圓形、正方形、三角形、長條形等)，或者可能具有特定的特征標(biāo)識(例如，二維碼等)。另外，它上面可能畫有停止標(biāo)記、慢行標(biāo)記、前方落石標(biāo)記等，從而體現(xiàn)出它的含義。

具體地，該子步驟s131可以包括：對所述圖像數(shù)據(jù)進(jìn)行檢測跟蹤識別；以及根據(jù)檢測跟蹤識別的結(jié)果來確定所述當(dāng)前移動環(huán)境中的語義實(shí)體。

例如，每輛車可以根據(jù)本地計算進(jìn)行語義實(shí)體的檢測跟蹤識別。具體地，可以通過預(yù)先基于大量樣本訓(xùn)練好的機(jī)器學(xué)習(xí)模型來提取所述圖像數(shù)據(jù)中的特征表示，并且根據(jù)所述特征表示來進(jìn)行語義實(shí)體檢測。例如，該機(jī)器學(xué)習(xí)模型可以采用諸如卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)之類的各種機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)。

在子步驟s132中，根據(jù)所述局部位姿信息和所述圖像數(shù)據(jù)來確定所述語義實(shí)體的屬性信息。

接下來，可以將可移動設(shè)備的局部位姿信息和基于圖像數(shù)據(jù)檢測到的語義實(shí)體兩者進(jìn)行綜合來確定各個語義實(shí)體包括哪些屬性信息。

例如，所述屬性信息可以表明所述語義實(shí)體的物理特性，例如所述語義實(shí)體可能影響可移動設(shè)備100自身移動的屬性。類似地，更廣義地，它也可以表明所述語義實(shí)體可能影響可移動設(shè)備100之外其他關(guān)注物體移動的屬性。

例如，基本地，該屬性信息也可以是各個語義實(shí)體的位置、形狀、尺寸、朝向等空間屬性信息。此外，該屬性信息可以是各個語義實(shí)體的類別屬性信息(諸如，每個語義實(shí)體究竟是可行道路、路沿、車道及車道線、交通標(biāo)志、路面標(biāo)志、紅綠燈、停止線、人行橫道、路邊樹木或柱子等中的哪一種)。

例如，該子步驟s132可以包括：根據(jù)所述圖像數(shù)據(jù)來確定所述語義實(shí)體與所述可移動設(shè)備之間的相對位置關(guān)系；以及根據(jù)所述局部位姿信息和所述相對位置關(guān)系來確定所述語義實(shí)體的空間屬性信息。

例如，每輛車在根據(jù)本地計算進(jìn)行語義實(shí)體的檢測跟蹤識別之后，然后根據(jù)跟蹤序列和本車融合gps/rtk及語義定位位置方向，計算出語義標(biāo)志的空間屬性。例如，該空間屬性可以包括語義標(biāo)志的尺寸、形狀、朝向、高度、占據(jù)等各種與空間特性相關(guān)的屬性。

除了空間屬性信息以外，例如，還可以根據(jù)圖像數(shù)據(jù)(例如，圖像的檢測跟蹤識別的結(jié)果)，進(jìn)一步確定出各個語義實(shí)體的類別。

在子步驟s133中，根據(jù)所述語義實(shí)體及其屬性信息來構(gòu)建所述局部語義地圖。

一旦確定了當(dāng)前移動環(huán)境中包括的各個語義實(shí)體及其屬性信息，就可以對這些信息進(jìn)行綜合，以構(gòu)建基于當(dāng)前幀樣本數(shù)據(jù)的局部語義地圖。即，將各幀語義標(biāo)志結(jié)果進(jìn)行重建并加入位置尺寸等屬性，得到具有絕對屬性的語義標(biāo)志地圖。

在步驟s140中，獲取所述當(dāng)前移動環(huán)境的全局語義地圖。

在步驟s110之前、之后、或與之同時地，可以獲取事先生成的全局語義地圖，以根據(jù)先驗(yàn)信息來確定在當(dāng)前移動環(huán)境中存在哪些語義實(shí)體。

例如，該全局語義地圖可以存儲在可移動設(shè)備100中，例如，它可能是事先從服務(wù)器設(shè)備200下載的，也可能是該可移動設(shè)備100以前構(gòu)建之后存儲在本地的。替換地，該全局語義地圖也可以實(shí)時從服務(wù)器設(shè)備200下載的。

通常來說，為了高精的全局語義地圖，在系統(tǒng)中可以采用眾包在線學(xué)習(xí)的方式來生成高精度語義地圖。即，系統(tǒng)中的每個可移動設(shè)備100都可以將本地生成的局部語義地圖上傳到服務(wù)器設(shè)備200(例如，云端)。一旦服務(wù)器設(shè)備200從可移動設(shè)備100(車輛)獲得到局部語義地圖，則可以解析該車輛當(dāng)前正處于哪一條道路、在該道路上都有哪些語義實(shí)體(可行道路、路沿、車道及車道線、交通標(biāo)志、路面標(biāo)志、紅綠燈、停止線、人行橫道、路邊樹木柱子等)、及其相應(yīng)的屬性(位置、尺寸、朝向、類別等)，并對這些語義實(shí)體及其屬性不斷融合，以使得地圖更加完整，并提高其精度。

也就是說，當(dāng)一條路還沒有高精度地圖時，裝有相關(guān)設(shè)備和算法的眾包車輛經(jīng)過會生成本條路部分高精度地圖(限于相機(jī)視角和語義標(biāo)志置信度的考慮，可能本次移動車輛只上傳部分地圖)，隨著這條路車輛經(jīng)過次數(shù)的增多，一方面地圖的完整性越來越好，另一方面地圖的精度(語義標(biāo)志的屬性精度，比如位置坐標(biāo)、類別、大小、朝向等)也會提高。

在一個示例中，該步驟s140可以包括：根據(jù)所述位置數(shù)據(jù)來從服務(wù)器設(shè)備中下載所述全局語義地圖。

例如，該可移動設(shè)備100(車輛)可以與服務(wù)器設(shè)備200(云端服務(wù)器)進(jìn)行通信并嘗試獲取該當(dāng)前移動環(huán)境的先驗(yàn)的全局語義地圖。

例如，可以根據(jù)之前確定的該車輛的粗gps坐標(biāo)來從服務(wù)器設(shè)備200獲取該先驗(yàn)的全局語義地圖。當(dāng)然，也可以基于經(jīng)過圖像數(shù)據(jù)修正后的局部位姿信息來下載該先驗(yàn)語義地圖。替換地，也可以根據(jù)該車輛的運(yùn)動軌跡來獲取該地圖等。

如果沒有獲得到先驗(yàn)的全局語義地圖，則說明目前的道路沒有任何眾包車輛曾經(jīng)走過。那么，可以直接根據(jù)所述當(dāng)前移動環(huán)境的非語義數(shù)字地圖(傳統(tǒng)意義上的數(shù)字地圖)和粗gps坐標(biāo)(或修正后的局部位姿信息等)來生成移動控制策略，所述移動控制策略用于控制所述可移動設(shè)備以使其能夠?qū)崿F(xiàn)所述當(dāng)前移動環(huán)境中的預(yù)定移動目的。例如，依賴本地的傳感器結(jié)合現(xiàn)有的數(shù)字地圖進(jìn)行局部低速路徑規(guī)劃和控制，比如確定要走的目標(biāo)道路、根據(jù)本地移動端得到的可行區(qū)域、可行道路進(jìn)行規(guī)劃控制、根據(jù)得到的實(shí)時準(zhǔn)確的車道線進(jìn)行換道或者巡航。

如果獲得了先驗(yàn)的全局語義地圖，則本方法進(jìn)入到步驟s150。

在步驟s150中，在所述全局語義地圖中匹配所述局部語義地圖。

如果該可移動設(shè)備100(車輛)從服務(wù)器設(shè)備200(云端服務(wù)器)獲得了先驗(yàn)的全局語義地圖，則說明目前的道路之前已經(jīng)有眾包車輛曾經(jīng)走過。那么，可以對全局語義地圖和局部語義地圖進(jìn)行匹配，以得到地圖定位結(jié)果。

在步驟s160中，響應(yīng)于在所述全局語義地圖中匹配到所述局部語義地圖，根據(jù)匹配的結(jié)果來更新所述局部位姿信息。

當(dāng)一條道路已有全部或者部分地圖時，相機(jī)視頻序列的語義標(biāo)志結(jié)果會與云端地圖進(jìn)行匹配搜索，得到地圖定位結(jié)果，然后與imu、gps、里程計進(jìn)行融合獲得更優(yōu)的位姿輸出。

下面，將具體說明步驟s150和s160的執(zhí)行過程。

圖5圖示了根據(jù)本申請實(shí)施例的語義地圖匹配步驟的流程圖。

如圖5所示，步驟s150可以包括：

在子步驟s151中，對所述全局語義地圖進(jìn)行解析，以確定其中的語義實(shí)體及其屬性信息。

一旦可移動設(shè)備100(車輛)從服務(wù)器設(shè)備200(云端服務(wù)器)獲得全局語義地圖，則可以解析當(dāng)前移動環(huán)境都包括哪些道路、在各道路上都有哪些語義實(shí)體(可行道路、路沿、車道及車道線、交通標(biāo)志、路面標(biāo)志、紅綠燈、停止線、人行橫道、路邊樹木柱子等)、及其相應(yīng)的屬性(位置、尺寸、朝向、類別等)。

在子步驟s152中，根據(jù)屬性信息來尋找所述全局語義地圖和所述局部語義地圖中的語義實(shí)體匹配對。

例如，簡單地，可以依據(jù)各個語義實(shí)體的位置坐標(biāo)來對局部語義地圖與云端的全局語義地圖進(jìn)行匹配。即，利用車輛的粗gps坐標(biāo)來執(zhí)行上述匹配操作。

然而，由于gps可能存在遮擋、多徑效應(yīng)等因素影響其定位精確度，而累計運(yùn)動參數(shù)也可能存在誤差累計等因素而產(chǎn)生定位偏差，所以僅僅基于位置坐標(biāo)的定位可能無法實(shí)現(xiàn)更好地匹配。

在第一示例中，可以基于語義實(shí)體的類別屬性來執(zhí)行度量縮放匹配操作。度量縮放匹配是局部地圖跟真實(shí)地圖可能有尺度差別，所以匹配的時候會忽略尺度影響或者是里面加一個尺度因子。其中，度量就是指根據(jù)局部位姿信息得到的相對位置、形狀大小、高度大小等屬性信息。

圖6圖示了根據(jù)本申請實(shí)施例的基于類別屬性匹配子步驟的流程圖。

如圖6所示，子步驟s152可以包括：

在動作s1521中，確定所述局部語義地圖中的有效語義實(shí)體，所述有效語義實(shí)體是其置信度大于或等于預(yù)定閾值的語義實(shí)體。

在動作s1522中，根據(jù)所述有效語義實(shí)體的屬性信息來確定所述有效語義實(shí)體的有效定位方向和非有效定位方向。

在動作s1523中，在所述非有效定位方向中對所述局部語義地圖進(jìn)行度量縮放匹配。

在動作s1524中，根據(jù)度量縮放匹配的結(jié)果來尋找所述語義實(shí)體匹配對。

例如，為了獲得更加精確的匹配結(jié)果，提高匹配置信度，可以根據(jù)獲取的高精度語義地圖和局部語義地圖(可以是基于單幀樣本數(shù)據(jù)所生成的單幀語義地圖，也可以是將多個單幀語義地圖合并而成的多幀語義地圖)里最有效的語義標(biāo)志(語義實(shí)體)類別，采取不同的匹配縮放算法，根據(jù)匹配標(biāo)志類別矯正當(dāng)前的局部位姿精度。

例如，交通設(shè)施中不同類別的語義標(biāo)志具有不同方向的定位作用，其中路面標(biāo)志、標(biāo)志牌、橫向路口等立體標(biāo)志能夠矯正車輛在縱向(即，車道延伸方向，其通常平行于車輛行駛方向)上的定位精度，車道線、路沿等路面標(biāo)志能夠矯正車輛在橫向(即，車道偏離方向，其通常偏離于車輛行駛方向，例如與車輛行駛方向垂直或以一定角度相交)上的定位精度。

比如，在車道線和路沿可靠的情況下，可以對局部語義地圖的縱向進(jìn)行度量縮放匹配；而在紅綠燈、路牌可靠的情況下可以對局部語義地圖橫向進(jìn)行度量縮放匹配。這樣，使得局部語義地圖和全局語義地圖的匹配過程具有一定的尺度魯棒性。

圖7圖示了根據(jù)本申請實(shí)施例的局部位姿信息更新步驟的流程圖。

如圖7所示，子步驟s160可以包括：

在子步驟s161中，在所述非有效定位方向中，根據(jù)所述語義實(shí)體匹配對之中所述全局語義地圖中的語義實(shí)體的屬性信息來修正所述語義實(shí)體匹配對之中所述局部語義地圖中的語義實(shí)體的屬性信息。

在子步驟s162中，根據(jù)修正后的所述局部語義地圖中的語義實(shí)體的屬性信息來校正所述局部位姿信息。

由于局部語義地圖中的有效語義實(shí)體在有效定位方向中具有很高的置信度，所以可以僅僅根據(jù)全局語義地圖中的匹配語義實(shí)體的屬性信息來在非有效定位方向中修正該有效語義實(shí)體的屬性信息(例如，位置、距離、形狀、高矮等)，從而更新可移動設(shè)備的局部位姿信息。當(dāng)然，也可以同時在有效定位方向和非有效定位方向中進(jìn)行同時更新，以獲得更為綜合的效果。

替換地或附加地，在第二示例中，可以基于語義實(shí)體的類別屬性來執(zhí)行拓?fù)涠攘空Z義匹配操作。拓?fù)涠攘空Z義匹配是由于如果僅僅基于單幀語義地圖或少數(shù)幾幀語義地圖進(jìn)行匹配，在附近的地圖中可能同時搜索到幾個匹配，但是實(shí)際上只可能有一個是真實(shí)匹配的，因此，通過由多數(shù)幾幀語義地圖拼接成的軌跡語義地圖匹配，可以把那些誤配去掉。其中，度量就是指根據(jù)局部位姿信息得到的相對位置、形狀大小、高度大小等屬性信息。拓?fù)渲傅氖歉鱾€語義實(shí)體的出現(xiàn)順序，例如，前后、左右、上下等關(guān)系屬性(無需考慮具體值)。

如圖6所示，子步驟s152還可以包括：

在動作s1525中，利用所述局部語義地圖與所述全局語義地圖進(jìn)行拓?fù)涠攘空Z義匹配。

在動作s1526中，根據(jù)拓?fù)涠攘空Z義匹配的結(jié)果來尋找所述語義實(shí)體匹配對。

當(dāng)局部語義地圖中附近存在相近的重復(fù)場景時，可以利用已經(jīng)建立的局部語義地圖與獲取的高精度語義地圖進(jìn)行整體的拓?fù)涠攘空Z義匹配，以根據(jù)匹配標(biāo)志類別矯正當(dāng)前的局部位姿精度。

相應(yīng)地，如圖7所示，子步驟s160還可以包括：

在子步驟s163中，根據(jù)所述語義實(shí)體匹配對之中所述全局語義地圖中的語義實(shí)體的屬性信息來所述語義實(shí)體的有效定位方向。

在子步驟s164中，在所述有效定位方向中，根據(jù)所述語義實(shí)體匹配對之中所述全局語義地圖中的語義實(shí)體的屬性信息來修正所述語義實(shí)體匹配對之中所述局部語義地圖中的語義實(shí)體的屬性信息。

在子步驟s165中，根據(jù)修正后的所述局部語義地圖中的語義實(shí)體的屬性信息來校正所述局部位姿信息。

與第一示例類似地，由于交通設(shè)施中不同類別的語義標(biāo)志具有不同方向的定位作用，所以可以首先確定全局語義地圖中的匹配語義實(shí)體的有效定位方向，并且在該有效定位方向中修正局部語義地圖中的匹配語義實(shí)體的屬性信息(例如，位置、距離、形狀、高矮等)，從而更新可移動設(shè)備的局部位姿信息。

需要說明的是，該第一示例和第二示例可以單獨(dú)實(shí)現(xiàn)，也可以組合實(shí)現(xiàn)，在組合情況下，第一示例和第二示例的執(zhí)行順序并不構(gòu)成對本申請的限定。但是較佳地，由于第一示例僅僅基于單幀或少數(shù)幾幀局部語義地圖來進(jìn)行匹配，其需要的計算量較小，而第二示例要基于軌跡局部語義地圖來進(jìn)行匹配，其需要的計算量較大，所以較佳地，可以先執(zhí)行第一示例的匹配過程，再執(zhí)行第二示例的匹配過程。

這樣，當(dāng)基于單幀或少數(shù)幾幀局部語義地圖所得到的匹配置信度不高時，利用軌跡語義地圖進(jìn)行整體的拓?fù)涠攘空Z義匹配，可以剔除掉誤配噪聲，進(jìn)一步提高定位精度，校正先前所得到的局部位姿信息。在獲得更加準(zhǔn)確的局部定位之后，可移動設(shè)備100還可以進(jìn)一步地基于該結(jié)果來進(jìn)行移動控制。

此外，根據(jù)本申請實(shí)施例的位姿信息確定方法還可以包括其他的一個或多個附加步驟。

圖8圖示了根據(jù)本申請實(shí)施例的位姿信息確定方法的附加步驟的流程圖。

如圖8所示，根據(jù)本申請實(shí)施例的位姿信息確定方法還可以包括：

在步驟s170中，根據(jù)所述全局語義地圖和更新后的局部位姿信息來生成移動控制策略，所述移動控制策略用于控制所述可移動設(shè)備以使其能夠?qū)崿F(xiàn)所述當(dāng)前移動環(huán)境中的預(yù)定移動目的。

在全局和局部語義地圖匹配的置信度足夠高(定位成功)的情況下，可以根據(jù)更新的局部位姿信息來進(jìn)行相應(yīng)的移動決策規(guī)劃，例如以便實(shí)現(xiàn)自動駕駛/輔助駕駛的目的，例如提前規(guī)劃路徑，降低油耗、躲避事故等。

在步驟s180中，響應(yīng)于在所述全局語義地圖中沒有匹配到所述局部語義地圖，根據(jù)所述當(dāng)前移動環(huán)境的非語義數(shù)字地圖和原始的局部位姿信息來生成移動控制策略，所述移動控制策略用于控制所述可移動設(shè)備以使其能夠?qū)崿F(xiàn)所述當(dāng)前移動環(huán)境中的預(yù)定移動目的。

在沒有與全局語義地圖匹配上、而不能獲取高精度定位的情況下，可移動設(shè)備100可以簡單地依賴本地的感知系統(tǒng)結(jié)合粗精度定位地圖(例如，現(xiàn)有的數(shù)字地圖)進(jìn)行局部低速路徑規(guī)劃和控制，比如確定要走的目標(biāo)道路、根據(jù)本地移動端得到的可行區(qū)域、可行道路進(jìn)行規(guī)劃控制、根據(jù)得到的實(shí)時準(zhǔn)確的車道線進(jìn)行換道或者巡航。

更進(jìn)一步地，在生成可移動設(shè)備100的移動控制策略的同時，如果能夠在保證可移動設(shè)備100安全地實(shí)現(xiàn)移動目的的同時，進(jìn)一步兼顧語義地圖匹配，這顯然是期望的。

因此，在步驟s170或步驟s180之后，在步驟s182中，根據(jù)所述位置數(shù)據(jù)和所述全局語義地圖來確定所述可移動設(shè)備的輔助控制策略，所述輔助控制策略用于控制所述可移動設(shè)備以使其能夠主動獲取所述當(dāng)前移動環(huán)境中即將出現(xiàn)的語義實(shí)體。

在步驟s184中，對所述移動控制策略和所述輔助控制策略進(jìn)行綜合，以生成綜合控制策略。

在全局和局部語義地圖匹配的置信度不夠高，即定位置信度還是比較低的情況下，可以根據(jù)粗精度定位和獲取的高精度語義地圖結(jié)合，進(jìn)行不影響安全、舒適性和目的地的主動決策(比如，車輛換道、朝向調(diào)整、車載相機(jī)焦距朝向調(diào)整等)，以主動地獲取可能有關(guān)鍵語義標(biāo)志(在本位置處，對于橫向縱向起決定作用的定位語義標(biāo)志)的視頻序列進(jìn)行檢測跟蹤識別及與高精度語義地圖的匹配，提高位姿精度。

在步驟s190中，將所述局部語義地圖上傳到服務(wù)器設(shè)備。

在獲得局部語義地圖之后，為了實(shí)現(xiàn)眾包模式，每個可移動設(shè)備還可以將該地圖上傳到服務(wù)器設(shè)備200(例如，云端)，以實(shí)現(xiàn)地圖動態(tài)更新的技術(shù)效果。

例如，車輛可以將本地綜合后的地圖上傳到云端，整體的傳輸數(shù)據(jù)量是很小的，并且是自動化的建圖過程，不需要人工標(biāo)注。例如，可以生成一幀局部語義地圖之后立刻將它上傳到云端，也可以將多幀局部語義地圖綜合為軌跡語義地圖，然后再執(zhí)行上傳操作。例如，可以基于時間(例如，每隔一段時間)形成一個軌跡語義地圖，也可以基于其他條件(例如，從駛?cè)胍粭l道路開始到駛出該道路為止)觸發(fā)生成軌跡語義地圖。

由此可見，采用根據(jù)本申請實(shí)施例的位姿信息確定方法，可以接收由環(huán)境傳感器獲取的所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括位置數(shù)據(jù)和圖像數(shù)據(jù)；至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的局部位姿信息；根據(jù)所述可移動設(shè)備的局部位姿信息和所述圖像數(shù)據(jù)來構(gòu)建所述當(dāng)前移動環(huán)境的局部語義地圖，所述局部語義地圖包括所述當(dāng)前移動環(huán)境中的語義實(shí)體及其屬性信息，所述語義實(shí)體是可能影響移動的實(shí)體，所述屬性信息表明了所述語義實(shí)體的物理特性；獲取所述當(dāng)前移動環(huán)境的全局語義地圖；在所述全局語義地圖中匹配所述局部語義地圖；并且響應(yīng)于在所述全局語義地圖中匹配到所述局部語義地圖，根據(jù)匹配的結(jié)果來更新所述局部位姿信息。因此，可以高效準(zhǔn)確地獲得可移動設(shè)備的位姿信息。

具體地，本申請的實(shí)施例具有以下優(yōu)點(diǎn)：

1)利用語義標(biāo)志特性提高定位精度，比如一條路的車道線、路沿等能夠提高橫向定位精度，桿子、樹木、標(biāo)志牌等能夠提高縱向定位精度，停止線、人行道、紅綠燈可以提高路口定位精度；

2)利用軌跡(高精度局部里程計)得到的局部語義標(biāo)志地圖匹配得到高精度全局定位結(jié)果，比如一輛車從進(jìn)入一條路開始即可以完整地檢測跟蹤車道線，那么在這條路上任何時刻車輛是可以得到其所在車道相對于初始車道的偏移的，這個信息可以降低單幀車道線定位的誤配。車輛的局部語義標(biāo)志地圖(跟全局地圖一樣，只是是本次采集得到的，還沒有全局坐標(biāo))跟服務(wù)器端地圖匹配(是序列加標(biāo)志的匹配)，可以提高全局地圖匹配定位的精度。

具體示例

接下來，將描述根據(jù)本申請實(shí)施例的位姿信息確定方法的具體示例。其中假設(shè)可移動設(shè)備為車輛、服務(wù)器設(shè)備為云端服務(wù)器。

在本申請實(shí)施例的具體示例中，移動端車輛開機(jī)后首先依據(jù)本地能力進(jìn)行局部建圖和感知，包括對路面、車道線、路沿、可行區(qū)域和地面標(biāo)識、標(biāo)志牌、紅綠燈、停止線、人行橫道等的檢測跟蹤識別及重建，并根據(jù)gps、imu、視覺里程計等得到的局部相對定位位姿注冊到局部地圖中，得到局部語義標(biāo)志地圖，車輛可以根據(jù)這個局部語義地圖和實(shí)時感知進(jìn)行決策控制。同時，依據(jù)gps位置，車輛會將局部語義地圖與云端的全局語義地圖進(jìn)行匹配，當(dāng)匹配置信度超過一定閾值后，局部語義地圖會進(jìn)行全局位置矯正，得到準(zhǔn)確的全局位姿，進(jìn)而車輛可以進(jìn)行更加復(fù)雜和一致的全局規(guī)劃控制。局部語義地圖與全局語義地圖的匹配是一個動態(tài)過程，不同類別的語義標(biāo)志可以提高不同方向的位姿置信度，整體的局部軌跡語義地圖匹配會進(jìn)一步精華位置剔除噪聲。

在下面的第一具體示例中，將重點(diǎn)說明是如何基于單幀語義地圖中的語義標(biāo)志來提高定位精度的。

圖9圖示了根據(jù)本申請實(shí)施例第一具體示例的位姿信息確定場景的示意圖。

交通設(shè)施中不同類別的語義標(biāo)志具有不同的定位作用，其中路面標(biāo)志、標(biāo)志牌、橫向路口等能夠矯正車輛的縱向定位，車道線(及類別)、路沿等能夠矯正車輛的橫向定位，如圖9所示，當(dāng)車輛行駛至a點(diǎn)時，車只能獲得一個大致的定位位置，因?yàn)榇藭r遇到的語義標(biāo)志不夠明顯；當(dāng)車輛行駛到b點(diǎn)時，由于移動端識別到了準(zhǔn)確的標(biāo)志牌標(biāo)志并跟云端語義地圖進(jìn)行匹配，因此車輛縱向定位精度得到提高，但是橫向精度依然不足；當(dāng)車輛行駛到c點(diǎn)時候，道路出現(xiàn)了車道線和路沿并且車輛能夠準(zhǔn)確識別建模，因此車輛橫向定位精度也得到矯正，整體精度進(jìn)一步提高，為后續(xù)決策提供更好的依據(jù)。

在下面的第二具體示例中，將重點(diǎn)說明是如何基于局部軌跡語義地圖來提高定位精度的。

圖10圖示了根據(jù)本申請實(shí)施例第二具體示例的位姿信息確定場景的示意圖。

單個結(jié)構(gòu)化語義標(biāo)志很容易在地圖中重復(fù)(比如，在gps坐標(biāo)附近有多個限速標(biāo)志牌)，因此可能會造成定位出現(xiàn)偏差，如圖10所示，當(dāng)車輛在gps位置和行駛道路附近識別到一類圓形標(biāo)志牌時，由于附近有多個同一類別的標(biāo)志牌(同時存在于位置a、位置b和位置c)，因此在幾個標(biāo)志牌處得到同樣的定位置信度。隨著車輛的前行，當(dāng)遇到另一類三角形標(biāo)志，此時局部軌跡中有分別按順序有一類圓形和一類三角形標(biāo)志牌，由于附近有這樣分布形式的標(biāo)志牌的數(shù)目變少(僅僅存在于位置b和位置c)，這樣根據(jù)與語義地圖匹配進(jìn)一步剔除干擾，提高可能位置的置信度。隨著車輛的繼續(xù)前行，當(dāng)行駛到一類正方形標(biāo)志牌處，由于附近道路上只有一處具有同樣的這三類標(biāo)志牌的類別和位置順序的分布形式(唯一存在于位置c)，因此獲得很高置信度的最終定位姿態(tài)。

因此，采用本方案可以利用更簡單廉價的設(shè)備實(shí)現(xiàn)自動駕駛車輛的定位，最直接的比如安裝有攝像頭、gps、imu等設(shè)備具有車道線、交通標(biāo)志和行人車輛檢測跟蹤識別功能的視覺高級駕駛輔助系統(tǒng)(adas)系統(tǒng)，同時本方案兼容高差分gps或者雙目、低線數(shù)激光雷達(dá)等系統(tǒng)。另外，本方案基于當(dāng)前已經(jīng)有大量應(yīng)用的常見設(shè)備感知已有的語義標(biāo)志實(shí)現(xiàn)定位，不需要大量的基礎(chǔ)設(shè)施改造和配合，支撐系統(tǒng)和云端系統(tǒng)簡單，定位地圖的制作、存儲、處理、傳輸代價低。最后，本方案使得移動端具有較強(qiáng)的智能性，能夠僅僅依賴移動端的能力進(jìn)行局部建圖和感知決策，并在云端全局地圖可用置信度較高的情況下進(jìn)行全局位姿矯正，因此，本方案具有更好的適應(yīng)性、魯棒性和實(shí)時性。

需要說明的是，由于本方案極大地增強(qiáng)并利用了移動車輛端的智能性，因此在全局絕對定位有干擾或者置信度不夠高時，車輛依然能夠根據(jù)本次局部地圖和實(shí)時感知進(jìn)行車輛的實(shí)時定位及決策，因此，本方案具有更好的適應(yīng)性和魯棒性。

示例性位姿信息確定裝置

圖11圖示了根據(jù)本申請實(shí)施例的位姿信息確定裝置的框圖。

如圖11所示，根據(jù)本申請實(shí)施例的所述位姿信息確定裝置300可以應(yīng)用于可移動設(shè)備100，并且可以包括：樣本數(shù)據(jù)接收單元310，用于接收由環(huán)境傳感器獲取的所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)，所述樣本數(shù)據(jù)包括位置數(shù)據(jù)和圖像數(shù)據(jù)；位姿信息確定單元320，用于至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的局部位姿信息；語義地圖構(gòu)建單元330，用于根據(jù)所述可移動設(shè)備的局部位姿信息和所述圖像數(shù)據(jù)來構(gòu)建所述當(dāng)前移動環(huán)境的局部語義地圖，所述局部語義地圖包括所述當(dāng)前移動環(huán)境中的語義實(shí)體及其屬性信息，所述語義實(shí)體是可能影響移動的實(shí)體，所述屬性信息表明了所述語義實(shí)體的物理特性；語義地圖獲取單元340，用于獲取所述當(dāng)前移動環(huán)境的全局語義地圖；語義地圖匹配單元350，用于在所述全局語義地圖中匹配所述局部語義地圖；以及位姿信息更新單元360，用于響應(yīng)于在所述全局語義地圖中匹配到所述局部語義地圖，根據(jù)匹配的結(jié)果來更新所述局部位姿信息。

在一個示例中，該位姿信息確定單元320可以至少根據(jù)所述位置數(shù)據(jù)來確定所述可移動設(shè)備的絕對位姿信息；至少根據(jù)所述圖像數(shù)據(jù)來確定所述可移動設(shè)備的相對位姿信息；并且根據(jù)所述絕對位姿信息和所述相對位姿信息來生成所述局部位姿信息。

在一個示例中，該語義地圖構(gòu)建單元330可以根據(jù)所述圖像數(shù)據(jù)來檢測所述當(dāng)前移動環(huán)境中的語義實(shí)體；根據(jù)所述局部位姿信息和所述圖像數(shù)據(jù)來確定所述語義實(shí)體的屬性信息；并且根據(jù)所述語義實(shí)體及其屬性信息來構(gòu)建所述局部語義地圖。

在一個示例中，該語義地圖構(gòu)建單元330可以對所述圖像數(shù)據(jù)進(jìn)行檢測跟蹤識別；并且根據(jù)檢測跟蹤識別的結(jié)果來確定所述當(dāng)前移動環(huán)境中的語義實(shí)體。

在一個示例中，該語義地圖構(gòu)建單元330可以根據(jù)所述圖像數(shù)據(jù)來確定所述語義實(shí)體與所述可移動設(shè)備之間的相對位置關(guān)系；并且根據(jù)所述局部位姿信息和所述相對位置關(guān)系來確定所述語義實(shí)體的空間屬性信息。

在一個示例中，該語義地圖獲取單元340可以根據(jù)所述位置數(shù)據(jù)來從服務(wù)器設(shè)備中下載所述全局語義地圖。

在一個示例中，該語義地圖匹配單元350可以對所述全局語義地圖進(jìn)行解析，以確定其中的語義實(shí)體及其屬性信息；并且根據(jù)屬性信息來尋找所述全局語義地圖和所述局部語義地圖中的語義實(shí)體匹配對。

在一個示例中，該語義地圖匹配單元350可以確定所述局部語義地圖中的有效語義實(shí)體，所述有效語義實(shí)體是其置信度大于或等于預(yù)定閾值的語義實(shí)體；根據(jù)所述有效語義實(shí)體的屬性信息來確定所述有效語義實(shí)體的有效定位方向和非有效定位方向；在所述非有效定位方向中對所述局部語義地圖進(jìn)行度量縮放匹配；并且根據(jù)度量縮放匹配的結(jié)果來尋找所述語義實(shí)體匹配對。

在一個示例中，該位姿信息更新單元360可以在所述非有效定位方向中，根據(jù)所述語義實(shí)體匹配對之中所述全局語義地圖中的語義實(shí)體的屬性信息來修正所述語義實(shí)體匹配對之中所述局部語義地圖中的語義實(shí)體的屬性信息；并且根據(jù)修正后的所述局部語義地圖中的語義實(shí)體的屬性信息來校正所述局部位姿信息。

在一個示例中，該語義地圖匹配單元350可以利用所述局部語義地圖與所述全局語義地圖進(jìn)行拓?fù)涠攘空Z義匹配；并且根據(jù)拓?fù)涠攘空Z義匹配的結(jié)果來尋找所述語義實(shí)體匹配對。

在一個示例中，該位姿信息更新單元360可以根據(jù)所述語義實(shí)體匹配對之中所述全局語義地圖中的語義實(shí)體的屬性信息來所述語義實(shí)體的有效定位方向；在所述有效定位方向中，根據(jù)所述語義實(shí)體匹配對之中所述全局語義地圖中的語義實(shí)體的屬性信息來修正所述語義實(shí)體匹配對之中所述局部語義地圖中的語義實(shí)體的屬性信息；并且根據(jù)修正后的所述局部語義地圖中的語義實(shí)體的屬性信息來校正所述局部位姿信息。

在一個示例中，根據(jù)本申請實(shí)施例的所述位姿信息確定裝置300還可以包括：控制策略生成單元，用于生成移動控制策略。

在一個示例中，該控制策略生成單元可以根據(jù)所述全局語義地圖和更新后的局部位姿信息來生成移動控制策略，所述移動控制策略用于控制所述可移動設(shè)備以使其能夠?qū)崿F(xiàn)所述當(dāng)前移動環(huán)境中的預(yù)定移動目的。

在一個示例中，該控制策略生成單元可以響應(yīng)于在所述全局語義地圖中沒有匹配到所述局部語義地圖，根據(jù)所述當(dāng)前移動環(huán)境的非語義數(shù)字地圖和原始的局部位姿信息來生成移動控制策略，所述移動控制策略用于控制所述可移動設(shè)備以使其能夠?qū)崿F(xiàn)所述當(dāng)前移動環(huán)境中的預(yù)定移動目的。

在一個示例中，該控制策略生成單元可以根據(jù)所述位置數(shù)據(jù)和所述全局語義地圖來確定所述可移動設(shè)備的輔助控制策略，所述輔助控制策略用于控制所述可移動設(shè)備以使其能夠主動獲取所述當(dāng)前移動環(huán)境中即將出現(xiàn)的語義實(shí)體；并且對所述移動控制策略和所述輔助控制策略進(jìn)行綜合，以生成綜合控制策略。

在一個示例中，根據(jù)本申請實(shí)施例的所述位姿信息確定裝置300還可以包括：語義地圖上傳單元，用于將所述局部語義地圖上傳到服務(wù)器設(shè)備。

上述位姿信息確定裝置300中的各個單元和模塊的具體功能和操作已經(jīng)在上面參考圖1到圖10描述的位姿信息確定方法中詳細(xì)介紹，并因此，將省略其重復(fù)描述。

需要說明的是，根據(jù)本申請實(shí)施例的位姿信息確定裝置300可以作為一個軟件模塊和/或硬件模塊而集成到可移動設(shè)備100中，換言之，該可移動設(shè)備100可以包括該位姿信息確定裝置300。例如，該位姿信息確定裝置300可以是該可移動設(shè)備100的操作系統(tǒng)中的一個軟件模塊，或者可以是針對于其所開發(fā)的一個應(yīng)用程序；當(dāng)然，該位姿信息確定裝置300同樣可以是可移動設(shè)備100的眾多硬件模塊之一。

替換地，在另一示例中，該位姿信息確定裝置300與該可移動設(shè)備100也可以是分立的設(shè)備(例如，服務(wù)器)，并且該位姿信息確定裝置300可以通過有線和/或無線網(wǎng)絡(luò)連接到該可移動設(shè)備100，并且按照約定的數(shù)據(jù)格式來傳輸交互信息。

示例性可移動設(shè)備

下面，參考圖12來描述根據(jù)本申請實(shí)施例的可移動設(shè)備。

圖12圖示了根據(jù)本申請實(shí)施例的可移動設(shè)備的框圖。

如圖12所示，可移動設(shè)備100包括一個或多個處理器11和存儲器12。

處理器11可以是中央處理單元(cpu)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元，并且可以控制可移動設(shè)備100中的其他組件以執(zhí)行期望的功能。

存儲器12可以包括一個或多個計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品可以包括各種形式的計算機(jī)可讀存儲介質(zhì)，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機(jī)存取存儲器(ram)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(rom)、硬盤、閃存等。在所述計算機(jī)可讀存儲介質(zhì)上可以存儲一個或多個計算機(jī)程序指令，處理器11可以運(yùn)行所述程序指令，以實(shí)現(xiàn)上文所述的本申請的各個實(shí)施例的可移動設(shè)備100中的位姿信息確定方法和/或其他期望的功能。

在一個示例中，可移動設(shè)備100還可以包括：輸入裝置13和輸出裝置14。

例如，該輸入裝置13可以包括例如鍵盤、鼠標(biāo)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等。

例如，該輸入裝置13可以包括環(huán)境傳感器，用于獲取所述可移動設(shè)備正在其中移動的當(dāng)前移動環(huán)境的樣本數(shù)據(jù)。例如，該環(huán)境傳感器可以是用于捕捉圖像數(shù)據(jù)的圖像傳感器，其可以是攝像頭或攝像頭陣列。又如，該環(huán)境傳感器可以是用于捕捉掃描數(shù)據(jù)的激光傳感器，其可以是激光器或激光器陣列。又如，該環(huán)境傳感器也可以是運(yùn)動傳感器，配置為獲取所述可移動設(shè)備100的運(yùn)動數(shù)據(jù)。例如，該運(yùn)動傳感器可以是在可移動設(shè)備中內(nèi)建的慣性測量單元和運(yùn)動編碼器(包括加速度計與陀螺儀等)，用于測量可移動設(shè)備的運(yùn)動參數(shù)，例如，速度、加速度、位移等，以確定可移動設(shè)備在移動環(huán)境中的位置與朝向(姿態(tài))，并且還可以是內(nèi)建的磁力計等，以實(shí)時校準(zhǔn)姿態(tài)傳感器的累計誤差。這樣，可以獲得更加準(zhǔn)確的位姿估計。當(dāng)然，本申請不限于此。該環(huán)境傳感器還可以是雷達(dá)之類的其他各種器件。另外，也可以利用其他分立的環(huán)境傳感器來采集該樣本數(shù)據(jù)，并且將它發(fā)送到可移動設(shè)備100。

輸出裝置14可以向外部(例如，用戶)輸出各種信息等。該輸出設(shè)備14可以包括例如揚(yáng)聲器、顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等。

當(dāng)然，為了簡化，圖12中僅示出了該可移動設(shè)備100中與本申請有關(guān)的組件中的一些，省略了諸如總線、輸入/輸出接口等等的組件。應(yīng)當(dāng)注意，圖12所示的可移動設(shè)備100的組件和結(jié)構(gòu)只是示例性的，而非限制性的，根據(jù)需要，可移動設(shè)備100也可以具有其他組件和結(jié)構(gòu)。

例如，盡管未示出，可移動設(shè)備100還可以包括通信裝置等，通信裝置可以通過網(wǎng)絡(luò)或其他技術(shù)與其他設(shè)備(例如，個人計算機(jī)、服務(wù)器、移動臺、基站等)通信，所述網(wǎng)絡(luò)可以是因特網(wǎng)、無線局域網(wǎng)、移動通信網(wǎng)絡(luò)等，所述其他技術(shù)例如可以包括藍(lán)牙通信、紅外通信等。

示例性計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì)

除了上述方法和設(shè)備以外，本申請的實(shí)施例還可以是計算機(jī)程序產(chǎn)品，其包括計算機(jī)程序指令，所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實(shí)施例的位姿信息確定方法中的步驟。

所述計算機(jī)程序產(chǎn)品可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本申請實(shí)施例操作的程序代碼，所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言，諸如java、c++等，還包括常規(guī)的過程式程序設(shè)計語言，諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠(yuǎn)程計算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計算設(shè)備或服務(wù)器上執(zhí)行。

此外，本申請的實(shí)施例還可以是計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序指令，所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實(shí)施例的位姿信息確定方法中的步驟。

所述計算機(jī)可讀存儲介質(zhì)可以采用一個或多個可讀介質(zhì)的任意組合?？勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)?？勺x存儲介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。

以上結(jié)合具體實(shí)施例描述了本申請的基本原理，但是，需要指出的是，在本申請中提及的優(yōu)點(diǎn)、優(yōu)勢、效果等僅是示例而非限制，不能認(rèn)為這些優(yōu)點(diǎn)、優(yōu)勢、效果等是本申請的各個實(shí)施例必須具備的。另外，上述公開的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細(xì)節(jié)并不限制本申請為必須采用上述具體的細(xì)節(jié)來實(shí)現(xiàn)。

本申請中涉及的方法、器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進(jìn)行執(zhí)行、連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。

還需要指出的是，在本申請的裝置、設(shè)備和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請的等效方案。

提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請的范圍。因此，本申請不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。

為了例示和描述的目的已經(jīng)給出了以上描述。此外，此描述不意圖將本申請的實(shí)施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實(shí)施例，但是本領(lǐng)域技術(shù)人員將認(rèn)識到其某些變型、修改、改變、添加和子組合。