本發(fā)明屬于機器人自主環(huán)境感知及多模態(tài)數(shù)據(jù)融合，尤其涉及一種多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法。

背景技術：

1、室外場景的語義地圖為場景理解提供語義信息，可保證機器人導航、定位和自動駕駛的有效性，幫助機器人更好的完成目標搜索、變化檢測等高級交互任務。

2、雷達點云與rgb圖像是構建室外場景語義地圖的兩種重要傳感器數(shù)據(jù)?，F(xiàn)有構建室外場景語義地圖的方法之一是提出基于激光雷達的語義建圖工作，通過使用場景結構中的先驗信息，從原始點云中提取不同層次的語義信息，不僅可以構建用于導航的占用網(wǎng)格圖，還可以構建滿足自定義消毒任務需求的層次語義圖。然而，該算法構建的語義地圖是一個二維的語義地圖，不能包含完整的環(huán)境語義信息；另一種方法認為高水平的情景感知需要3d表示以及語義信息的包含，提出了分層3d網(wǎng)格建圖框架ufomap，構建了包含語義信息的密集高分辨率地圖，然而在對室外rgb?圖像進行語義提取的過程中，一般無法區(qū)分單個實例，在實例分割中會忽略大量的環(huán)境語義信息，同時由于環(huán)境語義與物體實例有著不同的特點，無法構建具有環(huán)境語義全局一致性的戶外實例級語義地圖。

技術實現(xiàn)思路

1、本發(fā)明是為了解決現(xiàn)有技術所存在的上述技術問題，提供一種多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法。

2、本發(fā)明的技術解決方案是：一種多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法，按照如下步驟進行：

3、步驟1.標定rgb相機和固態(tài)激光雷達外部參數(shù)；

4、步驟2.對rgb圖像進行全景分割，提取環(huán)境中的實例語義信息；

5、步驟?3.使用基于rgb相機和固態(tài)激光雷達的定位算法，提供實時位姿；

6、步驟4.根據(jù)實時位姿及實例語義信息，對接收的固態(tài)激光雷達點云進行處理，得到語義融合用三維點云；

7、步驟5.結合rgb相機和固態(tài)激光雷達的標定參數(shù)，將三維點云投影到二維圖像平面，再根據(jù)二維圖像平面內三維點云投影點的像素位置，確定對應的實例語義信息，從而將全景分割得到的實例語義信息與固態(tài)激光雷達點云相融合，得到帶有語義信息的點云簇；

8、步驟6.?根據(jù)實時位姿，將帶有語義信息的點云簇轉換到全局坐標系，生成含有語義信息的全局點云；

9、步驟7.將含有語義信息的全局點云的單幀信息與全局地圖數(shù)據(jù)關聯(lián)，分別確定含有語義信息的全局點云中的環(huán)境語義實例和物體實例的全局標簽，在全局地圖上實現(xiàn)全局標簽分層融合，進而更新全局地圖，得到戶外實例級的語義地圖。

10、優(yōu)選的技術方案是所述步驟1是收集rgb相機和固態(tài)激光雷達的一段傳感數(shù)據(jù)作為標定數(shù)據(jù)，使用在無目標條件下的像素級自動校準方法來標定rgb相機和固態(tài)激光雷達的外部參數(shù)。

11、優(yōu)選的技術方案是所述步驟2是使用基于mask2former的全景分割模塊來

12、提取rgb圖像中的語義信息，并將語義信息轉化為自定義的數(shù)據(jù)格式，所述自定義的數(shù)據(jù)格式是用于ros系統(tǒng)通信的圖像語義信息話題。

13、優(yōu)選的技術方案是所述步驟4依次按照如下步驟進行：

14、步驟4.1點云幀接收；

15、步驟4.2?更新最新點云幀；

16、步驟4.3接收點云，進行當前幀位姿監(jiān)聽，無位姿，返回步驟4.1；有位姿，將當前幀轉至全局系，進行點云累積，得到積累點云；

17、步驟4.4?接收全景分割結果與積累點云，進行當前幀位姿監(jiān)聽，無位姿，使用最新幀點云作為語義融合用三維點云；有位姿，對積累點云進行預處理后轉至當前幀，作為語義融合用三維點云。

18、優(yōu)選是技術方案是步驟7所述分別確定含有語義信息的全局點云中的環(huán)境語義實例和物體實例的全局標簽，是按照如下步驟進行：

19、步驟7.1針對含有語義信息的全局點云的單幀信息，判斷是否為物體實例，否，利用語義標簽生成全局標簽，是，進行步驟7.2；

20、步驟7.2判斷是否存在全局標簽，否，利用語義標簽生成新全局標簽，是，與全局標簽匹配。

21、本發(fā)明與現(xiàn)有技術相比，第一對rgb相機和固態(tài)激光雷達外部參數(shù)進行標定，使得后續(xù)可以將固態(tài)激光雷達點云可以投影到rgb圖像平面，實現(xiàn)幾何與語義信息的融合；第二使用基于rgb相機和固態(tài)激光雷達的定位算法，為算法提供實時位姿；第三提出了一種跨幀積累和最新幀選擇的點云接收策略，此策略在使用點云跨幀積累的基礎上，保留了最新幀點云，并根據(jù)點云積累情況，選擇使用積累點云或者最新幀點云，可以在盡可能多收集點云信息的基礎上保留了魯棒性，避免因點云積累失敗而導致的全局建圖算法的失??；第四分別確定含有語義信息的全局點云中的環(huán)境語義實例和物體實例的全局標簽，在全局地圖上實現(xiàn)全局標簽分層融合，保證了環(huán)境語義的全局一致性和實例物體的個體特殊性，針對統(tǒng)一的環(huán)境語義標簽使用固定顏色，提高了全局實例級語義地圖的可視化效果。

技術特征：

1.一種多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法，其特征在于按照如下步驟進行：

2.根據(jù)權利要求1所述的多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法，其特征在于：所述步驟1是收集rgb相機和固態(tài)激光雷達的一段傳感數(shù)據(jù)作為標定數(shù)據(jù)，使用在無目標條件下的像素級自動校準方法來標定rgb相機和固態(tài)激光雷達的外部參數(shù)。

3.根據(jù)權利要求2所述的多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法，其特征在于所述步驟2是使用基于mask2former的全景分割模塊來提取rgb圖像中的語義信息，并將語義信息轉化為自定義的數(shù)據(jù)格式，所述自定義的數(shù)據(jù)格式是用于ros系統(tǒng)通信的圖像語義信息話題。

4.根據(jù)權利要求3所述的多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法，其特征在于所述步驟4依次按照如下步驟進行：

5.根據(jù)權利要求4所述的多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法，其特征在于：步驟7所述分別確定含有語義信息的全局點云中的環(huán)境語義實例和物體實例的全局標簽，是按照如下步驟進行：

技術總結
本發(fā)明公開一種多傳感器數(shù)據(jù)融合的戶外實例級的語義地圖構建方法，標定RGB相機和固態(tài)激光雷達外部參數(shù)；對RGB圖像進行全景分割，提取環(huán)境中的實例語義信息；使用基于RGB相機和固態(tài)激光雷達的定位算法，提供實時位姿；根據(jù)實時位姿狀態(tài)及實例語義信息，采用跨幀積累和最新幀選擇的點云接收策略，對接收的固態(tài)激光雷達點云進行處理，得到語義融合用三維點云；將全景分割得到的實例語義信息與固態(tài)激光雷達點云相融合，得到帶有語義信息的點云簇；根據(jù)實時位姿，將帶有語義信息的點云簇轉換到全局坐標系，生成含有語義信息的全局點云；在全局地圖上實現(xiàn)環(huán)境語義與物體實例的全局標簽分層融合策略，進而更新全局地圖，得到戶外實例級的語義地圖。

技術研發(fā)人員：張雪濤,姚賀凱,孫國毅,孫剛,莊嚴
受保護的技術使用者：大連理工大學
技術研發(fā)日：
技術公布日：2024/12/30