本發(fā)明涉及語義地圖，特別是涉及一種農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)。

背景技術(shù)：

1、語義地圖在智慧工業(yè)中發(fā)揮著至關(guān)重要的作用，通過提供詳細(xì)的三維作物行數(shù)據(jù)，能夠顯著優(yōu)化農(nóng)業(yè)機器人管理策略，從而提升農(nóng)業(yè)大田生產(chǎn)的經(jīng)濟效益。然而，在農(nóng)業(yè)露天環(huán)境中，農(nóng)業(yè)機器人面臨的挑戰(zhàn)包括場景同質(zhì)化、弱運動路標(biāo)、光照不穩(wěn)定等不利因素，同時越野行駛時的運動顛簸也會帶來干擾。這些因素使得在這種環(huán)境下實現(xiàn)精準(zhǔn)可靠的自主定位和實時環(huán)境語義地圖構(gòu)建變得尤為復(fù)雜。

2、目前，農(nóng)業(yè)領(lǐng)域的一些研究有一些探索語義slam技術(shù)，但目前大多數(shù)系統(tǒng)仍為離線或非實時的，難以滿足農(nóng)業(yè)場景中對實時決策和規(guī)劃的需求。

3、因此亟需提供一種新型的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)來解決現(xiàn)有技術(shù)中在復(fù)雜動態(tài)農(nóng)業(yè)環(huán)境中面臨地圖構(gòu)建的難題。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是提供一種農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，能夠?qū)崿F(xiàn)實時、高精度的環(huán)境地圖構(gòu)建，并融入豐富的語義信息，以支持農(nóng)業(yè)機器人在非結(jié)構(gòu)化的廣袤大田環(huán)境中進(jìn)行自主導(dǎo)航和智能決策。

2、為解決上述技術(shù)問題，本發(fā)明采用的一個技術(shù)方案是：提供一種農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，包括語義信息提取模塊、slam預(yù)處理模塊、slam前端模塊、slam后端模塊；

3、所述語義信息提取模塊用于對農(nóng)業(yè)機器人采集的圖像進(jìn)行預(yù)處理，并對預(yù)處理后的輸入圖像中的語義信息進(jìn)行分割推理，將提取的語義信息通過ros系統(tǒng)反饋給slam預(yù)處理模塊；

4、所述slam預(yù)處理模塊將所述語義信息提取模塊提取的語義信息進(jìn)行保存，并進(jìn)行圖像掩碼，用于后續(xù)點云與語義信息匹配和語義地圖形成；

5、所述slam前端模塊用于將slam預(yù)處理模塊中的圖像幀和語義信息之間進(jìn)行關(guān)聯(lián)；

6、所述slam后端模塊用于展示構(gòu)建的語義地圖，通過語義地圖觀察到農(nóng)業(yè)大田環(huán)境中的語義信息。

7、在本發(fā)明一個較佳實施例中，所述語義信息提取模塊包括圖像預(yù)處理單元、語義分割單元；

8、所述圖像預(yù)處理單元用于對農(nóng)業(yè)機器人采集的圖像進(jìn)行預(yù)處理，包括加載圖像、調(diào)整尺寸、歸一化像素值、以及進(jìn)行數(shù)據(jù)增強；

9、所述語義分割單元用于對預(yù)處理后的輸入圖像中的語義信息進(jìn)行分割推理，將提取的語義信息通過ros系統(tǒng)反饋給slam預(yù)處理模塊。

10、進(jìn)一步的，所述語義分割單元基于fast-scnn網(wǎng)絡(luò)架構(gòu)對預(yù)處理后的輸入圖像提取多尺度特征，生成分割掩碼。

11、在本發(fā)明一個較佳實施例中，所述slam預(yù)處理模塊包括imu單元、畫面幀單元、圖像掩碼單元；

12、所述imu單元用于收集并處理來自慣性測量單元imu的原始數(shù)據(jù)，包括加速度計和陀螺儀的數(shù)據(jù)，輔助后續(xù)的位姿估計；

13、所述畫面幀單元用于將畫面幀傳送到所述語義信息提取模塊中進(jìn)行語義信息的提??；

14、所述圖像掩碼單元用于提取圖像中的語義信息，區(qū)分“農(nóng)作物”和“非農(nóng)作物”。

15、在本發(fā)明一個較佳實施例中，所述slam前端模塊包括imu預(yù)計分單元、描述子提取單元、語義信息關(guān)聯(lián)單元；

16、所述imu預(yù)計分單元用于利用慣性測量單元imu的加速度計和陀螺儀數(shù)據(jù)，對設(shè)備的運動狀態(tài)進(jìn)行實時預(yù)測和積分，生成初步的位姿估計；

17、所述描述子提取單元用于從每一幀圖像中提取關(guān)鍵點和對應(yīng)的局部特征描述子；

18、所述語義信息關(guān)聯(lián)單元用于將所述slam與處理模塊中的圖像幀與所述語義信息提取模塊提取的語義信息進(jìn)行關(guān)聯(lián)。

19、進(jìn)一步的，所述語義信息關(guān)聯(lián)單元將所述slam與處理模塊中的圖像幀與所述語義信息提取模塊提取的語義信息進(jìn)行關(guān)聯(lián)的步驟包括：

20、首先，使用所述語義信息提取模塊中的語義分割模型對預(yù)處理后的圖像進(jìn)行處理，生成每個像素的類別標(biāo)簽圖和置信度圖，其中像素標(biāo)簽表示農(nóng)作物和非農(nóng)作物的分類結(jié)果；

21、然后，將圖像幀及其生成的語義標(biāo)簽圖和置信度圖保存為首個關(guān)鍵幀，并記錄相機的位姿信息，對于普通幀，當(dāng)它被設(shè)置為關(guān)鍵幀時，同樣處理圖像以生成語義信息，并將其語義標(biāo)簽圖、置信度圖和相機位姿信息一并保存；

22、最后，將新的關(guān)鍵幀及其語義信息融合到slam系統(tǒng)中的地圖中，并通過圖優(yōu)化算法更新地圖，以確保信息的一致性。

23、在本發(fā)明一個較佳實施例中，所述slam后端模塊包括語義地圖構(gòu)建單元、imu初始化單元；

24、所述imu初始化單元用于在系統(tǒng)啟動初期，對imu傳感器進(jìn)行精確的校準(zhǔn)和初始化；

25、所述語義地圖構(gòu)建單元用于展示構(gòu)建的語義地圖，通過語義地圖觀察到農(nóng)業(yè)大田環(huán)境中的語義信息。

26、進(jìn)一步的，所述語義地圖構(gòu)建單元通過點云著色將帶有語義標(biāo)簽的點云數(shù)據(jù)直觀地展示在構(gòu)建的語義地圖中。

27、本發(fā)明的有益效果是：

28、（1）本發(fā)明通過結(jié)合語義分割和slam技術(shù)，能夠在農(nóng)業(yè)大田環(huán)境中實時構(gòu)建高精度的環(huán)境地圖，這種高精度地圖可以為農(nóng)業(yè)機器人提供詳細(xì)的環(huán)境信息，幫助其更好地理解和適應(yīng)復(fù)雜的農(nóng)業(yè)場景；

29、（2）本發(fā)明能夠為農(nóng)業(yè)機器人提供準(zhǔn)確的語義地圖，這不僅支持機器人的自主導(dǎo)航，還提高了其在實際作業(yè)中的智能決策能力。例如，機器人可以更有效地規(guī)劃路徑，避開障礙物，提高作業(yè)效率和安全性；

30、（3）本發(fā)明的技術(shù)方案提高了農(nóng)業(yè)大田的智能化管理水平，推動了智慧農(nóng)業(yè)的發(fā)展。通過自動化和智能化的手段，農(nóng)業(yè)生產(chǎn)的經(jīng)濟效益和效率得到了顯著提升，進(jìn)而推動了農(nóng)業(yè)科技的進(jìn)步。

技術(shù)特征：

1.一種農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，包括語義信息提取模塊、slam預(yù)處理模塊、slam前端模塊、slam后端模塊；

2.根據(jù)權(quán)利要求1所述的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，所述語義信息提取模塊包括圖像預(yù)處理單元、語義分割單元；

3.根據(jù)權(quán)利要求2所述的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，所述語義分割單元基于fast-scnn網(wǎng)絡(luò)架構(gòu)對預(yù)處理后的輸入圖像提取多尺度特征，生成分割掩碼。

4.根據(jù)權(quán)利要求1所述的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，所述slam預(yù)處理模塊包括imu單元、畫面幀單元、圖像掩碼單元；

5.根據(jù)權(quán)利要求1所述的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，所述slam前端模塊包括imu預(yù)計分單元、描述子提取單元、語義信息關(guān)聯(lián)單元；

6.根據(jù)權(quán)利要求5所述的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，所述語義信息關(guān)聯(lián)單元將所述slam與處理模塊中的圖像幀與所述語義信息提取模塊提取的語義信息進(jìn)行關(guān)聯(lián)的步驟包括：

7.根據(jù)權(quán)利要求1所述的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，所述slam后端模塊包括語義地圖構(gòu)建單元、imu初始化單元；

8.根據(jù)權(quán)利要求7所述的農(nóng)業(yè)大田環(huán)境下的實時語義slam系統(tǒng)，其特征在于，所述語義地圖構(gòu)建單元通過點云著色將帶有語義標(biāo)簽的點云數(shù)據(jù)直觀地展示在構(gòu)建的語義地圖中。

技術(shù)總結(jié)
本發(fā)明公開了一種農(nóng)業(yè)大田環(huán)境下的實時語義SLAM系統(tǒng)，包括語義信息提取模塊、SLAM預(yù)處理模塊、SLAM前端模塊、SLAM后端模塊；語義信息提取模塊用于對農(nóng)業(yè)機器人采集的圖像進(jìn)行預(yù)處理，并對預(yù)處理后的輸入圖像中的語義信息進(jìn)行分割推理，將提取的語義信息通過ROS系統(tǒng)反饋給SLAM預(yù)處理模塊；SLAM預(yù)處理模塊將語義信息提取模塊提取的語義信息進(jìn)行保存，并進(jìn)行圖像掩碼，用于后續(xù)點云與語義信息匹配和語義地圖形成；SLAM前端模塊用于將SLAM預(yù)處理模塊中的圖像幀和語義信息之間進(jìn)行關(guān)聯(lián)；SLAM后端模塊用于展示構(gòu)建的語義地圖，通過語義地圖觀察到農(nóng)業(yè)大田環(huán)境中的語義信息。實現(xiàn)實時、高精度的環(huán)境地圖構(gòu)建。

技術(shù)研發(fā)人員：董俊,陳林,何俊明,馬凡,吳雙,張雨菁
受保護(hù)的技術(shù)使用者：中國科學(xué)院合肥物質(zhì)科學(xué)研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26