本技術(shù)涉及機(jī)器人導(dǎo)航，特別是涉及一種基于大模型的語義導(dǎo)航方法、物品取送方法和機(jī)器人。

背景技術(shù)：

1、隨著人工智能和深度學(xué)習(xí)技術(shù)的飛速發(fā)展，機(jī)器人技術(shù)向智能化、自主化方向邁進(jìn)。在機(jī)器人應(yīng)用中，語義導(dǎo)航與物品取送是兩項(xiàng)至關(guān)重要的能力，它們不僅要求機(jī)器人能夠準(zhǔn)確理解并響應(yīng)人類指令，還需要在復(fù)雜多變的環(huán)境中自主導(dǎo)航，精準(zhǔn)定位并取送物品。然而，傳統(tǒng)方法在實(shí)現(xiàn)這些功能時(shí)面臨諸多挑戰(zhàn)，如環(huán)境感知的局限性、指令理解的模糊性以及決策控制的復(fù)雜性等。

2、傳統(tǒng)機(jī)器人導(dǎo)航系統(tǒng)往往依賴于預(yù)定義的地圖和簡單的障礙物檢測，難以在動態(tài)變化、語義信息豐富的復(fù)雜環(huán)境中實(shí)現(xiàn)高效、準(zhǔn)確的導(dǎo)航。例如，在家庭、醫(yī)院或購物中心等環(huán)境中，機(jī)器人需要理解并遵循如“前往最近的咖啡廳”、“避開擁擠區(qū)域”等指令。雖然深度學(xué)習(xí)在多個領(lǐng)域展現(xiàn)了強(qiáng)大的策略優(yōu)化能力，但在機(jī)器人語義導(dǎo)航中，如何有效設(shè)計(jì)獎勵函數(shù)、處理高維狀態(tài)空間以及實(shí)現(xiàn)安全高效的在線學(xué)習(xí)仍是挑戰(zhàn)。大模型在語義解析方面表現(xiàn)出色，但往往伴隨著計(jì)算量大、響應(yīng)速度慢的問題，這對于需要實(shí)時(shí)響應(yīng)的機(jī)器人導(dǎo)航系統(tǒng)來說是不利的。

3、為了克服這些挑戰(zhàn)，研究人員開始探索基于大模型的控制方法，以提升機(jī)器人的語義理解能力和自主導(dǎo)航精度。大模型通過在海量數(shù)據(jù)中學(xué)習(xí)到的豐富知識表示和復(fù)雜的特征提取能力，為機(jī)器人提供了更加智能和靈活的決策基礎(chǔ)。

4、在機(jī)器人語義導(dǎo)航與物品取送領(lǐng)域，現(xiàn)有技術(shù)多依賴于固定的地圖和路徑規(guī)劃算法，當(dāng)環(huán)境發(fā)生變化時(shí)，機(jī)器人往往無法及時(shí)適應(yīng)，導(dǎo)致導(dǎo)航失敗或路徑選擇不合理，影響任務(wù)完成效率和安全性。傳統(tǒng)的機(jī)器學(xué)習(xí)模型受限于訓(xùn)練數(shù)據(jù)的規(guī)模和多樣性，難以捕捉到人類語言的豐富內(nèi)涵和細(xì)微差別，機(jī)器人在理解自然語言指令時(shí)容易出現(xiàn)誤解或遺漏，無法準(zhǔn)確執(zhí)行復(fù)雜任務(wù)。另一些方法則利用機(jī)器學(xué)習(xí)技術(shù)提升機(jī)器人的環(huán)境感知和決策能力，但受限于模型規(guī)模和訓(xùn)練數(shù)據(jù)的限制，往往難以達(dá)到理想的性能。現(xiàn)有技術(shù)的決策過程基于預(yù)設(shè)的規(guī)則或算法，缺乏足夠的靈活性和創(chuàng)造性，在面對突發(fā)情況或需要靈活調(diào)整策略時(shí)，機(jī)器人難以做出最優(yōu)決策，影響任務(wù)完成質(zhì)量。系統(tǒng)架構(gòu)復(fù)雜，模塊間耦合度高，新增功能或修復(fù)錯誤需要較大的改動，增加了開發(fā)和維護(hù)成本，降低了系統(tǒng)的可擴(kuò)展性和可維護(hù)性。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種基于大模型的語義導(dǎo)航方法、物品取送方法和機(jī)器人。

2、一種基于大模型的語義導(dǎo)航方法，該方法包括：

3、獲取用戶的輸入文本。

4、采用大模型將輸入文本進(jìn)行語義理解和解析，并根據(jù)得到的語義解析結(jié)果生成相應(yīng)的任務(wù)指令，并控制機(jī)器人執(zhí)行任務(wù)指令。

5、導(dǎo)航系統(tǒng)獲取機(jī)器人周圍環(huán)境圖像，采用特征匹配方法來識別和跟蹤環(huán)境中的關(guān)鍵點(diǎn)，實(shí)現(xiàn)地自我定位，智能地規(guī)劃行動路線、規(guī)避障礙，并識別重要的導(dǎo)航標(biāo)志。

6、導(dǎo)航系統(tǒng)通過三維建圖方式重建出周圍環(huán)境的三維模型，根據(jù)三維模型理解周圍復(fù)雜的環(huán)境，實(shí)現(xiàn)精確的定位和導(dǎo)航。

7、在其中一個實(shí)施例中，大模型包括：編碼器和解碼器；采用大模型將輸入文本進(jìn)行語義理解和解析，并根據(jù)得到的語義解析結(jié)果生成相應(yīng)的任務(wù)指令，并控制機(jī)器人執(zhí)行任務(wù)指令，包括：

8、采用編碼器將輸入文本編碼為向量序列；向量序列包括文本的語義信息。

9、對向量序列采用解碼器結(jié)合上下文信息、語法規(guī)則以及先驗(yàn)知識，對上下文進(jìn)行理解和解析，得到語義解析結(jié)果。

10、根據(jù)語義解析結(jié)果生成相應(yīng)的任務(wù)指令，并控制機(jī)器人執(zhí)行任務(wù)指令。

11、在其中一個實(shí)施例中，特征匹配方法為superglub算法。

12、在其中一個實(shí)施例中，導(dǎo)航系統(tǒng)通過三維建圖方式重建出周圍環(huán)境的三維模型，根據(jù)三維模型理解周圍復(fù)雜的環(huán)境，實(shí)現(xiàn)精確的定位和導(dǎo)航，包括：

13、導(dǎo)航系統(tǒng)通過對激光雷達(dá)傳感器生成的點(diǎn)云數(shù)據(jù)進(jìn)行去噪、濾波、壓縮，從處理后的數(shù)據(jù)中提取出關(guān)鍵特征；關(guān)鍵特征包括邊緣、角點(diǎn)以及平面。

14、根據(jù)關(guān)鍵特征采用預(yù)設(shè)重建算法，重建出周圍環(huán)境的三維模型。

15、根據(jù)三維模型理解周圍復(fù)雜的環(huán)境，實(shí)現(xiàn)精確的定位和導(dǎo)航。

16、一種物品取送方法，該方法包括：

17、采用強(qiáng)化學(xué)習(xí)框架構(gòu)建智能體，智能體持續(xù)監(jiān)測來自機(jī)器人攜帶的傳感器和環(huán)境的實(shí)時(shí)狀態(tài)信息，根據(jù)實(shí)時(shí)狀態(tài)信息選擇并執(zhí)行最優(yōu)的抓取動作；智能體通過與目標(biāo)物體和機(jī)械臂交互學(xué)習(xí)檢測和抓取目標(biāo)的最優(yōu)策略；

18、機(jī)器人的導(dǎo)航系統(tǒng)通過上述的基于大模型的語義導(dǎo)航方法進(jìn)行導(dǎo)航，到達(dá)目的地。

19、機(jī)器人到達(dá)目的地后，導(dǎo)航系統(tǒng)獲取智能體檢測的實(shí)時(shí)狀態(tài)信息，并獲取目標(biāo)檢測算法檢測到的目標(biāo)，然后計(jì)算出目標(biāo)的三維坐標(biāo)，并根據(jù)攝像頭與機(jī)械手位置進(jìn)行矯正，導(dǎo)航系統(tǒng)將輸出信息發(fā)送至機(jī)械手控制系統(tǒng)，機(jī)械手控制系統(tǒng)對接收到的輸出信息進(jìn)行解析，生成指導(dǎo)機(jī)械手抓取目標(biāo)的控制指令；輸出信息包括路徑規(guī)劃結(jié)果、當(dāng)前位置信息以及環(huán)境參數(shù)。

20、機(jī)械手控制系統(tǒng)執(zhí)行控制指令，完成物品取送動作。

21、在其中一個實(shí)施例中，采用強(qiáng)化學(xué)習(xí)框架構(gòu)建智能體，智能體持續(xù)監(jiān)測來自機(jī)器人攜帶的傳感器和環(huán)境的實(shí)時(shí)狀態(tài)信息，根據(jù)實(shí)時(shí)狀態(tài)信息選擇并執(zhí)行最優(yōu)的抓取動作，包括：

22、將機(jī)器人的機(jī)械臂抓取物品的過程建模為馬爾科夫決策過程；所述馬爾科夫決策過程是一個包含四個元素的集合，其中，s為狀態(tài)空間，a為動作空間，為轉(zhuǎn)移函數(shù)，為獎勵函數(shù)，代表當(dāng)前狀態(tài)，為動作，代表智能體在當(dāng)前狀態(tài)執(zhí)行動作之后可能達(dá)到的新狀態(tài)。

23、采用強(qiáng)化學(xué)習(xí)框架構(gòu)建智能體。

24、在智能體訓(xùn)練過程中，智能體接收狀態(tài)信息，選擇最優(yōu)動作；環(huán)境根據(jù)動作效果給與獎勵或懲罰，智能體利用獎勵更新決策策略，迭代優(yōu)化直至能準(zhǔn)確抓取為止，得到最優(yōu)策略；狀態(tài)信息包括圖像和機(jī)械臂位置；最優(yōu)策略下的最優(yōu)狀態(tài)值函數(shù)滿足貝爾曼最優(yōu)方程：

25、；

26、最優(yōu)策略下最優(yōu)動作值函數(shù)滿足貝爾曼最優(yōu)方程：

27、；

28、其中，、分別為最優(yōu)狀態(tài)值函數(shù)和最優(yōu)動作值函數(shù)，表示折扣因子。

29、訓(xùn)練完成后，將智能體部署與實(shí)際環(huán)境，智能體持續(xù)監(jiān)測來自機(jī)器人攜帶的傳感器和環(huán)境的實(shí)時(shí)狀態(tài)信息，根據(jù)實(shí)時(shí)狀態(tài)信息選擇并執(zhí)行最優(yōu)的抓取動作。

30、在其中一個實(shí)施例中，機(jī)械手控制系統(tǒng)執(zhí)行控制指令，完成物品取送動作，包括：

31、在目標(biāo)抓取流程中，機(jī)械手控制系統(tǒng)將信息轉(zhuǎn)換至機(jī)械臂基坐標(biāo)系，確保定位準(zhǔn)確，隨后進(jìn)行路徑規(guī)劃，機(jī)械臂根據(jù)規(guī)劃路徑運(yùn)動，激活末端執(zhí)行器準(zhǔn)備抓取，抓取過程中實(shí)時(shí)反饋調(diào)整，抓取成功后，機(jī)械臂將物體投放到指定位置。

32、在其中一個實(shí)施例中，機(jī)器人到達(dá)目的地后，導(dǎo)航系統(tǒng)獲取智能體檢測的實(shí)時(shí)狀態(tài)信息，并獲取目標(biāo)檢測算法檢測到的目標(biāo)，然后計(jì)算出目標(biāo)的三維坐標(biāo)，并根據(jù)攝像頭與機(jī)械手位置進(jìn)行矯正，導(dǎo)航系統(tǒng)將輸出信息發(fā)送至機(jī)械手控制系統(tǒng)，機(jī)械手控制系統(tǒng)對接收到的輸出信息進(jìn)行解析，生成指導(dǎo)機(jī)械手抓取目標(biāo)的控制指令，包括：

33、機(jī)器人到達(dá)目的地后，導(dǎo)航系統(tǒng)獲取智能體檢測的實(shí)時(shí)狀態(tài)信息，并獲取目標(biāo)檢測算法檢測到的目標(biāo)，然后計(jì)算出目標(biāo)的三維坐標(biāo)，并根據(jù)攝像頭與機(jī)械手位置進(jìn)行矯正。

34、導(dǎo)航系統(tǒng)將路徑規(guī)劃結(jié)果、當(dāng)前位置信息以及環(huán)境參數(shù)發(fā)送至機(jī)械手控制系統(tǒng)。

35、機(jī)械手控制系統(tǒng)接收路徑規(guī)劃結(jié)果、當(dāng)前位置信息以及環(huán)境參數(shù)后進(jìn)行實(shí)時(shí)解析，并根據(jù)解析結(jié)果生成相應(yīng)的控制指令；控制指令包括描述機(jī)械手運(yùn)動軌跡、速度和力度的參數(shù)。

36、機(jī)械手控制系統(tǒng)將控制指令發(fā)送至機(jī)械手，指導(dǎo)機(jī)械手執(zhí)行具體的動作。

37、在執(zhí)行過程中，機(jī)械手會實(shí)時(shí)向機(jī)械手控制系統(tǒng)反饋執(zhí)行狀態(tài)和結(jié)果。

38、當(dāng)遇到障礙物或環(huán)境變化時(shí)，機(jī)械手控制系統(tǒng)根據(jù)機(jī)械手的反饋和檢測算法的新輸入，重新評估當(dāng)前情況，并調(diào)整控制指令和參數(shù)。

39、在其中一個實(shí)施例中，目標(biāo)檢測算法為yolov8算法。

40、一種機(jī)器人，機(jī)器人包括導(dǎo)航系統(tǒng)、三維建圖模塊、機(jī)械手控制系統(tǒng)以及機(jī)械臂，機(jī)器人采用上述物品取送方法進(jìn)行物品抓取。

41、上述基于大模型的語義導(dǎo)航方法、物品取送方法和機(jī)器人，所述方法采用大模型強(qiáng)大的學(xué)習(xí)能力提升環(huán)境適應(yīng)性，使得機(jī)器人能夠?qū)崟r(shí)感知并適應(yīng)復(fù)雜多變的環(huán)境，動態(tài)調(diào)整導(dǎo)航策略以應(yīng)對突發(fā)情況或未知障礙，高度的環(huán)境適應(yīng)性不僅提高了導(dǎo)航的準(zhǔn)確性，還增強(qiáng)了機(jī)器人在各種場景下的魯棒性。其次，大模型能夠更深入地解析人類語言的語義和上下文信息，從而準(zhǔn)確理解用戶的指令意圖，使得機(jī)器人在執(zhí)行任務(wù)時(shí)能夠更加貼近用戶的實(shí)際需求，提高任務(wù)完成的準(zhǔn)確性和滿意度。再者，大模型在復(fù)雜場景下的決策能力使得機(jī)器人能夠靈活應(yīng)對各種突發(fā)情況和任務(wù)需求，快速做出合理且高效的決策，這不僅提升了機(jī)器人的工作效率，還增強(qiáng)了其應(yīng)對不確定性因素的能力。