本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種用于多智能體系統(tǒng)路徑查找的分布式深度q學(xué)習(xí)方法。

背景技術(shù)：

1、多智能體系統(tǒng)是指由多個相互作用的智能體組成的系統(tǒng)，每個智能體都具有一定的自主性和決策能力，通過感知環(huán)境，與其他智能體進行交互，并做出決策，執(zhí)行動作。在多智能體系統(tǒng)中，智能體需要協(xié)同工作，并根據(jù)自身的目標和策略采取行動，以完成特定的任務(wù)，如路徑查找、資源分配等。這種多智能體系統(tǒng)在許多的實際應(yīng)用中都有廣泛的需求，如無人駕駛車隊、無人機群、智能電網(wǎng)等。

2、當前針對多智能體系統(tǒng)路徑查找的技術(shù)主要分為兩類：一類是基于傳統(tǒng)算法的方法，例如圖搜索算法、啟發(fā)式搜索算法等；另一類是基于深度學(xué)習(xí)和強化學(xué)習(xí)的方法，例如建立深度學(xué)習(xí)模型用于提取空間特征構(gòu)建環(huán)境、利用強化學(xué)習(xí)算法學(xué)習(xí)智能體的決策策略優(yōu)化全局目標、通過設(shè)置獨立的q表為每個智能體進行學(xué)習(xí)和決策的同時由中央決策者來協(xié)調(diào)智能體之間的合作策略等方法。

3、在目前的實際應(yīng)用中發(fā)現(xiàn)，采用上述這兩類方法對多智能體系統(tǒng)進行路徑查找，具有以下不足：

4、①高計算復(fù)雜度與大規(guī)模環(huán)境適應(yīng)性差：

5、傳統(tǒng)基于算法的路徑查找方法，例如a*搜索等，需要大量的預(yù)處理時間和存儲空間，且隨著環(huán)境規(guī)模的增加，圖的規(guī)模也會指數(shù)級增長，從而使計算復(fù)雜度大大提高。這限制了它們在大規(guī)模環(huán)境中的效率。在這之后，還需要使用迭代優(yōu)化的方法不斷改進路徑，這也需要大量的計算資源。多智能體環(huán)境下，這種方法在設(shè)計算法時需要考慮協(xié)同、分層等問題，這進一步增加了計算量；

6、②訓(xùn)練樣本效率低且難以適應(yīng)復(fù)雜環(huán)境：

7、基于深度學(xué)習(xí)的路徑查找方法依賴大量的樣本訓(xùn)練，這種方法在收集足夠的訓(xùn)練樣本時會遇到困難，尤其是在復(fù)雜動態(tài)環(huán)境中。此外，該方法的樣本效率低，直接影響了模型訓(xùn)練的時間成本，不利于實時決策和規(guī)劃；

8、③易陷入局部最優(yōu)且規(guī)劃全局路徑困難：

9、基于強化學(xué)習(xí)的方法在復(fù)雜環(huán)境下容易陷入局部最優(yōu)解，而無法找到全局最優(yōu)策略。多智能體系統(tǒng)中，由于個體智能體目標的不一致性，難以協(xié)同達成規(guī)劃全局最優(yōu)路徑；

10、④分布式多智能體系統(tǒng)協(xié)同困難：

11、當前的技術(shù)中，智能體之間缺乏有效的信息交互和協(xié)同機制，每個智能體都是基于局部信息進行獨立決策，這容易導(dǎo)致沖突。并且，智能體無法利用其他智能體的信息來幫助自己學(xué)習(xí)，這限制了其提高樣本效率的可能性；

12、⑤對復(fù)雜動態(tài)環(huán)境的應(yīng)對能力弱：

13、現(xiàn)有技術(shù)在面對環(huán)境動態(tài)變化時，缺乏快速的自適應(yīng)能力。它們依賴于預(yù)先建模和大量的訓(xùn)練，優(yōu)化頻繁變化的環(huán)境中的長期規(guī)劃效果不佳。此外，這些技術(shù)的魯棒性較差，容易被環(huán)境噪聲干擾，實時性也較差，難以對復(fù)雜動態(tài)環(huán)境中的頻繁變化做出快速反應(yīng)。

14、由于上述這些不足的存在，現(xiàn)有技術(shù)在處理大規(guī)模、復(fù)雜、動態(tài)環(huán)境中的路徑查找問題的準確性、可靠性和效率均遠遠不滿足實際的應(yīng)用要求。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是針對現(xiàn)有技術(shù)對應(yīng)的不足，提供一種用于多智能體系統(tǒng)路徑查找的分布式深度q學(xué)習(xí)方法，結(jié)合深度學(xué)習(xí)和強化學(xué)習(xí)的優(yōu)點，允許每個智能體進行分布式計算并參與全局優(yōu)化，在處理大規(guī)模、復(fù)雜、動態(tài)環(huán)境中的路徑查找問題時，使準確性、可靠性和效率均能夠達到實際應(yīng)用要求。

2、本發(fā)明的目的是采用下述方案實現(xiàn)的：一種用于多智能體系統(tǒng)路徑查找的分布式深度q學(xué)習(xí)方法，包括以下步驟：

3、1)構(gòu)建各智能體的深度q網(wǎng)絡(luò)，結(jié)合ucb策略，形成多智能體系統(tǒng)對應(yīng)的d-dmaql模型，用于計算各智能體當前時刻的q值，以及下一刻的最大q值；

4、2)建立d-dmaql訓(xùn)練模塊，用于d-dmaql模型的訓(xùn)練；

5、3)建立推理決策模塊，用于根據(jù)各智能體當前時刻的q值，以及對應(yīng)的環(huán)境狀態(tài)、動作計算各智能體的決策值；

6、4)建立全局優(yōu)化器，用于根據(jù)各智能體各個時刻的q值，以及對應(yīng)的環(huán)境狀態(tài)、動作、獎勵、決策值，計算d-dmaql模型的全局損失函數(shù)；

7、5)利用訓(xùn)練好的d-dmaql模型，結(jié)合全局損失函數(shù)，進行多智能體系統(tǒng)的路徑查找。

8、優(yōu)選地，所述d-dmaql模型的具體建立過程還包括：

9、1-1)定義多智能系統(tǒng)所處的環(huán)境狀態(tài)類型；

10、1-2)定義多智能系統(tǒng)中各智能體的動作類型，形成多智能系統(tǒng)的合法動作集合；

11、1-3)設(shè)置狀態(tài)轉(zhuǎn)移函數(shù)，用于利用智能體的當前狀態(tài)確定下一時刻的狀態(tài)；

12、1-4)設(shè)置獎勵函數(shù)，用于引導(dǎo)各智能體完成任務(wù)。

13、優(yōu)選地，所述環(huán)境狀態(tài)類型包括各智能體當前時刻的所處位置，各智能體當前時刻的目標位置，多智能系統(tǒng)當前時刻的位置向量，各智能體當前時刻的實際速度，各智能體當前時刻的實際加速度，各智能體累積的能量消耗。

14、優(yōu)選地，所述動作類型包括給定環(huán)境狀態(tài)下，各智能體從當前頂點移動到拎一個相鄰頂點的過程。

15、優(yōu)選地，所述狀態(tài)轉(zhuǎn)移函數(shù)如下所示：

16、si,t+1＝f(si,t，ai,t)

17、式中，si,t+1為智能體i在t+1時刻所處的狀態(tài)，si,t為智能體i在t時刻所處的狀態(tài)，ai,t為智能體i在t時刻，狀態(tài)為si,t時采取的動作。

18、優(yōu)選地，所述獎勵函數(shù)如下所示：

19、ri,t＝g(si,t，ai,t，si,t+1)

20、式中，ri,t為智能體i在t時刻獲得的獎勵，si,t+1為智能體i在t+1時刻所處的狀態(tài)，si,t為智能體i在t時刻所處的狀態(tài)，ai,t為智能體i在t時刻，狀態(tài)為si,t時采取的動作。

21、優(yōu)選地，所述深度q網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)，該卷積神經(jīng)網(wǎng)絡(luò)包括一個輸入層，多個隱藏層，以及一個輸出層。

22、優(yōu)選地，所述d-dmaql模型的全局損失函數(shù)如下所示：

23、

24、式中，l(θ)為d-dmaql模型的全局損失函數(shù)，用于衡量所有智能體在當前訓(xùn)練步驟中的總體誤差。通過最小化該函數(shù)，可以優(yōu)化所有智能體的網(wǎng)絡(luò)參數(shù)，使其預(yù)測的q值更接近目標q值；θ為所有智能體q網(wǎng)絡(luò)參數(shù)的集合；n為智能體數(shù)量；σ為對所有智能體的損失求和，表示所有智能體的誤差都需要被考慮并最小化；i為智能體索引，表示當前計算的是第i個智能體的損失；t為時間步索引，表示當前計算的是t時刻的損失；ri,t為智能體i在t時刻獲得的獎勵，表示智能體在當前狀態(tài)下采取某個動作后獲得的即時反饋；γ為折扣因子，折扣因子(0<γ≤1)，用于平衡即時獎勵和未來獎勵的重要性。γ越接近1，表示未來獎勵越重要；si,t為智能體i在t時刻所處的狀態(tài)；ai,t為智能體i在t時刻，狀態(tài)為si,t時采取的動作；si,t+1為智能體i在t+1時刻所處的狀態(tài)，也就是在狀態(tài)si,t下采取動作ai,t后的新狀態(tài)；a′i,t+1為智能體i在t+1時刻，狀態(tài)為si,t+1下所有可能采取的動作；為智能體i的q網(wǎng)絡(luò)在t時刻的參數(shù)，用于估計當前狀態(tài)-動作對(si,t，ai,t)的q值；θ′t為目標q網(wǎng)絡(luò)在t時刻的參數(shù)，用于估計目標q值，保持相對穩(wěn)定，避免訓(xùn)練過程中的波動。所有智能體共用同一個目標q網(wǎng)絡(luò)；q(s,a；θ)為使用參數(shù)為θ的q網(wǎng)絡(luò)，估計在狀態(tài)s下采取動作a時的q值。

25、本發(fā)明的優(yōu)點在于以下幾點：

26、①環(huán)境狀態(tài)和動作定義的豐富性

27、與傳統(tǒng)的智能體環(huán)境狀態(tài)和動作定義相比，本發(fā)明通過包括智能體的位置、目標位置、速度、加速度和能量消耗等多個因素，提供了更豐富的信息。這一創(chuàng)新定義賦予了智能體在地圖中的高度靈活性，有助于更有效地規(guī)劃路徑，超越了以往的單一或有限參數(shù)定義。

28、②基于深度q網(wǎng)絡(luò)的路徑查找

29、本發(fā)明提出了一種深度q網(wǎng)絡(luò)的路徑查找方法，相對于其他專利中可能使用的傳統(tǒng)算法，具有處理高維度和連續(xù)狀態(tài)問題的能力，提高了學(xué)習(xí)效率和查找準確性。這一方法在大規(guī)模、復(fù)雜、動態(tài)環(huán)境中的路徑查找任務(wù)上表現(xiàn)出顯著的優(yōu)越性。

30、③分布式智能體決策機制

31、通過深度q網(wǎng)絡(luò)和upper?confidence?bound(ucb)策略的結(jié)合，本發(fā)明提供了一種全新的分布式智能體決策機制。與其他專利中的集中式?jīng)Q策方法相比，這一機制增強了探索空間，平衡了探索和利用，提高了決策效率和準確性，為分布式智能體決策提供了一種更先進的解決方案。

32、④全局優(yōu)化與分布式計算的協(xié)同工作模式

33、與傳統(tǒng)的局部優(yōu)化或集中式計算方法相比，本發(fā)明的全局優(yōu)化與分布式計算設(shè)計確保了計算效率的同時保證了決策的有效性。這種設(shè)計的創(chuàng)新性在于智能體與全局優(yōu)化器的協(xié)同機制，具有重要的理論價值和實踐意義，并在實踐中展現(xiàn)了強大的性能。

34、⑤訓(xùn)練模塊的效率和穩(wěn)定性

35、本發(fā)明通過引入經(jīng)驗回放、固定q目標、梯度裁剪和學(xué)習(xí)率衰減等技術(shù)，顯著提高了訓(xùn)練的效率和穩(wěn)定性，相對于其它專利可能僅采用基本訓(xùn)練算法的方法，展現(xiàn)了明顯優(yōu)勢。

36、⑥推理模塊的智能剪枝策略與協(xié)調(diào)

37、與其他多智能體強化學(xué)習(xí)方法相比，本發(fā)明引入了獨特的智能剪枝策略和動態(tài)分布式協(xié)調(diào)策略，以減少搜索空間并提高計算效率。這些原創(chuàng)設(shè)計使得該系統(tǒng)在處理大規(guī)模多智能體強化學(xué)習(xí)問題時具有高效性和魯棒性，為相關(guān)研究領(lǐng)域提供了新的方向和思維模式。

38、總而言之，本發(fā)明在多個方面展現(xiàn)了與其他專利和方法相比的明顯優(yōu)勢和創(chuàng)新之處，無論是在環(huán)境狀態(tài)和動作定義，路徑查找，分布式?jīng)Q策，全局與分布式協(xié)同，訓(xùn)練穩(wěn)定性還是推理效率方面都顯示了卓越的性能和廣闊的應(yīng)用前景。

39、名詞解釋

40、深度學(xué)習(xí)：通過構(gòu)建深層神經(jīng)網(wǎng)絡(luò)，能夠處理高維度和復(fù)雜數(shù)據(jù)，自動地從數(shù)據(jù)中學(xué)習(xí)到有用的特征。

41、強化學(xué)習(xí)：通過讓智能體與環(huán)境交互，學(xué)習(xí)到一個策略，使得某種長期獎勵最大化，能夠處理序列決策問題。

42、圖搜索算法：在使用傳統(tǒng)算法的方法中，首先需要將環(huán)境轉(zhuǎn)化為圖形模型，其中節(jié)點代表可能的位置，邊則代表智能體可行走的路徑。進一步在此圖形模型上應(yīng)用如廣度優(yōu)先搜索、深度優(yōu)先搜索以及a*搜索等圖搜索算法，尋找從起點至目標的路徑。例如，在a*搜索算法中，它結(jié)合了啟發(fā)式函數(shù)和路徑成本來尋找從起始點到目標點的最短路徑。對于每一個節(jié)點，a*搜索算法計算的f值等于從起始點到該節(jié)點的實際距離g值以及從該節(jié)點到目標點的預(yù)估距離h值之和。

43、啟發(fā)式搜索算法：在找到初步可行的路徑后，需要利用啟發(fā)式搜索算法，如最優(yōu)優(yōu)先搜索、迭代加深a*搜索等，進一步對路徑進行優(yōu)化。以迭代加深a*搜索為例，此算法通過限制搜索深度，并采用深度優(yōu)先搜索策略，有效地結(jié)合了深度優(yōu)先搜索的內(nèi)存效率和廣度優(yōu)先搜索的完整性。每當搜索失敗，就增加搜索深度的限制，直至找到解決方案。

44、q值：在強化學(xué)習(xí)中，q值是一個非常核心的概念，用來表示在給定的狀態(tài)下，采取某個特定動作所期望獲得的總回報。q值基本上是一種衡量“動作價值”的方式，即在當前狀態(tài)采取一個動作能帶來多大價值。

45、q表：q表是強化學(xué)習(xí)的智慧寶典，它以表格形式記錄了智能體在面對各種狀態(tài)時，采取不同行動所預(yù)期的長期收益(q值)。這本寶典的每一行代表智能體可能遇到的一個狀態(tài)，每一列代表智能體在該狀態(tài)下可選的一個行動，而每個單元格中存儲的q值，則指引著智能體在面對特定狀態(tài)時，應(yīng)該選擇哪個行動才能獲得最大的長期回報。通過不斷地探索環(huán)境、嘗試行動并更新q值，智能體最終能夠在這本智慧寶典的指引下，學(xué)會在各種復(fù)雜環(huán)境中做出最優(yōu)決策，實現(xiàn)目標最大化。