本發(fā)明涉及無人機(jī)通信，尤其涉及一種應(yīng)急救援任務(wù)下的無人機(jī)集群拓?fù)渲貥?gòu)方法。

背景技術(shù)：

1、隨著無人機(jī)技術(shù)的快速發(fā)展，無人機(jī)由于其適應(yīng)能力強(qiáng)、成本低、配置靈活的特點(diǎn)，在農(nóng)業(yè)植保、快遞運(yùn)輸以及災(zāi)難救援等領(lǐng)域得到廣泛應(yīng)用。塌陷、火災(zāi)、地震等災(zāi)害事故發(fā)生時(shí)，首要的任務(wù)就是獲取災(zāi)情信息，運(yùn)用無人機(jī)建立臨時(shí)通信網(wǎng)絡(luò)，為后續(xù)救援提供信息支撐。然而由于復(fù)雜惡劣的災(zāi)后環(huán)境，無人機(jī)節(jié)點(diǎn)常常失效。不僅會影響應(yīng)急救援區(qū)域的通信質(zhì)量，還會將網(wǎng)絡(luò)分割成多個(gè)不連通的分區(qū)，影響網(wǎng)絡(luò)中節(jié)點(diǎn)之間數(shù)據(jù)交換，甚至導(dǎo)致網(wǎng)絡(luò)癱瘓，嚴(yán)重影響了整個(gè)無人機(jī)集群間的協(xié)同能力。

2、當(dāng)無人機(jī)中繼網(wǎng)絡(luò)因節(jié)點(diǎn)失效而癱瘓時(shí)，應(yīng)當(dāng)進(jìn)行拓?fù)渲貥?gòu)。通過調(diào)整無人機(jī)位置，合理優(yōu)化無人機(jī)到地面站的網(wǎng)絡(luò)拓?fù)?，為每架無人機(jī)規(guī)劃一條到地面站的信息傳輸路徑，使網(wǎng)絡(luò)具有更高的性能的同時(shí)恢復(fù)連通性，減少無人機(jī)節(jié)點(diǎn)失效對無人機(jī)協(xié)同工作的影響?？紤]到無人機(jī)動(dòng)態(tài)拓?fù)湓斐傻慕饪臻g規(guī)模大、解情況復(fù)雜且眾多等問題，傳統(tǒng)的啟發(fā)式算法求解困難，因此尋找合適的解決方法值得密切關(guān)注。

3、現(xiàn)有的拓?fù)渲貥?gòu)問題，主要集中在無線傳感器領(lǐng)域。由于能量耗盡以及惡劣環(huán)境的影響，傳感器節(jié)點(diǎn)容易出現(xiàn)故障導(dǎo)致網(wǎng)絡(luò)不連通，根據(jù)網(wǎng)絡(luò)破壞規(guī)模的不同分為大規(guī)模故障修復(fù)算法和小規(guī)模故障修復(fù)算法。在小規(guī)模故障修復(fù)算法中，又可以分為區(qū)分節(jié)點(diǎn)重要度算法和不區(qū)分節(jié)點(diǎn)重要度算法兩類，兩者都是通過改變現(xiàn)存無人機(jī)位置來修復(fù)網(wǎng)絡(luò)，前者側(cè)重于盡快恢復(fù)網(wǎng)絡(luò)覆蓋率但增加了信息傳輸開銷，后者側(cè)重于網(wǎng)絡(luò)連通性的修復(fù)但降低了效率。在大規(guī)模故障修復(fù)算法中，主要依靠增加中繼節(jié)點(diǎn)來完成網(wǎng)絡(luò)修復(fù)，大量研究集中在如何減少中繼節(jié)點(diǎn)數(shù)量，如何提高重連后的網(wǎng)絡(luò)魯棒性等問題。

4、目前專門針對無人機(jī)拓?fù)渲貥?gòu)技術(shù)的相關(guān)研究較少，無人機(jī)集群通信網(wǎng)絡(luò)與傳感器網(wǎng)絡(luò)在應(yīng)用需求和場景方面存在差異，無人機(jī)網(wǎng)絡(luò)動(dòng)態(tài)拓?fù)渑c機(jī)間協(xié)同使得無線傳感器網(wǎng)絡(luò)拓?fù)湫迯?fù)方法難以直接應(yīng)用在無人機(jī)集群通信網(wǎng)絡(luò)中。因此，如何根據(jù)無人機(jī)集群特點(diǎn)設(shè)計(jì)通信效率高的拓?fù)渲貥?gòu)方法顯得尤為重要。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述的分析，本發(fā)明實(shí)施例旨在提供一種應(yīng)急救援任務(wù)下的無人機(jī)集群拓?fù)渲貥?gòu)方法，用以解決現(xiàn)有未考慮無人機(jī)協(xié)同通信而導(dǎo)致拓?fù)渲貥?gòu)后通信效率低的問題。

2、本發(fā)明實(shí)施例提供了一種應(yīng)急救援任務(wù)下的無人機(jī)集群拓?fù)渲貥?gòu)方法，包括以下步驟：

3、基于多智能體強(qiáng)化學(xué)習(xí)算法，構(gòu)建并訓(xùn)練拓?fù)渲貥?gòu)網(wǎng)絡(luò)，拓?fù)渲貥?gòu)網(wǎng)絡(luò)包括：全局混合網(wǎng)絡(luò)以及與各無人機(jī)對應(yīng)的局部混合網(wǎng)絡(luò)和代理網(wǎng)絡(luò)；代理網(wǎng)絡(luò)用于接收對應(yīng)無人機(jī)各時(shí)刻的局部狀態(tài)信息和對應(yīng)的上一時(shí)刻動(dòng)作并輸出各時(shí)刻動(dòng)作的動(dòng)作函數(shù)值，局部混合網(wǎng)絡(luò)用于接收對應(yīng)無人機(jī)的動(dòng)作函數(shù)值并輸出局部聯(lián)合動(dòng)作值，全局混合網(wǎng)絡(luò)用于接收所有無人機(jī)的局部聯(lián)合動(dòng)作值并輸出集群聯(lián)合動(dòng)作值；

4、當(dāng)無人機(jī)發(fā)生故障時(shí)，獲取未受損無人機(jī)的局部狀態(tài)信息與各自上一時(shí)刻動(dòng)作，傳入對應(yīng)訓(xùn)練好的代理網(wǎng)絡(luò)中，輸出對應(yīng)無人機(jī)當(dāng)前時(shí)刻各動(dòng)作的動(dòng)作函數(shù)值，按ε-貪婪策略選擇對應(yīng)的動(dòng)作進(jìn)行拓?fù)渲貥?gòu)。

5、基于上述方法的進(jìn)一步改進(jìn)，代理網(wǎng)絡(luò)根據(jù)無人機(jī)的動(dòng)作被劃分為移動(dòng)子代理網(wǎng)絡(luò)和傳輸子代理網(wǎng)絡(luò)，分別用于選擇無人機(jī)的移動(dòng)方向和數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)；移動(dòng)方向包括：向東、向南、向西、向北和懸停，數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)是無人機(jī)通信范圍內(nèi)的鄰居節(jié)點(diǎn)。

6、基于上述方法的進(jìn)一步改進(jìn)，移動(dòng)子代理網(wǎng)絡(luò)和傳輸子代理網(wǎng)絡(luò)輸出兩個(gè)動(dòng)作函數(shù)值，同時(shí)傳入對應(yīng)的無人機(jī)的局部混合網(wǎng)絡(luò)中，輸出無人機(jī)的局部聯(lián)合動(dòng)作值；局部混合網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)是由以無人機(jī)的局部狀態(tài)信息作為輸入的超網(wǎng)絡(luò)產(chǎn)生。

7、基于上述方法的進(jìn)一步改進(jìn)，全局混合網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)是由以無人機(jī)集群的全局狀態(tài)信息作為輸入的超網(wǎng)絡(luò)產(chǎn)生。

8、基于上述方法的進(jìn)一步改進(jìn)，各無人機(jī)的移動(dòng)子代理網(wǎng)絡(luò)和傳輸子代理網(wǎng)絡(luò)均具有相同的獎(jiǎng)勵(lì)函數(shù)，用于計(jì)算各無人機(jī)執(zhí)行動(dòng)作后獲得的獎(jiǎng)勵(lì)值；獎(jiǎng)勵(lì)值包括：數(shù)據(jù)包傳輸獎(jiǎng)勵(lì)值、約束條件獎(jiǎng)勵(lì)值、重構(gòu)代價(jià)獎(jiǎng)勵(lì)值和傳輸結(jié)束獎(jiǎng)勵(lì)值。

9、基于上述方法的進(jìn)一步改進(jìn)，數(shù)據(jù)包傳輸獎(jiǎng)勵(lì)值是每一跳數(shù)據(jù)包傳輸時(shí)間的相反數(shù)，約束條件獎(jiǎng)勵(lì)值是違反的約束條件對應(yīng)的預(yù)置負(fù)獎(jiǎng)勵(lì)值，重構(gòu)代價(jià)獎(jiǎng)勵(lì)值是選擇的移動(dòng)方向?qū)?yīng)的預(yù)置負(fù)獎(jiǎng)勵(lì)值，傳輸結(jié)束獎(jiǎng)勵(lì)值是數(shù)據(jù)包傳輸至地面基站的預(yù)置正獎(jiǎng)勵(lì)值。

10、基于上述方法的進(jìn)一步改進(jìn)，數(shù)據(jù)包傳輸時(shí)間是以最小化數(shù)據(jù)包傳輸時(shí)間為優(yōu)化目標(biāo)，表示如下：

11、

12、其中，表示數(shù)據(jù)包從節(jié)點(diǎn)km到節(jié)點(diǎn)km+1這一跳的傳輸時(shí)間，m表示數(shù)據(jù)包傳輸路徑ξ的總跳數(shù)，w表示各無人機(jī)的飛行位置的集合。

13、基于上述方法的進(jìn)一步改進(jìn)，數(shù)據(jù)包傳輸還滿足以下約束條件：無人機(jī)在相鄰時(shí)刻間的位置間距為飛行速度和時(shí)間間隔的乘積；數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)在無人機(jī)通信范圍內(nèi)；數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)的剩余隊(duì)列容量大于等于數(shù)據(jù)包的大??；無人機(jī)在時(shí)間段內(nèi)各時(shí)刻執(zhí)行動(dòng)作消耗的能量之和小于等于無人機(jī)的總能量；無人機(jī)在各時(shí)刻的位置在預(yù)置飛行區(qū)域范圍內(nèi)。

14、基于上述方法的進(jìn)一步改進(jìn)，每一跳數(shù)據(jù)包傳輸時(shí)間通過以下步驟計(jì)算：

15、根據(jù)數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)類型和傳輸距離，計(jì)算出直傳鏈路的路徑損耗；

16、根據(jù)路徑損耗值、無人機(jī)發(fā)射功率和噪聲功率，計(jì)算出直傳鏈路的信噪比；

17、根據(jù)信噪比和無人機(jī)帶寬，計(jì)算出直傳鏈路的傳輸速率；

18、根據(jù)每一跳數(shù)據(jù)包的大小和傳輸速率，計(jì)算出數(shù)據(jù)包傳輸時(shí)間。

19、基于上述方法的進(jìn)一步改進(jìn)，根據(jù)數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)類型和傳輸距離，計(jì)算出直傳鏈路的路徑損耗，包括：

20、如果數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)類型是地面基站，則根據(jù)所處環(huán)境、無人機(jī)高度和傳輸距離，計(jì)算出視距鏈路和非視距鏈路的概率；根據(jù)傳輸距離、載波頻率、光速和非視距鏈路的額外損耗，計(jì)算出視距鏈路和非視距鏈路的路徑損耗；根據(jù)視距鏈路和非視距鏈路的概率及路徑損耗，計(jì)算出直傳鏈路的路徑損耗；

21、如果數(shù)據(jù)包下一跳傳輸節(jié)點(diǎn)類型是無人機(jī)，則根據(jù)傳輸距離、載波頻率和光速，計(jì)算出視距鏈路的路徑損耗，作為直傳鏈路的路徑損耗。

22、與現(xiàn)有技術(shù)相比，本發(fā)明至少可實(shí)現(xiàn)如下有益效果之一：針對無人機(jī)集群通信網(wǎng)絡(luò)應(yīng)急救援的場景，綜合考慮無人機(jī)運(yùn)動(dòng)特點(diǎn)和通信任務(wù)需求，基于多智能體強(qiáng)化學(xué)習(xí)算法，使無人機(jī)的代理網(wǎng)絡(luò)只需要局部信息，降低了問題搜索空間；利用分治的思想將每個(gè)無人機(jī)的代理網(wǎng)絡(luò)分解成兩個(gè)子代理來降低動(dòng)作空間，一個(gè)負(fù)責(zé)無人機(jī)移動(dòng)決策，一個(gè)負(fù)責(zé)數(shù)據(jù)包下一跳傳輸選擇決策，更好地實(shí)現(xiàn)無人機(jī)間的協(xié)同；以最小化數(shù)據(jù)包的傳輸時(shí)間為優(yōu)化目標(biāo)，從數(shù)據(jù)包傳輸時(shí)間、約束條件、重構(gòu)代價(jià)和傳輸結(jié)束四個(gè)方面計(jì)算無人機(jī)的動(dòng)作獎(jiǎng)勵(lì)，修復(fù)拓?fù)涞耐瑫r(shí)考慮無人機(jī)任務(wù)需求，進(jìn)一步優(yōu)化通信網(wǎng)絡(luò)性能，降低拓?fù)涫軗p對無人機(jī)協(xié)同通信的影響，提高了拓?fù)渲貥?gòu)的通信效率。

23、本發(fā)明中，上述各技術(shù)方案之間還可以相互組合，以實(shí)現(xiàn)更多的優(yōu)選組合方案。本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分優(yōu)點(diǎn)可從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過說明書以及附圖中所特別指出的內(nèi)容中來實(shí)現(xiàn)和獲得。