本發(fā)明涉及無(wú)線通信的，特別是涉及一種天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法及系統(tǒng)、存儲(chǔ)介質(zhì)及用戶終端。

背景技術(shù)：

1、全球泛在連接是第六代無(wú)線通信(6th?generation?mobile?communicationtechnology，6g)的一個(gè)重要目標(biāo)和要求。6g網(wǎng)絡(luò)旨在實(shí)現(xiàn)無(wú)處不在的高速連接，不僅在傳統(tǒng)的地面通信場(chǎng)景中，還包括海洋、空中、偏遠(yuǎn)地區(qū)等地。衛(wèi)星通信網(wǎng)絡(luò)憑借其廣域覆蓋和靈活性的特點(diǎn)被作為是最具潛力的解決方案。

2、作為非地面通信平臺(tái)，低地球軌道(low?earth?orbit，leo)衛(wèi)星網(wǎng)絡(luò)相比中地球軌道和地球同步軌道衛(wèi)星網(wǎng)絡(luò)具有許多優(yōu)勢(shì)，包括低延遲、較高的信號(hào)強(qiáng)度和較低的部署成本。然而，leo衛(wèi)星的高速運(yùn)動(dòng)導(dǎo)致其地面覆蓋區(qū)域不斷變化，衛(wèi)星與用戶設(shè)備(userequipment，ue)之間的通信鏈路無(wú)法長(zhǎng)時(shí)間維持，因此需要頻繁的衛(wèi)星切換以維持長(zhǎng)時(shí)間的通信。與此同時(shí)，隨著全球leo衛(wèi)星網(wǎng)絡(luò)的發(fā)展，在軌leo衛(wèi)星的數(shù)量不斷增加，導(dǎo)致衛(wèi)星覆蓋區(qū)域嚴(yán)重重疊，進(jìn)一步增加了天地一體化通信網(wǎng)絡(luò)用戶移動(dòng)性管理的難度。因此，對(duì)于高效且穩(wěn)定的衛(wèi)星切換策略的需求越來(lái)越迫切，這使得相關(guān)研究工作至關(guān)重要。

3、相關(guān)的研究工作主要集中在切換策略算法的設(shè)計(jì)與優(yōu)化。傳統(tǒng)切換策略算法是通過(guò)測(cè)量值觸發(fā)判決并執(zhí)行切換的。這類算法通常使用接收信號(hào)強(qiáng)度、ue與衛(wèi)星之間的距離以及ue與衛(wèi)星之間的仰角等指標(biāo)來(lái)做出切換決策。另外，傳統(tǒng)切換策略算法也會(huì)綜合考慮多個(gè)屬性進(jìn)行切換決策，或是在切換策略中引入圖論或博弈論等模型概念，從而提升切換成功率，避免不必要的切換。然而，傳統(tǒng)切換策略算法并不能很好地應(yīng)對(duì)leo衛(wèi)星的動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)或復(fù)雜多元的應(yīng)用場(chǎng)景。

4、近年來(lái)，人工智能(artificial?intelligence,ai)技術(shù)引起了廣泛的關(guān)注。首先，ai技術(shù)具有十分出色的高維數(shù)據(jù)處理和分析能力和模型泛化能力?，F(xiàn)階段的相關(guān)研究主要通過(guò)引入ai算法模型，如強(qiáng)化學(xué)習(xí)、深度q網(wǎng)絡(luò)，解決衛(wèi)星切換決策問(wèn)題，并且將提升切換的準(zhǔn)確性和系統(tǒng)效率作為算法目標(biāo)。在這一過(guò)程中引入神經(jīng)網(wǎng)絡(luò)提升算法效率和性能。然而，現(xiàn)有的方法引入了過(guò)于復(fù)雜或冗余的神經(jīng)網(wǎng)絡(luò)，延長(zhǎng)學(xué)習(xí)時(shí)間，降低算法效率，也增加了系統(tǒng)復(fù)雜性。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法及系統(tǒng)、存儲(chǔ)介質(zhì)及用戶終端，基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)算法，有效解決了衛(wèi)星通信頻繁切換的問(wèn)題。

2、第一方面，本發(fā)明提供一種天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，所述方法包括以下步驟：構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)；獲取用戶終端的狀態(tài)空間、動(dòng)作和獎(jiǎng)勵(lì)函數(shù)；將所述用戶終端的狀態(tài)空間、動(dòng)作和獎(jiǎng)勵(lì)函數(shù)輸入所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，獲取所述動(dòng)作對(duì)應(yīng)的近似q值；基于所述近似q值最大的動(dòng)作對(duì)應(yīng)的衛(wèi)星進(jìn)行衛(wèi)星切換。

3、在第一方面的一種實(shí)現(xiàn)方式中，所述狀態(tài)空間為其中r、η和l分別表示信噪比、剩余服務(wù)時(shí)間和衛(wèi)星負(fù)載，n表示狀態(tài)空間的時(shí)隙維度；所述動(dòng)作為a，a∈{1,2,…,s}，表示目標(biāo)切換衛(wèi)星。

4、在第一方面的一種實(shí)現(xiàn)方式中，所述獎(jiǎng)勵(lì)函數(shù)為其中c1表示常數(shù)，c2、c3和c4表示權(quán)重參數(shù)，rn、ηn和ln分別表示時(shí)隙n時(shí)用戶終端的信噪比、剩余服務(wù)時(shí)間和衛(wèi)星負(fù)載。

5、在第一方面的一種實(shí)現(xiàn)方式中，c1、c2、c3和c4分別取值為25、1.6、0.8和0.5。

6、在第一方面的一種實(shí)現(xiàn)方式中，所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層；所述狀態(tài)輸入所述輸入層，所述隱藏層根據(jù)所述狀態(tài)、所述動(dòng)作和所述獎(jiǎng)勵(lì)函數(shù)計(jì)算對(duì)應(yīng)的近似q值，所述輸出層輸出所述近似q值。

7、在第一方面的一種實(shí)現(xiàn)方式中，所述隱藏層包含64個(gè)節(jié)點(diǎn)。

8、在第一方面的一種實(shí)現(xiàn)方式中，所述隱藏層根據(jù)所述狀態(tài)、所述動(dòng)作和所述獎(jiǎng)勵(lì)函數(shù)計(jì)算對(duì)應(yīng)的近似q值包括：

9、每個(gè)隱藏層節(jié)點(diǎn)計(jì)算所述狀態(tài)與隱藏層中心節(jié)點(diǎn)之間的距離di；

10、根據(jù)計(jì)算所述近似q值，其中s表示狀態(tài)空間，a表示動(dòng)作，ωi表示隱藏層節(jié)點(diǎn)i的輸出權(quán)重，φ()表示徑向基函數(shù)，i表示隱藏層節(jié)點(diǎn)，m表示隱藏層節(jié)點(diǎn)數(shù)量。

11、第二方面，本發(fā)明提供一種天地一體化衛(wèi)星網(wǎng)絡(luò)切換系統(tǒng)，所述系統(tǒng)包括構(gòu)建模塊、獲取模塊、計(jì)算模塊和切換模塊；

12、所述構(gòu)建模塊用于構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)；

13、所述獲取模塊用于獲取用戶終端的狀態(tài)空間、動(dòng)作和獎(jiǎng)勵(lì)函數(shù)；

14、所述計(jì)算模塊用于將所述用戶終端的狀態(tài)空間、動(dòng)作和獎(jiǎng)勵(lì)函數(shù)輸入所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，獲取所述動(dòng)作對(duì)應(yīng)的近似q值；

15、所述切換模塊用于基于所述近似q值最大的動(dòng)作對(duì)應(yīng)的衛(wèi)星進(jìn)行衛(wèi)星切換。

16、第三方面，本發(fā)明提供一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法。

17、第四方面，本發(fā)明提供一種用戶終端，包括：處理器及存儲(chǔ)器；

18、所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；

19、所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序，以使所述用戶終端執(zhí)行上述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法。

20、如上所述，本發(fā)明所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法及系統(tǒng)、存儲(chǔ)介質(zhì)及用戶終端，具有以下有益效果：

21、(1)基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)衛(wèi)星切換，能夠有效降低用戶設(shè)備切換次數(shù)和算法的復(fù)雜度，提高了系統(tǒng)的吞吐量和算法穩(wěn)定性；

22、(2)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際通信需求，考慮信噪比、剩余服務(wù)時(shí)間和衛(wèi)星負(fù)載情況創(chuàng)建了狀態(tài)空間和獎(jiǎng)勵(lì)函數(shù)，具有較好的收斂性；

23、(3)為低地球軌道衛(wèi)星網(wǎng)絡(luò)的通信穩(wěn)定性和效率帶來(lái)了積極的技術(shù)效果，具有重要的社會(huì)和經(jīng)濟(jì)意義。

技術(shù)特征：

1.一種天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，其特征在于，所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，其特征在于，所述狀態(tài)空間為

3.根據(jù)權(quán)利要求1所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，其特征在于，所述獎(jiǎng)勵(lì)函數(shù)為其中c1表示常數(shù)，c2、c3和c4表示權(quán)重參數(shù)，rn、ηn和ln分別表示時(shí)隙n時(shí)用戶終端的信噪比、剩余服務(wù)時(shí)間和衛(wèi)星負(fù)載。

4.根據(jù)權(quán)利要求3所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，其特征在于，c1、c2、c3和c4分別取值為25、1.6、0.8和0.5。

5.根據(jù)權(quán)利要求1所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，其特征在于，所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層；所述狀態(tài)輸入所述輸入層，所述隱藏層根據(jù)所述狀態(tài)、所述動(dòng)作和所述獎(jiǎng)勵(lì)函數(shù)計(jì)算對(duì)應(yīng)的近似q值，所述輸出層輸出所述近似q值。

6.根據(jù)權(quán)利要求5所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，其特征在于，所述隱藏層包含64個(gè)節(jié)點(diǎn)。

7.根據(jù)權(quán)利要求5所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法，其特征在于，所述隱藏層根據(jù)所述狀態(tài)、所述動(dòng)作和所述獎(jiǎng)勵(lì)函數(shù)計(jì)算對(duì)應(yīng)的近似q值包括：

8.一種天地一體化衛(wèi)星網(wǎng)絡(luò)切換系統(tǒng)，其特征在于，所述系統(tǒng)包括構(gòu)建模塊、獲取模塊、計(jì)算模塊和切換模塊；

9.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法。

10.一種用戶終端，其特征在于，包括：處理器及存儲(chǔ)器；

技術(shù)總結(jié)
本發(fā)明提供一種天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法及系統(tǒng)、存儲(chǔ)介質(zhì)及用戶終端，所述方法包括以下步驟：構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)；獲取用戶終端的狀態(tài)空間、動(dòng)作和獎(jiǎng)勵(lì)函數(shù)；將所述用戶終端的狀態(tài)空間、動(dòng)作和獎(jiǎng)勵(lì)函數(shù)輸入所述徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，獲取所述動(dòng)作對(duì)應(yīng)的近似Q值；基于所述近似Q值最大的動(dòng)作對(duì)應(yīng)的衛(wèi)星進(jìn)行衛(wèi)星切換。本發(fā)明的天地一體化衛(wèi)星網(wǎng)絡(luò)切換方法及系統(tǒng)、存儲(chǔ)介質(zhì)及用戶終端基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)算法，有效解決了衛(wèi)星通信頻繁切換的問(wèn)題。

技術(shù)研發(fā)人員：周婷,宋美欣,田金鳳,張漢中,徐天衡,胡宏林
受保護(hù)的技術(shù)使用者：上海大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6