本發(fā)明涉及無線通信，尤其涉及一種頻譜帶寬自適應(yīng)調(diào)整方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、衛(wèi)星寬帶通信技術(shù)作為彌補傳統(tǒng)地面網(wǎng)路覆蓋盲區(qū)的關(guān)鍵手段，已在全球范圍內(nèi)廣泛應(yīng)用于偏遠(yuǎn)地區(qū)、航空、海洋通信等領(lǐng)域。衛(wèi)星寬帶通信系統(tǒng)架構(gòu)包含衛(wèi)星傳輸域、衛(wèi)星數(shù)據(jù)域、衛(wèi)星語音域等多個組成部分，各自負(fù)責(zé)數(shù)據(jù)傳輸、上網(wǎng)以及語音服務(wù)?，F(xiàn)有衛(wèi)星寬帶通信系統(tǒng)通常預(yù)先配置固定的衛(wèi)星頻譜帶寬，以確?；镜耐ㄐ欧?wù)質(zhì)量。這種配置方式基于對過往通信需求的統(tǒng)計預(yù)測，在大部分時間里能夠滿足業(yè)務(wù)需求。

2、盡管現(xiàn)有技術(shù)提供了基本的通信保障，但其靜態(tài)的頻譜資源配置策略存在明顯不足，由于衛(wèi)星頻譜資源的稀缺性和珍貴性，固定分配的方式往往導(dǎo)致資源分配不均，高峰時段資源緊張而低估時段資源閑置，造成資源浪費。此外，隨著業(yè)務(wù)需求的動態(tài)變化和新業(yè)務(wù)的不斷涌現(xiàn)，靜態(tài)配置難以靈活應(yīng)對突發(fā)的通信需求激增，影響用戶體驗和服務(wù)質(zhì)量。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種頻譜帶寬自適應(yīng)調(diào)整方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品，用以解決現(xiàn)有技術(shù)中通過靜態(tài)配置頻譜資源的方式靈活性較低的問題。

2、第一方面，本發(fā)明提供一種頻譜帶寬自適應(yīng)調(diào)整方法，包括：

3、獲取衛(wèi)星寬帶通信系統(tǒng)內(nèi)多個組件之間的拓?fù)潢P(guān)系以及每個組件的數(shù)據(jù)指標(biāo)集；

4、基于所述拓?fù)潢P(guān)系，構(gòu)建所述多個組件的鄰接矩陣；

5、基于多個數(shù)據(jù)指標(biāo)集，構(gòu)建所述多個組件的運行狀態(tài)矩陣；

6、將所述鄰接矩陣和所述運行狀態(tài)矩陣輸入至最優(yōu)actor網(wǎng)絡(luò)，得到所述最優(yōu)actor網(wǎng)絡(luò)輸出的頻譜帶寬調(diào)整動作；所述最優(yōu)actor網(wǎng)絡(luò)是由深度確定性策略梯度ddpg算法結(jié)合圖卷積網(wǎng)絡(luò)gcn和深度神經(jīng)網(wǎng)絡(luò)dnn的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)所確定的；

7、將所述頻譜帶寬調(diào)整動作下發(fā)至所述衛(wèi)星寬帶通信系統(tǒng)，以使所述衛(wèi)星寬帶通信系統(tǒng)執(zhí)行所述頻譜帶寬調(diào)整動作。

8、在一個實施例中，所述鄰接矩陣至少包括物理關(guān)系鄰接矩陣；所述基于所述拓?fù)潢P(guān)系，構(gòu)建所述多個組件的鄰接矩陣，包括：

9、基于所述多個組件之間的拓?fù)潢P(guān)系，確定任意兩個組件之間是否存在物理連接關(guān)系；

10、若所述任意兩個組件之間存在物理連接關(guān)系，則確定所述任意兩個組件之間的物理連接關(guān)系值為1；

11、若所述任意兩個組件之間不存在物理連接關(guān)系，則確定所述任意兩個組件之間的物理連接關(guān)系值為0；

12、基于所述任意兩個組件之間的物理連接關(guān)系值，構(gòu)建所述物理關(guān)系鄰接矩陣。

13、在一個實施例中，所述基于多個數(shù)據(jù)指標(biāo)集，構(gòu)建所述多個組件的運行狀態(tài)矩陣，包括：

14、將所述多個數(shù)據(jù)指標(biāo)集中包含的所有數(shù)據(jù)指標(biāo)分別確定為目標(biāo)數(shù)據(jù)指標(biāo)；

15、根據(jù)每個組件的數(shù)據(jù)指標(biāo)集，將所述組件涉及的目標(biāo)數(shù)據(jù)指標(biāo)確定為狀態(tài)指標(biāo)，并將所述組件不涉及的目標(biāo)數(shù)據(jù)指標(biāo)確定為非狀態(tài)指標(biāo)；

16、將所述狀態(tài)指標(biāo)對應(yīng)的數(shù)據(jù)指標(biāo)狀態(tài)值確定所述組件與所述狀態(tài)指標(biāo)之間的運行狀態(tài)值，并將所述組件與所述非狀態(tài)指標(biāo)之間的運行狀態(tài)值置為0，以獲得所述組件與每個目標(biāo)數(shù)據(jù)指標(biāo)之間的運行狀態(tài)值；

17、根據(jù)所述組件與每個目標(biāo)數(shù)據(jù)指標(biāo)之間的運行狀態(tài)值，構(gòu)建所述組件的運行狀態(tài)向量；

18、將每個組件的運行狀態(tài)向量拼接成運行狀態(tài)矩陣。

19、在一個實施例中，所述最優(yōu)actor網(wǎng)絡(luò)是通過執(zhí)行如下步驟得到的：

20、初始化actor網(wǎng)絡(luò)的參數(shù)和critic網(wǎng)絡(luò)的參數(shù)；所述actor網(wǎng)絡(luò)和所述critic網(wǎng)絡(luò)都是基于gcn的網(wǎng)絡(luò)架構(gòu)所構(gòu)建的；

21、基于所述actor網(wǎng)絡(luò)的參數(shù)構(gòu)建目標(biāo)actor網(wǎng)絡(luò)，并基于所述critic網(wǎng)絡(luò)的參數(shù)構(gòu)建目標(biāo)critic網(wǎng)絡(luò)；

22、獲取所述衛(wèi)星寬帶通信系統(tǒng)的當(dāng)前狀態(tài)信息；所述當(dāng)前狀態(tài)信息包括鄰接矩陣樣本和運行狀態(tài)矩陣樣本；

23、將所述當(dāng)前狀態(tài)信息輸入至所述actor網(wǎng)絡(luò)，得到所述actor網(wǎng)絡(luò)輸出的用于調(diào)整頻譜帶寬的目標(biāo)動作；

24、獲取所述衛(wèi)星寬帶通信系統(tǒng)的下一時刻狀態(tài)信息；所述下一時刻狀態(tài)信息是所述衛(wèi)星寬帶通信系統(tǒng)執(zhí)行目標(biāo)動作后的狀態(tài)信息；

25、獲取所述衛(wèi)星寬帶通信系統(tǒng)執(zhí)行所述目標(biāo)動作之前的第一性能指標(biāo)信息以及執(zhí)行所述目標(biāo)動作之后的第二性能指標(biāo)信息；

26、將所述第一性能指標(biāo)信息和所述第二性能指標(biāo)信息輸入至獎勵生成網(wǎng)絡(luò)，得到所述獎勵生成網(wǎng)絡(luò)輸出的即時獎勵值；

27、基于所述當(dāng)前狀態(tài)信息、所述目標(biāo)動作、所述即時獎勵值和所述下一時刻狀態(tài)信息，生成經(jīng)驗樣本；

28、將所述下一時刻狀態(tài)信息更新為當(dāng)前狀態(tài)信息，并迭代執(zhí)行將所述當(dāng)前狀態(tài)信息輸入至所述actor網(wǎng)絡(luò)的步驟，直至達(dá)到預(yù)設(shè)迭代次數(shù)，得到多個經(jīng)驗樣本，并將所述多個經(jīng)驗樣本存儲至經(jīng)驗回放緩沖區(qū)中；

29、基于所述經(jīng)驗回放緩沖區(qū)，訓(xùn)練所述actor網(wǎng)絡(luò)和所述critic網(wǎng)絡(luò)，得到最優(yōu)actor網(wǎng)絡(luò)。

30、在一個實施例中，所述獎勵生成網(wǎng)絡(luò)包括第一dnn、第二dnn和差值計算層；所述將所述第一性能指標(biāo)信息和所述第二性能指標(biāo)信息輸入至獎勵生成網(wǎng)絡(luò)，得到所述獎勵生成網(wǎng)絡(luò)輸出的即時獎勵值，包括：

31、將所述第一性能指標(biāo)信息輸入至所述第一dnn中，得到所述第一dnn輸出的第一評價分值；

32、將所述第二性能指標(biāo)信息輸入至所述第二dnn中，得到所述第二dnn輸出的第二評價分值；

33、將所述第一評價分值和所述第二評價分值輸入至差值計算層，得到所述差值計算層輸出的即時獎勵值。

34、在一個實施例中，所述基于所述經(jīng)驗回放緩沖區(qū)，訓(xùn)練所述actor網(wǎng)絡(luò)和所述critic網(wǎng)絡(luò)，得到最優(yōu)actor網(wǎng)絡(luò)，包括：

35、從所述經(jīng)驗回放緩沖區(qū)中隨機(jī)取出經(jīng)驗樣本；

36、將所述經(jīng)驗樣本中的當(dāng)前狀態(tài)信息和目標(biāo)動作輸入至所述critic網(wǎng)絡(luò)，得到所述critic網(wǎng)絡(luò)輸出的第一當(dāng)前q值；

37、將所述經(jīng)驗樣本中的下一時刻狀態(tài)信息輸入至所述目標(biāo)actor網(wǎng)絡(luò)，得到所述目標(biāo)actor網(wǎng)絡(luò)輸出的下一時刻執(zhí)行動作；

38、將所述下一時刻狀態(tài)信息和所述下一時刻執(zhí)行動作輸入至目標(biāo)critic網(wǎng)絡(luò)，得到所述目標(biāo)critic網(wǎng)絡(luò)輸出的下一時刻q值；

39、基于所述下一時刻q值，確定所述第一當(dāng)前q值的標(biāo)簽值；

40、基于所述第一當(dāng)前q值及其對應(yīng)的標(biāo)簽值，對所述critic網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練完成的critic網(wǎng)絡(luò)；

41、基于所述經(jīng)驗回放緩沖區(qū)和所述訓(xùn)練完成的critic網(wǎng)絡(luò)，訓(xùn)練所述actor網(wǎng)絡(luò)，得到最優(yōu)actor網(wǎng)絡(luò)。

42、在一個實施例中，所述基于所述經(jīng)驗回放緩沖區(qū)和所述訓(xùn)練完成的critic網(wǎng)絡(luò)，訓(xùn)練所述actor網(wǎng)絡(luò)，得到最優(yōu)actor網(wǎng)絡(luò)，包括：

43、從所述經(jīng)驗回放緩沖區(qū)中隨機(jī)取出經(jīng)驗樣本；

44、將所述經(jīng)驗樣本中的當(dāng)前狀態(tài)信息輸入至所述actor網(wǎng)絡(luò)，得到所述actor網(wǎng)絡(luò)輸出的新動作；

45、將所述新動作和所述當(dāng)前狀態(tài)信息輸入至所述訓(xùn)練完成的critic網(wǎng)絡(luò)，得到所述訓(xùn)練完成的critic網(wǎng)絡(luò)輸出的第二當(dāng)前q值；

46、基于所述當(dāng)前狀態(tài)信息、所述新動作和所述第二當(dāng)前q值，確定所述actor網(wǎng)絡(luò)的損失函數(shù)；

47、基于所述actor網(wǎng)絡(luò)的損失函數(shù)，采用優(yōu)化算法對所述actor網(wǎng)絡(luò)進(jìn)行訓(xùn)練，更新所述actor網(wǎng)絡(luò)的參數(shù)，得到最優(yōu)actor網(wǎng)絡(luò)。

48、在一個實施例中，所述衛(wèi)星寬帶通信系統(tǒng)包括衛(wèi)星傳輸域子系統(tǒng)、衛(wèi)星數(shù)據(jù)域子系統(tǒng)和衛(wèi)星語音域子系統(tǒng)；

49、所述衛(wèi)星寬帶通信系統(tǒng)的多個組件包括所述衛(wèi)星傳輸域子系統(tǒng)的多個第一組件、所述衛(wèi)星數(shù)據(jù)域子系統(tǒng)的多個第二組件以及所述衛(wèi)星語音域子系統(tǒng)的多個第三組件。

50、第二方面，本發(fā)明還提供一種頻譜帶寬自適應(yīng)調(diào)整裝置，包括：

51、獲取模塊，用于獲取衛(wèi)星寬帶通信系統(tǒng)內(nèi)多個組件之間的拓?fù)潢P(guān)系以及每個組件的數(shù)據(jù)指標(biāo)集；

52、第一構(gòu)建模塊，用于基于所述拓?fù)潢P(guān)系，構(gòu)建所述多個組件的鄰接矩陣；

53、第二構(gòu)建模塊，用于基于多個數(shù)據(jù)指標(biāo)集，構(gòu)建所述多個組件的運行狀態(tài)矩陣；

54、頻譜帶寬調(diào)整動作預(yù)測模塊，用于將所述鄰接矩陣和所述運行狀態(tài)矩陣輸入至最優(yōu)actor網(wǎng)絡(luò)，得到所述最優(yōu)actor網(wǎng)絡(luò)輸出的頻譜帶寬調(diào)整動作；所述最優(yōu)actor網(wǎng)絡(luò)是由深度確定性策略梯度ddpg算法結(jié)合圖卷積網(wǎng)絡(luò)gcn和深度神經(jīng)網(wǎng)絡(luò)dnn的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)所確定的；

55、下發(fā)模塊，用于將所述頻譜帶寬調(diào)整動作下發(fā)至所述衛(wèi)星寬帶通信系統(tǒng)，以使所述衛(wèi)星寬帶通信系統(tǒng)執(zhí)行所述頻譜帶寬調(diào)整動作。

56、第三方面，本發(fā)明提供一種設(shè)備，所述設(shè)備包括電子設(shè)備，所述電子設(shè)備包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述頻譜帶寬自適應(yīng)調(diào)整方法的步驟。

57、第四方面，本發(fā)明還提供一種介質(zhì)，所述介質(zhì)包括非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述頻譜帶寬自適應(yīng)調(diào)整方法的步驟。

58、第五方面，本發(fā)明還提供一種產(chǎn)品，所述產(chǎn)品包括計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品包括計算機(jī)程序，所述計算機(jī)程序可存儲在非暫態(tài)計算機(jī)可讀存儲介質(zhì)上，所述計算機(jī)程序被所述處理器執(zhí)行時實現(xiàn)如上述任一種所述頻譜帶寬自適應(yīng)調(diào)整方法的步驟。

59、本發(fā)明提供的頻譜帶寬自適應(yīng)調(diào)整方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品，通過從衛(wèi)星寬帶通信系統(tǒng)中采集多個組件的拓?fù)潢P(guān)系和數(shù)據(jù)指標(biāo)集，構(gòu)建出多個組件的鄰接矩陣和運行狀態(tài)矩陣，進(jìn)一步地，由于最優(yōu)actor網(wǎng)絡(luò)是采用ddpg算法結(jié)合gcn和dnn的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，為頻譜帶寬調(diào)整所提供的高效且準(zhǔn)確的決策模型，因此最優(yōu)actor網(wǎng)絡(luò)能夠根據(jù)鄰接矩陣和運行狀態(tài)矩陣輸出精準(zhǔn)的頻譜帶寬調(diào)整動作，實現(xiàn)根據(jù)實時通信狀況動態(tài)調(diào)整衛(wèi)星頻譜帶寬，提高頻譜帶寬調(diào)整的靈活性，最大化頻譜利用率，減少資源浪費，同時，實時監(jiān)測與自適應(yīng)調(diào)整機(jī)制確保了在高峰時段也能提供穩(wěn)定的服務(wù)，減少了因資源分配不均造成的通信擁塞，提升了用戶體驗。