本發(fā)明涉及移動邊緣計算，更具體的，涉及一種移動邊緣計算系統(tǒng)、其優(yōu)化模型建模方法和其優(yōu)化方法。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)、人工智能、增強現(xiàn)實等新興技術(shù)的快速發(fā)展，人們對實時性、低延時、高帶寬的需求越來越大。然而，傳統(tǒng)的云計算模型在滿足這些需求方面存在一定的局限性，主要表現(xiàn)在數(shù)據(jù)傳輸時延大、網(wǎng)絡(luò)擁塞、隱私安全等方面。因此，移動邊緣計算(mec)作為一種新興的計算模型應(yīng)運而生。其核心思想是將計算資源和服務(wù)推送到更接近用戶的網(wǎng)絡(luò)邊緣，從而實現(xiàn)更低的網(wǎng)絡(luò)延時、更高的帶寬利用率和更好的用戶體驗。具體而言，傳統(tǒng)云計算模式將數(shù)據(jù)處理和服務(wù)部署在遠程數(shù)據(jù)中心，導致數(shù)據(jù)傳輸時延大的問題，特別是在智能交通、虛擬現(xiàn)實等對實時性和低時延有要求的應(yīng)用場景中。mec的出現(xiàn)為解決該問題提供了新的思路和可能性。通過在基站、邊緣服務(wù)器等邊緣設(shè)備上部署應(yīng)用和服務(wù)，mec可以將數(shù)據(jù)處理和服務(wù)提供的位置更靠近用戶網(wǎng)絡(luò)的邊緣，大大縮短了數(shù)據(jù)傳輸?shù)木嚯x和時間，實現(xiàn)更即時、高效的數(shù)據(jù)處理和服務(wù)響應(yīng)。從而提高了服務(wù)質(zhì)量(qos)。然而，在多移動設(shè)備和多邊緣服務(wù)器的mec系統(tǒng)中，用戶的頻繁移動會造成系統(tǒng)狀態(tài)的高速變化和任務(wù)完成需求在時間和空間上的不均勻。事實上，邊緣服務(wù)器的位置在大多數(shù)情況下是固定的，即計算資源在時間和空間上是確定的。這在面對時空異構(gòu)的任務(wù)需求時，可能會造成邊緣服務(wù)器計算卸載和計算資源分配的不確定性和不穩(wěn)定性。例如，某個邊緣服務(wù)器周圍有大量用戶在某個時間完成任務(wù)，而邊緣服務(wù)器的計算資源總量相對固定，因此不可能完全滿足所有用戶的需求。此時會出現(xiàn)計算卸載決策和計算資源分配問題。功率分配也是影響任務(wù)延時的因素之一，需要與計算卸載和計算資源分配共同處理。此外，任務(wù)需要在最大可容忍延時下完成，這進一步增加了問題的復雜性。

2、如何設(shè)計一種有效的解決方案來共同處理mec系統(tǒng)中的功率分配和計算卸載及計算資源分配問題是一個挑戰(zhàn)。近年來，隨著機器學習(ml)的不斷發(fā)展和創(chuàng)新，基于學習的算法為解決mec系統(tǒng)的問題提供了新的可能性，因為ml能夠更有效地優(yōu)化困難問題。在現(xiàn)有的學習框架中，drl作為ml的一個新分支，是最有希望解決這一問題的選擇，因為drl可以從大量復雜狀態(tài)中提取隱藏信息，并利用其中有價值的信息。由于聯(lián)合優(yōu)化問題涉及離散動作和連續(xù)動作，一種方法是使用不同的drl框架分別處理不同類型的動作，然后將它們組合在一起。一種常見的基于離散動作的drl框架是深度q網(wǎng)絡(luò)(deep?q?network,dqn)，它可以有效地優(yōu)化計算卸載決策。另一個基于連續(xù)動作的drl框架是深度確定性的策略梯度(deepdeterministic?policy?gradient,ddpg)，可以優(yōu)化計算資源分配決策。兩者結(jié)合，可以有效解決聯(lián)合優(yōu)化問題。

3、現(xiàn)有技術(shù)有一種面向元宇宙的云邊端協(xié)同的移動邊緣計算任務(wù)卸載方法。該方法包括：根據(jù)用戶終端設(shè)備、邊緣服務(wù)器和云服務(wù)器的時延消耗和能量消耗，計算出云-邊-端協(xié)同系統(tǒng)中所有移動邊緣計算任務(wù)卸載過程消耗的總時延消耗和總能量消耗；以最小化所述總時延消耗和總能量消耗為目標，建立面向元宇宙的移動邊緣計算卸載的目標函數(shù)；采用改進的云邊端協(xié)同網(wǎng)絡(luò)計算卸載算法求解所述目標函數(shù)，得到最優(yōu)的用戶終端設(shè)備的任務(wù)卸載策略。

4、然而現(xiàn)有技術(shù)只考慮了單邊緣服務(wù)器和多移動設(shè)備的環(huán)境，存在不適用于多邊緣服務(wù)器和多移動設(shè)備的環(huán)境中的問題，因此如何發(fā)明一種適應(yīng)多邊緣服務(wù)器和多移動設(shè)備的環(huán)境的移動邊緣計算方法，是本技術(shù)領(lǐng)域亟需解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明為了解決現(xiàn)有技術(shù)不適用于多邊緣服務(wù)器和多移動設(shè)備的環(huán)境中的問題，提供了一種移動邊緣計算系統(tǒng)、其優(yōu)化模型建模方法和其優(yōu)化方法，其具有計算準確和能夠有效地降低任務(wù)成本的特點。

2、為實現(xiàn)上述本發(fā)明目的，采用的技術(shù)方案如下：

3、移動邊緣計算系統(tǒng)，由n個邊緣服務(wù)器和m個移動設(shè)備組成，每個移動設(shè)備輪流采用時分復用的方式與環(huán)境交互；移動設(shè)備隨機分布在封閉的區(qū)域，且在區(qū)域內(nèi)隨機移動；所述的系統(tǒng)中，邊緣服務(wù)器均勻分布在固定的區(qū)域內(nèi)，每個邊緣服務(wù)器都配備一個計算單元移動設(shè)備在固定的區(qū)域內(nèi)隨機定位并隨機移動，每個移動設(shè)備都配備一個計算單元還包括最大發(fā)射功率為的發(fā)射天線。

4、移動邊緣計算系統(tǒng)的優(yōu)化模型的建模方法，包括以下具體步驟：

5、構(gòu)建所述的移動邊緣計算系統(tǒng)；

6、綜合邊緣服務(wù)器和移動設(shè)備之間的信道增益、邊緣服務(wù)器和移動設(shè)備的信噪比、邊緣服務(wù)器和移動設(shè)備的數(shù)據(jù)傳輸率、邊緣計算的總延時和總能耗、邊緣計算的任務(wù)成本，構(gòu)建優(yōu)化問題模型。

7、優(yōu)選的，每個移動設(shè)備輪流采用時分復用的方式與環(huán)境交互，具體為：將系統(tǒng)時間統(tǒng)一劃分為t個離散時隙，記為t＝{1,2,...,t}，每個時隙長度為ζ秒；在時隙t，系統(tǒng)采用時分復用的方式讓每個移動設(shè)備輪流與系統(tǒng)環(huán)境交互，設(shè)每個時隙中的每個移動設(shè)備都有一個任務(wù)到達，移動設(shè)備可執(zhí)行在本地計算任務(wù)或?qū)⑷蝿?wù)卸載到邊緣服務(wù)器進行計算任一種操作，若執(zhí)行將任務(wù)卸載到邊緣服務(wù)器進行計算，則任務(wù)會占用由es分配給md的計算資源，直到時隙結(jié)束；每個移動節(jié)點在時隙內(nèi)隨機移動，移動速度和方向遵循移動模型。

8、進一步的，所述的移動模型，具體為：

9、

10、其中，是最大移動速度，l是封閉正方形區(qū)域的邊長，表示第m個移動設(shè)備的速度向量，表示移動設(shè)備的速度，表示移動設(shè)備的移動方向，和分別表示第m個移動設(shè)備的坐標。

11、更進一步的，綜合邊緣服務(wù)器和移動設(shè)備之間的信道增益、邊緣服務(wù)器和移動設(shè)備的信噪比、邊緣服務(wù)器和移動設(shè)備的數(shù)據(jù)傳輸率、邊緣計算的總延時和總能耗、邊緣計算的任務(wù)成本，構(gòu)建優(yōu)化問題模型，具體步驟為：

12、將在時隙t時，移動設(shè)備m產(chǎn)生的計算任務(wù)表示為表示任務(wù)數(shù)據(jù)大小，表示處理一比特數(shù)據(jù)所需的周期數(shù)，表示最大可允許的延時,表示任務(wù)的價值；

13、將在時隙t時，邊緣服務(wù)器n和移動設(shè)備m之間的信道增益用表示為：

14、

15、其中表示天線增益，表示光速，f表示載波頻率，d表示邊緣服務(wù)器n和移動設(shè)備m之間的距離；

16、將在時隙t時，移動設(shè)備m的發(fā)射功率定義為移動設(shè)備m到邊緣服務(wù)器n的信噪比表示為:

17、

18、其中σ2是額外噪聲功率；

19、將移動設(shè)備m到邊緣服務(wù)器n的數(shù)據(jù)傳輸率表示為：

20、

21、其中w是無線信道的帶寬；

22、在每個時隙t的開始，令每個移動設(shè)備將連接到其最近的邊緣服務(wù)器；將連接的邊緣服務(wù)器和移動設(shè)備m在時隙t的計算卸載策略可以表示為和在移動設(shè)備m選擇在本地計算任務(wù)，當且n不等于0時，移動設(shè)備m選擇將任務(wù)卸載到連接的邊緣服務(wù)器n上；當且n≠n′時，移動設(shè)備m選擇將任務(wù)卸載到es?n上，連接的邊緣服務(wù)器n′會幫助md轉(zhuǎn)發(fā)任務(wù)；

23、將時，本地計算延時表示為：

24、

25、將本地計算的能耗表示為：

26、

27、

28、其中是移動設(shè)備m的功率，ξ是能耗系數(shù)；

29、當且n≠n′時，移動設(shè)備m選擇連接邊緣服務(wù)器n′并卸載任務(wù)到邊緣服務(wù)器n計算任務(wù)；此時將傳輸延時表示為：

30、

31、其中i為指示函數(shù)，rtran為邊緣服務(wù)器之間的數(shù)據(jù)傳輸率；

32、將卸載的能耗表示為：

33、

34、將任務(wù)在邊緣服務(wù)器n上的計算延時表示為：

35、

36、其中為邊緣服務(wù)器n分配給md的計算資源，將能力消耗表示為:

37、

38、

39、其中是es?n的功率；

40、將在時隙t，邊緣計算的總延時和總能耗表示為：

41、

42、

43、將任務(wù)成本定義為任務(wù)延時和能耗的加權(quán)和，經(jīng)移動設(shè)備m在時隙t的任務(wù)成本表示為：

44、

45、其中ωt和ωe分別是任務(wù)延時成本和能耗成本的權(quán)重，滿足條件：

46、

47、綜上所述，構(gòu)建優(yōu)化問題模型p：

48、

49、

50、

51、

52、

53、

54、其中fmin和fmax表示es?n的最小可分配計算資源和最大可分配計算資源，表示第m個移動設(shè)備的功率，表示移動設(shè)備m在時隙t的任務(wù)延時：

55、

56、移動邊緣計算系統(tǒng)的功率分配的優(yōu)化方法，包括以下具體步驟：

57、通過所述的建模方法構(gòu)建優(yōu)化問題模型；

58、定義與功率相關(guān)的任務(wù)成本為φp；當和t確定時，將φp表示為：

59、

60、其中，ttran為卸載傳輸延遲，rtran為邊緣服務(wù)器之間的數(shù)據(jù)傳輸率，ωt和ωe分別是任務(wù)延時成本和能耗成本的權(quán)重，etran為本地計算的能耗，n和n′分別表示不同的邊緣服務(wù)器；

61、根據(jù)優(yōu)化問題模型，構(gòu)建功率優(yōu)化子問題：

62、

63、s.t.0≤p≤pmd

64、0≤ttran+tes≤γ

65、其中，pmd為移動設(shè)備的功率，tes為邊緣服務(wù)器延遲；

66、當p>0時，為凸；

67、對求導：

68、

69、當最小時，可得：

70、

71、

72、

73、

74、

75、

76、

77、引入朗伯w函數(shù)，得到

78、

79、

80、

81、根據(jù)功率優(yōu)化子問題的約束條件，得到最優(yōu)功率：

82、

83、其中pmin為：

84、

85、移動邊緣計算系統(tǒng)的計算卸載和計算資源分配的優(yōu)化方法，包括以下具體步驟：

86、通過所述的建模方法構(gòu)建優(yōu)化問題模型；

87、根據(jù)優(yōu)化問題模型，構(gòu)建計算卸載和計算資源分配子問題p2：

88、

89、構(gòu)建由四元組組成的馬爾可夫決策{st，a，r，st+1}，其中st為當前狀態(tài)空間，a為當前動作空間，r為獎勵，st+1為下一個狀態(tài)空間；在馬爾可夫決策過程中，每個時隙開始時，觀察系統(tǒng)環(huán)境的當前狀態(tài)并通過動作與之交互，然后系統(tǒng)環(huán)境進入下一個狀態(tài)并接受獎勵，以此類推；

90、求解計算卸載和計算資源分配子問題，得到功率分配和計算卸載及計算資源分配的最優(yōu)分配方案。

91、優(yōu)選的，所述的馬爾可夫決策{st，a，r，st+1}具體為：

92、在狀態(tài)空間，從時隙t開始，每個邊緣服務(wù)器獨立觀察連接的移動設(shè)備發(fā)送的任務(wù)屬性和所有es的剩余資源，其中為向量；dt表示md與連接的es之間的距離，表示剩余的計算資源；

93、動作空間包括p2的優(yōu)化變量，具體包括包含所有md的任務(wù)卸載和計算資源分配決策，

94、采取動作后，智能體立即獲得獎勵，采用的獎勵函數(shù)具體為：

95、

96、進一步的，求解計算卸載和計算資源分配子問題，得到功率分配和計算卸載及計算資源分配的最優(yōu)分配方案時，采用包括決斗雙深度q網(wǎng)絡(luò)d3qn和雙延遲深度確定性策略梯度td3的d3t3框架，其具體步驟為：

97、初始化q網(wǎng)絡(luò)d3qn的環(huán)境經(jīng)驗回放緩沖區(qū)erbd3qn和雙延遲深度確定性策略梯度td3的環(huán)境經(jīng)驗回放緩沖區(qū)erbtd3；

98、對于每個移動設(shè)備：

99、產(chǎn)生一個任務(wù)；

100、移動設(shè)備連接的邊緣服務(wù)器觀察當前系統(tǒng)狀態(tài)s；

101、邊緣服務(wù)器上的智能體根據(jù)∈-greedy，通過將s輸入d3qn的狀態(tài)動作價值網(wǎng)絡(luò)q，得到一個計算卸載策略動作b；

102、若b等于0，則系統(tǒng)環(huán)境直接根據(jù)b得到一個獎勵r，并更新系統(tǒng)狀態(tài)得到s′；

103、若b不等于0，則將s和b拼接起來得到根據(jù)得到分配的計算資源動作f，n是噪聲；系統(tǒng)環(huán)境根據(jù)b和f得到一個獎勵r；f改變邊緣服務(wù)器的剩余計算資源，并且系統(tǒng)環(huán)境狀態(tài)根據(jù)b和f發(fā)生變化，得到s′；邊緣服務(wù)器上的智能體用q(s′)得到b′；將s′和b′拼接起來得到

104、將四元組存儲進erbtd3；將四元組(s，b，r，s′)存儲進erbd3qn；得到經(jīng)驗(s，b，r，s′)，

105、其中：

106、

107、

108、

109、

110、

111、

112、

113、

114、當經(jīng)驗回放緩沖區(qū)存儲設(shè)定數(shù)量的經(jīng)驗后，對d3t3框架進行訓練，通過訓練好的d3t3框架求解計算卸載和計算資源分配子問題，得到功率分配和計算卸載及計算資源分配的最優(yōu)分配方案。

115、更進一步的，對d3t3框架進行訓練，具體步驟為：

116、初始化8個網(wǎng)絡(luò)，包括4個在線網(wǎng)絡(luò)和4個目標網(wǎng)絡(luò)；在線網(wǎng)絡(luò)包括d3qn的狀態(tài)動作價值網(wǎng)絡(luò)q、td3的演員網(wǎng)絡(luò)a和兩個獨立的評論家網(wǎng)絡(luò)c1、c2；目標網(wǎng)絡(luò)包含四個與在線網(wǎng)絡(luò)結(jié)構(gòu)相同的網(wǎng)絡(luò)q′,a′,c1′,c2′；

117、對于每一個時隙，循環(huán)：

118、獲得經(jīng)驗(s,b,r,s′),

119、將經(jīng)驗存進各自的緩沖池；

120、若時隙t與tf1成倍數(shù)關(guān)系，則：

121、隨機從緩沖池取出k條經(jīng)驗k*(s,b,r,s′)＝erbd3qn.sample(k)；

122、根據(jù)公式y(tǒng)＝r+γ1q′(s′,arg?maxb?q(s′,b))計算目標值y；

123、根據(jù)目標值y更新q的參數(shù)；

124、若時隙t是2的倍數(shù)，則復制q的參數(shù)給q′；

125、若時隙t與tf2成倍數(shù)關(guān)系，則：

126、隨機從緩沖池取出k條經(jīng)驗

127、根據(jù)公式計算目標值y；

128、根據(jù)目標值y更新c1,c2的參數(shù)；

129、若時隙t是2的倍數(shù)，則通過軟更新的方式更新a,a′,c1′和c2′的參數(shù)；

130、軟更新過程具體為：

131、

132、θa′＝τθa+(1-τ)θa

133、其中θ是神經(jīng)網(wǎng)絡(luò)參數(shù)，τ是軟更新系數(shù)。

134、本發(fā)明的有益效果如下：

135、本發(fā)明構(gòu)建了由n個邊緣服務(wù)器和m個移動設(shè)備組成移動邊緣計算系統(tǒng)，并綜合邊緣服務(wù)器和移動設(shè)備之間的信道增益、邊緣服務(wù)器和移動設(shè)備的信噪比、邊緣服務(wù)器和移動設(shè)備的數(shù)據(jù)傳輸率、邊緣計算的總延時和總能耗、邊緣計算的任務(wù)成本，構(gòu)建優(yōu)化問題模型，由此，本發(fā)明提供了一種可以在多邊緣服務(wù)器和多移動設(shè)備的環(huán)境中進行計算的模型，解決了現(xiàn)有技術(shù)不適用于多邊緣服務(wù)器和多移動設(shè)備的環(huán)境中的問題，且具有計算準確和能夠有效地降低任務(wù)成本。