本發(fā)明屬于邊緣計算,尤其涉及一種面向智慧養(yǎng)老的自我感知式多邊緣節(jié)點計算卸載方法。

背景技術：

1、隨著全球老齡化問題的日益嚴重，智慧養(yǎng)老成為了現代社會解決老年人護理、健康監(jiān)控和日常生活管理等問題的關鍵技術手段。通過物聯網(iot)技術的廣泛應用，智慧養(yǎng)老環(huán)境中大量的智能設備和傳感器可以實時監(jiān)測老年人的健康狀況、活動行為以及緊急事件。然而，這些設備所產生的數據量巨大，且具有高時效性要求，因此單一的數據中心或云端處理方案可能會面臨網絡延遲、帶寬限制以及計算資源瓶頸等挑戰(zhàn)，難以滿足智慧養(yǎng)老場景中對實時性和可靠性的要求。邊緣計算作為一種新興的計算范式，通過將計算任務分布到靠近數據源的邊緣節(jié)點上，可以有效減輕中心服務器的負載，減少網絡時延，提高數據處理的效率和系統(tǒng)響應速度。因此，邊緣計算在智慧養(yǎng)老環(huán)境中的應用逐漸受到關注。然而，智慧養(yǎng)老環(huán)境具有動態(tài)、復雜且多變的特點，用戶需求和網絡狀態(tài)頻繁變化，傳統(tǒng)的靜態(tài)計算任務卸載方案難以適應這種復雜環(huán)境。因此，提出一種基于多邊緣節(jié)點的自我感知式計算卸載方法，能夠根據智慧養(yǎng)老環(huán)境中的實時狀態(tài)進行智能的資源調度與任務分配，成為解決當前問題的有效途徑。

技術實現思路

1、本發(fā)明的目的是提供一種面向智慧養(yǎng)老的自我感知式多邊緣節(jié)點計算卸載方法,以解決上述現有智慧養(yǎng)老環(huán)境中的計算卸載問題。為了實現上述目的,本發(fā)明提供了如下方案:一種面向智慧養(yǎng)老的自我感知式多邊緣節(jié)點計算卸載方法，包括如下步驟：

2、步驟1、每個的邊緣節(jié)點上搭載用戶請求收集模塊，獲取智慧養(yǎng)老環(huán)境中新到達的用戶業(yè)務請求的數據量和服務時延上限參數、無線信道狀態(tài)參數、基站和邊緣服務器側的用戶業(yè)務請求緩沖隊長度參數，并將所獲取的參數數據進行歸一化處理，并上傳至中心節(jié)點；

3、步驟2、中心節(jié)點上搭載了數據存儲模塊，接收邊緣節(jié)點上傳的數據信息，并將數據信息轉化為部分可觀測馬爾可夫決策過程，發(fā)送至計算任務管理模塊；步驟3、中心節(jié)點上搭載了計算任務管理模塊，接收馬爾可夫決策過程的數據信息后，利用雙延遲深度確定性策略梯度算法獲得卸載的最優(yōu)策略；步驟4、計算任務管理模塊根據最優(yōu)策略，下發(fā)計算資源到邊緣節(jié)點；步驟5、邊緣節(jié)點群搭載有令牌token，實現邊緣節(jié)點的動態(tài)拓展和監(jiān)控，所有邊緣節(jié)點通過一個虛擬閉合鏈的結構排列，每個節(jié)點通過一個令牌傳遞來記錄。根據最優(yōu)策略，增加或減少邊緣節(jié)點時，令牌會自動更新設備信息，確保邊緣節(jié)點群的動態(tài)適應性。若某個節(jié)點出現故障，通過令牌傳遞，節(jié)點群可以自動檢測和更新節(jié)點狀態(tài)，確保系統(tǒng)能正常運行。步驟6、邊緣節(jié)點得到計算資源后，繼續(xù)運行用戶請求收集模塊，獲取參數數據。進一步的，步驟1中具體包括以下步驟：步驟1.1、邊緣節(jié)點與智慧養(yǎng)老環(huán)境交互，收集用戶請求，得到一個三元組(st,rt,st+1)，其中st表示當前時刻t節(jié)點環(huán)境的狀態(tài)，其包括時刻t到達的用戶業(yè)務請求i的特征信息、服務時延上限參數、無線信道狀態(tài)參數、基站和邊緣服務器側的用戶業(yè)務請求緩沖隊長度參數以及邊緣節(jié)點的計算資源；rt表示邊緣節(jié)點執(zhí)行當前收集任務后反饋的一個獎勵值；st+1表示節(jié)點的下一個狀態(tài)；步驟1.2、將邊緣節(jié)點與智慧養(yǎng)老環(huán)境交互得到的三元組存入存儲庫中；若存儲庫中三元組數量未超過存儲庫的最大容量，直接將三元組存儲到記憶庫中；若超出存儲庫最大容量，則先暫停本次收集，將現有存儲庫中的三元組進行歸一化處理；步驟1.3、根據以下公式對所獲取的參數數據進行歸一化處理：

4、

5、式中,xk表示系統(tǒng)所獲取的第k項參數,xk,max表示第k項參數的最大數值,表示第k項參數的最小數值,x′k表示經歸一化處理后,第k項參數的數值,k表示不同參數的數量。步驟1.4、將歸一化處理后的數據上傳至中心節(jié)點。進一步的，步驟2具體包括以下步驟：步驟2.1、中心節(jié)點將經過歸一化處理后的用戶請求數據輸入到數據存儲模塊中；步驟2.2、將數據轉化為馬爾可夫決策過程，過程具體為：狀態(tài)空間：在智慧養(yǎng)老系統(tǒng)中，系統(tǒng)狀態(tài)是由一名用戶、i個邊緣節(jié)點以及環(huán)境構成的，因此時隙k的系統(tǒng)狀態(tài)可以定義為其中，ere(k)表示的是時隙k邊緣節(jié)點的剩余能量，p(k)表示時隙k用戶的位置信息，qi(k)表示邊緣節(jié)點在k個時隙的位置信息，dre(k)表示整個系統(tǒng)的剩余請求收集任務大小，di(k)表示邊緣節(jié)點i在時隙k收集的請求資源大小，fi(k)表示邊緣節(jié)點i在時隙k是否被障礙物遮擋；動作空間：邊緣節(jié)點根據當前的用戶狀態(tài)和環(huán)境收集請求，包括卸載的設備，用戶行動的角度和速度，動作空間可以表示為：

6、actionk＝(i(k)，β(k)，v(k)，ri(k))

7、其中，i(k)表示的是時隙k的邊緣節(jié)點的動作變量，β(k)代表的是時隙k的邊緣節(jié)點運動角度，v(k)代表的是時隙k的邊緣節(jié)點的運動速度，ri(k)代表的是時隙k的邊緣節(jié)點的任務卸載率；

8、由于用戶輸出的是連續(xù)的動作，動作的變量由邊緣節(jié)點選擇，需要離散化，用戶的運動速度和角度以及請求卸載比例可以在一個連續(xù)的動作空間中準確的進行優(yōu)化，系統(tǒng)對上述四個變量進行了聯合優(yōu)化，使得成本最??；獎勵函數：獎勵函數是一種對設備行為的量化度量，它會影響到邊緣節(jié)點在特定環(huán)境中做出的決策和行動。因此，為了獲得最佳性能，需要設計一個合適的獎勵函數，可以引導邊緣節(jié)點做出更加優(yōu)秀的決策和行為，同時避免出現非預期的行為和不良后果。因此，在選擇獎勵函數時，需要充分考慮系統(tǒng)的目標、任務需求和約束條件等因素，并設計出合理的獎勵函數，以提高算法的性能和效果；目標是最小化邊緣節(jié)點請求任務卸載的最大處理時延，將它作為獎勵函數定義為：

9、rewordk＝r(statek，actionk)＝-delay(k)，

10、其中，delay(k)表示為：αik代表的是卸載任務i在時隙k上的激活變量，它表示任務i是否在時隙k被執(zhí)行。如果任務i在時隙k被執(zhí)行，則αi(k)＝1；否則，αi(k)＝0；tloc，i(k)表示的是任務i在時隙k上的本地處理時間；tedge，i(k)表示的是任務i在時隙k上由邊緣節(jié)點處理的時間；tt，i(k)表示的是任務i在時隙k上的傳輸時間。它表示任務i從本地系統(tǒng)傳輸到邊緣節(jié)點處理所需要的時間；

11、步驟2.3、將結果發(fā)送至計算任務管理模塊；進一步的，步驟3具體包括以下步驟：步驟3.1、計算任務管理模塊接收馬爾可夫決策過程；

12、步驟3.2、利用雙延遲深度確定性策略梯度算法獲得卸載的最優(yōu)策略，具體如下：

13、建立兩個值函數網絡q1和q2,為了穩(wěn)定學習過程,創(chuàng)建兩個目標值函數網絡q1'和q2'；創(chuàng)建兩個策略函數網絡μ和μ'；引入高斯噪聲作為噪聲增加邊緣節(jié)點的探索性,行為策略為策略函數加入高斯噪聲產生,使用行為策略進行環(huán)境探索；

14、初始化值函數網絡參數和策略函數網絡參數θμ,將兩個網絡參數拷貝給與其相對應的目標值函數網絡和目標策略函數網絡,即初始化記憶回放庫d；

15、遍歷所有的episode,初始化高斯噪聲,即噪聲ε,從環(huán)境中接收起始狀態(tài)s1,對于每個episode,遍歷所有步；

16、從記憶回放庫d中,隨機采樣n個(si,ri,si+1)作為值函數網絡和策略函數網絡的一個mini-batch訓練數據；

17、使用目標值函數網絡q1'和q2'分別計算下一個狀態(tài)的q值,q'(st+1,μ'st+1|θμ')),選取兩個值函數網絡的最小值minq(st+1,a)作為下一個狀態(tài)的q值,更新價值函數網絡,yt＝rt+1+γminq'(st+1,μ'(st+1|θμ')),使用梯度下降算法更新值函數網絡的參數和

18、每隔若干個時間步,使用策略函數網絡μ產生新的行為策略并更新策略函數網絡,使用目標值函數網絡計算策略梯度的估計量,更新策略函數網絡的參數θμ；

19、使用軟更新方式更新目標值函數網絡q1'和

20、不斷更新價值函數網絡和策略函數網絡,最終會收斂至最優(yōu)策略,使用收斂了的策略函數網絡即獲得最優(yōu)的卸載決策。

21、進一步的，步驟4具體包括以下步驟：

22、步驟4.1、根據得到的最優(yōu)卸載策略，將所需的計算資源分配至相關的邊緣節(jié)點。

23、進一步的，步驟5具體包括以下步驟：

24、步驟5.1、為了確保邊緣計算網絡的靈活擴展和穩(wěn)健運行，每個邊緣節(jié)點配備了令牌token機制。邊緣節(jié)點通過虛擬閉合鏈的結構進行排列，每個節(jié)點通過傳遞令牌來維護狀態(tài)信息。令牌機制使得邊緣節(jié)點能夠動態(tài)增加或減少節(jié)點，并在發(fā)生故障時，自動更新設備信息和網絡拓撲，保證系統(tǒng)的自適應性和魯棒性。當最優(yōu)策略要求增加或減少邊緣節(jié)點時，令牌將自動更新，以確保新的節(jié)點或移除的節(jié)點不會影響整體計算效率。

25、步驟5.2、令牌的表示如下：

26、

27、其中，workgroup表示邊緣節(jié)點的工作組；是工作組中每個節(jié)點的狀態(tài)信息列表；每個都代表邊緣工作節(jié)點i的信息；

28、servergroup表示服務器組；是服務器組中每個服務器的狀態(tài)信息列表；每個表示服務器節(jié)點i的信息；

29、所有節(jié)點設備被分為兩部分：工作組(k臺設備)和服務器組(t臺設備)。初始令牌通過預設測試程序生成，記錄設備的計算性能、狀態(tài)和ip地址。系統(tǒng)根據用戶提供的設備數量和預定義的工作組/服務器組比率，自動分配適合分布式訓練任務的工作組和服務器組數量。在設備逐一啟動時，它們將相關信息添加到令牌中。所有設備測試完畢后，最后一臺設備對令牌中的信息進行排序并將設備分組。系統(tǒng)通過調制令牌信息來動態(tài)調整配置，刪除或添加設備，若服務器組要求不滿足，重新分配工作組/服務器角色，以確保分布式采集過程與最新的設備信息保持一致。步驟5.3、為了增強系統(tǒng)的可靠性和彈性，提出了一種自愈方法來降低故障風險。任意一個ps節(jié)點的故障都可能導致整個集群的亂序，從而導致系統(tǒng)故障。例如從設備1開始，根據令牌中的順序將令牌發(fā)送到下一個設備，該設備記為設備2。發(fā)送之前，設備1嘗試與設備2通信，以確定它是否仍然在線。如果是，發(fā)送令牌；如果不是，設備1嘗試與設備3通信，并以這種方式繼續(xù)，直到找到在線的設備。

30、步驟5.4、當在訓練過程中發(fā)現任何設備離線時，檢測過程根據其ip地址確定所屬組。如果在工作組中，則從令牌中刪除該設備，系統(tǒng)繼續(xù)運行。如果它在服務器組中，則會觸發(fā)全局通知并廣播以重啟集群中最近的檢查點上的所有設備。

31、步驟5.5、在交付令牌之前，設備1從令牌中刪除所有離線設備信息。設備2等待接收令牌，然后執(zhí)行相同的過程來檢查令牌中的下一個設備是否在線。因此，無論屬于哪個組，只要token持有者工作，系統(tǒng)就應該始終保持正常運行。

32、進一步的，步驟6具體包括以下步驟：

33、邊緣節(jié)點在得到計算資源后，繼續(xù)運行用戶請求收集模塊，動態(tài)獲取新的業(yè)務請求數據和網絡狀態(tài)參數。通過周期性地上傳最新的參數數據，中心節(jié)點可以根據最新的網絡狀況持續(xù)優(yōu)化卸載策略，實現系統(tǒng)的自適應更新和動態(tài)調整。

34、本發(fā)明相對于現有技術取得了以下有益技術效果:

35、1、針對多邊緣節(jié)點的智慧養(yǎng)老場景,研究計算卸載和資源分配問題,根據系統(tǒng)中各邊緣節(jié)點用戶請求的動態(tài)變化和計算資源的動態(tài)變化,為動態(tài)到達的用戶請求選擇最佳目標卸載邊緣節(jié)點和分配計算資源,在滿足多邊緣節(jié)點系統(tǒng)用戶請求的服務時延上限以及系統(tǒng)計算資源約束要求的前提下,最大化系統(tǒng)的吞吐量。

36、2、本發(fā)明提供的面向智慧養(yǎng)老的自我感知式多邊緣節(jié)點計算卸載方法,將智慧養(yǎng)老場景下的用戶請求問題轉化為部分可觀測馬爾可夫決策過程,使用雙延遲深度確定性策略梯度算法獲得卸載的最優(yōu)策略,并在最優(yōu)策略中加入了兩種獨立的高斯噪聲網絡進行狀態(tài)增強,進一步提升了多邊緣節(jié)點系統(tǒng)的時延性能。