本發(fā)明涉及物聯(lián)網領域，具體地說涉及一種邊緣物聯(lián)設備基于特征因子的網絡動態(tài)規(guī)劃方法。

背景技術：

1、隨著物聯(lián)網(iot)技術的飛速發(fā)展，越來越多的邊緣設備被廣泛應用于各類場景中，如智能城市、智慧醫(yī)療、工業(yè)物聯(lián)網等。這些場景中的邊緣設備通常需要處理大量的業(yè)務數據，并通過網絡進行高效傳輸。然而，不同場景中的業(yè)務特征各異，邊緣設備所面臨的網絡需求和優(yōu)化目標也不盡相同。傳統(tǒng)的網絡規(guī)劃方法通常是根據網絡條件以及大概的現有資源進行配置，缺乏對業(yè)務數據的細粒度感知，無法根據實際業(yè)務需求動態(tài)調整網絡資源配置。在此背景下，傳統(tǒng)的靜態(tài)網絡規(guī)劃方法無法有效應對動態(tài)、多變的物聯(lián)網環(huán)境。

2、物聯(lián)網場景的復雜性不僅體現在設備數量的增加和數據量的增長，還在于不同業(yè)務場景對網絡資源的需求具有強烈的差異性。例如，在智慧醫(yī)療場景中，涉及個人隱私的敏感數據需要加密通道進行傳輸；而在智能工廠中，高并發(fā)的生產控制數據則要求低延遲和高帶寬的保障。這種場景特定的需求使得統(tǒng)一的網絡規(guī)劃策略難以滿足不同業(yè)務場景下的實時需求。

3、為了解決這一問題，現有的網絡管理方法嘗試引入機器學習等技術，對網絡狀態(tài)進行預測和優(yōu)化。然而，這些方法往往依賴大量的歷史數據和預先訓練的模型，難以在變化迅速的物聯(lián)網環(huán)境中靈活應對。此外，它們也缺乏對場景業(yè)務特征的充分考慮，無法根據具體業(yè)務需求進行網絡資源的個性化分配。

技術實現思路

1、本發(fā)明提供的一種將不同場景中的業(yè)務需求與網絡資源管理緊密結合以提高網絡資源利用效率、增強網絡安全性、降低通信延遲的邊緣物聯(lián)設備基于特征因子的網絡動態(tài)規(guī)劃方法，可至少解決上述技術問題之一。

2、為了解決上述技術問題，本發(fā)明采用如下技術方案：邊緣物聯(lián)設備基于特征因子的網絡動態(tài)規(guī)劃方法，包括以下步驟：

3、s1、特征因子的提取及權重配比：提取通用特征因子和業(yè)務特征因子，并為提取后的特征因子分配權重，完成對網絡資源的調度輔助；

4、s2、構建動態(tài)規(guī)劃特征工程模型：基于所述s1所得的所述特征因子構建所述動態(tài)規(guī)劃特征工程模型，所述動態(tài)規(guī)劃特征工程模型采用強化學習模型深度q網絡來處理網絡動態(tài)規(guī)劃問題，調整并輸出最優(yōu)的網絡資源分配策略，使網絡資源動態(tài)適應業(yè)務需求；

5、s3、訓練動態(tài)規(guī)劃特征工程模型：基于所述s2所得的所述動態(tài)規(guī)劃特征工程模型，至少利用經驗回放機制、q值更新或目標網絡中的一項或多項方式進行模型訓練；

6、s4、優(yōu)化動態(tài)規(guī)劃特征工程模型：實時更新輸入至所述動態(tài)規(guī)劃特征工程模型中的所述特征因子數據，所述動態(tài)規(guī)劃特征工程模型在網絡狀態(tài)變化或業(yè)務需求波動狀態(tài)下，重新規(guī)劃網絡資源分配，同時在運行過程中逐步優(yōu)化更新。

7、進一步地，所述s1中，所述通用特征因子用于表征通用業(yè)務場景下的通用業(yè)務指標，至少包括并發(fā)帶寬調節(jié)因子、響應時延調節(jié)因子和連接穩(wěn)定性因子；

8、所述并發(fā)帶寬調節(jié)因子由業(yè)務服務并發(fā)數、當前帶寬占用率和服務請求速率組成，當系統(tǒng)檢測到業(yè)務服務并發(fā)數增加時，結合當前帶寬占用率和服務請求速率，系統(tǒng)實時評估并分配更多的帶寬資源給高并發(fā)服務，確保數據的流暢傳輸，避免擁塞和延遲；

9、所述響應時延調節(jié)因子與業(yè)務服務響應時間、當前網絡延遲和當前負載相結合，當業(yè)務服務響應時間超過設定閾值時，系統(tǒng)提取當前網絡延遲及當前負載的特征，判斷是否需要調整路由路徑或增加帶寬資源，優(yōu)化網絡配置，減少服務響應的延遲；

10、所述連接穩(wěn)定性因子用于監(jiān)控網絡的穩(wěn)定性和服務連接的可靠性，由業(yè)務服務連接丟失率、數據包丟失率和網絡傳輸錯誤率組成，當業(yè)務服務連接丟失率或數據包丟失率頻繁時，系統(tǒng)檢測并調整網絡的傳輸策略，以確保關鍵業(yè)務的穩(wěn)定運行。

11、進一步地，所述s1中，所述業(yè)務特診因子用于表征特定業(yè)務場景下的特定業(yè)務指標，至少包括數據敏感性因子、實時性需求因子和備間通信的并發(fā)數因子；

12、所述數據敏感性因子用于決定數據是否需要通過加密通道傳輸；

13、所述實時性需求因子用于控制信號的低延遲需求，以確保業(yè)務操作的即時響應；

14、所述備間通信的并發(fā)數因子用于判斷帶寬的動態(tài)分配需求。

15、進一步地，所述業(yè)務特診因子表征的特定業(yè)務場景至少包括智能交通場景、智能醫(yī)療場景和智能工廠場景，分別對應的特征因子為交通流量調節(jié)因子、醫(yī)療數據敏感性因子和生產負荷調節(jié)因子；

16、所述交通流量調節(jié)因子由實時交通流量、車輛密度和攝像頭視頻數據幀率組成，在所述智能交通場景中，當交通流量增加時，系統(tǒng)提取該因子進行帶寬資源的動態(tài)調整，車輛密度和攝像頭視頻數據幀率共同決定了對帶寬的需求，系統(tǒng)通過增加帶寬分配，確保視頻流的實時性和清晰度，避免因帶寬不足導致監(jiān)控畫面延遲或卡頓；

17、所述醫(yī)療數據敏感性因子由患者數據敏感性等級、實時監(jiān)測需求和數據傳輸指標要求組成，在所述智能醫(yī)療場景中，系統(tǒng)提取該因子進行患者數據的敏感性評估，當系統(tǒng)檢測出患者數據敏感性等級為高敏感數據時，所述醫(yī)療數據敏感性因子觸發(fā)加密傳輸策略，并根據實時監(jiān)測需求，優(yōu)先分配高帶寬和低延遲的網絡資源，以確保數據傳輸指標要求達標；

18、所述生產負荷調節(jié)因子與產線設備負載率、實時生產數據量和操作任務優(yōu)先級相結合，在所述智能工廠場景中，當產線設備負載率增加時，系統(tǒng)提取該因子評估產線設備的實時負載狀況和實時生產數據量，確保處于操作任務優(yōu)先級中的高級別的關鍵任務滿足高帶寬和低延遲的網絡資源需求。

19、進一步地，所述s1中，所述特征因子的權重配比是通過基于歷史數據的多目標優(yōu)化算法加權線性模型進行調優(yōu)。

20、進一步地，所述s2進一步包括：

21、s21、數據清洗：在構建所述動態(tài)規(guī)劃特征工程模型之前，對所提取的所述特征因子進行數據預處理，以確保數據的準確性和一致性；

22、數據清洗的操作至少包括丟失數據處理、異常數據過濾和重復數據去除，其中，丟失數據處理是使用平均值或中位數填補缺失數據，異常數據過濾和重復數據去除是通過z-score或基于聚類的方法識別并過濾離群數據；

23、s22、模型構建：所述動態(tài)規(guī)劃特征工程模型的核心是基于所述特征因子的網絡動態(tài)規(guī)劃，采用強化學習模型深度q網絡處理網絡動態(tài)規(guī)劃問題，網絡動態(tài)規(guī)劃包括狀態(tài)空間定義、動作空間定義和獎勵機制設計；

24、所述動態(tài)規(guī)劃特征工程模型基于輸入的所述特征因子，輸出最優(yōu)的網絡資源分配策略，網絡資源分配策略包括帶寬分配、路由路徑選擇和傳輸策略的調整。

25、進一步地，所述s22中，在網絡動態(tài)規(guī)劃的場景中，狀態(tài)空間由包括所述通用特征因子和所述業(yè)務特征因子的多個所述特征因子構成，具體狀態(tài)可以表示為一個向量，該向量至少包含當前的網絡狀況、網絡資源分配情況和業(yè)務需求信息；

26、動作空間定義了系統(tǒng)可以采取的各種網絡資源分配策略，即針對每個狀態(tài)而言，強化學習模型深度q網絡需要選擇網絡資源分配策略中的一項策略并賦予一個動作；

27、獎勵機制作為網絡動態(tài)規(guī)劃的核心部分，定義了每個動作帶來的反饋，在網絡動態(tài)規(guī)劃的場景中，獎勵機制根據以下指標設計：

28、①、若所選動作提高了服務響應速度、降低了延遲或減少了丟包率，則給予正獎勵；

29、②、若所選動作優(yōu)化了帶寬利用率或減少了資源浪費，則給予正獎勵；

30、③、在敏感數據傳輸中，確保數據的安全傳輸可獲得額外獎勵。

31、進一步地，所述s22中，所述帶寬分配是指根據網絡中各業(yè)務的帶寬需求，動態(tài)調整邊緣設備之間的帶寬分配策略，優(yōu)先為關鍵任務增加帶寬分配；

32、所述路由路徑選擇是指根據所述特征因子的權重，選擇低延遲或高安全性的路由路徑，確保數據以最優(yōu)方式傳輸；

33、所述傳輸策略是指決定是否啟用加密傳輸，或選擇其他合適的傳輸方式以保障數據安全性和傳輸效率。

34、進一步地，所述s3中，經驗回放機制是指在每次執(zhí)行動作后，系統(tǒng)將狀態(tài)、動作、獎勵和下一個狀態(tài)的元組存儲在經驗回放池中；

35、q值更新是指每次從經驗回放池中隨機抽取一批數據進行訓練，通過q-learning算法更新q值函數；

36、目標網絡是指強化學習模型深度q網絡使用的兩個神經網絡，一個為主網絡，用于負責當前的q值預測，另一個為目標網絡，用于定期更新以穩(wěn)定訓練過程。

37、進一步地，所述s4進一步包括：

38、s41、實時監(jiān)控：系統(tǒng)通過部署在邊緣設備上的傳感器或監(jiān)測工具，實時采集獲取當前網絡的特征因子數據，并輸入至所述動態(tài)規(guī)劃特征工程模型；

39、s42、實時決策：所述動態(tài)規(guī)劃特征工程模型經過充分訓練后，強化學習模型深度q網絡實時接收當前狀態(tài)信息，并基于學習到的策略選擇最優(yōu)動作，當系統(tǒng)監(jiān)測到網絡狀態(tài)變化或業(yè)務需求波動時，強化學習模型深度q網絡快速調整網絡資源分配以適應新的環(huán)境；

40、s43、自我更新：當監(jiān)測到網絡環(huán)境或業(yè)務需求發(fā)生重大變化時，系統(tǒng)將自動根據新的特征因子權重重新規(guī)劃網絡資源分配，通過在線學習算法自適應梯度方法，在運行過程中逐步優(yōu)化所述動態(tài)規(guī)劃特征工程模型；

41、s44、反饋機制：系統(tǒng)將每一次網絡規(guī)劃的結果與預期目標進行對比，通過反饋機制不斷調整模型參數，以確保網絡資源的分配始終最優(yōu)。

42、本發(fā)明的有益效果體現在：

43、1、提升網絡資源利用率：通過動態(tài)調整帶寬、路由和傳輸策略，本發(fā)明能夠根據實際業(yè)務需求合理分配網絡資源，最大化網絡利用效率，減少擁塞和延遲。

44、2、增強網絡安全性：本發(fā)明通過對業(yè)務數據中的敏感信息進行識別，能夠自動選擇加密通道進行數據傳輸，確保數據在傳輸過程中的安全性，尤其適用于需要隱私保護的場景，如醫(yī)療、金融等。

45、3、降低通信延遲與提高服務質量：針對高并發(fā)或實時性要求較高的業(yè)務場景，本發(fā)明可以根據特征因子動態(tài)分配帶寬和優(yōu)化路由，保證關鍵數據的低延遲傳輸，從而提高用戶體驗和業(yè)務服務質量。

46、4、通用性與自適應性強：本方法適用于不同物聯(lián)網場景和邊緣設備，具備高度的通用性和自適應能力。通過對業(yè)務特征的實時感知和靈活的網絡規(guī)劃，本發(fā)明能夠適應復雜、多變的物聯(lián)網環(huán)境。

47、5、降低能耗與計算開銷：通過精準提取和選擇關鍵的特征因子，本發(fā)明在保證網絡性能的前提下，降低了系統(tǒng)的計算復雜度和通信開銷，適用于資源受限的邊緣設備。