本發(fā)明涉及網(wǎng)絡(luò)資源調(diào)度，具體是一種基于5g通信的網(wǎng)絡(luò)資源調(diào)度管理系統(tǒng)及方法。

背景技術(shù)：

1、傳統(tǒng)的網(wǎng)絡(luò)資源調(diào)度方法主要基于靜態(tài)規(guī)則或簡單的閾值策略；在數(shù)據(jù)收集方面，一些方法只是簡單地獲取部分網(wǎng)絡(luò)參數(shù)，如網(wǎng)絡(luò)流量或者用戶連接數(shù)，而忽略了其他重要的信息，如網(wǎng)絡(luò)資源調(diào)度的利用率、路由器和交換機的負(fù)載情況以及tcp和udp數(shù)據(jù)包的傳輸特性等；這導(dǎo)致對網(wǎng)絡(luò)狀態(tài)的認(rèn)識不夠全面，無法準(zhǔn)確地把握網(wǎng)絡(luò)的實際運行情況，因此當(dāng)前網(wǎng)絡(luò)資源調(diào)度的利用率比較低，一些節(jié)點負(fù)載過高，無法承受其他調(diào)度任務(wù)，而一些節(jié)點利用率比較低，在一段時間處于空閑狀態(tài)，無法達到負(fù)載均衡。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于5g通信的網(wǎng)絡(luò)資源調(diào)度管理系統(tǒng)及方法，以解決現(xiàn)有技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于5g通信的網(wǎng)絡(luò)資源調(diào)度管理方法，所述網(wǎng)絡(luò)資源調(diào)度管理方法包括如下步驟：

3、步驟s1、收集歷史網(wǎng)絡(luò)數(shù)據(jù)，包括不同時間段的網(wǎng)絡(luò)流量、帶寬占用情況和用戶連接數(shù)等數(shù)據(jù)；實時采集當(dāng)前的網(wǎng)絡(luò)流量、帶寬占用、用戶連接數(shù)、延遲以及網(wǎng)絡(luò)狀態(tài)信息；

4、步驟s2、對收集到的數(shù)據(jù)進行預(yù)處理，使用斯皮爾曼相關(guān)性系數(shù)法進行特征選擇，提取關(guān)鍵特征；所述預(yù)處理包括噪聲處理和異常值替換；

5、步驟s3、使用提取的關(guān)鍵特征數(shù)據(jù)訓(xùn)練特征神經(jīng)網(wǎng)絡(luò)模型，對接收到的調(diào)度任務(wù)在資源調(diào)度過程中使用的各項資源進行需求預(yù)測；

6、步驟s4、根據(jù)各項資源的需求預(yù)測結(jié)果，將調(diào)度任務(wù)按照資源的需求預(yù)測結(jié)果升序排序，進行資源調(diào)度分配；

7、步驟s5、實時監(jiān)測網(wǎng)絡(luò)性能指標(biāo)，包括時延、帶寬和吞吐量等，將數(shù)據(jù)反饋至步驟s3，進一步優(yōu)化資源需求預(yù)測的準(zhǔn)確度；根據(jù)反饋數(shù)據(jù)，對歷史網(wǎng)絡(luò)數(shù)據(jù)進行實時更新。

8、在步驟s1中，收集歷史網(wǎng)絡(luò)數(shù)據(jù)，包括不同時間段的網(wǎng)絡(luò)流量、帶寬占用情況和用戶連接數(shù)等數(shù)據(jù)；實時采集當(dāng)前的網(wǎng)絡(luò)流量、帶寬占用、用戶連接數(shù)、延遲以及網(wǎng)絡(luò)狀態(tài)信息的內(nèi)容具體為：

9、通過網(wǎng)絡(luò)監(jiān)測工具和服務(wù)器日志記錄不同時間點的網(wǎng)絡(luò)流量數(shù)據(jù)fhist(t)和fcurr；其中，fhist(t)表示時間點t時的歷史網(wǎng)絡(luò)流量大?。籪curr表示當(dāng)前的網(wǎng)絡(luò)流量大??；

10、通過網(wǎng)絡(luò)設(shè)備的管理界面和網(wǎng)絡(luò)監(jiān)測軟件獲取不同時間點的帶寬占用數(shù)據(jù)bhist(t)和bcurr；其中，bhist(t)表示在時間點t時的歷史帶寬占用比例；bcurr表示當(dāng)前的帶寬占用比例；

11、通過網(wǎng)絡(luò)接入設(shè)備的統(tǒng)計信息中獲取不同時間點的用戶連接數(shù)uhist(t)和ucurr；其中，uhist(t)表示在時間點t時的歷史連接到網(wǎng)絡(luò)的用戶數(shù)量；ucurr表示連接到網(wǎng)絡(luò)的用戶數(shù)量；

12、通過發(fā)送測試數(shù)據(jù)包測量往返時間來確定網(wǎng)絡(luò)延遲dcurr，dcurr表示數(shù)據(jù)從發(fā)送端到接收端所需的時間；

13、通過記錄使用資源的比例來獲取網(wǎng)絡(luò)資源調(diào)度的利用率s；

14、通過網(wǎng)絡(luò)管理系統(tǒng)和監(jiān)測工具獲取路由器、交換機的負(fù)載情況、tcp的連接數(shù)量和udp數(shù)據(jù)包的發(fā)送與接收速率。

15、在步驟s2中，對收集到的數(shù)據(jù)進行噪聲處理的方法具體為：對獲取到的數(shù)據(jù)使用標(biāo)準(zhǔn)化變換的方法使不同特征的數(shù)據(jù)具有相同的尺度，具體公式為：；其中，表示標(biāo)準(zhǔn)化變換后的數(shù)據(jù)；x表示步驟s1獲取到的數(shù)據(jù)；μ表示數(shù)據(jù)x的平均值；σ表示數(shù)據(jù)x的標(biāo)準(zhǔn)差。

16、在步驟s2中，對收集到的數(shù)據(jù)進行異常值替換的方法具體為：

17、步驟s2-1-1、對進行完噪聲處理的數(shù)據(jù)進行異常值替換，將同一類型的數(shù)據(jù)進行降序排序；計算數(shù)據(jù)的上四分位數(shù)、中位數(shù)和下四分位數(shù)；數(shù)據(jù)的上四分位數(shù)、中位數(shù)和下四分位數(shù)分別為上四分位點q1、中位點q2和下四分位點q3所對應(yīng)的數(shù)據(jù)；；；；其中，m表示數(shù)據(jù)的個數(shù)，m為正整數(shù)；q1和q2向上取整；q3向下取整；

18、步驟s2-1-2、計算上四分位數(shù)和下四分位數(shù)之間的差值iqr；iqr為上四分位數(shù)和下四分位數(shù)的差值的絕對值；

19、步驟s2-1-3、以上四分位數(shù)為上限，以下四分位數(shù)為下限，將大于上四分位數(shù)+1.5倍iqr的數(shù)據(jù)和小于下四分位數(shù)-1.5倍iqr的數(shù)據(jù)劃分為異常值；

20、步驟s2-1-4、將大于上四分位數(shù)+1.5倍iqr的異常值替換為上四分位數(shù)+1.5倍iqr的值，將小于下四分位數(shù)-1.5倍iqr的異常值替換為下四分位數(shù)-1.5倍iqr的值。

21、在步驟s2中，進行特征選擇，提取關(guān)鍵特征的具體步驟為：

22、步驟s2-2-1、將網(wǎng)絡(luò)數(shù)據(jù)與網(wǎng)絡(luò)資源調(diào)度的利用率s進行降序排列，記為序列r1和序列r2；

23、步驟s2-2-2、計算每個數(shù)據(jù)點在各自序列中的秩次，即找到數(shù)據(jù)點在序列中的位置，如果有重復(fù)的數(shù)據(jù)點，采取平均秩次的方法；

24、步驟s2-2-3、計算秩次差d，即r1中對應(yīng)數(shù)據(jù)點的秩次減去r2中對應(yīng)數(shù)據(jù)點的秩次；

25、步驟s2-2-4、計算斯皮爾曼相關(guān)性系數(shù)ρ的值，具體計算公式為：

26、；其中，ρ表示斯皮爾曼相關(guān)性系數(shù)；n表示網(wǎng)絡(luò)數(shù)據(jù)的數(shù)量，n為正整數(shù)；dl表示第l個網(wǎng)絡(luò)數(shù)據(jù)值的秩次差；

27、步驟s2-2-5、將大于平均斯皮爾曼相關(guān)性系數(shù)的ρ值所對應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)確定為關(guān)鍵特征，記為w1、w2、...、wk；其中，w1、w2、...、wk表示第1、2、...、k個關(guān)鍵特征，k為正整數(shù)。

28、在步驟s3中，所述使用提取的關(guān)鍵特征數(shù)據(jù)訓(xùn)練特征神經(jīng)網(wǎng)絡(luò)模型，對接收到的調(diào)度任務(wù)在資源調(diào)度過程中使用的各項資源進行需求預(yù)測的具體步驟為：

29、步驟s3-1、設(shè)計特征神經(jīng)網(wǎng)絡(luò)模型，確定輸入層、隱藏層和輸出層，輸入層：以經(jīng)過特征選擇確定的k個關(guān)鍵特征w1、w2、…、wk作為輸入層神經(jīng)元；隱藏層：隱藏層神經(jīng)元數(shù)量設(shè)為h=2k；對輸入層的信息進行非線性變換；輸出層：輸出層神經(jīng)元數(shù)量根據(jù)預(yù)測目標(biāo)確定；

30、步驟s3-2、進行歸一化處理，使數(shù)據(jù)的數(shù)值范圍適合神經(jīng)網(wǎng)絡(luò)訓(xùn)練；歸一化公式為：；其中，wi’表示歸一化后的數(shù)據(jù)；wi表示第i個關(guān)鍵特征數(shù)據(jù)，i表示神經(jīng)元序號，i為正整數(shù)，1≤i≤k；max(wi)和min(wi)分別表示第i個關(guān)鍵特征數(shù)據(jù)中的最大值和最小值；將歸一化后的關(guān)鍵特征數(shù)據(jù)通過輸入層輸入特征神經(jīng)網(wǎng)絡(luò)模型，作為輸入向量，為后續(xù)的訓(xùn)練和預(yù)測過程提供數(shù)據(jù)基礎(chǔ)；

31、步驟s3-3、對于輸入層到隱藏層的連接權(quán)重wji1和隱藏層神經(jīng)元的偏置bj1進行隨機初始化，同時對隱藏層到輸出層的連接權(quán)重wj2和輸出層神經(jīng)元的偏置b2也進行隨機初始化，隨機初始化范圍為[0,1]；其中，i表示神經(jīng)元序號，i為正整數(shù)，1≤i≤k；j表示隱藏層神經(jīng)元序號，j為正整數(shù)，1≤j≤h；隱藏層神經(jīng)元hj的計算具體為：；其中，f表示激活函數(shù)，本發(fā)明采用relu函數(shù)f(x)=max(0,x)；經(jīng)過隱藏層的計算后，輸出層神經(jīng)元輸出y的計算具體為：；其中，輸出層神經(jīng)元輸出y表示資源需求預(yù)測結(jié)果。

32、在步驟s4中，根據(jù)各項資源的需求預(yù)測結(jié)果，進行調(diào)度分配的具體內(nèi)容為：設(shè)置請求優(yōu)先調(diào)度列表，優(yōu)先調(diào)度列表中的調(diào)度任務(wù)，按照fcfs進行調(diào)度；其余調(diào)度任務(wù)分配如下：將調(diào)度任務(wù)按照資源的需求預(yù)測結(jié)果升序排序，開始調(diào)度需求預(yù)測結(jié)果最小的調(diào)度任務(wù)，在升序排序中刪除調(diào)度過的調(diào)度任務(wù)，在每一次執(zhí)行完后，對網(wǎng)絡(luò)流量、帶寬占用情況和用戶連接數(shù)等數(shù)據(jù)進行實時更新，提取網(wǎng)絡(luò)流量、帶寬占用情況和用戶連接數(shù)等數(shù)據(jù)中負(fù)載占比最低的數(shù)據(jù)，在升序排序中尋找負(fù)載占比最低的數(shù)據(jù)對應(yīng)的調(diào)度任務(wù)進行資源調(diào)度，依次執(zhí)行。

33、在步驟s5中，所述實時監(jiān)測網(wǎng)絡(luò)性能指標(biāo)，包括時延、帶寬和吞吐量等，將數(shù)據(jù)反饋至步驟s3，進一步優(yōu)化資源需求預(yù)測的準(zhǔn)確度；根據(jù)反饋數(shù)據(jù)，對歷史網(wǎng)絡(luò)數(shù)據(jù)進行實時更新的具體步驟為：

34、步驟s5-1、實時監(jiān)測網(wǎng)絡(luò)性能指標(biāo)，將數(shù)據(jù)反饋至步驟s3，進一步優(yōu)化資源需求預(yù)測的準(zhǔn)確度；優(yōu)化的具體方法為：計算均方誤差，通過計算預(yù)測輸出與目標(biāo)輸出之間的誤差，利用反向傳播算法，根據(jù)誤差來調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置；均方誤差計算公式為：，其中，e表示均方誤差；n表示訓(xùn)練樣本數(shù)量；y表示資源需求預(yù)測結(jié)果；y’表示實時測量結(jié)果；反向傳播算法具體而言，從輸出層開始，反向計算誤差對每個權(quán)重和偏置的梯度，然后根據(jù)梯度下降法更新權(quán)重和偏置，使得誤差逐漸減小。這個過程經(jīng)過多次迭代訓(xùn)練，直到誤差收斂到一個較小的值，表明神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)到了輸入關(guān)鍵特征與目標(biāo)輸出之間的映射關(guān)系。

35、步驟s5-2、根據(jù)反饋數(shù)據(jù)，對歷史網(wǎng)絡(luò)數(shù)據(jù)進行實時更新。

36、一種基于5g通信的網(wǎng)絡(luò)資源調(diào)度管理系統(tǒng)，所述網(wǎng)絡(luò)資源調(diào)度管理系統(tǒng)包括數(shù)據(jù)收集模塊、數(shù)據(jù)處理模塊、特征選擇與模型訓(xùn)練模塊、資源調(diào)度分配模塊和反饋與數(shù)據(jù)更新模塊；

37、所述數(shù)據(jù)收集模塊用于通過各類網(wǎng)絡(luò)監(jiān)測工具和服務(wù)器日志，根據(jù)時間點提取流量數(shù)據(jù)、帶寬占用、連接用戶數(shù)，以及設(shè)備負(fù)載情況和往返延遲等數(shù)據(jù)；獲得系統(tǒng)的歷史數(shù)據(jù)及實時數(shù)據(jù)，為后續(xù)數(shù)據(jù)處理和調(diào)度決策提供基礎(chǔ)數(shù)據(jù)支持；

38、所述數(shù)據(jù)處理模塊用于對采集到的歷史和實時數(shù)據(jù)進行預(yù)處理，去除噪聲和異常值，同時使用特征選擇方法提取關(guān)鍵特征；

39、所述特征選擇與模型訓(xùn)練模塊用于通過關(guān)鍵特征數(shù)據(jù)，設(shè)計和訓(xùn)練特征神經(jīng)網(wǎng)絡(luò)模型，對調(diào)度任務(wù)的資源需求進行預(yù)測；

40、所述資源調(diào)度分配模塊用于根據(jù)預(yù)測出的資源需求，為各調(diào)度任務(wù)進行排序和分配資源；

41、所述反饋與數(shù)據(jù)更新模塊用于實時監(jiān)控網(wǎng)絡(luò)性能指標(biāo)，并通過反饋機制優(yōu)化神經(jīng)網(wǎng)絡(luò)模型的預(yù)測精度，并根據(jù)反饋數(shù)據(jù)，對歷史網(wǎng)絡(luò)數(shù)據(jù)進行實時更新。

42、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明使用相關(guān)系數(shù)分析方法提取關(guān)鍵特征，使用關(guān)鍵特征訓(xùn)練特征神經(jīng)網(wǎng)絡(luò)模型，其中，考慮了多個關(guān)鍵特征，并且排除干擾特征數(shù)據(jù)，因此特征神經(jīng)網(wǎng)絡(luò)模型不會由于特征過多而過擬合，也不需要自學(xué)習(xí)，在一定程度上減少了訓(xùn)練時間，提高了預(yù)測準(zhǔn)確度，其次，本發(fā)明提出了根據(jù)數(shù)據(jù)實時情況判斷負(fù)載的方式進行資源調(diào)度，提高了網(wǎng)絡(luò)資源的利用率，確保負(fù)載均衡。