本發(fā)明涉及電數(shù)字?jǐn)?shù)據(jù)處理領(lǐng)域，具體涉及一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)。

背景技術(shù)：

1、隨著云計(jì)算、大數(shù)據(jù)和人工智能技術(shù)的快速發(fā)展，計(jì)算資源的需求呈指數(shù)級(jí)增長(zhǎng)，特別是在深度學(xué)習(xí)和數(shù)據(jù)密集型應(yīng)用中，合理配置和高效管理算力資源變得至關(guān)重要，當(dāng)前的計(jì)算任務(wù)復(fù)雜度和規(guī)模不斷增加，算力資源需求波動(dòng)大且不可預(yù)測(cè)，如果不能根據(jù)任務(wù)的實(shí)際需求動(dòng)態(tài)調(diào)整算力分配，容易造成資源浪費(fèi)或性能瓶頸。因此，建立一種能夠精準(zhǔn)預(yù)測(cè)算力需求的系統(tǒng)，能顯著提高資源利用率和任務(wù)響應(yīng)速度，為資源規(guī)劃和負(fù)載均衡提供數(shù)據(jù)支持。

2、背景技術(shù)的前述論述僅意圖便于理解本發(fā)明。此論述并不認(rèn)可或承認(rèn)提及的材料中的任一種公共常識(shí)的一部分。

3、現(xiàn)在已經(jīng)開發(fā)出了很多算力預(yù)測(cè)系統(tǒng)，經(jīng)過大量的檢索與參考，發(fā)現(xiàn)現(xiàn)有的算力預(yù)測(cè)系統(tǒng)有如公開號(hào)為cn117952669b所公開的系統(tǒng)，這些系統(tǒng)方法一般包括：統(tǒng)計(jì)目標(biāo)地區(qū)的個(gè)人產(chǎn)生的數(shù)據(jù)量、泛娛樂產(chǎn)生的數(shù)據(jù)量以及傳感器設(shè)備產(chǎn)生的數(shù)據(jù)量；基于個(gè)人產(chǎn)生的數(shù)據(jù)量、泛娛樂產(chǎn)生的數(shù)據(jù)量以及傳感器設(shè)備產(chǎn)生的數(shù)據(jù)量，利用算力需求等價(jià)換算方法，得到目標(biāo)地區(qū)的算力需求；計(jì)算得到歷史算力需求序列；利用雙生神經(jīng)網(wǎng)絡(luò)對(duì)歷史算力需求序列進(jìn)行深度學(xué)習(xí)，得到算力需求預(yù)測(cè)網(wǎng)絡(luò)。但該系統(tǒng)在模型訓(xùn)練過程中，同一時(shí)間只能對(duì)一個(gè)樣本進(jìn)行處理，訓(xùn)練的效率有待提高。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于，針對(duì)所存在的不足，提出了一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)。

2、本發(fā)明采用如下技術(shù)方案：

3、一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)，包括數(shù)據(jù)收集模塊、特征提取模塊、模型訓(xùn)練模塊和預(yù)測(cè)執(zhí)行模塊；

4、所述數(shù)據(jù)收集模塊用于采集訓(xùn)練用的樣本數(shù)據(jù)，所述特征提取模塊用于對(duì)樣本數(shù)據(jù)提取特征信息，所述模型訓(xùn)練模塊用于對(duì)樣本數(shù)據(jù)進(jìn)行深度學(xué)習(xí)訓(xùn)練，所述預(yù)測(cè)執(zhí)行模塊基于學(xué)習(xí)結(jié)果對(duì)任務(wù)的算力需求進(jìn)行預(yù)測(cè)；

5、所述數(shù)據(jù)收集模塊包括任務(wù)采集單元、數(shù)據(jù)預(yù)處理單元和樣本存儲(chǔ)單元，所述任務(wù)采集單元用于收集已經(jīng)執(zhí)行完畢后的任務(wù)數(shù)據(jù)，所述數(shù)據(jù)預(yù)處理單元用于將任務(wù)數(shù)據(jù)統(tǒng)一處理成樣本形式的數(shù)據(jù)，所述樣本存儲(chǔ)單元用于將樣本進(jìn)行編碼并存儲(chǔ)；

6、所述特征提取單元包括特征選擇單元、特征工程單元和特征轉(zhuǎn)換單元，所述特征選擇單元用于選擇與算力需求相關(guān)的關(guān)鍵特征，所述特征工程單元用于將選擇的特征構(gòu)建高階特征，所述特征轉(zhuǎn)換單元用于將構(gòu)建的特征轉(zhuǎn)換成模型支持的格式；

7、所述模型訓(xùn)練模塊包括模型構(gòu)建單元、學(xué)習(xí)訓(xùn)練單元和模型優(yōu)化單元，所述模型構(gòu)建單元用于構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)生成訓(xùn)練模型，所述學(xué)習(xí)訓(xùn)練單元用于控制訓(xùn)練模型對(duì)樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練，所述模型優(yōu)化單元基于訓(xùn)練結(jié)果對(duì)訓(xùn)練模型進(jìn)行優(yōu)化處理；

8、所述預(yù)測(cè)執(zhí)行模塊包括模型存儲(chǔ)單元、實(shí)時(shí)預(yù)測(cè)單元和反饋調(diào)整單元，所述模型存儲(chǔ)單元用于存儲(chǔ)用于預(yù)測(cè)的模型數(shù)據(jù)，所述實(shí)時(shí)預(yù)測(cè)單元用于接收預(yù)測(cè)任務(wù)并利用模型進(jìn)行預(yù)測(cè)，所述反饋調(diào)整單元用于收集任務(wù)的實(shí)際運(yùn)行數(shù)據(jù)處理得到誤差信息后反饋給數(shù)據(jù)收集模塊；

9、進(jìn)一步的，所述特征選擇單元包括初始篩選處理器、統(tǒng)計(jì)分析處理器和特征評(píng)估處理器，所述初始篩選處理器用于對(duì)特征進(jìn)行簡(jiǎn)易篩選過濾不具普遍性和明顯不相關(guān)的特征，所述統(tǒng)計(jì)分析處理器用于分析各個(gè)特征與算力需求的關(guān)聯(lián)性，所述特征評(píng)估處理器用于將特征對(duì)于算力需求的重要性進(jìn)行評(píng)估處理；

10、所述特征評(píng)估處理器將特征根據(jù)關(guān)聯(lián)值從大到小進(jìn)行排序，并根據(jù)下式計(jì)算出特征的重要指數(shù)e：

11、；

12、其中，u為特征的排序序號(hào)，n為特征數(shù)量，r為關(guān)聯(lián)值；

13、進(jìn)一步的，所述特征工程單元包括特征交互生成處理器、多維特征聚合處理器和工程記錄處理器，所述特征交互生成處理器用于將多個(gè)特征進(jìn)行交互處理生成新的深層特征，所述多維特征聚合處理器用于將選擇多個(gè)深層特征構(gòu)成特征向量，所述工程記錄處理器用于將交互方式以及向量構(gòu)成方式進(jìn)行記錄；

14、所述特征交互生成處理器根據(jù)下式對(duì)特征進(jìn)行交互處理得到深層特征x：

15、；

16、其中，hi()表示第i個(gè)交互函數(shù)，x(1)和x(2)表示兩個(gè)交互特征，e(1)表示第一個(gè)交互特征的重要指數(shù)，e(2)表示第二個(gè)交互特征的重要指數(shù)；

17、進(jìn)一步的，所述學(xué)習(xí)訓(xùn)練單元包括樣本輸入處理器、訓(xùn)練反饋處理器和訓(xùn)練控制處理器，所述樣本輸入處理器用于獲取樣本數(shù)據(jù)并將對(duì)應(yīng)的特征向量放置于輸入層的正確位置，所述訓(xùn)練反饋處理器用于對(duì)隱藏層中各個(gè)節(jié)點(diǎn)的計(jì)算情況進(jìn)行反饋統(tǒng)計(jì)，所述訓(xùn)練控制處理器基于統(tǒng)計(jì)數(shù)據(jù)對(duì)隱藏層中節(jié)點(diǎn)的輸出狀態(tài)進(jìn)行控制；

18、進(jìn)一步的，所述訓(xùn)練控制處理器根據(jù)下式計(jì)算出每個(gè)節(jié)點(diǎn)的擁擠指數(shù)p：

19、；

20、其中，a為范圍長(zhǎng)度，n0為本節(jié)點(diǎn)的計(jì)數(shù)值，ni為第i個(gè)后續(xù)節(jié)點(diǎn)的計(jì)數(shù)值；

21、當(dāng)擁擠指數(shù)小于閾值時(shí)，節(jié)點(diǎn)能夠直接將計(jì)算處理結(jié)果發(fā)送至下個(gè)節(jié)點(diǎn)，否則關(guān)閉輸出通道直到擁擠指數(shù)小于閾值。

22、本發(fā)明所取得的有益效果是：

23、本系統(tǒng)通過對(duì)特征進(jìn)行篩選、重構(gòu)，能夠有效提高模型的學(xué)習(xí)質(zhì)量，輸出更接近真實(shí)情況的算力需求，在訓(xùn)練過程中，對(duì)節(jié)點(diǎn)的傳遞輸出進(jìn)行控制，在不擾亂數(shù)據(jù)的前提下，使得多個(gè)樣本能夠同一時(shí)間在單個(gè)模型中進(jìn)行訓(xùn)練處理，相比與傳統(tǒng)的處理一個(gè)樣本后再能再處理下一個(gè)樣本的情況，能夠有效地提高模型的訓(xùn)練效率。

24、為使能更進(jìn)一步了解本發(fā)明的特征及技術(shù)內(nèi)容，請(qǐng)參閱以下有關(guān)本發(fā)明的詳細(xì)說明與附圖，然而所提供的附圖僅用于提供參考與說明，并非用來對(duì)本發(fā)明加以限制。

技術(shù)特征：

1.一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)，其特征在于，包括數(shù)據(jù)收集模塊、特征提取模塊、模型訓(xùn)練模塊和預(yù)測(cè)執(zhí)行模塊；

2.如權(quán)利要求1所述的一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)，其特征在于，所述特征選擇單元包括初始篩選處理器、統(tǒng)計(jì)分析處理器和特征評(píng)估處理器，所述初始篩選處理器用于對(duì)特征進(jìn)行簡(jiǎn)易篩選過濾不具普遍性和明顯不相關(guān)的特征，所述統(tǒng)計(jì)分析處理器用于分析各個(gè)特征與算力需求的關(guān)聯(lián)性，所述特征評(píng)估處理器用于將特征對(duì)于算力需求的重要性進(jìn)行評(píng)估處理；

3.如權(quán)利要求2所述的一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)，其特征在于，所述特征工程單元包括特征交互生成處理器、多維特征聚合處理器和工程記錄處理器，所述特征交互生成處理器用于將多個(gè)特征進(jìn)行交互處理生成新的深層特征，所述多維特征聚合處理器用于將選擇多個(gè)深層特征構(gòu)成特征向量，所述工程記錄處理器用于將交互方式以及向量構(gòu)成方式進(jìn)行記錄；

4.如權(quán)利要求3所述的一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)，其特征在于，所述學(xué)習(xí)訓(xùn)練單元包括樣本輸入處理器、訓(xùn)練反饋處理器和訓(xùn)練控制處理器，所述樣本輸入處理器用于獲取樣本數(shù)據(jù)并將對(duì)應(yīng)的特征向量放置于輸入層的正確位置，所述訓(xùn)練反饋處理器用于對(duì)隱藏層中各個(gè)節(jié)點(diǎn)的計(jì)算情況進(jìn)行反饋統(tǒng)計(jì)，所述訓(xùn)練控制處理器基于統(tǒng)計(jì)數(shù)據(jù)對(duì)隱藏層中節(jié)點(diǎn)的輸出狀態(tài)進(jìn)行控制。

5.如權(quán)利要求4所述的一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)，其特征在于，所述訓(xùn)練控制處理器根據(jù)下式計(jì)算出每個(gè)節(jié)點(diǎn)的擁擠指數(shù)p：

技術(shù)總結(jié)
本發(fā)明提供了一種利用深度學(xué)習(xí)的算力需求預(yù)測(cè)系統(tǒng)，涉及電數(shù)字?jǐn)?shù)據(jù)處理領(lǐng)域，包括數(shù)據(jù)收集模塊、特征提取模塊、模型訓(xùn)練模塊和預(yù)測(cè)執(zhí)行模塊，所述數(shù)據(jù)收集模塊用于采集訓(xùn)練用的樣本數(shù)據(jù)，所述特征提取模塊用于對(duì)樣本數(shù)據(jù)提取特征信息，所述模型訓(xùn)練模塊用于對(duì)樣本數(shù)據(jù)進(jìn)行深度學(xué)習(xí)訓(xùn)練，所述預(yù)測(cè)執(zhí)行模塊基于學(xué)習(xí)結(jié)果對(duì)任務(wù)的算力需求進(jìn)行預(yù)測(cè)；本系統(tǒng)通過深度學(xué)習(xí)訓(xùn)練來提高模型的預(yù)測(cè)準(zhǔn)確率，輸出任務(wù)的算力需求，為后續(xù)的資源分配提供數(shù)據(jù)支持。

技術(shù)研發(fā)人員：張衛(wèi)平,伍亞暉,梁昊星,劉安,趙莉莉,陳靜婷,李玲
受保護(hù)的技術(shù)使用者：環(huán)球數(shù)科股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9