本發(fā)明屬于數(shù)據(jù)處理，具體涉及一種基于動(dòng)態(tài)規(guī)劃的智能算力調(diào)度方法及系統(tǒng)。

背景技術(shù)：

1、在當(dāng)前的數(shù)據(jù)中心和云計(jì)算環(huán)境中，算力資源的管理和調(diào)度對(duì)于保證服務(wù)質(zhì)量和提升資源利用率至關(guān)重要。現(xiàn)有的算力調(diào)度方法主要依賴于預(yù)設(shè)的規(guī)則或者簡(jiǎn)單的負(fù)載均衡算法來(lái)進(jìn)行資源分配。這些方法通常會(huì)首先收集各個(gè)算力集群的資源使用情況，然后根據(jù)一定的策略(如輪詢、最少連接數(shù)等)來(lái)決定任務(wù)的分配。然而，這類方法在面對(duì)復(fù)雜的多集群環(huán)境時(shí)，容易出現(xiàn)資源分配不均衡的問(wèn)題，尤其是在集群間存在顯著資源差異的情況下，傳統(tǒng)的調(diào)度策略往往無(wú)法有效地平衡各集群的負(fù)載，從而導(dǎo)致部分資源閑置而其他資源卻超負(fù)荷運(yùn)轉(zhuǎn)。

2、現(xiàn)有技術(shù)中的一個(gè)關(guān)鍵問(wèn)題是，當(dāng)多個(gè)算力集群之間存在較大的資源差異時(shí)，如何有效地評(píng)估這些差異并基于此做出合理的資源分配決策。如果不能準(zhǔn)確地衡量各集群之間的資源差異，那么在進(jìn)行任務(wù)調(diào)度時(shí)就可能無(wú)法實(shí)現(xiàn)最優(yōu)的資源利用，進(jìn)而影響到整個(gè)系統(tǒng)的性能和服務(wù)水平。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于動(dòng)態(tài)規(guī)劃的智能算力調(diào)度方法及系統(tǒng)，通過(guò)實(shí)時(shí)監(jiān)控集群的資源使用情況，并計(jì)算集群間的資源差異值來(lái)評(píng)估資源分配的均衡性，以解決上述背景技術(shù)中提出的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明一方面提出了一種基于動(dòng)態(tài)規(guī)劃的智能算力調(diào)度方法，包括：

3、s1：確定多個(gè)算力集群的當(dāng)前可用資源信息，根據(jù)所述當(dāng)前可用資源信息計(jì)算各集群間的資源差異值；s2：基于所述資源差異值評(píng)估各集群間資源分配的均衡性，按照所述資源分配的均衡性確定初步的算力分組方案；s3：在所述初步分組方案基礎(chǔ)上，依據(jù)歷史任務(wù)類型與資源消耗特征匹配各分組適合的任務(wù)類型；s4：結(jié)合所述任務(wù)類型的匹配結(jié)果調(diào)整所述初步分組方案以形成優(yōu)化后的算力分組；s5：利用所述優(yōu)化后的算力分組，依據(jù)預(yù)設(shè)的服務(wù)級(jí)別協(xié)議計(jì)算各分組的服務(wù)能力評(píng)分；s6：根據(jù)所述服務(wù)能力評(píng)分排序所述優(yōu)化后的算力分組，向用戶提供按所述排序后的算力分組作為算力資源服務(wù)集合推薦。

4、優(yōu)選的，確定多個(gè)算力集群的當(dāng)前可用資源信息，包括：

5、收集各集群內(nèi)節(jié)點(diǎn)的處理器利用率、內(nèi)存使用率及網(wǎng)絡(luò)帶寬占用率數(shù)據(jù)；

6、應(yīng)用公式ri＝α·cpui+β·memi+γ·nefi計(jì)算每個(gè)集群i的綜合資源分?jǐn)?shù)ri，其中cpui表示處理器利用率，memi表示內(nèi)存使用率，nefi表示網(wǎng)絡(luò)帶寬占用率，系數(shù)α,β,γ分別代表處理器、內(nèi)存及網(wǎng)絡(luò)在綜合評(píng)價(jià)中的權(quán)重；

7、依據(jù)所述綜合資源分?jǐn)?shù)ri，比較不同集群之間的資源利用情況以確定資源差異值dij＝ri-rj|，其中dij表示集群i和集群j之間的資源差異值。

8、優(yōu)選的，根據(jù)所述當(dāng)前可用資源信息計(jì)算各集群間的資源差異值，包括：

9、對(duì)每個(gè)集群的處理器利用率cpui、內(nèi)存使用率memi及網(wǎng)絡(luò)帶寬占用率nefi進(jìn)行標(biāo)準(zhǔn)化處理，獲取標(biāo)準(zhǔn)化值scpui,memi,sneti；

10、使用公式ri′＝α·scpui+β·smemi+γ·sneti更新每個(gè)集群i的綜合資源分?jǐn)?shù)ri′，以反映標(biāo)準(zhǔn)化后資源的重要性；

11、計(jì)算任意兩集群i和j之間的資源差異值di′j＝ri′-rj′|，以此作為調(diào)整初步算力分組方案的基礎(chǔ)。

12、優(yōu)選的，基于所述資源差異值評(píng)估各集群間資源分配的均衡性，包括：

13、將所有集群的資源差異值di′j匯總，并計(jì)算平均資源差異值

14、使用公式來(lái)量化各集群間資源分配的總體均衡度e，其中n是集群總數(shù)；

15、依據(jù)所述總體均衡度e的大小來(lái)判斷資源分配是否達(dá)到預(yù)定的均衡標(biāo)準(zhǔn)。

16、優(yōu)選的，按照所述資源分配的均衡性確定初步的算力分組方案，包括：

17、當(dāng)所述總體均衡度e低于預(yù)定閾值時(shí)，將資源差異值di′j接近的集群劃分為同一組；

18、針對(duì)每一分組，定義組內(nèi)集群的平均資源分?jǐn)?shù)并確保各分組間的差異最小化；

19、通過(guò)公式來(lái)評(píng)估每個(gè)分組g內(nèi)部資源分布的一致性，選擇sg最小化的組合作為初步算力分組方案。

20、優(yōu)選的，依據(jù)歷史任務(wù)類型與資源消耗特征匹配各分組適合的任務(wù)類型，包括：

21、分析歷史任務(wù)記錄，提取任務(wù)類型對(duì)應(yīng)的典型資源消耗模式pt；

22、比較各算力分組g的資源特征與所述典型資源消耗模式pt，應(yīng)用相似度量sim(pt,rg)來(lái)評(píng)估匹配度；

23、選取相似度量sim(pt,rg)最高的任務(wù)類型t作為該分組g推薦處理的任務(wù)類型。

24、優(yōu)選的，結(jié)合所述任務(wù)類型的匹配結(jié)果調(diào)整所述初步分組方案以形成優(yōu)化后的算力分組，包括：

25、對(duì)于每個(gè)分組g，基于其推薦任務(wù)類型t的資源需求重新計(jì)算資源匹配得分mg＝sim(pt,rg)；

26、如果某個(gè)分組g的資源匹配得分mg低于預(yù)設(shè)門限值，則重新分配該分組內(nèi)的集群至其他分組以提高資源匹配得分；

27、經(jīng)過(guò)調(diào)整后，形成最終的優(yōu)化算力分組方案，使得每個(gè)分組內(nèi)集群能夠更好地支持其推薦的任務(wù)類型。

28、優(yōu)選的，依據(jù)預(yù)設(shè)的服務(wù)級(jí)別協(xié)議計(jì)算各分組的服務(wù)能力評(píng)分，包括：

29、根據(jù)預(yù)設(shè)服務(wù)級(jí)別協(xié)議的要求，為每個(gè)優(yōu)化后的分組g定義服務(wù)質(zhì)量指標(biāo)qg，包括但不限于響應(yīng)時(shí)間、吞吐量及可靠性；

30、應(yīng)用公式sg＝w1·qresponse,g+w2·qthroughput,g+w3·qreliability,g,計(jì)算各分組g的服務(wù)能力評(píng)分sg，其中w1,w2,w3分別是響應(yīng)時(shí)間、吞吐量及可靠性的權(quán)重；

31、基于所述服務(wù)能力評(píng)分sg，評(píng)估每個(gè)分組提供服務(wù)的能力。

32、優(yōu)選的，向用戶提供按所述排序后的算力分組作為算力資源服務(wù)集合推薦,包括：

33、構(gòu)建基于服務(wù)能力評(píng)分sg的分組排序函數(shù)f(s)，該函數(shù)輸出排序后的分組序列；

34、應(yīng)用排序函數(shù)f(s)于所有優(yōu)化后的分組，得到排序后的分組序列g(shù)sorted；

35、遍歷所述排序后的分組序列g(shù)sorted，選取前n個(gè)分組作為候選推薦集合；

36、將所述候選推薦集合的信息匯總成推薦列表reclist，其中reclist包含但不限于分組標(biāo)識(shí)符、服務(wù)能力評(píng)分及推薦理由；

37、向用戶展示所述推薦列表reclist，以便用戶根據(jù)自身需求選擇合適的算力資源服務(wù)集合。

38、另一方面，本發(fā)明提出一種基于動(dòng)態(tài)規(guī)劃的智能算力調(diào)度系統(tǒng)，包括：

39、集群資源狀態(tài)監(jiān)測(cè)模塊，用于確定多個(gè)算力集群的當(dāng)前可用資源信息，根據(jù)所述當(dāng)前可用資源信息計(jì)算各集群間的資源差異值；

40、資源均衡評(píng)估與初步分組模塊，用于基于所述資源差異值評(píng)估各集群間資源分配的均衡性，按照所述資源分配的均衡性確定初步的算力分組方案；

41、任務(wù)類型匹配模塊，用于在所述初步分組方案基礎(chǔ)上，依據(jù)歷史任務(wù)類型與資源消耗特征匹配各分組適合的任務(wù)類型；

42、分組優(yōu)化調(diào)整模塊，用于結(jié)合所述任務(wù)類型的匹配結(jié)果調(diào)整所述初步分組方案以形成優(yōu)化后的算力分組；

43、服務(wù)能力評(píng)分計(jì)算模塊，用于利用所述優(yōu)化后的算力分組，依據(jù)預(yù)設(shè)的服務(wù)級(jí)別協(xié)議計(jì)算各分組的服務(wù)能力評(píng)分；

44、算力資源服務(wù)推薦模塊，用于根據(jù)所述服務(wù)能力評(píng)分排序所述優(yōu)化后的算力分組，向用戶提供按所述排序后的算力分組作為算力資源服務(wù)集合推薦。

45、本發(fā)明的技術(shù)效果和優(yōu)點(diǎn)：本發(fā)明提出的一種基于動(dòng)態(tài)規(guī)劃的智能算力調(diào)度方法及系統(tǒng)，與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

46、本發(fā)明通過(guò)實(shí)時(shí)監(jiān)控集群的資源使用情況，并計(jì)算集群間的資源差異值來(lái)評(píng)估資源分配的均衡性?；谶@種動(dòng)態(tài)評(píng)估機(jī)制，可以更合理地確定算力分組方案，并通過(guò)進(jìn)一步的任務(wù)類型匹配和分組優(yōu)化，確保最終形成的算力分組能夠更好地滿足不同類型任務(wù)的需求。此外，通過(guò)引入服務(wù)級(jí)別協(xié)議來(lái)計(jì)算各分組的服務(wù)能力評(píng)分，并據(jù)此進(jìn)行排序推薦，能夠有效提升算力資源的整體利用率和服務(wù)質(zhì)量。