本技術(shù)涉及一種多云管理平臺(tái)，尤其涉及一種多云管理平臺(tái)的決策管理方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著云計(jì)算的發(fā)展，企業(yè)運(yùn)營(yíng)數(shù)據(jù)越來(lái)越多，“上云”不僅成為一個(gè)必選項(xiàng)，更是一個(gè)多選項(xiàng)。混合云、多云戰(zhàn)略備受市場(chǎng)青睞，并逐步成為企業(yè)上云的基礎(chǔ)路徑。為解決多云管理給企業(yè)帶來(lái)的困難，多云管理平臺(tái)應(yīng)運(yùn)而生。

2、經(jīng)調(diào)研，許多多云管理平臺(tái)面臨著諸如資源分配與調(diào)度的復(fù)雜性、負(fù)載均衡挑戰(zhàn)以及自動(dòng)化擴(kuò)展與縮減的困難等挑戰(zhàn)。然而，由于這些挑戰(zhàn)具有無(wú)法適應(yīng)環(huán)境的動(dòng)態(tài)性和不確定性，傳統(tǒng)的多云管理方法往往難以有效應(yīng)對(duì)這些挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種多云管理平臺(tái)的決策管理方法、裝置及存儲(chǔ)介質(zhì)，以解決相關(guān)技術(shù)存在的問(wèn)題，技術(shù)方案如下：

2、第一方面，本技術(shù)實(shí)施例提供了一種多云管理平臺(tái)的決策管理方法，包括：

3、采集多云管理平臺(tái)的各項(xiàng)實(shí)時(shí)數(shù)據(jù)，對(duì)所述各項(xiàng)實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)處理；

4、根據(jù)各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)，構(gòu)建sars結(jié)構(gòu)數(shù)據(jù)，所述sars結(jié)構(gòu)數(shù)據(jù)包括所述多云管理平臺(tái)在所述各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)上對(duì)應(yīng)的當(dāng)前系統(tǒng)狀態(tài)、執(zhí)行動(dòng)作、根據(jù)執(zhí)行動(dòng)作獲得的獎(jiǎng)勵(lì)以及根據(jù)執(zhí)行動(dòng)作轉(zhuǎn)移到的新系統(tǒng)狀態(tài)；

5、構(gòu)建actor-critic模型，其中，所述actor-critic模型中的actor網(wǎng)絡(luò)用于預(yù)測(cè)動(dòng)作概率，所述actor-critic模型中的critic網(wǎng)絡(luò)用于評(píng)估狀態(tài)值；

6、根據(jù)所述sars結(jié)構(gòu)數(shù)據(jù)，對(duì)所述actor-critic模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的actor-critic模型；

7、將所述訓(xùn)練好的actor-critic模型部署在所述多云管理平臺(tái)上，對(duì)多個(gè)云服務(wù)進(jìn)行決策管理。

8、在一種實(shí)施方式中，對(duì)所述各項(xiàng)實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)處理包括：

9、對(duì)所述各項(xiàng)實(shí)時(shí)數(shù)據(jù)進(jìn)行缺失值、異常值和噪聲數(shù)據(jù)處理。

10、在一種實(shí)施方式中，根據(jù)各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)，構(gòu)建sars結(jié)構(gòu)數(shù)據(jù)包括：

11、確定所述各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)的數(shù)據(jù)類型；

12、根據(jù)所述各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)的數(shù)據(jù)類型，對(duì)所述各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)進(jìn)行狀態(tài)編碼、動(dòng)作編碼和獎(jiǎng)勵(lì)處理；

13、根據(jù)所述各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)的狀態(tài)編碼、行動(dòng)編碼和獎(jiǎng)勵(lì)，將所述各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換為四元組數(shù)據(jù)，構(gòu)建得到所述sars結(jié)構(gòu)數(shù)據(jù)。

14、在一種實(shí)施方式中，根據(jù)所述sars結(jié)構(gòu)數(shù)據(jù)，對(duì)所述actor-critic模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的actor-critic模型包括：

15、將所述sars結(jié)構(gòu)數(shù)據(jù)保存為tensorflow數(shù)據(jù)集；

16、將所述tensorflow數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

17、采用所述訓(xùn)練集對(duì)所述actor-critic模型進(jìn)行訓(xùn)練，根據(jù)所述actor網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果、所述critic網(wǎng)絡(luò)的評(píng)估結(jié)果和所述訓(xùn)練集的真實(shí)值，更新所述actor網(wǎng)絡(luò)和所述critic網(wǎng)絡(luò)，得到訓(xùn)練后的actor-critic模型；

18、在訓(xùn)練過(guò)程中，定期采用所述驗(yàn)證集評(píng)估所述訓(xùn)練后的actor-critic模型的性能，并保存所述訓(xùn)練后的actor-critic模型的相關(guān)參數(shù)；

19、在訓(xùn)練完成后，采用所述測(cè)試集評(píng)估所述訓(xùn)練后的actor-critic模型的最終性能，在所述最終性能達(dá)到預(yù)設(shè)性能時(shí)，將所述訓(xùn)練后的actor-critic模型作為所述訓(xùn)練好的actor-critic模型。

20、在一種實(shí)施方式中，采用所述訓(xùn)練集對(duì)所述actor-critic模型進(jìn)行訓(xùn)練，根據(jù)所述actor網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果、所述critic網(wǎng)絡(luò)的評(píng)估結(jié)果和所述訓(xùn)練集的真實(shí)值，更新所述actor網(wǎng)絡(luò)和所述critic網(wǎng)絡(luò)，得到訓(xùn)練后的actor-critic模型包括：

21、確定所述actor-critic模型的輸入?yún)?shù)，所述輸入?yún)?shù)包括迭代次數(shù)t、狀態(tài)特征維度n、動(dòng)作集合a；

22、初始化所述多云管理平臺(tái)的狀態(tài)環(huán)境，將初始化狀態(tài)作為所述多云管理平臺(tái)的當(dāng)前系統(tǒng)狀態(tài)；

23、隨機(jī)初始化所述actor網(wǎng)絡(luò)的參數(shù)θ和所述critic網(wǎng)絡(luò)的參數(shù)w；

24、根據(jù)所述訓(xùn)練集，隨機(jī)獲取當(dāng)前狀態(tài)序列的第一個(gè)狀態(tài)s，以及獲取所述第一個(gè)狀態(tài)s對(duì)應(yīng)的狀態(tài)特征向量φ(s)；

25、將所述狀態(tài)特征向量φ(s)輸入到所述actor網(wǎng)絡(luò)中，預(yù)測(cè)得到動(dòng)作概率分布；

26、根據(jù)所述動(dòng)作概率分布，選擇并執(zhí)行目標(biāo)執(zhí)行動(dòng)作，得到新的第二狀態(tài)s'、第二狀態(tài)s'對(duì)應(yīng)的狀態(tài)特征向量φ(s')和獎(jiǎng)勵(lì)r；

27、將所述狀態(tài)特征向量φ(s)和所述狀態(tài)特征向量φ(s')輸入到所述critic網(wǎng)絡(luò)中，得到所述狀態(tài)特征向量φ(s)對(duì)應(yīng)的評(píng)估狀態(tài)值v(s,w)和所述狀態(tài)特征向量φ(s')對(duì)應(yīng)的評(píng)估狀態(tài)值v(s',w)；

28、根據(jù)所述評(píng)估狀態(tài)值v(s,w)、所述評(píng)估狀態(tài)值v(s',w)和所述獎(jiǎng)勵(lì)r，計(jì)算得到td誤差值，并根據(jù)所述td誤差值更新所述參數(shù)θ和所述參數(shù)w；

29、返回執(zhí)行根據(jù)所述訓(xùn)練集，隨機(jī)獲取當(dāng)前狀態(tài)序列的第一個(gè)狀態(tài)s，以及獲取所述第一個(gè)狀態(tài)s對(duì)應(yīng)的狀態(tài)特征向量φ(s)，直至達(dá)到所述迭代次數(shù)t為止，得到所述訓(xùn)練后的actor-critic模型。

30、在一種實(shí)施方式中，根據(jù)所述td誤差值更新所述參數(shù)θ和所述參數(shù)w包括：

31、根據(jù)所述td誤差值，計(jì)算所述actor-critic模型的損失函數(shù)；

32、根據(jù)所述損失函數(shù)，更新所述參數(shù)θ和所述參數(shù)w。

33、在一種實(shí)施方式中，將所述訓(xùn)練好的actor-critic模型部署在所述多云管理平臺(tái)上，對(duì)多個(gè)云服務(wù)進(jìn)行決策管理包括：

34、將所述訓(xùn)練好的actor-critic模型打包成一個(gè)docker容器，得到容器化的actor-critic模型；

35、在所述多云管理平臺(tái)上創(chuàng)建一個(gè)實(shí)例，在所述實(shí)例上安裝docker，并將容器化的actor-critic模型部署在所述實(shí)例上，通過(guò)所述容器化的actor-critic模型對(duì)多個(gè)云服務(wù)進(jìn)行決策管理。

36、第二方面，本技術(shù)實(shí)施例還提供了一種多云管理平臺(tái)的決策管理裝置，包括：

37、采集單元，用于采集多云管理平臺(tái)的各項(xiàng)實(shí)時(shí)數(shù)據(jù)，對(duì)所述各項(xiàng)實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)處理；

38、構(gòu)建單元，用于根據(jù)各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)，構(gòu)建sars結(jié)構(gòu)數(shù)據(jù)，所述sars結(jié)構(gòu)數(shù)據(jù)包括所述多云管理平臺(tái)在所述各項(xiàng)處理后的實(shí)時(shí)數(shù)據(jù)上對(duì)應(yīng)的當(dāng)前系統(tǒng)狀態(tài)、執(zhí)行動(dòng)作、根據(jù)執(zhí)行動(dòng)作獲得的獎(jiǎng)勵(lì)以及根據(jù)執(zhí)行動(dòng)作轉(zhuǎn)移到的新系統(tǒng)狀態(tài)；構(gòu)建actor-critic模型，其中，所述actor-critic模型中的actor網(wǎng)絡(luò)用于預(yù)測(cè)動(dòng)作概率，所述actor-critic模型中的critic網(wǎng)絡(luò)用于評(píng)估狀態(tài)值；

39、管理單元，用于根據(jù)所述sars結(jié)構(gòu)數(shù)據(jù)，對(duì)所述actor-critic模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的actor-critic模型；將所述訓(xùn)練好的actor-critic模型部署在所述多云管理平臺(tái)上，對(duì)多個(gè)云服務(wù)進(jìn)行決策管理。

40、第三方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)裝置，該計(jì)算機(jī)裝置包括：存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)指令，所述指令由所述處理器加載并執(zhí)行，以實(shí)現(xiàn)上述各方面任一種實(shí)施方式中的方法，其中，所述存儲(chǔ)器和所述處理器通過(guò)內(nèi)部連接通路互相通信。

41、第四方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，實(shí)現(xiàn)上述各方面任一種實(shí)施方式中的方法。

42、上述技術(shù)方案中的優(yōu)點(diǎn)或有益效果至少包括：

43、本技術(shù)通過(guò)將actor-ctitic模型應(yīng)用在多云管理平臺(tái)中，通過(guò)實(shí)時(shí)學(xué)習(xí)和優(yōu)化決策策略，使得多云管理平臺(tái)可以根據(jù)實(shí)時(shí)環(huán)境狀態(tài)和性能指標(biāo)，動(dòng)態(tài)地調(diào)整多云環(huán)境中的資源分配，從而實(shí)現(xiàn)更高效的資源利用和性能優(yōu)化，同時(shí)，還能夠優(yōu)化資源配置和調(diào)度策略，實(shí)現(xiàn)多云環(huán)境中資源的有效管理和優(yōu)化，從而可以提高系統(tǒng)性能和效率以及優(yōu)化資源利用率和成本分配，實(shí)現(xiàn)了資源的有效利用和成本節(jié)約，以及降低企業(yè)的運(yùn)營(yíng)成本，可以為企業(yè)提供更智能、更高效的多云管理服務(wù)。

44、上述概述僅僅是為了說(shuō)明書的目的，并不意圖以任何方式進(jìn)行限制。除上述描述的示意性的方面、實(shí)施方式和特征之外，通過(guò)參考附圖和以下的詳細(xì)描述，本技術(shù)進(jìn)一步的方面、實(shí)施方式和特征將會(huì)是容易明白的。