背景技術:
1、高性能計算管理平臺可以面向高性能計算業(yè)務開發(fā)和運維場景,整合硬件資源和業(yè)務資源,實現計算資源統(tǒng)一分配和調度、全面的集群監(jiān)控、作業(yè)的多樣化提交和管理以及計費管理的精準靈活,是一種穩(wěn)定、高效、易用的全棧式平臺。
2、目前,高性能計算管理平臺中為使用大數據的應用程序提供高性能的數據并行處理,會分布成千甚至上萬個集群節(jié)點。為了更好的管理平臺集群的使用,合理的分配資源,會在平臺中引入作業(yè)調度系統(tǒng)。而不同的調度系統(tǒng)對作業(yè)任務的信息統(tǒng)計和調度策略方式不同。設計人員在設計計費系統(tǒng)的時候,往往會根據所使用的作業(yè)調度系統(tǒng)的特點和平臺的特點進行設計計費策略,但這樣會導致計費系統(tǒng)和平臺使用的調度系統(tǒng)耦合性較高。從而會出現調度系統(tǒng)發(fā)生改變,計費系統(tǒng)也會失效的問題,此時,設計人員不得不根據新的調度系統(tǒng)重新進行計費系統(tǒng)的設計。
3、另外,計費系統(tǒng)的計費策略設計往往比較單一,用戶無法根據自己的計費策略和出賬周期靈活地進行計費。資源的費率設置也比較單一,無法根據資源費率的變化靈活的對業(yè)務進行計費。對平臺端提交的作業(yè)和linux系統(tǒng)層提交的作業(yè)無法做到計費統(tǒng)一,從而導致費用產生遺漏。
技術實現思路
1、本發(fā)明要解決的技術問題是克服現有技術的缺陷,提供一種基于計算管理平臺的計費方法、裝置、電子設備和介質,能夠將作業(yè)任務調度系統(tǒng)和計費系統(tǒng)解耦,用來適配作業(yè)調度系統(tǒng),同時能夠靈活的對作業(yè)任務進行實時監(jiān)控、分析,根據用戶設置的計費策略進行周期計費,方便靈活,做到計費統(tǒng)一,不回導致費用遺漏,可靠使用。
2、為了解決上述技術問題,本發(fā)明提供了如下的技術方案:
3、本發(fā)明提供一種基于計算管理平臺的計費方法,應用于高性能計算管理平臺,包括以下步驟:
4、步驟a:接收作業(yè)任務請求,監(jiān)控作業(yè)任務的資源信息,資源信息包括:申請資源類型cpu或gpu,資源分區(qū),資源qos,節(jié)點數,單個節(jié)點的cpu數量、內存大小、gpu數量、存儲大??;
5、步驟b:根據作業(yè)任務的運行情況,利用bp神經網絡模型根據作業(yè)任務運行參數預測作業(yè)任務的運行信息,運行信息包括:運行開始時間、結束時間、cpu時間和墻上時間,以及運行過程中的資源使用率;
6、步驟c:根據預測運行信息判斷用戶使用率是否符合設定閾值,若該運行使用率低于閾值,則向用戶發(fā)送警告并提供任務參數建議,用戶確認后確定作業(yè)任務完成需要的資源信息;
7、步驟d:根據資源信息以及用戶定義的計費周期策略,判斷是否執(zhí)行扣費;
8、步驟e:根據計費周期策略和賬單生成策略生成原始賬單;
9、步驟f:根據管理員設定的對用戶的優(yōu)惠策略生成最終賬單。
10、作為本發(fā)明的一種優(yōu)選技術方案,所述步驟b還包括:從管理節(jié)點獲取計費周期,計費周期為用戶預先設定的記賬時間間隔;
11、根據作業(yè)任務的運行情況,在每個計費周期對作業(yè)任務的屬性進行解析,記錄作業(yè)任務的參數信息。
12、作為本發(fā)明的一種優(yōu)選技術方案,所述步驟c還包括:
13、對作業(yè)任務的參數信息分析確定作業(yè)任務完成需要的資源信息。
14、作為本發(fā)明的一種優(yōu)選技術方案,所述步驟c還包括:
15、利用bp神經網絡模型根據作業(yè)任務運行參數判斷作業(yè)任務的資源利用率是否超過設定閾值,得到第一判斷結果;
16、第一判斷結果包括作業(yè)任務利用率高于閾值以及作業(yè)任務利用率低于閾值。
17、作為本發(fā)明的一種優(yōu)選技術方案,若第一判斷結果為作業(yè)任務高于閾值,則向資源調度節(jié)點提交任務,進行任務作業(yè)運行,任務結束后根據作業(yè)任務的運行情況,得到作業(yè)任務的運行信息,實際運行時長是第二計費作業(yè)運行時長;
18、獲取第一計費作業(yè)運行時長與第二計費作業(yè)運行時長,第一計費作業(yè)運行時長為作業(yè)任務的通過bp神經網絡模型預測的作業(yè)運行時長,第二計費作業(yè)運行時長為作業(yè)任務的實際計費作業(yè)運行時長;
19、判斷第一計費作業(yè)運行時長與第二計費作業(yè)運行時長的差是否大于閾值;
20、若第一計費作業(yè)運行時長與第二計費作業(yè)運行時長的差大于閾值,則根據第二計費作業(yè)運行時長記錄到數據庫中,根據第二計費作業(yè)運行時長生成記賬明細,更新作業(yè)任務的記賬單;
21、根據記錄的計費作業(yè)運行時長更新bp神經網絡模型,修正模型預測結果權重;
22、若第一計費作業(yè)運行時長與第二計費作業(yè)運行時長的差小于閾值,則根據第二計費作業(yè)運行時長記錄到數據庫中,根據第二計費作業(yè)運行時長生成記賬明細,更新作業(yè)任務的記賬單;
23、更新作業(yè)任務的記賬單。
24、作為本發(fā)明的一種優(yōu)選技術方案,所述步驟d還包括:響應于被執(zhí)行扣費的賬戶的余額小于余額提醒閾值,向賬戶發(fā)送余額提醒信息,賬戶包括組織賬戶或用戶賬戶。
25、作為本發(fā)明的一種優(yōu)選技術方案,所述步驟e還包括:
26、獲取預設出賬周期,預設出賬周期為用戶預先設定的需要統(tǒng)計出賬的時間間隔;
27、根據預設出賬周期對賬戶進行統(tǒng)計預設出賬周期的賬單詳情,根據賬單詳情對賬戶進行定時出賬;
28、賬戶包括組織賬戶或用戶賬戶。
29、本發(fā)明還提供一種基于計算管理平臺的計費裝置,包括:
30、通信模塊,用于接收作業(yè)任務請求,監(jiān)控作業(yè)任務的運行情況;
31、管理模塊,用于根據作業(yè)任務的運行情況,得到作業(yè)任務的運行信息;
32、資源獲取模塊,用于根據運行信息確定作業(yè)任務完成需要的資源信息;
33、扣費模塊,用于根據資源信息以及用戶定義的計費周期策略,判斷是否執(zhí)行扣費;
34、出賬模塊,用于根據計費周期策略和賬單生成策略生成賬單。
35、本發(fā)明還提供一種基于計算管理平臺的電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,處理器執(zhí)行計算機程序時,執(zhí)行上述基于計算管理平臺的計費方法。
36、本發(fā)明還提供一種計算機可讀存儲介質,存儲有計算機可執(zhí)行指令,當其在計算機上運行時,計算機執(zhí)行上述基于計算管理平臺的計費方法。
37、與現有技術相比,本發(fā)明的有益效果如下:
38、本發(fā)明可以靈活地對高性能計算管理平臺前端或linux層提交的作業(yè)任務進行實時監(jiān)控、分析以及統(tǒng)計信息,能夠將作業(yè)任務調度系統(tǒng)和計費系統(tǒng)解耦,以適配任意作業(yè)調度系統(tǒng);同時,可以根據用戶設置的計費策略進行周期計費,既方便靈活又能實現計費統(tǒng)一;還能夠根據資源的使用情況及不同資源的費率的設置進行合理的收費,根據用戶設置的出賬周期進行定時出賬,靈活性高,可靠實用,用戶的體驗感好。
1.一種基于計算管理平臺的計費方法,包括以下步驟:
2.根據權利要求1所述的一種基于計算管理平臺的計費方法,其特征在于,所述步驟b還包括:從管理節(jié)點獲取計費周期,計費周期為用戶預先設定的記賬時間間隔;
3.根據權利要求1所述的一種基于計算管理平臺的計費方法,其特征在于,所述步驟c還包括:
4.根據權利要求3所述的一種基于計算管理平臺的計費方法,其特征在于,所述步驟c還包括:
5.根據權利要求4所述的一種基于計算管理平臺的計費方法,其特征在于,若第一判斷結果為作業(yè)任務高于閾值,則向資源調度節(jié)點提交任務,進行任務作業(yè)運行,任務結束后根據作業(yè)任務的運行情況,得到作業(yè)任務的運行信息,實際運行時長是第二計費作業(yè)運行時長;
6.根據權利要求1所述的一種基于計算管理平臺的計費方法,其特征在于,所述步驟d還包括:響應于被執(zhí)行扣費的賬戶的余額小于余額提醒閾值,向賬戶發(fā)送余額提醒信息,賬戶包括組織賬戶或用戶賬戶。
7.根據權利要求1所述的一種基于計算管理平臺的計費方法,其特征在于,所述步驟e還包括:
8.一種基于計算管理平臺的計費裝置,其特征在于,包括:
9.一種基于計算管理平臺的電子設備,其特征在于,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,處理器執(zhí)行計算機程序時,執(zhí)行權利要求1—7中任一項所述基于計算管理平臺的計費方法。
10.一種計算機可讀存儲介質,其特征在于,存儲有計算機可執(zhí)行指令,當其在計算機上運行時,計算機執(zhí)行如權利要求1—7中任一項所述基于計算管理平臺的計費方法。