本發(fā)明涉及電數(shù)字數(shù)據(jù)處理領(lǐng)域，具體涉及一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)。

背景技術(shù)：

1、分布式計算能夠利用多個分布式節(jié)點來處理同一個項目的不同計算任務(wù)，有效地提高項目的完成速度，而調(diào)度不同節(jié)點的資源來處理任務(wù)，會有不同的提升效果，因此，需要一種系統(tǒng)來對資源的調(diào)度進行分析控制，更好的發(fā)揮出分布式計算的優(yōu)點。

2、背景技術(shù)的前述論述僅意圖便于理解本發(fā)明。此論述并不認可或承認提及的材料中的任一種公共常識的一部分。

3、現(xiàn)在已經(jīng)開發(fā)出了很多資源調(diào)度系統(tǒng)，經(jīng)過大量的檢索與參考，發(fā)現(xiàn)現(xiàn)有的資源調(diào)度系統(tǒng)有如公開號為cn112148471b所公開的系統(tǒng)，這些系統(tǒng)方法一般包括：獲取所述分布式計算系統(tǒng)中待處理的批任務(wù)中每個spark任務(wù)的累積分配資源；根據(jù)所述批任務(wù)中每個spark任務(wù)的累積分配資源，為所述批任務(wù)中每個spark任務(wù)分配執(zhí)行器。在本申請實施例中，基于批任務(wù)中每個spark任務(wù)的累積分配資源，為所述批任務(wù)中每個spark任務(wù)分配執(zhí)行器，有利于縮短分布式計算系統(tǒng)處理批任務(wù)的時間。但該系統(tǒng)在分配資源過程中，以任務(wù)為分析對象來分配計算資源，導致會存在部分節(jié)點負載較大、部分節(jié)點負載較小的狀況發(fā)生，使得分布式計算提升效率的優(yōu)勢未充分發(fā)揮。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于，針對所存在的不足，提出了一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)。

2、本發(fā)明采用如下技術(shù)方案：

3、一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)，包括請求管理模塊、狀態(tài)監(jiān)控模塊、均衡調(diào)度模塊和任務(wù)管理模塊；

4、所述請求管理模塊用于接收并管理用戶的請求信息，所述狀態(tài)監(jiān)控模塊用于監(jiān)控每個分布式節(jié)點的運行狀態(tài)，所述均衡調(diào)度模塊基于監(jiān)控信息對資源進行調(diào)度分析，所述任務(wù)管理模塊用于對任務(wù)執(zhí)行過程中的數(shù)據(jù)進行管理；

5、所述請求管理模塊包括請求接收單元、請求緩存單元和請求解析單元，所述請求接收單元用于接收用于的任務(wù)請求信息，所述請求緩存單元用于對請求信息進行緩存，所述請求解析單元用于對請求信息進行解析得到具體任務(wù)；

6、所述狀態(tài)監(jiān)控模塊包括資源監(jiān)控單元、狀態(tài)存儲單元和健康檢測單元，所述資源監(jiān)控單元用于對每個節(jié)點的資源利用數(shù)據(jù)進行監(jiān)測，所述狀態(tài)存儲單元用于將節(jié)點的狀態(tài)數(shù)據(jù)進行集中存儲，所述健康檢測單元用于對節(jié)點的健康狀態(tài)進行檢查；

7、所述均衡調(diào)度模塊包括均衡分析單元、調(diào)度控制單元和節(jié)點管理單元，所述均衡分析單元用于分析節(jié)點的均衡狀態(tài)，所述調(diào)度控制單元用于控制任務(wù)的調(diào)度過程，所述節(jié)點管理單元用于對節(jié)點的任務(wù)分派信息進行管理；

8、所述任務(wù)管理模塊包括任務(wù)分解單元、執(zhí)行控制單元和數(shù)據(jù)匯總單元，所述任務(wù)分解單元用于將用戶任務(wù)分解成子任務(wù)，所述執(zhí)行控制單元管理子任務(wù)的執(zhí)行進程和數(shù)據(jù)交換，所述數(shù)據(jù)匯總單元用于將任務(wù)的執(zhí)行結(jié)果匯總反饋給用戶。

9、進一步的，所述均衡分析單元包括負載評估處理器、檔位劃分處理器和節(jié)點選擇處理器，所述負載評估處理器用于評估負載值，所述檔位劃分處理器用于對參考時段內(nèi)的負載值進行檔位統(tǒng)計，所述節(jié)點選擇處理器基于統(tǒng)計結(jié)果選擇任務(wù)子分配的節(jié)點。

10、進一步的，所述負載評估處理器根據(jù)下式計算出負載值ld：

11、；

12、其中，u(cpu)為cpu的使用率，u(ram)為內(nèi)存的使用率，為cpu權(quán)重，為內(nèi)存權(quán)重；

13、所述負載評估處理器通過計算負載值輸出兩個負載函數(shù)ld(t)和ld’(t)，其中，t為參考時間段，ld(t)為節(jié)點在參考時間段內(nèi)的負載值變化函數(shù)，ld’（t）為節(jié)點在參考時間段內(nèi)新增子任務(wù)后的模擬負載值變化函數(shù)。

14、進一步的，所述檔位劃分處理器根據(jù)下式對負載值進行劃分：

15、；

16、其中，a和b為劃分邊界點，lv為檔位值；

17、所述檔位劃分處理器對ld(t)和ld’(t)分別進行處理后得到統(tǒng)計數(shù)據(jù)、、、、和，其中，表示ld(t)中檔位值為1的時長，表示ld(t)中檔位值為2的時長，表示ld(t)中檔位值為3的時長，表示ld’(t)中檔位值為1的時長，表示ld’(t)中檔位值為2的時長，表示ld’(t)中檔位值為3的時長。

18、進一步的，所述節(jié)點選擇處理器根據(jù)下式計算出資源指數(shù)p：

19、；

20、其中，t1表示檔位值為1的時長，t2表示檔位值為2的時長，t3表示檔位值為3的時長；

21、所述節(jié)點選擇處理器將ld(t)和ld’(t)的統(tǒng)計數(shù)據(jù)代入處理后得到原始資源指數(shù)p1和模擬資源指數(shù)p2；

22、所述節(jié)點選擇處理器根據(jù)下式計算出節(jié)點的優(yōu)先指數(shù)q：

23、；

24、所述節(jié)點選擇處理器選出優(yōu)先指數(shù)最小的節(jié)點作為分配子任務(wù)的節(jié)點。

25、本發(fā)明所取得的有益效果是：

26、本系統(tǒng)將每個項目任務(wù)拆分成多個子任務(wù)，通過對節(jié)點的負載狀態(tài)進行分析，將子任務(wù)分派至合適的節(jié)點，提高任務(wù)的完成效率，在對負載狀態(tài)進行分析時，量化節(jié)點的負載變化，分析得到分派子任務(wù)后對節(jié)點的影響，基于影響選擇合適的節(jié)點，使得所有節(jié)點能處于均衡狀態(tài)，保證了計算資源的充分利用。

27、為使能更進一步了解本發(fā)明的特征及技術(shù)內(nèi)容，請參閱以下有關(guān)本發(fā)明的詳細說明與附圖，然而所提供的附圖僅用于提供參考與說明，并非用來對本發(fā)明加以限制。

技術(shù)特征：

1.一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)，其特征在于，包括請求管理模塊、狀態(tài)監(jiān)控模塊、均衡調(diào)度模塊和任務(wù)管理模塊；

2.如權(quán)利要求1所述的一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)，其特征在于，所述均衡分析單元包括負載評估處理器、檔位劃分處理器和節(jié)點選擇處理器，所述負載評估處理器用于評估負載值，所述檔位劃分處理器用于對參考時段內(nèi)的負載值進行檔位統(tǒng)計，所述節(jié)點選擇處理器基于統(tǒng)計結(jié)果選擇任務(wù)子分配的節(jié)點。

3.如權(quán)利要求2所述的一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)，其特征在于，所述負載評估處理器根據(jù)下式計算出負載值ld：

4.如權(quán)利要求3所述的一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)，其特征在于，所述檔位劃分處理器根據(jù)下式對負載值進行劃分：

5.如權(quán)利要求4所述的一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)，其特征在于，所述節(jié)點選擇處理器根據(jù)下式計算出資源指數(shù)p：

技術(shù)總結(jié)
本發(fā)明提供了一種基于負載均衡的分布式計算資源調(diào)度系統(tǒng)，涉及電數(shù)字數(shù)據(jù)處理領(lǐng)域，包括請求管理模塊、狀態(tài)監(jiān)控模塊、均衡調(diào)度模塊和任務(wù)管理模塊，所述請求管理模塊用于接收并管理用戶的請求信息，所述狀態(tài)監(jiān)控模塊用于監(jiān)控每個分布式節(jié)點的運行狀態(tài)，所述均衡調(diào)度模塊基于監(jiān)控信息對資源進行調(diào)度分析，所述任務(wù)管理模塊用于對任務(wù)執(zhí)行過程中的數(shù)據(jù)進行管理；本系統(tǒng)通過對每個分布式節(jié)點的負載狀態(tài)進行分析，選擇子任務(wù)最適宜的運行節(jié)點進行資源調(diào)度，能夠充分利用節(jié)點的計算資源，提高任務(wù)的推進效率。

技術(shù)研發(fā)人員：張衛(wèi)平,趙莉莉,陳靜婷,李玲,鐘楚炯
受保護的技術(shù)使用者：環(huán)球數(shù)科股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6