本技術(shù)涉及歸置組分裂擴容，特別是涉及一種歸置組分裂擴容方法、裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、在分布式存儲系統(tǒng)的集群架構(gòu)中，歸置組(pg)是將數(shù)據(jù)在多個存儲節(jié)點(如對象守護(hù)進(jìn)程，即osd)之間劃分和分布的關(guān)鍵邏輯單元，直接影響集群的性能、負(fù)載均衡和數(shù)據(jù)可靠性。隨著集群規(guī)模和數(shù)據(jù)量的不斷增長，系統(tǒng)需要通過擴容提升存儲能力和處理性能。

2、然而，現(xiàn)有技術(shù)在歸置組的管理和擴容過程中存在明顯局限；傳統(tǒng)方式通常通過人工配置或固定算法預(yù)設(shè)歸置組數(shù)量，這種靜態(tài)設(shè)置難以適應(yīng)集群動態(tài)變化，擴容后常導(dǎo)致資源分配不均、負(fù)載失衡；同時，擴容時一次性執(zhí)行大量歸置組的創(chuàng)建和遷移，未能充分考慮集群的實時負(fù)載和性能，容易引發(fā)瞬時高負(fù)載和集群性能波動，影響整體業(yè)務(wù)穩(wěn)定性。

3、此外，現(xiàn)有技術(shù)中集群的負(fù)載均衡機制往往依賴簡單的哈希算法或預(yù)定義規(guī)則，未能根據(jù)各存儲節(jié)點的實時負(fù)載、性能差異進(jìn)行智能化調(diào)整，導(dǎo)致某些節(jié)點在擴容后負(fù)載過重，而其他節(jié)點資源利用率不足，并且，擴容前缺乏有效的系統(tǒng)負(fù)載和擴展值評估，擴容后的歸置組數(shù)量和分布難以實現(xiàn)最佳效果。

技術(shù)實現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種能夠動態(tài)智能調(diào)整歸置組數(shù)量，根據(jù)集群實際運行狀態(tài)進(jìn)行均衡調(diào)整，實現(xiàn)擴容后的資源合理分配，提升集群的擴展性和穩(wěn)定性的歸置組分裂擴容方法、裝置、計算機設(shè)備及存儲介質(zhì)。

2、一方面，提供一種歸置組分裂擴容方法，所述方法包括：

3、獲取集群運行信息，計算得到第一歸置組數(shù)量；

4、對所述第一歸置組數(shù)量進(jìn)行可行性評估，得到可行性評估結(jié)果；

5、響應(yīng)于所述可行性評估結(jié)果為可行，基于所述第一歸置組數(shù)量，進(jìn)行歸置組分裂方案設(shè)計，得到歸置組分裂方案；

6、根據(jù)所述歸置組分裂方案，創(chuàng)建若干新歸置組；

7、基于漸進(jìn)式均衡方法，對所述若干新歸置組進(jìn)行均衡分布。

8、在其中一個實施例中，所述集群運行信息包括：存儲池信息、集群全局信息；

9、獲取集群運行信息，計算得到第一歸置組數(shù)量，還包括：

10、獲取所述存儲池信息，其中，所述存儲池信息包括：副本數(shù)；

11、獲取所述集群全局信息，其中，所述集群全局信息包括：對象守護(hù)進(jìn)程總數(shù)、歷史負(fù)載和性能數(shù)據(jù)、數(shù)據(jù)增長率；

12、根據(jù)所述副本數(shù)和所述對象守護(hù)進(jìn)程總數(shù)，得到基礎(chǔ)歸置組數(shù)量；

13、根據(jù)所述歷史負(fù)載和性能數(shù)據(jù)，以及數(shù)據(jù)增長率，得到歷史負(fù)載優(yōu)化因子；

14、結(jié)合所述理論第一歸置組數(shù)量和歷史負(fù)載優(yōu)化因子，得到第一歸置組數(shù)量。

15、在其中一個實施例中，獲取集群運行信息，計算得到第一歸置組數(shù)量，進(jìn)一步包括：

16、根據(jù)所述副本數(shù)和所述對象守護(hù)進(jìn)程總數(shù)，計算得到基礎(chǔ)歸置組數(shù)量，基于公式：

17、

18、，其中，pgnum表示基礎(chǔ)歸置組數(shù)量，osdcount表示對象守護(hù)進(jìn)程總數(shù)，r表示副本數(shù)，t表示每個對象守護(hù)進(jìn)程的目標(biāo)歸置組比率；

19、根據(jù)所述歷史負(fù)載和性能數(shù)據(jù)，以及數(shù)據(jù)增長率，得到歷史負(fù)載優(yōu)化因子，基于公式：

20、

21、，其中，γ表示歷史負(fù)載優(yōu)化因子，load是系統(tǒng)負(fù)載和性能數(shù)據(jù)的集合，包括多個負(fù)載維度的時間序列數(shù)據(jù)，k表示load中的第k個負(fù)載維度，αk表示第k個負(fù)載維度權(quán)重系數(shù)，f(k)是第k個負(fù)載維度的特性統(tǒng)計函數(shù)，uk是第k個負(fù)載維度的系統(tǒng)閾值，δ表示數(shù)據(jù)增長率，而β是數(shù)據(jù)增長率的權(quán)重系數(shù)；

22、結(jié)合所述理論第一歸置組數(shù)量和歷史負(fù)載優(yōu)化因子，得到第一歸置組數(shù)量，基于公式：pgopt＝pgnum×γ，其中，pgopt表示第一歸置組數(shù)量。

23、在其中一個實施例中，對所述第一歸置組數(shù)量進(jìn)行可行性評估，得到可行性評估結(jié)果，包括：

24、獲取集群運行信息，其中，所述集群運行信息包括：當(dāng)前歸置組數(shù)量、集群配置信息；

25、根據(jù)所述第一歸置組數(shù)量和所述當(dāng)前歸置組數(shù)量，得到歸置組擴展值；

26、基于所述歸置組擴展值，進(jìn)行擴展值評估，得到擴展值評估結(jié)果，其中，所述擴展值評估結(jié)果至少包括以下一項：過度擴展、適度擴展；

27、響應(yīng)于所述擴展值評估結(jié)果為適度擴展，基于所述歸置組擴展值，進(jìn)行預(yù)測負(fù)載評估，得到預(yù)測負(fù)載評估結(jié)果，其中，所述預(yù)測負(fù)載評估結(jié)果至少包括以下一項：過度負(fù)載、適度負(fù)載；

28、響應(yīng)于所述預(yù)測負(fù)載評估結(jié)果為適度負(fù)載，所述可行性評估結(jié)果為可行；

29、響應(yīng)于所述擴展值評估結(jié)果為適度擴展，基于所述歸置組擴展值，進(jìn)行預(yù)測負(fù)載評估，得到預(yù)測負(fù)載評估結(jié)果，包括：

30、根據(jù)所述集群配置信息，得到當(dāng)前資源負(fù)載和資源性能參數(shù)；

31、根據(jù)當(dāng)前資源負(fù)載和所述歸置組擴展值，得到預(yù)測資源負(fù)載；

32、根據(jù)所述資源性能參數(shù)，得到資源承載閾值；

33、根據(jù)所述資源承載閾值和所述預(yù)測資源負(fù)載，進(jìn)行預(yù)測負(fù)載評估，響應(yīng)于所述資源承載閾值大于所述預(yù)測資源負(fù)載，所述預(yù)測負(fù)載評估結(jié)果為適度負(fù)載，反之，所述預(yù)測負(fù)載評估結(jié)果則為過度負(fù)載。

34、在其中一個實施例中，響應(yīng)于所述可行性評估結(jié)果為可行，進(jìn)行歸置組分裂方案設(shè)計，得到歸置組分裂方案，包括：

35、將所述第一歸置組數(shù)量廣播至所有對象守護(hù)進(jìn)程；

36、所述對象守護(hù)進(jìn)程根據(jù)所述第一歸置組數(shù)量，進(jìn)行本地分裂計算，得到需分裂歸置組數(shù)量；

37、所述對象守護(hù)進(jìn)程根據(jù)自身存儲狀態(tài)，進(jìn)行歸置組適分度檢查，篩選出適分裂歸置組；

38、結(jié)合所述需分裂歸置組數(shù)量，以及所述適分裂歸置組，建立分裂映射關(guān)系，得到所述歸置組分裂方案。

39、在其中一個實施例中，根據(jù)所述歸置組分裂方案，創(chuàng)建若干新歸置組，包括：

40、根據(jù)所述歸置組分裂方案，得到所述需分裂歸置組數(shù)量、所述適分裂歸置組和所述分裂映射關(guān)系；

41、基于所述分裂映射關(guān)系，依次對所述適分裂歸置組進(jìn)行分裂操作，生成新歸置組，其中，所述適分裂歸置組記為父歸置組，對應(yīng)生成的所述新歸置組記為子歸置組，全部所述父歸置組生成的所述子歸置組的數(shù)量之和等于所述需分裂歸置組數(shù)量；

42、基于自管理裸設(shè)備空間，將所述父歸置組中的數(shù)據(jù)遷移至所述子歸置組，并進(jìn)行數(shù)據(jù)完整性和一致性檢查。

43、在其中一個實施例中，基于漸進(jìn)式均衡方法，對所述若干新歸置組進(jìn)行均衡分布，包括：

44、獲取集群當(dāng)前歸置組分布狀態(tài)，得到當(dāng)前對象守護(hù)進(jìn)程負(fù)載比率；

45、獲取集群當(dāng)前對象守護(hù)進(jìn)程存儲數(shù)據(jù)量，結(jié)合所述當(dāng)前對象守護(hù)進(jìn)程負(fù)載比率，判斷是否存在對象守護(hù)進(jìn)程處于高負(fù)載；

46、響應(yīng)于存在對象守護(hù)進(jìn)程處于高負(fù)載，則通過crush算法，將處于高負(fù)載的對象守護(hù)進(jìn)程下的歸置組逐步遷出，分配至低負(fù)載的對象守護(hù)進(jìn)程。

47、另一方面，提供了一種歸置組分裂擴容裝置，所述裝置包括：

48、第一歸置組數(shù)量計算模塊，用于獲取集群運行信息，通過計算得到第一歸置組數(shù)量；

49、可行性評估模塊，用于對所述第一歸置組數(shù)量進(jìn)行可行性評估，得到可行性評估結(jié)果；

50、分裂方案生成模塊，用于響應(yīng)所述可行性評估結(jié)果為可行，基于所述第一歸置組數(shù)量，進(jìn)行歸置組分裂方案設(shè)計，得到歸置組分裂方案；

51、分裂方案執(zhí)行模塊，用于根據(jù)所述歸置組分裂方案，創(chuàng)建若干新歸置組；

52、均衡分布模塊，用于基于漸進(jìn)式均衡方法，對所述若干新歸置組進(jìn)行均衡分布。

53、再一方面，提供了一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)以下步驟：

54、獲取集群運行信息，計算得到第一歸置組數(shù)量；

55、對所述第一歸置組數(shù)量進(jìn)行可行性評估，得到可行性評估結(jié)果；

56、響應(yīng)于所述可行性評估結(jié)果為可行，基于所述第一歸置組數(shù)量，進(jìn)行歸置組分裂方案設(shè)計，得到歸置組分裂方案；

57、根據(jù)所述歸置組分裂方案，創(chuàng)建若干新歸置組；

58、基于漸進(jìn)式均衡方法，對所述若干新歸置組進(jìn)行均衡分布。

59、又一方面，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟：

60、獲取集群運行信息，計算得到第一歸置組數(shù)量；

61、對所述第一歸置組數(shù)量進(jìn)行可行性評估，得到可行性評估結(jié)果；

62、響應(yīng)于所述可行性評估結(jié)果為可行，基于所述第一歸置組數(shù)量，進(jìn)行歸置組分裂方案設(shè)計，得到歸置組分裂方案；

63、根據(jù)所述歸置組分裂方案，創(chuàng)建若干新歸置組；

64、基于漸進(jìn)式均衡方法，對所述若干新歸置組進(jìn)行均衡分布。

65、上述歸置組分裂擴容方法、裝置、計算機設(shè)備和存儲介質(zhì)，通過獲取集群的運行信息計算第一歸置組數(shù)量，能夠適應(yīng)集群動態(tài)變化，靈活調(diào)整歸置組數(shù)量，從而有利于實現(xiàn)擴容后的導(dǎo)致資源合理分配和負(fù)載均衡；同時，通過對于第一歸置組數(shù)量進(jìn)行可行性評估，確保了擴容方案的可行性，避免了過度擴展導(dǎo)致的資源浪費，也避免了未充分?jǐn)U展導(dǎo)致的過度負(fù)載，有利于保障擴容后的歸置組數(shù)量和分布的最佳效果；此外，采取漸進(jìn)式的均衡方法逐步遷移和分配歸置組，不僅減少了因大量歸置組同時創(chuàng)建和遷移而導(dǎo)致的集群性能波動和資源浪費，還實現(xiàn)了根據(jù)各存儲節(jié)點的實時負(fù)載和性能差異進(jìn)行智能化調(diào)整，提升了集群的擴展性和穩(wěn)定性。