本說明書一個(gè)或多個(gè)實(shí)施例涉及數(shù)據(jù)庫，尤其涉及一種數(shù)據(jù)管理方法及裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著人工智能和移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展和配合，用戶工作和生活中產(chǎn)生的數(shù)據(jù)越來越多，因此對(duì)數(shù)據(jù)的管理越來越重要和關(guān)鍵。目前用于管理數(shù)據(jù)的數(shù)據(jù)庫類型越來越多，例如云端加密數(shù)據(jù)庫、分布式數(shù)據(jù)庫等。分布式數(shù)據(jù)庫是一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，該系統(tǒng)內(nèi)的數(shù)據(jù)分布在多個(gè)物理位置，但邏輯上將其視為一個(gè)單一的數(shù)據(jù)庫；這些物理位置可以是同一局域網(wǎng)內(nèi)的不同計(jì)算機(jī)，也可以是廣域網(wǎng)中的不同地理位置；分布式數(shù)據(jù)庫的設(shè)計(jì)目的是為了提高數(shù)據(jù)訪問的速度、可靠性和可用性，同時(shí)支持大規(guī)模的數(shù)據(jù)處理和高并發(fā)訪問。

2、分布式數(shù)據(jù)庫中數(shù)據(jù)需要進(jìn)行均衡處理，以實(shí)現(xiàn)分布式數(shù)據(jù)庫的上述效果，例如對(duì)高并發(fā)訪問的支持等效果，但是相關(guān)技術(shù)中數(shù)據(jù)的均衡處理效果一般。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本說明書一個(gè)或多個(gè)實(shí)施例提供一種數(shù)據(jù)管理方法及裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

2、為實(shí)現(xiàn)上述目的，本說明書一個(gè)或多個(gè)實(shí)施例提供技術(shù)方案如下：

3、根據(jù)本說明書一個(gè)或多個(gè)實(shí)施例的第一方面，提出了一種數(shù)據(jù)管理方法，所述方法包括：

4、對(duì)于待管理數(shù)據(jù)的多個(gè)數(shù)據(jù)單元所形成的至少一個(gè)均衡組中每個(gè)均衡組，基于所述均衡組內(nèi)每個(gè)數(shù)據(jù)單元當(dāng)前所在的日志流構(gòu)建所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，其中，所述分布信息包括至少一個(gè)均衡單元，所述均衡單元包括至少一個(gè)日志流桶，所述日志流桶為空或存有所述均衡組的至少一個(gè)數(shù)據(jù)單元，所述均衡組內(nèi)相鄰的數(shù)據(jù)單元分布于相同的均衡單元或不同的日志流桶，所述數(shù)據(jù)單元包括非分區(qū)表和/或分區(qū)表的分區(qū)；

5、對(duì)于每個(gè)均衡組，基于所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)所述均衡組內(nèi)多個(gè)數(shù)據(jù)單元進(jìn)行均衡處理，以使所述均衡組在不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)均衡要求；

6、基于每個(gè)均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)數(shù)據(jù)系統(tǒng)的所有日志流上的數(shù)據(jù)單元進(jìn)行均衡處理，以使數(shù)據(jù)系統(tǒng)的不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)均衡要求。

7、根據(jù)本說明書一個(gè)或多個(gè)實(shí)施例的第二方面，提出了一種數(shù)據(jù)管理裝置，所述裝置包括：

8、構(gòu)建模塊，用于對(duì)于待管理數(shù)據(jù)的多個(gè)數(shù)據(jù)單元所形成的至少一個(gè)均衡組中每個(gè)均衡組，基于所述均衡組內(nèi)每個(gè)數(shù)據(jù)單元當(dāng)前所在的日志流構(gòu)建所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，其中，所述分布信息包括至少一個(gè)均衡單元，所述均衡單元包括至少一個(gè)日志流桶，所述日志流桶為空或存有所述均衡組的至少一個(gè)數(shù)據(jù)單元，所述均衡組內(nèi)相鄰的數(shù)據(jù)單元分布于相同的均衡單元或不同的日志流桶，所述數(shù)據(jù)單元包括非分區(qū)表和/或分區(qū)表的分區(qū)；

9、組內(nèi)均衡模塊，用于對(duì)于每個(gè)均衡組，基于所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)所述均衡組內(nèi)多個(gè)數(shù)據(jù)單元進(jìn)行均衡處理，以使所述均衡組在不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)均衡要求；

10、組間均衡模塊，用于基于每個(gè)均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)數(shù)據(jù)系統(tǒng)的所有日志流上的數(shù)據(jù)單元進(jìn)行均衡處理，以使數(shù)據(jù)系統(tǒng)的不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)均衡要求。

11、根據(jù)本說明書一個(gè)或多個(gè)實(shí)施例的第三方面，提出了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述方法的步驟。

12、根據(jù)本說明書一個(gè)或多個(gè)實(shí)施例的第四方面，提出了一種電子設(shè)備，包括：

13、處理器；

14、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

15、其中，所述處理器通過運(yùn)行所述可執(zhí)行指令以實(shí)現(xiàn)如第一方面所述的方法。

16、根據(jù)本說明書一個(gè)或多個(gè)實(shí)施例的第五方面，提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述方法的步驟。

17、本說明書的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

18、本說明書實(shí)施例所提供的數(shù)據(jù)管理方法，首先基于所述均衡組內(nèi)每個(gè)數(shù)據(jù)單元當(dāng)前所在的日志流構(gòu)建所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息；然后基于所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)所述均衡組內(nèi)多個(gè)數(shù)據(jù)單元進(jìn)行均衡處理，以使所述均衡組在不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)均衡要求；最后基于每個(gè)均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)數(shù)據(jù)系統(tǒng)的所有日志流上的數(shù)據(jù)單元進(jìn)行均衡處理，以使數(shù)據(jù)系統(tǒng)的不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)均衡要求。由于分布信息可以通過均衡單元和日志流桶中至少一個(gè)維度來使均衡組內(nèi)相鄰的數(shù)據(jù)單元聚集或分散，因此可以基于均衡組內(nèi)數(shù)據(jù)單元的類別等信息等來構(gòu)建均衡組的分布信息，進(jìn)而基于均衡處理原則依次進(jìn)行均衡組內(nèi)的數(shù)據(jù)單元的均衡處理，以及均衡組間的數(shù)據(jù)單元的均衡處理，從而使均衡組內(nèi)相鄰的數(shù)據(jù)單元分散于不同的日志流且不同日志流上的數(shù)據(jù)單元的數(shù)量差值符合預(yù)設(shè)要求。

技術(shù)特征：

1.一種數(shù)據(jù)管理方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)管理方法，對(duì)于多個(gè)非分區(qū)表所形成的均衡組，所述基于所述均衡組內(nèi)每個(gè)數(shù)據(jù)單元當(dāng)前所在的日志流構(gòu)建所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，包括：

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)管理方法，對(duì)于分區(qū)表的多個(gè)分區(qū)所形成的均衡組，所述基于所述均衡組內(nèi)每個(gè)數(shù)據(jù)單元當(dāng)前所在的日志流構(gòu)建所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，包括：

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)管理方法，所述基于所述均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)所述均衡組內(nèi)多個(gè)數(shù)據(jù)單元進(jìn)行均衡處理，以使所述均衡組在不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)均衡要求包括：

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)管理方法，所述基于每個(gè)均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)數(shù)據(jù)系統(tǒng)的所有日志流上的數(shù)據(jù)單元進(jìn)行均衡處理，以使數(shù)據(jù)系統(tǒng)的不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)要求，包括：

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)管理方法，所述將所述數(shù)據(jù)單元最多的日志流上至少一個(gè)數(shù)據(jù)單元轉(zhuǎn)移至數(shù)據(jù)單元最少的日志流上，以拆分所述數(shù)據(jù)單元最多的日志流上相鄰的數(shù)據(jù)單元，并使所述數(shù)據(jù)單元最多的日志流上數(shù)據(jù)單元的數(shù)量與所述數(shù)據(jù)單元最少的日志流上數(shù)據(jù)單元的數(shù)量之差不大于預(yù)設(shè)閾值，包括：

7.根據(jù)權(quán)利要求4或5所述的數(shù)據(jù)管理方法，所述將所述數(shù)據(jù)單元最多的日志流上至少一個(gè)數(shù)據(jù)單元轉(zhuǎn)移至數(shù)據(jù)單元最少的日志流上，以拆分所述數(shù)據(jù)單元最多的日志流上相鄰的數(shù)據(jù)單元，并使所述數(shù)據(jù)單元最多的日志流上數(shù)據(jù)單元的數(shù)量與所述數(shù)據(jù)單元最少的日志流上數(shù)據(jù)單元的數(shù)量之差不大于預(yù)設(shè)閾值，包括：

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)管理方法，所述將所述數(shù)據(jù)單元最多的日志流上所述第一轉(zhuǎn)移數(shù)量個(gè)數(shù)據(jù)單元轉(zhuǎn)移至所述數(shù)據(jù)單元最少的日志流上，包括：

9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)管理方法，所述將所述源均衡單元內(nèi)的一個(gè)數(shù)據(jù)單元轉(zhuǎn)移至所述目的均衡單元內(nèi)，包括：

10.根據(jù)權(quán)利要求1所述的數(shù)據(jù)管理方法，所述基于每個(gè)均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)數(shù)據(jù)系統(tǒng)的所有日志流上的數(shù)據(jù)單元進(jìn)行均衡處理，以使數(shù)據(jù)系統(tǒng)的不同日志流上的數(shù)據(jù)單元符合預(yù)設(shè)要求，包括：

11.一種數(shù)據(jù)管理裝置，所述裝置包括：

12.根據(jù)權(quán)利要求11所述的數(shù)據(jù)管理裝置，對(duì)于多個(gè)非分區(qū)表所形成的均衡組，所述構(gòu)建模塊用于：

13.根據(jù)權(quán)利要求11所述的數(shù)據(jù)管理裝置，對(duì)于分區(qū)表的多個(gè)分區(qū)所形成的均衡組，所述構(gòu)建模塊用于：

14.根據(jù)權(quán)利要求11所述的數(shù)據(jù)管理裝置，所述組內(nèi)均衡模塊用于：

15.根據(jù)權(quán)利要求11所述的數(shù)據(jù)管理裝置，所述組間均衡模塊用于：

16.根據(jù)權(quán)利要求15所述的數(shù)據(jù)管理裝置，所述組間均衡模塊用于將所述數(shù)據(jù)單元最多的日志流上至少一個(gè)數(shù)據(jù)單元轉(zhuǎn)移至數(shù)據(jù)單元最少的日志流上，以拆分所述數(shù)據(jù)單元最多的日志流上相鄰的數(shù)據(jù)單元，并使所述數(shù)據(jù)單元最多的日志流上數(shù)據(jù)單元的數(shù)量與所述數(shù)據(jù)單元最少的日志流上數(shù)據(jù)單元的數(shù)量之差不大于預(yù)設(shè)閾值時(shí)，用于：

17.根據(jù)權(quán)利要求14或15所述的數(shù)據(jù)管理裝置，所述組內(nèi)均衡模塊或組間均衡模塊用于將所述數(shù)據(jù)單元最多的日志流上至少一個(gè)數(shù)據(jù)單元轉(zhuǎn)移至數(shù)據(jù)單元最少的日志流上，以拆分所述數(shù)據(jù)單元最多的日志流上相鄰的數(shù)據(jù)單元，并使所述數(shù)據(jù)單元最多的日志流上數(shù)據(jù)單元的數(shù)量與所述數(shù)據(jù)單元最少的日志流上數(shù)據(jù)單元的數(shù)量之差不大于預(yù)設(shè)閾值時(shí)，用于：

18.根據(jù)權(quán)利要求17所述的數(shù)據(jù)管理裝置，所述組內(nèi)均衡模塊或組間均衡模塊用于將所述數(shù)據(jù)單元最多的日志流上所述第一轉(zhuǎn)移數(shù)量個(gè)數(shù)據(jù)單元轉(zhuǎn)移至所述數(shù)據(jù)單元最少的日志流上時(shí)，用于：

19.根據(jù)權(quán)利要求18所述的數(shù)據(jù)管理裝置，所述組內(nèi)均衡模塊或組間均衡模塊用于將所述源均衡單元內(nèi)的一個(gè)數(shù)據(jù)單元轉(zhuǎn)移至所述目的均衡單元內(nèi)時(shí)，用于：

20.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，所述計(jì)算程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至10中任一項(xiàng)所述方法的步驟。

21.一種電子設(shè)備，包括：

22.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至10中任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本說明書提供一種數(shù)據(jù)管理方法及裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：對(duì)于每個(gè)均衡組，基于均衡組內(nèi)每個(gè)數(shù)據(jù)單元當(dāng)前所在的日志流構(gòu)建均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，其中，分布信息包括至少一個(gè)均衡單元，均衡單元包括至少一個(gè)日志流桶，日志流桶為空或存有均衡組的至少一個(gè)數(shù)據(jù)單元，均衡組內(nèi)相鄰的數(shù)據(jù)單元分布于相同的均衡單元或不同的日志流桶，數(shù)據(jù)單元包括非分區(qū)表和/或分區(qū)表的分區(qū)；對(duì)于每個(gè)均衡組，基于均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)均衡組內(nèi)多個(gè)數(shù)據(jù)單元進(jìn)行均衡處理；基于每個(gè)均衡組在數(shù)據(jù)系統(tǒng)的每個(gè)日志流上的分布信息，對(duì)數(shù)據(jù)系統(tǒng)的所有日志流上的數(shù)據(jù)單元進(jìn)行均衡處理。

技術(shù)研發(fā)人員：楊科迪,王萬紅,王震南
受保護(hù)的技術(shù)使用者：北京奧星貝斯科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9