本發(fā)明涉及分布式數(shù)據(jù)庫管理，尤其涉及一種分布式數(shù)據(jù)庫集群的一致性熱備份方法及系統(tǒng)。

背景技術(shù)：

1、分布式數(shù)據(jù)庫集群可橫向擴展，當(dāng)業(yè)務(wù)數(shù)據(jù)量快速膨脹時，橫向擴容集群分片即可以存儲海量數(shù)據(jù)，同時提高吞吐量，現(xiàn)在各大用戶的系統(tǒng)數(shù)據(jù)量非常龐大，業(yè)務(wù)數(shù)據(jù)量增長迅速，對于分布式數(shù)據(jù)庫集群的需求越加旺盛。為了保障數(shù)據(jù)安全，需要時常對系統(tǒng)進行數(shù)據(jù)備份，便于后續(xù)數(shù)據(jù)回檔恢復(fù)。

2、分布式數(shù)據(jù)庫集群傳統(tǒng)的備份方式通常采用分別備份每一個集群分片，這種數(shù)據(jù)備份方式存在兩個明顯的缺陷，一是無法將集群恢復(fù)到全局的一致性位點，除非備份時停止業(yè)務(wù)數(shù)據(jù)寫入；二是集群分片內(nèi)部不能進行數(shù)據(jù)遷移，會導(dǎo)致數(shù)據(jù)丟失或者數(shù)據(jù)重復(fù)的情形。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少解決相關(guān)技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明提供一種分布式數(shù)據(jù)庫集群的一致性熱備份方法及系統(tǒng)。

2、本發(fā)明提供一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，包括：

3、s1：將分布式數(shù)據(jù)庫集群中各節(jié)點進行時鐘同步；

4、s2：對時鐘同步后的集群的全量數(shù)據(jù)進行物理備份；

5、s3：備份所述物理備份過程中的增量邏輯日志，直至所述物理備份過程中不存在數(shù)據(jù)遷移；

6、s4：記錄所述物理備份過程中不存在數(shù)據(jù)遷移的時間戳記為整體結(jié)束位點；

7、s5：將所述全量數(shù)據(jù)及所述增量邏輯日志回放至所述整體結(jié)束位點，完成分布式數(shù)據(jù)庫集群的一致性熱備份。

8、根據(jù)本發(fā)明提供的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，步驟s1中，根據(jù)ntp協(xié)議對分布式數(shù)據(jù)庫集群中各節(jié)點進行時鐘同步。

9、根據(jù)本發(fā)明提供的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，步驟s1進一步包括：

10、s11：通過配置服務(wù)器由時鐘源接收utc協(xié)調(diào)世界時；

11、s12：分布式數(shù)據(jù)庫集群向所述配置服務(wù)器發(fā)送時間獲取請求，獲得所述utc協(xié)調(diào)世界時；

12、s13：分布式數(shù)據(jù)庫集群中的每個節(jié)點由分布式數(shù)據(jù)庫集群獲得所述utc協(xié)調(diào)世界時，并根據(jù)所述utc協(xié)調(diào)世界時計算節(jié)點自身時間偏移和往返延遲；

13、s14：分布式數(shù)據(jù)庫集群中的每個節(jié)點根據(jù)節(jié)點自身計算獲得的時間偏移和往返延遲修正節(jié)點自身時間，以完成時鐘同步。

14、根據(jù)本發(fā)明提供的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，所述分布式數(shù)據(jù)庫集群中的節(jié)點類型包括管理節(jié)點及存儲節(jié)點。

15、根據(jù)本發(fā)明提供的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，步驟s2進一步包括：

16、s21：對時鐘同步后的集群中的各個節(jié)點的全量數(shù)據(jù)開始物理備份；

17、s22：判斷所述管理節(jié)點及所述存儲節(jié)點是否均物理備份完畢，若未均物理備份完畢則繼續(xù)進行物理備份，若均物理備份完畢則執(zhí)行步驟s23；

18、s23：記錄所述管理節(jié)點及所述存儲節(jié)點物理備份均完畢的時間戳為第一分結(jié)束點位。

19、根據(jù)本發(fā)明提供的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，步驟s3進一步包括：

20、s31：判斷所述物理備份過程中是否存在數(shù)據(jù)遷移，若存在數(shù)據(jù)遷移則執(zhí)行步驟s32，若不存在數(shù)據(jù)遷移則執(zhí)行步驟s33；

21、s32：備份所述物理備份過程中的增量邏輯日志，至所述第一分結(jié)束點位，記錄當(dāng)前增量邏輯日志完畢的時間戳為第二分結(jié)束點位；

22、s33：備份所述物理備份過程中的增量邏輯日志，至所述物理備份過程中不存在數(shù)據(jù)遷移，記錄當(dāng)前增量邏輯日志完畢的時間戳為整體結(jié)束位點。

23、根據(jù)本發(fā)明提供的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，步驟s32中的所述第二分結(jié)束點位與所述第一分結(jié)束點位相同。

24、本發(fā)明還提供一種分布式數(shù)據(jù)庫集群的一致性熱備份裝置，包括：

25、時間同步模塊：用于將分布式數(shù)據(jù)庫集群中各節(jié)點進行時鐘同步；

26、物理備份模塊：用于對時鐘同步后的集群的全量數(shù)據(jù)進行物理備份；

27、增量邏輯備份模塊：用于備份所述物理備份過程中的增量邏輯日志，直至所述物理備份過程中不存在數(shù)據(jù)遷移，并記錄所述物理備份過程中不存在數(shù)據(jù)遷移的時間戳記為整體結(jié)束位點；

28、備份回放模塊：用于將所述全量數(shù)據(jù)及所述增量邏輯日志回放至所述整體結(jié)束位點。

29、本發(fā)明還提供一種分布式數(shù)據(jù)庫集群的一致性熱備份設(shè)備，包括：

30、存儲器和至少一個處理器，所述存儲器中存儲有指令；

31、至少一個所述處理器調(diào)用所述存儲器中的所述指令，以使得文檔數(shù)據(jù)庫審計設(shè)備執(zhí)行如以上任一項所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法。

32、本發(fā)明還提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有指令，所述指令被處理器執(zhí)行時實現(xiàn)如以上任一項所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法。

33、本發(fā)明提供的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法及裝置，通過ntp協(xié)議保證分布式數(shù)據(jù)庫集群各節(jié)點的時鐘同步，協(xié)助集群備份形成全局一致性位點，便于回檔恢復(fù)到指定位點；另外結(jié)合物理全量備份與邏輯增量日志備份，提升備份效率；另外對于集群內(nèi)部數(shù)據(jù)遷移，傳統(tǒng)的分布式集群若分片算法設(shè)計不合理，會導(dǎo)致各分片間的數(shù)據(jù)不均衡，分片單獨備份時不能進行自主遷移的問題，也可以做到各分片之間數(shù)據(jù)可隨意遷移且不影響集群數(shù)據(jù)的一致性。

34、本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

技術(shù)特征：

1.一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，其特征在于，步驟s1中，根據(jù)ntp協(xié)議對分布式數(shù)據(jù)庫集群中各節(jié)點進行時鐘同步。

3.根據(jù)權(quán)利要求2所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，其特征在于，步驟s1進一步包括：

4.根據(jù)權(quán)利要求1所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，其特征在于，所述分布式數(shù)據(jù)庫集群中的節(jié)點類型包括管理節(jié)點及存儲節(jié)點。

5.根據(jù)權(quán)利要求4所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，其特征在于，步驟s2進一步包括：

6.根據(jù)權(quán)利要求5所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，其特征在于，步驟s3進一步包括：

7.根據(jù)權(quán)利要求6所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法，其特征在于，步驟s32中的所述第二分結(jié)束點位與所述第一分結(jié)束點位相同。

8.一種分布式數(shù)據(jù)庫集群的一致性熱備份裝置，其特征在于，包括：

9.一種分布式數(shù)據(jù)庫集群的一致性熱備份設(shè)備，其特征在于，包括：

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有指令，所述指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述的一種分布式數(shù)據(jù)庫集群的一致性熱備份方法。

技術(shù)總結(jié)
本發(fā)明涉及分布式數(shù)據(jù)庫管理技術(shù)領(lǐng)域，提供一種分布式數(shù)據(jù)庫集群的一致性熱備份方法及系統(tǒng)。該方法包括：將分布式數(shù)據(jù)庫集群中各節(jié)點進行時鐘同步；對時鐘同步后的集群的全量數(shù)據(jù)進行物理備份；備份物理備份過程中的增量邏輯日志，直至物理備份過程中不存在數(shù)據(jù)遷移；記錄物理備份過程中不存在數(shù)據(jù)遷移的時間戳記為整體結(jié)束位點；將全量數(shù)據(jù)及增量邏輯日志回放至整體結(jié)束位點，完成分布式數(shù)據(jù)庫集群的一致性熱備份。本發(fā)明可以不停業(yè)務(wù)，對集群分片數(shù)據(jù)可隨意遷移地對集群備份數(shù)據(jù)全局一致性高效率備份。

技術(shù)研發(fā)人員：談志軍,丁可,魏興國,鄭云
受保護的技術(shù)使用者：天翼云科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23