本發(fā)明涉及數(shù)據(jù)同步，具體地說是一種多數(shù)據(jù)源數(shù)據(jù)同步方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、數(shù)據(jù)同步技術(shù)經(jīng)歷了從簡單的數(shù)據(jù)庫直連同步、文件同步、到基于數(shù)據(jù)庫日志解析同步的演變。數(shù)據(jù)庫直連同步雖然配置簡單，但對業(yè)務(wù)系統(tǒng)影響較大；文件同步通過生成數(shù)據(jù)文本文件進(jìn)行同步，提高了傳輸效率；數(shù)據(jù)庫日志解析同步則通過解析如mysql的binlog日志，實現(xiàn)準(zhǔn)實時的數(shù)據(jù)同步，減少了對業(yè)務(wù)系統(tǒng)的影響。

2、為了實現(xiàn)多數(shù)據(jù)源之間的同步，需要采用中間件或服務(wù)來協(xié)調(diào)不同數(shù)據(jù)源之間的數(shù)據(jù)流動。例如，騰訊云tdsql的多源同步模塊支持以tdsql作為源端或目標(biāo)端，實現(xiàn)數(shù)據(jù)實時同步分發(fā)至多種平臺，采用基于日志的cdc復(fù)制技術(shù)和kafka消息隊列來保證數(shù)據(jù)的順序性和一致性。

3、數(shù)據(jù)同步的核心技術(shù)包括數(shù)據(jù)映射與轉(zhuǎn)換、沖突解決、數(shù)據(jù)版本管理等。數(shù)據(jù)映射與轉(zhuǎn)換確保數(shù)據(jù)結(jié)構(gòu)和格式的一致性；沖突解決策略保證數(shù)據(jù)一致性；數(shù)據(jù)版本管理則追蹤數(shù)據(jù)變更歷史和狀態(tài)。隨著云計算、物聯(lián)網(wǎng)等新技術(shù)的發(fā)展，數(shù)據(jù)同步技術(shù)將在更多領(lǐng)域得到應(yīng)用，如金融、物流、醫(yī)療、教育等，以支持企業(yè)的數(shù)字化轉(zhuǎn)型和業(yè)務(wù)創(chuàng)新。

4、在當(dāng)今信息化時代，數(shù)據(jù)已成為企業(yè)的核心資產(chǎn)，而數(shù)據(jù)同步技術(shù)則是確保數(shù)據(jù)一致性和可用性的關(guān)鍵手段。隨著業(yè)務(wù)系統(tǒng)的增多，系統(tǒng)間數(shù)據(jù)同步需求日益頻繁，現(xiàn)有數(shù)據(jù)平臺在支持?jǐn)?shù)據(jù)源類型和數(shù)據(jù)同步穩(wěn)定性方面存在局限。

技術(shù)實現(xiàn)思路

1、本發(fā)明的技術(shù)任務(wù)是提供一種多數(shù)據(jù)源數(shù)據(jù)同步方法、系統(tǒng)、設(shè)備及介質(zhì)，來解決現(xiàn)有數(shù)據(jù)同系統(tǒng)中支持?jǐn)?shù)據(jù)源較少、數(shù)據(jù)通過過程易出錯的問題。

2、本發(fā)明的技術(shù)任務(wù)是按以下方式實現(xiàn)的，一種多數(shù)據(jù)源數(shù)據(jù)同步方法，該方法具體如下：

3、任務(wù)構(gòu)建：創(chuàng)建任務(wù)表單，進(jìn)行任務(wù)有效性檢驗，并生成任務(wù)配置文件；

4、任務(wù)調(diào)度：根據(jù)并發(fā)數(shù)量啟動執(zhí)行器，下發(fā)任務(wù)配置文件，并記錄任務(wù)執(zhí)行過程的日志信息和錯誤信息；

5、任務(wù)執(zhí)行：每個任務(wù)執(zhí)行為一個獨立執(zhí)行的java線程，采用core-plugin架構(gòu)，支持?jǐn)?shù)據(jù)源擴(kuò)展，內(nèi)置實現(xiàn)多種數(shù)據(jù)庫類型的支持。

6、作為優(yōu)選，任務(wù)構(gòu)建具體如下：

7、任務(wù)表單創(chuàng)建：用戶通過系統(tǒng)前端頁面輸入任務(wù)配置，任務(wù)配置內(nèi)容包括輸入數(shù)據(jù)源連接信息、字段、查詢條件、目標(biāo)數(shù)據(jù)源連接信息、寫入字段、前置sql及后置sql信息；

8、任務(wù)有效性檢驗：表單任務(wù)創(chuàng)建后，進(jìn)行有效性檢驗，檢驗輸入數(shù)據(jù)源和目標(biāo)數(shù)據(jù)源的有效性及字段是否匹配一致的問題；

9、生成任務(wù)配置：任務(wù)檢驗通過后，生成任務(wù)配置文件，并對任務(wù)配置文件采用json格式存儲任務(wù)表單內(nèi)容進(jìn)行解析。

10、作為優(yōu)選，任務(wù)調(diào)度具體如下：

11、任務(wù)劃分：統(tǒng)計輸入數(shù)據(jù)庫的總條數(shù)并劃分?jǐn)?shù)據(jù)區(qū)域；具體為：統(tǒng)計輸入數(shù)據(jù)庫的總條數(shù)，用總條數(shù)除以并發(fā)數(shù)量得到每個任務(wù)要處理的數(shù)據(jù)量，再通過滑動窗口，劃分出每個任務(wù)所要處理的數(shù)據(jù)區(qū)域；任務(wù)劃分完成后將每個任務(wù)所要處理的數(shù)據(jù)區(qū)域信息一同發(fā)送給執(zhí)行器；

12、執(zhí)行器管理：下發(fā)任務(wù)配置文件和數(shù)據(jù)區(qū)域信息；具體為：任務(wù)創(chuàng)建后，根據(jù)設(shè)置的并發(fā)數(shù)量啟動對應(yīng)數(shù)量的執(zhí)行器，再將任務(wù)配置文件下發(fā)到每個執(zhí)行器中，為了便于記錄任務(wù)執(zhí)行過程，記錄下任務(wù)的日志信息以及每個節(jié)點的報錯信息。

13、作為優(yōu)選，任務(wù)執(zhí)行具體如下：

14、通過core-plugin架構(gòu)接收和發(fā)送數(shù)據(jù)；

15、支持多種數(shù)據(jù)庫類型的數(shù)據(jù)同步。

16、更優(yōu)地，core-plugin架構(gòu)中的core為中心轉(zhuǎn)換模塊，用于接收plugin發(fā)來的數(shù)據(jù)，通過轉(zhuǎn)換后再將數(shù)據(jù)發(fā)送給目標(biāo)plugin，在core-plugin架構(gòu)模式下，輸入數(shù)據(jù)源和輸出數(shù)據(jù)源均看作是一個plugin；在擴(kuò)展新的數(shù)據(jù)庫類型時只需要實現(xiàn)plugin的即可，每個plugin內(nèi)部同時實現(xiàn)read()和write()，用于向core發(fā)送數(shù)據(jù)和寫入core發(fā)來的數(shù)據(jù)。

17、一種多數(shù)據(jù)源數(shù)據(jù)同步系統(tǒng)，該系統(tǒng)包括任務(wù)構(gòu)建模塊、任務(wù)調(diào)度模塊及任務(wù)執(zhí)行模塊；

18、其中，任務(wù)構(gòu)建模塊用于創(chuàng)建任務(wù)表單、進(jìn)行任務(wù)有效性檢驗，并生成任務(wù)配置文件；

19、任務(wù)調(diào)度模塊用于根據(jù)并發(fā)數(shù)量啟動執(zhí)行器，下發(fā)任務(wù)配置文件，并記錄任務(wù)執(zhí)行過程的日志信息和錯誤信息；

20、任務(wù)執(zhí)行模塊用于執(zhí)行數(shù)據(jù)同步；其中，數(shù)據(jù)同步包括數(shù)據(jù)源擴(kuò)展和數(shù)據(jù)轉(zhuǎn)換；其中，每個任務(wù)執(zhí)行模塊為一個獨立執(zhí)行的java線程，任務(wù)執(zhí)行模塊采用core-plugin架構(gòu)，支持?jǐn)?shù)據(jù)源擴(kuò)展，內(nèi)置實現(xiàn)了多種數(shù)據(jù)庫類型的支持。

21、作為優(yōu)選，任務(wù)構(gòu)建模塊包括：

22、用戶界面子模塊，用于允許用戶輸入數(shù)據(jù)源連接信息、字段、查詢條件、目標(biāo)數(shù)據(jù)源連接信息、寫入字段、前置sql及后置sql信息；

23、有效性檢驗機(jī)制子模塊，用于檢驗輸入數(shù)據(jù)源和目標(biāo)數(shù)據(jù)源的有效性及字段匹配一致性；

24、所述任務(wù)調(diào)度模塊包括：

25、任務(wù)劃分機(jī)制子模塊，用于用于統(tǒng)計輸入數(shù)據(jù)庫的總條數(shù)，通過滑動窗口劃分每個任務(wù)所要處理的數(shù)據(jù)區(qū)域；

26、執(zhí)行器管理子模塊，用于將任務(wù)配置文件和數(shù)據(jù)區(qū)域信息下發(fā)到每個執(zhí)行器。

27、更優(yōu)地，所述任務(wù)執(zhí)行模塊包括：

28、core模塊，用于接收plugin發(fā)來的數(shù)據(jù)，并通過轉(zhuǎn)換后將數(shù)據(jù)發(fā)送給目標(biāo)plugin；

29、多種數(shù)據(jù)庫類型的plugin；其中，數(shù)據(jù)庫類型包括mysql、oracle、mariadb、mongodb、king?base及瀚高數(shù)據(jù)庫。

30、一種電子設(shè)備，包括：存儲器和至少一個處理器；

31、其中，所述存儲器上存儲有計算機(jī)程序；

32、所述至少一個處理器執(zhí)行所述存儲器存儲的計算機(jī)程序，使得所述至少一個處理器執(zhí)行如上述的多數(shù)據(jù)源數(shù)據(jù)同步方法。

33、一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)中存儲有計算機(jī)程序，所述計算機(jī)程序可被處理器執(zhí)行以實現(xiàn)如上述的多數(shù)據(jù)源數(shù)據(jù)同步方法。

34、本發(fā)明的多數(shù)據(jù)源數(shù)據(jù)同步方法、系統(tǒng)、設(shè)備及介質(zhì)具有以下優(yōu)點：

35、(一)本發(fā)明解決了現(xiàn)有數(shù)據(jù)平臺中支持?jǐn)?shù)據(jù)源類型少、數(shù)據(jù)同步過程不穩(wěn)定的問題，通過設(shè)置任務(wù)構(gòu)建模塊、任務(wù)調(diào)度模塊及任務(wù)執(zhí)行模塊實現(xiàn)了多個數(shù)據(jù)源之間的高效、穩(wěn)定同步；

36、(二)本發(fā)明為了滿足數(shù)據(jù)同步時數(shù)據(jù)源多樣化需要，系統(tǒng)內(nèi)置實現(xiàn)了mysql、orcale、mongodb、maria?db以及國產(chǎn)king?base、瀚高數(shù)據(jù)庫，任意兩種類型的數(shù)據(jù)庫之間可實現(xiàn)數(shù)據(jù)全量、增量同步，同時為了方便開發(fā)人員擴(kuò)展數(shù)據(jù)源，開發(fā)人員只需將對應(yīng)數(shù)據(jù)源的plugin實現(xiàn)后打成jar包放入lib目錄下即可加載到系統(tǒng)中，滿足了定制化開發(fā)需要；

37、(三)本發(fā)明旨在構(gòu)建一個高效、可靠、靈活的多數(shù)據(jù)源數(shù)據(jù)同步系統(tǒng)，以滿足不同業(yè)務(wù)場景下對數(shù)據(jù)同步的需求；

38、(四)本發(fā)明通過任務(wù)調(diào)度模塊的并發(fā)處理能力，能夠快速處理大量數(shù)據(jù)，提高數(shù)據(jù)同步的效率；

39、(五)用戶可以通過前端頁面自定義任務(wù)配置，包括數(shù)據(jù)源連接信息、字段映射、查詢條件等，使得系統(tǒng)能夠適應(yīng)各種復(fù)雜的數(shù)據(jù)同步需求；

40、(六)本發(fā)明在任務(wù)構(gòu)建階段進(jìn)行有效性檢驗，并在任務(wù)調(diào)度階段記錄詳細(xì)的日志信息和錯誤信息，便于及時發(fā)現(xiàn)并解決問題；

41、(七)本發(fā)明采用core-plugin架構(gòu)，使得系統(tǒng)能夠輕松擴(kuò)展支持新的數(shù)據(jù)庫類型，只需實現(xiàn)相應(yīng)的plugin即可；

42、(八)本發(fā)明已經(jīng)實現(xiàn)了對mysql、oracle、mariadb、mongo?db、king?base、瀚高等數(shù)據(jù)庫的支持，能夠滿足不同用戶對不同數(shù)據(jù)庫類型的需求；

43、(九)本發(fā)明通過任務(wù)執(zhí)行模塊的獨立java線程執(zhí)行和核心轉(zhuǎn)換模塊的設(shè)計，確保了數(shù)據(jù)同步的穩(wěn)定性和可靠性；

44、(十)本發(fā)明通過任務(wù)劃分和滑動窗口技術(shù)，能夠合理分配資源，確保每個執(zhí)行器都能夠高效地處理分配到的數(shù)據(jù)區(qū)域；

45、(十一)本發(fā)明支持根據(jù)實際業(yè)務(wù)需求設(shè)置并發(fā)數(shù)量，使得數(shù)據(jù)同步過程可以根據(jù)系統(tǒng)資源和業(yè)務(wù)壓力靈活調(diào)整；

46、(十二)本發(fā)明通過前置sql和后置sql的支持，能夠在數(shù)據(jù)同步前后執(zhí)行特定的sql語句，確保數(shù)據(jù)的一致性和完整性；

47、(十三)用戶可以通過直觀的前端頁面進(jìn)行任務(wù)配置和管理，降低了操作難度，提高了用戶體驗。