數(shù)據(jù)交換適配器、異構(gòu)系統(tǒng)之間數(shù)據(jù)同步系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及海量數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)交換適配器、異構(gòu)系統(tǒng)之 間數(shù)據(jù)同步系統(tǒng)和方法。
【背景技術(shù)】
[0002] 在大型的業(yè)務(wù)生產(chǎn)系統(tǒng)應(yīng)用場(chǎng)景中，經(jīng)常存在有多種不同類型的數(shù)據(jù)庫(kù)或文件系 統(tǒng)，如 Oracle、MySQL、SQL Server、Sybase、DB2、Informix、PostgreSQL、MongoDB、Redis、 HDFS (Hadoop Distributed File System, Hadoop分布式文件系統(tǒng)）以及其他數(shù)據(jù)庫(kù)或FS (File System，文件系統(tǒng)）等等，而且經(jīng)常需要在它們之間進(jìn)行海量數(shù)據(jù)的導(dǎo)入或?qū)С龅炔?作。目前面向不同類型數(shù)據(jù)庫(kù)或文件系統(tǒng)成熟的數(shù)據(jù)導(dǎo)入導(dǎo)出工具很多，如MySQLDumper、 OracleSQLLoader等，但這些工具一般只提供數(shù)據(jù)的導(dǎo)出或?qū)耄抑恢С忠粋€(gè)或幾個(gè)特定 類型的數(shù)據(jù)庫(kù)或文件系統(tǒng)。
[0003] 后續(xù)隨著業(yè)務(wù)系統(tǒng)的增加，不同類型庫(kù)的引進(jìn)與應(yīng)用，都會(huì)導(dǎo)致對(duì)這些數(shù)據(jù)導(dǎo)入 導(dǎo)出工具需求的線性增加。這樣，我們就需要開發(fā)并維護(hù)一系列工具，來(lái)實(shí)現(xiàn)不同數(shù)據(jù)庫(kù)或 文件系統(tǒng)之間的數(shù)據(jù)同步，從而導(dǎo)致不同系統(tǒng)之間的數(shù)據(jù)同步呈現(xiàn)一種網(wǎng)狀結(jié)構(gòu)，如下圖1 所示，大大增加了系統(tǒng)的維護(hù)管理難度。
[0004] 另外，這些工具有些是以文件方式（File)進(jìn)行交換數(shù)據(jù)，有些是以管道方式 (Pipe)中轉(zhuǎn)數(shù)據(jù)，均不同程度地為數(shù)據(jù)同步帶來(lái)額外開銷，導(dǎo)致效率差異非常大。同時(shí)，很 多工具也無(wú)法有效滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)ETL (Extraction、Transformation&Loading，數(shù)據(jù)提 取、轉(zhuǎn)換和加載）任務(wù)中常見的需求，比如時(shí)間格式轉(zhuǎn)換、特殊字符轉(zhuǎn)換、編碼轉(zhuǎn)換等等。
[0005] 再者，有些時(shí)候，現(xiàn)實(shí)的情況期望我們?cè)谝粋€(gè)很短的時(shí)間間隔內(nèi)，將一份數(shù)據(jù)從一 個(gè)數(shù)據(jù)庫(kù)導(dǎo)出，同時(shí)載入到多個(gè)不同類型的數(shù)據(jù)庫(kù)或文件系統(tǒng)。

【發(fā)明內(nèi)容】

[0006] 鑒于上述存在的弊端，本發(fā)明實(shí)施例提供一種數(shù)據(jù)交換適配器、異構(gòu)系統(tǒng)之間數(shù) 據(jù)同步系統(tǒng)和方法，實(shí)現(xiàn)在不同異構(gòu)系統(tǒng)之間進(jìn)行海量數(shù)據(jù)同步，從而能夠有效解決現(xiàn)有 技術(shù)缺陷。
[0007] 本發(fā)明實(shí)施例采用了如下技術(shù)方案：
[0008] 本發(fā)明一個(gè)實(shí)施例提供了一種數(shù)據(jù)交換適配器，所述數(shù)據(jù)交換適配器包括：
[0009] 任務(wù)調(diào)度管理器，用于進(jìn)行數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)同步任務(wù)的配置及調(diào)度；
[0010] 數(shù)據(jù)輸入插件管理器，包括分別與多種數(shù)據(jù)系統(tǒng)相對(duì)應(yīng)的多個(gè)數(shù)據(jù)輸入插件，用 于獲取所述任務(wù)調(diào)度管理器所配置的源數(shù)據(jù)輸入任務(wù)，調(diào)用與所述源數(shù)據(jù)輸入任務(wù)相匹配 的數(shù)據(jù)輸入插件，從源數(shù)據(jù)系統(tǒng)獲取源數(shù)據(jù)資源，并載入到數(shù)據(jù)緩存管理器；
[0011] 數(shù)據(jù)緩存管理器，用于為所述數(shù)據(jù)輸入插件管理器載入的源數(shù)據(jù)資源分配存儲(chǔ)空 間，并緩存所述源數(shù)據(jù)資源；
[0012] 數(shù)據(jù)輸出插件管理器，包括分別與多種數(shù)據(jù)系統(tǒng)相對(duì)應(yīng)的多個(gè)數(shù)據(jù)輸出插件，用 于根據(jù)所述任務(wù)調(diào)度管理器的調(diào)度計(jì)劃，觸發(fā)目的數(shù)據(jù)輸出任務(wù)，并調(diào)用與所述目的數(shù)據(jù) 輸出任務(wù)相匹配的數(shù)據(jù)輸出插件，從所述數(shù)據(jù)緩存管理器中讀取對(duì)應(yīng)的源數(shù)據(jù)資源，輸出 至目的數(shù)據(jù)系統(tǒng)。
[0013] 所述數(shù)據(jù)輸入插件管理器的數(shù)據(jù)輸入插件還包括：
[0014] 第一數(shù)據(jù)轉(zhuǎn)換模塊，用于在設(shè)置為啟動(dòng)狀態(tài)下，根據(jù)所述任務(wù)調(diào)度管理器的配置， 將源數(shù)據(jù)資源轉(zhuǎn)換為目標(biāo)數(shù)據(jù)系統(tǒng)支持的形式；
[0015] 所述數(shù)據(jù)輸出插件管理器的數(shù)據(jù)輸出插件還包括：
[0016] 第二數(shù)據(jù)轉(zhuǎn)換模塊，用于在設(shè)置為啟動(dòng)狀態(tài)下，根據(jù)所述任務(wù)調(diào)度管理器的配置， 將源數(shù)據(jù)資源轉(zhuǎn)換為目標(biāo)數(shù)據(jù)系統(tǒng)支持的形式。
[0017] 所述任務(wù)調(diào)度管理器包括：
[0018] 一對(duì)一任務(wù)調(diào)度模塊，用于進(jìn)行一個(gè)源數(shù)據(jù)系統(tǒng)與另一目的數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)同 步任務(wù)的配置及調(diào)度；
[0019] 一對(duì)多任務(wù)調(diào)度模塊，用于進(jìn)行一個(gè)源數(shù)據(jù)系統(tǒng)與多個(gè)目的數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)同 步任務(wù)的配置及調(diào)度；
[0020] 多對(duì)一任務(wù)調(diào)度模塊，用于進(jìn)行多個(gè)源數(shù)據(jù)系統(tǒng)與一個(gè)目的數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)同 步任務(wù)的配置及調(diào)度；及
[0021] 多對(duì)多任務(wù)調(diào)度模塊，用于進(jìn)行多個(gè)源數(shù)據(jù)系統(tǒng)與多個(gè)目的數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)同 步任務(wù)的配置及調(diào)度。
[0022] 所述任務(wù)調(diào)度管理器還包括：
[0023] 輸入任務(wù)切分模塊，用于接收第一切分配置信息，若需對(duì)源數(shù)據(jù)資源進(jìn)行切分，則 根據(jù)所述第一切分配置信息將源數(shù)據(jù)資源切分為多個(gè)可并發(fā)的子任務(wù)；和/或
[0024] 輸出任務(wù)切分模塊，用于接收第二切分配置信息，若需對(duì)輸出至目的數(shù)據(jù)系統(tǒng)的 數(shù)據(jù)資源進(jìn)行切分，則根據(jù)所述第二切分配置信息將輸出至目的數(shù)據(jù)系統(tǒng)的數(shù)據(jù)資源切分 為多個(gè)可并發(fā)的子任務(wù)。
[0025] 所述數(shù)據(jù)輸入插件管理器還包括：
[0026] 數(shù)據(jù)輸入插件配置模塊，用于根據(jù)增加需求增加與新的數(shù)據(jù)系統(tǒng)相對(duì)應(yīng)的數(shù)據(jù)輸 入插件，及根據(jù)刪除需求刪除與原有數(shù)據(jù)系統(tǒng)相對(duì)應(yīng)的數(shù)據(jù)輸入插件；
[0027] 所述數(shù)據(jù)輸出插件管理器還包括：
[0028] 數(shù)據(jù)輸出插件配置模塊，用于根據(jù)增加需求增加與新的數(shù)據(jù)系統(tǒng)相對(duì)應(yīng)的數(shù)據(jù)輸 出插件，及根據(jù)刪除需求刪除與原有數(shù)據(jù)系統(tǒng)相對(duì)應(yīng)的數(shù)據(jù)輸出插件；
[0029] 所述系統(tǒng)還包括：
[0030]日志管理器，用于記錄所述任務(wù)調(diào)度管理器、數(shù)據(jù)輸入插件管理器、數(shù)據(jù)緩存管理 器及數(shù)據(jù)輸出插件管理器的運(yùn)行日志信息，以便在出現(xiàn)問(wèn)題時(shí)進(jìn)行跟蹤排查。
[0031] 另外，本發(fā)明實(shí)施例還提供了一種異構(gòu)系統(tǒng)之間數(shù)據(jù)同步系統(tǒng)，包括多種數(shù)據(jù)系 統(tǒng)和如上述的數(shù)據(jù)交換適配器；
[0032] 各所述數(shù)據(jù)系統(tǒng)分別與所述數(shù)據(jù)輸入插件管理器中對(duì)應(yīng)類型的數(shù)據(jù)輸入插件及 所述數(shù)據(jù)輸出插件管理器中對(duì)應(yīng)類型的數(shù)據(jù)輸出插件相連接。
[0033] 另外，本發(fā)明實(shí)施例還提供了一種異構(gòu)系統(tǒng)之間數(shù)據(jù)同步方法，當(dāng)需進(jìn)行數(shù)據(jù)系 統(tǒng)之間數(shù)據(jù)同步操作時(shí)，所述方法包括：
[0034] 分別與各數(shù)據(jù)系統(tǒng)相連接的數(shù)據(jù)交換適配器進(jìn)行數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)同步任務(wù)的 配置及調(diào)度；
[0035] 根據(jù)配置及調(diào)度信息，從源數(shù)據(jù)系統(tǒng)獲取源數(shù)據(jù)資源，并緩存在所述數(shù)據(jù)交換適 配器中；
[0036] 根據(jù)調(diào)度計(jì)劃觸發(fā)目的數(shù)據(jù)輸出任務(wù)，讀取對(duì)應(yīng)的源數(shù)據(jù)資源，并輸出至目的數(shù) 據(jù)系統(tǒng)。
[0037] 所述從源數(shù)據(jù)系統(tǒng)獲取源數(shù)據(jù)資源之后還包括：
[0038] 根據(jù)配置信息，將源數(shù)據(jù)資源轉(zhuǎn)換為目標(biāo)數(shù)據(jù)系統(tǒng)支持的形式；或
[0039] 所述讀取對(duì)應(yīng)的源數(shù)據(jù)資源之后還包括：
[0040] 根據(jù)配置信息，將源數(shù)據(jù)資源轉(zhuǎn)換為目標(biāo)數(shù)據(jù)系統(tǒng)支持的形式。
[0041] 所述從源數(shù)據(jù)系統(tǒng)獲取源數(shù)據(jù)資源之后還包括：接收第一切分配置信息，若需對(duì) 源數(shù)據(jù)資源進(jìn)行切分，則根據(jù)所述第一切分配置信息將源數(shù)據(jù)資源切分為多個(gè)可并發(fā)的子 任務(wù)；所述緩存在所述數(shù)據(jù)交換適配器中具體為：緩存切分后得到的所述多個(gè)可并發(fā)的子 任務(wù)。
[0042] 和/或，所述輸出至目的數(shù)據(jù)系統(tǒng)之前還包括：接收第二切分配置信息，若需對(duì)輸 出至目的數(shù)據(jù)系統(tǒng)的數(shù)據(jù)資源進(jìn)行切分，則根據(jù)所述第二切分配置信息將輸出至目的數(shù)據(jù) 系統(tǒng)的數(shù)據(jù)資源切分為多個(gè)可并發(fā)的子任務(wù)；
[0043] 所述輸出至目的數(shù)據(jù)系統(tǒng)具體為：將切分得到的所述多個(gè)可并發(fā)的子任務(wù)輸出至 目的數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)同步。
[0044] 所述方法還包括：
[0045] 記錄所述數(shù)據(jù)交換適配器的運(yùn)行日志信息，以便在出現(xiàn)問(wèn)題時(shí)進(jìn)行跟蹤排查。
[0046] 可見，本發(fā)明實(shí)施例提供的一種數(shù)據(jù)交換適配器、異構(gòu)系統(tǒng)之間數(shù)據(jù)同步系統(tǒng)和 方法，通過(guò)這種基于星型模式設(shè)計(jì)思想，搭建一套座落在不同類型數(shù)據(jù)庫(kù)或文件系統(tǒng)之間 的數(shù)據(jù)交換適配器裝置，可以有效實(shí)現(xiàn)不同異構(gòu)系統(tǒng)之間進(jìn)行海量數(shù)據(jù)同步，代替原有維 護(hù)管理復(fù)雜的一系列數(shù)據(jù)導(dǎo)入導(dǎo)出工具所形成的網(wǎng)狀數(shù)據(jù)同步方式。
[0047] 另外，本發(fā)明實(shí)施例提供了一套統(tǒng)一的開放式框架，支持二次開發(fā)，可以使用本方 案所提供的DataIn (數(shù)據(jù)輸入）插件和DataOut (數(shù)據(jù)輸出）插件或者自定制自己所需的 DataIn和DataOut插件，并基于本發(fā)明實(shí)施例所提供的插件管理器實(shí)現(xiàn)二次開發(fā)，通過(guò)簡(jiǎn) 單配置并加載不同類別的DataIn和DataOut插件，從而快速實(shí)現(xiàn)不同類型的數(shù)據(jù)庫(kù)或文件 系統(tǒng)之間的任意海量數(shù)據(jù)同步任務(wù)。
【附圖說(shuō)明】
[0048] 圖1為現(xiàn)有技術(shù)中不同數(shù)據(jù)系統(tǒng)之間基于數(shù)據(jù)同步關(guān)系形成的網(wǎng)狀結(jié)構(gòu)示意圖；
[0049] 圖2為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)交換適配器結(jié)構(gòu)框圖；
[0050] 圖3為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)交換適配器結(jié)構(gòu)示意圖；
[0051] 圖4為本發(fā)明實(shí)施例提供的一種異構(gòu)系統(tǒng)之間數(shù)據(jù)同步系統(tǒng)結(jié)構(gòu)示意圖；
[0052] 圖5為本發(fā)明實(shí)施例提供的一種異構(gòu)系統(tǒng)之間數(shù)據(jù)同步方法流程圖；
[0053] 圖6為本發(fā)明實(shí)施例提供的一種從Oracle數(shù)據(jù)系統(tǒng)進(jìn)行一對(duì)一同步數(shù)據(jù)到MySQL 數(shù)據(jù)系統(tǒng)的數(shù)據(jù)交換適配器內(nèi)部處理過(guò)程示意圖；
[0054] 圖7為本發(fā)明實(shí)施例提供的一種從Oracle數(shù)據(jù)系統(tǒng)進(jìn)行一對(duì)二同步數(shù)據(jù)到MySQL 數(shù)據(jù)系統(tǒng)和SQL Server數(shù)據(jù)系統(tǒng)的數(shù)據(jù)交換適配器內(nèi)部處理過(guò)程示意圖；
[0055] 圖8為本發(fā)明實(shí)施例提供的一種從Oracle數(shù)據(jù)系統(tǒng)和MySQL數(shù)據(jù)系統(tǒng)進(jìn)行二對(duì) 一同步數(shù)據(jù)到SQL Server數(shù)據(jù)系統(tǒng)的數(shù)據(jù)交換適配器內(nèi)部處理過(guò)程示意圖；
[0056] 圖9為本發(fā)明實(shí)施例提供的一種從Oracle數(shù)據(jù)系統(tǒng)和MySQL數(shù)據(jù)系統(tǒng)進(jìn)行二對(duì) 二同步數(shù)據(jù)到SQL Server數(shù)據(jù)系統(tǒng)和Sybase數(shù)據(jù)系統(tǒng)的數(shù)據(jù)交換適配器內(nèi)部處理過(guò)程示 意圖。
【具體實(shí)施方式】
[0057] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方 式作進(jìn)