一種實現(xiàn)異構數(shù)據(jù)庫數(shù)據(jù)同步的方法及系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明涉及異構數(shù)據(jù)庫數(shù)據(jù)同步領域，更具體地，涉及一種實現(xiàn)異構數(shù)據(jù)庫數(shù)據(jù)同步的方法，同時還提供使用所述方法的異構數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)。
【背景技術】
[0002]近年來，計算機系統(tǒng)的應用已經深入到各行各業(yè)，在互聯(lián)網(wǎng)行業(yè)，企業(yè)同時存在多種計算機應用對內對外提供服務，而每個應用都有各自的數(shù)據(jù)存儲方式，隨著業(yè)務的發(fā)展，這些相對獨立的系統(tǒng)間又必須進行一定的數(shù)據(jù)交互，因此我們需要一種能夠兼容各種數(shù)據(jù)存儲，并且高效進行數(shù)據(jù)同步與交換的技術和工具，以滿足企業(yè)對內及對外業(yè)務的各方面數(shù)據(jù)需求。
[0003]例如，在企業(yè)級的網(wǎng)絡環(huán)境中，異種數(shù)據(jù)庫同時并存的現(xiàn)象越來越普遍地存在，t匕如，在市場部門采用微軟的SQL Server數(shù)據(jù)庫，在研發(fā)部門采用國產神通數(shù)據(jù)庫，而企業(yè)的總服務器采用ORACLE數(shù)據(jù)庫，這種異種數(shù)據(jù)庫同時使用的情況在許多系統(tǒng)集成的方案與實施中屢見不鮮，于是在不同數(shù)據(jù)庫之間的數(shù)據(jù)內容的同步變成一個普遍令人關心的問題。目前，各大主流數(shù)據(jù)庫產品都提供了在各自數(shù)據(jù)庫之間進行同步的功能?，F(xiàn)有的同步功能-一般采用發(fā)布/訂閱模型來實現(xiàn)，一般來說，發(fā)布/訂閱模型包括下列對象:發(fā)布服務器、分發(fā)服務器、訂閱服務器，體系結構如附圖圖1所示。
[0004]發(fā)布服務器:發(fā)布服務器是提供數(shù)據(jù)以便同步到其他服務器的服務器。
[0005]分發(fā)服務器:分發(fā)服務器是具體執(zhí)行數(shù)據(jù)分發(fā)任務的服務器。
[0006]訂閱服務器:訂閱服務器是接收同步數(shù)據(jù)的服務器。
[0007]首先，在發(fā)布服務器進行發(fā)布配置，對同步的內容和執(zhí)行同步的周期等進行設置；訂閱服務器根據(jù)需要訂閱配置好的發(fā)布；分發(fā)服務器會根據(jù)發(fā)布配置執(zhí)行數(shù)據(jù)分發(fā)，將數(shù)據(jù)寫入訂閱服務器。在這樣的實現(xiàn)模型下，數(shù)據(jù)被寫入發(fā)布數(shù)據(jù)庫后，分發(fā)數(shù)據(jù)庫根據(jù)發(fā)布配置定期去檢查數(shù)據(jù)變更，然后將這些數(shù)據(jù)變更提取出來寫入訂閱服務器。
[0008]但是，這種同步技術存在的主要問題是不能實現(xiàn)異構數(shù)據(jù)庫間的數(shù)據(jù)同步，發(fā)布服務器和分發(fā)服務器的實現(xiàn)和數(shù)據(jù)庫服務器緊密相關(因為要獲取數(shù)據(jù)庫服務器上的數(shù)據(jù)更改需要數(shù)據(jù)庫本身的支持)，各個數(shù)據(jù)庫廠商只能開發(fā)出配合自己的數(shù)據(jù)庫產品的發(fā)布服務器和分發(fā)服務器，目前最多只能做到訂閱數(shù)據(jù)庫可以是其他數(shù)據(jù)庫，這主要是通過SQL標準來屏蔽不同數(shù)據(jù)庫間的差異。
[0009]專利授權公告號為CN 102063502B的發(fā)明專利:實現(xiàn)異構數(shù)據(jù)庫數(shù)據(jù)同步的方法，提供了一種實現(xiàn)異構數(shù)據(jù)庫數(shù)據(jù)同步的方法，其中異種數(shù)據(jù)庫包括數(shù)據(jù)庫A和數(shù)據(jù)庫B，數(shù)據(jù)庫A是用戶應用所使用的數(shù)據(jù)庫，數(shù)據(jù)庫訪問接口使用JDBC接口，數(shù)據(jù)庫B是進行數(shù)據(jù)同步的目的數(shù)據(jù)庫，還包括符合SUN規(guī)范的JDBC驅動AB，所述驅動AB包括A的JDBC驅動包和B的JDBC驅動包；對驅動AB上的函數(shù)調用都被原樣傳遞給數(shù)據(jù)庫A的JDBC驅動，而對數(shù)據(jù)庫有更改的函數(shù)調用，則通過SQL語法映射轉換后，再傳遞給數(shù)據(jù)庫B的JDBC驅動。其利用數(shù)據(jù)庫訪問的標準接口，比如ODBC，JDBC等或者其他數(shù)據(jù)庫訪問標準接口，只要數(shù)據(jù)庫同步雙方都支持即可，對它們進行封裝，所有通過標準接口進行數(shù)據(jù)庫訪問的應用發(fā)給數(shù)據(jù)庫的更新語句都可以被轉發(fā)給另外的數(shù)據(jù)庫，使用該方法，通過數(shù)據(jù)庫訪問標準接口，數(shù)據(jù)庫產品間的差異被屏蔽了，而且，在應用發(fā)送語句給目標數(shù)據(jù)庫的時候，該語句也同時發(fā)送給同步數(shù)據(jù)庫,實時性好。
[0010]但是上述發(fā)明對實時性的支持不夠好，JDBC驅動包設定的周期去檢查發(fā)布數(shù)據(jù)庫的更改，然后再寫入，這一般會有幾秒的延時，實時性能不夠好。
[0011]目前，行業(yè)內數(shù)據(jù)同步交換的軟件主要有IBM的Datastage、InformaticPowerCenter以及Oracle GoldenGate等。這些專業(yè)化的工具主要應用在ETL和數(shù)據(jù)復制方面，并不能滿足互聯(lián)網(wǎng)行業(yè)復雜的系統(tǒng)和異構數(shù)據(jù)庫之間的數(shù)據(jù)交換同步需求。

【發(fā)明內容】

[0012]本發(fā)明提供一種實現(xiàn)異構數(shù)據(jù)庫數(shù)據(jù)同步的方法，同時還提供使用該方法的異構數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)。
[0013]本發(fā)明提供一種實現(xiàn)異構數(shù)據(jù)庫數(shù)據(jù)同步的方法，所述方法包括如下步驟:a)異構數(shù)據(jù)庫數(shù)據(jù)同步的準備工作，對數(shù)據(jù)進行配置；b)數(shù)據(jù)同步的數(shù)據(jù)增量捕獲；c)全量數(shù)據(jù)的同步；d)增量數(shù)據(jù)同步。
[0014]在上述任一方案中優(yōu)選的是，所述對數(shù)據(jù)進行配置包括但不限于配置基本數(shù)據(jù)作業(yè)單元、配置數(shù)據(jù)作業(yè)流、配置數(shù)據(jù)作業(yè)流定時任務。
[0015]在上述任一方案中優(yōu)選的是，所述配置基本數(shù)據(jù)作業(yè)單元包括如下步驟:選擇操作類型；輸入上述數(shù)據(jù)作業(yè)單元的操作類型對應的參數(shù)；保存相應的數(shù)據(jù)操作作業(yè)。
[0016]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型包括從ORACLE數(shù)據(jù)表到GP數(shù)據(jù)表的數(shù)據(jù)操作。
[0017]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從ORACLE數(shù)據(jù)表到ORACLE數(shù)據(jù)表的數(shù)據(jù)操作。
[0018]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從ORACLE數(shù)據(jù)表到MYSQL數(shù)據(jù)表的數(shù)據(jù)操作。
[0019]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括ORACLE SQL數(shù)據(jù)表的數(shù)據(jù)操作。
[0020]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從ORACLE SQL數(shù)據(jù)表到GP數(shù)據(jù)表的數(shù)據(jù)操作。
[0021]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從ORACLE SQL數(shù)據(jù)表到MYSQL數(shù)據(jù)表的數(shù)據(jù)操作。
[0022]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從ORACLE SQL數(shù)據(jù)表到ORACLE數(shù)據(jù)表的數(shù)據(jù)操作。
[0023]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從GP數(shù)據(jù)表到HAD00P數(shù)據(jù)表的數(shù)據(jù)操作。
[0024]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從GP數(shù)據(jù)表到ORACLE數(shù)據(jù)表的數(shù)據(jù)操作。
[0025]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從GP數(shù)據(jù)表到文本文件的數(shù)據(jù)操作。
[0026]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括GPSQL數(shù)據(jù)表的數(shù)據(jù)操作。
[0027]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從GPSQL數(shù)據(jù)表到HADOOP數(shù)據(jù)表的數(shù)據(jù)操作。
[0028]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從GPSQL數(shù)據(jù)表到ORACLE數(shù)據(jù)表的數(shù)據(jù)操作。
[0029]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從GPSQL數(shù)據(jù)表到文本文件的數(shù)據(jù)操作。
[0030]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從HADOOP數(shù)據(jù)表到GP數(shù)據(jù)表的數(shù)據(jù)操作。
[0031]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括從HADOOP數(shù)據(jù)表到ORACLE數(shù)據(jù)表的數(shù)據(jù)操作。
[0032]在上述任一方案中優(yōu)選的是，所述數(shù)據(jù)作業(yè)單元支持的所述操作類型還包括HADOOP SHELL & PIG數(shù)據(jù)表的數(shù)據(jù)操作。
[0033]在上述任一方案中優(yōu)選的是，所述操作類型對應的參數(shù)包括數(shù)據(jù)庫相關參數(shù)和HADOOP相關