本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)同步方法、裝置和系統(tǒng)。

背景技術(shù)：

現(xiàn)有的企業(yè)級(jí)應(yīng)用進(jìn)行數(shù)據(jù)同步時(shí)，會(huì)通過(guò)多個(gè)數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的同步，但是現(xiàn)有的數(shù)據(jù)同步，需要在數(shù)據(jù)處理服務(wù)器中存儲(chǔ)數(shù)據(jù)同步規(guī)則，每次在拓展新的數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)同步時(shí)，都需要存儲(chǔ)相應(yīng)的規(guī)則，這種情況下，不僅對(duì)數(shù)據(jù)同步操作較繁瑣，而且由于需要花費(fèi)時(shí)間去存儲(chǔ)數(shù)據(jù)同步規(guī)則，導(dǎo)致對(duì)數(shù)據(jù)同步的整體效率降低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提供一種數(shù)據(jù)同步方法、裝置和系統(tǒng)，旨在解決現(xiàn)有的數(shù)據(jù)同步方式，操作較繁瑣，且數(shù)據(jù)同步的整體效率較低的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供的一種數(shù)據(jù)同步方法，應(yīng)用于數(shù)據(jù)處理服務(wù)器，所述數(shù)據(jù)同步方法包括：

在接收到數(shù)據(jù)同步指令時(shí)，數(shù)據(jù)處理服務(wù)器確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器；

在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則；

根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

優(yōu)選地，所述根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作的步驟包括：

所述數(shù)據(jù)處理服務(wù)器分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件；

在所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件時(shí)，根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

優(yōu)選地，所述數(shù)據(jù)處理服務(wù)器分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件的步驟包括：

所述數(shù)據(jù)處理服務(wù)器通過(guò)預(yù)設(shè)調(diào)度程序分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)的資源情況，其中，所述資源情況包括cpu資源或內(nèi)存顯示程序mem資源；

基于分析的所述資源情況，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，其中，在所述cpu資源或mem資源的資源剩余利用率大于預(yù)設(shè)閾值時(shí)，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件。

優(yōu)選地，所述執(zhí)行根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作的步驟同時(shí)，執(zhí)行以下步驟：

所述數(shù)據(jù)處理服務(wù)器記錄所述數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程；

將記錄的所述同步過(guò)程存儲(chǔ)到本地的文本日志和所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，以便于查看數(shù)據(jù)同步過(guò)程。

優(yōu)選地，所述數(shù)據(jù)同步方法還包括：

所述數(shù)據(jù)處理服務(wù)器若檢測(cè)到相對(duì)于所述數(shù)據(jù)處理服務(wù)器的其它數(shù)據(jù)處理服務(wù)器在數(shù)據(jù)同步過(guò)程中出現(xiàn)數(shù)據(jù)同步中斷，則確定數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)；

對(duì)數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作；

若檢測(cè)到有部分?jǐn)?shù)據(jù)已經(jīng)被所述其它數(shù)據(jù)處理服務(wù)器同步，則用重新同步的數(shù)據(jù)更新已同步的數(shù)據(jù)。

此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)同步裝置，應(yīng)用于數(shù)據(jù)處理服務(wù)器，所述數(shù)據(jù)同步裝置包括：

確定模塊，用于在接收到數(shù)據(jù)同步指令時(shí)，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器；

獲取模塊，用于在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則；

處理模塊，用于根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

優(yōu)選地，所述處理模塊包括：

分析子模塊，用于分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件；

處理子模塊，用于在所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件時(shí)，根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

優(yōu)選地，所述分析子模塊包括：

分析單元，用于通過(guò)預(yù)設(shè)調(diào)度程序分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)的資源情況，其中，所述資源情況包括cpu資源或內(nèi)存顯示程序mem資源；

確定單元，用于基于分析的所述資源情況，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，其中，在所述cpu資源或mem資源的資源剩余利用率大于預(yù)設(shè)閾值時(shí)，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件。

優(yōu)選地，所述數(shù)據(jù)同步裝置還包括：

記錄模塊，用于在所述處理模塊根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作的同時(shí)，記錄所述數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程；

存儲(chǔ)模塊，用于將記錄的所述同步過(guò)程存儲(chǔ)到本地的文本日志和所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，以便于查看數(shù)據(jù)同步過(guò)程。

優(yōu)選地，所述確定模塊，還用于若檢測(cè)到相對(duì)于所述數(shù)據(jù)處理服務(wù)器的其它數(shù)據(jù)處理服務(wù)器在數(shù)據(jù)同步過(guò)程中出現(xiàn)數(shù)據(jù)同步中斷，則確定數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)；

所述處理模塊，還用于對(duì)數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作；

所述數(shù)據(jù)同步裝置還包括：

更新模塊，用于若檢測(cè)到有部分?jǐn)?shù)據(jù)已經(jīng)被所述其它數(shù)據(jù)處理服務(wù)器同步，則用重新同步的數(shù)據(jù)更新已同步的數(shù)據(jù)。

此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)同步系統(tǒng)，所述數(shù)據(jù)同步系統(tǒng)包括：數(shù)據(jù)處理服務(wù)器、網(wǎng)絡(luò)存儲(chǔ)器和數(shù)據(jù)庫(kù)服務(wù)器，所述數(shù)據(jù)處理服務(wù)器如上文所述的數(shù)據(jù)同步裝置。

本發(fā)明提出的數(shù)據(jù)同步方法、裝置和系統(tǒng)，應(yīng)用于數(shù)據(jù)處理服務(wù)器，所述數(shù)據(jù)處理服務(wù)器在接收到數(shù)據(jù)同步指令時(shí)，先確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器，然后在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，最終根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。實(shí)現(xiàn)了同步數(shù)據(jù)時(shí)，即使要擴(kuò)展新的數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的同步，也不需要在各個(gè)數(shù)據(jù)處理服務(wù)器中添加數(shù)據(jù)同步規(guī)則，只要將數(shù)據(jù)同步規(guī)則添加到網(wǎng)絡(luò)存儲(chǔ)器中即可，后續(xù)各個(gè)數(shù)據(jù)處理服務(wù)器只要從網(wǎng)絡(luò)存儲(chǔ)器中獲取數(shù)據(jù)同步規(guī)則就可以對(duì)數(shù)據(jù)處理服務(wù)器中的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的同步，對(duì)數(shù)據(jù)的同步非常便捷，由于縮短了添加數(shù)據(jù)同步規(guī)則的時(shí)間，從而提高了數(shù)據(jù)同步的整體效率。

附圖說(shuō)明

圖1為本發(fā)明數(shù)據(jù)同步方法第一實(shí)施例的流程示意圖；

圖2為圖1中步驟s30的細(xì)化流程示意圖；

圖3為圖2中步驟s31的細(xì)化流程示意圖；

圖4為本發(fā)明數(shù)據(jù)同步方法第二實(shí)施例的流程示意圖；

圖5為本發(fā)明數(shù)據(jù)同步過(guò)程的較佳應(yīng)用場(chǎng)景示意圖；

圖6為本發(fā)明數(shù)據(jù)同步裝置第一實(shí)施例的功能模塊示意圖；

圖7為圖6中處理模塊30的細(xì)化功能模塊示意圖；

圖8為圖7中分析子模塊31的細(xì)化功能模塊示意圖；

圖9為本發(fā)明數(shù)據(jù)同步裝置第二實(shí)施例的功能模塊示意圖。

本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說(shuō)明。

具體實(shí)施方式

應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明提供一種數(shù)據(jù)同步方法，應(yīng)用于數(shù)據(jù)處理服務(wù)器。

參照?qǐng)D1，圖1為本發(fā)明數(shù)據(jù)同步方法第一實(shí)施例的流程示意圖。

在本實(shí)施例中，所述數(shù)據(jù)同步方法包括：

步驟s10，在接收到數(shù)據(jù)同步指令時(shí)，數(shù)據(jù)處理服務(wù)器確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器。

在本實(shí)施例中，所述步驟s10之前，包括步驟：將數(shù)據(jù)處理服務(wù)器與網(wǎng)絡(luò)存儲(chǔ)器關(guān)聯(lián)起來(lái)，并將數(shù)據(jù)同步規(guī)則存儲(chǔ)到所述網(wǎng)絡(luò)存儲(chǔ)器中。值得注意的是，所述將數(shù)據(jù)同步規(guī)則存儲(chǔ)到所述網(wǎng)絡(luò)服務(wù)器中，實(shí)際上是將數(shù)據(jù)同步規(guī)則存儲(chǔ)到所述網(wǎng)絡(luò)服務(wù)器對(duì)應(yīng)的共享磁盤中，以便通過(guò)共享磁盤技術(shù)供關(guān)聯(lián)的各個(gè)數(shù)據(jù)處理服務(wù)器使用該數(shù)據(jù)同步規(guī)則。

在本實(shí)施例中，所述數(shù)據(jù)處理服務(wù)器優(yōu)選為kettle服務(wù)器，下文中的數(shù)據(jù)處理服務(wù)器均表示kettle服務(wù)器。值得注意的是，所述kettle服務(wù)器實(shí)際是一款從開源起步的etl(extract-transform-load)工具，用于抽取、清洗、轉(zhuǎn)換、裝載數(shù)據(jù)，純java編寫，可以在多平臺(tái)上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。所述網(wǎng)絡(luò)存儲(chǔ)器優(yōu)選為nas(networkattachedstorage，網(wǎng)絡(luò)附屬存儲(chǔ))服務(wù)器，同理，下文中的網(wǎng)絡(luò)存儲(chǔ)器也均表示nas服務(wù)器。

本實(shí)施例中，一個(gè)nas服務(wù)器可以與多個(gè)kettle服務(wù)器建立關(guān)聯(lián)關(guān)系，具體根據(jù)kettle服務(wù)器的標(biāo)識(shí)信息以及所述nas服務(wù)器的標(biāo)識(shí)信息進(jìn)行關(guān)聯(lián)關(guān)系的建立。由于本實(shí)施例中的所述數(shù)據(jù)處理服務(wù)器優(yōu)選為kettle服務(wù)器，因此，所述數(shù)據(jù)同步規(guī)則也可稱為kettle程序元數(shù)據(jù)。

當(dāng)所述數(shù)據(jù)處理服務(wù)器接收到數(shù)據(jù)同步指令時(shí)，即可根據(jù)事先建立的關(guān)聯(lián)關(guān)系，直接確定關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器。

步驟s20，在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則。

也就是說(shuō)，在確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器之后，即可在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，由于上文已經(jīng)描述了所述同步規(guī)則是存儲(chǔ)在所述網(wǎng)絡(luò)服務(wù)器對(duì)應(yīng)的共享磁盤中，因此，所述在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，實(shí)際上是在所述網(wǎng)絡(luò)服務(wù)器對(duì)應(yīng)的共享磁盤中獲取所述數(shù)據(jù)同步規(guī)則。本實(shí)施例中的所述數(shù)據(jù)同步規(guī)則包括但不限于：待進(jìn)行數(shù)據(jù)同步的各個(gè)數(shù)據(jù)庫(kù)，待同步的數(shù)據(jù)類型，以及數(shù)據(jù)的同步頻率等等。

應(yīng)當(dāng)理解，在網(wǎng)絡(luò)存儲(chǔ)器的共享磁盤中存儲(chǔ)數(shù)據(jù)，并通過(guò)共享磁盤技術(shù)以供其它各個(gè)數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的獲取，無(wú)須在每個(gè)數(shù)據(jù)處理服務(wù)器分別存儲(chǔ)數(shù)據(jù)同步規(guī)則，使得后續(xù)的數(shù)據(jù)同步更加便捷，數(shù)據(jù)同步效率也更高。

步驟s30，根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

在本實(shí)施例中，在獲取到數(shù)據(jù)同步規(guī)則之后，先根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，其中，所述數(shù)據(jù)處理服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器關(guān)聯(lián)關(guān)系的建立，和上文的與網(wǎng)絡(luò)存儲(chǔ)器的建立方式一致，并且，同樣是一個(gè)數(shù)據(jù)庫(kù)服務(wù)器可以與多個(gè)kettle服務(wù)器建立關(guān)聯(lián)關(guān)系，此處不做多余贅述。

本實(shí)施例中，待同步的數(shù)據(jù)庫(kù)是有數(shù)據(jù)同步需求的業(yè)務(wù)數(shù)據(jù)庫(kù)，需要由所述數(shù)據(jù)處理服務(wù)器完成數(shù)據(jù)的同步，并且，待同步數(shù)據(jù)庫(kù)的數(shù)量至少包括兩個(gè)。例如，待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)包括第一數(shù)據(jù)庫(kù)和第二數(shù)據(jù)庫(kù)，那么在確定第一數(shù)據(jù)庫(kù)和第二數(shù)據(jù)庫(kù)之后，所述數(shù)據(jù)處理服務(wù)器即可執(zhí)行數(shù)據(jù)同步操作，其中，所述數(shù)據(jù)同步操作包括但不限于：將第一數(shù)據(jù)庫(kù)中的數(shù)據(jù)a同步至第二數(shù)據(jù)庫(kù)中，或者將第二數(shù)據(jù)庫(kù)中的數(shù)據(jù)b同步至第一數(shù)據(jù)庫(kù)中。

在本實(shí)施例中，為了保證數(shù)據(jù)同步的效率，參照?qǐng)D2，所述步驟s30包括：

步驟s31，所述數(shù)據(jù)處理服務(wù)器分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件；

步驟s32，在所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件時(shí)，根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

在本實(shí)施例中，分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，可參照?qǐng)D3，具體地，所述步驟s31包括：

步驟s311，所述數(shù)據(jù)處理服務(wù)器通過(guò)預(yù)設(shè)調(diào)度程序分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)的資源情況，其中，所述資源情況包括cpu資源或內(nèi)存顯示程序mem資源；

步驟s312，基于分析的所述資源情況，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，其中，在所述cpu資源或mem資源的資源剩余利用率大于預(yù)設(shè)閾值時(shí)，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件。

在本實(shí)施例中，所述數(shù)據(jù)處理服務(wù)器先通過(guò)預(yù)設(shè)調(diào)度程序分析當(dāng)前操作系統(tǒng)的資源情況，其中，所述預(yù)設(shè)調(diào)度程序優(yōu)選為kea(kettleenterpriseapplication，kettle企業(yè)級(jí)應(yīng)用)調(diào)度程序，所述資源情況包括cpu(centralprocessingunit，中央處理器)資源或mem(內(nèi)存顯示程序)資源。然后，基于分析的所述資源情況，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，本實(shí)施例中，優(yōu)選在所述cpu資源或mem資源的資源剩余利用率大于預(yù)設(shè)閾值時(shí)，才能確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件，其中，所述預(yù)設(shè)閾值根據(jù)實(shí)際情況進(jìn)行設(shè)置，此處不做限定。

即，所述數(shù)據(jù)處理服務(wù)器會(huì)先分析當(dāng)前操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，若當(dāng)前操作系統(tǒng)滿足數(shù)據(jù)同步條件，才會(huì)根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。若當(dāng)前操作系統(tǒng)不滿足數(shù)據(jù)同步條件，則所述數(shù)據(jù)處理服務(wù)器不執(zhí)行數(shù)據(jù)同步過(guò)程，由其它數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的同步。

應(yīng)當(dāng)理解，若在操作系統(tǒng)的資源情況不符合要求時(shí)就進(jìn)行數(shù)據(jù)的同步，極有可能會(huì)出現(xiàn)數(shù)據(jù)同步過(guò)程中，數(shù)據(jù)同步失敗的情況，或者是同步數(shù)據(jù)速度過(guò)慢的情況。因此本實(shí)施例中，通過(guò)分析數(shù)據(jù)處理服務(wù)器的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，才決定是否進(jìn)行數(shù)據(jù)的同步，有效避免了上述情況，一定程度上保證了數(shù)據(jù)的正常同步，同時(shí)也提高了數(shù)據(jù)的同步效率。

進(jìn)一步地，所述數(shù)據(jù)處理服務(wù)器分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件之后，還會(huì)將分析的情況展示給業(yè)務(wù)用戶查看，以供業(yè)務(wù)用戶了解數(shù)據(jù)同步的情況。

進(jìn)一步地，為了實(shí)現(xiàn)對(duì)數(shù)據(jù)同步進(jìn)行監(jiān)控，所述執(zhí)行“根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作”的同時(shí)，執(zhí)行以下步驟：

步驟a，所述數(shù)據(jù)處理服務(wù)器記錄所述數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程；

步驟b，將記錄的所述同步過(guò)程存儲(chǔ)到本地的文本日志和數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，以便于查看數(shù)據(jù)同步過(guò)程。

也就是說(shuō)，所述數(shù)據(jù)處理服務(wù)器在根據(jù)第一數(shù)據(jù)庫(kù)和第二數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作的同時(shí)，還會(huì)記錄所述數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程，然后將記錄的同步過(guò)程存儲(chǔ)到本地的文本日志和所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，以供所述kea調(diào)度程序分析并計(jì)時(shí)展現(xiàn)給運(yùn)營(yíng)管理員，那么運(yùn)營(yíng)管理員即可查看數(shù)據(jù)同步過(guò)程，以達(dá)到數(shù)據(jù)同步監(jiān)控的作用。本實(shí)施例中，所述同步過(guò)程主要包括執(zhí)行程序、執(zhí)行參數(shù)、執(zhí)行時(shí)間以及執(zhí)行結(jié)果等指標(biāo)。

進(jìn)一步地，還可在接收到運(yùn)營(yíng)管理員輸入的數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程的查看指令時(shí)，先在顯示界面中顯示所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中記錄的數(shù)據(jù)同步過(guò)程；

若檢測(cè)到所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中的數(shù)據(jù)顯示出現(xiàn)異常，則調(diào)用本地的文本日志，以顯示數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程。

即，由于數(shù)據(jù)處理服務(wù)器將記錄的同步過(guò)程存儲(chǔ)到本地的文本日志和數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，因此，數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志存儲(chǔ)的就是所有數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)同步操作的同步過(guò)程，而數(shù)據(jù)處理服務(wù)器本地的文本日志存儲(chǔ)當(dāng)前數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的數(shù)據(jù)同步操作的同步過(guò)程。那么，在查看數(shù)據(jù)同步過(guò)程時(shí)，可優(yōu)選先在數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中查看，在數(shù)據(jù)庫(kù)日志異常時(shí)，才調(diào)用本地的文本日志進(jìn)行數(shù)據(jù)同步過(guò)程的查看，而不用兩個(gè)日志都進(jìn)行顯示，提高了數(shù)據(jù)同步監(jiān)控的靈活性。

為更好理解，舉例詳述之：例如，當(dāng)前有數(shù)據(jù)處理服務(wù)器a和數(shù)據(jù)處理服務(wù)器b都在進(jìn)行數(shù)據(jù)同步，那么數(shù)據(jù)處理服務(wù)器a和數(shù)據(jù)處理服務(wù)器b都會(huì)數(shù)據(jù)同步操作的同步過(guò)程記錄到數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，但是數(shù)據(jù)處理服務(wù)器a和數(shù)據(jù)處理服務(wù)器b都只會(huì)將自己的數(shù)據(jù)同步操作的同步過(guò)程自己的本地的文本日志中，即數(shù)據(jù)處理服務(wù)器a存儲(chǔ)到本地的文本日志a中，數(shù)據(jù)處理服務(wù)器b存儲(chǔ)到本地的文本日志b中。后續(xù)，可以在數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志可以查看各個(gè)數(shù)據(jù)處理服務(wù)器的數(shù)據(jù)同步過(guò)程，若是數(shù)據(jù)庫(kù)日志異常，則數(shù)據(jù)處理服務(wù)器a調(diào)用文本日志a進(jìn)行數(shù)據(jù)同步過(guò)程的查看，數(shù)據(jù)處理服務(wù)器b調(diào)用文本日志b進(jìn)行數(shù)據(jù)同步過(guò)程的查看。

本實(shí)施例提出的數(shù)據(jù)同步方法，應(yīng)用于數(shù)據(jù)處理服務(wù)器，所述數(shù)據(jù)處理服務(wù)器在接收到數(shù)據(jù)同步指令時(shí)，先確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器，然后在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，最終根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。實(shí)現(xiàn)了同步數(shù)據(jù)時(shí)，即使要擴(kuò)展新的數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的同步，也不需要在各個(gè)數(shù)據(jù)處理服務(wù)器中添加數(shù)據(jù)同步規(guī)則，只要將數(shù)據(jù)同步規(guī)則添加到網(wǎng)絡(luò)存儲(chǔ)器中即可，后續(xù)各個(gè)數(shù)據(jù)處理服務(wù)器只要從網(wǎng)絡(luò)存儲(chǔ)器中獲取數(shù)據(jù)同步規(guī)則就可以對(duì)數(shù)據(jù)處理服務(wù)器中的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的同步，對(duì)數(shù)據(jù)的同步非常便捷，由于縮短了添加數(shù)據(jù)同步規(guī)則的時(shí)間，從而提高了數(shù)據(jù)同步的整體效率。

進(jìn)一步地，基于第一實(shí)施例提出本發(fā)明數(shù)據(jù)同步方法的第二實(shí)施例，在本實(shí)施例中，參照?qǐng)D4，所述數(shù)據(jù)同步方法還包括：

步驟s40，所述數(shù)據(jù)處理服務(wù)器若檢測(cè)到相對(duì)于所述數(shù)據(jù)處理服務(wù)器的其它數(shù)據(jù)處理服務(wù)器在數(shù)據(jù)同步過(guò)程中出現(xiàn)數(shù)據(jù)同步中斷，則確定數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)；

步驟s50，對(duì)數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作；

步驟s60，若檢測(cè)到有部分?jǐn)?shù)據(jù)已經(jīng)被所述其它數(shù)據(jù)處理服務(wù)器同步，則用重新同步的數(shù)據(jù)更新已同步的數(shù)據(jù)。

應(yīng)當(dāng)理解的是，所述步驟s40可應(yīng)用于步驟s30之后，也可以應(yīng)用于步驟s10之前，具體的順序不做限定。

在本實(shí)施例中，若檢測(cè)到相對(duì)于所述數(shù)據(jù)處理服務(wù)器的其它數(shù)據(jù)處理服務(wù)器在數(shù)據(jù)同步過(guò)程中出現(xiàn)數(shù)據(jù)同步中斷，則確定數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)，例如其它數(shù)據(jù)處理服務(wù)器在對(duì)第三數(shù)據(jù)庫(kù)和第四數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)同步，并且出現(xiàn)同步中斷，此時(shí)，所述處理服務(wù)器對(duì)數(shù)據(jù)同步中斷的兩個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作，即對(duì)第三數(shù)據(jù)庫(kù)和第四數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作，此時(shí)的數(shù)據(jù)同步操作與上述內(nèi)容一致，此處不再進(jìn)行贅述。

當(dāng)所述數(shù)據(jù)處理服務(wù)器對(duì)數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作時(shí)，若在執(zhí)行數(shù)據(jù)同步操作過(guò)程中，檢測(cè)到有部分?jǐn)?shù)據(jù)已經(jīng)被其它數(shù)據(jù)處理服務(wù)器同步過(guò)了，此時(shí)，為了保證數(shù)據(jù)同步的準(zhǔn)確性，所述數(shù)據(jù)處理服務(wù)器會(huì)完成整個(gè)數(shù)據(jù)同步過(guò)程，并用重新同步的數(shù)據(jù)更新已同步的數(shù)據(jù)，即更新掉其它數(shù)據(jù)處理服務(wù)器已經(jīng)同步過(guò)的數(shù)據(jù)，保證了數(shù)據(jù)同步的準(zhǔn)確性。

應(yīng)當(dāng)理解，現(xiàn)有的etl工具kettle服務(wù)器，在c/s(client/server，客戶機(jī)和服務(wù)器結(jié)構(gòu))架構(gòu)下的企業(yè)級(jí)應(yīng)用接口功能不全；在部署、調(diào)度、監(jiān)控方面困難；并且平臺(tái)可擴(kuò)展性差；更甚的，在數(shù)據(jù)同步時(shí)，需要先在內(nèi)部存儲(chǔ)數(shù)據(jù)同步規(guī)則，后續(xù)根據(jù)存儲(chǔ)的數(shù)據(jù)同步規(guī)才能執(zhí)行數(shù)據(jù)同步操作，當(dāng)平臺(tái)中需要擴(kuò)展多個(gè)kettle服務(wù)器時(shí)，就需要在每個(gè)kettle服務(wù)器中分別存儲(chǔ)數(shù)據(jù)同步規(guī)則，對(duì)數(shù)據(jù)同步的整體操作較為繁瑣。

本發(fā)明所述的數(shù)據(jù)同步方案，應(yīng)用于kettle企業(yè)級(jí)應(yīng)用(kettleenterpriseapplication，簡(jiǎn)稱kea)中，kettle企業(yè)級(jí)應(yīng)用是一套以kettle社區(qū)版為基礎(chǔ)，批量同步數(shù)據(jù)的綜合應(yīng)用系統(tǒng)，是集存儲(chǔ)、調(diào)度、監(jiān)控于一體的數(shù)據(jù)同步生態(tài)系統(tǒng)，還可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)拓容的便捷性。

該kettle企業(yè)級(jí)應(yīng)用包括：

1、kea框架

nas服務(wù)器存儲(chǔ)kettle程序元數(shù)據(jù)，通過(guò)共享磁盤存儲(chǔ)技術(shù)供整個(gè)平臺(tái)的kettle服務(wù)器使用，kettle服務(wù)器獲取到kettle程序元數(shù)據(jù)后，通過(guò)kea調(diào)度程序分析操作系統(tǒng)的資源情況決定是否執(zhí)行業(yè)務(wù)數(shù)據(jù)同步(業(yè)務(wù)數(shù)據(jù)完成后，供業(yè)務(wù)應(yīng)用系統(tǒng)訪問(wèn)，進(jìn)而展現(xiàn)給業(yè)務(wù)用戶)，然后把業(yè)務(wù)數(shù)據(jù)同步的信息記錄到本地的文本日志和數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中(主要包括執(zhí)行程序、執(zhí)行參數(shù)、執(zhí)行時(shí)間以及執(zhí)行結(jié)果等重要指標(biāo)記錄到對(duì)應(yīng)的日志庫(kù)中，供監(jiān)控應(yīng)用程序分析并及時(shí)展現(xiàn)給運(yùn)營(yíng)工程師，以達(dá)到維護(hù)數(shù)據(jù)同步系統(tǒng)的穩(wěn)定)。

2、kea存儲(chǔ)

kea是以file格式存儲(chǔ)kettle程序元數(shù)據(jù)在nas服務(wù)器上，同一kettle平臺(tái)共享使用此元數(shù)據(jù)；

主要特點(diǎn)：分布式平臺(tái)架構(gòu)，平臺(tái)擴(kuò)展容易。

3、kea調(diào)度

數(shù)據(jù)同步通過(guò)kettle的智能調(diào)度主控程序runfilejob.sh調(diào)度相應(yīng)的業(yè)務(wù)同步程序，并把業(yè)務(wù)同步程序執(zhí)行的結(jié)果分別記錄到本地的文本日志與數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中；

主要功能：

智能調(diào)度：通過(guò)分析操作系統(tǒng)的cpu和mem資源決定是否執(zhí)行程序；

數(shù)據(jù)同步：調(diào)度kitchen.sh程序執(zhí)行業(yè)務(wù)同步；

記錄日志：通過(guò)writelog.sh分別記錄本地的文本日志與數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志。

4、kea監(jiān)控

數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志提供的監(jiān)控接口，供監(jiān)控應(yīng)用系統(tǒng)定制化各種監(jiān)控；

主要功能：本地的文本日志主要是在日志庫(kù)出現(xiàn)問(wèn)題時(shí)用于系統(tǒng)排查使用的，正常情況下使用日志庫(kù)監(jiān)控平臺(tái)。

本發(fā)明的數(shù)據(jù)同步過(guò)程，集群模式地企業(yè)級(jí)應(yīng)用，實(shí)現(xiàn)了在平臺(tái)如何擴(kuò)展多個(gè)kettle工具，實(shí)現(xiàn)了集群模式應(yīng)用，并且在平臺(tái)中可以穩(wěn)定的進(jìn)行數(shù)據(jù)的同步，確保數(shù)據(jù)同步的持續(xù)性，以及在平臺(tái)中可以監(jiān)控?cái)?shù)據(jù)同步過(guò)程，實(shí)現(xiàn)了掌握平臺(tái)的數(shù)據(jù)同步動(dòng)態(tài)。

本發(fā)明的技術(shù)方案中，具有以下優(yōu)點(diǎn)：

1、只需要添加新的kettle服務(wù)器，數(shù)據(jù)同步的特點(diǎn)是元數(shù)據(jù)讀取少，數(shù)據(jù)同步量大的特點(diǎn)，以nas技術(shù)實(shí)現(xiàn)平臺(tái)共享元數(shù)據(jù)，實(shí)現(xiàn)了易擴(kuò)容地分布式架構(gòu)；

2、kea在調(diào)度程序時(shí)，通過(guò)自開發(fā)的程序先對(duì)本機(jī)的cpu和mem資源進(jìn)行評(píng)估，決定是否以及何時(shí)執(zhí)行程序，保障數(shù)據(jù)同步功能以及系統(tǒng)的穩(wěn)定；

3、提供文本、數(shù)據(jù)庫(kù)雙重日志，對(duì)外提供了統(tǒng)一日志接口方便各應(yīng)用系統(tǒng)監(jiān)控地同時(shí)，也保證了平臺(tái)獨(dú)立性。

基于圖1至圖4所述實(shí)施例的具體描述，本實(shí)施例以具體的應(yīng)用場(chǎng)景再次描述本發(fā)明數(shù)據(jù)同步方法的實(shí)現(xiàn)過(guò)程。

請(qǐng)參照?qǐng)D5，圖5是本發(fā)明數(shù)據(jù)同步的具體場(chǎng)景示意圖。

nas服務(wù)器存儲(chǔ)kettle程序元數(shù)據(jù)，通過(guò)共享磁盤存儲(chǔ)技術(shù)供整個(gè)平臺(tái)的kettle服務(wù)器使用，kettle服務(wù)器獲取到kettle程序元數(shù)據(jù)后，通過(guò)kea調(diào)度程序分析操作系統(tǒng)的資源情況決定是否執(zhí)行業(yè)務(wù)數(shù)據(jù)同步(業(yè)務(wù)數(shù)據(jù)完成后，供業(yè)務(wù)應(yīng)用系統(tǒng)訪問(wèn)，進(jìn)而展現(xiàn)給業(yè)務(wù)用戶)，若是需要執(zhí)行業(yè)務(wù)數(shù)據(jù)同步，則將第一數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步至第二數(shù)據(jù)庫(kù)中，再把業(yè)務(wù)數(shù)據(jù)同步的信息記錄到本地的文本日志(圖5中的數(shù)據(jù)庫(kù))和數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志(圖5中的日志庫(kù))中，其中，日志庫(kù)主要包括執(zhí)行程序、執(zhí)行參數(shù)、執(zhí)行時(shí)間以及執(zhí)行結(jié)果等重要指標(biāo)記錄，供監(jiān)控應(yīng)用程序分析并及時(shí)展現(xiàn)給運(yùn)營(yíng)工程師，以達(dá)到維護(hù)數(shù)據(jù)同步系統(tǒng)的穩(wěn)定。

本發(fā)明進(jìn)一步提供一種數(shù)據(jù)同步裝置，應(yīng)用于數(shù)據(jù)處理服務(wù)器。

參照?qǐng)D6，圖6為本發(fā)明數(shù)據(jù)同步裝置100第一實(shí)施例的功能模塊示意圖。

需要強(qiáng)調(diào)的是，對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，圖6所示功能模塊圖僅僅是一個(gè)較佳實(shí)施例的示例圖，本領(lǐng)域的技術(shù)人員圍繞圖6所示的數(shù)據(jù)同步裝置100的功能模塊，可輕易進(jìn)行新的功能模塊的補(bǔ)充；各功能模塊的名稱是自定義名稱，僅用于輔助理解該數(shù)據(jù)同步裝置100的各個(gè)程序功能塊，不用于限定本發(fā)明的技術(shù)方案，本發(fā)明技術(shù)方案的核心是，各自定義名稱的功能模塊所要達(dá)成的功能。

在本實(shí)施例中，所述數(shù)據(jù)同步裝置100包括：

確定模塊10，用于在接收到數(shù)據(jù)同步指令時(shí)，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器。

在本實(shí)施例中，在確定模塊10確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器之前，需要先將數(shù)據(jù)處理服務(wù)器與網(wǎng)絡(luò)存儲(chǔ)器關(guān)聯(lián)起來(lái)，并將數(shù)據(jù)同步規(guī)則存儲(chǔ)到所述網(wǎng)絡(luò)存儲(chǔ)器中。值得注意的是，所述將數(shù)據(jù)同步規(guī)則存儲(chǔ)到所述網(wǎng)絡(luò)服務(wù)器中，實(shí)際上是將數(shù)據(jù)同步規(guī)則存儲(chǔ)到所述網(wǎng)絡(luò)服務(wù)器對(duì)應(yīng)的共享磁盤中，以便通過(guò)共享磁盤技術(shù)供關(guān)聯(lián)的各個(gè)數(shù)據(jù)處理服務(wù)器使用該數(shù)據(jù)同步規(guī)則。

在本實(shí)施例中，所述數(shù)據(jù)處理服務(wù)器優(yōu)選為kettle服務(wù)器，下文中的數(shù)據(jù)處理服務(wù)器均表示kettle服務(wù)器。值得注意的是，所述kettle服務(wù)器實(shí)際是一款從開源起步的etl(extract-transform-load)工具，用于抽取、清洗、轉(zhuǎn)換、裝載數(shù)據(jù)，純java編寫，可以在多平臺(tái)上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。所述網(wǎng)絡(luò)存儲(chǔ)器優(yōu)選為nas(networkattachedstorage，網(wǎng)絡(luò)附屬存儲(chǔ))服務(wù)器，同理，下文中的網(wǎng)絡(luò)存儲(chǔ)器也均表示nas服務(wù)器。

本實(shí)施例中，一個(gè)nas服務(wù)器可以與多個(gè)kettle服務(wù)器建立關(guān)聯(lián)關(guān)系，具體根據(jù)kettle服務(wù)器的標(biāo)識(shí)信息以及所述nas服務(wù)器的標(biāo)識(shí)信息進(jìn)行關(guān)聯(lián)關(guān)系的建立。由于本實(shí)施例中的所述數(shù)據(jù)處理服務(wù)器優(yōu)選為kettle服務(wù)器，因此，所述數(shù)據(jù)同步規(guī)則也可稱為kettle程序元數(shù)據(jù)。

當(dāng)接收到數(shù)據(jù)同步指令時(shí)，所述確定模塊10即可根據(jù)事先建立的關(guān)聯(lián)關(guān)系，直接確定關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器。

獲取模塊20，用于在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則；

也就是說(shuō)，在所述確定模塊10確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器之后，獲取模塊20即可在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，由于上文已經(jīng)描述了所述同步規(guī)則是存儲(chǔ)在所述網(wǎng)絡(luò)服務(wù)器對(duì)應(yīng)的共享磁盤中，因此，所述所述獲取模塊20在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，實(shí)際上是在所述網(wǎng)絡(luò)服務(wù)器對(duì)應(yīng)的共享磁盤中獲取所述數(shù)據(jù)同步規(guī)則。本實(shí)施例中的所述數(shù)據(jù)同步規(guī)則包括但不限于：待進(jìn)行數(shù)據(jù)同步的各個(gè)數(shù)據(jù)庫(kù)，待同步的數(shù)據(jù)類型，以及數(shù)據(jù)的同步頻率等等。

應(yīng)當(dāng)理解，在網(wǎng)絡(luò)存儲(chǔ)器的共享磁盤中存儲(chǔ)數(shù)據(jù)，并通過(guò)共享磁盤技術(shù)以供其它各個(gè)數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的獲取，無(wú)須在每個(gè)數(shù)據(jù)處理服務(wù)器分別存儲(chǔ)數(shù)據(jù)同步規(guī)則，使得后續(xù)的數(shù)據(jù)同步更加便捷，數(shù)據(jù)同步效率也更高。

處理模塊30，用于根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

在本實(shí)施例中，在所述獲取模塊20獲取到數(shù)據(jù)同步規(guī)則之后，處理模塊30先根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，其中，所述數(shù)據(jù)處理服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器關(guān)聯(lián)關(guān)系的建立，和上文的與網(wǎng)絡(luò)存儲(chǔ)器的建立方式一致，并且，同樣是一個(gè)數(shù)據(jù)庫(kù)服務(wù)器可以與多個(gè)kettle服務(wù)器建立關(guān)聯(lián)關(guān)系，此處不做多余贅述。

本實(shí)施例中，待同步的數(shù)據(jù)庫(kù)是有數(shù)據(jù)同步需求的業(yè)務(wù)數(shù)據(jù)庫(kù)，需要由所述數(shù)據(jù)處理服務(wù)器完成數(shù)據(jù)的同步，并且，待同步數(shù)據(jù)庫(kù)的數(shù)量至少包括兩個(gè)。例如，待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)包括第一數(shù)據(jù)庫(kù)和第二數(shù)據(jù)庫(kù)，那么所述處理模塊30在確定第一數(shù)據(jù)庫(kù)和第二數(shù)據(jù)庫(kù)之后，即可執(zhí)行數(shù)據(jù)同步操作，其中，所述數(shù)據(jù)同步操作包括但不限于：將第一數(shù)據(jù)庫(kù)中的數(shù)據(jù)a同步至第二數(shù)據(jù)庫(kù)中，或者將第二數(shù)據(jù)庫(kù)中的數(shù)據(jù)b同步至第一數(shù)據(jù)庫(kù)中。

在本實(shí)施例中，為了保證數(shù)據(jù)同步的效率，參照?qǐng)D7，所述處理模塊30包括：

分析子模塊31，用于分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件；

處理子模塊32，用于在所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件時(shí)，根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。

在本實(shí)施例中，所述分析數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，可參照?qǐng)D8，具體地，所述分析子模塊31包括：

分析單元311，用于通過(guò)預(yù)設(shè)調(diào)度程序分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)的資源情況，其中，所述資源情況包括cpu資源或內(nèi)存顯示程序mem資源；

確定單元312，用于基于分析的所述資源情況，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，其中，在所述cpu資源或mem資源的資源剩余利用率大于預(yù)設(shè)閾值時(shí)，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件。

在本實(shí)施例中，分析單元311先通過(guò)預(yù)設(shè)調(diào)度程序分析當(dāng)前操作系統(tǒng)的資源情況，其中，所述預(yù)設(shè)調(diào)度程序優(yōu)選為kea(kettleenterpriseapplication，kettle企業(yè)級(jí)應(yīng)用)調(diào)度程序，所述資源情況包括cpu(centralprocessingunit，中央處理器)資源或mem(內(nèi)存顯示程序)資源。然后，確定單元312基于分析的所述資源情況，確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，本實(shí)施例中，優(yōu)選在所述cpu資源或mem資源的資源剩余利用率大于預(yù)設(shè)閾值時(shí)，才能確定所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)滿足數(shù)據(jù)同步條件，其中，所述預(yù)設(shè)閾值根據(jù)實(shí)際情況進(jìn)行設(shè)置，此處不做限定。

即，分析子模塊31會(huì)先分析當(dāng)前操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，若當(dāng)前操作系統(tǒng)滿足數(shù)據(jù)同步條件，處理子模塊32才會(huì)根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。若當(dāng)前操作系統(tǒng)不滿足數(shù)據(jù)同步條件，則不執(zhí)行數(shù)據(jù)同步過(guò)程，由其它數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的同步。

應(yīng)當(dāng)理解，若在操作系統(tǒng)的資源情況不符合要求時(shí)就進(jìn)行數(shù)據(jù)的同步，極有可能會(huì)出現(xiàn)數(shù)據(jù)同步過(guò)程中，數(shù)據(jù)同步失敗的情況，或者是同步數(shù)據(jù)速度過(guò)慢的情況。因此本實(shí)施例中，通過(guò)分析數(shù)據(jù)處理服務(wù)器的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件，才決定是否進(jìn)行數(shù)據(jù)的同步，有效避免了上述情況，一定程度上保證了數(shù)據(jù)的正常同步，同時(shí)也提高了數(shù)據(jù)的同步效率。

進(jìn)一步地，所述分析子模塊31分析所述數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的操作系統(tǒng)是否滿足數(shù)據(jù)同步條件之后，所述數(shù)據(jù)同步裝置100還會(huì)將分析的情況展示給業(yè)務(wù)用戶查看，以供業(yè)務(wù)用戶了解數(shù)據(jù)同步的情況。

進(jìn)一步地，為了實(shí)現(xiàn)對(duì)數(shù)據(jù)同步進(jìn)行監(jiān)控，所述數(shù)據(jù)同步裝置還包括：

記錄模塊，用于在所述處理模塊根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作的同時(shí)，記錄所述數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程；

存儲(chǔ)模塊，用于將記錄的所述同步過(guò)程存儲(chǔ)到本地的文本日志和所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，以便于查看數(shù)據(jù)同步過(guò)程。

也就是說(shuō)，記錄模塊在根據(jù)第一數(shù)據(jù)庫(kù)和第二數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作的同時(shí)，還會(huì)記錄所述數(shù)據(jù)同步操作對(duì)應(yīng)的操作過(guò)程，然后存儲(chǔ)模塊將記錄的操作過(guò)程存儲(chǔ)到本地的文本日志和數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，以供所述kea調(diào)度程序分析并計(jì)時(shí)展現(xiàn)給運(yùn)營(yíng)管理員，那么運(yùn)營(yíng)管理員即可查看數(shù)據(jù)同步過(guò)程，以達(dá)到數(shù)據(jù)同步監(jiān)控的作用。本實(shí)施例中，所述同步過(guò)程主要包括執(zhí)行程序、執(zhí)行參數(shù)、執(zhí)行時(shí)間以及執(zhí)行結(jié)果等指標(biāo)。

進(jìn)一步地，還可在接收到運(yùn)營(yíng)管理員輸入的數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程的查看指令時(shí)，先在顯示界面中顯示所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中記錄的數(shù)據(jù)同步過(guò)程；

若檢測(cè)到所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中的數(shù)據(jù)顯示出現(xiàn)異常，則調(diào)用所述本地的文本日志，以顯示數(shù)據(jù)同步操作對(duì)應(yīng)的同步過(guò)程。

即，由于所述存儲(chǔ)模塊將記錄的同步過(guò)程存儲(chǔ)到本地的文本日志和數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，因此，數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志存儲(chǔ)的就是所有數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)同步操作的同步過(guò)程，而數(shù)據(jù)處理服務(wù)器本地的文本日志存儲(chǔ)當(dāng)前數(shù)據(jù)處理服務(wù)器對(duì)應(yīng)的數(shù)據(jù)同步操作的同步過(guò)程。那么，在查看數(shù)據(jù)同步過(guò)程時(shí)，可優(yōu)選先在數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中查看，在數(shù)據(jù)庫(kù)日志異常時(shí)，才調(diào)用本地的文本日志進(jìn)行數(shù)據(jù)同步過(guò)程的查看，而不用兩個(gè)日志都進(jìn)行顯示，提高了數(shù)據(jù)同步監(jiān)控的靈活性。

為更好理解，舉例詳述之：例如，當(dāng)前有數(shù)據(jù)處理服務(wù)器a和數(shù)據(jù)處理服務(wù)器b都在進(jìn)行數(shù)據(jù)同步，那么數(shù)據(jù)處理服務(wù)器a和數(shù)據(jù)處理服務(wù)器b都會(huì)數(shù)據(jù)同步操作的同步過(guò)程記錄到數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志中，但是數(shù)據(jù)處理服務(wù)器a和數(shù)據(jù)處理服務(wù)器b都只會(huì)將自己的數(shù)據(jù)同步操作的同步過(guò)程自己的本地的文本日志中，即數(shù)據(jù)處理服務(wù)器a存儲(chǔ)到本地的文本日志a中，數(shù)據(jù)處理服務(wù)器b存儲(chǔ)到本地的文本日志b中。后續(xù)，可以在數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)日志可以查看各個(gè)數(shù)據(jù)處理服務(wù)器的數(shù)據(jù)同步過(guò)程，若是數(shù)據(jù)庫(kù)日志異常，則數(shù)據(jù)處理服務(wù)器a調(diào)用文本日志a進(jìn)行數(shù)據(jù)同步過(guò)程的查看，數(shù)據(jù)處理服務(wù)器b調(diào)用文本日志b進(jìn)行數(shù)據(jù)同步過(guò)程的查看。

本實(shí)施例提出的數(shù)據(jù)同步裝置，應(yīng)用于數(shù)據(jù)處理服務(wù)器，所述數(shù)據(jù)處理服務(wù)器在接收到數(shù)據(jù)同步指令時(shí)，先確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器，然后在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，最終根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。實(shí)現(xiàn)了同步數(shù)據(jù)時(shí)，即使要擴(kuò)展新的數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的同步，也不需要在各個(gè)數(shù)據(jù)處理服務(wù)器中添加數(shù)據(jù)同步規(guī)則，只要將數(shù)據(jù)同步規(guī)則添加到網(wǎng)絡(luò)存儲(chǔ)器中即可，后續(xù)各個(gè)數(shù)據(jù)處理服務(wù)器只要從網(wǎng)絡(luò)存儲(chǔ)器中獲取數(shù)據(jù)同步規(guī)則就可以對(duì)數(shù)據(jù)處理服務(wù)器中的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的同步，對(duì)數(shù)據(jù)的同步非常便捷，由于縮短了添加數(shù)據(jù)同步規(guī)則的時(shí)間，從而提高了數(shù)據(jù)同步的整體效率。

進(jìn)一步地，參照?qǐng)D9，基于第一實(shí)施例提出本發(fā)明數(shù)據(jù)同步裝置100的第二實(shí)施例，在本實(shí)施例中，所述確定模塊10，還用于若檢測(cè)到相對(duì)于所述數(shù)據(jù)處理服務(wù)器的其它數(shù)據(jù)處理服務(wù)器在數(shù)據(jù)同步過(guò)程中出現(xiàn)數(shù)據(jù)同步中斷，則確定數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)；

所述處理模塊30，還用于對(duì)數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作；

所述數(shù)據(jù)同步裝置還包括：

更新模塊40，用于若檢測(cè)到有部分?jǐn)?shù)據(jù)已經(jīng)被所述其它數(shù)據(jù)處理服務(wù)器同步，則用重新同步的數(shù)據(jù)更新已同步的數(shù)據(jù)。

在本實(shí)施例中，若檢測(cè)到相對(duì)于所述數(shù)據(jù)處理服務(wù)器的其它數(shù)據(jù)處理服務(wù)器在數(shù)據(jù)同步過(guò)程中出現(xiàn)數(shù)據(jù)同步中斷，則所述確定模塊10確定數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)，例如其它數(shù)據(jù)處理服務(wù)器在對(duì)第三數(shù)據(jù)庫(kù)和第四數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)同步，并且出現(xiàn)同步中斷，此時(shí)，所述處理模塊30對(duì)數(shù)據(jù)同步中斷的兩個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作，即對(duì)第三數(shù)據(jù)庫(kù)和第四數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作，此時(shí)的數(shù)據(jù)同步操作與上述內(nèi)容一致，此處不再進(jìn)行贅述。

當(dāng)所述數(shù)據(jù)處理服務(wù)器對(duì)數(shù)據(jù)同步中斷的各個(gè)數(shù)據(jù)庫(kù)重新執(zhí)行數(shù)據(jù)同步操作時(shí)，若在執(zhí)行數(shù)據(jù)同步操作過(guò)程中，檢測(cè)到有部分?jǐn)?shù)據(jù)已經(jīng)被其它數(shù)據(jù)處理服務(wù)器同步過(guò)了，此時(shí)，為了保證數(shù)據(jù)同步的準(zhǔn)確性，更新模塊40會(huì)完成整個(gè)數(shù)據(jù)同步過(guò)程，并用重新同步的數(shù)據(jù)更新已同步的數(shù)據(jù)，即更新掉其它數(shù)據(jù)處理服務(wù)器已經(jīng)同步過(guò)的數(shù)據(jù)，保證了數(shù)據(jù)同步的準(zhǔn)確性。

本發(fā)明進(jìn)一步提供一種數(shù)據(jù)同步系統(tǒng)，所述數(shù)據(jù)同步系統(tǒng)包括：數(shù)據(jù)處理服務(wù)器、網(wǎng)絡(luò)存儲(chǔ)器和數(shù)據(jù)庫(kù)服務(wù)器，所述數(shù)據(jù)處理服務(wù)器如上文所述的數(shù)據(jù)同步裝置。

本實(shí)施例提出的數(shù)據(jù)同步系統(tǒng)，所述數(shù)據(jù)處理服務(wù)器在接收到數(shù)據(jù)同步指令時(shí)，先確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的網(wǎng)絡(luò)存儲(chǔ)器，然后在確定的所述網(wǎng)絡(luò)存儲(chǔ)器中獲取預(yù)設(shè)的數(shù)據(jù)同步規(guī)則，最終根據(jù)獲取的所述數(shù)據(jù)同步規(guī)則，確定所述數(shù)據(jù)處理服務(wù)器關(guān)聯(lián)的數(shù)據(jù)庫(kù)服務(wù)器中待進(jìn)行數(shù)據(jù)同步的數(shù)據(jù)庫(kù)，并根據(jù)確定的數(shù)據(jù)庫(kù)執(zhí)行數(shù)據(jù)同步操作。實(shí)現(xiàn)了同步數(shù)據(jù)時(shí)，即使要擴(kuò)展新的數(shù)據(jù)處理服務(wù)器進(jìn)行數(shù)據(jù)的同步，也不需要在各個(gè)數(shù)據(jù)處理服務(wù)器中添加數(shù)據(jù)同步規(guī)則，只要將數(shù)據(jù)同步規(guī)則添加到網(wǎng)絡(luò)存儲(chǔ)器中即可，后續(xù)各個(gè)數(shù)據(jù)處理服務(wù)器只要從網(wǎng)絡(luò)存儲(chǔ)器中獲取數(shù)據(jù)同步規(guī)則就可以對(duì)數(shù)據(jù)處理服務(wù)器中的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的同步，對(duì)數(shù)據(jù)的同步非常便捷，由于縮短了添加數(shù)據(jù)同步規(guī)則的時(shí)間，從而提高了數(shù)據(jù)同步的整體效率。

需要說(shuō)明的是，在本文中，術(shù)語(yǔ)“包括”、“包含”或者其任何其它變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者裝置不僅包括那些要素，而且還包括沒(méi)有明確列出的其它要素，或者是還包括為這種過(guò)程、方法、物品或者裝置所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括該要素的過(guò)程、方法、物品或者裝置中還存在另外的相同要素。

上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)(如rom/ram、磁碟、光盤)中，包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，服務(wù)器，空調(diào)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。

以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說(shuō)明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其它相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。