本發(fā)明屬于數(shù)據(jù)管理領(lǐng)域，尤其涉及一種數(shù)據(jù)分發(fā)管理方法、裝置及系統(tǒng)。

背景技術(shù)：

傳統(tǒng)數(shù)據(jù)抽取etl工具，如sqoop、kettle，在進(jìn)行數(shù)據(jù)轉(zhuǎn)移時，如果要將一份源數(shù)據(jù)寫入多個目標(biāo)數(shù)據(jù)倉庫，一次只能寫入一個數(shù)據(jù)倉庫，完成后再依次寫入其他數(shù)據(jù)倉庫，如果寫入過程中某個目標(biāo)數(shù)據(jù)倉庫寫入失敗，無法對其他寫入成功的目標(biāo)數(shù)據(jù)倉庫進(jìn)行回滾操作，導(dǎo)致多個目標(biāo)數(shù)據(jù)倉庫出現(xiàn)數(shù)據(jù)不一致的情況。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種數(shù)據(jù)分發(fā)管理方法、裝置及系統(tǒng)，以解決上述問題。

本發(fā)明實(shí)施例提供一種數(shù)據(jù)分發(fā)管理方法。上述方法包括以下步驟：獲取源數(shù)據(jù)并在會話周期內(nèi)將所述源數(shù)據(jù)發(fā)送至對應(yīng)的目標(biāo)數(shù)據(jù)倉庫。

本發(fā)明實(shí)施例提供一種數(shù)據(jù)分發(fā)管理平臺，其特征在于，包括獲取模塊、關(guān)系關(guān)聯(lián)模塊、控制模塊；其中，所述獲取模塊通過所述關(guān)系關(guān)聯(lián)模塊與所述控制模塊相連；

所述獲取模塊，用戶獲取源數(shù)據(jù)；

所述關(guān)系關(guān)聯(lián)模塊，用于將所述源數(shù)據(jù)與目標(biāo)數(shù)據(jù)倉庫相關(guān)聯(lián)；

所述控制模塊，用于在會話周期內(nèi)將所述源數(shù)據(jù)發(fā)送至與所述源數(shù)據(jù)關(guān)聯(lián)的目標(biāo)數(shù)據(jù)倉庫。

本發(fā)明實(shí)施例還提供一種數(shù)據(jù)分發(fā)管理裝置，包括獲取單元、控制單元；其中，所述獲取單元與所述控制單元相連；

所述獲取單元，用于獲取源數(shù)據(jù)；

所述控制單元，用于在會話周期內(nèi)將所述源數(shù)據(jù)發(fā)送至對應(yīng)的目標(biāo)數(shù)據(jù)倉庫。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)分發(fā)管理系統(tǒng)，包括上述數(shù)據(jù)分發(fā)管理裝置。

相較于先前技術(shù)，根據(jù)本發(fā)明實(shí)施例提供的一種數(shù)據(jù)分發(fā)管理方法、平臺、裝置及系統(tǒng)，采用了會話式的數(shù)據(jù)分發(fā)保證了數(shù)據(jù)到達(dá)多個目標(biāo)數(shù)據(jù)倉庫后的一致性；同時，本發(fā)明實(shí)施例提供的數(shù)據(jù)分發(fā)管理平臺，提供了可視化的操作界面，使用戶可以輕松對接多種數(shù)據(jù)源，縮短開發(fā)周期，大大增強(qiáng)了用戶體驗(yàn)。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成

本技術(shù)：
的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1所示為根據(jù)本發(fā)明實(shí)施例1提供的數(shù)據(jù)分發(fā)管理方法的流程圖；

圖2所示為根據(jù)本發(fā)明實(shí)施例2提供的數(shù)據(jù)分發(fā)管理平臺的示意圖；

圖3所示為根據(jù)本發(fā)明實(shí)施例3提供的數(shù)據(jù)分發(fā)管理平臺的示意圖；

圖4所示為根據(jù)本發(fā)明實(shí)施例4提供的數(shù)據(jù)分發(fā)管理平臺的示意圖；

圖5所示為根據(jù)本發(fā)明實(shí)施例5提供的數(shù)據(jù)分發(fā)管理裝置的示意圖；

圖6所示為根據(jù)本發(fā)明實(shí)施例6提供的數(shù)據(jù)分發(fā)管理裝置的示意圖；

圖7所示為根據(jù)本發(fā)明實(shí)施例7提供的數(shù)據(jù)分發(fā)管理系統(tǒng)的示意圖。

具體實(shí)施方式

下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。

圖1所示為根據(jù)本發(fā)明實(shí)施例提供的數(shù)據(jù)分發(fā)管理方法的流程圖，包括以下步驟：

步驟101：從數(shù)據(jù)源中獲取源數(shù)據(jù)；

步驟102：在會話周期內(nèi)將所述源數(shù)據(jù)發(fā)送至對應(yīng)的目標(biāo)數(shù)據(jù)倉庫。

采用了會話式的數(shù)據(jù)分發(fā)保證了數(shù)據(jù)到達(dá)多個目標(biāo)數(shù)據(jù)倉庫后的一致性。

進(jìn)一步地，所述目標(biāo)數(shù)據(jù)倉庫包括：oracle、mysql、hbase、hdfs。

進(jìn)一步地，在一個會話周期內(nèi)，將所述源數(shù)據(jù)依次發(fā)送或者同時發(fā)送至對應(yīng)的目標(biāo)數(shù)據(jù)倉庫。

進(jìn)一步地，在一個會話周期內(nèi)，通過開源組件將所述源數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)流文件并將所述源數(shù)據(jù)依次發(fā)送或者同時發(fā)送至對應(yīng)的目標(biāo)數(shù)據(jù)倉庫。

例如：開源組件為nifi開源組件。

若該數(shù)據(jù)寫入成功，則提交會話成功，若會話失敗，則對所述源數(shù)據(jù)對應(yīng)的目標(biāo)數(shù)據(jù)倉庫按照所述源數(shù)據(jù)寫入時間先后依次進(jìn)行回滾操作；同時，將所述數(shù)據(jù)流文件放到異常隊(duì)列中，等待重處理。

對于會話失敗的處理，進(jìn)一步保證了數(shù)據(jù)的可靠性。

圖2所示為根據(jù)本發(fā)明實(shí)施例提供的數(shù)據(jù)分發(fā)管理平臺的示意圖，包括獲取模塊201、關(guān)系關(guān)聯(lián)模塊202、控制模塊203；其中，所述獲取模塊201通過所述關(guān)系關(guān)聯(lián)模塊202與所述控制模塊203相連；

所述獲取模塊201，用戶獲取源數(shù)據(jù)；

所述關(guān)系關(guān)聯(lián)模塊202，用于將所述源數(shù)據(jù)與目標(biāo)數(shù)據(jù)倉庫相關(guān)聯(lián)；

所述控制模塊203，用于在會話周期內(nèi)將所述源數(shù)據(jù)發(fā)送至與所述源數(shù)據(jù)關(guān)聯(lián)的目標(biāo)數(shù)據(jù)倉庫。

本發(fā)明實(shí)施例提供的數(shù)據(jù)分發(fā)管理平臺，提供了可視化的操作界面，使用戶可以輕松對接多種數(shù)據(jù)源，縮短開發(fā)周期，大大增強(qiáng)了用戶體驗(yàn)。

圖3所示為根據(jù)本發(fā)明實(shí)施例3提供的數(shù)據(jù)分發(fā)管理平臺的示意圖，在圖2的基礎(chǔ)上，還包括用戶登錄模塊200；其中，所述用戶登錄模塊200與所述獲取模塊201相連；

所述用戶登錄模塊200，用于管理用戶登錄操作，例如：對用戶登錄信息進(jìn)行認(rèn)證。

圖4所示為根據(jù)本發(fā)明實(shí)施例4提供的數(shù)據(jù)分發(fā)管理平臺的示意圖，在圖2的基礎(chǔ)上，還包括異常處理模塊204；其中，所述異常處理模塊204與所述控制模塊203相連；

所述異常處理模塊204，用于接收到所述控制模塊203發(fā)送的會話失敗消息時，將所述源數(shù)據(jù)對應(yīng)的目標(biāo)數(shù)據(jù)倉庫按照所述源數(shù)據(jù)寫入時間先后依次進(jìn)行回滾操作。

圖5所示為根據(jù)本發(fā)明實(shí)施例5提供的數(shù)據(jù)分發(fā)管理裝置的示意圖，包括獲取單元501、控制單元502；其中，所述獲取單元501與所述控制單元502相連；

所述獲取單元501，用于獲取源數(shù)據(jù)；

所述控制單元502，用于在會話周期內(nèi)將所述源數(shù)據(jù)發(fā)送至對應(yīng)的目標(biāo)數(shù)據(jù)倉庫。

圖6所示為根據(jù)本發(fā)明實(shí)施例6提供的數(shù)據(jù)分發(fā)管理裝置的示意圖，在圖5的基礎(chǔ)上，還包括異常處理單元503：所述異常處理單元503與所述控制單元502相連；

所述異常處理單元503，用于接收到所述控制單元發(fā)送的會話失敗消息時，將所述源數(shù)據(jù)對應(yīng)的目標(biāo)數(shù)據(jù)倉庫按照所述源數(shù)據(jù)寫入時間先后依次進(jìn)行回滾操作。

圖7所示為根據(jù)本發(fā)明實(shí)施例7提供的數(shù)據(jù)分發(fā)管理系統(tǒng)的示意圖,包括上述介紹的數(shù)據(jù)分發(fā)管理裝置。

相較于先前技術(shù)，根據(jù)本發(fā)明實(shí)施例提供的一種數(shù)據(jù)分發(fā)管理方法、平臺、裝置及系統(tǒng)，采用了會話式的數(shù)據(jù)分發(fā)保證了數(shù)據(jù)到達(dá)多個目標(biāo)數(shù)據(jù)倉庫后的一致性；同時，本發(fā)明實(shí)施例提供的數(shù)據(jù)分發(fā)管理平臺，提供了可視化的操作界面，使用戶可以輕松對接多種數(shù)據(jù)源，縮短開發(fā)周期，大大增強(qiáng)了用戶體驗(yàn)。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明提供一種數(shù)據(jù)分發(fā)管理方法、平臺、裝置及系統(tǒng)，上述方法包括以下步驟：獲取源數(shù)據(jù)并在會話周期內(nèi)將所述源數(shù)據(jù)發(fā)送至對應(yīng)的目標(biāo)數(shù)據(jù)倉庫，采用了會話式的數(shù)據(jù)分發(fā)保證了數(shù)據(jù)到達(dá)多個目標(biāo)數(shù)據(jù)倉庫后的一致性；本發(fā)明實(shí)施例提供的數(shù)據(jù)分發(fā)管理平臺，提供了可視化的操作界面，使用戶可以輕松對接多種數(shù)據(jù)源，縮短開發(fā)周期，大大增強(qiáng)了用戶體驗(yàn)。

技術(shù)研發(fā)人員：張煒剛;孫運(yùn);趙明超
受保護(hù)的技術(shù)使用者：鄭州云海信息技術(shù)有限公司
技術(shù)研發(fā)日：2017.05.16
技術(shù)公布日：2017.09.26