技術(shù)總結(jié)
本發(fā)明公開了一種分布式流數(shù)據(jù)的采集方法，包括：步驟1：Source接收Events或通過特殊機制產(chǎn)生Events，并將Events批量的放到一個或多個Channels；步驟2：Channel接收緩存Source輸出Events，而當有Sink消費掉Channel中的數(shù)據(jù)Channel中的數(shù)據(jù)直到進入到下一個Channel中或者進入終端才會被刪除；步驟3：Sink將events傳輸?shù)较乱惶蜃罱K目的，成功完成后將events從channel移除，Sink會消費Channel中的數(shù)據(jù)，然后送給外部源或者其他Source。本發(fā)明的分布式流數(shù)據(jù)的采集方法，解決了關(guān)系庫和大數(shù)據(jù)平臺的數(shù)據(jù)復(fù)制問題，提高實時性和復(fù)制性能。

技術(shù)研發(fā)人員：裴旭斌;方舟;沈志豪;吳尚遠;王志強;沈瀟軍;王以良;裘煒浩;戚偉強;龔小剛;張秋霞;王冠男;張金帥
受保護的技術(shù)使用者：國網(wǎng)浙江省電力公司;北京國電通網(wǎng)絡(luò)技術(shù)有限公司;國網(wǎng)信息通信產(chǎn)業(yè)集團有限公司
文檔號碼：201610963368
技術(shù)研發(fā)日：2016.11.04
技術(shù)公布日：2017.05.31