欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種分布式流數(shù)據(jù)的采集方法與流程

文檔序號:12464861閱讀:來源:國知局

技術(shù)特征:

1.一種分布式流數(shù)據(jù)的采集方法,其特征在于,包括:

步驟1:Source接收Events或通過特殊機(jī)制產(chǎn)生Events,并將Events批量的放到一個或多個Channels;

步驟2:Channel接收緩存Source輸出Events,而當(dāng)有Sink消費(fèi)掉Channel中的數(shù)據(jù)Channel中的數(shù)據(jù)直到進(jìn)入到下一個Channel中或者進(jìn)入終端才會被刪除;

步驟3:Sink將events傳輸?shù)较乱惶蜃罱K目的,成功完成后將events從channel移除,Sink會消費(fèi)Channel中的數(shù)據(jù),然后送給外部源或者其他Source。

2.根據(jù)權(quán)利要求1所述的分布式流數(shù)據(jù)的采集方法,其特征在于,所述Source的類型包括:

a)系統(tǒng)集成的Sources:Syslog(系統(tǒng)日志),Netcat;

b)自動生成事件的Sources:Exec,SEQ;

c)用于Agent和Agent之間通信的IPCSources:Avro,Thrift。

3.根據(jù)權(quán)利要求1所述的分布式流數(shù)據(jù)的采集方法,其特征在于,所述Source還可以用來接收外部源發(fā)送過來的數(shù)據(jù),不同的Source,可以接受不同的數(shù)據(jù)格式。

4.根據(jù)權(quán)利要求1所述的分布式流數(shù)據(jù)的采集方法,其特征在于,每個Source至少和一個Channel關(guān)聯(lián),以將接收的數(shù)據(jù)進(jìn)行緩存。

5.根據(jù)權(quán)利要求1所述的分布式流數(shù)據(jù)的采集方法,其特征在于,Channel是一個存儲池,介于Source和Sink之間,主要用來接收緩存Source輸出Events,而當(dāng)有Sink消費(fèi)掉Channel中的數(shù)據(jù),Channel中的數(shù)據(jù)直到進(jìn)入到下一個Channel中或者進(jìn)入終端才會被刪除;當(dāng)Sink寫入失敗后,可以自動重啟。

6.根據(jù)權(quán)利要求1所述的分布式流數(shù)據(jù)的采集方法,其特征在于,F(xiàn)lume允許多個Agent連在一起,形成前后相連的多級跳。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
剑河县| 萝北县| 格尔木市| 大厂| 松阳县| 正安县| 镇平县| 黄骅市| 兴城市| 林周县| 汝城县| 大邑县| 贡嘎县| 尼木县| 石林| 祁连县| 治多县| 政和县| 出国| 信宜市| 延边| 即墨市| 施秉县| 海盐县| 双桥区| 芜湖县| 靖安县| 闽清县| 通江县| 志丹县| 平利县| 太康县| 巧家县| 静宁县| 怀来县| 阿图什市| 孝昌县| 西吉县| 衡阳市| 海丰县| 华蓥市|