1.基于zookeeper的流式動態(tài)配置更新架構,其特征在于:包括zookeeper處理平臺、Storm流式處理平臺、配置管理系統(tǒng)和數據庫,所述zookeeper處理平臺部署若干節(jié)點,zookeeper平臺中設有更新事件,當zookeeper處理平臺節(jié)點更新時觸發(fā)更新事件,更新事件能夠向Storm流式處理平臺輸出事件路徑;所述Storm流式處理平臺用于執(zhí)行7*24小時流式處理任務,Storm流式處理平臺中執(zhí)行有若干流式處理子任務,流式處理子任務用于監(jiān)控zookeeper上的指定節(jié)點,并能夠在自己監(jiān)控的節(jié)點更新時獲取數據庫中的配置信息更新流式處理平臺中的任務配置;配置管理系統(tǒng)用于管理配置信息,用于運行和查看任務的配置,并提供同步更新線上流式處理任務功能,當更改配置后配置管理系統(tǒng)更新數據庫中的相應配置,當選擇同步更新線上流式處理任務時,配置管理系統(tǒng)更新zookeeper平臺上的節(jié)點,觸發(fā)更新事件。
2.根據權利要求1所述的基于zookeeper的流式動態(tài)配置更新架構,其特征在于:所述流式處理子任務中包含Zk監(jiān)控單元和配置更新操作單元,所述Zk監(jiān)控單元用于監(jiān)控zookeeper處理平臺中的指定的節(jié)點更新狀態(tài),當zookeeper處理平臺中節(jié)點狀態(tài)有變化時,判斷事件path路徑與監(jiān)控path路徑是否一致,如一致則觸發(fā)配置更新操作單元工作;所述配置更新操作單元用于讀取數據庫中的配置信息并更新當前運行任務配置文件。
3.根據權利要求2所述的基于zookeeper的流式動態(tài)配置更新架構,其特征在于:所述配置更新操作單元讀取數據庫中的配置信息更新當前運行任務配置文件的過程包括:建立數據庫連接,用指定sql語句去查詢配置表,讀取最新配置文件之后,更新改任務的配置準則。
4.根據權利要求1所述的基于zookeeper的流式動態(tài)配置更新架構,其特征在于:配置管理系統(tǒng)提供web界面。
5.基于zookeeper的流式動態(tài)配置更新方法,其特征在于,包括如下步驟:
構建zookeeper處理平臺和流式處理平臺,zookeeper處理平臺具有若干節(jié)點,Storm流式處理平臺中發(fā)布若干流式處理子任務,所述流式處理子任務不間斷運行,流式處理子任務持續(xù)監(jiān)控zookeeper處理平臺上的指定節(jié)點;
當配置更新時,更新后的配置存儲在數據庫中,當無后續(xù)操作時,本步驟終止;當同步更新線上流式處理任務時,更新zookeeper處理平臺中的節(jié)點并觸發(fā)更新事件;
流式處理平臺中的流式處理子任務監(jiān)控到zookeeper處理平臺中節(jié)點更新事件,判斷事件路徑與監(jiān)控路徑一致時觸發(fā)配置更新操作單元工作,配置更新操作單元讀取數據庫并獲取數據庫中最新的配置文件后更新當前運行任務配置文件,流式任務立刻響應最新的配置準則,根據最新配置準則去處理接下來流入的數據。