技術特征：

1.一種基于責任鏈快速構造器的大數(shù)據(jù)流批一體處理架構方法，其特征在于，包括如下步驟：

2.根據(jù)權利要求1所述的一種基于責任鏈快速構造器的大數(shù)據(jù)流批一體處理架構方法，其特征在于，所述步驟2中的輸入的流數(shù)據(jù)是kafka實時流消息數(shù)據(jù)、離線批量數(shù)據(jù)文件。

技術總結
本發(fā)明公開了一種基于責任鏈快速構造器的大數(shù)據(jù)流批一體處理架構方法，首先，架構需要申請讀取數(shù)據(jù)流、文件流，進行執(zhí)行環(huán)境的初始化；第二步，在數(shù)據(jù)變換過程中進行數(shù)據(jù)的映射和key值分組等操作；第三步，執(zhí)行責任鏈，通過在每個工作節(jié)點新建職責鏈對象并對滾動窗口中的批量數(shù)據(jù)進行批量處理；第四步，對經(jīng)過責任鏈的數(shù)據(jù)進行聚合計算，輸出統(tǒng)計數(shù)據(jù)；最后，將轉換過程中的產(chǎn)生的數(shù)據(jù)輸出到sink端輸出到消息隊列系統(tǒng)。本發(fā)明簡化了對象，降低了模塊間的耦合度，增強了對象指派職責的靈活性，可快捷的構建通用的分布式軟件架構，同時，構造了在不同模式下的運行入口，簡化了開發(fā)人員和工程部署人員的工作流程。

技術研發(fā)人員：趙景鋒,劉猛飛,白雨,李朝雄
受保護的技術使用者：電信科學技術第十研究所有限公司
技術研發(fā)日：
技術公布日：2025/1/2