本實(shí)用新型涉及計(jì)算機(jī)數(shù)據(jù)傳輸領(lǐng)域，尤指一種分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)。

背景技術(shù)：

隨著分布式計(jì)算、網(wǎng)格計(jì)算和并行計(jì)算等技術(shù)的發(fā)展，銀行計(jì)算機(jī)系統(tǒng)越來(lái)越朝著分布式集群方向演化，由多臺(tái)不同類型的計(jì)算機(jī)協(xié)作配合，完成對(duì)業(yè)務(wù)的處理。

在銀行系統(tǒng)的計(jì)算機(jī)集群中，數(shù)據(jù)分散在各個(gè)計(jì)算機(jī)上，數(shù)據(jù)的集中采集比較困難，比如日志信息。目前通用的數(shù)據(jù)采集方法是設(shè)立專門的應(yīng)用系統(tǒng)去集中采集數(shù)據(jù)，為避免給計(jì)算機(jī)集群系統(tǒng)帶來(lái)性能壓力，該類數(shù)據(jù)采集系統(tǒng)一般都是定期、批量方式去獲取各計(jì)算機(jī)上的源數(shù)據(jù)，數(shù)據(jù)獲取不及時(shí)；同時(shí)，為了能準(zhǔn)確獲取各類數(shù)據(jù)，還必須人工區(qū)分各類數(shù)據(jù)的來(lái)源路徑、采集頻率等，流程復(fù)雜且容易出錯(cuò)，一旦數(shù)據(jù)出錯(cuò)，又很難發(fā)現(xiàn)錯(cuò)誤源來(lái)自哪個(gè)環(huán)節(jié)。因此，現(xiàn)有的分布式計(jì)算機(jī)集群環(huán)境下的數(shù)據(jù)采集方法存在不及時(shí)、易出錯(cuò)的缺陷，已經(jīng)無(wú)法滿足實(shí)際應(yīng)用需要。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型提出了一種分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)，可以及時(shí)在集群中不同的計(jì)算機(jī)上獲取多種來(lái)源數(shù)據(jù)，大幅縮短數(shù)據(jù)采集的時(shí)間，提高數(shù)據(jù)采集的效率，同時(shí)采用負(fù)載均衡單元和內(nèi)存隊(duì)列等技術(shù)手段，不影響計(jì)算機(jī)集群系統(tǒng)的穩(wěn)定性，在具有通用性的前提下，與業(yè)務(wù)系統(tǒng)隔離，降低了業(yè)務(wù)系統(tǒng)的改造成本。

為達(dá)上述目的，本實(shí)用新型所提供的一種分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)，具體包含：消息轉(zhuǎn)發(fā)模塊、存儲(chǔ)模塊和復(fù)數(shù)個(gè)信息收集模塊；所述復(fù)數(shù)個(gè)消息收集模塊分別設(shè)置于復(fù)數(shù)個(gè)業(yè)務(wù)系統(tǒng)的應(yīng)用服務(wù)器上，用于檢測(cè)所述應(yīng)用服務(wù)器的數(shù)據(jù)狀態(tài)，當(dāng)所述數(shù)據(jù)狀態(tài)發(fā)生變化時(shí)，采集所述應(yīng)用服務(wù)器上的增量數(shù)據(jù)；所述消息轉(zhuǎn)發(fā)模塊與所述復(fù)數(shù)個(gè)消息收集模塊相連，用于收集所述復(fù)數(shù)個(gè)消息收集模塊獲得的增量數(shù)據(jù)，將復(fù)數(shù)個(gè)增量數(shù)據(jù)分別補(bǔ)充處理后合并為更新數(shù)據(jù)；所述存儲(chǔ)模塊與所述消息轉(zhuǎn)發(fā)模塊相連，用于將所述更新數(shù)據(jù)與存儲(chǔ)的歷史數(shù)據(jù)比對(duì)合并后根據(jù)數(shù)據(jù)類型存儲(chǔ)。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述系統(tǒng)還包含數(shù)據(jù)加工模塊，所述數(shù)據(jù)加工模塊與所述存儲(chǔ)模塊相連，用于分析處理所述更新數(shù)據(jù)和歷史數(shù)據(jù)合并后的數(shù)據(jù)。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述數(shù)據(jù)加工模塊包含分析單元、計(jì)算單元和歸檔單元；所述分析單元用于分析獲取所述更新數(shù)據(jù)和歷史數(shù)據(jù)合并后的數(shù)據(jù)的數(shù)據(jù)屬性；所述計(jì)算單元與所述歸檔單元用于根據(jù)所述數(shù)據(jù)屬性將所述更新數(shù)據(jù)和歷史數(shù)據(jù)合并后的數(shù)據(jù)歸檔處理。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述消息轉(zhuǎn)發(fā)模塊還包含補(bǔ)充單元，所述補(bǔ)充單元用于將發(fā)送所述增量數(shù)據(jù)的應(yīng)用服務(wù)器的發(fā)送端信息和發(fā)送時(shí)間補(bǔ)充至所述增量數(shù)據(jù)中。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述消息轉(zhuǎn)發(fā)模塊還包含負(fù)載均衡單元和復(fù)數(shù)臺(tái)內(nèi)存隊(duì)列單元；所述負(fù)載均衡單元分別與所述信息收集模塊和內(nèi)存隊(duì)列單元相連，用于接收所述增量數(shù)據(jù)以及周期檢查復(fù)數(shù)個(gè)內(nèi)存隊(duì)列單元使用狀態(tài)，當(dāng)所述負(fù)載均衡單元接收到所述增量數(shù)據(jù)后，根據(jù)所述內(nèi)存隊(duì)列單元使用狀態(tài)分配至少兩臺(tái)內(nèi)存隊(duì)列單元對(duì)所述增量數(shù)據(jù)進(jìn)行處理；所述內(nèi)存隊(duì)列單元用于將所述增量數(shù)據(jù)轉(zhuǎn)發(fā)至所述存儲(chǔ)模塊。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述負(fù)載均衡單元包含狀態(tài)收集裝置、通信裝置和分配裝置；所述狀態(tài)收集裝置用于獲取當(dāng)前內(nèi)存隊(duì)列單元的使用狀態(tài)；所述通信裝置用于提供所述消息轉(zhuǎn)發(fā)模塊與復(fù)數(shù)個(gè)信息收集模塊的短連接數(shù)據(jù)通道；所述分配狀態(tài)用于根據(jù)內(nèi)存隊(duì)列單元的使用狀態(tài)分配內(nèi)存隊(duì)列。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，狀態(tài)收集裝置包含計(jì)時(shí)器，所述計(jì)時(shí)器用于根據(jù)預(yù)置周期觸發(fā)所述狀態(tài)收集裝置獲取當(dāng)前內(nèi)存隊(duì)列單元的使用狀態(tài)。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述信息收集模塊包含監(jiān)控單元，所述監(jiān)控單元用于監(jiān)控應(yīng)用服務(wù)器的數(shù)據(jù)狀態(tài)，當(dāng)所述數(shù)據(jù)狀態(tài)發(fā)生變化時(shí)輸出觸發(fā)信號(hào)。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述信息收集模塊包含信息采集單元，所述信息采集單元用于根據(jù)所述觸發(fā)信號(hào)采集所述應(yīng)用服務(wù)器上的增量數(shù)據(jù)。

在上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)中，優(yōu)選的，所述增量數(shù)據(jù)包含業(yè)務(wù)類型信息以及交易數(shù)據(jù)。

本實(shí)用新型的有益技術(shù)效果在于：通過(guò)并發(fā)提升了數(shù)據(jù)傳輸?shù)男?；通過(guò)內(nèi)存隊(duì)列為大集群的數(shù)據(jù)傳輸提供了順序性、完整性和可靠性；以“只讀+監(jiān)控”的方式訪問(wèn)數(shù)據(jù)流，無(wú)論業(yè)務(wù)系統(tǒng)如何設(shè)計(jì)，只要有可讀的數(shù)據(jù)流，即可實(shí)現(xiàn)增量的數(shù)據(jù)收集；極大的降低了本系統(tǒng)與各業(yè)務(wù)系統(tǒng)的耦合度。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本實(shí)用新型的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，并不構(gòu)成對(duì)本實(shí)用新型的限定。在附圖中：

圖1為本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)示意圖；

圖2A為本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集方法流程示意圖；

圖2B為本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集方法一實(shí)例流程示意圖；

圖3為本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集方法中增量獲取數(shù)據(jù)流程示意圖；

圖4為本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集方法中消息轉(zhuǎn)發(fā)流程示意圖。

具體實(shí)施方式

為使本實(shí)用新型實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例和附圖，對(duì)本實(shí)用新型做進(jìn)一步詳細(xì)說(shuō)明。在此，本實(shí)用新型的示意性實(shí)施例及其說(shuō)明用于解釋本實(shí)用新型，但并不作為對(duì)本實(shí)用新型的限定。

請(qǐng)參考圖1所示，本實(shí)用新型還提供一種分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)，所述系統(tǒng)包含：消息轉(zhuǎn)發(fā)模塊、存儲(chǔ)模塊和復(fù)數(shù)個(gè)信息收集模塊；所述復(fù)數(shù)個(gè)消息收集模塊分別設(shè)置于復(fù)數(shù)個(gè)業(yè)務(wù)系統(tǒng)的應(yīng)用服務(wù)器上，用于檢測(cè)所述應(yīng)用服務(wù)器的數(shù)據(jù)狀態(tài)，當(dāng)所述數(shù)據(jù)狀態(tài)發(fā)生變化時(shí)，采集所述應(yīng)用服務(wù)器上的增量數(shù)據(jù)；所述消息轉(zhuǎn)發(fā)模塊與所述復(fù)數(shù)個(gè)消息收集模塊相連，用于收集所述復(fù)數(shù)個(gè)消息收集模塊獲得的增量數(shù)據(jù)，將復(fù)數(shù)個(gè)增量數(shù)據(jù)分別補(bǔ)充處理后合并為更新數(shù)據(jù)；所述存儲(chǔ)模塊與所述消息轉(zhuǎn)發(fā)模塊相連，用于將所述更新數(shù)據(jù)與存儲(chǔ)的歷史數(shù)據(jù)比對(duì)合并后根據(jù)數(shù)據(jù)類型存儲(chǔ)。其中，所述增量數(shù)據(jù)包含業(yè)務(wù)類型信息以及交易數(shù)據(jù)。

在上述實(shí)施例中，所述信息收集模塊包含監(jiān)控單元和信息采集單元，所述監(jiān)控單元用于監(jiān)控應(yīng)用服務(wù)器的數(shù)據(jù)狀態(tài)，當(dāng)所述數(shù)據(jù)狀態(tài)發(fā)生變化時(shí)輸出觸發(fā)信號(hào)；所述信息采集單元用于根據(jù)所述觸發(fā)信號(hào)采集所述應(yīng)用服務(wù)器上的增量數(shù)據(jù)。

在上述實(shí)施例中，所述系統(tǒng)還包含數(shù)據(jù)加工模塊，所述數(shù)據(jù)加工模塊與所述存儲(chǔ)模塊相連，用于分析處理所述更新數(shù)據(jù)和歷史數(shù)據(jù)合并后的數(shù)據(jù)。其中，所述數(shù)據(jù)加工模塊可根據(jù)實(shí)際需要選擇添加，其作用在于幫助進(jìn)一步處理存儲(chǔ)的數(shù)據(jù)，便于后期其他業(yè)務(wù)系統(tǒng)使用時(shí)，能夠較快讀取。其中，所述數(shù)據(jù)加工模塊還可包含分析單元、計(jì)算單元和歸檔單元；所述分析單元用于分析獲取所述更新數(shù)據(jù)和歷史數(shù)據(jù)合并后的數(shù)據(jù)的數(shù)據(jù)屬性；所述計(jì)算單元與所述歸檔單元用于根據(jù)所述數(shù)據(jù)屬性將所述更新數(shù)據(jù)和歷史數(shù)據(jù)合并后的數(shù)據(jù)歸檔處理。

在上述實(shí)施例中，所述消息轉(zhuǎn)發(fā)模塊還包含負(fù)載均衡單元和復(fù)數(shù)臺(tái)內(nèi)存隊(duì)列單元；所述負(fù)載均衡單元分別與所述信息收集模塊和內(nèi)存隊(duì)列單元相連，用于接收所述增量數(shù)據(jù)以及周期檢查復(fù)數(shù)個(gè)內(nèi)存隊(duì)列單元使用狀態(tài)，當(dāng)所述負(fù)載均衡單元接收到所述增量數(shù)據(jù)后，根據(jù)所述內(nèi)存隊(duì)列單元使用狀態(tài)分配至少兩臺(tái)內(nèi)存隊(duì)列單元對(duì)所述增量數(shù)據(jù)進(jìn)行處理；所述內(nèi)存隊(duì)列單元用于將所述增量數(shù)據(jù)轉(zhuǎn)發(fā)至所述存儲(chǔ)模塊。

在上述實(shí)施例中，所述負(fù)載均衡單元包含狀態(tài)收集裝置、通信裝置、補(bǔ)充單元和分配裝置；所述狀態(tài)收集裝置用于獲取當(dāng)前內(nèi)存隊(duì)列單元的使用狀態(tài)；所述通信裝置用于提供所述消息轉(zhuǎn)發(fā)模塊與復(fù)數(shù)個(gè)信息收集模塊的短連接數(shù)據(jù)通道；所述分配狀態(tài)用于根據(jù)內(nèi)存隊(duì)列單元的使用狀態(tài)分配內(nèi)存隊(duì)列；所述補(bǔ)充單元用于將發(fā)送所述增量數(shù)據(jù)的應(yīng)用服務(wù)器的發(fā)送端信息和發(fā)送時(shí)間補(bǔ)充至所述增量數(shù)據(jù)中。

其中，所述狀態(tài)收集裝置還可包含計(jì)時(shí)器，所述計(jì)時(shí)器用于根據(jù)預(yù)置周期觸發(fā)所述狀態(tài)收集裝置獲取當(dāng)前內(nèi)存隊(duì)列單元的使用狀態(tài)。

為更清楚的說(shuō)明上述實(shí)施例，以下結(jié)合圖1對(duì)本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)做進(jìn)一步說(shuō)明。

本實(shí)用新型所提供的系統(tǒng)由信息收集模塊101、消息轉(zhuǎn)發(fā)模塊102、存儲(chǔ)模塊103、數(shù)據(jù)加工模塊104構(gòu)成，其中：

信息收集模塊101：部署于多臺(tái)業(yè)務(wù)系統(tǒng)的應(yīng)用服務(wù)器上，用于獲取該服務(wù)器的交易數(shù)據(jù)等；信息收集模塊101從服務(wù)器日志中讀取數(shù)據(jù)信息，并為每一筆日志數(shù)據(jù)補(bǔ)充數(shù)據(jù)源信息，如服務(wù)器信息、業(yè)務(wù)類型信息，再轉(zhuǎn)發(fā)到消息轉(zhuǎn)發(fā)模塊102；該信息收集模塊101通過(guò)監(jiān)控?cái)?shù)據(jù)流的狀態(tài)及數(shù)據(jù)位置，實(shí)現(xiàn)在各應(yīng)用服務(wù)器上對(duì)數(shù)據(jù)的增量獲取，以較小的代價(jià)，獲得新增數(shù)據(jù)，減少了數(shù)據(jù)的判斷量和傳輸量；有利于在大規(guī)模集群中收集數(shù)據(jù)。

消息轉(zhuǎn)發(fā)模塊102：負(fù)責(zé)接收信息收集模塊101發(fā)送來(lái)的消息數(shù)據(jù)，并進(jìn)行轉(zhuǎn)發(fā)；消息轉(zhuǎn)發(fā)模塊102通過(guò)負(fù)載均衡單元與各應(yīng)用服務(wù)器的信息收集模塊101實(shí)現(xiàn)短連接，負(fù)載均衡單元后設(shè)置了多臺(tái)消息隊(duì)列單元，以支持海量的連接請(qǐng)求。各消息隊(duì)列會(huì)將接收到的數(shù)據(jù)信息記錄到內(nèi)存而非磁盤上，以保證快速的讀寫性能。一條消息會(huì)記錄到兩個(gè)不同的隊(duì)列上，以保證消息的可靠性。

存儲(chǔ)模塊103：從消息轉(zhuǎn)發(fā)模塊102獲取增量數(shù)據(jù)，并將增量數(shù)據(jù)保存到外部存儲(chǔ)，保存過(guò)程需進(jìn)行增量數(shù)據(jù)與存量數(shù)據(jù)的合并。

數(shù)據(jù)加工模塊104：負(fù)責(zé)對(duì)采集的數(shù)據(jù)進(jìn)行加工處理，包括分析、計(jì)算及歸檔，以提供給后續(xù)系統(tǒng)使用數(shù)據(jù)。

更進(jìn)一步的，上述消息轉(zhuǎn)發(fā)器102包括負(fù)載均衡單元、內(nèi)存隊(duì)列單元，其中：

負(fù)載均衡單元分別與信息收集裝置101和內(nèi)存隊(duì)列單元連接，定期檢查內(nèi)存隊(duì)列單元中各內(nèi)存隊(duì)列的可用性；當(dāng)負(fù)載均衡單元接收到信息收集裝置101發(fā)送的信息，即從可用的內(nèi)存隊(duì)列中隨機(jī)挑選空閑或負(fù)荷壓力較小的兩臺(tái)，將信息轉(zhuǎn)發(fā)到這兩臺(tái)內(nèi)存隊(duì)列；如此可將信息收集模塊101發(fā)送的信息均勻地分?jǐn)偟蕉嗯_(tái)內(nèi)存隊(duì)列上，可極大提升消息轉(zhuǎn)發(fā)模塊102的吞吐能力。

內(nèi)存隊(duì)列由定制的分布式消息隊(duì)列組成，每個(gè)消息隊(duì)列的實(shí)例從信息數(shù)據(jù)收集裝置101獲得新消息，并轉(zhuǎn)發(fā)到存儲(chǔ)器103。該內(nèi)存隊(duì)列自行維護(hù)一塊內(nèi)存，并將收到的消息保存到內(nèi)存中，以保證讀寫性能。為了防止宕機(jī)引起內(nèi)存中的消息丟失，在寫入消息時(shí)，將消息寫到兩條不同的內(nèi)存隊(duì)列上。

為更清楚的解釋上述分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)的使用方法，以下以圖2A所示的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)的使用流程圖作簡(jiǎn)要說(shuō)明，該數(shù)據(jù)采集系統(tǒng)的使用方法具體包含：復(fù)數(shù)個(gè)消息收集模塊分別檢測(cè)復(fù)數(shù)個(gè)應(yīng)用服務(wù)器的數(shù)據(jù)狀態(tài)，當(dāng)任一所述應(yīng)用服務(wù)器的所述數(shù)據(jù)狀態(tài)發(fā)生變化時(shí)，對(duì)應(yīng)的所述消息收集模塊采集所述應(yīng)用服務(wù)器上的增量數(shù)據(jù)；通過(guò)消息轉(zhuǎn)發(fā)模塊將所述消息收集模塊發(fā)送的復(fù)數(shù)個(gè)增量數(shù)據(jù)分別補(bǔ)充處理后合并為更新數(shù)據(jù)；存儲(chǔ)模塊將所述更新數(shù)據(jù)與存儲(chǔ)的歷史數(shù)據(jù)比對(duì)合并后根據(jù)數(shù)據(jù)類型存儲(chǔ)。

在上述實(shí)施例中，所述數(shù)據(jù)狀態(tài)發(fā)生變化時(shí)，對(duì)應(yīng)的所述消息收集模塊采集所述應(yīng)用服務(wù)器上的增量數(shù)據(jù)包含：所述信息收集模塊初始化后獲取交易數(shù)據(jù)的數(shù)據(jù)來(lái)源；根據(jù)所述數(shù)據(jù)來(lái)源以數(shù)據(jù)流的方式訪問(wèn)數(shù)據(jù)源并記錄數(shù)據(jù)流狀態(tài)及讀取位置；監(jiān)控所述數(shù)據(jù)流狀態(tài)，當(dāng)所述數(shù)據(jù)發(fā)生變化時(shí)獲得所述增量數(shù)據(jù)。

其中將復(fù)數(shù)個(gè)增量數(shù)據(jù)分別補(bǔ)充處理后合并為更新數(shù)據(jù)包含：將補(bǔ)充處理后且為同一消息收集模塊發(fā)送的多條增量數(shù)據(jù)按時(shí)間先后順序合并一條更新數(shù)據(jù)和/或?qū)⒀a(bǔ)充處理后且為復(fù)數(shù)個(gè)消息收集模塊發(fā)送的多條增量數(shù)據(jù)按時(shí)間先后順序合并一條更新數(shù)據(jù)；例如，根據(jù)時(shí)間順序先后，將多個(gè)增量數(shù)據(jù)整合為一條數(shù)據(jù)，以此降低發(fā)送數(shù)據(jù)量，或者根據(jù)應(yīng)用服務(wù)器的標(biāo)識(shí)信息，將各應(yīng)用服務(wù)器發(fā)送的增量數(shù)據(jù)分別整合，使其發(fā)送的多條增量數(shù)據(jù)歸為一條，以此后期補(bǔ)充標(biāo)注時(shí)，僅需補(bǔ)充增量數(shù)據(jù)的發(fā)送時(shí)間即可；其中，上述增量數(shù)據(jù)包含業(yè)務(wù)類型信息以及交易數(shù)據(jù)。

為更便于理解上述實(shí)施例，請(qǐng)參考圖2B所示，將本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集方法運(yùn)用到實(shí)際工作中，具體可如下操作：

步驟201：部署在應(yīng)用服務(wù)器上的信息收集模塊檢測(cè)服務(wù)器的數(shù)據(jù)變動(dòng)狀態(tài)，每當(dāng)有變動(dòng)事件，即觸發(fā)數(shù)據(jù)采集過(guò)程；

步驟202：信息收集模塊獲取變化的增量數(shù)據(jù)，并以數(shù)據(jù)流的方式，將增量數(shù)據(jù)發(fā)送到消息轉(zhuǎn)發(fā)模塊。

步驟203：消息轉(zhuǎn)發(fā)模塊收集來(lái)自各個(gè)應(yīng)用服務(wù)器信息收集模塊發(fā)送的增量數(shù)據(jù)，并將這些數(shù)據(jù)按時(shí)間順序合并到一條數(shù)據(jù)流中。

步驟204：在消息轉(zhuǎn)發(fā)模塊中，需要對(duì)收集的數(shù)據(jù)做處理，主要是為各條數(shù)據(jù)補(bǔ)充來(lái)源信息，標(biāo)注數(shù)據(jù)的來(lái)源、時(shí)間、類型等。

步驟205：存儲(chǔ)模塊從消息轉(zhuǎn)發(fā)模塊中讀出一條消息，以消息來(lái)源、時(shí)間為主鍵，將消息記入數(shù)據(jù)庫(kù)，做持久化。

步驟206：數(shù)據(jù)加工模塊根據(jù)業(yè)務(wù)需要，以異步方式，對(duì)數(shù)據(jù)做分析和計(jì)算。

在本實(shí)用新型一優(yōu)選的實(shí)施例中，所述通過(guò)消息轉(zhuǎn)發(fā)模塊將所述消息收集模塊發(fā)送的復(fù)數(shù)個(gè)增量數(shù)據(jù)分別補(bǔ)充處理后合并為更新數(shù)據(jù)包含：所述消息轉(zhuǎn)發(fā)模塊獲取所述增量數(shù)據(jù)的日志；根據(jù)所述增量數(shù)據(jù)，對(duì)所述日志中每行記錄補(bǔ)充發(fā)送所述增量數(shù)據(jù)的應(yīng)用服務(wù)器的發(fā)送端信息和發(fā)送時(shí)間；其后，將補(bǔ)充處理后的所述記錄按時(shí)間順序合并為更新數(shù)據(jù)；查詢當(dāng)前所有內(nèi)存隊(duì)列的使用狀態(tài)，根據(jù)所述內(nèi)存隊(duì)列使用狀態(tài)分配至少兩個(gè)內(nèi)存隊(duì)列發(fā)送所述更新數(shù)據(jù)；所述兩個(gè)內(nèi)存隊(duì)列包含第一內(nèi)存隊(duì)列和第二內(nèi)存隊(duì)列；以時(shí)間先后順序?qū)⑺龈聰?shù)據(jù)中所有記錄依次寫入所述第一內(nèi)存隊(duì)列，當(dāng)寫入第一內(nèi)存隊(duì)列成功時(shí)，將寫入成功的記錄寫入第二內(nèi)存隊(duì)列中，當(dāng)寫入第二內(nèi)存隊(duì)列成功后轉(zhuǎn)存至存儲(chǔ)模塊；其中，當(dāng)所述更新數(shù)據(jù)中的記錄寫入第一內(nèi)存隊(duì)列失敗時(shí)或?qū)懭氲诙?nèi)存隊(duì)列失敗時(shí)，將寫入失敗的記錄重新寫入所述第一內(nèi)存隊(duì)列。

在上述實(shí)施例中，所述增量數(shù)據(jù)的獲取流程可如圖3所示，具體步驟如下：

步驟301：信息收集模塊啟動(dòng)后，需做初始化，以清除非必要的數(shù)據(jù)殘留，其后明確需監(jiān)控的數(shù)據(jù)來(lái)源。

步驟302：信息收集模塊搜索每一個(gè)目標(biāo)數(shù)據(jù)來(lái)源，以數(shù)據(jù)流的方式訪問(wèn)每一個(gè)數(shù)據(jù)源，并記錄數(shù)據(jù)流狀態(tài)及讀取位置。

步驟303：信息收集模塊不斷監(jiān)控?cái)?shù)據(jù)流的狀態(tài)和數(shù)據(jù)的狀態(tài)：如果目標(biāo)服務(wù)器的操作系統(tǒng)支持，可以監(jiān)控?cái)?shù)據(jù)變動(dòng)事件；否則以輪詢方式查詢是否有數(shù)據(jù)變化。

步驟304：如果數(shù)據(jù)發(fā)生變化，意味著同一條數(shù)據(jù)流中有新數(shù)據(jù)寫入，需獲取增量數(shù)據(jù)，則返回步驟302重新記錄數(shù)據(jù)流狀態(tài)和讀取位置進(jìn)行監(jiān)控。

步驟305：如果數(shù)據(jù)流發(fā)生了變化，意味著舊數(shù)據(jù)流被關(guān)閉，并生成了新的數(shù)據(jù)流；則將監(jiān)控轉(zhuǎn)移到新的數(shù)據(jù)流上，重新獲取并記錄數(shù)據(jù)流狀態(tài)及數(shù)據(jù)位置，并返回步驟302。

在上述實(shí)施例中，所述消息轉(zhuǎn)發(fā)模塊的工作流程可如圖4所示，具體步驟如下：

步驟403：消息轉(zhuǎn)發(fā)模塊從消息源中按行獲取增量的日志，每行日志為一條記錄。

步驟404：消息轉(zhuǎn)發(fā)模塊為每條記錄補(bǔ)充發(fā)送端的信息，主要是發(fā)送機(jī)器的MAC及發(fā)送時(shí)間。

步驟405：消息轉(zhuǎn)發(fā)模塊通過(guò)負(fù)載均衡單元，獲得至少兩條可用的內(nèi)存隊(duì)列。

步驟406：消息轉(zhuǎn)發(fā)模塊嘗試將記錄寫入內(nèi)存隊(duì)列1，如失敗，則本條記錄發(fā)送失?。蝗绯晒?，則繼續(xù)嘗試將消息寫入內(nèi)存隊(duì)列2。

步驟407：消息轉(zhuǎn)發(fā)模塊嘗試將記錄寫入內(nèi)存隊(duì)列2，如失敗，則本條記錄發(fā)送失??；如成功，則認(rèn)為該記錄記入隊(duì)列。

步驟408：消息在記入內(nèi)存隊(duì)列時(shí)失敗，稍候?qū)L試?yán)^續(xù)發(fā)送該消息。

步驟409：消息成功記入內(nèi)存隊(duì)列，等待轉(zhuǎn)存到存儲(chǔ)模塊。

其中，內(nèi)存隊(duì)列數(shù)量可根據(jù)實(shí)際需要預(yù)置不同數(shù)量，工作流程依然如上操作，日志中每一條記錄依次流經(jīng)第一內(nèi)存隊(duì)列、第二內(nèi)存隊(duì)列等，最后再轉(zhuǎn)存至存儲(chǔ)模塊。

本實(shí)用新型所提供的分布式計(jì)算機(jī)集群下的數(shù)據(jù)采集系統(tǒng)與現(xiàn)有的傳輸方式相比，其優(yōu)點(diǎn)主要從以下幾個(gè)方面：

1)提高數(shù)據(jù)傳輸效率。大規(guī)模的計(jì)算機(jī)集群往往擁有各種不同類型的服務(wù)器、網(wǎng)絡(luò)、操作系統(tǒng)及應(yīng)用系統(tǒng)，由于通信協(xié)議、數(shù)據(jù)格式、應(yīng)用版本不統(tǒng)一，傳統(tǒng)方法只能按業(yè)務(wù)將大集群劃分為組，在組內(nèi)實(shí)現(xiàn)數(shù)據(jù)收集和分析。本實(shí)用新型提供了一種在大型計(jì)算機(jī)集群中并發(fā)傳輸數(shù)據(jù)的方法，通過(guò)并發(fā)提升了數(shù)據(jù)傳輸?shù)男省?/p>

2)保證了信息的順序性和完整性。在大規(guī)模集群中傳輸數(shù)據(jù)，數(shù)據(jù)的順序和完整非常重要，數(shù)據(jù)錯(cuò)序、遺漏或重復(fù)會(huì)得到錯(cuò)誤的分析結(jié)果。傳統(tǒng)方法難以避免人為誤差、系統(tǒng)誤差帶來(lái)的錯(cuò)序、遺漏或重復(fù)。本方法通過(guò)內(nèi)存隊(duì)列為大集群的數(shù)據(jù)傳輸提供了順序性、完整性和可靠性。

實(shí)現(xiàn)了與各應(yīng)用系統(tǒng)的無(wú)縫結(jié)合。傳統(tǒng)方法需要關(guān)閉數(shù)據(jù)流才能獲取增量數(shù)據(jù)，否則就需將數(shù)據(jù)流中的全部信息讀出再過(guò)濾；導(dǎo)致需停止應(yīng)用服務(wù)器上的業(yè)務(wù)系統(tǒng)方可獲取數(shù)據(jù)，或業(yè)務(wù)系統(tǒng)與收集系統(tǒng)有緊耦合的設(shè)計(jì)，不利于運(yùn)維、部署和升級(jí)。本實(shí)用新型的一個(gè)重大特點(diǎn)是以“只讀+監(jiān)控”的方式訪問(wèn)數(shù)據(jù)流，無(wú)論業(yè)務(wù)系統(tǒng)如何設(shè)計(jì)，只要有可讀的數(shù)據(jù)流，即可實(shí)現(xiàn)增量的數(shù)據(jù)收集；極大的降低了本系統(tǒng)與各業(yè)務(wù)系統(tǒng)的耦合度。

以上所述的具體實(shí)施例，對(duì)本實(shí)用新型的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本實(shí)用新型的具體實(shí)施例而已，并不用于限定本實(shí)用新型的保護(hù)范圍，凡在本實(shí)用新型的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本實(shí)用新型的保護(hù)范圍之內(nèi)。