一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法與裝置的制造方法
【專利摘要】本發(fā)明提供了一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法與裝置，此存儲裝置包括：事件分類器、指標(biāo)計算器、指標(biāo)內(nèi)存數(shù)據(jù)庫、事件分片與存儲模塊、監(jiān)控平臺、指標(biāo)歷史數(shù)據(jù)庫、分布文件系統(tǒng)，此方法步驟包括：事件初篩：將收集的數(shù)據(jù)信息進(jìn)行初步篩選；事件分類：利用事件分類器根據(jù)事件的內(nèi)容進(jìn)行初步的探查，根據(jù)事件的類別進(jìn)行劃分；指標(biāo)計算：分類后的事件通過指標(biāo)計算器根據(jù)一系列指標(biāo)進(jìn)行計算；事件劃分：計算后的事件按事件類型及ID進(jìn)行Hash劃分，便于后續(xù)存儲；事件存儲：將劃分好的事件保存到分布式文件系統(tǒng)。本發(fā)明實現(xiàn)了對事件的實時監(jiān)控，及時處理事件日志數(shù)據(jù)，防止數(shù)據(jù)丟失。
【專利說明】
一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法與裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種數(shù)據(jù)存儲技術(shù)，尤其涉及一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法與裝置?！颈尘凹夹g(shù)】
[0002]隨著各類企業(yè)信息系統(tǒng)的建設(shè)和完善，非結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)快速發(fā)展。一旦企業(yè)各業(yè)務(wù)系統(tǒng)出現(xiàn)安全事件、發(fā)生故障或形成性能瓶頸，不能被及時發(fā)現(xiàn)、及時處理、及時恢復(fù)，勢必會直接影響承載在其上所有業(yè)務(wù)的運行，影響企業(yè)的正常運營秩序，企業(yè)業(yè)務(wù)不能正常開展。因此，對于政府和企業(yè)IT基礎(chǔ)實施的安全保障就顯得格外重要。
[0003]隨著信息化程度地不斷提高，各業(yè)務(wù)系統(tǒng)間聯(lián)系越來越密切，數(shù)據(jù)交換越來越頻繁，各系統(tǒng)有著復(fù)雜網(wǎng)絡(luò)或邏輯連接，存在大量數(shù)據(jù)交換，如果一個故障就可以引發(fā)成為企業(yè)全網(wǎng)故障，一點系統(tǒng)出現(xiàn)漏洞感染病毒或受到攻擊，將迅速波及其它業(yè)務(wù)系統(tǒng)及網(wǎng)絡(luò)，甚至導(dǎo)致企業(yè)全網(wǎng)癱瘓。
[0004]企業(yè)IT系統(tǒng)產(chǎn)生了豐富的日志數(shù)據(jù)，隨著存儲設(shè)備成本的降低，沒有理由丟棄這些數(shù)據(jù)，然而，缺乏相應(yīng)的分析工具來存儲和關(guān)聯(lián)這些異構(gòu)的日志數(shù)據(jù)，使得進(jìn)行大數(shù)據(jù)分析更為艱難，而且對于事件信息的實時監(jiān)控也是非常重要的，直接影響著數(shù)據(jù)是否能及時處理。
【發(fā)明內(nèi)容】

[0005]針對上述問題，本發(fā)明提出了一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法與裝置，實現(xiàn)事件的實時持續(xù)監(jiān)控，防止數(shù)據(jù)丟失。
[0006]本發(fā)明提出了一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法，包括:a.事件初篩:將收集的數(shù)據(jù)信息進(jìn)行初步篩選，將信息數(shù)據(jù)根據(jù)字段條件進(jìn)行篩選過濾，提取重要屬性；b.事件分類:利用事件分類器根據(jù)事件的內(nèi)容進(jìn)行初步的探查，根據(jù)事件的類別進(jìn)行劃分，基于關(guān)鍵字或主題模型對事件信息進(jìn)行分類；c.指標(biāo)計算:分類后的事件通過指標(biāo)計算器根據(jù)一系列指標(biāo)進(jìn)行計算；d.事件劃分:計算后的事件按事件類型及ID進(jìn)行Hash劃分，便于后續(xù)存儲；e.事件存儲:將劃分好的事件保存到分布式文件系統(tǒng)。
[0007]進(jìn)一步，所述指標(biāo)計算是指把各個指標(biāo)的計算過程合并為一個處理流程，一旦事件流過這個流程，各個指標(biāo)可以適時計算出來，然后提交給一個內(nèi)存數(shù)據(jù)庫緩存，便于進(jìn)行事件數(shù)據(jù)展示。
[0008]進(jìn)一步，所述指標(biāo)計算轉(zhuǎn)化成一個查詢計劃樹，所述查詢計劃樹的操作步驟包括掃描、過濾、投影、分組、聚集，便于后續(xù)檢索查詢事件。[00〇9]進(jìn)一步，所述指標(biāo)計算在內(nèi)存中都維護(hù)一個Hash表，當(dāng)指標(biāo)的計算完成，事件已經(jīng)從上一分鐘結(jié)束，到達(dá)下一分鐘，完成的統(tǒng)計指標(biāo)交給指標(biāo)內(nèi)存數(shù)據(jù)庫，同時通知監(jiān)控平臺更新儀表板，便于對事件進(jìn)行實時監(jiān)控。
[0010]進(jìn)一步，所述內(nèi)存數(shù)據(jù)庫保存最近的指標(biāo)，歷史指標(biāo)不斷轉(zhuǎn)存到指標(biāo)歷史數(shù)據(jù)庫， 防止事件數(shù)據(jù)丟失。[〇〇11]本發(fā)明還提供一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控裝置，包括:事件分類器、指標(biāo)計算器、指標(biāo)內(nèi)存數(shù)據(jù)庫、事件分片與存儲模塊、監(jiān)控平臺、指標(biāo)歷史數(shù)據(jù)庫、分布文件系統(tǒng)，所述事件分類器與指標(biāo)計算器相連通，指標(biāo)計算器連通指標(biāo)內(nèi)存數(shù)據(jù)庫，指標(biāo)內(nèi)存數(shù)據(jù)庫與監(jiān)控平臺連通，指標(biāo)內(nèi)存數(shù)據(jù)庫一個端口與指標(biāo)歷史數(shù)據(jù)庫連接，指標(biāo)內(nèi)存數(shù)據(jù)庫的下端設(shè)有事件分片與存儲模塊，事件分布與存儲模塊與分布式文件系統(tǒng)連接。
[0012]進(jìn)一步，所述指標(biāo)計算器安裝在單獨的事件處理服務(wù)器中，便于各個指標(biāo)的計算。
[0013]進(jìn)一步，所述指標(biāo)計算器是指把各個指標(biāo)的計算過程合并為一個處理流程，一旦事件流過這個流程，各個指標(biāo)可以適時計算出來，然后提交給指標(biāo)內(nèi)存數(shù)據(jù)庫緩存，將事件數(shù)據(jù)進(jìn)行指標(biāo)計算處理，便于事件的分類處理。
[0014]進(jìn)一步，所述指標(biāo)計算器計算完成后，完成的統(tǒng)計指標(biāo)交給指標(biāo)內(nèi)存數(shù)據(jù)庫，同時監(jiān)控平臺上更新儀表板。
[0015]本發(fā)明的有益效果為:一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法與裝置，將帶有時間、地理位置、來源、事件描述等不同來源的事件信息進(jìn)行持續(xù)監(jiān)控，實時了解事件發(fā)展態(tài)勢，及時處理事件日志，防止數(shù)據(jù)丟失，提高了事件數(shù)據(jù)分析的效率和準(zhǔn)確性。【附圖說明】
[0016]圖1為本發(fā)明一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法流程圖；圖2為本發(fā)明一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控裝置示意圖；圖3為本發(fā)明所述查詢計劃樹的示意圖。【具體實施方式】
[0017]結(jié)合圖1所示，一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法，包括:a.事件初篩:將收集的數(shù)據(jù)信息進(jìn)行初步篩選，將信息數(shù)據(jù)根據(jù)字段條件進(jìn)行篩選過濾，提取重要屬性；b.事件分類:利用事件分類器根據(jù)事件的內(nèi)容進(jìn)行初步的探查，根據(jù)事件的類別進(jìn)行劃分，基于關(guān)鍵字或主題模型對事件信息進(jìn)行分類；c.指標(biāo)計算:分類后的事件通過指標(biāo)計算器根據(jù)一系列指標(biāo)進(jìn)行計算；d.事件劃分:計算后的事件按事件類型及ID進(jìn)行Hash劃分，便于后續(xù)存儲；e.事件存儲:將劃分好的事件保存到分布式文件系統(tǒng)。[〇〇18]結(jié)合圖3所示，指標(biāo)計算是指把各個指標(biāo)的計算過程合并為一個處理流程，一旦事件流過這個流程，各個指標(biāo)可以適時計算出來，然后提交給一個內(nèi)存數(shù)據(jù)庫緩存。所述指標(biāo)計算轉(zhuǎn)化成一個查詢計劃樹，所述查詢計劃樹的操作步驟包括掃描、過濾、投影、分組、聚集。所述指標(biāo)計算在內(nèi)存中都維護(hù)一個Hash表，當(dāng)指標(biāo)的計算完成，事件已經(jīng)從上一分鐘結(jié)束，到達(dá)下一分鐘，完成的統(tǒng)計指標(biāo)交給指標(biāo)內(nèi)存數(shù)據(jù)庫，同時通知監(jiān)控平臺更新儀表。
[0019]所述內(nèi)存數(shù)據(jù)庫保存最近的指標(biāo)，歷史指標(biāo)不斷轉(zhuǎn)存到指標(biāo)歷史數(shù)據(jù)庫。
[0020]結(jié)合圖2所示，一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控裝置，包括:事件分類器、指標(biāo)計算器、指標(biāo)內(nèi)存數(shù)據(jù)庫、事件分片與存儲模塊、監(jiān)控平臺、指標(biāo)歷史數(shù)據(jù)庫、分布文件系統(tǒng)，所述事件分類器與指標(biāo)計算器相連通，指標(biāo)計算器連通指標(biāo)內(nèi)存數(shù)據(jù)庫，指標(biāo)內(nèi)存數(shù)據(jù)庫與監(jiān)控平臺連通，指標(biāo)內(nèi)存數(shù)據(jù)庫一個端口與指標(biāo)歷史數(shù)據(jù)庫連接，指標(biāo)內(nèi)存數(shù)據(jù)庫的下端設(shè)有事件分片與存儲模塊，事件分布與存儲模塊與分布式文件系統(tǒng)連接。
[0021]所述指標(biāo)計算器安裝在單獨的事件處理服務(wù)器中，便于各個指標(biāo)的計算。所述指標(biāo)計算器是指把各個指標(biāo)的計算過程合并為一個處理流程，一旦事件流過這個流程，各個指標(biāo)可以適時計算出來，然后提交給指標(biāo)內(nèi)存數(shù)據(jù)庫緩存，將事件數(shù)據(jù)進(jìn)行指標(biāo)計算處理， 便于事件的分類處理。所述指標(biāo)計算器計算完成后，完成的統(tǒng)計指標(biāo)交給指標(biāo)內(nèi)存數(shù)據(jù)庫， 同時監(jiān)控平臺上更新儀表板。[〇〇22] 實施例:首先將事件進(jìn)行初篩，然后通過事件分類器對不同事件類別進(jìn)行分類處理，事件分類器根據(jù)事件的內(nèi)容進(jìn)行初步探查，根據(jù)關(guān)鍵字或主題模型對事件信息進(jìn)行分類，分類處理好的事件被傳輸?shù)街笜?biāo)計算器中進(jìn)行指標(biāo)計算，根據(jù)特定的分組標(biāo)準(zhǔn)或是時間周期建立指標(biāo)，指標(biāo)的計算可以轉(zhuǎn)化成一個查詢計劃樹，該查詢計劃樹主要的操作包括掃描、過濾、投影、分組、聚集等，我們把各個指標(biāo)計算的掃描整合到一起，形成一個查詢計劃樹，便于后續(xù)事件的檢索查詢，我們在內(nèi)存中為每個指標(biāo)的計算，維護(hù)了一個Hash表，當(dāng)指標(biāo)的計算完成，計算后的事件按事件類型及ID進(jìn)行Hash劃分，便于后續(xù)存儲，比如事件已經(jīng)從上一分鐘結(jié)束，而到達(dá)下一分鐘，則上一分鐘的統(tǒng)計指標(biāo)計算完成，交給指標(biāo)內(nèi)存數(shù)據(jù)庫，同時通知監(jiān)控平臺進(jìn)行儀表板更新，以此達(dá)到事件實時監(jiān)控，此指標(biāo)內(nèi)存數(shù)據(jù)庫僅僅保存最近的指標(biāo)數(shù)據(jù)，歷史的指標(biāo)數(shù)據(jù)不斷轉(zhuǎn)存到指標(biāo)歷史數(shù)據(jù)庫，必要時可以查詢出來，進(jìn)行顯示和對比，本發(fā)明支持歷史明細(xì)信息的查詢，在某些特定字段上建有輕量級索引，支持對歷史數(shù)據(jù)的查詢，當(dāng)需要針對某個指標(biāo)進(jìn)行查詢時，可以把相關(guān)查詢條件發(fā)送給歷史信息查詢器，由其從分布式文件系統(tǒng)中提取具體指標(biāo)信息，進(jìn)行深入探查。[〇〇23]以上顯示和描述了本發(fā)明的基本原理和主要特征以及本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。
【主權(quán)項】
1.一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法，其特征在于，包括以下步驟:a.事件初篩:將收集的數(shù)據(jù)信息進(jìn)行初步篩選，將信息數(shù)據(jù)根據(jù)字段條件進(jìn)行篩選過 濾，提取重要屬性；b.事件分類:利用事件分類器根據(jù)事件的內(nèi)容進(jìn)行初步的探查，根據(jù)事件的類別進(jìn)行 劃分，基于關(guān)鍵字或主題模型對事件信息進(jìn)行分類；c.指標(biāo)計算:分類后的事件通過指標(biāo)計算器根據(jù)一系列指標(biāo)進(jìn)行計算；d.事件劃分:計算后的事件按事件類型及ID進(jìn)行Hash劃分，便于后續(xù)存儲；e.事件存儲:將劃分好的事件保存到分布式文件系統(tǒng)。2.根據(jù)權(quán)利要求1所述的一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法，其特征在于，所 述指標(biāo)計算是指把各個指標(biāo)的計算過程合并為一個處理流程，一旦事件流過這個流程，各 個指標(biāo)可以適時計算出來，然后提交給一個內(nèi)存數(shù)據(jù)庫緩存。3.根據(jù)權(quán)利要求2所述的一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法，其特征在于，所 述指標(biāo)計算轉(zhuǎn)化成一個查詢計劃樹，所述查詢計劃樹的操作步驟包括掃描、過濾、投影、分 組、聚集。4.根據(jù)權(quán)利要求3所述的一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法，其特征在于，所 述指標(biāo)計算在內(nèi)存中都維護(hù)一個Hash表，當(dāng)指標(biāo)的計算完成，事件已經(jīng)從上一分鐘結(jié)束，至IJ 達(dá)下一分鐘，完成的統(tǒng)計指標(biāo)交給指標(biāo)內(nèi)存數(shù)據(jù)庫，同時通知監(jiān)控平臺更新儀表板。5.根據(jù)權(quán)利要求4所述的一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控方法，其特征在于，所 述內(nèi)存數(shù)據(jù)庫保存最近的指標(biāo)，歷史指標(biāo)不斷轉(zhuǎn)存到指標(biāo)歷史數(shù)據(jù)庫。6.—種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控裝置，其特征在于，包括:事件分類器、指標(biāo) 計算器、指標(biāo)內(nèi)存數(shù)據(jù)庫、事件分片與存儲模塊、監(jiān)控平臺、指標(biāo)歷史數(shù)據(jù)庫、分布文件系 統(tǒng)，所述事件分類器與指標(biāo)計算器相連通，指標(biāo)計算器連通指標(biāo)內(nèi)存數(shù)據(jù)庫，指標(biāo)內(nèi)存數(shù)據(jù) 庫與監(jiān)控平臺連通，指標(biāo)內(nèi)存數(shù)據(jù)庫一個端口與指標(biāo)歷史數(shù)據(jù)庫連接，指標(biāo)內(nèi)存數(shù)據(jù)庫的 下端設(shè)有事件分片與存儲模塊，事件分布與存儲模塊與分布式文件系統(tǒng)連接。7.根據(jù)權(quán)利要求6所述的一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控裝置，其特征在于，所 述指標(biāo)計算器安裝在單獨的事件處理服務(wù)器中。8.根據(jù)權(quán)利要求6所述的一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控裝置，其特征在于，所 述指標(biāo)計算器是指把各個指標(biāo)的計算過程合并為一個處理流程，一旦事件流過這個流程， 各個指標(biāo)可以適時計算出來，然后提交給指標(biāo)內(nèi)存數(shù)據(jù)庫緩存。9.根據(jù)權(quán)利要求6所述的一種非結(jié)構(gòu)化事件日志數(shù)據(jù)的實時監(jiān)控裝置，其特征在于，所 述指標(biāo)計算器計算完成后，完成的統(tǒng)計指標(biāo)交給指標(biāo)內(nèi)存數(shù)據(jù)庫，同時監(jiān)控平臺上更新儀 表板。
【文檔編號】G06F11/34GK106095659SQ201610416190
【公開日】2016年11月9日
【申請日】2016年6月15日 公開號201610416190.4, CN 106095659 A, CN 106095659A, CN 201610416190, CN-A-106095659, CN106095659 A, CN106095659A, CN201610416190, CN201610416190.4
【發(fā)明人】陳凌岳
【申請人】安徽天樞信息科技有限公司