一種基于xml標(biāo)簽語言的日志管理方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于XML標(biāo)簽語言的日志管理方法和系統(tǒng)，屬于安全信息管理系 統(tǒng)領(lǐng)域；具體屬于安全信息管理系統(tǒng)的核心關(guān)鍵技術(shù)一一安全事件數(shù)據(jù)范化技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 安全信息管理技術(shù)用于搜集、分析和關(guān)聯(lián)來自于整個企業(yè)的安全事件信息，可以 分為四個不同的階段：規(guī)范化、匯總、關(guān)聯(lián)和虛擬化。安全信息管理技術(shù)具體是指搜集和分 析安全事件信息，及時地檢測到安全事件，并采取相應(yīng)的網(wǎng)絡(luò)安全管理措施。
[0003] 傳統(tǒng)安全系統(tǒng)是分別獨(dú)立逐步的建立起來的，比如防病毒系統(tǒng)、防火墻系統(tǒng)、入侵 檢測系統(tǒng)，各個系統(tǒng)都有單獨(dú)的管理員或者管理控制臺。這種相對獨(dú)立的部署方式帶來的 問題是各個設(shè)備需要進(jìn)行獨(dú)立的配置，而各個引擎也需要配備獨(dú)立的事件報警系統(tǒng)，這使 得各類分散獨(dú)立的安全事件信息難以形成全局的風(fēng)險觀點(diǎn)，導(dǎo)致了安全策略和配置難于統(tǒng) 一協(xié)調(diào)。因此，對各類安全防護(hù)系統(tǒng)進(jìn)行平臺化整合提出了需求。
[0004] 傳統(tǒng)的安全管理方式是將分散在各地、不同種類的安全防護(hù)系統(tǒng)進(jìn)行分別管理， 這導(dǎo)致安全信息分散互不相通，安全策略難以保持一致，因此這種傳統(tǒng)的安全管理運(yùn)行方 式就成為許多安全隱患形成的根源。平臺化整合是針對傳統(tǒng)安全管理方式的一種重大變 革。網(wǎng)絡(luò)安全管理平臺可將不同位置、不同安全系統(tǒng)中分散且海量的單一安全事件進(jìn)行匯 總、過濾、收集和關(guān)聯(lián)分析，得出全局性的安全風(fēng)險事件，并最終形成統(tǒng)一的安全決策，對安 全事件進(jìn)行響應(yīng)和處理。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是：一種基于XML標(biāo)簽語言的日志管理方法和系統(tǒng)，為了實(shí)現(xiàn)異構(gòu) 日志的統(tǒng)一管理，安全性高，可靠度好，以解決目前現(xiàn)有的技術(shù)問題。
[0006] 本發(fā)明的技術(shù)方案 一種基于XML標(biāo)簽語言的日志管理方法，該方法以XML語言的語法規(guī)則為基礎(chǔ)，從所有 的入侵檢測系統(tǒng)、防火墻、操作系統(tǒng)、應(yīng)用軟件和防病毒系統(tǒng)中獲得安全事件，定義范化引 擎和范化策略，根據(jù)范化引擎加載范化策略，并根據(jù)待范化的數(shù)據(jù)，選擇合適的范化規(guī)則進(jìn) 行日志樣本數(shù)據(jù)的范化。
[0007] 上述的基于XML標(biāo)簽語言的日志管理方法中，具體定義范化引擎和范化策略的方 法是利用XML語言的元素來表示類別，利用XML的屬性來表示特性，并引入一些擴(kuò)展的特 征，主要包括類型、常量、函數(shù)。
[0008] 上述的基于XML標(biāo)簽語言的日志管理方法中，該方法的具體步驟如下： 步驟一、分析日志；收集日志或者告警樣本，并對所收集到的日志或者告警樣本進(jìn)行分 析(分析方法采用正則匹配方法，分析過程是對收集到的不同格式的日志，分別編寫對應(yīng)的 正則表達(dá)式進(jìn)行匹配的過程)，分析的目的在于明確需要定義的數(shù)據(jù)結(jié)構(gòu)，以及范化規(guī)則和 映射規(guī)則的基本框架； 步驟二、定義范化數(shù)據(jù)結(jié)構(gòu)；合理范化給定日志樣本數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)； 步驟三、定義規(guī)則；編制出合理的范化策略以及映射策略，并定義出相應(yīng)的范化規(guī)則和 映射規(guī)則； 步驟四、加載策略；通過范化引擎將加載范化策略； 步驟五、查找匹配；根據(jù)待范化的數(shù)據(jù)，選擇合適的規(guī)則進(jìn)行范化，具體做法是，查找匹 配的規(guī)則，每成功匹配一次，就執(zhí)行一個對應(yīng)的范化動作； 步驟六、關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)；將范化操作得到日志樣本數(shù)據(jù)的字段與數(shù)據(jù)結(jié)構(gòu)的相關(guān)字段 相關(guān)聯(lián)； 步驟七、映射處理；根據(jù)映射規(guī)則決定是否做映射處理。如果字段的映射標(biāo)記 為1，則從映射文件中查找指定字段的映射表。具體方法是，以字段現(xiàn)有的值為源值 (SourceValue)，獲得映射值（GxValue)，并以映射值作為最后的值寫到內(nèi)存中； 步驟八、類型轉(zhuǎn)換；負(fù)責(zé)執(zhí)行格式與類型轉(zhuǎn)換操作，具體地，所述類型轉(zhuǎn)換步驟負(fù)責(zé)將 不同格式的數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)格式，并提供不同類型數(shù)據(jù)之間的轉(zhuǎn)換方法； 步驟九、輸出結(jié)果；輸出范化后的結(jié)果。
[0009] 上述的基于XML標(biāo)簽語言的日志管理方法中，范化規(guī)則組織成一個規(guī)則樹，并提 供正則表達(dá)式匹配、規(guī)則查找接口，并將查找的相關(guān)關(guān)鍵字段以鏈表形式輸出。
[0010] 上述的基于XML標(biāo)簽語言的日志管理方法中，映射策略組織成內(nèi)存中的可實(shí)現(xiàn)高 速查詢的B+樹，并提供映射查找接口。
[0011] 上述的基于XML標(biāo)簽語言的日志管理方法中，查找匹配的原理是利用"頻繁使用 優(yōu)先算法"查找與事件數(shù)據(jù)相匹配的范化規(guī)則，并選擇映射規(guī)則進(jìn)行規(guī)則映射。
[0012] 上述的基于XML標(biāo)簽語言的日志管理方法中，類行轉(zhuǎn)換指將事件數(shù)據(jù)由字符串形 式轉(zhuǎn)換成IP、MAC、時間、整數(shù)數(shù)據(jù)類型，同時能將數(shù)據(jù)寫到指定的內(nèi)存位置。
[0013] 一種基于XML標(biāo)簽語言的日志管理系統(tǒng)，該管理系統(tǒng)包括范化調(diào)度模塊、數(shù)據(jù)結(jié) 構(gòu)管理模塊、規(guī)則管理模塊、映射管理模塊和類型轉(zhuǎn)換模塊；范化調(diào)度模塊與數(shù)據(jù)結(jié)構(gòu)管 理模塊、規(guī)則管理模塊、映射管理模塊和類型轉(zhuǎn)換模塊之間進(jìn)行控制流的連接，范化調(diào)度模 塊發(fā)出控制指令，負(fù)責(zé)調(diào)度數(shù)據(jù)結(jié)構(gòu)管理模塊、規(guī)則管理模塊、映射管理模塊和類型轉(zhuǎn)換模 塊；規(guī)則管理模塊以數(shù)據(jù)流的方式與范化調(diào)度模塊、數(shù)據(jù)結(jié)構(gòu)管理模塊、映射管理模塊和類 型轉(zhuǎn)換模塊相連接，傳遞數(shù)據(jù)信息； 范化調(diào)度模塊，負(fù)責(zé)對日志樣本數(shù)據(jù)進(jìn)行范化處理，并將范化后的數(shù)據(jù)輸出，實(shí)現(xiàn)系統(tǒng) 的范化功能； 數(shù)據(jù)結(jié)構(gòu)管理模塊，負(fù)責(zé)組織、查找自定義的數(shù)據(jù)結(jié)構(gòu)； 規(guī)則管理模塊，負(fù)責(zé)加載范化策略，并將所加載的范化策略組織成內(nèi)存中的樹狀結(jié)構(gòu)， 從而實(shí)現(xiàn)高效查找匹配； 映射管理模塊，負(fù)責(zé)加載映射策略，并根據(jù)所述查找匹配的結(jié)果，實(shí)現(xiàn)日志樣本數(shù)據(jù)字 段與數(shù)據(jù)結(jié)構(gòu)字段之間的映射； 類型轉(zhuǎn)換模塊，實(shí)現(xiàn)事件數(shù)據(jù)類型轉(zhuǎn)換，負(fù)責(zé)將不同格式的數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)格式，并提 供不同類型數(shù)據(jù)之間的轉(zhuǎn)換方法。
[0014] 上述的基于XML標(biāo)簽語言的日志管理系統(tǒng)中，所述范化調(diào)度模塊負(fù)責(zé)調(diào)度和管理 數(shù)據(jù)結(jié)構(gòu)管理模塊、規(guī)則管理模塊、映射管理模塊、類型轉(zhuǎn)換模塊4個功能模塊，使用優(yōu)先 算法查找與事件數(shù)據(jù)相匹配的范化規(guī)則，并選擇合適的映射規(guī)則進(jìn)行規(guī)則映射，然后調(diào)用 類型轉(zhuǎn)換模塊，對事件數(shù)據(jù)進(jìn)行范化；類型轉(zhuǎn)換模塊負(fù)責(zé)將事件數(shù)據(jù)由字符串形式轉(zhuǎn)換成 IP、MAC、時間、整數(shù)數(shù)據(jù)類型，同時能將數(shù)據(jù)寫到指定的內(nèi)存位置。
[0015] 具體的，通過范化調(diào)度模塊負(fù)責(zé)調(diào)度、管理數(shù)據(jù)結(jié)構(gòu)管理模塊、規(guī)則管理模塊、映 射管理模塊、類型轉(zhuǎn)換模塊4個功能模塊，使用"頻繁使用優(yōu)先算法"查找與事件數(shù)據(jù)相匹 配的范化規(guī)則，并選擇合適的映射規(guī)則進(jìn)行規(guī)則映射，然后調(diào)用類型轉(zhuǎn)換模塊，對事件數(shù)據(jù) 進(jìn)行范化；所述規(guī)則管理模塊負(fù)責(zé)將范化規(guī)則組織成一個規(guī)則樹，并提供正則表達(dá)式匹配、 規(guī)則查找接口，并將查找的相關(guān)關(guān)鍵字段以鏈表形式輸出；所述映射管理模塊負(fù)責(zé)將所加 載的映射策略組織成內(nèi)存中的B+樹，并提供映射查找接口，利用B+樹實(shí)現(xiàn)高效的查找算 法；所述類型轉(zhuǎn)換模塊：將事件數(shù)據(jù)由字符串形式轉(zhuǎn)換成IP、MAC、時間、整數(shù)數(shù)據(jù)類型，同 時能將數(shù)據(jù)寫到指定的內(nèi)存位置。
[0016] 基于XML標(biāo)簽語言的日志管理系統(tǒng)的連接關(guān)系如下：范化調(diào)度模塊負(fù)責(zé)調(diào)度數(shù)據(jù) 結(jié)構(gòu)管理模塊、規(guī)則管理模塊、映射管理模塊和類型轉(zhuǎn)換模塊。具