一種日志信息的處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種日志信息的處理方法及系統(tǒng)，上述方法包括以下步驟：日志服務(wù)器接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對各業(yè)務(wù)系統(tǒng)中所述日志信息進行整合，得到與業(yè)務(wù)系統(tǒng)一一對應(yīng)的日志文件，并分別對各業(yè)務(wù)系統(tǒng)中日志信息的接收數(shù)量進行統(tǒng)計；將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標業(yè)務(wù)系統(tǒng)，所述日志服務(wù)器根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級或貢獻率確定所述目標業(yè)務(wù)系統(tǒng)中的目標處理模塊；所述日志服務(wù)器在日志文件中查詢所述目標處理模塊發(fā)送的日志信息，并處理所述日志信息。
【專利說明】一種日志信息的處理方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于信息【技術(shù)領(lǐng)域】，尤其涉及一種日志信息的處理方法及系統(tǒng)。

【背景技術(shù)】
[0002] 在當今的大數(shù)據(jù)時代，數(shù)據(jù)的分析相當重要，如何能在海量數(shù)據(jù)中進行快速、有效 的數(shù)據(jù)統(tǒng)計和提取往往比較困難，這樣不僅嚴重影響操作人員的工作效率，同時造成了服 務(wù)器資源的浪費。
[0003] 由于現(xiàn)有的業(yè)務(wù)系統(tǒng)中的日志信息往往分別記錄在多個模塊中，并且多個模塊往 往是跨網(wǎng)絡(luò)地記錄日志信息的，日志信息是按模塊劃分獨立運行的，不能直接對日志信息 進行有效整合，并且由于多個模塊中的日志信息分析需大量的磁盤I/O操作，導致軟件運 行速度嚴重降低。
[0004] 因此，存在有價值的關(guān)鍵數(shù)值分散于不同模塊的多個日志信息中，用戶不能快速 有效地進行日志信息的比對分析，在繁雜的日志信息中有效挖掘。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種日志信息的處理方法及系統(tǒng)，以解決上述問題至少之一。
[0006] 本發(fā)明提供一種日志信息的處理方法。上述方法包括以下步驟：日志服務(wù)器接收 各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對各業(yè)務(wù)系統(tǒng)中所述日志信息進行整合， 得到與業(yè)務(wù)系統(tǒng)一一對應(yīng)的日志文件，并分別對各業(yè)務(wù)系統(tǒng)中日志信息的接收數(shù)量進行統(tǒng) 計；將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標業(yè)務(wù)系統(tǒng)，所述日志服務(wù)器根據(jù) 所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級或貢獻率確定所述目標業(yè)務(wù)系統(tǒng)中的目標處理 模塊；所述日志服務(wù)器在日志文件中查詢所述目標處理模塊發(fā)送的日志信息，并處理所述 日志信息。
[0007] 本發(fā)明還提供一種日志信息的處理系統(tǒng)，上述系統(tǒng)包括：包括多個業(yè)務(wù)系統(tǒng)和日 志服務(wù)器；所述業(yè)務(wù)系統(tǒng)包括多個處理模塊，所述業(yè)務(wù)系統(tǒng)分別與所述日志服務(wù)器連接； 所述業(yè)務(wù)系統(tǒng)用于將各處理模塊的日志信息發(fā)送到所述日志服務(wù)器；所述日志服務(wù)器用于 接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對各業(yè)務(wù)系統(tǒng)中所述日志信息進行整 合，得到與業(yè)務(wù)系統(tǒng)一一對應(yīng)的日志文件，并分別對各業(yè)務(wù)系統(tǒng)中日志信息的接收數(shù)量進 行統(tǒng)計，所述日志服務(wù)器還用于將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標業(yè)務(wù) 系統(tǒng)，根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級或貢獻率確定所述目標業(yè)務(wù)系統(tǒng)中的 目標處理模塊，所述日志服務(wù)器在日志文件中查詢所述目標處理模塊發(fā)送的日志信息，并 處理所述日志信息。
[0008] 相較于先前技術(shù)，根據(jù)本發(fā)明提供的一種日志信息的處理方法及系統(tǒng)，可以將同 一業(yè)務(wù)系統(tǒng)中不同模塊下的日志信息進行有效整合，能快速、有效地在海量數(shù)據(jù)中統(tǒng)計和 提取，并且在統(tǒng)計和提取過程中可直接在日志文件中進行，無需大量的磁盤I/O操作，節(jié)約 了系統(tǒng)資源，有效提高了統(tǒng)計數(shù)據(jù)的提取速度。

【專利附圖】

【附圖說明】
[0009] 此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā) 明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中：
[0010] 圖1所示為根據(jù)本發(fā)明的較佳實施例提供的日志信息的處理方法的流程圖；
[0011] 圖2所示為根據(jù)本發(fā)明的較佳實施例提供的日志信息的處理系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實施方式】
[0012] 下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的 情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0013] 如圖1所示為根據(jù)本發(fā)明的較佳實施例提供的日志信息的處理方法的流程圖。如 圖1所示，本發(fā)明的較佳實施例提供的日志信息的處理方法包括步驟101-103。
[0014] 步驟101 :日志服務(wù)器接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對各 業(yè)務(wù)系統(tǒng)中所述日志信息進行整合，得到與業(yè)務(wù)系統(tǒng)一一對應(yīng)的日志文件，并分別對各業(yè) 務(wù)系統(tǒng)中日志信息的接收數(shù)量進行統(tǒng)計；
[0015] 所述日志服務(wù)器通過動態(tài)連接庫方式、串行通訊端口方式或套接字方式接收來自 各所述業(yè)務(wù)系統(tǒng)的所述日志信息。
[0016] 日志服務(wù)器分別對各業(yè)務(wù)系統(tǒng)中所述日志信息進行整合的過程包括：將業(yè)務(wù)系統(tǒng) 中各處理模塊發(fā)送的所述日志信息按照時間順序進行排序或者按照日志類型對日志信息 進行分類統(tǒng)計，合成得到一個日志文件。
[0017] 日志服務(wù)器分別對各業(yè)務(wù)系統(tǒng)中所述日志信息進行整合的過程包括：所述日志信 息中包含有標識信息，所述日志服務(wù)器根據(jù)所述標識信息對所述日志信息進行分類，將同 一標識信息的日志信息進行整合，得到一個日志文件。
[0018] 具體而言，日志信息的首行都攜帶有標識信息，將同一標識信息的日志信息進行 整合。
[0019] 步驟102 :將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標業(yè)務(wù)系統(tǒng)，所述 日志服務(wù)器根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級或貢獻率確定所述目標業(yè)務(wù)系 統(tǒng)中的目標處理模塊；
[0020] 所述貢獻率為所述目標業(yè)務(wù)系統(tǒng)中各處理模塊中日志信息的發(fā)送數(shù)量分別除以 目標業(yè)務(wù)系統(tǒng)中總的日志信息的發(fā)送數(shù)量。
[0021] 根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的貢獻率確定所述目標業(yè)務(wù)系統(tǒng)中所述目 標處理模塊的過程包括：將目標業(yè)務(wù)系統(tǒng)中得到的貢獻率最大值所對應(yīng)的處理模塊作為目 標處理模塊。根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級確定所述目標業(yè)務(wù)系統(tǒng)中所述 目標處理模塊的過程包括：根據(jù)所述目標業(yè)務(wù)系統(tǒng)對應(yīng)的日志文件中處理模塊的優(yōu)先級， 選擇優(yōu)先級級別最高的處理模塊作為目標處理模塊。
[0022] 步驟103 :所述日志服務(wù)器在日志文件中查詢所述目標處理模塊發(fā)送的日志信 息，并處理所述日志信息。
[0023] 當所述目標處理模塊為報警類處理模塊，且報警類處理模塊的日志信息為主板出 錯、BIOS損壞或內(nèi)存損壞時，所述日志服務(wù)器發(fā)出報警提示聲；或者當所述目標處理模塊 為報警類處理模塊，且報警類處理模塊的日志信息為非法篡改、非法讀取或非法連接時，所 述日志服務(wù)器中止當前操作；當所述目標處理模塊為普通類處理模塊時，進行用戶訪問量 統(tǒng)計并對訪問量超出第二預(yù)設(shè)值的訪問進行限制。
[0024] 下面舉例進行詳細說明：
[0025]日志服務(wù)器通過套接字方式接收用戶管理系統(tǒng)的身份管理模塊、身份驗證模塊發(fā) 送來的日志信息，并通過動態(tài)連接庫方式接收課件管理系統(tǒng)的圖像處理模塊和課件上傳模 塊發(fā)送來的日志信息。其中業(yè)務(wù)系統(tǒng)接收數(shù)量的第一預(yù)設(shè)值為6條，身份管理模塊、身份驗 證模塊、圖像處理模塊和課件上傳模塊發(fā)送來的日志信息情況具體如表1所示。
[0026]日志服務(wù)器分別對接收用戶管理系統(tǒng)和課件管理系統(tǒng)中的所有日志信息進行整 合，其過程包括以下三種方式：
[0027] 下面結(jié)合表1中的內(nèi)容作如下具體說明：
[0028]日志服務(wù)器對用戶管理系統(tǒng)中身份管理模塊和身份驗證模塊發(fā)送來的日志信息 1、日志信息2、日志信息3、日志信息4、日志信息5按照發(fā)送時間先后順序進行排序，得到 排序結(jié)果為日志信息1、日志信息3、日志信息2、日志信息5、日志信息4,將上述5個日志 信息按照發(fā)送時間由先到后的順序依次合成，得到一個日志文件A ;對課件管理系統(tǒng)中的 圖像處理模塊和課件上傳模塊的日志信息6、日志信息7、日志信息8、日志信息9、日志信息 10、日志信息11和日志信息12按照發(fā)送時間先后順序進行排序，得到排序結(jié)果為日志信息 12、日志信息11、日志信息6、日志信息9、日志信息8、日志信息10和日志信息7,將上述7 個日志信息按照發(fā)送時間由先到后的順序依次合成，得到一個日志文件B。
[0029]日志服務(wù)器對用戶管理系統(tǒng)和課件管理系統(tǒng)中的日志信息進行整合除了按照上 述發(fā)送時間由先到后的順序進行外，還可為：日志服務(wù)器對用戶管理系統(tǒng)中身份管理模塊 和身份驗證模塊的日志信息進行分析，得到日志信息1、日志信息3和日志信息4屬于刪除 類，日志信息2和日志信息5屬于添加類，將刪除類日志信息和添加類日志信息分別合成， 再將合成后的刪除類日志信息和添加類日志信息整合成一個日志文件A ;日志服務(wù)器對課 件管理系統(tǒng)中的圖像處理模塊和課件上傳模塊的日志信息6、日志信息8和日志信息12屬 于刪除類，日志信息11、日志信息5、日志信息9、日志信息10和日志信息7屬于添加類，將 刪除類日志信息和添加類日志信息分別合成，再將合成后的刪除類日志信息和添加類日志 信息整合成一個日志文件B。
[0030] 日志服務(wù)器對用戶管理系統(tǒng)和課件管理系統(tǒng)中的日志信息進行整合得到除了上 述方式
[0031] 外，還可為：基于日志信息中的首行都攜帶有標識信息，日志服務(wù)器對用戶管理系 統(tǒng)中日志信息進行分析，得到身份管理模塊和身份驗證模塊中的日志信息1、日志信息2、 日志信息3、日志信息4和日志信息5的首行都攜帶有標識信息A，將攜帶有標識信息A的 日志信息1、日志信息2、日志信息3、日志信息4和日志信息5依次合成，得到一個日志文 件A ;同時，日志服務(wù)器對課件管理系統(tǒng)中的日志信息進行分析，得到圖像處理模塊和課件 上傳模塊中的日志信息6、日志信息7、日志信息8、日志信息9、日志信息10、日志信息11和 日志信息12的首行都攜帶有標識信息B，將攜帶有標識信息B的日志信息6、日志信息7、日 志信息8、日志信息9、日志信息10、日志信息11和日志信息12依次合成，得到一個日志文 件B。
[0032] 由于業(yè)務(wù)系統(tǒng)日志信息接收數(shù)量的第一預(yù)設(shè)值為6條，基于表1中的內(nèi)容可知用 戶管理系統(tǒng)中日志信息的接收數(shù)量為5條，課件管理系統(tǒng)中日志信息的接收數(shù)量為7條，課 件管理系統(tǒng)中日志信息的接收數(shù)量大于第一預(yù)設(shè)值6條，因而課件管理系統(tǒng)為目標業(yè)務(wù)系 統(tǒng)，因此以下僅在課件管理系統(tǒng)確定目標處理模塊。
[0033] 在課件管理系統(tǒng)中確定目標處理模塊的方法為：已知課件管理系統(tǒng)中包含了圖像 處理模塊和課件上傳模塊，課件管理系統(tǒng)中圖像處理模塊和課件上傳模塊的優(yōu)先級分別為 第二優(yōu)先級和第一優(yōu)先級，且第一優(yōu)先級的級別高于第二優(yōu)先級的級別，因此選擇課件管 理系統(tǒng)中優(yōu)先級最高的課件上傳模塊作為目標處理模塊。
[0034] 在課件管理系統(tǒng)中確定目標處理模塊的方法還可為：已知課件管理系統(tǒng)中包含了 圖像處理模塊和課件上傳模塊，圖像處理模塊發(fā)送了日志信息6、日志信息7和日志信息8， 課件上傳模塊發(fā)送了日志信息9、日志信息10、日志信息11和日志信息12,圖像處理模塊的 日志信息發(fā)送數(shù)量為3條，課件上傳模塊的日志信息發(fā)送數(shù)量為4條，因此，圖像處理模塊 的貢獻率為3八3+4) =3/7,課件上傳模塊的貢獻率為V(3+4) =4/7,貢獻率最大的為課 件上傳模塊，因此選擇課件上傳模塊作為目標處理模塊，由此可知貢獻率與所述處理模塊 中日志信息的發(fā)送數(shù)量成正比。
[0035] 對得到的目標處理模塊（即課件上傳模塊）進行分析，同時對課件上傳模塊中的 日志信息9、日志信息10、日志信息11和日志信息12進行分析：
[0036] 通過識別得到課件上傳模塊為普通類處理模塊時，假設(shè)第二預(yù)設(shè)值為100,對課件 上傳模塊的用戶訪問量統(tǒng)計，得到用戶訪問量為110,對訪問量超出的10個訪問進行限制。 [0037]日志服務(wù)器在日志文件B中查詢上述得到的目標處理模塊（課件上傳模塊），并對 發(fā)送的日志信息按時間順序進行統(tǒng)計，生成每個整點時間段內(nèi)日志信息的數(shù)量，并作出相 應(yīng)的柱狀圖。
[0038] 表 1
[0039]

【權(quán)利要求】
1. 一種日志信息的處理方法，其特征在于，包括以下步驟： 日志服務(wù)器接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對各業(yè)務(wù)系統(tǒng)中所述 日志信息進行整合，得到與業(yè)務(wù)系統(tǒng) 對應(yīng)的日志文件，并分別對各業(yè)務(wù)系統(tǒng)中日志信 息的接收數(shù)量進行統(tǒng)計； 將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標業(yè)務(wù)系統(tǒng)，所述日志服務(wù)器根據(jù) 所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級或貢獻率確定所述目標業(yè)務(wù)系統(tǒng)中的目標處理 模塊； 所述日志服務(wù)器在日志文件中查詢所述目標處理模塊發(fā)送的日志信息，并處理所述日 J志f曰肩、。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，日志服務(wù)器分別對各業(yè)務(wù)系統(tǒng)中所述日 志信息進行整合的過程包括： 將業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的所述日志信息按照時間順序進行排序或者按照日志 類型對日志信息進行分類統(tǒng)計，合成得到一個日志文件。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，日志服務(wù)器分別對各業(yè)務(wù)系統(tǒng)中所述日 志信息進行整合的過程包括： 所述日志信息中包含有標識信息，所述日志服務(wù)器根據(jù)所述標識信息對所述日志信息 進行分類，將同一標識信息的日志信息進行整合，得到一個日志文件。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述日志服務(wù)器通過動態(tài)連接庫方式、串 行通訊端口方式或套接字方式接收來自各所述業(yè)務(wù)系統(tǒng)的所述日志信息。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述貢獻率為所述目標業(yè)務(wù)系統(tǒng)中各處 理模塊中日志信息的發(fā)送數(shù)量分別除以目標業(yè)務(wù)系統(tǒng)中總的日志信息的發(fā)送數(shù)量。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的 貢獻率確定所述目標業(yè)務(wù)系統(tǒng)中所述目標處理模塊的過程包括：將目標業(yè)務(wù)系統(tǒng)中得到的 貢獻率最大值所對應(yīng)的處理模塊作為目標處理模塊。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的 優(yōu)先級確定所述目標業(yè)務(wù)系統(tǒng)中所述目標處理模塊的過程包括： 根據(jù)所述目標業(yè)務(wù)系統(tǒng)對應(yīng)的日志文件中處理模塊的優(yōu)先級，選擇優(yōu)先級級別最高的 處理模塊作為目標處理模塊。
8. 根據(jù)權(quán)利要求1至7中任一項所述的方法，其特征在于，當所述目標處理模塊為報警 類處理模塊，且報警類處理模塊的日志信息為主板出錯、BIOS損壞或內(nèi)存損壞時，所述日志 服務(wù)器發(fā)出報警提示聲；或者 當所述目標處理模塊為報警類處理模塊，且報警類處理模塊的日志信息為非法篡改、 非法讀取或非法連接時，所述日志服務(wù)器中止當前操作； 當所述目標處理模塊為普通類處理模塊時，進行用戶訪問量統(tǒng)計并對訪問量超出第二 預(yù)設(shè)值的訪問進行限制。
9. 一種日志信息的處理系統(tǒng)，其特征在于，包括多個業(yè)務(wù)系統(tǒng)和日志服務(wù)器；所述業(yè) 務(wù)系統(tǒng)包括多個處理模塊，所述業(yè)務(wù)系統(tǒng)分別與所述日志服務(wù)器連接； 所述業(yè)務(wù)系統(tǒng)用于將各處理模塊的日志信息發(fā)送到所述日志服務(wù)器； 所述日志服務(wù)器用于接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對各業(yè)務(wù)系 統(tǒng)中所述日志信息進行整合，得到與業(yè)務(wù)系統(tǒng)一一對應(yīng)的日志文件，并分別對各業(yè)務(wù)系統(tǒng) 中日志信息的接收數(shù)量進行統(tǒng)計，所述日志服務(wù)器還用于將所述接收數(shù)量大于第一預(yù)設(shè)值 的業(yè)務(wù)系統(tǒng)作為目標業(yè)務(wù)系統(tǒng)，根據(jù)所述目標業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級或貢獻率確 定所述目標業(yè)務(wù)系統(tǒng)中的目標處理模塊，所述日志服務(wù)器在日志文件中查詢所述目標處理 模塊發(fā)送的日志信息，并處理所述日志信息。
【文檔編號】G06F17/30GK104391781SQ201410577862
【公開日】2015年3月4日 申請日期:2014年10月24日 優(yōu)先權(quán)日:2014年10月24日
【發(fā)明者】沈玉將, 張瑞道 申請人:蘇州闊地網(wǎng)絡(luò)科技有限公司