若存在則提取第二特征的內(nèi)容并進行md5散列處理獲得md5值，查找所述第二數(shù)據(jù)庫中與所述待檢測日志具有相同的協(xié)議標識符的日志中是否具有相同的md5值；所述的時間間隔處理模塊用于所述第二數(shù)據(jù)庫中與所述待檢測日志具有相同的協(xié)議標識符的日志中具有相同的md5值時，獲取待檢測日志的產(chǎn)生時間以及第二數(shù)據(jù)庫中與所述待檢測日志具有相同的重復(fù)特征對應(yīng)日志的產(chǎn)生時間，判斷第二數(shù)據(jù)庫中與所述待檢測具有相同重復(fù)特征的日志之間的產(chǎn)生時間間隔是否在預(yù)設(shè)時間內(nèi)。
[0026]在本發(fā)明所述的裝置中，上述的第一數(shù)據(jù)庫和第二數(shù)據(jù)庫為文件或者緩存中的一種。
[0027]在本發(fā)明所述的裝置中，上述的散列處理為md5散列處理，所述的散列值為md5值。
[0028]實施本發(fā)明的減少網(wǎng)絡(luò)審計系統(tǒng)冗余日志的方法與裝置，具有以下有益效果:將網(wǎng)絡(luò)審計日志進行相關(guān)性和重復(fù)性的判斷，將根據(jù)日志文件的相關(guān)性和重復(fù)性進行相應(yīng)的處理，將相關(guān)日志與重復(fù)日志進行丟棄，減少了網(wǎng)絡(luò)審計系統(tǒng)冗余的日志，提升了網(wǎng)絡(luò)審計系統(tǒng)的處理性能。
【附圖說明】
[0029]下面將結(jié)合附圖及實施例對本發(fā)明作進一步說明，附圖中:
[0030]圖1是本發(fā)明減少網(wǎng)絡(luò)審計系統(tǒng)冗余日志的方法實施例一的流程圖；
[0031]圖2是實施例一中判斷是否為重復(fù)日志的優(yōu)選方法的流程圖；
[0032]圖3是本發(fā)明減少網(wǎng)絡(luò)審計系統(tǒng)冗余日志的系統(tǒng)優(yōu)選實施例二的結(jié)構(gòu)圖。
【具體實施方式】
[0033]為了對本發(fā)明的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對照附圖詳細說明本發(fā)明的【具體實施方式】。
[0034]實施例一:
[0035]在圖1示出的本發(fā)明的減少網(wǎng)絡(luò)審計系統(tǒng)冗余日志的方法實施例的流程圖，其具體工作步驟如下:
[0036]S101、網(wǎng)絡(luò)審計系統(tǒng)從網(wǎng)卡抓取數(shù)據(jù)包，此時數(shù)據(jù)包由二進制數(shù)據(jù)“O”和“I”構(gòu)成，這些數(shù)據(jù)承載著日志的內(nèi)容。
[0037]S102、當抓取數(shù)據(jù)包后，將這些數(shù)據(jù)包進行解析，還原出日志的內(nèi)容，此時日志不再是二進制數(shù)據(jù)，而是一條條類似于“20100401-測試betal:還原xml文檔C:\EACClient\Cases\AJ114011\0E4L0P8EDL0133A7\100012.xml,文件類型:100012—2014-04-21 15:23:10-24779852”具有實際內(nèi)容的信息。
[0038]S103、當解析完這些數(shù)據(jù)后，就開始對這些日志進行相關(guān)性的判斷，此時獲取待檢測日志的相關(guān)特征，查找第一數(shù)據(jù)庫中是否存在相同的相關(guān)特征，若存在則所述待檢測日志為相關(guān)日志，丟棄所述的相關(guān)日志，若不存在則所述待檢測日志為不相關(guān)日志，提取所述的待檢測日志的相關(guān)特征保存到第一數(shù)據(jù)庫中。如若待檢測的日志順序為i，為敘述簡便，該日志即為日志i，第一數(shù)據(jù)庫中存有m個日志的相關(guān)特征，m為之前1-Ι個日志中所有不相關(guān)日志的數(shù)量，m大于等于0，小于等于1-Ι，這里每個日志的相關(guān)特征是不相同的。這里第一數(shù)據(jù)庫，第二數(shù)據(jù)庫均可以是指建立的一個文件，也可以是計算機本身的緩存等，這里它僅僅表示一個存儲相關(guān)特征的地方，并不對其具體形式加以限定。提取出日志i的相關(guān)特征與所述的m個日志的相關(guān)特征單獨比較，若在這m個日志文件中存在與第i個日志相同的相關(guān)特征，則表示日志i為相關(guān)日志，否則為不相關(guān)日志(若i = I，日志i為不相關(guān)日志)。若日志i為相關(guān)日志，則丟棄該日志，若日志i為不相關(guān)日志，則提取日志i的相關(guān)特征保存到第一數(shù)據(jù)庫中。這里需要指出的是，計算機可能隔一段時間后會釋放內(nèi)存，或者是本身程序每隔一段時間釋放內(nèi)存，之前存儲的相關(guān)特征可能會被釋放掉，此時日志i應(yīng)該為釋放內(nèi)存之后的編號，m也為指釋放內(nèi)存之后的i_l個日志中不相關(guān)日志的數(shù)量，下述實施例內(nèi)容中關(guān)于內(nèi)存釋放后的影響與此類似，不再單獨敘述。相關(guān)特征為根據(jù)特定規(guī)則從日志中抽取的內(nèi)容，從相關(guān)特征中可以知道日志的大致內(nèi)容，上述特定的規(guī)則不屬于本發(fā)明的內(nèi)容，本實施例中不予詳細介紹。
[0039]S104、當判斷出該日志i不具有相關(guān)性之后，進一步判斷該日志i是否具有重復(fù)性。具體的，若待檢測日志i為不相關(guān)日志，則獲取所述待檢測日志i的重復(fù)特征，查找第二數(shù)據(jù)庫中是否存在相同的重復(fù)特征，若不存在則所述的待檢測日志i為不重復(fù)日志，提取所述待檢測日志的重復(fù)特征以及日志的產(chǎn)生時間保存到第二數(shù)據(jù)庫中，若存在，則獲取待檢測日志i的產(chǎn)生時間以及第二數(shù)據(jù)庫中與所述待檢測日志具有相同的重復(fù)特征對應(yīng)日志(假設(shè)為日志j)的產(chǎn)生時間i，判斷第二數(shù)據(jù)庫中與所述待檢測具有相同重復(fù)特征的日志與所述的待檢測日志之間的產(chǎn)生時間間隔(日志i與日志j之間發(fā)送的時間間隔)是否在預(yù)設(shè)時間內(nèi)，若是則所述的待檢測日志i為重復(fù)日志，丟棄所述的待檢測日志i，若否則為不重復(fù)日志，提取所述待檢測日志i的重復(fù)特征以及日志產(chǎn)生時間保存到第二數(shù)據(jù)庫中。第二數(shù)據(jù)庫保存有之前的不重復(fù)日志的重復(fù)特征(假設(shè)共有η個，η大于等于0，小于等于m)以及日志的產(chǎn)生時間，所述的重復(fù)特征包括日志的協(xié)議標識符以及第二特征，所述第二特征為所需考慮的日志的源ip、目的ip、源端口、目的端口、網(wǎng)址。第二數(shù)據(jù)庫與第一數(shù)據(jù)庫可以是兩個分開獨立的文件或者緩存等，也可以用一個文件或者緩存包含上述第一數(shù)據(jù)庫以及第二數(shù)據(jù)庫中的內(nèi)容。
[0040]為了更詳細的理解判斷日志i的相關(guān)性過程，本實施例提供了一種判斷日志相關(guān)性的優(yōu)選方式，具體操作流程包括下述步驟:
[0041]獲取所需檢測的日志i的第一特征以及該第一特征內(nèi)容對應(yīng)的關(guān)系表達式。第一特征是指第一特征包括:日志的開始字符、結(jié)束字符以及長度，所述關(guān)系表達式為或、與、非，第一特征以及關(guān)系表達式用于描述某個數(shù)據(jù)包需包含某幾個字段，但不包含另外幾個字段等。如“開始字符A與結(jié)束字符B之間的長度為a”與“開始字符C與結(jié)束字符D之間的長度為b”這兩條之間的關(guān)系為與，則表示日志文件中必須同時包含“A...B”以及“C...D”的字段，且A與B之間的子都長度為a, C與D之間的長度為b, A、B之間與C、D之間的具體內(nèi)容并不需要考慮。在實際操作中，第一特征以及該第一特征內(nèi)容對應(yīng)的關(guān)系表達式一般具有多組，從這多組重復(fù)特征中可以知道日志文件的大致內(nèi)容。
[0042]然后查找第一數(shù)據(jù)庫中是否存在與日志i相同的第一特征以及該第一特征關(guān)系表達式對應(yīng)的內(nèi)容，若存在則所述日志具有相關(guān)性，若不存在則不具有相關(guān)性，將所述的日志的第一特征以及該第一特征內(nèi)容對應(yīng)的關(guān)系表達式保存在第一數(shù)據(jù)庫中，并轉(zhuǎn)入步驟進行一個日志的判斷。如:日志i的相關(guān)特征為:包含“A...B”長度為a，且不包含“C...D”長度為b的字段,若上述的m個日志中某一個日志存在與日志i完全相同的相關(guān)特征,則日志i為相關(guān)日志，若不存在，則日志i為不相關(guān)日志，
[0043]為了判斷日志的重復(fù)性性，本實施例提供了一種判斷日志重復(fù)性的優(yōu)選方式。圖2是本實施例中判斷是否為重復(fù)日志的優(yōu)選方法的流程圖，其具體工作方式如下:
[0044]S201、獲取需要檢測日志的協(xié)議標識符，查找第二數(shù)據(jù)庫中是否存在相同的協(xié)議標識符，若不存在相同的協(xié)議標識符，則所