一種日志審計(jì)的裝置、系統(tǒng)和方法
【專利摘要】本發(fā)明提供了一種日志審計(jì)的裝置、系統(tǒng)和方法，該日志審計(jì)的裝置與外設(shè)的至少兩個(gè)設(shè)備相連，通過收集單元中的每一個(gè)收集進(jìn)程，當(dāng)空閑時(shí)，接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件；通過歸一化單元中的每一個(gè)歸一化進(jìn)程確定歸一化規(guī)則，當(dāng)空閑時(shí)，解析日志文件屬性，根據(jù)歸一化規(guī)則和所述日志文件屬性，確定日志文件的關(guān)聯(lián)屬性；通過日志關(guān)聯(lián)單元中的每一個(gè)關(guān)聯(lián)進(jìn)程，確定關(guān)聯(lián)規(guī)則和告警規(guī)則，當(dāng)接收到關(guān)聯(lián)屬性時(shí)，根據(jù)關(guān)聯(lián)規(guī)則，進(jìn)行日志關(guān)聯(lián)，當(dāng)日志關(guān)聯(lián)滿足所述告警規(guī)則時(shí)，觸發(fā)告警單元；通過告警單元進(jìn)行日志審計(jì)告警。本發(fā)明提供的方案實(shí)現(xiàn)了日志審計(jì)進(jìn)程負(fù)載均衡。
【專利說明】
一種日志審計(jì)的裝置、系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種日志審計(jì)的裝置、系統(tǒng)和方法。
【背景技術(shù)】
[0002]網(wǎng)絡(luò)設(shè)備、服務(wù)器、應(yīng)用服務(wù)等通用計(jì)算機(jī)軟硬件以及各種特定業(yè)務(wù)系統(tǒng)在運(yùn)行過程中會(huì)產(chǎn)生大量日志信息，而日志信息能夠反應(yīng)出計(jì)算機(jī)軟硬件以及業(yè)務(wù)系統(tǒng)等的運(yùn)行狀態(tài)，而對日志進(jìn)行審計(jì)是了解運(yùn)行狀態(tài)的重要手段之一。
[0003]目前，日志審計(jì)的主要方式是，為每個(gè)待監(jiān)測的設(shè)備分配收集進(jìn)程以及多個(gè)處理進(jìn)程以對該設(shè)備進(jìn)行日志審計(jì)，例如:為設(shè)備I分配收集進(jìn)程1、處理進(jìn)程I及處理進(jìn)程2，設(shè)備2分配收集進(jìn)程2、處理進(jìn)程3及處理進(jìn)程4，那么，當(dāng)設(shè)備I沒有日志審計(jì)，而設(shè)備2有較多的日志需要審計(jì)的時(shí)候，該收集進(jìn)程1、處理進(jìn)程I及處理進(jìn)程2將空閑狀態(tài)，而收集進(jìn)程2、處理進(jìn)程3及處理進(jìn)程4處于滿負(fù)載狀態(tài)，造成日志審計(jì)進(jìn)程負(fù)載不均衡。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供了一種日志審計(jì)的裝置、系統(tǒng)和方法，實(shí)現(xiàn)了日志審計(jì)進(jìn)程負(fù)載均衡。
[0005]—種日志審計(jì)的裝置，與外設(shè)的至少兩個(gè)設(shè)備相連，包括:收集單元、歸一化單元、日志關(guān)聯(lián)單元及告警單元，其中，
[0006]所述收集單元，包括:至少一個(gè)收集進(jìn)程，每一個(gè)收集進(jìn)程，用于當(dāng)空閑時(shí)，接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件，并將所述日志文件發(fā)送給所述歸一化單元；
[0007]所述歸一化單元，包括:至少兩個(gè)歸一化進(jìn)程，每一個(gè)歸一化進(jìn)程，用于確定歸一化規(guī)則，當(dāng)空閑時(shí)，接收所述收集單元發(fā)送的所述日志文件，解析所述日志文件屬性，根據(jù)所述歸一化規(guī)則和所述日志文件屬性，確定所述日志文件的關(guān)聯(lián)屬性，將所述關(guān)聯(lián)屬性發(fā)送給所述日志關(guān)聯(lián)單元；
[0008]所述日志關(guān)聯(lián)單元，包括:至少兩個(gè)關(guān)聯(lián)進(jìn)程，每一個(gè)關(guān)聯(lián)進(jìn)程，用于確定關(guān)聯(lián)規(guī)則和告警規(guī)則，當(dāng)接收到所述關(guān)聯(lián)屬性時(shí)，根據(jù)所述關(guān)聯(lián)規(guī)則，進(jìn)行日志關(guān)聯(lián)，當(dāng)所述日志關(guān)聯(lián)滿足所述告警規(guī)則時(shí)，觸發(fā)所述告警單元；
[0009]所述告警單元，用于在接收到觸發(fā)時(shí)，進(jìn)行日志審計(jì)告警。
[0010]優(yōu)選地，上述日志審計(jì)的裝置，進(jìn)一步包括:規(guī)則引擎，其中，
[0011 ]所述規(guī)則引擎，用于接收至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，并為每一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID;
[0012]所述歸一化單元中，每一個(gè)歸一化進(jìn)程，用于加載所述規(guī)則引擎，根據(jù)所述歸一化規(guī)則，為日志文件分配對應(yīng)的任務(wù)對象，并為任務(wù)對象配置關(guān)聯(lián)屬性，并根據(jù)所述關(guān)聯(lián)規(guī)貝Ij，為所述任務(wù)對象確定對應(yīng)的RuleID，并根據(jù)RuleID，將所述任務(wù)對象和關(guān)聯(lián)屬性發(fā)送給所述日志關(guān)聯(lián)單元中的目標(biāo)關(guān)聯(lián)進(jìn)程；
[0013]所述日志關(guān)聯(lián)單元中，每一個(gè)關(guān)聯(lián)進(jìn)程，當(dāng)作為目標(biāo)關(guān)聯(lián)進(jìn)程時(shí)，用于接收所述歸一化單元發(fā)送的任務(wù)對象和關(guān)聯(lián)屬性，根據(jù)所述關(guān)聯(lián)屬性，設(shè)置任務(wù)對象，對所述任務(wù)對象進(jìn)行加I操作。
[0014]優(yōu)選地，上述日志審計(jì)的裝置，進(jìn)一步包括:緩存區(qū)域和數(shù)據(jù)庫，其中，
[0015]所述緩存區(qū)域，用于設(shè)置時(shí)間閾值，緩存所述歸一化單元配置的任務(wù)對象，并當(dāng)緩存對象達(dá)到所述時(shí)間閾值時(shí)，將緩存的任務(wù)對象存儲(chǔ)到所述數(shù)據(jù)庫，并刪除緩存的任務(wù)對象；
[0016]所述日志關(guān)聯(lián)單元中，每一個(gè)關(guān)聯(lián)進(jìn)程，當(dāng)作為目標(biāo)關(guān)聯(lián)進(jìn)程時(shí)，進(jìn)一步用于根據(jù)所述關(guān)聯(lián)屬性，在所述緩存區(qū)域查找對應(yīng)的任務(wù)對象，如果查找到所述任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，在所述數(shù)據(jù)庫中查找任務(wù)對象，如果在所述數(shù)據(jù)庫中查找到任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，增加新的任務(wù)對象給所述緩存區(qū)域。
[0017]優(yōu)選地，上述日志審計(jì)的裝置，進(jìn)一步包括:設(shè)置單元，其中，
[0018]所述設(shè)置單元，用于為所述歸一化單元中的每一個(gè)收集進(jìn)程和所述日志關(guān)聯(lián)單元中的每一個(gè)關(guān)聯(lián)進(jìn)程設(shè)置處理類及關(guān)聯(lián)關(guān)系；
[0019]所述歸一化單元中，每一個(gè)收集進(jìn)程間，用于根據(jù)所述設(shè)置單元設(shè)置的處理類，對接收到的日志文件進(jìn)行歸一化處理；
[0020]所述日志關(guān)聯(lián)單元中，每一個(gè)關(guān)聯(lián)進(jìn)程，用于根據(jù)所述設(shè)置單元設(shè)置的處理類，對接收到的日志文件進(jìn)行日志關(guān)聯(lián)；
[0021 ]所述每一個(gè)收集進(jìn)程之間、每一個(gè)關(guān)聯(lián)進(jìn)程之間及每一個(gè)收集進(jìn)程與每一個(gè)關(guān)聯(lián)進(jìn)程之間，根據(jù)所述關(guān)聯(lián)關(guān)系，進(jìn)行數(shù)據(jù)交互。
[0022]優(yōu)選地，上述日志審計(jì)的裝置，應(yīng)用于storm集群中，其中，
[0023]所述storm集群中，每一個(gè)節(jié)點(diǎn)，用于安裝所述日志審計(jì)的裝置中的任意一個(gè)或多個(gè)收集進(jìn)程、歸一化進(jìn)程及關(guān)聯(lián)進(jìn)程。
[0024]—種日志審計(jì)的系統(tǒng)，其特征在于，包括:上述任意一種日志審計(jì)的裝置和至少兩個(gè)設(shè)備，其中，
[0025]所述至少兩個(gè)設(shè)備中，每一個(gè)設(shè)備，用于向所述日志審計(jì)的裝置發(fā)送日志文件。
[0026]—種日志審計(jì)的方法，設(shè)置至少一個(gè)收集進(jìn)程、至少兩個(gè)歸一化進(jìn)程及至少兩個(gè)關(guān)聯(lián)進(jìn)程，為每一個(gè)歸一化進(jìn)程確定歸一化規(guī)則，并為每一個(gè)關(guān)聯(lián)進(jìn)程確定關(guān)聯(lián)規(guī)則和告警規(guī)則，還包括:
[0027]確定所述至少一個(gè)收集進(jìn)程中空閑的收集進(jìn)程；
[0028]利用空閑的收集進(jìn)程接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件；
[0029]確定所述至少兩個(gè)歸一化進(jìn)程中的空閑的歸一化進(jìn)程；
[0030]利用空閑歸一化進(jìn)程解析所述日志文件的屬性，根據(jù)所述歸一化規(guī)則和所述日志文件的屬性，確定所述日志文件的關(guān)聯(lián)屬性；
[0031]確定所述至少兩個(gè)關(guān)聯(lián)進(jìn)程中的空閑關(guān)聯(lián)進(jìn)程；
[0032]根據(jù)所述關(guān)聯(lián)規(guī)則，利用空閑關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，當(dāng)所述日志關(guān)聯(lián)滿足所述告警規(guī)則時(shí)，進(jìn)行日志審計(jì)告警。
[0033]優(yōu)選地，上述方法進(jìn)一步包括:
[0034]利用規(guī)則引擎設(shè)置至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，并為每一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID;
[0035]所述每一個(gè)歸一化進(jìn)程確定歸一化規(guī)則，包括:每一個(gè)歸一化進(jìn)程加載所述規(guī)則引擎設(shè)置的至少一種歸一化規(guī)則和關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID;
[0036]所述根據(jù)所述歸一化規(guī)則和所述日志文件的屬性，確定所述日志文件的關(guān)聯(lián)屬性，包括:根據(jù)所述歸一化規(guī)則，為日志文件分配對應(yīng)的任務(wù)對象，為任務(wù)對象配置關(guān)聯(lián)屬性，并為所述任務(wù)對象確定對應(yīng)的RuleID;
[0037]所述確定所述至少兩個(gè)關(guān)聯(lián)進(jìn)程中的空閑關(guān)聯(lián)進(jìn)程，包括:根據(jù)RulelD，確定目標(biāo)關(guān)耳關(guān)進(jìn)程；
[0038]所述利用空閑關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，包括:利用目標(biāo)關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)。
[0039]優(yōu)選地，上述方法進(jìn)一步包括:設(shè)置緩存區(qū)域和數(shù)據(jù)庫；
[0040]在所述緩存區(qū)域設(shè)置時(shí)間閾值；
[0041 ]在所述為日志文件分配對應(yīng)的任務(wù)對象之后，在所述利用目標(biāo)關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)之前，進(jìn)一步包括:利用所述緩存區(qū)域緩存所述任務(wù)對象，并當(dāng)緩存對象達(dá)到所述時(shí)間閾值時(shí)，將緩存的任務(wù)對象存儲(chǔ)到所述數(shù)據(jù)庫，并刪除緩存的任務(wù)對象；
[0042]所述利用目標(biāo)關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，包括:根據(jù)所述關(guān)聯(lián)屬性，在所述緩存區(qū)域查找對應(yīng)的任務(wù)對象，如果查找到所述任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，在所述數(shù)據(jù)庫中查找任務(wù)對象，如果在所述數(shù)據(jù)庫中查找到任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，增加新的任務(wù)對象給所述緩存區(qū)域。
[0043]優(yōu)選地，上述方法進(jìn)一步包括:為每一個(gè)收集進(jìn)程和每一個(gè)關(guān)聯(lián)進(jìn)程設(shè)置處理類及關(guān)聯(lián)關(guān)系;
[0044]根據(jù)所述關(guān)聯(lián)關(guān)系，所述每一個(gè)收集進(jìn)程之間、每一個(gè)關(guān)聯(lián)進(jìn)程之間及每一個(gè)收集進(jìn)程與每一個(gè)關(guān)聯(lián)進(jìn)程之間，進(jìn)行數(shù)據(jù)交互；
[0045]所述確定空閑的進(jìn)程，包括:根據(jù)日志文件屬性，確定目標(biāo)處理類，并在所述目標(biāo)處理類中，確定空閑的進(jìn)程。
[0046]本發(fā)明實(shí)施例提供了一種日志審計(jì)的裝置、系統(tǒng)和方法，該日志審計(jì)的裝置，與外設(shè)的至少兩個(gè)設(shè)備相連，包括:收集單元、歸一化單元、日志關(guān)聯(lián)單元及告警單元，其中，收集單元，包括:至少一個(gè)收集進(jìn)程，每一個(gè)收集進(jìn)程，用于當(dāng)空閑時(shí)，接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件;歸一化單元，包括:至少兩個(gè)歸一化進(jìn)程，每一個(gè)歸一化進(jìn)程，用于確定歸一化規(guī)則，當(dāng)空閑時(shí)，接收收集單元發(fā)送的所述日志文件，解析日志文件屬性，根據(jù)歸一化規(guī)則和日志文件屬性，確定日志文件的關(guān)聯(lián)屬性；日志關(guān)聯(lián)單元，包括:至少兩個(gè)關(guān)聯(lián)進(jìn)程，每一個(gè)關(guān)聯(lián)進(jìn)程，用于確定關(guān)聯(lián)規(guī)則和告警規(guī)則，當(dāng)接收到所述關(guān)聯(lián)屬性時(shí)，根據(jù)關(guān)聯(lián)規(guī)則，進(jìn)行日志關(guān)聯(lián)，當(dāng)日志關(guān)聯(lián)滿足告警規(guī)則時(shí)，觸發(fā)告警單元;告警單元，用于在接收到觸發(fā)時(shí)，進(jìn)行日志審計(jì)告警，由于本發(fā)明實(shí)施例提供的各種進(jìn)程在空閑時(shí)能夠?qū)Χ鄠€(gè)設(shè)備產(chǎn)生的日志進(jìn)行日志解析和關(guān)聯(lián)，實(shí)現(xiàn)了日志審計(jì)進(jìn)程負(fù)載均衡。
【附圖說明】
[0047]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0048]圖1是本發(fā)明一個(gè)實(shí)施例提供的一種日志審計(jì)的裝置的結(jié)構(gòu)示意圖；
[0049]圖2是本發(fā)明另一個(gè)實(shí)施例提供的一種日志審計(jì)的裝置的結(jié)構(gòu)示意圖；
[0050]圖3是本發(fā)明又一個(gè)實(shí)施例提供的一種日志審計(jì)的裝置的結(jié)構(gòu)示意圖；
[0051]圖4是本發(fā)明一個(gè)實(shí)施例提供的一種日志審計(jì)的系統(tǒng)的結(jié)構(gòu)示意圖；
[0052]圖5是本發(fā)明一個(gè)實(shí)施例提供的一種日志審計(jì)的方法的流程圖；
[0053]圖6是本發(fā)明另一個(gè)實(shí)施例提供的一種日志審計(jì)的方法的流程圖；
[0054]圖7是本發(fā)明一個(gè)實(shí)施例提供的進(jìn)程間的關(guān)聯(lián)關(guān)系的結(jié)構(gòu)示意圖；
[0055]圖8是本發(fā)明一個(gè)實(shí)施例提供的日志分配關(guān)聯(lián)進(jìn)程的規(guī)則示意圖。
【具體實(shí)施方式】
[0056]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例，基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0057]如圖1所示，本發(fā)明實(shí)施例提供一種日志審計(jì)的裝置，與外設(shè)的至少兩個(gè)設(shè)備相連，包括:收集單元101、歸一化單元102、日志關(guān)聯(lián)單元103及告警單元104，其中，
[0058]收集單元101，包括:至少一個(gè)收集進(jìn)程，每一個(gè)收集進(jìn)程，用于當(dāng)空閑時(shí)，接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件，并將日志文件發(fā)送給歸一化單元102;
[0059]歸一化單元102，包括:至少兩個(gè)歸一化進(jìn)程，每一個(gè)歸一化進(jìn)程，用于確定歸一化規(guī)則，當(dāng)空閑時(shí)，接收收集單元101發(fā)送的日志文件，解析日志文件屬性，根據(jù)歸一化規(guī)則和日志文件屬性，確定日志文件的關(guān)聯(lián)屬性，將關(guān)聯(lián)屬性發(fā)送給日志關(guān)聯(lián)單元103;
[0060]日志關(guān)聯(lián)單元103，包括:至少兩個(gè)關(guān)聯(lián)進(jìn)程，每一個(gè)關(guān)聯(lián)進(jìn)程，用于確定關(guān)聯(lián)規(guī)則和告警規(guī)則，當(dāng)接收到關(guān)聯(lián)屬性時(shí)，根據(jù)關(guān)聯(lián)規(guī)則，進(jìn)行日志關(guān)聯(lián)，當(dāng)日志關(guān)聯(lián)滿足告警規(guī)則時(shí)，觸發(fā)告警單元104;
[0061]告警單元104，用于在接收到觸發(fā)時(shí)，進(jìn)行日志審計(jì)告警。
[0062]如圖2所示，在本發(fā)明另一實(shí)施例中，上述日志審計(jì)的裝置進(jìn)一步包括:規(guī)則引擎201，其中，
[0063]規(guī)則引擎201，用于接收至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，并為每一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID ；
[0064]歸一化單元102中，每一個(gè)歸一化進(jìn)程，用于加載規(guī)則引擎201，根據(jù)歸一化規(guī)則，
為日志文件分配對應(yīng)的任務(wù)對象，并為任務(wù)對象配置關(guān)聯(lián)屬性，并根據(jù)關(guān)聯(lián)規(guī)則，為任務(wù)對象確定對應(yīng)的RulelD，并根據(jù)RulelD，將任務(wù)對象和關(guān)聯(lián)屬性發(fā)送給日志關(guān)聯(lián)單元103中的目標(biāo)關(guān)聯(lián)進(jìn)程；
[0065]日志關(guān)聯(lián)單元103中，每一個(gè)關(guān)聯(lián)進(jìn)程，當(dāng)作為目標(biāo)關(guān)聯(lián)進(jìn)程時(shí)，用于接收歸一化單元102發(fā)送的任務(wù)對象和關(guān)聯(lián)屬性，根據(jù)關(guān)聯(lián)屬性，設(shè)置任務(wù)對象，對任務(wù)對象進(jìn)行加I操作。
[0066]如圖3所示，在本發(fā)明又一實(shí)施例中，上述日志審計(jì)的裝置，進(jìn)一步包括:緩存區(qū)域301和數(shù)據(jù)庫302，其中，
[0067]緩存區(qū)域301，用于設(shè)置時(shí)間閾值，緩存歸一化單元102配置的任務(wù)對象，并當(dāng)緩存對象達(dá)到時(shí)間閾值時(shí)，將緩存的任務(wù)對象存儲(chǔ)到數(shù)據(jù)庫302，并刪除緩存的任務(wù)對象；
[0068]日志關(guān)聯(lián)單元103中，每一個(gè)關(guān)聯(lián)進(jìn)程，當(dāng)作為目標(biāo)關(guān)聯(lián)進(jìn)程時(shí)，進(jìn)一步用于根據(jù)關(guān)聯(lián)屬性，在緩存區(qū)域301查找對應(yīng)的任務(wù)對象，如果查找到任務(wù)對象，則對任務(wù)對象進(jìn)行加I操作，否則，在數(shù)據(jù)庫302中查找任務(wù)對象，如果在數(shù)據(jù)庫302中查找到任務(wù)對象，則對任務(wù)對象進(jìn)行加I操作，否則，增加新的任務(wù)對象給緩存區(qū)域301。
[0069]在本發(fā)明另一實(shí)施例中，上述日志審計(jì)的裝置，進(jìn)一步包括:設(shè)置單元(圖中未示出)，其中，
[0070]設(shè)置單元，用于為歸一化單元102中的每一個(gè)收集進(jìn)程和日志關(guān)聯(lián)單元103中的每一個(gè)關(guān)聯(lián)進(jìn)程設(shè)置處理類及關(guān)聯(lián)關(guān)系；
[0071]歸一化單元102中，每一個(gè)收集進(jìn)程間，用于根據(jù)設(shè)置單元設(shè)置的處理類，對接收到的日志文件進(jìn)行歸一化處理；
[0072]日志關(guān)聯(lián)單元103中，每一個(gè)關(guān)聯(lián)進(jìn)程，用于根據(jù)設(shè)置單元設(shè)置的處理類，對接收到的日志文件進(jìn)行日志關(guān)聯(lián)；
[0073]每一個(gè)收集進(jìn)程之間、每一個(gè)關(guān)聯(lián)進(jìn)程之間及每一個(gè)收集進(jìn)程與每一個(gè)關(guān)聯(lián)進(jìn)程之間，根據(jù)關(guān)聯(lián)關(guān)系，進(jìn)行數(shù)據(jù)交互。
[0074]在本發(fā)明又一實(shí)施例中，上述日志審計(jì)的裝置應(yīng)用于storm集群中，其中，
[0075]storm集群中，每一個(gè)節(jié)點(diǎn)，用于安裝日志審計(jì)的裝置中的任意一個(gè)或多個(gè)收集進(jìn)程、歸一化進(jìn)程及關(guān)聯(lián)進(jìn)程。
[0076]如圖4所示，本發(fā)明實(shí)施例提供一種日志審計(jì)的系統(tǒng)，該系統(tǒng)包括:上述任意一種日志審計(jì)的裝置401和至少兩個(gè)設(shè)備402，其中，
[0077]至少兩個(gè)設(shè)備402中，每一個(gè)設(shè)備，用于向日志審計(jì)的裝置401發(fā)送日志文件。
[0078]上述裝置/系統(tǒng)內(nèi)的各單元之間的信息交互、執(zhí)行過程等內(nèi)容，由于與本發(fā)明方法實(shí)施例基于同一構(gòu)思，具體內(nèi)容可參見本發(fā)明方法實(shí)施例中的敘述，此處不再贅述。
[0079]如圖5所示，本發(fā)明實(shí)施例提供了一種日志審計(jì)的方法，該方法可以包括以下步驟:
[0080]步驟501:設(shè)置至少一個(gè)收集進(jìn)程、至少兩個(gè)歸一化進(jìn)程及至少兩個(gè)關(guān)聯(lián)進(jìn)程；
[0081 ]步驟502:為每一個(gè)歸一化進(jìn)程確定歸一化規(guī)則，并為每一個(gè)關(guān)聯(lián)進(jìn)程確定關(guān)聯(lián)規(guī)則和告警規(guī)則；
[0082]步驟503:確定至少一個(gè)收集進(jìn)程中空閑的收集進(jìn)程；
[0083]步驟504:利用空閑的收集進(jìn)程接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件；
[0084]步驟505:確定至少兩個(gè)歸一化進(jìn)程中的空閑的歸一化進(jìn)程；
[0085]步驟506:利用空閑歸一化進(jìn)程解析日志文件的屬性，根據(jù)歸一化規(guī)則和日志文件的屬性，確定日志文件的關(guān)聯(lián)屬性；
[0086]步驟507:確定至少兩個(gè)關(guān)聯(lián)進(jìn)程中的空閑關(guān)聯(lián)進(jìn)程；
[0087]步驟508:根據(jù)關(guān)聯(lián)規(guī)則，利用空閑關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，當(dāng)日志關(guān)聯(lián)滿足告警規(guī)則時(shí)，進(jìn)行日志審計(jì)告警。
[0088]在本發(fā)明一個(gè)實(shí)施例中，上述方法進(jìn)一步包括:利用規(guī)則引擎設(shè)置至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，并為每一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID;步驟502的【具體實(shí)施方式】，包括:每一個(gè)歸一化進(jìn)程加載規(guī)則引擎設(shè)置的至少一種歸一化規(guī)則和關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RulelD；步驟505的【具體實(shí)施方式】，包括:根據(jù)歸一化規(guī)則，為日志文件分配對應(yīng)的任務(wù)對象，為任務(wù)對象配置關(guān)聯(lián)屬性，并為任務(wù)對象確定對應(yīng)的RuleID;步驟507的【具體實(shí)施方式】，包括:根據(jù)RuleID，確定目標(biāo)關(guān)聯(lián)進(jìn)程;步驟508的【具體實(shí)施方式】，包括:利用目標(biāo)關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，通過規(guī)則引擎用戶可以按照自己的需求設(shè)置各種規(guī)則，實(shí)現(xiàn)了規(guī)則設(shè)置的靈活性，例如:用戶利用規(guī)則引擎設(shè)置規(guī)則1、規(guī)則2等等，該規(guī)貝IJl和規(guī)則2可以直接通過進(jìn)程加載規(guī)則引擎實(shí)現(xiàn)配置。
[0089]在本發(fā)明一個(gè)實(shí)施例中，為了保證日志關(guān)聯(lián)的準(zhǔn)確性，同時(shí)保證日志審計(jì)的效率，上述方法進(jìn)一步包括:設(shè)置緩存區(qū)域和數(shù)據(jù)庫;在所述緩存區(qū)域設(shè)置時(shí)間閾值;利用緩存區(qū)域緩存任務(wù)對象，并當(dāng)緩存對象達(dá)到時(shí)間閾值時(shí)，將緩存的任務(wù)對象存儲(chǔ)到數(shù)據(jù)庫，并刪除緩存的任務(wù)對象;步驟508的【具體實(shí)施方式】，包括:根據(jù)關(guān)聯(lián)屬性，在緩存區(qū)域查找對應(yīng)的任務(wù)對象，如果查找到任務(wù)對象，則對任務(wù)對象進(jìn)行加I操作，否則，在數(shù)據(jù)庫中查找任務(wù)對象，如果在數(shù)據(jù)庫中查找到任務(wù)對象，則對任務(wù)對象進(jìn)行加I操作，否則，增加新的任務(wù)對象給緩存區(qū)域。
[0090]在本發(fā)明一個(gè)實(shí)施例中，為了實(shí)現(xiàn)分類處理日志，同時(shí)保證各進(jìn)程間的通信，上述方法進(jìn)一步包括:為每一個(gè)收集進(jìn)程和每一個(gè)關(guān)聯(lián)進(jìn)程設(shè)置處理類及關(guān)聯(lián)關(guān)系;根據(jù)關(guān)聯(lián)關(guān)系，每一個(gè)收集進(jìn)程之間、每一個(gè)關(guān)聯(lián)進(jìn)程之間及每一個(gè)收集進(jìn)程與每一個(gè)關(guān)聯(lián)進(jìn)程之間，進(jìn)行數(shù)據(jù)交互;確定空閑的進(jìn)程，包括:根據(jù)日志文件屬性，確定目標(biāo)處理類，并在目標(biāo)處理類中，確定空閑的進(jìn)程。
[0091]以審計(jì)某一網(wǎng)站帳戶登錄的頻次，從而判斷該網(wǎng)站是否被惡意攻擊或惡意訪問為例，詳細(xì)說明日志審計(jì)的方法，如圖6所示，該方法可以包括以下步驟:
[0092]步驟601:設(shè)置至少一個(gè)收集進(jìn)程、至少兩個(gè)歸一化進(jìn)程及至少兩個(gè)關(guān)聯(lián)進(jìn)程；
[0093]在該步驟中，可以基于Topology架構(gòu)構(gòu)建不同的進(jìn)程，其中，Topology是由spout和boIt組成的，spout負(fù)責(zé)向bolt發(fā)送消息，bolt負(fù)責(zé)處理消息，并把消息發(fā)送給下一個(gè)bolt。在該步驟中需要定義spout和bolt的處理類，以及它們之間的連接關(guān)系，從而實(shí)現(xiàn)設(shè)置至少一個(gè)收集進(jìn)程、至少兩個(gè)歸一化進(jìn)程及至少兩個(gè)關(guān)聯(lián)進(jìn)程。如圖7所示，spoutA為一個(gè)收集進(jìn)程，bo 11A和bo I tB是歸一化進(jìn)程;bo I tC和bo I tD是關(guān)聯(lián)進(jìn)程，其中，spout A與bo 11A和bo ItB交互數(shù)據(jù);bo ItA和bo ItB與bo ItC和bo ItD交互數(shù)據(jù)。
[0094]步驟602:利用規(guī)則引擎設(shè)置至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，并為每一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID及網(wǎng)站帳戶登錄的頻次；
[°°95] 在該步驟中，可以通過Topology架構(gòu)中的spoutB設(shè)置至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，該spoutB將歸一化規(guī)則和關(guān)聯(lián)規(guī)則發(fā)送給boltA和1301丨13，1301丨4和130]^13再將關(guān)聯(lián)規(guī)則發(fā)送給boltC和boltD，為了使關(guān)聯(lián)規(guī)則比較容易查找，一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RulelD。
[0096]步驟603:設(shè)置緩存區(qū)域和數(shù)據(jù)庫，在緩存區(qū)域設(shè)置時(shí)間閾值；
[0097]在該步驟設(shè)置的緩存區(qū)域和數(shù)據(jù)庫主要是為了緩存和存儲(chǔ)任務(wù)對象如某一網(wǎng)站登錄頻次統(tǒng)計(jì)。
[0098]步驟604:將至少一個(gè)收集進(jìn)程、至少兩個(gè)歸一化進(jìn)程及至少兩個(gè)關(guān)聯(lián)進(jìn)程分散到s tr om集群中的各個(gè)節(jié)點(diǎn)上；
[0099]該步驟可以使歸一化進(jìn)程和關(guān)聯(lián)進(jìn)程設(shè)置在不同的節(jié)點(diǎn)上，保證進(jìn)程間相對獨(dú)立，能夠?yàn)槎鄠€(gè)設(shè)備服務(wù)器提供服務(wù)，從而保證進(jìn)程負(fù)載的均衡。
[0100]步驟605:在各個(gè)節(jié)點(diǎn)加載規(guī)則引擎；
[0101]步驟606:為各個(gè)節(jié)點(diǎn)中的歸一化進(jìn)程確定歸一化規(guī)則，并為關(guān)聯(lián)進(jìn)程確定關(guān)聯(lián)規(guī)則和告警規(guī)則；
[0102]例如:為boltA和boltB確定歸一化規(guī)則，以通過boltA和boltB對日志進(jìn)行分類;為bo I tC確定關(guān)聯(lián)規(guī)則I對應(yīng)Ru I e I;為bo I tD確定關(guān)聯(lián)規(guī)則2對應(yīng)Ru I e2。
[0103]步驟607:確定各個(gè)節(jié)點(diǎn)中空閑的收集進(jìn)程；
[0104]步驟608:利用各個(gè)節(jié)點(diǎn)中空閑的收集進(jìn)程接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的網(wǎng)站登錄日志文件；
[0105]步驟609:利用收集進(jìn)程確定各個(gè)節(jié)點(diǎn)中空閑的歸一化進(jìn)程；
[0106]步驟610:利用空閑歸一化進(jìn)程解析網(wǎng)站登錄日志文件的屬性，根據(jù)歸一化規(guī)則和日志文件的屬性，確定任務(wù)對象；
[0107]如圖8所示，通過步驟607至步驟610，確定出bo ItA和bo ItB空閑，確定為boltA分配1gl和log2;為boltB分配log3、log4及l(fā)og5，對日志文件的屬性如日志文件名稱等等進(jìn)行解析。
[0108]步驟611:為任務(wù)對象配置關(guān)聯(lián)屬性及對應(yīng)的RuleID;
[0109]在該步驟中，給日志對應(yīng)的任務(wù)對象增加關(guān)聯(lián)屬性即相似性屬性如需要包括日志所屬設(shè)備，表示同一設(shè)備的日志關(guān)聯(lián)，并根據(jù)關(guān)聯(lián)規(guī)則如對登陸頻次進(jìn)行統(tǒng)計(jì)等等。如圖8所示，根據(jù)日志的相似屬性，為1gl配置Rulel;為10〖2、log3、log4及l(fā)og5配置Rule2。
[0110]步驟612:確定至少兩個(gè)關(guān)聯(lián)進(jìn)程中的空閑關(guān)聯(lián)進(jìn)程；
[0111]步驟613:根據(jù)RulelD，在空閑關(guān)聯(lián)進(jìn)程中確定目標(biāo)關(guān)聯(lián)進(jìn)程；
[0112]如圖8所示，將 1gl 分配給13011:(];將1(^2、1(^3、1(^4及1(^5分配給1301七0。
[0113]步驟614:根據(jù)關(guān)聯(lián)規(guī)則和任務(wù)對象的關(guān)聯(lián)屬性及對應(yīng)的RuleID，目標(biāo)關(guān)聯(lián)進(jìn)程查找緩存區(qū)域是否存在該任務(wù)對象，如果是，則執(zhí)行步驟615;否則，執(zhí)行步驟616;
[0114]該任務(wù)對象為對網(wǎng)站登錄頻次的統(tǒng)計(jì)，在該步驟中，如果之前對該網(wǎng)站已經(jīng)有登錄記錄，那么會(huì)在緩存區(qū)域有緩存任務(wù)對象。
[0115]步驟615:對緩存區(qū)域中的任務(wù)對象的頻次執(zhí)行加I操作，判斷該任務(wù)對象總頻次是否達(dá)到頻次閾值，如果是，則執(zhí)行步驟617;否則，執(zhí)行步驟608;
[0116]例如:可以設(shè)置頻次閾值為100次，即在24內(nèi)某一帳戶登錄超過100次即認(rèn)定該帳戶被惡意攻擊。
[0117]步驟616:目標(biāo)關(guān)聯(lián)進(jìn)程查找數(shù)據(jù)庫是否存在該任務(wù)對象，如果是，則執(zhí)行步驟618，否則，執(zhí)行步驟619;
[0118]步驟617:進(jìn)行告警，并將任務(wù)對象頻次清零，執(zhí)行步驟608;
[0119]該步驟的告警可以通過郵件或者短消息的方式發(fā)送給用戶，以讓用戶及時(shí)對其賬戶進(jìn)行處理。
[0120]步驟618:對將該任務(wù)對象加載到緩存區(qū)域，執(zhí)行步驟615;
[0121]步驟619:將任務(wù)對象存儲(chǔ)到緩存區(qū)域，并當(dāng)任意任務(wù)對象在緩存區(qū)域中的時(shí)間達(dá)到時(shí)間閾值時(shí)，存儲(chǔ)到數(shù)據(jù)庫中。
[0122]根據(jù)上述方案，本發(fā)明的各實(shí)施例，至少具有如下有益效果:
[0123]1.該日志審計(jì)的裝置，與外設(shè)的至少兩個(gè)設(shè)備相連，包括:收集單元、歸一化單元、日志關(guān)聯(lián)單元及告警單元，其中，收集單元，包括:至少一個(gè)收集進(jìn)程，每一個(gè)收集進(jìn)程，用于當(dāng)空閑時(shí)，接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件；歸一化單元，包括:至少兩個(gè)歸一化進(jìn)程，每一個(gè)歸一化進(jìn)程，用于確定歸一化規(guī)則，當(dāng)空閑時(shí)，接收收集單元發(fā)送的所述日志文件，解析日志文件屬性，根據(jù)歸一化規(guī)則和日志文件屬性，確定日志文件的關(guān)聯(lián)屬性；日志關(guān)聯(lián)單元，包括:至少兩個(gè)關(guān)聯(lián)進(jìn)程，每一個(gè)關(guān)聯(lián)進(jìn)程，用于確定關(guān)聯(lián)規(guī)則和告警規(guī)則，當(dāng)接收到所述關(guān)聯(lián)屬性時(shí)，根據(jù)關(guān)聯(lián)規(guī)則，進(jìn)行日志關(guān)聯(lián)，當(dāng)日志關(guān)聯(lián)滿足告警規(guī)則時(shí)，觸發(fā)告警單元；告警單元，用于在接收到觸發(fā)時(shí)，進(jìn)行日志審計(jì)告警，由于本發(fā)明實(shí)施例提供的各種進(jìn)程在空閑時(shí)能夠?qū)Χ鄠€(gè)設(shè)備產(chǎn)生的日志進(jìn)行日志解析和關(guān)聯(lián)，實(shí)現(xiàn)了日志審計(jì)進(jìn)程負(fù)載均衡。
[0124]2.通過Storm集群的方式，將多個(gè)進(jìn)程分散到各個(gè)節(jié)點(diǎn)上，可以接收多個(gè)設(shè)備的日志，并對多個(gè)設(shè)備的日志并行進(jìn)行日志審計(jì)，實(shí)現(xiàn)了資源共享。
[0125]3.本發(fā)明實(shí)施例提供至少兩個(gè)歸一化進(jìn)程和至少兩個(gè)關(guān)聯(lián)進(jìn)程，而且通過將符合同一規(guī)則的日志被同一關(guān)聯(lián)進(jìn)程處理，便于對日志的關(guān)聯(lián)性進(jìn)行統(tǒng)計(jì)，同時(shí)有效的提高了日志審計(jì)的效率。
[0126]4.在關(guān)聯(lián)進(jìn)程進(jìn)行關(guān)聯(lián)統(tǒng)計(jì)時(shí)，通過緩存區(qū)域和數(shù)據(jù)庫結(jié)合的方式緩存和存儲(chǔ)任務(wù)對象，當(dāng)緩存區(qū)域緩存的任務(wù)對象達(dá)到一定時(shí)間閾值時(shí)，將任務(wù)對象存儲(chǔ)到數(shù)據(jù)庫，這樣保證緩存區(qū)域的緩存效率，同時(shí)在進(jìn)行任務(wù)對象的關(guān)聯(lián)時(shí)，首先查找緩存區(qū)域中，然后查找數(shù)據(jù)庫，即以緩存區(qū)域?yàn)橹鳎瑪?shù)據(jù)庫為輔，從而進(jìn)一步有效地提高了日志審計(jì)的效率。
[0127]需要說明的是，在本文中，諸如第一和第二之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)〃.....”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同因素。
[0128]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲(chǔ)在計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，執(zhí)行包括上述方法實(shí)施例的步驟;而前述的存儲(chǔ)介質(zhì)包括:ROM、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)中。
[0129]最后需要說明的是:以上所述僅為本發(fā)明的較佳實(shí)施例，僅用于說明本發(fā)明的技術(shù)方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所做的任何修改、等同替換、改進(jìn)等，均包含在本發(fā)明的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種日志審計(jì)的裝置，其特征在于，與外設(shè)的至少兩個(gè)設(shè)備相連，包括:收集單元、歸一化單元、日志關(guān)聯(lián)單元及告警單元，其中， 所述收集單元，包括:至少一個(gè)收集進(jìn)程，每一個(gè)收集進(jìn)程，用于當(dāng)空閑時(shí)，接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件，并將所述日志文件發(fā)送給所述歸一化單元； 所述歸一化單元，包括:至少兩個(gè)歸一化進(jìn)程，每一個(gè)歸一化進(jìn)程，用于確定歸一化規(guī)則，當(dāng)空閑時(shí)，接收所述收集單元發(fā)送的所述日志文件，解析所述日志文件屬性，根據(jù)所述歸一化規(guī)則和所述日志文件屬性，確定所述日志文件的關(guān)聯(lián)屬性，將所述關(guān)聯(lián)屬性發(fā)送給所述日志關(guān)聯(lián)單元； 所述日志關(guān)聯(lián)單元，包括:至少兩個(gè)關(guān)聯(lián)進(jìn)程，每一個(gè)關(guān)聯(lián)進(jìn)程，用于確定關(guān)聯(lián)規(guī)則和告警規(guī)則，當(dāng)接收到所述關(guān)聯(lián)屬性時(shí)，根據(jù)所述關(guān)聯(lián)規(guī)則，進(jìn)行日志關(guān)聯(lián)，當(dāng)所述日志關(guān)聯(lián)滿足所述告警規(guī)則時(shí)，觸發(fā)所述告警單元； 所述告警單元，用于在接收到觸發(fā)時(shí)，進(jìn)行日志審計(jì)告警。2.根據(jù)權(quán)利要求1所述的日志審計(jì)的裝置，其特征在于，進(jìn)一步包括:規(guī)則引擎，其中， 所述規(guī)則引擎，用于接收至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，并為每一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID; 所述歸一化單元中，每一個(gè)歸一化進(jìn)程，用于加載所述規(guī)則引擎，根據(jù)所述歸一化規(guī)則，為日志文件分配對應(yīng)的任務(wù)對象，并為任務(wù)對象配置關(guān)聯(lián)屬性，并根據(jù)所述關(guān)聯(lián)規(guī)則，為所述任務(wù)對象確定對應(yīng)的RuleID，并根據(jù)RuleID，將所述任務(wù)對象和關(guān)聯(lián)屬性發(fā)送給所述日志關(guān)聯(lián)單元中的目標(biāo)關(guān)聯(lián)進(jìn)程； 所述日志關(guān)聯(lián)單元中，每一個(gè)關(guān)聯(lián)進(jìn)程，當(dāng)作為目標(biāo)關(guān)聯(lián)進(jìn)程時(shí)，用于接收所述歸一化單元發(fā)送的任務(wù)對象和關(guān)聯(lián)屬性，根據(jù)所述關(guān)聯(lián)屬性，設(shè)置任務(wù)對象，對所述任務(wù)對象進(jìn)行加I操作。3.根據(jù)權(quán)利要求2所述的日志審計(jì)的裝置，其特征在于，進(jìn)一步包括:緩存區(qū)域和數(shù)據(jù)庫，其中， 所述緩存區(qū)域，用于設(shè)置時(shí)間閾值，緩存所述歸一化單元配置的任務(wù)對象，并當(dāng)緩存對象達(dá)到所述時(shí)間閾值時(shí)，將緩存的任務(wù)對象存儲(chǔ)到所述數(shù)據(jù)庫，并刪除緩存的任務(wù)對象；所述日志關(guān)聯(lián)單元中，每一個(gè)關(guān)聯(lián)進(jìn)程，當(dāng)作為目標(biāo)關(guān)聯(lián)進(jìn)程時(shí)，進(jìn)一步用于根據(jù)所述關(guān)聯(lián)屬性，在所述緩存區(qū)域查找對應(yīng)的任務(wù)對象，如果查找到所述任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，在所述數(shù)據(jù)庫中查找任務(wù)對象，如果在所述數(shù)據(jù)庫中查找到任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，增加新的任務(wù)對象給所述緩存區(qū)域。4.根據(jù)權(quán)利要求1至3任一所述的日志審計(jì)的裝置，其特征在于，進(jìn)一步包括:設(shè)置單元，其中， 所述設(shè)置單元，用于為所述歸一化單元中的每一個(gè)收集進(jìn)程和所述日志關(guān)聯(lián)單元中的每一個(gè)關(guān)聯(lián)進(jìn)程設(shè)置處理類及關(guān)聯(lián)關(guān)系； 所述歸一化單元中，每一個(gè)收集進(jìn)程間，用于根據(jù)所述設(shè)置單元設(shè)置的處理類，對接收到的日志文件進(jìn)行歸一化處理； 所述日志關(guān)聯(lián)單元中，每一個(gè)關(guān)聯(lián)進(jìn)程，用于根據(jù)所述設(shè)置單元設(shè)置的處理類，對接收到的日志文件進(jìn)行日志關(guān)聯(lián)； 所述每一個(gè)收集進(jìn)程之間、每一個(gè)關(guān)聯(lián)進(jìn)程之間及每一個(gè)收集進(jìn)程與每一個(gè)關(guān)聯(lián)進(jìn)程之間，根據(jù)所述關(guān)聯(lián)關(guān)系，進(jìn)行數(shù)據(jù)交互。5.根據(jù)權(quán)利要求1至3任一所述的日志審計(jì)的裝置，其特征在于，應(yīng)用于storm集群中，其中， 所述storm集群中，每一個(gè)節(jié)點(diǎn)，用于安裝所述日志審計(jì)的裝置中的任意一個(gè)或多個(gè)收集進(jìn)程、歸一化進(jìn)程及關(guān)聯(lián)進(jìn)程。6.—種日志審計(jì)的系統(tǒng)，其特征在于，包括:權(quán)利要求1至5任一所述日志審計(jì)的裝置和至少兩個(gè)設(shè)備，其中， 所述至少兩個(gè)設(shè)備中，每一個(gè)設(shè)備，用于向所述日志審計(jì)的裝置發(fā)送日志文件。7.—種日志審計(jì)的方法，其特征在于，設(shè)置至少一個(gè)收集進(jìn)程、至少兩個(gè)歸一化進(jìn)程及至少兩個(gè)關(guān)聯(lián)進(jìn)程，為每一個(gè)歸一化進(jìn)程確定歸一化規(guī)則，并為每一個(gè)關(guān)聯(lián)進(jìn)程確定關(guān)聯(lián)規(guī)則和告警規(guī)則，還包括: 確定所述至少一個(gè)收集進(jìn)程中空閑的收集進(jìn)程； 利用空閑的收集進(jìn)程接收外設(shè)的至少兩個(gè)設(shè)備發(fā)送的日志文件； 確定所述至少兩個(gè)歸一化進(jìn)程中的空閑的歸一化進(jìn)程； 利用空閑歸一化進(jìn)程解析所述日志文件的屬性，根據(jù)所述歸一化規(guī)則和所述日志文件的屬性，確定所述日志文件的關(guān)聯(lián)屬性； 確定所述至少兩個(gè)關(guān)聯(lián)進(jìn)程中的空閑關(guān)聯(lián)進(jìn)程； 根據(jù)所述關(guān)聯(lián)規(guī)則，利用空閑關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，當(dāng)所述日志關(guān)聯(lián)滿足所述告警規(guī)則時(shí)，進(jìn)行日志審計(jì)告警。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，進(jìn)一步包括: 利用規(guī)則引擎設(shè)置至少一種歸一化規(guī)則和至少一種關(guān)聯(lián)規(guī)則，并為每一種關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID; 所述每一個(gè)歸一化進(jìn)程確定歸一化規(guī)則，包括:每一個(gè)歸一化進(jìn)程加載所述規(guī)則引擎設(shè)置的至少一種歸一化規(guī)則和關(guān)聯(lián)規(guī)則設(shè)置對應(yīng)的RuleID; 所述根據(jù)所述歸一化規(guī)則和所述日志文件的屬性，確定所述日志文件的關(guān)聯(lián)屬性，包括:根據(jù)所述歸一化規(guī)則，為日志文件分配對應(yīng)的任務(wù)對象，為任務(wù)對象配置關(guān)聯(lián)屬性，并為所述任務(wù)對象確定對應(yīng)的RuleID; 所述確定所述至少兩個(gè)關(guān)聯(lián)進(jìn)程中的空閑關(guān)聯(lián)進(jìn)程，包括:根據(jù)RulelD，確定目標(biāo)關(guān)聯(lián)進(jìn)程； 所述利用空閑關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，包括:利用目標(biāo)關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，進(jìn)一步包括:設(shè)置緩存區(qū)域和數(shù)據(jù)庫； 在所述緩存區(qū)域設(shè)置時(shí)間閾值； 在所述為日志文件分配對應(yīng)的任務(wù)對象之后，在所述利用目標(biāo)關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)之前，進(jìn)一步包括:利用所述緩存區(qū)域緩存所述任務(wù)對象，并當(dāng)緩存對象達(dá)到所述時(shí)間閾值時(shí)，將緩存的任務(wù)對象存儲(chǔ)到所述數(shù)據(jù)庫，并刪除緩存的任務(wù)對象； 所述利用目標(biāo)關(guān)聯(lián)進(jìn)程進(jìn)行日志關(guān)聯(lián)，包括:根據(jù)所述關(guān)聯(lián)屬性，在所述緩存區(qū)域查找對應(yīng)的任務(wù)對象，如果查找到所述任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，在所述數(shù)據(jù)庫中查找任務(wù)對象，如果在所述數(shù)據(jù)庫中查找到任務(wù)對象，則對所述任務(wù)對象進(jìn)行加I操作，否則，增加新的任務(wù)對象給所述緩存區(qū)域。10.根據(jù)權(quán)利要求7至9任一所述的方法，其特征在于，進(jìn)一步包括:為每一個(gè)收集進(jìn)程和每一個(gè)關(guān)聯(lián)進(jìn)程設(shè)置處理類及關(guān)聯(lián)關(guān)系； 根據(jù)所述關(guān)聯(lián)關(guān)系，所述每一個(gè)收集進(jìn)程之間、每一個(gè)關(guān)聯(lián)進(jìn)程之間及每一個(gè)收集進(jìn)程與每一個(gè)關(guān)聯(lián)進(jìn)程之間，進(jìn)行數(shù)據(jù)交互； 所述確定空閑的進(jìn)程，包括:根據(jù)日志文件屬性，確定目標(biāo)處理類，并在所述目標(biāo)處理類中，確定空閑的進(jìn)程。
【文檔編號】G06F17/30GK106095575SQ201610415448
【公開日】2016年11月9日
【申請日】2016年6月14日 公開號201610415448.9, CN 106095575 A, CN 106095575A, CN 201610415448, CN-A-106095575, CN106095575 A, CN106095575A, CN201610415448, CN201610415448.9
【發(fā)明人】楊繼偉
【申請人】上海浪潮云計(jì)算服務(wù)有限公司