一種海量日志統(tǒng)計分析系統(tǒng)和方法
【專利摘要】本發(fā)明公開了一種海量日志統(tǒng)計分析系統(tǒng)，包括預處理模塊、時間滑動窗口模塊和日志結果模塊；其中，所述預處理模塊，用于根據配置的統(tǒng)計分析策略對日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊；所述時間滑動窗口模塊，用于根據配置的統(tǒng)計分析策略對預處理結果進行分析，并將分析結果發(fā)送至日志結果模塊；所述日志結果模塊，用于根據配置的統(tǒng)計分析策略和分析結果拼裝日志檢索語句，向用戶提供檢索到的日志信息。本發(fā)明還公開了一種海量日志統(tǒng)計分析方法，采用本發(fā)明，能夠優(yōu)化海量日志統(tǒng)計分析方法，提高了統(tǒng)計分析效率。
【專利說明】一種海量日志統(tǒng)計分析系統(tǒng)和方法
【技術領域】
[0001]本發(fā)明涉及通信網絡中的日志統(tǒng)計分析技術，尤其涉及一種海量日志統(tǒng)計分析系統(tǒng)和方法。
【背景技術】
[0002]隨著現代通信技術的飛速發(fā)展以及人們信息量需求的增大，行業(yè)用戶的網絡結構變的越來越復雜。網絡的集中帶動數據和應用的集中，各級數據中心應用系統(tǒng)越來越龐大，管理復雜度越來越高。對于安全管理人員來說，需要定期分析大量網絡設備、安全設備、應用系統(tǒng)、數據庫和主機等產生的海量日志。通過對海量日志的統(tǒng)計分析，識別出潛在的安全風險。
[0003]目前，對海量日志的統(tǒng)計分析一般采用三種方式:第一種是將IT日志存儲在數據庫，通過應用取出日志數據，直接使用滑動窗口的方式進行本地統(tǒng)計分析，但是，這種方式在海量日志情況下，取到本地的數據量太大，應用的處理效率低，難以承受資源消耗的壓力；第二種是將日志存儲在數據庫，利用數據庫做統(tǒng)計分析，但是，由于事件起止時間難以確定，所以通過數據庫做統(tǒng)計分析效率低，數據庫資源消耗大；第三種是對獲取到的日志通過時間滑動窗口做實時統(tǒng)計分析，此種方式的優(yōu)點是較實時，但是，如果統(tǒng)計時間周期過長，比如一天內同一賬號相關操作超過N次，時間滑動窗口的處理壓力過大，造成分析效率低。

【發(fā)明內容】

[0004]有鑒于此，本發(fā)明的主要目的在于提供一種海量日志統(tǒng)計分析系統(tǒng)和方法，能夠對海量日志進行高效的統(tǒng)計分析。
[0005]為達到上述目的，本發(fā)明的技術方案是這樣實現的:
[0006]本發(fā)明提供了一種海量日志統(tǒng)計分析系統(tǒng)，該系統(tǒng)包括:預處理模塊、時間滑動窗口模塊和日志結果模塊；其中，
[0007]所述預處理模塊，用于存儲采集到的日志，根據配置的統(tǒng)計分析策略對日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊；
[0008]所述時間滑動窗口模塊，用于根據配置的統(tǒng)計分析策略對所述預處理結果進行分析，并將分析結果發(fā)送至日志結果模塊；
[0009]所述日志結果模塊，用于根據配置的統(tǒng)計分析策略和所述分析結果拼裝日志檢索語句，向用戶提供檢索到的日志信息。
[0010]上述方案中，所述系統(tǒng)進一步包括:配置模塊，用于配置統(tǒng)計分析策略，并發(fā)送至預處理模塊、時間滑動窗口模塊和日志結果模塊。
[0011]上述方案中，所述日志結果模塊，進一步用于:根據配置的用戶權限信息提供日志檢索功能給具有權限的用戶。
[0012]上述方案中，所述配置模塊包括權限配置模塊和策略配置模塊；其中，[0013]所述權限配置模塊，用于配置用戶權限信息，并發(fā)送至日志結果模塊；
[0014]所述策略配置模塊，用于配置統(tǒng)計分析策略，并發(fā)送至預處理模塊、時間滑動窗口模塊和日志結果模塊。
[0015]上述方案中，所述預處理模塊包括日志存儲模塊和分析預處理模塊；其中，
[0016]所述日志存儲模塊，用于存儲采集到的日志；
[0017]所述分析預處理模塊，用于根據配置的統(tǒng)計分析策略對日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊。
[0018]上述方案中，所述日志結果模塊包括日志拼裝模塊和日志檢索模塊；其中，
[0019]所述日志拼裝模塊，用于根據配置的統(tǒng)計分析策略和所述分析結果拼裝日志檢索語句；
[0020]所述日志檢索模塊，用于向用戶提供檢索到的日志信息。
[0021]上述方案中，所述日志檢索模塊，進一步用于根據配置的用戶權限信息將檢索到的日志信息提供給對應檢索權限的用戶。
[0022]本發(fā)明提供了一種海量日志統(tǒng)計分析方法，該方法包括:
[0023]根據配置的統(tǒng)計分析策略對日志進行預處理，得到預處理結果；
[0024]根據配置的統(tǒng)計分析策略對所述預處理結果進行分析，得到分析結果；
[0025]根據配置的統(tǒng)計分析策略和所述分析結果拼裝日志檢索語句，向用戶提供檢索到的日志信息。
[0026]上述方案中，所述向用戶提供檢索到的日志信息，包括:
[0027]根據配置的用戶權限信息將檢索到的日志信息提供給對應檢索權限的用戶。
[0028]上述方案中，所述預處理包括:
[0029]將預處理操作編成相應的MapReduce方法；
[0030]將MapReduce方法并發(fā)在分布式數據節(jié)點上，根據配置的統(tǒng)計分析策略對日志進行預處理。
[0031]本發(fā)明提供的海量日志統(tǒng)計分析系統(tǒng)和方法，將預處理模塊、時間滑動窗口模塊內置到所述系統(tǒng)中，預處理模塊根據配置好的預處理策略對日志進行統(tǒng)計，確定了事件起止時間及統(tǒng)計時間周期，時間滑動窗口模塊根據時間窗口策略對預處理結果進行分析，如此，優(yōu)化了統(tǒng)計分析方法，提高了統(tǒng)計分析效率。
[0032]另外，將日志結果模塊內置到所述系統(tǒng)中，日志結果模塊根據配置好的用戶權限信息，對用戶進行身份驗證，只有具有權限的用戶才能對日志進行檢索，提高了日志信息的安全性。
【專利附圖】

【附圖說明】
[0033]圖1為本發(fā)明海量日志統(tǒng)計分析系統(tǒng)的組成結構示意圖；
[0034]圖2為本發(fā)明海量日志統(tǒng)計分析方法的實現流程示意圖。
【具體實施方式】
[0035]為了能夠更加詳盡地了解本發(fā)明的特點與技術內容，下面結合附圖對本發(fā)明的實現進行詳細闡述，所附附圖僅供參考說明之用，并非用來限定本發(fā)明。[0036]圖1為本發(fā)明海量日志統(tǒng)計分析系統(tǒng)的組成結構示意圖，如圖1所示，該系統(tǒng)包括:配置模塊11、預處理模塊12、時間滑動窗口模塊13、日志結果模塊14 ;其中，
[0037]所述配置模塊11，用于配置統(tǒng)計分析策略，并發(fā)送至預處理模塊12、時間滑動窗口模塊13、日志結果模塊14進行統(tǒng)計分析；進一步用于配置用戶權限信息，并發(fā)送至日志結果模塊14進行用戶身份驗證；
[0038]這里，所述配置用戶權限是指配置用戶對日志的檢索權限；
[0039]這里，所述用戶身份驗證是指:將用戶標識和用戶所需檢索的日志的相關信息與配置好的用戶權限信息進行比對，當匹配到的用戶標識對應的檢索權限與用戶所需檢索的日志的相關信息一致時，即為驗證成功，表明用戶可以檢索相應的日志信息，向用戶提供檢索到的對應日志信息；當匹配到的用戶標識對應的檢索權限與用戶所需檢索的日志的相關信息不一致、或匹配不到用戶標識時，即為驗證失敗，表明用戶不可以檢索相應的日志信息，不向用戶提供檢索到的對應日志信息；
[0040]這里,所述統(tǒng)計分析策略包括:預處理策略、時間窗口策略、日志拼裝策略；進一步的，預處理策略是指統(tǒng)計單位周期時間內某類操作的信息，如一分鐘周期內登錄某一網址的信息，所述信息包括:用戶名、登錄地點、登錄時間等等；時間窗口策略是指分析某類操作的信息，如分析該操作是否同一用戶、是否不同登錄地點、是否超過時間周期等等；日志拼裝策略是指根據事件發(fā)生的開始、結束時間拼裝日志檢索語句；
[0041]相應的，配置模塊11將配置的預處理策略發(fā)送至預處理模塊12，作為預處理模塊12進行統(tǒng)計的依據；將配置的時間窗口策略發(fā)送至時間滑動窗口模塊13，作為時間滑動窗口模塊13進行分析的依據；將配置的日志拼裝策略發(fā)送至日志結果模塊14，作為日志結果模塊14進行語句拼裝的依據。
[0042]所述預處理模塊12，用于存儲采集到的日志，根據配置模塊11發(fā)送的統(tǒng)計分析策略對日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊13 ；
[0043]這里，所述存儲采集到的日志是指存儲在分布式數據節(jié)點后；
[0044]這里，配置模塊11發(fā)送的統(tǒng)計分析策略是指預處理策略；
[0045]這里，根據配置模塊11發(fā)送的統(tǒng)計分析策略對日志進行預處理包括:統(tǒng)計單位周期時間內某類操作的信息，如一分鐘周期內登錄某一網址的信息，所述信息包括:用戶名、登錄地點、登錄時間等等；
[0046]進一步的，對日志進行預處理是通過以下方式來實現:將預處理操作編成相應的MapReduce方法,將MapReduce方法并發(fā)在分布式數據節(jié)點上,進而根據配置的統(tǒng)計分析策略對日志進行預處理；
[0047]這里，所述預處理結果是指單位周期時間內某類操作的信息，如一分鐘周期內登錄某一網址的信息，所述信息包括:用戶名、登錄地點、登錄時間等等。
[0048]所述時間滑動窗口模塊13，用于接收預處理模塊12發(fā)送的預處理結果，根據配置模塊11發(fā)送的統(tǒng)計分析策略對預處理結果進行分析，并將分析結果發(fā)送至日志結果模塊14進行日志拼裝；
[0049]這里,所述統(tǒng)計分析策略是指時間窗口策略；
[0050]這里，所述對預處理結果進行分析是指:分析操作是否同一用戶、是否不同登錄地點、是否超過時間周期等等；進一步的，如果滿足上述分析條件，則生成統(tǒng)計分析事件；[0051]這里，所述分析結果是指統(tǒng)計分析事件的開始、結束時間。
[0052]所述日志結果模塊14，用于接收時間滑動窗口模塊13發(fā)送的分析結果，根據配置模塊11發(fā)送的統(tǒng)計分析策略和分析結果拼裝日志檢索語句，提供日志檢索給用戶；進一步用于接收配置模塊11發(fā)送的用戶權限信息，并根據用戶權限信息提供日志檢索功能給具有權限的用戶；
[0053]這里，所述統(tǒng)計分析策略是指日志拼裝策略。
[0054]所述配置模塊11進一步包括權限配置模塊111和策略配置模塊112 ;其中，
[0055]所述權限配置模塊111，用于配置用戶權限信息，并發(fā)送至日志結果模塊14進行用戶身份驗證；
[0056]所述策略配置模塊112，用于配置統(tǒng)計分析策略，并發(fā)送至預處理模塊12、時間滑動窗口模塊13、日志結果模塊14進行統(tǒng)計分析。
[0057]所述預處理模塊12進一步包括日志存儲模塊121和分析預處理模塊122 ;其中，
[0058]所述日志存儲模塊121，用于存儲采集到的日志；
[0059]所述分析預處理模塊122，用于接收配置模塊11、具體可以是配置模塊11中的策略配置模塊112發(fā)送的統(tǒng)計分析策略，對日志存儲模塊121中的日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊13。
[0060]相應的，時間滑動窗口模塊13接收分析預處理模塊122發(fā)送的預處理結果，根據配置模塊11、具體可以是策略配置模塊112發(fā)送的時間窗口策略對預處理結果進行分析，并將分析結果發(fā)送至日志結果模塊14進行日志拼裝。
[0061]所述日志結果模塊14進一步包括日志拼裝模塊141和日志檢索模塊142 ；
[0062]所述日志拼裝模塊141，用于接收時間滑動窗口模塊13發(fā)送的分析結果，根據策略配置模塊112發(fā)送的日志拼裝策略和分析結果拼裝日志檢索語句；
[0063]所述日志檢索模塊142，用于向用戶提供檢索到的日志信息，進一步地，具體用于接收配置模塊11、具體可以是權限配置模塊111發(fā)送的用戶權限信息，并根據用戶權限信息提供日志檢索功能給具有權限的用戶、即將檢索到的日志信息提供給有對應檢索權限的用戶。
[0064]圖2為本發(fā)明海量日志統(tǒng)計分析方法的實現流程示意圖，其中所述系統(tǒng)均為海量日志統(tǒng)計分析系統(tǒng)的簡稱，如圖2所示，該方法包括:
[0065]步驟201:系統(tǒng)根據配置的統(tǒng)計分析策略對日志進行預處理，得到預處理結果；
[0066]這里，所述系統(tǒng)包括配置模塊、預處理模塊、時間滑動窗口模塊和日志結果模塊，配置統(tǒng)計分析策略由配置模塊中的策略配置模塊完成，所述統(tǒng)計分析策略針對預處理具體是指預處理策略，進一步的，預處理策略是指統(tǒng)計單位周期時間內某類操作的信息，如一分鐘周期內登錄某一網址的信息，所述信息包括:用戶名、登錄地點、登錄時間等等；
[0067]預處理模塊存儲采集到的日志，根據配置模塊發(fā)送的預處理策略對存儲的日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊；
[0068]這里，所述日志存儲在分布式數據節(jié)點后，位于預處理模塊中的日志存儲模塊中；
[0069]這里，對日志進行預處理由預處理模塊中的分析預處理模塊完成，進一步的，分析預處理模塊根據策略配置模塊發(fā)送的預處理策略，對預處理模塊中的日志存儲模塊中的日志進行預處理；所述預處理是通過以下方式來實現:將預處理操作編成相應的MapReduce方法，將MapReduce方法并發(fā)在分布式數據節(jié)點上，進而對日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊。
[0070]步驟202:系統(tǒng)根據配置的統(tǒng)計分析策略對預處理結果進行分析，得到分析結果；
[0071]這里，配置統(tǒng)計分析策略由配置模塊中的策略配置模塊完成，所述統(tǒng)計分析策略針對分析處理具體是指時間窗口策略，進一步的，時間窗口策略是指分析某類操作的信息，如分析該操作是否同一用戶、是否不同登錄地點、是否超過時間周期等等；
[0072]這里，所述對預處理結果進行分析由時間滑動窗口模塊完成，時間滑動窗口根據策略配置模塊發(fā)送的時間窗口策略對預處理結果進行分析，并將分析結果發(fā)送至日志結果模塊，相應的，本步驟前還包括:分析預處理模塊將預處理結果，如單位周期時間內某類操作的信息，發(fā)送至時間滑動窗口模塊。
[0073]步驟203:系統(tǒng)根據配置的統(tǒng)計分析策略和分析結果拼裝日志檢索語句；
[0074]這里，配置統(tǒng)計分析策略由配置模塊中的策略配置模塊完成，所述統(tǒng)計分析策略針對日志拼裝具體是指日志拼裝策略，日志拼裝策略是指根據事件發(fā)生的開始、結束時間拼裝日志檢索語句；
[0075]日志結果模塊接收時間滑動窗口模塊發(fā)送的分析結果，根據配置模塊發(fā)送的日志拼裝策略和分析結果拼裝日志檢索語句，以提供日志檢索給用戶。
[0076]這里，所述進行日志拼裝由日志結果模塊中的日志拼裝模塊完成，日志拼裝模塊接收到時間滑動窗口模塊發(fā)來的分析結果，根據日志拼裝策略和分析結果拼裝日志檢索語句。
[0077]步驟204:系統(tǒng)根據配置的用戶權限信息，向用戶提供對應日志檢索；
[0078]這里，配置用戶權限信息由配置模塊中的權限配置模塊完成，權限配置模塊配置用戶權限信息、即用戶對日志信息的檢索權限；所述用戶權限信息包括用戶標識和對應檢索權限；
[0079]日志結果模塊接收配置模塊發(fā)送的用戶權限信息，根據用戶權限信息提供日志檢索功能給具有權限的用戶。
[0080]所述對日志進行檢索由具體由日志結果模塊中的日志檢索模塊完成；
[0081]具體的，日志檢索模塊接收權限配置模塊發(fā)送的用戶權限信息，并接收用戶的檢索語句，用戶的檢索語句表明用戶所需檢索的日志的相關信息，如用戶需要檢索某類日志，將用戶標識與配置好的用戶權限信息中的用戶標識進行比對，當能夠匹配時，判斷檢索語句對應的日志信息是否在用戶權限信息的檢索權限中時，如果在，即為驗證成功，表明用戶可以檢索相應的日志信息，向用戶提供檢索到的對應日志信息；如果不在或者用戶標識與配置好的用戶權限信息中的用戶標識不匹配時，即為驗證失敗，表明用戶不可以檢索相應的日志信息，不向用戶提供日志信息。
[0082]以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。
【權利要求】
1.一種海量日志統(tǒng)計分析系統(tǒng)，其特征在于，該系統(tǒng)包括:預處理模塊、時間滑動窗口模塊和日志結果模塊；其中， 所述預處理模塊，用于存儲采集到的日志，根據配置的統(tǒng)計分析策略對日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊； 所述時間滑動窗口模塊，用于根據配置的統(tǒng)計分析策略對所述預處理結果進行分析，并將分析結果發(fā)送至日志結果模塊； 所述日志結果模塊，用于根據配置的統(tǒng)計分析策略和所述分析結果拼裝日志檢索語句，向用戶提供檢索到的日志信息。
2.根據權利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)進一步包括:配置模塊，用于配置統(tǒng)計分析策略，并發(fā)送至預處理模塊、時間滑動窗口模塊和日志結果模塊。
3.根據權利要求2所述的系統(tǒng)，其特征在于，所述日志結果模塊，進一步用于:根據配置的用戶權限信息提供日志檢索功能給具有權限的用戶。
4.根據權利要求3所述的系統(tǒng)，其特征在于，所述配置模塊包括權限配置模塊和策略配置模塊;其中， 所述權限配置模塊，用于配置用戶權限信息，并發(fā)送至日志結果模塊； 所述策略配置模塊，用于配置統(tǒng)計分析策略，并發(fā)送至預處理模塊、時間滑動窗口模塊和日志結果模塊。
5.根據權利要求1所述的系統(tǒng)，其特征在于，所述預處理模塊包括日志存儲模塊和分析預處理模塊；其中， 所述日志存儲模塊，用于存儲采集到的日志； 所述分析預處理模塊，用于根據配置的統(tǒng)計分析策略對日志進行預處理，并將預處理結果發(fā)送至時間滑動窗口模塊。
6.根據權利要求1至5任一所述的系統(tǒng)，其特征在于，所述日志結果模塊包括日志拼裝模塊和日志檢索模塊；其中， 所述日志拼裝模塊，用于根據配置的統(tǒng)計分析策略和所述分析結果拼裝日志檢索語句； 所述日志檢索模塊，用于向用戶提供檢索到的日志信息。
7.根據權利要求6所述的系統(tǒng)，其特征在于，所述日志檢索模塊，進一步用于根據配置的用戶權限信息將檢索到的日志信息提供給對應檢索權限的用戶。
8.—種海量日志統(tǒng)計分析方法，其特征在于，該方法包括: 根據配置的統(tǒng)計分析策略對日志進行預處理，得到預處理結果； 根據配置的統(tǒng)計分析策略對所述預處理結果進行分析，得到分析結果； 根據配置的統(tǒng)計分析策略和所述分析結果拼裝日志檢索語句，向用戶提供檢索到的日 肩、。
9.根據權利要求8所述的方法，其特征在于，所述向用戶提供檢索到的日志信息，包括: 根據配置的用戶權限信息將檢索到的日志信息提供給對應檢索權限的用戶。
10.根據權利要求8或9所述的方法，其特征在于，所述預處理包括: 將預處理操作編成相應的MapReduce方法；將MapReduce方法并發(fā)在分布式數據節(jié)點上，根據配置的統(tǒng)計分析策略對日志進行預處理。
【文檔編號】H04L12/24GK103812679SQ201210450550
【公開日】2014年5月21日 申請日期:2012年11月12日 優(yōu)先權日:2012年11月12日
【發(fā)明者】張捃 申請人:深圳中興網信科技有限公司