本申請(qǐng)?jiān)O(shè)計(jì)數(shù)據(jù)收集及處理技術(shù)領(lǐng)域，更具體地說，涉及一種業(yè)務(wù)日志收集及預(yù)警系統(tǒng)和業(yè)務(wù)日志收集及預(yù)警方法。

背景技術(shù)：

在IT技術(shù)領(lǐng)域，巨量數(shù)據(jù)的集合稱之為大數(shù)據(jù)，大數(shù)據(jù)是一種具有海量、高增長率和多樣化特性的信息資產(chǎn)，這一信息資產(chǎn)對(duì)于某一行業(yè)或者某企業(yè)來講都具有巨大應(yīng)用意義。隨著大數(shù)據(jù)技術(shù)的發(fā)展，業(yè)務(wù)日志的存儲(chǔ)技術(shù)越來越被企業(yè)所重視，搭建業(yè)務(wù)日志的存儲(chǔ)平臺(tái)可以使企業(yè)對(duì)內(nèi)部的業(yè)務(wù)日志進(jìn)行收集和存儲(chǔ)，并對(duì)存儲(chǔ)的業(yè)務(wù)日志進(jìn)行集中管理，提前發(fā)現(xiàn)這些業(yè)務(wù)日志中的異常并處理對(duì)減少企業(yè)的損失具有重大意義；并且業(yè)務(wù)日志的存儲(chǔ)平臺(tái)可以使企業(yè)的業(yè)務(wù)系統(tǒng)集成度更高，便于管理，另外業(yè)務(wù)日志的集中存儲(chǔ)也便于進(jìn)行企業(yè)不同業(yè)務(wù)日志之間的關(guān)聯(lián)性分析，對(duì)企業(yè)管理和發(fā)展具有重大意義。

但是，現(xiàn)有技術(shù)中的業(yè)務(wù)日志存儲(chǔ)平臺(tái)的通用性較差且不具有預(yù)警功能，當(dāng)隨著企業(yè)的發(fā)展出現(xiàn)新的業(yè)務(wù)日志種類需要存儲(chǔ)或數(shù)據(jù)量過大需要業(yè)務(wù)日志存儲(chǔ)平臺(tái)進(jìn)行自動(dòng)預(yù)警時(shí)，需要專業(yè)的技術(shù)人員進(jìn)行腳本編寫以實(shí)現(xiàn)對(duì)業(yè)務(wù)日志存儲(chǔ)平臺(tái)的升級(jí)，這個(gè)過程不僅復(fù)雜而且一般的企業(yè)人員無法掌握腳本編寫的技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問題，本發(fā)明提供了一種業(yè)務(wù)日志收集及預(yù)警系統(tǒng)和業(yè)務(wù)日志收集及預(yù)警方法，以實(shí)現(xiàn)提供一種通用性較好且具有預(yù)警功能的業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的目的。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明實(shí)施例提供了如下技術(shù)方案：

一種業(yè)務(wù)日志收集及預(yù)警系統(tǒng)，包括：

接收部，用于獲取配置信息，所述配置信息包括待接收業(yè)務(wù)日志種類及接收規(guī)則，所述待接收業(yè)務(wù)日志種類為預(yù)設(shè)業(yè)務(wù)日志種類集合的子集，根據(jù)所述配置信息接收業(yè)務(wù)日志并按照預(yù)設(shè)要素創(chuàng)建索引存儲(chǔ)于搜索服務(wù)器中；

配置部，用于獲取預(yù)警規(guī)則；

調(diào)度部，用于根據(jù)所述預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)；

解析部，用于解析所述預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果存儲(chǔ)于數(shù)據(jù)庫中；

顯示部，用于顯示所述預(yù)警結(jié)果。

優(yōu)選的，所述預(yù)設(shè)要素為日期。

優(yōu)選的，所述預(yù)警規(guī)則由至少一個(gè)預(yù)設(shè)參數(shù)構(gòu)成，所述預(yù)設(shè)參數(shù)包括業(yè)務(wù)日志種類、時(shí)間段、字段值、預(yù)設(shè)規(guī)則和出現(xiàn)次數(shù)。

優(yōu)選的，所述調(diào)度部具體用于設(shè)定預(yù)設(shè)頻率，并根據(jù)所述預(yù)設(shè)頻率及預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)。

優(yōu)選的，所述接收部為日志搜集處理框架。

一種業(yè)務(wù)日志收集及預(yù)警方法，包括：

獲取配置信息，所述配置信息包括待接收業(yè)務(wù)日志種類及接收規(guī)則，所述待接收業(yè)務(wù)日志種類為預(yù)設(shè)業(yè)務(wù)日志種類集合的子集；

根據(jù)所述配置信息接收業(yè)務(wù)日志并按照預(yù)設(shè)要素創(chuàng)建索引存儲(chǔ)于搜索服務(wù)器中；

獲取預(yù)警規(guī)則；

根據(jù)所述預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)；

解析所述預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果；

將所述預(yù)警結(jié)果存儲(chǔ)于數(shù)據(jù)庫中；

顯示所述預(yù)警結(jié)果。

優(yōu)選的，所述預(yù)設(shè)要素為日期。

優(yōu)選的，所述預(yù)警規(guī)則由至少一個(gè)預(yù)設(shè)參數(shù)構(gòu)成，所述預(yù)設(shè)參數(shù)包括日志種類、時(shí)間段、字段值、預(yù)設(shè)規(guī)則和出現(xiàn)次數(shù)。

優(yōu)選的，所述根據(jù)所述預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)包括：

設(shè)定預(yù)設(shè)頻率；

根據(jù)所述預(yù)設(shè)頻率及預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)。

優(yōu)選的，所述獲取配置信息包括：

通過日志搜集處理框架生成配置信息。

從上述技術(shù)方案可以看出，本發(fā)明實(shí)施例提供了一種業(yè)務(wù)日志收集及預(yù)警系統(tǒng)和業(yè)務(wù)日志收集及預(yù)警方法，其中，所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的接收部用于獲取配置信息并根據(jù)所述配置信息接收業(yè)務(wù)日志并按照預(yù)設(shè)要素創(chuàng)建索引存儲(chǔ)于搜索服務(wù)器中，所述配置信息中包括待接收業(yè)務(wù)日志種類及接收規(guī)則，所述待接收業(yè)務(wù)日志種類為預(yù)設(shè)業(yè)務(wù)日志種類集合的子集，當(dāng)企業(yè)需要對(duì)待接收業(yè)務(wù)日志種類進(jìn)行更改時(shí)，只需要利用所述接收部輸入新的配置信息即可根據(jù)新的配置信息進(jìn)行業(yè)務(wù)日志的收集和存儲(chǔ)。

另外，所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)還可以通過所述配置部進(jìn)行預(yù)警規(guī)則的輸入，通過所述調(diào)度部和解析部調(diào)用和解析預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果存儲(chǔ)于數(shù)據(jù)庫中，實(shí)現(xiàn)對(duì)業(yè)務(wù)日志的預(yù)警；同樣的，當(dāng)需要對(duì)預(yù)警規(guī)則進(jìn)行更新時(shí)，只需要通過所述配置部輸入新的預(yù)警規(guī)則即可，因此所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的通用性更高，不需要專業(yè)的技術(shù)人員進(jìn)行腳本編寫對(duì)系統(tǒng)進(jìn)行更新，可以僅通過簡單的配置信息和預(yù)警規(guī)則的更新實(shí)現(xiàn)新的業(yè)務(wù)日志種類的收集存儲(chǔ)，以及根據(jù)新的預(yù)警規(guī)則實(shí)現(xiàn)預(yù)警功能。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本申請(qǐng)的一個(gè)實(shí)施例提供的一種業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本申請(qǐng)的一個(gè)實(shí)施例提供的一種業(yè)務(wù)日志收集及預(yù)警方法的流程示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本申請(qǐng)實(shí)施例提供了一種業(yè)務(wù)日志收集及預(yù)警系統(tǒng)，如圖1所示，包括：

接收部100，用于獲取配置信息，所述配置信息包括待接收業(yè)務(wù)日志種類及接收規(guī)則，所述待接收業(yè)務(wù)日志種類為預(yù)設(shè)業(yè)務(wù)日志種類集合的子集，根據(jù)所述配置信息接收業(yè)務(wù)日志并按照預(yù)設(shè)要素創(chuàng)建索引存儲(chǔ)于搜索服務(wù)器中；

配置部200，用于獲取預(yù)警規(guī)則；

調(diào)度部300，用于根據(jù)所述預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)；

解析部400，用于解析所述預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果存儲(chǔ)于數(shù)據(jù)庫中；

顯示部500，用于顯示所述預(yù)警結(jié)果。

需要說明的是，所述預(yù)設(shè)業(yè)務(wù)日志種類集合中包含有常用來源的業(yè)務(wù)日志種類，比如存儲(chǔ)在數(shù)據(jù)庫中的業(yè)務(wù)日志，syslog業(yè)務(wù)日志、以文本形式存儲(chǔ)的業(yè)務(wù)日志以及以http方式或webservice方式發(fā)送的業(yè)務(wù)日志數(shù)據(jù)等。本申請(qǐng)對(duì)所述預(yù)設(shè)業(yè)務(wù)日志種類集合中所包括的具體的業(yè)務(wù)日志種類并不做限定，具體視實(shí)際情況而定。所述配置信息包括的待接收業(yè)務(wù)日志種類為所述預(yù)設(shè)業(yè)務(wù)日志種類集合的子集，即當(dāng)企業(yè)需要對(duì)待接收業(yè)務(wù)日志種類進(jìn)行更改時(shí)，可以通過向所述接收部100輸入不同的配置信息即可實(shí)現(xiàn)對(duì)需要收集和預(yù)警的業(yè)務(wù)日志的更新，這種更新可以是在原來需要收集和預(yù)警的業(yè)務(wù)日志的種類的基礎(chǔ)上的增加，也可以是在原來需要收集和預(yù)警的業(yè)務(wù)日志種類的基礎(chǔ)上的刪除，還可以是完全替換原來需要收集和預(yù)警的業(yè)務(wù)日志種類。

另外，所述接收規(guī)則是針對(duì)不同種類的業(yè)務(wù)日志的數(shù)據(jù)密碼，比如針對(duì)存儲(chǔ)在數(shù)據(jù)庫中的業(yè)務(wù)日志而言，由于數(shù)據(jù)庫本身不具備發(fā)送功能，需要所述接收部100去數(shù)據(jù)庫中獲取數(shù)據(jù)，因此需要針對(duì)這種類型的業(yè)務(wù)日志設(shè)置相應(yīng)的接收規(guī)則。同樣的，其他種類的業(yè)務(wù)日志也同樣需要相應(yīng)的接收規(guī)則，由于根據(jù)不同種類的業(yè)務(wù)日志設(shè)置相應(yīng)的接收規(guī)則的方法已為本領(lǐng)域技術(shù)人員所熟知，本申請(qǐng)?jiān)诖瞬蛔髻樖觥?/p>

另外，所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)還可以通過所述配置部200進(jìn)行預(yù)警規(guī)則的輸入，通過所述調(diào)度部300和解析部400調(diào)用和解析預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果存儲(chǔ)于數(shù)據(jù)庫中，實(shí)現(xiàn)對(duì)業(yè)務(wù)日志的預(yù)警；同樣的，當(dāng)需要對(duì)預(yù)警規(guī)則進(jìn)行更新時(shí)，只需要通過所述配置部200輸入新的預(yù)警規(guī)則即可，因此所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的通用性較高，可以通過簡單的配置信息和預(yù)警規(guī)則的更新實(shí)現(xiàn)新的業(yè)務(wù)日志種類的收集存儲(chǔ)，以及根據(jù)新的預(yù)警規(guī)則實(shí)現(xiàn)預(yù)警功能。

還需要說明的是，所述搜索服務(wù)器優(yōu)選為Elasticsearch，但其他種類的搜索服務(wù)器也可，存儲(chǔ)所述預(yù)警結(jié)果的數(shù)據(jù)庫優(yōu)選為mysql數(shù)據(jù)庫，同樣的，其他種類的數(shù)據(jù)庫也適用于本申請(qǐng)?zhí)峁┑乃鰳I(yè)務(wù)日志收集及預(yù)警系統(tǒng)。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的一個(gè)實(shí)施例中，所述預(yù)設(shè)要素為日期。

在本實(shí)施例中，所述接收部100根據(jù)所述配置信息接收業(yè)務(wù)日志后，按照日期為索引將其存儲(chǔ)于搜索服務(wù)器中，以便所述解析部400在預(yù)警過程中便于對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志的統(tǒng)計(jì)分析。這是因?yàn)橐话銓?duì)于業(yè)務(wù)日志的預(yù)警都具有較強(qiáng)的時(shí)效性，按照日期為索引進(jìn)行存儲(chǔ)有利于降低所述解析部400對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析的工作量，提升工作效率。

但在本申請(qǐng)的其他實(shí)施例中，所述預(yù)設(shè)要素還可以為業(yè)務(wù)日志種類或業(yè)務(wù)日志大小或業(yè)務(wù)日志名稱。本申請(qǐng)對(duì)所述預(yù)設(shè)要素的具體種類并不做限定，具體視實(shí)際情況而定。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的另一個(gè)實(shí)施例中，所述預(yù)警規(guī)則由至少一個(gè)預(yù)設(shè)要素構(gòu)成，所述預(yù)設(shè)要素包括業(yè)務(wù)日志種類、時(shí)間段、字段值、預(yù)設(shè)規(guī)則和出現(xiàn)次數(shù)。

在本實(shí)施例中，所述預(yù)警規(guī)則具有通用的表達(dá)式，所述表達(dá)式為某類業(yè)務(wù)日志在某個(gè)時(shí)間段內(nèi)某個(gè)字段值符合某種特定規(guī)則的日志出現(xiàn)的次數(shù)。其中包括的預(yù)設(shè)要素(業(yè)務(wù)日志種類、時(shí)間段、字段值、預(yù)設(shè)規(guī)則和出現(xiàn)次數(shù))可以根據(jù)實(shí)際情況進(jìn)行組合(至少包括一項(xiàng)所述預(yù)設(shè)要素)，并且所述預(yù)設(shè)要素的值也可以根據(jù)實(shí)際情況進(jìn)行設(shè)定。本申請(qǐng)對(duì)此并不做限定，具體是實(shí)際情況而定。比如以身份證號(hào)作為所述字段值的具體內(nèi)容，當(dāng)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志中出現(xiàn)符合身份證號(hào)規(guī)則的數(shù)字串時(shí)，則認(rèn)為該業(yè)務(wù)日志為異常業(yè)務(wù)日志，將該業(yè)務(wù)日志的生成時(shí)間、包含的內(nèi)容以及預(yù)警原因的描述等錄入文本中，生成所述預(yù)警結(jié)果存入數(shù)據(jù)庫并進(jìn)行顯示，以實(shí)現(xiàn)對(duì)異常業(yè)務(wù)日志的預(yù)警。另外還可以以某一類業(yè)務(wù)日志種類作為所述預(yù)警規(guī)則的構(gòu)成，比如當(dāng)A類業(yè)務(wù)日志為某一企業(yè)禁止出現(xiàn)的業(yè)務(wù)日志時(shí)，當(dāng)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析時(shí)，只要發(fā)現(xiàn)所述A類業(yè)務(wù)日志時(shí)，即可將該業(yè)務(wù)日志的生成時(shí)間、包含的內(nèi)容以及預(yù)警原因的描述等錄入文本中，生成所述預(yù)警結(jié)果存入數(shù)據(jù)庫并進(jìn)行顯示，以實(shí)現(xiàn)對(duì)異常業(yè)務(wù)日志的預(yù)警。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的又一個(gè)實(shí)施例中，所述調(diào)度部300具體用于設(shè)定預(yù)設(shè)頻率，并根據(jù)所述預(yù)設(shè)頻率及預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)。

在本實(shí)施例中，所述預(yù)設(shè)頻率是指每隔若干時(shí)間調(diào)用預(yù)警任務(wù)的頻率，比如在設(shè)定好所述預(yù)警規(guī)則后，所述調(diào)度部300可以在每天的某個(gè)時(shí)間點(diǎn)進(jìn)行預(yù)警任務(wù)的調(diào)用，也可以每隔十分鐘或每隔一小時(shí)進(jìn)行預(yù)警任務(wù)的調(diào)用。所述預(yù)設(shè)頻率的大小可以根據(jù)實(shí)際的安全等級(jí)需求而定，當(dāng)需要進(jìn)行頻繁的對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行預(yù)警時(shí)，可以將所述預(yù)設(shè)頻率設(shè)置的小一些，比如每一分鐘或每五分鐘等；當(dāng)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志的預(yù)警需求較低時(shí)，可以將所述預(yù)設(shè)頻率的大小設(shè)置的大一些，比如每24小時(shí)或每小時(shí)等。本申請(qǐng)對(duì)所述預(yù)設(shè)頻率的具體取值并不做限定，具體視實(shí)際情況而定。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的一個(gè)優(yōu)選實(shí)施例中，所述接收部100為日志搜集處理框架。比如logstash等，本申請(qǐng)對(duì)上述日志搜集處理框架的具體種類并不做限定，具體視實(shí)際情況而定。

相應(yīng)的，本申請(qǐng)實(shí)施例還提供了一種業(yè)務(wù)日志收集及預(yù)警方法，如圖2所示，包括：

S101：獲取配置信息，所述配置信息包括待接收業(yè)務(wù)日志種類及接收規(guī)則，所述待接收業(yè)務(wù)日志種類為預(yù)設(shè)業(yè)務(wù)日志種類集合的子集；

S102：根據(jù)所述配置信息接收業(yè)務(wù)日志并按照預(yù)設(shè)要素創(chuàng)建索引存儲(chǔ)于搜索服務(wù)器中；

S103：獲取預(yù)警規(guī)則；

S104：根據(jù)所述預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)；

S105：解析所述預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果；

S106：將所述預(yù)警結(jié)果存儲(chǔ)于數(shù)據(jù)庫中；

S107：顯示所述預(yù)警結(jié)果。

需要說明的是，所述預(yù)設(shè)業(yè)務(wù)日志種類集合中包含有常用來源的業(yè)務(wù)日志種類，比如存儲(chǔ)在數(shù)據(jù)庫中的業(yè)務(wù)日志、syslog業(yè)務(wù)日志、以文本形式存儲(chǔ)的業(yè)務(wù)日志以及以http方式或webservice方式發(fā)送的業(yè)務(wù)日志數(shù)據(jù)等，本申請(qǐng)對(duì)所述預(yù)設(shè)業(yè)務(wù)日志種類集合中所包括的具體的業(yè)務(wù)日志種類并不做限定，具體視實(shí)際情況而定。所述配置信息包括的待接收業(yè)務(wù)日志種類為所述預(yù)設(shè)業(yè)務(wù)日志種類集合的子集，即當(dāng)企業(yè)需要對(duì)待接收業(yè)務(wù)日志種類進(jìn)行更改時(shí)，可以通過輸入不同的配置信息的方式實(shí)現(xiàn)對(duì)需要收集和預(yù)警的業(yè)務(wù)日志的更新，這種更新可以是在原來需要收集和預(yù)警的業(yè)務(wù)日志的種類的基礎(chǔ)上的增加，也可以是在原來需要收集和預(yù)警的業(yè)務(wù)日志種類的基礎(chǔ)上的刪除，還可以是完全替換原來需要收集和預(yù)警的業(yè)務(wù)日志種類。

另外，所述接收規(guī)則是針對(duì)不同種類的業(yè)務(wù)日志的數(shù)據(jù)密碼，比如針對(duì)數(shù)據(jù)庫業(yè)務(wù)日志而言，數(shù)據(jù)庫本身不具備發(fā)送功能，需要所述接收部100去數(shù)據(jù)庫中獲取數(shù)據(jù)，因此需要針對(duì)這種類型的數(shù)據(jù)庫業(yè)務(wù)日志設(shè)置相應(yīng)的接收規(guī)則。同樣的，其他種類的業(yè)務(wù)日志也同樣需要相應(yīng)的接收規(guī)則，由于根據(jù)不同種類的業(yè)務(wù)日志設(shè)置相應(yīng)的接收規(guī)則的方法已為本領(lǐng)域技術(shù)人員所熟知，本申請(qǐng)?jiān)诖瞬蛔髻樖觥?/p>

另外，所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)還可以通過配置預(yù)警規(guī)則，然后調(diào)用和解析預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果的方式實(shí)現(xiàn)對(duì)業(yè)務(wù)日志的預(yù)警；同樣的，當(dāng)需要對(duì)預(yù)警規(guī)則進(jìn)行更新時(shí)，只需要輸入新的預(yù)警規(guī)則即可，因此所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的通用性較高，可以通過簡單的配置信息和預(yù)警規(guī)則的更新實(shí)現(xiàn)新的業(yè)務(wù)日志種類的收集存儲(chǔ)，以及根據(jù)新的預(yù)警規(guī)則實(shí)現(xiàn)預(yù)警功能。

還需要說明的是，所述搜索服務(wù)器優(yōu)選為Elasticsearch，但其他種類的搜索服務(wù)器也可，存儲(chǔ)所述預(yù)警結(jié)果的數(shù)據(jù)庫優(yōu)選為mysql數(shù)據(jù)庫，同樣的，其他種類的數(shù)據(jù)庫也適用于本申請(qǐng)?zhí)峁┑乃鰳I(yè)務(wù)日志收集及預(yù)警系統(tǒng)。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的一個(gè)實(shí)施例中，所述預(yù)設(shè)要素為日期。

在本實(shí)施例中，所述接收部100根據(jù)所述配置信息接收業(yè)務(wù)日志后，按照日期為索引將其存儲(chǔ)于搜索服務(wù)器中，以便所述解析部400在預(yù)警過程中便于對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志的統(tǒng)計(jì)分析。這是因?yàn)橐话銓?duì)于業(yè)務(wù)日志的預(yù)警都具有較強(qiáng)的時(shí)效性，按照日期為索引進(jìn)行存儲(chǔ)有利于降低所述解析部400對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析的工作量，提升工作效率。

但在本申請(qǐng)的其他實(shí)施例中，所述預(yù)設(shè)要素還可以為業(yè)務(wù)日志種類或業(yè)務(wù)日志大小或業(yè)務(wù)日志名稱。本申請(qǐng)對(duì)所述預(yù)設(shè)要素的具體種類并不做限定，具體視實(shí)際情況而定。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的另一個(gè)實(shí)施例中，所述預(yù)警規(guī)則由至少一個(gè)預(yù)設(shè)要素構(gòu)成，所述預(yù)設(shè)要素包括業(yè)務(wù)日志種類、時(shí)間段、字段值、預(yù)設(shè)規(guī)則和出現(xiàn)次數(shù)。

在本實(shí)施例中，所述預(yù)警規(guī)則具有通用的表達(dá)式，所述表達(dá)式為某類業(yè)務(wù)日志在某個(gè)時(shí)間段內(nèi)某個(gè)字段值符合某種特定規(guī)則的日志出現(xiàn)的次數(shù)。其中包括的預(yù)設(shè)要素(業(yè)務(wù)日志種類、時(shí)間段、字段值、預(yù)設(shè)規(guī)則和出現(xiàn)次數(shù))可以根據(jù)實(shí)際情況進(jìn)行組合(至少包括一項(xiàng)所述預(yù)設(shè)要素)，并且所述預(yù)設(shè)要素的值也可以根據(jù)實(shí)際情況進(jìn)行設(shè)定。本申請(qǐng)對(duì)此并不做限定，具體是實(shí)際情況而定。比如以身份證號(hào)作為所述字段值的具體內(nèi)容，當(dāng)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志中出現(xiàn)符合身份證號(hào)規(guī)則的數(shù)字串時(shí)，則認(rèn)為該業(yè)務(wù)日志為異常業(yè)務(wù)日志，將該業(yè)務(wù)日志的生成時(shí)間、包含的內(nèi)容以及預(yù)警原因的描述等錄入文本中，生成所述預(yù)警結(jié)果并進(jìn)行顯示，以實(shí)現(xiàn)對(duì)異常業(yè)務(wù)日志的預(yù)警。另外還可以以某一類業(yè)務(wù)日志種類作為所述預(yù)警規(guī)則的構(gòu)成，比如當(dāng)A類業(yè)務(wù)日志為某一企業(yè)禁止出現(xiàn)的業(yè)務(wù)日志時(shí)，當(dāng)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析時(shí)，只要發(fā)現(xiàn)所述A類業(yè)務(wù)日志時(shí)，即可將該業(yè)務(wù)日志的生成時(shí)間、包含的內(nèi)容以及預(yù)警原因的描述等錄入文本中，生成所述預(yù)警結(jié)果存入數(shù)據(jù)庫并進(jìn)行顯示，以實(shí)現(xiàn)對(duì)異常業(yè)務(wù)日志的預(yù)警。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的又一個(gè)實(shí)施例中，所述根據(jù)所述預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)包括：

設(shè)定預(yù)設(shè)頻率；

根據(jù)所述預(yù)設(shè)頻率及預(yù)警規(guī)則調(diào)用預(yù)警任務(wù)。

在本實(shí)施例中，所述預(yù)設(shè)頻率是指每隔若干時(shí)間調(diào)用預(yù)警任務(wù)的頻率，比如在設(shè)定好所述預(yù)警規(guī)則后，所述調(diào)度部300可以在每天的某個(gè)時(shí)間點(diǎn)進(jìn)行預(yù)警任務(wù)的調(diào)用，也可以每隔十分鐘或每隔一小時(shí)進(jìn)行預(yù)警任務(wù)的調(diào)用。所述預(yù)設(shè)頻率的大小可以根據(jù)實(shí)際的安全等級(jí)需求而定，當(dāng)需要進(jìn)行頻繁的對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行預(yù)警時(shí)，可以將所述預(yù)設(shè)頻率設(shè)置的小一些，比如每一分鐘或每五分鐘等；當(dāng)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志的預(yù)警需求較低時(shí)，可以將所述預(yù)設(shè)頻率的大小設(shè)置的大一些，比如每24小時(shí)或每小時(shí)等。本申請(qǐng)對(duì)上述預(yù)設(shè)頻率的具體取值并不做限定，具體視實(shí)際情況而定。

在上述實(shí)施例的基礎(chǔ)上，在本申請(qǐng)的一個(gè)優(yōu)選實(shí)施例中，所述獲取配置信息包括：

通過日志搜集處理框架生成配置信息。

在本申請(qǐng)的一個(gè)實(shí)施例中，所述日志搜集處理框架為logstash，本申請(qǐng)對(duì)上述日志搜集處理框架的具體種類并不做限定，具體視實(shí)際情況而定。

綜上所述，本申請(qǐng)實(shí)施例提供了一種業(yè)務(wù)日志收集及預(yù)警系統(tǒng)和業(yè)務(wù)日志收集及預(yù)警方法，其中，所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的接收部100用語獲取配置信息并根據(jù)所述配置信息接收業(yè)務(wù)日志并按照預(yù)設(shè)要素創(chuàng)建索引存儲(chǔ)于搜索服務(wù)器中，所述配置信息中包括待接收業(yè)務(wù)日志種類及接受規(guī)則，所述待接收業(yè)務(wù)日志種類為預(yù)設(shè)業(yè)務(wù)日志種類集合的子集，當(dāng)企業(yè)需要對(duì)待接收業(yè)務(wù)日志種類進(jìn)行更改時(shí)，只需要利用所述接收部100輸入新的配置信息即可根據(jù)新的配置信息進(jìn)行業(yè)務(wù)日志的收集和存儲(chǔ)。

另外，所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)還可以通過所述配置部200進(jìn)行預(yù)警規(guī)則的輸入，通過所述調(diào)度部300和解析部400調(diào)用和解析預(yù)警任務(wù)，并根據(jù)解析后的預(yù)警任務(wù)對(duì)存儲(chǔ)于所述搜索服務(wù)器中的業(yè)務(wù)日志進(jìn)行統(tǒng)計(jì)分析，生成預(yù)警結(jié)果存儲(chǔ)于數(shù)據(jù)庫中，實(shí)現(xiàn)對(duì)業(yè)務(wù)日志的預(yù)警；同樣的，當(dāng)需要對(duì)預(yù)警規(guī)則進(jìn)行更新時(shí)，只需要通過所述配置部200輸入新的預(yù)警規(guī)則即可，因此所述業(yè)務(wù)日志收集及預(yù)警系統(tǒng)的通用性更高，不需要專業(yè)的技術(shù)人員進(jìn)行腳本編寫對(duì)系統(tǒng)進(jìn)行更新，可以僅通過簡單的配置信息和預(yù)警規(guī)則的更新實(shí)現(xiàn)新的業(yè)務(wù)日志種類的收集存儲(chǔ)，以及根據(jù)新的預(yù)警規(guī)則實(shí)現(xiàn)預(yù)警功能。

本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見即可。

對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。