本發(fā)明涉及網絡防護領域，具體的，涉及一種利用訪問日志和行為防御日志進行大數(shù)據(jù)分析的防惡意攻擊系統(tǒng)。

背景技術：

隨著網絡應用深入人們的生活，網絡攻擊層出不窮，尤其在一些重要的網絡節(jié)點，例如大型政府網站、政府機構、以及一些提供服務和售票服務的系統(tǒng)，常常面臨各種網絡的攻擊威脅。在這種情況下，人們對于設備的防攻擊效果提出了更高的要求。

現(xiàn)有的防惡意攻擊系統(tǒng)主要分為直接IP防御和行為防御。其中直接IP防御，通常是直接將惡意IP配置在防護機上，一般多用于防火墻以及WAF等設備。行為防御，通常是預先設置好規(guī)則，運行時根據(jù)用戶的行為判斷是否為惡意用戶，從而進行攔截。這種防御系統(tǒng)一般會配合應用系統(tǒng)使用，在應用系統(tǒng)的關鍵部位埋點，進行風險判斷。

而上述的兩種防惡意攻擊系統(tǒng)存在一定的缺陷，具體為，直接IP防御，雖然簡單易行，但是需要人工維護黑名單，需要投入較多運維人員實時監(jiān)控，而且黑名單始終處于滯后狀態(tài)，只能采取被動防御的態(tài)勢。行為防御，比較依賴規(guī)則的指定，需要維護龐大復雜的規(guī)則庫，而且行為防御系統(tǒng)必須和應用系統(tǒng)配合使用，對于應用系統(tǒng)有一定入侵。并且由于行為防御系統(tǒng)的防御特點，使得其必須在應用層采取防御措施，會使得應用層面對較大壓力，承擔很多惡意用戶的訪問以及攻擊。

因此，如何規(guī)避現(xiàn)有技術的缺陷，能夠實時、主動的更新黑名單，且降低應用層的防御壓力，分散防御壓力，成為現(xiàn)有技術亟需解決的技術問題。

技術實現(xiàn)要素：

本發(fā)明的目的在于提出一種基于大數(shù)據(jù)分析的防惡意攻擊系統(tǒng)，使得能夠利用訪問日志和行為防御日志進行大數(shù)據(jù)分析，自動地更新黑名單。

為達此目的，本發(fā)明采用以下技術方案：

一種基于大數(shù)據(jù)分析的防惡意攻擊系統(tǒng)，該系統(tǒng)包括Web服務器1，應用服務器2，行為防御服務器3、ES服務器4、數(shù)據(jù)分析服務器5和防火墻服務器8；

Web服務器1，用于接收用戶7發(fā)出的各種請求，向應用服務器2請求所需要的服務，并將訪問日志發(fā)給數(shù)據(jù)分析服務器5；

應用服務器2，用于向所述Web服務器2提供所需要的各種服務，并在業(yè)務操作中，調用行為防御服務器3，進行行為防御；

行為防御服務器3，用于在應用服務器2提供各種服務時，針對所受到的各種攻擊提供防御服務，并將行為防御日志發(fā)送到ES服務器4；

ES服務器4，能夠用于存儲行為防御服務器3中的行為防御日志，并將所述行為防御日志發(fā)送給數(shù)據(jù)分析服務器5；

數(shù)據(jù)分析服務器5，用于對行為防御日志和訪問日志進行分析，得到黑名單，并將黑名單發(fā)送給防護設備。

進一步的，還包括規(guī)則服務器6，所述數(shù)據(jù)分析服務器5將分析得到的所述黑名單發(fā)給所述規(guī)則服務器6，所述規(guī)則服務器6將黑名單推送到Web服務器1和防火墻服務器9，使得Web服務器1和防火墻服務器9能夠根據(jù)所述黑名單進行防御。

進一步的，所述數(shù)據(jù)分析服務器5，包括數(shù)據(jù)分析模塊，所述數(shù)據(jù)分析模塊能夠利用不同的算法對行為防御日志和訪問日志進行分析和整合，得到黑名單。

進一步的，所述訪問日志包括用戶7訪問系統(tǒng)的url、時間、ip以及cookie，行為防御日志為行為防御的結果，包括何時，哪個用戶訪問系統(tǒng)，違反了什么規(guī)則，系統(tǒng)建議如何處理，處理方式包括：通過、人工審核、拒絕。

進一步的，所述黑名單包括ip黑名單、用戶黑名單或者其它維度的黑名單。

進一步的，所述數(shù)據(jù)分析模塊能夠利用離線分析對行為防御日志和訪問日志進行分析和整合，所述離線分析指對大規(guī)模數(shù)據(jù)進行大數(shù)據(jù)分析。

進一步的，所述數(shù)據(jù)分析模塊能夠利用流式分析對行為防御日志和訪問日志進行分析和整合，所述流式分析，按照某種頻率對數(shù)據(jù)流進行持續(xù)分析，要求結果實時返回。

進一步的，所述數(shù)據(jù)分析模塊能夠利用機器學習對行為防御日志和訪問日志進行分析和整合，所述機器學習，通過從數(shù)據(jù)里提取規(guī)則或模式來把數(shù)據(jù)轉換成信息。

進一步的，還具有其它風險數(shù)據(jù)源9，將其它風險數(shù)據(jù)源9提供給數(shù)據(jù)分析服務器5，由數(shù)據(jù)分析模塊進行分析，以得到黑名單。

本發(fā)明綜合利用了訪問日志和行為防御日志，對其進行實時分析，動態(tài)維護黑名單或者利用大數(shù)據(jù)的機器學習功能，對訪問用戶進行預測式分析，進行主動防御，還能夠充分利用外部行為防御系統(tǒng)積累的防護經驗，利用不斷累積的數(shù)據(jù)，不斷調整數(shù)據(jù)分析方法，使得系統(tǒng)具備自我學習能力，產生的黑名單以廣播的形式推送到不同防護設備，使得不同級別的防護設備同時得到防護加強。

附圖說明

圖1是根據(jù)本發(fā)明具體實施例的基于大數(shù)據(jù)分析的防惡意攻擊系統(tǒng)的模塊圖。

圖中的附圖標記所分別指代的技術特征為：

1、Web服務器；2、應用服務器；3、行為防御服務器；4、ES服務器；5、數(shù)據(jù)分析服務器；6、規(guī)則服務器；7、用戶；8、防火墻服務器；9、其它風險數(shù)據(jù)源。

具體實施方式

下面結合附圖和實施例對本發(fā)明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關的部分而非全部結構。

參見圖1，示出了根據(jù)本發(fā)明具體實施例的基于大數(shù)據(jù)分析的防惡意攻擊系統(tǒng)的模塊圖，該系統(tǒng)包括Web服務器1，應用服務器2，行為防御服務器3、ES服務器4、數(shù)據(jù)分析服務器5和防火墻服務器8。

Web服務器1，用于接收用戶7發(fā)出的各種請求，向應用服務器2請求所需要的服務，并將訪問日志發(fā)給數(shù)據(jù)分析服務器5；

在本發(fā)明中，Web服務器1是一種高性能反向代理服務器，也可作為負載均衡服務器使用，例如Web服務器可以為Nginx服務器。

應用服務器2，用于向所述Web服務器2提供所需要的各種服務，并在業(yè)務操作中，調用行為防御服務器3，進行行為防御。該應用服務器2例如，可以部署應用程序包的中間件，常見的有tomcat、weblogic等；

行為防御服務器3，用于在應用服務器2提供各種服務時，針對所受到的各種攻擊提供防御服務，并將行為防御日志發(fā)送到ES服務器4。例如行為防御服務器3主要用于提供行為防御功能，能夠針對異常登錄、異常交易等風險動作進行防護，其中規(guī)則包括諸如單位時間內ip訪問次數(shù)過多、設備id缺失、地址相似等等。

ES服務器4，能夠用于存儲行為防御服務器3中的行為防御日志，并將所述行為防御日志發(fā)送給數(shù)據(jù)分析服務器5。該ES服務器4，ElasticSearch是一個基于Lucene的搜索服務器，它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口。

數(shù)據(jù)分析服務器5，用于對行為防御日志和訪問日志進行分析，得到黑名單，并將黑名單發(fā)送給防護設備。

因此，本發(fā)明通過構建數(shù)據(jù)分析服務器，對行為防御日志和訪問日志的相關信息進行分析，動態(tài)地提取各種黑名單，包括用戶黑名單，以及IP黑名單，發(fā)送給不同的防護設備，例如，Web服務器1和防火墻服務器9，使得Web服務器1和防火墻服務器9能夠根據(jù)所述黑名單進行防御。，既動態(tài)的更新了信息，又緩解了系統(tǒng)的壓力，使得Web服務器1和防火墻服務器9也能夠防御部分惡意攻擊。

進一步的，還包括規(guī)則服務器6，所述數(shù)據(jù)分析服務器5將分析得到的黑名單發(fā)給所述規(guī)則服務器6，所述規(guī)則服務器6將黑名單推送到Web服務器1和防火墻服務器9，使得Web服務器1和防火墻服務器9能夠根據(jù)所述黑名單進行防御。更進一步的，規(guī)則服務器6能夠通過廣播的方式將得到的黑名單推送到不同的防護設備，Web服務器、WAF甚至防火墻，使得不同級別的防護設備同時得到防護加強。此外，黑名單還可以由規(guī)則服務器通過restfule API的形式推送到Web服務器、防火墻等各層防護設備。

進一步的，所述數(shù)據(jù)分析服務器5，包括數(shù)據(jù)分析模塊，所述數(shù)據(jù)分析模塊能夠利用不同的算法對行為防御日志和訪問日志進行分析和整合，得到黑名單。

具體而言，所述訪問日志包括用戶7訪問系統(tǒng)的url、時間、ip以及cookie等參數(shù)，行為防御日志主要包括行為防御的結果，例如何時，哪個用戶訪問系統(tǒng)，違反了什么規(guī)則，系統(tǒng)建議如何處理，處理方式包括：通過、人工審核、拒絕。數(shù)據(jù)分析模塊分析訪問日志時，會根據(jù)特定算法，如哪些ip在單位時間內訪問頻次過高、哪些用戶訪問頻次過高等，來生成ip黑名單、用戶黑名單或者其它維度的黑名單；數(shù)據(jù)分析服務器在分析行為防御日志時，也能夠根據(jù)特定的算法計算，將行為防御服務器拒絕的用戶或ip生成相應的黑名單。

進一步的，所述數(shù)據(jù)分析模塊能夠利用離線分析對行為防御日志和訪問日志進行分析和整合，所述離線分析指對大規(guī)模數(shù)據(jù)進行大數(shù)據(jù)分析，離線分析一般用于數(shù)據(jù)的深度挖掘和分析，不要求結果的實時性。

進一步的，所述數(shù)據(jù)分析模塊能夠利用流式分析對行為防御日志和訪問日志進行分析和整合，所述流式分析，按照某種頻率對數(shù)據(jù)流進行持續(xù)分析，要求結果實時返回，因此，能夠實時地提供黑名單。

進一步的，所述數(shù)據(jù)分析模塊能夠利用機器學習對行為防御日志和訪問日志進行分析和整合，所述機器學習，通過從數(shù)據(jù)里提取規(guī)則或模式來把數(shù)據(jù)轉換成信息。主要的方法有歸納學習法和分析學習法。數(shù)據(jù)首先被預處理，形成特征，然后根據(jù)特征創(chuàng)建某種模型。機器學習算法分析收集到的數(shù)據(jù)，分配權重、閾值和其他參數(shù)達到學習目的。還可以采用“聚類”算法將數(shù)據(jù)分成不同的類，采用“分類”算法，進行預測。

進一步的，還具有其它風險數(shù)據(jù)源9，其他風向數(shù)據(jù)源9可以由外部的風控工具分析得到，例如一些第三方的商業(yè)或開源的風險控制工具，將其它風險數(shù)據(jù)源9提供給數(shù)據(jù)分析服務器5，由數(shù)據(jù)分析模塊進行分析，以得到黑名單。

因此，能夠通過外部行為防御系統(tǒng)所積累的防護經驗，來提高本系統(tǒng)的防御水平。

實施例：

某售票網站，傳統(tǒng)的防御體系為直接IP防御+行為防御，在搶票時，會在短時間內涌入大量的訪問請求，直接IP防御無法及時有效的調整防御策略；而行為防御雖然可以起到一定效果，可是會讓應用服務器面對防御的大部分壓力，使得正常業(yè)務收到影響。

而基于本發(fā)明的防御體系，可以使該售票網站能夠根據(jù)訪問特點以及行為防御提供的結果，快速調整直接IP防御的策略，大大提高了系統(tǒng)的靈活應變能力同時減輕了應用服務器的負擔，保證了正常業(yè)務的運轉。

綜上，本發(fā)明綜合利用了訪問日志和行為防御日志，對其進行實時分析，動態(tài)維護黑名單或者利用大數(shù)據(jù)的機器學習功能，對訪問用戶進行預測式分析，進行主動防御，還能夠充分利用外部行為防御系統(tǒng)積累的防護經驗，利用不斷累積的數(shù)據(jù)，不斷調整數(shù)據(jù)分析方法，使得系統(tǒng)具備自我學習能力，產生的黑名單以廣播的形式推送到不同防護設備，使得不同級別的防護設備同時得到防護加強。

顯然，本領域技術人員應該明白，上述的本發(fā)明的各單元或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個計算裝置上,可選地，他們可以用計算機裝置可執(zhí)行的程序代碼來實現(xiàn)，從而可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件的結合。

以上內容是結合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施方式僅限于此，對于本發(fā)明所屬技術領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干簡單的推演或替換，都應當視為屬于本發(fā)明由所提交的權利要求書確定保護范圍。