本發(fā)明涉及網(wǎng)絡(luò)安全領(lǐng)域(入侵檢測(cè)系統(tǒng)研究方向)，尤其涉及一種基于多源數(shù)據(jù)融合的自動(dòng)化入侵檢測(cè)規(guī)則生成方法。

背景技術(shù)：

1、主流的入侵檢測(cè)系統(tǒng)包括snort,suricata等，其檢測(cè)效果都依賴于規(guī)則庫(kù)的質(zhì)量。

2、現(xiàn)有專利申請(qǐng)：

3、網(wǎng)絡(luò)制造系統(tǒng)入侵檢測(cè)方法、裝置及電子設(shè)備。

4、網(wǎng)絡(luò)入侵檢測(cè)規(guī)則生成方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)。

5、一種基于蜜罐攻擊告警的入侵檢測(cè)規(guī)則生成方法與系統(tǒng)。

6、入侵檢測(cè)規(guī)則生成方法、裝置及電子設(shè)備。

7、已經(jīng)發(fā)表的論文：

8、a?conceptual?framework?for?automated?rule?generation?in?provenance-based?intrusion?detection?systems。

9、基于威脅情報(bào)的自動(dòng)生成入侵檢測(cè)規(guī)則方法。

10、dendron:genetic?trees?driven?rule?induction?for?network?intrusiondetection?systems。

11、在當(dāng)前形勢(shì)下，網(wǎng)絡(luò)攻擊的手法層出不窮，攻擊能力不斷增強(qiáng)，防御能力亟需提高。p2dr模型提出了在安全策略指導(dǎo)下，通過(guò)防護(hù)、檢測(cè)和響應(yīng)三大模塊的環(huán)環(huán)相扣，形成閉環(huán)，保證信息系統(tǒng)的安全。在防護(hù)模塊中，軟硬件防火墻的實(shí)現(xiàn)已較為成熟；在檢測(cè)模塊中，入侵檢測(cè)系統(tǒng)(ids)例如snort也較為成熟。防護(hù)和檢測(cè)作為防御能力，再結(jié)合響應(yīng)模塊聯(lián)動(dòng)其他網(wǎng)絡(luò)安全防護(hù)設(shè)備處理威脅，確保信息系統(tǒng)的安全。

12、當(dāng)前，入侵檢測(cè)系統(tǒng)的檢測(cè)能力依賴其規(guī)則庫(kù)的質(zhì)量。規(guī)則特征庫(kù)的提取和更新主要依賴安全專家輔以軟件實(shí)現(xiàn)，但這種人工收錄的方式成本高且效率低。在規(guī)則庫(kù)的自動(dòng)生成和更新方面，有相關(guān)研究者提出針對(duì)視頻監(jiān)控設(shè)備的入侵檢測(cè)規(guī)則生成算法及裝置，其利用視頻監(jiān)控設(shè)備原則上不會(huì)發(fā)送請(qǐng)求到其他設(shè)備的原理，對(duì)異常請(qǐng)求進(jìn)行反向溯源，生成入侵檢測(cè)規(guī)則，但其局限于視頻監(jiān)控領(lǐng)域，不具備通用性。有研究者提出利用蜜罐采集告警數(shù)據(jù)，并利用差異化分析的方式生成差異結(jié)果，進(jìn)一步生成入侵檢測(cè)規(guī)則，但其數(shù)據(jù)來(lái)源單一，且生成的質(zhì)量高度依賴于蜜罐采集的質(zhì)量。另有研究者利用大量的歷史數(shù)據(jù)構(gòu)建知識(shí)圖譜，將捕獲到的目標(biāo)系統(tǒng)的異常流量提取流量特征后從知識(shí)圖譜中確定入侵檢測(cè)規(guī)則，但該方法圖譜構(gòu)建繁雜且時(shí)效性不強(qiáng)。還有研究者基于數(shù)控領(lǐng)域數(shù)據(jù)流向固定的事實(shí)，記錄正常來(lái)反推異常，并基于此生成數(shù)控領(lǐng)域的入侵檢測(cè)規(guī)則，該方法同樣存在通用性不強(qiáng)的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、綜上所述，人工收錄的方式成本高且效率低，同時(shí)現(xiàn)有的一些入侵檢測(cè)規(guī)則自動(dòng)化生成方法存在通用性或者時(shí)效性不強(qiáng)的問(wèn)題。同時(shí)我們注意到，威脅情報(bào)的時(shí)效性高于上述人工構(gòu)建或者基于歷史數(shù)據(jù)的ids規(guī)則。因此，本發(fā)明提出一種能夠?qū)⒕W(wǎng)絡(luò)流量數(shù)據(jù)、告警日志、威脅情報(bào)數(shù)據(jù)有機(jī)結(jié)合的多源融合方法，以提高入侵檢測(cè)規(guī)則的生成效率和時(shí)效性。

2、鑒于此，本發(fā)明采用的技術(shù)方案為多源數(shù)據(jù)融合驅(qū)動(dòng)的入侵檢測(cè)規(guī)則生成方法，采集異常流量數(shù)據(jù)、開(kāi)源威脅情報(bào)信息、告警日志數(shù)據(jù)三種數(shù)據(jù)源，并基于圖數(shù)據(jù)庫(kù)和社團(tuán)檢測(cè)算法對(duì)其中開(kāi)源威脅情報(bào)信息的質(zhì)量進(jìn)行排序，得到高質(zhì)量情報(bào)。然后采用三層模型實(shí)現(xiàn)異常流量數(shù)據(jù)與告警日志的對(duì)齊，進(jìn)一步基于決策樹(shù)模型實(shí)現(xiàn)三者的對(duì)齊。對(duì)構(gòu)建后的決策樹(shù)進(jìn)行遍歷得到相關(guān)路徑，可從路徑中提取出入侵檢測(cè)規(guī)則。

3、具體步驟如下：

4、步驟1.采集用于生成入侵檢測(cè)規(guī)則的原始數(shù)據(jù)，包括給定目標(biāo)網(wǎng)絡(luò)的異常流量數(shù)據(jù)、互聯(lián)網(wǎng)空間中的開(kāi)源威脅情報(bào)信息、流量經(jīng)過(guò)入侵檢測(cè)系統(tǒng)后得到的告警日志。執(zhí)行步驟2。

5、步驟2.步驟1中得到的異常流量數(shù)據(jù)與告警日志之間存在一定的時(shí)間差，且告警日志是異常流量數(shù)據(jù)流向入侵檢測(cè)系統(tǒng)后得到的數(shù)據(jù)，可知告警日志的數(shù)量小于等于異常流量的數(shù)據(jù)，無(wú)法一一對(duì)應(yīng)得到對(duì)齊的效果，采用改進(jìn)的滑動(dòng)窗口算法，得到與告警日志所對(duì)應(yīng)的一段時(shí)間內(nèi)的異常流量數(shù)據(jù)集合。如果異常流量數(shù)據(jù)量為1，執(zhí)行步驟6，否則執(zhí)行步驟3。

6、步驟3.提取步驟2得到的異常流量數(shù)據(jù)和告警日志的主要特征字段，其表現(xiàn)為文本形式，通過(guò)n-gram相似度算法計(jì)算告警日志與其對(duì)應(yīng)的異常流量數(shù)據(jù)集合每條數(shù)據(jù)的相似度，基于相似度進(jìn)行排序，得到與告警日志相似度最大的異常流量數(shù)據(jù)集合。如果異常流量數(shù)據(jù)量為1，執(zhí)行步驟6，否則執(zhí)行步驟4。

7、步驟4.提取步驟3異常流量數(shù)據(jù)集合和告警日志的主要特征字段，其表現(xiàn)為文本形式，通過(guò)余弦相似度算法計(jì)算告警日志與其對(duì)應(yīng)的異常流量數(shù)據(jù)集合每條數(shù)據(jù)的相似度，基于相似度進(jìn)行排序，得到與告警日志相似度最大的異常流量數(shù)據(jù)集合。如果異常流量數(shù)據(jù)量為1，執(zhí)行步驟6，否則執(zhí)行步驟5。

8、步驟5.從異常流量數(shù)據(jù)集合中隨機(jī)選擇一條異常流量并輸入給步驟6。

9、步驟6.從告警日志中取出異常流量數(shù)據(jù)所不包含的字段信息，追加到異常流量數(shù)據(jù)中去，得到新的數(shù)據(jù)形式，實(shí)現(xiàn)兩者字段信息的對(duì)齊。執(zhí)行步驟7。

10、步驟7.將步驟1中得到的威脅情報(bào)信息作為圖數(shù)據(jù)庫(kù)的輸入寫(xiě)入圖數(shù)據(jù)庫(kù)，并存儲(chǔ)情報(bào)之間的不同關(guān)系，并根據(jù)關(guān)系的重要程度賦予不同的權(quán)重。執(zhí)行步驟8。

11、步驟8.將步驟7中賦予權(quán)重后的威脅情報(bào)信息作為社團(tuán)檢測(cè)算法的輸入，基于的模塊度最大化的思想進(jìn)行社團(tuán)劃分。并根據(jù)社團(tuán)中情報(bào)質(zhì)量的平均值計(jì)算出社團(tuán)的情報(bào)質(zhì)量。對(duì)單一情報(bào)而言，其情報(bào)質(zhì)量為所處社團(tuán)平均質(zhì)量與自身情報(bào)源質(zhì)量之和，并對(duì)情報(bào)進(jìn)行排序，進(jìn)而得到高質(zhì)量情報(bào)的集合。執(zhí)行步驟9。

12、步驟9.初始化決策樹(shù)模型，在決策樹(shù)的根節(jié)點(diǎn)，從步驟6中得到的對(duì)齊后的流量和日志數(shù)據(jù)中選擇一個(gè)關(guān)鍵字段(如源ip)進(jìn)行分裂。之后遞歸地在子節(jié)點(diǎn)中選擇其他字段，如目的ip、端口號(hào)等，逐步構(gòu)建決策樹(shù)的結(jié)構(gòu)。在決策樹(shù)的每個(gè)節(jié)點(diǎn)或路徑中，引入與當(dāng)前節(jié)點(diǎn)字段相關(guān)聯(lián)的威脅情報(bào)字段。例如，如果當(dāng)前節(jié)點(diǎn)判斷的是源ip字段，則在判斷時(shí)同時(shí)檢查威脅情報(bào)中的源ip字段。決策樹(shù)的某個(gè)路徑包含了與威脅情報(bào)相關(guān)的字段匹配時(shí)，將這些情報(bào)字段融合到當(dāng)前路徑中，同時(shí)步驟8得到的情報(bào)質(zhì)量也會(huì)加入到字段中。執(zhí)行步驟10。

13、步驟10.通過(guò)遍歷決策樹(shù)，將包含流量、日志和威脅情報(bào)的路徑提取出來(lái)。每條路徑代表了一個(gè)融合后的數(shù)據(jù)條目，包含了流量、日志和情報(bào)的相關(guān)信息。將相關(guān)信息按照入侵檢測(cè)系統(tǒng)規(guī)則的格式填充，得到入侵檢測(cè)規(guī)則。

14、本發(fā)明采用了基于異常流量數(shù)據(jù)、告警日志、威脅情報(bào)信息多種數(shù)據(jù)源，利用三者進(jìn)行有機(jī)結(jié)合，能夠生成時(shí)效性強(qiáng)的入侵檢測(cè)規(guī)則。

15、本發(fā)明中的改進(jìn)的滑動(dòng)窗口+n-gram算法+余弦相似度三層對(duì)齊模型，解決了因網(wǎng)絡(luò)延遲、系統(tǒng)處理的延遲帶來(lái)的告警日志與異常流量數(shù)據(jù)難以對(duì)齊的問(wèn)題。

16、本發(fā)明針對(duì)網(wǎng)絡(luò)上現(xiàn)有的開(kāi)源威脅情報(bào)源質(zhì)量各不相同的問(wèn)題，提出了一種基于社團(tuán)檢測(cè)算法的劃分方式，通過(guò)計(jì)算社團(tuán)內(nèi)部平均情報(bào)的質(zhì)量，能夠得到高質(zhì)量情報(bào)的劃分，也為后續(xù)規(guī)則的生成提供了可信度的依據(jù)。

17、本發(fā)明采用決策樹(shù)進(jìn)行多源數(shù)據(jù)的融合，能通過(guò)對(duì)決策樹(shù)訪問(wèn)路徑的遍歷進(jìn)一步高效的轉(zhuǎn)化為入侵檢測(cè)規(guī)則。