本發(fā)明涉及網(wǎng)絡(luò)威脅監(jiān)測(cè),具體為一種基于yolo算法的網(wǎng)絡(luò)威脅監(jiān)測(cè)與預(yù)警方法。
背景技術(shù):
1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展與普及,目前互聯(lián)網(wǎng)上每日都會(huì)產(chǎn)生海量的流量數(shù)據(jù),互聯(lián)網(wǎng)技術(shù)的快速發(fā)展一方面提高人們的生活質(zhì)量,另一方面也給個(gè)人、企業(yè)、國(guó)家?guī)?lái)了潛在的網(wǎng)絡(luò)威脅,網(wǎng)絡(luò)安全問(wèn)題越來(lái)越受到人們的重視。
2、在海量的網(wǎng)絡(luò)數(shù)據(jù)中,網(wǎng)絡(luò)中的一些入侵行為可能直接或間接地對(duì)平臺(tái)進(jìn)行攻擊,例如分布式拒絕服務(wù)攻擊是黑客常使用的攻擊方式,通過(guò)消耗被攻擊者主機(jī)的資源,拒絕合法的用戶正常訪問(wèn)網(wǎng)絡(luò)系統(tǒng)資源,很難防范,對(duì)各組織和公司構(gòu)成了極大威脅,常見(jiàn)的網(wǎng)絡(luò)威脅監(jiān)測(cè)方法通常是對(duì)網(wǎng)絡(luò)中的數(shù)據(jù)流進(jìn)行實(shí)時(shí)監(jiān)控,以便發(fā)現(xiàn)異常流量和攻擊行為,并通過(guò)入侵監(jiān)測(cè)系統(tǒng)監(jiān)控和檢測(cè)網(wǎng)絡(luò)入侵行為,以實(shí)現(xiàn)網(wǎng)絡(luò)威脅的監(jiān)測(cè)與預(yù)警。
3、目前網(wǎng)絡(luò)威脅種類(lèi)各不相同,影響設(shè)備功能的方式也有著不同的表現(xiàn)形式,面對(duì)日益增多的海量數(shù)據(jù)信息,傳統(tǒng)的方法很難從中快速檢測(cè)出入侵行為,在速度與準(zhǔn)確率上無(wú)法達(dá)到一個(gè)較好的平衡,并且在網(wǎng)絡(luò)流量數(shù)據(jù)威脅檢測(cè)需要針對(duì)有效特征數(shù)據(jù)進(jìn)行分析,傳統(tǒng)的檢測(cè)方法不涉及對(duì)有效特征數(shù)據(jù)的提取,從而導(dǎo)致網(wǎng)絡(luò)威脅監(jiān)測(cè)分析結(jié)果的可靠性較差。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于yolo算法的網(wǎng)絡(luò)威脅監(jiān)測(cè)與預(yù)警方法,解決以下技術(shù)問(wèn)題:
2、如何應(yīng)對(duì)日益增大的網(wǎng)絡(luò)流量數(shù)據(jù)的安全監(jiān)測(cè),并保證網(wǎng)絡(luò)威脅監(jiān)測(cè)分析結(jié)果的可靠性。
3、本發(fā)明的目的可以通過(guò)以下技術(shù)方案實(shí)現(xiàn):
4、一種基于yolo算法的網(wǎng)絡(luò)威脅監(jiān)測(cè)與預(yù)警方法,所述方法包括:
5、s1:通過(guò)數(shù)據(jù)采集模塊收集網(wǎng)絡(luò)流量數(shù)據(jù),并對(duì)所有網(wǎng)絡(luò)流量數(shù)據(jù)中的有效特征數(shù)據(jù)進(jìn)行提?。?/p>
6、s2:將所得到的一維有效特征網(wǎng)絡(luò)流量數(shù)據(jù)轉(zhuǎn)化為二維可視化數(shù)據(jù);
7、s3:對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,確定網(wǎng)絡(luò)流量二維數(shù)據(jù)存在入侵行為的位置信息,對(duì)該威脅數(shù)據(jù)添加檢測(cè)框并分類(lèi),形成訓(xùn)練集與驗(yàn)證集;
8、s4:構(gòu)建yolo算法的深度學(xué)習(xí)模型,融入長(zhǎng)短期記憶網(wǎng)絡(luò)原理,將標(biāo)注過(guò)的訓(xùn)練集輸入到深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練,之后再通過(guò)輸入驗(yàn)證集驗(yàn)證得到的結(jié)果,及時(shí)對(duì)模型進(jìn)行修正;
9、s5:實(shí)時(shí)檢測(cè),將預(yù)處理完成后的網(wǎng)絡(luò)流量數(shù)據(jù)輸入到深度學(xué)習(xí)模型中,得到檢測(cè)入侵行為的種類(lèi)、概率、位置等信息;
10、s6:將當(dāng)前檢測(cè)網(wǎng)絡(luò)入侵行為的結(jié)果與設(shè)定閾值做比較,判斷當(dāng)前網(wǎng)絡(luò)流量中是否含有入侵行為,確定并預(yù)警該入侵行為;
11、s7:對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)所存在的入侵行為進(jìn)行威脅程度分析,并獲取該網(wǎng)絡(luò)流量數(shù)據(jù)的威脅等級(jí)。
12、進(jìn)一步的,所述s1中有效特征數(shù)據(jù)進(jìn)行提取的過(guò)程包括:
13、通過(guò)公式計(jì)算獲得第x組網(wǎng)絡(luò)流量數(shù)據(jù)的特征丟失系數(shù)tx;
14、其中,p為采集到的所有網(wǎng)絡(luò)數(shù)據(jù)總量,x為采集到的所有網(wǎng)絡(luò)數(shù)據(jù)中的任意一組網(wǎng)絡(luò)流量數(shù)據(jù),cfx為第x組網(wǎng)絡(luò)流量數(shù)據(jù)的重復(fù)數(shù)據(jù)包數(shù)量,cwx為第x組網(wǎng)絡(luò)流量數(shù)據(jù)的錯(cuò)誤數(shù)據(jù)包數(shù)量,r1與r2為第一權(quán)重系數(shù),zslx為第x組網(wǎng)絡(luò)流量數(shù)據(jù)的數(shù)據(jù)包總量,slx為第x組網(wǎng)絡(luò)流量數(shù)據(jù)的鏈接速率,sly為預(yù)設(shè)的鏈接速率,slb為slx的標(biāo)準(zhǔn)值,fk為定義函數(shù),若(sly-slx)≥1,則令fk=(sly-slx),若(sly-slx)<1,則令fk=1,dvx為第x組網(wǎng)絡(luò)流量數(shù)據(jù)的數(shù)據(jù)包大小,dvy為預(yù)設(shè)的數(shù)據(jù)包大小,dvb為dvx的標(biāo)準(zhǔn)值,θ為誤差影響系數(shù),根據(jù)經(jīng)驗(yàn)擬合設(shè)定;
15、所述s1中有效特征數(shù)據(jù)進(jìn)行提取的過(guò)程還包括;
16、通過(guò)將所有組網(wǎng)絡(luò)流量數(shù)據(jù)的特征丟失系數(shù)tx分別與預(yù)設(shè)的特征丟失系數(shù)閾值t01進(jìn)行比對(duì);
17、若tx>t01,判斷該組網(wǎng)絡(luò)流量數(shù)據(jù)的特征丟失量大,并將其分類(lèi)為非有效特征數(shù)據(jù);
18、若tx≤t01,判斷該組網(wǎng)絡(luò)流量數(shù)據(jù)的特征丟失量小,將其分類(lèi)為有效特征數(shù)據(jù),并對(duì)該數(shù)據(jù)進(jìn)行提取。
19、進(jìn)一步的,所述s2中將所得到的一維網(wǎng)絡(luò)流量數(shù)據(jù)轉(zhuǎn)化為二維可視化數(shù)據(jù)的過(guò)程包括:
20、s21:將提取獲得的有效特征網(wǎng)絡(luò)流量數(shù)據(jù)以長(zhǎng)度l為固定長(zhǎng)度進(jìn)行分段,再把分段的數(shù)據(jù)編碼成m×n大小的矩陣z;
21、s22:對(duì)矩陣z進(jìn)行歸一化處理,將矩陣中的數(shù)值轉(zhuǎn)換為0~1范圍內(nèi);
22、s23:將經(jīng)過(guò)歸一化處理得到新矩陣進(jìn)行灰度化處理;
23、s24:經(jīng)過(guò)處理后得到0~255之間的矩陣,形成可視化二維數(shù)據(jù)并保留其映射關(guān)系。
24、進(jìn)一步的,所述s3中訓(xùn)練數(shù)據(jù)集的過(guò)程包括:
25、首先找到網(wǎng)絡(luò)入侵行為的位置信息,通過(guò)傳統(tǒng)異常檢測(cè)方法找到存在威脅入侵行為的數(shù)據(jù),之后通過(guò)映射關(guān)系添加檢測(cè)框標(biāo)注其在二維數(shù)據(jù)的位置,得到特征數(shù)據(jù)集xwide={x1,x2,x3…xn};
26、其中,x1,x2,x3…xn為特征要素,n為二維數(shù)據(jù)集合中原始的個(gè)數(shù)。
27、進(jìn)一步的,所述s4中構(gòu)建yolo算法的深度學(xué)習(xí)模型的過(guò)程包括:
28、通過(guò)yolo深度學(xué)習(xí)模型檢測(cè)網(wǎng)絡(luò)威脅行為;
29、并通過(guò)公式loss=lossbox+a*lossobj+b*losscls計(jì)算獲得總損失系數(shù);
30、其中,lossbox為預(yù)測(cè)的檢測(cè)框損失,losscls為預(yù)測(cè)的類(lèi)別損失,lossobj為預(yù)測(cè)的置信度損失,a和b為用于調(diào)節(jié)梯度下降迭代過(guò)程中損失的下降速度權(quán)重系數(shù)。
31、進(jìn)一步的,所述s5中的實(shí)時(shí)檢測(cè)過(guò)程包括:
32、首先對(duì)流經(jīng)設(shè)備中的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行預(yù)處理,以滿足yolo模型的輸入,并與訓(xùn)練集處理一致,通過(guò)解析獲取特征信息,再將一維數(shù)據(jù)轉(zhuǎn)化為二維可視化數(shù)據(jù),輸入到模型中進(jìn)行威脅檢測(cè)。
33、進(jìn)一步的,所述s6中的判斷過(guò)程包括:
34、當(dāng)輸入待檢測(cè)數(shù)據(jù)得到入侵行為檢測(cè)的結(jié)果時(shí),需要與設(shè)定的概率閾值進(jìn)行對(duì)比;
35、若大于等于閾值,則將其確定為某一類(lèi)的入侵行為并預(yù)警;
36、若小于閾值,則保留概率信息,利用長(zhǎng)短期記憶網(wǎng)絡(luò)原理,將該入侵行為的檢測(cè)概率暫時(shí)保留下來(lái)。
37、進(jìn)一步的,所述s7中的分析過(guò)程包括:
38、在獲得網(wǎng)絡(luò)檢測(cè)結(jié)果后,以多維度特征作為數(shù)據(jù),例如入侵行為的種類(lèi)、數(shù)量以及造成的網(wǎng)絡(luò)影響等特征,通過(guò)構(gòu)建評(píng)定模型建立評(píng)定平臺(tái),將數(shù)據(jù)輸入模型中,則可以獲得對(duì)當(dāng)前網(wǎng)絡(luò)威脅程度的等級(jí)劃分。
39、本發(fā)明的有益效果:
40、(1)本發(fā)明通過(guò)對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)中的有效特征數(shù)據(jù)進(jìn)行提取后,可以保證網(wǎng)絡(luò)流量數(shù)據(jù)的可靠性以及準(zhǔn)確性,從而提高網(wǎng)絡(luò)威脅監(jiān)測(cè)分析結(jié)果的可靠性,并且通過(guò)將目前成熟的圖像處理算法運(yùn)用到處理網(wǎng)絡(luò)流量數(shù)據(jù)中來(lái),為網(wǎng)絡(luò)流量數(shù)據(jù)處理帶來(lái)新的檢測(cè)方式,其高速的檢測(cè)方式,可以應(yīng)對(duì)日益增大的網(wǎng)絡(luò)流量數(shù)據(jù)威脅的安全監(jiān)測(cè)。
41、(2)本發(fā)明通過(guò)將所有組網(wǎng)絡(luò)流量數(shù)據(jù)的特征丟失系數(shù)tx分別與預(yù)設(shè)的特征丟失系數(shù)閾值t01進(jìn)行比對(duì),可以根據(jù)第x組網(wǎng)絡(luò)流量數(shù)據(jù)的特征丟失系數(shù)的大小,對(duì)該數(shù)據(jù)是否為有效特征數(shù)據(jù)做出準(zhǔn)確的判斷以及分類(lèi),從而方便后續(xù)對(duì)有效特征網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行提取,并保證在基于有效特征網(wǎng)絡(luò)數(shù)據(jù)的基礎(chǔ)上實(shí)現(xiàn)網(wǎng)絡(luò)威脅監(jiān)測(cè),從而提高監(jiān)測(cè)分析結(jié)果的可靠性。
42、(3)本發(fā)明通過(guò)實(shí)時(shí)輸入二維數(shù)據(jù)到深度學(xué)習(xí)模型當(dāng)中,識(shí)別網(wǎng)絡(luò)威脅數(shù)據(jù),獲取數(shù)據(jù)檢測(cè)結(jié)果信息,方便快捷且工作效率高,從而實(shí)現(xiàn)應(yīng)對(duì)日益增大的網(wǎng)絡(luò)流量數(shù)據(jù)威脅的安全監(jiān)測(cè),并且通過(guò)獲取數(shù)據(jù)檢測(cè)結(jié)果信息,可以對(duì)數(shù)據(jù)是否存在威脅做出準(zhǔn)確的判斷,從而實(shí)現(xiàn)預(yù)警功能。
43、(4)本發(fā)明通過(guò)在yolo模型中融入長(zhǎng)短記憶網(wǎng)絡(luò)原理,由于部分入侵行為可能影響多個(gè)數(shù)據(jù)分段,僅檢測(cè)一個(gè)二維數(shù)據(jù)切片可能不足以確定該入侵行為,檢測(cè)時(shí)不僅考慮當(dāng)前檢測(cè)的結(jié)果,也考慮前一段數(shù)據(jù)的檢測(cè)結(jié)果,綜合判斷入侵行為,所以通過(guò)如此設(shè)置,將上述損失加權(quán)累加在一起則形成總損失函數(shù)的計(jì)算公式,通過(guò)以上公式可以計(jì)算誤警率與漏警率。