本技術(shù)涉及工業(yè)互聯(lián)網(wǎng)異常檢測(cè),尤其涉及工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、業(yè)生產(chǎn)環(huán)境日益復(fù)雜,眾多智能化設(shè)備、先進(jìn)控制系統(tǒng)以及龐大的網(wǎng)絡(luò)體系緊密交織。各種機(jī)器、傳感器和數(shù)據(jù)采集系統(tǒng)源源不斷地產(chǎn)生海量的實(shí)時(shí)數(shù)據(jù)。這些數(shù)據(jù)不僅數(shù)量龐大,而且具有高度的多樣性和動(dòng)態(tài)性,涵蓋了設(shè)備運(yùn)行狀態(tài)、工藝參數(shù)、環(huán)境指標(biāo)等多方面信息。然而,正是在這樣復(fù)雜的系統(tǒng)中,異常情況隨時(shí)可能出現(xiàn)。設(shè)備的磨損、故障的潛在風(fēng)險(xiǎn)、生產(chǎn)流程中的偏差、外部干擾因素等,都可能引發(fā)異常,對(duì)生產(chǎn)的連續(xù)性、產(chǎn)品質(zhì)量以及整體運(yùn)營效率構(gòu)成嚴(yán)重威脅。在許多工業(yè)應(yīng)用中,正常操作數(shù)據(jù)遠(yuǎn)遠(yuǎn)多于異常數(shù)據(jù),導(dǎo)致類不平衡嚴(yán)重。這可能使學(xué)習(xí)算法過度優(yōu)化檢測(cè)正常情況,而忽視異常情況,從而降低對(duì)真實(shí)異常的檢測(cè)能力。同時(shí)現(xiàn)有的模型容易導(dǎo)致過擬合,使得誤檢率提高。
2、上述內(nèi)容僅用于輔助理解本技術(shù)的技術(shù)方案,并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的主要目的在于提供一種工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì),旨在解決現(xiàn)有技術(shù)中不能有效應(yīng)對(duì)工業(yè)互聯(lián)網(wǎng)的安全威脅,提高異常檢測(cè)的準(zhǔn)確率的技術(shù)問題。
2、為實(shí)現(xiàn)上述目的,本技術(shù)提出一種工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)方法,所述工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)方法包括:
3、對(duì)工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,并對(duì)預(yù)處理后的工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行特征選擇,得到特征數(shù)據(jù);
4、對(duì)所述特征數(shù)據(jù)進(jìn)行異常流量檢測(cè),確定所述特征數(shù)據(jù)中的目標(biāo)多維流量特征;
5、對(duì)所述目標(biāo)多維流量特征進(jìn)行數(shù)據(jù)平衡,得到平衡數(shù)據(jù)集;
6、基于所述平衡數(shù)據(jù)集對(duì)初始異常流量檢測(cè)模型進(jìn)行貝葉斯優(yōu)化,得到最優(yōu)參數(shù)組合,并基于所述最優(yōu)參數(shù)組合得到目標(biāo)異常流量檢測(cè)模型,根據(jù)所述目標(biāo)異常流量檢測(cè)模型得到檢測(cè)結(jié)果。
7、在一實(shí)施例中,所述對(duì)預(yù)處理后的工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行特征選擇,得到特征數(shù)據(jù)的步驟包括:
8、對(duì)預(yù)處理后的工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)通過主成分分析進(jìn)行數(shù)據(jù)降維,得到降維數(shù)據(jù)集;
9、根據(jù)信息熵對(duì)所述降維數(shù)據(jù)集進(jìn)行求導(dǎo),并在所述信息熵降低至目標(biāo)熵值時(shí),訓(xùn)練隨機(jī)森林模型得到目標(biāo)隨機(jī)森林模型;
10、根據(jù)所述目標(biāo)隨機(jī)森林模型對(duì)所述降維數(shù)據(jù)集的特征進(jìn)行重要性評(píng)估,確定各個(gè)所述特征的重要性評(píng)分,基于所述重要性評(píng)分確定特征數(shù)據(jù)。
11、在一實(shí)施例中,所述對(duì)所述特征數(shù)據(jù)進(jìn)行異常流量檢測(cè),確定所述特征數(shù)據(jù)中的目標(biāo)多維流量特征的步驟包括:
12、基于極端梯度提升樹確定所述特征數(shù)據(jù)中檢測(cè)率與特征數(shù)量變化的關(guān)系曲線;
13、將所述關(guān)系曲線中準(zhǔn)確率為最大值時(shí)對(duì)應(yīng)的特征數(shù)據(jù)作為多維流量特征。
14、在一實(shí)施例中,所述對(duì)所述多維流量特征進(jìn)行數(shù)據(jù)平衡,得到平衡數(shù)據(jù)集的步驟包括:
15、對(duì)所述多維流量特征進(jìn)行自適應(yīng)綜合過采樣得到多數(shù)類樣本和少數(shù)類樣本,其中所述多數(shù)類樣本中的樣本數(shù)量大于所述少數(shù)類樣本中的樣本數(shù)量;
16、根據(jù)所述多數(shù)類樣本和所述少數(shù)類樣本得到合成樣本;
17、確定所述合成樣本在近鄰區(qū)域中的多類樣本數(shù),得到多數(shù)類占比;
18、對(duì)所述多數(shù)類占比進(jìn)行標(biāo)準(zhǔn)化,基于樣本權(quán)重和所述少數(shù)類樣本生成新樣本,得到平衡數(shù)據(jù)集。
19、在一實(shí)施例中,所述基于所述平衡數(shù)據(jù)集對(duì)初始異常流量檢測(cè)模型進(jìn)行貝葉斯優(yōu)化,得到最優(yōu)參數(shù)組合,并基于所述最優(yōu)參數(shù)組合得到目標(biāo)異常流量檢測(cè)模型,根據(jù)所述目標(biāo)異常流量檢測(cè)模型得到檢測(cè)結(jié)果的步驟包括:
20、確定初始異常流量檢測(cè)模型的參數(shù)和參數(shù)范圍,其中所述初始異常流量檢測(cè)模型為極端梯度提升樹和類別型提升樹;
21、基于所述平衡數(shù)據(jù)集對(duì)初始異常流量檢測(cè)模型進(jìn)行貝葉斯優(yōu)化,得到最優(yōu)參數(shù)組合,所述最優(yōu)參數(shù)組合包括參數(shù)與其對(duì)應(yīng)的參數(shù)范圍;
22、根據(jù)所述最優(yōu)參數(shù)組合得到貝葉斯優(yōu)化極端梯度提升樹和貝葉斯優(yōu)化類別型提升樹;
23、基于所述貝葉斯優(yōu)化極端梯度提升樹和所述貝葉斯優(yōu)化類別型提升樹得到第一檢測(cè)結(jié)果和第二檢測(cè)結(jié)果;
24、對(duì)所述第一檢測(cè)結(jié)果和所述第二檢測(cè)結(jié)果進(jìn)行投票,得到投票結(jié)果,并根據(jù)所述投票結(jié)果確定檢測(cè)結(jié)果。
25、在一實(shí)施例中,所述對(duì)工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理的步驟包括:
26、確定工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)中異常值,并對(duì)所述異常值進(jìn)行異常值處理,得到篩選數(shù)據(jù);
27、對(duì)所述篩選數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化,得到標(biāo)準(zhǔn)化數(shù)據(jù),并對(duì)所述標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行歸一化,得到預(yù)處理數(shù)據(jù)。
28、在一實(shí)施例中,所述基于所述平衡數(shù)據(jù)集對(duì)初始異常流量檢測(cè)模型進(jìn)行貝葉斯優(yōu)化,得到最優(yōu)參數(shù)組合,并基于所述最優(yōu)參數(shù)組合得到目標(biāo)異常流量檢測(cè)模型,根據(jù)所述目標(biāo)異常流量檢測(cè)模型得到檢測(cè)結(jié)果的步驟之后,還包括:
29、基于檢測(cè)指標(biāo)對(duì)所述檢測(cè)結(jié)果進(jìn)行驗(yàn)證,得到驗(yàn)證結(jié)果;
30、將所述驗(yàn)證結(jié)果與預(yù)設(shè)檢測(cè)閾值進(jìn)行比較,在所述驗(yàn)證結(jié)果在所述預(yù)設(shè)檢測(cè)閾值區(qū)間內(nèi)時(shí),確定所述目標(biāo)異常流量檢測(cè)模型的有效性為有效。
31、此外,為實(shí)現(xiàn)上述目的,本技術(shù)還提出一種工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)裝置,所述工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)裝置包括:
32、數(shù)據(jù)處理模塊,用于對(duì)工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,并對(duì)預(yù)處理后的工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行特征選擇,得到特征數(shù)據(jù);
33、特征提取模塊,用于對(duì)所述特征數(shù)據(jù)進(jìn)行異常流量檢測(cè),確定所述特征數(shù)據(jù)中的目標(biāo)多維流量特征;
34、數(shù)據(jù)平衡模塊,用于對(duì)所述目標(biāo)多維流量特征進(jìn)行數(shù)據(jù)平衡,得到平衡數(shù)據(jù)集;
35、模型優(yōu)化模塊,用于基于所述平衡數(shù)據(jù)集對(duì)初始異常流量檢測(cè)模型進(jìn)行貝葉斯優(yōu)化,得到最優(yōu)參數(shù)組合,并基于所述最優(yōu)參數(shù)組合得到目標(biāo)異常流量檢測(cè)模型,根據(jù)所述目標(biāo)異常流量檢測(cè)模型得到檢測(cè)結(jié)果。
36、此外,為實(shí)現(xiàn)上述目的,本技術(shù)還提出一種工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)設(shè)備,所述設(shè)備包括:存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)方法的步驟。
37、此外,為實(shí)現(xiàn)上述目的,本技術(shù)還提出一種存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)方法的步驟。
38、此外,為實(shí)現(xiàn)上述目的,本技術(shù)還提供一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的工業(yè)互聯(lián)網(wǎng)異常流量檢測(cè)方法的步驟。
39、本技術(shù)提出的一個(gè)或多個(gè)技術(shù)方案,至少具有以下技術(shù)效果:對(duì)工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,并對(duì)預(yù)處理后的工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行特征選擇,得到特征數(shù)據(jù),對(duì)所述特征數(shù)據(jù)進(jìn)行異常流量檢測(cè),確定所述特征數(shù)據(jù)中的目標(biāo)多維流量特征,對(duì)所述目標(biāo)多維流量特征進(jìn)行數(shù)據(jù)平衡,得到平衡數(shù)據(jù)集,基于所述平衡數(shù)據(jù)集對(duì)初始異常流量檢測(cè)模型進(jìn)行貝葉斯優(yōu)化,得到最優(yōu)參數(shù)組合,并基于所述最優(yōu)參數(shù)組合得到目標(biāo)異常流量檢測(cè)模型,根據(jù)所述目標(biāo)異常流量檢測(cè)模型得到檢測(cè)結(jié)果,能夠有效應(yīng)對(duì)工業(yè)互聯(lián)網(wǎng)的安全威脅,提高異常檢測(cè)的準(zhǔn)確率。