本發(fā)明涉及網(wǎng)絡(luò)安全、nlp，主要涉及基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法。

背景技術(shù)：

1、軟件漏洞檢測(cè)是信息安全領(lǐng)域的一個(gè)關(guān)鍵技術(shù)，它旨在識(shí)別軟件中可能被攻擊者利用來(lái)破壞系統(tǒng)安全的弱點(diǎn)或缺陷。在這個(gè)過(guò)程中，各種工具和方法被開發(fā)出來(lái)，以自動(dòng)化或半自動(dòng)化的方式發(fā)現(xiàn)潛在的安全威脅，從而保護(hù)軟件和其數(shù)據(jù)不受損害。

2、隨著計(jì)算機(jī)軟件系統(tǒng)的復(fù)雜性日增，漏洞檢測(cè)背后的技術(shù)也在不斷進(jìn)步。初始的方法包括靜態(tài)分析和動(dòng)態(tài)分析技術(shù)。靜態(tài)分析是在不運(yùn)行程序的情況下，分析源代碼或編譯后的代碼以查找潛在漏洞，如緩沖區(qū)溢出、sql注入等。動(dòng)態(tài)分析則涉及實(shí)際運(yùn)行程序并監(jiān)控其行為以識(shí)別異常，通常用于發(fā)現(xiàn)那些只有在程序運(yùn)行時(shí)才會(huì)顯現(xiàn)的漏洞。

3、近年來(lái)，深度學(xué)習(xí)技術(shù)的引入為軟件漏洞檢測(cè)帶來(lái)了新的突破。利用深度學(xué)習(xí)模型，研究人員能夠從大量的代碼樣本中學(xué)習(xí)和提取特征，并訓(xùn)練模型來(lái)自動(dòng)化地識(shí)別和分類漏洞。特別是卷積神經(jīng)網(wǎng)絡(luò)(cnn)和循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)在處理代碼的語(yǔ)法和語(yǔ)義特征方面表現(xiàn)出色。與此同時(shí)，transformer模型，憑借其自注意力機(jī)制，已經(jīng)在源代碼的語(yǔ)義理解上樹立了新的標(biāo)準(zhǔn)。

4、基于transformer的大型預(yù)訓(xùn)練模型，如bert、gpt等，已經(jīng)在許多領(lǐng)域顯示出了它們的強(qiáng)大能力，這些模型不僅革命性地改變了自然語(yǔ)言處理的景觀，也已經(jīng)開始滲透到其他許多領(lǐng)域，如計(jì)算機(jī)視覺、音頻處理以及跨模態(tài)(例如圖像和文本)任務(wù)中，展現(xiàn)出了其卓越的通用性和靈活性。

5、另一方面，盡管受到數(shù)據(jù)質(zhì)量和數(shù)量的限制，深度學(xué)習(xí)方法在漏洞檢測(cè)方面仍然取得了優(yōu)越的性能。傳統(tǒng)的漏洞數(shù)據(jù)庫(kù)，如國(guó)家漏洞數(shù)據(jù)庫(kù)(nvd)，以及開源漏洞數(shù)據(jù)庫(kù)(oss),提供了豐富的歷史漏洞報(bào)告信息。這些數(shù)據(jù)經(jīng)過(guò)適當(dāng)?shù)那逑春吞幚?，可以用于?xùn)練更加強(qiáng)大和精確的漏洞檢測(cè)模型。

6、每個(gè)漏洞類型，常通過(guò)一個(gè)獨(dú)特的cwe-id來(lái)表示，為檢測(cè)到的脆弱代碼提供深入的解釋，并協(xié)助安全工程師理解、分類和應(yīng)對(duì)這些漏洞。軟件漏洞分類(svc)因此成為一個(gè)關(guān)鍵的任務(wù)，它通過(guò)對(duì)已檢測(cè)漏洞提供更豐富的上下文，輔助svp模型，讓終端用戶更加明白潛在的安全風(fēng)險(xiǎn)。

7、基于transformer的預(yù)訓(xùn)練大型模型表現(xiàn)出驚人的能力，提出一種軟件漏洞檢測(cè)方法是非常有意義的。

技術(shù)實(shí)現(xiàn)思路

1、鑒于此，本發(fā)明提供了基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，以高效準(zhǔn)確地識(shí)別和分類軟件中的各種潛在風(fēng)險(xiǎn)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供了基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，包括：

3、基于基座模型，在自注意力矩陣上添加適配器模塊；

4、在模型進(jìn)行前向傳播的過(guò)程中，凍結(jié)預(yù)訓(xùn)練模型的原有參數(shù)，僅微調(diào)適配器的參數(shù)，來(lái)最小化模型的損失函數(shù)；

5、利用強(qiáng)化學(xué)習(xí)方法來(lái)計(jì)算spsa方法中的擾動(dòng)矩陣，從而來(lái)最小化檢測(cè)模型的損失函數(shù)；進(jìn)行強(qiáng)化學(xué)習(xí)，適配器模塊的參數(shù)a和b作為代理模型的輸入，擾動(dòng)矩陣za和zb作為輸出；損失函數(shù)和f1分?jǐn)?shù)經(jīng)過(guò)轉(zhuǎn)換，作為一個(gè)獎(jiǎng)勵(lì)信號(hào)，用于指導(dǎo)代理模型的訓(xùn)練過(guò)程；

6、通過(guò)迭代更新參數(shù)a和b，使得模型學(xué)習(xí)到更加精細(xì)的表示。

7、優(yōu)選地，所述基座模型在大規(guī)模代碼數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練。

8、優(yōu)選地，軟件漏洞檢測(cè)方法，包括：

9、步驟1：選擇codegeex2模型作為基座模型，在其自注意力矩陣wq，wk，wv上添加適配器模塊，在基座模型前向傳播的過(guò)程中，凍結(jié)預(yù)訓(xùn)練模型的原有參數(shù)，僅訓(xùn)練lora適配器的參數(shù)；

10、步驟2：應(yīng)用spsa梯度估計(jì)方法訓(xùn)練lora適配器的參數(shù)，并通過(guò)強(qiáng)化學(xué)習(xí)方法更新擾動(dòng)矩陣，最終僅通過(guò)前向傳播更新適配器矩陣；得到檢測(cè)模型，如公式(1)所示；

11、p＝w0h+δwh＝w0h+bah?????????????(1)

12、其中，w0表示預(yù)訓(xùn)練模型的參數(shù)，δw表示適配器參數(shù)，h表示輸入；

13、步驟3：將lora適配器和預(yù)訓(xùn)練模型凍結(jié)的參數(shù)合并；

14、步驟4：輸入代碼h，經(jīng)過(guò)投影矩陣wq,wk,wv，得到：

15、q?＝?hwq???????????????????????????????????????(2)

16、k?＝?hwk???????????????????????????????????????(3)

17、v?＝?hwv???????????????????????????????????????(4)

18、再經(jīng)過(guò)自注意力

19、

20、經(jīng)過(guò)編碼器：

21、an＝?ln(multi(attention(outencn-1)))+outencn-1?????????(6)

22、outencn＝ln(feedforward(an)+an)????????????????????????????????????(7)

23、其中，outencn-1為n-1層編碼器的輸出，經(jīng)過(guò)多頭自注意力multi和層歸一化ln后，再經(jīng)過(guò)前饋網(wǎng)絡(luò)feedforward和殘差鏈接后，再次層歸一化；

24、經(jīng)過(guò)解碼器：

25、

26、其中，qcross為解碼器自注意力層輸出，qdec,kdec,vdec為解碼器輸入的序列經(jīng)過(guò)變換后的隱藏維度，crossattention計(jì)算編碼器輸出層與qcross的交叉注意力，outdecn-1為n-1層解碼器自注意力輸出，經(jīng)過(guò)多頭自注意力計(jì)算和層歸一化進(jìn)行殘差連接，最后再經(jīng)過(guò)前饋網(wǎng)絡(luò)和殘差鏈接后進(jìn)行層歸一化；

27、最后，經(jīng)過(guò)平均池化和softmax函數(shù)，輸出漏洞類別c；

28、c＝softmax(averagepolling(outdecn))???????????????(12)。

29、優(yōu)選地，步驟2具體包括：

30、步驟21：適配器中的b、a矩陣，使用lora方法對(duì)a使用隨機(jī)高斯初始化，對(duì)b使用零初始化；

31、步驟22：修改模型的損失函數(shù)，在漏洞預(yù)測(cè)中，將漏洞預(yù)測(cè)任務(wù)視作分類任務(wù)，損失函數(shù)中同時(shí)考慮交叉熵?fù)p失和f1分?jǐn)?shù)，其中交叉熵?fù)p失用于度量真實(shí)標(biāo)簽分布和預(yù)測(cè)標(biāo)簽分布之間的差異，f1分?jǐn)?shù)為精確率和召回率的調(diào)和均值；最終，損失函數(shù)為：

32、

33、

34、其中，tp是真正例，fp是假正例；

35、

36、其中fn是假負(fù)例；

37、步驟23：采用零階梯度下降算法rl-zo，使得訓(xùn)練模型時(shí)，只進(jìn)行前向傳播；將強(qiáng)化學(xué)習(xí)引入到零階梯度下降算法rl-zo中，獎(jiǎng)勵(lì)函數(shù)如公式(17)所示：

38、

39、將f1分?jǐn)?shù)與交叉熵?fù)p失相減，并引入權(quán)重因子，將兩個(gè)指標(biāo)融合到統(tǒng)一的量綱下，并通過(guò)調(diào)節(jié)γ和λ的值來(lái)為兩個(gè)指標(biāo)設(shè)置合適的優(yōu)先級(jí)；

40、步驟24：強(qiáng)化學(xué)習(xí)代理模型使用一層transformer模型，transformer憑借其自注意力機(jī)制關(guān)注不同參數(shù)之間的聯(lián)系；通過(guò)編碼器、解碼器結(jié)構(gòu)，將原模型的適配器參數(shù)θ輸入到代理模型，輸出對(duì)應(yīng)擾動(dòng)矩陣z；

41、代理模型輸出擾動(dòng)矩陣z后，通過(guò)兩次前向傳播，計(jì)算spsa梯度估計(jì)，更新a，b矩陣，模型微調(diào)和強(qiáng)化學(xué)習(xí)模型訓(xùn)練交替進(jìn)行，強(qiáng)化學(xué)習(xí)模型訓(xùn)練過(guò)程中，使用ddpg算法更新參數(shù)。

42、本發(fā)明提供的基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，該方法在適配器的基礎(chǔ)上設(shè)計(jì)了一個(gè)高效的參數(shù)更新策略，旨在將這些強(qiáng)大的模型定制化應(yīng)用于軟件漏洞檢測(cè)的特定領(lǐng)域。通過(guò)這樣的改造，原本的大模型-預(yù)訓(xùn)練模型將被適配到下游任務(wù)，以便接收可疑代碼片段作為輸入，并產(chǎn)出精確的漏洞分類結(jié)果。

43、適配器的設(shè)計(jì)考慮到了預(yù)訓(xùn)練模型架構(gòu)的復(fù)雜性和下游任務(wù)的特殊需求，通過(guò)引入適配器，能顯著降低需要更新參數(shù)的數(shù)量，從而提升整體的效率并減輕資源消耗。同時(shí)，為了更好地適應(yīng)漏洞檢測(cè)任務(wù)，采用了一種新的參數(shù)更新方法，使得在不可微分的目標(biāo)上進(jìn)行快速的參數(shù)更新。經(jīng)過(guò)這樣適配后的模型有望在漏洞檢測(cè)領(lǐng)域展現(xiàn)出強(qiáng)大的性能，為安全工程師提供一個(gè)可靠的工具，以高效準(zhǔn)確地識(shí)別和分類軟件中的各種潛在風(fēng)險(xiǎn)。