技術(shù)特征：

1.基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，所述基座模型在大規(guī)模代碼數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練。

3.根據(jù)權(quán)利要求1所述的基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，其特征在于，包括：

4.根據(jù)權(quán)利要求1所述的基于transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，其特征在于，步驟2具體包括：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了基于Transformer架構(gòu)預(yù)訓(xùn)練模型的軟件漏洞檢測(cè)方法，包括：基于基座模型，在自注意力矩陣上添加適配器模塊；在模型進(jìn)行前向傳播的過(guò)程中，凍結(jié)預(yù)訓(xùn)練模型的原有參數(shù)，僅微調(diào)適配器的參數(shù)，并最小化模型的損失函數(shù)；利用強(qiáng)化學(xué)習(xí)方法來(lái)計(jì)算SPSA方法中的擾動(dòng)矩陣，從而來(lái)最小化檢測(cè)模型的損失函數(shù)；通過(guò)迭代更新參數(shù)A和B，使得模型學(xué)習(xí)到更加精細(xì)的表示。該方法在適配器的基礎(chǔ)上設(shè)計(jì)了一個(gè)高效的參數(shù)更新策略，經(jīng)過(guò)這樣適配后的模型有望在漏洞檢測(cè)領(lǐng)域展現(xiàn)出強(qiáng)大的性能，為安全工程師提供一個(gè)可靠的工具，以高效準(zhǔn)確地識(shí)別和分類軟件中的各種潛在風(fēng)險(xiǎn)。

技術(shù)研發(fā)人員：郭薇,劉志輝,薄佳怡,顏漫,王欣悅
受保護(hù)的技術(shù)使用者：沈陽(yáng)航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23