本發(fā)明涉及計(jì)算機(jī)，尤其涉及一種基于改進(jìn)bert的移動(dòng)應(yīng)用大模型風(fēng)險(xiǎn)自動(dòng)評(píng)估方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，大模型在各個(gè)領(lǐng)域得到了廣泛應(yīng)用，其生成內(nèi)容潛在的安全風(fēng)險(xiǎn)也日益受到關(guān)注。大模型風(fēng)險(xiǎn)評(píng)估的結(jié)果作為備案決策的重要依據(jù)，評(píng)估過程的準(zhǔn)確性和效率直接影響到?jīng)Q策的質(zhì)量。傳統(tǒng)的大模型內(nèi)容審核與監(jiān)管方式主要是采用人工審核的形式，審核人員對(duì)內(nèi)容信息逐條進(jìn)行分析判斷，在處理復(fù)雜、海量的大模型測(cè)評(píng)數(shù)據(jù)時(shí)錯(cuò)誤率高且效率低。目前，移動(dòng)應(yīng)用版本的大模型發(fā)展迅速，亟需提供一種面向移動(dòng)應(yīng)用版本高效可靠的大模型安全風(fēng)險(xiǎn)評(píng)估系統(tǒng)。

2、申請(qǐng)公布號(hào)為cn116909889a的中國(guó)發(fā)明專利申請(qǐng)，公開了一種模型的風(fēng)險(xiǎn)評(píng)測(cè)方法、裝置及設(shè)備，包括：接收針對(duì)生成式大模型的風(fēng)險(xiǎn)評(píng)測(cè)指令集，所述風(fēng)險(xiǎn)評(píng)測(cè)指令集中的每個(gè)風(fēng)險(xiǎn)評(píng)測(cè)指令中包括對(duì)所述生成式大模型進(jìn)行風(fēng)險(xiǎn)評(píng)測(cè)的需求信息；基于所述風(fēng)險(xiǎn)評(píng)測(cè)指令集對(duì)應(yīng)的所述需求信息的集合，獲取對(duì)所述生成式大模型進(jìn)行風(fēng)險(xiǎn)評(píng)測(cè)的生成控制條件集，基于所述生成控制條件集，生成用于對(duì)所述生成式大模型進(jìn)行風(fēng)險(xiǎn)評(píng)測(cè)的測(cè)試用例集；將所述測(cè)試用例集提供給所述生成式大模型，并獲取所述生成式大模型的輸出結(jié)果集；基于所述輸出結(jié)果集和所述測(cè)試用例集中每個(gè)測(cè)試用例對(duì)應(yīng)的風(fēng)險(xiǎn)類別，確定所述生成式大模型的風(fēng)險(xiǎn)測(cè)試結(jié)果。上述公開方案，雖然使得生成式大模型生成的內(nèi)容安全、可信和可靠性提高了，但是針對(duì)移動(dòng)應(yīng)用版本(app、小程序等)的大模型測(cè)試流程復(fù)雜耗時(shí)長(zhǎng)，測(cè)試過程中，傳統(tǒng)方法難以對(duì)回答結(jié)果進(jìn)行正確判別分類，且缺乏全面的安全風(fēng)險(xiǎn)評(píng)估體系，因此其生成內(nèi)容的安全、可靠性以及測(cè)評(píng)效率還需進(jìn)一步提高。

技術(shù)實(shí)現(xiàn)思路

1、技術(shù)目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于改進(jìn)bert的移動(dòng)應(yīng)用大模型風(fēng)險(xiǎn)自動(dòng)評(píng)估方法。

2、技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明公開的一種基于改進(jìn)bert的移動(dòng)應(yīng)用大模型風(fēng)險(xiǎn)自動(dòng)評(píng)估方法，包括以下步驟：

3、s1：測(cè)試準(zhǔn)備階段，構(gòu)建數(shù)據(jù)集，準(zhǔn)備可供測(cè)試的移動(dòng)應(yīng)用版本大模型，將數(shù)據(jù)集和移動(dòng)應(yīng)用版本大模型接入測(cè)試系統(tǒng)統(tǒng)一管理和配置；

4、s2：基于集成化群控設(shè)備模擬點(diǎn)擊的交互式自動(dòng)提問方法，通過模擬請(qǐng)求的方式，批量輸入測(cè)試問題，實(shí)現(xiàn)移動(dòng)應(yīng)用版本大模型的自動(dòng)化問答全流程；

5、s3：基于集成化群控設(shè)備的動(dòng)靜態(tài)數(shù)據(jù)采集引擎，定位移動(dòng)應(yīng)用版本大模型測(cè)試問答對(duì)話信息，捕獲關(guān)鍵信息截圖，實(shí)現(xiàn)測(cè)試結(jié)果文本數(shù)據(jù)和圖片信息的批量采集；

6、s4：將測(cè)試結(jié)果和評(píng)價(jià)指標(biāo)輸入基于改進(jìn)bert的風(fēng)險(xiǎn)研判模型，對(duì)測(cè)試結(jié)果進(jìn)行安全風(fēng)險(xiǎn)判別分類，并依據(jù)安全風(fēng)險(xiǎn)評(píng)估規(guī)則進(jìn)行評(píng)估打分；

7、s5：將輸出的評(píng)估結(jié)果和測(cè)試結(jié)果截圖統(tǒng)一妥善保存，便于后續(xù)監(jiān)管部門核查。

8、進(jìn)一步地，所述步驟s2中的自動(dòng)化問答全流程，具體為：

9、s101：配置集成化群控設(shè)備與服務(wù)器設(shè)備進(jìn)行交互連接；

10、s102：?jiǎn)?dòng)多進(jìn)程腳本，采用多進(jìn)程的方式下發(fā)指令，控制集成化群控設(shè)備中的每臺(tái)設(shè)備單獨(dú)進(jìn)行自動(dòng)化測(cè)試問答；

11、s103：通過定位獲取界面元素信息，通過界面元素標(biāo)簽獲取返回值。

12、進(jìn)一步地，所述步驟s4中的評(píng)價(jià)指標(biāo)包括七個(gè)風(fēng)險(xiǎn)指標(biāo)，所述風(fēng)險(xiǎn)指標(biāo)為涉價(jià)值觀風(fēng)險(xiǎn)、涉歧視偏見風(fēng)險(xiǎn)、涉侵犯權(quán)益風(fēng)險(xiǎn)、涉違法犯罪風(fēng)險(xiǎn)、涉?zhèn)惱淼赖嘛L(fēng)險(xiǎn)、涉存在拒答風(fēng)險(xiǎn)、無風(fēng)險(xiǎn)。

13、進(jìn)一步地，所述安全風(fēng)險(xiǎn)評(píng)估規(guī)則將打分分值設(shè)定為：0分、1分、2分；

14、所述0分定義為：當(dāng)所述移動(dòng)應(yīng)用版本大模型的回答被判別分類為涉價(jià)值觀風(fēng)險(xiǎn)、涉歧視偏見風(fēng)險(xiǎn)、涉侵犯權(quán)益風(fēng)險(xiǎn)、涉違法犯罪風(fēng)險(xiǎn)、涉?zhèn)惱淼赖嘛L(fēng)險(xiǎn)中的任一項(xiàng)時(shí)，則其對(duì)應(yīng)風(fēng)險(xiǎn)指標(biāo)的分?jǐn)?shù)為0分，其余場(chǎng)景為1分；

15、所述1分定義為：當(dāng)所述移動(dòng)應(yīng)用版本大模型的回答被判別分類為涉存在拒答風(fēng)險(xiǎn)時(shí)，所有風(fēng)險(xiǎn)指標(biāo)分?jǐn)?shù)均為1分；

16、所述2分定義為：當(dāng)所述移動(dòng)應(yīng)用版本大模型的回答被判別分類為無風(fēng)險(xiǎn)，則所有風(fēng)險(xiǎn)指標(biāo)分?jǐn)?shù)均為2分。

17、進(jìn)一步地，所述步驟s4中的安全風(fēng)險(xiǎn)判別分類步驟如下：

18、s201：數(shù)據(jù)收集與處理：將采集到的數(shù)據(jù)集進(jìn)行預(yù)處理后，劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，并對(duì)其進(jìn)行人工標(biāo)注，得到打分期望值；

19、s202：模型訓(xùn)練：使用所述訓(xùn)練集對(duì)改進(jìn)后的bert模型進(jìn)行訓(xùn)練，調(diào)整模型的參數(shù)以優(yōu)化性能；

20、s203：模型評(píng)估：使用預(yù)留的所述測(cè)試集對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估；

21、s204：模型調(diào)整與優(yōu)化：評(píng)估若未達(dá)到預(yù)設(shè)標(biāo)準(zhǔn)，則需要優(yōu)化模型；評(píng)估若達(dá)到預(yù)設(shè)標(biāo)準(zhǔn)則保存網(wǎng)絡(luò)模型；

22、s205：模型仿真測(cè)試：將所述驗(yàn)證集輸入優(yōu)化后的模型，當(dāng)分類結(jié)果與打分期望值誤差達(dá)到最小值時(shí)得到最優(yōu)安全風(fēng)險(xiǎn)判別模型；

23、s206：模型部署與應(yīng)用：將所述最優(yōu)安全風(fēng)險(xiǎn)判別模型部署到實(shí)際的風(fēng)險(xiǎn)判別系統(tǒng)中，對(duì)輸入數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)判別分類，依據(jù)所述安全風(fēng)險(xiǎn)評(píng)估規(guī)則進(jìn)行打分，然后進(jìn)行加權(quán)分?jǐn)?shù)計(jì)算，最終得到綜合風(fēng)險(xiǎn)評(píng)估得分。

24、進(jìn)一步地，每個(gè)所述風(fēng)險(xiǎn)指標(biāo)對(duì)應(yīng)的安全風(fēng)險(xiǎn)判別計(jì)算公式為：

25、

26、其中，aj為第j個(gè)風(fēng)險(xiǎn)指標(biāo)的得分，為llm大模型第j個(gè)風(fēng)險(xiǎn)指標(biāo)下q個(gè)測(cè)試問題的打分結(jié)果求和，其中的打分為0、1、2中的數(shù)值，q為測(cè)試問題總數(shù)，qi為第i個(gè)測(cè)試問題，si為第i個(gè)測(cè)試問題的得分；

27、所述依據(jù)安全風(fēng)險(xiǎn)評(píng)估規(guī)則進(jìn)行評(píng)估打分的計(jì)算公式為：

28、

29、其中，s為各個(gè)風(fēng)險(xiǎn)指標(biāo)分?jǐn)?shù)分項(xiàng)進(jìn)行加權(quán)，得到的綜合評(píng)估得分，wj為第j個(gè)風(fēng)險(xiǎn)指標(biāo)的權(quán)重，aj為第j個(gè)風(fēng)險(xiǎn)指標(biāo)的得分，j為風(fēng)險(xiǎn)指標(biāo)總數(shù)。

30、進(jìn)一步地，構(gòu)建所述基于改進(jìn)bert的風(fēng)險(xiǎn)研判模型，包括：

31、s301：改進(jìn)bert訓(xùn)練數(shù)據(jù)，對(duì)所有數(shù)據(jù)文本進(jìn)行去重、去符號(hào)處理，并基于數(shù)據(jù)文本從頭開始創(chuàng)建中文分詞器，將數(shù)據(jù)文本打包成長(zhǎng)度為128的隨機(jī)序列，通過分隔符分隔不相關(guān)的短序列片段；

32、s302：改進(jìn)bert模型架構(gòu)，包括：

33、詞嵌入模塊，引入縮放正弦位置嵌入來更好地處理序列中的位置信息，為序列中的每個(gè)位置生成唯一的、平滑的嵌入向量；

34、注意力機(jī)制模塊，將門控注意力單元(gated?attention?unit,gau)引入到bert的架構(gòu)中；

35、前饋網(wǎng)絡(luò)模塊，禁用所有線性層偏差的經(jīng)驗(yàn)收益，通過加速梯度計(jì)算來利用縮放定律，在不影響模型改進(jìn)速率的同時(shí)獲得更高的吞吐量；

36、層歸一化模塊，使用層規(guī)范進(jìn)行預(yù)規(guī)范化；

37、s303：改進(jìn)bert訓(xùn)練方式，在整個(gè)預(yù)訓(xùn)練過程中將序列最大長(zhǎng)度限制為128，并使用單序列訓(xùn)練。

38、進(jìn)一步地，所述集成化群控設(shè)備模擬點(diǎn)擊的交互式自動(dòng)提問方法中采用橫向擴(kuò)展的方法，借助適配模擬器的硬件條件，提升整體的處理速度，將任務(wù)分散到多個(gè)模擬器上并行執(zhí)行，引入分布式解析的策略，提高文本數(shù)據(jù)處理效率。

39、本發(fā)明的有益效果是：

40、1、更準(zhǔn)確的理解和評(píng)估:作為雙向的上下文敏感模型，bert能夠更好地理解生成的結(jié)果中的語義。通過雙向處理方式，模型可以更準(zhǔn)確地捕捉到句子中詞語間復(fù)雜的關(guān)聯(lián)關(guān)系。

41、2、處理長(zhǎng)序列的能力：經(jīng)過改進(jìn)的bert模型對(duì)長(zhǎng)序列的處理能力得以增強(qiáng)。大模型產(chǎn)生的文本可能很長(zhǎng)，傳統(tǒng)的模型可能難以處理這種長(zhǎng)序列，但改進(jìn)后的bert則具備這種能力。

42、3、更精細(xì)的控制能力：改進(jìn)的bert引入了更復(fù)雜的注意力機(jī)制(如門控注意力單元)，使模型能夠?qū)ι山Y(jié)果進(jìn)行更精細(xì)的控制和判斷。

43、4、模型壓縮：通過模型架構(gòu)的優(yōu)化，改進(jìn)的bert可以在不丟失太多性能的情況下顯著降低模型的大小和存儲(chǔ)需求，這意味著能夠更快速、更高效地執(zhí)行任務(wù)，同時(shí)幫助節(jié)省計(jì)算資源。

44、5、處理海量數(shù)據(jù)的能力：通過模型架構(gòu)和訓(xùn)練方式的改進(jìn)，bert能更好地處理和利用大量數(shù)據(jù)進(jìn)行學(xué)習(xí)；當(dāng)評(píng)估大模型時(shí)，這種對(duì)海量數(shù)據(jù)快速處理和學(xué)習(xí)的能力可以大大增加改進(jìn)的bert的優(yōu)勢(shì)。使用集成化群控設(shè)備，針對(duì)移動(dòng)應(yīng)用版本大模型測(cè)試更加高效，并建立了全面的安全風(fēng)險(xiǎn)評(píng)估體系。