本發(fā)明涉及安全調(diào)用，更具體地，涉及一種基于大語言模型和防御算法的數(shù)據(jù)安全分析方法。

背景技術(shù)：

1、在許多行業(yè)，特別是銀行業(yè)中，數(shù)據(jù)的安全性和隱私保護(hù)至關(guān)重要。為了防止敏感數(shù)據(jù)泄露，銀行通常會嚴(yán)格限制數(shù)據(jù)的流動，尤其是防止數(shù)據(jù)出域。在這樣的背景下，銀行不能使用依賴云端的機(jī)器學(xué)習(xí)模型和大數(shù)據(jù)處理系統(tǒng)，而是傾向于使用本地化的解決方案。因此，銀行業(yè)通常會采用本地部署的模型和大數(shù)據(jù)處理框架，利用高性能計算設(shè)備和專用服務(wù)器來滿足其分析和預(yù)測需求。

2、但這就帶來有一個普遍的問題：如果資源受限，將無法部署高性能的大語言模型，從而無法享受到大語言模型帶來的便利。因?yàn)樾阅芎玫哪Ｐ鸵话銋?shù)規(guī)模較大，在數(shù)據(jù)應(yīng)用安全合規(guī)情況下需要本地部署，帶來成本問題。而如果使用api調(diào)用域外大語言模型，盡管成本較低，但原始數(shù)據(jù)將會出域，存在數(shù)據(jù)泄露風(fēng)險。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)中存在的上述弊端，本發(fā)明提供了一種基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，使得銀行能在保護(hù)私域數(shù)據(jù)不出域情況下，使用大語言模型能力進(jìn)行查詢內(nèi)容生成以及數(shù)據(jù)庫查找，進(jìn)而進(jìn)行數(shù)據(jù)安全分析。

2、作為本發(fā)明的第一個方面，提供一種基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，通過數(shù)據(jù)安全分析系統(tǒng)來實(shí)現(xiàn)，所述數(shù)據(jù)安全分析系統(tǒng)包括數(shù)據(jù)源、前端和智能體；所述智能體包括查詢工具和react推理框架，其中，所述react推理框架包括推理階段、行動階段和觀察階段，所述推理階段涉及大語言模型，所述大語言模型切分為模型頭部、模型中部和模型尾部，所述數(shù)據(jù)源、前端、查詢工具、模型頭部、模型尾部、行動階段和觀察階段均位于客戶端，所述模型中部位于服務(wù)端；其中，所述基于大語言模型和防御算法的數(shù)據(jù)安全分析方法包括如下步驟：

3、步驟s1：當(dāng)所述智能體接收到前端輸入的用戶問題時，將所述用戶問題嵌入相應(yīng)的提示詞模板以生成當(dāng)前提示詞，然后將所述當(dāng)前提示詞作為所述react推理框架中的推理階段的輸入；

4、步驟s2：所述大語言模型根據(jù)所述當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對所述中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后所述大語言模型根據(jù)所述擾動后的中間結(jié)果生成當(dāng)前推理軌跡；其中，所述防御算法為差分隱私法、對抗訓(xùn)練法或互信息法；

5、步驟s3：通過所述react推理框架判斷所述當(dāng)前推理軌跡中是否存在帶有關(guān)鍵詞的最終回答；若存在所述帶有關(guān)鍵詞的最終回答，則直接輸出所述最終回答到所述前端；若不存在所述帶有關(guān)鍵詞的最終回答，則通過所述行動階段根據(jù)所述當(dāng)前推理軌跡調(diào)用相應(yīng)的查詢工具，并在相應(yīng)的查詢工具中輸入查詢內(nèi)容，以獲取所述數(shù)據(jù)源中的目標(biāo)數(shù)據(jù)，然后執(zhí)行步驟s4；

6、步驟s4：通過所述觀察階段依據(jù)所述目標(biāo)數(shù)據(jù)生成當(dāng)前觀察結(jié)果；

7、步驟s5：通過所述react推理框架將所述當(dāng)前推理軌跡和所述當(dāng)前觀察結(jié)果拼接在所述當(dāng)前提示詞之后，以更新提示詞，然后返回至步驟s2使得所述大語言模型能夠根據(jù)更新后的提示詞再次進(jìn)行推理，直至所述大語言模型生成的推理軌跡中存在所述帶有關(guān)鍵詞的最終回答，最后輸出所述最終回答到所述前端。

8、進(jìn)一步地，所述大語言模型根據(jù)所述當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對所述中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后所述大語言模型根據(jù)所述擾動后的中間結(jié)果生成當(dāng)前推理軌跡，還包括如下步驟：

9、將所述當(dāng)前提示詞輸入到所述模型頭部后，所述模型頭部能夠根據(jù)所述當(dāng)前提示詞生成第一中間結(jié)果；其中，所述客戶端能夠通過所述差分隱私法對所述第一中間結(jié)果進(jìn)行擾動，以得到擾動后的第一中間結(jié)果；

10、將所述擾動后的第一中間結(jié)果輸入到所述模型中部后，所述模型中部能夠根據(jù)所述擾動后的第一中間結(jié)果生成第二中間結(jié)果；

11、將所述第二中間結(jié)果發(fā)送給所述客戶端，所述客戶端能夠通過所述差分隱私法對所述第二中間結(jié)果進(jìn)行擾動，以得到擾動后的第二中間結(jié)果；其中，所述模型尾部能夠根據(jù)所述擾動后的第二中間結(jié)果生成最終結(jié)果，其中，所述最終結(jié)果為所述當(dāng)前推理軌跡，所述當(dāng)前推理軌跡包括需要調(diào)用的查詢工具名稱、在該查詢工具中需要輸入的查詢內(nèi)容以及所述最終回答。

12、進(jìn)一步地，所述大語言模型根據(jù)所述當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對所述中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后所述大語言模型根據(jù)所述擾動后的中間結(jié)果生成當(dāng)前推理軌跡，還包括如下步驟：

13、將所述當(dāng)前提示詞輸入到所述模型頭部后，所述模型頭部能夠根據(jù)所述當(dāng)前提示詞生成第一中間結(jié)果；其中，所述客戶端能夠通過所述對抗訓(xùn)練法對所述第一中間結(jié)果進(jìn)行擾動，以得到擾動后的第一中間結(jié)果；

14、將所述擾動后的第一中間結(jié)果輸入到所述模型中部后，所述模型中部能夠根據(jù)所述擾動后的第一中間結(jié)果生成第二中間結(jié)果；

15、將所述第二中間結(jié)果發(fā)送給所述客戶端，所述客戶端能夠通過所述對抗訓(xùn)練法對所述第二中間結(jié)果進(jìn)行擾動，以得到擾動后的第二中間結(jié)果；其中，所述模型尾部能夠根據(jù)所述擾動后的第二中間結(jié)果生成最終結(jié)果，其中，所述最終結(jié)果為所述當(dāng)前推理軌跡，所述當(dāng)前推理軌跡包括需要調(diào)用的查詢工具名稱、在該查詢工具中需要輸入的查詢內(nèi)容以及所述最終回答。

16、進(jìn)一步地，所述大語言模型根據(jù)所述當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對所述中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后所述大語言模型根據(jù)所述擾動后的中間結(jié)果生成當(dāng)前推理軌跡，還包括如下步驟：

17、將所述當(dāng)前提示詞輸入到所述模型頭部后，所述模型頭部能夠根據(jù)所述當(dāng)前提示詞生成第一中間結(jié)果；其中，所述客戶端能夠通過所述互信息法對所述第一中間結(jié)果進(jìn)行擾動，以得到擾動后的第一中間結(jié)果；

18、將所述擾動后的第一中間結(jié)果輸入到所述模型中部后，所述模型中部能夠根據(jù)所述擾動后的第一中間結(jié)果生成第二中間結(jié)果；

19、將所述第二中間結(jié)果發(fā)送給所述客戶端，所述客戶端能夠通過所述互信息法對所述第二中間結(jié)果進(jìn)行擾動，以得到擾動后的第二中間結(jié)果；其中，所述模型尾部能夠根據(jù)所述擾動后的第二中間結(jié)果生成最終結(jié)果，其中，所述最終結(jié)果為所述當(dāng)前推理軌跡，所述當(dāng)前推理軌跡包括需要調(diào)用的查詢工具名稱、在該查詢工具中需要輸入的查詢內(nèi)容以及所述最終回答。

20、進(jìn)一步地，所述模型頭部包括嵌入層以及n1個編碼器/解碼器，所述模型中部包括n2個編碼器/解碼器，所述模型尾部包括n3個編碼器/解碼器以及輸出層。

21、進(jìn)一步地，還包括如下步驟：通過前端界面顯示所述最終回答。

22、本發(fā)明提供的基于大語言模型和防御算法的數(shù)據(jù)安全分析方法具有以下優(yōu)點(diǎn)：可以實(shí)現(xiàn)在客戶端保護(hù)數(shù)據(jù)隱私安全和服務(wù)端保護(hù)大語言模型參數(shù)不共享的情況下，使用大語言模型能力來進(jìn)行查詢內(nèi)容生成以及數(shù)據(jù)庫查找，進(jìn)而進(jìn)行數(shù)據(jù)安全分析。

技術(shù)特征：

1.一種基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，通過數(shù)據(jù)安全分析系統(tǒng)來實(shí)現(xiàn)，其特征在于，所述數(shù)據(jù)安全分析系統(tǒng)包括數(shù)據(jù)源、前端和智能體；所述智能體包括查詢工具和react推理框架，其中，所述react推理框架包括推理階段、行動階段和觀察階段，所述推理階段涉及大語言模型，所述大語言模型切分為模型頭部、模型中部和模型尾部，所述數(shù)據(jù)源、前端、查詢工具、模型頭部、模型尾部、行動階段和觀察階段均位于客戶端，所述模型中部位于服務(wù)端；其中，所述基于大語言模型和防御算法的數(shù)據(jù)安全分析方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，其特征在于，所述大語言模型根據(jù)所述當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對所述中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后所述大語言模型根據(jù)所述擾動后的中間結(jié)果生成當(dāng)前推理軌跡，還包括如下步驟：

3.根據(jù)權(quán)利要求1所述的基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，其特征在于，所述大語言模型根據(jù)所述當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對所述中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后所述大語言模型根據(jù)所述擾動后的中間結(jié)果生成當(dāng)前推理軌跡，還包括如下步驟：

4.根據(jù)權(quán)利要求1所述的基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，其特征在于，所述大語言模型根據(jù)所述當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對所述中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后所述大語言模型根據(jù)所述擾動后的中間結(jié)果生成當(dāng)前推理軌跡，還包括如下步驟：

5.根據(jù)權(quán)利要求1所述的基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，其特征在于，所述模型頭部包括嵌入層以及n1個編碼器/解碼器，所述模型中部包括n2個編碼器/解碼器，所述模型尾部包括n3個編碼器/解碼器以及輸出層。

6.根據(jù)權(quán)利要求1所述的基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，其特征在于，還包括如下步驟：通過前端界面顯示所述最終回答。

技術(shù)總結(jié)
本發(fā)明涉及安全調(diào)用技術(shù)領(lǐng)域，具體公開了一種基于大語言模型和防御算法的數(shù)據(jù)安全分析方法，包括：當(dāng)智能體接收到前端輸入的用戶問題時，根據(jù)用戶問題生成當(dāng)前提示詞；將當(dāng)前提示詞輸入大語言模型，大語言模型根據(jù)當(dāng)前提示詞計算出中間結(jié)果，通過防御算法對中間結(jié)果進(jìn)行擾動，以得到擾動后的中間結(jié)果，然后大語言模型根據(jù)擾動后的中間結(jié)果生成當(dāng)前推理軌跡；判斷當(dāng)前推理軌跡中是否存在最終回答；若存在，則輸出最終回答到前端；若不存在，則根據(jù)當(dāng)前推理軌跡調(diào)用查詢工具以獲取目標(biāo)數(shù)據(jù)，然后依據(jù)目標(biāo)數(shù)據(jù)生成當(dāng)前觀察結(jié)果；通過ReAct推理框架根據(jù)當(dāng)前推理軌跡和當(dāng)前觀察結(jié)果更新當(dāng)前提示詞，并根據(jù)更新后的提示詞再次進(jìn)行推理，直至大語言模型生成的推理軌跡中存在最終回答，最后輸出最終回答到前端。本發(fā)明能夠使得銀行在保護(hù)私域數(shù)據(jù)不出域情況下，使用大語言模型能力進(jìn)行查詢內(nèi)容生成以及數(shù)據(jù)庫查找，進(jìn)而進(jìn)行數(shù)據(jù)安全分析。

技術(shù)研發(fā)人員：車靜文,陸呂健,顧子軒,孫龍,范秋楓,曹祥,劉洋
受保護(hù)的技術(shù)使用者：清華大學(xué)無錫應(yīng)用技術(shù)研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30