本發(fā)明涉及一種網(wǎng)絡(luò)隱私保護(hù)方法，具體地說是一種對預(yù)訓(xùn)練大語言模型的微調(diào)和推理階段的dpo-tune方法。

背景技術(shù)：

1、現(xiàn)有的一些針對dp-nlp的研究，直接使用了差分隱私技術(shù)，導(dǎo)致模型的精確性有嚴(yán)重?fù)p失，因為大語言模型的模型參數(shù)較大。因此，現(xiàn)有的研究目標(biāo)主要在于，在自然語言處理任務(wù)中實現(xiàn)dp以提高大語言模型中用戶隱私的同時，提升數(shù)據(jù)的可用性和分析結(jié)果的準(zhǔn)確性，保證隱私和效用的權(quán)衡?，F(xiàn)有的主流研究方法中主要通過梯度擾動方法(例如dp-sgd)添加隨機(jī)性以確保差分隱私。然而，噪聲的添加會導(dǎo)致模型的性能下降，特別是處理高維數(shù)據(jù)或復(fù)雜模型時，dp-sgd的缺陷尤為明顯。

2、此外，ldp作為dp的一種改進(jìn)，用于在數(shù)據(jù)采集階段對數(shù)據(jù)進(jìn)行保護(hù)，也被用于微調(diào)大語言模型。在這一思路下，dp-forward方法被提出，它在大語言模型的前向傳遞過程中擾動嵌入。dp-forward基于序列局部差分隱私(seq-ldp)，在序列的嵌入中局部加入噪聲，并通過解析矩陣高斯機(jī)制來實現(xiàn)它。因此，dp-forward為序列信息提供了合格的保護(hù)且保證了模型的精度。然而，dp-forward方案的缺陷在于沒有對標(biāo)簽信息進(jìn)行足夠的保護(hù)。具體表現(xiàn)為，dp-forward方法認(rèn)為序列信息包含更豐富的隱私信息，而標(biāo)簽信息相對更容易保護(hù)，因此采用隨機(jī)響應(yīng)機(jī)制對標(biāo)簽進(jìn)行簡單擾動。然而，目前的方法對標(biāo)簽的認(rèn)知大多停留在傳統(tǒng)的階段。例如，dp-forward方法默認(rèn)標(biāo)簽信息通常依賴于它們的序列，因此即使標(biāo)簽信息通過任何標(biāo)簽-dp機(jī)制進(jìn)行保護(hù)依然可能從原始序列中恢復(fù)真實標(biāo)簽，這也是研究人員認(rèn)為僅保護(hù)序列信息是有意義的原因。與此同時，后續(xù)的方案也缺乏對標(biāo)簽信息的有效保護(hù)。

3、綜上所述，現(xiàn)有的方案中對標(biāo)簽信息的保護(hù)基于傳統(tǒng)的標(biāo)簽差分隱私。傳統(tǒng)的標(biāo)簽差分隱私是對差分隱私的一種放松，它保護(hù)每一個訓(xùn)練的標(biāo)簽，但并不能保護(hù)用戶免受標(biāo)簽推斷攻擊。標(biāo)簽差分隱私的傳統(tǒng)定義不考慮標(biāo)簽和特征的相關(guān)性，一般假設(shè)標(biāo)簽是公開的或敏感的。只保護(hù)標(biāo)簽信息時，攻擊者可能會通過攻擊特征而獲取標(biāo)簽信息。同時保護(hù)標(biāo)簽和特征的隱私對于一些特征來說是多余的，會導(dǎo)致模型的精確性大幅度下降，模型效用無法得到保證?；谶@一結(jié)論，以dp-forward為代表的現(xiàn)有方案基于傳統(tǒng)的標(biāo)簽差分隱私對標(biāo)簽信息的保護(hù)是存在漏洞的，現(xiàn)有方案大都無法抵御標(biāo)簽推斷攻擊，導(dǎo)致用戶的隱私泄露。并且，現(xiàn)有考慮到嚴(yán)格標(biāo)簽隱私保護(hù)的方案，雖然使用雙重隨機(jī)響應(yīng)機(jī)制生成與標(biāo)簽相關(guān)的合成特征，但合成特征的效果并不精確，并沒有實現(xiàn)隱私性和效用和權(quán)衡。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種對預(yù)訓(xùn)練大語言模型的微調(diào)和推理階段的dpo-tune方法，以解決在前向傳遞過程中同時保護(hù)標(biāo)簽和序列的差分隱私等級的方法不能實現(xiàn)隱私性和效用之間權(quán)衡的問題。

2、本發(fā)明是這樣實現(xiàn)的：

3、一種對預(yù)訓(xùn)練大語言模型的微調(diào)和推理階段的dpo-tune方法，包括以下步驟：

4、s1.在cgan中加入rényi散度優(yōu)化器，并進(jìn)行訓(xùn)練，形成r-cgan；

5、s2.在隨機(jī)響應(yīng)機(jī)制中加入動態(tài)擾動因子函數(shù)和r-cgan，生成雙重隨機(jī)響應(yīng)機(jī)制；

6、s3.將待擾動數(shù)據(jù)集中的序列信息使用dp-forward進(jìn)行處理，并在數(shù)據(jù)前向傳遞過程中，根據(jù)解析矩陣高斯機(jī)制對待擾動數(shù)據(jù)集中的序列信息添加擾動；利用雙重隨機(jī)響應(yīng)機(jī)制，對待擾動數(shù)據(jù)集中的特征標(biāo)簽數(shù)據(jù)對進(jìn)行擾動。

7、進(jìn)一步地，步驟s2中形成r-cgan的具體方式為：

8、s1-1.在cgan中加入變分公式的rényi散度優(yōu)化器，預(yù)先設(shè)置變分公式的rényi散度優(yōu)化器的參數(shù)；

9、s1-2.在訓(xùn)練集中選擇原始特征標(biāo)簽數(shù)據(jù)對，對原始特征標(biāo)簽數(shù)據(jù)對中的原始標(biāo)簽進(jìn)行隨機(jī)響應(yīng)，生成擾動標(biāo)簽，將擾動標(biāo)簽輸入至cgan中，得到合成特征；

10、s1-3.根據(jù)變分公式的rényi散度優(yōu)化器，計算合成特征和原始特征標(biāo)簽數(shù)據(jù)對中的原始特征的差異；

11、s1-4.若差異大于預(yù)設(shè)值，則改變變分公式的rényi散度優(yōu)化器的參數(shù)，重復(fù)步驟s1-2和步驟s1-3中對原始特征標(biāo)簽數(shù)據(jù)對中的原始標(biāo)簽進(jìn)行隨機(jī)響應(yīng)，生成擾動標(biāo)簽；將擾動標(biāo)簽輸入至cgan中，得到合成特征，計算合成特征和原始特征標(biāo)簽數(shù)據(jù)對中的原始特征的差異，直至差異達(dá)到預(yù)設(shè)值，將差異達(dá)到預(yù)設(shè)值時對應(yīng)的參數(shù)作為變分公式的rényi散度優(yōu)化器的參數(shù)，得到r-cgan。

12、進(jìn)一步地，基于變分公式的rényi散度優(yōu)化器的計算公式為：

13、

14、其中，和是rényi散度定義中的標(biāo)準(zhǔn)化因子，δk為k維實數(shù)向量，t為用于描述數(shù)據(jù)特征的充分統(tǒng)計量，q為真實的數(shù)據(jù)分布，p為數(shù)據(jù)經(jīng)過cgan后的分布，dq為相對于分布q的測度，dp為相對于分布p的測度。

15、進(jìn)一步地，步驟s2包括以下子步驟：

16、s2-1.將隨機(jī)響應(yīng)機(jī)制中的翻轉(zhuǎn)概率替換為動態(tài)擾動因子函數(shù)；

17、s2-2.在隨機(jī)響應(yīng)后，加入r-cgan，將擾動后的標(biāo)簽輸入r-cgan中，根據(jù)原始特征標(biāo)簽數(shù)據(jù)對中的原始特征，生成合成后的特征，得到擾動后的特征標(biāo)簽數(shù)據(jù)對。

18、進(jìn)一步地，動態(tài)擾動因子函數(shù)的計算公式為：

19、λ(x)＝λ0+α·s(x)

20、其中，λ(x)為動態(tài)擾動因子函數(shù)，λ0為基礎(chǔ)的擾動因子，α為敏感度的調(diào)整系數(shù)，s(x)為敏感函數(shù)，s(x)的計算公式為：

21、

22、進(jìn)一步地，確定的基礎(chǔ)的擾動因子λ0和敏感度的調(diào)整系數(shù)α的方法為：

23、輸入訓(xùn)練集的原始標(biāo)簽y，利用雙重隨機(jī)響應(yīng)機(jī)制生成擾動后的特征標(biāo)簽數(shù)據(jù)對將擾動特征標(biāo)簽數(shù)據(jù)對輸入模型中，模擬標(biāo)簽推斷攻擊，根據(jù)攻擊準(zhǔn)確率和模型準(zhǔn)確率不斷調(diào)整λ0和α，直到達(dá)到預(yù)設(shè)模型準(zhǔn)確率，以及攻擊準(zhǔn)確率小于預(yù)設(shè)攻擊準(zhǔn)確率。

24、進(jìn)一步地，步驟s3對數(shù)據(jù)集中的序列信息添加擾動的具體方式為：

25、解析矩陣高斯機(jī)制的計算公式為：

26、pr[∑m,x,x′≥∈]-e∈pr[∑m,x′,x≤-∈]≤δ

27、其中，m為隱私保護(hù)機(jī)制，x為序列信息，x′為擾動后的的序列信息，∈為隱私參數(shù)，用于衡量隱私損失的程度δ為機(jī)制不滿足差分隱私的概率。

28、本發(fā)明在dp-forward方法的基礎(chǔ)上，在前向傳遞過程中對序列信息添加擾動，實現(xiàn)序列信息的隱私保護(hù)。本發(fā)明在cgan中加入rényi散度優(yōu)化器，不斷迭代優(yōu)化，通過判別rényi差異，使r-cgan通過擾動標(biāo)簽生成合成特征，保證在不影響模型性能的同時，提升標(biāo)簽信息隱私保護(hù)的效果。本發(fā)明使用雙重隨機(jī)響應(yīng)機(jī)制要求對特征信息添加擾動但又要求不丟失特征和標(biāo)簽信息的相關(guān)性，得到合成特征，雙重隨機(jī)響應(yīng)機(jī)制的隱私保護(hù)效果取決于合成特征的質(zhì)量，r-cgan提升了合成特征的質(zhì)量，保證攻擊者無法利用標(biāo)簽和特征的相關(guān)性非法獲取標(biāo)簽信息。

29、本發(fā)明將隨機(jī)響應(yīng)機(jī)制中的翻轉(zhuǎn)概率λ動態(tài)化，用動態(tài)擾動因子優(yōu)化雙重隨機(jī)響應(yīng)機(jī)制，動態(tài)擾動因子可以根據(jù)不同的數(shù)據(jù)性質(zhì)動態(tài)調(diào)整擾動等級，對于敏感要求低的數(shù)據(jù)，可以減少對應(yīng)的開銷，對于敏感要求高的數(shù)據(jù)，可以提供足夠嚴(yán)格的隱私保護(hù)，使得本發(fā)明可根據(jù)不同的數(shù)據(jù)集和下游任務(wù)設(shè)置不同的敏感函數(shù)，本發(fā)明可自適應(yīng)于不同的數(shù)據(jù)集，提高了本發(fā)明的實用性。通過實驗得到本發(fā)明在翻轉(zhuǎn)概率λ一定的情況下，準(zhǔn)確率依然維持在了90％左右，本發(fā)明在保證高水平的隱私保護(hù)效果下也獲得了模型的高準(zhǔn)確率，實現(xiàn)了隱私性和模型性能之間的平衡。