本申請屬于神經(jīng)網(wǎng)絡(luò)，尤其涉及一種不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建的方法。

背景技術(shù)：

1、如今水印技術(shù)保護(hù)深度神經(jīng)網(wǎng)絡(luò)模型的案例屢見不鮮，現(xiàn)有的水印技術(shù)主要分為白盒和黑盒兩種方法。然而，白盒方法需要模型的內(nèi)部信息，白盒水印技術(shù)在實(shí)際應(yīng)用中存在一定的局限性，相比之下，黑盒水印方法提供了一種更為實(shí)用的解決方案。黑盒水印方法僅在驗(yàn)證階段需要訪問神經(jīng)網(wǎng)絡(luò)模型的推理結(jié)果，而無需直接訪問模型的內(nèi)部參數(shù)，基于后門和對抗樣本的策略是黑盒水印的兩種主流方法。

2、目前基于后門的研究都采用了可見的觸發(fā)模式。在該模式下容易被深度可視化方法（如grad?cam）識(shí)別。此外，現(xiàn)有的黑盒后門方法在抵抗水印移除攻擊方面還有提升空間。例如，基于后門的水印方法可能會(huì)因?yàn)槟Ｐ偷脑儆?xùn)練過程而丟失其秘密特征，導(dǎo)致水印信息的遺忘。而基于對抗樣本的水印方法，雖然通過操縱決策邊界來實(shí)現(xiàn)，但這種方法的決策邊界容易受到模型微調(diào)或剪枝操作的影響，從而使得水印的穩(wěn)定性和有效性受到威脅。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例提供了一種不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建方法，可以解決觸發(fā)模式的可見性的問題。

2、第一方面，本申請實(shí)施例提供了一種不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印的構(gòu)建方法，包括：利用邊緣提取算法提取原始圖像的圖像邊緣，生成原始圖像的邊緣信息，所述原始圖像為從原始訓(xùn)練集中選取的圖像；

3、將所述邊緣信息進(jìn)行編碼，得到邊緣信息的rgb值，所述rgb值的變化即為觸發(fā)模式的觸發(fā)信號；

4、利用深度注入網(wǎng)絡(luò)結(jié)合不可見性損失指標(biāo)將觸發(fā)模式嵌入原始圖像信息，生成觸發(fā)樣本；

5、根據(jù)攜帶不可見性水印的觸發(fā)樣本和原始訓(xùn)練集，生成融合訓(xùn)練集；

6、利用低權(quán)值掩碼策略結(jié)合融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，生成不可見性的水印模型。

7、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述利用邊緣提取算法提取原始圖像的圖像邊緣，生成原始圖像的邊緣信息，包括：

8、利用水平卷積核計(jì)算原始圖像在水平方向上的梯度，得到水平方向上的第一梯度值；

9、利用垂直卷積核計(jì)算原始圖像在垂直方向上的梯度，得到垂直方向上的第二梯度值；

10、結(jié)合第一梯度值和第二梯度值，生成原始圖像的邊緣信息。

11、可選的，在第一方面的再一種可能的實(shí)現(xiàn)方式中，所述利用深度注入網(wǎng)絡(luò)結(jié)合不可見性損失指標(biāo)將觸發(fā)模式嵌入原始圖像信息，生成觸發(fā)樣本，包括：

12、利用深度注入網(wǎng)絡(luò)結(jié)合不可見性損失指標(biāo)以及輔助引導(dǎo)提取網(wǎng)絡(luò)將觸發(fā)模式嵌入原始圖像信息，生成觸發(fā)樣本。

13、可選的，在第一方面的又一種可能的實(shí)現(xiàn)方式中，所述利用低權(quán)值掩碼策略結(jié)合融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，生成不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印，包括：

14、根據(jù)深度神經(jīng)網(wǎng)絡(luò)模型當(dāng)前層的權(quán)重分布生成掩碼矩陣，所述掩碼矩陣在每個(gè)訓(xùn)練周期內(nèi)動(dòng)態(tài)更新；

15、根據(jù)所述掩碼矩陣和融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，生成不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印。

16、可選的，在第一方面的又一種可能的實(shí)現(xiàn)方式中，所述根據(jù)深度神經(jīng)網(wǎng)絡(luò)模型當(dāng)前層的權(quán)重分布生成掩碼矩陣，包括：

17、計(jì)算當(dāng)前層權(quán)重的絕對值，并根據(jù)絕對值的大小對權(quán)重位置進(jìn)行排序；

18、將絕對值低于預(yù)設(shè)閾值的權(quán)重位置標(biāo)記為0，其余標(biāo)記為1，生成掩碼矩陣。

19、可選的，在第一方面的又一種可能的實(shí)現(xiàn)方式中，所述迭代訓(xùn)練過程包括：前向傳播階段，所述根據(jù)所述掩碼矩陣和融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，包括：

20、獲取權(quán)重矩陣；

21、利用逐元素乘法結(jié)合權(quán)重矩陣和掩碼矩陣，得到對應(yīng)的高權(quán)重神經(jīng)元；

22、將高權(quán)重神經(jīng)元乘以預(yù)設(shè)的縮放因子，得到深度神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果。

23、可選的，在第一方面又一種可能是實(shí)現(xiàn)方式中，所述迭代訓(xùn)練過程包括：反向傳播階段，所述根據(jù)所述掩碼矩陣和融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，包括：

24、根據(jù)預(yù)設(shè)的梯度更新方法更新掩碼矩陣中對應(yīng)的高權(quán)重神經(jīng)元的權(quán)重。

25、第二方面，本申請實(shí)施例提供了一種不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建裝置，包括：

26、邊緣模塊：用于利用邊緣提取算法提取原始圖像的圖像邊緣，生成原始圖像的邊緣信息，所述原始圖像為從原始訓(xùn)練集中選取的圖像；

27、編碼模塊：用于將所述邊緣信息進(jìn)行編碼，得到邊緣信息的rgb值，所述rgb值即為觸發(fā)模式；

28、注入模塊：用于利用深度注入網(wǎng)絡(luò)結(jié)合不可見性損失指標(biāo)將觸發(fā)模式嵌入原始圖像信息，生成觸發(fā)樣本；

29、融合模塊：用于根據(jù)攜帶不可見性水印的觸發(fā)樣本和原始訓(xùn)練集，生成融合訓(xùn)練集；

30、訓(xùn)練模塊：用于利用低權(quán)值掩碼策略結(jié)合融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，生成不可見性的水印模型。

31、第三方面，本申請實(shí)施例提供了一種終端設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器中并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其中，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如前所述的不可見性觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建方法。

32、第四方面，本申請實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前所述的不可見性觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建方法。

33、本申請利用圖像結(jié)構(gòu)用作載體，通過深度注入網(wǎng)絡(luò)將圖像彩色邊緣信息嵌入載體中生成觸發(fā)樣本，實(shí)現(xiàn)了觸發(fā)模式的不可見性。針對現(xiàn)有后門水印技術(shù)在對抗水印移除攻擊方面的局限性，提出了一種新的低權(quán)值掩碼訓(xùn)練策略，使水印信息在整個(gè)網(wǎng)絡(luò)中傳播，從而增強(qiáng)了水印抵抗去除攻擊的魯棒性。

技術(shù)特征：

1.一種不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建方法，其特征在于，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述利用邊緣提取算法提取原始圖像的圖像邊緣，生成原始圖像的邊緣信息，包括：

3.如權(quán)利要求1所述的方法，其特征在于，所述利用深度注入網(wǎng)絡(luò)結(jié)合不可見性損失指標(biāo)將觸發(fā)模式嵌入原始圖像信息，生成觸發(fā)樣本，包括：

4.如權(quán)利要求1所述的方法，所述利用低權(quán)值掩碼策略結(jié)合融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，生成不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)水印模型，包括：

5.如權(quán)利要求4所述的方法，其特征在于，所述根據(jù)深度神經(jīng)網(wǎng)絡(luò)模型當(dāng)前層的權(quán)重分布生成掩碼矩陣，包括：

6.如權(quán)利要求4所述的方法，其特征在于，所述迭代訓(xùn)練過程包括：前向傳播階段，所述根據(jù)所述掩碼矩陣和融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，包括：

7.如權(quán)利要求4所述的方法，其特征在于，所述迭代訓(xùn)練過程包括：反向傳播階段，所述根據(jù)所述掩碼矩陣和融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，包括：

8.一種不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建裝置，其特征在于，包括：

9.一種終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請適用于神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，提供不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印構(gòu)建的方法，包括：利用邊緣提取算法提取原始圖像的圖像邊緣，生成原始圖像邊緣信息，原始圖像為從原始訓(xùn)練集中選取圖像；將邊緣信息進(jìn)行數(shù)學(xué)編碼，得到邊緣信息的RGB值，RGB值的變化即為觸發(fā)模式的觸發(fā)信號；利用深度注入網(wǎng)絡(luò)結(jié)合不可見性損失指標(biāo)將觸發(fā)模式嵌入原始圖像信息，生成觸發(fā)樣本；根據(jù)觸發(fā)樣本和原始訓(xùn)練集，生成融合訓(xùn)練集；利用低權(quán)值掩碼策略結(jié)合融合訓(xùn)練集對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，生成不可見觸發(fā)模式的神經(jīng)網(wǎng)絡(luò)模型水印。本申請將圖像結(jié)構(gòu)用作載體，通過深度注入網(wǎng)絡(luò)將圖像彩色邊緣信息嵌入載體中生成觸發(fā)樣本，實(shí)現(xiàn)觸發(fā)模式的不可見性。

技術(shù)研發(fā)人員：高光勇,沈翼
受保護(hù)的技術(shù)使用者：南京信息工程大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2