本發(fā)明涉及圖像處理,具體地講,涉及一種基于人臉身份信息的主動deepfake溯源方法。
背景技術:
1、人臉交換技術可以將一個人的身份無縫地轉移到另一個圖像上,同時保持面部外觀的真實感。人眼難以辨別圖像或視頻是否被操縱。盡管人臉交換在娛樂和電影行業(yè)很受歡迎,但由于其潛在的不道德用途,可能威脅到政治、經濟和個人隱私,因此也備受爭議。在某些國家,已有法律限制人臉交換技術的應用范圍。
2、為了防止deepfake侵害信譽和合法權益,deepfake檢測已成為一個備受關注的重要課題。目前,大多數(shù)現(xiàn)有方法主要通過二分類提高區(qū)分deepfake與原始視頻或圖像幀的精度。此外,還有一些方法試圖通過檢查原始圖像中的預嵌入水印來識別假圖像。然而,這些技術只能判斷視頻或圖像是否被偽造,無法進一步提供關于原始來源的信息。
3、目前,對deepfake人臉交換的檢測主要依賴于設計被動檢測器,這些檢測器通過分析可疑圖像在各種特征域中的痕跡來進行檢測。然而,隨著合成質量的不斷提高,帶來的挑戰(zhàn)也越來越大。因此,主動防御的方法不再是尋找合成偽影,而是通過在潛在的操作發(fā)生之前插入不可感知的水印來保護原始圖像。這些水印可以是半脆弱的或是魯棒的。半脆弱的水印在面對deepfake時會表現(xiàn)出脆弱性、在面對常規(guī)攻擊時則表現(xiàn)出魯棒性,因此多用于deepfake檢測;魯棒水印則是面對何種攻擊都能夠表現(xiàn)出魯棒性,即可以完整的提取出水印信息,從而追溯到圖像身份信息的源頭,這對如何平衡水印的不可感知性與魯棒性都提出了更高的要求。
技術實現(xiàn)思路
1、本發(fā)明要解決的技術問題是提供一種基于人臉身份信息的主動deepfake溯源方法,通過向人臉圖像的部分區(qū)域嵌入魯棒不可見水印,在保證圖像水印信息高不可感知性的基礎上能夠對人臉交換的圖像進行溯源,能夠很好的同時保證水印信息的不可感知性與魯棒性。
2、本發(fā)明采用如下技術方案實現(xiàn)發(fā)明目的:
3、一種基于人臉身份信息的主動deepfake溯源方法,其特征在于,包括以下步驟:
4、s1:對于輸入的一張人臉圖像,先通過預訓練好的人臉識別網(wǎng)絡arcface提取最后一個全連接層的特征向量并且二值化展平,得到身份信息序列;
5、s2:對于得到的身份信息序列,假設的長度為,首先經過一個線性層將長度擴展為,然后通過雙線性差值的方式重塑成與當前編碼器特征圖中尺寸,在經過卷積層后與特征圖向量拼接,從而便可使身份信息序列嵌入到裁剪后圖像中;
6、s3:將身份信息序列嵌入到裁剪后圖像不可感知的像素區(qū)域中;
7、具體來說,先用dlib庫對人臉圖像進行提取,并且保留背景圖像,與此同時在背景圖像中選取最大正方形區(qū)域作為嵌入水印的區(qū)域,從而得到裁剪后的需要嵌入水印的圖像;
8、s4:將需要嵌入水印的圖像送入到一個端到端的框架中進行訓練,該框架由一個編碼器與一個解碼器組成,采用的為unet網(wǎng)絡,加上se塊作為殘差信息連接,需要嵌入水印的圖像經過編碼器后會得到含水印圖像,為了保證含水印圖像的視覺質量,通過一個mse損失來約束生成圖像與原始圖像;
9、?(1);
10、s5:加入一個gan模塊來區(qū)分當前圖像是否包含水印,預測損失可表示為:
11、?(2);
12、其中:表示gan模塊對于圖像的預測結果,本申請的目的是讓編碼器生成的圖像與原始的圖像視覺效果上十分相似,從而讓gan模塊區(qū)分困難,形成對抗的過程,因此可得編碼器的gan損失為:
13、?(3);
14、s6:在得到含水印圖像后,與整張人臉圖像不含水印的地方進行拼接便會得到完整的含水印圖像;
15、s7:設計一個混合操作模塊來模擬攻擊,從而讓解碼器得到充分的訓練,以提取出完整的水印信息;
16、將攻擊后的圖像表示為,可得,其中表示混合模塊中的各種攻擊方式;
17、s8:攻擊完成后,對攻擊后的圖像按照所述s3中的方式進行裁剪,得到裁剪后的圖像并將其表示為,接下來通過解碼器從裁剪后的圖像中提取水印信息,具體來說,解碼器采用與編碼器相同的架構,裁剪后的圖像最終經過多通道的張量轉換后會經過一個卷積層并重塑為,最終經過一個線性層得到與嵌入消息長度一致的人臉信息預測結果,同時用一個mse損失來優(yōu)化解碼器:
18、(4);
19、于是整個端到端框架的總損失可表示為:
20、????(5)
21、其中:和為控制損失函數(shù)權重的超參數(shù)。
22、作為本技術方案的進一步限定,所述身份信息序列表示為:
23、?;
24、其中:表示采用arcface對輸入的人臉圖像經過處理轉換為二值人臉身份信息序列。
25、作為本技術方案的進一步限定,所述裁剪后圖像表示為:
26、;
27、其中:表示對選定區(qū)域進行裁切;
28、表示采用dlib庫對人臉圖像進行提取人臉并取背景區(qū)域中最大正方形框。
29、作為本技術方案的進一步限定,gan模塊本質上為一個對抗鑒別器,對抗鑒別器由多個convrelu塊組成,并且最終通過一個線性層得到最終的預測結果。
30、作為本技術方案的進一步限定,混合操作模塊具體結構為常規(guī)攻擊與deepfake偽造攻擊的結合,常規(guī)攻擊包括jepg壓縮、高斯模糊及椒鹽噪聲,deepfake偽造攻擊包括faceswap、simswap及infoswap。
31、作為本技術方案的進一步限定,在每次迭代時會隨機選擇一種攻擊方式對完整的含水印圖像進行攻擊。
32、與現(xiàn)有技術相比,本發(fā)明的優(yōu)點和積極效果是:本發(fā)明提出了一種新穎的主動deepfake溯源方法。通過利用人臉圖像中關注度較小的背景區(qū)域進行水印嵌入,能夠在經過各種攻擊后通過解碼器提取到水印信息。本發(fā)明實現(xiàn)了水印魯棒性與不可感知性的良好平衡,即在保持高視覺質量的同時可以保持水印的足夠魯棒性,可以抵御各種常規(guī)攻擊與deepfake攻擊。
33、現(xiàn)有的主動deepfake方法主要集中在嵌入水印信息進行deepfake檢測或是deepfake后失真,關于利用水印信息進行溯源的技術很少,究其原因為溯源需要保持水印強度足夠大,但這無疑是損失了圖像的視覺質量所帶來的。本發(fā)明從主動deepfake溯源的角度出發(fā),設計了一種能夠很好的保持魯棒性與水印不可感知性的方案,能夠對偽造后的圖像進行源頭檢測,從而大大降低deepfake帶來的嚴重危害。
1.一種基于人臉身份信息的主動deepfake溯源方法,其特征在于,包括以下步驟:
2.根據(jù)權利要求1所述的基于人臉身份信息的主動deepfake溯源方法,其特征在于:所述身份信息序列表示為:
3.根據(jù)權利要求2所述的基于人臉身份信息的主動deepfake溯源方法,其特征在于:所述裁剪后圖像表示為:
4.根據(jù)權利要求1所述的基于人臉身份信息的主動deepfake溯源方法,其特征在于:gan模塊本質上為一個對抗鑒別器,對抗鑒別器由多個convrelu塊組成,并且最終通過一個線性層得到最終的預測結果。
5.根據(jù)權利要求1所述的基于人臉身份信息的主動deepfake溯源方法,其特征在于:混合操作模塊具體結構為常規(guī)攻擊與deepfake偽造攻擊的結合,常規(guī)攻擊包括jepg壓縮、高斯模糊及椒鹽噪聲,deepfake偽造攻擊包括faceswap、simswap及infoswap。
6.根據(jù)權利要求5所述的基于人臉身份信息的主動deepfake溯源方法,其特征在于:在每次迭代時會隨機選擇一種攻擊方式對完整的含水印圖像進行攻擊。