本發(fā)明屬于信息安全以及圖像處理技術(shù)，具體涉及一種基于擴(kuò)散模型的生成式邊緣反取證方法。

背景技術(shù)：

1、隨著數(shù)字圖像處理技術(shù)和圖像編輯工具的快速發(fā)展，數(shù)字圖像可以很容易地被篡改，而不會(huì)留下明顯可見(jiàn)的修改痕跡。各種圖片修改軟件應(yīng)運(yùn)而生，出于各種目的生成的篡改圖片遍布互聯(lián)網(wǎng)各個(gè)角落，為應(yīng)對(duì)于這些常見(jiàn)的圖像篡改策略，目前也衍生出許多對(duì)應(yīng)的檢測(cè)方法，針對(duì)于拼接、復(fù)制-粘貼、復(fù)制-移動(dòng)、傳統(tǒng)擴(kuò)散等類型的偽造圖片，這些篡改檢測(cè)方法已經(jīng)得到較高的檢測(cè)精度。圖像修飾偽造是指在其他篡改技術(shù)偽造圖像后運(yùn)用的偽造手段，目的是在提高被篡改圖像質(zhì)量的同時(shí)弱化篡改痕跡，該類型偽造方法類屬圖像反取證af。取證方向的研究者致力于不斷提高檢測(cè)精度還將注意力放在精準(zhǔn)的目標(biāo)區(qū)域定位上，為進(jìn)一步提升取證研究的檢測(cè)精度水平，給現(xiàn)有檢測(cè)工作帶來(lái)更有深度的思考。

2、對(duì)于三種常見(jiàn)的圖像篡改手段（拼接、復(fù)制-粘貼、圖像修復(fù)），在我們更加關(guān)注圖像修復(fù)類型的篡改方式。圖像修復(fù)技術(shù)能夠有效修復(fù)圖像中的破損區(qū)域，去除圖像中的污點(diǎn)和劃痕，若將圖像中的破損區(qū)域看成一個(gè)需要被移除的目標(biāo)，那么圖像修復(fù)技術(shù)也是一種圖像篡改的手段，復(fù)制-粘貼可直接復(fù)制較大區(qū)域來(lái)覆蓋需要篡改的內(nèi)容，更方便刪除對(duì)象，但會(huì)留下明顯重復(fù)或與被篡改圖像相似的區(qū)域，而基于圖像修復(fù)的篡改在視覺(jué)上則不容易被察覺(jué)。

3、基于圖像修復(fù)的篡改技術(shù)的出現(xiàn)給圖像偽造技術(shù)提供了一種新的思路，近年來(lái)生成模型的日益壯大也使得圖像修復(fù)技術(shù)飛速發(fā)展。圖像修復(fù)技術(shù)主要分為兩大類，一種是基于樣本的方法，一種是基于偏微分方程的方法。前者常選取背景圖的某一區(qū)域填補(bǔ)未知區(qū)域，填補(bǔ)未知區(qū)域的背景圖樣本往往被認(rèn)為是和未知區(qū)域邊緣有著相似的結(jié)構(gòu)、紋理相似性。而后者通過(guò)偏微分方程（pde）模擬物理學(xué)中的熱擴(kuò)散，將局部圖像結(jié)構(gòu)從外部平滑地傳播到缺口內(nèi)部。但這種方法在生成過(guò)程中會(huì)帶來(lái)模糊效應(yīng)，因此適用于小區(qū)域的圖像修復(fù)。然而很多圖像篡改樣例中的目標(biāo)對(duì)象就是小范圍區(qū)域，因此基于擴(kuò)散的圖像修復(fù)技術(shù)可以作為強(qiáng)大的篡改工具。

4、基于擴(kuò)散的方法可以在一定程度上使圖像目標(biāo)修復(fù)區(qū)域變得更加合理。目前對(duì)于基于傳統(tǒng)擴(kuò)散方法的圖像篡改方案，通過(guò)對(duì)殘差域中圖像修復(fù)區(qū)域與未操縱區(qū)域的不同特征進(jìn)行分類，可以有效地檢測(cè)出圖像是否經(jīng)歷過(guò)圖像修復(fù)方式篡改，但是由于其目標(biāo)區(qū)域通常是較大范圍的矩形填補(bǔ)修復(fù)區(qū)域，采用傳統(tǒng)的擴(kuò)散填充必定會(huì)產(chǎn)生平滑模糊區(qū)域，模糊效應(yīng)會(huì)改變修復(fù)區(qū)域的紋理。

5、去噪擴(kuò)散概率模型（ddpm）面世以來(lái)，也有相應(yīng)的圖像修復(fù)方案被提出預(yù)訓(xùn)練權(quán)重的去噪擴(kuò)散概率模型在圖像目標(biāo)區(qū)域不僅可以通過(guò)訓(xùn)練網(wǎng)絡(luò)從而預(yù)測(cè)該區(qū)域可能的像素值，更結(jié)合目標(biāo)區(qū)域周圍圖像像素點(diǎn)來(lái)共同生成該區(qū)域，故而基于去噪擴(kuò)散概率模型的新型圖像修復(fù)方案不僅可以生成沒(méi)有模糊效應(yīng)的修復(fù)圖像，更能夠得到與周圍圖像更合理的一致結(jié)構(gòu)。

6、但是上述新型圖像修復(fù)方法還是存在一些缺陷，例如邊緣效果上存在紋理不一致、修復(fù)區(qū)域兩端顏色跨度大等問(wèn)題，未考慮到抵抗偽造圖像檢測(cè)的反取證工作，目標(biāo)區(qū)域邊緣恢復(fù)是產(chǎn)生不一致的邊緣結(jié)構(gòu)等等。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明的目的在于解決現(xiàn)有技術(shù)中存在的不足，提供一種基于擴(kuò)散模型的生成式邊緣反取證方法。

2、技術(shù)方案：本發(fā)明的一種基于擴(kuò)散模型的生成式邊緣反取證方法，構(gòu)建和訓(xùn)練生成式邊緣反取證網(wǎng)絡(luò)，將篡改圖像x和其對(duì)應(yīng)的目標(biāo)偽造區(qū)域掩膜mask(x)輸入生成式邊緣反取證網(wǎng)絡(luò)，具體步驟為：

3、步驟1、首輪處理時(shí)，先將目標(biāo)偽造區(qū)域掩膜mask(x)轉(zhuǎn)換為灰色圖像，接著輸入至目標(biāo)邊緣獲取和分層模塊，經(jīng)目標(biāo)邊緣獲取和分層模塊處理后得到偽造區(qū)域的邊緣點(diǎn)坐標(biāo)eeg；

4、步驟2、將篡改圖像x和邊緣點(diǎn)坐標(biāo)eeg輸入邊緣生成模塊，所述邊緣生成模塊基于去噪擴(kuò)散概率模型ddpm并采用流形約束，通過(guò)邊緣生成模塊更新篡改圖像x，輸出圖像g；

5、將首輪所得輸出圖像g輸入至邊緣檢測(cè)模塊，通過(guò)邊緣檢測(cè)模塊得到輸出被檢測(cè)邊緣和實(shí)際邊緣的圖像損失、未檢測(cè)到的邊緣像素點(diǎn)值和對(duì)應(yīng)位置k，并將圖像損失、未檢測(cè)到的邊緣像素點(diǎn)值和對(duì)應(yīng)位置k返回給目標(biāo)邊緣獲取和分層模塊以及邊緣圖像融合模塊；

6、步驟3、第二輪起，目標(biāo)邊緣獲取和分層模塊收到圖像損失、未檢測(cè)到的邊緣像素點(diǎn)值和對(duì)應(yīng)位置k，通過(guò)步驟1所得邊緣點(diǎn)坐標(biāo)eeg減去k得到被檢測(cè)的邊緣像素點(diǎn)位置p，對(duì)對(duì)p增加一個(gè)像素距離得到邊緣鄰近層l，邊緣點(diǎn)坐標(biāo)eeg和邊緣分層l組合形成邊緣鄰近層組合ezh，然后再將更新后的圖像g和邊緣鄰近層組合ezh輸入至邊緣生成模塊；

7、同時(shí)，邊緣圖像融合模塊收到圖像g、未檢測(cè)到的邊緣像素點(diǎn)值和對(duì)應(yīng)位置k，輸出融合圖gr；

8、步驟4、第二輪起，邊緣檢測(cè)模塊收到融合圖像gr，再次計(jì)算得到損失圖像、未檢測(cè)到的邊緣像素點(diǎn)值和對(duì)應(yīng)位置k，并返回給目標(biāo)邊緣獲取和分層模塊以及邊緣圖像融合模塊。

9、進(jìn)一步地，目標(biāo)邊緣獲取和分層模塊首輪對(duì)灰度圖像的處理方法為：

10、采用get_mask_edge方法固定x軸遍歷灰度圖的y軸圖像獲取像素值變化點(diǎn)，再固定y軸遍歷x軸得到的像素值變化點(diǎn)，結(jié)合兩次所得像素值變化點(diǎn)獲取完整的邊緣點(diǎn)坐標(biāo)eeg；將邊緣點(diǎn)坐標(biāo)eeg傳入目標(biāo)邊緣分層網(wǎng)絡(luò)中，將每個(gè)點(diǎn)坐標(biāo)周圍1個(gè)像素點(diǎn)距離的其余像素點(diǎn)記為邊緣鄰近層，由于要區(qū)分鄰近像素層內(nèi)像素分屬邊緣內(nèi)側(cè)和外側(cè)，特別是應(yīng)對(duì)不規(guī)矩邊緣的內(nèi)外側(cè)區(qū)分，固定y軸同時(shí)將x軸上邊緣點(diǎn)坐標(biāo)組合成點(diǎn)對(duì)的形式，位于邊緣點(diǎn)對(duì)內(nèi)的邊緣鄰近層像素被標(biāo)記為邊緣內(nèi)鄰近層，其他像素點(diǎn)被標(biāo)記為邊緣外鄰近層；

11、從第二輪起，目標(biāo)邊緣獲取和分層模塊將使用邊緣點(diǎn)坐標(biāo)eeg減去邊緣檢測(cè)模塊傳回的未檢測(cè)到的邊緣像素點(diǎn)位置k得到被檢測(cè)到的邊緣像素點(diǎn)位置p，輸出為對(duì)p增加一個(gè)像素距離的邊緣鄰近層l，所述邊緣鄰近層l的距離θ有累加性，即首輪eeg每一像素點(diǎn)的θ為0，若上一輪p上某一像素點(diǎn)q邊緣鄰近層θ擴(kuò)張一個(gè)像素距離，則在本輪中q仍在p上，那么點(diǎn)q的θ再擴(kuò)張一個(gè)像素距離。

12、本發(fā)明對(duì)每個(gè)邊緣像素點(diǎn)均設(shè)置了可調(diào)節(jié)的距離選擇參數(shù)θ，距離選擇參數(shù)θ可以通過(guò)檢測(cè)網(wǎng)絡(luò)傳回的邊緣像素?fù)p失函數(shù)對(duì)多組邊緣鄰近層進(jìn)行動(dòng)態(tài)選擇，根據(jù)任務(wù)需要?jiǎng)討B(tài)更新下一模塊中擴(kuò)散模型反向生成過(guò)程中的目標(biāo)區(qū)域采樣范圍選擇。

13、本發(fā)明中的目標(biāo)邊緣獲取和分層模塊有以下功能：首先通過(guò)篡改圖像的目標(biāo)區(qū)域mask的灰度圖以精準(zhǔn)確定所要生成的邊緣位置，而不會(huì)受噪聲點(diǎn)的干擾，精確的邊緣點(diǎn)位置可以提高生成邊緣和背景圖像的紋理一致性。其次，邊緣分層中對(duì)于每個(gè)像素設(shè)置點(diǎn)可調(diào)節(jié)的距離選擇參數(shù)θ，極大提高了每個(gè)邊緣像素點(diǎn)的生成自由度，使得每個(gè)邊緣像素點(diǎn)的生成不會(huì)受限于它兩側(cè)邊緣像素點(diǎn)生成帶來(lái)的影響，即每個(gè)邊緣像素點(diǎn)的生成采樣范圍都是選擇了最有利于該點(diǎn)生成的正向促進(jìn)邊緣鄰近層。

14、進(jìn)一步地，邊緣生成模塊的擴(kuò)散模型包括正向擴(kuò)散過(guò)程和反向擴(kuò)散過(guò)程，具體內(nèi)容如下；

15、、正向擴(kuò)散過(guò)程的每一步均為高斯平移；

16、????????????????????(1)

17、其中是固定的方差調(diào)度，方差調(diào)度是指線性增加的噪聲調(diào)度；表示數(shù)據(jù)初始值x在前向擴(kuò)散過(guò)程中時(shí)間步長(zhǎng)t-1到t時(shí)刻的變化方式，為添加的高斯擾動(dòng)噪聲；

18、公式(1)將高斯噪聲添加到潛在變量來(lái)尋找，通過(guò)(1)推導(dǎo)出當(dāng)給定干凈的數(shù)據(jù)時(shí)，的采樣將以閉合形式表示：

19、??????????????????????(2)

20、其中并且；s、t代表擴(kuò)散模型的時(shí)間步長(zhǎng)；

21、表示為和的線性組合：???????(3)

22、為符合正態(tài)分布的高斯擾動(dòng)噪聲；

23、、反向擴(kuò)散過(guò)程由神經(jīng)網(wǎng)絡(luò)建模，神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)高斯分布的參數(shù)和；反向擴(kuò)散過(guò)程具有與正向過(guò)程相同的函數(shù)形式，被表示為具有學(xué)習(xí)均值和固定方差的高斯變換，表達(dá)式為：

24、????????????????????(4)

25、此外，通過(guò)將分解為和噪聲逼近器的線性組合，生成過(guò)程表示為：

26、???????????????????(5)

27、上式中，每個(gè)反向擴(kuò)散步驟均是隨機(jī)的，表示具有相同輸入和輸出維度的神經(jīng)網(wǎng)絡(luò)對(duì)在時(shí)間步長(zhǎng)t時(shí)刻的預(yù)測(cè)值，并且神經(jīng)網(wǎng)絡(luò)在每個(gè)步驟中預(yù)測(cè)的噪聲用于公式(5)中的去噪過(guò)程；

28、、在反向擴(kuò)散過(guò)程使用受流形約束啟發(fā)的額外校正項(xiàng)，使反向迭代接近流形，即將原始的篡改圖像的初始數(shù)據(jù)流形記作m，前向擴(kuò)散過(guò)程中偏離數(shù)據(jù)流形m，并逐漸接近噪聲數(shù)據(jù)流形。

29、步驟2采用數(shù)據(jù)流形的概念來(lái)表示邊緣像素在ddpm前向擴(kuò)散軌跡，數(shù)據(jù)流形用來(lái)描述原始圖像數(shù)據(jù)的真實(shí)分布。隨著噪聲的增加，圖像逐漸遠(yuǎn)離其真實(shí)的數(shù)據(jù)流形，并進(jìn)入一個(gè)包含更多噪聲的狀態(tài)，圖像將從一個(gè)清晰的狀態(tài)逐漸變?yōu)橐粋€(gè)完全隨機(jī)的狀態(tài)，在前向擴(kuò)散過(guò)程中，每一個(gè)像素點(diǎn)都會(huì)經(jīng)歷一個(gè)從清晰到模糊的過(guò)程，這個(gè)過(guò)程視為沿著數(shù)據(jù)流形上的某條軌跡移動(dòng)，這條軌跡最終會(huì)引導(dǎo)圖像進(jìn)入一個(gè)完全由噪聲構(gòu)成的狀態(tài)。簡(jiǎn)言之，強(qiáng)制將圖像所有像素點(diǎn)構(gòu)成的數(shù)據(jù)流形局部假設(shè)為線性結(jié)構(gòu)，從而得到更好的重建效果。

30、進(jìn)一步地，從第二輪起，邊緣圖像融合模塊均保留本輪的合適邊緣像素點(diǎn)位置和對(duì)應(yīng)像素點(diǎn)值，使用保留的像素點(diǎn)替換原篡改圖像x上對(duì)應(yīng)位置的像素點(diǎn)，其余部分送入目標(biāo)邊緣獲取和分層模塊更新邊緣范圍后，再傳入邊緣生成模塊以生成的新邊緣和和對(duì)應(yīng)像素點(diǎn)值圖像，融合得到融合圖gr；表達(dá)如下：

31、；

32、；

33、；

34、上式中，是指原篡改圖像x去除對(duì)于圖像邊緣后的圖像，表示對(duì)于時(shí)間步長(zhǎng)t時(shí)刻，偽造邊緣上位置p的像素是通過(guò)反向擴(kuò)散過(guò)程推理出的結(jié)果，具有跟正向擴(kuò)散t時(shí)刻相同的噪聲水平。

35、具體細(xì)節(jié)處理如下：首輪目標(biāo)邊緣獲取和分層模塊在得到目標(biāo)區(qū)域的邊緣點(diǎn)后，將該邊緣點(diǎn)坐標(biāo)設(shè)置為eeg，并對(duì)每個(gè)像素點(diǎn)設(shè)置可調(diào)節(jié)的距離選擇參數(shù)θ，直接將eeg狀態(tài)的邊緣層送入第二部分邊緣生成模塊中，邊緣生成模塊的輸出結(jié)果記為，邊緣圖像融合模塊不處理該輸出，將直接被送入邊緣檢測(cè)模塊，通過(guò)邊緣檢測(cè)模塊得到輸出被檢測(cè)邊緣和實(shí)際邊緣的誤差函數(shù)結(jié)果，并將結(jié)果將返回給目標(biāo)邊緣獲取和分層模塊以及邊緣圖像融合模塊；此時(shí)，邊緣圖像融合模塊決策圖將保存首輪未被檢測(cè)網(wǎng)絡(luò)正確識(shí)別的邊緣像素點(diǎn)位置以及該位置上的像素值v0，替換更新原輸入圖像x上對(duì)應(yīng)位置的像素點(diǎn)v0。目標(biāo)邊緣獲取和分層模塊將像素范圍eeg調(diào)節(jié)為ezh，ezh將傳入邊緣生成模塊中得出新一輪生成圖g1。邊緣圖像融合模塊根據(jù)邊緣圖像融合模塊提供的融合決策圖將該輸出和保存的合適像素值v0進(jìn)行圖像融合；此后每輪的操作相同，每輪圖像融合模塊通過(guò)損失函數(shù)值更新融合決策圖并指導(dǎo)該輪中生成邊緣與合適邊緣圖像融合。

36、進(jìn)一步地，將邊緣圖像融合模塊輸出的圖像gr輸入邊緣檢測(cè)模塊，邊緣檢測(cè)模塊處理得到未檢測(cè)到的邊緣像素點(diǎn)值和對(duì)應(yīng)位置k以及圖像損失，利用圖像損失進(jìn)行下一輪的邊緣采樣范圍更新，通過(guò)多次迭代最終得到合適的生成式偽造區(qū)域邊緣，具體方法為：邊緣檢測(cè)模塊基于預(yù)訓(xùn)練權(quán)重的mvss-net網(wǎng)絡(luò)，包括多個(gè)resnet塊，相鄰兩個(gè)resnet塊之間級(jí)聯(lián)sobel層，每個(gè)sobel層之后布置一個(gè)邊緣殘差塊erb，每個(gè)級(jí)聯(lián)的邊緣殘差塊erb輸出的特征均與下一級(jí)聯(lián)的邊緣殘差塊erb輸出的特征求和組合，進(jìn)而級(jí)聯(lián)淺層特征和深層特征，實(shí)現(xiàn)邊緣檢測(cè)輸出生成式偽造區(qū)域邊緣。

37、上述以漸進(jìn)的方式組合來(lái)自不同resnet塊的特征，用于操作邊緣檢測(cè)能夠級(jí)聯(lián)起淺層和深層網(wǎng)絡(luò)達(dá)到全面檢測(cè)的目的；引入sobel層能夠增強(qiáng)與邊緣相關(guān)的圖案，為防止累積的影響，在下一輪特征組合之前，組合的特征要經(jīng)過(guò)另一個(gè)erb。

38、為提高對(duì)邊緣像素級(jí)操作檢測(cè)的靈敏度，從而更好返回給分層模塊更新邊緣范圍，使用邊緣像素級(jí)損失dice?loss計(jì)算獲得圖像損失，公式如下：

39、；

40、其中是表示邊緣第 i個(gè)像素是否被操縱的二進(jìn)制標(biāo)號(hào)；被操縱的像素標(biāo)記為0，沒(méi)被標(biāo)記的像素記為1。dice?loss損失函數(shù)有效地從極不平衡的數(shù)據(jù)中學(xué)習(xí)邊緣損耗。

41、有益效果：本發(fā)明有效提高了偽造圖像反取證效果，在復(fù)制-粘貼，拼接，圖像修飾等不同類型的偽造方法上表現(xiàn)出廣泛的適用性和有效性，在對(duì)抗單一偽造類型檢測(cè)方法網(wǎng)絡(luò)和混合偽造類型檢測(cè)方法網(wǎng)絡(luò)上均表現(xiàn)優(yōu)越。本發(fā)明將具有流形約束的擴(kuò)散模型與邊緣動(dòng)態(tài)分層，圖像融合方法相結(jié)合的策略應(yīng)用于偽造圖像反取證任務(wù)中，充分考慮了邊緣點(diǎn)的生成采樣范圍和生成像素點(diǎn)之間的相互影響，從而有效提高了邊緣像素點(diǎn)與背景區(qū)域的結(jié)構(gòu)一致性。同時(shí)，本發(fā)明將不同檢測(cè)定位網(wǎng)絡(luò)充當(dāng)邊緣檢測(cè)模塊，不僅通過(guò)多種檢測(cè)網(wǎng)絡(luò)組合得到最具魯棒性的生成邊緣，也可以針對(duì)性對(duì)于某一網(wǎng)絡(luò)的提升偽造圖像反取證能力。邊緣圖像融合模塊通過(guò)替換對(duì)應(yīng)位置合適像素點(diǎn)以及合理的決策圖調(diào)整，進(jìn)一步增強(qiáng)了模型在偽造圖像反取證任務(wù)中的表現(xiàn)。