本發(fā)明涉及圖像識別，尤其涉及一種合成圖像檢測框架構(gòu)建方法和系統(tǒng)。

背景技術(shù)：

1、近年來，生成模型在視覺領域有了極大的突破，特別是擴散模型的提出，使得生成高質(zhì)量的圖像成為可能。為了防止合成圖像對人類社會和生產(chǎn)造成影響，識別這些圖片是極具價值的。但目前有關(guān)ai圖片鑒別的研究較少，總體上可分為基于圖像的方法和基于模型的方法。前者重點研究圖像的分類問題，從圖像中抽取特征進行辨別；后者則研究特定模型生成圖像時的內(nèi)部信息，依賴于開源的圖像生成模型。目前本領域的研究存在如下問題：（1）判別器對生成模型較為敏感，隨著越來越強的生成模型的問世，現(xiàn)有判別模型的性能將不斷下降，需要基于新模型給出新的解決方案；（2）需要大量的數(shù)據(jù)進行訓練，對于網(wǎng)絡上眾多付費模型，很難以低成本的方式解決問題。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了如下技術(shù)方案。

2、本發(fā)明第一方面提供了一種合成圖像檢測框架構(gòu)建方法，包括：

3、s101，獲取一定數(shù)量的圖片對作為訓練集；

4、s102，分別對訓練集中的各圖片進行預處理形成一維序列，將所述一維序列輸入至視覺轉(zhuǎn)換模型的線性層進行編碼獲得序列編碼；

5、s103，分別提取訓練集中的各圖片的高曝光底片、頻率域低通濾波圖和暗通道圖進行編碼，獲得額外編碼；

6、s104，將序列編碼和位置編碼相加后獲得的原始圖像編碼以及所述額外編碼輸入transformer編碼模型中進行融合，提取出全局特征；

7、s105，將所述全局特征輸入至多層感知器中進行訓練，獲得各圖片所屬的類別。

8、進一步的，所述圖片對包括真實圖片及與所述真實圖片對應的生成圖片。

9、進一步的，在獲取一定數(shù)量的圖片對作為訓練集之前包括：將多幅真實圖片分別輸入至擴散模型，通過調(diào)整擴散模型的噪聲添加比例，生成多個包含差異性的生成圖片。

10、進一步的，分別對訓練集中的各圖片進行預處理形成一維序列包括：分別將訓練集中的各圖片切分為多個方塊，將多個所述方塊作為所述一維序列。

11、進一步的，將序列編碼和位置編碼相加后獲得的原始圖像編碼以及所述額外編碼輸入transformer編碼模型中進行融合，提取transformer編碼模型輸出對應額外編碼cls位置的隱藏向量作為全局特征。

12、進一步的，將所述全局特征輸入至多層感知器中進行訓練，獲得各圖片所屬的類別包括：將所述全局特征輸入至多層感知器中，采用交叉熵作為損失函數(shù)進行訓練，獲得各圖片的類別概率。

13、本發(fā)明第二方面提供了一種合成圖像檢測框架構(gòu)建系統(tǒng)，包括：

14、圖片對獲取模塊，用于獲取一定數(shù)量的圖片對作為訓練集；

15、序列編碼模塊，用于分別對訓練集中的各圖片進行預處理形成一維序列，將所述一維序列輸入至視覺轉(zhuǎn)換模型的線性層進行編碼獲得序列編碼；

16、額外編碼模塊，用于分別提取訓練集中的各圖片的高曝光底片、頻率域低通濾波圖和暗通道圖進行編碼，獲得額外編碼；

17、特征提取模塊，用于將序列編碼和位置編碼相加后獲得的原始圖像編碼以及所述額外編碼輸入transformer編碼模型中進行融合，提取出全局特征；

18、分類模塊，用于將所述全局特征輸入至多層感知器中進行訓練，獲得各圖片所屬的類別。

19、本發(fā)明第三方面提供了一種存儲器，存儲有多條指令，所述指令用于實現(xiàn)如第一方面所述的一種合成圖像檢測框架構(gòu)建方法。

20、本發(fā)明第四方面提供了一種電子設備，包括處理器和與所述處理器連接的存儲器，所述存儲器存儲有多條指令，所述指令可被所述處理器加載并執(zhí)行，以使所述處理器能夠執(zhí)行如第一方面所述的一種合成圖像檢測框架構(gòu)建方法。

21、本發(fā)明第五方面提供了一種計算機程序產(chǎn)品，包括計算機程序/指令，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)如第一方面所述的合成圖像檢測框架構(gòu)建方法。

22、本發(fā)明的有益效果是：本發(fā)明提供的一種合成圖像檢測框架構(gòu)建方法和系統(tǒng)，采用視覺transformer結(jié)構(gòu)而不是用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡處理圖像，能充分提取圖像特征，同時將圖像的對比度、頻域信息和暗通道等信息編碼與原始圖像融合，得到全局特征用于分類；另外本申請采用圖像到圖像的生成方式獲取成對的真實圖片和生成圖片，通過對比真實圖片和生成圖片的細節(jié)，可以大幅度提高模型訓練速度以及減少數(shù)據(jù)量的依賴，顯著降低訓練成本。

技術(shù)特征：

1.一種合成圖像檢測框架構(gòu)建方法，其特征在于，包括：

2.如權(quán)利要求1所述的一種合成圖像檢測框架構(gòu)建方法，其特征在于，所述圖片對包括真實圖片及與所述真實圖片對應的生成圖片。

3.如權(quán)利要求2所述的一種合成圖像檢測框架構(gòu)建方法，其特征在于，在獲取一定數(shù)量的圖片對作為訓練集之前包括：將多幅真實圖片分別輸入至擴散模型，通過調(diào)整擴散模型的噪聲添加比例，生成多個包含差異性的生成圖片。

4.如權(quán)利要求1所述的一種合成圖像檢測框架構(gòu)建方法，其特征在于，分別對訓練集中的各圖片進行預處理形成一維序列包括：分別將訓練集中的各圖片切分為多個方塊，將多個所述方塊作為所述一維序列。

5.如權(quán)利要求1所述的一種合成圖像檢測框架構(gòu)建方法，其特征在于，將序列編碼和位置編碼相加后獲得的原始圖像編碼以及所述額外編碼輸入transformer編碼模型中進行融合，提取transformer編碼模型輸出對應額外編碼cls位置的隱藏向量作為全局特征。

6.如權(quán)利要求1所述的一種合成圖像檢測框架構(gòu)建方法，其特征在于，將所述全局特征輸入至多層感知器中進行訓練，獲得各圖片所屬的類別包括：將所述全局特征輸入至多層感知器中，采用交叉熵作為損失函數(shù)進行訓練，獲得各圖片的類別概率。

7.一種合成圖像檢測框架構(gòu)建系統(tǒng)，其特征在于，包括：

8.一種存儲器，其特征在于，存儲有多條指令，所述指令用于實現(xiàn)如權(quán)利要求1-6任一項所述的合成圖像檢測框架構(gòu)建方法。

9.一種電子設備，其特征在于，包括處理器和與所述處理器連接的存儲器，所述存儲器存儲有多條指令，所述指令可被所述處理器加載并執(zhí)行，以使所述處理器能夠執(zhí)行如權(quán)利要求1-6任一項所述的合成圖像檢測框架構(gòu)建方法。

10.一種計算機程序產(chǎn)品，包括計算機程序/指令，其特征在于，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-6任一項所述的合成圖像檢測框架構(gòu)建方法。

技術(shù)總結(jié)
本發(fā)明公開了一種合成圖像檢測框架構(gòu)建方法和系統(tǒng)，屬于圖像識別技術(shù)領域。方法包括：獲取一定數(shù)量的圖片對作為訓練集；分別對訓練集中的各圖片進行預處理形成一維序列并輸入至視覺轉(zhuǎn)換模型的線性層進行編碼獲得序列編碼；分別提取訓練集中的各圖片的高曝光底片、頻率域低通濾波圖和暗通道圖進行編碼，獲得額外編碼；將其與序列編碼和位置編碼相加后獲得的原始圖像編碼輸入transformer編碼模型中進行融合，提取出全局特征并輸入至多層感知器中進行訓練，獲得各圖片所屬的類別。本申請采用視覺Transformer結(jié)構(gòu)處理圖像，添加額外編碼，得到全局特征用于分類；另外采用圖像到圖像的生成方式獲取成對的真實圖片和生成圖片，大幅度提高模型訓練速度、減少數(shù)據(jù)量的依賴。

技術(shù)研發(fā)人員：王業(yè)全,吳詩雨,劉靜,于乃通
受保護的技術(shù)使用者：北京智源人工智能研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23