本申請涉及圖像處理，尤其涉及一種合成圖像識別方法、裝置及電子設備。

背景技術(shù)：

1、隨著科技的發(fā)展，合成圖像技術(shù)日益成熟?，F(xiàn)代計算機技術(shù)能夠根據(jù)文本輸入精準地生成與之高度契合的合成圖像。這些合成圖像在創(chuàng)意表達、視覺藝術(shù)及多個領域展現(xiàn)出了巨大的潛力和價值。然而合成圖像若被不當使用，如用于傳播誤導性信息或冒充真實事件，將對社會造成嚴重影響。

2、如何提升識別合成圖像的準確率成為一種值得商榷的問題。

技術(shù)實現(xiàn)思路

1、本申請實施例提供一種合成圖像識別方法、裝置及電子設備，用于提升識別合成圖像的準確率。

2、第一方面，本申請實施例提供一種合成圖像識別方法，該方法中：

3、接收待處理數(shù)據(jù)集合，確定待處理數(shù)據(jù)集合中的待處理圖像是否存在對應的用戶自定義描述文本；

4、若待處理圖像不存在用戶自定義描述文本，輸入待處理圖像至圖像檢測模型，得到用于判斷待處理圖像是否屬于非合成圖像的概率值，圖像檢測模型通過卷積神經(jīng)網(wǎng)絡對表達含義相同的合成圖像以及非合成圖像進行訓練；

5、若概率值小于預設閾值，輸入待處理圖像至圖生文模型中，得到用于描述待處理圖像表達含義的描述文本，圖生文模型是將圖像中的視覺信息自動轉(zhuǎn)換為自然語言文本描述的機器學習模型；

6、輸入待處理圖像以及描述文本至混合分類模型中，確定待處理圖像是否為合成圖像，混合分類模型通過將描述圖像表達含義的文本以及圖像轉(zhuǎn)換為向量，并基于向量間的關聯(lián)性進行訓練。

7、可選的，上述圖像檢測模型采用如下方式訓練得到：

8、輸入自然訓練圖像以及非自然訓練圖像至卷積神經(jīng)網(wǎng)絡中，從自然訓練圖像以及非自然訓練圖像的視覺內(nèi)容中提取視覺特征，自然訓練圖像與非自然訓練圖像的表達含義相同；

9、基于視覺特征，通過卷積神經(jīng)網(wǎng)絡的分類層計算得到每個圖像的概率值。

10、可選的，上述混合分類模型采用如下方式訓練得到：

11、采用預設的文本編碼器將輸入的訓練描述文本轉(zhuǎn)換成文本向量，訓練描述文本用于描述自然訓練圖像的表達含義；

12、采用預設的圖像編碼器將輸入的自然訓練圖像以及非自然訓練圖像轉(zhuǎn)換成與文本向量相同維度的圖像向量，非自然訓練圖像與自然訓練圖像的表達含義相同；

13、將文本向量和圖像向量進行拼接，得到組合特征向量，組合特征向量包含自然訓練圖像和訓練描述文本的語義信息；

14、將組合特征向量輸入至分類層中，確定訓練圖像是否為合成圖像。

15、可選的，上述非自然訓練圖像是采用文生圖模型基于自然訓練圖像的描述文本生成的，文生圖模型是基于文本中的語義信息生成符合文本描述的圖像的機器學習模型。

16、可選的，上述方法還包括：

17、若概率值大于等于預設閾值，確定待處理圖像為非合成圖像。

18、可選的，上述方法還包括：

19、若待處理數(shù)據(jù)集合存在用戶自定義描述文本，輸入待處理圖像以及用戶自定義描述文本至混合分類模型中，確定待處理圖像是否為合成圖像。

20、第二方面，本申請實施例提供一種合成圖像識別裝置，該裝置包括：

21、收發(fā)模塊，用于接收待處理數(shù)據(jù)集合，確定待處理數(shù)據(jù)集合中的待處理圖像是否存在對應的用戶自定義描述文本；

22、處理模塊，用于若待處理圖像不存在用戶自定義描述文本，輸入待處理圖像至圖像檢測模型，得到用于判斷待處理圖像是否屬于非合成圖像的概率值，圖像檢測模型通過卷積神經(jīng)網(wǎng)絡對表達含義相同的合成圖像以及非合成圖像進行訓練；

23、處理模塊，還用于若概率值小于預設閾值，輸入待處理圖像至圖生文模型中，得到用于描述待處理圖像表達含義的描述文本，圖生文模型是將圖像中的視覺信息自動轉(zhuǎn)換為自然語言文本描述的機器學習模型；

24、處理模塊，還用于輸入待處理圖像以及描述文本至混合分類模型中，確定待處理圖像是否為合成圖像，混合分類模型通過將描述圖像表達含義的文本以及圖像轉(zhuǎn)換為向量，并基于向量間的關聯(lián)性進行訓練。

25、第三方面，本申請實施例提供一種電子設備，包括存儲器，處理器及存儲在存儲器上并可在處理器運行的計算機程序，當計算機程序被處理器執(zhí)行時，使得處理器實現(xiàn)上述第一方面中的任一項合成圖像識別方法。

26、第四方面，本申請實施例還提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)內(nèi)存儲有計算機程序，計算機程序被處理器執(zhí)行時，實現(xiàn)第一方面中的任一項的合成圖像識別方法。

27、第五方面，本申請實施例還提供了一種計算機程序產(chǎn)品，包括計算機程序，計算機程序被處理器執(zhí)行以實現(xiàn)如上述第一方面中的任一項的合成圖像識別方法。

28、第二方面至第五方面中任意一種實現(xiàn)方式所帶來的技術(shù)效果可參見第一方面中對應的實現(xiàn)方式所帶來的技術(shù)效果，此處不再贅述。

技術(shù)特征：

1.一種合成圖像識別方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像檢測模型采用如下方式訓練得到：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述混合分類模型采用如下方式訓練得到：

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述非自然訓練圖像是采用文生圖模型基于所述自然訓練圖像的描述文本生成的，所述文生圖模型是基于文本中的語義信息生成符合文本描述的圖像的機器學習模型。

5.根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述方法還包括：

7.一種合成圖像識別裝置，其特征在于，所述裝置包括：

8.一種電子設備，包括存儲器，處理器及存儲在存儲器上并可在處理器運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。

9.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序用于使所述計算機執(zhí)行權(quán)利要求1-6中任一項所述的方法。

10.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品在被計算機調(diào)用時，使得所述計算機執(zhí)行如權(quán)利要求1-6中任一項所述的方法。

技術(shù)總結(jié)
本申請涉及圖像處理技術(shù)領域，尤其涉及一種合成圖像識別方法、裝置及電子設備。該方法中，接收待處理數(shù)據(jù)集合，確定待處理數(shù)據(jù)集合中的待處理圖像是否存在對應的用戶自定義描述文本。若待處理數(shù)據(jù)集合存在用戶自定義描述文本，輸入待處理圖像以及用戶自定義描述文本至混合分類模型中，確定圖像是否為合成圖像。若不存在用戶自定義描述文本，輸入待處理圖像至圖像檢測模型，得到概率值。若概率值小于預設閾值，輸入待處理圖像至圖生文模型中，得到用于描述待處理圖像表達含義的描述文本。輸入待處理圖像以及描述文本至混合分類模型中，確定待處理圖像是否為合成圖像。上述方案，可以提升識別合成圖像的準確率。

技術(shù)研發(fā)人員：危嘉祺,周雪,張敏,余啟明
受保護的技術(shù)使用者：天翼安全科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9