本技術(shù)涉及計算機,特別是涉及一種檢測模型生成方法及系統(tǒng)。
背景技術(shù):
1、現(xiàn)有的偽造檢測技術(shù)往往缺乏豐富的樣本數(shù)據(jù),尤其是針對不同應(yīng)用場景的深度偽造數(shù)據(jù),這限制了模型的泛化能力和檢測效果?,F(xiàn)有的偽造檢測技術(shù)在不同應(yīng)用場景下的表現(xiàn)不一,缺乏針對特定場景的微調(diào)和優(yōu)化,導(dǎo)致在實際應(yīng)用中效果不佳?,F(xiàn)有的偽造檢測技術(shù)通常只依賴單一的特征分析方法,如圖像特征或深度學(xué)習(xí)特征,未能充分利用多種特征的組合優(yōu)勢,影響了檢測的準(zhǔn)確性和魯棒性。
技術(shù)實現(xiàn)思路
1、基于上述問題,本技術(shù)提供了一種檢測模型生成方法及系統(tǒng)。
2、本技術(shù)實施例公開了如下技術(shù)方案:
3、第一方面,提供了一種檢測模型生成方法,所述方法包括:
4、獲取目標(biāo)數(shù)據(jù)集,所述目標(biāo)數(shù)據(jù)集包括視覺深度偽造數(shù)據(jù)和真實數(shù)據(jù),所述視覺深度偽造數(shù)據(jù)包括對應(yīng)標(biāo)注的數(shù)據(jù)屬性信息和偽造操作信息;
5、對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,所述第一特征集包括基于圖像特征、預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、深偽視頻缺陷、深偽圖像缺陷、圖像數(shù)字特征和視頻數(shù)字特征中至少一項,對目標(biāo)數(shù)據(jù)集進行特征提取得到的結(jié)果;
6、對所述第一特征集進行特征選擇,得到第二特征集;
7、基于第二特征集,使用預(yù)設(shè)損失函數(shù)、預(yù)設(shè)優(yōu)化器和預(yù)設(shè)模型參數(shù),結(jié)合預(yù)設(shè)策略訓(xùn)練得到用于檢測視覺深度偽造內(nèi)容的檢測模型,所述預(yù)設(shè)策略用于表征在預(yù)設(shè)數(shù)量個訓(xùn)練周期內(nèi),模型性能提升幅度小于預(yù)設(shè)閾值時停止訓(xùn)練。
8、在一種可能的實現(xiàn)方式中,所述獲取目標(biāo)數(shù)據(jù)集,包括:
9、從目標(biāo)數(shù)據(jù)渠道獲取真實數(shù)據(jù)和偽造數(shù)據(jù)樣本;
10、基于獲取到的偽造數(shù)據(jù)樣本,生成視覺深度偽造數(shù)據(jù);
11、結(jié)合獲取到的真實數(shù)據(jù)和生成的視覺深度偽造數(shù)據(jù),得到預(yù)備數(shù)據(jù)集;
12、對所述預(yù)備數(shù)據(jù)集依次執(zhí)行數(shù)據(jù)增強操作和數(shù)據(jù)過濾操作,得到目標(biāo)數(shù)據(jù)集,所述數(shù)據(jù)增強操作包括對所述預(yù)備數(shù)據(jù)集中的數(shù)據(jù)樣本執(zhí)行旋轉(zhuǎn)、縮放、翻轉(zhuǎn)、裁剪、顏色變換和添加噪聲中的至少一種;所述數(shù)據(jù)過濾操作包括基于統(tǒng)計分析、聚類分析或機器學(xué)習(xí)算法中的至少一種對所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)樣本進行篩選,以識別并排除不符合預(yù)設(shè)質(zhì)量標(biāo)準(zhǔn)的數(shù)據(jù)樣本。
13、在一種可能的實現(xiàn)方式中,所述對所述第一特征集進行特征選擇,得到第二特征集,包括:
14、基于方差篩選和相關(guān)性分析,對所述第一特征集中重要性不符合預(yù)設(shè)重要性標(biāo)準(zhǔn)的特征進行剔除;對所述第一特征集中的特征進行降維處理;基于遞歸特征消除,對所述第一特征集中的特征進行剔除,得到第二特征集。
15、在一種可能的實現(xiàn)方式中,所述第一特征集包括基于圖像特征進行特征提取得到的時域特征、空域特征和頻域特征,所述對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,包括:
16、通過分析連續(xù)幀之間的像素級差異信息、物體的運動模式和運動規(guī)律,確定所述目標(biāo)數(shù)據(jù)集的時域特征;通過分析圖像的紋理信息和邊緣信息,確定所述目標(biāo)數(shù)據(jù)集的空域特征;將所述目標(biāo)數(shù)據(jù)集中的圖像轉(zhuǎn)化為頻域,分析所述目標(biāo)數(shù)據(jù)集中的圖像的頻譜特征和多尺度特征,確定所述目標(biāo)數(shù)據(jù)集的頻域特征。
17、在一種可能的實現(xiàn)方式中,所述第一特征集包括深偽視頻缺陷的特征提取得到的人臉特征和物體運行特征,所述對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,包括:
18、基于眨眼頻率、頭部運動信息、人臉表情與上下文信息的一致性,確定所述目標(biāo)數(shù)據(jù)集的人臉特征;基于物體運行軌跡和物體遮擋過度信息,確定所述物體運行特征。
19、在一種可能的實現(xiàn)方式中,所述第一特征集包括基于深偽圖像缺陷的特征提取得到的拼接痕跡特征和復(fù)制粘貼痕跡特征,所述對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,包括:
20、基于圖像不同區(qū)域的顏色顏色是否符合預(yù)設(shè)一致性條件、圖像不同區(qū)域的紋理是否符合預(yù)設(shè)一致性條件、圖像不同區(qū)域的光照是否符合預(yù)設(shè)一致性條件、圖像中的幾何變換痕跡信息,確定所述目標(biāo)數(shù)據(jù)集的拼接痕跡特征;檢測圖像中是否存在重復(fù)的紋理區(qū)域,確定所述目標(biāo)數(shù)據(jù)集的復(fù)制粘貼痕跡特征。
21、在一種可能的實現(xiàn)方式中,所述第一特征集包括基于圖像數(shù)字特征提取得到的相機特征、壓縮痕跡特征和元數(shù)據(jù)特征,所述對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,包括:
22、基于圖像中的傳感器噪聲信息和圖像是否存在鏡頭畸變,確定所述目標(biāo)數(shù)據(jù)集的相機特征;基于圖像中的量化誤差和塊效應(yīng),確定所述目標(biāo)數(shù)據(jù)集的壓縮痕跡特征;基于圖像或視頻的元數(shù)據(jù)信息,確定所述目標(biāo)數(shù)據(jù)集的元數(shù)據(jù)特征。
23、在一種可能的實現(xiàn)方式中,所述第一特征集包括基于視頻數(shù)字特征提取得到的幀率特征、編碼格式特征和時間戳特征,所述對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,包括:
24、判斷視頻幀率是否符合預(yù)設(shè)穩(wěn)定條件,確定所述目標(biāo)數(shù)據(jù)集的幀率特征;基于視頻的編碼格式,確定所述目標(biāo)數(shù)據(jù)集的編碼格式特征;判斷視頻的時間戳是否符合預(yù)設(shè)連續(xù)條件,確定所述目標(biāo)數(shù)據(jù)集的時間戳特征。
25、在一種可能的實現(xiàn)方式中,所述方法還包括:
26、獲取檢測場景需求信息,基于所述檢測場景需求信息對所述檢測模型的模型參數(shù)進行調(diào)整,所述模型參數(shù)用于平衡所述檢測模型的誤報率和漏報率。
27、第二方面,提供了一種檢測模型生成系統(tǒng),包括:
28、獲取單元,用于獲取目標(biāo)數(shù)據(jù)集,所述目標(biāo)數(shù)據(jù)集包括視覺深度偽造數(shù)據(jù)和真實數(shù)據(jù),所述視覺深度偽造數(shù)據(jù)包括對應(yīng)標(biāo)注的數(shù)據(jù)屬性信息和偽造操作信息;
29、提取單元,用于對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,所述第一特征集包括基于圖像特征、預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、深偽視頻缺陷、深偽圖像缺陷、圖像數(shù)字特征和視頻數(shù)字特征中至少一項,對目標(biāo)數(shù)據(jù)集進行特征提取得到的結(jié)果;
30、選擇單元,用于對所述第一特征集進行特征選擇,得到第二特征集;
31、訓(xùn)練單元,用于基于第二特征集,使用預(yù)設(shè)損失函數(shù)、預(yù)設(shè)優(yōu)化器和預(yù)設(shè)模型參數(shù),結(jié)合預(yù)設(shè)策略訓(xùn)練得到用于檢測視覺深度偽造內(nèi)容的檢測模型,所述預(yù)設(shè)策略用于表征在預(yù)設(shè)數(shù)量個訓(xùn)練周期內(nèi),模型性能提升幅度小于預(yù)設(shè)閾值時停止訓(xùn)練。
32、相較于現(xiàn)有技術(shù),本技術(shù)具有以下有益效果:
33、獲取目標(biāo)數(shù)據(jù)集,所述目標(biāo)數(shù)據(jù)集包括視覺深度偽造數(shù)據(jù)和真實數(shù)據(jù),所述視覺深度偽造數(shù)據(jù)包括對應(yīng)標(biāo)注的數(shù)據(jù)屬性信息和偽造操作信息;對所述目標(biāo)數(shù)據(jù)集進行特征提取,得到第一特征集,所述第一特征集包括基于圖像特征、預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、深偽視頻缺陷、深偽圖像缺陷、圖像數(shù)字特征和視頻數(shù)字特征中至少一項,對目標(biāo)數(shù)據(jù)集進行特征提取得到的結(jié)果;對所述第一特征集進行特征選擇,得到第二特征集;基于第二特征集,使用預(yù)設(shè)損失函數(shù)、預(yù)設(shè)優(yōu)化器和預(yù)設(shè)模型參數(shù),結(jié)合預(yù)設(shè)策略訓(xùn)練得到用于檢測視覺深度偽造內(nèi)容的檢測模型,所述預(yù)設(shè)策略用于表征在預(yù)設(shè)數(shù)量個訓(xùn)練周期內(nèi),模型性能提升幅度小于預(yù)設(shè)閾值時停止訓(xùn)練。通過對深度偽造數(shù)據(jù)的全方位特征提取與分析,并結(jié)合豐富的樣本訓(xùn)練和針對不同應(yīng)用場景的微調(diào),實現(xiàn)對偽造內(nèi)容的高精度檢測。