技術特征：

1.一種融合多模態(tài)信息的深度偽造視頻檢測方法，其特征在于，包括：

2.如權利要求1所述的一種融合多模態(tài)信息的深度偽造視頻檢測方法，其特征在于，s1中所述將待檢測視頻進行預處理，得到多個視頻幀，包括：

3.如權利要求1所述的一種融合多模態(tài)信息的深度偽造視頻檢測方法，其特征在于，s2中獲取所述待檢測視頻中的音頻文件，并將所述音頻文件轉換為mel頻譜圖，包括：

4.如權利要求1所述的一種融合多模態(tài)信息的深度偽造視頻檢測方法，其特征在于，s3中獲取所述檢測視頻的視頻幀特征向量xv，包括：

5.如權利要求1所述的一種融合多模態(tài)信息的深度偽造視頻檢測方法，其特征在于，s3中獲取所述音頻mel頻譜圖的音頻特征向量xa，包括：

6.如權利要求1所述的一種融合多模態(tài)信息的深度偽造視頻檢測方法，其特征在于，s8中所得到述降維后的多模態(tài)融合特征f’，包括：

7.一種融合多模態(tài)信息的深度偽造視頻檢測裝置，采用了如權利要求1-6中任一項融合多模態(tài)信息的深度偽造視頻檢測方法，包括：

8.一種電子設備，其特征在于，包括：存儲器和處理器；

9.一種計算機可讀存儲介質，其特征在于，其中存儲有多條指令，指令由處理器加載，使處理器執(zhí)行如權利要求1-6中任一項融合多模態(tài)信息的深度偽造視頻檢測方法。

技術總結
本發(fā)明涉及一種融合多模態(tài)信息的深度偽造視頻檢測方法及裝置，應用于視頻檢測技術領域。本發(fā)明采用了多頭自注意力機制分別處理待檢測視頻的視頻幀特征向量X<subgt;v</subgt;和音頻MEL頻譜圖的音頻特征向量X<subgt;a</subgt;，然后將所述待檢測視頻的視頻幀特征向量X<subgt;v</subgt;和所述音頻MEL頻譜圖的音頻特征向量X<subgt;a</subgt;的兩種模態(tài)特征進行加權融合，從而提升深度偽造視頻檢測方法的準確性與魯棒性。多模態(tài)特征的融合能夠充分利用不同模態(tài)信息的互補性，確保捕捉到更全面的特征，從而提升深度偽造視頻檢測的準確性與魯棒性。

技術研發(fā)人員：李光輝,彭勝聰,郭玉剛
受保護的技術使用者：合肥高維數(shù)據技術有限公司
技術研發(fā)日：
技術公布日：2025/1/6