本技術(shù)涉及人工智能及金融科技領(lǐng)域，尤其涉及一種基于視頻的虛假人臉識別方法和裝置、設(shè)備、存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、虛假人臉視頻是指使用深度學(xué)習(xí)等技術(shù)，將一個(gè)人的面部特征替換或轉(zhuǎn)移到另一個(gè)人的視頻中，從而生成虛假的視頻內(nèi)容。在金融科技領(lǐng)域中，可能存在諸多潛在應(yīng)用虛假人臉視頻的風(fēng)險(xiǎn)。例如金融機(jī)構(gòu)的身份驗(yàn)證：金融機(jī)構(gòu)如銀行、保險(xiǎn)公司、證券公司等，需要對客戶進(jìn)行身份驗(yàn)證，以實(shí)現(xiàn)反欺詐和防止盜用。

2、目前存在一些虛假人臉識別技術(shù)，但無法平衡識別效率和適用性。比如，通常針對單張人臉圖像進(jìn)行識別的虛假人臉識別技術(shù)，無法很好地應(yīng)用于人臉視頻。還存在一些針對人臉視頻進(jìn)行識別的虛假人臉識別技術(shù)，由于是對人臉視頻進(jìn)行識別，識別過程通常需要大量的時(shí)間和資源，導(dǎo)致識別效率低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的主要目的在于提出一種基于視頻的虛假人臉識別方法和裝置、設(shè)備、存儲(chǔ)介質(zhì)，能夠準(zhǔn)確地進(jìn)行虛假人臉視頻識別，且能夠平衡識別效率和適用性。

2、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第一方面提出了一種基于視頻的虛假人臉識別方法，所述方法包括：

3、從包含人臉的原始人臉視頻提取包含人臉的原始人臉圖像幀；

4、對所述原始人臉圖像幀進(jìn)行人臉特征提取，得到人臉特征向量；

5、對每一所述人臉特征向量進(jìn)行時(shí)序信息提取，得到人臉時(shí)序信息向量；

6、對各個(gè)所述人臉時(shí)序信息向量進(jìn)行注意力處理，得到人臉時(shí)序加權(quán)向量矩陣；

7、對所述原始人臉圖像幀進(jìn)行頻率特征提取，得到頻率特征系數(shù)；

8、根據(jù)所述頻率特征系數(shù)進(jìn)行頻域圖像重建，得到人臉頻域圖像矩陣；

9、將所述人臉時(shí)序加權(quán)向量矩陣和所述人臉頻域圖像矩陣進(jìn)行特征融合，得到目標(biāo)人臉融合特征；

10、基于所述目標(biāo)人臉融合特征對所述原始人臉視頻進(jìn)行虛假人臉判別。

11、在一些實(shí)施例，所述基于所述目標(biāo)人臉融合特征對所述原始人臉視頻進(jìn)行虛假人臉判別，包括：

12、對所述目標(biāo)人臉融合特征進(jìn)行潛在特征提取，得到人臉潛在判別特征；

13、對所述人臉潛在判別特征進(jìn)行降維處理，得到人臉降維判別特征；

14、對所述人臉降維判別特征進(jìn)行線性處理，得到人臉線性判別特征；

15、對所述人臉線性判別特征進(jìn)行非線性處理，得到人臉類別；其中，所述人臉類別表示所述原始人臉視頻中的人臉是虛假人臉或非虛假人臉。

16、在一些實(shí)施例，在所述對所述人臉線性判別特征進(jìn)行非線性處理，得到人臉類別之后，所述方法還包括：

17、若所述人臉類別表示所述原始人臉視頻中的人臉是虛假人臉，則將每一所述人臉特征向量和所述目標(biāo)人臉融合特征進(jìn)行特征融合，得到虛假人臉圖像特征；

18、通過預(yù)設(shè)的人臉偽造類型分類模型對所述虛假人臉圖像特征進(jìn)行人臉偽造類型分類，得到目標(biāo)人臉偽造類型。

19、在一些實(shí)施例，所述對各個(gè)所述人臉時(shí)序信息向量進(jìn)行注意力處理，得到人臉時(shí)序加權(quán)向量矩陣，包括：

20、對每一所述人臉時(shí)序信息向量進(jìn)行自注意力處理，得到人臉時(shí)序加權(quán)向量；

21、根據(jù)各個(gè)所述人臉時(shí)序加權(quán)向量進(jìn)行向量拼接，得到所述人臉時(shí)序加權(quán)向量矩陣。

22、在一些實(shí)施例，所述根據(jù)所述頻率特征系數(shù)進(jìn)行頻域圖像重建，得到人臉頻域圖像矩陣，包括：

23、將處于同一預(yù)設(shè)頻段的至少一個(gè)所述頻率特征系數(shù)進(jìn)行拼接，得到頻率特征通道；

24、根據(jù)各個(gè)所述頻率特征通道進(jìn)行通道合并，得到所述人臉頻域圖像矩陣。

25、在一些實(shí)施例，所述對每一所述人臉特征向量進(jìn)行時(shí)序信息提取，得到人臉時(shí)序信息向量，包括：

26、將第一個(gè)所述原始人臉圖像幀所對應(yīng)的所述人臉特征向量作為狀態(tài)輸入特征向量；

27、通過時(shí)序循環(huán)神經(jīng)網(wǎng)絡(luò)對第一幀的所述狀態(tài)輸入特征向量和第二幀的所述人臉特征向量進(jìn)行時(shí)序特征融合，得到時(shí)序特征融合向量，并將所述時(shí)序特征融合向量更新為所述狀態(tài)輸入特征向量；其中，所述第一幀和所述第二幀對應(yīng)不同的所述原始人臉圖像幀，且所述第一幀所對應(yīng)的時(shí)刻早于所述第二幀所對應(yīng)的時(shí)刻；

28、根據(jù)最后一個(gè)所述原始人臉圖像幀所對應(yīng)的時(shí)序特征融合向量，確定所述人臉時(shí)序信息向量。

29、在一些實(shí)施例，所述通過時(shí)序循環(huán)神經(jīng)網(wǎng)絡(luò)對第一幀的所述狀態(tài)輸入特征向量和第二幀的所述人臉特征向量進(jìn)行時(shí)序特征融合，得到時(shí)序特征融合向量，包括：

30、通過所述時(shí)序循環(huán)神經(jīng)網(wǎng)絡(luò)對第一幀的所述狀態(tài)輸入特征向量和第二幀的所述人臉特征向量進(jìn)行特征更新，得到人臉更新特征向量；

31、通過所述時(shí)序循環(huán)神經(jīng)網(wǎng)絡(luò)對第一幀的所述狀態(tài)輸入特征向量和第二幀的所述人臉特征向量進(jìn)行特征重置，得到人臉重置特征向量；

32、通過所述時(shí)序循環(huán)神經(jīng)網(wǎng)絡(luò)對所述人臉重置特征向量、第一幀的所述狀態(tài)輸入特征向量和第二幀的所述人臉特征向量進(jìn)行特征混合，得到人臉候選隱藏狀態(tài)向量；

33、通過所述時(shí)序循環(huán)神經(jīng)網(wǎng)絡(luò)對所述人臉更新特征向量、第一幀的所述狀態(tài)輸入特征向量和所述人臉候選隱藏狀態(tài)向量進(jìn)行特征選擇融合，得到所述時(shí)序特征融合向量。

34、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第二方面提出了一種基于視頻的虛假人臉識別裝置，所述裝置包括：

35、人臉圖像提取模塊，用于從包含人臉的原始人臉視頻提取包含人臉的原始人臉圖像幀；

36、人臉特征提取模塊，用于對所述原始人臉圖像幀進(jìn)行人臉特征提取，得到人臉特征向量；

37、時(shí)序信息提取模塊，用于對每一所述人臉特征向量進(jìn)行時(shí)序信息提取，得到人臉時(shí)序信息向量；

38、注意力處理模塊，用于對各個(gè)所述人臉時(shí)序信息向量進(jìn)行注意力處理，得到人臉時(shí)序加權(quán)向量矩陣；

39、頻率特征提取模塊，用于對所述原始人臉圖像幀進(jìn)行頻率特征提取，得到頻率特征系數(shù)；

40、頻域圖像重建模塊，用于根據(jù)所述頻率特征系數(shù)進(jìn)行頻域圖像重建，得到人臉頻域圖像矩陣；

41、人臉特征融合模塊，用于將所述人臉時(shí)序加權(quán)向量矩陣和所述人臉頻域圖像矩陣進(jìn)行特征融合，得到目標(biāo)人臉融合特征；

42、虛假人臉判別模塊，用于基于所述目標(biāo)人臉融合特征對所述原始人臉視頻進(jìn)行虛假人臉判別。

43、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第三方面提出了一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述第一方面所述的基于視頻的虛假人臉識別方法。

44、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第四方面提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的基于視頻的虛假人臉識別方法。

45、本技術(shù)提出的基于視頻的虛假人臉識別方法和裝置、設(shè)備、存儲(chǔ)介質(zhì)，通過一方面針對原始人臉圖像幀進(jìn)行人臉特征提取、時(shí)序信息提取以及注意力處理，可以得到人臉時(shí)序加權(quán)向量矩陣。另一方面針對原始人臉圖像幀進(jìn)行頻率特征提取以及頻域圖像重建，可以得到人臉頻域圖像矩陣。然后將人臉時(shí)序加權(quán)向量矩陣和人臉頻域圖像矩陣進(jìn)行特征融合，得到目標(biāo)人臉融合特征。這樣一來，目標(biāo)人臉融合特征包含人臉視頻中的人臉在時(shí)序上和空間上的變化信息、關(guān)聯(lián)信息，以及不同原始圖像幀之間的重要性信息。最后，基于目標(biāo)人臉融合特征對原始人臉視頻進(jìn)行虛假人臉判別，具體較高的準(zhǔn)確性和適用性。在上述識別過程中，是針對人臉視頻中的每個(gè)原始圖像幀進(jìn)行單獨(dú)處理，處理難度低，故在能夠提高適用性的基礎(chǔ)上，提高了識別效率。

46、本技術(shù)的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實(shí)踐了解到。