本申請(qǐng)涉及計(jì)算機(jī)視覺(jué)，特別是涉及一種針對(duì)融媒體視頻的人臉處理方法、裝置和系統(tǒng)。

背景技術(shù)：

1、伴隨著傳媒行業(yè)快速發(fā)展及短視頻的興起，出現(xiàn)大量品質(zhì)良莠不齊的視頻，為了保證視頻的質(zhì)量，對(duì)視頻的審核尤為重要。視頻審核的傳統(tǒng)方法多為人工審查，然而人工審查的工作量大，且審核速度十分有限，難以匹配視頻的更新速度，并且尤其在對(duì)于視頻中的目標(biāo)人物進(jìn)行審核時(shí)，人工審查的準(zhǔn)確率較低。

2、目前，針對(duì)現(xiàn)有技術(shù)中對(duì)視頻中的人物對(duì)象審核的效率及準(zhǔn)確率均較低的問(wèn)題，尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種針對(duì)融媒體視頻的人臉處理方法、裝置和系統(tǒng)。

2、第一方面，本申請(qǐng)?zhí)峁┝艘环N針對(duì)融媒體視頻的人臉處理方法。包括：

3、從獲取到的多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算當(dāng)前待測(cè)視頻的當(dāng)前哈希值；

4、將當(dāng)前哈希值與待測(cè)視頻中的歷史待測(cè)視頻對(duì)應(yīng)的哈希值進(jìn)行比對(duì)，若檢測(cè)到當(dāng)前哈希值與所有歷史待測(cè)視頻的哈希值均不相同，則從當(dāng)前待測(cè)視頻中抽取待測(cè)關(guān)鍵幀，并識(shí)別待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域；提取人臉區(qū)域的人臉特征向量，將人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配；

5、在檢測(cè)到匹配成功時(shí)，記錄待測(cè)視頻中包括有待測(cè)對(duì)象的時(shí)間信息，并將待測(cè)對(duì)象的匹配結(jié)果以及時(shí)間信息進(jìn)行保存。

6、在其中一個(gè)實(shí)施例中，獲取目標(biāo)對(duì)象數(shù)據(jù)庫(kù)，包括：

7、獲取與預(yù)設(shè)的目標(biāo)對(duì)象對(duì)應(yīng)的元數(shù)據(jù)以及目標(biāo)對(duì)象臉部特征向量，其中，元數(shù)據(jù)包括目標(biāo)對(duì)象的標(biāo)識(shí)信息；

8、在獲取到針對(duì)目標(biāo)對(duì)象的處理指令時(shí)，基于處理指令查詢(xún)目標(biāo)對(duì)象的元數(shù)據(jù)，并基于元數(shù)據(jù)的查詢(xún)結(jié)果獲取對(duì)應(yīng)的目標(biāo)對(duì)象臉部特征向量，其中，處理指令包括修改指令、刪除指令、查詢(xún)指令。

9、在其中一個(gè)實(shí)施例中，在檢測(cè)到匹配成功時(shí)，記錄待測(cè)視頻中包括有待測(cè)對(duì)象的時(shí)間信息，并將待測(cè)對(duì)象的匹配結(jié)果以及時(shí)間信息進(jìn)行保存之后，方法還包括：

10、基于匹配結(jié)果以及時(shí)間信息對(duì)對(duì)應(yīng)的人臉區(qū)域進(jìn)行視頻編輯處理，其中，視頻編輯處理包括以下至少一種處理，刪除處理、替換處理、生成警告提示。

11、在其中一個(gè)實(shí)施例中，從獲取到的多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算當(dāng)前待測(cè)視頻的當(dāng)前哈希值之后，方法還包括：

12、將當(dāng)前哈希值與待測(cè)視頻中的歷史待測(cè)視頻對(duì)應(yīng)的哈希值進(jìn)行比對(duì)，若檢測(cè)到當(dāng)前哈希值與歷史待測(cè)視頻中的歷史目標(biāo)待測(cè)視頻的哈希值相同，則結(jié)束針對(duì)當(dāng)前待測(cè)視頻的處理。

13、在其中一個(gè)實(shí)施例中，識(shí)別待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域，提取人臉區(qū)域的人臉特征向量，包括：

14、對(duì)人臉區(qū)域的子圖進(jìn)行傅里葉變換，得到與人臉區(qū)域的子圖對(duì)應(yīng)的清晰度結(jié)果；

15、將清晰度結(jié)果與預(yù)設(shè)的清晰度閾值進(jìn)行比對(duì)，對(duì)清晰度結(jié)果大于清晰度閾值的人臉區(qū)域的子圖進(jìn)行人臉特征向量的提取。

16、在其中一個(gè)實(shí)施例中，識(shí)別待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域，提取人臉區(qū)域的人臉特征向量，包括：

17、若檢測(cè)到人臉區(qū)域的子圖的尺寸大于預(yù)設(shè)的尺寸閾值，則對(duì)人臉區(qū)域的子圖進(jìn)行人臉特征向量的提取。

18、在其中一個(gè)實(shí)施例中，將人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配，包括：

19、對(duì)目標(biāo)對(duì)象特征向量進(jìn)行平均處理，得到對(duì)應(yīng)于目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象的目標(biāo)平均特征向量；

20、計(jì)算目標(biāo)平均特征向量與人臉特征向量之間的余弦距離，在檢測(cè)到余弦距離小于預(yù)設(shè)的距離閾值時(shí)，判斷匹配成功。

21、第二方面，本申請(qǐng)還提供了一種針對(duì)融媒體視頻的人臉處理裝置。該裝置包括：

22、獲取模塊，用于從獲取到的多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算當(dāng)前待測(cè)視頻的當(dāng)前哈希值；

23、計(jì)算模塊，用于將當(dāng)前哈希值與待測(cè)視頻中的歷史待測(cè)視頻對(duì)應(yīng)的哈希值進(jìn)行比對(duì)，若檢測(cè)到當(dāng)前哈希值與所有歷史待測(cè)視頻的哈希值均不相同，則從當(dāng)前待測(cè)視頻中抽取待測(cè)關(guān)鍵幀，并識(shí)別待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域；提取人臉區(qū)域的人臉特征向量，將人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配；

24、生成模塊，用于在檢測(cè)到匹配成功時(shí)，記錄待測(cè)視頻中包括有待測(cè)對(duì)象的時(shí)間信息，并將待測(cè)對(duì)象的匹配結(jié)果以及時(shí)間信息進(jìn)行保存。

25、第三方面，本申請(qǐng)還提供了一種針對(duì)融媒體視頻的人臉處理系統(tǒng)，包括：視頻獲取模塊以及如上文所述的針對(duì)融媒體視頻的人臉處理裝置；

26、視頻獲取模塊，用于從多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算當(dāng)前待測(cè)視頻的當(dāng)前哈希值；

27、人臉處理裝置，用于基于當(dāng)前待測(cè)視頻、多個(gè)待測(cè)視頻以及當(dāng)前哈希值，執(zhí)行如上文所述的針對(duì)融媒體視頻的人臉處理方法的步驟。

28、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

29、從獲取到的多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算當(dāng)前待測(cè)視頻的當(dāng)前哈希值；

30、將當(dāng)前哈希值與待測(cè)視頻中的歷史待測(cè)視頻對(duì)應(yīng)的哈希值進(jìn)行比對(duì)，若檢測(cè)到當(dāng)前哈希值與所有歷史待測(cè)視頻的哈希值均不相同，則從當(dāng)前待測(cè)視頻中抽取待測(cè)關(guān)鍵幀，并識(shí)別待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域；提取人臉區(qū)域的人臉特征向量，將人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配；

31、在檢測(cè)到匹配成功時(shí)，記錄待測(cè)視頻中包括有待測(cè)對(duì)象的時(shí)間信息，并將待測(cè)對(duì)象的匹配結(jié)果以及時(shí)間信息進(jìn)行保存。

32、上述一種針對(duì)融媒體視頻的人臉處理方法、裝置和系統(tǒng)，首先從獲取到的多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算當(dāng)前待測(cè)視頻的當(dāng)前哈希值。將當(dāng)前哈希值與待測(cè)視頻中的歷史待測(cè)視頻對(duì)應(yīng)的哈希值進(jìn)行比對(duì)，若檢測(cè)到當(dāng)前哈希值與所有歷史待測(cè)視頻的哈希值均不相同，則從當(dāng)前待測(cè)視頻中抽取待測(cè)關(guān)鍵幀，并識(shí)別待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域，提取人臉區(qū)域的人臉特征向量，將人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配。在檢測(cè)到匹配成功時(shí)，記錄待測(cè)視頻中包括有待測(cè)對(duì)象的時(shí)間信息，并將待測(cè)對(duì)象的匹配結(jié)果以及時(shí)間信息進(jìn)行保存。通過(guò)本申請(qǐng)，可在對(duì)當(dāng)前待測(cè)視頻進(jìn)行處理前，綜合歷史待測(cè)視頻的哈希值檢測(cè)當(dāng)前待測(cè)視頻是否需要進(jìn)行視頻處理，避免對(duì)一個(gè)視頻重復(fù)處理，造成算力浪費(fèi)的情況。進(jìn)一步的，本申請(qǐng)還包括對(duì)人臉區(qū)域的人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配，從而快速生成待測(cè)視頻中待測(cè)對(duì)象的匹配結(jié)果以及時(shí)間等信息。

技術(shù)特征：

1.一種針對(duì)融媒體視頻的人臉處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取所述目標(biāo)對(duì)象數(shù)據(jù)庫(kù)，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在檢測(cè)到匹配成功時(shí)，記錄所述待測(cè)視頻中包括有所述待測(cè)對(duì)象的時(shí)間信息，并將所述待測(cè)對(duì)象的匹配結(jié)果以及所述時(shí)間信息進(jìn)行保存之后，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從獲取到的多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算所述當(dāng)前待測(cè)視頻的當(dāng)前哈希值之后，所述方法還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述識(shí)別所述待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域，提取所述人臉區(qū)域的人臉特征向量，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述識(shí)別所述待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域，提取所述人臉區(qū)域的人臉特征向量，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配，包括：

8.一種針對(duì)融媒體視頻的人臉處理裝置，其特征在于，所述裝置包括：

9.一種針對(duì)融媒體視頻的人臉處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：視頻獲取模塊以及如權(quán)利要求8所述的針對(duì)融媒體視頻的人臉處理裝置；

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至權(quán)利要求7中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及一種針對(duì)融媒體視頻的人臉處理方法、裝置和系統(tǒng)。包括：從獲取到的多個(gè)待測(cè)視頻中確定當(dāng)前待測(cè)視頻，并計(jì)算當(dāng)前待測(cè)視頻的當(dāng)前哈希值；將當(dāng)前哈希值與待測(cè)視頻中的歷史待測(cè)視頻對(duì)應(yīng)的哈希值進(jìn)行比對(duì)，若檢測(cè)到當(dāng)前哈希值與所有歷史待測(cè)視頻的哈希值均不相同，則從當(dāng)前待測(cè)視頻中抽取待測(cè)關(guān)鍵幀，并識(shí)別待測(cè)關(guān)鍵幀中待測(cè)對(duì)象的人臉區(qū)域；提取人臉區(qū)域的人臉特征向量，將人臉特征向量與預(yù)設(shè)的目標(biāo)對(duì)象數(shù)據(jù)庫(kù)中的目標(biāo)對(duì)象特征向量進(jìn)行匹配；在檢測(cè)到匹配成功時(shí)，記錄待測(cè)視頻中包括有待測(cè)對(duì)象的時(shí)間信息，并將待測(cè)對(duì)象的匹配結(jié)果以及時(shí)間信息進(jìn)行保存。采用本方法能夠高效且準(zhǔn)確的完成對(duì)視頻中人物對(duì)象的審核。

技術(shù)研發(fā)人員：唐勇,耿李鵬,易旸,羅小宇
受保護(hù)的技術(shù)使用者：浙江巖華文化科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30