本申請(qǐng)屬于計(jì)算機(jī)，尤其涉及一種視頻關(guān)鍵幀的確定方法、裝置、終端設(shè)備及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展，使得視頻數(shù)據(jù)也呈現(xiàn)出爆炸式增長，對(duì)視頻數(shù)據(jù)的處理和分析也變得尤為迫切。其中，提取視頻關(guān)鍵幀以概括視頻數(shù)據(jù)的主要內(nèi)容，在視頻摘要、視頻檢索等應(yīng)用場景中具有極其重要的作用，但是，目前在提取視頻關(guān)鍵幀時(shí)，無法保證所提取的視頻關(guān)鍵幀的準(zhǔn)確性，例如，容易遺漏視頻數(shù)據(jù)中的一些重要信息，或者提取的視頻關(guān)鍵幀中存在大量冗余信息等。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)實(shí)施例提供一種視頻關(guān)鍵幀的確定方法、裝置、終端設(shè)備及計(jì)算機(jī)程序產(chǎn)品，以解決現(xiàn)有技術(shù)中在提取視頻關(guān)鍵幀時(shí)，無法保證所提取的視頻關(guān)鍵幀的準(zhǔn)確性的問題。

2、本申請(qǐng)實(shí)施例的第一方面提供了一種視頻關(guān)鍵幀的確定方法，包括：

3、獲取目標(biāo)視頻幀中多個(gè)層面的預(yù)訓(xùn)練特征；

4、根據(jù)每個(gè)層面的預(yù)訓(xùn)練特征，獲取每個(gè)層面的多角度特征；

5、根據(jù)所述每個(gè)層面的多角度特征，獲得每個(gè)層面的多角度融合特征；

6、根據(jù)所述每個(gè)層面的多角度融合特征，獲得所述目標(biāo)視頻幀的幀級(jí)融合特征；

7、基于所述幀級(jí)融合特征，確定所述目標(biāo)視頻幀的視頻關(guān)鍵幀并輸出。

8、在一個(gè)實(shí)施例中，所述獲取目標(biāo)視頻幀中多個(gè)層面的預(yù)訓(xùn)練特征，包括：

9、獲取所述目標(biāo)視頻幀中對(duì)象層面的對(duì)象特征、場景層面的場景特征、字符層面的字符特征以及音頻層面的音頻特征。

10、在一個(gè)實(shí)施例中，所述根據(jù)每個(gè)層面的預(yù)訓(xùn)練特征，獲取每個(gè)層面的多角度特征，包括：

11、根據(jù)所述目標(biāo)視頻幀中對(duì)象層面的對(duì)象特征，獲取第一運(yùn)動(dòng)注意力特征、第一全局注意力特征、第一局部注意力特征；

12、根據(jù)所述目標(biāo)視頻幀中場景層面的場景特征，獲取第二運(yùn)動(dòng)注意力特征、第二全局注意力特征、第二局部注意力特征；

13、根據(jù)所述目標(biāo)視頻幀中字符層面的字符特征，獲取第三運(yùn)動(dòng)注意力特征、第三全局注意力特征、第三局部注意力特征；

14、根據(jù)所述目標(biāo)視頻幀中音頻層面的音頻特征，獲取第四運(yùn)動(dòng)注意力特征、第四全局注意力特征、第四局部注意力特征。

15、在一個(gè)實(shí)施例中，所述根據(jù)所述每個(gè)層面的多角度特征，獲得每個(gè)層面的多角度融合特征，包括：

16、根據(jù)所述目標(biāo)視頻幀中對(duì)象層面的第一運(yùn)動(dòng)注意力特征、第一全局注意力特征、第一局部注意力特征，獲得第一多角度融合特征；

17、根據(jù)所述目標(biāo)視頻幀中場景層面的第二運(yùn)動(dòng)注意力特征、第二全局注意力特征、第二局部注意力特征，獲得第二多角度融合特征；

18、根據(jù)所述目標(biāo)視頻幀中字符層面的第三運(yùn)動(dòng)注意力特征、第三全局注意力特征、第三局部注意力特征，獲得第三多角度融合特征；

19、根據(jù)所述目標(biāo)視頻幀中音頻層面的第四運(yùn)動(dòng)注意力特征、第四全局注意力特征、第四局部注意力特征，獲得第四多角度融合特征。

20、在一個(gè)實(shí)施例中，所述根據(jù)所述每個(gè)層面的多角度融合特征，獲得所述目標(biāo)視頻幀的幀級(jí)融合特征，包括：

21、對(duì)所述第一多角度融合特征、所述第二多角度融合特征、所述第三多角度融合特征以及所述第四多角度融合特征進(jìn)行幀級(jí)特征融合，獲得所述幀級(jí)融合特征。

22、在一個(gè)實(shí)施例中，所述基于所述幀級(jí)融合特征，確定所述目標(biāo)視頻幀的視頻關(guān)鍵幀并輸出，包括：

23、對(duì)所述幀級(jí)融合特征進(jìn)行聚類，確定聚類中心幀和異常幀為視頻關(guān)鍵幀并輸出。

24、在一個(gè)實(shí)施例中，視頻關(guān)鍵幀的確定方法還包括：

25、獲取目標(biāo)視頻的視頻幀；

26、對(duì)所述視頻幀進(jìn)行預(yù)處理，獲得目標(biāo)視頻幀；

27、根據(jù)所述目標(biāo)視頻幀的編號(hào)和位置序號(hào)，構(gòu)建以所述目標(biāo)視頻幀的編號(hào)為鍵、以所述目標(biāo)視頻幀的位置序號(hào)為值的哈希映射表，使得所述視頻關(guān)鍵幀被確定后按相應(yīng)的位置序號(hào)進(jìn)行輸出。

28、本申請(qǐng)實(shí)施例的第二方面提供一種視頻關(guān)鍵幀的確定裝置，包括：

29、第一特征獲取模塊，用于獲取目標(biāo)視頻幀中多個(gè)層面的預(yù)訓(xùn)練特征；

30、第二特征獲取模塊，用于根據(jù)每個(gè)層面的預(yù)訓(xùn)練特征，獲取每個(gè)層面的多角度特征；

31、第三特征獲取模塊，用于根據(jù)所述每個(gè)層面的多角度特征，獲得每個(gè)層面的多角度融合特征；

32、第四特征獲取模塊，用于根據(jù)所述每個(gè)層面的多角度融合特征，獲得所述目標(biāo)視頻幀的幀級(jí)融合特征；

33、關(guān)鍵幀確定模塊，用于基于所述幀級(jí)融合特征，確定所述目標(biāo)視頻幀的視頻關(guān)鍵幀并輸出。

34、本申請(qǐng)實(shí)施例的第三方面提供一種終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如本申請(qǐng)實(shí)施例的第一方面所述的視頻關(guān)鍵幀的確定方法的步驟。

35、本申請(qǐng)實(shí)施例的第四方面提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本申請(qǐng)實(shí)施例的第一方面所述的視頻關(guān)鍵幀的確定方法的步驟。

36、本申請(qǐng)實(shí)施例的第五方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本申請(qǐng)實(shí)施例的第一方面所述的視頻關(guān)鍵幀的確定方法的步驟。

37、本申請(qǐng)實(shí)施例的第一方面提供的視頻關(guān)鍵幀的確定方法，通過獲取目標(biāo)視頻幀中多個(gè)層面的預(yù)訓(xùn)練特征；根據(jù)每個(gè)層面的預(yù)訓(xùn)練特征，獲取每個(gè)層面的多角度特征；根據(jù)每個(gè)層面的多角度特征，獲得每個(gè)層面的多角度融合特征；根據(jù)每個(gè)層面的多角度融合特征，獲得目標(biāo)視頻幀的幀級(jí)融合特征；基于幀級(jí)融合特征，確定目標(biāo)視頻幀的視頻關(guān)鍵幀并輸出；可以有效提高視頻關(guān)鍵幀定位和抽取的準(zhǔn)確性，有利于提高對(duì)視頻基于視頻關(guān)鍵幀進(jìn)行后續(xù)處理的質(zhì)量和效率。

38、可以理解的是，上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。

技術(shù)特征：

1.一種視頻關(guān)鍵幀的確定方法，其特征在于，包括：

2.如權(quán)利要求1所述的視頻關(guān)鍵幀的確定方法，其特征在于，所述獲取目標(biāo)視頻幀中多個(gè)層面的預(yù)訓(xùn)練特征，包括：

3.如權(quán)利要求2所述的視頻關(guān)鍵幀的確定方法，其特征在于，所述根據(jù)每個(gè)層面的預(yù)訓(xùn)練特征，獲取每個(gè)層面的多角度特征，包括：

4.如權(quán)利要求3所述的視頻關(guān)鍵幀的確定方法，其特征在于，所述根據(jù)所述每個(gè)層面的多角度特征，獲得每個(gè)層面的多角度融合特征，包括：

5.如權(quán)利要求4所述的視頻關(guān)鍵幀的確定方法，其特征在于，所述根據(jù)所述每個(gè)層面的多角度融合特征，獲得所述目標(biāo)視頻幀的幀級(jí)融合特征，包括：

6.如權(quán)利要求5所述的視頻關(guān)鍵幀的確定方法，其特征在于，所述基于所述幀級(jí)融合特征，確定所述目標(biāo)視頻幀的視頻關(guān)鍵幀并輸出，包括：

7.如權(quán)利要求1至6任一項(xiàng)所述的視頻關(guān)鍵幀的確定方法，其特征在于，還包括：

8.一種視頻關(guān)鍵幀的確定裝置，其特征在于，包括：

9.一種終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的視頻關(guān)鍵幀的確定方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的視頻關(guān)鍵幀的確定方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)適用于計(jì)算機(jī)技術(shù)領(lǐng)域，提供了一種視頻關(guān)鍵幀的確定方法、裝置、終端設(shè)備及計(jì)算機(jī)程序產(chǎn)品，其中，方法包括：獲取目標(biāo)視頻幀中多個(gè)層面的預(yù)訓(xùn)練特征；根據(jù)每個(gè)層面的預(yù)訓(xùn)練特征，獲取每個(gè)層面的多角度特征；根據(jù)每個(gè)層面的多角度特征，獲得每個(gè)層面的多角度融合特征；根據(jù)每個(gè)層面的多角度融合特征，獲得目標(biāo)視頻幀的幀級(jí)融合特征；基于幀級(jí)融合特征，確定目標(biāo)視頻幀的視頻關(guān)鍵幀并輸出。本申請(qǐng)實(shí)施例可以有效提高視頻關(guān)鍵幀定位和抽取的準(zhǔn)確性，有利于提高對(duì)視頻基于視頻關(guān)鍵幀進(jìn)行后續(xù)處理的質(zhì)量和效率。

技術(shù)研發(fā)人員：袁明冬,阮威健,屈玉濤,胡金暉,秦廷輝
受保護(hù)的技術(shù)使用者：中電科新型智慧城市研究院有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23