本技術(shù)涉及視頻處理領(lǐng)域，特別涉及一種識(shí)別精彩幀的方法、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)與多媒體技術(shù)的發(fā)展，人們開始熱衷于用視頻或照片來記錄和分享生活中的精彩瞬間。比如，在拍攝對(duì)象運(yùn)動(dòng)(如跑步或跳躍)過程中進(jìn)行拍攝，以記錄和分享拍攝對(duì)象運(yùn)動(dòng)過程中的精彩瞬間。

2、通常，用戶拍攝好視頻之后，為了便于快速瀏覽視頻中的精彩瞬間，可以使用視頻剪輯軟件對(duì)拍攝好的原始視頻進(jìn)行剪輯，以將原始視頻中的精彩幀剪輯出來。比如在原始視頻為拍攝對(duì)象向上跳躍的視頻的情況下，將原始視頻中拍攝對(duì)象跳躍至最高點(diǎn)的精彩幀剪輯出來，以得到拍攝對(duì)象跳躍至最高點(diǎn)的精彩瞬間。但是這種方式需要人工識(shí)別和剪輯視頻中的精彩幀，用戶操作較為繁瑣，且效率較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種識(shí)別精彩幀的方法、電子設(shè)備及存儲(chǔ)介質(zhì)，可以自動(dòng)識(shí)別視頻中的精彩，提高精彩幀的識(shí)別效率。所述技術(shù)方案如下：

2、第一方面，提供了一種識(shí)別精彩幀的方法，方法包括：獲取待識(shí)別的圖像幀序列；確定圖像幀序列對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)，骨骼點(diǎn)數(shù)據(jù)包括圖像幀序列的各個(gè)圖像幀中運(yùn)動(dòng)目標(biāo)的骨骼點(diǎn)數(shù)據(jù)；對(duì)圖像幀序列和對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行特征提取，得到目標(biāo)時(shí)序特征，目標(biāo)時(shí)序特征包括圖像幀序列中各個(gè)圖像幀的幀特征；根據(jù)目標(biāo)時(shí)序特征，以及動(dòng)作模板庫包括的不同動(dòng)作類別的多種動(dòng)作模板視頻中每種動(dòng)作模板視頻的模板時(shí)序特征，從動(dòng)作模板庫中確定與圖像幀序列匹配的目標(biāo)動(dòng)作模板視頻，每種動(dòng)作模板視頻的模板時(shí)序特征是根據(jù)每種動(dòng)作模板視頻和對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行特征提取得到；根據(jù)目標(biāo)時(shí)序特征，以及目標(biāo)動(dòng)作模板視頻的模板時(shí)序特征，確定圖像幀序列中的精彩幀。

3、如此，可以自動(dòng)匹配圖像幀序列中運(yùn)動(dòng)目標(biāo)所執(zhí)行動(dòng)作所屬動(dòng)作類別的動(dòng)作模板，并基于匹配的動(dòng)作模板自動(dòng)識(shí)別圖像幀序列中的精彩幀，實(shí)現(xiàn)了自動(dòng)識(shí)別拍攝場(chǎng)景中運(yùn)動(dòng)目標(biāo)的精彩動(dòng)作瞬間的效果，而無需再由用戶人工查找和識(shí)別，從而簡(jiǎn)化了用戶的操作，提高了精彩幀的識(shí)別效率，進(jìn)而可以提高精彩幀的剪輯或推薦等應(yīng)用效率。而且，通過結(jié)合圖像幀序列和對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行特征提取，不僅可以提取圖像幀序列的空間信息和時(shí)序信息，還可以挖掘出骨骼點(diǎn)中的結(jié)構(gòu)信息，從而大幅提高動(dòng)作類別的識(shí)別精度，進(jìn)而提高精彩幀的識(shí)別精度。

4、其中，該圖像幀序列可以為視頻，也可以為相機(jī)預(yù)覽的圖像幀序列，比如相機(jī)預(yù)覽流中的全部或部分圖像幀序列。

5、作為一個(gè)示例，可以將用戶選擇或上傳的視頻作為待識(shí)別的圖像幀序列。比如，接收用戶對(duì)圖庫中視頻的選擇操作，響應(yīng)于該選擇操作，將選擇的視頻作為待識(shí)別的圖像幀序列。

6、作為另一個(gè)示例，可以在相機(jī)應(yīng)用進(jìn)行預(yù)覽時(shí)，獲取相機(jī)應(yīng)用預(yù)覽的當(dāng)前幀以及在當(dāng)前幀之前預(yù)覽的n個(gè)歷史幀，將這n個(gè)歷史幀以及當(dāng)前幀作為待識(shí)別的圖像幀序列，以實(shí)現(xiàn)對(duì)拍攝場(chǎng)景中精彩瞬間的自動(dòng)抓拍。其中，圖像幀序列包括的這n個(gè)歷史幀以及當(dāng)前幀可以按照預(yù)覽時(shí)間的先后順序進(jìn)行排序。n為正整數(shù)，可以根據(jù)需要進(jìn)行設(shè)置，比如n可以為4、5或6等。

7、在一個(gè)實(shí)施例中，可以采用骨骼點(diǎn)生成算法來確定圖像幀序列對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)。比如，該骨骼點(diǎn)生成算法可以為基于深度學(xué)習(xí)的骨骼點(diǎn)生成算法等。在一種可能的實(shí)現(xiàn)方式中，可以通過骨骼點(diǎn)提取模型來提取各種動(dòng)作模板視頻對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)。

8、在一個(gè)實(shí)施例中，可以分別對(duì)圖像幀序列中的各個(gè)圖像幀以及各個(gè)圖像幀對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行特征提取，得到各個(gè)圖像幀的幀特征。如此，通過結(jié)合圖像幀序列和對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行特征提取，不僅可以提取圖像幀序列的空間信息和時(shí)序信息，還可以挖掘出骨骼點(diǎn)中的結(jié)構(gòu)信息，進(jìn)而可以大幅提高動(dòng)作類別的識(shí)別精度。

9、在一個(gè)實(shí)施例中，可以對(duì)該圖像幀序列和對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)的融合數(shù)據(jù)進(jìn)行特征提取，從而得到該圖像幀序列的目標(biāo)時(shí)序特征。比如，通過特征提取網(wǎng)絡(luò)模型對(duì)該融合數(shù)據(jù)進(jìn)行特征提取。該特征提取網(wǎng)絡(luò)模型可以為基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型，比如3d?cnn模型。

10、作為一個(gè)示例，可以對(duì)圖像幀序列和圖像幀序列對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行融合處理，得到第一融合數(shù)據(jù)；將第一融合數(shù)據(jù)作為特征提取網(wǎng)絡(luò)模型的輸入，通過特征提取網(wǎng)絡(luò)模型輸出目標(biāo)時(shí)序特征。其中，對(duì)圖像幀序列和圖像幀序列對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行融合處理的方式包括但不限于拼接、加權(quán)求和等，本技術(shù)實(shí)施例對(duì)該融合處理方式不做限定。

11、在一個(gè)實(shí)施例中，可以根據(jù)目標(biāo)時(shí)序特征與各種動(dòng)作模板視頻的模板時(shí)序特征之間的相似度，確定出與圖像幀序列匹配的目標(biāo)動(dòng)作模板視頻。作為一個(gè)示例，根據(jù)目標(biāo)時(shí)序特征與各種動(dòng)作模板視頻的模板時(shí)序特征之間的相似度，確定出與圖像幀序列匹配的目標(biāo)動(dòng)作模板視頻的過程包括：確定目標(biāo)時(shí)序特征的均值，得到目標(biāo)時(shí)序特征均值；確定多種動(dòng)作模板視頻中各種動(dòng)作模板視頻的模板時(shí)序特征的均值，得到各種動(dòng)作模板視頻的模板時(shí)序特征均值；確定目標(biāo)時(shí)序特征均值與各種動(dòng)作模板視頻的模板時(shí)序特征均值之間的相似度；從多種動(dòng)作模板視頻中確定模板時(shí)序特征均值與目標(biāo)時(shí)序特征均值之間的相似度最大的動(dòng)作模板視頻，將確定的動(dòng)作模板視頻作為與圖像幀序列匹配的目標(biāo)動(dòng)作模板視頻。

12、通過根據(jù)目標(biāo)時(shí)序特征均值與各種動(dòng)作模板視頻的模板時(shí)序特征均值之間的相似度，從動(dòng)作模板庫中確定與圖像幀序列匹配的目標(biāo)動(dòng)作模板視頻，可以提高確定與圖像幀序列匹配的動(dòng)作類別匹配的動(dòng)作模板視頻的準(zhǔn)確性，進(jìn)而提高識(shí)別圖像幀序列的動(dòng)作類別的精度。

13、其中，目標(biāo)動(dòng)作模板視頻可以包括多個(gè)視頻幀。在一個(gè)實(shí)施例中，可以通過如下兩種方式確定圖像幀序列中的精彩幀：

14、第一種實(shí)現(xiàn)方式：分別確定目標(biāo)時(shí)序特征包括的各個(gè)圖像幀的幀特征與目標(biāo)動(dòng)作模板視頻的模板時(shí)序特征包括的各個(gè)視頻幀的幀特征之間的相似度；將確定的相似度中最大相似度對(duì)應(yīng)的圖像幀作為精彩幀。也即是，可以將與目標(biāo)動(dòng)作模板視頻中的視頻幀的幀特征之間的相似度最大的圖像幀作為精彩幀。

15、第二種實(shí)現(xiàn)方式：目標(biāo)動(dòng)作模板視頻中的多個(gè)視頻幀包括精彩幀模板。分別確定目標(biāo)時(shí)序特征包括的多個(gè)圖像幀的幀特征與精彩幀模板的幀特征之間的相似度；從多個(gè)圖像幀中確定幀特征與精彩幀模板的幀特征之間的相似度最大的圖像幀，將確定的圖像幀作為精彩幀。

16、通過在目標(biāo)動(dòng)作模板視頻中設(shè)置精彩幀模板，則在對(duì)待識(shí)別的圖像幀序列進(jìn)行精彩幀識(shí)別時(shí)，僅需計(jì)算圖像幀序列中的圖像幀的幀特征與精彩幀模板的幀特征之間的相似度，即可識(shí)別出精彩幀，而無需依次計(jì)算圖像幀序列中的圖像幀的幀特征與目標(biāo)動(dòng)作模板視頻中的各個(gè)視頻幀的幀特征之間的相似度。如此，可以提高精彩幀的識(shí)別效率。

17、在一種可能的實(shí)現(xiàn)方式中，目標(biāo)動(dòng)作模板視頻中可以包括一個(gè)或多個(gè)精彩幀模板。對(duì)于每個(gè)精彩幀模板，可以確定目標(biāo)時(shí)序特征包括的多個(gè)圖像幀的幀特征與該精彩幀模板的幀特征之間的相似度，并將幀特征與該精彩幀模板的幀特征之間的相似度最大的圖像幀作為精彩幀。如此，可以得到一個(gè)或多個(gè)精彩幀。

18、在一個(gè)實(shí)施例中，在從動(dòng)作模板庫中確定與圖像幀序列匹配的目標(biāo)動(dòng)作模板視頻之前，可以預(yù)先獲取多種動(dòng)作類別的動(dòng)作模板視頻，得到多種動(dòng)作模板視頻；確定各種動(dòng)作模板視頻對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)，各種動(dòng)作模板視頻對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)包括對(duì)應(yīng)動(dòng)作模板視頻的各個(gè)視頻幀中運(yùn)動(dòng)目標(biāo)的骨骼點(diǎn)數(shù)據(jù)；根據(jù)各種動(dòng)作模板視頻和對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)進(jìn)行特征提取，得到各種動(dòng)作模板視頻的模板時(shí)序特征，模板時(shí)序特征包括對(duì)應(yīng)動(dòng)作模板視頻中各個(gè)視頻幀的幀特征。

19、通過預(yù)先構(gòu)建動(dòng)作模板庫，并確定動(dòng)作模板庫中各個(gè)動(dòng)作模板視頻對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)和模板時(shí)序特征，便于后續(xù)直接根據(jù)動(dòng)作模板庫中各個(gè)動(dòng)作模板視頻對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)和模板時(shí)序特征，對(duì)圖像幀序列進(jìn)行精彩幀識(shí)別，而無需在進(jìn)行精彩幀識(shí)別的過程中再去確定各個(gè)動(dòng)作模板視頻對(duì)應(yīng)的骨骼點(diǎn)數(shù)據(jù)和模板時(shí)序特征。如此，可以提高精彩幀的識(shí)別效率。

20、在一個(gè)實(shí)施例中，在圖像幀序列為視頻的情況下，在確定出視頻中的精彩幀之后，還可以對(duì)精彩幀進(jìn)行推薦。比如，可以確定多個(gè)視頻中各個(gè)視頻的精彩幀，根據(jù)多個(gè)視頻中各個(gè)視頻的精彩幀，生成精彩幀相冊(cè)或精彩幀視頻等。

21、在一個(gè)實(shí)施例中，在圖像幀序列為相機(jī)應(yīng)用的預(yù)覽流中的圖像幀序列的情況下，在確定出圖像幀序列中的精彩幀之后，還可以將精彩幀輸出為抓拍照片，比如將精彩幀作為抓拍照片存儲(chǔ)在圖庫中，以實(shí)現(xiàn)對(duì)精彩瞬間的自動(dòng)抓拍，改善人工抓拍容易錯(cuò)過精彩瞬間的問題，提高抓拍到精彩瞬間的成功率。

22、第二方面，提供了一種識(shí)別精彩幀的裝置，所述識(shí)別精彩幀的裝置具有實(shí)現(xiàn)上述第一方面中識(shí)別精彩幀的方法行為的功能。所述識(shí)別精彩幀的裝置包括至少一個(gè)模塊，所述至少一個(gè)模塊用于實(shí)現(xiàn)上述第一方面所提供的識(shí)別精彩幀的方法。

23、第三方面，提供了一種識(shí)別精彩幀的裝置，所述識(shí)別精彩幀的裝置的結(jié)構(gòu)中包括處理器和存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)支持識(shí)別精彩幀的裝置執(zhí)行上述第一方面所提供的識(shí)別精彩幀的方法的程序，以及存儲(chǔ)用于實(shí)現(xiàn)上述第一方面所述的識(shí)別精彩幀的方法所涉及的數(shù)據(jù)。所述處理器被配置為用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序。所述識(shí)別精彩幀的裝置還可以包括通信總線，所述通信總線用于在所述處理器與所述存儲(chǔ)器之間建立連接。

24、第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述第一方面所述的識(shí)別精彩幀的方法。

25、第五方面，提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述第一方面所述的識(shí)別精彩幀的方法。

26、上述第二方面、第三方面、第四方面和第五方面所獲得的技術(shù)效果與上述第一方面中對(duì)應(yīng)的技術(shù)手段獲得的技術(shù)效果近似，在這里不再贅述。