本技術(shù)涉及插幀，具體涉及一種視頻插幀方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、視頻插幀是指通過(guò)在原始視頻的每?jī)蓭?huà)面中增加一幀或多幀，縮短每幀之間的顯示時(shí)間，修正人眼視覺(jué)暫留形成的錯(cuò)覺(jué)，從而提升視頻的流暢度。在通過(guò)光流法進(jìn)行視頻插幀的過(guò)程中，當(dāng)人體進(jìn)行快速大幅度運(yùn)動(dòng)造成出現(xiàn)較大的位移時(shí)，視頻插幀效果往往不佳，人體的插幀效果會(huì)出現(xiàn)偽影或部分肢體消失的情況，從而影響整體視頻的流暢性。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)提供一種視頻插幀方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用于改善針對(duì)人體的插幀過(guò)程中出現(xiàn)偽影或部分肢體消失的情況。

2、在本技術(shù)的第一方面，提供了一種視頻插幀方法，所述方法包括：

3、獲取第一視頻幀和第三視頻幀，其中，所述第一視頻幀和所述第三視頻幀中包括同一預(yù)設(shè)類型對(duì)象；

4、對(duì)所述第一視頻幀和所述第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的關(guān)鍵點(diǎn)檢測(cè)，得到第一關(guān)鍵點(diǎn)圖像和第三關(guān)鍵點(diǎn)圖像；

5、對(duì)所述第一視頻幀和所述第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的掩膜分割處理，得到第一掩膜圖像和第三掩膜圖像；

6、根據(jù)所述第一關(guān)鍵點(diǎn)圖像、所述第三關(guān)鍵點(diǎn)圖像、所述第一掩膜圖像、所述第三掩膜圖像、所述第一視頻幀和所述第三視頻幀，進(jìn)行插幀預(yù)測(cè)，得到中間視頻幀。

7、本技術(shù)實(shí)施例中，對(duì)第一視頻幀和第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的關(guān)鍵點(diǎn)檢測(cè)，得到第一關(guān)鍵點(diǎn)圖像和第三關(guān)鍵點(diǎn)圖像；對(duì)第一視頻幀和第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的掩膜分割處理，得到第一掩膜圖像和第三掩膜圖像；然后根據(jù)第一關(guān)鍵點(diǎn)圖像、第三關(guān)鍵點(diǎn)圖像、第一掩膜圖像、第三掩膜圖像進(jìn)行插幀預(yù)測(cè)，得到中間視頻幀。由于第一關(guān)鍵點(diǎn)圖像和第三關(guān)鍵點(diǎn)圖像包含關(guān)鍵點(diǎn)信息，因此，基于關(guān)鍵點(diǎn)圖像預(yù)測(cè)的中間視頻幀能夠改善肢體消失的情況，由于第一掩膜圖像和第三掩膜圖像包含預(yù)設(shè)類型對(duì)象區(qū)域，因此基于掩膜圖像預(yù)測(cè)的中間視頻幀邊緣更加平滑，減少偽影。本技術(shù)中，根據(jù)第一關(guān)鍵點(diǎn)圖像、第三關(guān)鍵點(diǎn)圖像、第一掩膜圖像、第三掩膜圖像、第一視頻幀和第三視頻幀，進(jìn)行插幀預(yù)測(cè)，得到中間視頻幀，能夠改善針對(duì)人體的插幀過(guò)程中出現(xiàn)偽影或部分肢體消失的情況。

8、在一種可能的實(shí)施例中，所述根據(jù)所述第一關(guān)鍵點(diǎn)圖像、所述第三關(guān)鍵點(diǎn)圖像、所述第一掩膜圖像、所述第三掩膜圖像、所述第一視頻幀和所述第三視頻幀，進(jìn)行插幀預(yù)測(cè)，得到中間視頻幀，包括：

9、對(duì)所述第一關(guān)鍵點(diǎn)圖像、所述第三關(guān)鍵點(diǎn)圖像、所述第一視頻幀以及所述第三視頻幀進(jìn)行特征提取，得到第一關(guān)鍵點(diǎn)圖像特征、第三關(guān)鍵點(diǎn)圖像特征、第一視頻幀特征以及第三視頻幀特征；

10、基于第一關(guān)鍵點(diǎn)圖像特征、第三關(guān)鍵點(diǎn)圖像特征、第一視頻幀特征以及第三視頻幀特征進(jìn)行光流估計(jì)，得到第一階段預(yù)測(cè)光流和第二階段預(yù)測(cè)光流，所述第一階段預(yù)測(cè)光流用于描述第一視頻幀到第二視頻幀像素點(diǎn)的運(yùn)動(dòng)情況，所述第二階段預(yù)測(cè)光流用于描述第三視頻幀到第二視頻幀像素點(diǎn)的運(yùn)動(dòng)情況；第二視頻幀是介于第一視頻幀和第三視頻幀之間的視頻幀；

11、將所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、所述第一掩膜圖像、所述第三掩膜圖像進(jìn)行融合，得到中間視頻幀。

12、本技術(shù)實(shí)施例中，除了對(duì)視頻幀進(jìn)行特征提取之外，還會(huì)對(duì)關(guān)鍵點(diǎn)檢測(cè)得到的關(guān)鍵點(diǎn)圖像進(jìn)行特征提取，然后基于第一關(guān)鍵點(diǎn)圖像特征、第三關(guān)鍵點(diǎn)圖像特征、第一視頻幀特征以及第三視頻幀特征進(jìn)行光流估計(jì)，使得求解的光流更加準(zhǔn)確，進(jìn)而將第一階段預(yù)測(cè)光流、第二階段預(yù)測(cè)光流、第一視頻幀、第三視頻幀、第一掩膜圖像、第三掩膜圖像進(jìn)行融合，得到中間視頻幀，有效改善人體快速運(yùn)動(dòng)時(shí)，插幀結(jié)果中肢體消失的情況。

13、在一種可能的實(shí)施例中，所述對(duì)所述第一關(guān)鍵點(diǎn)圖像、所述第三關(guān)鍵點(diǎn)圖像、所述第一視頻幀以及所述第三視頻幀進(jìn)行特征提取，得到第一關(guān)鍵點(diǎn)圖像特征、第三關(guān)鍵點(diǎn)圖像特征、第一視頻幀特征以及第三視頻幀特征，包括：

14、對(duì)所述第一關(guān)鍵點(diǎn)圖像和所述第三關(guān)鍵點(diǎn)圖像進(jìn)行圖像通道降維處理，得到第一關(guān)鍵點(diǎn)單通道圖像和第三關(guān)鍵點(diǎn)單通道圖像；

15、對(duì)所述第一關(guān)鍵點(diǎn)單通道圖像和所述第三關(guān)鍵點(diǎn)單通道圖像進(jìn)行特征提取，得到第一關(guān)鍵點(diǎn)圖像特征和第三關(guān)鍵點(diǎn)圖像特征；

16、對(duì)所述第一視頻幀和所述第三視頻幀進(jìn)行特征提取，得到第一視頻幀特征和第三視頻幀特征。

17、本技術(shù)實(shí)施例中，在得到第一關(guān)鍵點(diǎn)圖像和第三關(guān)鍵點(diǎn)圖像后，將兩個(gè)關(guān)鍵點(diǎn)圖像處理成單通道圖像，進(jìn)而對(duì)單通道圖像進(jìn)行特征提取，單通道圖像色彩單一，數(shù)據(jù)量小，內(nèi)存占用少，圖像處理速度快。

18、在一種可能的實(shí)施例中，所述對(duì)所述第一關(guān)鍵點(diǎn)圖像和所述第三關(guān)鍵點(diǎn)圖像進(jìn)行圖像通道降維處理，得到第一關(guān)鍵點(diǎn)單通道圖像和第三關(guān)鍵點(diǎn)單通道圖像，包括：

19、針對(duì)所述第一關(guān)鍵點(diǎn)圖像中的每一關(guān)鍵點(diǎn)，將以該關(guān)鍵點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)的像素進(jìn)行單通道化高斯分布處理，得到第一中間圖像；將所述第一中間圖像中未進(jìn)行單通道化高斯分布處理的各像素的像素值單通道化為第一預(yù)設(shè)值，得到第一關(guān)鍵點(diǎn)單通道圖像；

20、針對(duì)所述第三關(guān)鍵點(diǎn)圖像中的每一關(guān)鍵點(diǎn)，將以該關(guān)鍵點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)的像素進(jìn)行單通道化高斯分布處理，得到第三中間圖像；將所述第三中間圖像中未進(jìn)行單通道化高斯分布處理的各像素的像素值單通道化為第一預(yù)設(shè)值，得到第三關(guān)鍵點(diǎn)單通道圖像。

21、本技術(shù)實(shí)施例中，通過(guò)將以關(guān)鍵點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)的像素進(jìn)行單通道化高斯分布處理，而其余像素的像素值單通道化為第一預(yù)設(shè)值，實(shí)現(xiàn)了將關(guān)鍵點(diǎn)圖像降維成為單通道圖像。

22、在一種可能的實(shí)施例中，所述將所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、所述第一掩膜圖像、所述第三掩膜圖像進(jìn)行融合，得到中間視頻幀，包括：

23、將所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀進(jìn)行融合，得到融合結(jié)果；

24、基于所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、所述第一掩膜圖像、所述第三掩膜圖像，得到邊緣細(xì)化圖；

25、將所述融合結(jié)果和所述邊緣細(xì)化圖進(jìn)行融合，得到中間視頻幀。

26、本技術(shù)實(shí)施例中，首先基于光流和視頻幀獲取融合結(jié)果，再基于光流、視頻幀、掩膜圖像，得到邊緣細(xì)化圖，將融合結(jié)果和邊緣細(xì)化圖融合，得到中間視頻幀，由于邊緣細(xì)化圖能夠改善預(yù)設(shè)類型對(duì)象邊緣出現(xiàn)毛刺、不平整的現(xiàn)象，因此，將融合結(jié)果和邊緣細(xì)化圖進(jìn)行融合得到的中間視頻幀，能夠使得人像邊緣更加平滑，減少偽影。

27、在一種可能的實(shí)施例中，所述將所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀進(jìn)行融合，得到融合結(jié)果包括：

28、將所述第一階段預(yù)測(cè)光流和所述第一視頻幀進(jìn)行仿射變換，得到第一變換結(jié)果；

29、將所述第二階段預(yù)測(cè)光流和所述第二視頻幀進(jìn)行仿射變換，得到第二變換結(jié)果；

30、基于所述第一變換結(jié)果和所述第二變換結(jié)果，得到融合結(jié)果。

31、本技術(shù)實(shí)施例中，通過(guò)將光流與視頻幀進(jìn)行仿射變換，基于兩組仿射變換的變換結(jié)果得到光流與視頻幀的融合結(jié)果，保持了二維圖像的平直性和平行性。

32、在一種可能的實(shí)施例中，所述基于所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、所述第一掩膜圖像、所述第三掩膜圖像，得到邊緣細(xì)化圖包括：

33、針對(duì)所述第一掩膜圖像和所述第三掩膜圖像中的預(yù)設(shè)類型對(duì)象區(qū)域，設(shè)定第一權(quán)重值；

34、針對(duì)所述第一掩膜圖像和所述第三掩膜圖像中的非預(yù)設(shè)類型對(duì)象區(qū)域，設(shè)定第二權(quán)重值；

35、基于所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、具有區(qū)域權(quán)重值的第一掩膜圖像、具有區(qū)域權(quán)重值的第三掩膜圖像，得到邊緣細(xì)化圖。

36、本技術(shù)實(shí)施例中，通過(guò)為掩膜圖像的預(yù)設(shè)類型對(duì)象區(qū)域和非預(yù)設(shè)類型對(duì)象區(qū)域分別設(shè)定權(quán)重值，將掩膜圖作為權(quán)重圖加入邊緣細(xì)化圖的計(jì)算當(dāng)中，得到了邊緣平滑的邊緣細(xì)化圖。

37、第二方面，本技術(shù)提供了一種視頻插幀裝置，所述裝置包括：

38、獲取模塊，用于獲取第一視頻幀和第三視頻幀，其中，所述第一視頻幀和所述第三視頻幀中包括同一預(yù)設(shè)類型對(duì)象；

39、關(guān)鍵點(diǎn)檢測(cè)模塊，用于對(duì)所述第一視頻幀和所述第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的關(guān)鍵點(diǎn)檢測(cè)，得到第一關(guān)鍵點(diǎn)圖像和第三關(guān)鍵點(diǎn)圖像；

40、掩膜分割模塊，用于對(duì)所述第一視頻幀和所述第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的掩膜分割處理，得到第一掩膜圖像和第三掩膜圖像；

41、插幀預(yù)測(cè)模塊，用于根據(jù)所述第一關(guān)鍵點(diǎn)圖像、所述第三關(guān)鍵點(diǎn)圖像、所述第一掩膜圖像、所述第三掩膜圖像、所述第一視頻幀和所述第三視頻幀，進(jìn)行插幀預(yù)測(cè)，得到中間視頻幀。

42、在一種可能的實(shí)施例中，所述插幀預(yù)測(cè)模塊包括：

43、特征提取模塊，用于對(duì)所述第一關(guān)鍵點(diǎn)圖像、所述第三關(guān)鍵點(diǎn)圖像、所述第一視頻幀以及所述第三視頻幀進(jìn)行特征提取，得到第一關(guān)鍵點(diǎn)圖像特征、第三關(guān)鍵點(diǎn)圖像特征、第一視頻幀特征以及第三視頻幀特征；

44、光流求解模塊，用于基于第一關(guān)鍵點(diǎn)圖像特征、第三關(guān)鍵點(diǎn)圖像特征、第一視頻幀特征以及第三視頻幀特征進(jìn)行光流估計(jì)，得到第一階段預(yù)測(cè)光流和第二階段預(yù)測(cè)光流，所述第一階段預(yù)測(cè)光流用于描述第一視頻幀到第二視頻幀像素點(diǎn)的運(yùn)動(dòng)情況，所述第二階段預(yù)測(cè)光流用于描述第三視頻幀到第二視頻幀像素點(diǎn)的運(yùn)動(dòng)情況；第二視頻幀是介于第一視頻幀和第三視頻幀之間的視頻幀；

45、中間視頻幀確定模塊，用于將所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、所述第一掩膜圖像、所述第三掩膜圖像進(jìn)行融合，得到中間視頻幀。

46、在一種可能的實(shí)施例中，所述特征提取模塊包括：

47、通道降維模塊，用于對(duì)所述第一關(guān)鍵點(diǎn)圖像和所述第三關(guān)鍵點(diǎn)圖像進(jìn)行圖像通道降維處理，得到第一關(guān)鍵點(diǎn)單通道圖像和第三關(guān)鍵點(diǎn)單通道圖像；

48、單通道圖像特征提取模塊，用于對(duì)所述第一關(guān)鍵點(diǎn)單通道圖像和所述第三關(guān)鍵點(diǎn)單通道圖像進(jìn)行特征提取，得到第一關(guān)鍵點(diǎn)圖像特征和第三關(guān)鍵點(diǎn)圖像特征；

49、視頻幀特征提取模塊，用于對(duì)所述第一視頻幀和所述第三視頻幀進(jìn)行特征提取，得到第一視頻幀特征和第三視頻幀特征。

50、在一種可能的實(shí)施例中，所述通道降維模塊具體用于：

51、針對(duì)所述第一關(guān)鍵點(diǎn)圖像中的每一關(guān)鍵點(diǎn)，將以該關(guān)鍵點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)的像素進(jìn)行單通道化高斯分布處理，得到第一中間圖像；將所述第一中間圖像中未進(jìn)行單通道化高斯分布處理的各像素的像素值單通道化為第一預(yù)設(shè)值，得到第一關(guān)鍵點(diǎn)單通道圖像；

52、針對(duì)所述第三關(guān)鍵點(diǎn)圖像中的每一關(guān)鍵點(diǎn)，將以該關(guān)鍵點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)的像素進(jìn)行單通道化高斯分布處理，得到第三中間圖像；將所述第三中間圖像中未進(jìn)行單通道化高斯分布處理的各像素的像素值單通道化為第一預(yù)設(shè)值，得到第三關(guān)鍵點(diǎn)單通道圖像。

53、在一種可能的實(shí)施例中，所述中間視頻幀確定模塊包括：

54、融合模塊，用于將所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀進(jìn)行融合，得到融合結(jié)果；

55、邊緣細(xì)化圖確定模塊，用于基于所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、所述第一掩膜圖像、所述第三掩膜圖像，得到邊緣細(xì)化圖；

56、中間視頻幀確定單元，用于將所述融合結(jié)果和所述邊緣細(xì)化圖進(jìn)行融合，得到中間視頻幀。

57、在一種可能的實(shí)施例中，所述融合模塊包括：

58、第一仿射變換模塊，用于將所述第一階段預(yù)測(cè)光流和所述第一視頻幀進(jìn)行仿射變換，得到第一變換結(jié)果；

59、第二仿射變換模塊，用于將所述第二階段預(yù)測(cè)光流和所述第二視頻幀進(jìn)行仿射變換，得到第二變換結(jié)果；

60、融合單元，用于基于所述第一變換結(jié)果和所述第二變換結(jié)果，得到融合結(jié)果。

61、在一種可能的實(shí)施例中，所述邊緣細(xì)化圖確定模塊包括：

62、第一權(quán)重值設(shè)定模塊，用于針對(duì)所述第一掩膜圖像和所述第三掩膜圖像中的預(yù)設(shè)類型對(duì)象區(qū)域，設(shè)定第一權(quán)重值；

63、第二權(quán)重值設(shè)定模塊，用于針對(duì)所述第一掩膜圖像和所述第三掩膜圖像中的非預(yù)設(shè)類型對(duì)象區(qū)域，設(shè)定第二權(quán)重值；

64、邊緣細(xì)化圖確定單元，用于基于所述第一階段預(yù)測(cè)光流、所述第二階段預(yù)測(cè)光流、所述第一視頻幀、所述第三視頻幀、具有區(qū)域權(quán)重值的第一掩膜圖像、具有區(qū)域權(quán)重值的第三掩膜圖像，得到邊緣細(xì)化圖。

65、在本技術(shù)的第三方面，提供了一種電子設(shè)備，包括：

66、一個(gè)或多個(gè)處理器和存儲(chǔ)器；

67、所述存儲(chǔ)器與所述一個(gè)或多個(gè)處理器耦合，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，所述一個(gè)或多個(gè)處理器調(diào)用所述計(jì)算機(jī)指令以使得所述電子設(shè)備執(zhí)行上述第一方面所述的方法步驟。

68、在本技術(shù)的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備執(zhí)行上述第一方面所述的方法步驟。

69、本技術(shù)實(shí)施例中，對(duì)第一視頻幀和第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的關(guān)鍵點(diǎn)檢測(cè)，得到第一關(guān)鍵點(diǎn)圖像和第三關(guān)鍵點(diǎn)圖像；對(duì)第一視頻幀和第三視頻幀進(jìn)行預(yù)設(shè)類型對(duì)象的掩膜分割處理，得到第一掩膜圖像和第三掩膜圖像；然后根據(jù)第一關(guān)鍵點(diǎn)圖像、第三關(guān)鍵點(diǎn)圖像、第一掩膜圖像、第三掩膜圖像進(jìn)行插幀預(yù)測(cè)，得到中間視頻幀。由于第一關(guān)鍵點(diǎn)圖像和第三關(guān)鍵點(diǎn)圖像包含關(guān)鍵點(diǎn)信息，因此，基于關(guān)鍵點(diǎn)圖像預(yù)測(cè)的中間視頻幀能夠改善肢體消失的情況，由于第一掩膜圖像和第三掩膜圖像包含預(yù)設(shè)類型對(duì)象區(qū)域，因此基于掩膜圖像預(yù)測(cè)的中間視頻幀邊緣更加平滑，減少偽影。本技術(shù)中，根據(jù)第一關(guān)鍵點(diǎn)圖像、第三關(guān)鍵點(diǎn)圖像、第一掩膜圖像、第三掩膜圖像、第一視頻幀和第三視頻幀，進(jìn)行插幀預(yù)測(cè)，得到中間視頻幀，能夠改善針對(duì)人體的插幀過(guò)程中出現(xiàn)偽影或部分肢體消失的情況。