本申請(qǐng)實(shí)施例涉及視頻編碼領(lǐng)域，尤其是涉及一種虛擬參考幀生成方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在視頻編解碼流程，特別是視頻編碼的幀間預(yù)測(cè)環(huán)節(jié)，基于深度學(xué)習(xí)生成虛擬參考幀相較于傳統(tǒng)視頻參考幀能夠?yàn)楫?dāng)前待編碼幀提供更高質(zhì)量的參考。

2、然而，針對(duì)基于深度學(xué)習(xí)的虛擬參考幀生成方法，如何在低時(shí)延(low?delay)p幀配置下確保得到更高質(zhì)量的虛擬參考幀以提升編碼性能，已成為亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種虛擬參考幀生成方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，以實(shí)現(xiàn)生成更高質(zhì)量的虛擬參考幀，達(dá)到提升編碼性能的目的。

2、為了解決上述問題，本申請(qǐng)是這樣實(shí)現(xiàn)的：

3、第一方面，本申請(qǐng)的實(shí)施例提供了一種虛擬參考幀生成方法，包括：

4、在參考幀列表中查詢第一幀和第二幀，所述第一幀與所述第二幀的時(shí)域距離等于所述第二幀與當(dāng)前編碼幀的時(shí)域距離，且所述第一幀和所述第二幀位于所述當(dāng)前編碼幀之前；

5、在查詢到所述第一幀和所述第二幀的情況下，根據(jù)所述第一幀和所述第二幀生成第一預(yù)測(cè)參考幀；

6、在未查詢到所述第一幀和所述第二幀的情況下，根據(jù)第三幀和第四幀生成第二預(yù)測(cè)參考幀；其中，所述第三幀和所述第四幀為所述參考幀列表中與所述當(dāng)前編碼幀的時(shí)域距離最小的幀；

7、將所述第一預(yù)測(cè)參考幀或所述第二預(yù)測(cè)參考幀作為虛擬參考幀。

8、可選地，所述根據(jù)所述第一幀和所述第二幀生成第一預(yù)測(cè)參考幀，包括：

9、將所述第一幀和所述第二幀輸入到第一生成網(wǎng)絡(luò)；

10、將所述第一生成網(wǎng)絡(luò)的輸出作為所述第一預(yù)測(cè)參考幀。

11、可選地，所述第一生成網(wǎng)絡(luò)包括多個(gè)編碼單元，多個(gè)解碼單元，以及特征融合單元；

12、其中，所述多個(gè)編碼單元依次連接，所述多個(gè)解碼單元依次連接，且所述多個(gè)編碼單元和所述多個(gè)解碼單元一一對(duì)應(yīng)連接；

13、所述特征融合單元與所述多個(gè)編碼單元、所述多個(gè)解碼單元分別連接，所述特征融合單元用于將所述多個(gè)編碼單元輸出的編碼信息進(jìn)行特征融合；

14、所述多個(gè)編碼單元支持不同的分辨率，每個(gè)編碼單元用于按照各自支持的分辨率進(jìn)行降采樣和特征提取。

15、可選地，所述特征融合單元還用于在進(jìn)行特征融合之前，基于目標(biāo)解碼單元支持的分辨率，對(duì)獲取到的編碼信息進(jìn)行上采樣和/或下采樣處理。

16、可選地，所述方法還包括：

17、獲取所述當(dāng)前編碼幀對(duì)應(yīng)的關(guān)鍵幀；

18、將所述關(guān)鍵幀作為虛擬參考幀。

19、第二方面，本申請(qǐng)的實(shí)施例提供了一種虛擬參考幀生成裝置，包括：

20、第一處理模塊，用于在參考幀列表中查詢第一幀和第二幀，所述第一幀與所述第二幀的時(shí)域距離等于所述第二幀與當(dāng)前編碼幀的時(shí)域距離，且所述第一幀和所述第二幀位于所述當(dāng)前編碼幀之前；

21、第二處理模塊，用于在查詢到所述第一幀和所述第二幀的情況下，根據(jù)所述第一幀和所述第二幀生成第一預(yù)測(cè)參考幀；

22、第三處理模塊，用于在未查詢到所述第一幀和所述第二幀的情況下，根據(jù)第三幀和第四幀生成第二預(yù)測(cè)參考幀；其中，所述第三幀和所述第四幀為所述參考幀列表中與所述當(dāng)前編碼幀的時(shí)域距離最小的幀；

23、第四處理模塊，用于將所述第一預(yù)測(cè)參考幀或所述第二預(yù)測(cè)參考幀作為虛擬參考幀。

24、可選地，所述第二處理模塊還用于：

25、將所述第一幀和所述第二幀輸入到第一生成網(wǎng)絡(luò)；

26、將所述第一生成網(wǎng)絡(luò)的輸出作為所述第一預(yù)測(cè)參考幀。

27、可選地，所述第一生成網(wǎng)絡(luò)包括多個(gè)編碼單元，多個(gè)解碼單元，以及特征融合單元；

28、其中，所述多個(gè)編碼單元依次連接，所述多個(gè)解碼單元依次連接，且所述多個(gè)編碼單元和所述多個(gè)解碼單元一一對(duì)應(yīng)連接；

29、所述特征融合單元與所述多個(gè)編碼單元、所述多個(gè)解碼單元分別連接，所述特征融合單元用于將所述多個(gè)編碼單元輸出的編碼信息進(jìn)行特征融合；

30、所述多個(gè)編碼單元支持不同的分辨率，每個(gè)編碼單元用于按照各自支持的分辨率進(jìn)行降采樣和特征提取。

31、可選地，所述特征融合單元還用于在進(jìn)行特征融合之前，基于目標(biāo)解碼單元支持的分辨率，對(duì)獲取到的編碼信息進(jìn)行上采樣和/或下采樣處理。

32、可選地，所述裝置還包括：

33、獲取模塊，用于獲取所述當(dāng)前編碼幀對(duì)應(yīng)的關(guān)鍵幀；

34、第五處理模塊，用于將所述關(guān)鍵幀作為虛擬參考幀。

35、第三方面，本申請(qǐng)實(shí)施例提供了一種虛擬參考幀生成設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序；所述處理器，用于讀取存儲(chǔ)器中的程序?qū)崿F(xiàn)如前所述的虛擬參考幀生成方法中的步驟。

36、第四方面，本申請(qǐng)實(shí)施例提供了一種可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前所述的虛擬參考幀生成方法中的步驟。

37、第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的虛擬參考幀生成方法的步驟。

38、本申請(qǐng)實(shí)施例的方法，通過在參考幀列表中查詢所述第一幀和所述第二幀，優(yōu)選根據(jù)所述第一幀和所述第二幀生成第一預(yù)測(cè)參考幀，以作為虛擬參考幀；而若未查詢到第一幀和第二幀，再根據(jù)所述第三幀和所述第四幀生成第二預(yù)測(cè)參考幀，以作為虛擬參考幀。其中，由于所述第一幀與所述第二幀的時(shí)域距離等于所述第二幀與當(dāng)前編碼幀的時(shí)域距離，在視頻編碼的幀間預(yù)測(cè)環(huán)節(jié)，第一預(yù)測(cè)參考幀相較第二預(yù)測(cè)參考幀能夠?yàn)楫?dāng)前編碼幀提供更高質(zhì)量的參考，從而提升整體編碼性能。

技術(shù)特征：

1.一種虛擬參考幀生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一幀和所述第二幀生成第一預(yù)測(cè)參考幀，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一生成網(wǎng)絡(luò)包括多個(gè)編碼單元，多個(gè)解碼單元，以及特征融合單元；

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述特征融合單元還用于在進(jìn)行特征融合之前，基于目標(biāo)解碼單元支持的分辨率，對(duì)獲取到的編碼信息進(jìn)行上采樣和/或下采樣處理。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

6.一種虛擬參考幀生成裝置，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二處理模塊還用于：

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

9.一種虛擬參考幀生成設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序；其特征在于，

10.一種可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)程序，其特征在于，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5中任一項(xiàng)所述的虛擬參考幀生成方法中的步驟。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N虛擬參考幀生成方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，本申請(qǐng)的方法包括：在參考幀列表中查詢第一幀和第二幀，所述第一幀與所述第二幀的時(shí)域距離等于所述第二幀與當(dāng)前編碼幀的時(shí)域距離，且所述第一幀和所述第二幀位于所述當(dāng)前編碼幀之前；在查詢到所述第一幀和所述第二幀的情況下，根據(jù)所述第一幀和所述第二幀生成第一預(yù)測(cè)參考幀；在未查詢到所述第一幀和所述第二幀的情況下，根據(jù)第三幀和第四幀生成第二預(yù)測(cè)參考幀；其中，所述第三幀和所述第四幀為所述參考幀列表中與所述當(dāng)前編碼幀的時(shí)域距離最小的幀；將所述第一預(yù)測(cè)參考幀或所述第二預(yù)測(cè)參考幀作為虛擬參考幀。如此，本方案能夠提升編碼性能。

技術(shù)研發(fā)人員：王琦,貝悅,陳望都,何汶軒,陳麗麗,謝于貴,潘興浩,許海濱,趙衍琛,賈川民,馬思偉,魏云娜,鄭四海
受保護(hù)的技術(shù)使用者：咪咕新空文化科技（廈門）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6