本申請(qǐng)涉及計(jì)算機(jī)，尤其涉及一種用于進(jìn)行補(bǔ)幀處理的方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在播放音視頻時(shí)，可能會(huì)遇到音視頻不同步或數(shù)據(jù)存在間斷(gap)的問(wèn)題，這些問(wèn)題通常會(huì)導(dǎo)致播放卡頓或中斷，從而影響用戶體驗(yàn)。為了解決這些問(wèn)題，可通過(guò)填充視頻幀或靜音音頻，或者使用視頻自動(dòng)對(duì)齊工具來(lái)進(jìn)行處理。

2、然而，由于缺乏直接操作視頻的編解碼能力，基于現(xiàn)有技術(shù)的方案，在web端對(duì)于音視頻不對(duì)齊、音視頻中間存在gap等情況，一般是跳過(guò)或者是通過(guò)裁剪的方式處理。跳過(guò)的方式雖然可以快速解決問(wèn)題，但可能會(huì)導(dǎo)致內(nèi)容的丟失，特別是當(dāng)不同步的部分包含重要信息時(shí)。而裁剪的方式雖然可以避免內(nèi)容的丟失，但可能會(huì)在音視頻流中留下不自然的斷點(diǎn)，影響整體的流暢度和連貫性。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的多個(gè)方面提供一種用于進(jìn)行補(bǔ)幀處理的方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、本申請(qǐng)的一方面，提供一種用于進(jìn)行補(bǔ)幀處理的方法，其中，所述方法包括：

3、確定目標(biāo)音視頻的補(bǔ)幀位置信息、需要補(bǔ)充的視頻幀數(shù)或音頻樣本數(shù)和編碼方式信息；

4、獲取相應(yīng)數(shù)量的視頻幀或音頻樣本后，基于所確定的補(bǔ)幀位置信息對(duì)所述目標(biāo)音視頻進(jìn)行補(bǔ)幀處理；

5、對(duì)補(bǔ)幀處理后的目標(biāo)音視頻進(jìn)行編碼和封裝處理。

6、本申請(qǐng)的一方面，提供一種用于進(jìn)行補(bǔ)幀處理的裝置，其中，所述裝置包括：

7、用于確定目標(biāo)音視頻的補(bǔ)幀位置信息、需要補(bǔ)充的視頻幀數(shù)或音頻樣本數(shù)和編碼方式信息的裝置；

8、用于獲取相應(yīng)數(shù)量的視頻幀或音頻樣本后，基于所確定的補(bǔ)幀位置信息對(duì)所述目標(biāo)音視頻進(jìn)行補(bǔ)幀處理的裝置；

9、用于對(duì)補(bǔ)幀處理后的目標(biāo)音視頻進(jìn)行編碼和封裝處理的裝置。

10、本申請(qǐng)的另一方面，提供一種電子設(shè)備，所述電子設(shè)備包括：

11、至少一個(gè)處理器；以及

12、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

13、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行申請(qǐng)實(shí)施例的方法。

14、本申請(qǐng)的另一方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令可被處理器執(zhí)行以實(shí)現(xiàn)申請(qǐng)實(shí)施例的方法。

15、本申請(qǐng)的另一方面，提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例的方法。

16、本申請(qǐng)實(shí)施例提供的方案中，通過(guò)確定補(bǔ)幀處理對(duì)應(yīng)的補(bǔ)幀位置信息、需要補(bǔ)充的視頻幀數(shù)或音頻樣本數(shù)和編碼方式信息來(lái)進(jìn)行補(bǔ)幀處理，實(shí)現(xiàn)了在web端有效地處理音視頻不同步和數(shù)據(jù)間斷問(wèn)題，提升了視頻播放的質(zhì)量和用戶體驗(yàn)；針對(duì)采用mse進(jìn)行視頻播放的情況，本申請(qǐng)實(shí)施例采用fmp4封裝方法，實(shí)現(xiàn)了基于任意時(shí)間點(diǎn)進(jìn)行封裝而無(wú)需從視頻的開(kāi)始位置進(jìn)行封裝，提高了處理效率。

技術(shù)特征：

1.一種用于進(jìn)行補(bǔ)幀處理的方法，其中，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法確定需要補(bǔ)充的視頻幀數(shù)或音頻樣本數(shù)的步驟包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述目標(biāo)音視頻中視頻部分的幀率和缺失時(shí)間計(jì)算需要補(bǔ)充的視頻幀數(shù)量包括：

4.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述目標(biāo)音視頻中的音頻部分的采樣率、聲道數(shù)和缺失時(shí)間計(jì)算需要補(bǔ)充的音頻樣本數(shù)包括：

5.根據(jù)權(quán)利要求1所述的方法，其中，所述方法確定補(bǔ)幀位置信息的步驟包括：

6.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)補(bǔ)幀處理后的目標(biāo)音視頻進(jìn)行編碼和封裝處理的步驟包括：

7.根據(jù)權(quán)利要求6所述的方法，其中，所述判斷客戶端設(shè)備是否支持所述目標(biāo)音視頻的編碼類型包括：

8.根據(jù)權(quán)利要求6所述的方法，其中，所述對(duì)補(bǔ)幀處理后的目標(biāo)音視頻進(jìn)行編碼和封裝處理包括：

9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，所述方法還包括：

10.一種用于進(jìn)行補(bǔ)幀處理的裝置，其中，所述裝置包括：

11.一種電子設(shè)備，所述電子設(shè)備包括：

12.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令可被處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至9中任一項(xiàng)所述的方法。

13.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至9中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N進(jìn)行補(bǔ)幀處理的方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。根據(jù)本申請(qǐng)的方法包括：確定目標(biāo)音視頻的補(bǔ)幀位置信息、需要補(bǔ)充的視頻幀數(shù)或音頻樣本數(shù)和編碼方式信息；獲取相應(yīng)數(shù)量的視頻幀或音頻樣本后，基于所確定的補(bǔ)幀位置信息對(duì)所述目標(biāo)音視頻進(jìn)行補(bǔ)幀處理；對(duì)補(bǔ)幀處理后的目標(biāo)音視頻進(jìn)行編碼和封裝處理。本申請(qǐng)通過(guò)確定補(bǔ)幀處理對(duì)應(yīng)的補(bǔ)幀位置信息、需要補(bǔ)充的視頻幀數(shù)或音頻樣本數(shù)和編碼方式信息來(lái)進(jìn)行補(bǔ)幀處理，實(shí)現(xiàn)了在WEB端有效地處理音視頻不同步和數(shù)據(jù)間斷問(wèn)題，提升了視頻播放的質(zhì)量和用戶體驗(yàn)。

技術(shù)研發(fā)人員：韋亞?wèn)|
受保護(hù)的技術(shù)使用者：上海嗶哩嗶哩科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2