本申請(qǐng)涉及視頻處理，尤其涉及一種視頻超分辨率方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在數(shù)字視頻技術(shù)的發(fā)展過(guò)程中，視頻超分辨率(video?super-resolution,vsr)技術(shù)一直是一個(gè)重要的研究領(lǐng)域。視頻超分辨率技術(shù)旨在從低分辨率(lr)視頻中恢復(fù)出高分辨率(hr)視頻，通過(guò)增強(qiáng)視頻質(zhì)量來(lái)滿足用戶對(duì)視覺(jué)體驗(yàn)的高標(biāo)準(zhǔn)需求。這項(xiàng)技術(shù)在多個(gè)領(lǐng)域中具有廣泛的應(yīng)用，包括電視廣播、醫(yī)療成像、安防監(jiān)控、以及消費(fèi)電子產(chǎn)品等。

2、目前，比較常見(jiàn)的視頻超分辨率技術(shù)有基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的視頻超分辨率方法，以及基于對(duì)抗生成網(wǎng)絡(luò)(gan)的視頻超分辨率方法；其中，基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的視頻超分辨率方法具體為：通過(guò)大量的低分辨率到高分辨率的視頻樣本對(duì)卷積神經(jīng)網(wǎng)絡(luò)(cnn)進(jìn)行訓(xùn)練，然后通過(guò)完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(cnn)預(yù)測(cè)低分辨率視頻對(duì)應(yīng)的高分辨率視頻；其中，基于對(duì)抗生成網(wǎng)絡(luò)(gan)的視頻超分辨率方法具體為：對(duì)抗生成網(wǎng)絡(luò)(gan)中的生成器根據(jù)低分辨率視頻生成對(duì)應(yīng)的高分辨率視頻，然后根據(jù)該生成的高分辨率視頻與真實(shí)的高分辨率視頻的差異生成網(wǎng)絡(luò)損失，再根據(jù)該網(wǎng)絡(luò)損失訓(xùn)練對(duì)抗生成網(wǎng)絡(luò)(gan)，然后通過(guò)完成訓(xùn)練的對(duì)抗生成網(wǎng)絡(luò)(gan)預(yù)測(cè)低分辨率視頻對(duì)應(yīng)的高分辨率視頻。

3、但是，卷積神經(jīng)網(wǎng)絡(luò)(cnn)主要關(guān)注于對(duì)低分辨率視頻進(jìn)行特征提取，也即關(guān)注于單個(gè)視頻幀的空間細(xì)節(jié)增強(qiáng)，忽略了視頻幀之間的時(shí)間關(guān)系，導(dǎo)致最終生成的高分辨率視頻幀可能出現(xiàn)幀間跳躍和動(dòng)作不連貫的問(wèn)題；對(duì)抗生成網(wǎng)絡(luò)(gan)生成的高分辨率視頻常會(huì)引入不具真實(shí)線性的紋理或者偽影，從而導(dǎo)致生成的高分辨率視頻的真實(shí)性欠佳；且，卷積神經(jīng)網(wǎng)絡(luò)(cnn)與對(duì)抗生成網(wǎng)絡(luò)(gan)由于其模型參數(shù)眾多導(dǎo)致其計(jì)算效率較為低下；綜上可見(jiàn)，現(xiàn)有技術(shù)進(jìn)行視頻超分辨率的效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、為了便于提升視頻超分辨率的效果，本申請(qǐng)?zhí)峁┮环N視頻超分辨率方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

2、第一方面，本申請(qǐng)?zhí)峁┮环N視頻超分辨率方法，包括：

3、對(duì)待處理視頻進(jìn)行多尺度編碼得到多個(gè)尺度下的視頻特征；

4、融合不同所述尺度下所述視頻特征中相同時(shí)刻對(duì)應(yīng)的視頻幀特征得到融合特征；

5、基于所述融合特征以及與所述融合特征對(duì)應(yīng)相同時(shí)刻的上采樣幀特征得到高分辨率視頻幀；

6、基于各所述時(shí)刻對(duì)應(yīng)的所述高分辨率視頻幀得到目標(biāo)視頻。

7、第二方面，本申請(qǐng)?zhí)峁┮环N視頻超分辨率裝置，包括：

8、多尺度編碼模塊，用于對(duì)待處理視頻進(jìn)行多尺度編碼得到多個(gè)尺度下的視頻特征；

9、特征融合模塊，用于融合不同所述尺度下所述視頻特征中相同時(shí)刻對(duì)應(yīng)的視頻幀特征得到融合特征；

10、解碼重構(gòu)模塊，用于基于所述融合特征以及與所述融合特征對(duì)應(yīng)相同時(shí)刻的上采樣幀特征得到高分辨率視頻幀；

11、增強(qiáng)優(yōu)化模塊，用于基于各所述時(shí)刻對(duì)應(yīng)的所述高分辨率視頻幀得到目標(biāo)視頻。

12、第三方面，本申請(qǐng)?zhí)峁┝艘环N計(jì)算機(jī)設(shè)備，計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，處理器執(zhí)行該計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的方法中的步驟。

13、第四方面，本申請(qǐng)?zhí)峁┝艘环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法中的步驟。

14、上述視頻超分辨率方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，通過(guò)對(duì)待處理視頻進(jìn)行多尺度編碼得到多個(gè)尺度下的視頻特征；融合不同所述尺度下所述視頻特征中相同時(shí)刻對(duì)應(yīng)的視頻幀特征得到融合特征；基于所述融合特征以及與所述融合特征對(duì)應(yīng)相同時(shí)刻的上采樣幀特征得到高分辨率視頻幀；基于各所述時(shí)刻對(duì)應(yīng)的所述高分辨率視頻幀得到目標(biāo)視頻。通過(guò)上述實(shí)施，通過(guò)對(duì)不同尺度下的視頻特征中的相同時(shí)刻的視頻特征進(jìn)行融合，從而便于捕捉待處理視頻中運(yùn)動(dòng)和變化的物體，進(jìn)而提升視頻幀之間的連貫性，而且，通過(guò)融合特征與上采樣幀特征生成高分辨率視頻幀，有助于細(xì)化視頻內(nèi)容，同時(shí)降低視頻幀中信息丟失的風(fēng)險(xiǎn)，如此便于防止視頻幀中不具真實(shí)線性的紋理或者偽影；此外，上述實(shí)施避免了眾多模型參數(shù)的參與，從而提升生成目標(biāo)視頻的計(jì)算速度；綜上，本申請(qǐng)可便于提升視頻超分辨率的效果。

15、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本申請(qǐng)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本申請(qǐng)的范圍。本申請(qǐng)的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種視頻超分辨率方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)待處理視頻進(jìn)行多尺度編碼得到多個(gè)尺度下的視頻特征，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述融合不同所述尺度下所述視頻特征中相同時(shí)刻對(duì)應(yīng)的視頻幀特征得到融合特征，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于不同所述尺度下所述視頻特征中相同時(shí)刻對(duì)應(yīng)的視頻幀特征與所述視頻幀特征對(duì)應(yīng)的動(dòng)態(tài)權(quán)重得到融合特征，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述融合特征以及與所述融合特征對(duì)應(yīng)相同時(shí)刻的上采樣幀特征得到高分辨率視頻幀，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述合并特征得到高分辨率視頻幀，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于各所述時(shí)刻對(duì)應(yīng)的所述高分辨率視頻幀得到目標(biāo)視頻，包括：

8.一種視頻超分辨率裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及視頻處理技術(shù)領(lǐng)域，尤其涉及一種視頻超分辨率方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，其中方法包括：對(duì)待處理視頻進(jìn)行多尺度編碼得到多個(gè)尺度下的視頻特征；融合不同所述尺度下所述視頻特征中相同時(shí)刻對(duì)應(yīng)的視頻幀特征得到融合特征；基于所述融合特征以及與所述融合特征對(duì)應(yīng)相同時(shí)刻的上采樣幀特征得到高分辨率視頻幀；基于各所述時(shí)刻對(duì)應(yīng)的所述高分辨率視頻幀得到目標(biāo)視頻。本申請(qǐng)便于提升視頻超分辨率的效果。

技術(shù)研發(fā)人員：周艷艷
受保護(hù)的技術(shù)使用者：北京鐵力山科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30