專(zhuān)利名稱：基于壓縮域的視頻超分辨率方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適用壓縮域的視頻超分辨率方法，得到的超分辨率圖像保持邊界清晰，同時(shí)抑制編碼噪聲和“振鈴”效應(yīng)。這種方法充分利用了壓縮碼流中的信息，且同時(shí)解決校準(zhǔn)、插值、復(fù)原和后處理等問(wèn)題?？梢詰?yīng)用于各種MPEG4格式的壓縮視頻。

背景技術(shù)：
由于成像設(shè)備自身限制、數(shù)據(jù)壓縮算法和傳輸錯(cuò)誤等方面的原因，實(shí)際應(yīng)用中能夠得到的視頻圖像分辨率常常滿足不了高清晰度的要求。為了解決這一問(wèn)題，人們提出了序列圖像的超分辨率算法，從多幅質(zhì)量較差、分辨率較低的圖像重構(gòu)出單幅質(zhì)量更好、分辨率更高的圖像。
目前國(guó)內(nèi)外解視頻超分辨率的方法主要可以分為空間域和變化域兩大類(lèi)?？臻g域方法是先將壓縮視頻解壓縮，再使用空間域的傳統(tǒng)超分辨方法。其缺點(diǎn)是量化誤差信息被丟失，效果不好，尤其壓縮比較高時(shí)?；趬嚎s域重建的方法主要是對(duì)成像模型和空域噪聲/壓縮噪聲進(jìn)行建模，需要完整地考慮成像過(guò)程，壓縮過(guò)程，運(yùn)動(dòng)估計(jì)以及塊效應(yīng)、振鈴效應(yīng)等多個(gè)方面的影響。當(dāng)活動(dòng)窗口內(nèi)幀間的運(yùn)動(dòng)較簡(jiǎn)單時(shí)，尤其是全局運(yùn)動(dòng)，現(xiàn)有的一些超分辨率方法效果挺好的。但是，當(dāng)活動(dòng)窗口內(nèi)幀間的運(yùn)動(dòng)較復(fù)雜時(shí)，這些方法會(huì)引入新的噪聲，尤其是運(yùn)動(dòng)物體部分，且“振鈴效應(yīng)”明顯。分析其原因，是由于活動(dòng)窗口內(nèi)的所有幀所有像素點(diǎn)都參加了超分辨率運(yùn)算。但事實(shí)上，有些窗口內(nèi)的低分辨率圖像像素點(diǎn)并不能通過(guò)目標(biāo)幀的運(yùn)動(dòng)補(bǔ)償被觀察或預(yù)測(cè)到。


發(fā)明內(nèi)容
本發(fā)明要解決的是現(xiàn)有技術(shù)中存在的上述問(wèn)題，旨在提供種新穎的基于壓縮域的視頻超分辨率方法。
解決上述問(wèn)題采用的技術(shù)方案是基于壓縮域的視頻超分辨率方法，其特征在于包括如下具體步驟 1)對(duì)輸入的壓縮視頻進(jìn)行解壓縮，得到低分辨率的視頻圖像、量化矩陣、量化后的變換域系數(shù)、運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)視頻圖像、以及運(yùn)動(dòng)矢量信息； 2)對(duì)從自然場(chǎng)景到壓縮視頻的過(guò)程進(jìn)行建模，建立低分辨率圖像和相應(yīng)高分辨率圖像之間的關(guān)系高分辨率圖像通過(guò)模糊、下采樣、壓縮和解壓縮得到低分辨率圖像；建立運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)視頻圖像與對(duì)應(yīng)高分辨率圖像間的關(guān)系； 3)由上面建立的關(guān)系可以建模條件概率在高分辨率圖像已知的情況下，得到低分辨率圖像的概率使用量化噪聲的分布來(lái)建模符合高斯分布； 4)對(duì)上面量化噪聲的協(xié)方差矩陣進(jìn)行建模先求解變化域的協(xié)方差矩陣由量化矩陣可以得到，再將變化域的協(xié)方差矩陣轉(zhuǎn)換成空間域的協(xié)方差矩陣； 5)對(duì)在高分辨率圖像已知的情況下，得到預(yù)測(cè)視頻圖像的概率使用運(yùn)動(dòng)估計(jì)引入噪聲的分布來(lái)建模符合高斯分布。
6)對(duì)上面運(yùn)動(dòng)估計(jì)引入量化噪聲的協(xié)方差矩陣進(jìn)行建模，先求解變化域的協(xié)方差矩陣由量化矩陣和變換域系數(shù)可以得到，再將變化域的協(xié)方差矩陣轉(zhuǎn)換成空間域的協(xié)方差矩陣； 7)建模高分辨率圖像的先驗(yàn)概率對(duì)圖像的梯度分布用廣義拉普拉斯分布來(lái)擬合，使超分辨率圖像的梯度分布盡可能接近解壓縮后的低分辨率圖像的梯度分布，而且超分辨率圖像應(yīng)該是平滑的，沒(méi)有“塊效應(yīng)”； 8)使用貝葉斯模型MAP框架估計(jì)暫時(shí)的單幅超分辨率圖像； 9)使用梯度下降來(lái)求解得到暫時(shí)的單幅超分辨率圖像，超分辨率圖像的初始值為雙線性插值放大后的圖像； 10)使用魯棒性強(qiáng)的光流法來(lái)估計(jì)各單幅超分辨率圖像和待處理單幅超分辨率圖像之間的運(yùn)動(dòng)位移，作為各高分辨率圖像和目標(biāo)高分辨率圖像之間的位移初始值； 11)建立當(dāng)前窗口內(nèi)的各低分辨率圖像與目標(biāo)高分辨率幀之間的關(guān)系目標(biāo)高分辨率圖像通過(guò)運(yùn)動(dòng)位移/模糊/下采樣/壓縮/解壓縮來(lái)得到目標(biāo)窗口內(nèi)的各低分辨率圖像； 12)由當(dāng)前窗口內(nèi)的多幀暫時(shí)的單幅超分辨率圖像，結(jié)合7)中的先驗(yàn)概率，使用IRLS(迭代重加權(quán)最小二乘法)來(lái)構(gòu)建目標(biāo)函數(shù)，從而削弱離群點(diǎn)和噪聲的影響； 13)使用循環(huán)坐標(biāo)下降來(lái)得到最終的超分辨率圖像先假設(shè)超分辨率圖像已知，使用梯度下降法分別更新各運(yùn)動(dòng)位移；然后在求得的位移基礎(chǔ)上，用梯度下降法重新求超分辨率圖像，如此循環(huán)迭代，直至收斂； 本方法只超分辨率亮度分量，色度和色差分量只是雙線性插值所得。
本發(fā)明涉及一種適用壓縮域的視頻超分辨率方法，這種方法充分利用了壓縮碼流中的信息，且同時(shí)解決校準(zhǔn)、插值、復(fù)原和后處理等問(wèn)題。通過(guò)對(duì)從自然場(chǎng)景到壓縮視頻的過(guò)程進(jìn)行建模，使用IRLS(迭代重加權(quán)最小二乘法)來(lái)構(gòu)建目標(biāo)函數(shù)，從而削弱離群點(diǎn)和噪聲的影響，使得到的超分辨率圖像較少引入新的噪聲，且抑制編碼噪聲和“振鈴”效應(yīng)。因此本方法不僅適用于幀間運(yùn)動(dòng)較簡(jiǎn)單的情況，也適用于運(yùn)動(dòng)較復(fù)雜的情況。



下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
圖1是本發(fā)明壓縮域的視頻超分辨率方法的流程圖。
圖2是圖1中活動(dòng)容器內(nèi)各單副超分辨率圖像的流程圖。

具體實(shí)施例方式 參照附圖，本發(fā)明的基于壓縮域的視頻超分辨率方法，按以下步驟進(jìn)行 1.解壓縮 先將輸入的低分辨率壓縮視頻解壓縮，得到低分辨率的視頻圖像，量化矩陣，量化后的變換域系數(shù)，運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)視頻圖像，以及運(yùn)動(dòng)矢量等信息。
2.對(duì)從自然場(chǎng)景到壓縮視頻的過(guò)程進(jìn)行建模 建立低分辨率圖像和相應(yīng)高分辨率圖像之間的關(guān)系高分辨率圖像通過(guò)模糊/下采樣/壓縮/解壓縮得到低分辨率圖像。記解壓后的第l幀低分辨率圖像圖像為yl，相應(yīng)高分辨率圖像為fl，模糊函數(shù)為H，下采樣矩陣為A，在此過(guò)程中的量化噪聲記為εQ，l，則yl＝AHfl+εQ，l。
建立運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)視頻圖像與對(duì)應(yīng)高分辨率圖像間的關(guān)系，記預(yù)測(cè)圖像為ylMV，在此過(guò)程中的運(yùn)動(dòng)估計(jì)噪聲記為ηMV，l，則 3.建模量化噪聲 在高分辨率圖像已知的情況下，得到低分辨率圖像的概率使用量化噪聲的分布來(lái)建模符合高斯分布εQ，l～N(0，KQ，l)。記空間域量化噪聲的協(xié)方差為KQ，l，則 4.步驟3建模中空間域量化噪聲的協(xié)方差矩陣空間域量化噪聲的協(xié)方差矩陣與變化域量化噪聲的協(xié)方差矩陣之間的關(guān)系可以表示成式中T表示DCT變化，KTransform，l表示變化域協(xié)方差矩陣。KTransform，l為對(duì)角矩陣，每個(gè)對(duì)角元素為方差σl2，其中ql為量化步長(zhǎng)。
5.建模運(yùn)動(dòng)估計(jì)引入的噪聲 在高分辨率圖像已知的情況下，得到預(yù)測(cè)視頻圖像的概率使用運(yùn)動(dòng)估計(jì)引入噪聲的分布來(lái)建模符合高斯分布ηMV，l～N(0，KMV，l)。記空間域運(yùn)動(dòng)估計(jì)引入噪聲的協(xié)方差為KMV，l，則 6.建?？臻g域運(yùn)動(dòng)估計(jì)噪聲的協(xié)方差矩陣空間域運(yùn)動(dòng)估計(jì)噪聲的協(xié)方差矩陣與變化域運(yùn)動(dòng)估計(jì)噪聲的協(xié)方差矩陣之間的關(guān)系可以表示成KTransform，MVl表示變化域協(xié)方差矩陣。KTransform，MVl為對(duì)角矩陣，每個(gè)對(duì)角元素為方差σl2，其中cl為量化后的變換域系數(shù)。
7.建模高分辨率圖像的先驗(yàn)概率 對(duì)圖像的梯度分布用廣義拉普拉斯分布來(lái)擬合，記圖像梯度為der，包括水平方向的梯度derx，垂直方向的梯度dery，則 使用非線性最小二乘擬合法來(lái)求出相應(yīng)的系數(shù)c，α和s，使得得到的拉普拉斯分布盡可能和低分辨圖像的梯度分布一致。
使超分辨率圖像的梯度分布盡可能接近解壓縮后的低分辨率圖像的梯度分布，而且超分辨率圖像應(yīng)該是平滑的，沒(méi)有“塊效應(yīng)”。因此有 其中，Q1為線性高通濾波算子(通常取離散二維拉普拉斯算子)，來(lái)懲罰不光滑的超分辨圖像估計(jì)，Q2是線性高通濾波算子(通常取邊界差值)，來(lái)懲罰塊邊界的超分辨圖像估計(jì)，λ1，λ2，λ3控制上述各項(xiàng)各自的重要程度。
8.使用貝葉斯模型MAP(最大后驗(yàn)概率)框架估計(jì)暫時(shí)的單幅超分辨率圖像 使用貝葉斯模型MAP(最大后驗(yàn)概率)框架來(lái)從壓縮視頻中估計(jì)暫時(shí)的單幅超分辨率圖像，即 取log運(yùn)算后可得， 再將上面建模的條件概率代入，可得 9.使用梯度下降來(lái)求解得到暫時(shí)的單幅超分辨率圖像 超分辨率圖像的初始值為雙線性插值放大后的圖像，使用梯度下降來(lái)求解得到暫時(shí)的單幅超分辨率圖像。
10.使用光流法得到各單幅超分辨率圖像和待處理單幅超分辨率圖像之間的運(yùn)動(dòng)位移 使用魯棒性強(qiáng)的光流法來(lái)估計(jì)當(dāng)前窗口內(nèi)各單幅超分辨率圖像和待處理單幅超分辨率圖像之間的運(yùn)動(dòng)位移，作為各高分辨率圖像和目標(biāo)高分辨率圖像之間的位移初始值。
11.建立目標(biāo)窗口內(nèi)的各幀低分辨率圖像與目標(biāo)高分辨率幀之間的關(guān)系 從目標(biāo)幀第k幀高分辨率圖像與第l幀高分辨率圖像的運(yùn)動(dòng)矢量矩陣記為C(dl，k)，可建立目標(biāo)窗口內(nèi)的各幀低分辨率圖像與目標(biāo)高分辨率幀之間的關(guān)系如下 yl＝AHC(dl，k)fk+nl，k 12.使用IRLS(迭代重加權(quán)最小二乘法)來(lái)構(gòu)建魯棒性強(qiáng)的目標(biāo)函數(shù) 第l幀的殘差記為rl，不相關(guān)權(quán)重記為vl，l＝k-TB，...，k+TF，其中TB，TF分別表示用于重建目標(biāo)幀的時(shí)間軸上向前向后的幀數(shù)(相對(duì)目標(biāo)幀)。
τ為閾值，用于排除離群點(diǎn)，參數(shù)ε與窗口內(nèi)各幀的相似度有關(guān)，通常相似度越高，ε越小。當(dāng)活動(dòng)窗口內(nèi)所有幀的不相關(guān)權(quán)重都為0時(shí)，將目標(biāo)幀對(duì)應(yīng)的不相關(guān)權(quán)重置為1。而相關(guān)有關(guān)矩陣記為Wl， 因此，再結(jié)合8)中的先驗(yàn)概率，最后得到如下目標(biāo)函數(shù) 13.使用循環(huán)坐標(biāo)下降來(lái)得到最終的超分辨率圖像。
最后，通過(guò)循環(huán)坐標(biāo)下降法來(lái)求得最優(yōu)解。先假設(shè)超分辨率圖像fk已知，使用梯度下降法分別更新各位移dl，k；然后在求得的dl，k的基礎(chǔ)上，用梯度下降法重新求fk，如此循環(huán)迭代，直至收斂。
應(yīng)該理解到的是上述實(shí)施例只是對(duì)本發(fā)明的說(shuō)明，而不是對(duì)本發(fā)明的限制，任何不超出本發(fā)明實(shí)質(zhì)精神范圍內(nèi)的發(fā)明創(chuàng)造，均落入本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種適用于壓縮域的視頻超分辨率方法，其特征在于包括如下具體步驟
1)對(duì)輸入的壓縮視頻進(jìn)行解壓縮，得到低分辨率的視頻圖像、量化矩陣、量化后的變換域系數(shù)、運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)視頻圖像、以及運(yùn)動(dòng)矢量信息；
2)對(duì)從自然場(chǎng)景到壓縮視頻的過(guò)程進(jìn)行建模，建立低分辨率圖像和相應(yīng)高分辨率圖像之間的關(guān)系高分辨率圖像通過(guò)模糊、下采樣、壓縮和解壓縮得到低分辨率圖像；建立運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)視頻圖像與對(duì)應(yīng)高分辨率圖像間的關(guān)系；
3)由上面建立的關(guān)系可以建模條件概率在高分辨率圖像已知的情況下，得到低分辨率圖像的概率使用量化噪聲的分布來(lái)建模符合高斯分布；
4)對(duì)上面量化噪聲的協(xié)方差矩陣進(jìn)行建模先求解變化域的協(xié)方差矩陣由量化矩陣可以得到，再將變化域的協(xié)方差矩陣轉(zhuǎn)換成空間域的協(xié)方差矩陣；
5)對(duì)在高分辨率圖像已知的情況下，得到預(yù)測(cè)視頻圖像的概率使用運(yùn)動(dòng)估計(jì)引入噪聲的分布來(lái)建模符合高斯分布。
6)對(duì)上面運(yùn)動(dòng)估計(jì)引入量化噪聲的協(xié)方差矩陣進(jìn)行建模，先求解變化域的協(xié)方差矩陣由量化矩陣和變換域系數(shù)可以得到，再將變化域的協(xié)方差矩陣轉(zhuǎn)換成空間域的協(xié)方差矩陣；
7)建模高分辨率圖像的先驗(yàn)概率對(duì)圖像的梯度分布用廣義拉普拉斯分布來(lái)擬合，使超分辨率圖像的梯度分布盡可能接近解壓縮后的低分辨率圖像的梯度分布，而且超分辨率圖像應(yīng)該是平滑的，沒(méi)有“塊效應(yīng)”；
8)使用貝葉斯模型MAP框架估計(jì)暫時(shí)的單幅超分辨率圖像；
9)使用梯度下降來(lái)求解得到暫時(shí)的單幅超分辨率圖像，超分辨率圖像的初始值為雙線性插值放大后的圖像；
10)使用魯棒性強(qiáng)的光流法來(lái)估計(jì)各單幅超分辨率圖像和待處理單幅超分辨率圖像之間的運(yùn)動(dòng)位移，作為各高分辨率圖像和目標(biāo)高分辨率圖像之間的位移初始值；
11)建立當(dāng)前窗口內(nèi)的各低分辨率圖像與目標(biāo)高分辨率幀之間的關(guān)系目標(biāo)高分辨率圖像通過(guò)運(yùn)動(dòng)位移/模糊/下采樣/壓縮/解壓縮來(lái)得到目標(biāo)窗口內(nèi)的各低分辨率圖像；
12)由當(dāng)前窗口內(nèi)的多幀暫時(shí)的單幅超分辨率圖像，結(jié)合7)中的先驗(yàn)概率，使用IRLS(迭代重加權(quán)最小二乘法)來(lái)構(gòu)建目標(biāo)函數(shù)，從而削弱離群點(diǎn)和噪聲的影響；
13)使用循環(huán)坐標(biāo)下降來(lái)得到最終的超分辨率圖像先假設(shè)超分辨率圖像已知，使用梯度下降法分別更新各運(yùn)動(dòng)位移；然后在求得的位移基礎(chǔ)上，用梯度下降法重新求超分辨率圖像，如此循環(huán)迭代，直至收斂；
本方法只超分辨率亮度分量，色度和色差分量只是雙線性插值所得。
全文摘要
本發(fā)明公開(kāi)了一種適用于壓縮域的視頻超分辨率方法，充分利用前后多幀的信息來(lái)超分辨率重建目標(biāo)幀，主要包括以下步驟首先，解壓縮低分辨視頻，得到各種信息；然后，利用得到的信息，使用貝葉斯框架，來(lái)分別得到當(dāng)前窗口內(nèi)的各單幅超分辨率圖像；最后，利用當(dāng)前窗口內(nèi)的各單幅超分辨率圖像來(lái)重建目標(biāo)幀的最終的超分辨率圖像。在此過(guò)程中，提出了超分辨率圖像的梯度分布盡可能接近解壓縮后的低分辨率圖像的梯度分布，作為先驗(yàn)概率；使用了IRLS來(lái)構(gòu)建目標(biāo)函數(shù)，從而削弱離群點(diǎn)和噪聲的影響，使得到的超分辨率圖像具有較高的PSNR，較少引入新的噪聲，且抑制編碼噪聲和“振鈴”效應(yīng)。利用依次滑動(dòng)移動(dòng)窗口，就得到超分辨率的視頻。
文檔編號(hào)H04N7/50GK101674478SQ20091015354
公開(kāi)日2010年3月17日 申請(qǐng)日期2009年10月19日 優(yōu)先權(quán)日2009年10月19日
發(fā)明者張小紅, 童若峰 申請(qǐng)人:浙江大學(xué)