一種多級(jí)重構(gòu)的圖像超分辨率方法
【專利摘要】本發(fā)明涉及圖像處理領(lǐng)域，公開了一種多級(jí)重構(gòu)的圖像超分辨率方法，包括字典訓(xùn)練與超分辨率重構(gòu)兩個(gè)階段；其中字典訓(xùn)練階段使用Lanczos3-IBP算法對(duì)低分辨率圖像進(jìn)行第一級(jí)重構(gòu)，獲得高分辨率的初始估計(jì)；并在此基礎(chǔ)上訓(xùn)練多級(jí)的特征字典與誤差字典；超分辨率重構(gòu)階段，使用Lanczos3-IBP算法對(duì)低分辨率圖像進(jìn)行第一次重構(gòu)，然后利用訓(xùn)練得到的多級(jí)特征字典與誤差字典，進(jìn)行多級(jí)稀疏編碼重構(gòu)，得到各級(jí)重構(gòu)圖像的誤差，并添加到上一級(jí)的圖像中，從而逐級(jí)提高超分辨率圖像質(zhì)量，得到高分辨率圖像。
【專利說明】一種多級(jí)重構(gòu)的圖像超分辨率方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，更具體地，涉及一種多級(jí)重構(gòu)的圖像超分辨率方法。
【背景技術(shù)】
[0002]在大多數(shù)數(shù)字圖像應(yīng)用中，往往需要能提供較多細(xì)節(jié)信息的高分辨率圖像或視頻，然而在成像過程中，往往伴隨著失真(圖像變形、模糊、下采樣與噪聲等)，最后獲得的是低分辨的失真圖像。要獲取高分辨率的圖像或視頻，可通過提高硬件設(shè)備的途徑。例如減少感光傳感器單元的尺寸，從而增加成像的分辨率，但這會(huì)導(dǎo)致進(jìn)光量的減少并且會(huì)引入噪聲。或者增大成像芯片的大小，但這會(huì)導(dǎo)致電荷轉(zhuǎn)換速度減慢，還可能引入圖像模糊。而且，高分辨率成像設(shè)備的價(jià)格都比較高昂。提高圖像/視頻的分辨率的另一種途徑就是對(duì)低分辨率失真圖像通過圖像處理技術(shù)復(fù)原到原來的高分辨率圖像/視頻，這種技術(shù)稱為圖像超分辨率技術(shù)。
[0003]目前，主流的圖像超分辨率技術(shù)包括基于重建的方法與基于樣本訓(xùn)練的方法，其中基于樣本訓(xùn)練的方法是近十年來的熱門研究方向?；谥亟ǖ某直媛史椒ㄓ?jì)算復(fù)雜度低，但圖像超分辨率效果較差?；跇颖居?xùn)練的方法采用機(jī)器學(xué)習(xí)的方法，從本地的圖像庫中訓(xùn)練學(xué)習(xí)到從低分辨率與高分辨率圖像之間的規(guī)律與數(shù)學(xué)關(guān)系，從而預(yù)測(cè)輸入的低分辨率圖像的高分辨率信息。目前基于樣本訓(xùn)練的超分辨率方法主要采用冗余字典的稀疏表示模型，從本地圖像樣本庫中學(xué)習(xí)得到一個(gè)字典對(duì)(高分辨率字典與低分辨率字典)，在超分辨率重構(gòu)階段，利用低分辨率字典求解輸入的低分辨率圖像塊的稀疏表示系數(shù)，再利用該系數(shù)與高分辨率字典重構(gòu)得到高分辨率圖像塊，并將所有圖像塊通過重疊與平均得到高分辨率圖像。
[0004]基于樣本訓(xùn)練的超分辨率方法的重構(gòu)圖像質(zhì)量要好于基于重建的方法，但現(xiàn)有的一些基于樣本訓(xùn)練的超分辨率方法仍然存在一些缺點(diǎn)，例如對(duì)低分辨率圖像使用較差的Bicubic (雙三次樣條插值)方法進(jìn)行插值，來獲得高分辨率圖像的初始估計(jì)，然后在此基礎(chǔ)上進(jìn)行超分辨率重構(gòu)，導(dǎo)致重構(gòu)質(zhì)量的提高受到了質(zhì)量較差的插值圖像的限制，因此重構(gòu)圖像質(zhì)量仍然不高，存在改進(jìn)的空間。

【發(fā)明內(nèi)容】

[0005]為了克服現(xiàn)有重構(gòu)圖像質(zhì)量不高的不足，本發(fā)明提出一種多級(jí)重構(gòu)的圖像超分辨率方法，首先獲得高分辨率的初始估計(jì)，然后在此基礎(chǔ)上進(jìn)行多級(jí)的稀疏編碼重構(gòu)，獲得每級(jí)的圖像高頻細(xì)節(jié)信息，并添加到上一級(jí)重構(gòu)圖像中，從而逐級(jí)提高超分辨率圖像質(zhì)量。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為:
[0007]—種多級(jí)重構(gòu)的圖像超分辨率方法，包括字典訓(xùn)練與超分辨率重構(gòu)兩個(gè)階段；其中所述字典訓(xùn)練階段使用Lancz0S3-1BP算法對(duì)低分辨率圖像進(jìn)行第一級(jí)重構(gòu)，并在此基礎(chǔ)上訓(xùn)練多級(jí)的特征字典與誤差字典；所述超分辨率重構(gòu)階段，使用Lancz0S3-1BP算法對(duì)低分辨率圖像進(jìn)行第一次重構(gòu)，然后利用訓(xùn)練得到的多級(jí)特征字典與誤差字典，進(jìn)行多級(jí)稀疏編碼重構(gòu)，得到各級(jí)重構(gòu)圖像的誤差，并添加到上一級(jí)的圖像中，得到高分辨率圖像。
[0008]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為:本發(fā)明在字典訓(xùn)練階段使用Lanczos3-1BP算法對(duì)低分辨率圖像進(jìn)行第一級(jí)重構(gòu)，獲得高分辨率的初始估計(jì)；繼而在此基礎(chǔ)上進(jìn)行多級(jí)的稀疏編碼重構(gòu)，獲得每級(jí)的圖像高頻細(xì)節(jié)信息，并添加到上一級(jí)重構(gòu)圖像中，從而逐級(jí)提聞超分辨率圖像質(zhì)量。
【專利附圖】

【附圖說明】
[0009]圖1為本發(fā)明的字典訓(xùn)練階段流程圖。
[0010]圖2為本發(fā)明的超分辨率重構(gòu)階段流程圖。
[0011]圖3為采用不同方法重構(gòu)圖像局部圖比較示意圖，圖中從上到下分別為Foreman，Lenna, Flowers, Zebra 不意圖。
【具體實(shí)施方式】
[0012]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述，但本發(fā)明的實(shí)施方式并不限于此。
[0013]參見圖1和圖2所示，是本發(fā)明的基于多級(jí)重構(gòu)的圖像超分辨率方法的流程示意圖，其中圖1為字典訓(xùn)練階段，圖2為超分辨率重構(gòu)階段，其包括步驟:
[0014]步驟SlOl:字典訓(xùn)練階段開始，對(duì)本地的高分辨率樣本圖像，使用Bicubic雙三次樣條插值法，進(jìn)行s倍下采樣，其中s=2，3，4，…；然后使用Lancz0S3插值算法進(jìn)行s倍插值，并使用迭代逆投影算法IBP (Iterative Back-Projection)進(jìn)行超分辨率重構(gòu),得到第I級(jí)的重構(gòu)樣本圖像，令i =l，進(jìn)入步驟S102 ；
[0015]步驟S102:對(duì)原高分辨率樣本圖像與第i級(jí)重構(gòu)樣本圖像求差值(即原高分辨率樣本圖像減去第i級(jí)重構(gòu)樣本圖像)，得到第i級(jí)重構(gòu)樣本圖像誤差，并組成誤差塊向量矩陣；對(duì)第i級(jí)重構(gòu)樣本圖像進(jìn)行特征提取與PCA (Principal Component Analysis,主成分分析)降維，得到第i級(jí)重構(gòu)樣本圖像的特征塊向量矩陣，進(jìn)入步驟S103 ；
[0016]步驟S103:使用K-SVD字典訓(xùn)練算法對(duì)第i級(jí)的重構(gòu)樣本圖像的誤差塊向量矩陣與特征塊向量矩陣進(jìn)行字典訓(xùn)練，得到第i級(jí)誤差字典與特征字典，以及稀疏系數(shù)。若i等于N-1 (N為重構(gòu)級(jí)數(shù))，即表示已得到N-1級(jí)誤差字典與特征字典，則字典訓(xùn)練階段結(jié)束，進(jìn)入步驟S104 ;否則，使用第i級(jí)誤差字典與稀疏系數(shù)進(jìn)行超分辨率重構(gòu)，得到重構(gòu)樣本圖像誤差，并與第i級(jí)重構(gòu)樣本圖像相加，得到第i+Ι級(jí)重構(gòu)樣本圖像，并令i=i+l，進(jìn)入步驟S102 ；
[0017]步驟S104:超分辨率重構(gòu)階段開始，對(duì)輸入的低分辨率圖像，使用Lancz0S3算法進(jìn)行S (s=2, 3，4，…)倍插值，并使用迭代逆投影算法IBP進(jìn)行超分辨率重構(gòu)，得到第I級(jí)的重構(gòu)圖像，令i=l，進(jìn)入步驟S105 ；
[0018]步驟S105:若i等于N-1 (N為重構(gòu)級(jí)數(shù))，則表示已獲得第N級(jí)的重構(gòu)圖像，超分辨率重構(gòu)階段結(jié)束；否則，對(duì)第i級(jí)重構(gòu)圖像進(jìn)行特征提取與PCA降維，得到第i級(jí)重構(gòu)圖像的特征塊向量矩陣，進(jìn)入步驟S106 ；
[0019]步驟S106:使用OMP (Orthogonal Matching Pursuit)算法求解第i級(jí)重構(gòu)圖像的特征塊向量矩陣對(duì)應(yīng)于第i級(jí)特征字典的稀疏系數(shù)，并利用該稀疏系數(shù)與第i級(jí)誤差字典計(jì)算得到重構(gòu)圖像的誤差矩陣，將該誤差矩陣與第i級(jí)重構(gòu)圖像相加，得到第i+Ι級(jí)重構(gòu)圖像，并令i=i+l，進(jìn)入步驟S105 ；
[0020]實(shí)施例
[0021]具體本發(fā)明包括兩個(gè)階段:(I)字典訓(xùn)練階段；(2)超分辨率重構(gòu)階段。
[0022](I)字典訓(xùn)練階段
[0023]輸入:高分辨率圖像訓(xùn)練樣本Stl,由原圖像訓(xùn)練樣本及其旋轉(zhuǎn)樣本所得。
[0024]11)第I級(jí)重構(gòu):
[0025]111)使用Bicubic對(duì)S。進(jìn)行s倍下采樣，得到低分辨率圖像樣本；
[0026]112)使用Lancz0S3插值方法對(duì)低分辨率圖像樣本進(jìn)行s倍插值，得到插值放大圖像樣本；
[0027]113)對(duì)插值放大圖像樣本使用IBP迭代逆投影算法進(jìn)行10次迭代，得到第一級(jí)重構(gòu)樣本圖像Sp
[0028]12)第 i+Ι 級(jí)重構(gòu)，i=l, 2, 3,...，N_1，如下:
[0029]121)計(jì)算第i級(jí)重構(gòu)后的圖像樣本誤差皂，即廠-S -Si;
[0030]122)計(jì)算戽的塊向量矩陣if，即對(duì)爲(wèi)抽取塊并組成向量矩陣思〗；
[0031]123)計(jì)算Si的特征塊向量矩陣
【權(quán)利要求】
1.一種多級(jí)重構(gòu)的圖像超分辨率方法，其特征在于，包括字典訓(xùn)練與超分辨率重構(gòu)兩個(gè)階段；其中所述字典訓(xùn)練階段使用LanCZ0S3-1BP算法對(duì)低分辨率圖像進(jìn)行第一級(jí)重構(gòu)，并在此基礎(chǔ)上訓(xùn)練多級(jí)的特征字典與誤差字典；所述超分辨率重構(gòu)階段，使用Lanczos3-1BP算法對(duì)低分辨率圖像進(jìn)行第一次重構(gòu)，然后利用訓(xùn)練得到的多級(jí)特征字典與誤差字典，進(jìn)行多級(jí)稀疏編碼重構(gòu)，得到各級(jí)重構(gòu)圖像的誤差，并添加到上一級(jí)的圖像中，得到高分辨率圖像。
2.根據(jù)權(quán)利要求1所述的多級(jí)重構(gòu)的圖像超分辨率方法，其特征在于，所述字典訓(xùn)練階段具體為: 511:字典訓(xùn)練階段開始，對(duì)本地的高分辨率樣本圖像，使用Bicubic插值法進(jìn)行s倍下采樣，其中s=2，3，4，…;使用Lancz0S3插值算法進(jìn)行s倍插值，并使用迭代逆投影算法IBP進(jìn)行超分辨率重構(gòu)，得到第I級(jí)的重構(gòu)樣本圖像，令i=l，進(jìn)入步驟S12 ； 512:對(duì)原高分辨率樣本圖像與第i級(jí)重構(gòu)樣本圖像求差值，其差值是將原高分辨率樣本圖像減去第i級(jí)重構(gòu)樣本圖像，得到第i級(jí)重構(gòu)樣本圖像誤差，并組成誤差塊向量矩陣；對(duì)第i級(jí)重構(gòu)樣本圖像進(jìn)行特征提取與主成分分析PCA降維，得到第i級(jí)重構(gòu)樣本圖像的特征塊向量矩陣，進(jìn)入步驟S13 ； 513:使用K-SVD字典訓(xùn)練算法對(duì)第i級(jí)的重構(gòu)樣本圖像的誤差塊向量矩陣與特征塊向量矩陣進(jìn)行字典訓(xùn)練，得到第i級(jí)誤差字典、特征字典以及稀疏系數(shù)；若i等于N-1，其中N為重構(gòu)級(jí)數(shù)，即表示已得到N-1級(jí)誤差字典與特征字典，則字典訓(xùn)練階段結(jié)束，進(jìn)入超分辨率重構(gòu)階段；否則，使用第i級(jí)誤差字典與第i級(jí)是稀疏系數(shù)進(jìn)行超分辨率重構(gòu)，得到重構(gòu)樣本圖像誤差，并與第i級(jí)重構(gòu)樣本圖像相加，得到第i+Ι級(jí)重構(gòu)樣本圖像，并令i=i+l，進(jìn)入步驟S12。
3.根據(jù)權(quán)利要求1或2所述的多級(jí)重構(gòu)的圖像超分辨率方法，其特征在于，所述超分辨率重構(gòu)階段具體為: 521:超分辨率重構(gòu)階段開始，對(duì)輸入的低分辨率圖像，使用Lancz0S3算法進(jìn)行s倍插值，其中s=2，3，4，…；并使用迭代逆投影算法IBP進(jìn)行超分辨率重構(gòu)，得到第I級(jí)的重構(gòu)圖像，令i=l，進(jìn)入步驟S22 ； 522:若i等于N-1，其中N為重構(gòu)級(jí)數(shù)，則表示已獲得第N級(jí)的重構(gòu)圖像，超分辨率重構(gòu)階段結(jié)束；否則，對(duì)第i級(jí)重構(gòu)圖像進(jìn)行特征提取與主成分分析PCA降維，得到第i級(jí)重構(gòu)圖像的特征塊向量矩陣，進(jìn)入步驟23 ； 523:使用OMP算法求解第i級(jí)重構(gòu)圖像的特征塊向量矩陣對(duì)應(yīng)于第i級(jí)特征字典的稀疏系數(shù)，并利用該稀疏系數(shù)與第i級(jí)誤差字典計(jì)算得到重構(gòu)圖像的誤差矩陣，將該誤差矩陣與第i級(jí)重構(gòu)圖像相加，得到第i+Ι級(jí)重構(gòu)圖像，并令i=i+l，進(jìn)入步驟S22。
【文檔編號(hào)】G06T5/50GK103530863SQ201310526814
【公開日】2014年1月22日 申請(qǐng)日期:2013年10月30日 優(yōu)先權(quán)日:2013年10月30日
【發(fā)明者】甄海華 申請(qǐng)人:廣東威創(chuàng)視訊科技股份有限公司