專利名稱：一種基于反向圖保持的單張圖像超分辨率方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像超分辨率領(lǐng)域，具體涉及ー種基于反向圖保持的單張圖像超分辨率方法。
背景技術(shù)：
超分辨率是ー種由低分辨率(Low-R esolution，LR)圖像產(chǎn)生高分辨率(High-Resolution,HR)圖像的技術(shù)。在電子圖像應(yīng)用領(lǐng)域，人們往往期望得到高分辨率圖像。高分辨率圖像能夠提供更豐富的細(xì)節(jié)，這些細(xì)節(jié)在許多實(shí)際應(yīng)用中是不可或缺的。例如，使用高分辨率醫(yī)療圖像有助于醫(yī)生做出正確的診斷；使用高分辨率衛(wèi)星圖像則很容易從相似物中區(qū)別相似的對象；在智能視頻監(jiān)控、公安刑事偵查、信息安全等領(lǐng)域也都需要高分辨率圖像。根據(jù)輸入低分辨率圖像的數(shù)目，超分辨率方法可以分成基于多幀圖像重建的方法和基于單幀圖像學(xué)習(xí)的方法這兩大類，其中基于單幀學(xué)習(xí)的方法能獲得更高的放大倍數(shù)和更好的效果，因而更受關(guān)注。Freeman (文獻(xiàn)I :W. Freeman, E. Pasztor, and0.しarmichael. Learning low-level vision[J]·丄nternational Journal of しomputerVision, 2000, 40 (I) : 25-47.)提出一種基于Markov網(wǎng)絡(luò)的圖像超分辨率方法，這是最早提出的基于學(xué)習(xí)的超分辨率算法，但是該方法對訓(xùn)練數(shù)據(jù)十分敏感。受到局部線性嵌入流形學(xué)習(xí)思想的啟發(fā)，Chang (文獻(xiàn)2 H. Chang, D. Yeung, and Y. Xiong.Super-resolution through neighbor embedding[A]. In Proc.IEEE CVPRj 04[C].Washington, 2004. 275 - 282.)基于高低分辨率圖像塊空間的局部幾何結(jié)構(gòu)一致性這ー假設(shè)，首次將流形學(xué)習(xí)思想引入到圖像超分辨率重構(gòu)中，提出一種鄰域保持的圖像超分辨率重構(gòu)方法。在此方法的基礎(chǔ)上，F(xiàn)an (文獻(xiàn) 3 :W. Fan, D. Yeung, Image Hallucination UsingNeighbor Embedding over Visual Primitive Mainfolds. in Proc. IEEE Conf. ComputerVision and Pattern Recognition, 2007. 1-7)利用學(xué)習(xí)得到的高低分辨率原子圖像塊對對圖像模糊的邊緣和高頻細(xì)節(jié)部分進(jìn)行了增強(qiáng)。此后，許多基于流形學(xué)習(xí)的新方法相繼被提出，也都獲得了較好的效果。然而，隨著放大倍數(shù)的増加，低分辨率圖像塊與高分辨率圖像塊之間不再是一一對應(yīng)的關(guān)系，高低分辨率圖像塊空間的局部幾何結(jié)構(gòu)并非一致。為了解決這一問題，Yang (文獻(xiàn) 4 J. Yang, J. Wright, T. Huang, and Y. Ma. Imagesuper-resolution as sparse representation of raw image patches, in Proc.IEEE Conf. Computer Vision and Pattern Recognition, 2008. 1-8 ;文獻(xiàn) 5 :J. Yang, J.Wright, T. Huang, and Y. Ma. Image super-resolution via sparse representation. IEEETrans. Image Process. 2010, 19(11) :2861-2873.)提出了一種基于稀疏表達(dá)的超分辨率方法，學(xué)習(xí)得到ー個更加緊致和更加一致的高低分辨率圖像字典對，將稀疏編碼過程應(yīng)用到每ー個輸入低分辨率圖像塊，得到一組稀疏系數(shù)，并將此系數(shù)應(yīng)用于對應(yīng)的高分辨率字典上，重建高分辨率圖像。該方法可以獲得很好的效果，但其稀疏求解的過程卻要消耗大量的時間，難以實(shí)際應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明目的是提供一種基于反向圖保持的單張圖像超分辨率方法，解決現(xiàn)有同類算法無法準(zhǔn)確表達(dá)高低分辨率圖像塊之間對應(yīng)的關(guān)系的問題，提高最終合成的高分辨率人臉圖像的質(zhì)量并減少時間消耗。為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是ー種基于反向圖保持的單張圖像超分辨率方法，包括如下步驟步驟1，構(gòu)建高分辨率圖像塊 訓(xùn)練集和對應(yīng)的低分辨率圖像塊訓(xùn)練集，所述高分辨率圖像塊訓(xùn)練集由多個高分辨率圖像塊構(gòu)成，所述低分辨率圖像塊訓(xùn)練集由相應(yīng)的多個低分辨率圖像塊構(gòu)成；步驟2，構(gòu)建描述高分辨率圖像塊訓(xùn)練集內(nèi)高分辨率圖像塊之間相似關(guān)系的鄰接矩陣圖，獲得相似矩陣W ;步驟3，根據(jù)步驟2所得相似矩陣W，基于重建后高分辨率圖像塊空間的反向圖約束項(xiàng)，計算出低分辨率圖像塊與對應(yīng)高分辨率圖像塊之間的映射矩陣A ；步驟4，根據(jù)步驟3所得映射矩陣A重建輸入低分辨率圖像對應(yīng)的高分辨率圖像。而且，步驟2中的高分辨率圖像塊訓(xùn)練集內(nèi)高分辨率圖像塊之間相似關(guān)系的鄰接矩陣圖記為G，鄰接矩陣圖G的構(gòu)建方法如下設(shè)步驟I所得高分辨率圖像塊訓(xùn)練集為I=Uji，對應(yīng)低分辨率圖像塊訓(xùn)練集
為r= ，高分辨率圖像塊訓(xùn)練集χ中每個高分辨率圖像塊Xi構(gòu)成鄰接矩陣圖G的一
個頂點(diǎn)，共N個頂點(diǎn)；連接任意兩個頂點(diǎn)Xi和的邊的權(quán)值為wu，i的取值為1，2，…，N, j的取值為1，2，…，N，i尹j ;權(quán)值&定義如下
I 當(dāng)·Ti e N,. (χ . I aSlr - e N,- ()
Wij ニ··...χ !(. I)其中Nk(X)表示Xi的K個近鄰頂點(diǎn)構(gòu)成的集合,NK(Xj)表示Xj的K個近鄰頂點(diǎn)構(gòu)成的集合，通過確定所有權(quán)值獲得相似矩陣W = [Wij]NXN, K為預(yù)設(shè)的近鄰頂點(diǎn)個數(shù)。而且，步驟3中映射矩陣A的計算方式如下首先分別通過Q=Y (I-W) (I-W) Y、U = YYt+ λ Qt 和 V = XYt 求得矩陣 Q、U 和 V ;其中，I為NXN的單位矩陣；映射矩陣A的每一行元素按照如下公式計算出UtA1 . =Vi.s. t. Ai. ^ O, i=l, 2, ···, I其中，Ai.和Vi.分別表示映射矩陣A和矩陣V的第i行，I為映射矩陣A的行數(shù)；計算出映射矩陣A的每一行元素后，連接起來組成最終的映射矩陣A，A= [A1. ;A2.;…ん]。本發(fā)明提出一種基于反向圖保持的單張圖像超分辨率方法，計算高分辨率圖像塊和低分辨率圖像塊之間的線性映射關(guān)系，同時保留原始高分辨率圖像塊空間流形的內(nèi)在幾何結(jié)構(gòu)，避免了同類算法中因圖像放大倍數(shù)的増加或者噪聲的影響而導(dǎo)致的高低分辨率圖像塊空間流形結(jié)構(gòu)關(guān)系不一致的問題，以獲得高質(zhì)量的重建圖像。此外，由于映射關(guān)系是線性的，每個待重建的低分辨率塊只需乘以預(yù)先訓(xùn)練好的投影矩陣，因此在運(yùn)行速度上相對于現(xiàn)有基于學(xué)習(xí)的方法也有很大的提升。


圖I為傳統(tǒng)方法和本發(fā)明方法的對比示意圖。具體實(shí)施方法本發(fā)明技術(shù)方案可采用軟件技術(shù)實(shí)現(xiàn)自動流程運(yùn)行。下面結(jié)合實(shí)施例對本發(fā)明技術(shù)方案進(jìn)ー步詳細(xì)說明。本發(fā)明實(shí)施例具體步驟為 步驟1，構(gòu)建高分辨率圖像塊訓(xùn)練集和對應(yīng)低分辨率圖像塊訓(xùn)練集。實(shí)施例收集若干幅高分辨率訓(xùn)練圖像，用Bicubic方法將其進(jìn)行四倍下采樣再四倍上采樣得到若干幅對應(yīng)的低分辨率訓(xùn)練圖像。在高分辨率訓(xùn)練圖像上隨機(jī)提取N個
大小為WxW的圖像塊，形成高分辨率圖像塊訓(xùn)練集貨表示實(shí)數(shù)空
間，h表示高分辨率圖像塊的維數(shù)，即每個高分辨率圖像塊用ー個列向量表示，列向量內(nèi)有h個像素的灰度值作為元素；在對應(yīng)低分辨率訓(xùn)練圖像上的對應(yīng)位置上提取N個大小為
ム的圖像塊，因?yàn)楦叻直媛视?xùn)練圖像和對應(yīng)的低分辨率訓(xùn)練圖像大小是ー樣的，因此
提取出來的高分辨率圖像塊和低分辨率圖像塊的大小是ー樣的，即h = I。每個低分辨率圖像塊也用一個列向量表示，本發(fā)明實(shí)施例采用對每個低分辨率圖像塊求取所得四個方向的梯度作為低分辨率圖像塊的表示(例如求取得到[-1,0,1], [-1,0,-2,0,11, [-1,0, ι]τ,[-1，O, -2，O, 1]τ，“Τ”表示轉(zhuǎn)置操作)，即將這四個梯度向量首尾相接形成ー個維數(shù)為4X1
的特征向量，所有低分辨率圖像塊的特征向量就構(gòu)成低分辨率圖像塊訓(xùn)練集ダ=·，
V,- e 沢4/。將高分辨率圖像塊訓(xùn)練集X表示為ー個維數(shù)為NXh的矩陣，因此可簡稱矩陣X，矩陣X的每一列是ー個高分辨率圖像塊所拉成的列向量，X=Lx1, X2, -,χΝ];將低分辨率圖像塊訓(xùn)練集Y表示為ー個維數(shù)為NX 41的矩陣，因此可簡稱矩陣Y，矩陣Y的每一列是ー個低分辨率圖像塊所拉成的列向量，Y=Ly1, y2，-,yN]。步驟2，構(gòu)建描述高分辨率圖像塊訓(xùn)練集內(nèi)高分辨率圖像塊之間相似關(guān)系的鄰接矩陣圖，獲得相似矩陣W。在實(shí)施例中，為高分辨率圖像塊訓(xùn)練集X生成ー個與之對應(yīng)的鄰接矩陣圖G=G(V，E)，其中，V為鄰接矩陣圖G的頂點(diǎn)，每個高分辨率圖像塊Xi構(gòu)成圖G的ー個頂點(diǎn)，共N個頂點(diǎn)，即i的取值為1，2，…，N ；E為鄰接矩陣圖G的邊，連接任意兩個頂點(diǎn)Xi和χ〗的邊的權(quán)值為Wii, i的取值為1，2，…，N，j的取值為1，2，-,N, i ^ j 定義如下
權(quán)利要求
1.一種基于反向圖保持的單張圖像超分辨率方法，其特征在于，包括如下步驟 步驟1，構(gòu)建高分辨率圖像塊訓(xùn)練集和對應(yīng)的低分辨率圖像塊訓(xùn)練集，所述高分辨率圖像塊訓(xùn)練集由多個高分辨率圖像塊構(gòu)成，所述低分辨率圖像塊訓(xùn)練集由相應(yīng)的多個低分辨率圖像塊構(gòu)成； 步驟2，構(gòu)建描述高分辨率圖像塊訓(xùn)練集內(nèi)高分辨率圖像塊之間相似關(guān)系的鄰接矩陣圖，獲得相似矩陣W ; 步驟3，根據(jù)步驟2所得相似矩陣W，基于重建后高分辨率圖像塊空間的反向圖約束項(xiàng)，計算出低分辨率圖像塊與對應(yīng)高分辨率圖像塊之間的映射矩陣A ； 步驟4，根據(jù)步驟3所得映射矩陣A重建輸入低分辨率圖像對應(yīng)的高分辨率圖像。
2.根據(jù)權(quán)利要求I所述基于反向圖保持的單張圖像超分辨率方法，其特征在于步驟2中的高分辨率圖像塊訓(xùn)練集內(nèi)高分辨率圖像塊之間相似關(guān)系的鄰接矩陣圖記為G，鄰接矩陣圖G的構(gòu)建方法如下 設(shè)步驟I所得高分辨率圖像塊訓(xùn)練集為Z=Wfi ,對應(yīng)低分辨率圖像塊訓(xùn)練集為 r= UIm，高分辨率圖像塊訓(xùn)練集X中每個高分辨率圖像塊Xi構(gòu)成鄰接矩陣圖G的一個頂點(diǎn)，共N個頂點(diǎn)；連接任意兩個頂點(diǎn)Xi和\的邊的權(quán)值為wu，i的取值為1，2，…，N，j的取值為1，2，…，N，i關(guān)j ;權(quán)值Wij定義如下=U當(dāng)G <⑷或Ir, GK易)⑴ —
NXN，K為預(yù)設(shè)的近鄰頂點(diǎn)個數(shù)。
3.根據(jù)權(quán)利要求2所述基于反向圖保持的單張圖像超分辨率方法，其特征在于步驟3中映射矩陣A的計算方式如下 首先分別通過Q=Y(I-W) (I-W) Y、U=YYt+入Qt和V = XYt求得矩陣Q、U和V ;其中，I為NXN的單位矩陣； 映射矩陣A的每一行元素按照如下公式計算出 U1Ai. =Vi.s. t. Ai. ^ 0，i=l，2，…，41 其中，Ai .和Vi.分別表示映射矩陣A和矩陣V的第i行，41為映射矩陣A的行數(shù)； 計算出映射矩陣A的每一行元素后，連接起來組成最終的映射矩陣A，A=LA1. ;A2.vJ A41 . ] O
全文摘要
一種基于反向圖保持的單張圖像超分辨率方法，首先建立描述高分辨率訓(xùn)練圖像塊空間流形結(jié)構(gòu)關(guān)系的鄰接矩陣圖；然后學(xué)習(xí)低分辨率圖像塊空間到高分辨率圖像塊空間的映射矩陣，同時使得重建后的高分辨率圖像塊空間和原始高分辨率訓(xùn)練圖像塊空間的流形結(jié)構(gòu)關(guān)系保持一致；最后利用此映射矩陣將輸入的低分辨率圖像分塊映射到高分辨率空間，融合所有得到的高分辨率圖像塊重建出最終的高分辨率圖像。本發(fā)明解決了由于模糊、下采樣和噪聲等因素造成的高低分辨率圖像塊空間流形結(jié)構(gòu)關(guān)系不一致的問題。此外，每個待重建的低分辨率塊只需乘以預(yù)先訓(xùn)練好的投影矩陣，因此在運(yùn)行速度上相對于現(xiàn)有基于學(xué)習(xí)的方法也有很大的提升。
文檔編號G06T5/50GK102708556SQ20121014505
公開日2012年10月3日 申請日期2012年5月10日 優(yōu)先權(quán)日2012年5月10日
發(fā)明者盧濤, 江俊君, 王冰, 胡瑞敏, 韓鎮(zhèn) 申請人:武漢大學(xué)