專利名稱：圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理與顯示技術(shù)領(lǐng)域，特別是一種圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法。
背景技術(shù)：
在圖像處理和圖像顯示領(lǐng)域，經(jīng)常需要在不同分辨率顯示設(shè)備上顯示圖像，或者需要通過圖像放大顯示圖像的局部細節(jié)，因此圖像上采樣是一種常用的技術(shù)。又例如在圖像壓縮和編碼領(lǐng)域，為了減少圖像的傳輸碼率，一種有效做法是對圖像先經(jīng)下采樣降低圖像分辨率，后使用傳統(tǒng)的視頻編碼技術(shù)壓縮，而在解碼端對解碼圖像進行上采樣操作恢復(fù)到原始分辨率圖像。這種方法可以大大減少傳輸碼率，但必須精心設(shè)計下采樣濾波器和上采樣重建濾波器以最大限度地提高壓縮質(zhì)量。
針對特定的應(yīng)用，目前一般的圖像上采樣方法是基于圖像內(nèi)插和線性濾波的方法,這些方法已經(jīng)集中在商業(yè)軟件Photoshop，ENVI等，常用方法包括最近鄰域方法(Nearest Neighbor),雙線性插值(Bilinear),雙三次插值(Bicubic)等。這些方法速度較快，但是存在如下不足1)在圖像進行大比例放大時容易導(dǎo)致圖像在邊緣附近的鋸齒現(xiàn)象；2)當圖像存在噪聲時，容易放大噪聲。如何提高圖像上采樣過程中圖像的邊緣清晰度，減少鋸齒效應(yīng)和噪聲，是圖像上采樣方法需要解決的重要問題。中國授權(quán)發(fā)明專利[200680008665. O] “用于圖像上采樣的方法和系統(tǒng)”，發(fā)明了使用直接內(nèi)插進行圖像上采樣的系統(tǒng)和方法，該發(fā)明的一些實施例提供了一種被設(shè)計用于h.264/MPEG-4 AVC的可縮放視頻編碼擴展的上采樣過程。中國發(fā)明專利[201010531029. 4] “一種用于三維立體電視的深度視頻壓縮的上采樣方法”利用了深度視頻和彩色視頻之間的關(guān)系，讓恢復(fù)的深度視頻具有更清晰的物體邊緣和更好的局部平滑特性，從而能夠得到更好的三維立體視覺效果。這些方法都是特殊應(yīng)用的上采樣方法，對于大尺度上采樣情形容易導(dǎo)致圖像的邊緣鋸齒現(xiàn)象嚴重，同時容易放大噪聲。目前，基于稀疏表示的(Sparse Representation)的圖像超分辨技術(shù)為上采樣邊緣清晰度提升提供新的思路，文獻[Jianchao Yang, John Wright, Thomas Huang, and YiMa. Image Super-resolution via Sparse Representation. IEEE Transactions on ImageProcessing, 2010，19 (11) : 2861-2873]在基于字典學(xué)習(xí)構(gòu)造稀疏表示下的圖像超分辨算法，提供了上采樣邊緣清晰度改善方法，但是需要同時學(xué)習(xí)高分辨和低分辨的兩個字典。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種圖像上采樣邊緣清晰度提升的稀疏域殘差補償修正方法，充分利用圖像內(nèi)部塊的非局部相似性及其塊內(nèi)信號的稀疏性，較好地解決了圖像上采樣過程的邊緣鋸齒效應(yīng)和噪聲抑制、同時可克服圖像上采樣中物體對象邊緣模糊和細節(jié)丟失等，能夠大幅度提1 圖像的邊緣清晰度。本發(fā)明解決其技術(shù)問題所釆用的技術(shù)方案為一種圖像上釆樣中邊緣清晰度提升的稀疏域殘差補償修正方法，對圖像進行上采樣處理，對上采樣圖像進行重疊分塊，為每個圖像塊搜索非局部相似塊，將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池，并行方式對數(shù)據(jù)池中的數(shù)據(jù)流進行稀疏域殘差補償修正迭代處理，當?shù)K止時，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像，取出數(shù)據(jù)池中所有的圖像塊將最終更新的圖像塊整合為一幅高分辨圖像。本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點充分利用圖像內(nèi)部塊的非局部相似性及其圖像塊內(nèi)的稀疏性，較好地解決了圖像上采樣過程的邊緣鋸齒效應(yīng)和噪聲抑制、同時可克服圖像上采樣中物體對象邊緣模糊和細節(jié)丟失等，能夠大幅度提高圖像的邊緣清晰度。本發(fā)明在基于高分辨圖像顯示的娛樂、虛擬現(xiàn)實、3D重建、3D監(jiān)控、博覽展示、醫(yī)療、教育等場合都有廣泛的應(yīng)用前景，同時也為超分辨重建提供了新的思路。下面結(jié)合附圖對本發(fā)明作進一步詳細描述。



圖I是本發(fā)明整體結(jié)構(gòu)圖。圖2是本發(fā)明在中第i個數(shù)據(jù)流的殘差補償修正迭代修正處理流程。圖3是本發(fā)明在I. 5并行式稀疏域殘差補償修正單元中步驟2的數(shù)據(jù)流程。圖4是本發(fā)明在I. 5并行式稀疏域殘差補償修正單元中步驟3的數(shù)據(jù)流程。圖5是本發(fā)明在I. 5并行式稀疏域殘差補償修正單元中步驟4的數(shù)據(jù)流程。圖6是本發(fā)明與各種對比算法對遙感圖像處理結(jié)果。圖7是本發(fā)明與Bicubic算法對一幅”蝴蝶”圖像上采樣結(jié)果(a)下采樣圖像，(b)Bicubic上采樣方法，(c)本發(fā)明方法。圖8是本發(fā)明與Bicubic算法對一幅”植物”圖像上采樣結(jié)果(a)下采樣圖像，(b)Bicubic上采樣方法，(c)本發(fā)明方法。圖9是本發(fā)明與Bicubic算法對一幅”鸚鵡”圖像上采樣結(jié)果(a)下采樣圖像，(b)Bicubic上采樣方法，(c)本發(fā)明方法。
具體實施例方式結(jié)合圖1，本發(fā)明圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，對圖像進行上采樣處理，對上采樣圖像進行重疊分塊，為每個圖像塊搜索非局部相似塊，將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池，并行方式對數(shù)據(jù)池中的數(shù)據(jù)流進行稀疏域殘差補償修正迭代處理，當?shù)K止時，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像，取出數(shù)據(jù)池中所有的圖像塊將最終更新的圖像塊整合為一幅高分辨圖像，具體實施過程包括如下步驟I. I對圖像進行上采樣處理對一幅(M/S) X (N/S2)大小的圖像J進行上采樣處理獲得MXN的初始高分辨圖像X ;其中M表示圖像像素點的行數(shù)、N表示圖像像素點的列數(shù)A和S2表示圖像行方向和列方向的下采樣率，S1彡2，S2彡2 ;I. 2圖像重疊分塊對圖像X按照逐行掃描對圖像的每一個像素，以此像素為分塊的左上角的第I個像素，抽取一個大小為WXW的塊，W取值范圍為區(qū)間[6，20]中的整數(shù)，合計抽取(M-ff+1) X (N-W+1)個大小為 WXW 的塊。
W W同樣對原始圖像I按照同樣的方式抽取(M-W+l) X (N-W+1)個大小為的塊。其抽取關(guān)系表示為Xi = RiX, Yi = RiY, i = I, 2,.....(M-ff+1) X (N-ff+1)其中=Ri (·)表示第i塊的抽取算子。I. 3非局部相似塊搜索
對每一個分塊Xi,在圖像塊集合{xj
i = 1,2. . . . (M-W+l) X (N-W+1) 中搜索與Xi最相似的T個
塊，其中T的取值范圍為區(qū)間[10，20]中的整數(shù)，記為Xu ;建立與Xi的相似塊Xu的索引表Ci,索引表Ci中存儲相似塊的索引值。圖像塊間的相似度通過圖像塊與圖像塊之間的歐式距離h - X,,I；度量，距離越小相似度越大。I. 4數(shù)據(jù)池建立將初始上采樣圖像的所有分塊{xji= 1,2....(M-W)X(N-W)以及對應(yīng)原始圖像的分塊{yj
i = 1,2. . . . (M-W) X (N-W)，
各分塊的相似塊索引表Ci看作數(shù)據(jù)流{xi; Yi, CJ
i = 1,2. . . . (M-W) X (N-W)， 形成大
小為(M-W+l) X (N-W+1)個數(shù)據(jù)流的數(shù)據(jù)池。1.5分塊并行稀疏域殘差補償修正將CPU分為(M-W+l) X (Ν-ff+l)個計算線程，并行的對數(shù)據(jù)池中的(M-ff+1) X (N-W+1)個數(shù)據(jù)流進行處理。其中，對第i (I彡i彡(M-ff+1) X (Ν-ff+l))個數(shù)據(jù)流的處理過程如圖2所示，具體包括如下步驟步驟I :對每塊進行稀疏表示，迭代初始設(shè)置從數(shù)據(jù)池中取出第i個數(shù)據(jù)流。將第i塊圖像Xi進行稀疏表示，得到的稀疏表示系數(shù)矩陣，記為a i = D1Xi ;對低分辨率圖像塊Ii計算稀疏表示系數(shù)矩陣氣=DTy,，其中DT( ·)表示稀疏表示變換。稀疏表示變換可以采取經(jīng)典離散余弦變換，小波變換，框架，也可以采取稀疏表示字典。并設(shè)《P為第k步(k> I)迭代的稀疏表示系數(shù)矩陣，第k步迭代的第i個圖像塊為xf，第k步迭代第i個圖像塊的稀疏域非局部均值信息Mn，然后初始化數(shù)據(jù)a1 ) =α,= xf=α,;迭代系統(tǒng)參數(shù)，η ^ 80,0 < Y < I/η ,尺度參數(shù) h > O,迭代閾值參數(shù)A/n ^ O，當前迭代次數(shù)k=l ；步驟2 :稀疏域殘差收縮如圖3所示，該步驟的詳細過程為將第k次迭代的第i個圖像塊進行下采樣得到^〃，對下采樣塊進行變換得到稀疏表示系數(shù)矩陣皮&卩< 進
一步與初始圖像塊的稀疏表示系數(shù)矩陣作差，然后進行閾值收縮。其計算關(guān)系為
(k, ay - DrSxf}Ir ml
r/ =I^~-^―^-omax(|gyt -D Sxij -1///,0), i =其中S( ·)表示下采樣處理，DT( ·)表示稀疏表示變換。步驟3 :稀疏域非局部均值信息修正如圖4所示，該步驟的詳細過程為利用與第i個圖像塊的非局部相似塊信息進行加權(quán)計算得到第k次迭代第i個圖像塊的非局部均值信息μΡ ;然后將非局部均值信息對稀疏表示系數(shù)矩陣《,W:進行進一步修正得到，其計算關(guān)系為
權(quán)利要求
1.一種圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于對圖像進行上采樣處理，對上采樣圖像進行重疊分塊，為每個圖像塊搜索非局部相似塊，將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池，并行方式對數(shù)據(jù)池中的數(shù)據(jù)流進行稀疏域殘差補償修正迭代處理，當?shù)K止時，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像，取出數(shù)據(jù)池中所有的圖像塊IxJi = HLxfrw),將最終更新的圖像塊整合為一幅高分辨圖像。
2.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于對于圖像上采樣處理過程為，對一幅(MziS1)X(NziS2)大小的圖像y進行上采樣處理獲得MXN的初始高分辨圖像X ;其中M表示圖像像素點的行數(shù)、N表示圖像像素點的列數(shù)A1和S2表示圖像行方向和列方向的上采樣率，S1≥2，S2≥2。
3.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于圖像重疊分塊過程為，對圖像X按照逐行掃描對圖像的每一個像素，以此像素為分塊的左上角的第I個像素，抽取一個大小為WXW的塊，W的取值范圍為區(qū)間[6，20]中的整數(shù)，合計抽取(M-W+l) X (N-W+1)個大小為WXW的塊； 同樣對原始圖像y按照同樣的方式抽取(M-W+l) X (N-W+1)個大小為
4.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于非局部相似塊搜索過程為，對每一個分塊Xi，在圖像塊集合IxJi =1，2.…(M-W+1) X (N-W+1) 中搜索與Xi最相似的T個塊，記為Xi, P其中T的取值范圍為區(qū)間[10，20]中的整數(shù)；建立與Xi的相似塊Xu的索引表Ci,索引表Ci中存儲相似塊的索引值；圖像塊間的相似度通過圖像塊與圖像塊之間的歐式距離In,I度量，距離越小相似度越大。
5.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于數(shù)據(jù)池建立過程為，將初始上采樣圖像的所有分塊=以及對應(yīng)原始圖像的分塊{7山=1，2....0 )><(1 )，各分塊的相似塊索引表(；看作數(shù)據(jù)流{xi; YilCJi= U.... OH)XM，形成大小為(M-W+l) X (N-W+1)個數(shù)據(jù)流的數(shù)據(jù)池。
6.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于分塊并行稀疏域殘差補償修正過程為，將CPU分為(M-W+l) X (Ν-ff+l)個計算線程，并行的對數(shù)據(jù)池中的(M-W+l) X (Ν-ff+l)個數(shù)據(jù)流進行處理。
7.根據(jù)權(quán)利要求6所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于分塊并行稀疏域殘差補償修正過程中，對第i個數(shù)據(jù)流的處理如下，其中 (M-ff+1) X (N-W+1) 步驟I迭代初始設(shè)置從數(shù)據(jù)池中取出第i個數(shù)據(jù)流，將第i個圖像塊Xi進行稀疏表示，得到的稀疏表示系數(shù)矩陣記為a i = D1Xi ;對低分辨率圖像塊yi計算稀疏表示系數(shù)矩陣aJi = ■-，其中dt( ·)表示稀疏表示變換，d( ·)表示稀疏表示反變換； 并設(shè)Aw為第k步迭代的稀疏表示系數(shù)矩陣，1，第k步迭代的第i個圖像塊為々，第k步迭代第i個圖像塊的稀疏域非局部均值信息舊.然后初始化數(shù)據(jù)《P= ,，
8.根據(jù)權(quán)利要求7所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于步驟2中稀疏域殘差收縮的計算關(guān)系為
9.根據(jù)權(quán)利要求7所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于步驟4中殘差補償?shù)挠嬎汴P(guān)系為
10.根據(jù)權(quán)利要求7所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，其特征在于步驟5中的參數(shù)調(diào)整方法如下1)閾值更新，首先計算然后計算標準差'P ，定義
全文摘要
本發(fā)明公開了一種圖像上采樣中邊緣清晰度提升的稀疏域殘差補償修正方法，包括對圖像進行上采樣處理；對上采樣圖像進行重疊分塊；為每個圖像塊搜索非局部相似塊；將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池；并行方式對數(shù)據(jù)池中的數(shù)據(jù)流進行稀疏域殘差補償修正迭代處理；當?shù)K止時，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像。本發(fā)明利用圖像塊間的非局部相似性及塊內(nèi)信號的稀疏性，較好克服了圖像上采樣過程的邊緣鋸齒效應(yīng)、噪聲細節(jié)丟失等，能夠大幅度提高圖像的邊緣清晰度。
文檔編號G06T5/50GK102842123SQ20121024048
公開日2012年12月26日 申請日期2012年7月12日 優(yōu)先權(quán)日2012年7月12日
發(fā)明者肖亮, 黃麗麗, 李恒, 唐松澤 申請人:南京理工大學(xué)