)、Bicubic超分辨率重建； (2c)、NE;(2d)、NARM;(2e)、本文算法；
[0051 ] 圖3為"Cameraman"超分辨率重建結(jié)果：（3a)、原圖；（3b)、Bicubic超分辨率重建； (3c)、NE;(3d)、NARM;(3e)、本文算法；
[0052]圖4為本發(fā)明的基于改進(jìn)鄰域嵌入和結(jié)構(gòu)自相似性的超分辨率重建算法模型示意 圖。
【具體實(shí)施方式】
[0053]以下結(jié)合附圖及【具體實(shí)施方式】，進(jìn)一步詳述本發(fā)明的技術(shù)方案。
[0054]在現(xiàn)有的利用壓縮感知進(jìn)行超分辨率重建的方法中，均需要對(duì)高分辨率圖像進(jìn)行 初始估計(jì)?；谶@一特點(diǎn)，并考慮到初始估計(jì)的準(zhǔn)確與否直接影響圖像重建的質(zhì)量與迭代 次數(shù)，本發(fā)明提出一種將鄰域嵌入和結(jié)構(gòu)自相似性有效結(jié)合的圖像超分辨率重建算法。首 先，用結(jié)構(gòu)相似性改進(jìn)鄰域嵌入方法，進(jìn)而獲得更加準(zhǔn)確的高頻初始估計(jì);接著，利用低分 辨率圖像的局部自相似性和多尺度結(jié)構(gòu)相似性構(gòu)建重建約束項(xiàng)重建高分辨。
[0055]技術(shù)方案如下：
[0056] 1、基于稀疏表示的圖像超分辨率重建模型
[0057] 設(shè)U和S為向量，R為實(shí)空間，那么亦大小的圖像塊組成列向量xeRux1，若存在 矩陣Ψ以及向量α使得：
[0058] χ=Ψα, | |α| |〇 = k<<U (1)
[0059] 則稱向量x在Ψ下具有稀疏性，其中Ψ eRuxs稱為字典，字典Ψ中的每一列稱為字 典中的一個(gè)原子，aeRsxl為稀疏表示系數(shù)且滿足| |a| |Q = k<<U，| |α| |〇表示α中非零元的 個(gè)數(shù)。根據(jù)稀疏表示理論，圖像塊X可以表示為字典Ψ中少數(shù)幾個(gè)元素的線性組合，則字典 表示可描述為下述最優(yōu)化問(wèn)題：
[0061] 其中λ為平衡稀疏項(xiàng)和保真項(xiàng)的正則化系數(shù)，（2)式被稱為稀疏表示的基本模型。
[0062] 設(shè)X表示高分辨率圖像組成的向量，y表示高分辨率圖像下采樣得到的低分辨率圖 像組成的向量，下采樣矩陣記為D，則高分辨率圖像與低分辨率圖像之間的關(guān)系可表示為：
[0063] y = Dx (3)
[0064] 從低分辨率圖像中重建出高分辨率圖像便是解決如下最小二乘問(wèn)題：
[0066]結(jié)合(2)和(4)可以得到基于稀疏表示的圖像超分辨率重建模型：
[0068] 2、改進(jìn)的基于結(jié)構(gòu)自相似性的圖像超分辨率重建
[0069] 在本發(fā)明中，利用非局部自回歸超分辨率重建模型：
[0071] 其中y為輸入低分辨率圖像，x為待重建高分辨率圖像，D為下采樣矩陣;Μ為非局部 自相似權(quán)重矩陣，用來(lái)描述圖像塊之間的非局部自相似關(guān)系；Ψ:為第i個(gè)圖像塊對(duì)應(yīng)的子 字典;α為稀疏表示稀疏矩陣，其每一行 αι為第i個(gè)圖像塊在子字典下的稀疏表示系數(shù)向 量，^的每個(gè)元素為<為第i個(gè)圖像塊的非局部自相似性塊的稀疏表示系數(shù);R,為抽取 矩陣，其作用是將第i個(gè)圖像塊從圖像中抽取出來(lái)； λι、γι為加權(quán)向量，其每個(gè)元素
[0072] 在該模型中，需要α對(duì)X兩個(gè)待求量進(jìn)行迭代求解，因此對(duì)X的初始估計(jì)將與模型求 解的迭代次數(shù)直接相關(guān)；同時(shí)，對(duì)X的初始估計(jì)也通過(guò)影響子字典屯:的選擇，進(jìn)而影響重建 圖像的質(zhì)量。但是如果簡(jiǎn)單采用Bicubic插值方法作為高分辨率圖像的初始估計(jì)，這將引起 圖像的邊緣鋸齒效應(yīng)。以上述模型為基礎(chǔ)，提出了一種基于鄰域嵌入的初始估計(jì)算法，將非 局部自相似性作為先驗(yàn)信息，加入鄰域嵌入法的正則項(xiàng)，構(gòu)建更加具有魯棒性的高頻初始 估計(jì)，并在此基礎(chǔ)上進(jìn)行超分辨率重建。
[0073] 2.1基于鄰域嵌入的初始估計(jì)算法
[0074] 鄰域嵌入算法假設(shè)低分辨率圖像塊和高分辨率圖像塊具有相似的局部流形，利用 低分辨率圖像塊和高分辨率圖像塊之間的對(duì)應(yīng)關(guān)系來(lái)估計(jì)低分辨率圖像中所缺失的高頻 細(xì)節(jié)，進(jìn)行超分辨率重建。在本發(fā)明中，引入非局部自相似性(NL)正則項(xiàng)來(lái)增強(qiáng)鄰域嵌入超 分辨率重建的效果。NL方法的基本思想是:在搜索范圍內(nèi)搜索相同尺度的相似塊，由于這些 相似塊可能在幾何位置上距離待估計(jì)塊較遠(yuǎn)，故搜索范圍可能大到整幅圖像，利用這些相 似圖像塊所提供的互補(bǔ)信息重構(gòu)高分辨率圖像。本文的具體算法如下：
[0075] 首先提取高分辨率訓(xùn)練圖像Ih的亮度分量，接著對(duì)高分辨率圖像進(jìn)行a倍的下采 樣操作得到低分辨率圖像II，并將高分辨率和低分辨率圖像分成相互有重疊區(qū)域的小塊。 記X= {xm，m=l，. . .，p}為訓(xùn)練的低分辨率塊集合，Y= {ym，m=l，. . .，p}為與之對(duì)應(yīng)的高分 辨率塊集合，其中p是從訓(xùn)練圖像中分割出的小塊的數(shù)量。同樣的，記丨為待 重建的低分辨率圖像分割出的塊集合，那么# =丨父，〃 =1，...4為待估計(jì)的高分辨率圖像的塊 集合，其中q是測(cè)試圖像中分割出小塊的數(shù)量。將圖像塊xlP圖像塊F的距離矩陣定義為 D Pq，其中D的第η列為f與X中所有圖像塊的距離構(gòu)成的列向量。然后遍歷D中的每一列找到 K個(gè)最大值，其索引對(duì)應(yīng)的圖像塊即所求圖像塊r在訓(xùn)練集中的K個(gè)近鄰塊，記為 .= ·χΗ^'2) Xn'^tK：>J } ?
[0076] 接著對(duì)于每一個(gè)測(cè)試圖像塊利用最小化局部重建誤差的方式求得最佳權(quán)值向 里.CO n = [ Q ni ? CO n2 , . . . CO np ]；
[0078]其中每一個(gè)權(quán)值ω m需滿足下述約束條件：
[0080]利用核回歸方式求解ωηη可以得到每個(gè)高分辨率塊(分塊后的塊中圖像的像素點(diǎn) 值）J；*的估計(jì)值：
[0082]對(duì)于各個(gè)高分辨率圖像塊的重疊區(qū)域，取其各個(gè)重疊像素值的平均以避免嚴(yán)重的 塊效應(yīng)。
[0083]為引入非局部自相似性信息，利用下式定義殘余誤差ei為圖像塊爲(wèi)與另一圖像塊 爲(wèi)的相似程度，殘余誤差越小說(shuō)明兩圖像塊越相似：
[0085]對(duì)于每一個(gè)圖像塊|%計(jì)算圖像塊|"與其搜索鄰域內(nèi)的所有圖像塊的殘余誤差， 找到殘余誤差最小的L個(gè)圖像塊即為圖像塊的L個(gè)最相似塊集合f = = 1,2..1丨，其 殘余誤差分別為，i = l72...L。則待估計(jì)圖像塊^可以表示為的線性組合：
CU)
[0087]其中，f中的每個(gè)元素，^與，之間的相似度權(quán)值4可由下式計(jì)算：
[0089]在（12)中，h是權(quán)值的控制因子。那么少"與f中的每個(gè)元素鏟(/· = 1，2,..(6)之間的 相似度權(quán)值可定義為：
[0091]令隊(duì)為2：/組成的向量，氣尸冗尤，Γ/]則(ll)可以描述為：
(14)
[0093]將（14)作為非局部自相似正則項(xiàng)加入鄰域嵌入方法中，可構(gòu)造改進(jìn)的鄰域超分辨 率重建方法模型：
[0096] 其中W為字典序的ωη，即W=[ ωι，ω2, . . .，coq]T，Φ為字典序的氕，即 = 。公式（15)可通過(guò)梯度下降法求解，化簡(jiǎn)為
[0098] t為迭代次數(shù)，λ為正則化系數(shù)常量。設(shè)浐為鄰域嵌入法得到的迭代初始值，經(jīng)過(guò)t 次迭代，可以得到準(zhǔn)確的高頻初始估計(jì)浐
[0099] 2.2建立稀疏表示字典
[0100] 為了進(jìn)行(6)的求解，在一個(gè)準(zhǔn)確的初始估計(jì)的基礎(chǔ)上，還需要建立一個(gè)有效的稀 疏表示字典。在本文中，采用PCA(主成分分析)字典學(xué)習(xí)方法。PCA字典學(xué)習(xí)方法[30]是一種 有效的字典構(gòu)建方法，該方法首先對(duì)訓(xùn)練的高分辨率樣本進(jìn)行分塊操作，得到高分辨率原 子集A s，接著用K-means算法將As分成η簇{KhK% . . .，Kn}，每個(gè)簇的中心記為{ChC% ...， Cn}，然后對(duì)于每一個(gè)簇Km計(jì)算它的協(xié)方差矩陣Ωη，通過(guò)對(duì)Ω m進(jìn)行PCA變換得到最終的正交 變換矩陣，將其作為子字典Ψη，進(jìn)而得到子字典集合{Ψχ，Ψ 2，. . .，Ψη}。
[0101] PCA字典學(xué)習(xí)方法一般采用外部字典，龐大的外部圖像訓(xùn)練庫(kù)會(huì)消耗大量?jī)?nèi)存。針 對(duì)這個(gè)問(wèn)題，本文中不使用外部字典，而是充分利用圖像的多尺度相似性，原子集1通過(guò)對(duì) 輸入低分辨率圖像的多尺度下采樣分塊產(chǎn)生，從而訓(xùn)練出多尺度自相似子字典。
[0102] 將2.1中得到的高分辨率初始估計(jì)圖像進(jìn)行分塊操作后，對(duì)于每一個(gè)待重建高分 辨率輸入塊Xl，將其與已經(jīng)訓(xùn)練得到的簇中心{d，C 2, ...，Cn}進(jìn)行比較，找到與輸入塊歐氏 距離最小的簇中心Ci，其所在的簇Ki所對(duì)應(yīng)的子字典Ψ i即待重建高分辨率塊Xi所使用的字 典。得到每個(gè)待重建圖像塊所對(duì)應(yīng)的子字典Ψ:后，（6)可以通過(guò)拉格朗日乘子法轉(zhuǎn)化為 (17) (18)兩式，并對(duì)(17) (18)迭代求解。
[0105] (1