一種基于雙字典學(xué)習(xí)的單幀圖像超分辨率復(fù)原方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種基于雙字典學(xué)習(xí)的單幀圖像超分辨率復(fù) 原方法。
【背景技術(shù)】
[0002]超分辨率復(fù)原是指利用一幅或多幅低分辨率(Low Resolution，LR)圖像，基于一 定的假設(shè)恢復(fù)出一幅具有豐富細(xì)節(jié)的高分辨率(High Resolution,HR)圖像的過程。近年 來，超分辨率復(fù)原技術(shù)以其高效的重構(gòu)效果和低廉的運(yùn)行成本在特征提取、信息識(shí)別、生物 醫(yī)學(xué)工程、公共安全監(jiān)控等多個(gè)領(lǐng)域擁有廣泛的應(yīng)用前景，成為圖像和視頻處理領(lǐng)域最活 躍的研究方向之一。
[0003] 根據(jù)重構(gòu)源圖像的不同，超分辨率復(fù)原方法可以被分成兩類:一類是基于視頻的 超分辨率復(fù)原方法，這種方法利用亞像素配準(zhǔn)技術(shù)對(duì)多幅低分辨率圖像進(jìn)行運(yùn)動(dòng)估計(jì)和圖 像融合，得到高分辨率圖像;另一類是單幀圖像的超分辨率重建方法，這種方法利用一定的 先驗(yàn)知識(shí)對(duì)圖像進(jìn)行復(fù)原。在實(shí)際應(yīng)用中，很難得到同一場(chǎng)景的多幅圖像序列，因此對(duì)于單 幀圖像的超分辨率復(fù)原技術(shù)依然具有研究意義。同時(shí)，由于圖像的退化過程伴隨著大量高 頻信息的丟失，這使得單幀圖像的超分辨率復(fù)原問題通常具有病態(tài)特性(ill-posed)，因此 目前單幀圖像的超分辨率研究依然面臨著極大的挑戰(zhàn)。
[0004] 現(xiàn)有的圖像超分辨率復(fù)原方法包括:基于插值的復(fù)原方法和基于樣例的復(fù)原方 法?；诓逯档姆椒梢栽黾訄D像的視覺感官效果，但是卻沒有恢復(fù)在圖像退化過程中丟 失的高頻成分;基于樣例的復(fù)原方法通過學(xué)習(xí)高、低分辨率圖像塊之間的對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)超 分辨率復(fù)原，這種方法相較于基于插值的復(fù)原方法來說，能夠恢復(fù)出大部分高頻細(xì)節(jié)，并且 起到邊緣銳化的效果，成為目前超分辨率復(fù)原算法的研究熱點(diǎn)。2002年，F(xiàn)r eeman[1]提出利 用馬爾科夫隨機(jī)場(chǎng)學(xué)習(xí)低分辨率圖像塊和高分辨率圖像塊之間的關(guān)系，為基于樣例的超分 辨率復(fù)原方法奠定了基石;隨著壓縮感知技術(shù)和稀疏編碼模型的提出，YangW等人提出了 基于稀疏表示的超分辨率復(fù)原方法，首先對(duì)高、低分辨率圖像塊進(jìn)行聯(lián)合訓(xùn)練，得到高、低 分辨率字典對(duì)，然后找到低分辨率圖像在低分辨率字典中的稀疏表示系數(shù)，利用高分辨率 圖像塊與低分辨率圖像塊具有相同的稀疏表示系數(shù)這一性質(zhì)，對(duì)高分辨率字典和稀疏表示 系數(shù)進(jìn)行重構(gòu)，從而復(fù)原出高分辨率圖像;Dong [3]等人提出一種主成分分析(PCA)字典訓(xùn)練 方法，提出圖像塊的主成分信息進(jìn)行字典訓(xùn)練，在去噪、去模糊、超分辨率復(fù)原中均取得了 顯著的效果。在上述基于樣例的方法中，圖像復(fù)原質(zhì)量容易受到訓(xùn)練圖像庫(kù)的約束，因此， 基于圖像金字塔的超分辨率復(fù)原方案應(yīng)運(yùn)而生。Glanser [4]等提出一種僅利用輸入低分辨 率圖像進(jìn)行超分辨率復(fù)原的方法，充分利用圖像的多尺度相似性，得到了較好的重建效果； D〇ng[5]等采用K-means算法對(duì)不同尺度的圖像塊進(jìn)行圖像聚類，訓(xùn)練出聚類子字典并利用 稀疏表示理論進(jìn)行超分辨率復(fù)原，使復(fù)原效果得到進(jìn)一步提高。
[0005] 然而在上述方法中，基于外部訓(xùn)練集的方法容易引入與圖像本身不相關(guān)的冗余信 息，使重建結(jié)果受到一定程度的影響；而基于內(nèi)部字典的方法利用多層低分辨率圖像的下 采樣信息，這將導(dǎo)致訓(xùn)練集中的圖像塊包含不準(zhǔn)確的邊緣信息。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種基于雙字典學(xué)習(xí)的單幀圖像超分辨率復(fù)原方法，本發(fā)明將基于 外部字典和內(nèi)部字典的超分辨率復(fù)原方法有機(jī)結(jié)合，在充分利用圖像的多尺度相似性的基 礎(chǔ)上，引入外部字典進(jìn)行邊緣修正，并融入圖像的局部鄰域加權(quán)信息和非局部相似性信息， 詳見下文描述：
[0007] -種基于雙字典學(xué)習(xí)的單幀圖像超分辨率復(fù)原方法，所述單幀圖像超分辨率復(fù)原 方法包括以下步驟：
[0008] 建立基于雙字典的圖像超分辨率復(fù)原模型；
[0009] 通過非局部相似性加權(quán)對(duì)雙字典的圖像超分辨率復(fù)原模型進(jìn)行優(yōu)化，獲取優(yōu)化復(fù) 原模型；
[0010] 對(duì)所述優(yōu)化復(fù)原模型進(jìn)行求解，實(shí)現(xiàn)對(duì)單幀圖像超分辨率的復(fù)原。
[0011] 其中，所述建立基于雙字典的圖像超分辨率復(fù)原模型具體為：
[0012] 建立包括內(nèi)部訓(xùn)練子字典、外部訓(xùn)練子字典的所述雙字典圖像超分辨率復(fù)原模 型。
[0013] 其中，所述雙字典圖像超分辨率復(fù)原模型具體為：
[0015] Y = DX
[0016] 其中，ΦΗΦ,.….Φ,.Γ為每一圖像塊所對(duì)應(yīng)的內(nèi)部訓(xùn)練子字典，ai為第i個(gè)圖 像塊在內(nèi)部字典下的稀疏表示系數(shù)，ψ=「ψ/. 為每一圖像塊所對(duì)應(yīng)的外部訓(xùn) 練子字典，隊(duì)為第i個(gè)圖像塊在外部字典下的稀疏表示系數(shù)，λ、δ和γ分別為三個(gè)正則系數(shù)， Ri表示將Xl從圖像X中提取出來的窗函數(shù)，X為待估計(jì)的超分辨率圖像，D代表圖像下采樣算 子，Y為低分辨率圖像，a為稀疏表示系數(shù)，S為圖像的非局部自相似矩陣。
[0017] 其中，所述優(yōu)化復(fù)原模型具體為：
[0018] 在所述雙字典的圖像超分辨率復(fù)原模型的基礎(chǔ)上，增加了正則化項(xiàng)。
[0019] 本發(fā)明提供的技術(shù)方案的有益效果是：引入外部字典進(jìn)行邊緣修正，并利用非局 部相似性正則項(xiàng)有效提高稀疏分解的穩(wěn)定性，建立基于雙字典的超分辨率復(fù)原模型。實(shí)驗(yàn) 結(jié)果表明，本方法能夠有效提高重建精度，保持良好的邊緣信息，無論在主觀視覺效果還是 在客觀評(píng)價(jià)指標(biāo)上，較前人工作有一定程度的提高。
【附圖說明】
[0020] 圖1為一種基于雙字典學(xué)習(xí)的單幀圖像超分辨率復(fù)原方法的流程圖；
[00211圖2為Starfish超分辨率重建結(jié)果的示意圖；
[0022] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image；(e)Proposed method image。
[0023] 圖3為House超分辨率重建結(jié)果的示意圖；
[0024] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image;(e)為Proposed method image。
[0025] 圖4為Girl四種超分辨率復(fù)原算法的比較示意圖；
[0026] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image；(e)Proposed method image。
[0027] 圖5為L(zhǎng)eaves四種超分辨率復(fù)原算法的比較示意圖。
[0028] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image;(e)為Proposed method image。
【具體實(shí)施方式】
[0029] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面對(duì)本發(fā)明實(shí)施方式作進(jìn)一步 地詳細(xì)描述。
[0030] 考慮到圖像退化過程中受到下采樣、模糊、噪聲等因素的影響，圖像復(fù)原問題可以 表示為如下數(shù)學(xué)模型：
[0031] y = DHx+〇 (1)
[0032] 其中，x表示原始的高分辨率圖像;D代表圖像下采樣算子;Η代表圖像的模糊算子； σ代表加性噪聲;y表不低分辨率圖像。
[0033] 則圖像復(fù)原問題可以認(rèn)為是由去噪、去模糊和分辨率增強(qiáng)這三個(gè)子問題組成，其 中圖像超分辨率復(fù)原問題可以形式化表示為：
[0034] y = Dx (2)
[0035] 由于自然界中的圖像包含很多重復(fù)的部分，即同一個(gè)圖像塊在同一尺度和不同尺 度都可以找到相同或相似的圖像塊，因此超分辨率復(fù)原大多是基于圖像塊進(jìn)行的。以這種 思想為基礎(chǔ)，提出了一種基于圖像自相似性與稀疏表示模型的超分辨率復(fù)原算法，在這種 方法中，利用輸入低分辨率圖像Y的s多級(jí)下采樣圖像.. .Y-s作為訓(xùn)練集，訓(xùn)練出復(fù) 原字典φ，再結(jié)合稀疏表示理論，將超分辨率復(fù)原模型表示為：
[0037] X ? Φα (3)
[0038] 其中，D為圖像下采樣算子;α為稀疏表示系數(shù);λ為正則化參數(shù);X為待估計(jì)的超分 辨率圖像。
[0039]考慮到圖像的結(jié)構(gòu)自相似性，利用非局部均值濾波的思想，認(rèn)為圖像X中的所有圖 像塊都可以由鄰域內(nèi)非局部自相似塊的加權(quán)平均近似表示，即：
[0040] X = SX (4)
[0041] 其中，S為圖像的非局部自相似矩陣。將(4)代入(3)，得到基于圖像自相似性與稀 疏表示的超分辨率復(fù)原模型：
[0043] X? φα Y = DX (5)
[0044] 對(duì)X和α進(jìn)行迭代求解可以得到最終的復(fù)原圖像。但是以上算法在對(duì)低分辨率圖像 進(jìn)行初始估計(jì)的基礎(chǔ)上，只利用單一的內(nèi)部字典對(duì)圖像進(jìn)行復(fù)原，而初始估計(jì)圖像的邊緣 已經(jīng)存在嚴(yán)重的鋸齒效應(yīng)，這為圖像重建帶來了極大的不利影響。本方法在其基礎(chǔ)上提出 采用雙字典的方式進(jìn)行圖像復(fù)原，更好地恢復(fù)圖像邊緣細(xì)節(jié)，進(jìn)一步提高圖像復(fù)原質(zhì)量。
[0045] 實(shí)施例1
[0046] 101:建立基于雙字典的圖像超分辨率復(fù)原模型；
[0047]由于外部字典能夠提供平滑的邊緣信息，本方法引入訓(xùn)練庫(kù)中的高分辨率圖像進(jìn) 行訓(xùn)練。為了提高對(duì)不同子塊進(jìn)行重建的適應(yīng)性，將訓(xùn)練庫(kù)中的圖像分塊，得到訓(xùn)練樣本， 再利用字典訓(xùn)練方法，將樣本分成K類， yi，y2,.. .μκ為每一類的中心，對(duì)于每個(gè)類中的圖像 樣本，訓(xùn)練得到Κ個(gè)子字典Ψι，Ψ2，. . .Ψκ。
[0048]假設(shè)^是從圖像X中提取的圖像塊，那么Χι = ιω(，其中&表示將Xl從圖像X中提取出 來的窗函數(shù)。對(duì)于每一個(gè)待復(fù)原的低分辨率圖像Y，首先對(duì)其進(jìn)行bicubic插值[6]得到初始 高分辨率圖像X〇，將初始高分辨率圖像X〇分成η塊后，為每一個(gè) Xl通過下式自適應(yīng)的選擇一 個(gè)子字典
[0050]通過求解(6)式選擇與從圖像中提取出的塊^最接近的樣本中的塊yk，來選擇相應(yīng) 的子字典Wki。在進(jìn)行圖像復(fù)原時(shí)，希望圖像塊Χι在其對(duì)應(yīng)字典Wki下的稀疏表示、與圖像塊 自身足夠接近，即使得Ih-足夠小，將其作為正則項(xiàng)加入(5)式，將Xl替換為RlX得到 基于雙字典的超分辨率復(fù)原模型：
[0052] Y = DX (7)
[0053] 其中，Φ =「Φ，，Φ，.….…叭V為每一圖像塊所對(duì)應(yīng)的內(nèi)部訓(xùn)練子字典，ai為第i個(gè) 圖像塊在內(nèi)部字典下的稀疏表示系數(shù)，Ψ = [%，'...為每一圖像塊所對(duì)應(yīng)的外部 訓(xùn)練子字典，隊(duì)為第i個(gè)圖像塊在外部字典下的稀疏表示系數(shù)，λ、δ和γ分別為三個(gè)正則系 數(shù)，其中系數(shù)為常數(shù)。
[0054] 102:通過非局部相似性加權(quán)對(duì)雙字典的圖像超分辨率復(fù)原模型進(jìn)行優(yōu)化，獲取優(yōu) 化復(fù)原模型；
[0055] 為了更好地處理因稀疏分解產(chǎn)