一種基于耦合偏微分方程模型的超分辨率圖像重建方法
【專利摘要】本發(fā)明公開了一種基于耦合偏微分方程模型的超分辨率圖像重建方法，利用TV和FPDE在圖像復(fù)原中的各自優(yōu)點(diǎn)，通過定義一個(gè)加權(quán)函數(shù)，耦合兩種偏微分模型，在圖像邊緣區(qū)對(duì)TV模型采用較大權(quán)值，保持圖像的邊緣和紋理細(xì)節(jié)，在圖像的平坦區(qū)對(duì)FPDE模型采用較大權(quán)值，以抑制全變分模型產(chǎn)生的“階梯效應(yīng)”，將新的模型作為正則化項(xiàng)進(jìn)行超分辨圖像重建，提高了圖像重建的視覺效果。
【專利說明】一種基于耦合偏微分方程模型的超分辨率圖像重建方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像超分辨率重建方法，具體地說，涉及一種基于耦合偏微分方程模型的超分辨率圖像重建方法。
【背景技術(shù)】
[0002]由于低分辨率圖像數(shù)量的不充分和病態(tài)條件的模糊運(yùn)算導(dǎo)致超分辨率圖像重建方法的病態(tài)性。偏微分方程(Partial Differential Equations, PDE)由于能克服超分辨率重建這一病態(tài)問題，并具有良好的降噪能力和保邊緣能力，得到廣泛的關(guān)注。該類方法根據(jù)退化圖像序列的前向模型，采用圖像和模糊的先驗(yàn)知識(shí)作為正則來構(gòu)造正則化最小化泛函，求解最小化泛函以得到高分辨率圖像。
[0003]全變分方法(Total Variation,TV)采用的是二階PDE模型，已經(jīng)被用到超分辨率圖像重建中，取到了很好的結(jié)果，但是該方法在抑制圖像噪聲的同時(shí)出現(xiàn)了“階梯效應(yīng)”。雙變分方法雖然避免了存在的“階梯效應(yīng)”，但是邊緣產(chǎn)生了過平滑現(xiàn)象，丟失了圖像的很多細(xì)節(jié)。近些年，基于正則化重建方法已被證明是有效的。然而，正則化算法的優(yōu)點(diǎn)在于不要求點(diǎn)擴(kuò)散函數(shù)為圓形，也不需要對(duì)圖像和噪聲做任何統(tǒng)計(jì)假設(shè)，但是正則化項(xiàng)在抑制噪聲的同時(shí)也抑制了圖像的細(xì)節(jié)，容易產(chǎn)生過于平滑的效果。
[0004]四階偏微分方程(FourthPartial Differential Equations, FPDE)模型已經(jīng)被證實(shí)可以在保持邊緣的同時(shí)能較好地處理圖像的平坦區(qū)域，從而減弱了 “階梯效應(yīng)”，具有更好的視覺效果。但是，它相對(duì)于TV模型仍舊平滑了一部分邊緣細(xì)節(jié)。

【發(fā)明內(nèi)容】

[0005]為了解決現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供了一種基于耦合偏微分方程模型的超分辨率圖像重建方法，在FPDE模型的基礎(chǔ)上，通過分析圖像空間信息，將TV模型和FPDE模型耦合作為正則項(xiàng)進(jìn)行圖像超分辨重建，其目的體現(xiàn)在以下兩個(gè)方面: [0006](I)針對(duì)TV模型應(yīng)用到超分辨率重建中出現(xiàn)“階梯效應(yīng)”的問題，提出使用FPDE作為正則化項(xiàng)進(jìn)行超分辨率重建，來減弱重建圖像平坦區(qū)域的“階梯效應(yīng)”，使得視覺效果更加符合自然圖像的特點(diǎn)。
[0007](2)針對(duì)TV和FPDE模型的特性及圖像內(nèi)部區(qū)域灰度差的特點(diǎn)，提出一個(gè)自適應(yīng)函數(shù)作為兩個(gè)模型的系數(shù)，將兩個(gè)模型有效耦合起來，以達(dá)到在圖像的不同區(qū)域自動(dòng)使用新的模型來修正重建圖像，提高圖像重建的質(zhì)量。
[0008]其技術(shù)方案如下:
[0009]一種基于耦合偏微分方程模型的超分辨率圖像重建方法，包括以下步驟:
[0010]步驟I獲取來自同一場(chǎng)景的低分辨率觀測(cè)圖像序列，在低分辨率觀測(cè)圖像序列中選定一幅低分辨率圖像作為參考圖像，對(duì)參考圖像進(jìn)行雙線性插值得到高分辨率圖像的初始估計(jì)值；
[0011]步驟2利用運(yùn)動(dòng)估計(jì)的方法來計(jì)算低分辨率圖像序列相對(duì)于參考圖像的運(yùn)動(dòng)參數(shù)，根據(jù)當(dāng)前的運(yùn)動(dòng)估計(jì)參數(shù)，求得低分辨率圖像在參考圖像對(duì)應(yīng)的高分辨率網(wǎng)格上的亞像素位置，然后把該像素的值按照內(nèi)插系數(shù)分配到參考圖像對(duì)應(yīng)的高分辨率網(wǎng)格上；
[0012]步驟3選擇合適的模糊函數(shù)辨識(shí)方法，確定高分辨率圖像到低分辨率觀測(cè)圖像轉(zhuǎn)化過程中受到的模糊退化的程度，即辨識(shí)對(duì)應(yīng)的模糊函數(shù)，在模型中假設(shè)圖像退化模糊為高斯型，對(duì)模糊函數(shù)進(jìn)行初始化；
[0013]步驟4利用先驗(yàn)知識(shí)對(duì)所求解問題施加約束和限制，將圖像的超分辨率重建問題轉(zhuǎn)化為一個(gè)最小化代價(jià)函數(shù)的優(yōu)化問題，建立超分辨率重建的求解模型；
[0014]步驟5對(duì)模型的數(shù)據(jù)保真項(xiàng)和正則化項(xiàng)進(jìn)行求解:數(shù)據(jù)保真項(xiàng)是衡量觀測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的擬合程度,正則化項(xiàng)體現(xiàn)了高分辨圖像的先驗(yàn)知識(shí),通過定義一個(gè)加權(quán)函數(shù)，將TV和FPDE兩種偏微分模型進(jìn)行耦合；
[0015]步驟6采用梯度下降法進(jìn)行高分辨率圖像求解，判斷得到的高分辨率圖像精度，若滿足要求或迭代次數(shù)超過預(yù)定值，則停止迭代，輸出高分辨率圖像，否則轉(zhuǎn)到步驟3。
[0016]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果:
[0017]本發(fā)明利用TV和FPDE在圖像復(fù)原中的各自優(yōu)點(diǎn)，通過定義一個(gè)加權(quán)函數(shù)，耦合兩種偏微分模型，在圖像邊緣區(qū)對(duì)TV模型采用較大權(quán)值，保持圖像的邊緣和紋理細(xì)節(jié)，在圖像的平坦區(qū)對(duì)FPDE模型采用較大權(quán)值，以抑制全變分模型產(chǎn)生的“階梯效應(yīng)”，將新的模型作為正則化項(xiàng)進(jìn)行超分辨圖像重建，提高了圖像重建的視覺效果。
【專利附圖】

【附圖說明】
[0018]圖1為【背景技術(shù)】基于正則化的超分辨率圖像重建流程圖；
[0019]圖2為本發(fā)明基于耦合偏微分方程模型的超分辨率圖像重建方法流程圖；
[0020]圖3為模擬圖像辣椒超分辨率重建結(jié)果比較圖，其中圖3(a)原始圖像，圖3 (b) —幅低分辨率圖像，圖3(c)雙線性插值結(jié)果，圖3(d)TV的重建結(jié)果，圖3(e)FPDE的重建結(jié)果，圖3(f)耦合模型的重建結(jié)果；
[0021]圖4為真實(shí)“EIA”圖像超分辨率重建結(jié)果比較圖，其中圖4 (a) 一幅低分辨率圖像，圖4(b)雙線性插值結(jié)果，圖4 (c) TV的重建結(jié)果，圖4(d)FPDE的重建結(jié)果，圖4(e)耦合模型的重建結(jié)果，圖4(f)是圖4(c)的局部放大結(jié)果，圖4(g)是圖4(d)的局部放大結(jié)果，圖4(h)是圖4(e)的局部放大結(jié)果。
【具體實(shí)施方式】
[0022]下面結(jié)合附圖和具體實(shí)施例進(jìn)一步說明本發(fā)明的技術(shù)方案。
[0023]構(gòu)建基于混合正則化的超分辨率重建框架模型
[0024]正則化的重建方法可以利用空間域的先驗(yàn)知識(shí)對(duì)重建圖像進(jìn)行平滑約束，但正則化項(xiàng)的選擇即先驗(yàn)約束的選擇是該方法的關(guān)鍵。針對(duì)目前存在的正則化方法所獲得的重建圖像存在過平滑現(xiàn)象，這導(dǎo)致丟失了圖像的部分細(xì)節(jié)，對(duì)于圖像的后處理不利。本專利采用TV和FPDE的耦合模型作為正則化項(xiàng)進(jìn)行超分辨率圖像重建。這個(gè)耦合模型不僅能夠保證圖像平坦區(qū)域的保真度，較好地抑制階梯效應(yīng)的產(chǎn)生，而且能夠保持圖像中邊緣等重要幾何結(jié)構(gòu)的清晰度。
[0025]根據(jù)圖像超分辨率重建算法的一般指導(dǎo)原則，設(shè)計(jì)了如下重建方案:首先選取一幅低分辨率圖像作為參考圖像，對(duì)低分辨率圖像序列進(jìn)行運(yùn)動(dòng)估計(jì)以計(jì)算出低分辨率圖像序列間亞像素級(jí)精度的相對(duì)位移，然后將低分辨率圖像中的像素通過插值和幾何坐標(biāo)變換，再重新還原到高分辨圖像坐標(biāo)中；如果圖像的模糊未知，可從圖像序列中進(jìn)行模糊估計(jì)；接著將通過內(nèi)插和運(yùn)動(dòng)補(bǔ)償?shù)玫降膱D像序列信息融合到一張圖像，最后采用正則處理對(duì)重建圖像進(jìn)行修正，得到高分辨率圖像。本發(fā)明所研究的基于正則化的超分辨率圖像重建技術(shù)路線可用圖1來表示，具體步驟如下:
[0026]步驟I獲取來自同一場(chǎng)景的低分辨率觀測(cè)圖像序列，其中任意兩幅低分辨率圖像之間的幾何位移都必須是亞像素位移；
[0027]步驟2選定圖像序列中的一幅低分辨率觀測(cè)圖像作為參考圖像，根據(jù)某一運(yùn)動(dòng)模型，求出其它低分辨率圖像與參考圖像的運(yùn)動(dòng)參數(shù)，根據(jù)當(dāng)前的運(yùn)動(dòng)估計(jì)參數(shù)，求得低分辨率圖像在參考圖像對(duì)應(yīng)的高分辨率網(wǎng)格上的亞像素位置，然后把該像素的值按照內(nèi)插系數(shù)分配到參考圖像對(duì)應(yīng)的高分辨率網(wǎng)格上；
[0028]步驟3選擇適合的模糊函數(shù)辨識(shí)方法，從而盡可能地確定高分辨率圖像到低分辨率觀測(cè)圖像轉(zhuǎn)化過程中受到的模糊退化的程度，即辨識(shí)對(duì)應(yīng)的模糊函數(shù)；
[0029]步驟4超分辨率圖像重建是一個(gè)不適定的數(shù)學(xué)反問題，正則化方法是解決這一類問題的最重要方法，即利用先驗(yàn)知識(shí)對(duì)解施加約束和限制，將圖像的超分辨率重建問題轉(zhuǎn)化為一個(gè)最小化代價(jià)函數(shù)的優(yōu)化問題。采用梯度迭代算法進(jìn)行求取高分辨率圖像。
[0030](2)基于自適應(yīng)正則化項(xiàng)的混合重建算法
[0031]根據(jù)圖1可以看出，圖像重建結(jié)果的好壞關(guān)鍵取決于正則化處理，這也是制定超分辨率圖像重建算法的關(guān)鍵之所在。為此，本專利將根據(jù)TV和FPDE在圖像修復(fù)中的各自特性，提出一種自適應(yīng)的耦合規(guī)則，在新的模型中通過一個(gè)自適應(yīng)函數(shù)將TV模型和FPDE進(jìn)行有效耦合。
[0032]TV在圖像修復(fù)中具有很好的保邊緣性，但是在平坦區(qū)域會(huì)出現(xiàn)“階梯效應(yīng)” ；FPDE能夠很好的修復(fù)平坦區(qū)域，但容易造成邊緣模糊。針對(duì)此情況研究通過一定的規(guī)則，在不同的區(qū)域發(fā)揮兩種模型優(yōu)勢(shì)。希望在圖像的邊緣附近時(shí)TV模型在正則化項(xiàng)中占更大的比例，而在圖像的平坦區(qū)域FPDE模型在正則化項(xiàng)中占更大的比例。在圖像處理中，圖像的梯度體現(xiàn)了圖像灰度值的跳變情況，梯度值的大小說明了圖像的平化程度。本專利基于這個(gè)思想，提出一個(gè)自適應(yīng)加權(quán)函數(shù)來混合兩種模型。加權(quán)函數(shù)趨向于I時(shí)，強(qiáng)調(diào)TV的修復(fù)特性:力口權(quán)函數(shù)趨向于O時(shí)，在平滑區(qū)域和小的跳躍區(qū)域(包括TV產(chǎn)生的“階梯效應(yīng)”)強(qiáng)調(diào)FPDE的修復(fù)特性。為此，提出的耦合偏微分方程模型的超分辨圖像重建可用圖2來表示:
[0033]步驟I在低分辨率觀測(cè)圖像序列中選定一幅低分辨率圖像作為參考圖像，利用運(yùn)動(dòng)估計(jì)的方法來計(jì)算低分辨率圖像序列相對(duì)于參考圖像的運(yùn)動(dòng)參數(shù)，假設(shè)圖象退化模糊為高斯型，對(duì)模糊函數(shù)進(jìn)行初始化；
[0034]步驟2對(duì)參考圖像進(jìn)行雙線性插值得到高分辨率圖像的初始估計(jì)值，根據(jù)圖像退化過程建立超分辨率重建的求解模型；
[0035]步驟3對(duì)模型的數(shù)據(jù)保真項(xiàng)和正則化項(xiàng)進(jìn)行求解:數(shù)據(jù)保真項(xiàng)是衡量觀測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的擬合程度,正則化項(xiàng)體現(xiàn)了高分辨圖像的先驗(yàn)知識(shí),通過定義一個(gè)加權(quán)函數(shù)，將TV和FPDE兩種偏微分模型進(jìn)行耦合；
[0036]步驟4采用梯度下降法進(jìn)行高分辨率圖像求解，判斷得到的高分辨率圖像精度，若滿足要求或迭代次數(shù)超過預(yù)定值，則停止迭代，輸出高分辨率圖像，否則轉(zhuǎn)到步驟3。
[0037]分別使用模擬圖像序列和真實(shí)圖像序列對(duì)TV模型、FPDE模型和本發(fā)明的耦合模型作為超分辨圖像重建的正則化項(xiàng)進(jìn)行驗(yàn)證。在模擬試驗(yàn)中，首先根據(jù)圖像觀測(cè)模型對(duì)一幅高分辨率進(jìn)行運(yùn)動(dòng)、模糊和降采樣等降質(zhì)，然后對(duì)低分辨率圖像施加噪聲污染，得到有噪聲的低分辨率圖像序列。在模擬圖像實(shí)驗(yàn)中除了在視覺主觀上評(píng)價(jià)了重建結(jié)果，還采取了客觀評(píng)價(jià)中的PSNR進(jìn)一步比較各種模型的優(yōu)越性。具體實(shí)驗(yàn)結(jié)果如圖3、表1、圖4所示。
[0038]圖3(a)為原始圖像，圖3(b)為低分辨率圖像序列中的一幅參考圖像，圖3 (C)是對(duì)參考圖像進(jìn)行雙線性插值的結(jié)果，圖3(d)是采用TV模型的重建結(jié)果，圖3(e)和(f)分別是采用FPDE模型和耦合模型的重建結(jié)果。通過對(duì)比可以看出，直接對(duì)參考圖像插值結(jié)果質(zhì)量最差，圖中仍有很強(qiáng)的噪聲；三種模型正則化方法的重建結(jié)果都有很好的去除噪聲的能力。在三幅重建圖像中，TV模型的重建結(jié)果出現(xiàn)了明顯的“階梯效應(yīng)”，F(xiàn)PDE模型的重建結(jié)果則相對(duì)比較光滑；TV模型重建圖像中的邊緣較之FPDE模型得到的結(jié)果更清楚，而FPDE模型重建結(jié)果中邊緣處出現(xiàn)了明顯的“斑點(diǎn)”。在耦合模型的重建結(jié)果圖3(f)中可以看到，平坦區(qū)域不存在“階梯效應(yīng)”，并且邊緣處較之圖3(d)和圖3(e)也更加光滑。此實(shí)驗(yàn)證明了本專利耦合模型作為正則化在超分辨重建中的有效性。
[0039]為了進(jìn)一步證明本專利耦合模型算法的有效性，選取了更多的圖像進(jìn)行實(shí)驗(yàn)，在這里就不一一給出，在表1中給出了其它實(shí)驗(yàn)的量化評(píng)估結(jié)果(PSNR值)。從數(shù)據(jù)來看，基于本專利耦合模型的超分辨重建結(jié)果得到的PSNR值都高于TV模型和FPDE模型。
[0040]表1 [0041]
【權(quán)利要求】
1.一種基于耦合偏微分方程模型的超分辨率圖像重建方法，其特征在于，包括以下步驟: 步驟I在低分辨率觀測(cè)圖像序列中選定一幅低分辨率圖像作為參考圖像，利用運(yùn)動(dòng)估計(jì)的方法來計(jì)算低分辨率圖像序列相對(duì)于參考圖像的運(yùn)動(dòng)參數(shù)，假設(shè)圖象退化模糊為高斯型，對(duì)模糊函數(shù)進(jìn)行初始化； 步驟2對(duì)參考圖像進(jìn)行雙線性插值得到高分辨率圖像的初始估計(jì)值，根據(jù)圖像退化過程建立超分辨率重建的求解模型； 步驟3對(duì)模型的數(shù)據(jù)保真項(xiàng)和正則化項(xiàng)進(jìn)行求解:數(shù)據(jù)保真項(xiàng)是衡量觀測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的擬合程度，正則化項(xiàng)體現(xiàn)了高分辨圖像的先驗(yàn)知識(shí)，通過定義一個(gè)加權(quán)函數(shù)，將TV和FPDE兩種偏微分模型進(jìn)行耦合； 步驟4采用梯度下降法進(jìn)行高分辨率圖像求解，判斷得到的高分辨率圖像精度，若滿足要求或迭代次數(shù)超過預(yù)定值，則停止迭代，輸出高分辨率圖像，否則轉(zhuǎn)到步驟3。
【文檔編號(hào)】G06T7/20GK103473752SQ201310371588
【公開日】2013年12月25日 申請(qǐng)日期:2013年8月22日 優(yōu)先權(quán)日:2013年8月22日
【發(fā)明者】楊勇, 黃淑英 申請(qǐng)人:楊勇