基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法
【專(zhuān)利摘要】本發(fā)明提供一種基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，包括如下步驟：在p幅低分辨率圖像中選取參考幀圖像和非參考幀圖像；采用全局運(yùn)動(dòng)參數(shù)和局部光流的方法進(jìn)行圖像配準(zhǔn)，得到非參考幀圖像相對(duì)于參考幀圖像的運(yùn)動(dòng)場(chǎng)mk(x)，利用mk(x)構(gòu)建出運(yùn)動(dòng)變換矩陣Mk；計(jì)算參考幀圖像的插值圖像、非局部先驗(yàn)參數(shù)hi，j和歐式閾值；計(jì)算每個(gè)像素與其他像素的相似度權(quán)重wNLM[i，j；s，t]，利用wNLM構(gòu)建關(guān)于高分辨率圖像X的非局部權(quán)重矩陣S；利用運(yùn)動(dòng)變換矩陣Mk和非局部權(quán)重矩陣S求解目標(biāo)泛函 得到重建的高分辨率估計(jì)圖像。相對(duì)于現(xiàn)有技術(shù)，本發(fā)明通過(guò)采用復(fù)合運(yùn)動(dòng)模型，有效地解決了目前運(yùn)動(dòng)估計(jì)的計(jì)算量大，可伸縮性不強(qiáng)、精度不高的缺點(diǎn)，采用自適應(yīng)的非局部先驗(yàn)減少了重建圖像的失真。
【專(zhuān)利說(shuō)明】基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺(jué)的【技術(shù)領(lǐng)域】，特別是涉及圖像清晰化領(lǐng)域中的一種提高圖像的空間分辨率的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨圖像重建方法。
【背景技術(shù)】
[0002]在成像領(lǐng)域中，高空間分辨率的圖像一直是追求的目標(biāo)之一。高空間分辨率的圖像充分地記錄了物體的細(xì)節(jié)信息，能夠給人和計(jì)算機(jī)的推理、判斷、決策提供更加豐富的信息。因此，在許多成像應(yīng)用中，高分辨率的圖像通常是非常必要的，比如:視頻監(jiān)控、醫(yī)學(xué)診斷、軍事偵察、遙感等應(yīng)用。提高圖像的空間分辨率可以通過(guò)兩種途徑，“硬件途徑”和“軟件途徑”。常規(guī)情況下，人們主要通過(guò)改進(jìn)高精度的CXD和CMOS傳感器等硬件設(shè)備來(lái)獲取高分辨的圖像。但是，單純地通過(guò)改進(jìn)硬件設(shè)施來(lái)提高分辨率會(huì)受到諸多限制，比如傳感器的電荷轉(zhuǎn)移率、熱噪聲，光學(xué)鏡頭的瑞利熵，以及硬件費(fèi)用等限制。因此，出于硬件設(shè)備和經(jīng)濟(jì)上的考慮，“軟件途徑”成為了一種更加可行的方案。1984年Tsai和Huang首先提出超分辨重建問(wèn)題便是從“軟件途徑”，通過(guò)發(fā)展理論、算法來(lái)提高圖像的空間分辨率，已成為圖像處理領(lǐng)域最為活躍的研究方向之一。近年來(lái)，一些學(xué)者將超分辨率重建分為基于多幀的超分辨率重建和基于學(xué)習(xí)的超分辨率重建。本發(fā)明是一種基于多幀的超分辨重建方法。
[0003]對(duì)基于多幀的超分辨率重建又可以分為基于頻域和基于空域的重建方法。最新的基于頻域的重建方法是1999年Rhee和Kang提出的基于離散余弦變換重建方法，以及Chan在2003年提出的基于小波變換的重建方法?；陬l域的重建方法優(yōu)勢(shì)是理論簡(jiǎn)潔、計(jì)算簡(jiǎn)單，但劣勢(shì)在于多幀之間的相對(duì)運(yùn)動(dòng)只能是全局相似運(yùn)動(dòng)，且只適用于圖像的模糊是線性時(shí)不變的情況。因此針對(duì)這些劣勢(shì)，基于空域的重建方法產(chǎn)生了許多經(jīng)典的超分辨重建方法，如非均勻內(nèi)插法、迭代反投影法、凸集投影法、最大似然法、最大后驗(yàn)法、混合最大后驗(yàn)/凸集投影法。本發(fā)明是一種基于最大后驗(yàn)估計(jì)的重建方法。
[0004]在基于最大后驗(yàn)的估計(jì)方法中，運(yùn)動(dòng)估計(jì)和先驗(yàn)項(xiàng)設(shè)計(jì)是兩項(xiàng)非常重要的任務(wù)。在大多數(shù)情況下，圖像超分辨率所需的運(yùn)動(dòng)矢量為未知，為了求解這些運(yùn)動(dòng)矢量，可以有兩種思路:一種思路是先求解這些運(yùn)動(dòng)矢量然后再進(jìn)行超分辨率重建，雖然這種分開(kāi)求解的方式計(jì)算非常簡(jiǎn)單，但是都各自存在著很大的局限性；另一種思路是運(yùn)動(dòng)矢量和超分辨圖像進(jìn)行聯(lián)合求解，這類(lèi)方法比單獨(dú)分開(kāi)求解方法的運(yùn)動(dòng)估計(jì)精確，重建效果好，但缺點(diǎn)是求解速度慢，很難用于實(shí)際應(yīng)用。針對(duì)運(yùn)動(dòng)矢量的估計(jì)，又可分為基于參數(shù)模型的和基于光流的運(yùn)動(dòng)估計(jì)?；趨?shù)模型的運(yùn)動(dòng)估計(jì)比較簡(jiǎn)單，但伸縮性低；而基于光流的運(yùn)動(dòng)估計(jì)伸縮性高，但估計(jì)精度低，重建效果不理想。為此，本發(fā)明基于分開(kāi)求解運(yùn)動(dòng)矢量和超分辨圖像的思路，提出了一種具有很高伸縮性和估計(jì)精度的、低運(yùn)算量的復(fù)合運(yùn)動(dòng)模型。
[0005]針對(duì)先驗(yàn)項(xiàng)，也即正則項(xiàng)設(shè)計(jì)，國(guó)內(nèi)外文獻(xiàn)中已經(jīng)提出了許多先驗(yàn)項(xiàng)，包括Tikhonov先驗(yàn)、Huber先驗(yàn)、TV先驗(yàn)、BTV先驗(yàn)等。這些先驗(yàn)都是基于圖像鄰域差分進(jìn)行描述的，未能準(zhǔn)確地描述出自然圖像的先驗(yàn)信息，導(dǎo)致重建圖像失真。最近，基于自然圖像中存在著大量冗余重復(fù)的圖像結(jié)構(gòu)的事實(shí)，國(guó)際上提出了一種非局部先驗(yàn)，并成功應(yīng)用于圖像反卷積。但是，由于非局部先驗(yàn)中存在做許多需要人為調(diào)節(jié)的參數(shù)，不能做到參數(shù)的自適應(yīng)。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明的主要目的在于提供一種降低計(jì)算量、提高圖像精度的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法。
[0007]為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法的實(shí)施例，高分辨率圖像X經(jīng)過(guò)降質(zhì)過(guò)程獲取P幅低分辨率觀測(cè)圖像Yk(k=，…，P)，每幅觀測(cè)圖像的大小為mXn,該利用P幅低分辨率觀測(cè)圖像Yk(k = I,..., P)重建高分辨率估計(jì)圖像的超分辨率重建方法包括如下步驟(1)至步驟(5):
[0008](I)在P幅低分辨率觀測(cè)圖像中選取參考幀圖像Yref (I ( ref ( p)和非參考幀圖像Yk(k = 1，…，ref-1, ref+1,…，P)，針對(duì)參考幀圖像和非參考幀圖像之間的亞像素運(yùn)動(dòng)采用全局參數(shù)運(yùn)動(dòng)和局部光流的復(fù)合運(yùn)動(dòng)模型，參考幀圖像與非參考幀圖像之間的關(guān)系
表示為
【權(quán)利要求】
1.一種基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，高分辨率圖像X經(jīng)過(guò)降質(zhì)過(guò)程獲取P幅低分辨率觀測(cè)圖像Yk (k= 1，…，P)，每幅觀測(cè)圖像的大小為mXn，其特征在于，所述利用P幅低分辨率觀測(cè)圖像Yk(k = 1，…，P)重建高分辨率估計(jì)圖像的超分辨率重建方法包括如下步驟: (1)在P幅低分辨率觀測(cè)圖像中選取參考幀圖像Yref(I ( ref ( p)和非參考幀圖像Yk(k = 1，…，ref-1，ref+Ι，…，p)，針對(duì)參考幀圖像和非參考幀圖像之間的亞像素運(yùn)動(dòng)采用全局參數(shù)運(yùn)動(dòng)和局部光流的復(fù)合運(yùn)動(dòng)模型，參考幀圖像與非參考幀圖像之間的關(guān)系表示為:L W = K (唐1: (4) = ? (對(duì)(-1-4)+4(4) = ? {ιη!(χ'?})+Φ),其中 mk 表示二維運(yùn)動(dòng)場(chǎng)，<表示全局參數(shù)運(yùn)動(dòng)，為局部光流運(yùn)動(dòng)，θ k為全局運(yùn)動(dòng)參數(shù),K.(0:?))表示用非參考中貞圖像預(yù)測(cè)的參考幀圖像，ε k(x)表示殘差圖像； (2)求解全局運(yùn)動(dòng)參數(shù)Θk = (a0M, a2，a3，a4，a5)和局部光流4 (x)采用全局運(yùn)動(dòng)參數(shù)Θ k = (a0, B1, a2，a3，a4，a5)和局部光流心P)的方法進(jìn)行圖像配準(zhǔn)，得到非參考幀圖像相對(duì)于參考幀圖像的運(yùn)動(dòng)場(chǎng)mk(X)，利用mk(X)構(gòu)建出運(yùn)動(dòng)變換矩陣Mk ； (3)計(jì)算參考幀圖像Yraf的r倍插值圖像X、非局部先驗(yàn)參數(shù)Iii,」(O≤i<rm,0^ j〈rn)和相似圖像的歐式閾值； (4)利用非局部先驗(yàn)參數(shù)、歐式閾值，且以插值圖像金作為高分辨圖像X的初始圖像，計(jì)算出插值圖像金中每個(gè)像素點(diǎn)(i，j)與其他像素點(diǎn)(s，t)的相似度權(quán)重wM[i，j ;s，t]，其中O ( i<rm,0 ( j<rn,0 ( s<rm,0 ( t〈rn,利用相似度權(quán)重wNIJ1構(gòu)建非局部權(quán)重矩陣S ；(5)利用運(yùn)動(dòng)變換矩陣Mk和非局部權(quán)重矩陣S求解目標(biāo)泛函X = Srgminmi+Α\\(?^S)Χζ ,其中Bk為觀測(cè)圖像Yk對(duì)應(yīng)的降晰函數(shù)，Mk 為觀測(cè)圖像Yk相對(duì)于參考幀圖像的亞像素運(yùn)動(dòng)，非局部權(quán)重矩陣S是一個(gè)自適應(yīng)高分辨率圖像X的非局部均值濾波器，且P >0，采用共軛梯度迭代法最小化目標(biāo)泛函，得到重建的高分辨率估計(jì)圖像。
2.根據(jù)權(quán)利要求1所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟(1)針對(duì)參考幀圖像和非參考幀圖像之間的亞像素運(yùn)動(dòng)采用全局參數(shù)運(yùn)動(dòng)和局部光流的復(fù)合運(yùn)動(dòng)模型，其中運(yùn)動(dòng)向量為mk(X) = [mk,u(x)mk,v(x)] ,X = [xuxv], 二維運(yùn)動(dòng)場(chǎng)mk表示為IWt (x) = IIff (x) + M1k (x) = mf (x;ek) + dk (x),其中mf表示全局參數(shù)運(yùn)動(dòng)，?4為局部光流運(yùn)動(dòng)，ek為全局運(yùn)動(dòng)參數(shù)。
3.根據(jù)權(quán)利要求1所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟⑵求解全局運(yùn)動(dòng)參數(shù)Θ k = (a0, a1; a2, a3, a4, a5)包括如下步驟: (21A)采用Btl, a1； a2, a3, a4，a5六個(gè)參數(shù)的仿射變換作為全局參數(shù)運(yùn)動(dòng)模型:wL (尤幺)=?" + A' + "A' <r (K Gk ) = ?,+ u4xh + ayxr.，ψ(22Α)建立最小二乘標(biāo)準(zhǔn)呼幺))—I Wf求解全局運(yùn)動(dòng)參數(shù)9k = (a0,'-C V L,a1，a2，a3，a4，a5) ο
4.根據(jù)權(quán)利要求3所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其
特征在于:所述步驟(22A)建立最小二乘標(biāo)準(zhǔn)
5.根據(jù)權(quán)利要求1所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟(2)求解局部光流包括如下步驟:(21B)利用圖像灰度恒常性假設(shè)和圖像梯度恒常性假設(shè)得到關(guān)于局部光流》4 的數(shù)據(jù)置信度能量函數(shù)
6.根據(jù)權(quán)利要求5所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟(2)利用Hik(X)構(gòu)建出運(yùn)動(dòng)變換矩陣Mk包含如下步驟: (21C)計(jì)算非參考幀圖像相對(duì)于參考幀圖像的運(yùn)動(dòng)場(chǎng)mk(X) =mkg(X)+Hlk1OO,并將運(yùn)動(dòng)場(chǎng)mk(X)進(jìn)行r倍線性插值，得到插值后的運(yùn)動(dòng)場(chǎng)Hlk(X)，所述r為最終重建的高清圖像的放大倍數(shù)；
(22C)計(jì)算相對(duì)位移 Axk = mk(x) -X = (Δ xk, u- Δ xk, ν)，以及 dk = Δ xk, u-floor ( Δ xk,u), ek = Δ xk, v-f10r ( Δ xk, v),其中操作符floor (.)表示取小于或者等于指定值的最大整數(shù)； (23C)計(jì)算運(yùn)動(dòng)變換矩陣Mk中的每個(gè)元素的值:Mk(j*m+i, floor (Axk,u)+xu+ceil ( Δ xk,v+xv+l)*m) = dk*(l_ek), Mk(j*m+i, ceil ( Δ xk,u)+xu+ceil ( Δ xk,v+xv+l) *m)=dk*ek, Mk(j*m+i, floor ( Δ xk, u)+xu+f10r ( Δ xk, v+xv+1) *m) = (l_dk) * (l_ek), Mk(j*m+i,ceil ( Δ xkj u) +xu+f10r ( Δ xk> v+xv+l)*m+x) = (l_dk)*ek,其中操作符 ceil (.)表示取大于或者等于指定值的最小整數(shù)，對(duì)于矩陣Mk的第j*m+i行中的除這四列以外的其他元素值為零。
7.根據(jù)權(quán)利要求1所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟⑶計(jì)算非局部先驗(yàn)參數(shù)
8.根據(jù)權(quán)利要求1所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟(3)中相似圖像的歐式閾值采用的最大加權(quán)歐式距離為4 σ2，也即:
9.根據(jù)權(quán)利要求1所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟(4)利用非局部先驗(yàn)參數(shù)、歐式閾值，且以插值圖像i作為高分辨圖像X的初始圖像，計(jì)算出插值圖像I中每個(gè)像素點(diǎn)(i，j)與其他像素點(diǎn)(i，j)的相似度權(quán)重Wnlm[i, j ；s, t],利用相似度權(quán)重Wn1m構(gòu)建非局部權(quán)重矩陣S包含如下步驟:(41)計(jì)算每個(gè)以坐標(biāo)(i，j)為中心的像素塊與其鄰域N(i，j)內(nèi)以坐標(biāo)(i，j)為中心的像素塊的相似度
10.根據(jù)權(quán)利要求1所述的基于復(fù)合運(yùn)動(dòng)和自適應(yīng)非局部先驗(yàn)的超分辨率重建方法，其特征在于:所述步驟(5)中當(dāng)||龍〃-1 II" /Il Xii 1『<104時(shí)，迭代終止，其中η為迭代次數(shù)。
【文檔編號(hào)】G06T5/50GK103824273SQ201410103217
【公開(kāi)日】2014年5月28日 申請(qǐng)日期:2014年3月19日 優(yōu)先權(quán)日:2014年3月19日
【發(fā)明者】陳帥, 陳斌, 何易德, 趙雪專(zhuān) 申請(qǐng)人:中科院成都信息技術(shù)股份有限公司