本發(fā)明涉及視頻圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于結(jié)構(gòu)保持的圖像放大方法。

背景技術(shù)：

隨著數(shù)碼產(chǎn)品的普及，圖像作為人類獲取信息的主要來源，得到了越來越廣泛的應(yīng)用。同時(shí)，數(shù)字圖像處理技術(shù)也得到了迅速發(fā)展。而視頻圖像的采集是數(shù)字圖像處理系統(tǒng)中一個(gè)關(guān)鍵的步驟。在數(shù)字化采集過程中，受以下幾個(gè)因素的影響，圖像分辨率和圖像質(zhì)量會(huì)下降。采樣頻率，欠采樣使得圖像的頻譜混疊，因變形效應(yīng)而發(fā)生降質(zhì)。大氣擾動(dòng)、脫焦、傳感器尺寸以及圖像采集設(shè)備和被拍攝物體之間的相對運(yùn)動(dòng)，會(huì)造成圖像的模糊。而在圖像的獲取、傳輸和存儲(chǔ)過程中，也會(huì)引入噪聲，如高斯噪聲，也會(huì)使圖像發(fā)生降質(zhì)。

因此，如何提高圖像的分辨率和質(zhì)量，使其盡可能的接近原始的圖像成為近年來國際上圖像處理領(lǐng)域的研究熱點(diǎn)之一。而隨著圖像處理技術(shù)的發(fā)展和計(jì)算機(jī)計(jì)算能力的不斷提升，視頻圖像的超分辨率重建技術(shù)為低分辨率圖像的重建提供了很好的解決方案。它可以將一系列低分辨率的圖像按一定的比例放大，最終產(chǎn)生一幅或者多幅高分辨率的圖像，并且很好的保持原圖的結(jié)構(gòu)。

現(xiàn)有的超分辨率重建方法主要分為三大類。第一類是基于插值的超分辨率技術(shù)。第二類是基于重建的超分辨率技術(shù)。第三類是基于學(xué)習(xí)的超分辨率技術(shù)。簡單的線性插值技術(shù)，比如雙線性和雙三次插值，計(jì)算簡單但是會(huì)產(chǎn)生鋸齒效應(yīng)，同時(shí)也會(huì)模糊邊緣。為了更好的保持邊緣的銳度，很多基于邊緣指導(dǎo)的插值方法被相繼提出。有研究者在2001年提出在低分辨率圖像上估計(jì)高分辨率圖像的協(xié)方差，然后用該協(xié)方差來進(jìn)行插值。另有研究者在2008年提出一種基于分塊的自回歸模型，一次估計(jì)整塊像素。另有研究者在2012年提出一種魯棒的軟決策插值技 術(shù)，在參數(shù)和像素的估計(jì)中，都采用加權(quán)最小二乘法。然后，這些方法都只考慮了邊緣部分的重建，沒有考慮紋理部分的重建。

基于重建的超分辨率技術(shù)，是模擬圖像降質(zhì)的反過程，去解一個(gè)優(yōu)化方程。圖像降質(zhì)過程是，一幅高分辨率圖像，經(jīng)過模糊之后，降采樣得到低分辨率圖像。另有研究者在2005年提出的基于圖像總變差分的方法是該類方法中很有代表性的一個(gè)。在該方法中，圖像的總變差分作為約束項(xiàng)，加到優(yōu)化方程中，從而約束問題的解。它在保持邊緣銳度的同時(shí)可以極大的抑制人造效應(yīng)。另有研究者在2011年提出通過低分辨率圖像的梯度來估計(jì)高分辨率圖像邊緣的梯度，然后把估計(jì)得到的梯度作為約束項(xiàng)，加入到優(yōu)化方程中。

近年來，一些基于學(xué)習(xí)的超分辨率重建方法也不斷被提出。另有研究者在2010年提出一種基于稀疏表示的超分辨率重建方法。該方法提出，圖像塊可以被一個(gè)超完備的字典中的元素通過線性組合的方式表示，其中，非零系數(shù)的個(gè)數(shù)會(huì)盡可能的少。所以，首先產(chǎn)生兩個(gè)超完備的字典集合，這兩個(gè)集合中的圖像塊是一一對應(yīng)的，分別是低分辨率圖像和高分辨率圖像。對于輸入的任意低分辨率圖像塊，在低分辨率字典中尋找一種稀疏表示，然后用這一組稀疏在高分辨率字典中生成高分辨率圖像塊。另有研究者在2016年提出使用深度學(xué)習(xí)的方法來重建高分辨率圖像?；痉椒ㄊ牵啥嘟M低分辨率和高分辨率圖像對，然后把低分辨率圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，把高分辨率圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸出，訓(xùn)練網(wǎng)絡(luò)。對于訓(xùn)練好的網(wǎng)絡(luò)，把任意低分辨率圖像作為輸入，產(chǎn)生高分辨率圖像作為重建結(jié)果。

現(xiàn)有技術(shù)的算法是基于插值的方法，雖然計(jì)算量低，但是重建的效果差?；谥亟ǖ姆椒ǎ荒芡瑫r(shí)將邊緣和紋理兩個(gè)部分都很好地重建?；趯W(xué)習(xí)的方法計(jì)算復(fù)雜度高，而且對于訓(xùn)練庫的選擇也有很強(qiáng)的依賴性。

本發(fā)明提供一種基于結(jié)構(gòu)保持的圖像放大方法，能夠很好地對圖像的邊緣結(jié)構(gòu)和紋理結(jié)構(gòu)進(jìn)行重建。首先，采用改進(jìn)的非局部均值方法對高分辨率圖像的梯度進(jìn)行估計(jì)，然后通過梯度來指導(dǎo)邊緣像素的插值。之后，采用梯度估計(jì)階段使 用的非局部均值方法對插值圖像進(jìn)行后處理，去除插值引入的噪聲和人造效應(yīng)。最后，把插值的圖像作為初始結(jié)果，其梯度作為約束，采用基于重建的方法，得到最終的高分辨率圖像。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一種圖像放大方法，包括：梯度值估計(jì)步驟，其中采用改進(jìn)的非局部均值方法對高分辨率圖像的梯度進(jìn)行估計(jì)；梯度指導(dǎo)插值步驟，其中利用所述梯度值對邊緣像素的插值進(jìn)行指導(dǎo)；插值結(jié)果修正步驟，其中采用梯度估計(jì)階段使用的非局部均值方法對插值圖像進(jìn)行后處理，去除插值引入的噪聲和人造效應(yīng)；以及紋理結(jié)構(gòu)重建步驟，其中把插值的圖像作為初始結(jié)果，將其梯度作為約束，采用基于重建的方法，得到最終的高分辨率圖像。

在本發(fā)明的圖像放大方法中，所述梯度值估計(jì)步驟包括相似性度量步驟和高分辨率梯度估計(jì)步驟。

在本發(fā)明的圖像放大方法中，所述相似性度量步驟中，通過圖像塊的相似性來定義像素點(diǎn)的相似性，其中，假設(shè)當(dāng)前像素點(diǎn)為y(i,j)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(i,j)，并假設(shè)圖像中另一像素點(diǎn)為y(m,n)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(m,n)，通過相應(yīng)圖像塊的灰度強(qiáng)度相似性對像素點(diǎn)y(i,j)和y(m,n)之間的相似性進(jìn)行估計(jì)。

在本發(fā)明的圖像放大方法中，所述圖像塊之間的灰度強(qiáng)度差異由公式(1)定義：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

給像素點(diǎn)y(m,n)賦予一個(gè)權(quán)值，用來度量相似度，如公式(2)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}---\left(2\right)$

其中，Z(i,j)是歸一化常量，代表所有權(quán)值的總和，參數(shù)σ1對指數(shù)方程的 衰減速度進(jìn)行控制。

在本發(fā)明的圖像放大方法中，所述高分辨率梯度估計(jì)步驟中，首先使用傳統(tǒng)的雙三次插值處理低分辨率圖像，得到初始的高分辨率圖像，然后運(yùn)用Sobel算子對初始高分辨率圖像進(jìn)行卷積運(yùn)算，得到高分辨率圖像的梯度近似估計(jì)。

在本發(fā)明的圖像放大方法中，梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\∈S\×S}{\Σ}\mathrm{\ω}(m,n)G(m,n)---\left(3\right)$

其中，窗口S×S大小設(shè)置為21×21。

在本發(fā)明的圖像放大方法中，所述梯度指導(dǎo)插值步驟中，將平面劃分為8個(gè)方向區(qū)間。

${\mathrm{\&beta;}}_k=\left\{\mathrm{\&theta;}\right|\frac{k\mathrm{\&pi;}}{4}-\frac{\mathrm{\&pi;}}{8}\&le;\mathrm{\&theta;}<\frac{k\mathrm{\&pi;}}{4}+\frac{\mathrm{\&pi;}}{8}\},k=0,1,...,7$

將8個(gè)方向再細(xì)分為兩類，分別是Ω₁＝{β₁,β₃,β₅,β₇}和Ω₂＝{β₀,β₂,β₄,β₆}。假設(shè)Mi的梯度方向是θ_M，如果θ_M屬于Ω₁，如圖5所示，將黑色點(diǎn)投影到梯度方向，并假設(shè)P(ij)為投影長度，Nj的權(quán)值如公式4定義：

$w\left(j\right)=\frac{1}{C\left(i\right)}{e}^{-\frac{P(i,j)}{\mathrm{\&sigma;}2}}---\left(4\right)$

其中，C(i)是歸一化參數(shù)，代表所有權(quán)值的總和，σ2控制指數(shù)方程的衰減速度。

在本發(fā)明的圖像放大方法中，將灰度差更大的一側(cè)權(quán)值賦為0，其中，σ2取0.2，閾值T取50。

在本發(fā)明的圖像放大方法中，在所述紋理結(jié)構(gòu)重建中，假設(shè)輸入的低分辨率圖像為I_l，插值圖像為采用基于重建的超分辨率技術(shù)，把插值圖像的梯度作 為約束條件，在保證邊緣的同時(shí)重建出圖像的紋理，通過解以下方程來得到高分辨率圖像：

其中，是卷積運(yùn)算，G表示高斯核函數(shù)，↓(n)表示比例為n的降采樣，Ψ是梯度提取操作的集合，方程的第一項(xiàng)是數(shù)據(jù)保真度，第二項(xiàng)是梯度約束項(xiàng)。

在本發(fā)明的圖像放大方法中，為求解所述方程，采用梯度下降法，如下式(6)所示：

其中，t是迭代次數(shù)，τ是迭代步長，↑(n)表示比例為n的上采樣，梯度提取操作采用水平方向和垂直方向兩個(gè)Sobel算子，高斯核函數(shù)G取均值為0、標(biāo)準(zhǔn)差為1的高斯函數(shù)，降采樣比例和升采樣比例都為2，迭代步長τ為0.1，λ取0.2。迭代次數(shù)取30。

附圖說明

圖1是表示本發(fā)明的圖像放大方法的主流程圖。

圖2是表示本發(fā)明的圖像放大方法的梯度值估計(jì)步驟的子流程圖。

圖3是表示本發(fā)明的圖像放大方法的高分辨率梯度值估計(jì)步驟的子流程圖。

圖4是表示待插值像素和已知像素空間位置關(guān)系圖。

圖5是表示對白色正方形標(biāo)記的像素點(diǎn)進(jìn)行插值的示意圖。

圖6是表示對白色圓點(diǎn)標(biāo)記的像素點(diǎn)進(jìn)行插值的示意圖。

圖7(a)～圖7(b)是對圖像進(jìn)行修正前后的效果對比圖。

圖8(a)～圖8(b)是重建前后的低分辨率圖像和高分辨率圖像的對比圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，下面將結(jié)合本發(fā)明實(shí) 施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1的流程圖所示，本發(fā)明的一種圖像放大方法包括：梯度值估計(jì)步驟S1，其中采用改進(jìn)的非局部均值方法對高分辨率圖像的梯度進(jìn)行估計(jì)；梯度指導(dǎo)插值步驟S2，其中利用梯度值對邊緣像素的插值進(jìn)行指導(dǎo)；插值結(jié)果修正步驟S3，其中采用梯度估計(jì)階段使用的非局部均值濾波方法對插值圖像進(jìn)行后處理，去除插值引入的噪聲和人造效應(yīng)；以及紋理結(jié)構(gòu)重建步驟S4，其中把插值的圖像作為初始結(jié)果，將其梯度作為約束，采用基于重建的方法，得到最終的高分辨率圖像。

如圖2的子流程圖所示，梯度值估計(jì)步驟S1包括相似性度量步驟S11和高分辨率梯度估計(jì)步驟S12。在相似性度量步驟S11中，通過圖像塊的相似性來定義像素點(diǎn)的相似性，假設(shè)當(dāng)前像素點(diǎn)為y(i,j)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(i,j)，并假設(shè)圖像中另一像素點(diǎn)為y(m,n)，其周邊N×N的像素點(diǎn)組成的圖像塊為N(m,n)，通過相應(yīng)圖像塊的灰度強(qiáng)度相似性對像素點(diǎn)y(i,j)和y(m,n)之間的相似性進(jìn)行估計(jì)。

另外，圖像塊之間的灰度強(qiáng)度差異由公式(1)定義：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

給像素點(diǎn)y(m,n)賦予一個(gè)權(quán)值，用來度量相似度，如公式(2)所示：

$\mathrm{\&omega;}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\&sigma;}1}}---\left(2\right)$

其中，Z(i,j)是歸一化常量，代表所有權(quán)值的總和，參數(shù)σ1對指數(shù)方程的衰減速度進(jìn)行控制。這里，圖像塊之間的差異越大，賦予相應(yīng)像素點(diǎn)的權(quán)值越小， 反之，則權(quán)值越大。塊大小N×N設(shè)置為7×7。σ1大小取7×7圖像塊的方差。

另外，如圖3的子流程圖所示，在高分辨率梯度估計(jì)S12中，首先使用傳統(tǒng)的雙三次插值處理低分辨率圖像，得到初始的高分辨率圖像，然后運(yùn)用Sobel算子對初始高分辨率圖像進(jìn)行卷積運(yùn)算，得到高分辨率圖像的梯度近似估計(jì)。假設(shè)對低分辨率圖像進(jìn)行兩倍放大，如圖4所示，其中黑色的點(diǎn)是低分辨率圖像放大后再高分辨率圖像中所在位置，白色點(diǎn)是待插值的像素點(diǎn)。接下來，對待插值像素點(diǎn)的梯度進(jìn)行修正。根據(jù)上一步驟像素點(diǎn)相似性度量，假設(shè)y(i,j)為圖中任意白色的待插值像素點(diǎn)，初始梯度為G(i,j)。y(m,n)為任意黑色的已知低分辨率像素點(diǎn)，梯度為G(m,n)。y(i,j)修正后的梯度為其周邊S×S窗口大小內(nèi)所有黑色點(diǎn)y(m,n)梯度的加權(quán)平均，權(quán)值就是步驟一中估計(jì)的權(quán)值。這里，梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\&Element;S\&times;S}{\&Sigma;}\mathrm{\&omega;}(m,n)G(m,n)---\left(3\right)$

其中，窗口S×S大小設(shè)置為21×21。

另外，在梯度指導(dǎo)插值步驟中，如圖4所示，白色的點(diǎn)是待插值像素，分兩步進(jìn)行插值。第一步是對白色正方形標(biāo)記的像素點(diǎn)進(jìn)行插值，第二步對白色圓點(diǎn)標(biāo)記的像素點(diǎn)進(jìn)行插值。第一步插值像素點(diǎn)和已知像素點(diǎn)之間的位置關(guān)系如圖5所示，Mi是待插值像素點(diǎn)，Nj,j＝1,2,3,4是已知的低分辨率像素點(diǎn)，Mi的值就是Nj的加權(quán)平均。將平面劃分為8個(gè)方向區(qū)間。

${\mathrm{\&beta;}}_k=\left\{\mathrm{\&theta;}\right|\frac{k\mathrm{\&pi;}}{4}-\frac{\mathrm{\&pi;}}{8}\&le;\mathrm{\&theta;}<\frac{k\mathrm{\&pi;}}{4}+\frac{\mathrm{\&pi;}}{8}\},k=0,1,...,7$

將8個(gè)方向再細(xì)分為兩類，分別是Ω₁＝{β₁,β₃,β₅,β₇}和Ω₂＝{β₀,β₂,β₄,β₆}。假設(shè)Mi的梯度方向是θ_M，如果θ_M屬于Ω₁，如圖5所示，將黑色點(diǎn)投影到梯度方向，并假設(shè)P(ij)為投影長度，Nj的權(quán)值如公式4定義：

$w\left(j\right)=\frac{1}{C\left(i\right)}{e}^{-\frac{P(i,j)}{\mathrm{\&sigma;}2}}---\left(4\right)$

其中，C(i)是歸一化參數(shù)，代表所有權(quán)值的總和，σ2控制指數(shù)方程的衰減速度。如果如果θ_M屬于Ω₂，如圖5所示，相鄰像素點(diǎn)的投影長度幾乎一致，也就是說權(quán)值也幾乎一致，因此，需要對權(quán)值進(jìn)行修正，以保持該類方向邊緣的銳度。修正的方法就是比較待插值像素點(diǎn)兩側(cè)的梯度強(qiáng)度，假設(shè)梯度方向是垂直方向，則比較上下兩側(cè)的梯度強(qiáng)度，分別是兩側(cè)兩個(gè)點(diǎn)的梯度之和。如果梯度之差大于閾值T，將梯度大的一側(cè)權(quán)值賦為0。如果小于T，則繼續(xù)比較兩側(cè)像素和待插值像素之間的灰度差，兩側(cè)像素的灰度分別是兩側(cè)中兩個(gè)像素的灰度均值。將灰度差更大的一側(cè)權(quán)值賦為0。其中，σ2取0.2。閾值T取50。第二步插值像素點(diǎn)和已知像素點(diǎn)之間的位置關(guān)系如圖6所示。第一步中已插值的像素點(diǎn)可以當(dāng)作已知像素點(diǎn)，將圖像旋轉(zhuǎn)45度，第二步中未知像素和已知像素之間空間位置關(guān)系和圖5中一致，因此，沿用第一步中的插值方法。

以上插值在保持邊緣的同時(shí)也會(huì)引入一些鋸齒，所以，在這一步驟中對插值的結(jié)果進(jìn)行修正。如圖4所示，對于每個(gè)被白色點(diǎn)標(biāo)記的像素點(diǎn)，使用周邊S×S窗口內(nèi)被黑色標(biāo)記的像素點(diǎn)進(jìn)行加權(quán)平均來得到修正后的灰度值。使用步驟一中像素點(diǎn)之間的相似性對權(quán)值進(jìn)行估計(jì)。修正前和修正后結(jié)果對比圖如圖7所示。窗口大小也為21×21。

以上步驟主要是對圖像的邊緣結(jié)構(gòu)進(jìn)行重建。在該紋理結(jié)構(gòu)重建步驟中，在保證已重建邊緣的前提下，對紋理結(jié)構(gòu)進(jìn)行重建。假設(shè)輸入的低分辨率圖像為I_l，插值圖像為采用基于重建的超分辨率技術(shù)，把插值圖像的梯度作為約束條件，在保證邊緣的同時(shí)重建出圖像的紋理，通過求解以下方程來得到高分辨率圖像：

其中，是卷積運(yùn)算，G表示高斯核函數(shù)，↓(n)表示比例為n的降采樣，Ψ是梯度提取操作的集合，方程的第一項(xiàng)是數(shù)據(jù)保真度，第二項(xiàng)是梯度約束項(xiàng)。λ控制著兩部分的相對權(quán)重，λ越大，梯度約束項(xiàng)權(quán)重越大，可以產(chǎn)生更銳利的邊緣。 為求解所述方程，采用梯度下降法，如下式(6)所示：

其中，t是迭代次數(shù)，τ是迭代步長，↑(n)表示比例為n的上采樣，梯度提取操作采用水平方向和垂直方向兩個(gè)Sobel算子，高斯核函數(shù)G取均值為0、標(biāo)準(zhǔn)差為1的高斯函數(shù)，降采樣比例和升采樣比例都為2，迭代步長τ為0.1，λ取0.2。迭代次數(shù)取30。如圖8所示，(a)是輸入重建前的低分辨率圖像，(b)是重建后的高分辨率圖像。

本發(fā)明的基于結(jié)構(gòu)保持的圖像放大方法中，充分利用圖像的局部和非局部結(jié)構(gòu)信息，在梯度估計(jì)中，利用相似結(jié)構(gòu)具有相似梯度信息這一特性，采用基于灰度強(qiáng)度和灰度分布的非均值濾波，精確地對待插值像素的精度進(jìn)行估計(jì)，同時(shí)使算法更具魯棒性。在插值階段，將平面分為8個(gè)方向區(qū)間，對不同方向的邊緣采用不同的插值方法，從而使得各個(gè)方向的邊緣銳度都得到保持。在插值完成之后，采用非局部均值濾波進(jìn)行后處理，可以顯著的去除插值引入的鋸齒效應(yīng)，同時(shí)保持邊緣的銳度。另一方面，將插值得到的圖像作為初始的結(jié)果，并將其梯度作為約束項(xiàng)，采用基于重建的超分辨率技術(shù)，在保持邊緣的銳度的同時(shí)對圖像的紋理部分進(jìn)行重建，從而使本方法可以同時(shí)對圖像的邊緣和紋理進(jìn)行很好的重建，為后續(xù)的應(yīng)用奠定了基礎(chǔ)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。