一種對(duì)圖像進(jìn)行超分辨的方法
【專利摘要】本發(fā)明涉及一種對(duì)圖像進(jìn)行超分辨的方法，屬于計(jì)算機(jī)視覺(jué)領(lǐng)域。所述方法包括，A1:數(shù)據(jù)預(yù)處理：由一定數(shù)量的高分辨率自然圖像構(gòu)成數(shù)據(jù)集，從數(shù)據(jù)集中提取一定數(shù)量的圖像小塊，對(duì)圖像小塊進(jìn)行3倍比例的Bicubic(雙三次插值)下采樣與上采樣，從而得到分辨率較低的圖像。A2:網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)總共有4層。A3:超參數(shù)的選?。褐饕_定網(wǎng)絡(luò)學(xué)習(xí)速率，學(xué)習(xí)動(dòng)量，batch_size等參數(shù)。A4:網(wǎng)絡(luò)訓(xùn)練并優(yōu)化超參數(shù)：對(duì)訓(xùn)練集內(nèi)的所有圖片，訓(xùn)練從低分辨率圖像到對(duì)應(yīng)高分辨率圖像的卷積神經(jīng)網(wǎng)絡(luò)。訓(xùn)練好的網(wǎng)絡(luò)，輸入任意一張圖像之后就可以獲取高分辨率圖像，從而實(shí)現(xiàn)圖像的超分辨。
【專利說(shuō)明】
-種對(duì)圖像進(jìn)行超分辨的方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計(jì)算機(jī)視覺(jué)領(lǐng)域，特別設(shè)及一種對(duì)單幅圖像進(jìn)行超分辨的方法。
【背景技術(shù)】
[0002] 圖像的超分辨率就是將低分辨率的圖像經(jīng)過(guò)一定的算法提升到高分辨率。而高分 辨率圖像具有更高的像素密度，更多的細(xì)節(jié)信息，更細(xì)膩的畫(huà)質(zhì)。獲得高分辨率圖像最直接 的辦法就是采用高分辨率的相機(jī)，但在實(shí)際應(yīng)用過(guò)程中，受成本和工藝等的限制，大部分場(chǎng) 合都不會(huì)采用高分辨、超分辨率的相機(jī)來(lái)進(jìn)行圖像信號(hào)的采集。因此，通過(guò)一定的算法來(lái)獲 取超分辨率的圖像有很大的應(yīng)用需求。目前用于超分辨的技術(shù)大致有：（1)基于插值的方 法；（2)基于模型的方法；（3)基于學(xué)習(xí)的方法。而基于學(xué)習(xí)的方法基本思路是借助訓(xùn)練樣本 來(lái)計(jì)算得到高分辨率、低分辨率之間的先驗(yàn)知識(shí)，并建立兩者之間的映射模型。目前基于學(xué) 習(xí)的方法效果上是最好的。現(xiàn)有技術(shù)主要停留在科學(xué)研究領(lǐng)域，并不考慮工程實(shí)用性，雖然 有些超分辨方法可達(dá)到較好的效果，但其速度達(dá)不到實(shí)用要求。
[0003] 因而，有必要在運(yùn)種方法的基礎(chǔ)上進(jìn)行深入改進(jìn)，從而達(dá)到盡可是能最佳的超分 辨效果并且提升應(yīng)用時(shí)的速度。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種對(duì)圖像進(jìn)行超分辨的方法。
[0005] 為此，本發(fā)明提出的一種對(duì)圖像進(jìn)行超分辨的方法，包括如下步驟:A1、數(shù)據(jù)預(yù)處 理:從一組較高分辨率圖像中通過(guò)采樣方法得到一組較低分辨率圖像;A2、設(shè)計(jì)卷積神經(jīng)網(wǎng) 絡(luò):在步驟A1同時(shí)或之前或之后，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)卷積神經(jīng)網(wǎng)絡(luò);A3、卷積神經(jīng)網(wǎng)絡(luò)的初步 訓(xùn)練及超參數(shù)的選取：隨機(jī)選取部分低分辨率圖片，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到超參 數(shù);A4、卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)一步訓(xùn)練:對(duì)訓(xùn)練集內(nèi)的所有圖片，訓(xùn)練從低分辨率圖像到對(duì)應(yīng) 高分辨率圖像的卷積神經(jīng)網(wǎng)絡(luò)，獲得卷積神經(jīng)網(wǎng)絡(luò)全部各層的濾波器W1、W2、……Wn和偏置 參數(shù)和B1、B2、……化，其中η表示層數(shù);A5、利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，輸入一張普通分辨 率的圖片就可W輸出一張高分辨率的圖片，從而實(shí)現(xiàn)圖像的超分辨。
[0006] 本發(fā)明的優(yōu)點(diǎn)在于:本發(fā)明通過(guò)多層卷積神經(jīng)網(wǎng)絡(luò)把模型進(jìn)行了很多壓縮，直接 對(duì)低分辨率到高分辨率圖像進(jìn)行端對(duì)端的學(xué)習(xí)，從而達(dá)到了很快的速度與很好的效果。通 過(guò)實(shí)驗(yàn)證實(shí)，本發(fā)明的方法相對(duì)于傳統(tǒng)的方法有較大提升，并且在網(wǎng)絡(luò)訓(xùn)練完后，應(yīng)用時(shí)速 度很快。
【附圖說(shuō)明】
[0007] 圖1是本發(fā)明實(shí)施例得到卷積神經(jīng)網(wǎng)絡(luò)的流程示意圖。
[000引圖2是本發(fā)明實(shí)施例卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)的選取流程示意圖。
[0009]圖3Α、3Β是本發(fā)明所提出的方法的網(wǎng)絡(luò)應(yīng)用示意圖，其中圖3Α是應(yīng)用流程，圖3Β是 與圖3Α相對(duì)應(yīng)的形象化圖示。
【具體實(shí)施方式】
[0010] 圖1是本發(fā)明實(shí)施例的流程示意圖。
[0011] 下面詳述其處理步驟如下：
[0012] A1.數(shù)據(jù)預(yù)處理：（圖中10U102)
[0013] 首先得到由一定數(shù)量圖片組成的數(shù)據(jù)集，然后對(duì)數(shù)據(jù)集中的圖片進(jìn)行3倍比例的 Bicubic(雙Ξ次插值)下采樣，再進(jìn)行Bicubic上采樣，從而得到分辨率較低的圖像。再對(duì)低 分辨率的圖像取33*33的圖像小塊，運(yùn)樣100張512*512的圖片就可W得到大約50萬(wàn)張訓(xùn)練 集圖片。我們?nèi)∑渲?0%組成測(cè)試集來(lái)對(duì)網(wǎng)絡(luò)的最后性能進(jìn)行測(cè)試，10%作為驗(yàn)證集，主要 用來(lái)選取網(wǎng)絡(luò)的超參數(shù)。
[0014] A2.卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的設(shè)計(jì)(圖1中103)，本實(shí)施例中，卷積神經(jīng)網(wǎng)絡(luò)總共有4層：
[0015] (1)第一層卷積主要是特征提取與表示，其數(shù)學(xué)描述為：
[0016] Fi(Y)=max(0，Wi 巧+Bi)
[0017] Wi和Bi分別代表濾波器和偏置，*代表卷積操作，運(yùn)里Wi相對(duì)應(yīng)于64個(gè)3*9*9的濾波 器，3代表通道數(shù)，9*9代表濾波器的大小。直觀一點(diǎn)講就是Wi應(yīng)用64個(gè)卷積層到圖像，然后 每個(gè)卷積核的大小是3*9*9，Bi是一個(gè)64維的向量，其值與濾波器的值相對(duì)應(yīng)。輸出是64張 特征圖，之后再對(duì)輸出圖像的每個(gè)像素應(yīng)用修正非線性單元(Rectified Linear化it=: max(0，x))進(jìn)行非線性變換。
[0018] (2)第二層:對(duì)于每一個(gè)低分辨率圖像，第一層抽取一個(gè)64維的特征圖。然后第二 步我們對(duì)于每個(gè)64維的向量，找到對(duì)應(yīng)于32維向量的映射。運(yùn)就相當(dāng)于使用32個(gè)1*1的濾波 器?？蒞用數(shù)學(xué)描述為：
[0019] F2(Y)=max(0，W2 沖 i(Y)+B2)
[0020] W2包含32個(gè)大小為3*1*1的濾波器，B2是一個(gè)32維的向量。運(yùn)層的每一個(gè)輸出都代 表一個(gè)高分辨率的圖像小塊用來(lái)為后面的高分辨重建做準(zhǔn)備。
[0021] (3)第Ξ層:之后我們又加入1個(gè)1*1的卷積模板：
[0022] F3(Y)=W3 沖 2(Y)+B3
[0023] 化包含1個(gè)1x1的矩陣(卷積模板），B3為1個(gè)偏置(常數(shù)）
[0024] (4)傳統(tǒng)的方法通過(guò)預(yù)測(cè)重疊的高分辨率小塊求均值來(lái)產(chǎn)生最后的高分辨率圖 像，受此啟發(fā)我們又加了一個(gè)卷積層來(lái)得到最后高分辨率的圖像：
[0025] f(Y)=W4 沖 3(Y)+B4
[0026] W4包含1個(gè)5巧的卷積模板巧巧的矩陣），B3為其對(duì)應(yīng)的偏置。
[0027] A3.網(wǎng)絡(luò)的初步訓(xùn)練及超參數(shù)的選取(圖1中104-108):
[0028] 主要對(duì)網(wǎng)絡(luò)的學(xué)習(xí)速率W及每次訓(xùn)練的樣本數(shù)進(jìn)行篩選，使網(wǎng)絡(luò)可W更快的進(jìn)行 訓(xùn)練。首先我們隨機(jī)選1000張圖片，把其輸入網(wǎng)絡(luò)，觀察優(yōu)化函數(shù)C的變化(優(yōu)化函數(shù)的說(shuō)明 見(jiàn)下面A4)，直到找到一個(gè)學(xué)習(xí)速率闊值!!(也就是在此學(xué)習(xí)速率上優(yōu)化函數(shù)既不上升也不 下降），然后學(xué)習(xí)速率就取為此值的一半（臨近闊值容易引起不穩(wěn)定，太小又會(huì)導(dǎo)致收斂速 度慢），運(yùn)里我們使用0.001，并且此時(shí)的迭代次數(shù)即取為訓(xùn)練迭代次數(shù)e。每次進(jìn)入網(wǎng)絡(luò)訓(xùn) 練的圖片數(shù)batch_size太多會(huì)導(dǎo)致訓(xùn)練很慢，太少又不能很好的利用現(xiàn)代計(jì)算機(jī)的優(yōu)點(diǎn)， 其選擇原則為使網(wǎng)絡(luò)在驗(yàn)證集上的準(zhǔn)確率更高為標(biāo)準(zhǔn)，運(yùn)里我們選擇64。如圖2所示。
[0029] 迭代次數(shù)主要看網(wǎng)絡(luò)在其沒(méi)有見(jiàn)過(guò)的數(shù)據(jù)(測(cè)試集)上的表現(xiàn)，我們會(huì)定時(shí)對(duì)網(wǎng)絡(luò) 進(jìn)行測(cè)試，網(wǎng)絡(luò)會(huì)一直訓(xùn)練直至其在測(cè)試集上的表現(xiàn)不再上升。
[0030] "batch_size"為每次訓(xùn)練網(wǎng)絡(luò)時(shí)輸入訓(xùn)練數(shù)據(jù)集的多少，理論上講batch_size越 大越好，但其實(shí)現(xiàn)實(shí)中，batch_size越小，隨機(jī)性越強(qiáng)，可W使網(wǎng)絡(luò)探索更多的"空間"，目前 其選擇主要看服務(wù)器內(nèi)存大小。
[0031] A4.網(wǎng)絡(luò)的進(jìn)一步訓(xùn)練(繼續(xù)運(yùn)行圖1中104-108):對(duì)訓(xùn)練集內(nèi)的所有圖片，訓(xùn)練從 低分辨率圖像到對(duì)應(yīng)高分辨率圖像的卷積神經(jīng)網(wǎng)絡(luò)。
[0032] 首先，學(xué)習(xí)運(yùn)樣一個(gè)端對(duì)端的神經(jīng)網(wǎng)絡(luò)需要估計(jì)參數(shù)Θ = {Wi，化，W3，W4，Bi，B2，B3， B4}的值。我們通過(guò)最小化經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)重建后的圖像與相應(yīng)的高分辨率圖像之間的 差值來(lái)估計(jì)運(yùn)些參數(shù)。（其中胖1，胖2，胖3，胖4,81，82,83,84都是上面步驟42中提到過(guò)）。
[0033] (1)我們選擇最小平方誤差為我們的優(yōu)化函數(shù)：
[0034]
[0035] 其中η為訓(xùn)練數(shù)據(jù)集的數(shù)量，y為高分辨率圖像上像素的值，a為低分辨率圖像經(jīng)過(guò) 網(wǎng)絡(luò)后相應(yīng)位置上的像素值。
[0036] (2)通過(guò)對(duì)優(yōu)化函數(shù)連續(xù)求偏導(dǎo)數(shù)我們得到：
[0037]
[0038] 其中δ與Z是為方便計(jì)算而引入的媒介值，而〇(x)=max(0，x)
[0039] 繼而得到：
[0043] 來(lái)連接每層之間的關(guān)系。1代表第1層。
[0044] 從而又有：
[0045]
[0046] 來(lái)計(jì)算出優(yōu)化函數(shù)對(duì)于每一個(gè)權(quán)值W及偏置的偏導(dǎo)數(shù)。
[0047] 最后：
[0051] 此公式中，0.9為學(xué)習(xí)動(dòng)量值，其作用為加速神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。比如在更新當(dāng)前權(quán) 值時(shí)，如果對(duì)于此權(quán)值，前幾次更新如果目標(biāo)函數(shù)對(duì)于此權(quán)值的梯度均是同樣的方向（增加 或減?。?。那么學(xué)習(xí)動(dòng)量就可W讓其加速向運(yùn)個(gè)方向變化。
[0052] 從而不斷地更新權(quán)值，直到最后10次迭代優(yōu)化函數(shù)沒(méi)有再下降就停止訓(xùn)練。此時(shí) 卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)Θ = {Wi，W2，化，W4，Bi，化，B3，B4}的值就是我們需要的值。
[0053] 訓(xùn)練好的網(wǎng)絡(luò)就可W直接拿來(lái)使用，輸入一張普通分辨率的圖片就可W輸出一張 高分辨率的圖片。如圖3B所示是輸入一副圖像得到超分辨圖像的示例，取得了較好的超分 辨效果。
[0054] W上所述僅為本發(fā)明的實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā) 明說(shuō)明書(shū)及附圖內(nèi)容所作的等效裝置或等效方法變換，或直接或間接運(yùn)用在其他相關(guān)的技 術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種對(duì)圖像進(jìn)行超分辨的方法，其特征在于包括如下步驟： A1、數(shù)據(jù)預(yù)處理:從一組較高分辨率圖像中通過(guò)采樣方法得到一組較低分辨率圖像； A2、設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò):在步驟A1同時(shí)或之前或之后，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)； A3、卷積神經(jīng)網(wǎng)絡(luò)的初步訓(xùn)練及超參數(shù)的選取:隨機(jī)選取部分低分辨率圖片，對(duì)卷積神 經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到超參數(shù)； A4、卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)一步訓(xùn)練:對(duì)訓(xùn)練集內(nèi)的所有圖片，訓(xùn)練從低分辨率圖像到對(duì)應(yīng) 高分辨率圖像的卷積神經(jīng)網(wǎng)絡(luò)，獲得卷積神經(jīng)網(wǎng)絡(luò)全部各層的濾波器W1、W2、……Wn和偏置 參數(shù)和B1、B2、......Bn，其中η表示層數(shù)； Α5、利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，輸入一張普通分辨率的圖片就可以輸出一張高分辨 率的圖片，從而實(shí)現(xiàn)圖像的超分辨。2. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征在于:步驟Α1中的采樣方法是 進(jìn)行3倍比例的Bicubic下采樣。3. 如權(quán)利要求2所述的對(duì)圖像進(jìn)行超分辨的方法，其特征在于:所述Bicubic下采樣是3 倍比例的Bicubic下采樣;并且在下采樣之后還進(jìn)行Bicubic上采樣。4. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征在于:步驟A2中卷積神經(jīng)網(wǎng)絡(luò) 包括第一層:特征提取與表示層，其數(shù)學(xué)描述為： Fi(Y) =max(0 ,ffi*Y+Bi) WdPBi分別代表濾波器和偏置，*代表卷積操作。5. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征在于:步驟A2中卷積神經(jīng)網(wǎng)絡(luò) 還包括第二層，其每一個(gè)輸出都代表一個(gè)高分辨率的圖像小塊用來(lái)為后面的高分辨重建做 準(zhǔn)備，用數(shù)學(xué)描述為： F2(Y)=max(0，W2*Fi(Y)+B2) W2包含32個(gè)大小為3*1*1的濾波器，B2是一個(gè)32維的向量。6. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征是:步驟A2中卷積神經(jīng)網(wǎng)絡(luò)還 包括第三層:一個(gè)1個(gè)1*1的卷積模板： F3(Y)=ff3*F2(Y)+B3 W3包含1個(gè)1X1的矩陣，為卷積模板，B3為1個(gè)偏置，為常數(shù)。7. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征是:步驟A2中卷積神經(jīng)網(wǎng)絡(luò)還 包括第四層:一個(gè)卷積層，用來(lái)得到最后高分辨率的圖像： F(Y)=ff4*F3(Y)+B4 W4包含1個(gè)5*5的卷積模板(5*5的矩陣），B3為其對(duì)應(yīng)的偏置。8. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征是：步驟A3中所述超參數(shù)包 括:學(xué)習(xí)速率閾值q、訓(xùn)練迭代次數(shù)e、每次進(jìn)入網(wǎng)絡(luò)訓(xùn)練的圖片數(shù)batch_si ze。9. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征是：步驟A4中，通過(guò)最小化經(jīng) 過(guò)卷積神經(jīng)網(wǎng)絡(luò)重建后的圖像與相應(yīng)的高分辨率圖像之間的差值來(lái)估計(jì)參數(shù)Θ = {Wi，W2， 抑，14,81，82,83,84};其具體做法是不斷地更新權(quán)值，直到最后連續(xù)一定次數(shù)迭代優(yōu)化函數(shù) 沒(méi)有再下降就停止訓(xùn)練，此時(shí)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)Θ = {Wi，W2，W3 ，B2，B 3，B4}的值就是 我們需要的值。10. 如權(quán)利要求1所述的對(duì)圖像進(jìn)行超分辨的方法，其特征是:步驟A3和A4中，用最小平 方誤差為我們的優(yōu)化函數(shù)：其中η為訓(xùn)練數(shù)據(jù)集的數(shù)量，y為高分辨率圖像上像素的值，a為低分辨率圖像經(jīng)過(guò)網(wǎng)絡(luò) 后相應(yīng)位置上的像素值。
【文檔編號(hào)】G06T3/40GK106067161SQ201610349187
【公開(kāi)日】2016年11月2日
【申請(qǐng)日】2016年5月24日 公開(kāi)號(hào)201610349187.5, CN 106067161 A, CN 106067161A, CN 201610349187, CN-A-106067161, CN106067161 A, CN106067161A, CN201610349187, CN201610349187.5
【發(fā)明人】王好謙, 安王鵬, 王興政, 張永兵, 李莉華, 戴瓊海
【申請(qǐng)人】深圳市未來(lái)媒體技術(shù)研究院, 清華大學(xué)深圳研究生院