本發(fā)明屬于圖像處理
技術(shù)領域：
，更具體地說，涉及一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法。
背景技術(shù)：
：隨著高清顯示設備的快速發(fā)展，人們對高分辨率圖像和視頻的需求日益增長。傳統(tǒng)的獲取高分辨率圖像的方法通常是基于硬件的方法，即改進圖像傳感器制造工藝，包括減小像素尺寸和增加傳感器尺寸。由于硬件方法的高成本以及硬件的固有限制，使得人們不得不尋求其他方法。圖像超分辨率重建是由一幅或多幅低分辨率圖像重建得到一幅高分辨率圖像的過程。相比于硬件方法，超分辨率重建技術(shù)具有較低的成本，而且重建得到的高分辨率圖像質(zhì)量更高。近年來，圖像超分辨率重建逐漸成為計算機視覺和圖像處理領域的研究熱點。依據(jù)不同的劃分標準，圖像超分辨率重建技術(shù)可以被劃分成不同的類型。根據(jù)技術(shù)原理的不同，超分辨率重建技術(shù)被劃分為以下三種類型：基于插值的方法、基于重建的方法、基于學習的方法。在這些方法中，基于學習的方法通常從一個外部數(shù)據(jù)集中學習高分辨率圖像與低分辨率圖像之間的映射關(guān)系，然后利用學習的映射關(guān)系來重建高分辨率圖像，是目前最熱門的方法。較為經(jīng)典的單幅圖像超分辨率重建方法有以下幾種：Yang等人首先將壓縮感知理論引入超分辨率重建領域，提出一種基于稀疏表示和字典學習的圖像超分辨率重建方法，該方法在訓練階段，給定一組低分辨率和高分辨率塊的數(shù)據(jù)集，假設高分辨率圖像與低分辨率圖像具有相同的稀疏表示系數(shù)，通過學習一組耦合的高分辨率和低分辨率字典來重建高分辨率圖像。但Yang等人的重建方法是一種基于圖像塊的方法，最終的重建結(jié)果需要對每個重疊塊的像素取平均值，可能出現(xiàn)重疊塊的不一致性問題，同時該方法在圖像測試的時候耗時嚴重。近年來，深度學習在計算機視覺中取得了巨大成功，包括圖像分類和人臉識別等。Dong等人首次將卷積神經(jīng)網(wǎng)絡應用到圖像超分辨率重建任務中，他們通過構(gòu)建一個三層的卷積神經(jīng)網(wǎng)絡來生成高分辨率圖像。該方法等同于執(zhí)行一個稀疏編碼的流程，三個卷積層分別實現(xiàn)塊的提取與表示、非線性映射以及圖像重建等功能。由于卷積神經(jīng)網(wǎng)絡強大的學習能力和端到端的訓練方式，該方法的重建效果得到了顯著提高。但由于該網(wǎng)絡僅僅針對最小化均方誤差來進行訓練，沒有引入任何圖像先驗信息，因此對于細節(jié)部分沒有很好的保留。經(jīng)檢索，中國專利申請?zhí)?01510178956.5，申請日為2015年4月15日，發(fā)明創(chuàng)造名稱為：基于深度學習的單幀圖像超分辨率重建方法，該申請案包括以下步驟：1、首先通過訓練兩個自動編碼器用于獲得低分辨率和對應高分辨率圖像塊的特征；2、基于己獲得高分辨率和低分辨率圖像塊的特征，再訓練一個單層神經(jīng)網(wǎng)路學習兩個特征的非線性映射關(guān)系；3、基于兩個自動編碼器和單層神經(jīng)網(wǎng)絡，構(gòu)建三層的深度網(wǎng)絡，以低分辨率圖像塊作為輸入，高分辨率圖像塊作為輸出，微調(diào)三層深度網(wǎng)絡的參數(shù)；步驟4、依據(jù)得到的三層深度網(wǎng)絡做單幀圖像超分辨率重建，以低分辨率圖像塊的灰度值為輸入，得到輸出即為對應高分辨率圖像塊的灰度值。該申請案不僅提高了超分辨率重建圖像的質(zhì)量，而且縮短了超分辨率重建時間。但該申請案存在以下缺陷：1)該申請案僅由卷積層組成，而卷積操作是用于提取圖像抽象特征，可能會丟失圖像的細節(jié)信息，故該申請案在圖像邊緣、紋理等部分不能得到更好的重建效果；2)該申請案中提出的網(wǎng)絡僅有三層，不足以提取更多有用的信息，故該申請案不能得到更好的重建效果?；谝陨戏治?，現(xiàn)有技術(shù)需要一種能夠獲得更好的重建效果的圖像超分辨率重建方法。技術(shù)實現(xiàn)要素：1.發(fā)明要解決的技術(shù)問題為了克服上述現(xiàn)有技術(shù)存在的重建圖像細節(jié)部分易丟失的問題，本發(fā)明提出了一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法；本發(fā)明通過結(jié)合卷積層和反卷積層，同時增加網(wǎng)絡深度，利用網(wǎng)絡深度提升網(wǎng)絡性能，加強了圖像細節(jié)部分的重建能力，獲得了更好的圖像超分辨率重建效果。2.技術(shù)方案為達到上述目的，本發(fā)明提供的技術(shù)方案為：本發(fā)明的一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法，其步驟為：步驟1、利用常用圖像處理數(shù)據(jù)集，制作高分辨率圖像塊與低分辨率圖像塊訓練集；步驟2、構(gòu)建一個對稱的卷積-反卷積深度網(wǎng)絡用于模型訓練；步驟3、依據(jù)步驟1獲得的訓練集和步驟2構(gòu)建的網(wǎng)絡，進行網(wǎng)絡訓練，調(diào)整網(wǎng)絡參數(shù)；步驟4、將一幅低分辨率圖像作為網(wǎng)絡輸入，利用步驟3學習的參數(shù)重建出一幅高分辨率圖像作為輸出。更進一步地，步驟1制作高分辨率圖像塊與低分辨率圖像塊訓練集的過程為：將常用圖像處理數(shù)據(jù)集中每張彩色圖像，首先轉(zhuǎn)換到Y(jié)CbCr空間，然后提取高分辨率訓練圖像的Y分量，接著對高分辨率圖像進行兩次雙三次插值，得到與高分辨率圖像對應的相同尺寸低分辨率圖像；將每張高分辨率圖像和低分辨率圖像裁剪成多個圖像塊，由此得到用于深度網(wǎng)絡訓練的高分辨率圖像塊與低分辨率圖像塊的集合。更進一步地，步驟2中構(gòu)建一個10層的對稱深度網(wǎng)絡模型，前面5層為卷積層，后面5層為反卷積層；每個卷積層和反卷積層之后接一個ReLU激活層；網(wǎng)絡輸入為低分辨率圖像塊，輸出為高分辨率圖像塊，該網(wǎng)絡將學習低分辨率圖像塊和高分辨率圖像塊之間的映射關(guān)系，如公式(1)所示：x＝F(y,φ)(1)其中，x,y分別表示高分辨率圖像塊和低分辨率圖像塊，φ為學習到的模型參數(shù)，用于之后的高分辨率圖像重建。更進一步地，步驟2中網(wǎng)絡訓練的損失函數(shù)采用均方誤差表示，如公式(2)所示：L=minφ1NΣi=1N||F(yi,φ)-xi||2---(2)]]>其中，N為步驟1所得訓練集中樣本數(shù)量，xi,yi為第i個高分辨率圖像塊和對應的低分辨率圖像塊。更進一步地，步驟2中ReLU激活層的激活函數(shù)用公式(3)表示如下：f(x)＝max(0,x)(3)其中，x為激活函數(shù)的輸入，f(x)為激活函數(shù)的輸出。更進一步地，步驟2中構(gòu)建的深度網(wǎng)絡的所有卷積核大小均設為3*3，前5個卷積層對應的特征圖的數(shù)量分別設為32、64、64、128、128，后5個反卷積層對應的特征圖的數(shù)量分別設為128、128、64、64、1，每個卷積層和反卷積層得到的輸出用公式(4)表示：yi＝f(Wixi+bi),i＝1,2,...,10(4)其中，Wi表示第i層的權(quán)重，bi表示第i層的偏置，xi表示第i層的輸入，yi表示第i層的輸出；經(jīng)過激活函數(shù)，結(jié)果如公式(5)所示：zi＝max(yi,0)(5)其中，yi為上一層輸出，zi表示激活函數(shù)的輸出。更進一步地，步驟3利用Caffe深度學習平臺進行網(wǎng)絡的訓練，首先對步驟2構(gòu)建的對稱深度網(wǎng)絡的權(quán)重和偏置進行初始化；具體過程為：1)采用Xavier方式初始化權(quán)重W后，W滿足以下均勻分布；W~U[-6nj+nj+1,6nj+nj+1]---(6)]]>其中，nj表示該層網(wǎng)絡輸入單元數(shù)目，即卷積層輸入特征圖數(shù)量，nj+1表示該層網(wǎng)絡輸出單元數(shù)目，即卷積層輸出特征圖數(shù)量；2)偏置全部初始化為0，即bi＝0。更進一步地，步驟3采用梯度下降法來更新網(wǎng)絡參數(shù)，用公式(7)表示如下：Δi+1=0.9*Δi-η*∂L∂Wil,Wi+1l=Wil+Δi+1---(7)]]>其中，L是公式(2)計算得到的損失函數(shù)值，△i和△i+1分別表示第i次和第i+1次權(quán)重變化量，l是層的索引，i是迭代次數(shù)，η是學習率，是梯度；在訓練過程中，通過指定迭代次數(shù)來進行網(wǎng)絡參數(shù)更新。3.有益效果采用本發(fā)明提供的技術(shù)方案，與已有的公知技術(shù)相比，具有如下顯著效果：(1)本發(fā)明的一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法，考慮到卷積層可以提取圖像的抽象特征，但隨著卷積層數(shù)的加深，圖像的細節(jié)可能會隨之丟失；與卷積操作相對應，反卷積層可用來恢復圖像細節(jié)內(nèi)容，但反卷積層過多，也將導致引入虛假細節(jié)；建立卷積和反卷積層對稱網(wǎng)絡，既可以去除噪聲提取圖像主體特征，又可以利用反卷積層在網(wǎng)絡中充當圖像細節(jié)恢復的作用，使得重建后的圖像質(zhì)量得到了顯著提高；(2)本發(fā)明的一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法，在建立卷積和反卷積層對稱網(wǎng)絡的同時，將三層卷積擴展到五層卷積，再跟隨五層反卷積，以充分的深度提高網(wǎng)絡超分辨率重建映射的能力，實現(xiàn)單幅圖像超分辨率重建，獲得了更好的圖像超分辨率重建效果；(3)本發(fā)明的一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法，相比傳統(tǒng)的超分辨率重建方法，為端到端的映射方式，在重建時間上大大縮短，在圖像高清顯示、醫(yī)學成像、遙感圖像等領域中有著廣泛的應用前景。附圖說明圖1是本發(fā)明的基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法流程圖；圖2是本發(fā)明中數(shù)據(jù)集的制作流程圖；圖3是本發(fā)明構(gòu)建的網(wǎng)絡模型示意圖，圖3中未畫出卷積層和反卷積層之后的ReLU激活層；圖4是不同超分辨率重建方法的重建效果圖；其中，圖4中的(a)為原圖；圖4中的(b)為Bicubic法處理后的效果圖，圖像信噪比為29.49dB；圖4中的(c)為SRCNN法處理后的效果圖，圖像信噪比為32.51dB；圖4中的(d)為本發(fā)明處理后的效果圖，圖像信噪比為32.85dB。具體實施方式為進一步了解本發(fā)明的內(nèi)容，結(jié)合附圖和實施例對本發(fā)明作詳細描述。實施例1結(jié)合圖1，本實施例的一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法，具體包括以下步驟：步驟1、利用常用的數(shù)據(jù)集，如ImageNet以及Yang等人采用的91-images等數(shù)據(jù)集，制作高分辨率圖像塊訓練集與低分辨率圖像塊訓練集，具體步驟如圖2所示，即：針對常用數(shù)據(jù)集(如91-images)中每張彩色圖像，首先轉(zhuǎn)換到Y(jié)CbCr空間，然后提取高分辨率訓練圖像的Y分量IH，接著對高分辨率圖像進行兩次雙三次插值(第一次進行雙三次下采樣插值，第二次進行雙三次上采樣插值)，得到對應的低分辨率圖像。將每張高分辨率圖像和低分辨率圖像裁剪成多個50*50的圖像塊，(裁剪成50*50的圖像塊包含更多相鄰像素間的信息，有利于圖像超分辨)，裁剪間隔為14個像素，由此得到用于深度網(wǎng)絡訓練的高分辨率塊與低分辨率塊集合。步驟2、構(gòu)建一個對稱的卷積-反卷積深度網(wǎng)絡用于模型訓練。2-1、構(gòu)建一個10層的對稱深度網(wǎng)絡模型，前面5層為卷積層，后面5層為反卷積層。每個卷積層和反卷積層之后接一個ReLU(RectifiedLinearUnit)激活層。網(wǎng)絡輸入為低分辨率圖像塊(i＝1,2,...,N)，輸出為高分辨率圖像塊(i＝1,2,...,N)，該網(wǎng)絡將學習低分辨率圖像塊和高分辨率圖像塊之間的映射關(guān)系，如公式(1)所示：x＝F(y,φ)(1)其中，x,y分別表示高分辨率圖像塊和低分辨率圖像塊，φ為學習到的模型參數(shù)，用于之后的高分辨率圖像的重建。網(wǎng)絡訓練的損失函數(shù)采用均方誤差表示，如公式(2)所示：L=minφ1NΣi=1N||F(yi,φ)-xi||2---(2)]]>其中，N為步驟1所得數(shù)據(jù)集中樣本數(shù)量，xi,yi為第i個高分辨率塊和對應的低分辨率塊，φ為學習到的模型參數(shù)。ReLU激活層的激活函數(shù)用公式(3)表示如下：f(x)＝max(0,x)(3)其中，x為激活函數(shù)的輸入，f(x)為激活函數(shù)的輸出。2-2、構(gòu)建的深度網(wǎng)絡的所有卷積核大小均設為3*3，前5個卷積層對應的特征圖的數(shù)量分別設為32、64、64、128、128，后5個反卷積層對應的特征圖的數(shù)量分別設為128、128、64、64、1。具體的網(wǎng)絡配置參見圖3和表1，表1中conv3-32表示卷積層對應的卷積核大小為3*3，特征圖的數(shù)量為32，deconv3-64表示反卷積層對應的卷積核大小為3*3，特征圖的數(shù)量為64。表1本發(fā)明的網(wǎng)絡模型配置深度網(wǎng)絡模型輸入層conv3-32conv3-64conv3-64conv3-128deconv3-128deconv3-128deconv3-64deconv3-64輸出層:deconv3-1每個卷積層和反卷積層得到的輸出用公式(4)表示：yi＝f(Wixi+bi),i＝1,2,...,10(4)其中，Wi表示第i層的權(quán)重，bi表示第i層的偏置，xi表示第i層的輸入，yi表示第i層的輸出。然后經(jīng)過激活函數(shù)，結(jié)果如公式(5)所示：zi＝max(yi,0)(5)其中，yi為上一層輸出，zi表示激活函數(shù)的輸出。值得說明的是，發(fā)明人在設計本方案時，對
背景技術(shù)：
中提到的方案(Dong等人提出的構(gòu)建三層卷積神經(jīng)網(wǎng)絡來生成高分辨率圖像，以及專利申請?zhí)枮?01510178956.5，發(fā)明創(chuàng)造名稱為：基于深度學習的單幀圖像超分辨率重建方法)以及現(xiàn)有卷積神經(jīng)網(wǎng)絡模型均進行了深入的研究，其總結(jié)：在卷積神經(jīng)網(wǎng)絡模型中，卷積層可以提取圖像的抽象特征，但隨著卷積層數(shù)的加深，圖像的細節(jié)可能會隨之丟失。與卷積操作相對應，反卷積層可用來恢復圖像細節(jié)內(nèi)容，但反卷積層過多，也將導致引入虛假細節(jié)。基于此，發(fā)明人考慮建立卷積和反卷積層對稱網(wǎng)絡，既可以去除噪聲提取圖像主體特征，又可以恢復細節(jié)；同時通過將三層卷積擴展到五層卷積，再跟隨五層反卷積，以充分的深度提高網(wǎng)絡超分辨率重建映射的能力，實現(xiàn)單幅圖像超分辨率重建。由于訓練反卷積網(wǎng)絡使其作為獨立的細節(jié)恢復層比正常卷積層難度大很多，不易實現(xiàn)；同時將反卷積網(wǎng)絡和卷積網(wǎng)絡對稱深層結(jié)合來滿足去除圖像噪聲并保留和增強圖像細節(jié)的思路，與傳統(tǒng)基于稀疏表示學習細節(jié)映射函數(shù)及簡單卷積神經(jīng)網(wǎng)絡來實現(xiàn)圖像細節(jié)重建的思路完全不一致，因此，本發(fā)明這種深層對稱卷積和反卷積網(wǎng)絡超分辨技術(shù)是獨特而有價值的。步驟3、依據(jù)步驟1獲得的訓練集和步驟2構(gòu)建的對稱深度網(wǎng)絡模型，進行網(wǎng)絡訓練，調(diào)整網(wǎng)絡參數(shù)，具體如下：3-1、利用Caffe深度學習平臺進行網(wǎng)絡的訓練，對步驟2構(gòu)建的對稱深度網(wǎng)絡，首先采用Xavier方式來初始化所有的卷積層和反卷積層的權(quán)重，偏置全部初始化為0。具體過程為：(1)采用Xavier方式初始化權(quán)重W后，W滿足以下均勻分布；W~U[-6nj+nj+1,6nj+nj+1]---(6)]]>其中，nj表示該層網(wǎng)絡輸入單元數(shù)目，即卷積層輸入特征圖數(shù)量，nj+1表示該層網(wǎng)絡輸出單元數(shù)目，即卷積層輸出特征圖數(shù)量。(2)偏置b初始化為0，即b＝0。3-2、采用梯度下降法來更新網(wǎng)絡參數(shù)，用公式(7)表示如下：Δi+1=0.9*Δi-η*∂L∂Wil,Wi+1l=Wil+Δi+1---(7)]]>其中，L是公式(2)計算得到的損失函數(shù)值，△i和△i+1分別表示第i次和第i+1次權(quán)重變化量，l是層的索引，i是迭代次數(shù)，η是學習率，在本實施例中設定學習率為10-6，是梯度。3-3、在訓練過程中，通過指定迭代次數(shù)來進行網(wǎng)絡參數(shù)更新。步驟4、訓練結(jié)束后，將一幅低分辨率圖像作為網(wǎng)絡輸入，利用步驟3學習的參數(shù)來重建出一幅高分辨率圖像作為輸出，得到的輸出就是超分辨率重建后的高分辨率圖像。圖4是不同超分辨率重建方法的重建效果圖，其中圖4中的(a)為原圖，圖4中的(b)為Bicubic法處理后的效果圖，圖4中的(c)為SRCNN法處理后的效果圖，圖4中的(d)為本實施處理后的效果圖，從圖4中的(b)、(c)、(d)可以看出采用我們的算法重建出的圖像在邊緣等細節(jié)方面具有更好的效果。實施例1所述的一種基于對稱深度網(wǎng)絡的單幅圖像超分辨率重建方法，通過結(jié)合卷積層和反卷積層，利用反卷積層在網(wǎng)絡中充當圖像細節(jié)恢復的作用，使得重建后的圖像質(zhì)量得到了提高。且該方法相比以前的超分辨率重建方法，為端到端的映射方式，在重建時間上大大縮短，在圖像高清顯示、醫(yī)學成像、遙感圖像等領域中有著廣泛的應用前景。以上示意性的對本發(fā)明及其實施方式進行了描述，該描述沒有限制性，附圖中所示的也只是本發(fā)明的實施方式之一，實際的結(jié)構(gòu)并不局限于此。所以，如果本領域的普通技術(shù)人員受其啟示，在不脫離本發(fā)明創(chuàng)造宗旨的情況下，不經(jīng)創(chuàng)造性的設計出與該技術(shù)方案相似的結(jié)構(gòu)方式及實施例，均應屬于本發(fā)明的保護范圍。當前第1頁1 2 3