本發(fā)明涉及計算機視覺領(lǐng)域與人工智能技術(shù)，尤其涉及一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法。

背景技術(shù)：

在計算機視覺領(lǐng)域，大部分的問題都已經(jīng)開始使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行解決，并取得了廣泛的成功。在眾多的計算機視覺任務(wù)中，如人臉識別、目標(biāo)檢測與跟蹤、圖像檢索等，使用深度神經(jīng)網(wǎng)絡(luò)模型的算法，比傳統(tǒng)算法的性能有著極大的提升。在圖像的超分辨率重建任務(wù)中，最新的工作也已經(jīng)開始利用卷積神經(jīng)網(wǎng)絡(luò)的非線性特征表示能力，提高圖像超分辨率的重建效果。經(jīng)對對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，專利名稱“一種圖像超分辨率重建方法”(中國專利公開號cn105976318a，公開日為2016.09.28)和專利名稱“基于學(xué)習(xí)率自適應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建方法”(中國專利公開號cn106228512a，公開日為2016.12.14)使用了深度學(xué)習(xí)的方法來進(jìn)行圖像超分辨率重建，并取得比傳統(tǒng)插值方法更好的重建結(jié)果。然而，此專利只采用了3層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其非線性的特征表示能力和圖像重構(gòu)能力有限。最新的神經(jīng)網(wǎng)絡(luò)模型如alexnet、vgg和resnet等主要在“寬度”與“深度”方面進(jìn)行不同程度的擴增，網(wǎng)絡(luò)的性能就會得到很大的提升。因此，研究并設(shè)計一個更深的網(wǎng)絡(luò)模型對于提升圖像超分辨率的重建性能會有極大地幫助。

最簡單加深網(wǎng)絡(luò)模型的方式是把基本構(gòu)建塊(例如卷積層和激活層)堆疊在一起。然而，當(dāng)網(wǎng)絡(luò)變得越來越深，其訓(xùn)練和收斂難度也隨之相應(yīng)增加。在網(wǎng)絡(luò)模型的訓(xùn)練過程中，梯度信號需要從網(wǎng)絡(luò)最頂層反向傳播到最底層，從而更新網(wǎng)絡(luò)模型參數(shù)。對于傳統(tǒng)的只有幾層的神經(jīng)網(wǎng)絡(luò)模型來說，可以通過這種方式達(dá)到收斂。然而，對于訓(xùn)練有幾十層的網(wǎng)絡(luò)模型，當(dāng)反向傳播到網(wǎng)絡(luò)的最底層時，梯度信號已經(jīng)消失得差不多，底層網(wǎng)絡(luò)的模型參數(shù)不能得到有效的更新和優(yōu)化。所以，如果采用這種直接堆疊的方式，反而會導(dǎo)致算法性能的下降。為了能夠有效訓(xùn)練深度網(wǎng)絡(luò)，2016年在國際會議cvpr上提出的vdsr算法采用了梯度剪切和殘差學(xué)習(xí)等技術(shù)，使得20層的卷積神經(jīng)網(wǎng)絡(luò)模型能夠有效優(yōu)化并收斂，比之前的幾層網(wǎng)絡(luò)模型(如中國專利cn105976318a和cn106228512a)的超分辨率重建性能有了極大地提升。但是vdsr算法仍然是把卷積層和激活層簡單堆疊在一起，不利于梯度信息的流動，給優(yōu)化更深的網(wǎng)絡(luò)帶來困難。同時，這種簡單的堆疊方式不能有效地利用每層訓(xùn)練出來的特征，而且網(wǎng)絡(luò)模型參數(shù)也很龐大。例如，vdsr算法的20層網(wǎng)絡(luò)就需要70多萬的模型參數(shù)，不僅給優(yōu)化帶來困難，也增大了超分辨率重建時的計算復(fù)雜度。

最近提出的殘差網(wǎng)絡(luò)結(jié)構(gòu)resnet和密集網(wǎng)絡(luò)結(jié)構(gòu)densenet等方法通過在網(wǎng)絡(luò)中引入跳躍連接，從而來試圖解決極深網(wǎng)絡(luò)在優(yōu)化上帶來的問題。通過大量引入跳躍式連接，可以有效縮短底層網(wǎng)絡(luò)和頂層網(wǎng)絡(luò)之間的連接通道，這樣能夠優(yōu)化信息在網(wǎng)絡(luò)上的流動，從而有效解決深度網(wǎng)絡(luò)的梯度消失問題。此外，密集網(wǎng)絡(luò)結(jié)構(gòu)可以支持特征重用，能夠強化特征的傳播，并減少模型的參數(shù)，降低模型的計算復(fù)雜度。本發(fā)明充分利用了密集網(wǎng)絡(luò)的優(yōu)勢，并首次應(yīng)用在圖像超分辨率的任務(wù)中，提出srdensenet算法，極大地提升了深度網(wǎng)絡(luò)在圖像超分辨率上的重建性能。同時，本發(fā)明提出的srdensenet算法結(jié)合了深度監(jiān)督技術(shù)，使得網(wǎng)絡(luò)模型各層參數(shù)能夠更加有效快速的收斂，加快了訓(xùn)練速度，并進(jìn)一步提升網(wǎng)絡(luò)模型的超分辨率重建性能。此外，本發(fā)明提出的算法融合了多尺度信息，使得訓(xùn)練得到的網(wǎng)絡(luò)模型可以對多個超分辨率放大倍數(shù)進(jìn)行有效重建。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法，提高多個放大倍數(shù)的圖像超分辨率重建效果，同時還極大地減少了模型參數(shù)，有效壓縮深度神經(jīng)網(wǎng)絡(luò)模型，提高圖像超分辨率的重建效率。

本發(fā)明采用的技術(shù)方案是：

一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法，其包括以下步驟：

a)根據(jù)不同的插值放大倍數(shù)，生成多尺度的圖像訓(xùn)練集(ilr，ihr)；

b)構(gòu)建密集網(wǎng)絡(luò)模塊：所述密集網(wǎng)絡(luò)模塊包括沿傳輸方向依次設(shè)置的n層網(wǎng)絡(luò)結(jié)構(gòu)，n為大于1的整數(shù)，每層網(wǎng)絡(luò)結(jié)構(gòu)均包括一個卷積層和一個激活層，且上一層網(wǎng)絡(luò)結(jié)構(gòu)卷積得到的特征疊加至后續(xù)每一層網(wǎng)絡(luò)結(jié)構(gòu)中，則每層網(wǎng)絡(luò)結(jié)構(gòu)的卷積層的特征表示為：

xn＝hn([x0,x1,…,xn-1])(1)

其中xn為第n層網(wǎng)絡(luò)結(jié)構(gòu)的卷積層的特征，[x0,x1,...,xn-1]為第1層到第n-1層網(wǎng)絡(luò)結(jié)構(gòu)的卷積層的特征集合；這樣底層網(wǎng)絡(luò)訓(xùn)練的特征會直接加入模塊的最后一層，從而有效結(jié)合底層網(wǎng)絡(luò)特征和頂層的抽象特征；

c)搭建卷積神經(jīng)網(wǎng)絡(luò)模型，所述卷積神經(jīng)網(wǎng)絡(luò)模型包括沿網(wǎng)絡(luò)傳輸方向依次設(shè)置的一輸入卷積層和激活層，以及l(fā)個密集網(wǎng)絡(luò)模塊；每個密集網(wǎng)絡(luò)模塊的輸出端分別并接一個卷積層作為重建網(wǎng)絡(luò)，

d)選用圖像訓(xùn)練集(ilr，ihr)作為訓(xùn)練集，輸入低分辨率圖像ilr和高分辨率圖像ihr，則每個密集網(wǎng)絡(luò)模塊的重建網(wǎng)絡(luò)的重建圖像分別與卷積神經(jīng)網(wǎng)絡(luò)模型的輸入圖像比較得到卷積神經(jīng)網(wǎng)絡(luò)的若干個損失函數(shù)，具體表示為：

其中，fi(w,b,ilr)為第i個重建網(wǎng)絡(luò)的預(yù)測結(jié)果，w和b分別為神經(jīng)網(wǎng)絡(luò)中的卷積模板參數(shù)和偏置參數(shù)；

e)利用adam優(yōu)化算法，迭代求解得到的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)w和b；形成低分辨率圖像與高分辨率圖像之間的網(wǎng)絡(luò)映射；

f)由于使用了多尺度訓(xùn)練集，此網(wǎng)絡(luò)可以用于不同的放大倍數(shù)。利用訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)w和b，將輸入的低分辨率圖像重建成高分辨率圖像，并計算相應(yīng)的量化指標(biāo)psnr和ssim。

進(jìn)一步地，所述步驟a)中采用的放大倍數(shù)包括2倍、3倍和4倍，形成多尺度訓(xùn)練圖像集。

進(jìn)一步地，所述步驟a)利用imagenet的數(shù)據(jù)集生成不同插值放大倍數(shù)的低分辨圖像和高分辨率圖像集，并形成配對圖像訓(xùn)練集(ilr，ihr)。

進(jìn)一步地，所述步驟a)圖像訓(xùn)練集中的低分辨圖像和高分辨率圖像均會轉(zhuǎn)換到y(tǒng)cbcr空間，并利用y通道進(jìn)行算法訓(xùn)練。

進(jìn)一步地，所述步驟b)中密集網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)結(jié)構(gòu)為8層，且網(wǎng)絡(luò)結(jié)構(gòu)中卷積層的卷積核大小為3*3，激活層的激活函數(shù)為規(guī)整化線性單元函數(shù)。

進(jìn)一步地，所述步驟b)中通過引入特征增長率k來控制密集網(wǎng)絡(luò)模塊的輸出特征圖數(shù)量，在密集網(wǎng)絡(luò)模塊內(nèi)第n層輸出有k*n個特征圖。

進(jìn)一步地，所述步驟c)中密集網(wǎng)絡(luò)模塊的個數(shù)l的取值為8。

進(jìn)一步地，所述步驟e)中adam算法是利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率。

進(jìn)一步地，所述步驟f)中psnr和ssim這兩個指標(biāo)越大，表示重建圖像與原始高分辨率圖像之間的差異越小。

本發(fā)明采用以上技術(shù)方案，運用最新的基于密集連接的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，有效地解決了極深網(wǎng)絡(luò)的梯度消失問題，優(yōu)化了信息在各個網(wǎng)絡(luò)層之間的流動，不僅提高了圖像超分辨率的重建效果，而且也有效壓縮了網(wǎng)絡(luò)模型參數(shù)，提高了超分辨率的重建效率。具體的創(chuàng)新點包括以下幾點：(1)首先，本發(fā)明的超分辨率算法首次使用了多個密集網(wǎng)絡(luò)模塊。在每個模塊內(nèi)，每一層網(wǎng)絡(luò)都有跟模塊內(nèi)其他層網(wǎng)絡(luò)連接起來，從而使得模塊內(nèi)的信息反向傳播總是存在直接的通路，優(yōu)化了信息在極深網(wǎng)絡(luò)上的流動，有效解決深度網(wǎng)絡(luò)的訓(xùn)練難題。(2)其次，通過密集網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)底層特征的有效利用。一般在深度網(wǎng)絡(luò)中，較低的特征層可以確定圖像的邊緣信息，而較高的層可以訓(xùn)練得到圖像中更抽象的特征。密集網(wǎng)絡(luò)結(jié)構(gòu)通過特征層之間的疊加，使得超分辨率的重建過程能夠充分利用底層網(wǎng)絡(luò)的邊緣信息和高層網(wǎng)絡(luò)的抽象特征。(3)由于特征層的重用，使得每層需要新學(xué)習(xí)的特征數(shù)目減少，從而減少了模型參數(shù)，有效壓縮了網(wǎng)絡(luò)模型的大小，提高測試階段的計算速度。(4)此外，本發(fā)明還引入了深度監(jiān)督技術(shù)，在每個密集網(wǎng)絡(luò)模塊之外都接入了重建網(wǎng)絡(luò)，這樣可以提高每個密集網(wǎng)絡(luò)模塊的重建能力，從而能夠訓(xùn)練更深的網(wǎng)絡(luò)模型。另外，由于網(wǎng)絡(luò)在不同深度都能重建出高分辨率圖像，所以在測試端，可以根據(jù)測試端的計算能力合理選擇網(wǎng)絡(luò)深度，輸出高分辨率重建圖像。例如，在電腦上利用gpu的高性能并行計算，我們可以在比較深的密集網(wǎng)絡(luò)模塊輸出重建結(jié)果，而在手機移動端，由于計算能力有限，我們可以選擇在第一個或者第二個密集網(wǎng)絡(luò)模塊輸出重建結(jié)果。(5)最后，本發(fā)明利用了多個尺度的圖像進(jìn)行訓(xùn)練，這樣訓(xùn)練得到的網(wǎng)絡(luò)可以進(jìn)行放大2-4倍之間的超分辨率重建，而不用針對每一個放大倍數(shù)都需要訓(xùn)練一個深度網(wǎng)絡(luò)模型。

附圖說明

以下結(jié)合附圖和具體實施方式對本發(fā)明做進(jìn)一步詳細(xì)說明；

圖1為本發(fā)明一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法的流程示意圖；

圖2為本發(fā)明的一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法的模型結(jié)構(gòu)圖；

圖3為本發(fā)明的一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法的密集網(wǎng)絡(luò)構(gòu)成圖；

圖4為輸入卷積神經(jīng)網(wǎng)絡(luò)的低分辨率圖像；

圖5是基于傳統(tǒng)的雙三次插值算法的高分辨率重建效果圖；

圖6是基于字典學(xué)習(xí)的aplus算法的高分辨率重建效果圖；

圖7是基于3層卷積神經(jīng)網(wǎng)絡(luò)的srcnn算法的重建效果圖；

圖8是基于20層卷積神經(jīng)網(wǎng)絡(luò)的vdsr算法的重建效果圖；

圖9是本發(fā)明的一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法的重建效果圖。

具體實施方式

如圖1所示，本發(fā)明公開一種基于密集連接網(wǎng)絡(luò)的圖像超分辨率方法，充分利用密集連接網(wǎng)絡(luò)的優(yōu)點，加深卷積神經(jīng)網(wǎng)絡(luò)模型，提高圖像超分辨率的重建效果。本發(fā)明的方法具體包括以下步驟：

a)根據(jù)不同的插值放大倍數(shù)，生成多尺度的圖像訓(xùn)練集(ilr，ihr)；進(jìn)一步地，利用imagenet的數(shù)據(jù)集生成不同的低分辨圖像和高分辨率圖像集，并形成配對圖像集(ilr，ihr)。

本發(fā)明在imagenet的數(shù)據(jù)庫中隨機抽取6萬張圖片ihr，經(jīng)過高斯模糊并插值到低分辨率空間，插值倍數(shù)分別選擇2倍、3倍和4倍，插值方法使用雙三次插值。然后再把低分辨率圖像經(jīng)過雙三次插值到高分辨率空間，得到處理后的圖像ilr，形成圖像集(ilr，ihr)。本發(fā)明再在圖像集中抽取61*61大小的配對子圖像集，并打亂子圖像的存放順序，形成最終的圖像訓(xùn)練集。另外，給定的rgb圖像會轉(zhuǎn)換到y(tǒng)cbcr空間，所有的超分辨率運算都是用y通道進(jìn)行訓(xùn)練。

b)構(gòu)建密集網(wǎng)絡(luò)模塊：如圖2所示，所述密集網(wǎng)絡(luò)模塊包括沿網(wǎng)絡(luò)傳輸方向依次設(shè)置的n層網(wǎng)絡(luò)結(jié)構(gòu)，n為大于1的整數(shù)，每層網(wǎng)絡(luò)結(jié)構(gòu)均包括一個卷積層和一個激活層。每一層卷積得到的特征會以疊加的方式加入以后所有的層里面，這樣底層網(wǎng)絡(luò)訓(xùn)練的特征會直接加入模塊的最后一層，從而有效結(jié)合底層網(wǎng)絡(luò)特征和頂層的抽象特征，每層網(wǎng)絡(luò)結(jié)構(gòu)的卷積層的特征具體可以表示為：

xn＝hn([x0,x1,…,xn-1])(1)

其中xn為第n層的特征，[x0,x1,...,xn-1]為第1層到第n-1層的特征集合。如圖2所示，由于模塊內(nèi)所有層都有前向連接，這樣在反向傳播的時候可以直接從頂層把梯度信息傳播到底層，解決了網(wǎng)絡(luò)深度增加帶來的梯度消失問題。

具體地，本實施例中密集網(wǎng)絡(luò)模塊一共包括8層網(wǎng)絡(luò)結(jié)構(gòu)，每一層都包含一個卷積層和一個激活層，其中激活函數(shù)為規(guī)整化線性單元函數(shù)，所有卷積層的卷積核大小為3*3。

進(jìn)一步地，hn(.)輸出的特征圖的數(shù)量為k，即為特征增長率。由于每個層的輸入是所有之前層輸出的連接，因此每個層的輸出不需要像傳統(tǒng)網(wǎng)絡(luò)一樣多。這里使用特征增加率k來控制網(wǎng)絡(luò)特征圖的通道數(shù)。在密集網(wǎng)絡(luò)模塊內(nèi)，第n層輸出有k*n個特征圖。在本發(fā)明中，特征增長率k取16，每個密集網(wǎng)絡(luò)模塊內(nèi)有8層，這樣每個密集網(wǎng)絡(luò)模塊輸出128個特征圖。

c)搭建卷積神經(jīng)網(wǎng)絡(luò)模型，如圖3所示，所述卷積神經(jīng)網(wǎng)絡(luò)模型包括沿網(wǎng)絡(luò)傳輸方向依次設(shè)置的一個輸入卷積層和激活層，以及l(fā)個密集網(wǎng)絡(luò)模塊；每個密集網(wǎng)絡(luò)模塊的后面分別接入一個卷積層作為重建網(wǎng)絡(luò)；具體地，本實施例中密集網(wǎng)絡(luò)模塊的個數(shù)l的取值為8。

d)選用圖像訓(xùn)練集(ilr，ihr)作為訓(xùn)練集，輸入低分辨率圖像ilr和高分辨率圖像ihr至卷積神經(jīng)網(wǎng)絡(luò)模型，則每個密集網(wǎng)絡(luò)模塊的重建網(wǎng)絡(luò)的重建圖像分別與卷積神經(jīng)網(wǎng)絡(luò)模型的輸入圖像比較得到卷積神經(jīng)網(wǎng)絡(luò)的若干個損失函數(shù)，具體表示為：

其中，fi(w,b,ilr)為第i個重建網(wǎng)絡(luò)的預(yù)測結(jié)果，w和b分別為神經(jīng)網(wǎng)絡(luò)中的卷積模板參數(shù)和偏置參數(shù)；此外，為了加速深度網(wǎng)絡(luò)的收斂，本發(fā)明還采用了殘差圖像，即網(wǎng)絡(luò)的預(yù)測信息是高分辨率圖像與低分辨率圖像差異。這樣神經(jīng)網(wǎng)絡(luò)可以針對低分辨率圖像所丟失的高頻信息來訓(xùn)練，移除了對圖像中低頻信息的冗余重建過程。

e)利用adam優(yōu)化算法，迭代求解得到的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)w和b；形成低分辨率圖像與高分辨率圖像之間的網(wǎng)絡(luò)映射；adam算法是利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率。adam的優(yōu)點主要在于經(jīng)過偏置校正后，每一次迭代學(xué)習(xí)率都有個確定范圍，使得參數(shù)比較平穩(wěn)。在本發(fā)明中，adam算法當(dāng)中的β1設(shè)置為0.9。初始學(xué)習(xí)率設(shè)置為0.0001，每次前向傳播時隨機取16個樣本，算法一共迭代次100萬次。

f)由于使用了多尺度訓(xùn)練集，此網(wǎng)絡(luò)可以用于不同的放大倍數(shù)。利用訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)w和b，將輸入的低分辨率圖像重建成高分辨率圖像，并計算相應(yīng)的量化指標(biāo)psnr和ssim。進(jìn)一步地，這兩個指標(biāo)越大，表示重建圖像與原始高分辨率圖像之間的差異越小。

為了驗證算法的超分辨率重建效果，本發(fā)明在公共測試圖像集set5上測試，并與其它幾種算法進(jìn)行比較。圖4顯示與其它幾種算法的超分辨率重建實例比較，分別是：圖4是輸入神經(jīng)網(wǎng)絡(luò)的低分辨率圖像；圖5是基于傳統(tǒng)的雙三次插值算法的高分辨率重建效果圖；圖6是基于字典學(xué)習(xí)的aplus算法的高分辨率重建效果圖；圖7是基于3層卷積神經(jīng)網(wǎng)絡(luò)的srcnn算法的重建效果圖；圖8是基于20層卷積神經(jīng)網(wǎng)絡(luò)的vdsr算法的重建效果圖；圖9是本發(fā)明所提出的srdensenet算法的重建效果圖。從圖中可以看出本發(fā)明提出的srdensenet算法在輸入圖像很不清楚的情況下，也能很好的將圖像的細(xì)節(jié)重建出來，顯示更加清晰的圖像。同時，從表中的量化指標(biāo)可以看出，本發(fā)明的srdensenet算法的重建結(jié)果跟原始的高分辨率圖像更加接近。另外，本發(fā)明的srdensenet算法雖然采用了更深的網(wǎng)絡(luò)，一共有65層，但是模型參數(shù)卻比vdsr的20層網(wǎng)絡(luò)更小。vdsr的20層網(wǎng)絡(luò)有70多萬個模型參數(shù)需要優(yōu)化，而本發(fā)明的srdensenet的65層網(wǎng)絡(luò)有50萬個模型參數(shù)，這樣在加深網(wǎng)絡(luò)的同時，還可以壓縮模型，從而能夠在提高超分辨率的重建效果的同時，保證圖像的重建效率。

表1

表1：幾種不同算法的在set5測試集上的量化指標(biāo)。

本發(fā)明采用以上技術(shù)方案，運用最新的基于密集連接的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，有效地解決了極深網(wǎng)絡(luò)的梯度消失問題，優(yōu)化了信息在各個網(wǎng)絡(luò)層之間的流動，不僅提高了圖像超分辨率的重建效果，而且也有效壓縮了網(wǎng)絡(luò)模型參數(shù)，提高了超分辨率的重建效率。具體的創(chuàng)新點包括以下幾點：(1)首先，本發(fā)明的超分辨率算法首次使用了多個密集網(wǎng)絡(luò)模塊。在每個模塊內(nèi)，每一層網(wǎng)絡(luò)都有跟模塊內(nèi)其他層網(wǎng)絡(luò)連接起來，從而使得模塊內(nèi)的信息反向傳播總是存在直接的通路，優(yōu)化了信息在極深網(wǎng)絡(luò)上的流動，有效解決深度網(wǎng)絡(luò)的訓(xùn)練難題。(2)其次，通過密集網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)底層特征的有效利用。一般在深度網(wǎng)絡(luò)中，較低的特征層可以確定圖像的邊緣信息，而較高的層可以訓(xùn)練得到圖像中更抽象的特征。密集網(wǎng)絡(luò)結(jié)構(gòu)通過特征層之間的疊加，使得超分辨率的重建過程能夠充分利用底層網(wǎng)絡(luò)的邊緣信息和高層網(wǎng)絡(luò)的抽象特征。(3)由于特征層的重用，使得每層需要新學(xué)習(xí)的特征數(shù)目減少，從而減少了模型參數(shù)，有效壓縮了網(wǎng)絡(luò)模型的大小，提高測試階段的計算速度。(4)此外，本發(fā)明還引入了深度監(jiān)督技術(shù)，在每個密集網(wǎng)絡(luò)模塊之外都接入了重建網(wǎng)絡(luò)，這樣可以提高每個密集網(wǎng)絡(luò)模塊的重建能力，從而能夠訓(xùn)練更深的網(wǎng)絡(luò)模型。另外，由于網(wǎng)絡(luò)在不同深度都能重建出高分辨率圖像，所以在測試端，可以根據(jù)測試端的計算能力合理選擇網(wǎng)絡(luò)深度，輸出高分辨率重建圖像。例如，在電腦上利用gpu的高性能并行計算，我們可以在比較深的密集網(wǎng)絡(luò)模塊輸出重建結(jié)果，而在手機移動端，由于計算能力有限，我們可以選擇在第一個或者第二個密集網(wǎng)絡(luò)模塊輸出重建結(jié)果。(5)最后，本發(fā)明利用了多個尺度的圖像進(jìn)行訓(xùn)練，這樣訓(xùn)練得到的網(wǎng)絡(luò)可以進(jìn)行放大2-4倍之間的超分辨率重建，而不用針對每一個放大倍數(shù)都需要訓(xùn)練一個深度網(wǎng)絡(luò)模型。