本發(fā)明涉及圖像處理的技術領域，特別是一種端到端深度學習框架下的多曝光圖像融合方法。

背景技術：

在日常生活和工作中對高質量的圖像具有強烈的需求，比如照片編輯，手機等便攜設備的高質量成像，醫(yī)用圖像增強等領域。通過對多曝光圖像序列進行融合理論上可以獲取到細節(jié)信息豐富的高質量圖像。多曝光圖像融合技術已是計算機視覺領域里的一個研究熱點。多曝光融合算法的最終目標是使生成的結果圖像在被顯示后，人類所獲得的感知要和其置身于真實環(huán)境中獲得的一樣，即被觀察圖像與真實場景不但展現(xiàn)的信息一致，而且給人類帶來的視覺感覺也要是一致的。經過處理后得到的結果圖像，不僅有助于人眼對場景的辨識，而且對邊緣檢測、圖像分割、圖像銳化等數(shù)字圖像后續(xù)處理和計算機視覺系統(tǒng)研究也具有積極的意義。這項技術彌補了普通數(shù)碼攝像及顯示器材的動態(tài)范圍窄于現(xiàn)實場景的局限性，使得人們僅利用消費級數(shù)碼產品就可以獲得專業(yè)級的高質量圖像。

由于場景亮度變化范圍的影響會導致低曝光和高曝光圖像的細節(jié)信息丟失嚴重，主要原因當采用低曝光度獲取時，圖像高亮區(qū)細節(jié)信息可見，但暗區(qū)的細節(jié)由于過于黑暗導致細節(jié)丟失嚴重；相反，用高曝光度獲取圖像時，暗區(qū)細節(jié)可見，但高亮區(qū)由于曝光過度信息同樣會丟失。為了恢復場景更多的細節(jié)信息，產生了多曝光融合技術。多曝光融合過程可描述為：對同一場景，獲取不同曝光度的圖像序列，經過融合處理，提取各自的清晰信息而合成一幅新的圖像，它能夠有效地提高圖像信息的利用率，便于人眼觀察或計算機進一步處理。

傳統(tǒng)的多曝光融合算法通常要解決兩個關鍵問題：圖像特征表示和融合規(guī)則設計。現(xiàn)有的融合方式大多是分別解決這兩個問題以達到融合目的。數(shù)碼相機在某一高動態(tài)范圍場景進行成像時，由于場景中的亮度范圍跨度很大，超出了其顯示范圍，想一次成像就把整個場景的信息獲取到是非常困難的。當采用低曝光度獲取時，圖像高亮區(qū)細節(jié)信息可見，但暗區(qū)的細節(jié)由于過于黑暗導致細節(jié)丟失嚴重；相反，用高曝光度獲取圖像時，暗區(qū)細節(jié)可見，但高亮區(qū)由于曝光過度信息同樣會丟失。為了解決這個問題，產生了多曝光融合技術，它能夠很好地保留場景的細節(jié)信息。曝光融合過程可描述為：對同一場景，獲取不同曝光度的圖像序列，經過融合處理，提取各自的清晰信息合成一幅新的圖像。它能夠有效地提高圖像信息的利用率，便于人眼觀察或計算機進一步處理。如何設計融合規(guī)則是多曝光融合算法的核心問題。在基于空間域的融合規(guī)則里，普遍采用加權平均、最大值或最小值等規(guī)則進行圖像融合處理。在設計該類融合規(guī)則時，不對源圖像進行任何圖像變換，也不考慮像素之間的相關性，而是直接對源圖像中的各對應像素點直接進行融合處理，得到一幅新的圖像。雖然這些方法具有簡便、計算量小的特點，比較適用于對融合效率要求較高的應用中。但是，它們不能夠較好地表現(xiàn)源圖像中的特征，紋理細節(jié)丟失也比較嚴重。因此，需要對現(xiàn)有基于空間域的融合規(guī)則進行改進和優(yōu)化，在不過多影響計算復雜度的前提下，提升圖像融合的質量。

公開號為cn104112263a的發(fā)明專利公開了一種基于深度神經網(wǎng)絡的全色圖像與多光譜圖像融合的方法，具體步驟如下：步驟1，構建高分辨與低分辨圖像塊對的訓練集；步驟2，利用改進的稀疏去噪自編碼器學習訓練神經網(wǎng)絡模型中第一層的初始化參數(shù)；步驟3，利用改進的稀疏去噪自編碼器對神經網(wǎng)絡進行逐層的預訓練；步驟4，對經過預訓練的深度神經網(wǎng)絡的參數(shù)進行微調；步驟5，根據(jù)已知的低空間分辨的多光譜圖像，利用該深度神經網(wǎng)絡重構出高分辨的多光譜圖像。該申請?zhí)岢龅姆椒ú襟E較多，計算復雜，而且僅能實現(xiàn)光譜圖像的融合。不適用于普通圖像。

技術實現(xiàn)要素：

為了解決上述的技術問題，本發(fā)明提出利用卷積神經網(wǎng)絡實現(xiàn)端到端的多曝光融合技術，卷積神經網(wǎng)絡的輸入是多幅具有不同曝光度的圖像序列，經過網(wǎng)絡直接得到一幅高質量融合結果圖像。

本發(fā)明提供一種端到端深度學習框架下的多曝光圖像融合方法，包括通過訓練獲取參數(shù)θ，，還包括以下步驟：

步驟1：將所述原始圖像基于卷積神經網(wǎng)絡進行融合處理，得到輸出圖像；

步驟2：對所述原始圖像進行n下采樣，得到n²個原始子圖像；

步驟3：將n²個所述原始子圖像基于卷積神經網(wǎng)絡分別進行融合處理，得到n²個輸出子圖像；

步驟4：把n²個所述輸出子圖像進行合并，得到合并子圖像；

步驟5：生成結果融合圖像。

優(yōu)選的是，所述原始圖像為一個圖像組，包含m張曝光度不同的圖像。

在上述任一方案中優(yōu)選的是，所述融合處理包含以下步驟：

步驟a：灰度化輸入圖像序列，得到n個具有不同曝光度的圖像序列，設為y；

步驟b：進行第一卷積層設計；

步驟c：進行第二卷積層設計；

步驟d：進行重構層的設計。

在上述任一方案中優(yōu)選的是，所述步驟b的計算公式為：f1(y)＝max(0,w1*y+b1)，其中w1和b1表示濾波器和偏置，w1是n1個f1×f1卷積核，可以看出w1是對原始圖像序列進行n1次卷積操作，每個卷積操作采用f1×f1大小的卷積核,第一層卷積輸出n1個特征圖，該層可看做原始圖像序列的一種非線性表示，max是非線性函數(shù)，其中f1為卷積模板的大小。

在上述任一方案中優(yōu)選的是，所述步驟c的計算公式為：f2(y)＝max(0,w2*f1(y)+b2)，其中w2是一個n1×n2個f2×f2大小的卷積核，b2是第二層卷積層的偏置。

在上述任一方案中優(yōu)選的是，所述步驟d的計算公式為f(y)＝w3*f2(y)+b3，其中w3是n2個f3×f3大小的卷積核，其中b3為重構層的偏置。

在上述任一方案中優(yōu)選的是，所述w1、w2、w3、b1、b2和b3通過所述參數(shù)θ得到，計算公式為θ＝{w1,w2,w3,b1,b2,b3}。

在上述任一方案中優(yōu)選的是，所述參數(shù)θ可以通過優(yōu)化損失函數(shù)得到。

在上述任一方案中優(yōu)選的是，所述損失函數(shù)是利用網(wǎng)絡的重構融合圖像f(y；θ)和標準曝光下的圖像x間的最小平方誤差定義的，公式定義為其中n表示訓練樣本的個數(shù)。

在上述任一方案中優(yōu)選的是，所述損失函數(shù)的優(yōu)化過程采用隨機梯度下降方法實現(xiàn)。1.在上述任一方案中優(yōu)選的是，所述隨機梯度下降方法為在訓練階段，batch的大小設置為128，momentum值設為0.9，權重衰減設置為0.0005，利用下面公式進行權重更新，

其中是momentum變量，i表示迭代次數(shù)，α是學習率(0.0001為默認值)，l是上面定義的損失函數(shù)，表示損失函數(shù)對權重的偏導，所述訓練過程采用caffe框架實現(xiàn)。

在上述任一方案中優(yōu)選的是，所述步驟2還包括按照空間位置在所述圖原始圖像中每間隔n-1行n-1列采集一個像素。

在上述任一方案中優(yōu)選的是，所述步驟2還包括把采集到的所有像素組合構成所述原始子圖像。

在上述任一方案中優(yōu)選的是，所述步驟4還包括把所述輸出子圖像按照步驟2的逆過程回填到原始位置，構成所述合并子圖像。

在上述任一方案中優(yōu)選的是，所述步驟五為把所述輸出圖像和所述合并子圖像進行合并處理，得到所述結果融合圖像。

在上述任一方案中優(yōu)選的是，所述合并處理的方法為按照比重系數(shù)對所述輸出圖像和所述合并子圖像進行加權平均。

本發(fā)明提出將原始圖像先通過下采樣方式得到多個子圖像，這樣可以利用原來n鄰域以外更多的像素做卷積處理，可以提升融合效果。

附圖說明

圖1為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的一優(yōu)選實施例的流程圖。

圖2為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的原始低曝光圖像展示圖。

圖2a為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的原始中曝光圖像展示圖。

圖2b為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的原始高曝光圖像展示圖。

圖2c為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的輸出圖像展示圖。

圖3為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的原始低曝光圖像分解圖。

圖3a為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的原始中曝光圖像分解圖。

圖3b為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的原始高曝光圖像分解圖。

圖3c為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的擴充鄰域方法示意圖。

圖3d為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的輸出子圖像示意圖

圖4為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的第一卷積層中間過程圖。

圖5為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的第二卷積層中間過程圖。

圖6為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的重構層中間過程圖。

圖7為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的輸出子圖像展示圖。

圖8為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的合并子圖像展示圖。

圖9為按照本發(fā)明的端到端深度學習框架下的多曝光圖像融合方法的如圖1所示實施例的結果融合圖像展示圖。

具體實施方式

下面結合附圖和具體的實施例對本發(fā)明做進一步的闡述。

本申請?zhí)岢隼镁矸e神經網(wǎng)絡實現(xiàn)端到端的多曝光融合技術，卷積神經網(wǎng)絡的輸入是多幅具有不同曝光度的圖像序列，經過網(wǎng)絡直接得到一幅高質量融合結果圖像。通過網(wǎng)絡訓練過程，能夠能到不用曝光度的圖像和真實場景圖像(標準光照)之間的映射關系。

如圖1所示，執(zhí)行步驟100，為了學習一個端到端的映射函數(shù)f，需要通過訓練獲取參數(shù)θ，以便得到參數(shù)值w1、w2、w3、b1、b2和b3。在本實施例中，參數(shù)θ通過優(yōu)化損失函數(shù)實現(xiàn)的，該損失函數(shù)是利用網(wǎng)絡的重構融合圖像f(y；θ)和標準曝光下的圖像(記為x)間的的最小平方誤差定義的，公式定義為：其中n表示訓練樣本的個數(shù)。本專利訓練數(shù)據(jù)使用imagenet上ilsvrc2012校驗集，該數(shù)據(jù)集共有50000張圖像，每張圖像可看做曝光度較好的自然場景圖像，通過一種隨機數(shù)生成機制，使其獲得的數(shù)值范圍在[0.4，1]之間，這樣乘以原始圖像，即可改變圖像的亮度值，從而得到對應的低曝光圖像。另外，還要產生對應的高曝光圖像，隨機數(shù)的范圍設置在[1.2，1.8]之間。這樣，每幅原始圖像都可以得到對應的低曝光和高曝光圖像，原始圖像作為標記圖像，即為上面的標記x，得到的低曝光和高曝光圖像作為網(wǎng)絡的輸入。在原始圖像和對應的低/高曝光圖像中隨機截取33×33的圖像塊，得到744175個“匹配對”作為訓練數(shù)據(jù)。損失函數(shù)的優(yōu)化過程采用隨機梯度下降方法實現(xiàn)。在訓練階段，batch的大小設置為128，momentum值設為0.9，權重衰減設置為0.0005，利用下面公式進行權重更新：其中是momentum變量，i表示迭代次數(shù)，α是學習率(0.0001為默認值)，l是上面定義的損失函數(shù)，表示損失函數(shù)對權重的偏導，訓練過程采用caffe框架實現(xiàn)。訓練結束后，可以得到參數(shù)值w1、w2、w3、b1、b2和b3，把這些參數(shù)應用在原始圖像a、b和c的融合處理中。

執(zhí)行步驟110，對原始圖像a、b和c進行灰度化處理并輸入圖像序列，得到n個具有不同曝光度的圖像序列，設為y。其中原始圖像a、b和c取自同一景致，區(qū)別在于曝光度不同，其中a為低曝光圖像(如圖2所示)，b為中曝光圖像(如圖2a所示)，c為高曝光圖像(如圖2b所示)。執(zhí)行步驟110，把原始圖像a、b和c進行融合處理。

執(zhí)行步驟120，對y進行第一卷積層設計，其計算公式為f1(y)＝max(0,w1*y+b1)，其中w1和b1表示濾波器和偏置，w1是n1個f1×f1卷積核，可以看出w1是對原始圖像序列進行n1次卷積操作，每個卷積操作采用f1×f1大小的卷積核。第一層卷積輸出n1個特征圖，該層可看做原始圖像序列的一種非線性表示，max是非線性函數(shù)(稱rectifiedlinearunit,relu)，在本實施例中，默認n1＝64，f1＝5，因此，在第一層卷積輸出64個特征圖(如圖4所示)。執(zhí)行步驟130，對y進行第二卷積層設計。在上面的第一層卷積過程中，得到了n1維的特征表示，在本層中，我們把n1維特征映射為n2維特征，其計算公式為：f2(y)＝max(0,w2*f1(y)+b2)，其中w2是一個n1×n2個f2×f2大小的卷積核，b2是第二層卷積層的偏置，在本實施例中，默認n2＝32，f2＝3，因此，在第二層卷積輸出32個特征圖(如圖5所示)。執(zhí)行步驟140，對y進行重構層設計。傳統(tǒng)的方法是針對前一層的n2個map，使用一種直接平均的方法即可生成一幅融合結果圖像，即每個map的權重是相同的，這樣會降低融合結果圖像的對比度。本專利在該層設計一個卷積層來重構結果圖像，其計算公式為f(y)＝w3*f2(y)+b3，其中w3是n2個f3×f3大小的卷積核，默認f3＝3，y在重構層設計后輸出特征圖(如圖6所示)。執(zhí)行步驟150，輸出融合處理結果，得到輸出圖像d(如圖7所示)。

執(zhí)行步驟102，把原始圖像a進行下采樣。得到多個子圖像，這樣就可以利用更多的鄰域信息進行卷積操作，原始圖像進行n下采樣，得到n²個子圖像。例如設定輸入圖像為16×16的圖像，n＝2。如圖3c所示，上半部分展示了一幅16×16的圖像(每個像素用不同深淺的灰色表示)，給定一個像素，如果用3×3卷積核，通常情況下在進行卷積時只用到里側黑色框中的像素進行計算。針對同一像素，在圖3c的下半部分左一圖中用3×3卷積操作時，對應圖3c的上半部分的原始圖像中1-8號像素，相對原始的內側的黑色框中的鄰域，這種方式可以增加鄰域像素的影響(外側黑色框所示)。隨著n的增加，可以進一步擴大鄰域像素的影響，并且這種方式不會影響網(wǎng)絡的設計。在本實施例中，設定下采樣參數(shù)n＝2，對原始圖像進行下采樣，得到圖像a-1、a-2、a-3和a-4(如圖3所示)，把原始圖像b進行下采樣，得到圖像b-1、b-2、b-3和b-4(如圖3a所示)，把原始圖像c進行下采樣，得到圖像c-1、c-2、c-3和c-4(如圖3b所示)。執(zhí)行步驟112，把a-1、a-2、a-3、a-4、b-1、b-2、b-3、b-4、c-1、c-2、c-3和c-4，分成四組，第一組是a-1、b-1和c-1，第二組是a-2、b-2和c-2，第三組是a-3、b-3和c-3，第四組是a-4、b-4和c-4，調取步驟111中訓練得到的參數(shù)w1、w2、w3、b1、b2和b3，對第一組圖像a-1、b-1和c-1進行灰度化處理并輸入圖像序列，得到n個具有不同曝光度的圖像序列，設為y。執(zhí)行步驟122，對y進行第一卷積層設計，其計算公式為f1(y)＝max(0,w1*y+b1)，其中w1和b1表示濾波器和偏置，w1是n1個f1×f1卷積核，可以看出w1是對原始圖像序列進行n1次卷積操作，每個卷積操作采用f1×f1大小的卷積核。第一層卷積輸出n1個特征圖，該層可看做原始圖像序列的一種非線性表示，max是非線性函數(shù)(稱rectifiedlinearunit,relu)，在本實施例中，默認n1＝64，f1＝5。執(zhí)行步驟132，對y進行第二卷積層設計。在上面的第一層卷積過程中，得到了n1維的特征表示，在本層中，我們把n1維特征映射為n2維特征，其計算公式為：f2(y)＝max(0,w2*f1(y)+b2)，其中w2是一個n1×n2個f2×f2大小的卷積核，b2是第二層卷積層的偏置，在本實施例中，默認n2＝32，f2＝3。執(zhí)行步驟142，對y進行重構層設計。傳統(tǒng)的方法是針對前一層的n2個map，使用一種直接平均的方法即可生成一幅融合結果圖像，即每個map的權重是相同的，這樣會降低融合結果圖像的對比度。本專利在該層設計一個卷積層來重構結果圖像，其計算公式為f(y)＝w3*f2(y)+b3，其中w3是n2個f3×f3大小的卷積核，默認f3＝3，y在重構層設計后輸出特征圖。執(zhí)行步驟152，輸出融合處理結果，得到輸出子圖像d-1(如圖3d左上圖所示)。分別對第二組圖像a-2、b-2和c-2、第三組圖像a-3、b-3和c-3、第四組圖像a-4、b-4和c-4執(zhí)行步驟122、步驟132、步驟142和步驟152的操作，分別得到輸出子圖像d-2(如圖3d右上圖所示)、d-3(如圖3d左下圖所示)和d4(如圖3d右下圖所示)。執(zhí)行步驟162，按照下采樣的逆過程，將得到的輸出子圖像d-1、d-2、d-3和d-4中的像素回填到原始像素位置，得到合并子圖像d’(如圖8所示)，該圖像是利用較遠的鄰域像素進行三層卷積得到的。

執(zhí)行步驟170，把輸出圖像d和合并子圖像d’按照一定的比重進行加權平均，在本實施例中，輸出圖像占70％的比重，合并子圖像占30％的比重，最后獲得融合結果圖像(如圖9所示)。

為了更好地理解本發(fā)明，以上結合本發(fā)明的具體實施例做了詳細描述，但并非是對本發(fā)明的限制。凡是依據(jù)本發(fā)明的技術實質對以上實施例所做的任何簡單修改，均仍屬于本發(fā)明技術方案的范圍。本說明書中每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似的部分相互參見即可。對于系統(tǒng)實施例而言，由于其與方法實施例基本對應，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

可能以許多方式來實現(xiàn)本發(fā)明的方法、裝置和系統(tǒng)。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實現(xiàn)本發(fā)明的方法和系統(tǒng)。用于所述方法的步驟的上述順序僅是為了進行說明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本發(fā)明實施為記錄在記錄介質中的程序，這些程序包括用于實現(xiàn)根據(jù)本發(fā)明的方法的機器可讀指令。因而，本發(fā)明還覆蓋存儲用于執(zhí)行根據(jù)本發(fā)明的方法的程序的記錄介質。

本發(fā)明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多修改和變化對于本領域的普通技術人員而言是顯然的。選擇和描述實施例是為了更好說明本發(fā)明的原理和實際應用，并且使本領域的普通技術人員能夠理解本發(fā)明從而設計適于特定用途的帶有各種修改的各種實施例。