本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及圖像變化檢測，具體是一種基于深度神經(jīng)網(wǎng)絡(luò)的超像素級SAR圖像變化檢測方法，可用于遙感影像監(jiān)測、醫(yī)學(xué)診斷、自然災(zāi)害評估等技術(shù)領(lǐng)域中。

背景技術(shù)：

遙感影像變化檢測技術(shù)用于檢測同一地區(qū)在不同時間內(nèi)所發(fā)生的變化情況，具有重要的應(yīng)用價值。而基于合成孔徑雷達(dá)的(Synthetic Aperture Radar,SAR)影像的變化檢測由于SAR傳感器不受時段、天氣條件影響等優(yōu)良特征而受到廣泛關(guān)注。對于SAR圖形的變化檢測問題，研究者已經(jīng)提出了很多方法，這些方法對差異圖的生成以及閾值、聚類、圖切、水平集四種常用的差異圖分析方法進(jìn)行了不同程度的研究，將傳統(tǒng)方法進(jìn)行了改善，取得了良好的效果。

近些年來，深度神經(jīng)網(wǎng)絡(luò)(Deep learning)已經(jīng)成為一種新的機器學(xué)習(xí)方法廣泛應(yīng)用。它通過構(gòu)建深層的神經(jīng)網(wǎng)絡(luò)模型來表達(dá)和分析數(shù)據(jù)，具有更強的學(xué)習(xí)能力。在深度學(xué)習(xí)中，我們可以不需要預(yù)處理而直接輸入數(shù)據(jù)，而數(shù)據(jù)的特征通過每一層被學(xué)習(xí)出來。深度神經(jīng)網(wǎng)絡(luò)的模型主要包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)，深度信念網(wǎng)絡(luò)(DBN)和自編碼器(AE)。因為深度神經(jīng)網(wǎng)絡(luò)對圖像有更好的表達(dá)方式，提取更深層次的特征，所以有一些研究人員已經(jīng)將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到SAR圖像的變化檢測中，并取得了很好的效果，比如：Maoguo Gong等人提出了一種基本深度學(xué)習(xí)的變化檢測方法，參見M.Gong,J.Zhao,J.Liu,Q.Miao,L.Jiao.Change Detection in Synthetic Aperture Radar Images Based on Deep Neural Networks.IEEE Transactions on Neural Networks and Learning Systems,Vol.27,No.1,2016:125-138.將深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢引入到圖像變化檢測中已經(jīng)成為變化檢測方向新的熱點。

根據(jù)處理的目標(biāo)不同，變化檢測也分為像素級別和目標(biāo)級別，分別對應(yīng)處理的對象是像素和圖像中的目標(biāo)。閾值、聚類以及上述的基于深度神經(jīng)網(wǎng)絡(luò)的變化檢測都是像素級別的變化檢測，他們處理的對象是圖像的像素。這些像素級別的變化檢測分類相對準(zhǔn)確，但是主要缺陷是易受噪聲干擾(尤其是閾值和聚類方法)，并且由于處理的對象是每一個圖像的像素，所以處理時計算量比較大。目標(biāo)級別的變化檢測主要是通過圖像分割的技術(shù)先將待處理的圖像進(jìn)行目標(biāo)分割，然后再進(jìn)行分類。其處理速度快，但是精確度主要取決于圖像分割的結(jié)果，穩(wěn)定性差。

超像素是一種介于像素與目標(biāo)之間的圖像區(qū)域，概念就是把圖像分割成很多小區(qū)域，每個子區(qū)域內(nèi)部之間具有某個特征很強的一致性，然后可以把這一整個塊當(dāng)成一個整體來處理，每一小塊就是超像素，這樣處理有一些便捷，比如數(shù)據(jù)點數(shù)減少，或者這一塊有圖像語義，利于后續(xù)其他應(yīng)用。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服上述已有技術(shù)的不足，提出一種基于深度神經(jīng)網(wǎng)絡(luò)的超像素級SAR圖像變化檢測方法，以實現(xiàn)在圖像變化檢測中既能得到比目標(biāo)級別變化檢測更好的結(jié)果，又能降低像素級變化檢測方法計算量比較大的缺點，使得變化檢測結(jié)果更穩(wěn)定。

本發(fā)明的技術(shù)方案是：基于深度神經(jīng)網(wǎng)絡(luò)的超像素級SAR圖像變化檢測方法，包括如下步驟：

(1)對兩幅原始圖像進(jìn)行超像素分割，分別得到分割后的圖像SI₁、SI₂和分割輪廓C₁、C₂；

(2)根據(jù)兩幅原始圖像的分割輪廓，進(jìn)一步進(jìn)行精細(xì)化分割，使得兩幅圖像得到相同的精細(xì)化分割輪廓C和精細(xì)化分割后圖像S₁和S₂，并且兩幅圖像都得到M個對應(yīng)的超像素塊；

(3)求兩幅原始圖像的差異圖，用閾值法或模糊聚類法變化檢測方法得到初始變化檢測結(jié)果圖；

(4)使用精細(xì)化分割輪廓C去分割初始變化檢測結(jié)果圖，并統(tǒng)計被分割的初始變化檢測結(jié)果圖中每個超像素塊中變化與未變化的像素點數(shù)目，如果變化的像素點數(shù)目大于80％，則該超像素塊的標(biāo)簽為變化類，如何未變化的像素點數(shù)目大于80％，則該超像素塊的標(biāo)簽為未變化類；否則該超像素塊為不確定；

(5)建立堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型；

(6)將S₁和S₂中有確定標(biāo)簽的對應(yīng)位置的超像素塊分別取出，疊加成列向量，輸入到建立的堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練；

(7)根據(jù)初始變化檢測結(jié)果圖得到的標(biāo)簽，使用反向傳播算法調(diào)整堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型中各個神經(jīng)元之間的連接權(quán)重，得到最終訓(xùn)練好的模型；

(8)再次將S₁和S₂對應(yīng)位置的所有超像素塊分別疊加成列向量，輸入到訓(xùn)練好的堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型中，深度神經(jīng)網(wǎng)絡(luò)模型將判斷對應(yīng)的超像素塊是變化的還是未變化的，最終輸出變化檢測結(jié)果的二值圖。

上述步驟(2)所述的精細(xì)化分割，具體步驟如下：

將不同的分割輪廓C₁和C₂進(jìn)行精細(xì)化分割，得到相同的精細(xì)化分割輪廓，即C₁＝C₂＝C；具體過程為遍歷C₁和C₂每個超像素輪廓的值，如果對應(yīng)位置輪廓標(biāo)記相同，則該位置標(biāo)記不變；如果不同，則該位置賦新的輪廓標(biāo)記；

其中，

上述公式(1)中，newlabel是表示與C₁和C₂的標(biāo)記都不相同的新的標(biāo)記；

用得到的精細(xì)化分割輪廓C重新分割兩幅原始圖像，得到精細(xì)化分割后圖像S₁和S₂，每幅圖像都被分割為M個對應(yīng)的超像素塊。

上述步驟(4)中用精細(xì)化分割輪廓C去分割初始變化檢測結(jié)果圖，得到每個超像素塊的標(biāo)簽，按如下方法進(jìn)行：

用得到的精細(xì)化分割輪廓C去分割初始變化檢測結(jié)果圖，并得到分割后的圖像D；根據(jù)分割后的初始變化檢測結(jié)果圖，確定每一塊超像素塊的標(biāo)簽；

其中，

上述公式(2)中，(label)_j代表第j個超像素塊的標(biāo)簽，D_j代表第j個超像素塊中像素的總個數(shù)，D_junchanged和D_jchanged分別代表第j個超像素塊中未變化的像素個數(shù)和變化的像素個數(shù)；用上述公式(2)確定每一塊超像素塊的標(biāo)簽，0代表該像素塊是未變化的，1代表該像素塊是變化的。

上述步驟(6)所述的將S₁和S₂中有確定標(biāo)簽的對應(yīng)超像素塊分別取出，疊加成列向量，輸入到堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練，按如下方法進(jìn)行：

分別取出兩幅原始圖像對應(yīng)位置的超像素塊，將取出的兩個對應(yīng)位置的超像素塊中的每個像素組成列向量，并把兩個列向量疊加為一個列向量作為訓(xùn)練樣本輸入到堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，該過程是無監(jiān)督的，訓(xùn)練的數(shù)據(jù)不需要標(biāo)簽，從底層開始，一層一層的往頂層訓(xùn)練。

上述步驟(7)所述的根據(jù)初始變化檢測結(jié)果圖得到的標(biāo)簽，調(diào)整堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型中各個神經(jīng)元之間的連接權(quán)重，得到最終訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型，按如下方法進(jìn)行：

堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練之后，使用反向傳播算法進(jìn)行參數(shù)調(diào)整，即通過帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對深度神經(jīng)網(wǎng)絡(luò)模型中節(jié)點之間連接的參數(shù)進(jìn)行調(diào)整，該過程需要使用標(biāo)簽為0或1的超像素塊去訓(xùn)練，通過調(diào)整節(jié)點之間連接的參數(shù)得到最終訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型。

本發(fā)明的有益效果：與現(xiàn)有的技術(shù)相比本發(fā)明具有以下優(yōu)點：

1、本發(fā)明由于采用了超像素級別的處理目標(biāo)，直接檢測像素塊是變化的還是未變化的，相對像素級別的變化檢測降低了計算量，相對目標(biāo)級別的變化檢測增加了準(zhǔn)確性；

2、采用了深度神經(jīng)網(wǎng)絡(luò)模型，提取了超像素塊的深層的內(nèi)部特征，通過訓(xùn)練能更好的分辨變化類與未變化類。

附圖說明

圖1是本發(fā)明實現(xiàn)步驟的流程框圖；

圖2是本發(fā)明精細(xì)化超像素分割的示意圖；

圖3是本發(fā)明中使用的堆棧去噪自編碼深度神經(jīng)網(wǎng)絡(luò)模型的原理圖；

圖4是兩幅原始圖像對應(yīng)的超像素塊疊加為列向量，作為訓(xùn)練樣本輸入到深度神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練過程的示意圖；

圖5是待變化檢測的兩幅原始的SAR圖像I₁和I₂；

圖5(a)是待變化檢測的原始的SAR圖像I₁；

圖5(b)是待變化檢測的原始的SAR圖像I₂；

圖6是用本發(fā)明方法對圖5進(jìn)行變化檢測得到的仿真實驗結(jié)果圖；

圖7是用現(xiàn)有KI閾值算法對圖5進(jìn)行變化檢測得到的仿真實驗結(jié)果圖；

圖8是用現(xiàn)有FCM聚類算法對圖5進(jìn)行變化檢測得到的仿真實驗結(jié)果圖。

具體實施方式

參照圖1，本發(fā)明將深度神經(jīng)網(wǎng)絡(luò)引入到變化檢測算法中以達(dá)到更好的分類性能，并且提出了超像素級別的處理對象，避免了像素級別和目標(biāo)級別的變化檢測的缺陷，其具體實現(xiàn)步驟如下：

步驟1、使用超像素分割方法分割兩幅原始圖像。

使用超像素分割方法，分別分割兩幅原始圖像。本發(fā)明中用的超像素分割方法是SLIC超像素分割，它會根據(jù)圖像本身區(qū)域的特性對圖像進(jìn)行超像素分割，使得統(tǒng)一超像素塊內(nèi)像素點的性質(zhì)近似，而不同超像素塊之間的性質(zhì)差別比較大。

分別對兩幅原始圖像I₁和I₂進(jìn)行超像素分割，得到分割后的圖像SI₁、SI₂和分割輪廓C₁、C₂。因為兩幅原始圖像存在差異，所以超像素分割后的輪廓是不同的，即C₁≠C₂。

步驟2、精細(xì)化分割，得到相同的超像素分割輪廓。

如圖2所示，將不同的分割輪廓C₁和C₂進(jìn)行精細(xì)化分割，得到相同的精細(xì)化分割輪廓，即C₁＝C₂＝C。具體過程為遍歷C₁和C₂每個超像素輪廓的值，如果對應(yīng)位置輪廓標(biāo)記相同，則該位置標(biāo)記不變；如果不同，則該位置賦新的輪廓標(biāo)記。

其中，newlabel是表示與C₁和C₂都不相同的新的標(biāo)記。

用得到的精細(xì)化分割輪廓C重新分割兩幅原圖，得到精細(xì)化分割后的圖像S₁和S₂，每幅圖像都被分割為M個對應(yīng)超像素塊。

步驟3、用傳統(tǒng)的變化檢測方法得到初始變化檢測結(jié)果圖。

在之后的深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中，我們需要使用一定量的帶標(biāo)簽的超像素塊，所以我們提前用閾值法(FCM),模糊聚類法(FCM)等傳統(tǒng)的變化檢測方法得到初始變化檢測結(jié)果圖。

步驟4、分割初始變化檢測結(jié)果圖，得到每個超像素塊的標(biāo)簽。

用得到的精細(xì)化分割輪廓C去分割初始變化檢測結(jié)果圖，得到分割后的圖像D。根據(jù)分割后的變化檢測結(jié)果，我們確定每一塊超像素塊的標(biāo)簽。

其中，(label)_j代表第j個超像素塊的標(biāo)簽，D_j代表第j個超像素塊中像素的總個數(shù)，D_junchanged和D_jchanged分別代表第j個超像素塊中未變化和變化的像素個數(shù)。用上述公式(2)確定每一塊超像素塊的標(biāo)簽，0代表該像素塊是未變化的，1代表該像素塊是變化的。

步驟5、建立堆棧去噪自編碼(SDAE)深度神經(jīng)網(wǎng)絡(luò)模型。

SDAE是將多個DAE(去噪自編碼)堆疊起來形成的一種算法。由P.Vincent等人在Stacked Denoising Autoencoders:Learning Useful Representations in a Deep Network with a Local Denoising Criterion一文中進(jìn)行了詳細(xì)的闡述。

DAE的主要思想是一個好的表示(特征)能夠從一個腐蝕輸入魯棒地得到，并且可以較好地恢復(fù)出未腐蝕的輸入。SDAE的思想就是將多個DAE堆疊在一起形成一個深度的架構(gòu)。需要注意的是，只有在訓(xùn)練的時候才會對輸入進(jìn)行腐蝕，一旦訓(xùn)練完成，就不需要再進(jìn)行腐蝕。關(guān)于DAE和SDAE的原理圖參見圖3。

步驟6、訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型。

分別取出兩幅原始圖像對應(yīng)位置的超像素塊，將兩個對應(yīng)位置的超像素塊中的每個像素組成列向量，并把兩個列向量疊加為一個列向量作為訓(xùn)練樣本輸入到深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。具體過程參見圖4，這個過程是無監(jiān)督的，訓(xùn)練的數(shù)據(jù)不需要標(biāo)簽，從底層開始，一層一層的往頂層訓(xùn)練。

步驟7、調(diào)整深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)。

深度神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練之后，需要使用反向傳播(BP)算法進(jìn)行參數(shù)調(diào)整，就是通過帶標(biāo)簽的超像素塊去訓(xùn)練，誤差自頂向下傳輸，對深度神經(jīng)網(wǎng)絡(luò)模型中各個神經(jīng)元之間的連接權(quán)重進(jìn)行調(diào)整。這個過程需要使用label為0或1的超像素塊進(jìn)行訓(xùn)練，最終得到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)。

步驟8、用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類，得到最終的結(jié)果。

通過步驟7之后，我們得到了具有良好分類功能的深度神經(jīng)網(wǎng)絡(luò)模型?，F(xiàn)在需要把兩幅原始圖像的所有的對應(yīng)超像素塊分別疊加為列向量，輸入到深度神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行分類。深度神經(jīng)網(wǎng)絡(luò)模型會對輸入的超像素塊進(jìn)行分類，判斷是變化的超像素塊還是未變化的超像素塊，最終得到最后的分類二值圖像。

本發(fā)明的效果可通過以下仿真進(jìn)一步說明：

1.仿真條件及仿真內(nèi)容：

本實例在Intel(R)Core(TM)2Duo CPU 2.33GHz Windows 7系統(tǒng)下，Matlab R2015a運行平臺上，完成本發(fā)明以及KI閾值方法和FCM聚類方法的SAR圖像變化檢測仿真實驗。

2.仿真實驗內(nèi)容

A.本發(fā)明圖像變化檢測方法的仿真

將本發(fā)明應(yīng)用在如圖5所示290×350的兩幅SAR圖像上，該SAR圖像是Ottawa地區(qū)洪水前后的圖像。圖6為用本發(fā)明方法對圖5進(jìn)行變化檢測得到的仿真實驗結(jié)果圖，其中白色區(qū)域代表變化的區(qū)域，黑色區(qū)域代表未變化的區(qū)域。

B.現(xiàn)有KI和FCM圖像變化檢測方法的仿真

將現(xiàn)有的閾值方法應(yīng)用在如圖5所示290×350的SAR圖像上，仿真實驗結(jié)果如圖7所示，其中白色區(qū)域代表變化的區(qū)域，黑色區(qū)域代表未變化的區(qū)域。

將現(xiàn)有的聚類方法應(yīng)用在如圖5所示290×350的SAR圖像上，仿真實驗結(jié)果如圖8所示，其中白色區(qū)域代表變化的區(qū)域，黑色區(qū)域代表未變化的區(qū)域。

3.仿真實驗結(jié)果

從圖6可以看出，本發(fā)明得到的仿真實驗結(jié)果有較好的主觀視覺效果，邊緣平滑清晰，能比較準(zhǔn)確的把兩幅圖像中的變化部分和未變化部分提取分類，尤其對于圖5中的洪水與陸地部分，變化部分檢測比較準(zhǔn)確。

從圖7可以看出，現(xiàn)有閾值方法得到的仿真實驗結(jié)果主觀視覺效果較差，錯誤變化檢測區(qū)域比較嚴(yán)重，邊緣模糊不清，且產(chǎn)生了很大的噪聲，無法準(zhǔn)確的將洪水前后的變化情況準(zhǔn)確的反映出來。

從圖8可以看出，現(xiàn)有聚類方法得到的仿真實驗結(jié)果主觀視覺效果優(yōu)于閾值算法得到的仿真實驗結(jié)果，能基本反映兩幅圖像的變化情況，但與本發(fā)明得到的仿真實驗結(jié)果相比，邊緣不夠平滑準(zhǔn)確，產(chǎn)生的噪聲較多。

由以上的仿真實驗可以說明，針對SAR圖像的變化檢測，本發(fā)明存在一定的優(yōu)勢，克服了現(xiàn)有閾值和聚類變化檢測技術(shù)應(yīng)用在SAR圖像上的不足，不論是視覺效果還是準(zhǔn)確性，本發(fā)明均優(yōu)于現(xiàn)有的KI閾值和FCM聚類變化檢測技術(shù)。

綜上所述，本發(fā)明針對SAR圖像的變化檢測效果明顯優(yōu)于現(xiàn)有的KI閾值和FCM聚類技術(shù)對SAR圖像的變化檢測效果；與現(xiàn)有的技術(shù)相比其優(yōu)點包括：

1、本發(fā)明由于采用了超像素級別的處理目標(biāo)，直接檢測像素塊是變化的還是未變化的，相對像素級別的變化檢測降低了計算量，相對目標(biāo)級別的變化檢測增加了準(zhǔn)確性；

2、采用了深度神經(jīng)網(wǎng)絡(luò)模型，提取了超像素塊的深層的內(nèi)部特征，通過訓(xùn)練能更好的分辨變化類與未變化類。

本實施方式中沒有詳細(xì)敘述的部分屬本行業(yè)的公知的常用手段，這里不一一敘述。以上例舉僅僅是對本發(fā)明的舉例說明，并不構(gòu)成對本發(fā)明的保護范圍的限制，凡是與本發(fā)明相同或相似的設(shè)計均屬于本發(fā)明的保護范圍之內(nèi)。