本發(fā)明屬于圖像融合技術領域，涉及一種基于SAE(Stacked Autoencoder，棧式自編碼器)的特征融合的方法，提高了融合特征的區(qū)分度和效率。

背景技術：

特征融合是指對提取的特征信息，進行綜合分析及融合處理的技術。在圖像理解中，利用特征融合不僅可以增加圖像的特征信息，而且能有效綜合原始特征之間的優(yōu)勢獲得目標更全面的特征表達。經典的特征融合算法(特征融合算法可參考文獻王大偉,陳定榮,何亦征.面向目標識別的多特征圖像融合技術綜述[J].航空電子技術,2011,42(2):6-12.)，直接把特征按照某種方式直接組合起來，沒有從本質上考慮特征間的關系對融合結果的影響，因此融合后的特征冗余性較大，區(qū)分性不高。

SAE是一種無監(jiān)督的學習網絡，能通過簡單的非線性模型將原始特征轉化為更為抽象的表達，進行有效的特征融合?；赟AE的特征融合，不僅能提取出原始特征中的深層互補特征，得到更具區(qū)分性的特征，同時能利用特征提取減少輸入數(shù)據的特征維度，簡化網絡結構，提高融合效率。

已有的基于SAE的特征融合算法(基于SAE的特征融合算法可參考文獻Chen Y,Lin Z,Zhao X,et al..Deep Learning-Based Classification of Hyperspectral Data[J].IEEE Journal of Selected Topics in Applied Earth Observations&Remote Sensing,2014,7(6):2094-2107.)，選取的特征維數(shù)高，融合網絡結構復雜，訓練時間較長，無法滿足實時性的需求。另外特征之間冗余性大，互補性小，融合后特征區(qū)分度提高不明顯。

技術實現(xiàn)要素：

本發(fā)明通過選取互補性高，冗余性小的特征，得到了基于SAE的特征融合 方法。該方法能有效減少數(shù)據維度，簡化SAE的網絡結構，提高融合效率。同時，選取了不同屬性的特征，為融合提供了豐富的信息，提取出了更具區(qū)分性的融合特征。

本發(fā)明的技術方案是：

首先，提取圖像的TPLBP(Three-Patch Local Binary Patterns，局部三斑塊二值模式)紋理特征，利用特征選擇方法選擇并提取圖像的若干種基線特征，將得到的所有特征進行串聯(lián)得到串聯(lián)向量。然后，對串聯(lián)向量先進行標準化再進行白化。將白化后的結果作為SAE的輸入，利用逐層貪婪訓練法對SAE進行訓練。最后利用訓練好的SAE，通過softmax分類器對SAE進行微調，使得損失函數(shù)最小，SAE的輸出即為區(qū)分性高的融合特征向量。

本發(fā)明的有益效果是：

1.本發(fā)明選取了基線特征和TPLBP特征進行組合，基線特征描述了圖像的幾何結構特性，TPLBP特征描述了圖像的局部紋理，不同屬性的兩種特征互補性大，冗余性小，為特征融合提供更豐富的信息。

2.本發(fā)明設計的SAE結構，通過特征提取，改變了原始特征的空間分布，能有效增加原始特征之間的類間距離，減小類內距離，使融合后的分類精度有較大的提升。

3.本發(fā)明提出的技術方案，將228維的串聯(lián)特征而不是整幅圖像作為SAE輸入，在有效融合特征的同時，簡化了SAE結構，有效減少了網絡訓練時間和測試時間，融合效率得到有效提升。

附圖說明

圖1為本發(fā)明實驗數(shù)據MSTAR數(shù)據集示例；

圖2為本發(fā)明流程圖；

圖3為本發(fā)明融合特征分布變化圖；

圖4為本發(fā)明實驗結果對比圖。

具體實施方式

本發(fā)明實驗數(shù)據為MSTAR數(shù)據集，該數(shù)據集包括BMP2,BRDM2,BTR60,BTR70,D7,T62,T72,ZIL131,ZSU234,2S1等10類軍事目標的SAR(synthetic aperture radar，合成孔徑雷達)圖像切片，圖1中給出10類軍事目標的切片示例，切片大小統(tǒng)一裁剪為128×128像素。

圖2為本發(fā)明流程圖，結合本發(fā)明的某一實驗，具體實施步驟如下：

第一步，提取圖像的TPLBP(Three-Patch Local Binary Patterns，局部三斑塊二值模式)紋理特征。對原始圖像利用LBP(Local Binary Patterns，局部二值模式)算子得到其LBP碼值，再通過對比圖像塊之間的LBP值，得到TPLBP碼值，統(tǒng)計TPLBP碼值得到直方圖向量，再將其串接成圖像的128維TPLBP紋理特征向量征。

利用特征選擇方法選擇并提取圖像的若干種基線特征。首先，對圖像進行能量檢測，將其二值化之后，得到二值圖像，再對二值圖像進行膨脹，得到連通圖像，分別提取二值圖像和連通圖像的若干基線特征。再利用F-score(Fisher score)的方法，計算基線特征的類間和類內的區(qū)分性，最后根據每種基線特征的F-score值的大小對基線特征進行排序。為減小特征維度，去掉F-score值較小的特征，選取25種基線特征串聯(lián)成100維基線特征向量(見表1)，再與TPLBP特征串聯(lián)，得到228維串聯(lián)向量。通?；€特征的提取數(shù)目根據實際應用情況確定。本實施例選25種基線特征。每種基線特征的維數(shù)是由該種基線特征的基本性質決定的，如面積特征為1維，質心特征2維等。

表1基線特征

第二步，對串聯(lián)向量先進行標準化再進行白化。將串聯(lián)向量X減去其均值進行標準化，再利用ZCA對標準化后的向量進行白化，得到白化后的向量為X_ZCAWhite＝TX,其中T＝UP^-(1/2)U^T，U和P是串聯(lián)向量的協(xié)方差矩陣 的特征向量和特征值，x⁽ⁱ⁾表示串聯(lián)向量X的第i維的值，M表示串聯(lián)向量X的維度，本實施例選M＝228。

第三步，將白化后的向量作為SAE的輸入，利用逐層貪婪訓練法對SAE進行訓練。首先訓練第一層SAE，利用梯度下降法使代價函數(shù)收斂到最優(yōu)解，將隱層學習到的特征作為第二層自編碼器的輸入，固定第一層的網絡權值，訓練第二層網絡，依次訓練好SAE的每一層。

第四步，利用訓練好的網絡，通過softmax分類器對SAE進行微調，使得損失函數(shù)最小，得到區(qū)分性高的融合特征向量。本實施例中最后得到的融合特征向量是145維向量。

圖3為本發(fā)明的特征分布對比圖，(a)為串聯(lián)向量在二維空間中的分布，利用本發(fā)明的第一步得到串聯(lián)向量；(b)為本發(fā)明方法得到的融合特征向量在二維空間中的分布。在MSTAR數(shù)據集的基礎上，利用本發(fā)明得到圖1中的10幅圖像(即10類軍事目標)的融合特征向量，再將融合特征向量與串聯(lián)向量在二維空間分別進行可視化。由圖3可看出，串聯(lián)向量在二維空間中類間存在混疊，類內數(shù)據分散。10類目標的特征混疊分布在5個區(qū)域內。而本發(fā)明得到的10類目標的融合特征向量在二維空間中分布在相對分散的10個區(qū)域，其類間距離更大，類內更緊湊，因此區(qū)分性更好。圖3表明本發(fā)明采用的SAE，利用其非線性表達能力從輸入數(shù)據中挖掘了更有效的信息，將特征進行深度融合，改變了原始特征的空間分布，從而提升了融合特征的區(qū)分性。

圖4為本發(fā)明實驗結果對比圖。圖中表明特征融合前后的目標識別精度對比，橫坐標為10類軍事目標，縱坐標表示每一類目標對應的識別精度，其中基線特征(100維)和TPLBP特征(128維)得到的目標識別精度分別用帶星號 的虛線和帶四邊形的點虛線表示，利用本發(fā)明融合特征向量(145維)得到的識別精度帶圈實線表示。為探究本發(fā)明的有效性，分別利用基線特征、紋理特征作為含兩個隱層的SAE的訓練樣本，進行目標識別，再與融合特征向量的識別性能比較。利用基線特征和TPLBP特征得到10類目標的平均識別精度分別為90.19％和90.40％，利用本發(fā)明得到的識別精度95.88％，平均識別精度提高了5％以上。從圖4可以看出，除BRDM2與ZSU234之外，其余目標類別的識別精度均高于單特征。因此，本發(fā)明能從原始特征中提取出更具表達能力的特征，進行表達轉換后，融合后的特征魯棒性更好，區(qū)分度更大。

此外為對比特征融合算法在時間復雜度上的優(yōu)勢。將原始SAR圖像幅度圖像，直接利用含兩個隱層的SAE進行特征提取，并利用softmax分類器進行分類。從表2可以看出，本發(fā)明在訓練時間加快了近8倍，測試時間上加快了近9倍。因此，本發(fā)明能有效的減少神經元的數(shù)目，簡化網絡結構，提高融合效率。

表2融合時間對比

以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。