一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法，包括步驟1：選取待分類(lèi)的遙感圖像數(shù)據(jù)；步驟2：利用預(yù)先配置的算法對(duì)遙感圖像數(shù)據(jù)進(jìn)行處理；步驟3：運(yùn)用主動(dòng)學(xué)習(xí)算法nEQB從未標(biāo)記樣本U中選取選出最佳樣本B；步驟4：將未標(biāo)記樣本U與最佳樣本B做減法運(yùn)算，得到新的未標(biāo)記樣本集U`，將標(biāo)記樣本L與最佳樣本B做加法運(yùn)算，得到新的標(biāo)記樣本集L`；步驟5：重新返回步驟2，繼續(xù)循環(huán)以上過(guò)程，直到未標(biāo)記樣本集U`為空集或滿(mǎn)足預(yù)先設(shè)置的終止學(xué)習(xí)指標(biāo)，循環(huán)結(jié)束，輸出相匹配的分類(lèi)準(zhǔn)確度和分類(lèi)結(jié)果圖。本發(fā)明的有益效果為：通過(guò)深度學(xué)習(xí)和主動(dòng)學(xué)習(xí)，能夠克服分別使用無(wú)監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)的缺點(diǎn)，有效的提高了數(shù)據(jù)的分類(lèi)精度。
【專(zhuān)利說(shuō)明】一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及遙感圖像數(shù)據(jù)，具體來(lái)說(shuō)，涉及一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分 類(lèi)方法。

【背景技術(shù)】
[0002] 目前，對(duì)于一些淺層的算法（指僅含一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)、核回歸、支撐向量機(jī) 等），當(dāng)給定有限數(shù)量的樣本和計(jì)算單元時(shí)，淺層結(jié)構(gòu)難以有效地表示復(fù)雜函數(shù)，并且對(duì)于 復(fù)雜分類(lèi)問(wèn)題表現(xiàn)性能及泛化能力針均有明顯的不足，尤其當(dāng)目標(biāo)對(duì)象具有豐富的含義， 所以有一定的局限性。
[0003] 而深度學(xué)習(xí)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有多層的隱層節(jié)點(diǎn)，明確突出了特征學(xué) 習(xí)的重要性，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而 使分類(lèi)或預(yù)測(cè)更加容易，與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征，更能夠 刻畫(huà)數(shù)據(jù)的豐富內(nèi)在信息，可通過(guò)學(xué)習(xí)一種深層非線(xiàn)性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征 輸入數(shù)據(jù)分布式表示。另外主動(dòng)學(xué)習(xí)的理論研究對(duì)于我們深入理解機(jī)器學(xué)習(xí)中的許多重要 理論問(wèn)題，例如如何降低樣本復(fù)雜度，如何處理小樣本數(shù)據(jù)集，不平衡數(shù)據(jù)的學(xué)習(xí)問(wèn)題，標(biāo) 注數(shù)據(jù)的有效利用，監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之間的聯(lián)系等都有非常重要的指導(dǎo)意義，而就 目前情況而言，無(wú)論對(duì)于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)均存在各自的缺陷。
[0004] 因此，現(xiàn)在需要研發(fā)一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)算法，以克服現(xiàn)有技 術(shù)中分別使用無(wú)監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)的缺點(diǎn)。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法，以克服目前現(xiàn) 有技術(shù)存在的上述不足。
[0006] 本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)： 一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法，包括以下步驟： 步驟1 :選取待分類(lèi)的遙感圖像數(shù)據(jù)； 步驟2 :利用預(yù)先配置的算法對(duì)所述遙感圖像數(shù)據(jù)進(jìn)行處理，具體的步驟包括： 步驟2-1 :利用遙感圖像數(shù)據(jù)的所有訓(xùn)練樣本進(jìn)行無(wú)監(jiān)督自編碼深度網(wǎng)絡(luò)學(xué)習(xí)； 步驟2-2 :然后利用預(yù)先設(shè)置的標(biāo)記樣本L進(jìn)行監(jiān)督深度網(wǎng)絡(luò)學(xué)習(xí)； 步驟2-3 :利用預(yù)先設(shè)置的未標(biāo)記樣本U輸入深度網(wǎng)絡(luò)得到分類(lèi)結(jié)果； 步驟3 :運(yùn)用主動(dòng)學(xué)習(xí)算法nEQB從未標(biāo)記樣本U中選取選出最佳樣本B; 步驟4 :將未標(biāo)記樣本U與最佳樣本B做減法運(yùn)算，得到新的未標(biāo)記樣本集U'，將標(biāo)記 樣本L與最佳樣本B做加法運(yùn)算，得到新的標(biāo)記樣本集L' ; 步驟5 :重新返回步驟2,繼續(xù)循環(huán)以上過(guò)程，直到未標(biāo)記樣本集U'為空集或者滿(mǎn)足預(yù) 先設(shè)置的終止學(xué)習(xí)的指標(biāo)，循環(huán)結(jié)束，輸出相匹配的分類(lèi)準(zhǔn)確度和分類(lèi)結(jié)果圖。
[0007] 進(jìn)一步的，所述步驟2中利用預(yù)先配置的算法函數(shù)包括稀疏自編碼算法和支持向 量機(jī)SVM算法。
[0008] 本發(fā)明的有益效果為：通過(guò)深度學(xué)習(xí)和主動(dòng)學(xué)習(xí)，能夠克服分別使用無(wú)監(jiān)督學(xué)習(xí) 與監(jiān)督學(xué)習(xí)的缺點(diǎn)，降低了計(jì)算的復(fù)雜度，與單獨(dú)的SVM算法相比，多了無(wú)監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)， 對(duì)數(shù)據(jù)的分類(lèi)精度也有一定的提高，在深度學(xué)習(xí)的基礎(chǔ)上再加入主動(dòng)學(xué)習(xí)，在主動(dòng)學(xué)習(xí)中， 學(xué)習(xí)器不再是被動(dòng)地接收由用戶(hù)提供的訓(xùn)練數(shù)據(jù)，而是主動(dòng)要求用戶(hù)對(duì)那些最有價(jià)值的數(shù) 據(jù)進(jìn)行標(biāo)記；在獲得相近準(zhǔn)確率的情況下，主動(dòng)樣本選擇相對(duì)于隨機(jī)選擇可以顯著地減少 所需要的樣本數(shù)，有效的提高了對(duì)數(shù)據(jù)分類(lèi)的效率。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0009] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所 需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施 例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲 得其他的附圖。
[0010] 圖1是根據(jù)本發(fā)明實(shí)施例所述的一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法的 流程圖。

【具體實(shí)施方式】
[0011] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的 范圍。
[0012] 如圖1所示，根據(jù)本發(fā)明實(shí)施例所述的一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方 法，包括以下步驟： 步驟1 :選取待分類(lèi)的遙感圖像數(shù)據(jù)； 步驟2 :利用預(yù)先配置的算法對(duì)所述遙感圖像數(shù)據(jù)進(jìn)行處理，具體的步驟包括： 步驟2-1 :利用遙感圖像數(shù)據(jù)的所有訓(xùn)練樣本進(jìn)行無(wú)監(jiān)督自編碼深度網(wǎng)絡(luò)學(xué)習(xí)； 步驟2-2:然后利用預(yù)先設(shè)置的標(biāo)記樣本L進(jìn)行監(jiān)督深度網(wǎng)絡(luò)學(xué)習(xí)； 步驟2-3 :利用預(yù)先設(shè)置的未標(biāo)記樣本U輸入深度網(wǎng)絡(luò)得到分類(lèi)結(jié)果； 步驟3 :運(yùn)用主動(dòng)學(xué)習(xí)算法nEQB從未標(biāo)記樣本U中選取選出最佳樣本B; 步驟4 :將未標(biāo)記樣本U與最佳樣本B做減法運(yùn)算，得到新的未標(biāo)記樣本集U'，即U' =U-B;將標(biāo)記樣本L與最佳樣本B做加法運(yùn)算，得到新的標(biāo)記樣本集L'，即L' =L+B; 步驟5:重新返回步驟2,繼續(xù)循環(huán)以上過(guò)程，直到未標(biāo)記樣本集U'為空集或者滿(mǎn)足預(yù) 先設(shè)置的終止學(xué)習(xí)的指標(biāo)，循環(huán)結(jié)束，輸出相匹配的分類(lèi)準(zhǔn)確度和分類(lèi)結(jié)果圖。
[0013] 所述步驟2中利用預(yù)先配置的算法函數(shù)包括稀疏自編碼算法和支持向量機(jī)SVM算 法。
[0014] 具體應(yīng)用時(shí)，給定一個(gè)神經(jīng)網(wǎng)絡(luò)，假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參 數(shù)，得到每一層中的權(quán)重。自然地，就得到了輸入I的幾種不同表示(每一層代表一種表示)， 這些表示就是特征。自動(dòng)編碼器就是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)，其中，自動(dòng)編碼 器的訓(xùn)練過(guò)程包括：（1)給定無(wú)標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)算法學(xué)習(xí)特征；（2)通過(guò)編碼器產(chǎn) 生特征，然后訓(xùn)練下一層，這樣逐層訓(xùn)練；（3)有監(jiān)督微調(diào)，本發(fā)明利用了該方法，在訓(xùn)練好 網(wǎng)絡(luò)后就可以用來(lái)分類(lèi)了。
[0015] 加入Ll的Regularity限制（LI主要是約束每一層中的節(jié)點(diǎn)中大部分都要為0,只 有少數(shù)不為〇)，限制每次得到的表達(dá)code盡量稀疏，保留數(shù)據(jù)的同時(shí)降低計(jì)算復(fù)雜度。
[0016] 加入主動(dòng)學(xué)習(xí)算法，在未標(biāo)記的樣本中選擇最有信息量的樣本、最有利于分類(lèi)器 性能的樣本進(jìn)行添加。
[0017] 對(duì)主動(dòng)學(xué)習(xí)選擇出來(lái)的樣本進(jìn)行標(biāo)記，從未標(biāo)記樣本中刪除，加入到訓(xùn)練樣本中 更新訓(xùn)練樣本，查看分類(lèi)精度。
[0018] 如圖1所示，本發(fā)明實(shí)施例所述的一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)，包括 以下步驟： (1)選取合適的遙感數(shù)據(jù)。
[0019] (2)基于稀疏自編碼算法，選出性能最優(yōu)的網(wǎng)絡(luò)學(xué)習(xí)參數(shù)(包括隱含層層數(shù)，學(xué)習(xí) 速率，噪聲比等）。
[0020] (3)基于支持向量機(jī)SVM算法，確定核函數(shù)，選出性能最優(yōu)的參數(shù)。
[0021] (4)基于主動(dòng)學(xué)習(xí)算法nEQB，確定深度學(xué)習(xí)與主動(dòng)學(xué)習(xí)怎樣結(jié)合。
[0022] (5)在找到SVM與稀疏自編碼參數(shù)最優(yōu)的情況下，比較稀疏自編碼加主動(dòng)學(xué)習(xí)與 稀疏自編碼加隨機(jī)選樣的分類(lèi)精度；比較稀疏自編碼加主動(dòng)學(xué)習(xí)與SVM加主動(dòng)學(xué)習(xí)的分類(lèi) 精度。
[0023] 其中，所述基于稀疏自編碼算法包括： 自編碼神經(jīng)網(wǎng)絡(luò)嘗試學(xué)習(xí)一個(gè)的函數(shù)，即嘗試逼近一個(gè)恒等函數(shù)，從而使 輸出￡接近于輸入X。在隱藏層神經(jīng)元數(shù)目較多的情況下，隱藏神經(jīng)元加入稀疏性限制，自 編碼神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到數(shù)據(jù)的稀疏表示形式。此時(shí)隱含層就是輸入數(shù)據(jù)的重新表示，即 學(xué)習(xí)到的新特征。因此，自編碼神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)為： =(1) JBtm 使用#表示隱藏神經(jīng)元j的激活度，使用示在給定輸入X情況下自編 碼器隱藏神經(jīng)元j的激活度。使用色=表示隱藏神經(jīng)元j在訓(xùn)練集上的平 m i-l 均活躍度，為了數(shù)據(jù)表示稀疏化，加入限制其中P是稀疏性參數(shù)，通常是一個(gè)接近 于〇的較小值。使用相對(duì)熵作為懲罰因子，其相對(duì)熵可表示為：

【權(quán)利要求】
1. 一種基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法，其特征在于，包括以下步驟： 步驟1:選取待分類(lèi)的遙感圖像數(shù)據(jù)； 步驟2 :利用預(yù)先配置的算法對(duì)所述遙感圖像數(shù)據(jù)進(jìn)行處理，具體的步驟包括： 步驟2-1 :利用遙感圖像數(shù)據(jù)的所有訓(xùn)練樣本進(jìn)行無(wú)監(jiān)督自編碼深度網(wǎng)絡(luò)學(xué)習(xí)； 步驟2-2 :然后利用預(yù)先設(shè)置的標(biāo)記樣本L進(jìn)行監(jiān)督深度網(wǎng)絡(luò)學(xué)習(xí)； 步驟2-3 :利用預(yù)先設(shè)置的未標(biāo)記樣本U輸入深度網(wǎng)絡(luò)得到分類(lèi)結(jié)果； 步驟3 :運(yùn)用主動(dòng)學(xué)習(xí)算法nEQB從未標(biāo)記樣本U中選取選出最佳樣本B ; 步驟4 :將未標(biāo)記樣本U與最佳樣本B做減法運(yùn)算，得到新的未標(biāo)記樣本集U'，將標(biāo)記 樣本L與最佳樣本B做加法運(yùn)算，得到新的標(biāo)記樣本集L' ; 步驟5 :重新返回步驟2,繼續(xù)循環(huán)以上過(guò)程，直到未標(biāo)記樣本集U'為空集或者滿(mǎn)足預(yù) 先設(shè)置的終止學(xué)習(xí)的指標(biāo)，循環(huán)結(jié)束，輸出相匹配的分類(lèi)準(zhǔn)確度和分類(lèi)結(jié)果圖。
2. 根據(jù)權(quán)利要求1所述的基于主動(dòng)深度學(xué)習(xí)的遙感圖像分類(lèi)方法，其特征在于，所述 步驟2中利用預(yù)先配置的算法函數(shù)包括稀疏自編碼算法和支持向量機(jī)SVM算法。
【文檔編號(hào)】G06K9/66GK104484682SQ201410851849
【公開(kāi)日】2015年4月1日 申請(qǐng)日期:2014年12月31日 優(yōu)先權(quán)日:2014年12月31日
【發(fā)明者】王力哲, 左亞青, 劉鵬, 趙靈軍 申請(qǐng)人:中國(guó)科學(xué)院遙感與數(shù)字地球研究所