本發(fā)明涉及模式分類的,尤其涉及一種基于自編碼器的非負表示分類方法及系統(tǒng)。
背景技術(shù):
1、基于稀疏表示的分類方法(sparse?representation-based?classification,src)認為,自然信號或數(shù)據(jù)可以通過少量的基向量線性組合來有效表示。src利用類似于范數(shù)稀疏性質(zhì)的范數(shù)正則化表示向量,從而能夠有效地提取數(shù)據(jù)的本質(zhì)特征。協(xié)同表示分類方法(collaborative?representation-based?classification,crc)利用所有訓練樣本的線性組合來表示測試樣本,并通過這種協(xié)同表示來進行分類。與稀疏表示分類方法不同,crc并不強制要求稀疏性,而是強調(diào)協(xié)同表示,利用范數(shù)正則化表示向量,從而提高分類效率。
2、非負表示分類方法(nonnegative?representation-based?classification,nrc)將測試樣本表示為訓練樣本的非負線性組合,即要求表示系數(shù)非負。通過這種方法,數(shù)據(jù)的表示更加符合實際物理意義。在分類任務中,非負表示方法利用訓練樣本構(gòu)建字典,對測試樣本進行非負編碼,得到的非負表示系數(shù)進一步用于分類決策。通過比較不同類別的重構(gòu)誤差,選擇誤差最小的類別作為測試樣本的類別。非負表示方法具有良好的物理解釋性和計算效率,廣泛應用于圖像分類、人臉識別、文檔分類和音樂信號處理等領(lǐng)域。
3、盡管非負表示分類方法在許多應用中展現(xiàn)出了優(yōu)秀的性能,但其分類能力仍存在一些局限性。一個主要問題是,現(xiàn)實中的樣本數(shù)據(jù)往往具有復雜的非線性結(jié)構(gòu),簡單的線性模型難以捕捉到數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和模式,而傳統(tǒng)nrc通常只在原始空間中進行操作,缺乏將數(shù)據(jù)映射到高維的線性特征空間進行處理,導致在面對線性不可分的樣本時,嚴重限制了圖像分類的準確性和效果。
技術(shù)實現(xiàn)思路
1、為了克服現(xiàn)有圖像模式分類技術(shù)中存在缺乏將數(shù)據(jù)映射到高維的線性特征空間進行處理,導致在面對線性不可分的樣本時,嚴重限制了圖像分類的準確性和效果的問題,本發(fā)明提出一種基于自編碼器的非負表示分類方法及系統(tǒng),能夠有效將低維非線性數(shù)據(jù)映射到高維空間,確保樣本在高維特征空間中具有線性結(jié)構(gòu),以獲得更高的圖像分類準確率。
2、為實現(xiàn)本發(fā)明的目的,本發(fā)明采用如下技術(shù)方案實現(xiàn):
3、一種基于自編碼器的非負表示分類方法,所述方法包括以下步驟:
4、獲取用于圖像分類的測試樣本與訓練樣本集,并對所述訓練樣本集進行預處理;
5、根據(jù)預處理后的訓練樣本集,提取測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣;
6、基于所述表示系數(shù)與映射矩陣對測試樣本進行分類,得到測試樣本被識別為最小殘差對應的類別。
7、在上述技術(shù)方案中,對所述訓練樣本集中的樣本進行預處理,能夠提高所述訓練樣本集中樣本數(shù)據(jù)的可靠性,同時,提高后續(xù)數(shù)據(jù)計算的效率;提取測試樣本在訓練樣本集上的表示系數(shù),得到的表示系數(shù),能夠同時約束子空間競爭表示項和類別表示向量,增加各類別表示向量的貢獻,并且能夠有效將低維非線性數(shù)據(jù)映射到高維空間,確保樣本在高維特征空間中具有線性結(jié)構(gòu),基于所述表示系數(shù)對測試樣本進行分類,得到測試樣本被識別為最小殘差對應的類別,有效完成對各種圖像分類任務并提高圖像分類的準確率。
8、進一步地,獲取用于圖像模式分類的訓練樣本集,表達式為:
9、
10、其中,ni表示第i類訓練樣本xi的樣本數(shù)量;c表示樣本總類別數(shù);n表示訓練樣本總數(shù);α表示每個樣本的特征向量;m表示每個樣本的特征維度。
11、進一步地,對所述訓練樣本集進行預處理的過程包括:
12、對訓練樣本集中的樣本進行l(wèi)2范數(shù)歸一化處理。
13、在上述技術(shù)方案中,對所述訓練樣本集中的樣本進行預處理,能夠提高所述訓練樣本集中樣本數(shù)據(jù)的可靠性,同時,提高后續(xù)數(shù)據(jù)計算的效率。
14、進一步地,提取測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣的過程包括:
15、構(gòu)建基于自編碼器的非負表示分類模型,并利用所述基于自編碼器的非負表示分類模型以優(yōu)化非負表示分類為目標,構(gòu)建優(yōu)化問題;
16、對所述優(yōu)化問題進行迭代求解,得到掌握測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣的基于自編碼器的非負表示分類模型;
17、基于自編碼器的非負表示分類模型提取測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣;
18、其中,所述基于自編碼器的非負表示分類模型為神經(jīng)網(wǎng)絡(luò)模型。
19、在上述技術(shù)方案中,構(gòu)建的構(gòu)建基于自編碼器的非負表示分類模型,在迭代優(yōu)化之后,能夠有效的掌握測試樣本與訓練樣本集的樣本數(shù)據(jù)變化,從而在提取測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣的過程中,有效的將低維非線性數(shù)據(jù)映射到高維空間,確保樣本在高維特征空間中具有線性結(jié)構(gòu),完成對各種圖像分類任務并提高圖像分類的準確率。
20、進一步地,構(gòu)建優(yōu)化問題的過程包括:
21、基于自編碼器的非負表示分類模型根據(jù)測試樣與訓練樣本集,構(gòu)建一個非負最小二乘問題的非負表示分類的優(yōu)化目標函數(shù),表達式為:
22、
23、使用變量拆分法來求解表示系數(shù)α,引入輔助變量z,非負表示分類目標函數(shù)重寫成如下形式:
24、
25、其中,t1表示編碼矩陣,t2表示解碼矩陣,φ表示非線性函數(shù),λ表示正則化參數(shù),y表示測試樣本,α為表示系數(shù)。
26、進一步地,對所述優(yōu)化問題進行迭代求解的過程包括:
27、采用交替方向乘子法求解,得到對應的增廣拉格朗日函數(shù),表達式為:
28、
29、使用交替優(yōu)化的方法來迭代更新變量t1,t2,α,z和δ,過程包括:
30、固定t2,α,z和δ,更新t1,表達式為:
31、
32、固定t1,α,z和δ,更新t2,表達式為:
33、t2=xφt(t1x)[φ(t1x)φt(t1x)]-1;
34、固定t1,t2,z和δ,更新α,表達式為:
35、α=[λφt(t1x)φ(t1x)+μi]-1[λφt(t1x)φ(t1y)+μz+δ];
36、固定t1,t2,α和δ,更新z,表達式為:
37、
38、更新δ,表達式為:
39、δ=δ+μ(z-α);
40、對所述優(yōu)化問題迭代求解的過程中,當所述基于自編碼器的非負表示分類模型收斂時,得到掌握測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣的基于自編碼器的非負表示分類模型,利用所述基于自編碼器的非負表示分類模型提取測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣t1、t2;
41、其中,δ表示拉格朗日乘子向量,μ>0表示懲罰參數(shù),<δ,z-α>表示兩個向量的內(nèi)積,γ表示學習率,不斷更新t1直至達到收斂條件或循環(huán)達到最大次數(shù),ε為較小閾值。
42、進一步地,基于自編碼器的非負表示分類模型的收斂條件的表達式為:
43、||αt-zt||2≤η,||αt+1-αt||2≤η和||zt+1-zt||2≤η同時滿足;
44、其中,η表示較小閾值。
45、在上述技術(shù)方案中,提取測試樣本在訓練樣本集上的表示系數(shù),得到的表示系數(shù),能夠同時約束子空間競爭表示項和類別表示向量,增加各類別表示向量的貢獻,并且能夠有效將低維非線性數(shù)據(jù)映射到高維空間。
46、進一步地,基于所述表示系數(shù)與映射矩陣對測試樣本進行分類的過程包括:
47、基于自編碼器的非負表示分類模型根據(jù)求解得到的表示系數(shù)與映射矩陣t1、t2,計算測試樣本在高維線性空間的重構(gòu)殘差為:
48、ri=||φ(t1y)-φ(t1xi)αi||2;
49、根據(jù)殘差進行分類,測試樣本被識別為最小殘差對應的類別:
50、
51、其中,y表示測試樣本,xi表示第i類訓練樣本,αi表示與第i類訓練樣本相對應的系數(shù)向量。
52、在上述技術(shù)方案中,基于所述表示系數(shù)對測試樣本進行分類,得到測試樣本被識別為最小殘差對應的類別,有效完成對各種圖像分類任務并提高圖像分類的準確率。
53、一種基于自編碼器的非負表示分類系統(tǒng),所述系統(tǒng)包括:
54、獲取模塊,用于獲取用于圖像分類的測試樣本與訓練樣本集;
55、處理模塊,用于對所述訓練樣本集進行預處理;
56、提取模塊,用于根據(jù)預處理后的訓練樣本集,提取測試樣本在訓練樣本集上的表示系數(shù)與映射矩陣;
57、分類模塊,基于所述表示系數(shù)與映射矩陣對測試樣本進行分類,得到測試樣本被識別為最小殘差對應的類別。
58、一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上、并在處理器上運行的計算機程序,其中,所述處理器執(zhí)行所述計算機程序時,實現(xiàn)一種基于自編碼器的非負表示分類方法的步驟。
59、相比現(xiàn)有技術(shù),本發(fā)明的有益效果在于:
60、本發(fā)明提出一種基于自編碼器的非負表示分類方法及系統(tǒng),首先,對所述訓練樣本集中的樣本進行預處理,能夠提高所述訓練樣本集中樣本數(shù)據(jù)的可靠性,同時,提高后續(xù)數(shù)據(jù)計算的效率;然后,提取測試樣本在訓練樣本集上的表示系數(shù),得到的表示系數(shù),能夠同時約束子空間競爭表示項和類別表示向量,增加各類別表示向量的貢獻,并且能夠有效將低維非線性數(shù)據(jù)映射到高維空間,確保樣本在高維特征空間中具有線性結(jié)構(gòu);最后,基于所述表示系數(shù)對測試樣本進行分類,得到測試樣本被識別為最小殘差對應的類別,有效完成對各種圖像分類任務并提高圖像分類的準確率。