本發(fā)明屬于機器學(xué)習(xí)，其具體涉及一種對于包含異常值和噪音的高維數(shù)據(jù)的線性壓縮表征方法。

背景技術(shù)：

1、作為一種重要的數(shù)據(jù)表征技術(shù)，費舍爾線性判別分析方法(fisher?lineardiscriminant?analysis,lda)近年來已成功地應(yīng)用于許多科學(xué)領(lǐng)域，包括數(shù)據(jù)壓縮傳輸以及信息去噪等。費舍爾線性判別分析方法是一種學(xué)習(xí)高維數(shù)據(jù)低維結(jié)構(gòu)的子空間分析方法，其主要是通過訓(xùn)練數(shù)據(jù)來學(xué)習(xí)一組最大化費舍爾判別準(zhǔn)則的向量，進而通過這些向量對原始數(shù)據(jù)進行降維表征處理。

2、傳統(tǒng)的費舍爾線性判別分析方法采用基于跡比值的目標(biāo)函數(shù)，其通過轉(zhuǎn)化為特征值優(yōu)化問題來得到原始問題模型的閉式解。然而，對于該優(yōu)化問題的求解是需要對類內(nèi)散度矩陣進行逆運算操作。因此，當(dāng)類內(nèi)散度矩陣奇異時，費舍爾線性判別分析模型是病態(tài)且不可求解的。然而，在高維特征空間或具有高度相關(guān)特征的特征空間中，是經(jīng)常出現(xiàn)有不滿秩的類內(nèi)散度矩陣的，如圖像/視頻分類、基因表達等。在這種情況下，傳統(tǒng)的解決方法通常是使用主成分分析(principle?component?analysis,pca)作為預(yù)處理步驟，在進行降維表征之前先處理去掉總體散度矩陣的相關(guān)特征零空間。此外，為解決零空間問題，很多基于費舍爾線性判別分析的變式方法被提出。最近，基于跡比值的費舍爾線性判別分析模型被進一步研究[1,2]，并展現(xiàn)出優(yōu)秀的表征性能。

3、然而，眾所周知，傳統(tǒng)的主成分分析和費舍爾線性判別分析方法都是使用了最小二乘估計目標(biāo)函數(shù)，即使用l2范數(shù)作為度量準(zhǔn)則。然而該范數(shù)很容易導(dǎo)致計算偏差問題的出現(xiàn)。這是因為使用平方范數(shù)度量使得異常值或噪音產(chǎn)生的誤差在整體的誤差損失中起主導(dǎo)作用，從而使得模型在一般情況下對噪音和異常值不魯棒。從統(tǒng)計的角度來看[3]，方法的魯棒性定義為對異常值不敏感的特性。在文獻[4,5]中，為了提高投影子空間的魯棒性，提出了多種基于費舍爾線性判別分析模型的變式方法，包括基于數(shù)據(jù)重采樣和子空間搜索等方法。此外，在數(shù)據(jù)表征學(xué)習(xí)領(lǐng)域，為了從根本上提高方法的魯棒性，很容易想到的是將損失函數(shù)中的l2范數(shù)改為更加合適的稀疏誘導(dǎo)范數(shù)?；谶@個想法，有一些方法通過利用l1范數(shù)來提高費舍爾線性判別分析方法的魯棒性，如文獻[6,7]。但也正因為l1范數(shù)的引入，使得模型更加難以優(yōu)化。這是因為所有的費舍爾線性判別分析方法，包括比值法和差值法，都需要同時最小化類內(nèi)散度以及最大化類間散度，現(xiàn)有的稀疏學(xué)習(xí)優(yōu)化算法如梯度投影法、同倫算法、迭代收縮閾值法、增廣拉格朗日法等，都不能求解基于l1范數(shù)的目標(biāo)函數(shù)。這使得模型很難從自身上來提高對數(shù)據(jù)中異常值和噪音的魯棒性。

4、[1]f.nie,z.wang,r.wang,and?x.li.submanifold-preserving?discriminantanalysis?with?an?auto-optimized?graph.ieee?transactions?on?cybernetics,2019.

5、[2]y.jia,f.nie,and?c.zhang.trace?ratio?problem?revisited.ieeetransactions?on?neural?networks,vol.20,no.4,pp.729–735,2009.

6、[3]p.j.huber,robust?statistics.wiley,1981.

7、[4]s.fidler?and?a.leonardis.robust?lda?classification?bysubsampling.conference?on?computer?vision?and?pattern?recognition?workshop,p.97,2003

8、[5]h.zhao,z.wang,and?f.nie.a?new?formulation?of?linear?discriminantanalysis?for?robust?dimensionality?reduction.ieee?transactions?on?knowledgeand?data?engineering,vol.31,no.4,pp.629–640,2018.

9、[6]c.-n.li,y.-h.shao,and?n.-y.deng.robust?l1-norm?two-dimensionallinear?discriminant?analysis.neural?networks,vol.65,pp.92–104,2015.

10、[7]q.ye,j.yang,f.liu,c.zhao,n.ye,and?t.yin.l1-norm?distance?lineardiscriminant?analysis?based?on?an?effective?iterative?algorithm.ieeetransactions?on?circuits?and?systems?for?video?technology,vol.28,no.1,pp.114–129,2016.

11、[8]c.ding,d.zhou,x.he,and?h.zha.r1-pca:rotational?invariant?l1-normprincipal?component?analysis?for?robust?subspace?factorization.int’lconf.machine?learning,2006.

12、[9]f.nie,j.yuan,and?h.huang.optimal?mean?robust?principal?componentanalysis.in?proceedings?of?the?31st?international?conference?on?machinelearning(icml),2014,pp.1062–1070.

13、[10]f.nie,h.huang,x.cai,and?c.ding.efficient?and?robust?featureselection?via?joint-norms?minimization.in?nips,2010.

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于比率最小化和稀疏表征學(xué)習(xí)模型的數(shù)據(jù)壓縮方法，用以從本質(zhì)上解決了傳統(tǒng)費舍爾線性判別分析方法對異常值敏感的難題。

2、為了實現(xiàn)上述任務(wù)，本發(fā)明采用以下技術(shù)方案：

3、一種基于比率最小化和稀疏表征學(xué)習(xí)的數(shù)據(jù)壓縮方法，包括：

4、獲取訓(xùn)練數(shù)據(jù)集，對于訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)樣本進行歸一化處理，再通過主成分分析方法對數(shù)據(jù)樣本進行降維處理；

5、將選取的訓(xùn)練集應(yīng)用到基于比率最小化的魯棒稀疏表征學(xué)習(xí)模型中，通過不斷迭代優(yōu)化學(xué)習(xí)模型，更新投影矩陣以及類簇中心向量直至目標(biāo)函數(shù)收斂，從而可得到最優(yōu)的數(shù)據(jù)投影矩陣；

6、對于待壓縮的數(shù)據(jù)，通過所學(xué)習(xí)到的數(shù)據(jù)投影矩陣將待壓縮的數(shù)據(jù)進行線性映射至低維空間中，從而實現(xiàn)了對數(shù)據(jù)的壓縮。

7、進一步地，所述訓(xùn)練集的處理過程為：

8、給定高維的訓(xùn)練數(shù)據(jù)集x＝[x1,...,xn]∈rd×n以及對應(yīng)類簇標(biāo)簽矩陣y∈{0,1}n×c,并根據(jù)類簇矩陣y定義第i類樣本集合其中xn表示數(shù)據(jù)集中第n個數(shù)據(jù)樣本，xni為數(shù)據(jù)集中第i類樣本集合的第n個數(shù)據(jù)樣本，ni表示第i類數(shù)據(jù)樣本的總數(shù)，d為數(shù)據(jù)維度，r表示實數(shù)集，c為數(shù)據(jù)的類別數(shù)量，1≤i≤c；首先對原始數(shù)據(jù)集中的數(shù)據(jù)樣本進行歸一化處理，并通過主成分分析方法對高維數(shù)據(jù)進行預(yù)處理，剔除原始數(shù)據(jù)中的特征零空間。

9、進一步地，所述基于比率最小化的魯棒稀疏表征學(xué)習(xí)模型，表示為：

10、

11、其中，w∈rd×m為所要學(xué)習(xí)的投影矩陣，上標(biāo)t表示矩陣的轉(zhuǎn)置，x表示訓(xùn)練數(shù)據(jù)集，xi表示第i類樣本集合，d和m分別表示數(shù)據(jù)維度與投影維度，c為數(shù)據(jù)的類別數(shù)量，r為實數(shù)集；為ni維的列向量，其元素都為1，ni表示第i類數(shù)據(jù)樣本的總數(shù)；表示第i類樣本的平均值，第為i類樣本集合的第j個數(shù)據(jù)樣本，||·||1，2表示l1,2范數(shù)，i表示單位矩陣。

12、進一步地，所述通過不斷迭代優(yōu)化學(xué)習(xí)模型，更新投影矩陣以及類簇中心向量直至目標(biāo)函數(shù)收斂，從而可得到最優(yōu)的數(shù)據(jù)投影矩陣，包括：

13、步驟1，首先利用基于比率最小化的魯棒稀疏表征學(xué)習(xí)模型，構(gòu)造如下的優(yōu)化問題進行求解：

14、

15、其中,tr表示對矩陣求跡；λ表示為懲罰參數(shù)，其通過如下公式進行計算更新：

16、

17、di(1≤i≤c)是對角矩陣，其中第j個對角元素為：

18、

19、||·||2表示l2范數(shù)；

20、d也為對角矩陣，其第i個對角元素為：

21、

22、其中，xi表示訓(xùn)練數(shù)據(jù)集中第i個數(shù)據(jù)樣本；

23、通過進一步的推導(dǎo)，式(2)可轉(zhuǎn)化為如下問題：

24、

25、對于上述問題，其關(guān)于變量w和μi都是凸優(yōu)化問題，因此有閉式解；

26、步驟2，根據(jù)公式(3)計算參數(shù)λ；

27、步驟3，根據(jù)公式(4)和公式(5)分別更新計算對角矩陣di(i＝1,2,...,c)和對角矩陣d；

28、步驟4，對第i類數(shù)據(jù)樣本，通過對式(6)關(guān)于μi求導(dǎo)，并令導(dǎo)數(shù)為0，可得到μi的最優(yōu)解為如下形式：

29、

30、步驟5，將式(7)得到的最優(yōu)解μi代入式(6)中，可得如下關(guān)于投影矩陣w的優(yōu)化問題：

31、

32、其中矩陣a的表達形式如下：

33、

34、這里，式(8)問題的最優(yōu)解w是由矩陣a的前m個最小特征值對應(yīng)的特征向量所組成的矩陣；

35、步驟6，在訓(xùn)練數(shù)據(jù)集中重復(fù)步驟2至步驟5，從而學(xué)習(xí)得到最優(yōu)的投影矩陣w。

36、進一步地，對于待壓縮的數(shù)據(jù)x，通過利用學(xué)習(xí)得到的最優(yōu)投影矩陣w計算wtx，實現(xiàn)對數(shù)據(jù)的壓縮。

37、一種終端設(shè)備，包括處理器、存儲器以及存儲在所述存儲器中的計算機程序；處理器被計算機執(zhí)行時，實現(xiàn)所述基于比率最小化和稀疏表征學(xué)習(xí)的數(shù)據(jù)壓縮方法。

38、一種計算機可讀存儲介質(zhì)，所述介質(zhì)中存儲有計算機程序；計算機程序被處理器執(zhí)行時，實現(xiàn)所述基于比率最小化和稀疏表征學(xué)習(xí)的數(shù)據(jù)壓縮方法。

39、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下技術(shù)特點：

40、本發(fā)明方法中建立了一種基于比率最小化的魯棒稀疏表征學(xué)習(xí)模型，來處理高維空間中的數(shù)據(jù)壓縮問題，其通過引入稀疏誘導(dǎo)范數(shù)從本質(zhì)上解決了傳統(tǒng)費舍爾線性判別分析方法對異常值與噪音敏感的難題。對于給定的訓(xùn)練數(shù)據(jù)集，首先通過引入基于比率最小化的費舍爾線性判別分析模型，在滿足最大化類間樣本距離同時最小化類內(nèi)樣本距離的約束條件下來學(xué)習(xí)最優(yōu)投影矩陣；進一步的，為了提高模型在噪音和異常樣本環(huán)境下的處理性能，本發(fā)明設(shè)計了基于l1,2范數(shù)的稀疏正則項來作為度量準(zhǔn)則，有效提高了所提模型的表征能力；此外，本發(fā)明設(shè)計了一種基于重加權(quán)方法的優(yōu)化算法來求解所提模型。在對高維數(shù)據(jù)進行壓縮表征時，所提算法能夠更加快速地收斂且達到較為穩(wěn)定的處理性能。