本發(fā)明涉及一種深度特征表示方法，具體涉及一種基于多重棧式自編碼的深度特征表示方法。

背景技術(shù)：

在計(jì)算機(jī)視覺(jué)和多媒體應(yīng)用中的一個(gè)關(guān)鍵性問(wèn)題就是如何構(gòu)造一個(gè)辨別力和魯棒性都比較強(qiáng)的特征。在傳統(tǒng)的視頻分析及圖像處理領(lǐng)域中已存在很多常用的底層視覺(jué)特征特征(諸如顏色、紋理、sift、hog、lbp等)，并且在一些視覺(jué)任務(wù)中也取得了較好的效果。當(dāng)然，這些特征依然存在著一些限制：首先此類特征的提取過(guò)程都是人工設(shè)計(jì)，存在一定的算法復(fù)雜性，一般適用于較小型的數(shù)據(jù)集，然而當(dāng)前所采用的視頻圖像幾乎都是超十萬(wàn)級(jí)別的數(shù)據(jù)，因此，難以滿足當(dāng)前大數(shù)據(jù)中特征提取的需求。其次由于受到現(xiàn)實(shí)客觀因素的影響，當(dāng)前面臨的數(shù)據(jù)類型復(fù)雜多變(灰度圖、彩色圖、光照、遮擋的視頻數(shù)據(jù)等)，傳統(tǒng)的底層視覺(jué)特征不足以有效表達(dá)此類數(shù)據(jù)的特征信息。因此，設(shè)計(jì)新的算法提取視頻圖像中的辨別性特征以應(yīng)對(duì)當(dāng)前復(fù)雜多變的數(shù)據(jù)類型顯得尤為必要。隨著計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)算法的發(fā)展，深度學(xué)習(xí)技術(shù)(deeplearning)作為一種新型的機(jī)器學(xué)習(xí)算法，其源于人工神經(jīng)網(wǎng)絡(luò)技術(shù)，從仿生學(xué)的原理模擬人腦對(duì)目標(biāo)對(duì)象抽取層級(jí)特征的判別信息，其強(qiáng)大的信息判別能力得到了當(dāng)前眾多研究者的青睞。雖然這些算法在特征提取的采用分級(jí)處理的方法，也為復(fù)雜問(wèn)題提供了有效的解決方案，但是對(duì)于特征提取過(guò)程的錯(cuò)綜復(fù)雜的表示結(jié)果卻很難直觀地感受。除此之外，傳統(tǒng)的深度體系結(jié)構(gòu)只能提取單層的結(jié)構(gòu)，這會(huì)導(dǎo)致失去一些有識(shí)別力的精準(zhǔn)代表圖片的信息。因此，本發(fā)明提出一種多重棧式自編碼聯(lián)合特征學(xué)習(xí)的技術(shù)，該方法通過(guò)多重自編碼深度網(wǎng)絡(luò)，從多個(gè)維度提取目標(biāo)不同層級(jí)的特征信息，實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確標(biāo)準(zhǔn)和判別。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)于對(duì)特征提取結(jié)果的復(fù)雜結(jié)果不能直觀感受和深度體系結(jié)構(gòu)只能提取單層結(jié)構(gòu)的不足，本發(fā)明提出了一種可行的方法用于精確提取目標(biāo)圖片的特征，即試圖模仿人類大腦的視覺(jué)皮質(zhì)，結(jié)合圖片表示的多層次特征來(lái)實(shí)現(xiàn)獲取目標(biāo)圖片的特征。

為了實(shí)現(xiàn)上述目標(biāo)，本發(fā)明采用的技術(shù)方案為一種基于多重棧式自編碼的深度特征表示方法。

一種基于多重棧式自編碼的深度特征表示方法，其特征在于，基于棧式自編碼的基本原則。首先，說(shuō)明一下，一個(gè)自編碼需要一個(gè)輸入x＝r^d和第一個(gè)潛在表示的輸入的映射h∈r^d′，用一個(gè)確定性的函數(shù)h＝fθ＝σ(wx+b)，參數(shù)θ＝{w，b}。然后利用這個(gè)方式通過(guò)反向映射重置輸入：y＝fθ′(h)＝σ(w′h+b′)，θ′＝{w′，b′}。兩個(gè)參數(shù)通常以w′＝w^t的形式被限制，在編碼輸入和解碼潛在表示yi時(shí)使用相同的權(quán)重。參數(shù)會(huì)通過(guò)訓(xùn)練集dn＝{(x0，t0)，...(xn，tn)}最小化一個(gè)適當(dāng)?shù)膬r(jià)值函數(shù)被最佳化，具體包括：

步驟1，建立多重多層次的自動(dòng)編碼,通過(guò)把不同層次的特征組合到一起實(shí)現(xiàn)由粗到精的過(guò)程。框架結(jié)合多個(gè)自編碼器，它們每個(gè)都有不同的結(jié)構(gòu)。擁有越少隱藏層的網(wǎng)絡(luò)會(huì)得到目標(biāo)低層次的信息，然后把這些特征組合到一起形成最終的表示，這樣我們就可以得到由粗到精的目標(biāo)特征表示。訓(xùn)練原始圖片時(shí)，我們的框架會(huì)從不同的視角去獲取它們的表示。通過(guò)這種方法，我們依靠新的推理體系確保每一層都會(huì)重置輸入。這樣得到的特征會(huì)更加的具有代表性和說(shuō)服力。

步驟2，進(jìn)行分層優(yōu)化深度網(wǎng)絡(luò)結(jié)構(gòu)(棧式自編碼網(wǎng)絡(luò)結(jié)構(gòu))。

步驟3，對(duì)每個(gè)特征分配權(quán)重。為了得到一個(gè)更具魯棒性的目標(biāo)表示特征，對(duì)每個(gè)特征分配不同的權(quán)重。根據(jù)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)，隱藏層層次越豐富對(duì)應(yīng)的特征就越有判別力，因此我們對(duì)從更深層次的網(wǎng)絡(luò)所提取的特征相應(yīng)地設(shè)置更高的權(quán)重。這個(gè)進(jìn)程通過(guò)下式表達(dá)：

其中f代表最終的綜合特征，fi代表從i-th自編碼器獲得的特征，k代表深度自編碼器的數(shù)量。

步驟4，進(jìn)行分類。經(jīng)過(guò)不同層次自動(dòng)編碼獲得的不同特征會(huì)通過(guò)權(quán)重分配進(jìn)行預(yù)處理。最后把經(jīng)過(guò)處理的特征組合到一起形成最終的表示。之后，通過(guò)softmax分類器得到最終的分類結(jié)果。softmax分類器我們可以歸納為分類標(biāo)簽超過(guò)兩個(gè)以上的分類問(wèn)題，其是邏輯回歸的一般形式。

在上述基于多重棧式自編碼的深度特征表示方法，所述步驟2具體包括：

對(duì)棧式自編碼網(wǎng)絡(luò)的分層優(yōu)化過(guò)程是通過(guò)反向傳播算法來(lái)完成的，其主要思路如下：對(duì)棧式編碼器給定一個(gè)樣例(x,y)，我們首先進(jìn)行“前向傳導(dǎo)”計(jì)算，計(jì)算出網(wǎng)絡(luò)中所有節(jié)點(diǎn)的激活值ai，包括hw，b(x)的輸出值(其中參數(shù)θ＝{w，b})。之后針對(duì)弟l層的每一個(gè)節(jié)點(diǎn)i，我們計(jì)算其“殘差”該殘差表明了該節(jié)點(diǎn)對(duì)最終輸出值的殘差產(chǎn)生了多少影響。對(duì)于最終的輸出節(jié)點(diǎn)，我們可以直接算出網(wǎng)絡(luò)產(chǎn)生的激活值與實(shí)際值之間的差距，我們將這個(gè)差距定義為(第nl層表示輸出層)。對(duì)于隱藏單元，我們將基于節(jié)點(diǎn)(第l+1層節(jié)點(diǎn))殘差的加權(quán)平均值計(jì)算這些節(jié)點(diǎn)以作為輸入。具體來(lái)說(shuō)，反向傳播算法可以表示為以下幾個(gè)步驟：

步驟2.1:進(jìn)行前饋傳導(dǎo)計(jì)算，利用前向傳導(dǎo)公式，得到l2,l3,…直到輸出層lnl的激活值；

步驟2.2:對(duì)輸出層(第nl層)，計(jì)算殘差：δ^(nl)＝-(y-a^(nl))·f′(z^(nl))；

步驟2.3：對(duì)于l＝nl-1,nl-2,nl-3,…,2的各層，計(jì)算：δ^(l)＝((w^(l))^tδ^(l+1))·f′(z^(l))；

步驟2.4:計(jì)算最終需要的偏導(dǎo)數(shù)值：

而在實(shí)際中應(yīng)注意：以上的第2步和第3步中，我們需要為每一個(gè)i值計(jì)算其假設(shè)f(z)是sigmoid函數(shù)，并且我們已經(jīng)在前向傳導(dǎo)運(yùn)算中得到了那么使用我們?cè)缦韧茖?dǎo)出的f′(z)表達(dá)式，就可以計(jì)算的得到此過(guò)程為對(duì)一層棧式自編碼網(wǎng)絡(luò)進(jìn)行優(yōu)化與求導(dǎo)過(guò)程，因此，我們可以重復(fù)梯度下降法的迭代步驟來(lái)減小代價(jià)函數(shù)j(w,b)的值，進(jìn)而求解整個(gè)棧式自編碼網(wǎng)絡(luò)結(jié)構(gòu)。

3、根據(jù)權(quán)利要求1所述基于多重棧式自編碼的深度特征表示方法，其特征在于：所述步驟3具體包括：

通過(guò)前面已經(jīng)了解到如何使用一個(gè)自編碼器從無(wú)標(biāo)注數(shù)據(jù)中學(xué)習(xí)特征。具體來(lái)說(shuō)分為以下幾個(gè)步驟：

步驟3.1:假定有一個(gè)無(wú)標(biāo)注的訓(xùn)練數(shù)據(jù)集(下標(biāo)μ代表“不帶類標(biāo)”)。利用訓(xùn)練得到的模型參數(shù)w⁽¹⁾，b⁽¹⁾，w⁽²⁾，b⁽²⁾，給定輸入數(shù)據(jù)x(可能需要首先對(duì)這些數(shù)據(jù)做白化或其它適當(dāng)?shù)念A(yù)處理)，可以計(jì)算隱藏單元的激活量(activations)a。如前所述，相比原始輸入x來(lái)說(shuō)，a可能是一個(gè)更好的特征描述，即我們所謂的特征表示(去掉自編碼網(wǎng)絡(luò)最后一層的輸出，為了和上述一直，此處特征用f表示)；

步驟3.2:針對(duì)不同的棧式自編碼結(jié)構(gòu)，其隱藏層數(shù)是不一樣的，在本發(fā)明中，我們采用隱藏層數(shù)分別為3,4,5，因此其中所獲得的特征表示(去掉自編碼網(wǎng)絡(luò)的最后一層的數(shù)據(jù)輸出)為f3，f4，f5。而根據(jù)深度神經(jīng)網(wǎng)絡(luò)的原理，一般來(lái)說(shuō)，網(wǎng)絡(luò)層數(shù)越深，最后將能夠獲得魯棒性更強(qiáng)的特征。所以，在本發(fā)明中，三種特征的表征能力將以f5＞f4＞f3的方式排列。因此，三種特征對(duì)最終目標(biāo)特征表示的表現(xiàn)力貢獻(xiàn)程度也會(huì)不一樣，所以在最后進(jìn)行特征組合的時(shí)候，其權(quán)重系數(shù)也會(huì)不一樣；

步驟3.3:通過(guò)上述步驟步驟3.2,我們獲取了不同的特征表示，由于每種特征的表征能力不一樣，在本步驟中，我們采取2:3:5的比例來(lái)分配相應(yīng)的權(quán)重系數(shù)，而在權(quán)重系數(shù)分配中，必須滿足(其中k代表自編碼器的數(shù)量，λi表示每種特征的權(quán)重系數(shù)，因此通過(guò)此種方式可以分別求出每種特征的相應(yīng)貢獻(xiàn)程度。然后通過(guò)系數(shù)相加的方式獲得最后的目標(biāo)特征表示(如權(quán)利要求1中步驟3所示)。

在上述基于多重棧式自編碼的深度特征表示方法，所述步驟4中，通過(guò)所獲取的目標(biāo)特征表示，利用softmax回歸模型對(duì)目標(biāo)特征進(jìn)行分類，該模型是logistic回歸模型在多類問(wèn)題上的推廣。其具體步驟包括：

步驟4.1:通過(guò)上述多層特征的權(quán)重系數(shù)求和相加的方式所獲得目標(biāo)特征后，對(duì)特征所表述的目標(biāo)進(jìn)行類別標(biāo)記，用于softmax模型的進(jìn)行分類，以檢驗(yàn)多種深度層級(jí)特征的效果；

步驟4.2:由前一步驟中所獲得的特征訓(xùn)練集假設(shè)由m個(gè)已標(biāo)記的樣本所組成，即{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，其中輸入特征x⁽ⁱ⁾∈rⁿ⁺¹，類別標(biāo)記y可以取k個(gè)不同的值，因此，y⁽ⁱ⁾∈{1,2,…,k}。對(duì)于給定的測(cè)試輸入x，我們想用假設(shè)函數(shù)針對(duì)每一個(gè)類別j估算出概率值。也就是說(shuō)，我們估計(jì)x的每一種分類結(jié)果出現(xiàn)的概率。因此，我們的假設(shè)函數(shù)將要輸出一個(gè)k維的向量(向量元素的和為1)來(lái)表示這k個(gè)估計(jì)的概率值。具體地說(shuō)，我們的假設(shè)函數(shù)hθ(x⁽ⁱ⁾)形式如下：

其中θ1，θ2，...，θk∈rⁿ⁺¹是模型參數(shù)，這一項(xiàng)是對(duì)概率分布進(jìn)行歸一化，使得所有概率和為1；

步驟4.3:softmax的代價(jià)函數(shù)如下所示(其中1{·}表示示性函數(shù)，取值規(guī)則為1{值為真的表達(dá)式}＝1)：

對(duì)于j(θ)的最小化問(wèn)題，我們采用梯度下降法完成求導(dǎo)過(guò)程，其梯度公式如下：

有了上面的偏導(dǎo)數(shù)公式以后，我們就可以將它代入到梯度下降法等算法中，來(lái)最小化j(θ)，從而求出每種類別的概率，實(shí)現(xiàn)最終分類過(guò)程。

本發(fā)明具有以下積極效果和優(yōu)點(diǎn)：1、本發(fā)明通過(guò)以一種逐層的方式獲取目標(biāo)不同層次的信息最終得到目標(biāo)的特征表示。2、試圖從仿生學(xué)的角度模仿人類大腦視覺(jué)皮質(zhì)。通過(guò)這種方式可以獲得圖片表示的強(qiáng)有力的特征。

附圖說(shuō)明

圖1為本發(fā)明的流程圖

具體實(shí)施方式

首先，說(shuō)明一下棧式自編碼的基本原則。一個(gè)自編碼需要一個(gè)輸入x＝r^d和第一個(gè)潛在表示的輸入的映射h∈r^d′，用一個(gè)確定性的函數(shù)h＝fθ＝σ(wx+b)，參數(shù)θ＝{w，b}。然后利用這個(gè)方式通過(guò)反向映射重置輸入：y＝fθ′(h)＝σ(w′h+b′)，θ′＝{w′，b′}。兩個(gè)參數(shù)通常以w′＝w^t的形式被限制，在編碼輸入和解碼潛在表示yi時(shí)使用相同的權(quán)重。參數(shù)會(huì)通過(guò)訓(xùn)練集dn＝{(x0，t0)，...(xn，tn)}最小化一個(gè)適當(dāng)?shù)膬r(jià)值函數(shù)被最佳化。

首先，建立多重多層次的自動(dòng)編碼。這個(gè)過(guò)程完全無(wú)人監(jiān)督，模仿人類大腦的認(rèn)知能力，通過(guò)把不同層次的特征組合到一起實(shí)現(xiàn)由粗到精的過(guò)程?？蚣芙Y(jié)合多個(gè)自動(dòng)編碼，它們每個(gè)都有不同的結(jié)構(gòu)。擁有越少隱藏層的網(wǎng)絡(luò)會(huì)得到目標(biāo)低層次的信息，例如邊緣；而深層次的網(wǎng)絡(luò)可以得到高層次的內(nèi)容，例如目標(biāo)的一部分或者是完整的一部分。然后把這些特征組合到一起形成最終的表示。這樣我們就可以由粗到精的獲得物體的特征。訓(xùn)練原始圖片時(shí)我們的框架會(huì)從不同的視角去獲取它們的表示。通過(guò)這種方法，我們依靠新的推理體系確保每一層都會(huì)重置輸入。這樣得到的特征會(huì)更加的具有代表性和說(shuō)服力。

其次，進(jìn)行分層優(yōu)化和微調(diào)。

(1)傳統(tǒng)的自編碼把k-th層的表示作為(k+1)-th層的輸入，k-th層也是在(k-1)-th訓(xùn)練之后得到的。這種方式的最大缺點(diǎn)就是在第一層之后圖片的像素會(huì)被棄置了，因此更高層的模型會(huì)與輸入產(chǎn)生更稀疏的聯(lián)系。這會(huì)導(dǎo)致模型的學(xué)習(xí)很脆弱和不實(shí)際。我們則是通過(guò)組合不同層次的不同的特征來(lái)處理這個(gè)問(wèn)題，這種方式可以互相彌補(bǔ)。

(2)微調(diào)的目的是獲得最優(yōu)化的神經(jīng)網(wǎng)絡(luò)參數(shù)。當(dāng)有過(guò)多的參數(shù)的時(shí)候深度模型可能會(huì)過(guò)度擬合，所以在訓(xùn)練多層次結(jié)構(gòu)時(shí)使用反向傳播算法。計(jì)算一個(gè)關(guān)于一個(gè)模型的多層次的權(quán)重的目標(biāo)函數(shù)的斜率的過(guò)程只不過(guò)是派生物的鏈?zhǔn)椒▌t的一個(gè)實(shí)際應(yīng)用。一旦派生物經(jīng)過(guò)計(jì)算，它就直接關(guān)于每個(gè)模型權(quán)重的斜率。

再就是對(duì)每個(gè)特征分配權(quán)重。為了得到一個(gè)有代表性的表示，對(duì)每個(gè)特征分配不同的權(quán)重。根據(jù)深度神經(jīng)網(wǎng)絡(luò)的方式，層次越豐富對(duì)應(yīng)的特征就越有判別力。因此我們對(duì)從更深層次的網(wǎng)絡(luò)提取的特征相應(yīng)地設(shè)置一個(gè)更高的權(quán)重。這個(gè)進(jìn)程通過(guò)下式表達(dá)：

其中f代表最終的綜合特征，fi代表從i-th自動(dòng)編碼獲得的特征，k代表深度自動(dòng)編碼的數(shù)量。

最后是分類。經(jīng)過(guò)不同層次自動(dòng)編碼獲得的不同特征會(huì)通過(guò)權(quán)重分配進(jìn)行預(yù)處理。最后把經(jīng)過(guò)處理的特征組合到一起形成最終的代表。之后，通過(guò)softmax分類器得到綜合性的特征。分類器會(huì)歸納分類標(biāo)簽依賴于超過(guò)兩個(gè)可能的因素的分類問(wèn)題的邏輯回歸。

二、下面具體介紹本發(fā)明的具體方法：基于棧式自編碼的基本原則。首先，說(shuō)明一下，一個(gè)自編碼需要一個(gè)輸入x＝r^d和第一個(gè)潛在表示的輸入的映射h∈r^d′，用一個(gè)確定性的函數(shù)h＝fθ＝σ(wx+b)，參數(shù)θ＝{w，b}。然后利用這個(gè)方式通過(guò)反向映射重置輸入：y＝fθ′(h)＝σ(w′h+b′)，θ′＝{w′，b′}。兩個(gè)參數(shù)通常以w′＝w^t的形式被限制，在編碼輸入和解碼潛在表示yi時(shí)使用相同的權(quán)重。參數(shù)會(huì)通過(guò)訓(xùn)練集dn＝{(x0，t0)，...(xn，tn)}最小化一個(gè)適當(dāng)?shù)膬r(jià)值函數(shù)被最佳化，具體包括：

步驟1，建立多重多層次的自動(dòng)編碼,通過(guò)把不同層次的特征組合到一起實(shí)現(xiàn)由粗到精的過(guò)程?？蚣芙Y(jié)合多個(gè)自編碼器，它們每個(gè)都有不同的結(jié)構(gòu)。擁有越少隱藏層的網(wǎng)絡(luò)會(huì)得到目標(biāo)低層次的信息，然后把這些特征組合到一起形成最終的表示，這樣我們就可以得到由粗到精的目標(biāo)特征表示。訓(xùn)練原始圖片時(shí)，我們的框架會(huì)從不同的視角去獲取它們的表示。通過(guò)這種方法，我們依靠新的推理體系確保每一層都會(huì)重置輸入。這樣得到的特征會(huì)更加的具有代表性和說(shuō)服力。

步驟2，進(jìn)行分層優(yōu)化深度網(wǎng)絡(luò)結(jié)構(gòu)(棧式自編碼網(wǎng)絡(luò)結(jié)構(gòu))。

步驟3，對(duì)每個(gè)特征分配權(quán)重。為了得到一個(gè)更具魯棒性的目標(biāo)表示特征，對(duì)每個(gè)特征分配不同的權(quán)重。根據(jù)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)，隱藏層層次越豐富對(duì)應(yīng)的特征就越有判別力，因此我們對(duì)從更深層次的網(wǎng)絡(luò)所提取的特征相應(yīng)地設(shè)置更高的權(quán)重。這個(gè)進(jìn)程通過(guò)下式表達(dá)：

其中f代表最終的綜合特征，fi代表從i-th自編碼器獲得的特征，k代表深度自編碼器的數(shù)量。

步驟4，進(jìn)行分類。經(jīng)過(guò)不同層次自動(dòng)編碼獲得的不同特征會(huì)通過(guò)權(quán)重分配進(jìn)行預(yù)處理。最后把經(jīng)過(guò)處理的特征組合到一起形成最終的表示。之后，通過(guò)softmax分類器得到最終的分類結(jié)果。softmax分類器我們可以歸納為分類標(biāo)簽超過(guò)兩個(gè)以上的分類問(wèn)題，其是邏輯回歸的一般形式。

2、根據(jù)權(quán)利要求1所述基于多重棧式自編碼的深度特征表示方法，其特征在于：所述步驟2具體包括：

對(duì)棧式自編碼網(wǎng)絡(luò)的分層優(yōu)化過(guò)程是通過(guò)反向傳播算法來(lái)完成的，其主要思路如下：對(duì)棧式編碼器給定一個(gè)樣例(x,y)，我們首先進(jìn)行“前向傳導(dǎo)”計(jì)算，計(jì)算出網(wǎng)絡(luò)中所有節(jié)點(diǎn)的激活值ai，包括hw，b(x)的輸出值(其中參數(shù)θ＝{w，b})。之后針對(duì)弟l層的每一個(gè)節(jié)點(diǎn)i，我們計(jì)算其“殘差”該殘差表明了該節(jié)點(diǎn)對(duì)最終輸出值的殘差產(chǎn)生了多少影響。對(duì)于最終的輸出節(jié)點(diǎn)，我們可以直接算出網(wǎng)絡(luò)產(chǎn)生的激活值與實(shí)際值之間的差距，我們將這個(gè)差距定義為(第nl層表示輸出層)。對(duì)于隱藏單元，我們將基于節(jié)點(diǎn)(第l+1層節(jié)點(diǎn))殘差的加權(quán)平均值計(jì)算這些節(jié)點(diǎn)以作為輸入。具體來(lái)說(shuō)，反向傳播算法可以表示為以下幾個(gè)步驟：

步驟2.1:進(jìn)行前饋傳導(dǎo)計(jì)算，利用前向傳導(dǎo)公式，得到l2,l3,…直到輸出層lnl的激活值；

步驟2.2:對(duì)輸出層(第nl層)，計(jì)算殘差：δ^(nl)＝-(y-a^(nl))·f′(z^(nl))；

步驟2.3：對(duì)于l＝nl-1,nl-2,nl-3,…,2的各層，計(jì)算：δ^(l)＝((w^(l))^tδ^(l+1))·f′(z^(l))；

步驟2.4:計(jì)算最終需要的偏導(dǎo)數(shù)值：

而在實(shí)際中應(yīng)注意：以上的第2步和第3步中，我們需要為每一個(gè)i值計(jì)算其假設(shè)f(z)是sigmoid函數(shù)，并且我們已經(jīng)在前向傳導(dǎo)運(yùn)算中得到了那么使用我們?cè)缦韧茖?dǎo)出的f′(z)表達(dá)式，就可以計(jì)算的得到此過(guò)程為對(duì)一層棧式自編碼網(wǎng)絡(luò)進(jìn)行優(yōu)化與求導(dǎo)過(guò)程，因此，我們可以重復(fù)梯度下降法的迭代步驟來(lái)減小代價(jià)函數(shù)j(w,b)的值，進(jìn)而求解整個(gè)棧式自編碼網(wǎng)絡(luò)結(jié)構(gòu)。

3、根據(jù)權(quán)利要求1所述基于多重棧式自編碼的深度特征表示方法，其特征在于：所述步驟3具體包括：

通過(guò)前面已經(jīng)了解到如何使用一個(gè)自編碼器從無(wú)標(biāo)注數(shù)據(jù)中學(xué)習(xí)特征。具體來(lái)說(shuō)分為以下幾個(gè)步驟：

步驟3.1:假定有一個(gè)無(wú)標(biāo)注的訓(xùn)練數(shù)據(jù)集(下標(biāo)μ代表“不帶類標(biāo)”)。利用訓(xùn)練得到的模型參數(shù)w⁽¹⁾，b⁽¹⁾，w⁽²⁾，b⁽²⁾，給定輸入數(shù)據(jù)x(可能需要首先對(duì)這些數(shù)據(jù)做白化或其它適當(dāng)?shù)念A(yù)處理)，可以計(jì)算隱藏單元的激活量(activations)a。如前所述，相比原始輸入x來(lái)說(shuō)，a可能是一個(gè)更好的特征描述，即我們所謂的特征表示(去掉自編碼網(wǎng)絡(luò)最后一層的輸出，為了和上述一直，此處特征用f表示)；

步驟3.2:針對(duì)不同的棧式自編碼結(jié)構(gòu)，其隱藏層數(shù)是不一樣的，在本發(fā)明中，我們采用隱藏層數(shù)分別為3,4,5，因此其中所獲得的特征表示(去掉自編碼網(wǎng)絡(luò)的最后一層的數(shù)據(jù)輸出)為f3，f4，f5。而根據(jù)深度神經(jīng)網(wǎng)絡(luò)的原理，一般來(lái)說(shuō)，網(wǎng)絡(luò)層數(shù)越深，最后將能夠獲得魯棒性更強(qiáng)的特征。所以，在本發(fā)明中，三種特征的表征能力將以f5＞f4＞f3的方式排列。因此，三種特征對(duì)最終目標(biāo)特征表示的表現(xiàn)力貢獻(xiàn)程度也會(huì)不一樣，所以在最后進(jìn)行特征組合的時(shí)候，其權(quán)重系數(shù)也會(huì)不一樣；

步驟3.3:通過(guò)上述步驟步驟3.2,我們獲取了不同的特征表示，由于每種特征的表征能力不一樣，在本步驟中，我們采取2:3:5的比例來(lái)分配相應(yīng)的權(quán)重系數(shù)，而在權(quán)重系數(shù)分配中，必須滿足(其中k代表自編碼器的數(shù)量，λi表示每種特征的權(quán)重系數(shù)，因此通過(guò)此種方式可以分別求出每種特征的相應(yīng)貢獻(xiàn)程度。然后通過(guò)系數(shù)相加的方式獲得最后的目標(biāo)特征表示(如權(quán)利要求1中步驟3所示)。

4、根據(jù)權(quán)利要求1所述基于多重棧式自編碼的深度特征表示方法，其特征在于：所述步驟4中，通過(guò)所獲取的目標(biāo)特征表示，利用softmax回歸模型對(duì)目標(biāo)特征進(jìn)行分類，該模型是logistic回歸模型在多類問(wèn)題上的推廣。其具體步驟包括：

步驟4.1:通過(guò)上述多層特征的權(quán)重系數(shù)求和相加的方式所獲得目標(biāo)特征后，對(duì)特征所表述的目標(biāo)進(jìn)行類別標(biāo)記，用于softmax模型的進(jìn)行分類，以檢驗(yàn)多種深度層級(jí)特征的效果；

步驟4.2:由前一步驟中所獲得的特征訓(xùn)練集假設(shè)由m個(gè)已標(biāo)記的樣本所組成，即{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，其中輸入特征x⁽ⁱ⁾∈rⁿ⁺¹，類別標(biāo)記y可以取k個(gè)不同的值，因此，y⁽ⁱ⁾∈{1,2,…,k}。對(duì)于給定的測(cè)試輸入x，我們想用假設(shè)函數(shù)針對(duì)每一個(gè)類別j估算出概率值。也就是說(shuō)，我們估計(jì)x的每一種分類結(jié)果出現(xiàn)的概率。因此，我們的假設(shè)函數(shù)將要輸出一個(gè)k維的向量(向量元素的和為1)來(lái)表示這k個(gè)估計(jì)的概率值。具體地說(shuō)，我們的假設(shè)函數(shù)hθ(x⁽ⁱ⁾)形式如下：

其中θ1，θ2，...，θk∈rⁿ⁺¹是模型參數(shù)，這一項(xiàng)是對(duì)概率分布進(jìn)行歸一化，使得所有概率和為1；

步驟4.3:softmax的代價(jià)函數(shù)如下所示(其中1{·}表示示性函數(shù)，取值規(guī)則為1{值為真的表達(dá)式}＝1)：

對(duì)于j(θ)的最小化問(wèn)題，我們采用梯度下降法完成求導(dǎo)過(guò)程，其梯度公式如下：

有了上面的偏導(dǎo)數(shù)公式以后，我們就可以將它代入到梯度下降法等算法中，來(lái)最小化j(θ)，從而求出每種類別的概率，實(shí)現(xiàn)最終分類過(guò)程。

本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說(shuō)明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。