一種基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)類別識(shí)別方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)類別識(shí)別 方法及裝置。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，計(jì)算機(jī)的功能越來越強(qiáng)大，應(yīng)用領(lǐng)域也越來越廣泛。 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)過程中的一個(gè)新領(lǐng)域，目的在于建立W及模擬人腦進(jìn)行分析學(xué)習(xí)的神 經(jīng)網(wǎng)絡(luò)，通過該神經(jīng)網(wǎng)絡(luò)來識(shí)別數(shù)據(jù)所屬的類別。
[0003]在深度學(xué)習(xí)中，"深度"主要是針對計(jì)算機(jī)數(shù)據(jù)處理能力較低時(shí)代的淺層神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)而言，表示神經(jīng)網(wǎng)絡(luò)層數(shù)較多，且每一層神經(jīng)元的數(shù)目較為龐大；"學(xué)習(xí)"即為通過訓(xùn)練 令計(jì)算機(jī)等機(jī)器識(shí)別樣本數(shù)據(jù)的特征，如圖像信息，文本信息等。由此可見，深度學(xué)習(xí)使用 神經(jīng)網(wǎng)絡(luò)從原始數(shù)據(jù)中提取數(shù)據(jù)的特征，而送些目前不可解釋的特征往往使得分類效果更 好。
[0004] 目前，在對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，每一層均采用無監(jiān)督自編碼器模型， 采用無監(jiān)督自編碼器模型訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，能夠最小化重建誤差。但是，由于無監(jiān)督自編 碼器模型中并沒有樣本數(shù)據(jù)的類別信息，導(dǎo)致最終得到的深度神經(jīng)網(wǎng)絡(luò)無法獲取輸入的樣 本數(shù)據(jù)分別對應(yīng)的類別信息。
[0005]由此可見，目前通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)識(shí)別時(shí)，存在無法識(shí)別數(shù)據(jù)的類別信 息的問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實(shí)施例提供一種基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)類別識(shí)別方法及裝置，用W解決 目前通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)識(shí)別時(shí)，存在無法識(shí)別數(shù)據(jù)的類別信息的問題。
[0007]本發(fā)明實(shí)施例提供的具體技術(shù)方案如下：
[000引第一方面，提供一種基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)類別識(shí)別方法，包括：
[0009] 建立初始深度神經(jīng)網(wǎng)絡(luò)；
[0010] 根據(jù)輸入的訓(xùn)練樣本向量集合，在本地保存的初始線性類別分析函數(shù)中添加數(shù)據(jù) 類別信息后，生成線性類別分析函數(shù)；
[0011] 根據(jù)本地保存的無監(jiān)督自編碼模型優(yōu)化函數(shù)，W及所述線性類別分析函數(shù)，獲取 所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)；
[0012] 根據(jù)所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)，獲取所述初始深度神經(jīng)網(wǎng)絡(luò)的參數(shù)；
[0013]根據(jù)本地保存的分類神經(jīng)網(wǎng)絡(luò)，所述初始深度神經(jīng)網(wǎng)絡(luò)，W及所述初始深度神經(jīng) 網(wǎng)絡(luò)的參數(shù)，建立深度神經(jīng)網(wǎng)絡(luò)；其中，所述深度神經(jīng)網(wǎng)絡(luò)為至少包含輸入層和輸出層的多 層網(wǎng)絡(luò)結(jié)構(gòu)；
[0014]將待識(shí)別數(shù)據(jù)輸入所述深度神經(jīng)網(wǎng)絡(luò)的輸入層，獲取所述深度神經(jīng)網(wǎng)絡(luò)的輸出層 輸出的所述待識(shí)別數(shù)據(jù)所屬的類別信息。
[0015] 結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，對所述初始線性類別分析函數(shù)采用 松弛算法進(jìn)行松弛化處理，W及對所述輸入的訓(xùn)練樣本向量集合進(jìn)行歸一化處理；將歸一 化處理后的訓(xùn)練樣本向量集合代入松弛化處理后的初始線性類別分析函數(shù)中，生成線性類 別分析函數(shù)。
[0016] 結(jié)合第一方面第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述線性類 別分析函數(shù)為
其中，^Id。(W)為所述 線性類別分析函數(shù);W為深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，且所述W為包含多個(gè)元素的矩陣，所述矩陣 由對所述歸一化處理后的訓(xùn)練樣本向量集合的學(xué)習(xí)獲得;Wk為所述矩陣W中的任意一列向 量;/k為所述列向量Wk的轉(zhuǎn)置；和X,均為所述歸一化處理后的訓(xùn)練樣本向量集合中的訓(xùn) 練樣本向量；x,T為X,的轉(zhuǎn)置；M為由至少一對屬于不同類別的訓(xùn)練樣本向量組成的向量對 集合；C為由至少一對屬于相同類別的訓(xùn)練樣本向量組成的向量對集合；（Xi，x,)EM表示 和X,屬于不同類別；（Xi，x,)eC表示和X,屬于相同類別；K為所述矩陣W包含的列向 量的總數(shù)。
[0017] 結(jié)合第一方面，第一方面第一種可能的實(shí)現(xiàn)方式，或者第一方面第二種可能 的實(shí)現(xiàn)方式，在第H種可能的實(shí)現(xiàn)方式中，所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)為；弓= a與。。(W) + (l-a)弓id。^)，其中，a為所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)的系數(shù)，根據(jù)具體 應(yīng)用場景預(yù)先設(shè)置獲取；^。。卿）為無監(jiān)督自編碼模型優(yōu)化函數(shù)；^id。^)為所述線性類別 分析函數(shù)；弓為初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)。
[0018] 結(jié)合第一方面，第一方面第一種可能的實(shí)現(xiàn)方式，第一方面第二種可能的實(shí)現(xiàn)方 式，或者第一方面第H種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，根據(jù)所述初始深度 神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)，采用后向傳播算法，獲取所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)對應(yīng)的 梯度；根據(jù)所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)對應(yīng)的梯度，采用梯度下降算法或者擬牛頓 算法，獲取所述初始深度神經(jīng)網(wǎng)絡(luò)的參數(shù)。
[0019] 結(jié)合第一方面，第一方面第一種可能的實(shí)現(xiàn)方式，第一方面第二種可能的實(shí)現(xiàn)方 式，第一方面第H種可能的實(shí)現(xiàn)方式，或者第一方面第四種可能的實(shí)現(xiàn)方式，在第五種可能 的實(shí)現(xiàn)方式中，將所述分類神經(jīng)網(wǎng)絡(luò)疊加到所述初始深度神經(jīng)網(wǎng)絡(luò)上，生成疊加處理后的 初始深度神經(jīng)網(wǎng)絡(luò)；根據(jù)所述初始深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，W及所述疊加處理后的初始深度 神經(jīng)網(wǎng)絡(luò)，采用后向傳播算法，建立所述深度神經(jīng)網(wǎng)絡(luò)。
[0020] 第二方面，提供一種基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)類別識(shí)別裝置，包括：
[0021] 第一建立單元，用于建立初始深度神經(jīng)網(wǎng)絡(luò)；
[0022] 生成單元，用于根據(jù)輸入的訓(xùn)練樣本向量集合，在本地保存的初始線性類別分析 函數(shù)中添加數(shù)據(jù)類別信息后，生成線性類別分析函數(shù)；
[0023] 優(yōu)化函數(shù)獲取單元，用于根據(jù)本地保存的無監(jiān)督自編碼模型優(yōu)化函數(shù)，W及所述 線性類別分析函數(shù)，獲取所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)；
[0024] 參數(shù)獲取單元，用于根據(jù)所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)，獲取所述初始深度 神經(jīng)網(wǎng)絡(luò)的參數(shù)；
[00巧]第二建立單元，用于根據(jù)本地保存的分類神經(jīng)網(wǎng)絡(luò)，所述初始深度神經(jīng)網(wǎng)絡(luò)，W及 所述初始深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，建立深度神經(jīng)網(wǎng)絡(luò)；其中，所述深度神經(jīng)網(wǎng)絡(luò)為至少包含輸 入層和輸出層的多層網(wǎng)絡(luò)結(jié)構(gòu)；
[0026] 數(shù)據(jù)類別識(shí)別單元，用于將待識(shí)別數(shù)據(jù)輸入所述深度神經(jīng)網(wǎng)絡(luò)的輸入層，獲取所 述深度神經(jīng)網(wǎng)絡(luò)的輸出層輸出的所述待識(shí)別數(shù)據(jù)所屬的類別信息。
[0027] 結(jié)合第二方面，在第一種可能的實(shí)現(xiàn)方式中，所述生成單元，具體用于；對所述初 始線性類別分析函數(shù)采用松弛算法進(jìn)行松弛化處理，W及對所述輸入的訓(xùn)練樣本向量集合 進(jìn)行歸一化處理；將歸一化處理后的訓(xùn)練樣本向量集合代入松弛化處理后的初始線性類別 分析函數(shù)中，生成線性類別分析函數(shù)。
[0028] 結(jié)合第二方面第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述生成單 元生成的所述線性類別分析函數(shù)為：
其中，弓Id。(W)為所述線性類別分析函數(shù);W為深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，且所述W為包含多個(gè)元 素的矩陣，所述矩陣由對所述歸一化處理后的訓(xùn)練樣本向量集合的學(xué)習(xí)獲得;Wk為所述矩 陣W中的任意一列向量;/k為所述列向量Wk的轉(zhuǎn)置；和X,均為所述歸一化處理后的訓(xùn)練 樣本向量集合中的訓(xùn)練樣本向量；x，T為X,的轉(zhuǎn)置；M為由至少一對屬于不同類別的訓(xùn)練樣 本向量組成的向量對集合；C為由至少一對屬于相同類別的訓(xùn)練樣本向量組成的向量對集 合；（Xi，X,)eM表示和X,屬于不同類別；（Xi，X,)eC表示和X,屬于相同類別；K為 所述矩陣W包含的列向量的總數(shù)。
[0029] 結(jié)合第二方面，第二方面第一種可能的實(shí)現(xiàn)方式，或者第二方面第二種可能的實(shí) 現(xiàn)方式，在第H種可能的實(shí)現(xiàn)方式中，所述優(yōu)化函數(shù)獲取單元獲取的所述初始深度神經(jīng)網(wǎng) 絡(luò)的優(yōu)化函數(shù)為：^ = 〇^。。(胖)+ (1-〇)^^。卿)，其中，〇為所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu) 化函數(shù)的系數(shù)，根據(jù)具體應(yīng)用場景預(yù)先設(shè)置獲??；弓。。(W)為無監(jiān)督自編碼模型優(yōu)化函數(shù)； 與Id。(W)為所述線性類別分析函數(shù)；^為初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)。
[0030] 結(jié)合第二方面，第二方面第一種可能的實(shí)現(xiàn)方式，第二方面第二種可能的實(shí)現(xiàn)方 式，或者第二方面第H種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述參數(shù)獲取單 元，具體用于：根據(jù)所述初始深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化函數(shù)，采用后向傳播算法，獲取所述初始 深度神經(jīng)