基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型構(gòu)建方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及分類模型構(gòu)建，更具體地，涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的分類模型構(gòu)建方法和設(shè)備。
【背景技術(shù)】
[0002]卷積神經(jīng)網(wǎng)絡(luò)(CNN)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點(diǎn)。
[0003]傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的卷積層通常具有幾十萬到幾百萬個權(quán)值需要學(xué)習(xí)，同時訓(xùn)練時采用的梯度下降算法在后向傳播過程中存在“梯度消失”的問題(即越往前一層梯度的調(diào)節(jié)量就越小)，這就導(dǎo)致大量的權(quán)值得不到充分學(xué)習(xí)。為了達(dá)到比較好的訓(xùn)練效果，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)通常需要大量的訓(xùn)練樣本，例如，當(dāng)類別個數(shù)遠(yuǎn)遠(yuǎn)小于每類訓(xùn)練樣本個數(shù)時效果較好。但當(dāng)訓(xùn)練樣本數(shù)量有限時，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)過擬合的問題，導(dǎo)致訓(xùn)練出的模型的實(shí)際泛化能力不佳。
[0004]同時，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的采樣層只從每個特征圖上的每個局部區(qū)域中提取最大值，這樣做減小了計算量，但導(dǎo)致信息過度損失，因?yàn)榫植繀^(qū)域里的較小值也可以反映這個區(qū)域的部分特征。
[0005]例如，圖1示出了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的示意圖。其中，方框中的數(shù)字“6”為輸入圖像，并且圖中的每一個方框表示對輸入圖像執(zhí)行特定操作(諸如濾波操作、卷積操作以及空間最大采樣操作)之后得到的特征圖。傳統(tǒng)地，在對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，首先隨機(jī)給定網(wǎng)絡(luò)中的參數(shù)(例如，卷積模板值)并輸入訓(xùn)練樣本，然后以前向傳播經(jīng)過多次重復(fù)的卷積操作、空間最大采樣操作和全連接操作之后，在輸出層得到識別結(jié)果的置信度，并根據(jù)該置信度與預(yù)定真值的誤差進(jìn)行后向傳播，例如以經(jīng)典的梯度下降算法對給定的網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。如此重復(fù)進(jìn)行操作，直到輸出層的置信度與預(yù)定真值的誤差滿足預(yù)定閾值。

【發(fā)明內(nèi)容】

[0006]在下文中給出了關(guān)于本公開的簡要概述，以便提供關(guān)于本公開的某些方面的基本理解。但是，應(yīng)當(dāng)理解，這個概述并不是關(guān)于本公開的窮舉性概述。它并不是意圖用來確定本公開的關(guān)鍵性部分或重要部分，也不是意圖用來限定本公開的范圍。其目的僅僅是以簡化的形式給出關(guān)于本公開的某些概念，以此作為稍后給出的更詳細(xì)描述的前序。
[0007]鑒于以上情形，本公開的目的是提供一種能夠通過減輕過擬合的問題而提高神經(jīng)網(wǎng)絡(luò)的泛化能力同時避免信息過度損失的基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型構(gòu)建方法和設(shè)備。
[0008]根據(jù)本公開的一方面，提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型構(gòu)建方法，包括:卷積步驟，以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練，以得到用于卷積操作的卷積模板值，從而構(gòu)建包括卷積模板值的分類模型，其中，以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練進(jìn)一步包括:對于至少一個當(dāng)前卷積層，基于預(yù)定概率閾值以隨機(jī)方式打斷當(dāng)前卷積層的特征圖中的元素與和當(dāng)前卷積層相鄰的上一層的特征圖中的元素之間的連接。
[0009]根據(jù)本公開的優(yōu)選實(shí)施例，基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型構(gòu)建方法還包括:特征整合步驟，以特定整合方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練，以得到用于卷積操作的卷積模板值，從而得到包括卷積模板值的分類模型，其中，以特定整合方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練進(jìn)一步包括:對于至少一個當(dāng)前采樣層，基于與當(dāng)前采樣層相鄰的上一層的多個特征圖中的元素得到當(dāng)前采樣層的特征圖中的元素。
[0010]根據(jù)本公開的優(yōu)選實(shí)施例，在特征整合步驟中，以取最大值的特征整合方式、取最小值的特征整合方式、取中間值的特征整合方式或者以取隨機(jī)值的特征整合方式從與當(dāng)前采樣層相鄰的上一層的多個特征圖中選擇元素以得到當(dāng)前采樣層的特征圖中的元素。
[0011]根據(jù)本公開的優(yōu)選實(shí)施例，在以隨機(jī)卷積方式和特定整合方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練以使得所得到的卷積模板值滿足第一預(yù)定條件之后，利用卷積模板值，在卷積步驟中以傳統(tǒng)卷積方式以及在特征整合步驟中以特定整合方式對訓(xùn)練樣本繼續(xù)進(jìn)行第二階段訓(xùn)練，以使得所得到的卷積模板值滿足第二預(yù)定條件。
[0012]根據(jù)本公開的優(yōu)選實(shí)施例，在第二階段訓(xùn)練的特征整合步驟中所采用的特征整合方式與第一階段訓(xùn)練的特征整合步驟中所采用的特征整合方式相同。
[0013]根據(jù)本公開的優(yōu)選實(shí)施例，在第一訓(xùn)練階段和第二訓(xùn)練階段中，對于在特征整合步驟中未被選擇的元素，當(dāng)利用梯度下降算法進(jìn)行后向傳播時，不對未被選擇的元素進(jìn)行后向傳播。
[0014]根據(jù)本公開的優(yōu)選實(shí)施例，對于每個采樣層，用于該采樣層的所有特征圖中的元素的特征整合方式是相同的。
[0015]根據(jù)本公開的優(yōu)選實(shí)施例，對于每個卷積層，用于該卷積層上的所有特征圖中的元素的預(yù)定概率閾值是相同的。
[0016]根據(jù)本公開的優(yōu)選實(shí)施例，在第一訓(xùn)練階段中，對于在卷積步驟中被打斷的連接，當(dāng)利用梯度下降算法進(jìn)行后向傳播時，不對被打斷的連接進(jìn)行后向傳播。
[0017]根據(jù)本公開的另一方面，還公開了一種基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型構(gòu)建設(shè)備，包括:卷積單元，被配置成以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練，以得到用于卷積操作的卷積模板值，從而構(gòu)建包括卷積模板值的分類模型，其中，以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練進(jìn)一步包括:對于至少一個當(dāng)前卷積層，基于預(yù)定概率閾值以隨機(jī)方式打斷當(dāng)前卷積層的特征圖中的元素與和當(dāng)前卷積層相鄰的上一層的特征圖中的元素之間的連接。
[0018]根據(jù)本公開的另一方面，還提供了一種存儲介質(zhì)，該存儲介質(zhì)包括機(jī)器可讀的程序代碼，當(dāng)在信息處理設(shè)備上執(zhí)行程序代碼時，該程序代碼使得信息處理設(shè)備執(zhí)行以下步驟:卷積步驟，以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練，以得到用于卷積操作的卷積模板值，從而構(gòu)建包括卷積模板值的分類模型，其中，以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練進(jìn)一步包括:對于至少一個當(dāng)前卷積層，基于預(yù)定概率閾值以隨機(jī)方式打斷當(dāng)前卷積層的特征圖中的元素與和當(dāng)前卷積層相鄰的上一層的特征圖中的元素之間的連接。
[0019]根據(jù)本公開的另一方面，還提供了一種程序產(chǎn)品，該程序產(chǎn)品包括機(jī)器可執(zhí)行的指令，當(dāng)在信息處理設(shè)備上執(zhí)行指令時，該指令使得信息處理設(shè)備執(zhí)行以下步驟:卷積步驟，以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練，以得到用于卷積操作的卷積模板值，從而構(gòu)建包括卷積模板值的分類模型，其中，以隨機(jī)卷積方式對訓(xùn)練樣本進(jìn)行第一階段訓(xùn)練進(jìn)一步包括:對于至少一個當(dāng)前卷積層，基于預(yù)定概率閾值以隨機(jī)方式打斷當(dāng)前卷積層的特征圖中的元素與和當(dāng)前卷積層相鄰的上一層的特征圖中的元素之間的連接。
[0020]在下面的說明書部分中給出本公開實(shí)施例的其它方面，其中，詳細(xì)說明用于充分地公開本公開實(shí)施例的優(yōu)選實(shí)施例，而不對其施加限定。
【附圖說明】
[0021]本公開可以通過參考下文中結(jié)合附圖所給出的詳細(xì)描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并形成說明書的一部分，用來進(jìn)一步舉例說明本公開的優(yōu)選實(shí)施例和解釋本公開的原理和優(yōu)點(diǎn)。其中:
[0022]圖1是示出傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示例的示意圖；
[0023]圖2是示出根據(jù)本公開的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示例的示意圖；
[0024]圖3是示出根據(jù)本公開的實(shí)施例的基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型構(gòu)建方法的過程示例的流程圖；
[0025]圖4A至圖4D是用于說明傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的卷積操作的示意圖；
[0026]圖5A至圖是用于說明根據(jù)本公開的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)中的隨機(jī)卷積操作的不意圖；
[0027]圖6是用于說明傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的空間最大采樣操作的示意圖；
[0028]圖7是用于說明根據(jù)本公開的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)中的特征整合操作的示意圖；
[0029]圖8是示出根據(jù)本公開的實(shí)施例的基于兩階段訓(xùn)練的分類模型構(gòu)建方法的過程示例的流程圖；
[0030]圖9是示出根據(jù)本公開的實(shí)施例的基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型構(gòu)建設(shè)備的功能配置示例的框圖；以及
[0031]圖10是示出作為本公開的實(shí)施例中可采用的信息處理設(shè)備的個人計算機(jī)的示例結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0032]在下文中將結(jié)合附圖對本公開的示范性實(shí)施例進(jìn)行描述。為了清楚和簡明起見，在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施例的過程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實(shí)施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。<