一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明的實(shí)施方式涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，本發(fā)明的實(shí)施方式涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和設(shè)備。
【背景技術(shù)】
[0002]本部分旨在為權(quán)利要求書(shū)中陳述的本發(fā)明的實(shí)施方式提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。
[0003]許多計(jì)算機(jī)應(yīng)用、網(wǎng)絡(luò)服務(wù)應(yīng)用都具有利用輸入對(duì)象計(jì)算輸出對(duì)象的數(shù)據(jù)處理需求。例如，在具有圖像識(shí)別功能的應(yīng)用中，圖像作為輸入對(duì)象，圖像所屬的圖像標(biāo)簽作為輸出對(duì)象，這些應(yīng)用需要根據(jù)圖像計(jì)算出圖像所屬的圖像標(biāo)簽，從而實(shí)現(xiàn)圖像識(shí)別。其中，圖像標(biāo)簽表示圖像劃分的類(lèi)別。
[0004]目前，在現(xiàn)有的數(shù)據(jù)處理技術(shù)中，利用輸入對(duì)象計(jì)算輸出對(duì)象的數(shù)據(jù)處理，可以采用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。具體地，神經(jīng)網(wǎng)絡(luò)可以為輸入對(duì)象提供多個(gè)可輸出對(duì)象，采用已知對(duì)應(yīng)關(guān)系的輸入對(duì)象與輸出對(duì)象所組成的訓(xùn)練數(shù)據(jù)，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以使得訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)能夠表示不同的輸入對(duì)象與各可輸出對(duì)象之間的對(duì)應(yīng)關(guān)系，因此，將未知對(duì)應(yīng)輸出對(duì)象的輸入對(duì)象輸入到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)之后，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)通過(guò)計(jì)算就可以輸出該輸入對(duì)象對(duì)應(yīng)的輸出對(duì)象。

【發(fā)明內(nèi)容】

[0005]發(fā)明人經(jīng)過(guò)研究發(fā)現(xiàn)，現(xiàn)有技術(shù)中，神經(jīng)網(wǎng)絡(luò)具有輸入層和輸出層，其中，輸出層上的每一個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)可輸出對(duì)象，即，輸出層上的節(jié)點(diǎn)數(shù)量與可輸出對(duì)象的數(shù)量是相同的。但是，在可輸出對(duì)象的數(shù)量過(guò)大的情況下，如果訓(xùn)練數(shù)據(jù)較少或?qū)?yīng)各可輸出對(duì)象的訓(xùn)練數(shù)據(jù)不均衡，就可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中總體誤差的上下波動(dòng)，導(dǎo)致訓(xùn)練無(wú)法收斂，從而造成訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)無(wú)法為輸入對(duì)象計(jì)算出準(zhǔn)確的輸出對(duì)象。
[0006]因此在現(xiàn)有技術(shù)中，神經(jīng)網(wǎng)絡(luò)訓(xùn)練經(jīng)常出現(xiàn)無(wú)法收斂的問(wèn)題，從而造成訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)無(wú)法為輸入對(duì)象計(jì)算準(zhǔn)確的輸出對(duì)象，這是非常令人煩惱的過(guò)程。
[0007]為此，非常需要一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備，以避免神經(jīng)網(wǎng)絡(luò)訓(xùn)練無(wú)法收斂的問(wèn)題，從而使得訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)可以為輸入變量計(jì)算準(zhǔn)確的輸出變量。
[0008]在本上下文中，本發(fā)明的實(shí)施方式期望提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和設(shè)備。
[0009]在本發(fā)明實(shí)施方式的第一方面中，提供了一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，包括:構(gòu)建第一初始深度神經(jīng)網(wǎng)絡(luò);利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò);其中，所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第一輸出節(jié)點(diǎn)和輔助節(jié)點(diǎn)，其中，每一所述第一輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第一初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第一輸出節(jié)點(diǎn)的數(shù)量等于所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量，所述輔助節(jié)點(diǎn)不對(duì)應(yīng)所述第一初始深度網(wǎng)絡(luò)的任何可輸出對(duì)象。
[0010]在本發(fā)明第一方面的一個(gè)實(shí)施例中，所述方法還包括:對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò);利用第二訓(xùn)練數(shù)據(jù)對(duì)所述第二初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第二目標(biāo)深度神經(jīng)網(wǎng)絡(luò);其中，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第二輸出節(jié)點(diǎn)，每一所述第二輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第二初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第二輸出節(jié)點(diǎn)的數(shù)量等于所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量;所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第一類(lèi)別，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第二類(lèi)別，所述第二類(lèi)別為所述第一類(lèi)別的細(xì)化分類(lèi)。
[0011]在本發(fā)明第一方面的另一個(gè)實(shí)施例中，所述對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò)，包括:在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)所述第二輸出節(jié)點(diǎn)并刪除輸出層上的所述輔助節(jié)點(diǎn)，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò);其中，對(duì)于任意一個(gè)所述第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類(lèi)別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類(lèi)別的細(xì)化類(lèi)別。
[0012]在本發(fā)明第一方面的又一個(gè)實(shí)施例中，所述對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò)，包括:在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一所述第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)所述第二輸出節(jié)點(diǎn)并增加輸出層之前一層上的節(jié)點(diǎn)數(shù)量，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò);其中，對(duì)于任意一個(gè)所述第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類(lèi)別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類(lèi)別的細(xì)化類(lèi)別。
[0013]在本發(fā)明第一方面的再一個(gè)實(shí)施例中，利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)，包括:將所述第一訓(xùn)練數(shù)據(jù)的輸入值輸入所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸入層，在所述第一初始深度神經(jīng)網(wǎng)絡(luò)中對(duì)所述輸入值進(jìn)行正向處理，以在所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層得到正向處理輸出值;計(jì)算所述輸入值在第一訓(xùn)練數(shù)據(jù)中對(duì)應(yīng)的輸出值與所述正向處理輸出值之間的誤差值；以所述誤差值輸入所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層，在所述第一初始深度神經(jīng)網(wǎng)絡(luò)中對(duì)所述誤差值進(jìn)行反向傳播，以修正所述第一初始深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)，從而形成所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)。
[0014]在本發(fā)明第一方面的又再一個(gè)實(shí)施例中，所述方法應(yīng)用于圖像識(shí)別，所述待識(shí)別對(duì)象為圖像信息，所述第二類(lèi)別為用于對(duì)圖像進(jìn)行分類(lèi)的圖像標(biāo)簽，所述第一類(lèi)別為用于對(duì)所述圖像標(biāo)簽進(jìn)行分類(lèi)的類(lèi)別。
[0015]在本發(fā)明實(shí)施方式的第二方面中，提供了一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的設(shè)備，包括:構(gòu)建模塊，用于構(gòu)建第一初始深度神經(jīng)網(wǎng)絡(luò);第一訓(xùn)練模塊，用于利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò);其中，所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第一輸出節(jié)點(diǎn)和輔助節(jié)點(diǎn)，其中，每一所述第一輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第一初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第一輸出節(jié)點(diǎn)的數(shù)量等于所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量，所述輔助節(jié)點(diǎn)不對(duì)應(yīng)所述第一初始深度網(wǎng)絡(luò)的任何可輸出對(duì)象。
[0016]在本發(fā)明第二方面的一個(gè)實(shí)施例中，所述設(shè)備還包括:改造模塊，用于對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò);第二訓(xùn)練模塊，用于利用第二訓(xùn)練數(shù)據(jù)對(duì)所述第二初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第二目標(biāo)深度神經(jīng)網(wǎng)絡(luò);其中，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第二輸出節(jié)點(diǎn)，每一所述第二輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第二初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第二輸出節(jié)點(diǎn)的數(shù)量等于所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量；
[0017]所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第一類(lèi)別，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第二類(lèi)別，所述第二類(lèi)別為所述第一類(lèi)別的細(xì)化分類(lèi)。
[0018]在本發(fā)明第二方面的另一個(gè)實(shí)施例中，所述改造模塊，具體用于在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一所述第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)所述第二輸出節(jié)點(diǎn)并刪除輸出層上的所述輔助節(jié)點(diǎn)，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò);其中，對(duì)于任意一個(gè)第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類(lèi)別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類(lèi)別的細(xì)化類(lèi)別。
[0019]在本發(fā)明第二方面的又一個(gè)實(shí)施例中，所述改造模塊，具體用于在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)第二輸出節(jié)點(diǎn)并增加輸出層之前一層上的節(jié)點(diǎn)數(shù)量，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò);其中，對(duì)于任意一個(gè)第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類(lèi)別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類(lèi)別的細(xì)化類(lèi)別。
[0020]在本發(fā)明第二方面的再一個(gè)實(shí)施例中，所述第一訓(xùn)練模塊包括:正向處理子模塊，用于將所述第一訓(xùn)練數(shù)據(jù)的輸入值輸入所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸入層，在所述第一初始深度神經(jīng)網(wǎng)絡(luò)中對(duì)所述輸入值進(jìn)行正向處理，以在所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層得到正向處理輸出值;計(jì)算子模塊，用于計(jì)算所述輸入值在第一訓(xùn)練數(shù)據(jù)中對(duì)應(yīng)的輸出值與所述正向處理輸出值之間的誤差值;反向處理子模塊，用于以所述誤差值輸入所述第