本公開涉及計算機,尤其涉及一種深度學(xué)習(xí)模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)。
背景技術(shù):
1、深度學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域中的一個新的研究方向,指的是一種基于人工神經(jīng)網(wǎng)絡(luò)模型對特定任務(wù)進行學(xué)習(xí)和推斷的機器學(xué)習(xí)技術(shù)。該技術(shù)的主要優(yōu)勢在于它可以從原始數(shù)據(jù)中自動地學(xué)習(xí)和提取關(guān)鍵特征,從而可以減少對相關(guān)領(lǐng)域?qū)I(yè)知識的依賴,并且應(yīng)用場景涵蓋了圖像、語音、自然語言處理等多個領(lǐng)域。深度學(xué)習(xí)模型通常是指由一系列的神經(jīng)網(wǎng)絡(luò)模型如循環(huán)神經(jīng)網(wǎng)絡(luò)模型(recurrent?neural?network,rnn)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?networks,cnn)等相互連接組成的學(xué)習(xí)模型,深度學(xué)習(xí)模型在執(zhí)行深度學(xué)習(xí)任務(wù)中扮演了至關(guān)重要的角色。
2、現(xiàn)有的深度學(xué)習(xí)模型訓(xùn)練過程中,通常是通過對相互連接的一系列神經(jīng)網(wǎng)絡(luò)模型中的每個神經(jīng)網(wǎng)絡(luò)模型分別進行訓(xùn)練,得到訓(xùn)練好的每個神經(jīng)網(wǎng)絡(luò)模型,然后將訓(xùn)練好的每個神經(jīng)網(wǎng)絡(luò)模型進行相互連接得到訓(xùn)練好的深度學(xué)習(xí)模型。
3、因此,訓(xùn)練好的深度學(xué)習(xí)模型中相互連接的一系列神經(jīng)網(wǎng)絡(luò)模型之間無法直接進行數(shù)據(jù)交互,各個端點的神經(jīng)網(wǎng)絡(luò)模型需要和主控制節(jié)點的神經(jīng)網(wǎng)絡(luò)模型進行交互,來實現(xiàn)數(shù)據(jù)之間的進一步交互,造成深度學(xué)習(xí)模型計算效率低和計算時間長的問題。
技術(shù)實現(xiàn)思路
1、為了解決上述技術(shù)問題,本公開提供了一種深度學(xué)習(xí)模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì),其中,待訓(xùn)練的深度學(xué)習(xí)模型包括三級模型、一級模型和二級模型,三級模型與一級模型之間串聯(lián)連接,一級模型和二級模型之間串聯(lián)連接。
2、本公開實施例的第一方面提供了一種深度學(xué)習(xí)模型訓(xùn)練方法,該方法包括:
3、獲取三級模型對應(yīng)的第一樣本數(shù)據(jù)集、一級模型對應(yīng)的第二樣本數(shù)據(jù)集和二級模型對應(yīng)的第三樣本數(shù)據(jù)集,第一樣本數(shù)據(jù)集中包含與第二樣本數(shù)據(jù)集和第三樣本數(shù)據(jù)集所屬領(lǐng)域的樣本數(shù)據(jù);第二樣本數(shù)據(jù)集中包含與第三樣本數(shù)據(jù)集所屬領(lǐng)域的樣本數(shù)據(jù);
4、將第一樣本數(shù)據(jù)集輸入至三級模型,以使三級模型輸出第一結(jié)果;
5、對第一結(jié)果、第一樣本數(shù)據(jù)集和第二樣本數(shù)據(jù)集進行預(yù)處理,得到第四樣本數(shù)據(jù)集,將第四樣本數(shù)據(jù)集輸入至一級模型,以使一級模型輸出第二結(jié)果;
6、對第一結(jié)果、第二結(jié)果、第二樣本數(shù)據(jù)集和第三樣本數(shù)據(jù)集進行預(yù)處理,得到第五樣本數(shù)據(jù)集,基于第五樣本數(shù)據(jù)集對二級模型進行訓(xùn)練,得到訓(xùn)練好的深度學(xué)習(xí)模型,其中,在對待訓(xùn)練的深度學(xué)習(xí)模型進行訓(xùn)練時采用自監(jiān)督訓(xùn)練的方式。
7、本公開實施例的第二方面提供了一種深度學(xué)習(xí)模型訓(xùn)練裝置,該裝置包括:
8、數(shù)據(jù)獲取模塊,用于獲取三級模型對應(yīng)的第一樣本數(shù)據(jù)集、一級模型對應(yīng)的第二樣本數(shù)據(jù)集和二級模型對應(yīng)的第三樣本數(shù)據(jù)集,第一樣本數(shù)據(jù)集中包含與第二樣本數(shù)據(jù)集和第三樣本數(shù)據(jù)集所屬領(lǐng)域的樣本數(shù)據(jù);第二樣本數(shù)據(jù)集中包含與第三樣本數(shù)據(jù)集所屬領(lǐng)域的樣本數(shù)據(jù);
9、第一輸入模塊,用于將第一樣本數(shù)據(jù)集輸入至三級模型,以使三級模型輸出第一結(jié)果;
10、第二輸入模塊,用于對第一結(jié)果、第一樣本數(shù)據(jù)集和第二樣本數(shù)據(jù)集進行預(yù)處理,得到第四樣本數(shù)據(jù)集,將第四樣本數(shù)據(jù)集輸入至一級模型,以使一級模型輸出第二結(jié)果;
11、第三輸入模塊,用于對第一結(jié)果、第二結(jié)果、第二樣本數(shù)據(jù)集和第三樣本數(shù)據(jù)集進行預(yù)處理,得到第五樣本數(shù)據(jù)集,基于第五樣本數(shù)據(jù)集對二級模型進行訓(xùn)練,得到訓(xùn)練好的深度學(xué)習(xí)模型,其中,在對待訓(xùn)練的深度學(xué)習(xí)模型進行訓(xùn)練時采用自監(jiān)督訓(xùn)練的方式。
12、本公開實施例的第三方面提供了一種電子設(shè)備,該設(shè)備包括:
13、存儲器;
14、處理器;以及
15、計算機程序,其中,計算機程序存儲在存儲器中,并被配置為由處理器執(zhí)行以實現(xiàn)如上述第一方面所述的深度學(xué)習(xí)模型訓(xùn)練方法。
16、本公開實施例的第四方面提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,當(dāng)計算機程序被處理器執(zhí)行時,實現(xiàn)如上述第一方面所述的深度學(xué)習(xí)模型訓(xùn)練方法。
17、本公開實施例提供的技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點:
18、本公開實施例提供的深度學(xué)習(xí)模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì),能夠通過獲取三級模型對應(yīng)的第一樣本數(shù)據(jù)集、一級模型對應(yīng)的第二樣本數(shù)據(jù)集和二級模型對應(yīng)的第三樣本數(shù)據(jù)集,第一樣本數(shù)據(jù)集中包含與第二樣本數(shù)據(jù)集和第三樣本數(shù)據(jù)集所屬領(lǐng)域的樣本數(shù)據(jù);第二樣本數(shù)據(jù)集中包含與第三樣本數(shù)據(jù)集所屬領(lǐng)域的樣本數(shù)據(jù),將第一樣本數(shù)據(jù)集輸入至三級模型,以使三級模型輸出第一結(jié)果,對第一結(jié)果、第一樣本數(shù)據(jù)集和第二樣本數(shù)據(jù)集進行預(yù)處理,得到第四樣本數(shù)據(jù)集,將第四樣本數(shù)據(jù)集輸入至一級模型,以使一級模型輸出第二結(jié)果,對第一結(jié)果、第二結(jié)果、第二樣本數(shù)據(jù)集和第三樣本數(shù)據(jù)集進行預(yù)處理,得到第五樣本數(shù)據(jù)集,基于第五樣本數(shù)據(jù)集對二級模型進行訓(xùn)練,得到訓(xùn)練好的深度學(xué)習(xí)模型,其中,在對待訓(xùn)練的深度學(xué)習(xí)模型進行訓(xùn)練時采用自監(jiān)督訓(xùn)練的方式,由此,通過三級模型、一級模型之間串聯(lián)連接,一級模型和二級模型之間串聯(lián)連接,同時三級模型、一級模型和二級模型中輸入的樣本數(shù)據(jù)集之間部分并聯(lián)的方式,確保了三級模型、一級模型和二級模型之間的數(shù)據(jù)交互,進而提高了得到的訓(xùn)練好的深度學(xué)習(xí)模型的計算效率同時減少了計算時長。
1.一種深度學(xué)習(xí)模型訓(xùn)練方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述對所述第一結(jié)果、所述第一樣本數(shù)據(jù)集和所述第二樣本數(shù)據(jù)集進行預(yù)處理,得到第四樣本數(shù)據(jù)集,包括:
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述對所述第一結(jié)果、所述第二結(jié)果、所述第二樣本數(shù)據(jù)集和所述第三樣本數(shù)據(jù)集進行所述預(yù)處理,得到第五樣本數(shù)據(jù)集,包括:
4.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述方法還包括:
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述對所述標(biāo)準(zhǔn)單元進行目標(biāo)處理,得到所述深度學(xué)習(xí)模型,包括:
6.一種深度學(xué)習(xí)模型訓(xùn)練裝置,其特征在于,所述裝置包括:
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述第二輸入模塊包括第一篩選單元、第二篩選單元和第一預(yù)處理單元;
8.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述第三輸入模塊包括第三篩選單元、第四篩選單元、第五篩選單元和第二預(yù)處理單元;
9.一種電子設(shè)備,其特征在于,包括:
10.一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-5中任一項所述的方法。