1.一種預(yù)訓(xùn)練模型的微調(diào)方法,其特征在于,應(yīng)用于行業(yè)數(shù)據(jù)方,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述預(yù)訓(xùn)練模型的壓縮模型中切詞器、嵌入層和部分模型參數(shù)層的模型參數(shù)與所述預(yù)訓(xùn)練模型中相對應(yīng)網(wǎng)絡(luò)層的模型參數(shù)相同。
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述通過所述目標(biāo)預(yù)訓(xùn)練模型中部署的第一網(wǎng)絡(luò)層調(diào)整所述前綴調(diào)整參數(shù),得到所述前綴調(diào)整參數(shù)針對所述行業(yè)數(shù)據(jù)方的最優(yōu)參數(shù)值,包括:
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述基于所述第二結(jié)果對所述前綴調(diào)整參數(shù)進(jìn)行調(diào)整,得到所述前綴調(diào)整參數(shù)針對所述行業(yè)數(shù)據(jù)方的最優(yōu)參數(shù)值,包括:
5.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述通過所述第一網(wǎng)絡(luò)層對輸入樣本進(jìn)行處理,得到第一結(jié)果,包括:
6.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述將所述第一結(jié)果發(fā)送至所述預(yù)訓(xùn)練模型方進(jìn)行處理,包括:
7.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述通過所述目標(biāo)預(yù)訓(xùn)練模型中部署的第一網(wǎng)絡(luò)層調(diào)整所述前綴調(diào)整參數(shù),得到所述前綴調(diào)整參數(shù)針對所述行業(yè)數(shù)據(jù)方的最優(yōu)參數(shù)值,包括:
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,所述通過多個(gè)所述行業(yè)數(shù)據(jù)方中部署的所述目標(biāo)預(yù)訓(xùn)練模型的第一網(wǎng)絡(luò)層調(diào)整所述前綴調(diào)整參數(shù),得到所述前綴調(diào)整參數(shù)針對所述行業(yè)數(shù)據(jù)方的最優(yōu)參數(shù)值,包括:
9.根據(jù)權(quán)利要求8所述的方法,其特征在于,所述基于每個(gè)所述行業(yè)數(shù)據(jù)方在每輪訓(xùn)練過程的數(shù)據(jù)量和該輪訓(xùn)練過程輸出的目標(biāo)前綴調(diào)整參數(shù),計(jì)算前綴調(diào)整參數(shù)的聯(lián)合訓(xùn)練參數(shù),包括:
10.一種預(yù)訓(xùn)練模型的微調(diào)方法,其特征在于,應(yīng)用于預(yù)訓(xùn)練模型方,所述預(yù)訓(xùn)練模型方上部署了預(yù)訓(xùn)練模型的第二網(wǎng)絡(luò)層,其中,所述第二網(wǎng)絡(luò)層包括第二模型參數(shù)層和文本輸出層,包括:
11.根據(jù)權(quán)利要求10所述的方法,其特征在于,所述對所述預(yù)訓(xùn)練模型進(jìn)行壓縮,得到壓縮模型,包括:
12.一種預(yù)訓(xùn)練模型的推理方法,其特征在于,包括:
13.一種預(yù)訓(xùn)練模型的微調(diào)裝置,其特征在于,設(shè)置于行業(yè)數(shù)據(jù)方,包括:
14.一種預(yù)訓(xùn)練模型的微調(diào)裝置,其特征在于,設(shè)置于預(yù)訓(xùn)練模型方,所述預(yù)訓(xùn)練模型方上部署了預(yù)訓(xùn)練模型的第二網(wǎng)絡(luò)層,其中,所述第二網(wǎng)絡(luò)層包括第二模型參數(shù)層和文本輸出層,包括:
15.一種預(yù)訓(xùn)練模型的推理裝置,其特征在于,包括:
16.一種電子設(shè)備,其特征在于,包括:處理器、存儲(chǔ)器和總線,所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令,當(dāng)電子設(shè)備運(yùn)行時(shí),所述處理器與所述存儲(chǔ)器之間通過總線通信,所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求1至9任一所述的預(yù)訓(xùn)練模型的微調(diào)方法的步驟;或者,執(zhí)行如權(quán)利要求10或11所述的預(yù)訓(xùn)練模型的微調(diào)方法步驟,或者執(zhí)行如權(quán)利要求12所述的預(yù)訓(xùn)練模型的推理方法的步驟。
17.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1至9任一所述的預(yù)訓(xùn)練模型的微調(diào)方法的步驟;或者,執(zhí)行如權(quán)利要求10或11所述的預(yù)訓(xùn)練模型的微調(diào)方法步驟,或者執(zhí)行如權(quán)利要求12所述的預(yù)訓(xùn)練模型的推理方法的步驟。
18.一種計(jì)算機(jī)程序產(chǎn)品,其特征在于,所述計(jì)算機(jī)程序產(chǎn)品被存儲(chǔ)在存儲(chǔ)介質(zhì)中,所述程序產(chǎn)品被至少一個(gè)處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至9任一所述的預(yù)訓(xùn)練模型的微調(diào)方法的步驟;或者,執(zhí)行如權(quán)利要求10或11所述的預(yù)訓(xùn)練模型的微調(diào)方法步驟,或者執(zhí)行如權(quán)利要求12所述的預(yù)訓(xùn)練模型的推理方法的步驟。