本說明書涉及計(jì)算機(jī),尤其涉及一種模型訓(xùn)練方法、業(yè)務(wù)執(zhí)行方法、裝置以及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、近年來,隨著計(jì)算機(jī)技術(shù)以及人工智能技術(shù)的發(fā)展,語言模型的應(yīng)用逐漸廣泛。語言模型可以根據(jù)用戶提供的個(gè)人數(shù)據(jù)來執(zhí)行相關(guān)的問答業(yè)務(wù)。例如,用戶可以向語言模型輸入文本(如:一篇新聞)和問題語句(如:該文本是否描述了a地區(qū)近期經(jīng)濟(jì)數(shù)據(jù)的變化?),進(jìn)而語言模型可以對(duì)接收到的文本和問題語句進(jìn)行分析與處理,并將結(jié)果返回給用戶。
2、目前,為了使得語言模型在實(shí)際應(yīng)用過程中能夠?qū)τ脩羲斎氲膬?nèi)容進(jìn)行準(zhǔn)確的分析并得出結(jié)果,可以在前期對(duì)語言模型進(jìn)行訓(xùn)練的過程中采用人為的方式設(shè)置不同的問題語句來引導(dǎo)語言模型給出相應(yīng)的回答,以使語言模型學(xué)習(xí)到對(duì)不同的問題語句進(jìn)行分析與處理的能力。例如,在對(duì)語言模型進(jìn)行訓(xùn)練的過程中,當(dāng)語言模型的輸入是一篇新聞時(shí),問題語句可以是“該文章是否為財(cái)經(jīng)類的新聞?”,以此來引導(dǎo)語言模型對(duì)該文章是否屬于財(cái)經(jīng)類的新聞進(jìn)行判斷?;蛘撸瑔栴}語句也可以是“該文章是否描述了近期股市行情的變動(dòng)?”,以此來引導(dǎo)語言模型對(duì)該文章中是否存在對(duì)近期股市行情的變動(dòng)的內(nèi)容進(jìn)行判斷。
3、但是,采用人為設(shè)置多個(gè)問題語句的方式耗時(shí)較長(zhǎng),從而導(dǎo)致訓(xùn)練效率較低。
技術(shù)實(shí)現(xiàn)思路
1、本說明書提供了一種模型訓(xùn)練方法、業(yè)務(wù)執(zhí)行方法、裝置以及存儲(chǔ)介質(zhì),以部分的解決現(xiàn)有技術(shù)存在的上述問題。
2、本說明書采用下述技術(shù)方案:
3、本說明書提供了一種模型訓(xùn)練方法,包括:
4、獲取文本數(shù)據(jù);
5、將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)所述各文本要素信息,生成用于對(duì)所述文本數(shù)據(jù)從至少部分角度進(jìn)行總結(jié)的總結(jié)文本,以將所述總結(jié)文本與所述文本數(shù)據(jù)進(jìn)行匹配,得到所述總結(jié)文本與所述文本數(shù)據(jù)之間的匹配結(jié)果,作為實(shí)際匹配結(jié)果,其中,文本要素信息用于表征所述文本數(shù)據(jù)的語句成分、所述文本數(shù)據(jù)對(duì)應(yīng)文本內(nèi)容所表達(dá)的情感類型、所述文本數(shù)據(jù)對(duì)應(yīng)文本內(nèi)容的描述風(fēng)格;
6、將所述文本數(shù)據(jù)以及所述總結(jié)文本輸入到待訓(xùn)練的語言模型中,以使所述語言模型生成所述文本數(shù)據(jù)與所述總結(jié)文本之間的匹配結(jié)果,作為待驗(yàn)證匹配結(jié)果;
7、根據(jù)所述待驗(yàn)證匹配結(jié)果和所述實(shí)際匹配結(jié)果之間的偏差,確定損失值,并根據(jù)所述損失值,對(duì)所述待訓(xùn)練的語言模型進(jìn)行訓(xùn)練,其中,所述偏差與所述損失值之間呈正相關(guān)關(guān)系。
8、可選地,將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)所述各文本要素信息,生成用于對(duì)所述文本數(shù)據(jù)從至少部分角度進(jìn)行總結(jié)的總結(jié)文本,具體包括:
9、將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并從所述各文本要素信息中選取至少一個(gè)目標(biāo)要素信息,以將選取出的至少一個(gè)目標(biāo)要素信息進(jìn)行組合,得到組合文本要素信息,并根據(jù)所述組合文本要素信息,生成用于對(duì)所述文本數(shù)據(jù)從至少部分角度進(jìn)行總結(jié)的總結(jié)文本。
10、可選地,將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并從所述各文本要素信息中選取至少一個(gè)目標(biāo)要素信息,具體包括:
11、將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型確定所述文本數(shù)據(jù)對(duì)應(yīng)的文本特征,根據(jù)所述文本特征,對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)所述文本特征,從所述各文本要素信息中確定出重要要素信息,作為選取出的至少一個(gè)目標(biāo)要素信息。
12、可選地,將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并從所述各文本要素信息中選取至少一個(gè)目標(biāo)要素信息,具體包括:
13、將所述文本數(shù)據(jù)以及獲取到的任務(wù)需求信息輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)所述任務(wù)需求信息,從所述各文本要素信息中確定出與所述任務(wù)需求信息相匹配的文本要素信息,作為選取出的至少一個(gè)目標(biāo)要素信息。
14、可選地,將所述文本數(shù)據(jù)以及所述總結(jié)文本輸入到待訓(xùn)練的語言模型中,以使所述語言模型生成所述文本數(shù)據(jù)與所述總結(jié)文本之間的匹配結(jié)果,作為待驗(yàn)證匹配結(jié)果,具體包括:
15、將所述文本數(shù)據(jù)、所述總結(jié)文本以及輸出規(guī)定信息輸入到待訓(xùn)練的語言模型中,以使所述語言模型按照所述輸出規(guī)定信息所要求的信息輸出類型,輸出所述文本數(shù)據(jù)與所述總結(jié)文本之間的匹配結(jié)果,作為待驗(yàn)證匹配結(jié)果。
16、本說明書提供了一種業(yè)務(wù)執(zhí)行方法,包括:
17、獲取待匹配數(shù)據(jù),所述待匹配數(shù)據(jù)中包含有待匹配文本數(shù)據(jù)以及待匹配總結(jié)文本;
18、將所述待匹配數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的語言模型中,以使所述語言模型生成所述待匹配文本數(shù)據(jù)與所述待匹配總結(jié)文本之間的匹配結(jié)果,所述語言模型是通過如上述模型訓(xùn)練方法訓(xùn)練得到的;
19、根據(jù)所述匹配結(jié)果,進(jìn)行業(yè)務(wù)執(zhí)行。
20、本說明書提供了一種模型訓(xùn)練裝置,包括:
21、獲取模塊:用于獲取文本數(shù)據(jù);
22、第一匹配模塊:用于將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)所述各文本要素信息,生成用于對(duì)所述文本數(shù)據(jù)從至少部分角度進(jìn)行總結(jié)的總結(jié)文本,以將所述總結(jié)文本與所述文本數(shù)據(jù)進(jìn)行匹配,得到所述總結(jié)文本與所述文本數(shù)據(jù)之間的匹配結(jié)果,作為實(shí)際匹配結(jié)果,其中,文本要素信息用于表征所述文本數(shù)據(jù)的語句成分、所述文本數(shù)據(jù)對(duì)應(yīng)文本內(nèi)容所表達(dá)的情感類型、所述文本數(shù)據(jù)對(duì)應(yīng)文本內(nèi)容的描述風(fēng)格;
23、第二匹配模塊:用于將所述文本數(shù)據(jù)以及所述總結(jié)文本輸入到待訓(xùn)練的語言模型中,以使所述語言模型生成所述文本數(shù)據(jù)與所述總結(jié)文本之間的匹配結(jié)果,作為待驗(yàn)證匹配結(jié)果;
24、訓(xùn)練模塊:用于根據(jù)所述待驗(yàn)證匹配結(jié)果和所述實(shí)際匹配結(jié)果之間的偏差,確定損失值,并根據(jù)所述損失值,對(duì)所述待訓(xùn)練的語言模型進(jìn)行訓(xùn)練,其中,所述偏差與所述損失值之間呈正相關(guān)關(guān)系。
25、可選地,所述第一匹配模塊具體用于:
26、將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并從所述各文本要素信息中選取至少一個(gè)目標(biāo)要素信息,以將選取出的至少一個(gè)目標(biāo)要素信息進(jìn)行組合,得到組合文本要素信息,并根據(jù)所述組合文本要素信息,生成用于對(duì)所述文本數(shù)據(jù)從至少部分角度進(jìn)行總結(jié)的總結(jié)文本。
27、可選地,所述第一匹配模塊具體用于:
28、將所述文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型確定所述文本數(shù)據(jù)對(duì)應(yīng)的文本特征,根據(jù)所述文本特征,對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)所述文本特征,從所述各文本要素信息中確定出重要要素信息,作為選取出的至少一個(gè)目標(biāo)要素信息。
29、可選地,所述第一匹配模塊具體用于:
30、將所述文本數(shù)據(jù)以及獲取到的任務(wù)需求信息輸入到預(yù)設(shè)的大語言模型中,以使所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行語義分析,以確定出所述文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)所述任務(wù)需求信息,從所述各文本要素信息中確定出與所述任務(wù)需求信息相匹配的文本要素信息,作為選取出的至少一個(gè)目標(biāo)要素信息。
31、可選地,所述第二匹配模塊具體用于:
32、將所述文本數(shù)據(jù)、所述總結(jié)文本以及輸出規(guī)定信息輸入到待訓(xùn)練的語言模型中,以使所述語言模型按照所述輸出規(guī)定信息所要求的信息輸出類型,輸出所述文本數(shù)據(jù)與所述總結(jié)文本之間的匹配結(jié)果,作為待驗(yàn)證匹配結(jié)果。
33、本說明書提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述模型訓(xùn)練方法或業(yè)務(wù)執(zhí)行方法。
34、本說明書提供了一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述模型訓(xùn)練方法或業(yè)務(wù)執(zhí)行方法。
35、本說明書采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果:
36、本說明書提供的模型訓(xùn)練方法,可以首先獲取文本數(shù)據(jù),將文本數(shù)據(jù)輸入到預(yù)設(shè)的大語言模型中,以使大語言模型對(duì)文本數(shù)據(jù)進(jìn)行語義分析,以確定出文本數(shù)據(jù)所對(duì)應(yīng)的各文本要素信息,并根據(jù)各文本要素信息,生成用于對(duì)文本數(shù)據(jù)從至少部分角度進(jìn)行總結(jié)的總結(jié)文本,以將總結(jié)文本與文本數(shù)據(jù)進(jìn)行匹配,得到總結(jié)文本與文本數(shù)據(jù)之間的匹配結(jié)果,作為實(shí)際匹配結(jié)果,將文本數(shù)據(jù)以及總結(jié)文本輸入到待訓(xùn)練的語言模型中,以使語言模型生成文本數(shù)據(jù)與總結(jié)文本之間的匹配結(jié)果,作為待驗(yàn)證匹配結(jié)果,根據(jù)待驗(yàn)證匹配結(jié)果和實(shí)際匹配結(jié)果之間的偏差,確定損失值,并根據(jù)損失值,對(duì)待訓(xùn)練的語言模型進(jìn)行訓(xùn)練。
37、從上述方法中可以看出,可以將文本數(shù)據(jù)輸入到大語言模型中,以使大語言模型根據(jù)文本數(shù)據(jù)對(duì)應(yīng)的各文本要素信息確定出總結(jié)文本。并且,可以將文本數(shù)據(jù)以及大語言模型所確定出的總結(jié)文本作為樣本數(shù)據(jù)輸入到待訓(xùn)練的語言模型中,以此來對(duì)語言模型進(jìn)行訓(xùn)練,從而避免了現(xiàn)有技術(shù)中通過人為設(shè)置多個(gè)問題語句來對(duì)語言模型進(jìn)行訓(xùn)練由于耗時(shí)較長(zhǎng)所造成的訓(xùn)練效率較低的問題,大大提升了訓(xùn)練效率。與此同時(shí),上述方法在進(jìn)行訓(xùn)練的過程中所使用的總結(jié)文本是預(yù)設(shè)的大語言模型根據(jù)從多個(gè)角度進(jìn)行語義分析得到的各文本要素信息來確定出的,因此,采用上述方法進(jìn)行訓(xùn)練可以使語言模型學(xué)習(xí)到對(duì)多角度的總結(jié)文本進(jìn)行分析與處理的能力,從而提升了模型所輸出的匹配結(jié)果的準(zhǔn)確性。