本發(fā)明涉及計(jì)算機(jī)模型，尤其涉及一種基于模型自身知識(shí)的模型迭代訓(xùn)練方法、裝置和電子設(shè)備。

背景技術(shù)：

1、在語言模型的訓(xùn)練過程中，不同階段對(duì)數(shù)據(jù)的需求是不同的。例如，模型訓(xùn)練的初期更需要大量的語言類數(shù)據(jù)，以幫助模型學(xué)習(xí)基本的語言知識(shí)；在后期，模型才會(huì)開始學(xué)習(xí)數(shù)學(xué)和邏輯推理等更復(fù)雜的知識(shí)。目前，常見的做法是將數(shù)據(jù)按類別進(jìn)行分類，并根據(jù)經(jīng)驗(yàn)為各類數(shù)據(jù)設(shè)定一定的比例，接著通過實(shí)驗(yàn)觀察模型的損失（loss）曲線，最后人工決定下一階段的模型學(xué)習(xí)數(shù)據(jù)配比。這種方法存在以下問題：數(shù)據(jù)分類需要人為決定，可能不夠合理；數(shù)據(jù)配比依賴人為干預(yù)，難以及時(shí)且有效地調(diào)整，從而影響模型的訓(xùn)練速度和性能。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了如下技術(shù)方案。

2、本發(fā)明第一方面提供了一種基于模型自身知識(shí)的模型迭代訓(xùn)練方法，包括：

3、s101，對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理，利用預(yù)處理后的文本數(shù)據(jù)構(gòu)建圖結(jié)構(gòu)；

4、s102，在圖結(jié)構(gòu)內(nèi)均勻采樣，并利用采樣得到的文本數(shù)據(jù)計(jì)算當(dāng)前模型的知識(shí)需求度；

5、s103，刪除圖結(jié)構(gòu)中知識(shí)需求度小于第一閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)；利用圖結(jié)構(gòu)中知識(shí)需求度大于等于第一閾值且小于等于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)當(dāng)前模型進(jìn)行訓(xùn)練，得到本輪訓(xùn)練好的模型；利用圖結(jié)構(gòu)中知識(shí)需求度大于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)本輪訓(xùn)練好的模型進(jìn)行訓(xùn)練，得到下一輪訓(xùn)練好的模型；

6、s104，將下一輪訓(xùn)練好的模型作為當(dāng)前模型重復(fù)步驟s102~s103，直到達(dá)到訓(xùn)練的預(yù)期效果。

7、優(yōu)選地，所述對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理包括：

8、對(duì)文本數(shù)據(jù)先進(jìn)行清洗、轉(zhuǎn)換、過濾和去重，之后計(jì)算語義向量；

9、基于語義向量進(jìn)行語義層面的去重。

10、優(yōu)選地，所述利用預(yù)處理后的文本數(shù)據(jù)構(gòu)建圖結(jié)構(gòu)包括：

11、計(jì)算各個(gè)向量間的相似度；

12、將每個(gè)向量作為節(jié)點(diǎn)，在相似度高于預(yù)設(shè)閾值的節(jié)點(diǎn)之間建立邊，得到圖結(jié)構(gòu)。

13、優(yōu)選地，所述計(jì)算當(dāng)前模型的知識(shí)需求度包括：計(jì)算采樣得到的文本數(shù)據(jù)對(duì)當(dāng)前模型的困惑度，并利用困惑度表示知識(shí)需求度。

14、本發(fā)明第二方面提供了一種基于模型自身知識(shí)的模型迭代訓(xùn)練裝置，包括：

15、圖結(jié)構(gòu)構(gòu)建模塊，用于對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理，利用預(yù)處理后的文本數(shù)據(jù)構(gòu)建圖結(jié)構(gòu)；

16、知識(shí)需求度計(jì)算模塊，用于在圖結(jié)構(gòu)內(nèi)均勻采樣，并利用采樣得到的文本數(shù)據(jù)計(jì)算當(dāng)前模型的知識(shí)需求度；

17、訓(xùn)練數(shù)據(jù)選擇和模型訓(xùn)練模塊，用于刪除圖結(jié)構(gòu)中知識(shí)需求度小于第一閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)；利用圖結(jié)構(gòu)中知識(shí)需求度大于等于第一閾值且小于等于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)當(dāng)前模型進(jìn)行訓(xùn)練，得到本輪訓(xùn)練好的模型；利用圖結(jié)構(gòu)中知識(shí)需求度大于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)本輪訓(xùn)練好的模型進(jìn)行訓(xùn)練，得到下一輪訓(xùn)練好的模型；

18、迭代訓(xùn)練模塊，用于將下一輪訓(xùn)練好的模型作為當(dāng)前模型重復(fù)執(zhí)行知識(shí)需求度計(jì)算模塊以及訓(xùn)練數(shù)據(jù)選擇和模型訓(xùn)練模塊，直到達(dá)到訓(xùn)練的預(yù)期效果。

19、優(yōu)選地，在圖結(jié)構(gòu)構(gòu)建模塊中，所述對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理包括：

20、對(duì)文本數(shù)據(jù)先進(jìn)行清洗、轉(zhuǎn)換、過濾和去重，之后計(jì)算語義向量；

21、基于語義向量進(jìn)行語義層面的去重。

22、優(yōu)選地，在圖結(jié)構(gòu)構(gòu)建模塊中，所述利用預(yù)處理后的文本數(shù)據(jù)構(gòu)建圖結(jié)構(gòu)包括：

23、計(jì)算各個(gè)向量間的相似度；

24、將每個(gè)向量作為節(jié)點(diǎn)，在相似度高于預(yù)設(shè)閾值的節(jié)點(diǎn)之間建立邊，得到圖結(jié)構(gòu)。

25、優(yōu)選地，在知識(shí)需求度計(jì)算模塊中，所述計(jì)算當(dāng)前模型的知識(shí)需求度包括：計(jì)算采樣得到的文本數(shù)據(jù)對(duì)當(dāng)前模型的困惑度，并利用困惑度表示知識(shí)需求度。

26、本發(fā)明還提供了一種存儲(chǔ)器，存儲(chǔ)有多條指令，所述指令用于實(shí)現(xiàn)如第一方面所述的基于模型自身知識(shí)的模型迭代訓(xùn)練方法。

27、本發(fā)明還提供了一種電子設(shè)備，包括處理器和與所述處理器連接的存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有多條指令，所述指令可被所述處理器加載并執(zhí)行，以使所述處理器能夠執(zhí)行如第一方面所述的基于模型自身知識(shí)的模型迭代訓(xùn)練方法。

28、本發(fā)明的有益效果是：本發(fā)明提供的基于模型自身知識(shí)的模型迭代訓(xùn)練方法、裝置和電子設(shè)備，根據(jù)計(jì)算得到的當(dāng)前模型的知識(shí)需求度，刪除圖結(jié)構(gòu)中知識(shí)需求度小于第一閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)；利用圖結(jié)構(gòu)中知識(shí)需求度大于等于第一閾值且小于等于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)當(dāng)前模型進(jìn)行訓(xùn)練，得到本輪訓(xùn)練好的模型；利用圖結(jié)構(gòu)中知識(shí)需求度大于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)本輪訓(xùn)練好的模型進(jìn)行訓(xùn)練，得到下一輪訓(xùn)練好的模型，之后重復(fù)迭代訓(xùn)練模型?？梢酝ㄟ^計(jì)算模型的知識(shí)需求度，自動(dòng)確定下一階段模型的訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)了為模型量身定制訓(xùn)練方案的目的，加快了模型訓(xùn)練進(jìn)程并提升了模型能力。

技術(shù)特征：

1.一種基于模型自身知識(shí)的模型迭代訓(xùn)練方法，其特征在于，包括：

2.如權(quán)利要求1所述的基于模型自身知識(shí)的模型迭代訓(xùn)練方法，其特征在于，所述對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理包括：

3.如權(quán)利要求2所述的基于模型自身知識(shí)的模型迭代訓(xùn)練方法，其特征在于，所述利用預(yù)處理后的文本數(shù)據(jù)構(gòu)建圖結(jié)構(gòu)包括：

4.如權(quán)利要求1所述的基于模型自身知識(shí)的模型迭代訓(xùn)練方法，其特征在于，所述計(jì)算當(dāng)前模型的知識(shí)需求度包括：計(jì)算采樣得到的文本數(shù)據(jù)對(duì)當(dāng)前模型的困惑度，并利用困惑度表示知識(shí)需求度。

5.一種基于模型自身知識(shí)的模型迭代訓(xùn)練裝置，其特征在于，包括：

6.如權(quán)利要求5所述的基于模型自身知識(shí)的模型迭代訓(xùn)練裝置，其特征在于，在圖結(jié)構(gòu)構(gòu)建模塊中，所述對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理包括：

7.如權(quán)利要求6所述的基于模型自身知識(shí)的模型迭代訓(xùn)練裝置，其特征在于，在圖結(jié)構(gòu)構(gòu)建模塊中，所述利用預(yù)處理后的文本數(shù)據(jù)構(gòu)建圖結(jié)構(gòu)包括：

8.如權(quán)利要求5所述的基于模型自身知識(shí)的模型迭代訓(xùn)練裝置，其特征在于，在知識(shí)需求度計(jì)算模塊中，所述計(jì)算當(dāng)前模型的知識(shí)需求度包括：計(jì)算采樣得到的文本數(shù)據(jù)對(duì)當(dāng)前模型的困惑度，并利用困惑度表示知識(shí)需求度。

9.一種存儲(chǔ)器，其特征在于，存儲(chǔ)有多條指令，所述指令用于實(shí)現(xiàn)如權(quán)利要求1-4任一項(xiàng)所述的基于模型自身知識(shí)的模型迭代訓(xùn)練方法。

10.一種電子設(shè)備，其特征在于，包括處理器和與所述處理器連接的存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有多條指令，所述指令可被所述處理器加載并執(zhí)行，以使所述處理器能夠執(zhí)行如權(quán)利要求1-4任一項(xiàng)所述的基于模型自身知識(shí)的模型迭代訓(xùn)練方法。

技術(shù)總結(jié)
本發(fā)明公開了基于模型自身知識(shí)的模型迭代訓(xùn)練方法、裝置和電子設(shè)備，涉及計(jì)算機(jī)模型技術(shù)領(lǐng)域。方法包括：在圖結(jié)構(gòu)內(nèi)均勻采樣，并利用采樣得到的文本數(shù)據(jù)計(jì)算當(dāng)前模型的知識(shí)需求度；刪除圖結(jié)構(gòu)中知識(shí)需求度小于第一閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)；利用圖結(jié)構(gòu)中知識(shí)需求度大于等于第一閾值且小于等于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)當(dāng)前模型進(jìn)行訓(xùn)練，得到本輪訓(xùn)練好的模型；利用圖結(jié)構(gòu)中知識(shí)需求度大于第二閾值的節(jié)點(diǎn)及其鄰近節(jié)點(diǎn)對(duì)本輪訓(xùn)練好的模型進(jìn)行訓(xùn)練，得到下一輪訓(xùn)練好的模型；將下一輪訓(xùn)練好的模型作為當(dāng)前模型重復(fù)迭代訓(xùn)練，直到達(dá)到預(yù)期效果。通過計(jì)算模型的知識(shí)需求度，自動(dòng)確定下一階段模型的訓(xùn)練數(shù)據(jù)，加快了模型訓(xùn)練進(jìn)程并提升了模型能力。

技術(shù)研發(fā)人員：郝東林,潘騰飛
受保護(hù)的技術(shù)使用者：北京智源人工智能研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2