本發(fā)明涉及自然語(yǔ)言處理，尤其涉及一種基于會(huì)議報(bào)告的事件主題分類方法及系統(tǒng)。

背景技術(shù)：

1、隨著信息技術(shù)的飛速發(fā)展，如何高效、準(zhǔn)確地從政府、集團(tuán)會(huì)議報(bào)告中，對(duì)會(huì)議主題進(jìn)行分類成為了一個(gè)亟待解決的問(wèn)題。

2、傳統(tǒng)機(jī)器學(xué)習(xí)的主題分類方法依賴于手工特征提取和專家經(jīng)驗(yàn)來(lái)設(shè)計(jì)特征，這不僅耗時(shí)耗力，而且難以處理高維數(shù)據(jù)和復(fù)雜的非線性關(guān)系。

3、而深度學(xué)習(xí)bert模型采用雙向的編碼器，核心優(yōu)勢(shì)在于其創(chuàng)新的雙向訓(xùn)練機(jī)制，它通過(guò)大量無(wú)標(biāo)注文本的預(yù)訓(xùn)練，學(xué)習(xí)了深層次的語(yǔ)言表示，使得模型能夠捕捉到豐富的上下文信息和語(yǔ)言的細(xì)微差別。但是由于bert是基于字粒度的語(yǔ)言模型，很容易忽視詞匯之間語(yǔ)法信息，容易忽視句子中長(zhǎng)距離的文本特征，不能很好地處理復(fù)雜的語(yǔ)義文本，導(dǎo)致分類容易出現(xiàn)錯(cuò)誤。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述的分析，本發(fā)明實(shí)施例旨在提供一種基于會(huì)議報(bào)告的事件主題分類方法及系統(tǒng)，用以解決現(xiàn)有因文本特征提取不充分導(dǎo)致會(huì)議報(bào)告的事件主題分類不準(zhǔn)確的問(wèn)題。

2、一方面，本發(fā)明實(shí)施例提供了一種基于會(huì)議報(bào)告的事件主題分類方法，包括以下步驟：

3、解析歷史會(huì)議報(bào)告得到事件文本集；對(duì)事件文本集中每個(gè)事件文本構(gòu)建動(dòng)態(tài)提示詞并傳入大模型，將對(duì)應(yīng)得到的多條推理文本補(bǔ)入事件文本集中得到擴(kuò)增文本集；

4、利用擴(kuò)增文本集訓(xùn)練雙通道特征融合bert模型，得到事件主題分類模型；雙通道特征融合bert模型中的雙通道模塊包括多頭注意力機(jī)制通道和文本卷積通道；

5、解析待預(yù)測(cè)的會(huì)議報(bào)告得到多條待預(yù)測(cè)事件，將每條待預(yù)測(cè)事件傳入事件主題分類模型中，預(yù)測(cè)出對(duì)應(yīng)的事件主題類別。

6、基于上述方法的進(jìn)一步改進(jìn)，雙通道特征融合bert模型依次包括：bert網(wǎng)絡(luò)、雙通道模塊、特征融合模塊和分類預(yù)測(cè)模塊；bert網(wǎng)絡(luò)接收訓(xùn)練文本，將最后一層文本特征向量輸入到雙通道模塊中，經(jīng)過(guò)特征融合模塊對(duì)雙通道模塊中多頭注意力機(jī)制通道輸出的全局多維特征和文本卷積通道輸出的局部關(guān)鍵特征進(jìn)行融合得到文本融合特征后，傳入分類預(yù)測(cè)模塊輸出事件主題類別。

7、基于上述方法的進(jìn)一步改進(jìn)，對(duì)事件文本集中每個(gè)事件文本構(gòu)建動(dòng)態(tài)提示詞，包括：

8、設(shè)定提示詞的角色和任務(wù)目標(biāo)；

9、通過(guò)第一占位符引入每個(gè)事件文本作為會(huì)議報(bào)告內(nèi)容的樣例信息；

10、基于樣例信息，設(shè)定文本生成規(guī)則和目標(biāo)鼓勵(lì)，其中通過(guò)第二占位符引入當(dāng)前事件文本被標(biāo)注的事件主題類別。

11、基于上述方法的進(jìn)一步改進(jìn)，多頭注意力機(jī)制通道接收文本特征向量后依次經(jīng)過(guò)多頭注意力子模塊和第一前向網(wǎng)絡(luò)子模塊，其中多頭注意力子模塊和第一前向網(wǎng)絡(luò)子模塊中均加入了殘差連接和層歸一化，輸出全局多維特征。

12、基于上述方法的進(jìn)一步改進(jìn)，文本卷積通道采用文本卷積神經(jīng)網(wǎng)絡(luò)，文本卷積神經(jīng)網(wǎng)絡(luò)依次包括：嵌入層、卷積層、最大池化層和特征整合層；嵌入層對(duì)接收的文本特征向量調(diào)整維度后，通過(guò)卷積層中多個(gè)不同大小的卷積核提取出多個(gè)卷積結(jié)果特征，最大池化層提取出每個(gè)卷積結(jié)果特征中的最大值后由特征整合層整合為局部關(guān)鍵特征。

13、基于上述方法的進(jìn)一步改進(jìn)，特征融合模塊將接收到的全局多維特征和局部關(guān)鍵特征傳入特征拼接子模塊，特征拼接子模塊通過(guò)向量拼接、向量對(duì)位減法和向量對(duì)位點(diǎn)乘得到高維特征后傳入第二前向網(wǎng)絡(luò)子模塊，第二前向網(wǎng)絡(luò)子模塊中加入了殘差連接和層歸一化，輸出文本融合特征。

14、基于上述方法的進(jìn)一步改進(jìn)，分類預(yù)測(cè)模塊將接收到的文本融合特征輸入到全連接層進(jìn)行非線性操作后再經(jīng)過(guò)softmax操作得到分類概率，取最大的分類概率對(duì)應(yīng)的事件主題類別作為預(yù)測(cè)結(jié)果。

15、基于上述方法的進(jìn)一步改進(jìn)，提示詞的角色設(shè)定為會(huì)議主題報(bào)告生成專家；文本生成規(guī)則包括：不要出現(xiàn)樣例信息中重復(fù)的單位地址，不要出現(xiàn)樣例信息中重復(fù)的人員姓名，采用與樣例信息相似的文本背景，生成的會(huì)議報(bào)告內(nèi)容與{theme}主題相似度在0.8以上；其中{theme}為第二占位符。

16、基于上述方法的進(jìn)一步改進(jìn)，大模型采用32b的四位量化基座大模型。

17、另一方面，本發(fā)明實(shí)施例提供了一種基于會(huì)議報(bào)告的事件主題分類系統(tǒng)，包括：

18、文本集構(gòu)建單元，用于解析歷史會(huì)議報(bào)告得到事件文本集；對(duì)事件文本集中每個(gè)事件文本構(gòu)建動(dòng)態(tài)提示詞并傳入大模型，將對(duì)應(yīng)得到的多條推理文本補(bǔ)入事件文本集中得到擴(kuò)增文本集；

19、分類模型訓(xùn)練單元，用于利用擴(kuò)增文本集訓(xùn)練雙通道特征融合bert模型，得到事件主題分類模型；雙通道特征融合bert模型中的雙通道模塊包括多頭注意力機(jī)制通道和文本卷積通道；

20、事件主題分類單元，用于解析待預(yù)測(cè)的會(huì)議報(bào)告得到多條待預(yù)測(cè)事件，將每條待預(yù)測(cè)事件傳入事件主題分類模型中，預(yù)測(cè)出對(duì)應(yīng)的事件主題類別。

21、與現(xiàn)有技術(shù)相比，本發(fā)明至少可實(shí)現(xiàn)如下有益效果之一：

22、1、提出基于預(yù)訓(xùn)練網(wǎng)絡(luò)的雙通道特征融合網(wǎng)絡(luò)模型，模型結(jié)合多頭注意力機(jī)制網(wǎng)絡(luò)和文本卷積網(wǎng)絡(luò)，來(lái)增強(qiáng)bert文本特征表示，多頭注意力機(jī)制通過(guò)同時(shí)關(guān)注多個(gè)信息維度，賦予模型能力去并行學(xué)習(xí)文本中的多樣關(guān)系與特征，文本卷積神經(jīng)網(wǎng)絡(luò)通過(guò)關(guān)注文本局部關(guān)鍵信息，增強(qiáng)模型對(duì)于文本局部特征關(guān)鍵信息的學(xué)習(xí)，增強(qiáng)模型文本特征能力。最后使用特征融合技術(shù)來(lái)融合雙通道的語(yǔ)義特征，增強(qiáng)了文本特征能力，提高了事件主題類別分類的準(zhǔn)確性。

23、2、根據(jù)歷史會(huì)議報(bào)告中提取的事件文本的語(yǔ)義特征，構(gòu)建動(dòng)態(tài)提示詞，將大模型作為擴(kuò)增數(shù)據(jù)集的手段，從而減少對(duì)大量人工標(biāo)注數(shù)據(jù)的依賴，不僅有效地降低了人力物力，而且顯著提高了數(shù)據(jù)處理的效率和質(zhì)量。

24、本發(fā)明中，上述各技術(shù)方案之間還可以相互組合，以實(shí)現(xiàn)更多的優(yōu)選組合方案。本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分優(yōu)點(diǎn)可從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)說(shuō)明書(shū)以及附圖中所特別指出的內(nèi)容中來(lái)實(shí)現(xiàn)和獲得。

技術(shù)特征：

1.一種基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，所述雙通道特征融合bert模型依次包括：bert網(wǎng)絡(luò)、雙通道模塊、特征融合模塊和分類預(yù)測(cè)模塊；所述bert網(wǎng)絡(luò)接收訓(xùn)練文本，將最后一層文本特征向量輸入到雙通道模塊中，經(jīng)過(guò)特征融合模塊對(duì)雙通道模塊中多頭注意力機(jī)制通道輸出的全局多維特征和文本卷積通道輸出的局部關(guān)鍵特征進(jìn)行融合得到文本融合特征后，傳入分類預(yù)測(cè)模塊輸出事件主題類別。

3.根據(jù)權(quán)利要求1所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，對(duì)所述事件文本集中每個(gè)事件文本構(gòu)建動(dòng)態(tài)提示詞，包括：

4.根據(jù)權(quán)利要求1或2所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，所述多頭注意力機(jī)制通道接收文本特征向量后依次經(jīng)過(guò)多頭注意力子模塊和第一前向網(wǎng)絡(luò)子模塊，其中多頭注意力子模塊和第一前向網(wǎng)絡(luò)子模塊中均加入了殘差連接和層歸一化，輸出全局多維特征。

5.根據(jù)權(quán)利要求1或2所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，所述文本卷積通道采用文本卷積神經(jīng)網(wǎng)絡(luò)，所述文本卷積神經(jīng)網(wǎng)絡(luò)依次包括：嵌入層、卷積層、最大池化層和特征整合層；所述嵌入層對(duì)接收的文本特征向量調(diào)整維度后，通過(guò)所述卷積層中多個(gè)不同大小的卷積核提取出多個(gè)卷積結(jié)果特征，所述最大池化層提取出每個(gè)卷積結(jié)果特征中的最大值后由所述特征整合層整合為局部關(guān)鍵特征。

6.根據(jù)權(quán)利要求2所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，所述特征融合模塊將接收到的全局多維特征和局部關(guān)鍵特征傳入特征拼接子模塊，所述特征拼接子模塊通過(guò)向量拼接、向量對(duì)位減法和向量對(duì)位點(diǎn)乘得到高維特征后傳入第二前向網(wǎng)絡(luò)子模塊，所述第二前向網(wǎng)絡(luò)子模塊中加入了殘差連接和層歸一化，輸出文本融合特征。

7.根據(jù)權(quán)利要求2所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，所述分類預(yù)測(cè)模塊將接收到的文本融合特征輸入到全連接層進(jìn)行非線性操作后再經(jīng)過(guò)softmax操作得到分類概率，取最大的分類概率對(duì)應(yīng)的事件主題類別作為預(yù)測(cè)結(jié)果。

8.根據(jù)權(quán)利要求3所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，所述提示詞的角色設(shè)定為會(huì)議主題報(bào)告生成專家；所述文本生成規(guī)則包括：不要出現(xiàn)樣例信息中重復(fù)的單位地址，不要出現(xiàn)樣例信息中重復(fù)的人員姓名，采用與樣例信息相似的文本背景，生成的會(huì)議報(bào)告內(nèi)容與{theme}主題相似度在0.8以上；其中{theme}為所述第二占位符。

9.根據(jù)權(quán)利要求1所述的基于會(huì)議報(bào)告的事件主題分類方法，其特征在于，所述大模型采用32b的四位量化基座大模型。

10.一種基于會(huì)議報(bào)告的事件主題分類系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明涉及一種基于會(huì)議報(bào)告的事件主題分類方法及系統(tǒng)，屬于自然語(yǔ)言處理技術(shù)領(lǐng)域，解決了現(xiàn)有因文本特征提取不充分導(dǎo)致事件主題分類不準(zhǔn)確的問(wèn)題。方法包括：解析歷史會(huì)議報(bào)告得到事件文本集；對(duì)事件文本集中每個(gè)事件文本構(gòu)建動(dòng)態(tài)提示詞并傳入大模型，將對(duì)應(yīng)得到的多條推理文本補(bǔ)入事件文本集中得到擴(kuò)增文本集；利用擴(kuò)增文本集訓(xùn)練雙通道特征融合BERT模型，得到事件主題分類模型；雙通道特征融合BERT模型中的雙通道模塊包括多頭注意力機(jī)制通道和文本卷積通道；解析待預(yù)測(cè)的會(huì)議報(bào)告得到多條待預(yù)測(cè)事件，將每條待預(yù)測(cè)事件傳入事件主題分類模型中，預(yù)測(cè)出對(duì)應(yīng)的事件主題類別。實(shí)現(xiàn)了對(duì)會(huì)議報(bào)告的事件主題類別的準(zhǔn)確分類。

技術(shù)研發(fā)人員：張熠,麥丞程
受保護(hù)的技術(shù)使用者：南京審計(jì)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9