本發(fā)明涉及自然語(yǔ)言處理，特別是涉及一種基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法。

背景技術(shù)：

1、事件因果關(guān)系識(shí)別是指對(duì)文本中事件對(duì)之間的因果關(guān)系進(jìn)行識(shí)別，是自然語(yǔ)言處理和信息提取領(lǐng)域的一個(gè)基礎(chǔ)研究方向。近年來(lái)，事件因果關(guān)系識(shí)別引起了廣泛的研究興趣。與基于功能特征的方法相比，最新的深度學(xué)習(xí)模型在eci性能方面取得了進(jìn)展。與早期的研究一樣，大多數(shù)生成模型將事件因果關(guān)系的識(shí)別視為一個(gè)分類問(wèn)題，輸出標(biāo)簽僅包括輸入事件之間的因果關(guān)系或未顯示的關(guān)系。

2、但是，在模型訓(xùn)練過(guò)程中模型無(wú)法分配訓(xùn)練過(guò)程中提到的與事件之間因果關(guān)系相關(guān)的因果標(biāo)簽和上下文的重要性，且生成的依賴路徑包含不必要的句子成分。因此，設(shè)計(jì)一種基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法是十分有必要的。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，將事件之間的關(guān)鍵上下文語(yǔ)義納入強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)函數(shù)中，以提高生成模型的性能和效率，并提高因果關(guān)系識(shí)別的準(zhǔn)確率。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，包括如下步驟：

4、對(duì)原始文本進(jìn)行數(shù)據(jù)預(yù)處理操作，得到數(shù)據(jù)集，并將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集；

5、將訓(xùn)練集輸入至網(wǎng)絡(luò)模型中，得到預(yù)測(cè)輸出和最終損失函數(shù)；

6、提取驗(yàn)證集的真實(shí)標(biāo)簽，并根據(jù)真實(shí)標(biāo)簽和預(yù)測(cè)輸出構(gòu)建綜合獎(jiǎng)勵(lì)函數(shù)；

7、根據(jù)綜合獎(jiǎng)勵(lì)函數(shù)和最終損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型；

8、通過(guò)訓(xùn)練好的網(wǎng)絡(luò)模型識(shí)別事件因果關(guān)系，得到識(shí)別結(jié)果。

9、可選地，對(duì)原始文本進(jìn)行數(shù)據(jù)預(yù)處理操作，得到數(shù)據(jù)集，具體步驟包括：刪除文本中的特殊字符、去除文本停用詞、去除多余的空格和換行符、統(tǒng)一文本格式和糾正拼寫與語(yǔ)法錯(cuò)誤。

10、可選地，預(yù)測(cè)輸出包括：預(yù)測(cè)因果標(biāo)簽和預(yù)測(cè)依賴路徑；真實(shí)標(biāo)簽包括：真實(shí)因果標(biāo)簽和真實(shí)依賴路徑；網(wǎng)絡(luò)模型為t5模型。

11、可選地，將訓(xùn)練集輸入至網(wǎng)絡(luò)模型中，得到預(yù)測(cè)輸出和最終損失函數(shù)，具體步驟包括：

12、根據(jù)網(wǎng)絡(luò)模型判斷訓(xùn)練集中兩個(gè)事件的因果關(guān)系，得到預(yù)測(cè)因果標(biāo)簽；

13、通過(guò)訓(xùn)練集中兩個(gè)事件的依賴樹得到預(yù)測(cè)依賴路徑；

14、通過(guò)極大似然訓(xùn)練得到最終損失函數(shù)。

15、可選地，根據(jù)網(wǎng)絡(luò)模型判斷訓(xùn)練集中兩個(gè)事件的因果關(guān)系，得到預(yù)測(cè)因果標(biāo)簽，具體步驟包括：

16、將訓(xùn)練集中兩個(gè)事件分別映射為第一變量和第二變量；

17、分別提取第一變量和第二變量的變量特征；

18、根據(jù)第一變量和第二變量的變量特征分別構(gòu)建第一變量和第二變量的因果圖；

19、對(duì)第一變量或第二變量進(jìn)行干預(yù)，并通過(guò)因果圖得到第二變量或第一變量的變化結(jié)果；

20、根據(jù)變化結(jié)果得到預(yù)測(cè)因果標(biāo)簽。

21、可選地，通過(guò)訓(xùn)練集中兩個(gè)事件的依賴樹得到預(yù)測(cè)依賴路徑，具體步驟包括：

22、將訓(xùn)練集中兩個(gè)事件分別拆分為單獨(dú)的詞語(yǔ)；

23、根據(jù)詞語(yǔ)的上下文語(yǔ)義得到依賴關(guān)系；

24、根據(jù)依賴關(guān)系分別構(gòu)建訓(xùn)練集中兩個(gè)事件的依賴樹；

25、根據(jù)訓(xùn)練集中兩個(gè)事件的依賴樹找到最低公共祖先；

26、通過(guò)主語(yǔ)與謂語(yǔ)之間的關(guān)系和賓語(yǔ)與謂語(yǔ)之間的關(guān)系對(duì)訓(xùn)練集中兩個(gè)事件的依賴樹進(jìn)行合并與修剪，得到最終依賴樹，并將最終依賴樹作為預(yù)測(cè)依賴路徑。

27、可選地，通過(guò)極大似然訓(xùn)練得到最終損失函數(shù)，具體步驟包括：

28、通過(guò)網(wǎng)絡(luò)模型得到生成序列，并根據(jù)生成序列計(jì)算損失函數(shù)；

29、將生成序列重構(gòu)輸入至網(wǎng)絡(luò)模型中，得到重構(gòu)序列，并根據(jù)重構(gòu)序列計(jì)算重構(gòu)損失函數(shù)；

30、將重構(gòu)序列重構(gòu)輸入至網(wǎng)絡(luò)模型中，得到二次重構(gòu)序列，并根據(jù)二次重構(gòu)序列計(jì)算二次重構(gòu)損失函數(shù)；

31、進(jìn)行多次重構(gòu)輸入得到多個(gè)損失函數(shù)；多個(gè)損失函數(shù)均為交叉熵?fù)p失函數(shù)；

32、將多個(gè)損失函數(shù)進(jìn)行加權(quán)操作，得到最終損失函數(shù)。

33、可選地，根據(jù)真實(shí)標(biāo)簽和預(yù)測(cè)輸出構(gòu)建綜合獎(jiǎng)勵(lì)函數(shù)，具體步驟包括：

34、根據(jù)預(yù)測(cè)因果標(biāo)簽和真實(shí)因果標(biāo)簽構(gòu)建準(zhǔn)確率獎(jiǎng)勵(lì)函數(shù)；

35、根據(jù)預(yù)測(cè)依賴路徑和真實(shí)依賴路徑構(gòu)建相似度獎(jiǎng)勵(lì)函數(shù)；

36、將準(zhǔn)確率獎(jiǎng)勵(lì)函數(shù)和相似度獎(jiǎng)勵(lì)函數(shù)進(jìn)行加權(quán)操作，得到綜合獎(jiǎng)勵(lì)函數(shù)。

37、可選地，根據(jù)預(yù)測(cè)因果標(biāo)簽和真實(shí)因果標(biāo)簽構(gòu)建準(zhǔn)確率獎(jiǎng)勵(lì)函數(shù)，具體步驟為：將預(yù)測(cè)因果標(biāo)簽和真實(shí)因果標(biāo)簽進(jìn)行對(duì)比，若預(yù)測(cè)因果標(biāo)簽正確的反映了真實(shí)因果標(biāo)簽代表的因果關(guān)系，則函數(shù)值為1，反之則為0；準(zhǔn)確率獎(jiǎng)勵(lì)函數(shù)的計(jì)算公式為：其中，ra為準(zhǔn)確率獎(jiǎng)勵(lì)值，n為預(yù)測(cè)輸出的樣本數(shù)量，exp為指數(shù)函數(shù)，{}為對(duì)比操作，yi為預(yù)測(cè)因果標(biāo)簽，zi為真實(shí)因果標(biāo)簽。

38、可選地，根據(jù)預(yù)測(cè)依賴路徑和真實(shí)依賴路徑構(gòu)建相似度獎(jiǎng)勵(lì)函數(shù)，具體步驟為：分別提取預(yù)測(cè)依賴路徑和真實(shí)依賴路徑的特征向量，計(jì)算特征向量夾角的余弦值和幅值大小，并根據(jù)余弦值和幅值大小構(gòu)建相似度獎(jiǎng)勵(lì)函數(shù)；相似度獎(jiǎng)勵(lì)函數(shù)的計(jì)算公式為：

39、其中，ti為預(yù)測(cè)依賴路徑的特征向量，si為真實(shí)依賴路徑的特征向量，cos()為計(jì)算特征向量夾角余弦值操作，|ti|為預(yù)測(cè)依賴路徑的特征向量幅值，|si|為真實(shí)依賴路徑的特征向量幅值，rs為相似度獎(jiǎng)勵(lì)值。

40、根據(jù)本發(fā)明提供的具體實(shí)施例，本發(fā)明公開了以下技術(shù)效果：本發(fā)明提供的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，該方法包括：對(duì)原始文本進(jìn)行數(shù)據(jù)預(yù)處理操作，得到數(shù)據(jù)集，并將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集；將訓(xùn)練集輸入至網(wǎng)絡(luò)模型中，得到預(yù)測(cè)輸出和最終損失函數(shù)；提取驗(yàn)證集的真實(shí)標(biāo)簽，并根據(jù)真實(shí)標(biāo)簽和預(yù)測(cè)輸出構(gòu)建綜合獎(jiǎng)勵(lì)函數(shù)；根據(jù)綜合獎(jiǎng)勵(lì)函數(shù)和最終損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型；通過(guò)訓(xùn)練好的網(wǎng)絡(luò)模型識(shí)別事件因果關(guān)系，得到識(shí)別結(jié)果。

技術(shù)特征：

1.一種基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，對(duì)原始文本進(jìn)行數(shù)據(jù)預(yù)處理操作，得到數(shù)據(jù)集，具體步驟包括：刪除文本中的特殊字符、去除文本停用詞、去除多余的空格和換行符、統(tǒng)一文本格式和糾正拼寫與語(yǔ)法錯(cuò)誤。

3.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，所述預(yù)測(cè)輸出包括：預(yù)測(cè)因果標(biāo)簽和預(yù)測(cè)依賴路徑；所述真實(shí)標(biāo)簽包括：真實(shí)因果標(biāo)簽和真實(shí)依賴路徑；所述網(wǎng)絡(luò)模型為t5模型。

4.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，將所述訓(xùn)練集輸入至網(wǎng)絡(luò)模型中，得到預(yù)測(cè)輸出和最終損失函數(shù)，具體步驟包括：

5.根據(jù)權(quán)利要求4所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，根據(jù)所述網(wǎng)絡(luò)模型判斷所述訓(xùn)練集中兩個(gè)事件的因果關(guān)系，得到所述預(yù)測(cè)因果標(biāo)簽，具體步驟包括：

6.根據(jù)權(quán)利要求4所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，通過(guò)所述訓(xùn)練集中兩個(gè)事件的依賴樹得到所述預(yù)測(cè)依賴路徑，具體步驟包括：

7.根據(jù)權(quán)利要求4所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，通過(guò)極大似然訓(xùn)練得到所述最終損失函數(shù)，具體步驟包括：

8.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，根據(jù)所述真實(shí)標(biāo)簽和所述預(yù)測(cè)輸出構(gòu)建綜合獎(jiǎng)勵(lì)函數(shù)，具體步驟包括：

9.根據(jù)權(quán)利要求8所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，根據(jù)所述預(yù)測(cè)因果標(biāo)簽和所述真實(shí)因果標(biāo)簽構(gòu)建準(zhǔn)確率獎(jiǎng)勵(lì)函數(shù)，具體步驟為：將所述預(yù)測(cè)因果標(biāo)簽和所述真實(shí)因果標(biāo)簽進(jìn)行對(duì)比，若所述預(yù)測(cè)因果標(biāo)簽正確的反映了所述真實(shí)因果標(biāo)簽代表的因果關(guān)系，則函數(shù)值為1，反之則為0；所述準(zhǔn)確率獎(jiǎng)勵(lì)函數(shù)的計(jì)算公式為：其中，ra為準(zhǔn)確率獎(jiǎng)勵(lì)值，n為預(yù)測(cè)輸出的樣本數(shù)量，exp為指數(shù)函數(shù)，{}為對(duì)比操作，yi為預(yù)測(cè)因果標(biāo)簽，zi為真實(shí)因果標(biāo)簽。

10.根據(jù)權(quán)利要求8所述的基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，其特征在于，根據(jù)所述預(yù)測(cè)依賴路徑和所述真實(shí)依賴路徑構(gòu)建相似度獎(jiǎng)勵(lì)函數(shù)，具體步驟為：分別提取所述預(yù)測(cè)依賴路徑和所述真實(shí)依賴路徑的特征向量，計(jì)算所述特征向量夾角的余弦值和幅值大小，并根據(jù)所述余弦值和所述幅值大小構(gòu)建所述相似度獎(jiǎng)勵(lì)函數(shù)；所述相似度獎(jiǎng)勵(lì)函數(shù)的計(jì)算公式為：其中，ti為預(yù)測(cè)依賴路徑的特征向量，si為真實(shí)依賴路徑的特征向量，cos()為計(jì)算特征向量夾角余弦值操作，|ti|為預(yù)測(cè)依賴路徑的特征向量幅值，|si|為真實(shí)依賴路徑的特征向量幅值，rs為相似度獎(jiǎng)勵(lì)值。

技術(shù)總結(jié)
本發(fā)明提供了一種基于結(jié)構(gòu)優(yōu)化和強(qiáng)化學(xué)習(xí)的事件因果關(guān)系識(shí)別方法，該該方法包括：對(duì)原始文本進(jìn)行數(shù)據(jù)預(yù)處理操作，得到數(shù)據(jù)集，并將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集；將訓(xùn)練集輸入至網(wǎng)絡(luò)模型中，得到預(yù)測(cè)輸出和最終損失函數(shù)；提取驗(yàn)證集的真實(shí)標(biāo)簽，并根據(jù)真實(shí)標(biāo)簽和預(yù)測(cè)輸出構(gòu)建綜合獎(jiǎng)勵(lì)函數(shù)；根據(jù)綜合獎(jiǎng)勵(lì)函數(shù)和最終損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型；通過(guò)訓(xùn)練好的網(wǎng)絡(luò)模型識(shí)別事件因果關(guān)系，得到識(shí)別結(jié)果。該方法提高了生成模型的性能和效率，還提高了因果關(guān)系識(shí)別的準(zhǔn)確率。

技術(shù)研發(fā)人員：楊文忠,姚龍,陳明亮,魏富源,呂洪震,范怡林,趙虎,趙蕊,牟楠,耿皓琨,李廣含
受保護(hù)的技術(shù)使用者：新疆大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6