本發(fā)明涉及事件知識預(yù)訓(xùn)練增強(qiáng)的跨語言事件因果關(guān)系識別方法及裝置，屬于自然語言處理。

背景技術(shù)：

1、事件因果關(guān)系識別(event?causality?identification,eci)在新聞報(bào)道分析和事件管理中發(fā)揮了重要作用。以往的研究主要集中在事件“感知”、事件“要素分析”和事件“核心性分析”三個(gè)方面，幫助用戶從新聞數(shù)據(jù)中發(fā)現(xiàn)事件、提取事件要素信息，并識別出揭示新聞文檔主要內(nèi)容的核心事件。然而，由于新聞報(bào)道通常受到篇幅限制，且大部分報(bào)道僅關(guān)注事件發(fā)展的某一階段或熱點(diǎn)部分，導(dǎo)致用戶難以全面掌握事件的全貌及其內(nèi)在邏輯。為了解決這一問題，及時(shí)、有效地進(jìn)行事件“關(guān)聯(lián)分析”，挖掘事件之間的因果關(guān)系，顯得尤為重要。這不僅能夠幫助用戶更全面地了解新聞事件的發(fā)生和發(fā)展，還能夠輔助相關(guān)管理者在處理事件時(shí)做出更準(zhǔn)確的判斷和決策。

2、本發(fā)明涉及一種事件知識預(yù)訓(xùn)練增強(qiáng)的跨語言事件因果關(guān)系識別方法，通過從conceptnet等多語言語義知識庫中提取多語言對齊的事件知識，并設(shè)計(jì)合理的預(yù)訓(xùn)練任務(wù)，將這些知識融入多語言預(yù)訓(xùn)練語言模型中，從而提升低資源語言場景下的事件因果關(guān)系識別性能。目前，事件因果關(guān)系識別方法主要包括基于規(guī)則、基于機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)的方法?；谝?guī)則的方法依賴于大量的專家知識和預(yù)設(shè)規(guī)則，雖然可以在特定領(lǐng)域取得一定效果，但其領(lǐng)域適應(yīng)性和泛化能力較差?；跈C(jī)器學(xué)習(xí)的方法通常通過特征工程來提取事件特征，然而這類方法也存在需要大量標(biāo)注數(shù)據(jù)且適應(yīng)性差的問題。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的事件因果關(guān)系識別方法逐漸成為研究熱點(diǎn)。例如，基于圖卷積神經(jīng)網(wǎng)絡(luò)(graph?convolutional?network,gcn)的方法通過構(gòu)建復(fù)雜的圖結(jié)構(gòu)來捕捉事件之間的語義關(guān)系，有效提升了事件因果關(guān)系識別的性能。盡管如此，現(xiàn)有的深度學(xué)習(xí)方法通常忽略了外部事件常識知識的利用，例如地震和海嘯之間的因果關(guān)系。研究表明，將外部知識庫(如conceptnet)中的事件常識融入到模型中，可以顯著提升事件因果推理的性能。然而，在多語言和低資源語言的場景下，如何高效地從外部知識庫中提取適用于事件因果推理的知識，并將其有效地融入預(yù)訓(xùn)練語言模型(pre-trained?language?models,plms)中，仍然是一個(gè)挑戰(zhàn)。多語言預(yù)訓(xùn)練語言模型(如mbert和xlm-r)為跨語言事件因果關(guān)系識別提供了可能性，但這些模型在低資源語言上的表現(xiàn)仍受到多語言詛咒和語言偏見等問題的限制。此外，這些模型通常參數(shù)規(guī)模龐大，計(jì)算成本高昂。因此，如何高效地利用多語言預(yù)訓(xùn)練語言模型，并避免從零開始訓(xùn)練以適應(yīng)跨語言事件因果關(guān)系識別任務(wù)，是當(dāng)前研究的一個(gè)重要方向。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種事件知識預(yù)訓(xùn)練增強(qiáng)的跨語言事件因果關(guān)系識別方法及裝置，以解決是否可以從外部知識庫中提取有價(jià)值的多語言對齊事件知識，并通過設(shè)計(jì)高效的預(yù)訓(xùn)練任務(wù)將多語言對齊事件知識融入mplms中，以提高低資源語言場景下的事件因果關(guān)系識別性能的問題。

2、本發(fā)明的技術(shù)方案是：第一方面，本發(fā)明提供一種事件知識預(yù)訓(xùn)練增強(qiáng)的跨語言事件因果關(guān)系識別方法，所述方法包括如下：

3、通過設(shè)計(jì)合理的預(yù)訓(xùn)練任務(wù)，將多語言對齊事件知識融入mplms中，進(jìn)而多語言對齊事件知識增強(qiáng)的mplms直接用于跨語言事件因果關(guān)系抽取任務(wù)。所述事件知識預(yù)訓(xùn)練增強(qiáng)的跨語言事件因果關(guān)系識別方法的具體步驟如下：

4、step1、從conceptnet中提取多語言對齊事件常識知識，包含節(jié)點(diǎn)以及節(jié)點(diǎn)之間的關(guān)系；

5、step2、在step1的基礎(chǔ)上，提出一個(gè)基于參數(shù)知識共享的adapter預(yù)訓(xùn)練方法，并通過事件掩碼預(yù)訓(xùn)練任務(wù)和自監(jiān)督鏈接預(yù)測任務(wù)分別將事件節(jié)點(diǎn)知識和節(jié)點(diǎn)之間的關(guān)系知識(多語言對齊關(guān)系和因果關(guān)系)融入mplms中；

6、step3、在step2的基礎(chǔ)上，將預(yù)訓(xùn)練后的mplms用于跨語言事件因果關(guān)系抽取任務(wù)。

7、進(jìn)一步地，所述step1的具體步驟為：

8、step1.1、語義關(guān)系整合：從conceptnet中提取的原有若干種語義關(guān)系中，刪除與事件因果關(guān)系識別任務(wù)相關(guān)性較弱的關(guān)系。將相似的關(guān)系合并為若干種精簡的語義關(guān)系。示例關(guān)系包括：將“causes”、“causes?desire”和“motivated?by?goal”合并為“causes”。

9、step1.2、數(shù)據(jù)轉(zhuǎn)換：將語義關(guān)系標(biāo)志字符串轉(zhuǎn)換為自然語言文本，例如，將“synonyms”轉(zhuǎn)換為“is?a?synonym?of”。基于轉(zhuǎn)換的語義關(guān)系文本，構(gòu)建訓(xùn)練數(shù)據(jù)集，其中包括將頭節(jié)點(diǎn)和尾節(jié)點(diǎn)插入語義關(guān)系文本的相應(yīng)位置。例如，將“earthquake(en)→(causes)tsunami(en)”轉(zhuǎn)換為“earthquake(en)causes?tsunami(en)”。對多語言對齊事件節(jié)點(diǎn)，使用“isa”關(guān)系進(jìn)行數(shù)據(jù)構(gòu)建。

10、step1.3、預(yù)訓(xùn)練數(shù)據(jù)生成：采用隨機(jī)游走的方法遍歷conceptnet，設(shè)置隨機(jī)游走長度為30，從均勻分布中采樣起始和鄰近節(jié)點(diǎn)，生成預(yù)訓(xùn)練數(shù)據(jù)。

11、進(jìn)一步地，所述step2的具體步驟為：

12、step2.1、adapter架構(gòu)：在mplms的每一層中嵌入?yún)?shù)共享的adapter模塊，凍結(jié)mplms主體參數(shù)，只微調(diào)adapter模塊的參數(shù)；通過線性投影層將輸入映射到r維度，利用transformer層整合事件知識與mplms語言知識，最后將映射層輸出分為兩個(gè)部分：殘差連接層輸入和下一adapter層輸入；

13、step2.2、預(yù)訓(xùn)練任務(wù)：包括事件掩碼預(yù)訓(xùn)練任務(wù)和自監(jiān)督鏈接預(yù)測任務(wù)，其中事件掩碼預(yù)訓(xùn)練任務(wù)是對文本中事件節(jié)點(diǎn)進(jìn)行掩碼替換，生成擾亂的文本序列，并基于adapter的輸出預(yù)測掩碼的事件節(jié)點(diǎn)，計(jì)算交叉熵?fù)p失；自監(jiān)督鏈接預(yù)測任務(wù)則在在文本中掩碼某些關(guān)系，訓(xùn)練模型預(yù)測被掩碼的關(guān)系；通過三元組的嵌入進(jìn)行平均池化，定義評分函數(shù)計(jì)算每個(gè)三元組的分?jǐn)?shù)。模型將掩碼的邊分類為正樣本，隨機(jī)選擇的邊分類為負(fù)樣本，鏈接預(yù)測損失基于預(yù)測分?jǐn)?shù)和實(shí)際結(jié)果的差異進(jìn)行計(jì)算。

14、進(jìn)一步地，所述step2.1包括：

15、對于第l-th(l∈[1,l])層adapter的輸入它是adapter第(l-1)-th層的特征輸出和mplms第l-th層的特征輸出在垂直方向上的拼接。其中m和n分別表示mplms輸入序列的長度和知識片段的長度，而d表示隱藏層的大?。?/p>

16、step2.1.1、給定adapter的輸入adapter層首先利用線性投影層將其映射到r維度；

17、step2.1.2、隨后，通過一個(gè)transformer層，將事件知識與mplms的語言知識進(jìn)一步整合；

18、step2.1.3、最后，將上述映射層的輸出分成兩部分：mplms中殘差連接層的輸入和下一adapter層的輸入

19、進(jìn)一步地，所述step2.2的具體步驟為：

20、step2.2.1、在step2.1的基礎(chǔ)上，掩碼預(yù)訓(xùn)練在bert及其變體中已展示了卓越的語言理解能力。然而，隨機(jī)掩碼并不能充分捕捉生成文本中的事件知識。為了解決這一限制，本發(fā)明改進(jìn)了傳統(tǒng)的掩碼預(yù)訓(xùn)練方法，專門針對在文本生成過程中從多語言知識圖譜中提取的概念(事件)進(jìn)行掩碼。按一定比例在文本中遮蔽事件節(jié)點(diǎn)，并用相同數(shù)量的[mask]替換它們，從而生成一個(gè)擾亂的文本序列。例如“earthquake(en)causes[mask].earthquake(en)isa(da).[mask]cause?tsunami(en).”。隨后，我們將擾亂的序列輸入adapter進(jìn)行前向推理。最終，基于adapter的輸出來預(yù)測被mask的事件節(jié)點(diǎn)，并計(jì)算其交叉熵?fù)p失

21、step2.2.2、關(guān)系預(yù)測任務(wù)有助于adapter更好地理解文本中的內(nèi)在關(guān)系事實(shí)，增強(qiáng)mplms對多語言事件的對齊和因果推理能力。因此，設(shè)計(jì)了一個(gè)鏈接預(yù)測任務(wù)，以進(jìn)一步增強(qiáng)adapter對事件節(jié)點(diǎn)之間關(guān)系的理解，利用圖結(jié)構(gòu)知識進(jìn)行自監(jiān)督學(xué)習(xí)。具體來說，在生成的文本中掩碼某些關(guān)系，并訓(xùn)練模型預(yù)測這些被掩碼的關(guān)系。這增強(qiáng)了模型利用概念節(jié)點(diǎn)及其周圍圖結(jié)構(gòu)知識推斷被掩碼關(guān)系的能力。例如“earthquake(en)[mask]tsunami(en).earthquake(en)isa(da).(da)[mask]tsunami(en).”。將掩碼的假設(shè)邊的集合表示為εmask∈ε。對于給定的三元組(hi,r,ti)，對事件節(jié)點(diǎn)的嵌入(adapter的輸出)進(jìn)行平均池化，最終獲得h,r,t的相應(yīng)表示。接著定義評分函數(shù)θ(eh,et)＝<h,r,t>來計(jì)算每個(gè)三元組的分?jǐn)?shù)，其中<h,r,t>表示三線性點(diǎn)積，r表示文本中的關(guān)系，即需要預(yù)測的mask。θ值越高，表示(eh,r,et)是正確三元組的可能性越大。將掩碼中的邊分類為正樣本，將其他隨機(jī)選擇的邊分類為負(fù)樣本。同樣，預(yù)測掩碼的關(guān)系為正樣本，其他隨機(jī)關(guān)系為負(fù)樣本。鏈接預(yù)測損失定義如下：

22、

23、其中spos＝-logσs(θ(eh,et)+γ)表示正確三元組的得分，γ是邊際，σs是sigmoid函數(shù)，{(e′h,r,e′t)}是與正三元組(eh,r,et)對應(yīng)的n個(gè)負(fù)三元組，是負(fù)例三元組的得分。最終目標(biāo)函數(shù)定義為和的加權(quán)組合：

24、

25、其中λ是平衡兩個(gè)損失的權(quán)重。

26、所述step3中，跨語言事件因果關(guān)系抽取任務(wù)包括：實(shí)驗(yàn)數(shù)據(jù)集、評估指標(biāo)、基線模型、實(shí)驗(yàn)的具體實(shí)施細(xì)節(jié)以及實(shí)驗(yàn)結(jié)果分析。需要特別指出的是，在實(shí)驗(yàn)過程中，我們使用了多語言預(yù)訓(xùn)練語言模型xlm-r作為基礎(chǔ)模型。

27、第二方面，本發(fā)明提供一種事件知識預(yù)訓(xùn)練增強(qiáng)的跨語言事件因果關(guān)系識別裝置，包括用于執(zhí)行上述第一方面所述方法的模塊。

28、本發(fā)明的有益效果是：

29、1、本發(fā)明提出的一種基于conceptnet事件知識的預(yù)訓(xùn)練方法，旨在通過有效利用多語言對齊事件知識來增強(qiáng)跨語言事件因果關(guān)系識別；具體的，本方法利用了多語言預(yù)訓(xùn)練語言模型(mplms)結(jié)合外部事件常識知識庫(如conceptnet)中的多語言對齊事件知識，通過合理的預(yù)訓(xùn)練任務(wù)設(shè)計(jì)，將多語言事件知識融入mplms中，以提高低資源語言場景下的事件因果關(guān)系識別性能。

30、2、本發(fā)明從conceptnet中提取多語言對齊的事件常識知識；然后，設(shè)計(jì)基于參數(shù)共享適配器的預(yù)訓(xùn)練方法，通過事件掩碼預(yù)訓(xùn)練任務(wù)和自監(jiān)督鏈接預(yù)測任務(wù)，將事件節(jié)點(diǎn)知識和節(jié)點(diǎn)之間的關(guān)系知識(多語言對齊關(guān)系和因果關(guān)系)融入mplms中；將預(yù)訓(xùn)練后的mplms應(yīng)用于跨語言事件因果關(guān)系抽取任務(wù)中；此方法顯著減少了模型的參數(shù)數(shù)量，降低了計(jì)算成本，并有效提高了事件因果關(guān)系識別的性能；

31、3、本發(fā)明在meci基準(zhǔn)數(shù)據(jù)集上驗(yàn)證我們方法的有效性，通過實(shí)驗(yàn)證明，本發(fā)明提出的方法ptekc能夠有效整合從知識圖譜中提取的多語言對齊事件知識，以及多語言事件之間的潛在因果關(guān)系，顯著提高多語言預(yù)訓(xùn)練語言模型的性能。