本發(fā)明屬于機(jī)器學(xué)習(xí)，尤其是涉及一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和社交媒體的普及，信息傳播的速度和范圍都達(dá)到了前所未有的高度。然而，伴隨而來(lái)的虛假信息也以驚人的速度和廣泛的影響力在網(wǎng)絡(luò)上蔓延。及時(shí)鑒別這些虛假信息，已經(jīng)成為維護(hù)信息環(huán)境和社會(huì)秩序的重要任務(wù)，虛假信息檢測(cè)方法因此被廣泛應(yīng)用于眾多領(lǐng)域，包括但不限于社交媒體監(jiān)控、新聞?wù)鎸?shí)性驗(yàn)證、輿情分析、公共健康信息管理以及選舉安全保障。

2、傳統(tǒng)的假新聞檢測(cè)側(cè)重于對(duì)文本內(nèi)容進(jìn)行檢測(cè)，隨著多媒體技術(shù)的不斷發(fā)展，造謠者越來(lái)越多地使用多模態(tài)內(nèi)容(例如圖片)來(lái)吸引公眾的注意力，因此，多模態(tài)假新聞檢測(cè)方法相關(guān)研究正受到越來(lái)越多的關(guān)注。影響多模態(tài)假新聞檢測(cè)方法性能的關(guān)鍵因素主要為多模態(tài)信息的表示和多模態(tài)信息的融合，常規(guī)的多模態(tài)信息表示主要為使用循環(huán)神經(jīng)網(wǎng)絡(luò)提取文本特征，使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，但上述方法忽略了中間隱藏狀態(tài)和細(xì)粒度細(xì)節(jié)，可能導(dǎo)致信息丟失，無(wú)法捕捉到詳細(xì)特征。在多模態(tài)信息的融合上，常規(guī)的融合技術(shù)大多是通過(guò)線性融合為來(lái)自各種模態(tài)的信息分配權(quán)重，這種方法主要依賴于一階特征交互，未能進(jìn)行深層次操作，導(dǎo)致模態(tài)間信息交互不足。隨著注意力機(jī)制的發(fā)展，許多研究開(kāi)始使用注意力機(jī)制的變體進(jìn)行多模態(tài)信息融合，取得了令人滿意的結(jié)果，例如，中國(guó)專利申請(qǐng)202111152971.4提出了一種細(xì)粒度的多模態(tài)虛假新聞檢測(cè)方法，利用多模態(tài)協(xié)同注意力transformer，建模文本特征與視覺(jué)實(shí)體特征以及視覺(jué)特征的交互，從而捕捉圖文在不同語(yǔ)義層次上的交互。但上述方法主要關(guān)注文本和視覺(jué)內(nèi)容之間的相似性或一致語(yǔ)義，忽略了不一致的語(yǔ)義，而假新聞的主要特點(diǎn)之一就是模態(tài)內(nèi)或模態(tài)間的信息不匹配，因此，需要重新設(shè)計(jì)一種假新聞檢測(cè)方法，進(jìn)一步提高假新聞檢測(cè)結(jié)果的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法，減輕多模態(tài)語(yǔ)義的上下文丟失，解決模態(tài)間融合過(guò)程中的不一致性問(wèn)題，進(jìn)一步提高假新聞檢測(cè)結(jié)果的準(zhǔn)確性。

2、本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

3、本發(fā)明提供一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法，包括以下步驟：

4、獲取待檢測(cè)的新聞數(shù)據(jù)，包括文本信息和圖像信息，輸入訓(xùn)練好的粒度增強(qiáng)多模態(tài)高階融合網(wǎng)絡(luò)進(jìn)行檢測(cè)；

5、其中，所述粒度增強(qiáng)多模態(tài)高階融合網(wǎng)絡(luò)包括依次相連的編碼模塊、粒度增強(qiáng)模塊、多模態(tài)高階融合模塊和分類模塊，所述編碼模塊包括基于bert構(gòu)建的文本編碼器和基于clip構(gòu)建的圖像編碼器，分別用于對(duì)文本信息和圖像信息進(jìn)行細(xì)粒度多層編碼；所述粒度增強(qiáng)模塊用于對(duì)多層編碼的結(jié)果進(jìn)行分組求和，提取和捕獲中間層表示；所述多模態(tài)高階融合模塊基于雙線性注意力網(wǎng)絡(luò)構(gòu)建，用于根據(jù)所述中間層表示獲得高階融合特征；所述分類模塊用于基于所述高階融合特征預(yù)測(cè)待檢測(cè)新聞數(shù)據(jù)真實(shí)性的概率，輸出為檢測(cè)結(jié)果。

6、進(jìn)一步地，所述文本編碼器和所述圖像編碼器各包括多個(gè)中間層和一個(gè)輸出層，所述粒度增強(qiáng)模塊中，對(duì)每個(gè)編碼器進(jìn)行如下操作：將所有層進(jìn)行分組后將每組中各層的輸出相加，獲得所述中間層表示。

7、進(jìn)一步地，所述多模態(tài)高階融合模塊中，將所述中間層表示平均為一個(gè)向量，基于注意力機(jī)制得到查詢q、一組秘鑰和一組值通過(guò)雙線性結(jié)構(gòu)對(duì)查詢q、一組秘鑰和一組值進(jìn)行fime(·)運(yùn)算和fimd(·)運(yùn)算，獲得高階融合特征h。

8、進(jìn)一步地，fimd(·)運(yùn)算和fimd(·)運(yùn)算的定義具體如下：對(duì)于兩組輸入向量和將一組輸入向量中的每個(gè)元素與另一組輸入向量中的所有元素相乘，生成特征交互矩陣，fimd(·)運(yùn)算表示提取所述特征交互矩陣中的對(duì)角線元素，fimd(·)運(yùn)算表示計(jì)算所述特征交互矩陣的特征值并提取該特征交互矩陣的特征值向量。

9、進(jìn)一步地，獲得高階融合特征h的過(guò)程具體如下：

10、對(duì)秘鑰和查詢q進(jìn)行fime(·)運(yùn)算，獲得一組向量對(duì)值和查詢q進(jìn)行fime(·)運(yùn)算，獲得增強(qiáng)注意力分布

11、對(duì)向量分別進(jìn)行空間信息聚合操作和空間信息保留操作，獲得注意力分布α和一組向量

12、對(duì)增強(qiáng)注意力分布和進(jìn)行fimd(·)運(yùn)算，獲得新注意力分布β；

13、對(duì)新注意力分布β和注意力分布α進(jìn)行fimd(·)運(yùn)算，獲得高階融合特征h。

14、進(jìn)一步地，所述空間信息聚合操作的具體過(guò)程為：將向量進(jìn)行平均池化，再通過(guò)線性層進(jìn)行壓縮和聚合。

15、進(jìn)一步地，所述空間信息保留操作的具體過(guò)程為：通過(guò)嵌入層將向量進(jìn)行投影，然后進(jìn)行softmax和層歸一化。

16、進(jìn)一步地，獲得高階融合特征h的公式表示具體如下：

17、h＝fimd(β,α)

18、

19、gi＝flayernorm(fsoftmax(wgei))

20、ei＝σ(weai)

21、

22、其中，wa、wg、wik、和為權(quán)重參數(shù)，flayernorm為層歸一化操作，fsoftmax為softmax操作，σ為relu激活函數(shù)，n為向量元素個(gè)數(shù)。

23、進(jìn)一步地，基于交叉熵?fù)p失構(gòu)建分類損失函數(shù)l，對(duì)所述粒度增強(qiáng)多模態(tài)高階融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

24、進(jìn)一步地，所述分類損失函數(shù)l的表達(dá)式具體如下：

25、

26、其中，ym和分別為第m個(gè)樣本的實(shí)際值和預(yù)測(cè)值，m為樣本個(gè)數(shù)。

27、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

28、1、本發(fā)明提供一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法，設(shè)計(jì)了一個(gè)粒度增強(qiáng)多模態(tài)高階融合網(wǎng)絡(luò)對(duì)待檢測(cè)的新聞數(shù)據(jù)進(jìn)行檢測(cè)，粒度增強(qiáng)多模態(tài)高階融合網(wǎng)絡(luò)包括依次相連的編碼模塊、粒度增強(qiáng)模塊、多模態(tài)高階融合模塊和分類模塊，編碼模塊包括基于bert構(gòu)建的文本編碼器和基于clip構(gòu)建的圖像編碼器，分別用于對(duì)文本信息和圖像信息進(jìn)行細(xì)粒度多層編碼，最大限度地減少原始語(yǔ)義細(xì)節(jié)的丟失，其中，bert具有較強(qiáng)的遷移學(xué)習(xí)能力，可以捕捉豐富的語(yǔ)義特征，clip可以將圖像處理為塊狀，以捕捉到圖像的細(xì)粒度特征；粒度增強(qiáng)模塊用于對(duì)多層編碼的結(jié)果進(jìn)行分組求和，提取和捕獲中間層表示，一方面可以降低模型的復(fù)雜性，另一方面可以充分利用中間隱藏狀態(tài)和細(xì)粒度細(xì)節(jié)，避免信息丟失，更好地捕捉詳細(xì)特征；多模態(tài)高階融合模塊基于雙線性注意力網(wǎng)絡(luò)構(gòu)建，用于根據(jù)中間層表示獲得高階融合特征，上述設(shè)計(jì)可以進(jìn)一步提高假新聞檢測(cè)結(jié)果的準(zhǔn)確性。

29、2、本發(fā)明在多模態(tài)高階融合模塊中定義了fime(·)運(yùn)算和fimd(·)運(yùn)算，對(duì)融合多個(gè)輸入的特征交互矩陣進(jìn)行高階運(yùn)算，從而提取更具代表性的綜合特征，其中，fimd(·)運(yùn)算為提取特征交互矩陣中的對(duì)角線元素，不僅可以保留融合特征的高維信息，還能夠確保各個(gè)模態(tài)的重要核心特征不會(huì)丟失，fime(·)運(yùn)算為計(jì)算特征交互矩陣的特征值并提取該特征交互矩陣的特征值向量，特征值代表了矩陣的全局性質(zhì)，提供了跨模態(tài)信息的高維全局描述，通過(guò)捕捉模態(tài)間的重要一致性特征，如相似模式和潛在的相關(guān)性，特征值向量能夠生成更加一致的全局表示，從而有效減少模態(tài)間的語(yǔ)義不一致性，并增強(qiáng)融合效果。