本發(fā)明涉及自然語言處理和計算機(jī)視覺領(lǐng)域，尤其涉及一種基于多模態(tài)融合的假新聞檢測系統(tǒng)與方法。

背景技術(shù)：

1、近年來，互聯(lián)網(wǎng)用戶數(shù)量呈現(xiàn)出迅猛增長的趨勢，互聯(lián)網(wǎng)普及率也在穩(wěn)步提升。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和普及，人們獲取信息的途徑也愈加多樣化，網(wǎng)絡(luò)在信息傳播中的作用愈發(fā)重要。盡管互聯(lián)網(wǎng)帶來了信息獲取的極大便利，但其帶來的問題也不容忽視。在信息爆炸的時代，大量虛假信息的涌入對公眾的認(rèn)知造成了嚴(yán)重威脅。

2、隨著學(xué)術(shù)界和工業(yè)界對網(wǎng)絡(luò)虛假信息研究的關(guān)注，虛假信息自動檢測技術(shù)逐步提高。傳統(tǒng)方法依賴專家知識從文本內(nèi)容中提取手工特征，然后在虛假信息分類器中采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練，如樸素貝葉斯（na?ve?bayes,?nb）、決策樹（decision?tree,dt）和支持向量機(jī)（support?vector?machine,?svm）等。這些基于手工制作特征的方法雖然簡單，但缺乏全面性和靈活性。大量研究表明，設(shè)計人工特征對于各種自然語言處理任務(wù)至關(guān)重要。在大數(shù)據(jù)時代，高度可區(qū)分的特征表示學(xué)習(xí)已成為人工智能應(yīng)用的新瓶頸。過去十年，深度神經(jīng)網(wǎng)絡(luò)因其包含多層非線性變換，能夠自動從原始數(shù)據(jù)中學(xué)習(xí)更準(zhǔn)確、更有效的特征，并通過逐層梯度下降進(jìn)行高效優(yōu)化。

3、隨著互聯(lián)網(wǎng)相關(guān)技術(shù)的發(fā)展，如今的虛假信息形式發(fā)生了很大變化，不再僅限于單一的文本形式。用戶在產(chǎn)生和傳播虛假信息時，往往伴隨著圖片、視頻等多種形式的信息，這使得分辨信息的真實(shí)性更加困難。目前的技術(shù)和算法還不能很好的挖掘出真正能體現(xiàn)假新聞內(nèi)容的信息，同時難以有效結(jié)合文本和圖像的信息來進(jìn)行區(qū)分新聞?wù)婕佟?/p>

4、因此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種新的假新聞檢測系統(tǒng)與方法，解決現(xiàn)有技術(shù)中存在的上述缺陷。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是如何挖掘出真正能體現(xiàn)假新聞內(nèi)容的信息，同時有效結(jié)合文本和圖像的信息來進(jìn)行區(qū)分新聞?wù)婕佟?/p>

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于多模態(tài)融合的假新聞檢測系統(tǒng)，包括數(shù)據(jù)讀取和預(yù)處理模塊、文本特征提取模塊、圖像特征提取模塊、特征更新及融合模塊以及檢測模塊；

3、其中，所述數(shù)據(jù)讀取和預(yù)處理模塊收集新聞樣本，進(jìn)行預(yù)處理，構(gòu)建新聞樣本數(shù)據(jù)集，并按照預(yù)先設(shè)定的比例將所述新聞樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集；所述新聞樣本包括新聞文本和新聞圖像；

4、所述文本特征提取模塊連接所述數(shù)據(jù)讀取和預(yù)處理模塊，將所述新聞文本直接輸入到預(yù)訓(xùn)練的bert模型中，把得到的句向量作為所述新聞文本的特征表示；

5、所述圖像特征提取模塊連接所述數(shù)據(jù)讀取和預(yù)處理模塊，將所述新聞圖像直接輸入到預(yù)訓(xùn)練的vgg-19模型中，把得到的圖向量作為所述新聞圖像的特征表示；

6、所述特征更新及融合模塊連接所述文本特征提取模塊和所述圖像特征提取模塊，包含多個權(quán)重矩陣，用于將所述句向量和所述圖向量投影成查詢向量、鍵向量和值向量，計算注意力權(quán)重并實(shí)現(xiàn)所述句向量和所述圖向量的更新，再通過向量拼接使所述句向量和所述圖向量進(jìn)行融合，得到能夠凸顯出文本和圖像共同特征的最終的特征表示；

7、所述檢測模塊連接所述特征更新及融合模塊，包含多個全連接層，通過訓(xùn)練更新所述特征更新及融合模塊中的參數(shù)，建立起所述最終的特征表示與新聞標(biāo)簽的聯(lián)系，并進(jìn)而判斷新聞的真假。

8、進(jìn)一步地，在所述數(shù)據(jù)讀取和預(yù)處理模塊中，在所述新聞文本和所述新聞圖像的命名和存放位置上進(jìn)行一對一的匹配，且所述新聞文本中包含新聞?wù)婊蚣俚臉?biāo)簽。

9、進(jìn)一步地，在所述數(shù)據(jù)讀取和預(yù)處理模塊中，將所述新聞圖像中存在的無效圖片視為異常，并生成空白圖像；對于所述新聞圖像中的每張圖像，預(yù)處理為具備三個通道的rgb彩色圖像，且保證所述每張圖像的大小一致。

10、本發(fā)明還提供一種基于多模態(tài)融合的假新聞檢測方法，包括以下步驟：

11、步驟1、收集新聞樣本，構(gòu)建新聞樣本數(shù)據(jù)集，包括新聞文本和新聞圖像，并進(jìn)行預(yù)處理；

12、步驟2、提取所述新聞文本中的句向量和所述新聞圖像中的圖向量，其中，所述句向量和所述圖向量是表征所述新聞文本和所述新聞圖像的初始特征向量；

13、步驟3、將所述初始特征向量用于所述特征更新及融合模塊的訓(xùn)練學(xué)習(xí)，得到能夠體現(xiàn)出模態(tài)間權(quán)重的特征，再通過拼接得到最終的特征表示；

14、步驟4、將所述最終的特征表示輸入到全連接網(wǎng)絡(luò)中進(jìn)行計算，建立起所述最終的特征表示與新聞標(biāo)簽的聯(lián)系，并進(jìn)而判斷新聞的真假。

15、進(jìn)一步地，所述步驟1包括以下子步驟：

16、步驟1.1、收集所述新聞樣本，構(gòu)建所述新聞樣本數(shù)據(jù)集，包括所述新聞文本和所述新聞圖像，并按照3：1：1的比例將所述新聞樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集；

17、步驟1.2、對所述新聞文本進(jìn)行預(yù)處理，包括分詞、去除停用詞、詞干提??；對所述新聞圖像采用縮放或裁剪的方式進(jìn)行大小統(tǒng)一化處理；

18、步驟1.3、對所述訓(xùn)練集、所述驗證集和所述測試集進(jìn)行隨機(jī)化處理。

19、進(jìn)一步地，所述步驟2包括以下子步驟：

20、步驟2.1、使用預(yù)訓(xùn)練的bert模型提取所述新聞文本中的所述句向量；

21、步驟2.2、使用預(yù)訓(xùn)練的vgg-19模型提取所述新聞圖像中的所述圖向量；

22、其中，所述步驟2.1包括：

23、步驟2.1.1、將所述新聞文本進(jìn)行分詞，把句子分解為單詞或子詞，使用詞表將所述單詞或子詞映射為對應(yīng)的詞嵌入向量；

24、步驟2.1.2、在所述詞嵌入向量的基礎(chǔ)上，由多個transformer編碼器堆疊而成的所述bert模型引入位置編碼，以表示所述單詞或子詞在句子中的位置信息；

25、步驟2.1.3、經(jīng)過所述bert模型處理提取得到所述新聞文本中的所述句向量。

26、進(jìn)一步地，所述步驟2.2包括以下子步驟：

27、步驟2.2.1、從所述vgg-19模型中加載權(quán)重參數(shù)；

28、步驟2.2.2、將所述新聞圖像的數(shù)據(jù)輸入到所述vgg-19模型中，進(jìn)行前向傳播計算；在所述vgg-19模型的最后一層卷積層之前停止所述前向傳播計算，輸出所述圖向量。

29、進(jìn)一步地，所述步驟3包括以下子步驟：

30、步驟3.1、將所述句向量記為文本特征 t，并對所述文本特征 t進(jìn)行特征投影，得到查詢向量、鍵向量和值向量，投影過程可以表示為：

31、

32、

33、

34、其中，、和是對應(yīng)的投影矩陣；

35、步驟3.2、將所述圖向量記為圖像特征 i，并對所述圖像特征 i進(jìn)行特征投影，得到查詢向量、鍵向量和值向量，投影過程可以表示為：

36、

37、

38、

39、其中，、和是對應(yīng)的投影矩陣。

40、進(jìn)一步地，所述步驟3還包括以下子步驟：

41、步驟3.3、采用相互注意力機(jī)制來計算所述文本特征 t和所述圖像特征 i之間的注意力權(quán)重：

42、

43、

44、其中，是鍵向量的維度，表示文本對圖像的注意力權(quán)重，表示圖像對文本的注意力權(quán)重；

45、利用注意力權(quán)重對特征進(jìn)行加權(quán)求和，得到更新后的文本特征和圖像特征：

46、

47、

48、步驟3.4、采用拼接的手段將所述更新后的文本特征和圖像特征進(jìn)行融合：

49、

50、其中， f是融合后的特征表示，即所述最終的特征表示。

51、進(jìn)一步地，所述步驟4包括以下子步驟：

52、步驟4.1、將 f輸入到一個包括多個隱藏層和一個輸出層的所述全連接網(wǎng)絡(luò)中進(jìn)行計算，對于第 l個隱藏層，計算過程可以表示為:

53、

54、其中，表示第 l個隱藏層的輸出，和分別代表第 l個隱藏層的權(quán)重和偏置；表示第 l-1個隱藏層或者輸入特征 f；

55、步驟4.2、將最后一個隱藏層的輸出作為輸入，進(jìn)行二分類輸出，輸出層的計算過程可以表示為：

56、

57、其中，是模型的預(yù)測輸出，和是輸出層的權(quán)重和偏置，是倒數(shù)第二個隱藏層的偏置；最終可得出新聞在真假性上的概率。

58、本發(fā)明提供的一種基于多模態(tài)融合的假新聞檢測系統(tǒng)與方法至少具有以下技術(shù)效果：

59、1、本發(fā)明所提供的技術(shù)方案提供多模態(tài)信息融合，通過結(jié)合文本和圖像信息，提高了假新聞檢測的準(zhǔn)確性和魯棒性，適用于各類包含文本和圖像的新聞檢測任務(wù)。

60、2、本發(fā)明所提供的技術(shù)方案能實(shí)現(xiàn)高效的特征更新，采用遷移學(xué)習(xí)的策略既能加快訓(xùn)練速度又能充分提取圖像的特征，使用相互注意力機(jī)制使得特征更新過程更加高效，能夠充分利用不同模態(tài)的信息。

61、以下將結(jié)合附圖對本發(fā)明的構(gòu)思、具體結(jié)構(gòu)及產(chǎn)生的技術(shù)效果作進(jìn)一步說明，以充分地了解本發(fā)明的目的、特征和效果。