1.一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,所述文本編碼器和所述圖像編碼器各包括多個(gè)中間層和一個(gè)輸出層,所述粒度增強(qiáng)模塊中,對(duì)每個(gè)編碼器進(jìn)行如下操作:將所有層進(jìn)行分組后將每組中各層的輸出相加,獲得所述中間層表示。
3.根據(jù)權(quán)利要求1所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,所述多模態(tài)高階融合模塊中,將所述中間層表示平均為一個(gè)向量,基于注意力機(jī)制得到查詢q、一組秘鑰和一組值通過雙線性結(jié)構(gòu)對(duì)查詢q、一組秘鑰和一組值進(jìn)行fime(·)運(yùn)算和fimd(·)運(yùn)算,獲得高階融合特征h。
4.根據(jù)權(quán)利要求3所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,fime(·)運(yùn)算和fimd(·)運(yùn)算的定義具體如下:對(duì)于兩組輸入向量和將一組輸入向量中的每個(gè)元素與另一組輸入向量中的所有元素相乘,生成特征交互矩陣,fimd(·)運(yùn)算表示提取所述特征交互矩陣中的對(duì)角線元素,fimf(·)運(yùn)算表示計(jì)算所述特征交互矩陣的特征值并提取該特征交互矩陣的特征值向量。
5.根據(jù)權(quán)利要求4所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,獲得高階融合特征h的過程具體如下:
6.根據(jù)權(quán)利要求5所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,所述空間信息聚合操作的具體過程為:將向量進(jìn)行平均池化,再通過線性層進(jìn)行壓縮和聚合。
7.根據(jù)權(quán)利要求5所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,所述空間信息保留操作的具體過程為:通過嵌入層將向量a=進(jìn)行投影,然后進(jìn)行softmax和層歸一化。
8.根據(jù)權(quán)利要求5所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,獲得高階融合特征h的公式表示具體如下:
9.根據(jù)權(quán)利要求1所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,基于交叉熵?fù)p失構(gòu)建分類損失函數(shù)l,對(duì)所述粒度增強(qiáng)多模態(tài)高階融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
10.根據(jù)權(quán)利要求9所述的一種基于粒度增強(qiáng)和多模態(tài)高階融合的假新聞檢測(cè)方法,其特征在于,所述分類損失函數(shù)l的表達(dá)式具體如下: