1.一種促進(jìn)多模態(tài)信息融合的情感分析方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的情感分析方法,其特征在于,所述獲取多模態(tài)數(shù)據(jù),分別對(duì)各模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理,得到各模態(tài)的初始特征的步驟,包括:
3.根據(jù)權(quán)利要求1所述的情感分析方法,其特征在于,所述獲取訓(xùn)練集,基于k-means算法對(duì)訓(xùn)練集進(jìn)行聚類(lèi)以學(xué)習(xí)聲學(xué)詞匯和視覺(jué)詞匯,分別建立聲學(xué)詞匯表和視覺(jué)詞匯表的步驟,包括:
4.根據(jù)權(quán)利要求3所述的情感分析方法,其特征在于,通過(guò)聲學(xué)詞匯表和視覺(jué)詞匯表分別對(duì)音頻模態(tài)的初始特征和視頻模態(tài)的初始特征進(jìn)行查詢(xún)的計(jì)算公式如下:
5.根據(jù)權(quán)利要求1所述的情感分析方法,其特征在于,所述將非文本模態(tài)的單詞索引序列嵌入至文本模態(tài)的初始特征中建立非語(yǔ)言位移向量,并將所述非語(yǔ)言位移向量添加至文本模態(tài)的初始特征中進(jìn)行移位操作,輸出多模態(tài)向量的步驟,包括:
6.根據(jù)權(quán)利要求5所述的情感分析方法,其特征在于,
7.根據(jù)權(quán)利要求1所述的情感分析方法,其特征在于,所述transformer模型由多頭注意力機(jī)制、一個(gè)前向網(wǎng)絡(luò)、殘差連接層與層歸一化模塊組成。
8.一種促進(jìn)多模態(tài)信息融合的情感分析裝置,其特征在于,所述裝置包括:
9.一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一所述的情感分析方法的步驟。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一所述的情感分析方法的步驟。