1.一種基于au引導的微表情識別方法,其特征在于,所述微表情識別方法包括:
2.根據(jù)權(quán)利要求1所述的基于au引導的微表情識別方法,其特征在于,獲取原始微表情視頻,對所述原始微表情視頻預處理,得到微表情序列,包括:
3.根據(jù)權(quán)利要求1所述的基于au引導的微表情識別方法,其特征在于,
4.根據(jù)權(quán)利要求1所述的基于au引導的微表情識別方法,其特征在于,將運動文本描述送入文本編碼器,得到文本運動特征,包括:
5.根據(jù)權(quán)利要求1所述的基于au引導的微表情識別方法,其特征在于,將視覺運動特征和文本運動特征經(jīng)過兩個可學習的投影頭映射到聯(lián)合的多模態(tài)空間,得到視覺運動向量和文本嵌入向量;利用文本編碼器對比損失函數(shù)進行視覺嵌入向量和文本嵌入向量的語義對齊,包括:
6.根據(jù)權(quán)利要求1所述的基于au引導的微表情識別方法,其特征在于,通過將視覺運動特征送入模型情緒推理模塊進行情緒分類,包括:
7.根據(jù)權(quán)利要求1所述的基于au引導的微表情識別方法,其特征在于,對模型訓練,動態(tài)調(diào)節(jié)所述文本編碼器對比損失函數(shù)和目標分類損失函數(shù)的權(quán)重,訓練后的模型用于微表情識別任務,包括:
8.一種基于au引導的微表情識別裝置,其特征在于,包括:
9.一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,其特征在于,所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至7中任一項所述的基于au引導的微表情識別方法。
10.一種非暫態(tài)計算機可讀存儲介質(zhì),其上存儲有計算機程序,其特征在于,該計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的基于au引導的微表情識別方法的步驟。