技術(shù)特征：

1.數(shù)據(jù)增廣方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)增廣方法，其特征在于，所述利用若干個所述面部樣本圖像對預(yù)先構(gòu)建的基礎(chǔ)模型進(jìn)行訓(xùn)練，得到第一神經(jīng)網(wǎng)絡(luò)模型和置信度閾值集，包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)增廣方法，其特征在于，所述基礎(chǔ)模型包括順次連接的圖像編碼器和多級聯(lián)分類器，所述多級聯(lián)分類器包括并接的面部表情分類器和面部單元分類器，所述面部表情分類器包括多個第一線性層，多個所述第一線性層與多個所述面部表情標(biāo)簽一一對應(yīng)，所述面部單元分類器包括多個第二線性層，多個所述第二線性層與多個所述面部單元標(biāo)簽一一對應(yīng)；

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)增廣方法，其特征在于，所述根據(jù)每個所述面部單元標(biāo)簽的激活概率和每個所述面部表情標(biāo)簽的激活概率，得到所述基礎(chǔ)模型的損失函數(shù)值，包括：

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)增廣方法，其特征在于，所述利用若干個所述面部樣本圖像對預(yù)先構(gòu)建的基礎(chǔ)模型進(jìn)行訓(xùn)練，得到第一神經(jīng)網(wǎng)絡(luò)模型和置信度閾值集，包括：

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)增廣方法，其特征在于，所述將若干個所述面部無標(biāo)簽圖像輸入至所述第一神經(jīng)網(wǎng)絡(luò)模型，得到若干個面部偽標(biāo)簽圖像，并根據(jù)所述置信度閾值集從若干個所述面部偽標(biāo)簽圖像當(dāng)中篩選出多個面部增廣圖像，包括：

7.面部情感識別方法，其特征在于，包括以下步驟：

8.根據(jù)權(quán)利要求7所述的面部情感識別方法，其特征在于，所述根據(jù)所述面部單元編碼特征和所述面部單元視覺特征，得到面部單元文本特征，包括：

9.根據(jù)權(quán)利要求7所述的面部情感識別方法，其特征在于，所述根據(jù)所述面部單元視覺特征和所述面部單元文本特征，得到所述面部單元識別結(jié)果，包括：

10.根據(jù)權(quán)利要求9所述的面部情感識別方法，其特征在于，所述根據(jù)所述面部單元視覺特征、所述面部表情視覺特征、所述面部單元文本特征和所述面部表情文本特征，得到所述面部表情識別結(jié)果，包括：

技術(shù)總結(jié)
本申請公開了數(shù)據(jù)增廣方法、面部情感識別方法和裝置，涉及面部情感識別技術(shù)領(lǐng)域，方法包括利用若干個標(biāo)注有面部單元標(biāo)簽和面部表情標(biāo)簽的面部樣本圖像訓(xùn)練基礎(chǔ)模型，得到第一神經(jīng)網(wǎng)絡(luò)模型和置信度閾值集；將若干個面部無標(biāo)簽圖像輸入至第一神經(jīng)網(wǎng)絡(luò)模型，得到若干個標(biāo)注有面部單元偽標(biāo)簽和面部表情偽標(biāo)簽的面部偽標(biāo)簽圖像并利用閾值集進(jìn)行篩選，得到多個面部增廣圖像；根據(jù)面部增廣圖像、面部樣本圖像和文本樣本集，得到面部數(shù)據(jù)集；獲取待測面部圖像和文本數(shù)據(jù)作為由面部數(shù)據(jù)集訓(xùn)練得到的第二神經(jīng)網(wǎng)絡(luò)模型的輸入，通過第二神經(jīng)網(wǎng)絡(luò)模型得到面部單元識別結(jié)果和面部表情識別結(jié)果。本申請實現(xiàn)面部表情和面部單元的同步識別及任務(wù)聯(lián)合訓(xùn)練。

技術(shù)研發(fā)人員：余梓彤,苑凱深,邢博浩,蘇新奇,劉鑫
受保護(hù)的技術(shù)使用者：大灣區(qū)大學(xué)（籌）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30