若干圖像及三維頭部模型，計(jì)算當(dāng)前時(shí)刻的連 續(xù)情感表達(dá)圖像（CEP);
[0086] (2)在前一時(shí)刻的三維頭部模型上隨機(jī)選取若干頂點(diǎn)，并將他們投影至步驟（1) 計(jì)算得到的連續(xù)情感表達(dá)圖像上，構(gòu)成一個(gè)測試特征；
[0087] (3)將測試特征置于隨機(jī)森林中。在每個(gè)非葉子節(jié)點(diǎn)按照最優(yōu)分裂條件進(jìn)行路徑 選擇，最終到達(dá)某葉子節(jié)點(diǎn)，進(jìn)而得到葉子節(jié)點(diǎn)集合；
[0088] (4)將葉子集合中的所有備選結(jié)果進(jìn)行篩選，排除不符合條件的結(jié)果。對于進(jìn)行篩 選之后與的結(jié)果，有兩種可能：
[0089] i.如果存在可以接受的結(jié)果，則計(jì)算符合條件的所有備選結(jié)果的平均三維關(guān)鍵點(diǎn) 位置回歸量以及平均情緒回歸量；
[0090] ii.如果不存在可以接受的結(jié)果，則恢復(fù)當(dāng)前時(shí)刻的三維頭部模型以及其對應(yīng)的 情緒值，并跳轉(zhuǎn)至步驟（3)。
[0091] (5)將步驟（4)計(jì)算得到的三維關(guān)鍵點(diǎn)位置回歸量以及情緒回歸量分別疊加到前 一時(shí)刻的三維頭部模型以及前一時(shí)刻的情緒值上，得到當(dāng)前時(shí)刻的三維頭部模型以及當(dāng)前 時(shí)刻的情緒值；
[0092] (6)將當(dāng)前得到的情緒值與前一幀情緒值對比，如果二者之差較大，則認(rèn)為當(dāng)前情 緒估計(jì)有誤。此時(shí)，進(jìn)行情緒的恢復(fù)操作，重新生成測試特征，并跳轉(zhuǎn)至步驟（3)。
[0093] (7)使用得到的當(dāng)前時(shí)刻的三維頭部模型以及情緒值作為下一時(shí)刻的輸入，如此 循環(huán)計(jì)算每一時(shí)刻的三維頭部模型及情緒值。
[0094] 至此，完成了整個(gè)情緒識別與跟蹤的流程。
[0095] 為了更好地描述算法，下面給出情緒識別的一個(gè)具體實(shí)例。本實(shí)例連續(xù)視頻流情 況下，對連續(xù)情感空間Arousal維度的對應(yīng)情緒值進(jìn)行識別：
[0096] 1)使用當(dāng)前視頻幀及其相鄰幀圖像It_n，It_ n+1，...，It以及這些圖像對應(yīng)的三維頭 部模型計(jì)算當(dāng)前時(shí)刻對應(yīng)的連續(xù)情感表達(dá)圖像CEP t;其中t為當(dāng)前時(shí)刻，η為選取的相鄰幀 的數(shù)目；
[0097] 2)使用當(dāng)前時(shí)刻對應(yīng)的連續(xù)情感表達(dá)圖像CEPt以及前一幀對應(yīng)的三維頭部模型 Sw和Arousal維度情緒值A(chǔ) η作為情緒識別模型的輸入；
[0098] 3)以隨機(jī)森林模型為例，對于當(dāng)前輸入，將會得到一系列包含預(yù)測結(jié)果的葉子節(jié) 點(diǎn)。對結(jié)果進(jìn)行篩選；本例以三維位置回歸量以及情緒值回歸量的方差為篩選條件；如果 某葉子節(jié)點(diǎn)的三維位置回歸量或者情緒值回歸量的方差大于設(shè)定閾值，則拋棄當(dāng)前節(jié)點(diǎn)， 否則認(rèn)為該節(jié)點(diǎn)符合條件；
[0099] 4)對符合條件的葉子節(jié)點(diǎn)集合中的三維位置回歸量以及情緒值回歸量計(jì)算均值， 得到當(dāng)前的三維位置回歸估計(jì)量R t以及情緒值回歸估計(jì)量Ra;
[0100] 5)將當(dāng)前的情緒值回歸估計(jì)量Ra與前一幀的Arousal維度情緒值A(chǔ) η相加，獲得 當(dāng)前時(shí)刻Arousal維度情緒值A(chǔ)t。將當(dāng)前的三維位置回歸估計(jì)量Rt與前一幀對應(yīng)的三維 頭部模型S w相加，獲得當(dāng)前幀對應(yīng)的三維頭部模型S t;
[0101] 6)使用計(jì)算得到的Arousal維度情緒值A(chǔ)t以及三維頭部模型S t作為下一時(shí)刻模 型的輸入，以回歸的方式對每一時(shí)刻的情緒值進(jìn)行估計(jì)。
[0102] 本方法在業(yè)界廣泛使用的情感數(shù)據(jù)庫AVEC2012上進(jìn)行了相關(guān)實(shí)驗(yàn)與可行性測 試。實(shí)驗(yàn)結(jié)果以及與其他優(yōu)秀方法運(yùn)行結(jié)果的對比如下：
[0103] 在Arousal與Valence維度上進(jìn)行連續(xù)情感估計(jì)，其結(jié)果用皮爾遜相關(guān)系數(shù)進(jìn)行 估計(jì)。下方表格展示了本方法的運(yùn)行結(jié)果以及與業(yè)界其他優(yōu)秀方法之間的結(jié)果對比。從結(jié) 果中可以看出，本方法在不同情感維度上都有著較出色的表現(xiàn)。
[0104]
【主權(quán)項(xiàng)】
1. 一種基于視頻信息的情緒識別與跟蹤方法，其步驟包括： 1) 獲取二維或三維訓(xùn)練圖像，并對其進(jìn)行個(gè)性化三維頭部建模； 2) 借助生成的三維頭部模型進(jìn)行圖像融合，形成包含時(shí)間上下文信息以及與用戶無關(guān) 的情緒特征的動態(tài)視覺特征； 3) 使用生成的融合圖像、三維頭部模型以及其情緒值構(gòu)造訓(xùn)練樣本； 4) 使用構(gòu)建的訓(xùn)練樣本訓(xùn)練情緒識別模型； 5) 使用訓(xùn)練好的情緒識別模型，進(jìn)行三維頭部關(guān)鍵點(diǎn)的跟蹤以及情緒的識別，直至完 成全部情緒識別任務(wù)。
2. 如權(quán)利要求1所述的方法，其特征在于，步驟1)進(jìn)行三維頭部建模的方法是： a) 在訓(xùn)練圖像中對面部關(guān)鍵點(diǎn)進(jìn)行標(biāo)定； b) 從三維頭部數(shù)據(jù)庫中計(jì)算出與當(dāng)前訓(xùn)練樣本最為相似的一組三維頭部基表情； c) 對于每一幅訓(xùn)練圖像，使用選取的三維頭部基表情進(jìn)行融合操作，合成對應(yīng)的三維 頭部模型。
3. 如權(quán)利要求1所述的方法，其特征在于，步驟2)進(jìn)行圖像融合的方法是： a) 恢復(fù)每幅圖像的三維頭部模型； b) 將恢復(fù)的三維頭部模型置于三維相機(jī)坐標(biāo)系的正交位置，并將位于正交位置的頭部 模型的三維關(guān)鍵點(diǎn)投影至攝像機(jī)的二維成像面坐標(biāo)系； c) 計(jì)算投影后的關(guān)鍵點(diǎn)與原來圖像關(guān)鍵點(diǎn)對之間的單應(yīng)變換矩陣； d) 通過計(jì)算得到的單應(yīng)變換矩陣，將訓(xùn)練樣本中的每幅二維圖像與其相鄰幀的頭部區(qū) 域變換至面部區(qū)域坐標(biāo)系的正交位置，隨后對得到的圖像進(jìn)行疊加，構(gòu)成融合情緒圖像。
4. 如權(quán)利要求1所述的方法，其特征在于，步驟3)對三維頭部模型進(jìn)行剛體變換，包括 平移、旋轉(zhuǎn)，用以模擬其前后時(shí)刻可能出現(xiàn)的位置區(qū)域，同時(shí)擴(kuò)充訓(xùn)練樣本的數(shù)量，進(jìn)而構(gòu) 建出數(shù)量足夠的訓(xùn)練樣本集合。
5. 如權(quán)利要求4所述的方法，其特征在于，步驟4)中訓(xùn)練情緒識別模型所需的視覺特 征不局限于融合圖像上的特征，也包括恢復(fù)的三維頭部模型中對應(yīng)的一系列高維特征，包 括深度信息，三維頭部曲面參數(shù)。
6. 如權(quán)利要求1所述的方法，其特征在于，步驟4)中的情緒識別模型采用機(jī)器學(xué)習(xí)中 的回歸模型，在訓(xùn)練過程中同時(shí)考慮三維頭部姿態(tài)跟蹤以及情緒跟蹤的準(zhǔn)確性，并且在進(jìn) 行識別的過程中同時(shí)進(jìn)行頭部姿態(tài)的跟蹤以及自然情緒的識別。
7. 如權(quán)利要求1所述的方法，其特征在于：步驟5)在情緒識別之前進(jìn)行一系列必要的 預(yù)處理操作，以保證情緒估計(jì)的順利進(jìn)行；所述預(yù)處理操作包括生成三維頭部模型恢復(fù)集， 情緒恢復(fù)集，以及生成第一幀的三維頭部模型和情緒值作為起始輸入。
8. 如權(quán)利要求1所述的方法，其特征在于，根據(jù)不同的應(yīng)用場景，對步驟5)得到的情緒 識別結(jié)果進(jìn)行不同處理：如果當(dāng)前目的只是為了將情緒分為離散的多種類別，其識別結(jié)果 通過某種映射方式映射至某一種情緒類型；如果當(dāng)前目的是為了在連續(xù)情感空間中估計(jì)情 緒值，那么其識別結(jié)果直接作為當(dāng)前的情緒估計(jì)值。
9. 如權(quán)利要求1所述的方法，其特征在于：步驟5)中，三維頭部模型以及對應(yīng)的情緒 值以一種回歸的方式被計(jì)算和估計(jì)，其流程為： (1)結(jié)合當(dāng)前輸入幀圖像與其前面的若干幀圖像及三維頭部模型，計(jì)算當(dāng)前時(shí)刻的連 續(xù)情感表達(dá)圖像； (2) 在前一時(shí)刻的三維頭部模型的正面面部部分上隨機(jī)選取若干頂點(diǎn)，并將他們投影 至步驟（1)計(jì)算得到的連續(xù)情感表達(dá)圖像上，構(gòu)成一個(gè)測試特征； (3) 將測試特征置入回歸模型，得到備選結(jié)果集合，將所有備選結(jié)果進(jìn)行篩選，對于不 符合條件的備選結(jié)果，直接將其排除； (4) 如果不存在合適的結(jié)果，則執(zhí)行恢復(fù)操作，重新生成測試特征，并跳轉(zhuǎn)至步驟（3); (5) 將符合條件的備選結(jié)果的三維關(guān)鍵點(diǎn)位置回歸量以及情緒回歸量分別疊加到前一 時(shí)刻的三維頭部模型以及前一時(shí)刻的情緒值上，形成當(dāng)前時(shí)刻的三維頭部模型以及當(dāng)前時(shí) 刻的情緒值； (6) 將當(dāng)前得到的情緒值與前一幀情緒值對比，如果二者之差大于情緒閾值，則進(jìn)行情 緒的恢復(fù)操作，重新生成測試特征，并跳轉(zhuǎn)至步驟（3)。 (7) 使用得到的當(dāng)前時(shí)刻的三維頭部模型以及情緒值作為下一時(shí)刻的輸入，如此循環(huán) 計(jì)算每一時(shí)刻的三維頭部模型及情緒值。
【專利摘要】本發(fā)明涉及一種基于視頻信息的情緒識別與跟蹤方法，其步驟為：1)獲取圖像并對其進(jìn)行三維頭部建模；2)借助生成的三維頭部模型進(jìn)行圖像融合，形成連續(xù)情感表達(dá)以及與人無關(guān)的情感表達(dá)；3)使用生成的融合圖像、三維頭部模型以及其情緒值構(gòu)造訓(xùn)練樣本；4)使用構(gòu)建的訓(xùn)練樣本訓(xùn)練情緒識別模型；5)如有必要，在測試步驟執(zhí)行之前進(jìn)行一系列預(yù)處理操作，然后使用訓(xùn)練好的情緒識別模型，進(jìn)行三維頭部關(guān)鍵點(diǎn)的跟蹤以及情緒的識別直至完成全部情緒識別任務(wù)。本發(fā)明不僅適用于離散情緒的識別，也適用于連續(xù)情感空間表達(dá)下的情緒識別，可以用于桌面場景與移動交互場景，不受視覺信息采集設(shè)備的限制，能夠提升自然人機(jī)交互的質(zhì)量。
【IPC分類】G06K9-66, G06T17-00, G06K9-00
【公開號】CN104732203
【申請?zhí)枴緾N201510098126
【發(fā)明人】王宏安, 李江東, 陳輝, 張鳳軍
【申請人】中國科學(xué)院軟件研究所
【公開日】2015年6月24日
【申請日】2015年3月5日