視頻序列中人臉微表情的識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的技術(shù)方案涉及用于識別圖形的記錄載體的處理，具體地說是視頻序列中 人臉微表情的識別方法。
【背景技術(shù)】
[0002] 微表情（micro-expression)是人類試圖壓抑或隱藏真實情感時泄露的非常短暫 的不能自主控制的面部表情，Ekman等人對微表情開展了一系列研究，其結(jié)果表明微表情是 識別謊言的有效線索，可以被廣泛地應(yīng)用于安全、司法、臨床和法律領(lǐng)域。但是微表情持續(xù) 時間短且難以識別，即使是受過良好訓(xùn)練的人，進(jìn)行微表情識別時，準(zhǔn)確率僅在40%左右。 因此，研發(fā)自動微表情識別系統(tǒng)，實現(xiàn)計算機(jī)自動識別微表情，無論對于開展微表情識別的 機(jī)理研究，還是對于進(jìn)行微表情識別的實際應(yīng)用都是非常必要的。
[0003] 目前，國內(nèi)外很多團(tuán)隊都在開展微表情研究。Ekman和Friesen于1969首次發(fā)現(xiàn)微 表情的重要性，并且一直是微表情研究的主要力量之一，但他們的大部分研究工作成果至 今并未見到公開發(fā)表。中科院王甦菁提出了一種基于判別式分析的獨(dú)立張量子空間（DTSA) 和極限學(xué)習(xí)機(jī)的微表情識別算法，但是該方法計算復(fù)雜，而且識別效率只有50%左右。后 來，王甦菁對顏色信息加以考慮，因為顏色信息R、G、B三個成分有較大的相關(guān)，所以考慮利 用獨(dú)立成分分析（ICA)，對張量的第四階（顏色）去相關(guān)性，建立了 TICS模型，并且在對 CASME數(shù)據(jù)庫進(jìn)行分類的時候，提出將緊張和壓抑這兩個非常相似的微表情歸為一類，將識 別率提高到了 61. 8%。日本筑波大學(xué)Polikovsky團(tuán)隊利用3D梯度直方圖方法進(jìn)行微表 情的檢測識別，對200fps的視頻序列進(jìn)行處理，首先將人臉表情按照特定區(qū)域進(jìn)行分塊， 然后在每一個區(qū)域提取3D直方圖特征描述運(yùn)動方向，在檢測到微表情之后，根據(jù)一些給定 的規(guī)則諸如FACS編碼進(jìn)行分類，該方法利用的數(shù)據(jù)庫是研究人員自己構(gòu)建的，參與人員被 要求以盡可能低的表情強(qiáng)度、盡可能快的速度做出面部表情，論文并沒有給出最終的識別 率，該方法的人臉跟蹤效果不好，沒有足夠的測試集進(jìn)行測試，分類算法無法適應(yīng)復(fù)雜的人 臉變化。美國南佛羅里達(dá)大學(xué)Shreveport團(tuán)隊把光流法用于微表情研究，該方法利用應(yīng)變 模式處理連續(xù)的、不斷變化的長視頻，對面部表情的自動分割，通過對面部劃分成的8個興 趣區(qū)域計算得到的光學(xué)應(yīng)力與訓(xùn)練等得到的某一閾值進(jìn)行比較，實現(xiàn)了對表情和微表情的 分割。雖然該方法對光照不均勻和大量移動問題是魯棒性的，但較為依賴于面部皮膚中形 變的大小。芬蘭奧盧大學(xué)的趙國英團(tuán)隊利用時間差值模型和LBP-TOP算法提取微表情序列 的特征，通過提取序列圖像或視頻在時域和空域方向上的動態(tài)LBP紋理特征進(jìn)行微表情的 識別，算法測試庫樣本量相對較小，識別率較低。CN 103258204A公開了一種基于Gabor和 EOH特征的自動微表情識別方法，利用Gabor和EOH特征進(jìn)行微表情特征提取，但Gabor和 EOH表征全局的能力較弱，且需要結(jié)合改進(jìn)后的GentleSVM分類器才能進(jìn)行微表情的分類 識別，所需的硬件設(shè)備性能要求較高，而識別性能低于人們的期望。CN104298981A提出了基 于CBP-TOP特征的自動微表情識別方法，使用ELM分類器進(jìn)行分類，該方法在計算每一個像 素的CBP值的時候都涉及到了乘和冪運(yùn)算，相比于本發(fā)明方法，計算復(fù)雜度高，而且提取的 微表情信息不夠完整。現(xiàn)有人臉微表情的識別方法主要存在提取的微表情序列信息單一， 沒有從多個頻率和方向考慮，因而識別性能低的缺陷。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是：提供視頻序列中人臉微表情的識別方法，是在對 人臉微表情視頻利用歐拉影像放大技術(shù)進(jìn)行放大之后，對人臉微表情圖像序列進(jìn)行預(yù)處 理，再利用HLACLF-T0P算法提取人臉微表情序列的動態(tài)時空紋理特征，最后利用分類器進(jìn) 行訓(xùn)練和預(yù)測，該方法克服了現(xiàn)有技術(shù)中由于人臉微表情變化幅度小造成微表情難以識別 的缺陷。
[0005] 上述 HLACLF-T0P 是 Higher-order Local Auto-Correlation Like Features from Three Orthogonal Panels的縮寫，中文意思為基于三個正交平面的類似高階局部自 相關(guān)特征。
[0006] 本發(fā)明解決該技術(shù)問題所采用的技術(shù)方案是：視頻序列中人臉微表情的識別方 法，是一種利用HLACLF-T0P算法提取人臉微表情序列的動態(tài)時空紋理特征方法，具體步驟 如下：
[0007] 第一步，人臉微表情視頻歐拉放大：
[0008] 利用歐拉影像放大算法對人臉微表情視頻進(jìn)行放大，將放大后的人臉微表情視頻 轉(zhuǎn)為人臉微表情圖像序列；
[0009] 第二步，人臉微表情圖像預(yù)處理：
[0010] 利用高斯濾波器對第一步得到的人臉微表情圖像序列進(jìn)行去噪處理，利用 Adaboost算法檢測該微表情圖像中的人臉并進(jìn)行裁剪，采用雙線性插值算法實現(xiàn)圖像的尺 寸歸一化，經(jīng)過如此人臉微表情圖像預(yù)處理后的人臉微表情圖像大小為MXM像素，即人臉 微表情圖像的寬度和高度均為M個像素；
[0011] 第三步，利用HLACLF-T0P算法提取人臉微表情序列的動態(tài)時空紋理特征：
[0012] 以下將HLACLF-T0P算法提取的人臉微表情序列的動態(tài)時空紋理特征簡稱為 HLACLF-T0P 特征，
[0013] 通過將HLAC掩膜作用在圖像序列上來計算HLACLF-T0P特征，具體過程為：
[0014] (1)計算XY平面的HLACLF向量：
[0015] 人臉微表情圖像序列在XY平面的HLACLF向量是將HLAC掩膜作用于人臉微表情 序列中的每一幀，得到一個HLACLF向量，將這些特征向量串聯(lián)起來，得到該序列在當(dāng)前平 面的特征向量（fn，f 12,. . .，flm，f21，f22,. . .，f2m，. . .，fnl，fn2,. . .，O，操作方法是：
[0016] 首先將HLAC掩膜作用在第二步提取的單幀人臉微表情圖像的左上角3X3的區(qū) 域，將掩膜各位置的值作為所對應(yīng)的像素的權(quán)值，進(jìn)行相乘再相加，得到該區(qū)域的特征值， 然后將HLAC掩膜向右滑動3個像素，與前面的區(qū)域無重疊，進(jìn)行掩膜操作，得到該3X3區(qū) 域特征值，繼續(xù)向右滑動，直到該行的最右端，將這一行每個3X3小區(qū)域得到的特征值相 加得到該行的向量值fii;
[0017] 將HLAC掩膜向下滑動3個像素，按上述操作方法，繼續(xù)從左到右掃描該圖像進(jìn)行 掩膜操作，得到該行的向量值f 12;
[0018] 重復(fù)上述操作，直到掃描完整個圖像，得到該圖像在該掩膜下得到的HLACLF向量 (fn，f12, f13, · · ·，fj，其中m = M/3,當(dāng)前圖像大小為MXM像素，即圖像的寬度和高度均為 M個像素；
[0019] HLAC掩膜包含25個0到2階的3X3掩膜，0-階掩膜即在3X3的窗口中只有中 心位置為1，其他位置為〇 ;1_階掩膜是在3X3的窗口中有兩個位置為1，其他為0 ;2_階 掩膜是在3X3的窗口中有三個位置為1，其他為0 ;將25個3X3經(jīng)典HLAC掩膜作用在XY 平面，即按照上述方法，每個掩膜提取一個HLACLF向量，最后每個序列在XY平面上得到25 個向量，記為，
[0020]
(1>
[0021] 其中η為每個微表情序列中幀的個數(shù)，a代表人臉微表情圖像序列中第a幀，b代 表每幀人臉微表情圖像中的第b個向量元素，b取值范圍為1，…，m，k表示第k個掩膜；
[0022] (2)計算XT平面和YT平面的HLACLF向量：
[0023] XT平面和YT平面中的T軸是時間軸，分別與Y軸和X軸垂直，
[0024] 將HLAC掩膜改進(jìn)為6個I X 3的掩膜，這6個掩膜分別包含了三個0-階和三個 1-階的掩膜，〇-階掩膜即只有一個位置為1，1-階掩膜為兩個位置為1，在XT和YT平面上 采用這6個IX 3的掩膜進(jìn)行特征提取，操作方法是：
[0025] 將6個I X 3的掩膜分別作用于XT平面和YT平面，XT與YT平面大小為均為MXn， 其中，圖像序列中每幀圖像的寬為M個像素，η為每個微表情序列中幀的個數(shù)，對于XT平面 和YT平面分別在在Y軸與X軸上，以3為步長按照上述XY平面上掩膜的掃描方法，將I X 3 的掩膜在XT和YT平面上進(jìn)行掃描，在每個平面上提取一個I Xn的向量，最后，每個序列在 XT及YT平面上得到的向量的大小均為nXm，其中m = Μ/3,與XY平面得到的向量大小一 致，記為，
[0026]
(句，
[0027] 其中，η表示每個微表情序列中幀的個數(shù)，a代表在Y軸或X軸上取到的第a個平 面，a取值為1，…，m，b代表該平面上的第b個向量元素，b取值為1，…，n，k表示第k個掩 膜；
[0028] (3)計算整個人臉微表情圖像序列的HLACLF-T0P特征向量：
[0029] 將上述步驟（1)和步驟（2)獲得的XY、XT和YT平面的特征向量進(jìn)行串聯(lián)，得到 25+6+6個長度為mXη的向量，作為每個人臉微表情視頻序列的HLACLF-T0P特征向量，即將 37個向量串聯(lián)，作為每個人臉微表情視頻序列的HLACLF-T0P特征，由此利用HLACLF-T0P算 法提取到人臉微表情序列的動態(tài)時空紋理特征；
[0030] 第四步，利用ELM分類器進(jìn)行訓(xùn)練和預(yù)測：
[0031] 利用ELM分類器進(jìn)行訓(xùn)練和預(yù)測，用以驗證HLACLF-T0P算法的有效性，同時對人 臉微表情序列的特征進(jìn)行分類識別，判斷提取的HLACLF-T0P特征究竟屬于哪類人臉微表 情，具體操作過程如下：
[0032] (1)將第二步人臉微表情圖像預(yù)處理完成的人臉微表情