基于典型區(qū)域多維度特征的三維人臉表情識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺以及模式識(shí)別領(lǐng)域，具體來說涉及一種基于典型區(qū)域多維 度特征的三維人臉表情識(shí)別方法。
【背景技術(shù)】
[0002] 人臉表情識(shí)別是計(jì)算機(jī)視覺以及模式識(shí)別領(lǐng)域的熱點(diǎn)研究問題，自20世紀(jì)80年代 以來的三十年間受到了越來越多研究人員的重視。同時(shí)作為人工智能以及情感分析的重要 分支，人臉表情識(shí)別在人機(jī)交互、重癥病房監(jiān)護(hù)等領(lǐng)域具有很大的研究?jī)r(jià)值以及應(yīng)用前景。
[0003] 早期的人臉表情識(shí)別專注于二維圖像以及圖像序列，也即視頻上的算法實(shí)現(xiàn)。但 是由于二維人臉圖像是三維物體的二維平面投影，在投影過程中必然會(huì)損失紋理、形狀等 特征，還會(huì)受到姿態(tài)、光照等的影響。因此，近些年來，基于三維人臉點(diǎn)云模型的表情識(shí)別逐 漸成為該領(lǐng)域的研究重點(diǎn)。
[0004] 三維人臉表情識(shí)別通常包括三個(gè)主要步驟，分別為人臉圖像預(yù)處理、表情特征提 取和表情分類?；诖?，本發(fā)明提出一種基于面部表情典型區(qū)域混合維度的三維人臉表情 識(shí)別方法。針對(duì)三維人臉不同區(qū)域?qū)Ρ砬榈挠绊懗潭龋瑢⑷四槃澐譃槿齻€(gè)典型區(qū)域。劉慧敏 等人在《地圖上等高線信息度量的層次方法研究》一文中詳細(xì)介紹了等高線圖信息的利用 方法。本發(fā)明基于等高線圖信息度量研究，提出針對(duì)三維人臉典型區(qū)域等高線圖的信息度 量方法。全面的利用了人臉等高線圖，極大地豐富了三維特征的信息量。然后，將三維人臉 典型區(qū)域映射到二維平面進(jìn)行研究。最后，結(jié)合典型區(qū)域的二維和三維特征實(shí)現(xiàn)三維人臉 表情識(shí)別。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對(duì)三維人臉點(diǎn)云數(shù)據(jù)，提出一種基于面部表情典型區(qū)域多維度的三維人 臉表情識(shí)別方法。
[0006] 首先，對(duì)三維人臉點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理操作，得到規(guī)格化的三維人臉點(diǎn)云數(shù)據(jù);然 后，自動(dòng)標(biāo)定三維人臉面部表情典型區(qū)域，分別為眼部區(qū)域(E區(qū)）、兩頰區(qū)域(N區(qū)）和嘴巴區(qū) 域(M區(qū)）。分別提取這三個(gè)典型區(qū)域的二維和三維特征；最后，根據(jù)提取的二維和三維特征 進(jìn)行SVM訓(xùn)練，實(shí)現(xiàn)三維人臉表情識(shí)別。具體流程如下：
[0007] 1.人臉數(shù)據(jù)預(yù)處理
[0008] 根據(jù)獲取的原始三維人臉點(diǎn)云數(shù)據(jù)特點(diǎn)，對(duì)其進(jìn)行剪切、去刺、平滑、補(bǔ)洞、坐標(biāo)校 正、網(wǎng)格對(duì)齊重采樣的一種或幾種預(yù)處理工作，從而得到規(guī)格化后的三維人臉點(diǎn)云數(shù)據(jù)。
[0009] 2.三維人臉表情典型區(qū)域自動(dòng)標(biāo)定
[0010] 人臉表情通常指高興、悲傷、憤怒、驚訝、厭惡和恐懼6種。在人臉呈現(xiàn)不同表情時(shí)， 其眼部、兩頰和嘴巴三個(gè)區(qū)域會(huì)呈現(xiàn)不同的特征，且這些不同特征對(duì)于不同表情有著良好 地描述能力?；诖?，本發(fā)明就這三個(gè)人臉表情典型區(qū)域進(jìn)行自動(dòng)標(biāo)定，以進(jìn)行后續(xù)的研究 和分析。
[0011] 三個(gè)典型區(qū)域的自動(dòng)標(biāo)定，首先需要確定人臉的鼻尖點(diǎn)，然后再進(jìn)一步確定各個(gè) 區(qū)域。具體步驟如下：
[0012] (1)鼻尖點(diǎn)的確定
[0013] 本發(fā)明采用BU-3DFE三維人臉數(shù)據(jù)庫(kù)，由于此數(shù)據(jù)庫(kù)中的三維人臉點(diǎn)云都有嚴(yán)格 的坐標(biāo)限定，即采集實(shí)驗(yàn)者人臉點(diǎn)云時(shí)人臉與正對(duì)的三維數(shù)據(jù)采集設(shè)備平面連線并指向圖 像采集方向?yàn)閆軸正方向，與Z軸垂直平面為X軸、Y軸所在的二維平面，并且符合右手定則， 水平方向?yàn)閄軸，向右為X軸正方向，豎直方向?yàn)閅軸，向上為Y軸正方向。故由人臉解剖學(xué)可 以獲取人臉正面最高點(diǎn)，即該點(diǎn)坐標(biāo)的Z軸坐標(biāo)值最大點(diǎn)即為大體鼻尖端點(diǎn)。出于準(zhǔn)確性考 慮，提取Z軸坐標(biāo)最大點(diǎn)及其鄰接各點(diǎn)的三維坐標(biāo)，取平均以獲取更加準(zhǔn)確的鼻尖三維坐 標(biāo)。
[0014] (2)E區(qū)、N區(qū)和Μ區(qū)的自動(dòng)標(biāo)定
[0015] 沿下眼瞼，兩側(cè)外眼角劃分區(qū)域，這個(gè)區(qū)域?qū)~頭和雙眼，作為眼睛區(qū)域(Ε 區(qū)），以鼻尖點(diǎn)為原點(diǎn)，分別向嘴角的兩個(gè)邊界點(diǎn)做射線，這兩條射線之間的區(qū)域?yàn)樽彀蛥^(qū) 域(Μ區(qū)）。其余部分為兩頰區(qū)域(Ν區(qū)）。具體如圖4所示。
[0016] 3.典型區(qū)域三維特征提取
[0017] 當(dāng)人臉表情變化時(shí)，臉部的高低起伏也隨之變化。為了有效地描述這種變化的量 化規(guī)律，對(duì)人臉典型區(qū)域作等高線圖。對(duì)于人臉典型區(qū)域的等高線圖，本發(fā)明首先關(guān)注表情 變化時(shí)整個(gè)人臉典型區(qū)域等高線圖的變化，即人臉等高線圖的整體形態(tài)特征；隨后關(guān)注的 是人臉局部起伏程度及其變化，即人臉等高線圖坡度特征;最后，關(guān)注的是表情變化時(shí)，等 高線圖單條等高線走向的曲折變化，即彎曲度特征。用每個(gè)典型區(qū)域提取到的整體形態(tài)特 征、坡度特征和彎曲度特征，構(gòu)成特征矢量，全面地描述三維人臉表情特征。具體提取過程 如下：
[0018] (1)整體形態(tài)特征提取
[0019] 人臉等高線圖會(huì)根據(jù)人臉表情的不同而呈現(xiàn)出不同的形態(tài)。當(dāng)人臉表情發(fā)生變化 時(shí)，等高線圖的等高線數(shù)量和不同等高線圍成的基本形貌單元面積等都將發(fā)生變化。本發(fā) 明采取這兩個(gè)指標(biāo)來描述等高線圖的每個(gè)區(qū)域的整體形態(tài)特征。
[0020] 假設(shè)區(qū)域內(nèi)有m條等高線，被劃分為Τ個(gè)基本形貌單元，其中，第i個(gè)基本形貌單元 含有ΠΗ條等尚線，平均每個(gè)基本形貌單兀包含的等尚線為 ：樹。對(duì)等尚線數(shù)目進(jìn)彳丁規(guī) 范化處理后，即可算得由于等高線的多樣性而產(chǎn)生信息量Ι(χ，具體公式如下：
[0021]
(1 )
[0022] 假設(shè)形貌單元的覆蓋面積為Sl，整個(gè)等高線圖的面積為s，即可得形貌覆蓋區(qū)域面 積的信息量Ifc為：
[0023]
(2)
[0024] 最后，結(jié)合這兩種特征，即可得到等高線圖整體形態(tài)上的特征值Ιζτ，具體公式如 下：
[0025] Izt=Igc(iii)+Ifg(s) (3)
[0026] (2)坡度特征提取
[0027] 人臉在呈現(xiàn)不同表情特征時(shí)，臉部的高低起伏存在著較大的區(qū)別，這將造成人臉 等高線圖的等高線形態(tài)和臉部平均坡度發(fā)生變化?；诖?，進(jìn)行坡度信息特征提取的具體 過程如下：
[0028] 對(duì)于一個(gè)由mw條等高線組成的形貌Iw，按照一定的方向?qū)γ績(jī)蓷l相鄰等高線圍成 的區(qū)域求取坡度qp由于后續(xù)信息量度量?jī)H考慮坡度多樣性和差異性，即僅與坡度的相對(duì) 關(guān)系有關(guān)，而不涉及坡度絕對(duì)值，因而可將W簡(jiǎn)化表達(dá)為：
[0029] qj = aj/lj, 1 < j < mw (4)
[0030] 其中，1』和％分別為第j條與第j+1條等高線圍成區(qū)域的中軸線長(zhǎng)度和區(qū)域面積。
[0031] 對(duì)形貌Iw，依次求取各相鄰等高線間的坡度，并求取所有坡度的平均值q。代入公 式(5)即可得到形貌Iw的坡度差異性信息量。
[0032]
'(5)
[0033]由此，綜合坡度差異信息量，可得到等高線坡度特征i?表達(dá)式：
[0034]
(6)
[0035] 其中，T表示區(qū)域內(nèi)等高圖被分解為基本形貌單元的總數(shù)。
[0036] (3)彎曲度特征提取
[0037] 人臉表情的變化會(huì)導(dǎo)致人臉等高線圖中單條等高線的彎曲度和彎曲面積比發(fā)生 相應(yīng)變化。對(duì)于一幅人臉等尚線圖，不妨設(shè)有m條等尚線，對(duì)于其任一條等尚線L u，首先對(duì)等 高線進(jìn)行彎曲劃分，得到一個(gè)彎曲有序集。對(duì)該彎曲有序集中的每一個(gè)彎曲，采用式(7)和 (8)計(jì)算彎曲度f(wàn) uv和彎曲面積比puv。
[0038] (7)
[0039] ⑷
[0040] 其中，η為曲線的彎曲個(gè)數(shù)。luv是曲線Lu的第v個(gè)彎曲的曲線長(zhǎng)度，duv是第v個(gè)彎曲 底線寬度。s uv表示第v個(gè)彎曲的曲線長(zhǎng)度和底線寬度所圍成的面積，即彎曲面積表示所 有彎曲的彎曲面積均值。
[0041 ]從而，單條等高線的彎曲度特征IWQ (Lu)為：
[0042]
(9)
[0043] 等高線圖的彎曲度特征Iwq為：
[0044
(10)
[0045]其中，fuv對(duì)應(yīng)于等高線Lu經(jīng)彎曲劃分后的第v個(gè)彎曲的彎曲度;puv對(duì)應(yīng)于等高線L u 經(jīng)彎曲劃分后的第v個(gè)彎曲的彎曲面積比；Iwq(Lu)對(duì)應(yīng)等高線Lu包含的彎曲度信息量;Iwq為 整個(gè)區(qū)域內(nèi)所有等高線包含的彎曲度信息量。
[0046] 由公式(9)可得所有等高線的彎曲信息序列，求所有等高線的平均彎曲信息，記為 Iwp，則可得等高線的形態(tài)復(fù)雜度Ih為：
[0047]
(11 )
[0048] 則彎曲度信息總量I?為：
[0049] Iwd = Iwq+Iwx (12)
[0050] (4)典型區(qū)域特征矢量獲取
[0051 ]經(jīng)過上述步驟，可以獲取三個(gè)典型區(qū)域等高線圖的整體形態(tài)特征、坡度特征和彎 曲度特征，但根據(jù)人臉等高線的特征，兩頰部分，即N區(qū)，彎曲度特征變化不明顯，因此在N區(qū) 只選取整體形態(tài)特征和坡度特征進(jìn)行計(jì)算。
[0052] 所以，眼部區(qū)域(E區(qū)）、兩頰區(qū)域(N區(qū)）和嘴巴區(qū)域(M區(qū)）的三維特征分別可以表述 為：
[0053]
[0054]
[0055]
[0056] 4.典型區(qū)域二維特征提取
[0057]雖然三維表情識(shí)別的研究是近年來學(xué)術(shù)界針對(duì)表情識(shí)別的研究熱點(diǎn)，但是由于其 巨大的數(shù)據(jù)量，對(duì)計(jì)算機(jī)處理技能的要求，導(dǎo)致短期內(nèi)無(wú)法實(shí)現(xiàn)實(shí)時(shí)的三維表情識(shí)別。為了 減輕三維人臉表情識(shí)別的計(jì)算量，本發(fā)明結(jié)合由三維人臉映射得到的二維人臉進(jìn)行特征提 取與分析研究。
[0058]紋理是一種反映圖像中同質(zhì)現(xiàn)象的視覺特征，它體現(xiàn)了物體表面的具有緩慢變化 或者周期性變化