經(jīng)彎曲劃分后的第v個彎曲的彎曲面積比；i?(Lu)對應(yīng)等高線Lu包含的彎曲度信息量;i?為 整個區(qū)域內(nèi)所有等高線包含的彎曲度信息量。
[0129] 由公式(29)可得所有等高線的彎曲信息序列，求所有等高線的平均彎曲信息，記 為Iw，則可得等高線的形態(tài)復(fù)雜度Ih為：
[0130]
(31) u
[0131] 則彎曲度信息總量I?為：
[0132] Iwd = Iwq+Iwx (32)
[0133] (4)根據(jù)步驟(1)(2)(3)，可以獲取E區(qū)、N區(qū)和Μ區(qū)的三維特征分別為：
[0134] IE = {IEZTJFpDjfrjy\ (33)
[0135] ΙΝ = {Ι^ηΙλρο} (34)
[0136] = (35)
[0137] 4.典型區(qū)域二維特征提取
[0138] 為了更好地描述典型區(qū)域的紋理特征，本發(fā)明提出了一種改進(jìn)型LBP紋理特征提 取算法，具體流程如下：
[0139] (1)E區(qū)、N區(qū)、Μ區(qū)構(gòu)造3層高斯金字塔
[0140] 以Ε區(qū)、Ν區(qū)和Μ區(qū)圖像作為輸入圖像，分別構(gòu)造3層高斯金字塔。第0層為輸入圖像， 第1層和第2層圖像大小分別為原區(qū)域的1/2和1/4。
[0141] (2)紋理特征的提取
[0142] 提取3個典型區(qū)域輸入圖像的LBP紋理特征，提取步驟如下：
[0143] 假設(shè)像素 c(灰度值為g。)擁有Ρ個鄰域像素(灰度值為ge，l Se^P)。首先將圖像分 為若干個細(xì)胞。對細(xì)胞中的每一個像素，確定其為候選像素，其周圍的像素定義為鄰域像 素。
[0144] 然后計算候選像素與其各鄰域像素灰度值的差值PU。。并根據(jù)如下公式計算該候 選像素的局部二元模式特征值：
[0145]
(36) 0-1
[0146] 其中
在此LBP算法中，鄰域像素點(diǎn)集是以中心像素點(diǎn)為 圓心、半徑為R的一個環(huán)形鄰域點(diǎn)集。最后使用統(tǒng)計方法提取圖像中所有像素點(diǎn)的局部二元 模式特征值，得到LBP紋理直方圖，記為LBP(p,r)。本發(fā)明選取P = 8和R=l。
[0147] 由于高斯金字塔每層圖像是由圖像降采樣獲取，因此，選取每層圖像的LBP紋理特 征為:1^?(以)，1^? (沙,測和1^?講,如。結(jié)合提取到的3層金字塔的1^?紋理特征，進(jìn)行如下融 合，得到改進(jìn)的LBP特征描述符LBP finai。
[0148] LBPfinai={LBP(8，1)，LBP (16,2)，LBP(24,3)} (37)
[0149] 所以，E區(qū)、N區(qū)和Μ區(qū)的LBP紋理特征可以表述為：
[0150] (38)
[0151] (39)
[0152] (40)
[0153] 5. SVM訓(xùn)練
[0154] 根據(jù)步驟3和4,分別得到三維人臉典型區(qū)域的三維特征和二維特征，為了更好地 觀察特征對于三維人臉的貢獻(xiàn)程度，將它們進(jìn)行高斯歸一化，并進(jìn)行特征融合。具體實(shí)施 步驟如下：
[0155] 對獲取的三維人臉典型區(qū)域的三維和二維特征進(jìn)行高斯歸一化，得到如下結(jié)果：
[0156]
[0157] 將每個典型區(qū)域的三維特征和二維特征進(jìn)行如下方式融合：
[0158]
[0159] 最后，選取BU-3DFE數(shù)據(jù)庫中60個人的三維人臉數(shù)據(jù)進(jìn)行訓(xùn)練和實(shí)驗。每人24個三 維表情，共1440個表情，這60個人被分成10組，利用SVM進(jìn)行訓(xùn)練，9組拿來訓(xùn)練，1組驗證訓(xùn) 練效果。結(jié)果計入下表，觀察訓(xùn)練后三維人臉表情識別效果。（單位：％)
[0160]
[0161] 從上述訓(xùn)練后的識別結(jié)果可以得知，眼睛區(qū)域(E區(qū)）對于憤怒表情的影響最大，識 別準(zhǔn)確率為76.12%，遠(yuǎn)遠(yuǎn)超過了對于其他表情的識別準(zhǔn)確率;而兩頰區(qū)域(N區(qū)）對于高興、 悲傷、憤怒和恐懼表情的識別影響程度相當(dāng)，無明顯的甄別能力；利用嘴巴區(qū)域(M區(qū)）的融 合特征進(jìn)行訓(xùn)練后，對于悲傷表情的識別準(zhǔn)確率為75.32%，M區(qū)對于悲傷表情有著很好的 識別效果。
[0162] 通過上述實(shí)驗，我們可以發(fā)現(xiàn)憤怒表情可以僅由E區(qū)特征進(jìn)行識別，悲傷表情僅由 Μ區(qū)特征進(jìn)行識別，無需利用三個區(qū)域共同進(jìn)行識別，可以有效地降低算法復(fù)雜度，同時，可 以有效地觀察出不同區(qū)域?qū)Σ煌砬榈呢暙I(xiàn)程度。
[0163] 最后，利用三個區(qū)域融合特征(4, i^L',4；，進(jìn)行上述實(shí) 驗，得到本算法最后的識別平均準(zhǔn)確度為71.13%。結(jié)果證明了本算法有著較好的表情識別 準(zhǔn)確率。
【主權(quán)項】
1. 一種基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征包括以下步驟： (1) 對三維人臉數(shù)據(jù)預(yù)處理以獲取更規(guī)格化的三維人臉點(diǎn)云數(shù)據(jù)，根據(jù)實(shí)際需要預(yù)處 理操作包括剪切、去刺、平滑、補(bǔ)洞、坐標(biāo)校正、網(wǎng)格對齊重采樣； (2) 實(shí)現(xiàn)三維人臉表情典型區(qū)域的自動標(biāo)定，典型區(qū)域包括眼部區(qū)域(E區(qū)）、兩頰區(qū)域 (N區(qū)）和嘴巴區(qū)域(Mg); (3) 獲取典型區(qū)域的等高線圖，根據(jù)等高線圖，分別提取典型區(qū)域的整體形態(tài)特征、坡 度特征和彎曲度特征，并進(jìn)行特征融合，得到典型區(qū)域三維特征； (4) 將三維人臉典型區(qū)域映射到二維平面，分別對典型區(qū)域二維圖像構(gòu)造3層高斯金字 塔，提取金字塔每層的LBP紋理特征，綜合3層LBP特征，得到典型區(qū)域的二維紋理特征； (5) 對典型區(qū)域的三維特征和二維特征分別進(jìn)行高斯歸一化和特征融合，針對典型區(qū) 域融合特征進(jìn)行SVM訓(xùn)練，實(shí)現(xiàn)三維人臉表情識別。2. 根據(jù)權(quán)利要求1所述的基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征 在于:所述步驟（1)中，根據(jù)實(shí)際需求，對三維人臉點(diǎn)云數(shù)據(jù)進(jìn)行剪切、去刺、平滑、補(bǔ)洞、坐 標(biāo)校正、網(wǎng)格對齊重采樣的一種或幾種預(yù)處理操作。3. 根據(jù)權(quán)利要求1所述的基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征 在于:所述步驟(2)中，根據(jù)選取的BU-3DFE三維人臉數(shù)據(jù)庫的特點(diǎn)，得到人臉鼻尖點(diǎn)位置； 并根據(jù)鼻尖點(diǎn)位置，進(jìn)行E區(qū)、N區(qū)和Μ區(qū)的自動標(biāo)定。4. 根據(jù)權(quán)利要求1所述的基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征 在于:所述步驟(3)中，典型區(qū)域等高線圖的整體特征Ιζτ提取公式： 假設(shè)等高線圖有m條等高線，被劃分為Τ個基本地貌單元，其中，第個基本地貌單元含 有mi條等尚線，平均每個基本地貌單兀包含的等尚線為m = ot/Γ ;地貌單兀的覆蓋面積特 征指標(biāo)Si，等尚線圖總面積為s;其中，ICC和IFC分別表示等高線圖高差特征的多樣性產(chǎn)生的信息量和地貌單元覆蓋區(qū)域 的差異信息量。5. 根據(jù)權(quán)利要求1所述的基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征 在于:所述步驟(3)中，典型區(qū)域等高線圖的鄰域特征I?提取公式： 假設(shè)形貌Iw有^條等高線，每兩條相鄰等高線圍成的區(qū)域求取坡度w，具體表述為： Qj = aj/lj, 1 < j < niw (2) 其中，ljPa」分別為第j條與第j+1條等高線圍成區(qū)域的中軸線長度和區(qū)域面積； 對形貌Iw，依次求取各相鄰等高線間的坡度，并求取所有坡度的平均值q;形貌Tw的坡度 差異性信息量Ipd(Tw)為：6. 根據(jù)權(quán)利要求1所述的基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征 在于:所述步驟(3)中，典型區(qū)域等高線圖的元素特征Iw Q提取公式：其中，η為曲線的彎曲個數(shù)，m表不等尚線圖有m條等尚線，fuv對應(yīng)于等尚線Lu經(jīng)彎曲劃 分后的第v個彎曲的彎曲度;puv對應(yīng)于等高線Lu經(jīng)彎曲劃分后的第v個彎曲的彎曲面積比； Iw Q(Lu)對應(yīng)等高線Lu包含的彎曲度信息量;^為整個區(qū)域內(nèi)所有等高線包含的彎曲度信息 量； 等高線的形態(tài)復(fù)雜度Ih為：則彎曲度信息總量I?為： Iwd= Iwq+Iwx (6) 〇7. 根據(jù)權(quán)利要求1所述的基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征 在于:所述步驟(4)中，典型區(qū)域二維特征提取過程:首先構(gòu)造典型區(qū)域3層高斯金字塔，并 分別提取高斯金字塔每層的LBP紋理特征，結(jié)合各層紋理特征，得到典型區(qū)域紋理特征公式 如下：其中，和分別表示最終提取的Ε區(qū)、Ν區(qū)和Μ區(qū)改進(jìn)的紋理特征； 別表示Ε區(qū)半徑為1、2、3,鄰域像素為8、16、24的LBP紋理特征； N區(qū)和Μ區(qū)的紋理特征與E區(qū)相同。8. 根據(jù)權(quán)利要求1所述的基于典型區(qū)域多維度特征的三維人臉表情識別算法，其特征 在于:所述步驟(5)中，對典型區(qū)域三為特征和二維特征進(jìn)行高斯歸一化并融合，根據(jù)典型 區(qū)域融合特征進(jìn)行SVM訓(xùn)練，實(shí)現(xiàn)三維人臉表情識別。
【專利摘要】本發(fā)明提出一種基于典型區(qū)域多維度特征的三維人臉表情識別算法，具體包括以下步驟：首先，對三維人臉數(shù)據(jù)進(jìn)行預(yù)處理操作，獲取更規(guī)格化的點(diǎn)云數(shù)據(jù)；接著，進(jìn)行三維人臉表情典型區(qū)域的自動標(biāo)定，根據(jù)鼻尖點(diǎn)位置，完成眼部區(qū)域(E區(qū))、鼻子區(qū)域(N區(qū))和嘴巴區(qū)域(M區(qū))的自動標(biāo)定；然后，分別提取三個典型區(qū)域的三維特征和二維特征，進(jìn)行高斯歸一化，并特征融合；最后，根據(jù)各典型區(qū)域的融合特征進(jìn)行SVM訓(xùn)練，實(shí)現(xiàn)三維人臉表情識別。本發(fā)明不僅能觀察出人臉不同區(qū)域?qū)τ诓煌砬榈呢暙I(xiàn)程度，而且能有效地識別三維人臉的不同表情。
【IPC分類】G06K9/00
【公開號】CN105678235
【申請?zhí)枴緾N201511021337
【發(fā)明人】蔡軼珩, 盛楠, 詹昌飛, 崔益澤, 高旭蓉, 邱長炎
【申請人】北京工業(yè)大學(xué)
【公開日】2016年6月15日
【申請日】2015年12月30日