一種基于兩步降維和并行特征融合的人臉表情識(shí)別方法
【專利摘要】本發(fā)明請(qǐng)求保護(hù)一種基于兩步降維和并行特征融合的人臉表情識(shí)別方法，采用兩步降維：首先，利用主成分分析法（PCA）分別對(duì)待融合的兩類人臉表情特征在實(shí)數(shù)域內(nèi)進(jìn)行第一次降維，然后將降維后的特征在酉空間內(nèi)進(jìn)行并行特征融合；其次，提出一種基于酉空間的混合判別分析方法（HDA）作為酉空間的特征降維方法，通過對(duì)人臉表情分別提取局部二值模式（LBP）和Gabor小波兩類特征，并結(jié)合上述兩步降維框架，最后采用支持向量機(jī)（SVM）進(jìn)行分類和訓(xùn)練。所述方法能夠有效降低并行融合特征的維數(shù)，同時(shí)實(shí)現(xiàn)對(duì)于六種人臉基本表情的識(shí)別并有效提高了識(shí)別率。本方法能夠避免采用串行特征融合及單特征表情識(shí)別方法中所存在的種種弊端，并能被廣泛應(yīng)用于公共場(chǎng)合安全視頻監(jiān)控、車輛安全駕駛監(jiān)控、心理學(xué)研究、醫(yī)療監(jiān)控等模式識(shí)別領(lǐng)域。
【專利說明】一種基于兩步降維和并行特征融合的人臉表情識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及模式識(shí)別中的表情識(shí)別領(lǐng)域，具體涉及一種基于兩步降維和并行特征 融合的人臉表情識(shí)別方法。

【背景技術(shù)】
[0002] 人臉面部表情識(shí)別技術(shù)，也被稱為自動(dòng)人臉表情識(shí)別技術(shù)，是指利用程序算法使 機(jī)器能夠自動(dòng)識(shí)別不同類別的面部表情，即通過對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，從而具備了理解 和識(shí)別面部表情的能力。心理學(xué)家認(rèn)為，情感表達(dá)=7%語(yǔ)言+38%聲音+55%面部表情， 可見,面部表情可以很好地反應(yīng)一個(gè)人的情感表達(dá)?？梢哉f,面部表情是人類情感的最主 要載體，也是人類內(nèi)心世界的外在表現(xiàn)形式。作為人工智能的一個(gè)重要組成部分，計(jì)算機(jī)自 動(dòng)表情識(shí)別自上世紀(jì)七十年代提出以后，就一直是人工智能研究的熱點(diǎn)。表情識(shí)別的研究 涉及到生理學(xué)、認(rèn)知學(xué)、人工智能、模式識(shí)別、計(jì)算機(jī)視覺以及信息論、信號(hào)處理等多學(xué)科領(lǐng) 域。此外，人臉面部表情識(shí)別同樣具有廣泛的應(yīng)用前景，例如人機(jī)交互設(shè)備、心理學(xué)研究、遠(yuǎn) 程教育管理、車輛安全駕駛、公共場(chǎng)合安全視頻監(jiān)控、測(cè)謊儀、臨床醫(yī)學(xué)、醫(yī)療監(jiān)控等諸多領(lǐng) 域。
[0003] 目前，國(guó)內(nèi)外研究者在對(duì)表情識(shí)別進(jìn)行研究時(shí)通常會(huì)采用以下常見特征提取方 法，主要包括：（1)幾何特征；（2)統(tǒng)計(jì)學(xué)特征；(3)頻域特征；(4)紋理特征；(5)運(yùn)動(dòng)特征； (6)模型特征等。對(duì)于上述特征提取方法所提取出來的面部特征信息，有的側(cè)重于全局特征 的提取，有的則側(cè)重于局部信息的提取。如果僅僅采用單一特征提取方法進(jìn)行特征提取后， 對(duì)于模式對(duì)象的有效特征信息描述會(huì)顯得十分單一而不全面，因而導(dǎo)致模式識(shí)別效果十分 低下。而事實(shí)證明，對(duì)同一模式對(duì)象采用不同類別的特征提取方法進(jìn)行特征提取，并利用這 些多類別特征數(shù)據(jù)所構(gòu)成的組合特征數(shù)據(jù)進(jìn)行模式分類，其效果往往要好于采用單特征提 取方法。
[0004] 近年來，數(shù)據(jù)融合在多模情感識(shí)別領(lǐng)域迅速發(fā)展起來，并主要分成三類：像素級(jí)融 合、特征級(jí)融合和決策級(jí)融合。其中，特征級(jí)融合方法不僅可以從圖像中所獲取更多特征信 息，還可對(duì)多特征信息進(jìn)行融合從而獲取組合特征，從而進(jìn)一步增加數(shù)據(jù)區(qū)分度，同時(shí)降低 分類器的分類壓力。此外，特征級(jí)融合方法還保留了原始多特征中的有效鑒別信息，并且最 大程度地消除了數(shù)據(jù)冗余。
[0005] 常用的特征融合方法主要有：串行特征融合法和并行特征融合法。傳統(tǒng)串行特征 融合方法是將多種特征數(shù)據(jù)首尾相連以形成串行組合特征，融合后的特征維數(shù)為各維數(shù)之 和，因而容易引發(fā)維數(shù)災(zāi)難，并對(duì)后續(xù)訓(xùn)練和分類速度帶來嚴(yán)重影響。此外，高維數(shù)據(jù)維數(shù) 還會(huì)進(jìn)一步加深高維小樣本問題所帶來的矩陣奇異等問題，從而影響降維投影軸的求解。 而并行特征融合法是將兩類特征數(shù)據(jù)在復(fù)數(shù)域進(jìn)行特征融合，所得并行組合特征維數(shù)與其 中特征維數(shù)較高者相等，從而減少了出現(xiàn)串行特征融合中特征維數(shù)過高問題的可能性。因 此，考慮到特征融合前后特征維數(shù)偏高的可能性，需要對(duì)處于不同融合階段的特征數(shù)據(jù)進(jìn) 行特征降維。
[0006] 因此，有必要提供一種基于兩步降維和并行特征融合的表情識(shí)別方法來彌補(bǔ)上述 缺陷。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于有效地利用兩步降維和并行特征融合方法的優(yōu)勢(shì)，提供一種特 征融合后維數(shù)較傳統(tǒng)串行特征融合方法維數(shù)更低、兼顧全局描述及類間判別特征、能夠?qū)?酉空間數(shù)據(jù)進(jìn)行有效數(shù)據(jù)降維、識(shí)別率較高的人臉表情識(shí)別方法，實(shí)現(xiàn)對(duì)六類基本情感：高 興、悲傷、憤怒、厭惡、害怕和驚訝的有效識(shí)別。
[0008] 為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：
[0009] -種基于兩步降維和并行特征融合方法的表情識(shí)別方法，包括以下步驟：
[0010] 步驟1:對(duì)人臉表情圖像進(jìn)行裁剪及圖像預(yù)處理；
[0011] 步驟2 :分別利用LBP (局部二值模式local binary pattern)和Gabor小波對(duì)經(jīng) 過預(yù)處理后的人臉表情圖像進(jìn)行兩類特征提?。?br> [0012] 步驟3 :在實(shí)數(shù)域內(nèi)利用PCA (主成分分析法principal component analysis)分 別對(duì)兩類特征數(shù)據(jù)進(jìn)行一次降維；
[0013] 步驟4 :將經(jīng)過數(shù)據(jù)預(yù)處理后的兩組特征數(shù)據(jù)進(jìn)行并行特征融合；
[0014] 步驟5 :利用unitary-space HAD(基于酉空間的混合判別分析方法 unitary-space hybrid discriminant analysis, unitary-space)方法在酉空間內(nèi)對(duì)并行 融合特征進(jìn)行二次降維；
[0015] 步驟6 :利用支持向量機(jī)進(jìn)行訓(xùn)練和分類。
[0016] 所述步驟1進(jìn)一步包括：根據(jù)人眼瞳孔距d對(duì)每一幅人臉表情圖像區(qū)域進(jìn)行確定 及裁剪，將經(jīng)過裁剪后的彩色三通道圖像轉(zhuǎn)換成灰度單通道圖像；圖像預(yù)處理部分包括： 對(duì)經(jīng)過通道數(shù)轉(zhuǎn)換后的灰度圖像進(jìn)行尺寸歸一化，經(jīng)處理后圖像尺寸大小為120*120,并對(duì) 尺寸歸一化后的灰度圖像進(jìn)行直方圖均衡化處理。
[0017] 所述步驟2的特征提取進(jìn)一步包括：對(duì)預(yù)處理后的人臉表情圖像進(jìn)行分塊處理， 利用R = 2且P = 8的圓形規(guī)則化局部二值模式算法對(duì)圖像中每個(gè)分塊區(qū)域進(jìn)行局部紋理 特征信息提取，并最終形成531維數(shù)據(jù)為L(zhǎng)BP特征數(shù)據(jù)；利用Gabor小波對(duì)圖像中每個(gè)分塊 區(qū)域進(jìn)行小波統(tǒng)計(jì)學(xué)特征提取，使用5個(gè)尺度和8個(gè)方向構(gòu)造40組Gabor小波核函數(shù)，將 每個(gè)分塊區(qū)域圖像與上述函數(shù)組分別進(jìn)行卷積，并計(jì)算輸出分塊圖像上的像素平均值和標(biāo) 準(zhǔn)差數(shù)值信息作為小波特征數(shù)據(jù)，并最終形成720維數(shù)據(jù)作為Gabor小波特征數(shù)據(jù)。
[0018] 所述步驟4和步驟5的并行特征融合進(jìn)一步包括：首先，對(duì)兩類特征數(shù)據(jù)進(jìn)行數(shù)據(jù) 補(bǔ)齊及平衡性調(diào)整；其次，在復(fù)數(shù)域空間內(nèi)將經(jīng)過一次PCA降維的Gabor小波特征數(shù)據(jù)作為 復(fù)向量實(shí)部及LBP特征數(shù)據(jù)作為復(fù)向量虛部進(jìn)行并行特征融合；然后，通過對(duì)并行組合特 征在酉空間內(nèi)構(gòu)造類間散布矩陣Sb、類內(nèi)散布矩陣Sw以及整體協(xié)方差矩陣St并由此提出一 種兼顧全局描述信息和類間判別信息的酉空間數(shù)據(jù)降維方法，即酉空間混合判別分析法。 利用該方法來構(gòu)造酉空間最優(yōu)鑒別問題可以求解出酉空間二次降維投影矩陣，并將并行融 合特征數(shù)據(jù)在該投影方向上進(jìn)行二次降維。
[0019] 本發(fā)明的目的是為了解決現(xiàn)有單特征表情識(shí)別率較低、串行特征融合表情識(shí)別方 法所引起的特征維數(shù)較高、并行特征降維數(shù)據(jù)區(qū)分度低等情況下而提出的一種基于兩步降 維和并行特征融合的表情識(shí)別方法。與現(xiàn)有表情識(shí)別技術(shù)相比，本發(fā)明通過兩步降維框架 可對(duì)兩類人臉表情特征在實(shí)數(shù)域和復(fù)數(shù)域內(nèi)進(jìn)行有效降維；采用并行特征融合方法既保留 了參與融合的多特征有效鑒別信息，在最大程度上消除了多特征之間的冗余信息，并保留 了有效的目標(biāo)分類信息，實(shí)現(xiàn)了可觀的數(shù)據(jù)壓縮；而所提出的unitary-space HDA方法能 夠同時(shí)兼顧酉空間特征數(shù)據(jù)的全局描述信息和類間判別信息，并能夠?qū)崿F(xiàn)對(duì)酉空間數(shù)據(jù)的 有效降維，在提升數(shù)據(jù)區(qū)分度的同時(shí)也有效提高了表情識(shí)別率。
[0020] 本方法能夠有效降低并行融合特征的維數(shù)，同時(shí)實(shí)現(xiàn)對(duì)于六種人臉基本表情的識(shí) 別并有效提高了識(shí)別率。本方法能夠避免采用串行特征融合及單特征表情識(shí)別方法中所 存在的種種弊端，并能被廣泛應(yīng)用于公共場(chǎng)合安全視頻監(jiān)控、車輛安全駕駛監(jiān)控、心理學(xué)研 究、醫(yī)療監(jiān)控等模式識(shí)別領(lǐng)域。
[0021] 本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說明書中進(jìn)行闡述，并 且在某種程度上，基于對(duì)下文的考察研究對(duì)本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可 以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過說明書，權(quán)利要求書，以 及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

【專利附圖】

【附圖說明】
[0022] 圖1是一種基于兩步降維和并行特征融合的表情識(shí)別方法流程圖；
[0023] 圖2是unitary-space HDA最優(yōu)鑒別問題構(gòu)造流程圖。

【具體實(shí)施方式】
[0024] 下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施作進(jìn)一步的詳細(xì)說明。
[0025] 該方法的基本思想是：首先，對(duì)人臉表情圖像進(jìn)行圖像預(yù)處理并采用兩種特征提 取方法對(duì)其進(jìn)行多特征提??；然后，利用并行特征融合機(jī)制分別指定復(fù)向量的實(shí)數(shù)及虛 數(shù)部分，構(gòu)成并行組合特征?？紤]到該并行組合特征通常存在維數(shù)較高的問題，通過采用 兩步降維來解決上述問題。（1)第一步降維：首先，利用PCA在實(shí)數(shù)域內(nèi)對(duì)兩類特征數(shù)據(jù) 進(jìn)行一次降維，降維維數(shù)和主成分個(gè)數(shù)由主成分貢獻(xiàn)率決定；然后，對(duì)兩組降維輸出數(shù)據(jù) 分別進(jìn)行數(shù)據(jù)補(bǔ)齊及平衡性調(diào)整；最后，構(gòu)造并行組合特征；（2)第二步降維：首先，利用 unitary-space HDA方法來構(gòu)造最優(yōu)鑒別函數(shù)并對(duì)其進(jìn)行復(fù)特征分解并構(gòu)造降維投影軸； 然后，對(duì)并行組合特征數(shù)據(jù)在該投影方向上進(jìn)行二次降維。最后，將經(jīng)過兩步降維后的特征 數(shù)據(jù)送入分類器進(jìn)行分類及預(yù)測(cè)。
[0026] 參見圖1和圖2,本方法的具體步驟如下：
[0027] 步驟1 :利用OpenCV函數(shù)庫(kù)中的鼠標(biāo)響應(yīng)函數(shù)cvSetMouseCallBack對(duì)樣本集人 臉表情圖像進(jìn)行人眼瞳孔位置的手動(dòng)標(biāo)定，具體步驟：
[0028] 首先，利用鼠標(biāo)確定左瞳孔及右瞳孔坐標(biāo)位置分別為（X1, yi)、（x2, y2)，由此可以

【權(quán)利要求】
1. 一種基于兩步降維和并行特征融合的人臉表情識(shí)別方法，其特征在于，包括以下步 驟： 步驟1:對(duì)原始人臉表情圖像進(jìn)行裁剪及圖像預(yù)處理； 步驟2 :分別利用LBP和Gabor小波兩類特征提取方法對(duì)經(jīng)過預(yù)處理后的人臉表情圖 像進(jìn)行特征提?。? 步驟3 :在實(shí)數(shù)域內(nèi)利用PCA分別對(duì)兩組特征數(shù)據(jù)分別進(jìn)行第一次降維； 步驟4 :將經(jīng)過數(shù)據(jù)預(yù)處理后的兩組特征數(shù)據(jù)進(jìn)行并行特征融合； 步驟5 :利用unitary-space HDA方法在酉空間內(nèi)對(duì)并行融合特征進(jìn)行第二次降維； 步驟6 :利用支持向量機(jī)進(jìn)行數(shù)據(jù)分類和預(yù)測(cè)。
2. 如權(quán)利要求1所述的方法，其特征在于，所述步驟1進(jìn)一步包括：首先，對(duì)原始人臉 表情圖像確定人眼瞳孔距離山并以瞳孔中心位置為中軸線左右0. 9d長(zhǎng)度范圍為裁剪寬 度，以瞳孔中心位置以上〇.6d及以下1.6d長(zhǎng)度范圍為裁剪高度，確定出一個(gè)1.8dX2. 2d 的矩形范圍進(jìn)行裁剪；然后，對(duì)裁剪后的人臉表情圖像進(jìn)行灰度化處理并對(duì)該灰度圖像進(jìn) 行尺寸歸一化，歸一化后的圖像尺寸大小為120*120 ;最后，對(duì)歸一化后的灰度圖像進(jìn)行直 方圖均衡化預(yù)處理。
3. 如權(quán)利要求1所述的方法，其特征在于，所述步驟2進(jìn)一步包括：首先，對(duì)預(yù)處理后 的每一副人臉表情圖像進(jìn)行3*3個(gè)子塊的劃分，即可得9個(gè)表情子塊圖像，而每個(gè)子塊大小 為40*40 ;然后，利用利用LBP和Gabor小波這兩類特征提取方法分別對(duì)每一副表情圖像上 的每一個(gè)子塊圖像進(jìn)行特征提取。
4. 如權(quán)利要求3所述的方法，其特征在于：所述特征提取是：首先，利用P = 8, R = 2 即鄰域點(diǎn)個(gè)數(shù)為8、鄰域半徑為2的規(guī)則化圓形鄰域LBP算法對(duì)表情子塊圖像進(jìn)行局部紋理 特征提?。和ㄟ^中心像素值與鄰域像素值進(jìn)行閾值比較后所得二進(jìn)制序列進(jìn)行規(guī)則化判斷 及統(tǒng)計(jì)，最終在每一個(gè)子塊圖像上得到一個(gè)59維的特征數(shù)據(jù)，因而每一幅表情圖像的LBP 特征維數(shù)是：3*3*59 = 531維；然后，利用5個(gè)尺度和8個(gè)方向范圍內(nèi)的Gabor小波核函數(shù) 對(duì)表情子塊圖像進(jìn)行小波特征提?。簶?gòu)造40組Gabor小波高斯核函數(shù)并將其分別與每一副 表情圖像中的子塊圖像進(jìn)行卷積運(yùn)算后可得小波輸出圖像，并對(duì)輸出圖像的像素平均值及 標(biāo)準(zhǔn)差作為小波統(tǒng)計(jì)學(xué)特征數(shù)據(jù)，因而整幅圖像的小波特征維數(shù)是：3*3*5*8*2 = 720維。
5. 如權(quán)利要求1所述的方法，其特征在于，所述步驟3具體是利用PCA分別對(duì)兩組特征 數(shù)據(jù)在實(shí)數(shù)域內(nèi)進(jìn)行第一次降維，降維維數(shù)選擇及主成分值個(gè)數(shù)可由主成分貢獻(xiàn)率公式得 到。
6. 如權(quán)利要求1所述的方法，其特征在于，所述步驟4具體包括：先對(duì)降維后的兩組特 征數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)齊及數(shù)據(jù)平衡性調(diào)整，此時(shí)兩組特征數(shù)據(jù)的長(zhǎng)度及數(shù)值量綱基本統(tǒng)一； 然后，分別將Gabor小波特征數(shù)據(jù)作為并行組合特征的實(shí)數(shù)部分，將LBP特征數(shù)據(jù)作為并行 組合特征的虛數(shù)部分進(jìn)行特征融合。
7. 如權(quán)利要求1所述的方法，其特征在于，所述步驟5進(jìn)一步包括：首先，通過訓(xùn)練集 中的并行組合特征來構(gòu)造類間散布矩陣Sb、類內(nèi)散布矩陣Sw以及整體協(xié)方差矩陣St這三 類酉空間散布矩陣，并結(jié)合（入，n)參數(shù)調(diào)整來構(gòu)造unitary-space HDA最優(yōu)鑒別問題，取 (入，n) = (0.5, 0.5);然后，對(duì)上述最優(yōu)鑒別問題進(jìn)行復(fù)特征分解以求解酉空間二次降維 投影矩陣，并將訓(xùn)練集和測(cè)試集并行組合特征數(shù)據(jù)在該投影方向上進(jìn)行二次降維。
8.如權(quán)利要求1所述的方法，其特征在于：所述步驟6具體包括：首先，將訓(xùn)練集數(shù)據(jù) 經(jīng)過如權(quán)利要求1中所述步驟1至步驟5處理后所得并行組合特征以及6類基本表情的樣 本標(biāo)簽作為支持向量機(jī)的訓(xùn)練輸入，并將徑向基函數(shù)作為內(nèi)核函數(shù)將訓(xùn)練集數(shù)據(jù)從低維向 高維投影后進(jìn)行數(shù)據(jù)訓(xùn)練，并得到訓(xùn)練集的分類模型；然后，將測(cè)試集數(shù)據(jù)同樣經(jīng)過如權(quán)利 要求1中所述步驟1至步驟5處理后所得并行組合特征作為支持向量機(jī)的預(yù)測(cè)輸入，并通 過已經(jīng)建立好的分類模型對(duì)表情進(jìn)行預(yù)測(cè)。
【文檔編號(hào)】G06K9/00GK104408440SQ201410756812
【公開日】2015年3月11日 申請(qǐng)日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】楊勇, 蔡舒博, 郭艷 申請(qǐng)人:重慶郵電大學(xué)