本發(fā)明屬于圖像分類
技術(shù)領(lǐng)域：
，涉及了一種人臉表情識別方法。
背景技術(shù)：
：人臉面部表情是人類表達(dá)內(nèi)在情緒的一種非語言的交流方式。在不同文化、不同種族的人類大環(huán)境下，心理學(xué)家將六種基本表情(高興、悲傷、害怕、沮喪、驚訝、生氣)作為廣泛的具有共性的表情特征。隨著行為科學(xué)，人機(jī)交互等人工智能領(lǐng)域的發(fā)展，人臉表情識別技術(shù)已經(jīng)得到越來越多的關(guān)注。人臉表情識別的目的是在人臉圖像的范圍內(nèi)提取出對表情識別有利的特征，并以此特征為基礎(chǔ)進(jìn)行表情分類，因此提取出信息豐富易于分類的特征可提高表情分類的準(zhǔn)確度。gabor小波是對人們感興趣的圖像區(qū)域提取信息，具有優(yōu)良的空間局部性和方向選擇性，能夠抓住圖像局部區(qū)域內(nèi)多個(gè)方向的空間頻率(尺度)和局部性結(jié)構(gòu)特征。雖然gabor小波提取的是圖像的紋理信息，但是對于gabor小波設(shè)置的參數(shù)不同，提取圖像特征也有不同，并且利用gabor小波提取的特征維數(shù)高，計(jì)算量大，計(jì)算時(shí)間長。hog特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子，它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。hog特征可以很好的描述人臉圖像局部目標(biāo)的形狀(例如嘴，眼等部位)邊緣的方向密度分布，雖具有計(jì)算簡單，抗干擾能力強(qiáng)的優(yōu)點(diǎn)，但沒有旋轉(zhuǎn)和尺度不變性。在人臉表情識別過程中，最重要的一步是要提取利于分類的表情特征，而在人臉圖像中往往包含許多冗余信息，因此對人臉表情特征融合的意義在于通過優(yōu)化組合，處理兩種特征矢量之間的相互依賴關(guān)系，既保留了有效的表情鑒別信息，又在一定程度上消除了冗余信息，這種新興數(shù)據(jù)處理技術(shù)逐漸成為當(dāng)前模式識別領(lǐng)域研究的熱點(diǎn)方向。技術(shù)實(shí)現(xiàn)要素：為了解決上述
背景技術(shù)：
提出的技術(shù)問題，本發(fā)明旨在提供一種基于特征融合的人臉表情識別方法，克服現(xiàn)有表情識別方法圖像提取特征維數(shù)高、特征包含冗余信息多的難題。為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案為：一種基于特征融合的人臉表情識別方法，包括以下步驟：(1)選擇不同類型的人臉表情圖像作為訓(xùn)練樣本，對人臉表情圖像進(jìn)行幾何校正和尺寸歸一化的預(yù)處理；(2)分別提取人臉表情圖像的hog特征和gabor小波特征；(3)將同類人臉表情圖像的hog特征和gabor小波特征進(jìn)行特征融合；(4)將每類人臉表情圖像融合后得到的新特征作為稀疏表示分類的字典，進(jìn)行稀疏表示分類；(5)將未知的人臉表情圖像作為測試樣本，按照(1)-(4)，得到分類結(jié)果。進(jìn)一步地，在步驟(2)中，提取hog特征的過程如下：(a)設(shè)置hog特征提取參數(shù)，包括每個(gè)細(xì)胞單元的像素大小、每個(gè)細(xì)胞單元劃分的方向、合成一個(gè)圖像塊所需的細(xì)胞單元個(gè)數(shù)以及圖像塊的重疊率；(b)計(jì)算圖像中每個(gè)像素點(diǎn)的梯度：上式中，h(x,y)為圖像中點(diǎn)(x,y)處的像素值，gx(x,y)、gy(x,y)分別為圖像中點(diǎn)(x,y)在x、y方向的梯度；(c)計(jì)算梯度的幅值g(x,y)和方向α(x,y)：(d)按照梯度方向與細(xì)胞單元的劃分方向?qū)?yīng)原則進(jìn)行梯度幅值直方圖統(tǒng)計(jì)，得到hog特征。進(jìn)一步地，在步驟(2)中，提取gabor小波特征的過程如下：(a)設(shè)置gabor小波特征提取參數(shù)，包括2維gabor濾波的尺度、方向，以及gabor濾波器窗口的大??；(b)按照下式對人臉表情圖像進(jìn)行2維gabor濾波，提取出gabor小波特征：xp＝x·cosθ+y·sinθyp＝y(tǒng)·cosθ-x·sinθ上式中，(x,y)是圖像中點(diǎn)的位置，f是gabor濾波的尺度，θ是gabor濾波的角度，sx、sx為gabor濾波器窗口的尺寸。進(jìn)一步地，在步驟(a)中，設(shè)置2維gabor濾波的尺度gabor濾波的方向進(jìn)一步地，步驟(3)的具體過程如下：(ⅰ)將同類人臉表情圖像的hog特征和gabor小波特征放在一起，設(shè)hog特征為x，gabor小波特征為y，計(jì)算x的自協(xié)方差矩陣cxx、y的自協(xié)方差矩陣cyy、以及x、y的互協(xié)方差矩陣cxy；(ⅱ)計(jì)算cxx和cyy的秩和特征向量，設(shè)cxx的秩為h，cyy的秩為g，在cxx的特征向量中選取h個(gè)特征向量組成矩陣m，在cyy的特征向量中選取g個(gè)特征向量組成矩陣n；(iii)根據(jù)高維空間到低維空間的轉(zhuǎn)換公式，計(jì)算低維空間中x的自協(xié)方差矩陣lxx、y的自協(xié)方差矩陣lyy以及x、y的互協(xié)方差矩陣lxy、lyx：(ⅳ)設(shè)wx為在低維空間中x的投影矩陣，wy為在低維空間中y的投影矩陣，建立如下優(yōu)化模型，要求兩組投影矩陣中對應(yīng)投影矢量關(guān)系最大化：上式中，j為優(yōu)化模型的目標(biāo)函數(shù)，wx＝(α1,α2,...,αk)，wy＝(β1,β2,...,βk)，αi、βi為第i對關(guān)系最大投影矢量；(ⅴ)計(jì)算融合特征：上式中，z為復(fù)向量，將z的虛部的數(shù)值與實(shí)部數(shù)值首尾相連，得到用于分類的融合特征。進(jìn)一步地，在步驟(ⅳ)中，采用拉格朗日乘數(shù)法，將優(yōu)化模型的求解轉(zhuǎn)化為兩個(gè)廣義特征方程組的求解：上式中，λ為的特征值；計(jì)算g1、g2的秩和特征向量，根據(jù)g1、g2的秩選取g1、g2特征向量的個(gè)數(shù)，組成矩陣p、q；根據(jù)矩陣p、q計(jì)算出投影矩陣wx、wy：采用上述技術(shù)方案帶來的有益效果：(1)本發(fā)明將同一類的兩種特征融合，突出了人臉圖像的表情特征，在一定程度上消除冗余信息，降低了特征維數(shù)，將融合后的特征作為稀疏表示分類的字典，進(jìn)行稀疏表示分類，能夠獲得較精確的人臉表情圖像分類結(jié)果；(2)在本發(fā)明中，hog特征提取的是人臉局部形狀信息，gabor小波提取的是紋理信息，兩種信息既有互補(bǔ)也有冗余，通過特征融合技術(shù)將有相關(guān)性的表情特征保留，去除冗余特征；(3)在gabor小波特征提取時(shí)，針對不同類表情圖像特點(diǎn)，提取特征時(shí)每類圖像對應(yīng)的gabor小波參數(shù)設(shè)置不同，以獲得利于鑒別各類表情的特征。附圖說明圖1是本發(fā)明的流程圖；圖2是人臉表情圖像的hog特征示意圖；圖3是人臉表情圖像5個(gè)尺度8個(gè)方向的gabor濾波效果圖。具體實(shí)施方式以下將結(jié)合附圖，對本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。一種基于特征融合的人臉表情識別方法，如圖1所示，具體步驟如下。步驟1：選擇不同類型的人臉表情圖像作為訓(xùn)練樣本，對人臉表情圖像進(jìn)行幾何校正和尺寸歸一化的預(yù)處理。在本實(shí)施例中，選擇jaffe日本女性表情庫作為訓(xùn)練集，庫中表情圖像按照表情變化不同分為六類，分別為生氣、厭惡、害怕、高興、悲傷和驚奇。其中生氣表情圖像為31幅，厭惡表情圖像為29幅，害怕表情圖像為32幅，高興表情圖像為31幅，悲傷表情圖像為31幅，驚奇表情圖像為30幅。在本實(shí)施例中，可以把人臉表情圖像統(tǒng)一規(guī)劃為64*64的圖像。步驟2：分別提取人臉表情圖像的hog特征和gabor小波特征。1)提取hog特征首先，設(shè)置hog特征提取參數(shù)，包括每個(gè)細(xì)胞單元的像素大小、每個(gè)細(xì)胞單元劃分的方向、合成一個(gè)圖像塊所需的細(xì)胞單元個(gè)數(shù)以及圖像塊的重疊率。在本實(shí)施例中，每個(gè)細(xì)胞取8×8的像素大小，每個(gè)細(xì)胞單元劃分9個(gè)方向，2×2個(gè)細(xì)胞單元合成一個(gè)圖像塊，圖像塊的重疊率為0.5，因此一幅圖像的hog特征為1764維。接著，計(jì)算圖像中每個(gè)像素點(diǎn)的梯度：上式中，h(x,y)為圖像中點(diǎn)(x,y)處的像素值，gx(x,y)、gy(x,y)分別為圖像中點(diǎn)(x,y)在x、y方向的梯度；然后，計(jì)算梯度的幅值g(x,y)和方向α(x,y)：最后，按照梯度方向與細(xì)胞單元的劃分方向?qū)?yīng)原則進(jìn)行梯度幅值直方圖統(tǒng)計(jì)，得到hog特征，如圖2所示。2)提取gabor小波特征首先，設(shè)置gabor小波特征提取參數(shù)，包括2維gabor濾波的尺度、方向，以及gabor濾波器窗口的大小。在本實(shí)施例中，采用5個(gè)尺度、8個(gè)方向進(jìn)行2維gabor濾波：gabor濾波器窗口大小為4×4，具體如表1所示。表1表情類fθ生氣1/83π/8厭惡1/86π/8害怕1/104π/8高興1/102π/8悲傷1/83π/8驚奇1/62π/8然后，按照下式對人臉表情圖像進(jìn)行2維gabor濾波，提取出gabor小波特征：xp＝x·cosθ+y·sinθyp＝y(tǒng)·cosθ-x·sinθ上式中，(x,y)是圖像中點(diǎn)的位置，sx、sx為gabor濾波器窗口的尺寸。通過對5個(gè)尺度8個(gè)方向的gabor濾波器提取表情特征的效果，選擇出了六類表情對應(yīng)的gabor濾波器的最優(yōu)參數(shù)，gabor小波提取出的每類表情的特征維數(shù)為4096維。如圖3所示。步驟3：將同類人臉表情圖像的hog特征和gabor小波特征進(jìn)行特征融合，具體過程如下：(1)將同類人臉表情圖像的hog特征和gabor小波特征放在一起，設(shè)hog特征為x，gabor小波特征為y，計(jì)算x的自協(xié)方差矩陣cxx、y的自協(xié)方差矩陣cyy、以及x、y的互協(xié)方差矩陣cxy。(2)計(jì)算cxx和cyy的秩和特征向量，設(shè)cxx的秩為h，cyy的秩為g，在cxx的特征向量中選取h個(gè)特征向量組成矩陣m，在cyy的特征向量中選取g個(gè)特征向量組成矩陣n。(3)根據(jù)高維空間到低維空間的轉(zhuǎn)換公式，計(jì)算低維空間中x的自協(xié)方差矩陣lxx、y的自協(xié)方差矩陣lyy以及x、y的互協(xié)方差矩陣lxy、lyx：(4)設(shè)wx為在低維空間中x的投影矩陣，wy為在低維空間中y的投影矩陣，建立如下優(yōu)化模型，要求兩組投影矩陣中對應(yīng)投影矢量關(guān)系最大化：上式中，j為優(yōu)化模型的目標(biāo)函數(shù)，wx＝(α1,α2,...,αk)，wy＝(β1,β2,...,βk)，αi、βi為第i對關(guān)系最大投影矢量。在本實(shí)施例中，采用拉格朗日乘數(shù)法，將優(yōu)化模型的求解轉(zhuǎn)化為兩個(gè)廣義特征方程組的求解：上式中，λ為的特征值。計(jì)算g1、g2的秩和特征向量，根據(jù)g1、g2的秩選取g1、g2特征向量的個(gè)數(shù)，組成矩陣p、q；根據(jù)矩陣p、q計(jì)算出投影矩陣wx、wy：計(jì)算融合特征：上式中，z為復(fù)向量，將z的虛部的數(shù)值與實(shí)部數(shù)值首尾相連，得到用于分類的融合特征，融合特征維數(shù)為62維。步驟4：將每類人臉表情圖像融合后得到的新特征作為稀疏表示分類的字典，進(jìn)行稀疏表示分類。在得到新特征的每個(gè)表情類中隨機(jī)提取20幅圖像作為訓(xùn)練樣本，實(shí)驗(yàn)做10次，并對訓(xùn)練樣本做標(biāo)簽(生氣為1，厭惡為2、害怕為3、高興為4、悲傷為5和驚奇為6)。每個(gè)表情類除了提取的20幅訓(xùn)練樣本之外，剩余的圖像做測試樣本，生氣表情測試圖像為11幅，厭惡表情測試圖像為9幅、害怕表情測試圖像為12、高興表情測試圖像為11、悲傷表情測試圖像為11幅、驚奇表情測試圖像為10幅。將每類測試圖像進(jìn)行稀疏表示分類，得到的每個(gè)表情分類精度。表2給出了本發(fā)明與傳統(tǒng)基于單一特征的識別方法所需的維數(shù)以及計(jì)算時(shí)間，表3為本發(fā)明的稀疏表示分類結(jié)果。由此可以看出，本發(fā)明與傳統(tǒng)基于單一特征的識別方法相比，在一定程度上消除了冗余信息，更有助于提取人臉表情的細(xì)節(jié)信息，大大縮小了特征維數(shù)，計(jì)算精度較高，計(jì)算時(shí)間少，魯棒性好。表2特征維數(shù)計(jì)算時(shí)間hog+src1764254.795gabor+src4096266.458特征融合+src62208.554表3實(shí)施例僅為說明本發(fā)明的技術(shù)思想，不能以此限定本發(fā)明的保護(hù)范圍，凡是按照本發(fā)明提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動，均落入本發(fā)明保護(hù)范圍之內(nèi)。當(dāng)前第1頁12