本發(fā)明的技術(shù)方案涉及圖像特征或特性的抽取，具體地說是基于動態(tài)紋理特征的人臉表情的分類與識別方法。
背景技術(shù)：
：隨著人機智能交互的發(fā)展，人臉表情的分類與識別的研究越來越多的受到人們的重視，成為圖像處理和模式識別領(lǐng)域的一個研發(fā)熱點。常見的人臉表情的分類與識別方法分為基于全局特征和基于局部特征兩類。基于全局特征的方法有主成分分析(PCA)、線性判別分析(LDA)和獨立成分分析(ICA)等，這類方法通過映射得到人臉表情的特征空間從而進行判別與分析，因此依賴于圖像像素之間的相關(guān)性；基于局部特征的方法有尺度不變特征轉(zhuǎn)換(SIFT)和局部二值模式(LBP)等，其中SIFT在平移和旋轉(zhuǎn)方面具有較好的穩(wěn)定性，且能夠提取到豐富的特征信息，但是容易存在不穩(wěn)定的極值點，生成的特征向量的維數(shù)較高。Ojala等人首次提出了局部二值模式(LBP)，由于其計算簡單且有效，具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點，已廣泛地應(yīng)用于紋理分類、目標(biāo)檢測和圖像分析領(lǐng)域。傳統(tǒng)的LBP算子產(chǎn)生的特征向量維數(shù)很高，影響識別效率，同時沒有考慮中心像素對周圍像素的影響，在特定情況下丟失了一些局部結(jié)構(gòu)信息，使得識別率降低；LBP算子運算后得到的二值數(shù)據(jù)對噪聲敏感，魯棒性差。為此，Tan和Triggs提出了局部三值模式(LTP)，與LBP算子的不同之處在于量化閾值的選取，以及量化函數(shù)由二值拓展為三值化函數(shù)，使得LTP的抗噪性能有所提高。局部五值模式(LQP)是在LTP的基礎(chǔ)上改變量化函數(shù)，對中心像素周圍的鄰域點進行五值量化，更加充分地體現(xiàn)出像素點之間的差異，但是計算量較大。Zhao等人于2007年提出了立體局部二值模式(VLBP)和三維正交平面局部二值模式(LBP-TOP)兩種動態(tài)特征提取方法，用于分析人臉表情圖像序列或視頻，VLBP算子將原始的LBP算子從二維空間擴展到三維空間，對三維空間中的鄰域點與中心像素點進行比較；LBP-TOP算子是在人臉表情圖像序列中的三個正交平面上分別提取LBP碼來有效地獲取人臉表情圖像序列的時空特征信息。由于Gabor小波具有很好的頻率和方向選擇性，Almaev等人提出了LGBP-TOP算子，將LBP與Gabor濾波相結(jié)合在三個正交平面上提取人臉的動態(tài)時空紋理特征。中心化二值模式(CBP)在LBP算子的基礎(chǔ)上加入了中心像素對周圍像素的影響，通過比較中心像素點的環(huán)形鄰域中的近鄰點對來計算人臉表情圖像的CBP碼，對于沒有落在像素點中心的近鄰點，采用雙線性插值法獲得其灰度值，從而更加全面地描述人臉表情圖像的紋理信息。Heikkila等人提出的中心對稱局部二值模式(CS-LBP)算子引入了中心對稱思想，通過比較基于中心像素對稱的近鄰點對的像素值對人臉表情圖像進行編碼。CN103971095A公開了一種基于多尺度LBP和稀疏編碼的人臉表情識別方法，該方法利用多尺度LBP提取人臉的表情特征，然后采用稀疏編碼對表情進行分類與識別，雖然有較好的魯棒性，但是增加了算法的計算量。目前的表情識別方法中CS-LBP算子運算簡單，與傳統(tǒng)的LBP相比產(chǎn)生的特征維數(shù)低，但是沒有考慮中心像素對周圍像素的影響，提取表情特征時閾值不能自動選取，對光照和姿態(tài)的變化具有較差的魯棒性，在表情識別中所取得的效果不太令人滿意。技術(shù)實現(xiàn)要素：本發(fā)明所要解決的技術(shù)問題是：提供基于動態(tài)紋理特征的人臉表情的分類與識別方法，是一種利用加權(quán)多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態(tài)紋理特征的人臉表情分類與識別方法，用加權(quán)多尺度ASCBP-TOP算子提取不同尺度的人臉表情圖像序列的動態(tài)紋理特征，并采用支持向量機(SVM)對人臉表情序列圖像進行分類與識別，克服了現(xiàn)有技術(shù)方法中忽略中心像素的作用、忽略人臉表情圖像紋理的粗細程度以及局部細節(jié)的運動變化信息、穩(wěn)定性較差、且噪聲敏感的缺陷。ASCBP-TOP為三維正交平面自適應(yīng)對稱中心二值模式的英文縮寫。本發(fā)明解決該技術(shù)問題所采用的技術(shù)方案是：基于動態(tài)紋理特征的人臉表情的分類與識別方法，是一種利用加權(quán)多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態(tài)紋理特征的人臉表情分類與識別方法，具體步驟如下：第一步，人臉表情圖像預(yù)處理：將已有的人臉表情數(shù)據(jù)庫中的人臉表情圖像由RGB空間轉(zhuǎn)化到灰度空間得到灰度圖像I，采用的公式(1)如下：I＝0.299R+0.587G+0.114B(1)，其中，I的灰度值取0到255，R、G和B分別是RGB圖像的紅色、綠色和藍色分量；然后按照人臉“三庭五眼”的特征比例對灰度空間的人臉表情圖像進行裁剪，并采用雙線性插值法對裁剪后的人臉表情圖像進行尺寸歸一化，統(tǒng)一大小為128×128像素；第二步，根據(jù)不同尺度對人臉表情圖像序列進行分塊，構(gòu)建多尺度空間：對人臉表情序列中的人臉表情圖像進行多尺度分塊，設(shè)將人臉表情圖像分為N個尺度，則在第m個尺度下，m分別為0，1，…，N-1，上述第一步預(yù)處理得到的人臉表情圖像被劃分為2m+1×2m+1個互不重疊的子塊，對上述第一步預(yù)處理得到的人臉表情圖像進行N個尺度的分塊，構(gòu)建多尺度空間；第三步，利用加權(quán)多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態(tài)紋理特征：經(jīng)過上述第二步對不同尺度空間的人臉表情圖像分塊處理后，利用加權(quán)多尺度ASCBP-TOP算子提取不同尺度下每個子塊的特征，并分別在XY、XT和YT平面上得到三個人臉表情圖像序列的特征直方圖，把它們串聯(lián)起來形成一個特征向量，然后將每個尺度的所有子塊的特征向量串聯(lián)起來，得到該尺度空間的特征向量，人臉表情圖像劃分的尺度數(shù)值越大，子塊數(shù)目就越多，紋理特征信息越豐富，根據(jù)提取到的紋理特征信息的豐富程度給每個尺度的特征向量分配不同的權(quán)重，將提取的特征向量按照不同的權(quán)重串接起來，得到一個完整的人臉表情圖像序列的特征直方圖來描述人臉表情圖像序列的動態(tài)紋理特征；第四步，采用支持向量機(SVM)分類器進行人臉表情的分類與識別：將上述第三步提取到的人臉表情圖像序列的特征直方圖作為支持向量機(SVM)分類器的輸入進行訓(xùn)練和測試，采用留一法，取實驗結(jié)果的平均值作為表情識別率，從而完成人臉表情的分類與識別，具體步驟如下：(4.1)將上述第三步提取到的人臉表情圖像序列的特征直方圖輸入SVM分類器進行訓(xùn)練和測試，其中提取到的訓(xùn)練集的所有人臉表情圖像序列的特征向量和測試集的所有人臉表情圖像序列的特征向量分別構(gòu)成訓(xùn)練集矩陣和測試集矩陣；(4.2)將輸入的訓(xùn)練集矩陣和測試集矩陣的特征數(shù)據(jù)映射到高維空間，利用核函數(shù)來計算映射后的高維數(shù)據(jù)，使得原來線性不可分的情況轉(zhuǎn)化為線性可分的情況，計算時所采用的徑向基(RBF)核函數(shù)的公式(11)如下：k(x,xi)＝exp[-γ||x-xi||2](11)，其中x為輸入的訓(xùn)練集矩陣和測試集矩陣中的特征元素，xi為核函數(shù)中心，γ為核函數(shù)的寬度；(4.3)采用留一法，交叉驗證選擇SVM中最佳的懲罰因子C以及核函數(shù)的寬度γ，對上述(4.1)步中得到的訓(xùn)練集進行訓(xùn)練獲取支持向量機模型，利用獲取的模型進行測試與預(yù)測，在Cohn-Kanade和JAFFE這兩個表情數(shù)據(jù)庫上實驗，取實驗結(jié)果的平均值作為表情識別率，從而完成人臉表情的分類與識別。上述人臉表情識別方法，所述第三步中，根據(jù)提取到的紋理特征信息的豐富程度給每個尺度的特征向量分配不同的權(quán)重，將提取的特征向量按照不同的權(quán)重串接起來，得到一個完整的人臉表情圖像序列的特征直方圖來描述人臉表情圖像序列的動態(tài)紋理特征，具體方法如下：(3.1)利用加權(quán)多尺度ASCBP-TOP算子提取人臉表情圖像序列子塊區(qū)域的特征：設(shè)人臉表情圖像序列幀數(shù)為F幀，以人臉表情圖像序列中處于中間幀的人臉表情圖像作為基準，對上述第二步中得到的每個尺度中每個子塊，以該子塊中的每個像素點為中心，以R為半徑的環(huán)形鄰域中的近鄰像素點構(gòu)成鄰域，分別在XY、XT和YT三個正交平面上利用加權(quán)多尺度ASCBP-TOP算子計算特征值，并對該子塊的特征值進行直方圖統(tǒng)計，得到XY、XT和YT三個平面的人臉表情圖像序列的特征直方圖向量，把這三個人臉表情圖像序列的特征直方圖向量串聯(lián)即為該尺度下該子塊的ASCBP-TOP特征向量，下面對加權(quán)多尺度ASCBP-TOP算子進行詳述：加權(quán)多尺度ASCBP-TOP算子是在中心化二值模式(CBP)算子的基礎(chǔ)上考慮了中心像素對周圍像素的影響作用，并分配給它最大的權(quán)重，其中CBP算子通過比較以gc為中心像素點、以R為半徑的環(huán)形鄰域中的近鄰點對來計算人臉表情圖像的特征值，如下公式(2)所示：CBP(P,R)=Σi=0(P/2)-1s(gi-gi+(P/2))2i+s(gc-(gc+Σp=0P-1gp)/(P+1))2P/2s(·)=1,|·|≥T0,|·|<T---(2),]]>其中，P表示近鄰像素點的個數(shù)，gi與gi+(P/2)為以中心像素gc對稱的近鄰像素點對，s(·)是符號函數(shù)，T為閾值；加權(quán)多尺度ASCBP-TOP算子在與中心像素進行比較時，根據(jù)傅里葉算子奇和偶分解的思想，將鄰域點分成兩部分，使得中心像素點gc分別與奇數(shù)位置對應(yīng)的所有像素點和的均值以及偶數(shù)位置對應(yīng)的所有像素點和的均值進行比較，ASCBP的奇算子ASCBPo和偶算子ASCBPe的計算過程如下公式(3)所示：ASCBPo(gc)=Σi=0(P/2)-1s(gi-gi+(P/2))2i+s(gc-(Σi=0(P/2)-1g2i+1)/(P/2))2P/2ASCBPe(gc)=Σi=0(P/2)-1s(gi-gi+(P/2))2i+s(gc-(Σi=0(P/2)-1g2i)/(P/2))2P/2s(·)=1,|·|≥T0,|·|<T---(3),]]>其中符號函數(shù)s(·)中的閾值T是根據(jù)周圍像素情況自適應(yīng)選取，閾值T的選取方法為計算鄰域內(nèi)所有以中心像素對稱的近鄰點對差值的均值，如下公式(4)所示：T=[Σi=0(P/2)-1|(gi-gi+(P/2))|]/(P/2)---(4),]]>在XY、XT和YT三個正交平面上采用下式(5)對上述第二步中選取的第m個尺度下的人臉表情圖像序列中任一子塊區(qū)域b內(nèi)所有像素點利用ASCBPo(m,b,j)和ASCBPe(m,b,j)算子進行特征統(tǒng)計：HASCBPo(m,b,j)=[Σgc∈jE(ASCBPo(m,b,j)(gc)=i),i=0,1,...,Lj-1]HASCBPe(m,b,j)=[Σgc∈jE(ASCBPe(m,b,j)(gc)=i),i=0,1,...,Kj-1]---(5),]]>其中上述式(5)中，j＝0,1,2分別代表XY、XT、YT平面，像素點gc取所處平面的所有中心像素點，E(·)表示灰度直方圖的統(tǒng)計函數(shù)，i為第i個灰度級，Lj、Kj分別為ASCBPo和ASCBPe算子在第j個平面產(chǎn)生的灰度級數(shù)目，E(·)表示灰度直方圖的統(tǒng)計函數(shù)，且E(a)=1,a=True0,a=False---(6),]]>將每個平面上子塊區(qū)域b的人臉表情圖像序列的特征直方圖向量和串聯(lián)起來分別得到子塊區(qū)域b在這三個正交平面的人臉表情圖像序列的特征直方圖：HASCBP(m,b,XY)=[HASCBPo(m,b,XY),HASCBPe(m,b,XY)]HASCBP(m,b,XT)=[HASCBPo(m,b,XT),HASCBPe(m,b,XT)]HASCBP(m,b,YT)=[HASCBPo(m,b,YT),HASCBPe(m,b,YT)]---(7),]]>把上式(7)中串聯(lián)起來即為第m個尺度下子塊區(qū)域b的人臉表情圖像序列的ASCBP-TOP特征直方圖：HASCBP-TOP(m,b)=[HASCBP(m,b,XY),HASCBP(m,b,XT),HASCBP(m,b,YT)]---(8);]]>(3.2)提取人臉表情圖像序列的加權(quán)多尺度ASCBP-TOP特征：在第m個尺度下將人臉表情圖像劃分成2m+1×2m+1個子塊區(qū)域，根據(jù)上述(3.1)步對每個子塊區(qū)域提取人臉表情圖像序列的特征直方圖，然后將所有子塊的人臉表情圖像序列的特征直方圖串聯(lián)起來得到該尺度m下的人臉表情圖像序列的特征直方圖HASCBP-TOP(m)=[HASCBP-TOP(m,1),HASCBP-TOP(m,2),...,HASCBP-TOP(m,2m+1×2m+1)]---(9),]]>同時給每個尺度下的人臉表情圖像序列的特征直方圖分配不同的權(quán)值，第m個尺度下的權(quán)值wm的大小為2-(N-1-m)，權(quán)值分配原則是大尺度子塊的人臉表情圖像序列的特征直方圖賦予小的權(quán)值，小尺度子塊的人臉表情圖像序列的特征直方圖賦予大的權(quán)重，從而提取人臉表情圖像序列的加權(quán)多尺度ASCBP-TOP特征：HASCBP-TOP=[w0*HASCBP-TOP(0),w1*HASCBP-TOP(1),...,wN-1*HASCBP-TOP(N-1)]---(10).]]>上述人臉表情識別方法，所述CBP算法和SVM分類器都是公知的。本發(fā)明的有益效果是：與現(xiàn)有技術(shù)相比，本發(fā)明的突出的實質(zhì)性特點和顯著進步如下：(1)人臉表情識別系統(tǒng)主要包括：人臉檢測與圖像預(yù)處理、人臉表情特征提取和人臉表情分類，其中，人臉表情的變化過程中包含重要的動態(tài)紋理信息，準確提取動態(tài)紋理特征對人臉表情的識別至關(guān)重要。本發(fā)明方法根據(jù)不同尺度對人臉表情圖像序列進行分塊，構(gòu)建多尺度空間，突出人臉表情圖像局部區(qū)域所包含的細節(jié)紋理信息，并根據(jù)提取到的紋理特征信息的豐富程度給每個尺度空間的特征向量分配不同的權(quán)重，來體現(xiàn)出不同區(qū)域紋理特征的獨特性，更全面地描述人臉表情序列的動態(tài)紋理特征。(2)本發(fā)明方法所采用的ASCBP-TOP方法不僅考慮了中心像素對周圍像素的影響，并分配給它最大的權(quán)重，同時將鄰域內(nèi)所有以中心像素對稱的近鄰點對差值的均值設(shè)為閾值，根據(jù)周圍像素情況來自適應(yīng)選取閾值的大小，加入時間維度從二維空間擴展到三維空間來獲取人臉表情圖像序列的動態(tài)時空特征信息，提高了人臉表情識別率。(3)本發(fā)明方法能夠有效地描述人臉表情的動態(tài)紋理信息，自適應(yīng)閾值的選取克服了固定閾值引起的容易忽略中心像素和周圍像素的對比度以及紋理的粗細程度的缺點，對光照、姿態(tài)等變化具有更強的魯棒性，提高了抗噪能力。下面的實施例對本發(fā)明的突出的實質(zhì)性特點和顯著進步作了進一步證明。附圖說明下面結(jié)合附圖和實施例對本發(fā)明進一步說明。圖1為本發(fā)明基于ASCBP-TOP的人臉表情識別方法的流程示意圖。圖2(a)為本發(fā)明方法中ASCBP算子計算特征值的示意圖。圖2(b)為本發(fā)明方法中提取人臉表情圖像的ASCBP特征的示意圖。圖2(c)為本發(fā)明方法中人臉表情圖像序列的ASCBP-TOP特征生成過程的示意圖。圖3為本發(fā)明方法中提取人臉表情圖像序列的加權(quán)多尺度ASCBP-TOP特征過程的示意圖。具體實施方式圖1所示實施例表明，本發(fā)明基于ASCBP-TOP的人臉表情識別方法的流程是：人臉表情圖像預(yù)處理→根據(jù)不同尺度對人臉表情圖像序列進行分塊，構(gòu)建多尺度空間→利用加權(quán)多尺度ASCBP-TOP算法提取人臉表情圖像序列的動態(tài)紋理特征→采用支持向量機(SVM)分類器進行人臉表情的分類與識別。圖2(a)所示實施例顯示了ASCBP算子計算特征值時根據(jù)傅里葉算子奇、偶分解的思想，將鄰域點分成兩部分，得到奇算子ASCBPo和偶算子ASCBPe，ASCBPo在比較近鄰點對的像素之間差值的同時，加入中心像素與奇數(shù)位置對應(yīng)的所有像素點和的均值的比較來計算特征值，ASCBPe在比較近鄰點對的像素之間差值的同時，加入中心像素與偶數(shù)位置對應(yīng)的所有像素點和的均值進行比較來計算特征值，兩個特征值結(jié)合起來得到人臉表情圖像的特征值。圖2(b)所示實施例顯示了ASCBP算子的計算過程中得到兩個人臉表情圖像的特征直方圖向量和把它們串聯(lián)起來從而提取人臉表情圖像的ASCBP特征。圖2(c)所示實施例顯示了人臉表情圖像序列的ASCBP-TOP特征直方圖生成過程是:對人臉表情圖像序列提取X、Y、T三個方向的人臉表情圖像序列的特征直方圖，X和Y為水平和垂直維度，T為時間維度，分別在XY、XT和YT平面上提取人臉表情圖像序列的特征直方圖，三個人臉表情圖像序列的特征直方圖串聯(lián)起來形成人臉表情圖像序列的ASCBP-TOP特征。圖3所示實施例表明，本發(fā)明方法中提取人臉表情圖像序列的加權(quán)多尺度ASCBP-TOP特征過程是：對不同尺度空間的人臉表情序列中的圖像分塊處理后，利用ASCBP-TOP算子提取不同尺度下每個子塊的人臉表情圖像序列的特征直方圖，然后將每個尺度的所有子塊的人臉表情圖像序列的特征直方圖串聯(lián)起來，得到該尺度空間的人臉表情圖像序列的特征直方圖，最后將每個尺度的人臉表情圖像序列的特征直方圖按照不同的權(quán)重分配串聯(lián)起來從而提取人臉表情圖像序列的加權(quán)多尺度ASCBP-TOP特征。實施例本實施例的基于動態(tài)紋理特征的人臉表情的分類與識別方法，是一種利用加權(quán)多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態(tài)紋理特征的人臉表情分類與識別方法，具體步驟如下：第一步，人臉表情圖像預(yù)處理：將已有的人臉表情數(shù)據(jù)庫中的人臉表情圖像由RGB空間轉(zhuǎn)化到灰度空間得到灰度圖像I，采用的公式(1)如下：I＝0.299R+0.587G+0.114B(1)，其中，I的灰度值取0到255，R、G和B分別是RGB圖像的紅色、綠色和藍色分量；然后按照人臉“三庭五眼”的特征比例對灰度空間的人臉表情圖像進行裁剪，并采用雙線性插值法對裁剪后的人臉表情圖像進行尺寸歸一化，統(tǒng)一大小為128×128像素；第二步，根據(jù)不同尺度對人臉表情圖像序列進行分塊，構(gòu)建多尺度空間：對人臉表情序列中的人臉表情圖像進行多尺度分塊，設(shè)將人臉表情圖像分為N個尺度，則在第m個尺度下，m分別為0，1，…,N-1,上述第一步預(yù)處理得到的人臉表情圖像被劃分為2m+1×2m+1個互不重疊的子塊，對上述第一步預(yù)處理得到的人臉表情圖像進行N個尺度的分塊，構(gòu)建多尺度空間；圖像的多尺度分塊數(shù)目對識別性能有一定的影響：如果子塊過大，極端情況為未分塊時的原圖像大小，此時無法充分地體現(xiàn)出圖像局部區(qū)域所包含的細節(jié)紋理信息；如果子塊過小，極端情況為圖像的像素級，此時陷于過小的局部細節(jié)，忽略了眼睛、鼻子、嘴巴等部位的特征，同時增加了計算復(fù)雜度，圖像噪聲對特征提取的干擾也較大，因此要想獲得有效的圖像紋理特征，必須對不同尺度的圖像進行合理的分塊，從而構(gòu)建最佳的多尺度空間，不同尺度空間的子塊數(shù)目越多所包含的圖像紋理信息越豐富，本實施例中將人臉表情圖像分為N＝4個尺度，則在第m個尺度下，m分別為0,1,2,3；第三步，利用加權(quán)多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態(tài)紋理特征：經(jīng)過上述第二步對不同尺度空間的人臉表情圖像分塊處理后，利用加權(quán)多尺度ASCBP-TOP算子提取不同尺度下每個子塊的特征，并分別在XY、XT和YT平面上得到三個人臉表情圖像序列的特征直方圖，把它們串聯(lián)起來形成一個特征向量，然后將每個尺度的所有子塊的特征向量串聯(lián)起來，得到該尺度空間的特征向量，人臉表情圖像劃分的尺度數(shù)值越大，子塊數(shù)目就越多，紋理特征信息越豐富，根據(jù)提取到的紋理特征信息的豐富程度給每個尺度的特征向量分配不同的權(quán)重，將提取的特征向量按照不同的權(quán)重串接起來，得到一個完整的人臉表情圖像序列的特征直方圖來描述人臉表情圖像序列的動態(tài)紋理特征，具體方法如下：(3.1)利用加權(quán)多尺度ASCBP-TOP算子提取人臉表情圖像序列子塊區(qū)域的特征：設(shè)人臉表情圖像序列幀數(shù)為F幀，以人臉表情圖像序列中處于中間幀的人臉表情圖像作為基準，對上述第二步中得到的每個尺度中每個子塊，以該子塊中的每個像素點為中心，八個相鄰像素點構(gòu)成鄰域，分別在XY、XT和YT三個正交平面上利用加權(quán)多尺度ASCBP-TOP算子計算特征值，并對該子塊的特征值進行直方圖統(tǒng)計，得到XY、XT和YT三個平面的人臉表情圖像序列的特征直方圖向量，把這三個人臉表情圖像序列的特征直方圖向量串聯(lián)即為該尺度下該子塊的ASCBP-TOP特征向量，下面對加權(quán)多尺度ASCBP-TOP算子進行詳述：加權(quán)多尺度ASCBP-TOP算子是在中心化二值模式(CBP)算子的基礎(chǔ)上考慮了中心像素對周圍像素的影響作用，并分配給它最大的權(quán)重，其中CBP算子通過比較以gc為中心像素點、以R為半徑的環(huán)形鄰域中的近鄰點對來計算人臉表情圖像的特征值，如下公式(2)所示：CBP(P,R)=Σi=0(P/2)-1s(gi-gi+(P/2))2i+s(gc-(gc+Σp=0P-1gp)/(P+1))2P/2s(·)=1,|·|≥T0,|·|<T---(2),]]>其中，P表示鄰域像素點的個數(shù)，gi與gi+(P/2)為以中心像素gc對稱的近鄰像素點，s(·)是符號函數(shù)，T為閾值；加權(quán)多尺度ASCBP-TOP算子在與中心像素進行比較時，根據(jù)傅里葉算子奇和偶分解的思想，將鄰域點分成兩部分，使得中心像素點gc分別與奇數(shù)位置對應(yīng)的所有像素點和的均值以及偶數(shù)位置對應(yīng)的所有像素點和的均值進行比較，ASCBP的奇算子ASCBPo和偶算子ASCBPe的計算過程如下公式(3)所示：ASCBPo(P,R)=Σi=0(P/2)-1s(gi-gi+(P/2))2i+s(gc-(Σi=0(P/2)-1g2i+1)/(P/2))2P/2ASCBPe(P,R)=Σi=0(P/2)-1s(gi-gi+(P/2))2i+s(gc-(Σi=0(P/2)-1g2i)/(P/2))2P/2s(·)=1,|·|≥T0,|·|<T---(3),]]>其中符號函數(shù)s(·)中的閾值T是根據(jù)周圍像素情況自適應(yīng)選取，閾值T的選取方法為計算鄰域內(nèi)所有以中心像素對稱的近鄰點對差值的均值，如下公式(4)所示：T=[Σi=0(P/2)-1|(gi-gi+(P/2))|]/(P/2)---(4),]]>在XY、XT和YT三個正交平面上采用下式(5)對上述第二步中選取的第m個尺度下的人臉表情圖像序列中任一子塊區(qū)域b內(nèi)所有像素點利用ASCBPo(m,b,j)和ASCBPe(m,b,j)算子進行特征統(tǒng)計：HASCBPo(m,b,j)=[Σgc∈jE(ASCBPo(m,b,j)(gc)=i),i=0,1,...,Lj-1]HASCBPe(m,b,j)=[Σgc∈jE(ASCBPe(m,b,j)(gc)=i),i=0,1,...,Kj-1]---(5),]]>其中上述式(5)中j＝0,1,2分別代表XY、XT、YT平面，像素點gc取所處平面的所有中心像素點，i為第i個灰度級，Lj、Kj分別為ASCBPo和ASCBPe算子在第j個平面產(chǎn)生的灰度級數(shù)目，E(·)表示灰度直方圖的統(tǒng)計函數(shù)，且E(a)=1,a=True0,a=False---(6),]]>將每個平面子塊區(qū)域b的兩個人臉表情圖像序列的特征直方圖向量和串聯(lián)起來分別得到子塊區(qū)域b在這三個正交平面的人臉表情圖像序列的特征直方圖：HASCBP(m,b,XY)=[HASCBPo(m,b,XY),HASCBPe(m,b,XY)]HASCBP(m,b,XT)=[HASCBPo(m,b,XT),HASCBPe(m,b,XT)]HASCBP(m,b,YT)=[HASCBPo(m,b,YT),HASCBPe(m,b,YT)]---(7),]]>把上式(7)中串聯(lián)起來即為第m個尺度下子塊區(qū)域b的人臉表情圖像序列的ASCBP-TOP特征直方圖：HASCBP-TOP(m,b)=[HASCBP(m,b,XY),HASCBP(m,b,XT),HASCBP(m,b,YT)]---(8);]]>(3.2)提取人臉表情圖像序列的加權(quán)多尺度ASCBP-TOP特征：在第m個尺度下將人臉表情圖像劃分成2m+1×2m+1個子塊區(qū)域，根據(jù)上述(3.1)步對每個子塊區(qū)域提取人臉表情圖像序列的特征直方圖，然后將所有人臉表情圖像序列的特征直方圖串聯(lián)起來得到該尺度下的人臉表情圖像序列的特征直方圖：HASCBP-TOP(m)=[HASCBP-TOP(m,1),HASCBP-TOP(m,2),...,HASCBP-TOP(m,2m+1×2m+1)]---(9),]]>同時給每個尺度下的人臉表情圖像序列的特征直方圖分配不同的權(quán)值，在上述第二步中選取的第m個尺度下的權(quán)值wm的大小為2-(N-1-m)，權(quán)值分配原則是大尺度子塊的人臉表情圖像序列的特征直方圖賦予小的權(quán)值，小尺度子塊的人臉表情圖像序列的特征直方圖賦予大的權(quán)重，從而提取人臉表情圖像序列的加權(quán)多尺度ASCBP-TOP特征：HASCBP-TOP=[w0*HASCBP-TOP(0),w1*HASCBP-TOP(1),...,wN-1*HASCBP-TOP(N-1)]---(10);]]>第四步，采用支持向量機(SVM)分類器進行人臉表情的分類與識別：將上述第三步提取到的人臉表情圖像序列的特征直方圖作為支持向量機(SVM)分類器的輸入進行訓(xùn)練和測試，采用留一法，取實驗結(jié)果的平均值作為表情識別率，從而完成人臉表情的分類與識別，具體步驟如下：(4.1)將上述第三步提取到的人臉表情圖像序列的特征直方圖輸入SVM分類器進行訓(xùn)練和測試，其中提取到的訓(xùn)練集的所有人臉表情圖像序列的特征向量和測試集的所有人臉表情圖像序列的特征向量分別構(gòu)成訓(xùn)練集矩陣和測試集矩陣；(4.2)將輸入的訓(xùn)練集矩陣和測試集矩陣的特征數(shù)據(jù)映射到高維空間，利用核函數(shù)來計算映射后的高維數(shù)據(jù)，使得原來線性不可分的情況轉(zhuǎn)化為線性可分的情況，計算時所采用的徑向基(RBF)核函數(shù)的公式(11)如下：k(x,xi)＝exp[-γ||x-xi||2](11)，其中x為輸入的訓(xùn)練集矩陣和測試集矩陣中的特征元素，xi為核函數(shù)中心，γ為核函數(shù)的寬度；(4.3)采用留一法，交叉驗證選擇SVM中最佳的懲罰因子C以及核函數(shù)的寬度γ，對上述(4.1)步中得到的訓(xùn)練集進行訓(xùn)練獲取支持向量機模型，利用獲取的模型進行測試與預(yù)測，在Cohn-Kanade和JAFFE這兩個表情數(shù)據(jù)庫上實驗，取實驗結(jié)果的平均值作為表情識別率，從而完成人臉表情的分類與識別。本實施例在Cohn-Kanade和JAFFE這兩個表情數(shù)據(jù)庫上進行了實驗。從Cohn-Kanade數(shù)據(jù)庫中選取了340個人臉表情圖像序列，包含生氣、厭惡、害怕、高興、難過和驚訝這六種表情，分別由45、49、56、66、58和66個表情序列組成，隨機選取246個序列作為訓(xùn)練集，余下的94個序列作為測試集，每個表情序列包含10幀圖像，開始幀為中性表情，結(jié)束幀為表情發(fā)生的尖端，共3400張圖像；從JAFFE數(shù)據(jù)庫中選取了每種表情下每位女性的一張或兩張圖像，共70張圖像作為測試集，余下的143張圖像作為訓(xùn)練集，包含生氣、厭惡、害怕、高興、中性、難過、驚訝這七種表情。在Windows7環(huán)境下的MATLABR2014a的平臺上進行實驗。本實施例選取LBP-TOP、CSLBP-TOP、CBP-TOP、LQP-TOP這四種提取圖像序列的動態(tài)紋理特征的方法與ASCBP-TOP方法進行比較，在Cohn-Kanade數(shù)據(jù)庫上對不同的算法討論分塊數(shù)目的影響。表1列出了不同分塊數(shù)目的情況下各算法在Cohn-Kanade數(shù)據(jù)庫上的人臉表情的識別率。表2列出了在JAFFE數(shù)據(jù)庫上選取LBP、CS-LBP、CBP、LQP這四種基于靜態(tài)圖像的方法與ASCBP方法進行比較，實驗結(jié)果給出分塊數(shù)目對不同的算法識別率的影響。表1.Cohn-Kanade數(shù)據(jù)庫上不同分塊數(shù)目對識別率的影響(單位％)表2.JAFFE數(shù)據(jù)庫上不同分塊數(shù)目對識別率的影響(單位％)表1和表2的數(shù)據(jù)表明，加入分塊后的識別效果優(yōu)于未分塊時的情況，分塊數(shù)目越多，子塊面積就越小，此時包含的局部細節(jié)紋理信息越豐富，使得識別率越高，當(dāng)分塊數(shù)目為16×16時，識別率最高，但是如果子塊過小，分塊數(shù)目大于16×16的時候識別率降低，且運行時間增加；人臉表情圖像劃分的尺度數(shù)不同，人臉表情識別率也不同，表3列出了人臉表情圖像劃分的尺度數(shù)對Cohn-Kanade數(shù)據(jù)庫人臉表情識別率的影響，表4列出了人臉表情圖像劃分的尺度數(shù)對JAFFE數(shù)據(jù)庫人臉表情識別率的影響。表3.不同尺度數(shù)對Cohn-Kanade數(shù)據(jù)庫人臉表情識別率的影響(單位％)表4.不同尺度數(shù)對JAFFE數(shù)據(jù)庫人臉表情識別率的影響(單位％)表3和表4的數(shù)據(jù)表明人臉表情圖像劃分的尺度數(shù)為4時，識別率最高，此時選取2×2、4×4、8×8、16×16這四種分塊方式，即m＝0,1,2,3。各尺度空間被賦予的權(quán)重不同，人臉表情識別率也不同，表5列出了不同的加權(quán)多尺度情況下基于圖像序列的方法在Cohn-Kanade數(shù)據(jù)庫上的人臉表情的識別率，表6列出了不同的加權(quán)多尺度情況下基于靜態(tài)圖像的方法在JAFFE數(shù)據(jù)庫上的人臉表情的識別率。表中的四個權(quán)值分別對應(yīng)于2×2、4×4、8×8、16×16這四種分塊方式的尺度空間被賦予的權(quán)重大小。表5.Cohn-Kanade數(shù)據(jù)庫上不同加權(quán)多尺度對識別率的影響(單位％)表6.JAFFE數(shù)據(jù)庫上不同加權(quán)多尺度對識別率的影響(單位％)表5和表6的數(shù)據(jù)表明，當(dāng)分別給2×2、4×4、8×8、16×16這四個尺度空間賦予1/8、1/4、1/2、1的權(quán)值時，識別率最好，其中加權(quán)多尺度ASCBP-TOP方法的識別率在Cohn-Kanade數(shù)據(jù)庫上達到了94.68％，加權(quán)多尺度ASCBP方法的識別率在JAFFE數(shù)據(jù)庫上達到了98.57％；實驗結(jié)果表明，本實施例的ASCBP-TOP算法的識別效果明顯優(yōu)于LBP-TOP、CSLBP-TOP、CBP-TOP、LQP-TOP這四種提取表情圖像序列的動態(tài)時空紋理特征的方法；加權(quán)多尺度ASCBP-TOP方法的表情識別率更高，對光照、姿態(tài)等變化具有較強的魯棒性，提高了抗噪能力。上述實施例中所述CBP算法和SVM分類器都是公知的。當(dāng)前第1頁1 2 3