專利名稱：基于視頻的面部表情識別方法及裝置的制作方法
技術領域：
本發(fā)明涉及一種識別方法，尤其是指一種基于視頻對人臉面部表情的識別方法及裝置。
背景技術：
隨著人機交互研究的深入和巨大的應用前景，人臉面部表情識別已經成為當前模式識別和人工智能領域的一個研究熱點。但人臉表情的實時識別是一個非常困難的問題，許多理論還不完善，成熟的商業(yè)成果幾乎沒有。人臉表情識別的困難在于不同人所做出的同一種表情有較大差異，而且不同表情之間的差別也很微妙。此外光照、人臉姿態(tài)也會影響到識別的正確率。表情識別的方法一般都是基于統(tǒng)計來完成的，即從人臉圖像中提取出特征矢量，然后訓練分類器，最后進行識別。
特征的提取是識別成敗的關鍵，目前用于表情識別的特征可以分為兩種局部特征和整體特征?；诰植刻卣鞯娜四樏娌勘砬樽R別是利用每個人的面部特征(眉毛、眼睛、鼻子、嘴巴和面部輪廓等)的位置、大小及其相互位置的不同進行特征提取，達到人臉面部表情識別的目的?；谌四樥w特征的識別是從整個人臉圖像出發(fā)，提出反映了整體的特征實現(xiàn)人臉面部表情識別。局部特征的數據量比較小，但是它用有限的特征來代表整個圖像，會丟失有用的信息。而且人臉特征的準確、自動提取是一個很難的問題。
在現(xiàn)有的技術中，有人提出采用對人臉的面部表情的識別采用Fisher準則函數進行識別，也就是對人臉部的整體特征進行識別，利用反向傳播算法對人臉進行識別，該方法識別的基本步驟是a、對接收的圖像進行預處理；b、進行人臉的局部特征提??；c、整體特征的提?。籨、對局部和整體特征進行融合；e、最后對接收的人臉的面部表情做出識別。但是這種識別方法只是更清楚的對人臉的特征進行分析和判斷，盡管能大致反映出人臉上體現(xiàn)的面部表情，但是還受到光照等外在因素的影響，仍不能準確，迅速自動的提取出來。

發(fā)明內容
本發(fā)明要解決的技術問題是現(xiàn)有技術不能準確、自動提取人臉表情的問題，本發(fā)明提出一種視頻情況下的面部表情識別方法，目的是能夠解決現(xiàn)有技術中存在的缺陷，該方法基于人臉的整體特征，根據自動提取的人臉下巴輪廓生成一個標準臉，然后采用AdaBoost的算法選擇最有效的特征，得到穩(wěn)健的識別結果。
本發(fā)明的方法是針對常用的USB攝像頭的視頻數據提出的可以對人臉進行實時自動檢測、跟蹤并識別出正面人臉常見的表情的算法，尤其是最常見的四種表情，并且可以避免識別的面部表情受到光照等因素的影響。
本發(fā)明的目的是這樣實現(xiàn)的一種基于視頻的面部表情識別方法，包括以下步驟從USB攝像頭輸入的視頻數據中采集人臉的面部表情圖像數據，對該圖像數據做預處理；實時提取人臉在預處理后圖像中的位置；依據人眼分類器對確定出的圖像中的人臉中的人眼做出定位；根據確定的人眼的位置和人臉分類器的信息提取包含人臉的圖像區(qū)域，進行歸一化處理；對人臉器官定位；根據對人臉器官的定位確定人臉下巴的位置，確定圖像中的人臉區(qū)域，生成特征臉，并作為分類樣本；
計算所述的特征臉圖像的Gabor特征；對計算出的Gabor特征進行選擇；由挑選的特征構造支持向量機分類器；根據構造的分類器得出人臉表情識別結果。
從USB攝像頭輸入的數據進行采集的時候，包括以下人臉圖像跟蹤步驟在未獲取跟蹤目標前，搜索每幀圖像，檢測人臉圖像的存在；如果檢測到某幀圖像存在一個或多個人臉，則在接下來的兩幀圖像中跟蹤檢測到的人臉，并對這兩幀圖像中跟蹤的人臉進行檢測和驗證，對檢測結果作出判斷；在同一個位置三幀圖像都檢測到人臉后，算法才認為該位置存在有人臉圖像，此時執(zhí)行實時人臉檢測算法提取人臉在圖像中的位置；如果檢測到場景中存在有多個人臉圖像，挑選出最大的人臉圖像開始跟蹤，在后續(xù)幀中持續(xù)跟蹤該人臉，如相鄰幀中后一幀與前一幀的跟蹤結果的相似度過低，或某個跟蹤目標所在區(qū)域長時間未檢測到正面直立人臉，則停止跟蹤。
所述歸一化處理通過重采樣算法實現(xiàn)所述的重采樣算法為縮放、旋轉和平移變換，使檢測的人眼的位置與人眼分類器的位置重疊進行定位。
所述的對人臉器官定位是采用目標提取方法，該目標提取方法為主動形狀模型算法。
所述的主動形狀模型算法的具體步驟為由視頻數據中提取人臉的輪廓信息，建立樣本單元；對樣本單元中的樣本進行歸一化和對齊處理，然后進行主分量分析變換；對主分量分析變換后的輪廓信息中每個控制點的灰度信息，作為點搜索的依據；將主分量分析計算得到的平均輪廓作為輪廓搜索的初始值，進行迭代搜索，得到最終結果。
所述的迭代搜索的步驟是根據灰度信息來獲得初始的平移值，將根據灰度搜索得到的新的輪廓對齊到平均輪廓，計算對齊的參數值；根據對齊后的數據和主分量分析計算的統(tǒng)計值來計算形狀的變化值；根據對齊的參數值將變化后的形狀反算到原來的位置得到一次搜索的結果；重復上述搜索步驟，繼續(xù)進行迭代直到收斂得到最終結果。
所述的生成特征臉是將提取出來的人臉輪廓與人臉分類器中的人臉對比，進行傾斜度調整。
在生成特征臉與計算特征臉圖像的Gabor特征之間還存在對生成的特征臉進行處理的步驟對形成的特征臉的左右部分進行灰度的歸一化，使左右部分的灰度均值和方差相同。
所述的特征臉的左右部分之間設有灰度過濾帶。
所建立的支持向量機分類器為多類分類器，為一對一、一對多或決策樹形。
本發(fā)明還提出一種基于視頻的面部表情識別裝置，包括視頻數據采集單元，圖像處理單元、人臉信息數據庫以及面部表情識別單元；視頻數據采集單元對視頻的人臉圖像進行采集并將其傳送給圖像處理單元；圖像處理單元從人臉信息數據庫中調取人臉信息與采集的人臉圖像進行對比，再對人臉數據進行計算，將計算后的數據傳送給所述的面部表情識別單元；面部表情識別單元根據人臉信息數據庫中存儲的識別信息對采集的人臉圖像進行識別。
還包括顯示單元，將識別出來的面部表情顯示出來。
所述的圖像處理單元包括比較單元、特征生成單元、計算單元以及分類器單元；所述的比較單元將人臉的圖像信息與人臉數據庫中的圖像信息做出對比，檢測出人臉以及雙眼，并根據雙眼位置提取出人臉圖像，將該人臉信息傳送至特征生成單元；所述的特征生成單元對人臉器官定位，根據人臉下巴生成特征臉，將特征臉作為樣本傳送至計算單元；所述的計算單元計算特征臉圖像的Gabor特征，并采用AdaBoost算法挑選特征，再將挑選的特征傳送至分類器單元；所述的分類器單元根據挑選的特征構造支持向量機分類器，將分類器信息傳送至面部表情識別單元。
所述的視頻數據采集單元中還包含一視頻數據追蹤單元，該視頻數據追蹤單元對視頻數據的人臉數據進行追蹤檢測，判斷是否對輸入數據采集。
本發(fā)明上述的方法的技術方案，使得在視頻情況能自動提取準確的人臉的面部表情，并且本方法采用了Adaboost以及ASM算法，可以消除光照的影響，在方法中對人臉圖像進行了專門處理，使人臉的左右部分的灰度均值和方差基本一致，并且本發(fā)明的方法針對常用的USB攝像頭的視頻數據來開發(fā)一個可以對人臉進行實時自動檢測、跟蹤并能識別出正面人臉常見的四種表情的算法，可以達到較佳的技術以及商用效果。


圖1為本發(fā)明的基于視頻的面部表情識別的方法流程圖。
圖2為本發(fā)明的基于視頻的面部表情識別方法的實施例中表情采集示意圖。
圖3為人臉圖像形狀的歸一化處理示意圖。
圖4為ASM算法的檢測示意圖。
圖5a所示為采集到的人臉輪廓的特征臉。
圖5b所示為標準特征臉。
圖6為特征臉生成的示意圖。
圖7為在進行特征人臉圖像的Gabor特征計算時，圖像在不同尺度、不同角度下的Gabor特征示意圖。
圖8為本發(fā)明所述的一對一分類器的示意圖。
圖9為本發(fā)明所述的方法的識別效果圖。
圖10為本發(fā)明所述的裝置的結構框圖。
具體實施例方式
本發(fā)明給出一種基于視頻的人臉面部表情識別方法，該方法是針對常用的USB攝像頭的視頻數據而做出的，該方法可以對人臉進行實時自動檢測、跟蹤并能識別正面人臉常見的表情。
參考本發(fā)明的圖1所示，為本發(fā)明所述的識別方法的流程圖，其具體包括的步驟如下首先，采集人臉表情圖像，該采集步驟具體是從USB攝像頭輸入的視頻數據中采集人臉的面部表情圖像數據，對該圖像數據做預處理；在本發(fā)明的實施例中，該采集圖像過程中，還包括一個人臉數據追蹤的步驟，該步驟的目的是實時檢測拍攝場景中的多個人臉，對其中一個人臉如最大的人臉持續(xù)跟蹤，并在跟蹤過程中不斷驗證，判斷人臉的存在與否。該追蹤步驟可檢測-20到20度深度旋轉、-20到20度平面旋轉的人臉，可檢測不同膚色的、不同光照條件下的人臉、或者帶眼鏡的人臉等。跟蹤算法不受人臉姿態(tài)的影響，側面、旋轉人臉同樣可以跟蹤。
該追蹤步驟是采用以下方式實現(xiàn)的
在未獲取跟蹤目標前，對每幀圖像進行搜索，檢測人臉是否存在；如果某幀圖像檢測到一個或多個人臉，則在接下來的兩幀圖像中跟蹤這些人臉，并對這兩幀圖像中跟蹤的人臉進行檢測和驗證，判斷前面的檢測結果是否是真人臉；只有在某個位置三幀都檢測到人臉后，算法才認為該位置人臉存在，繼續(xù)對人臉圖像進行判斷識別。在此跟蹤步驟中，如果場景中存在有多個人臉，選擇其中一個進行跟蹤。在后續(xù)幀中持續(xù)跟蹤該人臉，如果相鄰幀中后一幀與前一幀的跟蹤結果的相似度過低，則停止跟蹤；如果某個跟蹤目標所在區(qū)域長時間未檢測到正面直立人臉，則認為該目標的跟蹤價值不大，停止跟蹤該目標。當前一個跟蹤目標停止跟蹤后，在后續(xù)圖像中重新進行人臉檢測，直到找到新的人臉，跟蹤新的人臉，重復人臉追蹤的步驟。
參考圖1所示的內容，采集到人臉表情圖像后，然后進行人臉檢測步驟，本實施例中的人臉檢測，實際上是采用基于視頻的實時人臉檢測算法實時提取人臉在預處理后圖像中的位置；該識別方式可參考圖2所示，目前的算法可以對不同表情進行識別，例如中性、笑、生氣和驚訝等表情，而識別的算法基于統(tǒng)計原理。在進行本發(fā)明所述的方法的識別之前，必須首先大量的采集樣本，可以由USB相機錄下被采集者的表情視頻，從視頻文件中分離出的包含人臉表情的圖像被作為用來進行統(tǒng)計的初始樣本，形成初始樣本，以便在識別過程中采用。
在本發(fā)明所述的方法中，人臉檢測的目的是確定人臉在采集到的圖像中的位置，確定了人臉的位置，就可以進行雙眼的檢測。同時參看圖1中的雙眼檢測步驟，該步驟是依據人眼分類器對確定出的圖像中的人臉中的人眼做出定位；本步驟是在檢測到的人臉的圖像區(qū)域之后，基于人眼分類器來確定人眼的位置，人眼分類器一般基于統(tǒng)計的方法檢測而建立，即首先根據人眼樣本來訓練出分類器，然后根據分類器來進行檢測。
參見圖1以及圖3所示的內容，根據雙眼位置提取出只包含人臉的圖像，該步驟是根據確定的人眼的位置和人眼分類器的信息提取包含人臉的圖像區(qū)域，進行歸一化處理。歸一化的過程可參見圖3的內容，由圖3a中視頻采集的圖像參照圖3b中的標準的人臉模板，最終得到圖3c所示的歸一化的結果。這是由于在視頻情況下人臉的區(qū)域會隨真實人臉距離USB攝像頭的遠近而發(fā)生大小的變化，這對器官定位的算法是很不利的，在檢測出雙眼的位置后，需要從原始視頻數據中重采樣出一個圖像，圖像中雙眼位置是固定的而且連線是水平的，重采樣后的圖像覆蓋了人臉的全部區(qū)域。
重采樣的算法是一個簡單的縮放、旋轉和平移變換，即將檢測到的雙眼經過上述的變換后和標準臉圖像中的雙眼位置重疊。標準圖像的大小可以為120*148。具體的計算公式為x＝λ(x′cosθ+y′sinθ)+x0y＝λ(-x′sinθ+y′cosθ)+y0設λcosθ＝a，λsinθ＝b，那么公式可以寫為x＝ax′+by′+x0y＝-bx′+ay′+y0在上述公式中只有四個未知數，每個點可以列出兩個方程，兩個點就可以解出所有未知數。所以可以通過雙眼的位置來進行這個變換。
經過上述重采樣算法處理得到的人臉圖像和事先訓練的標準圖像的大小相同，檢測到的雙眼(圖3中的×點)在經過旋轉和平移后和標準圖像中的雙眼位置是相同的。
在進行上述人臉圖像的提取后，繼續(xù)參見圖1，進行人臉器官定位，該定位人臉器官采用目標提取算法實現(xiàn)，在本發(fā)明的實施例中可采用ASM(Active Shape Model，主動形狀模型)算法實現(xiàn)，該步驟的目的是準確的提取出人臉的區(qū)域，并去掉圖像中不相關的背景信息。本發(fā)明的方法中需要定出人臉的大致輪廓的位置，ASM引入已有的人臉輪廓的統(tǒng)計信息作為約束條件，在輪廓搜索中用來控制輪廓形狀的變化。利用ASM的方法可快速、準確的提取出人臉的輪廓，對人臉器官定位。
其中，所述的ASM算法的具體步驟為首先，由視頻數據中提取人臉的輪廓信息，建立樣本單元；然后，對樣本單元中的樣本進行歸一化和對齊處理，然后進行主分量分析(principal components analysis，簡稱PCA)變換；對PCA變換中處理的輪廓信息中每個控制點的灰度信息，作為點搜索的依據；進而將主分量分析計算得到的平均輪廓作為輪廓搜索的初始值，進行迭代搜索，得到最終結果。
在進行ASM算法的時候，該迭代搜索的具體步驟是根據灰度信息來獲得初始的平移值，將根據灰度搜索得到的新的輪廓對齊到平均輪廓，計算對齊的參數值；根據對齊后的數據和主分量分析計算的統(tǒng)計值來計算形狀的變化值；根據對齊的參數值將變化后的形狀反算到原來的位置得到一次搜索的結果；重復搜索步驟，進行迭代直到收斂得到最終結果。
在本發(fā)明所述的方法中，為了提高搜索的速度和準確度，還可以引入金字塔影像，用來進行分級搜索。并且，本發(fā)明進行ASM算法的時候，由于引入了PCA計算統(tǒng)計方法來控制人臉輪廓的變化，使得ASM的算法能夠較為準確的找出人臉的輪廓，算法的速度也較快，迭代搜索的計算在1秒之內就能夠收斂，在本發(fā)明的算法方案中，可以利用檢測到的人眼的位置來確定輪廓的初始位置，同時為了提高器官定位的精度，本發(fā)明使數據庫中存儲的圖像大小和實際檢測的圖像大小一致。實施本發(fā)明的時候，實際上也可以采用AAM(Active Aspect Model，主動外觀模型)算法實現(xiàn)對人臉的輪廓的查找，由于該算法在現(xiàn)有技術中常常應用，所以在本實施例中不再贅述。
通過上述描述，結合圖4所示的內容可以看出，本發(fā)明的算法可以較好的恢復人臉中下巴的位置，可以很好的保持輪廓的整體形狀。
繼續(xù)參看圖1的內容，進行人臉器官定位后，再根據對人臉器官的定位確定人臉下巴的位置，確定圖像中的人臉區(qū)域，生成特征臉，并作為分類樣本；在本步驟中間，生成特征臉的時候，用于分類的樣本應該包含人臉的主要區(qū)域，并且去掉會影響識別效果的那些無用信息，在人臉表情識別的過程中，在只考慮正面人臉表情識別的情況下，影響識別的主要因素是背景和光照。本發(fā)明的方法是根據ASM算法提取出下巴的位置，可以將圖像中的人臉區(qū)域單獨提取出來作為一個用于面部表情識別的特征臉圖像，特征臉的大小是固定的，一般特征臉的大小設置為64*64能夠滿足識別率和速度方面的要求，特征臉如果太小那么識別率會降低，太大則會影響算法的效率。
同時結合圖5和圖6所示的內容，其中圖5a為采集到的特征臉，圖5b為標準特征臉，圖5a由上至下依次具有多條平行的直線，由直線的位置可見，其中一條線確定了人臉下巴的位置，而圖5b所示的是人臉分類器中的標準特征臉，該標準特征臉是進行識別之前訓練所得到，該圖上也由上至下標示了與圖5a中同樣數目的多條相互平行的線條，與圖5a相應的線條的位置同樣可以確定臉下巴的位置；由于圖5a與圖5b的比較可以看出，依據視頻輸入實際提取出來的人臉輪廓的大小和標準特征臉的大小并不相同，而且可能存在傾斜。本發(fā)明的方法可以沿計算出來的傾斜角度來進行采樣，如圖5a中所示的多條線條，對應了圖5b中的同樣數目的線條，對應線條之間的關系可以將實際的人臉區(qū)域重采樣為和標準特征臉大小完全一致的圖像，通過這樣的采樣后可以將視頻中檢測到的人臉轉換為與標準特征臉大小一致，且角度一致的人臉圖像。這是一個對采集到的人臉圖像進行標準化處理的過程，這里的標準化是指將視頻中檢測到的人臉經過幾何變換使之和我們設定的標準特征臉一致。標準化的目的是為了方便樣本的生成和特征的提取，提高識別的精度。
同時參考圖6的內容，左圖為從視頻數據中提取出來的人臉圖像，右邊是經過重采樣后得到的特征臉，該特征臉大小優(yōu)選為64*64。本發(fā)明的識別是基于圖像灰度信息，所以光照會影響到我們最終的識別結果，為了去除光照影響，我們對生成的特征臉進行處理。方法是對特征臉的左右分別進行灰度的歸一化，使左右部分的灰度均值和方差都相同。同時為了避免中間存在一個灰度的跳躍，依據本方法在左右臉的中間設立了一個灰度的過渡帶，使灰度能夠平滑的從臉的左部過渡到右部。
繼續(xù)參見圖1的內容，生成特征臉后，對計算所述的特征臉圖像的Gabor特征；如圖7所示對特征臉圖像的每個像素可以計算5個尺度，6個方向上的Gabor特征，即每個像素可以得到一個30維的向量，64*64的圖像所有像素點的Gabor特征集中在一起可以得到一個122880維的特征向量。在實際計算中，為了加快計算的速度，本發(fā)明采用快速傅立葉變換(FFT)來計算Gabor特征。
參見圖1所示的內容，在計算特征臉圖像的Gabor特征后，需要對計算出的Gabor特征進行選擇；在本發(fā)明所述的方法中，根據特征臉計算出來的Gabor特征矢量的維數高達122880維，這會給本發(fā)明的訓練和計算帶來很大的麻煩，導致算法效率低下，因此，本發(fā)明采用AdaBoost算法來挑選特征，該Adaboost方法從原始矢量中提取出最為有效的一部分特征，作為分類的樣本。AdaBoost算法的基本原理是將弱分類器不斷的組合在一起，形成一個分類能力很強的強分類器。在運用AdaBoost進行計算的過程中，我們可以挑選出分類能力最好的一系列特征，并根據訓練得到的權重來得到最終的分類器。Adaboost算法本身是通過改變數據分布來實現(xiàn)的，它根據每次訓練集中每個例子的分類是否正確，以及上次的總體分類準確率，來確定每個例子的權重值。將每次訓練得到的分類器最后融合起來，作為最后的決策分類器。
參考圖1和圖8所示的內容，在進行特征挑選后，由挑選的特征構造支持向量機(SVM)分類器；例如，本發(fā)明的方法采用AdaBoost算法來挑選出了2000維特征作為訓練樣本，當然在實際應用中也可以選擇3000維、4000維等特征作為訓練樣本，在本實施例中以2000維為例，并構成SVM分類器，在本實施例中，基本上要區(qū)分四類表情，因此是多類的分類器。實際上多類分類器是相對簡單的兩類分類器而言的。在本發(fā)明的實施例中，由于至少要識別四種表情，每種表情可以看作是一個類，所以是一個多類分類器。而SVM是可以構造出線性分類器和非線性分類器。在本發(fā)明的方法中，兩種分類器都可以實現(xiàn)，但是采用線性分類器來進行識別的速度會快一些。所以在不影響識別率的情況下，采用線性分類器是本發(fā)明的一個較佳實施方式。本發(fā)明中所述的多類分類器的設計可以有多種選擇一對一，一對多，決策樹等。一對一是在每兩個類之間設計一個分類器，比如本發(fā)明具有四個類別，那么就具有6種組合，本發(fā)明就可以構建得到6個分類器。如果是一對多，那個我們可以在每個類和其他類之間設計一個分類器，四個類別就可以得到四個分類器。復雜的還可以設計決策樹。
在本實施例中，以一對一的設計方法進行說明，一對一分類器的作用就是把兩個類進行劃分。在表情識別中，將任意兩個類的組合(如四種表情就有6種組合)都用上面的方法來設計分類器，就可以得到6個一對一的分類器。利用這些一對一的分類器，我們就可以區(qū)分四種表情。
其原理可如圖8所示，采用6根線條來表示6個分類器，其中線條11將中性表情和笑的表情分開；線條12條將憤怒和笑的表情分開；線條13將驚訝和笑的表情分開；線條21將中性表情和憤怒的表情分開；線條22將中性表情和驚訝的表情分開；線條23是將驚訝與憤怒的表情分開。
最后，參見圖1，得到SVM分類器之后，本發(fā)明的就可以進行實時的人臉表情識別，在本發(fā)明實施過程中，首先對視頻中的每一幀進行人臉檢測，然后對人臉進行跟蹤并提取出雙眼的位置；如果跟蹤成功，就對當前的圖像中的人臉進行表情識別，并實時給出識別的結果；同時參看圖9所示的內容，左邊為USB攝像頭輸入的視頻數據，右邊的小窗口是面部表情識別的結果。
本發(fā)明的方法可以應用于一種基于視頻的面部表情識別裝置，如圖10所示，所述裝置包括視頻數據采集單元1，圖像處理單元2、人臉信息數據庫3以及面部表情識別單元4；視頻數據采集單元1對視頻的人臉圖像進行采集并將其傳送給圖像處理單元2；圖像處理單元2從人臉信息數據庫3中調取人臉信息由圖像處理單元2中的比較單元121將兩者的圖像對比，并采用AdaBoost計算單元123對人臉數據進行計算傳送給所述的面部表情識別單元4；面部表情識別單元4根據人臉信息數據庫3中存儲的識別信息對采集的人臉圖像進行識別。該裝置還包括顯示單元5，將識別出來的面部表情顯示出來。
其中所述的圖像處理單元2包括比較單元121、特征生成單元122、計算單元123以及分類器單元124；所述的比較單元121將人臉的圖像信息與人臉數據庫3中的圖像信息做出對比，檢測出人臉以及雙眼，并根據雙眼位置提取出人臉圖像，將該人臉圖像信息傳送至特征生成單元122；所述的特征生成單元122對人臉器官定位，根據人臉下巴生成特征臉，將特征臉作為樣本傳送至計算單元123；所述的計算單元123計算特征臉圖像的Gabor特征，并采用AdaBoost算法挑選特征，再將挑選的特征傳送至分類器單元124；所述的分類器單元124根據挑選的特征構造支持向量機分類器，將分類器信息傳送至面部表情識別單元4。所述的視頻數據采集單元1中還包含一視頻數據追蹤單元111，該視頻數據追蹤單元111對視頻數據的人臉數據進行追蹤檢測，判斷是否采集，執(zhí)行本發(fā)明方法中的追蹤人臉步驟。
本發(fā)明所述的方法使得在視頻情況能自動提取準確的人臉的面部表情，并且本方法采用了Adaboost以及ASM算法，可以消除光照的影響，在方法中對人臉圖像進行了專門處理，使人臉的左右部分的灰度均值和方差基本一致，并且本發(fā)明的方法針對常用的USB攝像頭的視頻數據來開發(fā)一個可以對人臉進行實時自動檢測、跟蹤并能識別出正面人臉常見表情的算法，可以達到較佳的商用效果。
以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種基于視頻的面部表情識別方法，其特征在于，包括以下步驟從USB攝像頭輸入的視頻數據中采集人臉的面部表情圖像數據，對該圖像數據做預處理；實時提取人臉在預處理后圖像中的位置；依據人眼分類器對確定出的圖像中的人臉中的人眼做出定位；根據確定的人眼的位置和人臉分類器的信息提取包含人臉的圖像區(qū)域，進行歸一化處理；對人臉器官定位；根據對人臉器官的定位確定人臉下巴的位置，確定圖像中的人臉區(qū)域，生成特征臉，并作為分類樣本；基于所述的分類樣本計算所述的特征臉圖像的Gabor特征；對計算出的Gabor特征進行選擇；由挑選的特征構造支持向量機分類器；根據構造的分類器得出人臉表情識別結果。
2.如權利要求1所述的基于視頻的面部表情識別方法，其特征在于，從USB攝像頭輸入的數據進行采集的時候，包括以下人臉跟蹤步驟在未獲取跟蹤目標前，搜索每幀圖像，檢測人臉是否存在；如果檢測到某幀圖像存在一個或多個人臉，則在接下來的兩幀圖像中跟蹤檢測到的人臉，并對這兩幀圖像中跟蹤的人臉進行檢測和驗證，對檢測結果作出判斷；在同一個位置三幀圖像都檢測到人臉后，算法才認為該位置存在有人臉，此時執(zhí)行實時人臉檢測算法提取人臉在圖像中的位置；如果檢測到場景中存在有多個人臉，挑選出其中一個人臉開始跟蹤，在后續(xù)幀中持續(xù)跟蹤該人臉，如相鄰幀中后一幀與前一幀的跟蹤結果的相似度過低，或某個跟蹤目標所在區(qū)域長時間未檢測到正面直立人臉，則停止跟蹤。
3.如權利要求1所述的基于視頻的面部表情識別方法，其特征在于，所述歸一化處理通過重采樣算法實現(xiàn)所述的重采樣算法為縮放、旋轉和平移變換，使檢測的人眼的位置與人眼分類器的位置重疊進行定位。
4.如權利要求1所述的在視頻情況下的面部表情識別方法，其特征在于，所述的對人臉器官定位是采用目標提取方法，該目標提取方法為主動形狀模型算法。
5.如權利要求4所述的基于視頻的面部表情識別方法，其特征在于，所述的主動形狀模型算法的具體步驟為由視頻數據中提取人臉的輪廓信息，建立樣本單元；對樣本單元中的樣本進行歸一化和對齊處理，然后進行主分量分析變換；對主分量分析變換后的輪廓信息中每個控制點的灰度信息，作為點搜索的依據；將主分量分析計算得到的平均輪廓作為輪廓搜索的初始值，進行迭代搜索，得到人臉輪廓。
6.如權利要求5所述的基于視頻的面部表情識別方法，其特征在于，所述的迭代搜索的步驟是根據灰度信息來獲得初始的平移值，將根據灰度搜索得到的新的輪廓對齊到平均輪廓，計算對齊的參數值；根據對齊后的數據和主分量分析計算的統(tǒng)計值來計算形狀的變化值；根據對齊的參數值將變化后的形狀反算到新輪廓的位置得到一次搜索的結果；重復上述搜索步驟，繼續(xù)進行迭代直到收斂得到人臉輪廓。
7.如權利要求1所述的基于視頻的面部表情識別方法，其特征在于，所述特征臉的生成是將提取出來的人臉輪廓與人臉分類器中的人臉對比，進行傾斜度調整。
8.如權利要求1所述的基于視頻的面部表情識別方法，其特征在于，在生成特征臉與計算特征臉圖像的Gabor特征之間還存在對生成的特征臉進行處理的步驟對形成的特征臉的左右部分進行灰度的歸一化，使左右部分的灰度均值和方差相同。
9.如權利要求8所述的基于視頻的面部表情識別方法，其特征在于，在所述的特征臉左右部分之間設置灰度過濾帶。
10.如權利要求1所述的基于視頻的面部表情識別方法，其特征在于，所建立的支持向量機分類器為多類分類器，為一對一、一對多或決策樹形。
11.一種基于視頻的面部表情識別裝置，其特征在于包括視頻數據采集單元，圖像處理單元、人臉信息數據庫以及面部表情識別單元；視頻數據采集單元對視頻的人臉圖像進行采集并將其傳送給圖像處理單元；圖像處理單元從人臉信息數據庫中調取人臉信息與采集的人臉圖像進行對比，再對人臉數據進行計算，將計算后的數據傳送給所述的面部表情識別單元；面部表情識別單元根據人臉信息數據庫中存儲的識別信息對采集的人臉圖像進行識別。
12.如權利要求11所述的基于視頻的面部表情識別裝置，其特征在于，還包括顯示單元，將識別出來的面部表情顯示出來。
13.如權利要求11所述的基于視頻的面部表情識別裝置，其特征在于，所述的圖像處理單元包括比較單元、特征生成單元、計算單元以及分類器單元；所述的比較單元將人臉的圖像信息與人臉數據庫中的圖像信息做出對比，檢測出人臉以及雙眼，并根據雙眼位置提取出人臉圖像，將該人臉圖像信息傳送至特征生成單元；所述的特征生成單元對人臉器官定位，根據人臉下巴生成特征臉，將特征臉作為樣本傳送至計算單元；所述的計算單元計算特征臉圖像的Gabor特征，并采用AdaBoost算法挑選特征，再將挑選的特征傳送至分類器單元；所述的分類器單元根據挑選的特征構造支持向量機分類器，將分類器信息傳送至面部表情識別單元。
14.如權利要求11所述的基于視頻的面部表情識別裝置，其特征在于，所述的視頻數據采集單元中還包含一視頻數據追蹤單元，該視頻數據追蹤單元對視頻數據的人臉數據進行追蹤檢測，判斷是否對輸入數據進行采集。
全文摘要
本發(fā)明提出一種基于視頻的面部表情識別方法及裝置，該方法在進行實時視頻面部表情識別的時候，主要將ASM輪廓提取算法應用到特征矢量的提取當中，并根據人臉的眼睛的位置對人臉圖像進行提取，由人臉下巴的位置生成歸一化的特征臉，用AdaBoost算法提取特征臉中最有效的特征，最終達到面部表情識別的目的。本發(fā)明在使用中可以消除光照的影響，在方法中對人臉圖像進行了專門處理，使人臉的左右部分的灰度均值和方差基本一致，并且本發(fā)明的方法針對常用的USB攝像頭的視頻數據來對人臉進行實時自動檢測、跟蹤并能識別出正面人臉常見的四種表情的算法，可以達到較佳的技術以及商用效果。
文檔編號G06K9/00GK1794265SQ200510135670
公開日2006年6月28日 申請日期2005年12月31日 優(yōu)先權日2005年12月31日
發(fā)明者謝東海, 黃英, 王浩 申請人:北京中星微電子有限公司