視頻序列中的笑臉識別系統及方法
【專利摘要】本發(fā)明揭示了一種視頻序列中的笑臉識別系統及方法，所述系統包括預處理模塊、特征提取模塊、分類識別模塊。預處理模塊通過視頻采集、人臉檢測、嘴巴檢測，從而獲得能夠直接提取光流特征或PHOG特征的人臉圖像區(qū)域；特征提取模塊采用Optical_PHOG算法進行笑臉特征的提取，得到最有利于笑臉識別的信息；分類識別模塊采用隨機森林算法根據特征提取模塊中得到的大量訓練樣本的特征向量，通過機器學習的方法，得到笑臉和非笑臉兩種類別的分類標準。將待識別圖像的特征向量與這個分類器進行對比或匹配等操作，識別出該待識別圖像屬于笑臉和非笑臉的哪個類別，達到對其進行分類識別的目的。本發(fā)明提出的視頻序列中的笑臉識別系統及方法，可提高笑臉識別的精確度。
【專利說明】視頻序列中的笑臉識別系統及方法

【技術領域】
[0001] 本發(fā)明屬于人臉識別【技術領域】，涉及一種笑臉系統，尤其涉及一種視頻序列中的 笑臉識別系統；同時，本發(fā)明還涉及一種視頻序列中的笑臉識別方法。

【背景技術】
[0002] 目前，針對笑臉識別的研究主要集中在特定環(huán)境、特定數據庫中單張圖像的笑臉 分類識別，其應用于視頻序列中的識別研究并不多，相應的技術也不完善。根據一些使用數 碼產品的用戶反饋，所體驗到的笑臉功能并不理想，在實際應用中存在著很多不足之處。
[0003] 首先，笑臉識別功能的準確性不高。由于人類表情的表現方式有細微和強烈之分、 緩和和激動之分、輕松和緊張之分等諸多形式，所W同一種表情往往表現出不同的面部形 變和強度。
[0004] 其次，笑臉識別功能的敏感度不高。目前有很多產品中的笑臉識別功能只有當被 拍攝者的笑容達到一定程度或者符合一定規(guī)范時，甚至是必須露出牙齒，笑臉快口才能起 到作用。
[0005] 此外，笑臉識別功能的實時性也不好。用戶面對攝像頭，露出微笑，希望在自己的 笑容最為自然的情況下進行捕捉和拍攝，而目前的相機捕捉笑容都有一定的延時，甚至是 很遲緩，結果導致拍出的照片中面部表情反而比人工拍攝的更加僵硬。
[0006] 有鑒于此，如今迫切需要設計一種新的笑臉識別方式，W便克服現有識別方法的 上述缺陷。


【發(fā)明內容】

[0007] 本發(fā)明所要解決的技術問題是：提供一種視頻序列中的笑臉識別系統，可提高笑 臉識別的精確度。
[0008] 此外，本發(fā)明還提供一種視頻序列中的笑臉識別方法，可提高笑臉識別的精確度。
[0009] 為解決上述技術問題，本發(fā)明采用如下技術方案：
[0010] 本發(fā)明主要針對人臉圖像中笑臉特征的提取方法進行研究，旨在特征提取過程 中，取得更加有效的信息，從而提高笑臉識別的準確性，并將其應用于視頻序列環(huán)境下的笑 臉識別系統當中。本發(fā)明的工作主要分為兩個方面：一是結合人臉檢測、五官定位等相關技 術，采用有效的特征提取方法對視頻序列中的人臉圖像進行笑臉特征提??；二是在視頻采 集、分類識別等技術的輔助下，結合本發(fā)明的特征提取算法，實現視頻序列的環(huán)境中，完整 的笑臉識別系統。
[0011] 本發(fā)明在光流法與P冊G(分層梯度方向直方圖，Pyramid Histogram of Oriented Gradients)算法的基礎上，提出了對光流特征與PHOG特征進行特征融合，即化tical_PH0G 特征提取技術。在化tical_PH0G特征提取中，光流特征采用化rn-Schunck算法對人臉區(qū) 域進行提取，得到的特征向量能夠表示視頻序列中每峽圖像之間的相關性信息；PH0G特征 采用sobel算子計算梯度，角度劃分為無方向9通道，在對人臉圖像的嘴部進行兩層金字培 分割之后，對每個分割區(qū)域進行HOG提取，得到的特征向量能夠很好地攜帶圖像本身的紋 理細節(jié)。將兩種信息結合之后，所提取的化tical_PHOG特征向量攜帶了光流特征的同時， 還攜帶了 PH0G特征，使得從笑臉圖像中提取出的特征信息更加飽滿。得到了笑臉特征的特 征向量之后，下一步就是利用該些特征進行訓練和分類識別。特征的訓練是指通過某種方 法（該里主要是機器學習的方法），將得到的該些特征向量按照所屬類別進行劃分，找到一 種分類規(guī)則，能夠使該兩種類別之間的區(qū)別最大。分類識別是指將待識別的特征向量與訓 練得到的分類規(guī)則進行比較，得出待識別的特征向量所屬類別的過程。
[0012] 本發(fā)明設計了一個基于視頻序列的笑臉識別系統。系統首先對Jaffe人臉表情 數據庫中的樣本圖像，提取特征送入隨機森林中進行訓練，得出笑臉分類器；然后通過攝像 頭進行圖像采集，對采集到的人臉圖像，提取特征，送入隨機森林，結合分類器，進行分類識 另ij，得出識別結果并輸出。在該個系統中，特征提取采用光流法、PH0G算法和化tical_PH0G 算法分別實現。
[0013] 一種視頻序列中的笑臉識別系統，所述系統包括：
[0014] 預處理模塊，通過視頻采集、人臉檢測、嘴己檢測，從而獲得能夠直接提取光流特 征或PH0G特征的人臉圖像區(qū)域；
[0015] 特征提取模塊，采用化tical_PH0G算法進行笑臉特征的提取，得到最有利于笑臉 識別的信息；
[0016] 分類識別模塊，采用隨機森林算法根據特征提取模塊中得到的大量訓練樣本的特 征向量，通過機器學習的方法，得到笑臉和非笑臉兩種類別的分類標準。將待識別圖像的特 征向量與該個分類器進行對比或匹配等操作，識別出該待識別圖像屬于笑臉和非笑臉的哪 個類別，達到對其進行分類識別的目的。
[0017] 作為本發(fā)明的一種優(yōu)選方案，所述特征提取模塊包括化tical_PH0G特征提取單 元，分類識別模塊包括隨機森林分類識別單元。
[0018] 作為本發(fā)明的一種優(yōu)選方案，所述預處理模塊整理數據庫，將所用的人臉圖像進 行篩選，得到符合實驗條件的樣本圖像；
[0019] 所述特征提取模塊完成的功能是根據化tical_PH0G算法從樣本集圖像或者待識 別圖像中提取可W代表其特征的信息，組成特征向量，送入分類識別模塊中進行后續(xù)識別 工作；該系統采用的樣本圖像為JAFFE人臉表情數據庫。
[0020] 一種視頻序列中的笑臉識別方法，所述方法包括如下步驟：
[0021] (1)預處理步驟；
[0022] 預處理步驟中，得到能夠直接提取光流特征或PH0G特征的感興趣區(qū)域圖像；對于 訓練流程來說，其處理對象為化ffe表情庫，所做工作為人臉檢測與嘴部區(qū)域檢測，對于識 別流程來說，其處理對象為通過攝像頭直接采集到的人臉圖像，需要在人臉檢測和嘴己檢 測之前，首先進行簡單的灰度化處理；
[0023] 其中，人臉檢測步驟中，通過類化ar特征對人臉特征進行描述，同時采用積分圖 方法實現類化ar特征的快速計算，采用Ad油oost級聯分類器實現對圖像中人臉的檢測，得 到人臉區(qū)域的位置，并將人臉提取出來；
[0024] 嘴部區(qū)域檢測基于人臉檢測的基礎之上，在得到了人臉圖像之后，利用先驗知識 和圖像處理技術，其中包括灰度化、圖像增強、二值化等方法，定位到人眼位置，然后根據豎 直方向，兩眼之間的位置為嘴部區(qū)域在豎直方向的中也點等先驗知識，進行嘴部區(qū)域檢測， 得到嘴己的位置，并將其提取出來；
[00巧](2)特征提取步驟；
[0026] 從人臉圖像上，眾多特征中提取出能夠表達其表情的形變的特征，該里的表情特 征指能夠區(qū)分其為笑臉還是非笑臉的形變特征，得到最有利于笑臉識別的信息；該些提取 出來的特征的準確性和有效性直接影響到最后的笑臉識別率；由于形變特征能夠由像素點 的運動方向、圖像紋理等很好地表示；
[0027] 其中，光流特征的提取通過化rn-Schunck的全局平滑約束，結合光流基本約束方 程計算得到，PH0G特征通過對嘴己區(qū)域進行兩層金字培分割，提取HOG而得到，化tical_ PH0G特征通過分別提取人臉區(qū)域的光流特征和嘴己區(qū)域的PH0G特征，并進行串接而得到；
[0028] (3)分類識別步驟；
[0029] 采用隨機森林算法進行訓練和分類識別，該里，隨機森林是由裝袋法和輸入變量 進行隨機分組構建而成的化rests-RI ;
[0030] 在訓練流程中完成的功能是，根據特征提取模塊中得到的大量訓練樣本的特征向 量，通過機器學習的方法，得到笑臉和非笑臉兩種類別的分類標準，即，訓練得到笑臉分類 器；
[0031] 在識別流程中完成的功能是，將待識別圖像的特征向量與該個分類器進行對比或 匹配等操作，識別出該待識別圖像屬于笑臉和非笑臉的哪個類別，對其進行分類識別。
[0032] 作為本發(fā)明的一種優(yōu)選方案，訓練分類的流程是：
[0033] Stepll ;輸入化ffe人臉表情數據庫中共10人的樣本，對每一個樣本圖像進行人 臉檢測，得到人臉區(qū)域；
[0034] St巧12;選取每個人的一幅中性表情圖作為基準圖像，將其余樣本圖像（該里稱 為表情圖像）與同一個人的基準圖像成對進行光流特征的提??；
[00巧]Step 13 ;對表情圖像進行嘴己檢測，在嘴己區(qū)域做金字培分割，提取PH0G特征； [003引 Step 14 ;將光流特征與raOG特征串接，得到每個表情圖像的化tical_P冊G特征 向量；
[0037] Stepl5;將所有表情圖像的特征向量送入隨機森林RF模塊中，進行分類器的訓 練。
[0038] 笑臉識別的流程是：
[0039] Step21 ;通過攝像頭采集一段視頻序列，對該段視頻序列中的每一峽圖像進行人 臉檢測；
[0040] Step22 ;選取視頻序列中的第一峽作為基準圖像，隨機選取視頻序列后面的任意 一峽作為待識別的表情圖像，將該基準圖像和表情圖像分別進行灰度化處理之后，成對進 行光流特征的提??；
[0041] Step23;對待識別的表情圖像的灰度圖像進行嘴己檢測，在嘴己區(qū)域做金字培分 害I]，提取PH0G特征；
[0042] Step24 ;串接提取到的光流特征與PH0G特征，得到待識別表情圖像的化tical_ PH0G特征向量；
[0043] Step25;利用訓練流程中得到的笑臉分類器，對待識別表情圖像的特征向量進行 分類識別，得出識別結果。
[0044] 本發(fā)明的有益效果在于；本發(fā)明提出的視頻序列中的笑臉識別系統及方法，可提 高笑臉識別的精確度。
[004引本發(fā)明結合笑臉的特征，提出化tical_PH0G算法，將光流特征與PH0G特征串接， 形成一種新的特征，進行笑臉識別實驗，提高了識別率。同時引入隨機森林進行笑臉特征的 分類識別。利用隨機森林算法的特點，通過從整體的數據庫中進行多次的隨機選取樣本，可 W在訓練出分類效果非常好的分類器的同時，解決了目前笑臉識別數據庫資源少的問題， 同時使用袋外估計代替識別率，使得實驗得到的識別率更加具有說服力。

【專利附圖】

【附圖說明】
[0046] 圖1為本發(fā)明笑臉識別系統的框架圖。
[0047] 圖2為基于化tical_PH0G特征提取的笑臉識別的流程圖。
[004引 圖3為化tical_P冊G特征提取流程圖。
[0049] 圖4為光流特征提取流程圖。
[0050] 圖5為4種矩形特征示意圖。
[0051] 圖6為矩陣和計算示意圖。
[0052] 圖7為矩陣特征值計算示意圖。
[0053] 圖8為級聯分類器結構示意圖。
[0054] 圖9為Ad油oost分類器的訓練過程示意圖。
[00巧]圖10為PH0G特征提取流程圖。
[0056] 圖11為嘴己定位流程圖圖。
[0057] 圖12為HOG特征提取流程圖。
[0058] 圖13為單元直方圖的通道劃分示意圖。
[0059] 圖14為R-H0G矩形圖。
[0060] 圖15為RF示意圖。
[0061] 圖16為二分類的決策樹結構圖。
[0062] 圖17為笑臉識別系統框圖。
[0063] 圖18為各功能模塊的技術設計方案示意圖。

【具體實施方式】
[0064] 下面結合附圖詳細說明本發(fā)明的優(yōu)選實施例。
[0065] 實施例一
[0066] 請參閱圖1，本發(fā)明掲示了一種視頻序列中的笑臉識別系統，所述系統主要包括： 預處理模塊、特征提取模塊、分類識別模塊。所述特征提取模塊包括化tical_PH0G特征提 取單元，分類識別模塊包括隨機森林分類識別單元。
[0067] 預處理模塊通過視頻采集、人臉檢測、嘴己檢測，從而獲得能夠直接提取光流特征 或PH0G特征的人臉圖像區(qū)域。
[0068] 特征提取模塊采用化tical_PH0G算法進行笑臉特征的提取，得到最有利于笑臉 識別的信息。
[0069] 分類識別模塊采用隨機森林算法根據特征提取模塊中得到的大量訓練樣本的特 征向量，通過機器學習的方法，得到笑臉和非笑臉兩種類別的分類標準。將待識別圖像的特 征向量與該個分類器進行對比或匹配等操作，識別出該待識別圖像屬于笑臉和非笑臉的哪 個類別，達到對其進行分類識別的目的。
[0070] 笑臉識別系統的框架如圖1所示。首先選取數據庫，一個好的數據庫，能夠更好的 用于訓練。在通過預處理獲取圖像中的人臉圖像，通過特征提取，獲取笑臉特征值，通過特 征值，通過分類器進行識別，最終輸出是不是笑臉。
[0071] 首先是數據庫的整理，將所用的人臉圖像進行篩選，得到符合實驗條件的樣本圖 像。特征提取模塊完成的功能是根據一定的特征提取算法，從樣本集圖像或者待識別圖 像中提取可W代表其特征的信息，組成特征向量，送入分類識別模塊中進行后續(xù)識別工作。 本實施例中，該系統采用的樣本圖像為JAFFE(The Japanese化111316 Facial Expression Dat油ase)人臉表情數據庫。
[0072] 【預處理模塊】
[0073] 人臉圖像由于實際拍攝條件的不同，由于光照W及受到拍攝設備的性能優(yōu)劣等諸 多因素的影響，往往存在很多缺陷，如圖像色彩、亮度、大小的不同和噪聲等，圖像預處理就 是要盡量多的去除該些缺陷，預處理模塊包括圖像平滑單元、尺寸歸一化單元、灰度均衡單 兀等。
[0074] -圖像平滑單元
[0075] 圖像的平滑是一種實用的數字圖像處理技術，主要目的是為了減少噪聲，本發(fā)明 采用鄰域平均法來減少噪聲。
[0076] 鄰域平均法是簡單的空域處理方法。圖像平滑單元用幾個像素灰度的平均值來代 替每個像素的灰度。假定有一幅NXN個像素的圖像f(x，y)，平滑處理后得到一幅圖像為 g(x，y)。g(x，y)由下式決定：
[0077]

【權利要求】
1. 一種視頻序列中的笑臉識別系統，其特征在于，所述系統包括： 預處理模塊，通過視頻采集、人臉檢測、嘴巴檢測，從而獲得能夠直接提取光流特征或PHOG特征的人臉圖像區(qū)域； 特征提取模塊，采用〇ptical_PHOG算法進行笑臉特征的提取，得到最有利于笑臉識別 的信息； 分類識別模塊，采用隨機森林算法根據特征提取模塊中得到的大量訓練樣本的特征向 量，通過機器學習的方法，得到笑臉和非笑臉兩種類別的分類標準。將待識別圖像的特征向 量與這個分類器進行對比或匹配等操作，識別出該待識別圖像屬于笑臉和非笑臉的哪個類 另Ij，達到對其進行分類識別的目的。
2. 根據權利要求1所述的視頻序列中的笑臉識別系統，其特征在于： 所述特征提取模塊包括〇ptical_PHOG特征提取單元，分類識別模塊包括隨機森林分 類識別單元。
3. 根據權利要求1所述的視頻序列中的笑臉識別系統，其特征在于： 所述預處理模塊整理數據庫，將所用的人臉圖像進行篩選，得到符合實驗條件的樣本 圖像； 所述特征提取模塊完成的功能是根據〇ptical_PHOG算法從樣本集圖像或者待識別圖 像中提取可以代表其特征的信息，組成特征向量，送入分類識別模塊中進行后續(xù)識別工作； 該系統采用的樣本圖像為JAFFE人臉表情數據庫。
4. 根據權利要求1所述的視頻序列中的笑臉識別系統，其特征在于： 所述預處理模塊對數據進行預處理；預處理模塊包括圖像平滑單元、尺寸歸一化單元、 灰度均衡單元； 所述圖像平滑單元采用鄰域平均法來減少噪聲；鄰域平均法是簡單的空域處理方法； 用幾個像素灰度的平均值來代替每個像素的灰度；假定有一幅NXN個像素的圖像f(x，y)， 平滑處理后得到一幅圖像為g(x，y) ;g(x，y)由下式決定：
式中X，y= 0, 1，2,......，N-I;S是（x,y)點鄰域中點的坐標的集合,但其中不包括 (x，y)點，M是集合內坐標點的總數；式（1)說明，平滑化的圖像g(x，y)中的每個像素的灰 度值均由包含在（x，y)的預定鄰域中的f(x，y)幾個像素的灰度值的平均值來決定；以（X， y)點為中心，取單位距離構成一個鄰域，其中點的坐標集合為 S= {(x, y+1), (x, y - I), (x+1, y), (x - I, y)} (2) 隨著鄰域的增大，圖像的模糊程度也愈加嚴重；為克服這一缺點，采用閾值法減少由于 鄰域平均所產生的模糊效應；當一些點和它的鄰域內的點的灰度平均值的差不超過規(guī)定的 閾值T時，就仍然保留其原灰度值不變，如果大于閾值T時就用它們的平均值來代替該點的 灰度值；減少模糊的程度；其基本方法由下式決定
式中T就是規(guī)定的非負閾值； 尺寸歸一化單元用以去除圖像中的結構變形，使人臉圖像標準化； 灰度均衡單元用以對人臉樣本圖像進行直方圖均衡化；把原始圖像的灰度直方圖從比 較集中的某個灰度區(qū)間變成在全部灰度范圍內的均勻分布。
5. 根據權利要求1所述的視頻序列中的笑臉識別系統，其特征在于： 所述特征提取模塊利用特征融合的方法將光流特征與分層梯度方向直方圖PHOG特征 有效地結合起來，形成一種新的特征向量，這里稱為〇ptical_PHOG特征，同時，結合隨機森 林分類方法，將該特征送入隨機森林模塊中進行訓練和分類的笑臉識別技術； 所述0ptical_PH0G特征指的是，結合光流特征和PHOG特征，通過串接得到一組新的特 征向量，這組新的特征向量中，既包含了光流的特征信息，又包含了PHOG的特征信息，這里 將其稱為〇ptical_PHOG特征； 光流特征和PHOG特征串接的過程如下： 設X= [X^x2, 為光流OpticalFlow特征向量，xi= 為第i個樣本的特征向 量；其中，Xi=[Xn,xi2，…，xip]為第i個樣本的p維特征向量值，Xij第i個樣本中第j維 特征的值； Y=Iiy1, …，yJT為PHOG特征向量，yi= 1...n為第i個樣本的特征向量；其中，yi= [yii，yi2,…，yiQ]為第i個樣本的q維特征向量值，Yij為第i個樣本中第維特征的值；n 為樣本數；則串接后的特征向量E為： I： = [X1UHXy1,X2UHXy2,xnUHXyJ1 (4) 其中H稱為串接系數，如下： H=max(Xij)/max(Yij) (5) 在式5中，max(Xij)為n個樣本中，最大的光流特征值，max(yj為最大的PHOG特征值； 其中，i= 1，2, ...，n,j= 1，2, ? ? ?，m。
6. 根據權利要求1所述的視頻序列中的笑臉識別系統，其特征在于： 所述特征提取模塊包括〇ptical_PHOG特征提取單元，0ptical_PH0G特征提取單元包 括光流特征提取單元，提取光流特征，就是對兩幅圖像做以下操作： 1) 輸入圖像；輸入圖像為兩幅圖像，進行笑臉識別，意圖是測試某一幅表情圖像是否 是笑臉圖像； 2) 人臉檢測；光流特征提取嚴格針對人臉區(qū)域，采用的Jaffe數據庫中的圖像需要進 行人臉檢測，剔除周圍不相關的區(qū)域，得到準確的人臉區(qū)域，將人臉區(qū)域從圖像中提取出 來，并進行歸一化； 人臉檢測是指在輸入的圖像中如果存在人臉區(qū)域，則檢測出人臉，確定所有人臉的大 小、位置和位姿；采用Haar-Like特征與級聯的Adaboost學習算法相結合的方法；具體步 驟如下： 第一步、對人臉進行Haar-Like特征計算，運用"積分圖"算法快速提取特征； Haar特征由兩個或多個形狀相同的黑白矩形按一定規(guī)則排列構成，每一個類Haar特 征都會量化成一個矩形特征值進行描述；矩形特征值指的是矩形內所有像素點的像素灰度 值按照黑白區(qū)域加減后的值，一般是用白色矩形區(qū)域中所有像素的灰度值之和，減去黑色 矩形區(qū)域中所有像素的灰度值之和； 將訓練窗口的規(guī)模初始化為W*H個像素點；W代表特征原型長度具有的像素個數，h代 表特征原型寬度具有的像素個數； 令：X=(?W) /w，. 〃?〃表示對數值取整；一個大小為w*h的特征原型在一個大小為W*H的搜索窗中得到的矩形特征的個數用下面的公式的計算結果來表示：
矩形特征的數量非常龐大，如果每次計算特征值都要統計矩形內所以像素之和，將會 大大降低訓練和檢測的速度；因此引入了一種新的圖像表示方法--積分圖像，矩形特征 的特征值計算，只與此特征矩形的端點的積分圖有關，所以不管此特征矩形的尺度變換如 何，特征值的計算所消耗的時間都是常量；這樣只要遍歷圖像一次，就求得所有子窗口的特 征值； 積分圖的定義為：
進行2種運算： (1) 任意矩形區(qū)域內像素積分；由圖像的積分圖可方便快速地計算圖像中任意矩形內 所有像素灰度積分； (2) 特征值計算；矩形特征的特征值是兩個不同的矩形區(qū)域像素和之差，由（9)式能計 算任意矩形特征的特征值； 運用積分圖快速計算給定的矩形之所有象素值之和Sum(r);假設r= (x，y，w，h)，那 么此矩形內部所有元素之和等價于下面積分圖中下面這個式子： Sum(r) =ii(x+w,y+h)+ii(x-1,y-1)-ii(x+w,y-1)-ii(x-1,y+h) (10) 第二步、根據AdaBoost算法提取最有效的Haar-Like特征，經過多次迭代確定各個弱 分類器的權值； AdaBoost算法同時進行訓練分類器和特征選擇的工作；AdaBoost算法中的每個弱分 類器都與某個特征對應，弱分類器的個數等于矩形特征數；訓練過程中從大量的弱分類器 中選出一個在當前樣本權重分布情況下具有最小分類錯誤率的弱分類器作為本輪的最優(yōu) 弱分類器，進行T輪訓練以后，最終得出T個最具代表性的特征，對應了T個弱分類器，最后 根據每個特征的不同權值加權后連接得到一個非常強大的分類器； 令X為訓練樣本空間，Y= {0，1}中包含了訓練樣本可能來自的類別的記號.1代表正 的樣本點，即人臉樣本，O代表負的樣本點，即非人臉樣本；假設一共有K個矩形特征；j代 表第t輪迭代過程中的第j個樣本點所具有的權重；算法的具體實現通常包含下面的4個 重要環(huán)節(jié)： (1) 已知訓練樣本集X=Kx1,y)，（x2,y2)，…，（xn，yn)};式中XiGX;假定訓練集中共 包含1個人臉樣本點，m個非人類樣本點，1+m=n; (2) 給每個樣本點一個起始權重；
(3) 對于t= 1，…，T;T為循環(huán)次數； ① 對樣本所具有的權重執(zhí)行歸一化操作； ② 針對每一個特征j，在已知的樣本權重分布情況下訓練得到弱分類器hy(x)，通過計 算得到每個弱分類器對樣本集的分類錯誤率，
③ 確定第t輪迭代的最優(yōu)弱分類器ht (X)，令k=argminet，」，并將樣本集的分類錯誤 率取為et=et，k; ④ 根據獲得的最優(yōu)弱分類器修改樣本的權重：= 廣其中￠,=ey(i-et);ei= 0,表示Xi被正確分類，ei= 1表示xi被錯誤分類； (4) 最后得到的強分類器為：
第三步、將訓練得到的弱分類器進行級聯，組成完整的人臉檢測系統； 為改善人臉檢測的時間性能，利用級聯分類器結構：包括多個分層的分類器，通過這樣 的一種分類器組織方式能使得人臉檢測過程隨著層數的遞增得到更高的精度； 上述的級聯分類器的判決過程與經過退化的決策樹的判定過程是非常相似的，若第i層將搜索子窗判定為"是"，那么這個可能會包含人臉圖像的搜索子窗便會被繼續(xù)派發(fā)到 第i+1層分類器，同時誘發(fā)第i+1層的分類器進行分類工作，如此逐級檢測；這種檢測方法 首先副除巨量的不包含人臉圖像的搜索子窗，從而使得人臉檢測的時間性能得打很好的優(yōu) 化； Adaboost分類器的訓練過程包括： 計算光流；采用Horn-Schunck算法進行光流（u,V)的計算；Horn-Schunck算法核心思 想是：圖像上每一點的光流之間都有聯系，光流在整個圖像范圍內應該是平滑變化的，所以 引入了平滑性約束，使平滑約束項極小化； 設平滑性約束項為極小化：
結合基本等式，要求極小化： Ec=/ / (I Xu+Iyv+It)2dxdy (15) 結合式14和式15可知，最后求得的光流應滿足式16 : mina[(ul+it] +vj+ ) +A(Ivu-rIv-rI1)2]dxdy (16) 這里入的取值要考慮噪聲情況，噪聲較強，則說明圖像數據本身具有較低的置信度， 這時便需要更多的依賴加入的光流約束，A取較小的值；反之，若噪聲較弱，A取較大的 值； 此時，問題將轉化為求解Lagrangian最小化問題；對形如式16的形式變分問題的解釋 對應Euler方程（17)的解； min{ / / F (u, v, ux, uy, vx, vy) dxdy} (17)
其中，▽ 2是Laplace算子； 實際計算過程中，處理對象為離散化的坐標，相應的，要對式（19)進行離散化處理： 離散化為

根據中性圖像，利用Horn-Schunck計算出表情圖像中每一點的光流矢量，所有點的光 流矢量共同構成這幅表情圖像的光流特征； Horn-Schunck算法計算的是稠密光流的速度場，S卩，將圖像中的每個像素都與速度關 聯，針對每個像素分別計算光流向量的U和V兩個分量；圖像Horn-Schunck光流場的獲取 需要四個步驟： 1) 計算像素點的光流分量；計算的依據是Horn-Schunck算法中的光流（u，V)迭代公 式，即式 25、26、27 ; 2) 設定搜索窗口大小；經過多次設定搜索窗口的大小，通過笑臉識別的結果，得出最 合適的窗口大小； 3) 計算窗口中的光流特征值；對窗口中含有的像素點的u和V分量進行加法運算，得 到該窗口的（u，V)分量，根據5 =arctan(v/w)計算光流特征值； 4) 獲取圖像的光流特征向量；將所有窗口計算所得的光流特征值串聯起來，組成整幅 圖像的光流特征向量。
7.根據權利要求6所述的視頻序列中的笑臉識別系統，其特征在于： Optical_PHOG特征提取單元包括分層梯度方向直方圖PHOG特征提取單元；PHOG特 征提取單元用特征向量表達出圖像中物體的局部形狀以及形狀在空間中的布局；該描述 子包含了不同分辨率分割下的每個子圖像的梯度方向直方圖；PHOG特征提取過程中，采用 sobel算子計算梯度，角度劃分為無方向9通道，金字塔分割操作針對人臉區(qū)域圖像分割兩 層，之后對分割得到的21個圖像區(qū)域進行提??；得到能夠表示圖像紋理細節(jié)的特征向量； PHOG特征提取流程包括： (1)嘴部區(qū)域提取步驟； 嘴巴定位是在人臉檢測之后進行的，并且加入了眼睛的檢測；采用基礎的圖像處理方 法進行嘴巴定位； 1) 圖像截取；根據先驗知識，將圖像分為上下兩部分，在人臉的上半部分檢測人眼的 位置，然后在人臉的下半部分，結合人眼的堅直坐標定位嘴巴； 2) 人眼區(qū)域定位；在人臉的上半部分繼續(xù)根據先驗知識進行圖像截取，縮小搜索范 圍，然后進行圖像增強、二值化等操作之后，在水平和堅直方向分別進行直方圖投影，分別 得到左、右眼的位置； 3)嘴巴定位；將左眼中心點的縱坐標作為嘴巴的左邊緣，將右眼中心點的縱坐標作為 嘴巴的右邊緣，再結合先驗知識，確定嘴巴的上下坐標，最終確定嘴巴位置。 (2) Hog特征提取步驟； 梯度方向直方圖HOG特征提取，對提取對象圖像做以下操作： 1) 輸入圖像；采用PHOG特征提取，針對人臉嘴部區(qū)域進行，因此，這里的輸入圖像是數 據庫的人臉圖像進行嘴部區(qū)域提取之后的圖像，或者經過區(qū)域分割之后各層子圖像； 2) 預處理；HOG特征的提取是對灰度圖而言的，所以，首先需要滿足灰度圖像的條件， 對輸入圖像進行灰度化處理； 3) 計算梯度向量；采用Sobel算子來計算梯度向量；
梯度方向 0 =arctan(Ix/Iy) (31) 創(chuàng)建單元直方圖；細胞單元cell中，每一個像素點都將為某個方向的直方圖通道做 投票；投票通常采取加權的方式，也就是說每一票都帶有權值，這個權值由該像素點的梯度 函數來計算，采用幅值本身或者其他形式的函數來表示；將單元按照角度域[〇, 180]或者 [0, 360]等分成多個通道，根據像素梯度幅值I和梯度方向，投影到對應的直方圖通道上； 4) 圖塊內歸一化；由于局部光照的變化以及前景-背景對比度的變化，使得梯度強度 的變化范圍非常大；這就需要對梯度強度做歸一化，采取的辦法是：把各個細胞單元組合 成大的、空間上連通的區(qū)間blocks;利用Block中每個通道的幅值對cell的通道幅值進行 歸一化處理；Block采用矩形R-HOG形狀； (3) 金字塔分割步驟； 所述金字塔是指這樣一組柵格對象，它們的分辨率和尺寸是不同的，而且一般其分辨 率和尺寸分別呈等比數列形式，建立金字塔的順序是"自底向上"的，將原始圖像，通過多次 采樣處理，從而得到一組尺寸變小，分辨率變低的圖像，形成"金字塔"的一個圖像區(qū)域組成 的序列；顯然，不同層次的圖像具有不同的尺寸，越接近底層則尺寸越大，包含信息也越多； 隨著向金字塔上升，每隔一層尺寸都降低，其中的每一塊圖像區(qū)域僅表達了上一層圖像區(qū) 域中1/4的信息； (4) PHOG特征提取步驟； PHOG算法提取嘴部區(qū)域紋理特征，體現在具體的操作過程中，有如下幾個步驟： StepL提取人臉嘴部區(qū)域；表示從完整的人臉圖像中定位嘴巴，并將嘴部區(qū)域提取出 來； Step2.金字塔分割；表示對嘴部區(qū)域做金字塔分割； Step3.提取各層子圖像HOG特征；表示提取金字塔分割得到的各層子圖像的邊緣直方 圖；這里的直方圖獲得方法是：將圖像域[〇, 360]量化成9個方向，每20°為一個方向通 道，針對每個方向的角度范圍，統計梯度方向e處于該范圍的像素點的個數；并以各個像 素點梯度幅值J的大小作為權重計算每個像素點的貢獻；表示在特征向量直方圖中，某個 柱子的高度代表該柱子對應方向角度范圍內所有像素點貢獻的總和，柱子的個數代表直方 圖維數，特征向量長度為9; Step4.連接所有子圖像的HOG特征作為最終提取的嘴部PHOG特征，獲取串聯后的PHOG特征向量總長度。
8.根據權利要求1所述的視頻序列中的笑臉識別系統，其特征在于： 分類識別模塊使用分類器進行訓練和識別笑臉；在訓練和識別中，均要用到特征提取 模塊得到的特征向量；訓練的目的是通過對大量訓練樣本的特征向量進行機器學習，得到 能夠最大限度地區(qū)分出笑臉和非笑臉的分類器。識別過程是將測試樣本通過特征提取模塊 之后得到的特征向量，送入訓練得到的笑臉分類器，通過一系列對比和劃分，最終得到測試 樣本所屬的類別； 在分類識別模塊采用隨機森林的分類方法，其中用到的技術有=Bagging隨機選擇 方法、分類回歸樹CART算法、Gin i系數最小原則法、袋外估計值等，構建的隨機森林為 Forests-RI； 隨機森林RF是一種聯合分類器，每棵決策樹都是一個基礎分類器，多個決策樹共同構 成隨機森林；決策樹在每個節(jié)點隨機從屬性集中選取若干候選屬性，根據Gini系數最小原 則選擇分類屬性和閾值；即，每一棵樹都依賴于獨立抽樣，并與森林中所有樹具有相同分布 的隨機向量的值；采用隨機森林分類RFC時，每棵樹都投票并返回得票最多的類； 決策樹與流程圖的樹結構相類似，其中，每個內部節(jié)點都是一個分裂問題，每個分支代 表該測試的一個輸出，而每個樹葉節(jié)點存放一個類標號；樹的最頂層節(jié)點是根節(jié)點； 隨機森林由兩種隨機算法共同構建，這兩種隨機算法分別是裝袋法，和基于輸入的構 建方法； 裝袋法Bagging是一個統計重采樣的組合技術，利用有放回的隨機重采樣來生成多個 版本的預測器，然后把這些分類器融合，通常情況下，組合的分類器與單一分類器相比，其 分類效果更好，原因是在最終解決問題時，結合了所有單獨分類器的特點； 利用bagging方法來生成訓練集，其具體思想及操作步驟是：原始訓練集D中，由于抽 取樣本的隨機性，每個樣本未被抽取的概率為（1_1/N)N，其中N為原始訓練集D中的樣本個 數；當N足夠大時，（1-1/N)1f收斂于1/e?0. 368,也就是說，在原始樣本集D中，將會有 接近37%的樣本在抽樣時不會出現在bootstrap的樣本中，這些未被抽取的數據稱為袋外 OOB數據，使用袋外數據來估計模型性能的方法稱為OOB估計；由于使用OOB估計和使用相 同樣本容量的測試集的精度一樣，就沒有必要再使用測試集； 采用Forests-RI構建隨機森林；Forests-RI構建方法是對輸入變量進行隨機分組，例 如，給定d個樣本的訓練集D，目的是為組合分類器產生k棵決策樹，過程如下：首先，對于 每次迭代i(i= 1，2,…，k)，使用有放回抽樣，由D產生d個樣本的訓練集Di，使得某些樣 本可能在Dim現多次，而另一些可能不出現；設F是用來在每個節(jié)點決定劃分的屬性數，其 中F遠小于可用屬性數；為了構造決策樹分類器Mi,在每個節(jié)點隨機選擇F個屬性作為該節(jié) 點劃分的候選屬性；樹增長到最大規(guī)模，并且不剪枝；使用這種方法形成的隨機森林稱為 Forests-RI0
9. 一種視頻序列中的笑臉識別方法，其特征在于，所述方法包括如下步驟： (1) 預處理步驟； 預處理步驟中，得到能夠直接提取光流特征或PHOG特征的感興趣區(qū)域圖像；對于訓練 流程來說，其處理對象為JafTe表情庫，所做工作為人臉檢測與嘴部區(qū)域檢測，對于識別流 程來說，其處理對象為通過攝像頭直接采集到的人臉圖像，需要在人臉檢測和嘴巴檢測之 前，首先進行簡單的灰度化處理； 其中，人臉檢測步驟中，通過類Haar特征對人臉特征進行描述，同時采用積分圖方法 實現類Haar特征的快速計算，采用Adaboost級聯分類器實現對圖像中人臉的檢測，得到人 臉區(qū)域的位置，并將人臉提取出來； 嘴部區(qū)域檢測基于人臉檢測的基礎之上，在得到了人臉圖像之后，利用先驗知識和圖 像處理技術，其中包括灰度化、圖像增強、二值化等方法，定位到人眼位置，然后根據堅直方 向，兩眼之間的位置為嘴部區(qū)域在堅直方向的中心點等先驗知識，進行嘴部區(qū)域檢測，得到 嘴巴的位置，并將其提取出來； (2) 特征提取步驟； 從人臉圖像上，眾多特征中提取出能夠表達其表情的形變的特征，這里的表情特征指 能夠區(qū)分其為笑臉還是非笑臉的形變特征，得到最有利于笑臉識別的信息；這些提取出來 的特征的準確性和有效性直接影響到最后的笑臉識別率；由于形變特征能夠由像素點的運 動方向、圖像紋理等很好地表示； 其中，光流特征的提取通過Horn-Schunck的全局平滑約束，結合光流基本約束方程計 算得到，PHOG特征通過對嘴巴區(qū)域進行兩層金字塔分割，提取HOG而得到，Optical_PH0G特 征通過分別提取人臉區(qū)域的光流特征和嘴巴區(qū)域的PHOG特征，并進行串接而得到； (3)分類識別步驟； 采用隨機森林算法進行訓練和分類識別，這里，隨機森林是由裝袋法和輸入變量進行 隨機分組構建而成的Forests-RI ; 在訓練流程中完成的功能是，根據特征提取模塊中得到的大量訓練樣本的特征向量， 通過機器學習的方法，得到笑臉和非笑臉兩種類別的分類標準，即，訓練得到笑臉分類器； 在識別流程中完成的功能是，將待識別圖像的特征向量與這個分類器進行對比或匹配 等操作，識別出該待識別圖像屬于笑臉和非笑臉的哪個類別，對其進行分類識別。
10. 根據權利要求9所述的視頻序列中的笑臉識別方法，其特征在于： 訓練分類的流程是： St印11 :輸入Jaffe人臉表情數據庫中共10人的樣本，對每一個樣本圖像進行人臉檢 測，得到人臉區(qū)域； Step 12:選取每個人的一幅中性表情圖作為基準圖像，將其余樣本圖像（這里稱為表 情圖像）與同一個人的基準圖像成對進行光流特征的提??； St印13:對表情圖像進行嘴巴檢測，在嘴巴區(qū)域做金字塔分割，提取PHOG特征； Step 14:將光流特征與PHOG特征串接，得到每個表情圖像的Optica 1_PH0G特征向 量； St印15 :將所有表情圖像的特征向量送入隨機森林RF模塊中，進行分類器的訓練。 笑臉識別的流程是： Step21 :通過攝像頭采集一段視頻序列，對這段視頻序列中的每一幀圖像進行人臉檢 測； Step22 :選取視頻序列中的第一幀作為基準圖像，隨機選取視頻序列后面的任意一幀 作為待識別的表情圖像，將該基準圖像和表情圖像分別進行灰度化處理之后，成對進行光 流特征的提取； St印23 :對待識別的表情圖像的灰度圖像進行嘴巴檢測，在嘴巴區(qū)域做金字塔分割，提 取PHOG特征； St印24 :串接提取到的光流特征與PHOG特征，得到待識別表情圖像的Optica1_PH0G特征向量； St印25 :利用訓練流程中得到的笑臉分類器，對待識別表情圖像的特征向量進行分類 識別，得出識別結果。
【文檔編號】G06K9/62GK104504365SQ201410679227
【公開日】2015年4月8日 申請日期:2014年11月24日 優(yōu)先權日:2014年11月24日
【發(fā)明者】李保印 申請人:聞泰通訊股份有限公司