一種基于雙目視覺的人體面部表情識別方法及其裝置制造方法
【專利摘要】本發(fā)明公開了一種基于雙目視覺的人體面部表情識別方法，包括：獲取一幀第一面部圖像與第二面部圖像；分別對第一面部圖像與第二面部圖像進行匹配，獲得第一面部表情數(shù)據(jù)與第二面部表情數(shù)據(jù)；根據(jù)第一面部圖像與第二面部圖像建立三維面部模型，匹配獲得三維面部表情數(shù)據(jù)；識別人體的面部表情；對相同的面部表情進行計時，輸出相同的面部表情及相應的持續(xù)時間。本發(fā)明通過建立人體面部的三維面部模型，結(jié)合二維面部圖像同時識別面部表情，從而提高了人體面部表情識別的準確度和魯棒性。本發(fā)明還提出了一種基于雙目視覺的人體面部表情識別裝置。
【專利說明】一種基于雙目視覺的人體面部表情識別方法及其裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人體面部識別技術(shù)，尤其涉及一種基于雙目視覺的人體面部表情識別 方法及其裝置。

【背景技術(shù)】
[0002] 目前，基于圖像處理的人體面部表情識別主要是通過二維圖像分析處理得到人體 的面部表情。二維圖像分析系統(tǒng)在結(jié)構(gòu)上具有一定的不足和缺陷，主要表現(xiàn)在識別系統(tǒng)的 不全面性和不準確性，二維圖像所包含的圖像信息有限，且容易受到光照、姿勢等影響，精 確定位較難實現(xiàn)，給人體面部表情識別帶來了障礙。二維圖像的表情識別系統(tǒng)一般首先提 取人體面部的幾何特征，然后根據(jù)其變化進行表情識別，但需要實現(xiàn)面部關(guān)鍵點的精確定 位，對于在實際環(huán)境中快速準確地實現(xiàn)這一識別來說是很困難的。同時二維圖像處理無法 解析出人體面部三維變化。相比于單個相機檢測，通過雙目相機的左右相機和三維建模的 相互校驗可以減小面部表情識別錯誤率。
[0003] 因此，為了克服現(xiàn)有技術(shù)中的上述缺陷，亟需一種能夠快速準確的人體面部表情 識別技術(shù)和裝置。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明提出了一種基于雙目視覺的人體面部表情識別方法，可以通過二維圖像與 三維圖像技術(shù)的結(jié)合，快速精確地識別人體面部表情。
[0005] 本發(fā)明提出了一種基于雙目視覺的人體面部表情識別方法，包括：
[0006] 獲取一幀人體面部的圖像，所述人體面部的圖像包括第一面部圖像與第二面部圖 像；
[0007] 匹配面部表情，根據(jù)預設(shè)的面部表情圖像數(shù)據(jù)庫分別對所述第一面部圖像與所述 第二面部圖像進行匹配，獲得第一面部表情數(shù)據(jù)與第二面部表情數(shù)據(jù)；
[0008] 匹配三維表情，根據(jù)所述第一面部圖像與第二面部圖像建立三維面部模型，根據(jù) 所述面部表情圖像數(shù)據(jù)庫對所述三維面部模型進行匹配，獲得三維面部表情數(shù)據(jù)；
[0009] 識別面部表情，分別將所述第一面部表情數(shù)據(jù)與所述第二面部表情數(shù)據(jù)與所述三 維面部表情數(shù)據(jù)進行對比，若其中兩個以上面部表情數(shù)據(jù)一致，則一致的面部表情數(shù)據(jù)被 識別為當前的面部表情；否則，重新獲取一幀人體面部的圖像進行面部表情識別；
[0010] 計算面部表情持續(xù)時間，獲取下一幀人體面部的圖像對應的面部表情，若與當前 的面部表情相同，則對所述當前的面部表情進行計時，直至獲取的人體面部的圖像所對應 的面部表情與所述當前的面部表情不同時獲得所述當前的面部表情的持續(xù)時間，并重新對 獲取的人體面部的圖像所對應的面部表情進行計時；
[0011] 生成結(jié)果，輸出所述當前的面部表情及相應的持續(xù)時間。
[0012] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別方法中，所述三維面部模型 是根據(jù)所述第一面部圖像與所述第二面部圖像采用雙目立體匹配方式建立的。
[0013] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別方法中，根據(jù)所述面部表情 圖像數(shù)據(jù)庫匹配所述第一面部圖像、所述第二面部圖像或所述三維面部模型的過程包括：
[0014] 獲取所述面部表情圖像數(shù)據(jù)庫中不同表情下面部圖像特征部位的特征點集合；
[0015] 獲取所述第一面部圖像、所述第二面部圖像或所述三維面部模型的特征點向量；
[0016] 根據(jù)每一種表情下的所述特征點集合，分別獲取所述特征點向量針對所述表情的 匹配率；
[0017] 確定匹配率最高的表情為所述第一面部表情數(shù)據(jù)、所述第二面部表情數(shù)據(jù)或所述 三維面部表情數(shù)據(jù)。
[0018] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別方法中，計算匹配率的計算 過程包括如下步驟：
[0019] 采用Harris角點為匹配的關(guān)鍵特征點，分別計算第一面部圖像與第二面部圖像 的Harris角點，將計算得到的Harris角點與標準數(shù)據(jù)庫中在不同表情下圖像的Harris角 點進行匹配，將匹配度最高的表情設(shè)置為第一面部表情數(shù)據(jù)與第二面部表情數(shù)據(jù)；
[0020] 對面部關(guān)鍵部位的三維數(shù)據(jù)進行B樣條曲面擬合，得到擬合的特征曲面，將所述 特征曲面與標準數(shù)據(jù)庫中在不同表情下的B樣條特征曲面進行匹配，將匹配度最高的表情 設(shè)置為三維面部表情數(shù)據(jù)。
[0021] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別方法中，在識別面部表情 時，進一步包括設(shè)定閾值來篩選識別的面部表情以增加表情識別的魯棒性，對所述面部表 情的處理包括如下步驟：
[0022] 若當前識別出的面部表情與前一時刻識別出的面部表情一致，則仍對所述前一時 刻識別出的面部表情的計時時間進行計時累加；若當前識別出的面部表情與前一時刻識別 出的面部表情不一致，則將所述計時時間清零并開始對所述當前識別出的面部表情進行計 時；
[0023] 若所述計時時間超過設(shè)定的閾值，則將所述計時時間對應的面部表情設(shè)置為人體 面部的圖像所對應的面部表情；若所述當前識別出的面部表情的計時時間沒有超過設(shè)定的 閾值，則仍將所述前一時刻識別出的面部表情設(shè)置為人體面部的圖像所對應的面部表情， 并重新獲取一幀人體面部的圖像進行面部表情識別。
[0024] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別方法中，若當前的面部表情 計時超過設(shè)定的閾值時，則計時清零，清零后對最先獲取的人體面部的圖像所對應的面部 表情進行計時。
[0025] 本發(fā)明還提出了一種基于雙目視覺的人體面部表情識別裝置，包括：
[0026] 攝像單元，其用于獲取人體面部的圖像；
[0027] 數(shù)據(jù)庫，其用于存儲面部表情圖像數(shù)據(jù)庫，所述面部表情圖像數(shù)據(jù)庫包含不同表 情下面部圖像特征部位的特征點集合；
[0028] 主控制器，其分別與所述攝像單元及所述數(shù)據(jù)庫連接，用于根據(jù)所述面部表情圖 像數(shù)據(jù)庫識別所述人體面部的圖像獲得面部表情，并根據(jù)所述面部表情的變化計算持續(xù)時 間；
[0029] 圖像顯示器，其與所述主控制器連接，用于顯示所述人體面部的圖像、所述面部表 情與所述面部表情的持續(xù)時間。
[0030] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別裝置中，所述攝像單元為雙 目攝像機，所述雙目攝像機獲取的人體面部的圖像包括第一面部圖像與第二面部圖像。
[0031] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別裝置中，所述主控制器根據(jù) 所述第一面部圖像與所述第二面部圖像采用雙目立體匹配方式建立三維面部模型。
[0032] 本發(fā)明提出的所述基于雙目視覺的人體面部表情識別裝置中，所述主控制器是個 人電腦、嵌入式系統(tǒng)、服務(wù)器或云服務(wù)器等具有數(shù)據(jù)處理功能的設(shè)備。
[0033] 本發(fā)明通過建立人體面部的三維面部模型，結(jié)合二維面部圖像同時識別面部表 情，從而提高了人體面部表情識別的準確度。本發(fā)明進一步對面部表情進行數(shù)字濾波，增加 了人體面部表情識別的精確性和魯棒性。

【專利附圖】

【附圖說明】
[0034] 圖1是本發(fā)明基于雙目視覺的人體面部表情識別方法的流程圖。
[0035] 圖2是本發(fā)明基于雙目視覺的人體面部表情識別裝置的示意圖。

【具體實施方式】
[0036] 結(jié)合以下具體實施例和附圖，對本發(fā)明作進一步的詳細說明。實施本發(fā)明的過程、 條件、實驗方法等，除以下專門提及的內(nèi)容之外，均為本領(lǐng)域的普遍知識和公知常識，本發(fā) 明沒有特別限制內(nèi)容。
[0037] 如圖1所示，本發(fā)明基于雙目視覺的人體面部表情識別方法包括如下步驟：
[0038] 步驟S1獲取一幀人體面部的圖像，人體面部的圖像包括第一面部圖像與第二面 部圖像。
[0039] 步驟S2匹配面部表情，根據(jù)預設(shè)的面部表情圖像數(shù)據(jù)庫分別對第一面部圖像與 第二面部圖像進行匹配，獲得第一面部表情數(shù)據(jù)^與第二面部表情數(shù)據(jù)F K。
[0040] 步驟S3匹配三維表情，根據(jù)第一面部圖像與第二面部圖像建立三維面部模型，根 據(jù)面部表情圖像數(shù)據(jù)庫對三維面部模型進行匹配，獲得三維面部表情數(shù)據(jù)F s。
[0041] 步驟S4識別面部表情，分別將第一面部表情數(shù)據(jù)第二面部表情數(shù)據(jù)FK與三維 面部表情數(shù)據(jù)F s進行對比，若第一面部表情數(shù)據(jù)!\、第二面部表情數(shù)據(jù)FK與三維面部表情 數(shù)據(jù)Fs完全一致，則第一面部表情數(shù)據(jù)Fp第二面部表情數(shù)據(jù)F K與三維面部表情數(shù)據(jù)Fs被 識別為當前的面部表情FT。若第一面部表情數(shù)據(jù)^與第二面部表情數(shù)據(jù)F K與三維面部表 情數(shù)據(jù)Fs中的兩個表情數(shù)據(jù)一致，則一致面部的表情數(shù)據(jù)被識別為當前的面部表情&。否 貝1J，重新獲取一幀人體面部的圖像進行面部表情識別，并將當前的面部表情F T設(shè)置為前一 時刻識別出的面部表情F/。
[0042] 步驟S5計算面部表情持續(xù)時間，獲取的人體面部的圖像所對應的面部表情Fu與 面部表情的持續(xù)時間1。
[0043] 其中，通過設(shè)定閾值來篩選識別的面部表情以增加表情識別的魯棒性，若當前識 別出的面部表情&與前一時刻識別出的面部表情F/不一致，則將新的面部表情計時時間 TN清零，開始對當前的新的面部表情進行計時，若一致則對當前的新的面部表情FT的計時 時間1進行計時累加。
[0044] 若面部表情的計時時間TN超過設(shè)定數(shù)值T。，則計時時間TN對應的面部表情被設(shè) 置為人體面部的圖像所對應的面部表情Fu;否則，識別的面部表情仍然為前一人體面部的 圖像所對應的面部表情F/，并重新獲取一幀人體面部的圖像進行面部表情識別。
[0045] 如果當前的面部表情Fu與前一面部表情F/不相同，則面部表情持續(xù)時間L清零 并對當前的面部表情Fu重新開始計時，清零前的面部表情持續(xù)時間T/即為前一面部表情 F/的持續(xù)時間。
[0046] 如果當前的面部表情Fu與前一面部表情F/相同，則仍然對前一時刻測試用戶表 情設(shè)置F/的面部表情持續(xù)時間T/進行計時累加，直到識別出不相同的面部表情時為止， 獲得對應的面部表情持續(xù)時間。
[0047] 步驟S6生成結(jié)果，輸出面部表情及相應的持續(xù)時間。
[0048] 本發(fā)明中運用了雙目立體建模技術(shù)，采用由雙目攝像機的左右相機拍攝的第一面 部圖像與第二面部圖像來建立三維面部模型。雙目攝像機是模擬人眼雙目立體成像的原 理，左右相機之間的間距使得第一面部圖像與第二面部圖像之間存有差異，通過雙目立體 匹配的方法建立三維面部的模型，從而引入了三維面部表情識別的方法。
[0049] 在步驟S2匹配面部表情以及步驟S3匹配三維表情的過程中，面部表情圖像數(shù)據(jù) 庫包含不同表情下（例如高興、悲傷、驚訝、恐懼、憤怒和厭惡）的面部圖像特征部位（例如 眉毛，眼睛，上下眼皮，額頭，嘴唇，下顎，鼻子和臉頰等）。根據(jù)每一個表情下每個特征部位 的變化預設(shè)有相應特征點的數(shù)值，從而構(gòu)成了用于匹配面部表情的特征點集合。從待匹配 的圖像（第一面部表情數(shù)據(jù)?\、第二面部表情數(shù)據(jù)F K與三維面部表情數(shù)據(jù)Fs)中確定每個 特征部位的位置，從而獲得該圖像的特征點向量。計算特征點向量與特征點集合的匹配度 即可獲得最相似的表情，從而識別人體面部的表情。面部表情圖像數(shù)據(jù)庫是預先設(shè)立在數(shù) 據(jù)庫中，通過與面部圖像進行匹配識別人體面部表情。
[0050] 在獲取第一面部表情數(shù)據(jù)!\、第二面部表情數(shù)據(jù)FK的特征點向量的過程中，是采 用Harris角點為匹配的關(guān)鍵特征點。使用Harris角點檢測算法，分別計算第一面部圖像 與第二面部圖像的Harris角點，將計算得到的Harris角點與標準數(shù)據(jù)庫中在不同表情下 圖像的Harris角點進行匹配，將匹配度最高的表情設(shè)置為第一面部表情數(shù)據(jù)^與第二面 部表情數(shù)據(jù)F K。
[0051] 在獲取三維面部表情數(shù)據(jù)Fs過程中，對面部關(guān)鍵部位（即眉毛，眼睛，上下眼皮， 額頭，嘴唇，下顎，鼻子和臉頰）在的三維數(shù)據(jù)進行B樣條曲面擬合，得到擬合的特征曲面。 將計算得到的特征曲面與標準數(shù)據(jù)庫中在不同表情下的B樣條特征曲面進行匹配，將匹配 度最高的表情設(shè)置為三維面部表情數(shù)據(jù)F s。
[0052] 如圖2所示，本發(fā)明基于雙目視覺的人體面部表情識別裝置包括：攝像單元1、數(shù) 據(jù)庫2、主控制器3和圖像顯示器4。人體面部表情識別裝置中個單元之間均通過有線或無 線的方式實現(xiàn)數(shù)據(jù)傳輸。
[0053] 攝像單元1用于獲取人體面部的圖像。攝像單元1為雙目攝像機，雙目攝像機獲 取的人體面部的圖像包括第一面部圖像與第二面部圖像。雙目攝像機的左右攝像機是單色 相機或彩色相機。
[0054] 數(shù)據(jù)庫2用于存儲面部表情圖像數(shù)據(jù)庫，面部表情圖像數(shù)據(jù)庫包含不同表情下面 部圖像特征部位的特征點集合。數(shù)據(jù)庫2是由服務(wù)器搭建的，該服務(wù)器還可以是云服務(wù)器、 獨立存儲設(shè)備或個人電腦等具有數(shù)據(jù)存儲功能的設(shè)備。
[0055] 主控制器3分別與攝像單元1及數(shù)據(jù)庫2連接，用于根據(jù)面部表情圖像數(shù)據(jù)庫識 別人體面部的圖像獲得面部表情，并根據(jù)面部表情的變化計算持續(xù)時間。主控制器3還可 以根據(jù)第一面部圖像與第二面部圖像采用雙目立體匹配方式建立三維面部模型。該主控制 器3是個人電腦、嵌入式系統(tǒng)、服務(wù)器或云服務(wù)器等具有數(shù)據(jù)處理功能的設(shè)備。圖像顯示器 4與主控制器3連接，用于顯示人體面部的圖像、面部表情Fu與面部表情的持續(xù)時間I。主 控制器3是個人電腦、嵌入式系統(tǒng)、服務(wù)器或云服務(wù)器等具有數(shù)據(jù)處理功能的設(shè)備。
[0056] 本發(fā)明的保護內(nèi)容不局限于以上實施例。在不背離發(fā)明構(gòu)思的精神和范圍下，本 領(lǐng)域技術(shù)人員能夠想到的變化和優(yōu)點都被包括在本發(fā)明中，并且以所附的權(quán)利要求書為保 護范圍。
【權(quán)利要求】
1. 一種基于雙目視覺的人體面部表情識別方法，其特征在于，包括： 獲取一幀人體面部的圖像，所述人體面部的圖像包括第一面部圖像與第二面部圖像； 匹配面部表情，根據(jù)預設(shè)的面部表情圖像數(shù)據(jù)庫分別對所述第一面部圖像與所述第二 面部圖像進行匹配，獲得第一面部表情數(shù)據(jù)與第二面部表情數(shù)據(jù)； 匹配三維表情，根據(jù)所述第一面部圖像與第二面部圖像建立三維面部模型，根據(jù)所述 面部表情圖像數(shù)據(jù)庫對所述三維面部模型進行匹配，獲得三維面部表情數(shù)據(jù)； 識別面部表情，分別將所述第一面部表情數(shù)據(jù)與所述第二面部表情數(shù)據(jù)與所述三維面 部表情數(shù)據(jù)進行對比，若其中兩個以上面部表情數(shù)據(jù)一致，則一致的面部表情數(shù)據(jù)被識別 為當前的面部表情；否則，重新獲取一幀人體面部的圖像進行面部表情識別； 計算面部表情持續(xù)時間，獲取下一幀人體面部的圖像對應的面部表情，若與當前的面 部表情相同，則對所述當前的面部表情進行計時，直至獲取的人體面部的圖像所對應的面 部表情與所述當前的面部表情不同時獲得所述當前的面部表情的持續(xù)時間，并重新對獲取 的人體面部的圖像所對應的面部表情進行計時； 生成結(jié)果，輸出所述當前的面部表情及相應的持續(xù)時間。
2. 如權(quán)利要求1所述的基于雙目視覺的人體面部表情識別方法，其特征在于，所述三 維面部模型是根據(jù)所述第一面部圖像與所述第二面部圖像采用雙目立體匹配方式建立的。
3. 如權(quán)利要求1所述的基于雙目視覺的人體面部表情識別方法，其特征在于，根據(jù)所 述面部表情圖像數(shù)據(jù)庫匹配所述第一面部圖像、所述第二面部圖像或所述三維面部模型的 過程包括： 獲取所述面部表情圖像數(shù)據(jù)庫中不同表情下面部圖像特征部位的特征點集合； 獲取所述第一面部圖像、所述第二面部圖像或所述三維面部模型的特征點向量； 根據(jù)每一種表情下的所述特征點集合，分別獲取所述特征點向量針對所述表情的匹配 率； 確定匹配率最高的表情為所述第一面部表情數(shù)據(jù)、所述第二面部表情數(shù)據(jù)或所述三維 面部表情數(shù)據(jù)。
4. 如權(quán)利要求3所述的基于雙目視覺的人體面部表情識別方法，其特征在于，計算匹 配率的計算過程包括如下步驟： 采用Harris角點為匹配的關(guān)鍵特征點，分別計算第一面部圖像與第二面部圖像的 Harris角點，將計算得到的Harris角點與標準數(shù)據(jù)庫中在不同表情下圖像的Harris角點 進行匹配，將匹配度最高的表情設(shè)置為第一面部表情數(shù)據(jù)與第二面部表情數(shù)據(jù)； 對面部關(guān)鍵部位的三維數(shù)據(jù)進行B樣條曲面擬合，得到擬合的特征曲面，將所述特征 曲面與標準數(shù)據(jù)庫中在不同表情下的B樣條特征曲面進行匹配，將匹配度最高的表情設(shè)置 為三維面部表情數(shù)據(jù)。
5. 如權(quán)利要求1所述的基于雙目視覺的人體面部表情識別方法，其特征在于，在識別 面部表情時，進一步包括設(shè)定閾值來篩選識別的面部表情以增加表情識別的魯棒性，對所 述面部表情的處理包括如下步驟： 若當前識別出的面部表情與前一時刻識別出的面部表情一致，則仍對所述前一時刻識 別出的面部表情的計時時間進行計時累加；若當前識別出的面部表情與前一時刻識別出的 面部表情不一致，則將所述計時時間清零并開始對所述當前識別出的面部表情進行計時； 若所述計時時間超過設(shè)定的閾值，則將所述計時時間對應的面部表情設(shè)置為人體面部 的圖像所對應的面部表情；若所述當前識別出的面部表情的計時時間沒有超過設(shè)定的閾 值，則仍將所述前一時刻識別出的面部表情設(shè)置為人體面部的圖像所對應的面部表情。
6. 如權(quán)利要求1所述的基于雙目視覺的人體面部表情識別方法，其特征在于，若當前 的面部表情計時超過設(shè)定的閾值時，則計時清零，清零后對最先獲取的人體面部的圖像所 對應的面部表情進行計時。
7. -種基于雙目視覺的人體面部表情識別裝置，其特征在于，包括： 攝像單元，其用于獲取人體面部的圖像； 數(shù)據(jù)庫，其用于存儲面部表情圖像數(shù)據(jù)庫，所述面部表情圖像數(shù)據(jù)庫包含不同表情下 面部圖像特征部位的特征點集合； 主控制器，其分別與所述攝像單元及所述數(shù)據(jù)庫連接，用于根據(jù)所述面部表情圖像數(shù) 據(jù)庫識別所述人體面部的圖像獲得面部表情，并根據(jù)所述面部表情的變化計算持續(xù)時間； 圖像顯示器，其與所述主控制器連接，用于顯示所述人體面部的圖像、所述面部表情與 所述面部表情的持續(xù)時間。
8. 如權(quán)利要求7所述的基于雙目視覺的人體面部表情識別裝置，其特征在于，所述攝 像單元為雙目攝像機，所述雙目攝像機獲取的人體面部的圖像包括第一面部圖像與第二面 部圖像。
9. 如權(quán)利要求8所述的基于雙目視覺的人體面部表情識別裝置，其特征在于，所述主 控制器根據(jù)所述第一面部圖像與所述第二面部圖像采用雙目立體匹配方式建立三維面部 模型。
10. 如權(quán)利要求7所述的基于雙目視覺的人體面部表情識別裝置，其特征在于，所述主 控制器是個人電腦、嵌入式系統(tǒng)、服務(wù)器或云服務(wù)器等具有數(shù)據(jù)處理功能的設(shè)備。
【文檔編號】G06K9/62GK104123562SQ201410326991
【公開日】2014年10月29日 申請日期:2014年7月10日 優(yōu)先權(quán)日:2014年7月10日
【發(fā)明者】趙欣, 彭浡 申請人:華東師范大學