基于面部表情識(shí)別模式的智能輪椅人機(jī)交互系統(tǒng)及方法
【專利摘要】本發(fā)明請(qǐng)求保護(hù)一種基于面部表情識(shí)別的智能輪椅人機(jī)交互系統(tǒng)及方法，涉及生物學(xué)、心理學(xué)、計(jì)算機(jī)視覺(jué)、模式識(shí)別和人工智能等領(lǐng)域。本發(fā)明通過(guò)幾何模型匹配算法自動(dòng)定位到面部特征集中有效的眉毛、眼睛、嘴巴區(qū)域，然后對(duì)其分別進(jìn)行ASM特征點(diǎn)的定位、將定位的特征點(diǎn)像素與Gabor小波核函數(shù)進(jìn)行卷積運(yùn)算以實(shí)現(xiàn)對(duì)面部表情特征的提??；進(jìn)而Adaboost算法迭代訓(xùn)練表情特征以得到表情分類模型；采用此表情分類模型實(shí)現(xiàn)對(duì)輸入表情序列的分類識(shí)別，將其與預(yù)先定義的控制指令作比較，從而實(shí)現(xiàn)面部表情識(shí)別對(duì)智能輪椅的交互控制。其中，對(duì)面部表情進(jìn)行特征提取時(shí)，本發(fā)明大大提高了面部表情的實(shí)時(shí)識(shí)別，從而大大提高與智能輪椅的實(shí)時(shí)交互。
【專利說(shuō)明】基于面部表情識(shí)別模式的智能輪椅人機(jī)交互系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于屬于人工智能和計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及基于面部表情識(shí)別模式的 智能輪椅人機(jī)交互系統(tǒng)及方法

【背景技術(shù)】
[0002] 《老齡問(wèn)題國(guó)際行動(dòng)計(jì)劃》指出：老年人問(wèn)題和老齡化問(wèn)題已經(jīng)成為發(fā)展中國(guó)家的 一個(gè)新挑戰(zhàn)。我國(guó)作為最大的發(fā)展中國(guó)家，老年人口數(shù)量是世界之最。第六次全國(guó)人口普 查數(shù)據(jù)表明，老年人口數(shù)量比例上升2. 93 %，對(duì)于身體狀況日趨衰老的老年人來(lái)說(shuō)，其個(gè)人 能力不易解決日常正?；顒?dòng)等問(wèn)題；且由種種原因每年會(huì)造成很多人喪失如動(dòng)手、語(yǔ)言等 的一種或多種能力，喪失的這些能力大大影響了他們的生活自理等方面。因此，改善老年人 士和殘障人士的生活質(zhì)量，使他們更好的融入到日常生活，性能優(yōu)越的代步工具是他們所 需要的。而一種典型的助老、助殘服務(wù)輪式機(jī)器人--智能輪椅成為了熱點(diǎn)研究對(duì)象，它兼 有電動(dòng)控制和智能控制的方式，融合了機(jī)器視覺(jué)、多傳感器信息、模式識(shí)別、機(jī)器人導(dǎo)航與 定位以及人機(jī)接口等多種技術(shù)，既可以提供室內(nèi)室外的自主導(dǎo)航、自主避障，還有著強(qiáng)大的 人機(jī)交互能力，可以實(shí)現(xiàn)基于頭勢(shì)識(shí)別、手勢(shì)識(shí)別、語(yǔ)音識(shí)別等一種或多種模式的智能人機(jī) 交互。為了使智能輪椅高效地服務(wù)于老年人士和殘障人士，自然和諧的人機(jī)交互就顯得尤 為重要。特別是針對(duì)殘障程度較高的人士，其中，對(duì)于手部存在嚴(yán)重的病理性顫抖的殘障人 士，不能通過(guò)操縱桿準(zhǔn)確的控制輪椅；對(duì)于有言語(yǔ)能力的殘障人士，盡管可以采用語(yǔ)音識(shí)別 模式來(lái)控制智能輪椅的簡(jiǎn)單運(yùn)動(dòng)，但是在嘈雜的環(huán)境下，語(yǔ)音命令的識(shí)別率較低，不利于語(yǔ) 音識(shí)別的控制；而肌電、腦波模式控制智能輪椅時(shí)，所需傳感器（用于信號(hào)采集）特別昂貴， 不利于控制方式的普適性；另外，心理學(xué)家Mehrabian提出，在人們的信息交流中，面部表 情傳遞高達(dá)55 %的信息量，采用面部表情識(shí)別模式進(jìn)行智能輪椅的人機(jī)交互時(shí)，不需要特 別昂貴的設(shè)備，其限制性小、自由度大。
[0003] 對(duì)面部表情識(shí)別這方面的研究，國(guó)內(nèi)外進(jìn)行了大量的研究。
[0004] 在國(guó)外，Mattew N. Dailey等人采用Gabor小波變換與局部PCA方法進(jìn)行表情圖像 的特征提取，談后用Fisher線性鑒別分析對(duì)提取后的圖像進(jìn)行重要特征部位（如眼睛、嘴 巴等）的定位，最后通過(guò)集成神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。其中神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)表龐大，計(jì)算量過(guò)大， 也是對(duì)靜態(tài)表情圖像的。Hal Hong等人針對(duì)不同人臉?lè)謩e建立了相應(yīng)表情庫(kù)，包括7種表 情，每種表情各有不同表情強(qiáng)度的4幅圖像，將其作為訓(xùn)練集，采用彈性匹配方法進(jìn)行訓(xùn)練 識(shí)別?？▋?nèi)基梅隆大學(xué)的Lien通過(guò)區(qū)別表情單元來(lái)理解面部肌肉的獨(dú)立機(jī)制，它考慮了 3 個(gè)上部面部表情單元和6個(gè)下部面部表情單元，并對(duì)其進(jìn)行自動(dòng)識(shí)別和強(qiáng)度測(cè)量。匹茲堡 大學(xué)的Cohn和卡內(nèi)基梅隆大學(xué)的Kanade等人使用光流法來(lái)識(shí)別面部表情。通過(guò)評(píng)價(jià)光流 的分級(jí)算法來(lái)自動(dòng)跟蹤選取的面部特征。麻省理工學(xué)院媒體實(shí)驗(yàn)室的Kapoor等人提出了 一種全自動(dòng)的面部動(dòng)作單元分析系統(tǒng)，該系統(tǒng)使用紅外相機(jī)檢測(cè)瞳孔，然后通過(guò)主成分分 析提出參數(shù)，并采用支持向量機(jī)來(lái)識(shí)別面部表情單元。
[0005] 在國(guó)內(nèi)：東南大學(xué)成功研制的面部表情識(shí)別系統(tǒng)，它由多個(gè)攝像頭和計(jì)算機(jī)組成， 計(jì)算機(jī)中預(yù)先已存有6種基本表情的相關(guān)信息量，此系統(tǒng)識(shí)別同一個(gè)人的不同表情時(shí)，識(shí) 別率可觀。中國(guó)科學(xué)院自動(dòng)化研究所研究了人臉的面部動(dòng)作運(yùn)動(dòng)，進(jìn)而將其與智能輪椅進(jìn) 行交互，如下：當(dāng)用戶做出某一頭部動(dòng)作時(shí)，智能輪椅則會(huì)做出對(duì)應(yīng)的運(yùn)動(dòng)，比如用戶將頭 左側(cè)轉(zhuǎn)時(shí)，輪椅進(jìn)行左轉(zhuǎn)方向的運(yùn)動(dòng)；用戶將頭右側(cè)轉(zhuǎn)時(shí)，輪椅進(jìn)行右轉(zhuǎn)方向的運(yùn)動(dòng)。2004 年，哈爾濱工業(yè)大學(xué)智能運(yùn)動(dòng)控制研究室內(nèi)，研制出的H&F robot-I能夠識(shí)別8種不同的面 部表情：正常、高興、嚴(yán)肅、悲傷、微笑、吃驚、生氣和害怕。
[0006] 對(duì)面部表情識(shí)別方法的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行分析后，本發(fā)明中提出了一種新的表 情識(shí)別方法對(duì)面部進(jìn)行表情識(shí)別，并將面部表情應(yīng)用在智能輪椅的控制交互上。


【發(fā)明內(nèi)容】

[0007] 針對(duì)以上現(xiàn)有技術(shù)中的不足，本發(fā)明的目的在于提供一種減少了計(jì)算復(fù)雜度、縮 短了特征提取的時(shí)間，從而大大提高了面部表情識(shí)別的實(shí)時(shí)性能的基于面部表情識(shí)別模式 的智能輪椅人機(jī)交互系統(tǒng)及方法，本發(fā)明的技術(shù)方案如下：一種基于面部表情識(shí)別模式的 智能輪椅人機(jī)交互系統(tǒng)，其包括表情圖像采集模塊、表情圖像特征提取模塊、表情特征訓(xùn)練 模塊、表情序列識(shí)別模塊、智能輪椅控制模塊；其中
[0008] 表情圖像采集模塊：用于采集待采集對(duì)象的表情圖像，并轉(zhuǎn)發(fā)給表情特征訓(xùn)練模 塊；
[0009] 表情特征訓(xùn)練模塊：用于將采集的表情圖像和預(yù)先設(shè)選定的表情庫(kù)表情圖像共同 作為面部表情訓(xùn)練集，并經(jīng)過(guò)預(yù)處理后轉(zhuǎn)發(fā)給表情圖像特征提取模塊；并將表情圖像特征 提取模塊提取到的表情特征通過(guò)迭代訓(xùn)練得到表情分類模型；
[0010] 表情圖像特征提取模塊：用于對(duì)表情特征訓(xùn)練模塊的面部表情訓(xùn)練集進(jìn)行定位、 特征提取得到表情特征；
[0011] 表情序列識(shí)別模塊：用于對(duì)新輸入的每幀表情序列進(jìn)行與表情特征訓(xùn)練模塊相同 的圖像與處理、特征提取操作后，調(diào)用表情分類模型實(shí)現(xiàn)表情的識(shí)別；
[0012] 智能輪椅控制模塊：用于根據(jù)表情的類型、得到相應(yīng)的控制指令，實(shí)現(xiàn)對(duì)智能輪椅 的實(shí)時(shí)控制。
[0013] 一種基于面部表情識(shí)別模式的智能輪椅人機(jī)交互方法，其包括以下步驟：
[0014] 201、采用攝像頭獲取人臉面部的RGB彩色圖像，并對(duì)圖像進(jìn)行去噪、尺度歸一化 的預(yù)處理后轉(zhuǎn)為RGB灰度圖像；
[0015] 202、采用幾何模板匹配算法對(duì)預(yù)處理后的RGB灰度圖像自動(dòng)定位眉毛、眼睛、嘴 巴區(qū)域；然后采用ASM主動(dòng)形狀模型方法定位到所述眉毛、眼睛、嘴巴區(qū)域中的表情特征點(diǎn) 位置，得到表情特征點(diǎn)序列；
[0016] 203、然后對(duì)預(yù)先設(shè)選定的表情庫(kù)表情圖像里的每幅圖像做與步驟202相同的特 征定位提取操作，提取得到的表情特征通過(guò)Adaboost自適應(yīng)增強(qiáng)算法的迭代訓(xùn)練得到表 情分類模型；
[0017] 204、將步驟202中得到的表情特征點(diǎn)序列與表情分類模型相比較并識(shí)別，確定表 情的類型、得到相應(yīng)的控制指令，實(shí)現(xiàn)對(duì)智能輪椅的實(shí)時(shí)控制。
[0018] 進(jìn)一步的，當(dāng)定位眼睛區(qū)域時(shí)，步驟202中的幾何模板匹配算法的評(píng)價(jià)函數(shù)為下 式：
[0019] Eeye = exp [_1· 2 X ((I1-I2)2+ (Ijl2-I)2+ ( θ「θ )2+ ( θ 2- θ )2)]
[0020] 其中θ i，i = 1，2分別代表兩只眼睛的方位角，Ii, i = 1，2為雙眼的歸一化長(zhǎng)度， 由最初的長(zhǎng)度除以兩個(gè)塊之間的距離D，如下式：
[0021] D = ^J(Xi-X2)1 +[Vi-y2y
[0022] 其中點(diǎn)（Xl，yi)和（x2, y2)分別為右眼和左眼的中心坐標(biāo)，即D為雙眼中心之間的 距離。
[0023] 進(jìn)一步的，步驟202中的ASM主動(dòng)形狀模型搜索步驟如下：
[0024] (1^51表示為：尤=叉+ 06, 6 = φΓ(Ζ-Χ)，初始化模型參數(shù)b，取b = 0,獲得 初始模型尤=又+ φ/;;向量b是模型參數(shù)，Φ是目標(biāo)模型的特征子空間基，是由主分量特征 向量構(gòu)成的變換矩陣，X表示目標(biāo)形狀，X表示平均形狀；
[0025] (2)沿當(dāng)前模型X的每個(gè)邊界點(diǎn)周圍搜索，尋找各邊界點(diǎn)的最佳匹配點(diǎn)；
[0026] (3)更新模型參數(shù)b，產(chǎn)生由匹配點(diǎn)結(jié)合構(gòu)成的模型，并將其設(shè)為新的當(dāng)前模型X ;
[0027] (4)重復(fù)步驟⑵和（3)直到模型不再發(fā)生明顯變化。
[0028] 本發(fā)明的優(yōu)點(diǎn)及有益效果如下：
[0029] 本發(fā)明首先采集6種基本類型的面部表情圖像作為訓(xùn)練集，對(duì)表情訓(xùn)練集進(jìn)行濾 波、歸一化等圖像預(yù)處理后，采用幾何模型匹配方法自動(dòng)的定位表情特征較集中有效的眉 毛、眼睛和嘴巴區(qū)域，然后對(duì)這三個(gè)區(qū)域分別采用ASM方法定位得到有效表情特征點(diǎn)的信 息、進(jìn)而采用Gabor小波變換方法對(duì)定位的表情特征點(diǎn)進(jìn)行特征提?。ㄌ卣鼽c(diǎn)像素與Gabor 小波核函數(shù)進(jìn)行卷積運(yùn)算結(jié)果的模值），最后對(duì)得到的表情特征采用Adaboost算法進(jìn)行 迭代訓(xùn)練以得到面部表情分類模型，通過(guò)表情分類模型可以實(shí)現(xiàn)新輸入表情圖像或者序列 的表情類型，完成面部表情類型的判斷識(shí)別，將其識(shí)別結(jié)果與預(yù)先定義的控制指令相比較 (如驚訝控制停止、高興控制前進(jìn)、生氣控制后退、恐懼控制左轉(zhuǎn)、悲傷和厭惡共同控制右 轉(zhuǎn)），從而控制智能輪椅的運(yùn)動(dòng)。其中的創(chuàng)新點(diǎn)是采用了幾何模型匹配自動(dòng)定位有效表情區(qū) 域，進(jìn)而采用ASM方法定位到有效表情控制點(diǎn)信息，其優(yōu)勢(shì)在于：僅僅提取表情特征變換明 顯且能有效代表表情特征信息的眉毛、眼睛以及嘴巴區(qū)域，對(duì)不明顯的部位沒(méi)有進(jìn)行相應(yīng) 的特征提取處理，此方案降低了輸入的信息量，但是有效的信息基本沒(méi)有變化，很大程度上 減少了表情特征的維數(shù)、減少了計(jì)算復(fù)雜度、縮短了特征提取的時(shí)間，從而大大提高了面部 表情識(shí)別的實(shí)時(shí)性能，解決了因面部表情識(shí)別時(shí)間過(guò)長(zhǎng)而使得不能實(shí)時(shí)與智能輪椅的交互 控制問(wèn)題，提高了智能交互的性能。

【專利附圖】

【附圖說(shuō)明】
[0030] 圖1是本發(fā)明采用面部表情控制智能輪椅的整體實(shí)現(xiàn)示意框圖；
[0031] 圖2本發(fā)明中采用ASM方法實(shí)現(xiàn)目標(biāo)物體定位的流程示意圖；
[0032] 圖3本發(fā)明中采用Adaboost算法的表情強(qiáng)分類器訓(xùn)練流程示意圖。

【具體實(shí)施方式】
[0033] 下面結(jié)合附圖給出一個(gè)非限定的實(shí)施例對(duì)本發(fā)明作進(jìn)一步的闡述。但是應(yīng)該理 解，這些描述只是示例的，而并非要限制本發(fā)明的范圍。此外，在以下說(shuō)明中，省略了對(duì)公知 結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本發(fā)明的概念。
[0034] 基于面部表情識(shí)別控制智能輪椅的人機(jī)交互中，首先通過(guò)幾何模型匹配自動(dòng)定位 到表情特征集中有效的眉毛、眼睛和嘴巴區(qū)域，對(duì)這些區(qū)域分別建立ASM模型以定位得到 有效的表情特征點(diǎn)信息，將其像素與Gabor小波核函數(shù)進(jìn)行卷積運(yùn)算提取表情特征；其次 Adaboost算法訓(xùn)練得到的表情特征，迭代訓(xùn)練結(jié)束后得到表情分類模型；最后采用此表情 分類模型對(duì)攝像頭新輸入的表情序列一幀一幀的進(jìn)行表情類型的識(shí)別；最后將識(shí)別的類型 與預(yù)先定義好的控制指令相比較，確定面部表情控制輪椅的控制指令，進(jìn)而與控制智能輪 椅進(jìn)行對(duì)應(yīng)的交互運(yùn)動(dòng)。其中，幾何模型匹配算法利用的依據(jù)是人臉器官之間固有的幾何 關(guān)系，在所有特征塊中尋找人臉器官的可能組合，按照一定的權(quán)重組合，對(duì)每一組可能的面 部特征組合的特征塊組，根據(jù)已有的評(píng)價(jià)函數(shù)，可以計(jì)算得到一個(gè)估計(jì)值，然后與閾值作比 較，大于閾值說(shuō)明這些特征塊為人臉特征，進(jìn)而可以自動(dòng)定位出人臉的感興趣區(qū)域，取代輸 入的整幅表情圖像，而是對(duì)這些感興趣區(qū)域進(jìn)行表情特征的提取，大大減少了計(jì)算復(fù)雜度， 可以提高表情的實(shí)時(shí)識(shí)別。ASM方法是采用基于點(diǎn)分布模型（Point Distribution Model, PDM)對(duì)感興趣區(qū)域（眉毛、眼睛和嘴巴）的樣本集訓(xùn)練學(xué)習(xí)得出的表示目標(biāo)形狀合理變化 的統(tǒng)計(jì)模型。定位時(shí)，多次迭代使用得到的形狀模型去限制目標(biāo)模型的形變，實(shí)現(xiàn)對(duì)目標(biāo)的 匹配定位，由于是對(duì)感興趣區(qū)域進(jìn)行ASM建模以定位表情特征點(diǎn)，和整幅人臉建立ASM模型 比較，當(dāng)與后續(xù)的Gabor小波核函數(shù)進(jìn)行卷積運(yùn)算時(shí)，再一次降低了計(jì)算量以及減少了信 息冗余。Gabor小波核函數(shù)是一組平面波，具有高斯函數(shù)的性質(zhì)，對(duì)Gabor小波函數(shù)進(jìn)行變 換時(shí)，是同時(shí)對(duì)空域和頻域信號(hào)進(jìn)行了局部化處理，同時(shí)測(cè)量了空域和頻域特征，將ASM定 位到的感興趣區(qū)域的表情特征點(diǎn)像素與Gabor小波核函數(shù)進(jìn)行卷積運(yùn)算，卷積結(jié)果的幅值 即是提取的表情特征信息，它具有魯棒的方向及尺度特性。Adaboost算法就是訓(xùn)練這些有 魯棒性的表情特征，這和經(jīng)典Adabosot訓(xùn)練算法所選取的特征不同，經(jīng)典的Adaboost訓(xùn)練 算法采用的是矩形特征，弱分類器的特征值就是矩形特征的特征值。因?yàn)锳daboost算法是 一種迭代訓(xùn)練算法，是多層結(jié)構(gòu)的，訓(xùn)練的結(jié)果是由多個(gè)弱分類器組成的強(qiáng)分類器，當(dāng)采用 這個(gè)強(qiáng)分類器對(duì)待一幅待檢測(cè)圖像時(shí)，是讓所有弱分類器投票，再將投票結(jié)果按照弱分類 器是錯(cuò)誤率加權(quán)求和，將其結(jié)果與平均投票（贊成票和反對(duì)票的概率相同）結(jié)果比較得到 最終的結(jié)果。以上對(duì)本發(fā)明的闡述說(shuō)明：幾何模型匹配算法的自動(dòng)定位眉毛、眼睛、嘴巴區(qū) 域以及對(duì)其ASM模型的建立定位表情特征點(diǎn)是一種新思想。
[0035] 以下對(duì)本發(fā)明作具體描述：
[0036] 圖1是采用面部表情控制智能輪椅運(yùn)動(dòng)的示意圖，攝像頭獲取人臉面部的RGB彩 色圖像，需要通過(guò)色彩轉(zhuǎn)換將RGB圖轉(zhuǎn)化成灰度圖像，但是采集的圖像含有一定的高斯噪 聲且不同攝像設(shè)備采集的尺寸大小不同，所以需要對(duì)表情圖像進(jìn)行去噪以及尺度歸一化的 操作處理。然后對(duì)預(yù)處理后的表情圖像進(jìn)行幾何模版匹配方法的自動(dòng)區(qū)域定位，接著采用 ASM方法定位到區(qū)域中的表情特征點(diǎn)位置，對(duì)表情訓(xùn)練樣本集里的每幅圖像做相同的特征 提取操作，提取得到的表情特征通過(guò)Adaboost算法的迭代訓(xùn)練得到表情分類模型。得到表 情分類模型之后，對(duì)新輸入的每幀表情序列進(jìn)行與訓(xùn)練階針相同的圖像與處理、特征提取 操作后，調(diào)用表情分類模型實(shí)現(xiàn)表情的識(shí)別，進(jìn)而可以確定表情的類型、得到相應(yīng)的控制指 令，實(shí)現(xiàn)對(duì)智能輪椅的實(shí)時(shí)控制。其中，以幾何模板匹配算法的眼睛區(qū)域自動(dòng)定位為例進(jìn)行 說(shuō)明，眼睛的評(píng)價(jià)函數(shù)設(shè)為如下式（1):
[0037] Eeye = exp [-1. 2 X ((I1-I2)2+(Ijl2-I)2+( θ「θ )2+( θ 2-Θ )2) ] (1)
[0038] 其中Θ i，i = 1，2分別代表兩只眼睛的方位角，Ii, i = 1，2為雙眼的歸一化長(zhǎng)度， 由最初的長(zhǎng)度除以兩個(gè)塊之間的距離D，如下式（2):
[0039] 〇 = ^(χ?-χ2γ+(ν,-νζΥ (2)
[0040] 其中點(diǎn)（Xl，yi)和（x2, y2)分別為右眼和左眼的中心坐標(biāo)，即D為雙眼中心之間的 距離。
[0041] 評(píng)價(jià)函數(shù)中中各項(xiàng)表達(dá)式越接近0,則評(píng)價(jià)函數(shù)值越接近于1。評(píng)價(jià)函數(shù)的取 值范圍是[0, 1]，值越大，表明兩個(gè)特征塊是眼睛的可能性就越大。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)可知，評(píng)價(jià) 值超過(guò)一定閾值的兩個(gè)特征塊被認(rèn)定為眼睛部分，進(jìn)而可以根據(jù)人臉幾何關(guān)系，可以確定 眉毛、嘴巴的區(qū)域。
[0042] 圖2是采用ASM模型進(jìn)行特征點(diǎn)定位的流程圖，其中圖（a)為ASM算法流程，圖 (b)表示采用建立的ASM模型實(shí)現(xiàn)新輸入目標(biāo)特征點(diǎn)的定位流程。ASM可以表示為：
[0043] X = X +￥), b=^ (X-X) (3)
[0044] 其中，向量b是模型參數(shù)，Φ是目標(biāo)模型的特征子空間基，是由主分量特征向量構(gòu) 成的變換矩陣，X表示目標(biāo)形狀，X表示平均形狀。ASM由兩部分組成：一是形狀模型的建 立，二是利用模型進(jìn)行搜索的過(guò)程。搜索過(guò)程 [3'8]包括計(jì)算新位置、計(jì)算形狀和姿態(tài)參數(shù)以 及參數(shù)更新，搜索步驟如下：
[0045] (1)初始化模型參數(shù)b，通常取b = 0,獲得初始模型Z =叉+ φ辦；
[0046] (2)沿當(dāng)前模型X的每個(gè)邊界點(diǎn)周圍搜索，尋找各邊界點(diǎn)的最佳匹配點(diǎn)；
[0047] (3)更新模型參數(shù)b，產(chǎn)生由匹配點(diǎn)結(jié)合構(gòu)成的模型，并將其設(shè)為新的當(dāng)前模型X ;
[0048] (4)重復(fù)步驟（2)和（3)直到模型不再發(fā)生明顯變化。
[0049] 步驟（2)用到的即是局部灰度模型：在待檢測(cè)特征點(diǎn)k對(duì)應(yīng)的法線方向左右兩側(cè) 分別取相同的點(diǎn)，組成灰度向量g k，對(duì)灰度向量求差分，進(jìn)而歸一化差分向量，可以得到待 檢測(cè)特征點(diǎn)對(duì)應(yīng)的灰度均值Sr和協(xié)方差C，它們作為待檢測(cè)特征點(diǎn)的匹配特征，對(duì)每一個(gè)特 征點(diǎn)做同樣的計(jì)算分析，可以得到整個(gè)形狀輪廓的統(tǒng)計(jì)特征，在匹配的過(guò)程中，采用馬氏距 離作為匹配函數(shù)，如下式：
[0050] .Agi) = '(g-g) (4)
[0051] 圖3是Adaboost算法訓(xùn)練表情特征以得到表情強(qiáng)分類器模型的示意圖。Adaboost 分類方法實(shí)現(xiàn)表情分類的過(guò)程如下：首先對(duì)預(yù)處理后的表情訓(xùn)練樣本集進(jìn)行相應(yīng)方法的表 情特征提取后；然后采用Adaboost算法對(duì)訓(xùn)練集表情特征進(jìn)行T輪迭代運(yùn)算，可以得到T 個(gè)弱分類器組成的一個(gè)表情強(qiáng)分類器；對(duì)待識(shí)別的表情圖像或序列，進(jìn)行訓(xùn)練階段相同方 法的表情特征提取后，送入表情強(qiáng)分類器中，進(jìn)而實(shí)現(xiàn)待分類表情類別的識(shí)別。
[0052] Adaboost分類訓(xùn)練算法是一個(gè)迭代過(guò)程，給定N幅表情圖像構(gòu)成訓(xùn)練樣本 Kx1, y)，· · ·，（xn，yn)}，其中Xi e X，X是訓(xùn)練樣本集，yi是類另Ij標(biāo)志，yi e {1，-1}。設(shè)第i 樣本Xi有K維特征Vk (Xi) (I < k < K)，對(duì)輸入特征Vk(X)對(duì)應(yīng)一個(gè)判斷公式，即弱分類器：

【權(quán)利要求】
1. 一種基于面部表情識(shí)別模式的智能輪椅人機(jī)交互系統(tǒng)，其特征在于：包括表情圖像 采集模塊、表情圖像特征提取模塊、表情特征訓(xùn)練模塊、表情序列識(shí)別模塊、智能輪椅控制 模塊；其中 表情圖像采集模塊：用于采集待采集對(duì)象的表情圖像，并轉(zhuǎn)發(fā)給表情特征訓(xùn)練模塊； 表情特征訓(xùn)練模塊：用于將采集的表情圖像和預(yù)先設(shè)選定的表情庫(kù)表情圖像共同作為 面部表情訓(xùn)練集，并經(jīng)過(guò)預(yù)處理后轉(zhuǎn)發(fā)給表情圖像特征提取模塊；并將表情圖像特征提取 模塊提取到的表情特征通過(guò)迭代訓(xùn)練得到表情分類模型； 表情圖像特征提取模塊：用于對(duì)表情特征訓(xùn)練模塊的面部表情訓(xùn)練集進(jìn)行定位、特征 提取得到表情特征； 表情序列識(shí)別模塊：用于對(duì)新輸入的每幀表情序列進(jìn)行與表情特征訓(xùn)練模塊相同的圖 像與處理、特征提取操作后，調(diào)用表情分類模型實(shí)現(xiàn)表情的識(shí)別； 智能輪椅控制模塊：用于根據(jù)表情的類型、得到相應(yīng)的控制指令，實(shí)現(xiàn)對(duì)智能輪椅的實(shí) 時(shí)控制。
2. -種基于面部表情識(shí)別模式的智能輪椅人機(jī)交互方法，其特征在于：包括以下步 驟： 201、 采用攝像頭獲取人臉面部的RGB彩色圖像，并對(duì)圖像進(jìn)行去噪、尺度歸一化的預(yù) 處理后轉(zhuǎn)為RGB灰度圖像； 202、 采用幾何模板匹配算法對(duì)預(yù)處理后的RGB灰度圖像自動(dòng)定位眉毛、眼睛、嘴巴區(qū) 域；然后采用ASM主動(dòng)形狀模型方法定位到所述眉毛、眼睛、嘴巴區(qū)域中的表情特征點(diǎn)位 置，得到表情特征點(diǎn)序列； 203、 然后對(duì)預(yù)先設(shè)選定的表情庫(kù)表情圖像里的每幅圖像做與步驟202相同的特征定 位提取操作，提取得到的表情特征通過(guò)Adaboost自適應(yīng)增強(qiáng)算法的迭代訓(xùn)練得到表情分 類模型； 204、 將步驟202中得到的表情特征點(diǎn)序列與表情分類模型相比較并識(shí)別，確定表情的 類型、得到相應(yīng)的控制指令，實(shí)現(xiàn)對(duì)智能輪椅的實(shí)時(shí)控制。
3. 根據(jù)權(quán)利要求2所述的基于面部表情識(shí)別模式的智能輪椅人機(jī)交互方法，其特征在 于：當(dāng)定位眼睛區(qū)域時(shí)，步驟202中的幾何模板匹配算法的評(píng)價(jià)函數(shù)為下式 ： Eeye = exp [-1. 2 X ((I1-I2)2+ (Ifl2-I)2+ ( θ「θ )2+ ( θ 2- Θ )2)] 其中Θi，i= 1，2分別代表兩只眼睛的方位角，Ii,i= 1，2為雙眼的歸一化長(zhǎng)度，由最 初的長(zhǎng)度除以兩個(gè)塊之間的距離D，如下式：
其中點(diǎn)（Xpy1)和（X2，y2)分別為右眼和左眼的中心坐標(biāo)，即D為雙眼中心之間的距離。
4. 根據(jù)權(quán)利要求2所述的基于面部表情識(shí)別模式的智能輪椅人機(jī)交互方法，其特征在 于：步驟202中的ASM主動(dòng)形狀模型搜索步驟如下： (I)ASM表示為：義=義+φ6, (.義-欠），初始化模型參數(shù)b,取b= 0,獲得初始 模型Χ=Ι+φ幻向量b是模型參數(shù)，Φ是目標(biāo)模型的特征子空間基，是由主分量特征向量 構(gòu)成的變換矩陣，X表示目標(biāo)形狀，Z表示平均形狀； (2) 沿當(dāng)前模型X的每個(gè)邊界點(diǎn)周圍搜索，尋找各邊界點(diǎn)的最佳匹配點(diǎn)； (3) 更新模型參數(shù)b，產(chǎn)生由匹配點(diǎn)結(jié)合構(gòu)成的模型，并將其設(shè)為新的當(dāng)前模型X; (4) 重復(fù)步驟（2)和（3)直到模型不再發(fā)生明顯變化。
【文檔編號(hào)】G06K9/62GK104463100SQ201410623938
【公開日】2015年3月25日 申請(qǐng)日期:2014年11月7日 優(yōu)先權(quán)日:2014年11月7日
【發(fā)明者】羅元, 張毅, 胡章芳, 李春連, 席兵 申請(qǐng)人:重慶郵電大學(xué)