專利名稱：運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法
技術(shù)領(lǐng)域：
本發(fā)明是一種利用人在受到外部或內(nèi)部刺激后產(chǎn)生的生理變化的信息來實現(xiàn)人/機(jī)交互，實現(xiàn)對外部設(shè)備的自動控制的方法。屬于人工智能應(yīng)用的技術(shù)領(lǐng)域。
背景技術(shù)：
現(xiàn)代科學(xué)技術(shù)的發(fā)展特別是信息技術(shù)的發(fā)展使得計算機(jī)成為人類生活中不可缺少的一部分。在很多的場合人的交互對象成為了計算機(jī)。計算機(jī)和先進(jìn)的通訊手段可以提高單體工作效率。比如在工業(yè)生長中，基于計算機(jī)和通訊技術(shù)的工業(yè)自動化使以前需要多人完成的工作只要一人或少數(shù)幾個人就能完成。此外，對于一些具有危險性的工作遠(yuǎn)程控制的方法進(jìn)行操作?？茖W(xué)技術(shù)的這些進(jìn)步極大地減輕了人的勞動強(qiáng)度。但是，同時帶來的問題使單體對外部過程的影響力增大。人的過失對整個生產(chǎn)過程有時會產(chǎn)生毀滅性的影響。這種過失往往是情緒性的。特別是人在困倦，壓抑，過度興奮的狀態(tài)下這種過失的可能性將極大地增大。因此，需要一個智能的人機(jī)界面，它能根據(jù)人的行為，生化生理參數(shù)的變化自動對過失行為的可能性進(jìn)行判斷，并進(jìn)行報警，以減小過失概率。
這種利用情緒變化信息的智能人機(jī)界面對于一些特殊人群也有著十分重要的意義。比如在臨床中，利用病人情緒變化信息的人機(jī)界面可以有效地實現(xiàn)對病人的實時監(jiān)護(hù)。
此外，利用情緒變化的智能人機(jī)界面在汽車駕駛，銀行等重要場所和部門的保安，教育現(xiàn)場的兒童監(jiān)護(hù)等場合都有著十分重要的意義。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的目的是提供一種運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，該方法運(yùn)用人腦在外部和內(nèi)部刺激下產(chǎn)生的情緒和情緒變化信息構(gòu)建人/機(jī)界面，以實現(xiàn)人/機(jī)交互功能。
技術(shù)方案本人機(jī)界面由監(jiān)測對象、情緒信號采集系統(tǒng)、采集同步和控制系統(tǒng)、特征提取和識別、先驗庫和數(shù)據(jù)庫、情緒響應(yīng)系統(tǒng)所組成。本人機(jī)界面的信號輸入端為一個情緒信號采集系統(tǒng)。該系統(tǒng)由肢體信號檢測系統(tǒng)、面部表情檢測系統(tǒng)、視覺信息檢測系統(tǒng)、語音和發(fā)音檢測系統(tǒng)、遞質(zhì)、激素、心率、血壓、腦電等生理信息檢測系統(tǒng)等與情緒有關(guān)的信號檢測系統(tǒng)中的一個或幾個檢測系統(tǒng)構(gòu)成。采集同步和控制系統(tǒng)與情緒信號采集系統(tǒng)構(gòu)成一個反饋系統(tǒng)。以保證情緒信號的正確采集。然后信號輸入特征提取和識別系統(tǒng)。通過特征提取和模式識別對可判斷情緒的特征型號進(jìn)行提取。并與先驗庫中的先驗知識進(jìn)行比較。在此基礎(chǔ)上對人的情緒進(jìn)行判斷。決定是否繼續(xù)跟蹤或改變跟蹤方法并根據(jù)人的情緒狀態(tài)決定情緒響應(yīng)系統(tǒng)是否對被檢測對象進(jìn)行干涉。
本發(fā)明運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法的具體構(gòu)建方法為a、確定檢測對象；b、啟動情緒信號采集系統(tǒng)，對檢測對象的情緒信號進(jìn)行采集；c、將采集到的信號送入采集器同步和控制系統(tǒng)；d、將采集器同步和控制系統(tǒng)輸出的信號分別送入特征提取和識別和反饋到情緒信號采集系統(tǒng)；e、將特征提取和識別(輸出的信號送入先驗庫和數(shù)據(jù)庫進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號；f、在判斷是否需要繼續(xù)跟蹤或變換采集信號時，若是，則返回情緒信號采集系統(tǒng)；若否，則中終止；g、在判斷情緒類別后情緒響應(yīng)系統(tǒng)會根據(jù)情緒類別的不同作出響應(yīng)的判斷。
情緒信號采集系統(tǒng)輸入的信號是與情緒有關(guān)的肢體運(yùn)動(21)、面部表情(22)、視覺信息、語音和發(fā)音、遞質(zhì)和激素、心率和血壓、……腦電。
情緒信號采集系統(tǒng)是多個不同類型的與情緒有關(guān)的肢體運(yùn)動、面部表情、視覺信息、語音和發(fā)音、遞質(zhì)和激素、心率和血壓、……腦電的信號采集器。
先驗庫和數(shù)據(jù)庫包括腦庫，生理信息庫，情緒行為庫，語音庫等與情緒有關(guān)的先驗庫可以對人的行為作自動判斷。
有益效果本發(fā)明中的人機(jī)界面的輸入信號采用的是與情緒有關(guān)的人的內(nèi)在和外在的信號。系統(tǒng)具有自主跟蹤情緒行為和判斷情緒狀態(tài)的功能。
所利用的生理信息包括面部和姿態(tài)的視覺信息，語言和發(fā)聲的聲學(xué)信息，遞質(zhì)和激素變化的生化信息，心率，血壓等。
本發(fā)明的方法使人腦在外部和內(nèi)部刺激下產(chǎn)生的情緒和情緒變化信息構(gòu)建人一機(jī)界面將在工業(yè)自動化，安全保衛(wèi)，海關(guān)，醫(yī)院，教育現(xiàn)場等提供自動報警，安全檢測，自動服務(wù)等。


圖1是本發(fā)明的總體框架示意圖。其中有檢測對象1，情緒信號采集系統(tǒng)2，采集器同步和控制控制3，特征提取和識別4，先驗庫和數(shù)據(jù)庫5，情緒響應(yīng)系統(tǒng)6。情緒信號采集系統(tǒng)2中的信號源有肢體運(yùn)動21，面部表情22，視覺信息23，語音和發(fā)音24，遞質(zhì)和激素25，心率和血壓2N等與情緒有關(guān)的信號。先驗庫和數(shù)據(jù)庫5包含腦庫51，生理信息庫52，情緒行為庫53，語音庫5N。
圖2是本發(fā)明實施方案一即從肢體運(yùn)動感知情緒的人機(jī)界面構(gòu)建的方法示意圖。
圖3是本發(fā)明實施方案二即通過生理參數(shù)變化識別情緒的人機(jī)界面構(gòu)建的方法示意圖。
具體實施例方式
本發(fā)明構(gòu)建的方法為a、確定檢測對象1；b、啟動情緒信號采集系統(tǒng)2，對檢測對象1的情緒信號進(jìn)行采集；c、將采集到的信號送入采集器同步和控制系統(tǒng)3；d、將采集器同步和控制系統(tǒng)3輸出的信號分別送入特征提取和識別4和反饋到情緒信號采集系統(tǒng)2；e、將特征提取和識別4輸出的信號送入先驗庫和數(shù)據(jù)庫5進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號；f、在判斷是否需要繼續(xù)跟蹤或變換采集信號時，若是，則返回情緒信號采集系統(tǒng)2；若否，則中終止；g、在判斷情緒類別后情緒響應(yīng)系統(tǒng)會根據(jù)情緒類別的不同作出響應(yīng)的判斷。。其中情緒信號采集系統(tǒng)2輸入的信號是與情緒有關(guān)的肢體運(yùn)動21、面部表情22、視覺信息23、語音和發(fā)音24、遞質(zhì)和激素25、心率和血壓26、……腦電2N。
情緒信號采集系統(tǒng)2是多個不同類型的與情緒有關(guān)的肢體運(yùn)動21、面部表情22、視覺信息23、語音和發(fā)音24、遞質(zhì)和激素25、心率和血壓26、……腦電2N的信號采集器。
先驗庫和數(shù)據(jù)庫5包括腦庫51，生理信息庫52，情緒行為庫53，……語音庫5N等與情緒有關(guān)的先驗庫可以對人的行為作自動判斷。
實施方案一從肢體運(yùn)動感知情緒的人機(jī)界面人的很多情緒都會通過肢體運(yùn)動表現(xiàn)出來。因此，捕捉肢體運(yùn)動變化方式對于比較全面地把握人的情緒變化具有重要價值，對于感知情緒的人機(jī)界面技術(shù)是必不可少的組成部分。
在基于肢體運(yùn)動感知情緒的人機(jī)界面中被檢測對象1是人的肢體運(yùn)動。人的肢體運(yùn)動變化主要是由肢體的相對位移和姿態(tài)變化所描述的。利用計算機(jī)三維視覺技術(shù)，肢體在三維空間的運(yùn)動位移和姿態(tài)變化都可以通過多個攝像機(jī)傳感器所同時獲得的二維圖像信息綜合計算出來。因此，由多個攝像機(jī)組成的一個同步拍攝的攝像機(jī)陣列構(gòu)成情緒信號采集系統(tǒng)2。
采集器同步和控制控制3由圖像采集與同步控制構(gòu)成。考慮人的肢體關(guān)節(jié)點(diǎn)可以代表肢體運(yùn)動的主要軌跡，肢體關(guān)節(jié)點(diǎn)的運(yùn)動轉(zhuǎn)化為關(guān)鍵點(diǎn)在關(guān)鍵幀中的多視點(diǎn)聯(lián)合射影幾何約束三維結(jié)構(gòu)與運(yùn)動計算問題。多視點(diǎn)攝像機(jī)陣列在捕捉處理之前，首先執(zhí)行離線攝像機(jī)參數(shù)定標(biāo)校準(zhǔn)預(yù)處理，包括攝像機(jī)內(nèi)參數(shù)和外參數(shù)定標(biāo)校準(zhǔn)處理。經(jīng)過攝像機(jī)陣列預(yù)定標(biāo)之后，關(guān)鍵點(diǎn)在關(guān)鍵幀中的多視點(diǎn)三維結(jié)構(gòu)與運(yùn)動計算問題簡化為多視點(diǎn)聯(lián)合歐氏幾何約束的三維空間點(diǎn)最小二乘優(yōu)化計算。
特征提取和識別4由多視點(diǎn)聯(lián)合三維結(jié)構(gòu)與運(yùn)動計算，提取運(yùn)動變化特征參數(shù)，情緒特征識別和數(shù)學(xué)計算功能庫構(gòu)成。對于捕捉的肢體運(yùn)動變化參數(shù)，根據(jù)情緒變化相應(yīng)的肢體運(yùn)動先驗?zāi)Ｐ?，計算最相近的情緒變化方式。與情緒變化相應(yīng)的肢體運(yùn)動先驗?zāi)Ｐ屯ㄟ^機(jī)器學(xué)習(xí)方法來獲得，即首先捕捉一定量的肢體運(yùn)動參數(shù)樣本，并且預(yù)先對其的情緒變化做分類，然后對有代表性的參數(shù)樣本進(jìn)行學(xué)習(xí)和選擇，建立起與情緒變化相應(yīng)的肢體運(yùn)動先驗?zāi)Ｐ蛿?shù)據(jù)庫5。最后，通過判斷決定人機(jī)界面對情緒的響應(yīng)。
實施方案二通過生理參數(shù)變化識別情緒的人機(jī)界面人類的情緒活動由于自主神經(jīng)系統(tǒng)的參與，常伴隨有一定的生理變化，因此，
可以將有機(jī)體的生理變化作為情緒的指標(biāo)加以測量和記錄，進(jìn)行情緒的分類和識別。其主要優(yōu)點(diǎn)是比較客觀。利用各種遙測電生理設(shè)備，以各種方法測量并記錄伴隨情緒而發(fā)生的生理變化，例如呼吸、心跳、血管收縮、皮膚電反應(yīng)、心電、腦電等等，并借助計算機(jī)對測量結(jié)果進(jìn)行處理，以達(dá)到對情緒比較客觀的測量。通過生理參數(shù)的變化識別情緒，來構(gòu)造感知情緒的人機(jī)界面，是一種可行的方法。通過生理參數(shù)變化識別情緒的人機(jī)界面中的檢測對象1是情緒狀態(tài)下人的各種生理指標(biāo)及其變化。這些生理指標(biāo)的變化是由于在不同的情緒狀態(tài)下，個體的自主神經(jīng)系統(tǒng)的調(diào)節(jié)活動，導(dǎo)致一系列的內(nèi)部生理變化，它們在體表導(dǎo)致相應(yīng)的生理改變，如心律、脈搏、血壓、血氧、呼吸、體溫、皮膚電、腦電圖、眼動變化和體表血流等的改變。采用各種記錄和測量設(shè)備，檢測和記錄這些生理信號，結(jié)合計算機(jī)自動分析識別方法進(jìn)行處理。這些記錄的電生理設(shè)備就構(gòu)成了情緒生理信號采集系統(tǒng)2。
各種記錄電生理設(shè)備必須利用同步采集和控制系統(tǒng)3進(jìn)行調(diào)控，以使各種采集設(shè)備能夠同步工作，以便于信號的處理和分析。由于單一生理指標(biāo)的測量并不能為特定的情緒提供明確的模式，只能提供的個體的特定喚醒水平的信息。只有這樣才能將各種生理指標(biāo)對應(yīng)起來，進(jìn)行綜合分析才能對特定情緒的進(jìn)行測量和分析。
特征提取和識別模塊4是利用各種信號處理和分析的方法對不同電生理設(shè)備記錄到的生理指標(biāo)進(jìn)行變換和處理，并將提取的信號變化特征參數(shù)與先驗知識數(shù)據(jù)庫中5的先驗知識進(jìn)行比對，進(jìn)行情緒測量和分類。情緒狀態(tài)下的生理指標(biāo)變化先驗數(shù)據(jù)庫5是由預(yù)先進(jìn)行的情緒測量和分類研究獲得；同時在系統(tǒng)的使用過程中也可以利用先驗?zāi)Ｐ屯ㄟ^機(jī)器學(xué)習(xí)方法來獲得，即先測量一定的情緒變化生理參數(shù)樣本，并且預(yù)先對其進(jìn)行情緒分類，然后對有代表性的參數(shù)樣本進(jìn)行學(xué)習(xí)和選擇，建立起與情緒變化相應(yīng)的情緒變化生理指標(biāo)先驗?zāi)Ｐ蛿?shù)據(jù)庫。最后，利用計算機(jī)自動分析識別方法判斷是何種情緒，再根據(jù)具體應(yīng)用由情緒響應(yīng)系統(tǒng)6決定人機(jī)界面對情緒的響應(yīng)。
權(quán)利要求
1.一種運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于構(gòu)建的方法為a、確定檢測對象(1)；b、啟動情緒信號采集系統(tǒng)(2)，對檢測對象(1)的情緒信號進(jìn)行采集；c、將采集到的信號送入采集器同步和控制系統(tǒng)(3)；d、將采集器同步和控制系統(tǒng)(3)輸出的信號分別送入特征提取和識別(4)和反饋到情緒信號采集系統(tǒng)(2)；e、將特征提取和識別(4)輸出的信號送入先驗庫和數(shù)據(jù)庫(5)進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號；f、在判斷是否需要繼續(xù)跟蹤或變換采集信號時，若是，則返回情緒信號采集系統(tǒng)(2)；若否，則中終止；g、根據(jù)權(quán)利要求1所述的運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于情緒信號采集系統(tǒng)(2)輸入的信號是與情緒有關(guān)的肢體運(yùn)動(21)、面部表情(22)、視覺信息(23)、語音和發(fā)音(24)、遞質(zhì)和激素(25)、心率和血壓(26)、腦電(2N)。
3.根據(jù)權(quán)利要求1或所述的運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于情緒信號采集系統(tǒng)(2)是多個不同類型的與情緒有關(guān)的肢體運(yùn)動(21)、面部表情(22)、視覺信息(23)、語音和發(fā)音(24)、遞質(zhì)和激素(25)、心率和血壓(26)、腦電(2N)的信號采集器。
4.根據(jù)權(quán)利要求1所述的運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法，其特征在于先驗庫和數(shù)據(jù)庫(5)包括腦庫(51)，生理信息庫(52)，情緒行為庫(53)，語音庫(5N)等與情緒有關(guān)的先驗庫可以對人的行為作自動判斷。
全文摘要
運(yùn)用人的情緒和情緒變化信息構(gòu)建人機(jī)界面的方法是一種利用人在受到外部或內(nèi)部刺激后產(chǎn)生的生理變化的信息來實現(xiàn)人/機(jī)交互，實現(xiàn)對外部設(shè)備的自動控制的方法，其構(gòu)建的方法為確定檢測對象；啟動情緒信號采集系統(tǒng)；將采集到的信號送入采集器同步和控制系統(tǒng)然后分別送入特征提取和識別和反饋到情緒信號采集系統(tǒng)；將特征提取和識別輸出的信號送入先驗庫和數(shù)據(jù)庫進(jìn)行學(xué)習(xí)和分析；判斷情緒是否正常；判斷是否需要繼續(xù)跟蹤或變換采集信號，若是，則返回情緒信號采集系統(tǒng)，若否，則中終止；在判斷情緒是否正常時，若是，則輸出的信號到情緒響應(yīng)系統(tǒng)輸出響應(yīng)信號；若否，則返回繼續(xù)判斷是否需要繼續(xù)跟蹤或變換采集信號。
文檔編號G06F17/00GK1581149SQ20041001444
公開日2005年2月16日 申請日期2004年3月25日 優(yōu)先權(quán)日2004年3月25日
發(fā)明者韋鈺, 顧忠澤, 阮宗才, 周建中 申請人:東南大學(xué)