專利名稱：視線跟蹤人機交互方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機交互方法及裝置，尤其涉及視線跟蹤人機交互方法及裝 置，屬于人機交互領(lǐng)域。
背景技術(shù)：
鍵盤、鼠標(biāo)、游戲桿等設(shè)備提供了機器與操作者之間的通訊接口，實現(xiàn) 了人機交互。近年來，隨著視線跟蹤技術(shù)的發(fā)展，基于視線跟蹤的鼠標(biāo)模擬 以及鍵盤模擬已在人機交互領(lǐng)域得以研究與應(yīng)用，諸如輔助殘疾人士完成人 機通訊，輔助航空駕駛員操作計算機等。在個人電腦上，視線跟蹤的結(jié)果可 以控制鼠標(biāo)指針的運動，從而可以替代鼠標(biāo)實現(xiàn)人機交互的功能。在一些工 業(yè)控制、航空應(yīng)用場景或緊急狀況中，用戶的手可能都被用于操作除計算機 外的其它控制機構(gòu)，這時只有視線可以被用來操作計算機。
現(xiàn)有技術(shù)使用鼠標(biāo)設(shè)備輔助實現(xiàn)跟蹤的人機交互過程。當(dāng)需要進行目標(biāo) 選取時，用戶的視線落在需要選擇的目標(biāo)上后，再按下鼠標(biāo)鍵完成選擇。在 移動一個目標(biāo)時，用戶的視線落在需要選擇的目標(biāo)上后，按下鼠標(biāo)鍵選中該
目標(biāo)，然后用戶移動^L線至一個新的位置，松開鼠標(biāo)按鈕后目標(biāo)即停留在新 的位置。在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)該技術(shù)中至少存在如下問題
(1) 采用鼠標(biāo)設(shè)備作為輔助輸入，在交互過程中使用手的運動來控制鼠 標(biāo)按下與松開的動作。這樣對于航空駕駛等特殊場合無法利用手進行操作的 情況下就無法應(yīng)用， 一些手部無法動作的殘疾人也不能使用該系統(tǒng)。
(2) 在把該系統(tǒng)用于公共設(shè)施時，由于需要接觸鼠標(biāo)設(shè)備，從而增加了 人群中傳染疾病的可能性。目前還存在一種根據(jù)視線停留時間或眨眼選擇控制選項的方法。操作 者在某處注視點停留達一定時間后，當(dāng)前交互工作模式轉(zhuǎn)入精細調(diào)整模式。 在該模式下，程序先記下當(dāng)前光標(biāo)點位置，然后屏幕上出現(xiàn)一個彈出菜單， 包含"單擊、雙擊、左鍵、右鍵"等選項，然后視線控制光標(biāo)移動到菜單 中的某一項上，并停留一定時間或眨眼來選"l奪該項，^v而實現(xiàn)"單擊、雙
擊"等動作。在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)該方法中至少存在如下問題 注視停留時間很難選擇較合適的值，若選擇較小的數(shù)值，則容易造成 誤操作，因為當(dāng)視線稍做停頓，就會出現(xiàn)彈出菜單，而操作者并不希望做 任何動作，這種情況在一些特定操作中(如閱讀文章、觀看視頻等)尤其 明顯。如果選擇較大的數(shù)值，則會延長操作指令的執(zhí)行時間，大大降低交 互的效率。另外，彈出菜單在很多場合也會影響操作者對屏幕內(nèi)容的觀察。 總之，這樣的交互協(xié)議會導(dǎo)致交互過程不夠人性化，效率也較低，容易產(chǎn) 生誤操作。

發(fā)明內(nèi)容
本發(fā)明實施例的目的在于提供一種非接觸且交互協(xié)議簡單的視線跟蹤人 機交互方法及裝置。
為實現(xiàn)上述目的，本發(fā)明視線跟蹤人機交互方法的實施例中，包括采 集視線跟蹤信息，并根據(jù)所述視線跟蹤信息獲取視線焦點位置；采集面部圖 像信息，并根據(jù)所述面部圖像信息識別出面部動作；根據(jù)所述視線焦點位置 輸出與所述面部動作對應(yīng)的控制指令。
為實現(xiàn)上述目的，本發(fā)明實現(xiàn)跟蹤人機交互裝置的實施例中，包括視 線跟蹤處理單元，用于進行視線跟蹤操作，所述視線跟蹤操作包括采集視線 跟蹤信息并根據(jù)所述視線跟蹤信息獲取視線焦點位置；面部動作識別單元， 用于采集面部圖像信息并根據(jù)所述面部圖像信息識別出面部動作；以及控制 指令輸出單元，與所述視線跟蹤處理單元及所述面部動作識別單元分別連接，用于根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令。
本發(fā)明實現(xiàn)跟蹤人機交互方法的實施例通過采集視線跟蹤信息獲取視線 焦點位置，采集面部圖像信息識別出面部動作，最后根據(jù)所述視線焦點位置
輸出與所述面部動作對應(yīng)的控制指令；在整個過程中，由于操作者的手無需 接觸鍵盤或鼠標(biāo)或操作桿等外設(shè)，這樣使得航空駕駛等特殊場合無法利用手 進行操作的情況下得以順利地應(yīng)用，另還能夠方便一些手部無法動作的殘疾 人；采用面部動作及視線焦點位置同時作為控制指令輸出的依據(jù)條件，使得 交互協(xié)議簡單、控制指令的輸出更為準(zhǔn)確。
本發(fā)明實現(xiàn)跟蹤人機交互裝置的實施例通過在原有視線跟蹤處理單元的 基礎(chǔ)上增設(shè)面部動作識別單元，由控制指令輸出單元根據(jù)所述視線焦點位置 輸出與所述面部動作對應(yīng)的控制指令，實現(xiàn)了非接觸的控制方式，提高了用 戶使用的舒適度，避免了公共設(shè)備使用過程中由于操作者的手接觸鍵盤或鼠 標(biāo)或操作桿等外設(shè)而造成的疾病的傳播。


圖1為本發(fā)明視線跟蹤人機交互方法的實施例一的流程圖2為面部動作A示意圖3為面部動作B示意圖4為面部動作C示意圖5為面部動作D示意圖6為本發(fā)明視線跟蹤人機交互方法的實施例二的流程圖； 圖7為本發(fā)明視線跟蹤人機交互方法的實施例三的流程圖； 圖8為本發(fā)明視線跟蹤人機交互方法的實施例四的流程圖； 圖9為本發(fā)明視線跟蹤人機交互方法的實施例五的流程圖； 圖10為本發(fā)明視線跟蹤人機交互方法的實施例六的流程圖； 圖11為本發(fā)明視線跟蹤人機交互方法的實施例七的流程圖;圖12為本發(fā)明視線跟蹤人機交互裝置的實施例一的結(jié)構(gòu)圖 圖13為本發(fā)明視線跟蹤人機交互裝置的實施例二的結(jié)構(gòu)圖 圖14為本發(fā)明視線跟蹤人機交互裝置的實施例三的結(jié)構(gòu)圖 圖15為本發(fā)明視線跟蹤人機交互裝置的實施例四的結(jié)構(gòu)圖 圖16為本發(fā)明視線跟蹤人機交互裝置的實施例五的結(jié)構(gòu)圖 圖17為本發(fā)明視線跟蹤人機交互裝置的實施例六的結(jié)構(gòu)圖 圖18為本發(fā)明視線跟蹤人機交互裝置的實施例七的結(jié)構(gòu)圖； 圖19為本發(fā)明視線跟蹤人機交互裝置的實施例八的結(jié)構(gòu)圖。
具體實施例方式
下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。
圖1為本發(fā)明視線跟蹤人機交互方法的實施例一的流程圖，包4舌
步驟l、采集視線跟蹤信息。
步驟2、根據(jù)所述視線跟蹤信息獲取視線焦點位置。
步驟3、采集面部圖像信息。采集面部圖像信息的方式可以為選擇具有一 定分辨率的圖像設(shè)備拍攝操作者的臉部圖像。
步驟4、根據(jù)所述面部圖像信息識別出面部動作。如根據(jù)面部圖像信息中 的某幾個信息點，如眼睛、嘴巴、眉毛等五官的動作信息及其組合，識別出 面部動4乍。
步驟5、根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令。視 線焦點位置對應(yīng)著需要控制的目標(biāo)項，如頁面、文件、文件夾等。例如，視 線焦點位置對應(yīng)于頁面，面部動作對應(yīng)的控制指令為滾動，則顯示屏上就會 顯示出類似于鼠標(biāo)滾軸鍵滾動頁面的操作。
視線跟蹤技術(shù)的最根本問題是要測量眼睛的注視方向，測量方法有許多 種，包括瞳孔-角膜反射向量法、眼電圖法(E0G)、虹膜-鞏膜邊緣法、角 膜反射法、接觸鏡法等方法。這些方法中，最適合在人機交互場景應(yīng)用的是瞳孔-角膜反射向量法，也是當(dāng)前視線跟蹤產(chǎn)品中運用較多的一種方法。該
方法的基本原理如下當(dāng)用一紅外輔助光源照射人的臉部，在眼睛角膜表面 形成反射像，此反射像被稱為普爾欽(Purkinje)斑點。人眼在盯視計算機屏 幕上的不同位置，眼球會發(fā)生相應(yīng)的轉(zhuǎn)動。假定實驗者的頭在不動的情況下， 由于紅外發(fā)光二極管的位置是固定的，而眼球是一個近似的球體所以當(dāng)眼球 轉(zhuǎn)動時，可以認為普爾欽斑點的絕對位置是不變的；而虹膜與瞳孔的位置要 發(fā)生相應(yīng)的變化，這樣紅外輔助光源在角膜上形成的普爾欽斑點和瞳孔與虹 膜的相對位置關(guān)系也將發(fā)生變化，這種相對位置關(guān)系的確定可以通過圖像處 理來實現(xiàn)。然后由它們之間的相對位置關(guān)系，得出視線輸入的方向。根據(jù)視 線輸出的方向獲取視線焦點位置。
在Ekman的面部運動編碼系統(tǒng)(Facail Action Coding System,簡稱FACS ) 中詳細定義了面部動作的具體形式，它們被稱為運動單元(Action Unit，簡 稱AU)。 FACS中定義了 44種AU,但是其中許多AU在日常生活中是很少出現(xiàn) 的，甚至有些AU對于普通人來說很難做出。為了使操作者在人機交互中能夠 較容易的做出這些AU,本發(fā)明的實施例中僅需選用其中的某些較容易做出且 計算機識別率較高的幾種AU或者AU的組合，特別地，可以由操作者在計算 機可識別的AU之中根據(jù)自己的情況選擇合適的AU。為了保證識別的準(zhǔn)確性， 可以在本裝置開始使用之前可以通過面部動作訓(xùn)練器向操作者發(fā)出針對某一 面部動作的訓(xùn)練提示，如眉毛上升并凈大眼睛，操作者按照提示進行相應(yīng)搡 作，當(dāng)操作者沒有達到訓(xùn)練器要求的標(biāo)準(zhǔn)范圍時，訓(xùn)練器可以向操作者發(fā)出 提示信息，直到操作者達到了訓(xùn)練器要求的標(biāo)準(zhǔn)范圍。在該實施例以及以后 的實施例中，選擇如圖2、圖3、圖4、圖5所示的幾種AU或者AU的組合作 為與特定控制指令對應(yīng)的預(yù)設(shè)面部動作。其中，圖2代表的動作是眉毛下降 并且檸在一起(皺眉)，簡稱面部動作A;圖3代表眉毛上升并崢大眼睛，簡 稱面部動作B;圖4代表嘴巴張開，簡稱面部動作C。面部動作A代表的控制 指令為左鍵單擊，面部動作B代表的控制指令為左鍵雙擊，面部動作C代表 的控制指令為右鍵單擊。在輸出控制指令之前，即執(zhí)行步驟5之前，都需要執(zhí)行上述步驟l、步驟
2、步驟3以及步驟4，其中步驟1和步驟2在時間上具有先后鏈?zhǔn)疥P(guān)系，步 驟3和步驟4在時間上具有先后^f連式關(guān)系。步驟1和步驟3,步驟2和步驟4 在時間上不具有先后鏈?zhǔn)疥P(guān)系。
該實施例通過采集視線跟蹤信息獲取視線焦點位置，采集面部圖像信息 識別出面部動作，最后根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控 制指令；在整個過程中，由于操作者的手無需接觸鍵盤或鼠標(biāo)或操作桿等外 設(shè)，這樣使得航空駕駛等特殊場合無法利用手進行操作的情況下得以順利地 應(yīng)用，另還能夠方便一些手部無法動作的殘疾人；采用面部動作及視線焦點 位置同時作為控制指令輸出的依據(jù)條件，使得交互協(xié)議簡單、控制指令的輸 出更為準(zhǔn)確。
視線跟蹤操作在給操作者帶來便利的同時，由于操作者的視線發(fā)出的隨 意性，如果缺乏啟動或關(guān)閉視線跟蹤操作的指令信息，有可能會產(chǎn)生誤操作， 如操作者視線停留在某個位置，嘴巴張開時，可能并不代表要發(fā)出的指令為 右鍵單擊操作。因此可以設(shè)置一預(yù)設(shè)開關(guān)動作，當(dāng)檢測到面部動作為所述預(yù) 設(shè)開關(guān)動作時，啟動或停止視線跟蹤操作。圖5代表鼻子用力卑起并形成皺 紋，簡稱面部動作D。實施例二以及以后的實施例預(yù)先設(shè)定面部動作D為預(yù)設(shè) 開關(guān)動作，當(dāng)檢測到面部動作為面部動作D時，啟動或關(guān)閉視線跟蹤操作， 若未檢測到面部動作為面部動作D，則檢測所述面部動作是否為預(yù)設(shè)開關(guān)動 作。以操作計算機為例，實施例二與實施例一的區(qū)別在于，當(dāng)計算機開機時， 首先啟動面部動作識別單元，采集面部圖像信息，當(dāng)根據(jù)所述面部圖像信息 首次識別出面部動作D時啟動視線跟蹤處理單元，相應(yīng)地啟動視線跟蹤操作。 圖6為本發(fā)明視線跟蹤的人機交互方法的實施例二的流程圖，與本發(fā)明一見線 跟蹤人才幾交互方法的實施例一相比，還包括
步驟la、采集面部圖像信息。
步驟2a、根據(jù)所述面部圖像信息識別出面部動作。步驟3a、；險測所述面部動作是否為面部動作D,若所述面部動作為面部 動作D,則執(zhí)行步驟l;若否，則返回執(zhí)行步驟la、檢測所述面部動作是否為 面部動作D。
該實施例中，當(dāng)計算機開機時，首先啟動面部動作識別單元，當(dāng)首次才企 測到所述面部動作為預(yù)設(shè)開關(guān)動作時，啟動視線跟蹤操作，所述^L線跟蹤操 作包括采集視線跟蹤信息及根據(jù)所述視線跟蹤信息獲取視線焦點位置，從而 減少了誤操作出現(xiàn)的可能性。
計算機開機以后，可以通過判斷根據(jù)面部圖像信息識別出的面部動作是 否為預(yù)設(shè)開關(guān)動作，當(dāng)前出現(xiàn)次數(shù)為奇數(shù)次(或非零偶數(shù))，啟動(或關(guān)閉) 視線跟蹤操作。圖7為本發(fā)明視線跟蹤人機交互方法的實施例三的流程圖， 與本發(fā)明視線跟蹤人機交互方法的實施例 一相比，還包括
步驟lb、采集面部圖像信息。
步驟2b、沖艮據(jù)所述面部圖像信息識別出面部動作。
步驟3b、檢測所述面部動作是否為面部動作D，若所述面部動作為面部 動作D，則執(zhí)行步驟4b;若否，則返回執(zhí)行步驟lb、檢測所述面部動作是否 為面部動作D。
步驟4b、判斷面部動作D出現(xiàn)次數(shù)是否為奇數(shù)，若為奇數(shù)次，則執(zhí)行步 驟l;若否，執(zhí)行步驟5b。
步驟5b、停止視線跟蹤操作，轉(zhuǎn)到步驟lb。
該實施例中，當(dāng)計算4幾開機以后時，通過才企測面部動作是否為預(yù)i殳開關(guān) 動作，且當(dāng)前出現(xiàn)次數(shù)是否為奇數(shù)次，來決定是啟動還是關(guān)閉視線跟蹤操作， 從而進一 步減少了誤操作出現(xiàn)的可能性。
視線焦點位置對應(yīng)著需要控制的目標(biāo)項，當(dāng)視線跟蹤信息中的視線不在 預(yù)設(shè)視線位置范圍內(nèi)時，視線焦點位置就相應(yīng)的在預(yù)設(shè)視線焦點位置范圍之 外，因此可以通過設(shè)定預(yù)設(shè)視線位置范圍，判斷視線跟蹤信息中的視線是否 預(yù)設(shè)視線位置范圍內(nèi)。當(dāng)確認視線跟蹤信息中的視線在預(yù)設(shè)視線位置范圍內(nèi)時，再進行下一步識別出面部動作的搡作。具體為檢測所述視線跟蹤信息 中的視線是否在預(yù)設(shè)視線位置范圍內(nèi)，若所述視線在預(yù)設(shè)視線位置范圍內(nèi)時， 面部動作識別單元工作，即采集當(dāng)前的面部圖像信息，根據(jù)當(dāng)前的面部圖像
信息識別出面部動作；視線跟蹤處理單元停止工作，停止視線跟蹤操作。若 視線跟蹤信息中的視線在預(yù)設(shè)視線位置范圍外，面部動作識別單元停止工作， 視線跟蹤處理單元工作，執(zhí)行視線跟蹤操作。
實施例四中，以控制屏幕上的目標(biāo)項為例，該實施例，預(yù)設(shè)視線位置范 圍為屏幕范圍。圖8為本發(fā)明視線跟蹤人機交互方法的實施例四的流程圖， 與本發(fā)明一見線跟蹤人機交互方法的實施例三相比，還包括
步驟20、檢測所述視線跟蹤信息中的視線是否在屏幕范圍內(nèi)，若所述視 線跟蹤信息中的視線在屏幕范圍內(nèi)，則執(zhí)行步驟3;否則，執(zhí)行步驟l。該實 施例中，通過增加檢測視線跟蹤信息中的視線是否在預(yù)設(shè)視線位置范圍內(nèi)的 步驟，當(dāng)視線不在預(yù)設(shè)視線位置范圍內(nèi)時，可停止面部圖像采集及識別操作， 從而更進一步減少了誤操作出現(xiàn)的可能性。
圖9為本發(fā)明碎見線跟蹤人機交互方法的實施例五的流程圖，該實施例與 上一實施例的區(qū)別在于，檢測視線跟蹤信息中的視線是否在預(yù)設(shè)視線位置范 圍內(nèi)的步驟設(shè)置在步驟1后，并且向操作者發(fā)出警告信息，用于提示操作者 調(diào)整視線。具體為
步驟10、檢測所述視線跟蹤信息中的視線是否在屏幕范圍內(nèi)，若所述視 線跟蹤信息中的視線在屏幕范圍內(nèi)，執(zhí)行步驟2;否則，執(zhí)行步驟10';
步驟IO，、發(fā)提示音，該提示音用于提示操作者調(diào)整視線。
該實施例中，通過在采集到視線跟蹤信息后，增加檢測視線跟蹤信息中 的視線是否在預(yù)設(shè)視線位置范圍內(nèi)的步驟，使得能夠迅速地對視線是否在預(yù) 設(shè)視線位置范圍內(nèi)做出判斷，并通過向操作者發(fā)提示音，引導(dǎo)操作者，使操 作者及時地調(diào)整視線，以達到及時控制目標(biāo)項的目的。
面部動作對應(yīng)著需要發(fā)出的控制指令，當(dāng)采集的面部圖像信息中面部轉(zhuǎn)角不在預(yù)設(shè)面部轉(zhuǎn)角范圍內(nèi)時，識別出的面部動作可能出現(xiàn)不準(zhǔn)確的情況。 因此可以通過設(shè)定預(yù)設(shè)面部轉(zhuǎn)角范圍，判斷面部圖像信息中的面部轉(zhuǎn)角是否 在預(yù)設(shè)面部轉(zhuǎn)角范圍內(nèi)。當(dāng)確認面部圖像信息中的面部轉(zhuǎn)角在預(yù)設(shè)面部轉(zhuǎn)角 范圍內(nèi)時，再進行下一步識別面部動作的操作。
圖10為本發(fā)明視線跟蹤人機交互方法的實施例六的流程圖，與本發(fā)明視 線跟蹤人機交互方法的實施例四區(qū)別在于，在確認視線跟蹤信息中的視線在
預(yù)設(shè)視線位置范圍內(nèi)之后，識別出面部動作之前，還包括
步驟30、檢測所述面部圖像信息中的面部轉(zhuǎn)角是否在預(yù)設(shè)面部轉(zhuǎn)角范圍 內(nèi)，若所述面部轉(zhuǎn)角在預(yù)設(shè)面部轉(zhuǎn)角范圍內(nèi)，執(zhí)行步驟4;否則，執(zhí)行步驟 10。
人臉相對于屏幕在水平方向的轉(zhuǎn)動角度為面部轉(zhuǎn)角，當(dāng)面部轉(zhuǎn)角在預(yù)設(shè) 面部轉(zhuǎn)角范圍外時，停止面部圖像信息的識別，轉(zhuǎn)到視線跟蹤操作，檢測所 述視線跟蹤信息中的視線是否在預(yù)設(shè)視線位置范圍內(nèi)。實施例六中還發(fā)出警 告信息以說明交互系統(tǒng)已停止工作，提示操作者調(diào)整視線。面部轉(zhuǎn)角的估計 方法是，利用公知的人眼定位技術(shù)在圖像上自動的測量雙眼中心的距離，并 計算與人臉正面時雙眼中心之間的距離的比值，該值可以衡量面部轉(zhuǎn)角的大小。
該實施例中，當(dāng)檢測到所述視線在預(yù)設(shè)視線位置范圍內(nèi)時，進一步檢測 面部圖像信息中的面部轉(zhuǎn)角是否在預(yù)設(shè)面部轉(zhuǎn)角范圍內(nèi)，當(dāng)面部轉(zhuǎn)角在預(yù)設(shè) 面部轉(zhuǎn)角范圍外時，停止面部圖像信息的識別，轉(zhuǎn)到視線跟蹤操作，不進 行面部圖像信息的識別搡作，從而保證了識別的準(zhǔn)確度。
特定的面部動作對應(yīng)著特定的控制指令， 一般預(yù)設(shè)一些操作者可以方便 做出，且便于識別的面部動作對應(yīng)特定的控制指令。預(yù)設(shè)面部動作包括預(yù)設(shè) 開關(guān)動作和預(yù)設(shè)控制動作。在識別出面部動作之后，根據(jù)所述視線焦點位置 輸出與所述面部動作對應(yīng)的控制指令之前還包括確認所述面部動作為預(yù)設(shè) 面部動作且非預(yù)設(shè)開關(guān)動作，即確認所述面部動作為預(yù)設(shè)控制動作。圖ll為本發(fā)明視線跟蹤人機交互方法的實施例七的流程圖。該實施例與上一實施例 的區(qū)別在于，在識別出面部動作之后，根據(jù)所述視線焦點位置輸出與所述面
部動作對應(yīng)的控制指令之前還包括
步驟40、檢測所述面部動作是否為預(yù)設(shè)面部動作，若所述面部動作為 預(yù)設(shè)面部動作A，則執(zhí)行步驟51;若所述面部動作為預(yù)設(shè)面部動作B，則執(zhí) 行步驟52;若所述面部動作為預(yù)設(shè)面部動作C,則執(zhí)行步驟53;若所述面部 動作為預(yù)設(shè)面部動作D,則執(zhí)行步驟5b;若所述面部動作非預(yù)設(shè)面部動作， 執(zhí)行步驟10'，發(fā)出警告音，提示用戶重新調(diào)整面部圖像，當(dāng)用戶調(diào)整面 部圖像時，相應(yīng)的視線跟蹤信息中視線也就會變化，因此需檢測所述視線 是否在預(yù)設(shè)視線位置范圍內(nèi)。
步驟51、根據(jù)所述視線焦點位置輸出與所述面部動作A對應(yīng)的左鍵單擊控 制指令。
步驟52、根據(jù)所述視線焦點位置輸出與所述面部動作B對應(yīng)的左鍵雙擊控 制指令。
步驟5 3、根據(jù)所述視線焦點位置輸出與所述面部動作C對應(yīng)的右鍵單擊控 制指令。
以上視線跟蹤人機交互方法的實施例中，面部動作對應(yīng)的控制指令可 以為系統(tǒng)的缺省設(shè)置，也可以靈活的調(diào)整。當(dāng)用戶對系統(tǒng)缺省設(shè)置的面部 動作與控制指令的對應(yīng)映射不習(xí)慣時，可以根據(jù)自己的個人偏好與習(xí)慣靈 活地選定面部動作及其對應(yīng)映射的控制指令，也即用戶可以更新面部動作 與控制指令的映射關(guān)系，具體為更新與所述面部動作對應(yīng)的控制指令或更 新與所述控制指令對應(yīng)的面部動作。該方法使得面部動作與控制指令實現(xiàn) 靈活配置，最大限度地按照用戶的個人情況配置，而不局限于缺省配置， 使得用戶使用起來更方便。
圖12為本發(fā)明視線跟蹤人機交互裝置的實施例一的結(jié)構(gòu)圖，包括視
線跟蹤處理單元IOO，用于進行視線跟蹤操作，所述視線跟蹤操作包括采集 視線跟蹤信息并根據(jù)所述視線跟蹤信息獲取視線焦點位置；面部動作識別單元200，用于釆集面部圖像信息并根據(jù)所述面部圖像信息識別出面部動 作；以及控制指令輸出單元300，與所述視線跟蹤處理單元100及所述面部 動作識別單元200分別連接，用于根據(jù)所述視線焦點位置輸出與所述面部動 作對應(yīng)的控制指令。
該實施例通過在原有視線跟蹤處理單元的基礎(chǔ)上增設(shè)面部動作識別 單元，由控制指令輸出單元根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng) 的控制指令，實現(xiàn)了非接觸的控制方式，提高了用戶使用的舒適度，避免 了公共設(shè)備使用過程中由于操作者的手接觸鍵盤或鼠標(biāo)或操作桿等外設(shè)而 造成的疾病的傳播。
圖13為本發(fā)明視線跟蹤人機交互裝置的實施例二的結(jié)構(gòu)圖。該實施例 與上一實施例的區(qū)別在于，通過面部動作識別單元來開啟和關(guān)閉視線跟蹤 處理單元，具體為，面部動作識別單元200與視線跟蹤處理單元100連接， 當(dāng)檢測到所述面部動作為預(yù)設(shè)開關(guān)動作時，用于通知視線跟蹤處理單元 100,相應(yīng)地啟動或停止視線跟蹤操作，所述視線跟蹤操作包括采集視線跟 蹤信息及根據(jù)所述視線跟蹤信息獲取視線焦點位置。當(dāng)計算機開機時，首 先啟動面部動作識別單元，當(dāng)首次;險測到面部動作為預(yù)設(shè)開關(guān)信息時，通 知視線跟蹤處理單元IOO啟動視線跟蹤操作，具體為檢測面部動作是否為 預(yù)設(shè)開關(guān)動作，若是，則開啟視線跟蹤處理單元，若否，則采集面部圖像 信息以及根據(jù)面部圖像信息識別面部動作，直至所述面部動作為預(yù)設(shè)開關(guān) 動作再開啟視線跟蹤處理單元。
該實施例中，當(dāng)計算機開機時，首先面部動作識別單元，當(dāng)首次4企測 到面部動作為預(yù)設(shè)開關(guān)動作時，啟動視線跟蹤操作，從而減少了誤操作出 現(xiàn)的可能性。
圖14為本發(fā)明視線跟蹤人機交互裝置的實施例三的結(jié)構(gòu)圖。該實施例 與本發(fā)明視線跟蹤人際交互裝置的實施一的區(qū)別在于還包括同步處理模塊 400，視線跟蹤處理單元100通過同步處理模塊400與面部動作識別單元200連接，當(dāng)檢測所述視線跟蹤信息中的視線在預(yù)設(shè)視線位置范圍內(nèi)時， 用于通過同步處理模塊400通知面部動作識別單元200,根據(jù)當(dāng)前的面部 圖像信息識別出面部動作。
圖15為本發(fā)明視線跟蹤人機交互裝置的實施例四的結(jié)構(gòu)圖。該實施例 與上一實施例的區(qū)別在于，面部動作識別單元200還通過同步處理才莫塊400 與視線跟蹤處理單元100，當(dāng)檢測所述面部圖像信息中的面部轉(zhuǎn)角在預(yù)設(shè)面部 轉(zhuǎn)角范圍外時，用于通過所述同步處理模塊400通知視線跟蹤處理單元100, 檢測所述視線跟蹤信息中的視線是否在預(yù)設(shè)視線位置范圍內(nèi)。
圖16為本發(fā)明視線跟蹤人機交互裝置的實施例五的結(jié)構(gòu)圖。面部動作 識別單元200與視線跟蹤處理單元100連接，當(dāng)檢測到所述面部動作為預(yù) 設(shè)開關(guān)動作時，相應(yīng)地啟動或停止視線跟蹤操作，所述視線跟蹤操作包括 采集視線跟蹤信息及根據(jù)所述視線跟蹤信息獲取視線焦點位置；同步處理 模塊400與面部動作識別單元200及視線跟蹤處理單元IOO分別連接，視 線跟蹤處理單元100通過同步處理模塊400與面部動作識別單元200連接， 當(dāng)檢測所述視線跟蹤信息中的視線在預(yù)設(shè)視線位置范圍內(nèi)時，用于通過同 步處理;漠塊400通知面部動作識別單元200,根據(jù)當(dāng)前的面部圖像信息識 別面部動作；面部動作識別單元200通過同步處理才莫塊400與^L線跟蹤處理 單元100，當(dāng)檢測所述面部圖像信息中的面部轉(zhuǎn)角在預(yù)設(shè)面部轉(zhuǎn)角范圍外時， 用于通過所述同步處理模塊400通知視線跟蹤處理單元100,檢測所述視線跟 蹤信息中的視線是否在預(yù)設(shè)視線位置范圍內(nèi)。
圖17為本發(fā)明視線跟蹤人機交互裝置的實施例六的結(jié)構(gòu)圖。該實施例 中，視線跟蹤處理單元IOO包括視線跟蹤采集模塊IOI，用于采集視線跟蹤 信息；以及視線跟蹤處理模塊102，與視線跟蹤采集模塊101連接，用于根據(jù) 視線跟蹤信息獲取視線焦點位置。面部動作識別單元200包括面部圖像采 集模塊201，用于采集面部圖像信息；以及面部動作識別模塊202,與面部圖 像采集模塊201連接，用于根據(jù)面部圖像信息識別面部動作。面部動作識別 模塊202與視線跟蹤采集模塊101及視線跟蹤處理模塊102連接，當(dāng)檢測到所述面部動作為預(yù)設(shè)開關(guān)動作時，相應(yīng)地啟動或停止視線跟蹤操作，所述 視線跟蹤操作包括采集視線跟蹤信息及根據(jù)所述視線跟蹤信息荻取視線焦
點位置，即相應(yīng)地啟動或關(guān)閉^L線跟蹤處理單元；同步處理才莫塊400與面 部圖像采集模塊201及視線跟蹤采集模塊101分別連接，視線跟蹤采集模 塊101通過同步處理模塊400與面部圖像模塊201連接，當(dāng)檢測所述視線 跟蹤信息中的視線在預(yù)設(shè)視線位置范圍內(nèi)時，用于通過同步處理模塊400 通知面部圖像采集模塊201,將當(dāng)前的面部圖像信息發(fā)送至面部動作識別 模塊202，面部動作識別模塊202根據(jù)當(dāng)前的面部圖像信息識別面部動作； 面部圖像采集模塊201通過同步處理模塊400與視線跟蹤采集模塊101，當(dāng)檢 測所述面部圖像信息中的面部轉(zhuǎn)角在預(yù)設(shè)面部轉(zhuǎn)角范圍外時，用于通過所述 同步處理模塊400通知視線跟蹤采集模塊101，檢測所述視線跟蹤信息中的視 線是否在預(yù)設(shè)視線位置范圍內(nèi)。
圖18為本發(fā)明視線跟蹤人機交互裝置的實施例七的結(jié)構(gòu)圖。控制指令 輸出單元中存儲的面部動作與控制指令的映射關(guān)系可以為系統(tǒng)的缺省設(shè)置， 也可以靈活的調(diào)整，因此視線跟蹤人機交互裝置還可以包括一更新模塊 500,與控制指令輸出單元300連接，用于更新所述控制指令輸出單元300 中的面部動作與控制指令的映射關(guān)系。
圖19為本發(fā)明視線跟蹤人機交互裝置的實施例八的結(jié)構(gòu)圖。該實施例 中，控制指令輸出單元300中的面部動作與控制指令的映射關(guān)系可以存儲在 一數(shù)據(jù)庫中，因此控制指令輸出單元300還可以包括一數(shù)據(jù)庫301，該數(shù)據(jù)庫 301用于存儲面部動作與控制指令的映射關(guān)系。該數(shù)據(jù)庫301中存儲的面部動 作與控制指令的映射關(guān)系可以為系統(tǒng)的缺省設(shè)置，也可以靈活的調(diào)整?？刂?指令輸出單元300還包括一更新模塊302，該更新模塊302與數(shù)據(jù)庫301連 接，用于更新數(shù)據(jù)庫301中的面部動作與控制指令的映射關(guān)系。
當(dāng)用戶對系統(tǒng)缺省設(shè)置的面部動作與控制指令的對應(yīng)映射不習(xí)慣時，
指令，也即用戶可以更新面部動作與控制指令的映射關(guān)系，具體為更新與 所述面部動作對應(yīng)的控制指令或更新與所述控制指令對應(yīng)的面部動作。該方法使得面部動作與控制指令實現(xiàn)靈活配置，最大限度地按照用戶的個人 情況配置，而不局限于缺省配置，使得用戶使用起來更方便。
上述視線跟蹤人機交互方法及裝置的實施例通過采集視線跟蹤信息獲得 視線焦點位置，以及采集面部圖像信息識別出面部動作，最后根據(jù)視線焦點 位置輸出與面部動作對應(yīng)的控制指令。在整個過程中，搡作者的手無需接觸 鍵盤或鼠標(biāo)或操作桿等外設(shè)，可以完全模擬鼠標(biāo)等外設(shè)輸入設(shè)備，避免了公
共設(shè)備使用過程中疾病的傳播；還可在航空駕駛等特殊場合無法利用手進行 操作的情況下，為操作人員的方便操作；另外還能夠方便一些手部無法動作 的殘疾人方便的操作計算機等。
最后所應(yīng)說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而非限制， 盡管參照較佳實施例對本發(fā)明進行了詳細說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng) 理解，可以對本發(fā)明的技術(shù)方案進行修改或者等同替換，而不脫離本發(fā)明技 術(shù)方案的精神和范圍。
權(quán)利要求
1、 一種視線跟蹤人機交互方法，其特征在于，包括 采集視線跟蹤信息，并根據(jù)所述視線跟蹤信息獲取視線焦點位置； 采集面部圖像信息，并根據(jù)所述面部圖像信息識別出面部動作； 根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的面部動作預(yù)設(shè)開關(guān)動作，所述方法具體包括采集面部圖像信息，根據(jù)所述面部圖像信息首次識別出所述預(yù)設(shè)開關(guān)動作或識別出所述預(yù)設(shè)開關(guān)動作的次數(shù)為奇數(shù)后，執(zhí)行以下步驟釆集視線跟蹤信息，并根據(jù)所述視線跟蹤信息獲取視線焦點位置； 采集面部圖像信息，并根據(jù)所述面部圖像信息識別出面部動作； 根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令。
3、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在識別出面部動作之 后，根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令之前還包括確認識別到面部動作非預(yù)設(shè)開關(guān)動作。
4、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在采集視線跟蹤信息 之后識別出面部動作之前還包括確認視線跟蹤信息中的視線在預(yù)設(shè)視線位置范圍內(nèi)。
5、 根據(jù)權(quán)利要求4所述的方法，其特征在于，在確認視線跟蹤信息中的 視線在預(yù)設(shè)視線位置范圍內(nèi)之后，識別出面部動作之前還包括確認面部圖像信息中的面部轉(zhuǎn)角在預(yù)設(shè)面部轉(zhuǎn)角范圍內(nèi)。
6、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在識別出面部動作之 后，根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令之前還包括確認所述面部動作為預(yù)設(shè)面部動作且非預(yù)設(shè)開關(guān)動作。
7、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，還包括更新面部動 作與控制指令的映射關(guān)系。
8、 一種視線跟蹤人機交互裝置，其特征在于，包括 視線跟蹤處理單元，用于進行視線跟蹤操作，所述視線跟蹤操作包括采集視線跟蹤信息并根據(jù)所述視線跟蹤信息獲取視線焦點位置；面部動作識別單元，用于釆集面部圖像信息并根據(jù)所述面部圖像信息識別出面部動作；以及控制指令輸出單元，與所述視線跟蹤處理單元及所述面部動作識別單元 分別連接，用于根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令。
9、根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述面部動作識別單元與 所述視線跟蹤處理單元連接，當(dāng)檢測到所述面部動作為預(yù)設(shè)開關(guān)動作時，用 于通知視線跟蹤處理單元，相應(yīng)地啟動或停止視線跟蹤搡作。
10、 根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括同步處理模塊， 所述視線跟蹤處理單元通過所述同步處理模塊與所述面部動作識別單元連 接，當(dāng)檢測所述視線跟蹤信息中的視線在預(yù)設(shè)視線位置范圍內(nèi)時，用于通過 所述同步處理模塊通知面部動作識別單元，根據(jù)當(dāng)前面部圖像信息識別出當(dāng) 前面部動作。
11、 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述面部動作識別單元 通過所述同步處理模塊與所述視線跟蹤處理單元連接，當(dāng)檢測所述面部圖像 信息中的面部轉(zhuǎn)角在預(yù)設(shè)面部轉(zhuǎn)角范圍外時，用于通過所述同步處理模塊通 知視線跟蹤處理單元，檢測所述視線跟蹤信息中的視線是否在預(yù)設(shè)視線位置 范圍內(nèi)。
12、 根據(jù)權(quán)利要求8-ll所述的任一裝置，其特征在于，還包括更新模塊，與所述控制指令輸出單元連接，用于更新所述控制指令輸出單元中的面 部動作與控制指令的映射關(guān)系。
13、 根據(jù)權(quán)利要求8-11所述的任一裝置，其特征在于，所述視線跟蹤處 理單元包括視線跟蹤采集模塊，用于采集視線跟蹤信息；以及 視線跟蹤處理模塊，與所述視線跟蹤采集模塊連接，用于根據(jù)視線跟蹤 信息獲取視線焦點位置。
14、 根據(jù)權(quán)利要求8-11所述的任一裝置，其特征在于，所述面部動作識 別單元包括面部圖像采集模塊，用于采集面部圖像信息；以及面部動作識別模塊，與所述面部圖像采集模塊連接，用于根據(jù)面部圖像 信息識別出面部動作。
15、 根據(jù)權(quán)利要求8-11所述的任一裝置，其特征在于，所述控制指令輸 出單元還包括數(shù)據(jù)庫，用于存儲面部動作與控制指令的映射關(guān)系。
16、 根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述控制指令輸出單元 還包括更新模塊，與所述數(shù)據(jù)庫連接，用于更新所述數(shù)據(jù)庫中的面部動作 與控制指令的映射關(guān)系。
全文摘要
本發(fā)明涉及一種視線跟蹤人機交互方法，其中包括采集視線跟蹤信息，并根據(jù)所述視線跟蹤信息獲取視線焦點位置；采集面部圖像信息，并根據(jù)所述面部圖像信息識別出面部動作；根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令。本發(fā)明還涉及一種視線跟蹤人機交互裝置，包括視線跟蹤處理單元，用于進行視線跟蹤操作；面部動作識別單元，用于采集面部圖像信息并根據(jù)所述面部圖像信息識別出面部動作；以及控制指令輸出單元，與視線跟蹤處理單元及面部動作識別單元分別連接，用于根據(jù)所述視線焦點位置輸出與所述面部動作對應(yīng)的控制指令。本發(fā)明的實施例提供了一種非接觸且交互協(xié)議簡單的視線跟蹤人機交互方法及裝置。
文檔編號G06F3/01GK101311882SQ20071009951
公開日2008年11月26日 申請日期2007年5月23日 優(yōu)先權(quán)日2007年5月23日
發(fā)明者左坤隆 申請人:華為技術(shù)有限公司