基于人眼圖像和視線追蹤的操作指針指示控制設備的制作方法
【專利摘要】本發(fā)明提供了一種基于人眼圖像和視線追蹤的操作指針指示控制設備，其能夠佩戴于人體頭部上且能夠通過眼部動作對操作指針加以操作控制而實現(xiàn)人機交互，其在交互控制過程中，能夠避免可見光環(huán)境陰暗等情況引起的干擾，緩解、甚至屏蔽掉因抖動產生的位移誤差，達到了操作指針的指示位置與人眼視線所觀察到的現(xiàn)實場景相疊加的人機交互效果，由此使得頭戴式計算機終端設備的人機交互能力得以增強，并且能夠具有豐富的可操作性和強大的可擴展性，從而有效地解決了現(xiàn)有技術中的頭戴式計算機終端設備因其人機交互能力受限而限制了其在工業(yè)、商業(yè)【技術領域】的推廣應用的問題，在可佩戴式計算機終端設備【技術領域】具有廣闊的應用前景。
【專利說明】基于人眼圖像和視線追蹤的操作指針指示控制設備

【技術領域】
[0001] 本發(fā)明涉及可穿戴式電子設備【技術領域】，具體涉及一種基于人眼圖像和視線追蹤 的操作指針指示控制設備。

【背景技術】
[0002] 隨著個人電腦、筆記本電腦、平板電腦、智能手機等計算機終端設備的應用越來越 廣泛，計算機終端設備已經逐漸成為人們日常生活、工作中不可或缺的功能電子產品。目 前的計算機終端設備都通過顯示屏進行圖像顯示，主要借助對顯示畫面中操作指針的操控 (例如，對于個人電腦、筆記本電腦等非觸控式計算機終端設備而言，鼠標指針即作為操作 指針；對于平板電腦、智能手機等具有觸控顯示屏的計算機終端設備而言，觸控點指針即作 為其操控指針)來實現(xiàn)人機交互。在不同的計算機終端設備中，其操作指針的表現(xiàn)形式也可 能是不同的，有些計算機終端設備的顯示畫面中操作指針被呈現(xiàn)為箭頭圖形形式，有些計 算機終端設備的顯示畫面中操作指針被呈現(xiàn)為十字架、手指圖形等形式，有些計算機終端 設備的顯示畫面中操作指針甚至不可見，例如觸控式設備中作為操控指針的觸控點指針往 往就是不可見的，但不妨礙其實現(xiàn)指示和功能控制。
[0003] 而計算機終端設備的發(fā)展進程日新月異，計算機終端設備產品的種類也迅速得以 更新?lián)Q代。智能腕帶、智能手表、智能眼鏡等新興的可佩戴計算機終端設備產品也逐漸在人 們的日常生活和一些技術應用中得以推廣使用。特別是智能眼鏡產品，其能夠具備將顯示 信息與現(xiàn)實場景相疊加呈現(xiàn)、甚至相互交互的獨特應用前景，在工業(yè)、商業(yè)【技術領域】中都有 非常廣闊的技術推廣應用價值，例如應用于交通駕駛者進行交通信息提示和分析、應用于 外科手術醫(yī)生進行手術醫(yī)療器械的手術信息顯示和控制、應用于生產線管理者進行生產機 床設備的工作狀態(tài)顯示和控制等。但是由于目前的可佩戴計算機終端設備產品，往往因為 其產品尺寸大小以及佩戴方式的限制，難以通過鼠標、觸控等手動方式對操作指針加以操 控的形式來實現(xiàn)人機交互，因此目前的可佩戴計算機終端設備通常僅具備一些數據信息顯 示功能，或者通過實體按鍵的操控實現(xiàn)一些較為簡單的切換功能，而其人機交互能力卻非 常有限，使得上述的應用前景依靠目前的可佩戴計算機終端設備還難以實現(xiàn)。因此，現(xiàn)有技 術的智能眼鏡等可佩戴計算機終端設備，因其人機交互能力受限而限制了其在工業(yè)、商業(yè)

【技術領域】的推廣應用前景。如何增強、以及通過怎樣的方式增強可佩戴計算機終端設備的 人機交互能力，成為了亟待解決的問題。


【發(fā)明內容】

[0004] 針對現(xiàn)有技術中存在的上述不足，本發(fā)明的目的在于提供一種能夠佩戴于人體頭 部上且能夠通過眼部動作對操作指針加以操作控制而實現(xiàn)人機交互的基于人眼圖像和視 線追蹤的操作指針指示控制設備，用以增強頭戴式計算機終端設備的人機交互能力，進而 解決現(xiàn)有技術中的頭戴式計算機終端設備因其人機交互能力受限而限制了其在工業(yè)、商業(yè)

【技術領域】的推廣應用的問題。
[0005] 為解決上述技術問題，本發(fā)明采用了如下的技術手段： 基于人眼圖像和視線追蹤的操作指針指示控制設備，包括用于通過佩戴而固定在人體 頭部上的佩戴支架，以及設置在所述佩戴支架上的紅外測距傳感器、微型紅外攝像頭、圖像 處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模塊、顯示模塊和電源模塊；所述 佩戴支架具有對應于人體眉毛位置處的眉部，所述微型紅外攝像頭以及紅外測距傳感器的 紅外發(fā)射器和紅外接收器均設置于佩戴支架的眉部并朝向人體眼睛所在方向；所述顯示模 塊輸出的顯示畫面所在位置位于佩戴支架的眉部的下方對應于人體眼睛位置處； 其中，微型紅外攝像頭的圖像數據輸出端與圖像處理模塊的圖像采集端電連接，圖像 處理模塊的處理數據輸出端與視線追蹤識別模塊的人眼數據采集端電連接，視線追蹤識別 模塊的識別信息輸出端與微控制處理模塊的眼動數據輸入端電連接，紅外測距傳感器的距 離信號輸出端與微控制處理模塊的距離數據輸入端電連接，微控制處理模塊的顯示信號輸 出端與顯示模塊的顯示信號輸入端電連接，微控制處理模塊的參數采集端與數據存儲模塊 進行數據連接，由電源模塊分別為紅外測距傳感器、微型紅外攝像頭、圖像處理模塊、視線 追蹤識別模塊、微控制處理模塊、數據存儲模塊和顯示模塊供電； 所述數據存儲模塊用于存儲設備參數數據和指令參數數據；所述設備參數數據記錄的 信息包括佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示畫面所在位置之間的三 維位置關系；所述指令參數數據記錄的信息包括操作指針功能指令所對應的眼睛睜閉動作 以及瞳孔移動動作； 所述紅外測距傳感器用于通過紅外發(fā)射器實時地向人體眼睛所在位置發(fā)射出紅外光， 通過紅外接收器接收由紅外光在人體眼睛所在位置漫反射后返回的紅外反射光，由紅外測 距傳感器的測距處理模塊根據紅外光發(fā)出時間與紅外反射光接收時間之間所存在的時差 進行換算而測得佩戴支架上紅外接收器所在位置與人體眼睛所在位置的距離數據，并將該 距離數據傳送至微控制處理模塊； 所述微型紅外攝像頭用于拍攝人體眼睛所在位置的原始紅外圖像，并通過圖像數據輸 出端實時地傳送至圖像處理模塊； 所述圖像處理模塊用于實時獲取微型紅外攝像頭拍攝的原始紅外圖像，通過圖像分割 處理從原始紅外圖像中分割得到人眼區(qū)域圖像，并將得到的人眼區(qū)域圖像進行濾波和邊緣 增強處理后，通過處理數據輸出端實時地傳送至視線追蹤識別模塊； 所述視線追蹤識別模塊用于實時獲取圖像處理模塊處理得到的人眼區(qū)域圖像，通過圖 像邊界識別處理而確定人眼區(qū)域圖像中的眼睛形狀、瞳孔位置和角膜反射光斑，進而確定 眼睛的睜閉狀態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并將眼睛的睜閉狀 態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置通過識別信息輸出端實時地傳送至 微控制處理模塊； 所述微控制處理模塊用于實時地根據眼動數據輸入端接收到的瞳孔中心所在位置與 角膜反射光斑中心所在位置所構成的位置向量而估算確定人眼的視線方向，并結合通過參 數采集端從數據存儲模塊提取的佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示 畫面所在位置之間的三維位置關系以及通過距離數據輸入端獲取到的佩戴支架上紅外接 收器所在位置與人體眼睛所在位置的距離數據構建空間三維坐標，通過該空間三維坐標計 算確定人體眼睛所在位置相對于顯示模塊輸出的顯示畫面上各個顯示位置點的距離，進而 計算確定人眼的視線方向在顯示畫面上的實時相交點，并生成操作指針位置指令通過顯示 信號輸出端實時地傳送至顯示模塊，控制其顯示畫面上的操作指針實時地指示于人眼的視 線方向在顯示畫面上的相交點位置；微控制處理模塊還用于實時地根據眼動數據輸入端接 收到的眼睛的睜閉狀態(tài)和瞳孔中心所在位置的變化情況確定眼睛的實際睜閉動作和瞳孔 的實際移動動作，且與通過參數采集端從數據存儲模塊提取的操作指針功能指令所對應的 眼睛睜閉動作以及瞳孔移動動作進行對比，判斷是否匹配，并在判定匹配時將相匹配的操 作指針功能指令通過顯示信號輸出端傳送至顯示模塊以控制其顯示畫面上的操作指針所 指示的位置執(zhí)行相應的功能操作。
[0006] 在上述基于人眼圖像和視線追蹤的操作指針指示控制設備基礎上，作為一種優(yōu)選 技術方案，所述顯示模塊包括顯示驅動電路和透明顯示屏；所述透明顯示屏堅向地固定安 裝在佩戴支架的眉部的下方，用于呈現(xiàn)顯示模塊輸出的顯示畫面；所述顯示驅動電路的顯 示數據輸入端作為顯示模塊的顯示信號輸入端，顯示驅動電路的顯示控制輸出端與透明顯 示屏進行數據連接，用于根據顯示數據輸入端接收到的信號相應地輸出和控制通過透明顯 示屏呈現(xiàn)出的顯示畫面；所述顯示模塊輸出的顯示畫面所在位置即為透明顯示屏所在位 置。
[0007] 在上述基于人眼圖像和視線追蹤的操作指針指示控制設備基礎上，作為另一種優(yōu) 選技術方案，所述顯示模塊包括微型投影儀和透明棱鏡；所述微型投影儀的投影數據輸入 端作為顯示模塊的顯示信號輸入端，微型投影儀的投影鏡頭朝向透明棱鏡，根據投影數據 輸入端接收到的信號向透明棱鏡投射出相應的顯示畫面影像；所述透明棱鏡固定安裝在佩 戴支架的眉部的下方，且透明棱鏡中具有可見光折射面，用于將微型投影儀的投影鏡頭投 射進入透明棱鏡的顯示畫面影像折射至人體眼睛所在方向，進而呈現(xiàn)出顯示畫面；所述顯 示模塊輸出的顯示畫面所在位置即為透明棱鏡中可見光折射面所在位置。
[0008] 在上述基于人眼圖像和視線追蹤的操作指針指示控制設備基礎上，作為進一步的 技術改進方案，還包括無線發(fā)射模塊；所述微控制處理模塊的數據通信發(fā)射端與無線發(fā)射 模塊進行數據連接，用于將操作指針位置指令通過數據通信發(fā)射端實時地傳送至無線發(fā)射 模塊，由無線發(fā)射模塊實時地對外發(fā)送該操作指針位置指令，且在判定眼睛的實際睜閉動 作和瞳孔的實際移動動作與操作指針功能指令所對應的眼睛睜閉動作以及瞳孔移動動作 匹配時，將相匹配的操作指針功能指令通過數據通信發(fā)射端傳送至無線發(fā)射模塊，由無線 發(fā)射模塊對外發(fā)送該操作指針功能指令。
[0009] 在上述基于人眼圖像和視線追蹤的操作指針指示控制設備基礎上，作為進一步的 技術改進方案，還包括無線接收模塊；所述微控制處理模塊的數據通信接收端與無線接收 模塊進行數據連接，用于通過無線接收模塊接收外來的信息數據，并將接收到的信息數據 通過顯示信號輸出端傳送至顯示模塊，通過顯示模塊的顯示畫面加以呈現(xiàn)。
[0010] 相比于現(xiàn)有技術，本發(fā)明具有以下有益效果： 1、本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備，能夠佩戴于人體頭部上 且能夠通過眼部動作對操作指針加以操作控制而實現(xiàn)人機交互，并達到了操作指針的指示 位置與人眼視線所觀察到的現(xiàn)實場景相疊加的人機交互效果，使得頭戴式計算機終端設備 的人機交互能力得以增強，有效地解決了現(xiàn)有技術中的頭戴式計算機終端設備因其人機交 互能力受限而限制了其在工業(yè)、商業(yè)【技術領域】的推廣應用的問題。
[0011] 2、本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備中，采用了紅外測距 傳感器對人眼所在位置進行測距，還通過其紅外發(fā)射器實時地向人體眼睛所在位置發(fā)射出 紅外光，以此作為輔助的紅外光源，并借助紅外光在人眼角膜上反射而形成角膜反射光斑， 相應地采用微型紅外攝像頭有效的拍攝人體眼睛所在位置的原始紅外圖像，用以進行人眼 識別和視線追蹤，避免了可見光環(huán)境陰暗等情況引起的干擾，并且角膜反射光斑可用于在 后續(xù)的視線追蹤識別過程中對角膜反射光斑中心所在位置加以定位，進而結合瞳孔中心所 在位置，輔助實現(xiàn)對人眼的視線方向加以捕捉。
[0012] 3、本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備中，通過分割人眼區(qū) 域圖像的方式，不管原始圖像中人眼位置是否因為頭動而發(fā)生位移變化，分割出的人眼區(qū) 域圖像的圖像區(qū)域范圍是相對固定的，因此后期依據人眼區(qū)域圖像進行人眼識別和視線追 蹤時，就不存在因抖動引起的位移，相當于緩解、屏蔽了因抖動產生的位移誤差。
[0013] 4、本發(fā)明操作指針指示控制設備的顯示畫面上，操作指針的指示位置始終與人眼 的視線方向在顯示畫面上的相交點位置相重合，達到可以通過人眼視線的移動動作控制改 變操作指針指示位置的人機交互功能，同時，由于顯示畫面上操作指針的指示位置會同步 跟蹤人眼視線，因此還達到了操作指針的指示位置與人眼視線所觀察到的現(xiàn)實場景相疊加 的人機交互效果。
[0014] 5、本發(fā)明操作指針指示控制設備的顯示畫面上的操作指針，還可以通過眨眼等眼 睛睜閉動作、有規(guī)律地晃動眼球等瞳孔移動動作，來控制操作指針執(zhí)行確定、取消、刪除等 功能指令，豐富通過人眼動作實現(xiàn)人機交互的功能組合方式，達到接近于鼠標等常用人機 交互輸入設備的人機交互能力，從而使得本發(fā)明操作指針指示控制設備的人機交互能力具 有豐富的可操作性和強大的可擴展性。

【專利附圖】

【附圖說明】
[0015] 圖1為本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備一種具體實施 方式的立體結構示意圖。
[0016] 圖2為本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備中電子構架結 構的示意圖。
[0017] 圖3為本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備另一種具體實 施方式的立體結構示意圖。

【具體實施方式】
[0018] 本發(fā)明提供了一種基于人眼圖像和視線追蹤的操作指針指示控制設備。圖1示 出了本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備的一種具體結構的立體示 意圖。如圖1所示，該操作指針指示控制設備包括一個用于通過佩戴而固定在人體頭部上 的佩戴支架10,以及設置在所述佩戴支架10上的紅外測距傳感器20、微型紅外攝像頭30、 圖像處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模塊、顯示模塊40和電源模 塊。該佩戴支架10的具體形狀，可以根據其佩戴功能和外形美觀的需要而設計為任意適合 佩戴于人體頭部的形狀樣式，例如較為復雜的可以設計為一個頭盔樣式，較為簡單的可以 設計為如圖1所示的一個眼鏡支架的樣式，等等；但最主要的是，該佩戴支架10需要具有對 應于人體眉毛位置處的眉部11。而微型紅外攝像頭30以及紅外測距傳感器20的紅外發(fā)射 器21和紅外接收器22則均設置于佩戴支架的眉部11并朝向人體眼睛所在方向，主要是便 于微型紅外攝像頭拍攝人體眼睛所在位置的圖像，以及便于紅外測距傳感器對人體眼睛所 在位置進行測距。而顯示模塊40輸出的顯示畫面所在位置位于佩戴支架的眉部11的下方 對應于人體眼睛位置處，便于人眼觀測顯示畫面。而操作指針指示控制設備中的其它構件， 例如圖像處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模塊和電源模塊等，則 可以根據集成需要設置在佩戴支架上的任意位置，例如數據存儲模塊和電源模塊安裝在佩 戴支架上的左側位置，圖像處理模塊、視線追蹤識別模塊和微控制處理模塊則安裝在佩戴 支架上的右側位置，或者圖像處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模 塊和電源模塊通過電路集成的方式都安裝在佩戴支架上專門設置的集成電路安裝腔室內， 等等；這些構件在佩戴支架上的具體安裝位置，影響其相互之間的電氣布線方式，但不影響 整體功能的實現(xiàn)。例如在圖1所示的【具體實施方式】中，佩戴支架10具有一個從對應于人體 右耳位置處一直延伸至對應于人體右側眉毛位置處的封裝體50,該封裝體50內具有一封 裝腔室，圖像處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模塊和電源模塊等 構件通過電路集成的方式都安裝在封裝體50的封裝腔室內，這樣更有利于電路整合和布 線方便，同時也使得本發(fā)明操作指針指示控制設備的外觀更加整潔、美觀。
[0019] 在電子構架方面，如圖2所示，微型紅外攝像頭的圖像數據輸出端與圖像處理模 塊的圖像采集端電連接，圖像處理模塊的處理數據輸出端與視線追蹤識別模塊的人眼數據 采集端電連接，視線追蹤識別模塊的識別信息輸出端與微控制處理模塊的眼動數據輸入端 電連接，紅外測距傳感器的距離信號輸出端與微控制處理模塊的距離數據輸入端電連接， 微控制處理模塊的顯示信號輸出端與顯示模塊的顯示信號輸入端電連接，微控制處理模塊 的參數采集端與數據存儲模塊進行數據連接，由電源模塊分別為紅外測距傳感器、微型紅 外攝像頭、圖像處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模塊和顯示模塊 供電。
[0020] 在電子構架中，數據存儲模塊用于存儲設備參數數據和指令參數數據，設備參數 數據記錄的信息包括佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示畫面所在位 置之間的三維位置關系，而指令參數數據記錄的信息則包括操作指針功能指令所對應的眼 睛睜閉動作以及瞳孔移動動作；當然，數據存儲模塊中存儲的設備參數數據和指令參數數 據所記錄的數據信息，還可以包括其實現(xiàn)其它智能化功能或交互功能所必須的參數數據。
[0021] 紅外測距傳感器用于通過紅外發(fā)射器實時地向人體眼睛所在位置發(fā)射出紅外光， 通過紅外接收器接收由紅外光在人體眼睛所在位置漫反射后返回的紅外反射光，由紅外測 距傳感器的測距處理模塊根據紅外光發(fā)出時間與紅外反射光接收時間之間所存在的時差 進行換算而測得佩戴支架上紅外接收器所在位置與人體眼睛所在位置的距離數據，并將該 距離數據傳送至中央控制處理模塊。紅外測距傳感器在本發(fā)明操作指針指示控制設備中的 作用還不僅在于對人體眼睛所在位置進行測距，其還通過與微型紅外攝像頭相結合，實現(xiàn) 更為重要的兩項輔助功能，其一是起到紅外輔助光源的作用，其二是起到對人眼角視線助 定位的作用。因為在具體的應用環(huán)境中，由于可能存在光線陰暗的環(huán)境，致使人體眼睛位置 可見度低、甚至不可見，若采用常規(guī)的可見光感光攝像機，在陰暗環(huán)境下則會影響和干擾基 于人眼圖像對人眼位置和視線追蹤識別，因此需要輔助光源。但若直接采用可見光光源作 為輔助光源照射人眼位置，會產生光線晃眼的不適感，反而影響操作指針指示控制設備的 佩戴舒適性及其操作指針的可視效果。針對于此，本發(fā)明的操作指針指示控制設備中采用 了紅外測距傳感器，通過其紅外發(fā)射器實時地向人體眼睛所在位置發(fā)射出紅外光，以此作 為輔助的紅外光源；相應地，人眼位置的圖像采集設備則采用了微型紅外攝像頭。另一方 面，紅外測距傳感器的紅外發(fā)射器向人體眼睛所在位置發(fā)射出的紅外光源光線，會因人眼 角膜的反射而形成角膜反射光斑，該角膜反射光斑可用于在后續(xù)的視線追蹤識別過程中對 角膜反射光斑中心所在位置加以定位，進而結合瞳孔中心所在位置，輔助實現(xiàn)對人眼的視 線方向加以捕捉。
[0022] 微型紅外攝像頭用于拍攝人體眼睛所在位置的原始紅外圖像，并通過圖像數據輸 出端實時地傳送至圖像處理模塊。由此，即便是在陰暗、不可見等任意的可見光條件下，由 于存在紅外測距傳感器的紅外發(fā)射器作為輔助光源的幫助，始終能夠通過微型紅外攝像頭 有效的拍攝到人體眼睛所在位置的原始紅外圖像，同時還能夠借助紅外發(fā)射器發(fā)射出的紅 外光源光線在人眼位置處形成角膜反射光斑，用以進行人眼識別和視線追蹤，避免了可見 光環(huán)境陰暗等情況引起的干擾。
[0023] 圖像處理模塊則用于實時獲取微型紅外攝像頭拍攝的原始紅外圖像，通過圖像分 割處理從原始紅外圖像中分割得到人眼區(qū)域圖像，并將得到的人眼區(qū)域圖像進行濾波和邊 緣增強處理后，通過處理數據輸出端實時地傳送至視線追蹤識別模塊。在現(xiàn)有的圖像處理

【技術領域】中，實現(xiàn)感興趣區(qū)域的定位識別、分割處理以及圖像濾波、邊緣增強處理的相關 技術方法很多，例如可以根據感興趣區(qū)域的圖像灰度信息和圖像紋理信息對其進行定位識 另IJ，再加以圖象分割處理，采用基于小波變換的圖像去噪和增強方法，利用其多尺度和多分 辨率的性質，檢測感興趣的圖像區(qū)域的圖像信號局部特征，有效濾除噪聲，保留其圖像紋理 信息，進行實現(xiàn)對圖像的邊緣增強效果。本發(fā)明操作指針指示控制設備中的圖像處理模塊， 就可以以人眼區(qū)域圖像作為感興趣區(qū)域，實現(xiàn)對原始紅外圖像中人眼區(qū)域圖像的定位識別 和分割處理。從原始紅外圖像中分割得到人眼區(qū)域圖像的處理，還達到了緩解因抖動導致 人眼圖像識別和視線追蹤產生誤差的問題。本發(fā)明的操作指針指示控制設備雖然能夠通過 佩戴而固定在人體頭部上，從而使得設備上的微型紅外攝像頭與人體眼部位置較好地保持 相對固定，以穩(wěn)定地進行人眼圖像識別和視線追蹤，但并不能完全排除因頭部晃動劇烈、受 到外來物體撞擊等不可控因素，致使微型紅外攝像頭與人體眼部位置之間發(fā)生位移，造成 原始紅外圖像中人體眼睛的位置產生位移偏差的問題。但本發(fā)明的操作指針指示控制設備 中，通過分割人眼區(qū)域圖像的方式，不管原始圖像中人眼位置是否因為頭動而發(fā)生位移變 化，分割出的人眼區(qū)域圖像的圖像區(qū)域范圍是相對固定的，因此后期依據人眼區(qū)域圖像進 行人眼識別和視線追蹤時，就不存在因抖動引起的位移，相當于緩解、屏蔽了因抖動產生的 位移誤差。
[0024] 視線追蹤識別模塊用于實時獲取圖像處理模塊處理得到的人眼區(qū)域圖像，通過圖 像邊界識別處理而確定人眼區(qū)域圖像中的眼睛形狀、瞳孔位置和角膜反射光斑，進而確定 眼睛的睜閉狀態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并將眼睛的睜閉狀 態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置通過識別信息輸出端實時地傳送至 中央控制處理模塊。圖像邊界識別技術也是圖像處理【技術領域】中非常成熟的應用技術，因 此在現(xiàn)有技術中能夠應用于確定人眼區(qū)域圖像中的眼睛形狀、瞳孔位置和角膜反射光斑的 圖像邊界識別處理方法有很多。作為較為優(yōu)選的方案，可以采用基于徑向對稱的眼睛狀態(tài) 檢測算法，來檢測眼睛的睜閉狀態(tài)，具體方式可參見現(xiàn)有文獻"基于徑向對稱變換的眼睛 睜閉狀態(tài)檢測，張文聰，鄧宏平，李斌，莊鎮(zhèn)泉；《中國科學技術大學學報》2010年第5期，第 46(Γ465頁"；同時，可以采用隨機化橢圓擬合方法對提取的邊緣點進行橢圓最小二乘法擬 合鏈接成邊界，對瞳孔位置和角膜反射光斑的位置加以識別和確定。
[0025] 微控制處理模塊通過其眼動數據輸入端接收到眼睛的睜閉狀態(tài)、瞳孔中心所在位 置以及角膜反射光斑中心所在位置后，要進行兩方面的處理。第一方面，微控制處理模塊用 于實時地根據眼動數據輸入端接收到的瞳孔中心所在位置與角膜反射光斑中心所在位置 所構成的位置向量而估算確定人眼的視線方向，并結合通過參數采集端從數據存儲模塊提 取的佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示畫面所在位置之間的三維位 置關系以及通過距離數據輸入端獲取到的佩戴支架上紅外接收器所在位置與人體眼睛所 在位置的距離數據構建空間三維坐標，通過該空間三維坐標計算確定人體眼睛所在位置相 對于顯示模塊輸出的顯示畫面上各個顯示位置點的距離，進而計算確定人眼的視線方向在 顯示畫面上的相交點，并生成操作指針位置指令通過顯示信號輸出端實時地傳送至顯示模 塊以控制其顯示畫面上的操作指針實時地指示于人眼的視線方向在顯示畫面上的相交點 位置。由此，使得本發(fā)明操作指針指示控制設備的顯示畫面上，操作指針的指示位置始終與 人眼的視線方向在顯示畫面上的相交點位置相重合，達到可以通過人眼視線的移動動作控 制改變操作指針指示位置的人機交互功能，同時，由于顯示畫面上操作指針的指示位置會 同步跟蹤人眼視線，因此還達到了操作指針的指示位置與人眼視線所觀察到的現(xiàn)實場景相 疊加的人機交互效果。另一方面，微控制處理模塊還用于實時地根據眼動數據輸入端接收 到的眼睛的睜閉狀態(tài)和瞳孔中心所在位置的變化情況確定眼睛的實際睜閉動作和瞳孔的 實際移動動作，且與通過參數采集端從數據存儲模塊提取的操作指針功能指令所對應的眼 睛睜閉動作以及瞳孔移動動作進行對比，判斷是否匹配，并在判定匹配時將相匹配的操作 指針功能指令通過顯示信號輸出端傳送至顯示模塊以控制其顯示畫面上的操作指針所指 示的位置執(zhí)行相應的功能操作。由此，使得本發(fā)明操作指針指示控制設備的顯示畫面上的 操作指針，還可以通過眨眼等眼睛睜閉動作、有規(guī)律地晃動眼球等瞳孔移動動作，來控制操 作指針執(zhí)行確定、取消、刪除、復制、粘貼等功能指令，豐富了通過人眼動作實現(xiàn)人機交互的 功能組合方式，達到接近于鼠標等常用人機交互輸入設備的人機交互能力，從而使得本發(fā) 明操作指針指示控制設備的人機交互能力具有豐富的可操作性和強大的可擴展性。
[0026] 在本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備中，顯示模塊是呈現(xiàn) 操作指針指示和功能操作的載體，因此其顯示畫面的呈現(xiàn)方式和效果直接決定了操作指針 指示控制設備的易用性，因此顯示模塊的實現(xiàn)方案在操作指針指示控制設備中顯得尤為重 要。作為具體技術實施而言，優(yōu)選采用如下的兩種顯示模塊的實現(xiàn)方案。
[0027] 優(yōu)選方案一，如圖1所示，顯示模塊40采用顯示驅動電路和透明顯示屏41的構架 實現(xiàn)方案。其中，透明顯示屏41堅向地固定安裝在佩戴支架10的眉部11的下方，用于呈 現(xiàn)顯示模塊輸出的顯示畫面。而顯示驅動電路則可以安裝在佩戴支架上的任意位置；顯示 驅動電路的具體安裝位置影響與透明顯示屏之間的電氣布線方式，而并不影響顯示模塊的 功能實現(xiàn)；但為了使得布線距離較短，顯示驅動電路最好安裝在佩戴支架的眉部上位于透 明顯示屏的正上方位置處。具體而言，在圖1所示的【具體實施方式】中，佩戴支架10具有一 個從對應于人體右耳位置處一直延伸至對應于人體右側眉毛位置處的封裝體50,該封裝體 50內具有一封裝腔室，圖像處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模塊 和電源模塊等構件通過電路集成的方式都安裝在封裝體50的封裝腔室內；微型紅外攝像 頭30以及紅外測距傳感器20的紅外發(fā)射器21和紅外接收器22則均設置于佩戴支架的封 裝體50上對應于人體右側眉毛位置處的眉部，并朝向人體眼睛所在方向；同時，顯示驅動 電路也安裝于佩戴支架的封裝體50上對應于人體右側眉毛位置處的眉部11，而透明顯示 屏41則堅向地固定安裝在佩戴支架的封裝體50上對應于人體右側眉毛位置處的眉部11 的下方，對應于人體右眼位置處。這樣的布置結構，更有利于電路整合和布線方便，同時也 使得本發(fā)明操作指針指示控制設備的外觀更加整潔、美觀。顯示驅動電路的顯示數據輸入 端作為顯示模塊的顯示信號輸入端，顯示驅動電路的顯示控制輸出端與透明顯示屏進行數 據連接，用于根據顯示數據輸入端接收到的信號相應地輸出和控制通過透明顯示屏呈現(xiàn)出 的顯示畫面。由此以來，顯示模塊輸出的顯示畫面所在位置即為透明顯示屏所在位置。采 用該優(yōu)選方案的顯示模塊構架，使用者佩戴本發(fā)明的操作指針指示控制設備后，透明顯示 屏的存在并不影響使用者的視線對現(xiàn)實場景的觀測，在使用者視覺觀感上能夠達到顯示畫 面與現(xiàn)實場景相疊加的效果；同時在透明顯示屏呈現(xiàn)的顯示畫面上，還能夠同步跟蹤使用 者的視線進行操作指針的指示，實現(xiàn)操作指針的指示位置與人眼視線所觀察到的現(xiàn)實場景 相疊加的交互性指示效果。
[0028] 優(yōu)選方案二，如圖3所示，顯示模塊40采用微型投影儀和透明棱鏡42的構架實現(xiàn) 方案。其中，微型投影儀的投影數據輸入端作為顯示模塊的顯示信號輸入端，微型投影儀的 投影鏡頭朝向透明棱鏡42,根據投影數據輸入端接收到的信號向透明棱鏡42投射出相應 的顯示畫面影像。而透明棱鏡42固定安裝在佩戴支架10的眉部11的下方，且透明棱鏡42 中具有一可見光折射面，用于將微型投影儀的投影鏡頭投射進入透明棱鏡的顯示畫面影像 折射至人體眼睛所在方向，進而呈現(xiàn)出顯示畫面。該顯示模塊構架中，微型投影儀的具體安 裝位置也是較為任意的。例如，微型投影儀可以安裝在佩戴支架的眉部上位于透明棱鏡的 正上方位置處，由上至下向透明棱鏡投射出顯示畫面影像；微型投影儀也可以安裝在佩戴 支架的眉部的下方位于透明棱鏡旁側的位置處，從旁側向透明棱鏡投射出顯示畫面影像。 當然，微型投影儀的安裝位置只要不阻擋人眼視線即可。具體而言，在圖3所示的具體實 施方式中，佩戴支架10具有一個從對應于人體右耳位置處一直延伸至對應于人體右側眉 毛位置處的封裝體50,該封裝體50內具有一封裝腔室，圖像處理模塊、視線追蹤識別模塊、 微控制處理模塊、數據存儲模塊和電源模塊等構件通過電路集成的方式都安裝在封裝體50 的封裝腔室內；微型紅外攝像頭30以及紅外測距傳感器20的紅外發(fā)射器21和紅外接收器 22則均設置于佩戴支架的封裝體50上對應于人體右側眉毛位置處的眉部，并朝向人體眼 睛所在方向；同時，透明棱鏡42固定安裝在佩戴支架10上的封裝體50對應于人體右側眉 毛位置處的眉部11的下方，對應于人體右眼位置處；而微型投影儀則安裝在佩戴支架10上 的封裝體50內部位于透明棱鏡42右側的位置處，微型投影儀的投影鏡頭則朝向透明棱鏡 42,用于從旁側向透明棱鏡42投射出顯示畫面影像。這樣的布置結構，更有利于電路整合 和布線方便，同時也使得本發(fā)明操作指針指示控制設備的外觀更加整潔、美觀。由此以來， 顯示模塊輸出的顯示畫面所在位置即為透明棱鏡中可見光折射面所在位置。采用該優(yōu)選方 案的顯示模塊構架，使用者佩戴本發(fā)明的操作指針指示控制設備后，透明棱鏡的存在同樣 不影響使用者的視線對現(xiàn)實場景的觀測，同時透明棱鏡中的可見光折射面將微型投影儀的 投影鏡頭投射的顯示畫面影像折射至使用者的眼睛所在方向，顯示畫面影像光線通過使用 者眼睛的瞳孔進入眼球并成像在視網膜上，使得使用者能夠觀看到顯示畫面影像，并且對 于使用者而言，顯示畫面似乎就位于透明棱鏡中的可見光折射面所在位置一樣，從而在使 用者視覺觀感上達到顯示畫面與現(xiàn)實場景相疊加的效果；同時，在透明棱鏡呈現(xiàn)的顯示畫 面上，同樣能夠同步跟蹤使用者的視線進行操作指針的指示，實現(xiàn)操作指針的指示位置與 人眼視線所觀察到的現(xiàn)實場景相疊加的交互性指示效果。
[0029] 當然，無論采用上述何種顯示模塊實現(xiàn)構架方案，在顯示模塊輸出的顯示畫面上， 都還可以用于顯示其它的信息，例如消息、提示、操作狀態(tài)等字符信息，波形、數據等數字信 息，圖形、視頻等圖像信息，等等，并且可以通過操作指針對這些信息加以功能性操作，只要 操作指針指示控制設備中的微控制處理模塊具備對這些信息的處理能力，并通過顯示信號 輸出端向顯示模塊輸出相應的顯示控制信號即可。由此可使得本發(fā)明的操作指針指示控制 設備具備更加強大的信息交互操作功能。
[0030] 此外，作為一種功能增強的技術改進方案，在本發(fā)明基于人眼圖像和視線追蹤的 操作指針指示控制設備的上述實施方案的基礎上，還可以在設備中增設無線發(fā)射模塊，由 微控制處理模塊的數據通信發(fā)射端與無線發(fā)射模塊進行數據連接。相應地，微控制處理模 塊則還可以用于將操作指針位置指令通過數據通信發(fā)射端實時地傳送至無線發(fā)射模塊，由 無線發(fā)射模塊實時地對外發(fā)送該操作指針位置指令，且在判定眼睛的實際睜閉動作和瞳孔 的實際移動動作與操作指針功能指令所對應的眼睛睜閉動作以及瞳孔移動動作匹配時，將 相匹配的操作指針功能指令通過數據通信發(fā)射端傳送至無線發(fā)射模塊，由無線發(fā)射模塊對 外發(fā)送該操作指針功能指令。由此以來，操作指針指示控制設備則可以通過無線發(fā)射模塊 與其它具備無線通信接收能力的計算機終端設備建立無線通信連接，向該計算機終端設備 發(fā)送操作指針位置指令以及操作指針功能指令，進而，使用者便可以利用該改進方案的操 作指針指示控制設備，通過眼部動作對其它計算機終端設備的操作指針位加以操作控制， 例如對個人計算機設備、移動終端設備的操作指針位加以操控等。該改進方案的操作指針 指示控制設備實現(xiàn)方案，有助于進一步擴展本發(fā)明基于人眼圖像和視線追蹤的操作指針指 示控制設備的技術應用領域，例如可以使得上肢有殘疾人士和雙手因操作任務被占用人員 方便地通過眼部動作操作控制計算機終端設備等。
[0031] 作為另一種功能增強的技術改進方案，在本發(fā)明基于人眼圖像和視線追蹤的操作 指針指示控制設備的上述實施方案的基礎上，還可以在設備中增設無線接收模塊，由微控 制處理模塊的數據通信接收端與無線接收模塊進行數據連接。相應地，中央控制處理模塊 則還可以用于通過無線接收模塊接收外來的信息數據，并將接收到的信息數據通過顯示信 號輸出端傳送至顯示模塊，通過顯示模塊的顯示畫面加以呈現(xiàn)。由此以來，操作指針指示控 制設備則可以通過無線接收模塊與其它具備無線通信發(fā)射能力的計算機終端設備建立無 線通信連接，接收該外部計算機終端設備發(fā)出的字符、圖片、視頻等信息數據，并通過顯示 模塊呈現(xiàn)在顯示畫面上。該改進方案的操作指針指示控制設備實現(xiàn)方案，有助于進一步增 強本發(fā)明基于人眼圖像和視線追蹤的操作指針指示控制設備的顯示功能，使得本發(fā)明的操 作指針指示控制設備能夠與其它計算機終端設備配合使用，以解決更多的技術應用問題。
[0032] 綜上所述，本發(fā)明提供了一種基于人眼圖像和視線追蹤的操作指針指示控制設 備，其能夠佩戴于人體頭部上且能夠通過眼部動作對操作指針加以操作控制而實現(xiàn)人機交 互，其在交互控制過程中，能夠避免可見光環(huán)境陰暗等情況引起的干擾，緩解、甚至屏蔽掉 因抖動產生的位移誤差，達到了操作指針的指示位置與人眼視線所觀察到的現(xiàn)實場景相疊 加的人機交互效果，由此使得頭戴式計算機終端設備的人機交互能力得以增強，并且能夠 具有豐富的可操作性和強大的可擴展性，從而有效地解決了現(xiàn)有技術中的頭戴式計算機終 端設備因其人機交互能力受限而限制了其在工業(yè)、商業(yè)【技術領域】的推廣應用的問題，在可 佩戴式計算機終端設備【技術領域】具有廣闊的應用前景。
[0033] 最后說明的是，以上實施例僅用以說明本發(fā)明的技術方案而非限制，盡管參照實 施例對本發(fā)明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發(fā)明的技術方 案進行修改或者等同替換，而不脫離本發(fā)明技術方案的宗旨和范圍，其均應涵蓋在本發(fā)明 的權利要求范圍當中。
【權利要求】
1.基于人眼圖像和視線追蹤的操作指針指示控制設備，其特征在于，包括用于通過佩 戴而固定在人體頭部上的佩戴支架，以及設置在所述佩戴支架上的紅外測距傳感器、微型 紅外攝像頭、圖像處理模塊、視線追蹤識別模塊、微控制處理模塊、數據存儲模塊、顯示模塊 和電源模塊；所述佩戴支架具有對應于人體眉毛位置處的眉部，所述微型紅外攝像頭以及 紅外測距傳感器的紅外發(fā)射器和紅外接收器均設置于佩戴支架的眉部并朝向人體眼睛所 在方向；所述顯示模塊輸出的顯示畫面所在位置位于佩戴支架的眉部的下方對應于人體眼 睛位置處； 其中，微型紅外攝像頭的圖像數據輸出端與圖像處理模塊的圖像采集端電連接，圖像 處理模塊的處理數據輸出端與視線追蹤識別模塊的人眼數據采集端電連接，視線追蹤識別 模塊的識別信息輸出端與微控制處理模塊的眼動數據輸入端電連接，紅外測距傳感器的距 離信號輸出端與微控制處理模塊的距離數據輸入端電連接，微控制處理模塊的顯示信號輸 出端與顯示模塊的顯示信號輸入端電連接，微控制處理模塊的參數采集端與數據存儲模塊 進行數據連接，由電源模塊分別為紅外測距傳感器、微型紅外攝像頭、圖像處理模塊、視線 追蹤識別模塊、微控制處理模塊、數據存儲模塊和顯示模塊供電； 所述數據存儲模塊用于存儲設備參數數據和指令參數數據；所述設備參數數據記錄的 信息包括佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示畫面所在位置之間的三 維位置關系；所述指令參數數據記錄的信息包括操作指針功能指令所對應的眼睛睜閉動作 以及瞳孔移動動作； 所述紅外測距傳感器用于通過紅外發(fā)射器實時地向人體眼睛所在位置發(fā)射出紅外光， 通過紅外接收器接收由紅外光在人體眼睛所在位置漫反射后返回的紅外反射光，由紅外測 距傳感器的測距處理模塊根據紅外光發(fā)出時間與紅外反射光接收時間之間所存在的時差 進行換算而測得佩戴支架上紅外接收器所在位置與人體眼睛所在位置的距離數據，并將該 距離數據傳送至微控制處理模塊； 所述微型紅外攝像頭用于拍攝人體眼睛所在位置的原始紅外圖像，并通過圖像數據輸 出端實時地傳送至圖像處理模塊； 所述圖像處理模塊用于實時獲取微型紅外攝像頭拍攝的原始紅外圖像，通過圖像分割 處理從原始紅外圖像中分割得到人眼區(qū)域圖像，并將得到的人眼區(qū)域圖像進行濾波和邊緣 增強處理后，通過處理數據輸出端實時地傳送至視線追蹤識別模塊； 所述視線追蹤識別模塊用于實時獲取圖像處理模塊處理得到的人眼區(qū)域圖像，通過圖 像邊界識別處理而確定人眼區(qū)域圖像中的眼睛形狀、瞳孔位置和角膜反射光斑，進而確定 眼睛的睜閉狀態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并將眼睛的睜閉狀 態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置通過識別信息輸出端實時地傳送至 微控制處理模塊； 所述微控制處理模塊用于實時地根據眼動數據輸入端接收到的瞳孔中心所在位置與 角膜反射光斑中心所在位置所構成的位置向量而估算確定人眼的視線方向，并結合通過參 數采集端從數據存儲模塊提取的佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示 畫面所在位置之間的三維位置關系以及通過距離數據輸入端獲取到的佩戴支架上紅外接 收器所在位置與人體眼睛所在位置的距離數據構建空間三維坐標，通過該空間三維坐標計 算確定人體眼睛所在位置相對于顯示模塊輸出的顯示畫面上各個顯示位置點的距離，進而 計算確定人眼的視線方向在顯示畫面上的實時相交點，并生成操作指針位置指令通過顯示 信號輸出端實時地傳送至顯示模塊，控制其顯示畫面上的操作指針實時地指示于人眼的視 線方向在顯示畫面上的相交點位置；微控制處理模塊還用于實時地根據眼動數據輸入端接 收到的眼睛的睜閉狀態(tài)和瞳孔中心所在位置的變化情況確定眼睛的實際睜閉動作和瞳孔 的實際移動動作，且與通過參數采集端從數據存儲模塊提取的操作指針功能指令所對應的 眼睛睜閉動作以及瞳孔移動動作進行對比，判斷是否匹配，并在判定匹配時將相匹配的操 作指針功能指令通過顯示信號輸出端傳送至顯示模塊以控制其顯示畫面上的操作指針所 指示的位置執(zhí)行相應的功能操作。
2. 根據權利要求1所述基于人眼圖像和視線追蹤的操作指針指示控制設備，其特征在 于，所述顯示模塊包括顯示驅動電路和透明顯示屏；所述透明顯示屏堅向地固定安裝在佩 戴支架的眉部的下方，用于呈現(xiàn)顯示模塊輸出的顯示畫面；所述顯示驅動電路的顯示數據 輸入端作為顯示模塊的顯示信號輸入端，顯示驅動電路的顯示控制輸出端與透明顯示屏進 行數據連接，用于根據顯示數據輸入端接收到的信號相應地輸出和控制通過透明顯示屏呈 現(xiàn)出的顯示畫面； 所述顯示模塊輸出的顯示畫面所在位置即為透明顯示屏所在位置。
3. 根據權利要求1所述基于人眼圖像和視線追蹤的操作指針指示控制設備，其特征在 于，所述顯示模塊包括微型投影儀和透明棱鏡；所述微型投影儀的投影數據輸入端作為顯 示模塊的顯示信號輸入端，微型投影儀的投影鏡頭朝向透明棱鏡，根據投影數據輸入端接 收到的信號向透明棱鏡投射出相應的顯示畫面影像；所述透明棱鏡固定安裝在佩戴支架的 眉部的下方，且透明棱鏡中具有可見光折射面，用于將微型投影儀的投影鏡頭投射進入透 明棱鏡的顯示畫面影像折射至人體眼睛所在方向，進而呈現(xiàn)出顯示畫面； 所述顯示模塊輸出的顯示畫面所在位置即為透明棱鏡中可見光折射面所在位置。
4. 根據權利要求1所述基于人眼圖像和視線追蹤的操作指針指示控制設備，其特征在 于，還包括無線發(fā)射模塊； 所述微控制處理模塊的數據通信發(fā)射端與無線發(fā)射模塊進行數據連接，用于將操作指 針位置指令通過數據通信發(fā)射端實時地傳送至無線發(fā)射模塊，由無線發(fā)射模塊實時地對外 發(fā)送該操作指針位置指令，且在判定眼睛的實際睜閉動作和瞳孔的實際移動動作與操作指 針功能指令所對應的眼睛睜閉動作以及瞳孔移動動作匹配時，將相匹配的操作指針功能指 令通過數據通信發(fā)射端傳送至無線發(fā)射模塊，由無線發(fā)射模塊對外發(fā)送該操作指針功能指 令。
5. 根據權利要求1所述基于人眼圖像和視線追蹤的操作指針指示控制設備，其特征在 于，還包括無線接收模塊； 所述微控制處理模塊的數據通信接收端與無線接收模塊進行數據連接，用于通過無線 接收模塊接收外來的信息數據，并將接收到的信息數據通過顯示信號輸出端傳送至顯示模 塊，通過顯示模塊的顯示畫面加以呈現(xiàn)。
【文檔編號】G06F3/0487GK104090659SQ201410322162
【公開日】2014年10月8日 申請日期:2014年7月8日 優(yōu)先權日:2014年7月8日
【發(fā)明者】金純 , 李婭萍, 汪源 申請人:金純