本發(fā)明涉及智能眼鏡的控制方法,特別是具體涉及一種基于眼球追蹤技術(shù)的智能眼鏡控制方法。
背景技術(shù):
目前,以谷歌公司為代表的智能眼鏡生產(chǎn)商所生產(chǎn)的智能眼鏡,都具有了智能手機(jī)一樣的功能,用戶可以通過眨眼睛和聲音來控制拍照上傳、收發(fā)短信、視頻通話、辨明方向和查詢天氣路況等操作,而智能眼鏡的菜單選擇方式則是通過用戶手指觸摸智能眼鏡側(cè)面的觸摸墊來實(shí)現(xiàn),這就使得用戶在實(shí)施雙手協(xié)作度較高的工作時(shí),對(duì)智能眼鏡的操作使用會(huì)嚴(yán)重影響到用戶的工作安全性。如何能夠使用戶在操作智能眼鏡時(shí)脫離手的參與,以更為簡單的方式進(jìn)行控制,是有待解決的問題。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明所要解決的技術(shù)問題是:提供一種基于眼球追蹤技術(shù)的智能眼鏡控制方法,即通過對(duì)智能眼鏡用戶的眼球運(yùn)動(dòng)進(jìn)行追蹤及智能分析以實(shí)現(xiàn)對(duì)智能眼鏡菜單的控制。
為解決上述技術(shù)難題,本發(fā)明采用的技術(shù)方案是:一種基于眼球追蹤技術(shù)的智能眼鏡控制方法,該方法需要在智能眼鏡上布置眼球運(yùn)動(dòng)狀態(tài)采集裝置和眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)。所述眼球運(yùn)動(dòng)狀態(tài)采集裝置采用微型高清攝像頭,位于智能眼鏡的支撐梁上,朝向用戶眼部方向設(shè)置,如圖1所示。用于采集眼球運(yùn)動(dòng)的實(shí)時(shí)圖像。所述眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)用于對(duì)眼球圖像采集裝置采集到的眼球運(yùn)動(dòng)圖像進(jìn)行方向和功能分析,通過對(duì)眼球瞳孔追蹤定位實(shí)現(xiàn)方向位置的確定,并據(jù)此控制智能眼鏡的菜單滾動(dòng)或選擇。
所述方法步驟如圖2所示。
步驟1:采集眼部圖像;即采集智能眼鏡用戶的眼部圖像,包括眼球和眼球周邊的區(qū)域。
步驟2:圖像預(yù)處理;對(duì)步驟1采集到的眼部圖像進(jìn)行去噪、凈化、切割處理,獲得滿足步驟3眼球的圖像文件。
步驟3:瞳孔檢測;對(duì)步驟2預(yù)處理后的圖像文件進(jìn)行眼球運(yùn)動(dòng)狀態(tài)智能分析,檢測瞳孔位置及狀態(tài)。分3種情況:方法1,瞳孔基準(zhǔn)點(diǎn)定位;方法2,瞳孔實(shí)時(shí)定位;方法3,眨眼檢測。
方法1:瞳孔基準(zhǔn)點(diǎn)定位;根據(jù)對(duì)智能眼鏡用戶目光平視時(shí),眼球運(yùn)動(dòng)狀態(tài)采集裝置采集到的眼部圖像進(jìn)行智能分析,找出瞳孔位置的中心點(diǎn),并以此中心點(diǎn)為瞳孔基準(zhǔn)點(diǎn)。
方法2:瞳孔實(shí)時(shí)定位;根據(jù)對(duì)智能眼鏡用戶在注視智能眼鏡屏幕時(shí),眼球運(yùn)動(dòng)狀態(tài)采集裝置采集到的眼部圖像進(jìn)行智能分析,追蹤眼球、定位瞳孔的當(dāng)前實(shí)時(shí)位置。
方法3:眨眼檢測;根據(jù)對(duì)智能眼鏡用戶在注視智能眼鏡屏幕時(shí),眼球運(yùn)動(dòng)狀態(tài)采集裝置采集到的眼部眨眼動(dòng)作進(jìn)行智能分析,檢測眨眼次數(shù)及頻率。
步驟4:視線矢量計(jì)算;根據(jù)步驟3,方法2所檢測到的瞳孔實(shí)時(shí)位移變化,計(jì)算視線的矢量值,判斷出視線的移動(dòng)方向。
步驟5:輸出控制指令;根據(jù)步驟3方法3的眨眼檢測,以及步驟4的視線矢量計(jì)算,輸出控制指令。位移矢量區(qū)間劃分如圖3所示。
判斷當(dāng)瞳孔的位移矢量在區(qū)間1大于一閾值時(shí),輸出為向上指令。
判斷當(dāng)瞳孔的位移矢量在區(qū)間2大于一閾值時(shí),輸出為向下指令。
判斷當(dāng)瞳孔的位移矢量在區(qū)間3大于一閾值時(shí),輸出為向左指令。
判斷當(dāng)瞳孔的位移矢量在區(qū)間4大于一閾值時(shí),輸出為向右指令。
判斷當(dāng)眨眼次數(shù)為1時(shí),輸出為“確定” 指令。
判斷當(dāng)眨眼次數(shù)為2,且眨眼頻率小于一閾值時(shí),輸出為“退出”指令。
步驟6:控制智能眼鏡菜單;根據(jù)步驟5的控制指令,控制智能眼鏡的菜單顯示。
綜上所述,一種基于眼球追蹤技術(shù)的智能眼鏡控制方法,能夠使得智能眼鏡的菜單控制脫離手的參與,解放出手參與協(xié)作度更高的工作。
附圖說明
圖1為本發(fā)明所涉及到的智能眼鏡的局部示意圖。
圖2為本發(fā)明所涉及方法的實(shí)施步驟流程圖。
圖3為本發(fā)明的瞳孔位移矢量區(qū)間劃分圖。
圖4為本發(fā)明的瞳孔基準(zhǔn)點(diǎn)定位流程圖。
圖5為本發(fā)明的瞳孔實(shí)時(shí)定位流程圖。
具體實(shí)施方式
下面參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行詳細(xì)說明。
本發(fā)明方法所使用到的智能眼鏡,包括眼球運(yùn)動(dòng)狀態(tài)采集裝置和眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)。
所述眼球運(yùn)動(dòng)狀態(tài)采集裝置采用微型高清攝像頭,位于智能眼鏡的支撐梁上,朝向用戶眼部方向設(shè)置,如圖1所示。
所述眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)用于對(duì)眼球圖像采集裝置采集到的眼球運(yùn)動(dòng)圖像進(jìn)行方向和功能分析,通過對(duì)眼球瞳孔追蹤定位實(shí)現(xiàn)方向位置的確定,并據(jù)此控制智能眼鏡的菜單滾動(dòng)或選擇。
本發(fā)明所述的一種基于眼球追蹤技術(shù)的智能眼鏡控制方法的操作步驟流程如下。
實(shí)施例1:瞳孔基準(zhǔn)點(diǎn)定位流程,如圖4所示。
401智能眼鏡開機(jī),等待執(zhí)行步驟402。
402智能眼鏡運(yùn)行眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng),等待執(zhí)行步驟403。
403眼球運(yùn)動(dòng)狀態(tài)采集裝置運(yùn)行,采集用戶眼部圖像,等待執(zhí)行404。
404眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)對(duì)步驟403采集到的眼部圖像進(jìn)行圖像預(yù)處理,等待執(zhí)行步驟405。
405眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)進(jìn)行瞳孔基準(zhǔn)點(diǎn)定位。
實(shí)施例2:瞳孔實(shí)時(shí)定位流程,如圖5所示。
501眼球運(yùn)動(dòng)狀態(tài)采集裝置采集用戶眼部圖像,等待執(zhí)行步驟502。
502眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)對(duì)步驟501采集到的眼部圖像進(jìn)行圖像預(yù)處理,等待執(zhí)行步驟503。
503眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)進(jìn)行瞳孔檢測,同時(shí)執(zhí)行步驟504和步驟505,若檢測到的是瞳孔移動(dòng),則執(zhí)行步驟504;若檢測到的是眨眼動(dòng)作,則執(zhí)行步驟505.
504瞳孔實(shí)時(shí)定位,眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)根據(jù)步驟502提供的圖像進(jìn)行智能分析,定位瞳孔的當(dāng)前位置,等待執(zhí)行步驟506。
505眨眼檢測,眼球運(yùn)動(dòng)狀態(tài)智能分析系統(tǒng)根據(jù)步驟502提供的圖像進(jìn)行智能分析,檢測眨眼的次數(shù)及眨眼及頻率,等待執(zhí)行步驟507。
506視線矢量計(jì)算,根據(jù)步驟504提供的瞳孔實(shí)時(shí)位置與基準(zhǔn)點(diǎn)位置比較,計(jì)算出視線的位移矢量植,等待執(zhí)行步驟507。
507輸出控制指令,根據(jù)步驟505的眨眼檢測,或步驟506的位移矢量值,判斷并輸出需要輸出的控制指令,等待執(zhí)行步驟508。
508根據(jù)步驟507輸出的控制指令控制智能眼鏡菜單的選擇。