基于移動終端的鎖定眼球的注視區(qū)域的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及的是一種視頻處理領(lǐng)域的技術(shù)，具體是一種基于移動終端的鎖定眼球的注視區(qū)域的方法。
【背景技術(shù)】
[0002]隨著信息技術(shù)的飛速發(fā)展以及用戶對移動端設(shè)備性能需求的日益膨脹，主流手機的屏幕尺寸呈現(xiàn)出不斷增大的趨勢。遙想五年前，首款A(yù)ndroid智能手機Google Gl以3.2英寸屏幕現(xiàn)身時，誰也想象不到，智能手機的發(fā)展方向及軌跡。隨著移動互聯(lián)應(yīng)用及社交媒體的迅速發(fā)展，智能手機屏幕尺寸的增大得到了應(yīng)用層面的響應(yīng)，消費者也在不知不覺中漸漸接受了尺寸不斷增大的“大手機”。
[0003]大屏手機給用戶帶來了小屏手機無法比擬的優(yōu)勢，讓用戶可以隨時隨地享受大屏帶來的體驗。比如用大屏在地圖上進行導(dǎo)航，可以在一屏中看到更多的內(nèi)容，并且可看到地圖上更多的地點，省去了不少縮放移動的操作，這是一種方便；或者在觀看電影、閱讀書籍、與朋友分享照片時，大屏擁有得天獨厚的優(yōu)勢，甚至有不少用戶表示，習(xí)慣了大屏以后，很難再適應(yīng)小屏的使用。
[0004]在大屏手機增加用戶體驗的同時，也給用戶的正常操作帶來了困難。一般的用戶習(xí)慣并滿意于手機的單手操作，而大屏手機則會帶來單手手指無法覆蓋大部分操作區(qū)域的問題。對于這一問題，已經(jīng)有很多的解決方案，比如三星在S4這個產(chǎn)品中就增加了 SmartScroll功能來實現(xiàn)眼球控制。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于移動終端的鎖定眼球的注視區(qū)域的方法，首先識別出相機視頻流中用戶的瞳孔位置，通過分析眼球位置的變化，來推測用戶眼睛的注視區(qū)域，從而調(diào)整手機的顯示策略。本發(fā)明中所使用的方法是基于opencv的開源庫，具有很高的計算效率，能夠很高效的完成計算任務(wù)。
[0006]本發(fā)明是通過以下技術(shù)方案實現(xiàn)的:
[0007]本發(fā)明涉及一種基于移動終端的鎖定眼球的注視區(qū)域的方法，通過從視頻流中采集臉部區(qū)域，并從中劃分出眼部估計區(qū)域，經(jīng)細(xì)分后得到眼形區(qū)域并通過灰度二值化處理得到瞳孔中心位置，最后通過與基準(zhǔn)狀態(tài)位置的比較得到當(dāng)前注視區(qū)域。
[0008]所述的臉部區(qū)域通過級聯(lián)分類器識別得到，優(yōu)選為通過移動平均值和固定臉部區(qū)域大小的方式得到。
[0009]所述的劃分是指:從臉部區(qū)域中按照以下方式劃分得到眼部矩形估計區(qū)域:左、右眼矩形區(qū)域的上邊沿與臉部區(qū)域的上邊沿相距height/3.7 ;左、右眼矩形區(qū)域的寬度各為width/3 ;左、右眼矩形區(qū)域相鄰且在屏幕水平方向上處于正中心；左、右眼矩形區(qū)域的高度為height/4，其中:height為捕捉的視頻高度，width為捕捉的視頻寬度，單位為像素。
[0010]所述的細(xì)分是指:采用級聯(lián)分類器從眼部估計區(qū)域中識別得到眼形區(qū)域。
[0011]所述的基準(zhǔn)狀態(tài)位置是指:在基準(zhǔn)狀態(tài)下，瞳孔中心的位置與臉部區(qū)域的比例值。
[0012]所述的比較是指:在學(xué)習(xí)階段實時記錄用戶瞳孔中心的位置與臉部區(qū)域的比例值；在控制階段，通過比較比例值的變化計算得到當(dāng)前關(guān)注區(qū)域。
【附圖說明】
[0013]圖1為本發(fā)明流程圖。
[0014]圖2為模塊系統(tǒng)圖。
[0015]圖3為實施例學(xué)習(xí)階段的效果圖。
[0016]圖4為實施例控制階段的效果圖。
[0017]圖5為實施例眼部區(qū)域的比例示意圖。
【具體實施方式】
[0018]下面對本發(fā)明的實施例作詳細(xì)說明，本實施例在以本發(fā)明技術(shù)方案為前提下進行實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。
實施例1
[0019]如圖1所示，本實施例包括以下步驟:
[0020]第一步、從前置攝像頭中獲取視頻流。
[0021]本實施例中視頻流通過opencv for android圖像庫所提供的方法得到，在布局中使用 org.0pencv.android.JavaCameraView 控件，在 activity 中通過對這個 view 的設(shè)置在onCameraFrame中獲取每一幀圖片。
[0022]第二步、根據(jù)第一步獲得的視頻流分析出用戶的臉部區(qū)域。
[0023]所述的臉部區(qū)域通過opencv for android圖像庫所提供的級聯(lián)分類器識別得到，加載開源的lbpcascade_frontalface.xml分類器文件，來識別出人臉的區(qū)域。
[0024]由于上述分類器不能穩(wěn)定的識別出人臉，本實施例采用了以下兩個方法來克服這個問題:
[0025]I)移動平均值:保存前3幀圖片識別出的臉部區(qū)域，本次的識別結(jié)果采用當(dāng)前的識別結(jié)果和前三次識別結(jié)果的平均值，以實現(xiàn)穩(wěn)定識別出的臉部區(qū)域的作用。
[0026]2)固定臉部區(qū)域大小:由于用戶在操作手機時與手機的距離基本固定，所以采用固定的臉部區(qū)域大小能夠滿足使用需求，且起到穩(wěn)定識別出的臉部區(qū)域的作用。
[0027]第三步、根據(jù)分析出的臉部區(qū)域以及普通用戶的臉部比例，計算出用戶的眼部估計區(qū)域。
[0028]由于平常人的臉部器官比例在一個合理的范圍內(nèi)，這對計算大致的眼部區(qū)域提供了依據(jù)。
[0029]本實施例采用的比例如圖5所示，S卩:左、右眼矩形區(qū)域的上邊沿與臉部區(qū)域的上邊沿相距height/3.7 ;左、右眼矩形區(qū)域的寬度各為width/3 ;左、右眼矩形區(qū)域相鄰且在屏幕水平方向上處于正中心；左、右眼矩形區(qū)域的高度為height/4，其中！height為捕捉的視頻高度，width為捕捉的視頻寬度，單位為像素。
[0030]第四步、從第三步獲得的眼部區(qū)域分析出兩個眼形區(qū)域。
[0031]上述矩形區(qū)域也使用opencv for android圖像庫所提供的級聯(lián)分類器，加載Shiqi Yu訓(xùn)練的左、右眼的分類器文件(http://yushiq1.cn/research/eyedetect1n)，這樣能夠穩(wěn)定的識別出眼睛的區(qū)域。
[0032]第五步、對第四步的矩形區(qū)域的灰度圖像進行二值化操作，找出黑色區(qū)域的中心，即瞳孔的中心，具體為:首先獲取眼睛區(qū)域的灰度圖像，再以灰度值30為域，將眼部區(qū)域進行二值化，二值化的結(jié)果為瞳孔區(qū)域的灰度值變?yōu)?，其他區(qū)域為255 ;通過對所有灰度值為O的點的坐標(biāo)求均值，即可得到瞳孔的中心位置。
[0033]第六步、根據(jù)瞳孔中心位置與基準(zhǔn)狀態(tài)位置的變化，分析出用戶眼睛的注視區(qū)域，具體為:在學(xué)習(xí)階段實時記錄用戶瞳孔中心的位置與臉部區(qū)域的比例值；在控制階段，通過比較比例值的變化計算得到當(dāng)前關(guān)注區(qū)域。
[0034]比例值得計算公式為:
[0035]Rate_X =兩個瞳孔中心的橫坐標(biāo)/臉部矩形區(qū)域的寬度
[0036]Rate_Y =兩個瞳孔中心的縱坐標(biāo)/臉部矩形區(qū)域的高度
[0037]比例值的比較及判斷方法為:
[0038]Rate_X (當(dāng)前)-Rate_X (標(biāo)準(zhǔn))>bound_X && Rate_Y (當(dāng)前)-Rate_Y (標(biāo)準(zhǔn))>bound_Y —正在注視右下方區(qū)域
[0039]Rate_X (當(dāng)前)-Rate_X (標(biāo)準(zhǔn))〈-bound_X && Rate_Y (當(dāng)前)-Rate_Y (標(biāo)準(zhǔn))>bound_Y —正在注視左下方區(qū)域
[0040]Rate_X (當(dāng)前)-Rate_X (標(biāo)準(zhǔn))>bound_X && Rate_Y (當(dāng)前)-Rate_Y (標(biāo)準(zhǔn))< -bound_Y —正在注視右上方區(qū)域
[0041 ] Rate_X (當(dāng)前)-Rate_X (標(biāo)準(zhǔn))< _bound_X && Rate_Y (當(dāng)前)-Rate_Y (標(biāo)準(zhǔn))< -bound_Y —正在注視左上方區(qū)域
[0042]以上提到的圖像坐標(biāo)系以圖像左上角為坐標(biāo)原點，橫向為X軸，縱向為Y軸
[0043]實施效果
[0044]依據(jù)上述步驟，本實施例測試了 5名男性用戶和3名女性用戶。所有試驗均在搭載androicM.4操作系統(tǒng)的手機上實現(xiàn)，該手機的主要參數(shù)為:中央處理器:海思Kirin910T(1.8GHz)，內(nèi)存 2GB。
[0045]結(jié)果顯示，對所有用戶，在光線良好的情況下，應(yīng)用能夠穩(wěn)定的鎖定用戶眼睛注視的區(qū)域，偶爾會產(chǎn)生誤差，錯誤率為9 % ο這一實驗表明，本實施例的鎖定人眼注視區(qū)域方法能夠有效的達到要求。
【主權(quán)項】
1.一種基于移動終端的鎖定眼球的注視區(qū)域的方法，其特征在于，通過從視頻流中采集臉部區(qū)域，并從中劃分出眼部估計區(qū)域，經(jīng)細(xì)分后得到眼形區(qū)域并通過灰度二值化處理得到瞳孔中心位置，最后通過與基準(zhǔn)狀態(tài)位置的比較得到當(dāng)前注視區(qū)域。
2.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的臉部區(qū)域通過級聯(lián)分類器識別得到。
3.根據(jù)權(quán)利要求2所述的方法，其特征是，所述的臉部區(qū)域經(jīng)級聯(lián)分類器后進一步通過移動平均值和固定臉部區(qū)域大小的方式得到。
4.根據(jù)權(quán)利要求3所述的方法，其特征是，所述的移動平均值是指:保存前3幀圖片識別出的臉部區(qū)域，本次的識別結(jié)果采用當(dāng)前的識別結(jié)果和前三次識別結(jié)果的平均值，以實現(xiàn)穩(wěn)定識別出的臉部區(qū)域的作用。
5.根據(jù)權(quán)利要求3所述的方法，其特征是，所述的固定臉部區(qū)域大小是指:由于用戶在操作手機時與手機的距離基本固定，所以采用固定的臉部區(qū)域大小能夠滿足使用需求，且起到穩(wěn)定識別出的臉部區(qū)域的作用。
6.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的劃分是指:從臉部區(qū)域中按照以下方式劃分得到眼部估計區(qū)域:左、右眼矩形區(qū)域的上邊沿與臉部區(qū)域的上邊沿相距height/3.7 ;左、右眼矩形區(qū)域的寬度各為width/3 ;左、右眼矩形區(qū)域相鄰且在屏幕水平方向上處于正中心；左、右眼矩形區(qū)域的高度為height/4，其中:height為捕捉的視頻高度，width為捕捉的視頻寬度，單位為像素。
7.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的細(xì)分是指:采用級聯(lián)分類器從眼部估計區(qū)域中識別得到眼形區(qū)域。
8.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的灰度二值化處理是指:首先獲取眼睛區(qū)域的灰度圖像，再以灰度值30為域，將眼部區(qū)域進行二值化，二值化的結(jié)果為瞳孔區(qū)域的灰度值變?yōu)?，其他區(qū)域為255 ;通過對所有灰度值為O的點的坐標(biāo)求均值，即可得到瞳孔的中心位置。
9.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的基準(zhǔn)狀態(tài)位置是指:在基準(zhǔn)狀態(tài)下，瞳孔中心的位置與臉部區(qū)域的比例值。
10.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的比較是指:在學(xué)習(xí)階段實時記錄用戶瞳孔中心的位置與臉部區(qū)域的比例值；在控制階段，通過比較比例值的變化計算得到當(dāng)前關(guān)注區(qū)域。
【專利摘要】一種基于移動終端的鎖定眼球的注視區(qū)域的方法，通過從視頻流中采集臉部區(qū)域，并從中劃分出眼部估計區(qū)域，經(jīng)細(xì)分后得到眼形區(qū)域并通過灰度二值化處理得到瞳孔中心位置，最后通過與基準(zhǔn)狀態(tài)位置的比較得到當(dāng)前注視區(qū)域。本發(fā)明具有很高的計算效率，能夠很高效的完成計算任務(wù)。
【IPC分類】G06K9-00, G06K9-62, G06F3-01
【公開號】CN104850228
【申請?zhí)枴緾N201510245605
【發(fā)明人】葉林生, 張瑩雪, 夏立, 盛斌
【申請人】上海交通大學(xué)
【公開日】2015年8月19日
【申請日】2015年5月14日