專利名稱：一種視線估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機交互領(lǐng)域，特別涉及一種視線估計方法。
背景技術(shù)：
人機交互是隨著科技的不斷發(fā)展而發(fā)展的，自從計算機出現(xiàn)以來人機交互技術(shù)經(jīng)歷了巨大的變化，人機交互的發(fā)展歷史，是從人適應(yīng)計算機到計算機不斷適應(yīng)人的發(fā)展史。早期的手工作業(yè)階段，計算機是一個十分龐大笨拙的二進制計算機，使用者必須利用計算機代碼語言和手工操作的方法來使用計算機；在作業(yè)控制語言及交互命令語言階段，計算機的主要使用者(程序員)可以通過記憶許多命令和敲擊鍵盤，采用批處理作業(yè)語言或交互命令語言的方式來調(diào)試程序、了解計算機執(zhí)行情況；以上兩個階段都是應(yīng)用鍵盤和字符顯示器進行人機交互，而到了圖形用戶界面(GUI)階段，鼠標和基于圖形菜單的出現(xiàn)，可使用戶可以直接操縱計算機而無須掌握復(fù)雜的計算機語言，不懂計算機的普通用戶也可以熟練地使用，大大的拓寬了用戶群，使信息產(chǎn)業(yè)得到空前的發(fā)展，計算機適應(yīng)人的序幕正式拉開；新的技術(shù)不斷出現(xiàn)搜索引擎、網(wǎng)絡(luò)加速、多媒體動畫、聊天工具等都使人機交互上升到一個更高的境界。多通道、多媒體的智能人機交互階段是真正人機交互的開始。當(dāng)前計算機的兩個重要的發(fā)展趨勢是計算機系統(tǒng)的擬人化和計算機的微型化、隨身化和嵌入化，例如虛擬現(xiàn)實、手持電腦和智能手機等。單通道的交互方式已向多通道交互方式轉(zhuǎn)變，人機交互已經(jīng)更為人性化，操作亦向自然、高效的方向發(fā)展。結(jié)合視線跟蹤、語音識別和手勢輸入等技術(shù)的多媒體和多通道的人機交互界面是未來的研究方向。由于人的視線具有直接性、自然性和雙向性等其他信息所無法具備的特點，所以人們對視線估計的研究有著深厚的興趣。在面部識別的基礎(chǔ)上，我們可以進一步利用視線估計技術(shù)，計算出用戶在屏幕上所關(guān)注的區(qū)域。視線估計技術(shù)的應(yīng)用領(lǐng)域十分廣闊，例如智能家電、廣告研究、智能計算機、虛擬游戲、汽車駕駛、助殘和軍事等領(lǐng)域，具有十分廣闊的應(yīng)用前景。在網(wǎng)頁及廣告設(shè)計中，可利用視線估計技術(shù)來獲取用戶的主要關(guān)注區(qū)域，進行設(shè)計評估。在智能計算機中，可使用視線估計技術(shù)代替?zhèn)鹘y(tǒng)的鼠標進行控制和輸入。并可逐步取代一般人機交互輸入系統(tǒng)，作為特定目標系統(tǒng)的輸入子系統(tǒng)，為目標系統(tǒng)的事實控制動作提供判斷依據(jù)，服務(wù)于需要雙手進行操作的專業(yè)人士，該系統(tǒng)可以廣泛應(yīng)用于醫(yī)學(xué)、交通、軍事及娛樂等各個方面，提供全新的信息輸入手段，全面提升社會科技水平。發(fā)明人在實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中存在以下的缺點和不足目前大多數(shù)視線估計方法大多采用瞳孔角膜反射向量法，因為它具有良好的用戶體驗和較高的估計精度，但由于需要額外輔助光源，同時用戶在使用過程中必須保持頭部靜止，而且隨著頭部的運動，該方法的估計精度會急劇下降。其精度一般在10 20mm，但其運用的一般是雙目攝像頭或者多個輔助光源，且對頭部運動的適應(yīng)性較差。近幾年國內(nèi)也有很多關(guān)于視線估計方法的研究技術(shù)，雖然視線估計的精度比較好，但也需要額外輔助光源。

發(fā)明內(nèi)容
本發(fā)明提供了一種視線估計方法，本發(fā)明減少了額外輔助設(shè)備，提高了對頭部運動的適應(yīng)性并且具有較好的精度，詳見下文描述一種視線估計方法，所述方法包括以下步驟(I)用戶按照預(yù)設(shè)條件注視屏幕上的若干指定點，獲取注視點估計值的橫縱坐標數(shù)據(jù)，橫縱坐標數(shù)據(jù)用于計算校準誤差S' h ;(2)從所述攝像頭拍攝的圖像中獲取雙眼內(nèi)眼角在圖像上的坐標，判斷雙眼內(nèi)眼 角中心是否在圖像中央，如果是，執(zhí)行步驟(4);如果否，執(zhí)行步驟(3)；(3)通過雙眼的內(nèi)眼角在圖像上的坐標獲取雙眼內(nèi)眼角中心點的坐標與圖像中央點的差量FM，將雙眼內(nèi)眼角、雙眼瞳孔中心和臉邊界的橫坐標與縱坐標整體進行坐標變換以完成用戶頭部偏移的校正，執(zhí)行步驟(4);(4)判斷用戶臉平面與屏幕平面之間是否有旋轉(zhuǎn)角度P，如果是，執(zhí)行步驟(5)；如果否，執(zhí)行步驟(6)；(5)雙眼內(nèi)眼角與對應(yīng)臉邊界的距離不同，對用戶頭部旋轉(zhuǎn)，根據(jù)所述旋轉(zhuǎn)角度^對所述雙眼內(nèi)眼角、所述雙眼瞳孔中心的坐標進行轉(zhuǎn)換，將用戶臉平面校正為正臉；(6)將用戶臉平面、屏幕距離與雙眼內(nèi)眼角點三者之間的關(guān)系表示成三次多項式函數(shù)，通過待定系數(shù)法確定多項式函數(shù)的系數(shù)；(7)獲取3D模型，根據(jù)所述3D模型獲取注視點的縱坐標和橫坐標，通過所述三次多項式函數(shù)確定注視點S, f，其中，所述注視點的縱坐標具體為眼球光軸與屏幕交點的縱坐標；所述注視點的橫坐標具體為左右眼的光軸與屏幕交點的橫坐標的平均值；(8)對校準誤差S' h和注視點S' f進行求和獲取最終的注視點S'，即S'=S' f+s/ h。以垂直于水平面并且通過雙眼中心的直線為軸的臉部旋轉(zhuǎn)。所述3D模型具體為坐標原點0'為屏幕中央正上方點，即攝像頭所在位置，S為用戶在屏幕上的注視點，P表示瞳孔中心，O1表示角膜中心，0表示眼球中心，M表示內(nèi)眼角點，N表示眼前點；h，i分別表示內(nèi)眼角點和瞳孔中心在攝像頭像平面上的對應(yīng)點，K，Ktl, K1分別表示眼球中心與角膜中心、眼球中心與瞳孔中心、眼球中心與眼前點的距離；虛線部分表示眼睛的光軸，實線O1S表示眼睛的視線方向，即眼睛的視軸，d表示用戶臉平面與屏幕的距離；通過獲得的內(nèi)眼角點M來計算眼球中心0，0與N點的連線定義為光軸，計算出光軸方向算出光軸與屏幕的交點。本發(fā)明提供的技術(shù)方案的有益效果是本方法通過校準找到校準誤差，隨后通過頭部偏移校正，頭部旋轉(zhuǎn)校正，估計臉平面與屏幕距離和建立3D的模型得到眼球的光軸信息，最終得到注視點的位置；本發(fā)明只使用到了單個攝像頭，而無任何其他輔助設(shè)備；本發(fā)明通過用戶校正的環(huán)節(jié)，以達到進一步提高估計精度的目的；并且通過臉平面與屏幕距離的估計和頭部偏移與旋轉(zhuǎn)的校正，盡量減少了限制條件，為用戶提供舒適的使用環(huán)境，使其具有更好的精度和對頭部運動的適應(yīng)性；在基于真實的人眼眼球的基礎(chǔ)上，建立了基于3D模型的視線估計方法以達到提高估計精度的目的；本方法減少了額外輔助設(shè)備，提高了對頭部運動的適應(yīng)性，并且視線估計有比較好的精度。


圖I為本發(fā)明提供的一種視線估計方法的流程圖；圖2為本發(fā)明提供的頭部旋轉(zhuǎn)校正的示意圖；圖3為本發(fā)明提供的臉平面旋轉(zhuǎn)角度的計算的示意圖；圖4為本發(fā)明提供的人臉旋轉(zhuǎn)校正的示意圖；
圖5為本發(fā)明提供的3D視線估計模型的示意圖；圖6為本發(fā)明提供的雙眼光軸與視軸之間的關(guān)系的示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方式作進一步地詳細描述。為了減少額外輔助設(shè)備，提高對頭部運動的適應(yīng)性并且具有較好的精度，本發(fā)明實施例提供了一種視線估計方法，參見圖1，詳見下文描述101 :用戶按照預(yù)設(shè)條件注視屏幕上的若干指定點，獲取注視點估計值的橫縱坐標數(shù)據(jù)，橫縱坐標數(shù)據(jù)用于計算校準誤差S' h ;其中，當(dāng)用戶初次進行視線估計時，需要進行一次校準，指定點的數(shù)目根據(jù)實際應(yīng)用中的需要進行設(shè)定，具體實現(xiàn)時，本發(fā)明實施例對此不做限制。例如用戶按照提示“請依次注視屏幕上的4個指定點”(注這四個指定點分布在屏幕的四個角)依次注視屏幕上幾個指定點。例如4個指定點分別為A、B、C和D，用戶注視A點，本方法獲取和A點相近的點A’，獲取注視點估計值A(chǔ)’的橫縱坐標數(shù)據(jù)。其中，預(yù)設(shè)條件具體為保證臉平面在屏幕中央，且正視屏幕，并且需要盡量保持頭部靜止。102 :從攝像頭拍攝的圖像中獲取雙眼內(nèi)眼角在圖像上的坐標，判斷雙眼內(nèi)眼角中心是否在圖像中央，如果是，執(zhí)行步驟104 ;如果否，執(zhí)行步驟103 ；其中，為了克服在視線估計技術(shù)中紅外光源的限制作用，盡量減少對用戶的諸多限制條件，本方法的視線估計方法只用到了單個攝像頭，而無任何其他任何輔助設(shè)備，為用戶提供了舒適的使用環(huán)境，并且使其具有更好的精度和對頭部運動的適應(yīng)性。103 :通過雙眼的內(nèi)眼角在圖像上的坐標獲取雙眼內(nèi)眼角中心點的坐標與圖像中央點的差量FM，將雙眼內(nèi)眼角、雙眼瞳孔中心和臉邊界的橫坐標與縱坐標整體進行坐標變換以完成用戶頭部偏移的校正，執(zhí)行步驟104 ；104:判斷用戶的臉平面與屏幕平面之間是否有旋轉(zhuǎn)角度P，如果是，執(zhí)行步驟105 ;如果否，執(zhí)行步驟106 ；105:雙眼內(nèi)眼角與對應(yīng)臉邊界的距離不同，對用戶頭部旋轉(zhuǎn)，獲取用戶臉平面的旋轉(zhuǎn)角度0，根據(jù)旋轉(zhuǎn)角度0對雙眼內(nèi)眼角、雙眼瞳孔中心的坐標進行轉(zhuǎn)換，將用戶臉平面校正為正臉；其中，對用戶頭部旋轉(zhuǎn)具體為以垂直于水平面并且通過雙眼中心的直線為軸的臉部旋轉(zhuǎn)。參見圖4，o"'點為雙眼內(nèi)眼角中心，即臉平面旋轉(zhuǎn)中心，A，D分別為臉平面轉(zhuǎn)動后的臉邊界，B，C分別為雙眼的內(nèi)眼角點，f為攝像頭的焦距，D1為內(nèi)眼角到雙眼中心的距離，D為臉邊界到雙眼中心的距離，a, b，c，d分別為臉邊界與內(nèi)眼角在拍攝到圖像中的成像，P為用戶臉平面的旋轉(zhuǎn)角度。參見圖5，這里僅用拍攝到圖像中兩個內(nèi)眼角點校正為正臉的方法，來說明計算過程，其余特征點的情況類似。設(shè)兩個內(nèi)眼角點間的像素距離為A/C/，并且用戶臉平面的旋轉(zhuǎn)角度Z a =Z ￠,則可以得出A1C1 = A/ C/ /cos a由此即可將拍攝到圖像中的臉部特征點坐標校正為正臉時的坐標，需要進行校正的特征點分別為雙眼內(nèi)眼角、雙眼瞳孔中心的坐標信息。為了在使用時保證用戶頭部的自由運動，至此完成了用戶頭部的偏移與旋轉(zhuǎn)的校正，為計算注視點奠定了基礎(chǔ)。根據(jù)提供的臉部特征點包括臉邊界與雙眼內(nèi)眼角信息，計算出用戶臉平面的旋轉(zhuǎn)角度P，進而對雙眼內(nèi)眼角、雙眼瞳孔中心這些臉部特征點的坐標進行轉(zhuǎn)換，將旋轉(zhuǎn)的臉平面校正為正臉時的情況。106:將用戶臉平面、屏幕距離與雙眼內(nèi)眼角點三者之間的關(guān)系表示成三次多項式函數(shù)，通過待定系數(shù)法確定多項式函數(shù)的系數(shù)；其中，該步驟具體為通過雙眼內(nèi)眼角的距離計算出用戶臉平面與屏幕的距離，在距離屏幕四種距離的地方，對多個用戶進行數(shù)據(jù)采集，采集的數(shù)據(jù)包括雙眼內(nèi)眼角點在圖像上的距離，用戶和屏幕之間的距離；然后求雙眼內(nèi)眼角點在圖像上的距離，用戶和屏幕之間的距離之間的平均值，接著可以列出四個方程，求出三次多項式函數(shù)的四個系數(shù)。107 :獲取3D模型，根據(jù)3D模型獲取注視點的縱坐標和橫坐標，通過三次多項式函數(shù)確定注視點S' f，其中，縱坐標具體為眼球光軸與屏幕交點的縱坐標；橫坐標具體為左右眼的光軸與屏幕交點的橫坐標的平均值；其中，參見圖6，3D模型具體為坐標原點0'為屏幕中央正上方點，即攝像頭所在位置，S為用戶在屏幕上的注視點，P表示瞳孔中心，O1表示角膜中心，0表示眼球中心，M表示內(nèi)眼角點，N表示眼前點；h，i分別表示內(nèi)眼角點和瞳孔中心在攝像頭像平面上的對應(yīng)點，K，K0, K1分別表示眼球中心與角膜中心、眼球中心與瞳孔中心、眼球中心與眼前點的距離；虛線部分表示眼睛的光軸，實線O1S表示眼睛的視線方向，即眼睛的視軸，d表示用戶臉平面與屏幕的距離；通過獲得的內(nèi)眼角點M來計算眼球中心0，0與N點的連線定義為光軸，計算出光軸方向算出光軸與屏幕的交點。 具體實現(xiàn)時，本方法只考慮光軸與視軸夾角的水平分量，注視點的縱坐標依然使用眼球光軸與屏幕交點的縱坐標，注視點的橫坐標就是左右眼的光軸與屏幕交點的橫坐標的平均值。其中，參見圖7，以左眼球為例，介紹眼球光軸與屏幕的交點，右眼球可用相同的方法求出，交點的計算公式如下所示
權(quán)利要求
1.一種視線估計方法，其特征在于，所述方法包括以下步驟 (1)用戶按照預(yù)設(shè)條件注視屏幕上的若干指定點，獲取注視點估計值的橫縱坐標數(shù)據(jù)，橫縱坐標數(shù)據(jù)用于計算校準誤差s' h； (2)從所述攝像頭拍攝的圖像中獲取雙眼內(nèi)眼角在圖像上的坐標，判斷雙眼內(nèi)眼角中心是否在圖像中央，如果是，執(zhí)行步驟(4);如果否，執(zhí)行步驟(3)； (3)通過雙眼的內(nèi)眼角在圖像上的坐標獲取雙眼內(nèi)眼角中心點的坐標與圖像中央點的差量FM，將雙眼內(nèi)眼角、雙眼瞳孔中心和臉邊界的橫坐標與縱坐標整體進行坐標變換以完成用戶頭部偏移的校正，執(zhí)行步驟(4)； (4)判斷用戶臉平面與屏幕平面之間是否有旋轉(zhuǎn)角度P，如果是，執(zhí)行步驟(5);如果否，執(zhí)行步驟(6)； (5)雙眼內(nèi)眼角與對應(yīng)臉邊界的距離不同，對用戶頭部旋轉(zhuǎn)，根據(jù)所述旋轉(zhuǎn)角度P對所述雙眼內(nèi)眼角、所述雙眼瞳孔中心的坐標進行轉(zhuǎn)換，將用戶臉平面校正為正臉； (6)將用戶臉平面、屏幕距離與雙眼內(nèi)眼角點三者之間的關(guān)系表示成三次多項式函數(shù)，通過待定系數(shù)法確定多項式函數(shù)的系數(shù)； (7)獲取3D模型，根據(jù)所述3D模型獲取注視點的縱坐標和橫坐標，通過所述三次多項式函數(shù)確定注視點S' f，其中，所述注視點的縱坐標具體為眼球光軸與屏幕交點的縱坐標；所述注視點的橫坐標具體為左右眼的光軸與屏幕交點的橫坐標的平均值； (8)對校準誤差S'h和注視點S' f進行求和獲取最終的注視點S'，即S'=S' f+S/ h。
2.根據(jù)權(quán)利要求I所述的一種視線估計方法，其特征在于，所述對用戶頭部旋轉(zhuǎn)具體為以垂直于水平面并且通過雙眼中心的直線為軸的臉部旋轉(zhuǎn)。
3.根據(jù)權(quán)利要求I所述的一種視線估計方法，其特征在于，所述3D模型具體為坐標原點0'為屏幕中央正上方點，即攝像頭所在位置，S為用戶在屏幕上的注視點，P表示瞳孔中心，O1表示角膜中心，0表示眼球中心，M表示內(nèi)眼角點，N表示眼前點；h, i分別表示內(nèi)眼角點和瞳孔中心在攝像頭像平面上的對應(yīng)點，K，K0, K1分別表示眼球中心與角膜中心、眼球中心與瞳孔中心、眼球中心與眼前點的距離；虛線部分表示眼睛的光軸，實線O1S表示眼睛的視線方向，即眼睛的視軸，d表示用戶臉平面與屏幕的距離；通過獲得的內(nèi)眼角點M來計算眼球中心0, 0與N點的連線定義為光軸,計算出光軸方向算出光軸與屏幕的交點。
全文摘要
本發(fā)明公開了一種視線估計方法，本方法通過校準找到校準誤差，隨后通過頭部偏移校正，頭部旋轉(zhuǎn)校正，估計臉平面與屏幕距離和建立3D的模型得到眼球的光軸信息，最終得到注視點的位置；本發(fā)明只使用到了單個攝像頭，而無任何其他輔助設(shè)備；本發(fā)明通過用戶校正的環(huán)節(jié)，以達到進一步提高估計精度的目的；并且通過臉平面與屏幕距離的估計和頭部偏移與旋轉(zhuǎn)的校正，盡量減少了限制條件，為用戶提供舒適的使用環(huán)境，使其具有更好的精度和對頭部運動的適應(yīng)性；在基于真實的人眼眼球的基礎(chǔ)上，建立了基于3D模型的視線估計方法以達到提高估計精度的目的；本方法減少了額外輔助設(shè)備，提高了對頭部運動的適應(yīng)性，并且視線估計有比較好的精度。
文檔編號G06F3/01GK102662476SQ201210118799
公開日2012年9月12日 申請日期2012年4月20日 優(yōu)先權(quán)日2012年4月20日
發(fā)明者岑坤昉, 張磊, 車明 申請人:天津大學(xué)