本發(fā)明涉及結(jié)合眼部追蹤的虛擬現(xiàn)實(shí)設(shè)備領(lǐng)域，具體涉及一種基于虛擬現(xiàn)實(shí)中眼動捕捉的跨物體交互方法與裝置。

背景技術(shù)：

眼動捕捉通過測量眼睛的視覺注意力焦點(diǎn)的位置或者眼球相對頭部的運(yùn)動實(shí)現(xiàn)對眼球運(yùn)動的實(shí)施追蹤。目前的眼動捕捉主要使用紅外光輔助圖像捕捉設(shè)備采集眼部圖像，通過追蹤和計算眼部圖像中瞳孔的中心位置來測量眼球的位置和運(yùn)動軌跡信息。眼動捕捉技術(shù)目前被廣泛應(yīng)用于心理學(xué)、工效學(xué)、視知覺等領(lǐng)域。

虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗虛擬世界的計算機(jī)仿真系統(tǒng)，它利用計算機(jī)生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動態(tài)視景和實(shí)體行為的系統(tǒng)仿真，能夠在虛擬三維空間中為用戶提供沉浸式的交互環(huán)境。類似于在現(xiàn)實(shí)空間中用戶的視覺注意力會在不同距離物體上移動、注視和掃描等，在虛擬現(xiàn)實(shí)空間中的用戶視覺注意力焦點(diǎn)的變化也有著類似的行為。目前針對虛擬現(xiàn)實(shí)環(huán)境交互的交互手段主要有眼動追蹤、身體姿態(tài)、肌電信號、觸覺反饋、語音交互和手勢識別等。

目前的虛擬現(xiàn)實(shí)環(huán)境交互已經(jīng)部分或者全部結(jié)合了上述多維度感知的交互方式，但是仍然存在以下不足：(1)虛擬環(huán)境交互的輸出反饋?zhàn)赃m應(yīng)問題。虛擬現(xiàn)實(shí)生成的反饋需要被人快速、直接地接收和理解，在當(dāng)前的交互方式下仍然難以及時地反應(yīng)，信息的傳達(dá)存在一定時滯或缺失；(2)虛擬現(xiàn)實(shí)環(huán)境對人交互意圖的理解問題。當(dāng)前交互主要受用戶的主觀表達(dá)信息的驅(qū)動，對于用戶交互行為中的內(nèi)在意圖的理解不足，沒有形成較好的交互認(rèn)知解決方案。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述，本發(fā)明提供了一種基于虛擬現(xiàn)實(shí)中眼動捕捉的跨物體交互裝置與方法，該方法根據(jù)虛擬現(xiàn)實(shí)三維空間中用戶注視的虛擬物體與用戶的視點(diǎn)之間的虛擬距離，實(shí)現(xiàn)不同的用戶界面和交互方式。

一種基于虛擬現(xiàn)實(shí)中眼動捕捉的跨物體交互裝置，包括：

頭戴式虛擬現(xiàn)實(shí)眼鏡，獲取虛擬現(xiàn)實(shí)三維場景圖像，并將其根據(jù)左右眼在視角上的差異顯示于顯示屏上；

眼動追蹤設(shè)備，可拆卸地固定于所述頭戴式虛擬現(xiàn)實(shí)眼鏡的目鏡上，用于拍攝和記錄眼睛運(yùn)動的紅外圖像，并將該圖像輸送至主機(jī)；

主機(jī)，輸出虛擬顯示三維場景圖像至所述頭戴式虛擬現(xiàn)實(shí)眼鏡的顯示屏中；接收所述眼動追蹤設(shè)備輸送來的紅外圖像；基于opencv計算機(jī)圖形庫計算紅外圖像中瞳孔的位置，分析和處理用戶眼動軌跡，根據(jù)虛擬距離激活不同用戶界面的呈現(xiàn)方式和交互內(nèi)容。

所述的頭戴式虛擬現(xiàn)實(shí)眼鏡包括：

目鏡，調(diào)整用戶視線在顯示屏上的對焦位置，以便用戶視線能夠準(zhǔn)確地對焦于顯示屏上；

顯示屏，根據(jù)左右眼在視角上的差異分別顯示虛擬現(xiàn)實(shí)三維場景，這樣能使用戶的左右眼感知到不一樣的圖像，形成對虛擬現(xiàn)實(shí)三維環(huán)境的空間認(rèn)知；

揚(yáng)聲器，根據(jù)用戶界面顯示的交互內(nèi)容播放相應(yīng)的三維立體聲；

固定支撐結(jié)構(gòu)，是一個眼鏡形式的可穿戴結(jié)構(gòu)，用于支撐、固定所述的目鏡與顯示屏；以及

連接線；連接主機(jī)，用于虛擬現(xiàn)實(shí)三維場景圖像和交互內(nèi)容的通信。

所述的眼動追蹤設(shè)備包括：

3d打印的框架，與所述頭戴式虛擬現(xiàn)實(shí)眼鏡的目鏡形狀大小一致，用于固定紅外發(fā)射器、微型紅外攝像頭；

多個紅外發(fā)射器，用于發(fā)射一定頻率的紅外光至眼睛上；

微型紅外攝像頭，用于捕捉眼球和瞳孔運(yùn)動的紅外圖像，該紅外攝像頭可以有效地避免頭戴式虛擬現(xiàn)實(shí)眼鏡中顯示屏發(fā)出的可見光干擾，捕捉到清晰的眼球和瞳孔的紅外圖像；以及

接口，用于將捕捉到的紅外圖像傳送至主機(jī)。

作為優(yōu)選，所述的紅外發(fā)射器為貼片式紅外光led，該紅外光led燈成本較低，能夠發(fā)射均勻地紅外光，便于安裝。

作為優(yōu)選，所述的多個紅外發(fā)射器均勻地固定于所述的3d打印的框架的框架外圍一周；所述的微型紅外攝像頭固定于眼動追蹤設(shè)備邊緣處。

作為優(yōu)選，所述的眼動追蹤設(shè)備為兩個，分別置于頭戴式虛擬現(xiàn)實(shí)眼鏡的目鏡上，這樣能夠很準(zhǔn)確地記錄眼睛運(yùn)動的紅外圖像。

所述的主機(jī)利用opencv計算機(jī)圖像庫，在紅外圖像中檢測瞳孔反光位置，計算其中心點(diǎn)，并記錄和分析連續(xù)多幀圖像上的眼動位置判斷用戶視覺焦點(diǎn)的運(yùn)動軌跡。

另一方面，本發(fā)明提供了一種利用上述裝置實(shí)現(xiàn)跨物體交互方法，包括：

(1)眼動追蹤設(shè)備以30hz的采樣頻率連續(xù)獲取眼睛運(yùn)動的紅外圖像，并將該些紅外圖像發(fā)送至主機(jī)；

(2)主機(jī)根據(jù)紅外圖像確定每幀紅外圖像中的瞳孔位置，并根據(jù)連續(xù)多幀紅外圖像中的瞳孔位置確定眼睛運(yùn)動軌跡、眼睛運(yùn)動速度以及眼睛停留時長，得到眼睛運(yùn)動模式；

(3)主機(jī)根據(jù)紅外圖像中瞳孔位置、眼動坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系確定虛擬物體，得到虛擬距離d；

(4)主機(jī)根據(jù)虛擬距離d和眼睛運(yùn)動模式激活與該虛擬距離對應(yīng)的用戶界面的交互方式與用戶界面的內(nèi)容顯示。

當(dāng)眼睛不停地運(yùn)動時，眼動追蹤設(shè)備連續(xù)采集不同時刻的眼睛運(yùn)動的紅外圖像，主機(jī)根據(jù)不同的紅外圖像中瞳孔位置進(jìn)而得到的虛擬距離動態(tài)地激活與該虛擬距離對應(yīng)的用戶界面的交互方式與用戶界面的內(nèi)容顯示。

步驟(1)中，紅外圖像中瞳孔為紅外光反射特征最明顯的部分，形成一個最亮的光點(diǎn)，該亮點(diǎn)即為瞳孔位置，該亮點(diǎn)所在的位置為瞳孔在紅外圖像中的平面坐標(biāo)，記為(x，y)。

步驟(2)中，所述的眼動坐標(biāo)系為紅外圖像內(nèi)的坐標(biāo)系，是人為設(shè)定的，根據(jù)該坐標(biāo)系就可以清楚地獲得和標(biāo)記瞳孔位置。

步驟(3)中，所述眼動坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系的獲得方法為：

用戶按照順序看頭戴式虛擬現(xiàn)實(shí)眼鏡中顯示屏四個角上的紅色標(biāo)記點(diǎn)，以左下角為坐標(biāo)原點(diǎn)，則四個紅色標(biāo)記點(diǎn)分別記為(0,0)，(0,顯示屏分辨路高度h)，(顯示屏分辨率寬度w,h)，(w,0)；用戶在看這四個紅色標(biāo)記點(diǎn)時，所記錄的紅外圖像上瞳孔的坐標(biāo)記為(0,0)，(0,h)，(w,h)，(w,0)；這樣，所有在紅外圖像中四個坐標(biāo)(0,0)，(0,h)，(w,h)，(w,0)形成的范圍內(nèi)的瞳孔位置(x,y)，均線性投射至頭戴式虛擬現(xiàn)實(shí)眼鏡的顯示屏中四個坐標(biāo){(0,0)，(0,h)，(w,h)，(w,0)}范圍內(nèi)的坐標(biāo)(x，y)。

步驟(3)中，所述的虛擬距離的獲得過程為：

根據(jù)虛擬現(xiàn)實(shí)眼鏡的顯示屏上的眼動位置坐標(biāo)(x，y)，在顯示屏上顯示的虛擬現(xiàn)實(shí)三維場景中，找到對應(yīng)的用戶注視焦點(diǎn)所在的虛擬物體，并得到該虛擬物體的三維坐標(biāo)中心點(diǎn)到三維場景的攝像機(jī)的中心點(diǎn)之間的垂直距離，該垂直距離為虛擬距離，虛擬距離的單位與三維場景中的攝像機(jī)的焦距單位一致，為毫米。

三維場景中的攝像機(jī)的中心點(diǎn)不是固定在虛擬現(xiàn)實(shí)眼鏡的顯示屏平面上，但它的落點(diǎn)一直是用戶的眼睛。攝像頭的中心點(diǎn)已知，虛擬物體的中心點(diǎn)三維坐標(biāo)已知，就可以計算兩個坐標(biāo)之間的距離d，也就垂直于顯示屏并沿著用戶眼睛視線方向延伸的距離。

步驟(4)中，所述的主機(jī)根據(jù)虛擬距離激活與該虛擬距離對應(yīng)的用戶界面的呈現(xiàn)方式和交互內(nèi)容，具體為：

當(dāng)d≥3000mm時，采用用戶界面懸浮于虛擬物體中心點(diǎn)位置上方空中的呈現(xiàn)方式；此時，用戶界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶界面的寬為w/4，高為h/4，用戶界面的交互內(nèi)容為物體的標(biāo)記信息，字體大小為80px(目前虛擬現(xiàn)實(shí)設(shè)備中文字最小像素大小為14px，最佳為20px)；當(dāng)用戶頭部和眼睛運(yùn)動均保持靜止達(dá)1秒時，(通過判斷用戶眼動軌跡實(shí)現(xiàn))，保持用戶界面的中心位置不變，動態(tài)持續(xù)放大用戶界面的尺寸至原來的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/8，同時交互內(nèi)容增多；當(dāng)用戶頭部或眼睛恢復(fù)移動，則自動縮小用戶界面至原來尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)1500mm≤d＜3000mm時，采用用戶界面半結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶界面的一側(cè)邊與虛擬物體相連；此時，用戶界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/32，用戶界面的寬為w/4，高為h/8，用戶界面的交互內(nèi)容為物體的標(biāo)記信息與簡略的介紹文本、圖片以及視頻，字體大小為40px；當(dāng)用戶頭部和眼睛運(yùn)動均保持靜止達(dá)1秒時，保持用戶界面的中心位置不變，動態(tài)持續(xù)放大用戶界面的尺寸至原來的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶界面的寬為w/4，高為h/4，同時交互內(nèi)容增多；當(dāng)用戶的頭部或者眼睛恢復(fù)運(yùn)動，則自動縮小用戶界面至原來尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)d＜1500mm時，采用用戶界面完全結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶界面的平面完全投影在虛擬物體的表面上；此時，用戶界面尺寸為注視焦點(diǎn)所在的物體表面的大小(即最大內(nèi)切矩形)，用戶界面交互內(nèi)容為物體的標(biāo)記信息、詳細(xì)的文本、圖片以及視頻；字體大小為20px；當(dāng)用戶頭部和眼動運(yùn)動均保持靜止達(dá)1秒時，動態(tài)更新一次用戶界面中的內(nèi)容(也包括加載顯示視頻)；當(dāng)用戶的頭部或者眼睛恢復(fù)運(yùn)動，則交互內(nèi)容自動恢復(fù)至初始狀態(tài)。

本發(fā)明方法結(jié)合了虛擬現(xiàn)實(shí)環(huán)境用戶界面中的眼動軌跡和虛擬現(xiàn)實(shí)場景中的“視點(diǎn)-物體”之間的虛擬距離，動態(tài)決定用戶界面的內(nèi)容顯示和交互方式，從而為虛擬現(xiàn)實(shí)環(huán)境中的信息獲取提供更加自然和高效的方式。

附圖說明

圖1是實(shí)施例中基于虛擬現(xiàn)實(shí)中眼動捕捉的跨物體交互方法的流程圖；

圖2是實(shí)施例中用戶界面懸浮于虛擬物體中心點(diǎn)位置上方空中的呈現(xiàn)方式的示意圖；

圖3是實(shí)施例中用戶界面半結(jié)合于虛擬物體的呈現(xiàn)方式的示意圖；

圖4是用戶界面完全結(jié)合于虛擬物體的呈現(xiàn)方式的示意圖。

具體實(shí)施方式

為了更為具體地描述本發(fā)明，下面結(jié)合附圖及具體實(shí)施方式對本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。

本實(shí)施例基于虛擬現(xiàn)實(shí)中眼動捕捉的跨物體交互裝置，包括：頭戴式虛擬現(xiàn)實(shí)眼鏡、眼動追蹤設(shè)備以及主機(jī)；其中，頭戴式虛擬現(xiàn)實(shí)眼鏡包括目鏡、顯示屏、固定支撐結(jié)構(gòu)、揚(yáng)聲器以及連接線；眼動追蹤設(shè)備包括3d打印的框架、多個紅外發(fā)射器、微型紅外攝像頭以及接口。

在本實(shí)施例中，采用置于目鏡上的兩個眼動追蹤設(shè)備，分別獲得左右眼睛運(yùn)動的紅外圖像。紅外發(fā)射器采用貼片式紅外光led，且均勻地貼于3d打印的框架的外圍一周，微型紅外攝像頭固定于眼動追蹤設(shè)備邊緣處。

使用上述裝置實(shí)現(xiàn)跨物體交互方法的流程圖如圖1所示，具體包括以下步驟：

s01，眼動追蹤設(shè)備以30hz的采樣頻率連續(xù)獲取眼睛運(yùn)動的紅外圖像，并將該些紅外圖像發(fā)送至主機(jī)。

紅外圖像中瞳孔為紅外光反射特征最明顯的部分，形成一個最亮的光點(diǎn)，該亮點(diǎn)即為瞳孔位置，該亮點(diǎn)所在的位置為瞳孔在紅外圖像中的平面坐標(biāo)，記為(x，y)。

s02，主機(jī)根據(jù)紅外圖像確定每幀紅外圖像中的瞳孔位置，并根據(jù)連續(xù)多幀紅外圖像中的瞳孔位置確定眼睛運(yùn)動軌跡、眼睛運(yùn)動速度以及眼睛停留時長，得到眼睛運(yùn)動模式。

s03，主機(jī)根據(jù)紅外圖像中瞳孔位置、眼動坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系確定虛擬物體，得到虛擬距離d。

本步驟的具體過程為：

首先，標(biāo)定眼動坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系，具體為：

用戶按照順序看頭戴式虛擬現(xiàn)實(shí)眼鏡中顯示屏四個角上的紅色標(biāo)記點(diǎn)，以左下角為坐標(biāo)原點(diǎn)，則四個紅色標(biāo)記點(diǎn)分別記為(0,0)，(0,顯示屏分辨路高度h)，(顯示屏分辨率寬度w,h)，(w,0)；用戶在看這四個紅色標(biāo)記點(diǎn)時，所記錄的紅外圖像上瞳孔的坐標(biāo)記為(0,0)，(0,h)，(w,h)，(w,0)；這樣，所有在紅外圖像中四個坐標(biāo)(0,0)，(0,h)，(w,h)，(w,0)形成的范圍內(nèi)的瞳孔位置(x,y)，均線性投射至頭戴式虛擬現(xiàn)實(shí)眼鏡的顯示屏中四個坐標(biāo){(0,0)，(0,h)，(w,h)，(w,0)}范圍內(nèi)的坐標(biāo)(x，y)。

然后，根據(jù)紅外圖像中瞳孔位置、眼動坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系確定虛擬現(xiàn)實(shí)眼睛的顯示屏上眼睛注視的焦點(diǎn)，這個焦點(diǎn)是根據(jù)單眼的瞳孔位置確定的焦點(diǎn)，雙眼的焦點(diǎn)在看一個物體的時候?qū)崿F(xiàn)會交叉，交叉點(diǎn)就落在焦點(diǎn)物體上，所以這里單眼就足夠了。

最后，根據(jù)該焦點(diǎn)沿著與虛擬現(xiàn)實(shí)顯示屏垂直的方向向虛擬環(huán)境中延伸，遇到的第一個物體為需要確定的虛擬物體，虛擬物體與虛擬現(xiàn)實(shí)中三維場景的攝像機(jī)中心點(diǎn)之間的z方向上的距離為虛擬距離。

s04，主機(jī)根據(jù)虛擬距離d和眼睛運(yùn)動模式激活與該虛擬距離對應(yīng)的用戶界面的交互方式與用戶界面的內(nèi)容顯示。

本步驟具體為：

當(dāng)d≥3000mm時，采用如圖2所示的用戶界面懸浮于虛擬物體中心點(diǎn)位置上方空中的呈現(xiàn)方式；此時，用戶界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶界面的寬為w/4，高為h/4，用戶界面的交互內(nèi)容為物體的標(biāo)記信息，字體大小為80px(目前虛擬現(xiàn)實(shí)設(shè)備中文字最小像素大小為14px，最佳為20px)；當(dāng)用戶頭部和眼睛運(yùn)動均保持靜止達(dá)1秒時，(通過判斷用戶眼動軌跡實(shí)現(xiàn))，保持用戶界面的中心位置不變，動態(tài)持續(xù)放大用戶界面的尺寸至原來的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/8，同時交互內(nèi)容增多；當(dāng)用戶頭部或眼睛恢復(fù)移動，則自動縮小用戶界面至原來尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)1500mm≤d＜3000mm時，采用如圖3所示的用戶界面半結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶界面的一側(cè)邊與虛擬物體相連；此時，用戶界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/32，用戶界面的寬為w/4，高為h/8，用戶界面的交互內(nèi)容為物體的標(biāo)記信息與簡略的介紹文本、圖片以及視頻，字體大小為40px；當(dāng)用戶頭部和眼睛運(yùn)動均保持靜止達(dá)1秒時，保持用戶界面的中心位置不變，動態(tài)持續(xù)放大用戶界面的尺寸至原來的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶界面的寬為w/4，高為h/4，同時交互內(nèi)容增多；當(dāng)用戶的頭部或者眼睛恢復(fù)運(yùn)動，則自動縮小用戶界面至原來尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)d＜1500mm時，采用如圖4所示的用戶界面完全結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶界面的平面完全投影在虛擬物體的表面上；此時，用戶界面尺寸為注視焦點(diǎn)所在的物體表面的大小(即最大內(nèi)切矩形)，用戶界面交互內(nèi)容為物體的標(biāo)記信息、詳細(xì)的文本、圖片以及視頻；字體大小為20px；當(dāng)用戶頭部和眼動運(yùn)動均保持靜止達(dá)1秒時，動態(tài)更新一次用戶界面中的內(nèi)容(也包括加載顯示視頻)；當(dāng)用戶的頭部或者眼睛恢復(fù)運(yùn)動，則交互內(nèi)容自動恢復(fù)至初始狀態(tài)。

以上所述的具體實(shí)施方式對本發(fā)明的技術(shù)方案和有益效果進(jìn)行了詳細(xì)說明，應(yīng)理解的是以上所述僅為本發(fā)明的最優(yōu)選實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范圍內(nèi)所做的任何修改、補(bǔ)充和等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。