用于確定凝視方向的方法和設(shè)備的制作方法
【專(zhuān)利摘要】本發(fā)明的一個(gè)方面涉及一種用于在運(yùn)動(dòng)時(shí)支撐具有顯示表面(21)的移動(dòng)終端(20)、諸如移動(dòng)電話(huà)或類(lèi)似物體的設(shè)備(10)。本發(fā)明的特征在于，該設(shè)備包括：形成用于設(shè)備的手持部的支撐元件(11)；以及使之相對(duì)于支撐元件(11)可移動(dòng)地安裝的板(12)，所述板(12)形成擬在使用位置中接收移動(dòng)終端的容納部，其中顯示表面(21)可以由用戶(hù)進(jìn)行觀察。該設(shè)備包括與支撐元件(11)關(guān)聯(lián)的多個(gè)參考光源(16a、16b、16c、16d)，多個(gè)參考光源可以朝向用戶(hù)的眼睛發(fā)射光，并在與擬接收于容納部中的移動(dòng)終端的顯示表面(21)共面的二維陣列中設(shè)置在容納部的環(huán)境下。
【專(zhuān)利說(shuō)明】用于確定凝視方向的方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及與凝視(被稱(chēng)為“眼部追蹤”)方向的測(cè)量和追蹤相關(guān)聯(lián)的【技術(shù)領(lǐng)域】，并且根據(jù)其各方面中的第一方面，更具體地涉及一種用于追蹤用戶(hù)在用戶(hù)觀察的顯示表面上的凝視的方法，該顯示表面特別地由諸如移動(dòng)電話(huà)或觸摸屏平板等移動(dòng)終端的屏幕組成，雖然是可移動(dòng)的，但允許它在被觀察的顯示表面上用戶(hù)凝視所瞄準(zhǔn)的位置處被確定。
【背景技術(shù)】
[0002]通過(guò)申請(qǐng)的非排他性示例，本發(fā)明可特別地提到對(duì)凝視與用戶(hù)接口的相互作用的分析，這在例如旨在評(píng)估該接口內(nèi)的關(guān)注區(qū)域或者旨在適應(yīng)該接口的人體工程學(xué)特性的行為研究框架中進(jìn)行。
[0003]在現(xiàn)有技術(shù)中，應(yīng)區(qū)分眼部追蹤系統(tǒng)的兩大分支:
[0004]-非侵入式和非便攜式的系統(tǒng)；
[0005]-侵入式和便攜式的系統(tǒng)。
[0006]所有這些系統(tǒng)使用的基本技術(shù)原理均在于評(píng)估從光源的角膜反射和瞳孔的相對(duì)位置開(kāi)始的凝視方向。
[0007]該原理在于將LED (發(fā)光二極管)設(shè)置為發(fā)射紅外線(xiàn)波長(zhǎng)的輻射的光源，正位于擬采集眼睛圖像的攝像機(jī)物鏡的旁邊。該紅外線(xiàn)LED在與攝像機(jī)物鏡的軸線(xiàn)相同的方向上發(fā)射朝向眼睛的光。該光反射于眼角膜上:然后，所謂“Purkinje斑”的光斑出現(xiàn)于由攝像機(jī)捕獲的眼角膜圖像上。
[0008]非侵入式追蹤系統(tǒng)是在受試者例如正在觀看計(jì)算機(jī)屏幕時(shí)允許眼睛的移動(dòng)被記錄并由此允許追蹤凝視的系統(tǒng)。
[0009]該類(lèi)型的系統(tǒng)一般包括清晰度非常高的攝像頭，該攝像頭距離用戶(hù)頭部大約六十厘米設(shè)置在受試者的凝視軸線(xiàn)上。
[0010]由于該攝像頭是高清晰度的，于是可以區(qū)分它所指向的用戶(hù)面部。然后，通過(guò)圖像處理和形狀識(shí)別，可以辨認(rèn)出眼睛的方位并放大圖像，以準(zhǔn)確地確定瞳孔相對(duì)于Purkinje斑的位置。該系統(tǒng)不與用戶(hù)相互作用，并且用戶(hù)不必戴上特種眼鏡或頭盔。
[0011]然而，該系統(tǒng)的主要缺陷在于，它依靠使用高清晰度攝像頭，其成本超過(guò)具有標(biāo)準(zhǔn)分辨率的攝像頭的價(jià)格的100倍以上。另外，在對(duì)凝視分析期間，用戶(hù)無(wú)法使他/她的頭部移動(dòng)超出由拍攝眼睛的攝像頭的視場(chǎng)角限定的三維極限。
[0012]此外，用戶(hù)注視的屏幕必然要被固定，這構(gòu)成了重要的限制，例如阻止該類(lèi)型的系統(tǒng)適應(yīng)移動(dòng)終端的顯示屏幕，移動(dòng)終端就其性質(zhì)而言諸如是要在移動(dòng)時(shí)使用的移動(dòng)電話(huà)或觸摸屏平板。
[0013]侵入式眼部追蹤系統(tǒng)允許在用戶(hù)觀看全景現(xiàn)場(chǎng)時(shí)該眼部追蹤被記錄，諸如是飛機(jī)的駕駛艙，例如抑或是車(chē)輛的儀表盤(pán)。
[0014]該類(lèi)型的系統(tǒng)一般包括第一攝像機(jī)，第一攝像機(jī)距離用戶(hù)頭部大約十厘米設(shè)置在用戶(hù)的凝視軸線(xiàn)上。該攝像機(jī)接近頭部，因此它必須固定到一對(duì)特種眼鏡或固定到頭盔。[0015]由于該攝像機(jī)直接拍攝眼睛面積，通過(guò)圖像處理，可以準(zhǔn)確地認(rèn)出瞳孔相對(duì)于Purkinje斑的位置。
[0016]因此，該系統(tǒng)賦予用戶(hù)以極大的移動(dòng)自由度。用戶(hù)可以因此到處移動(dòng)，而同時(shí)給予攝像頭分析他/她凝視的方向的可能性。另外，這樣的系統(tǒng)允許使用所有類(lèi)型的攝像頭，例如與高清晰度攝像頭相比具有降低的成本。
[0017]該類(lèi)型的系統(tǒng)還包括被稱(chēng)為“現(xiàn)場(chǎng)攝像頭”的第二攝像機(jī)，用于拍攝用戶(hù)觀察的現(xiàn)場(chǎng)。分別由第一攝像機(jī)和第二攝像機(jī)產(chǎn)生的這兩個(gè)視頻流被處理，以形成代表現(xiàn)場(chǎng)并包括光標(biāo)的單個(gè)視頻流，該光標(biāo)允許各位置處于用戶(hù)及時(shí)地在每個(gè)時(shí)刻引導(dǎo)他/她的凝視被追蹤的現(xiàn)場(chǎng)中。這樣的系統(tǒng)對(duì)本領(lǐng)域技術(shù)人員是熟知的，特別是通過(guò)文獻(xiàn)US2010/0053555中給出的示例。
[0018]然而，該系統(tǒng)的一個(gè)缺陷歸于以下事實(shí)，S卩:用來(lái)確定眼睛位置的第一攝像機(jī)以及允許用戶(hù)觀察的現(xiàn)場(chǎng)被拍攝的第二攝像機(jī)處于相同的參考系中，該參考系中關(guān)聯(lián)到用戶(hù)頭部的參考系。而且，在移動(dòng)性背景下，該系統(tǒng)并不是很適于追蹤在可移動(dòng)物體的表面上、更具體地在諸如移動(dòng)電話(huà)等移動(dòng)終端的顯示屏幕上的凝視。實(shí)際上，例如當(dāng)現(xiàn)場(chǎng)攝像頭記錄現(xiàn)場(chǎng)時(shí)，在該現(xiàn)場(chǎng)，用戶(hù)在到處移動(dòng)的同時(shí)處于觀看移動(dòng)電話(huà)屏幕的過(guò)程中，則所述正被注視和拍攝的物體在由現(xiàn)場(chǎng)攝像頭記錄現(xiàn)場(chǎng)所產(chǎn)生的視頻圖像流中變得可移動(dòng)。然后，特別難以能夠自動(dòng)地確定用戶(hù)在到處移動(dòng)時(shí)觀看的事物。
[0019]例如，如果用戶(hù)在移動(dòng)性背景下一直觀看移動(dòng)電話(huà)屏幕上的關(guān)注區(qū)域，則用戶(hù)的凝視點(diǎn)不會(huì)根據(jù)所述關(guān)注區(qū)域而移動(dòng)，但在由現(xiàn)場(chǎng)攝像頭記錄現(xiàn)場(chǎng)產(chǎn)生的視頻圖像流上，它根據(jù)被注視的關(guān)注區(qū)域圖像的位置而到處移動(dòng)，本身可在所產(chǎn)生的視頻流內(nèi)移動(dòng)。
[0020]從而，在該移動(dòng)性背景內(nèi)，不可能容易地且尤其自動(dòng)地確定的是用戶(hù)會(huì)一直觀看所述關(guān)注區(qū)域，這是不希望的，除非通過(guò)賦予系統(tǒng)以強(qiáng)大的圖像處理和形狀識(shí)別手段才能夠準(zhǔn)確地認(rèn)出位于視頻圖像流內(nèi)的所述關(guān)注區(qū)域，以從這推斷出圖像上的凝視點(diǎn)確實(shí)一直跟隨著該關(guān)注區(qū)域，可在圖像內(nèi)移動(dòng)。

【發(fā)明內(nèi)容】

[0021]在這個(gè)背景下，本發(fā)明的目的是克服現(xiàn)有技術(shù)的缺陷并具體解決侵入式和便攜式類(lèi)型的已知眼部追蹤系統(tǒng)所遇到的問(wèn)題，以便能夠在移動(dòng)性背景內(nèi)容易地且自動(dòng)地確定相對(duì)于被注視物體、特別是移動(dòng)電話(huà)的凝視方向。
[0022]根據(jù)本發(fā)明各方面中的第一方面，本發(fā)明因此涉及一種用于追蹤用戶(hù)在正由用戶(hù)觀察的移動(dòng)終端的顯示表面上凝視的方法，在于:在被觀察的顯示表面上確定用戶(hù)的凝視位置，其中提供了位于用戶(hù)的凝視軸線(xiàn)上的第一攝像機(jī)和指向眼睛且位于第一攝像機(jī)物鏡附近的第一光源，以收集第一視頻信號(hào)，第一視頻信號(hào)至少包括瞳孔的圖像和第一光源的角膜反射的圖像；收集第二視頻信號(hào)，第二視頻信號(hào)包括正由用戶(hù)觀察的顯示表面的圖像；分析第一視頻信號(hào)，以依據(jù)瞳孔中心相對(duì)于第一光源的角膜反射中心的位置在眼睛的參考系中測(cè)量凝視方向；以及依據(jù)在眼睛參考系中測(cè)量的凝視方向，在第二視頻信號(hào)中顯示代表被觀察的顯示表面上凝視位置的光標(biāo)。
[0023]根據(jù)本發(fā)明，在不同于第一攝像機(jī)參考系的、與被觀察顯示表面參考系關(guān)聯(lián)的參考系中捕獲第二視頻信號(hào)，將多個(gè)參考光源定位在捕獲第二視頻信號(hào)的參考系中，其指向眼睛并根據(jù)與被觀察顯示表面共面的二維陣列設(shè)置，使得由第一攝像機(jī)收集的第一視頻信號(hào)還包括參考光源在眼睛上的角膜反射的圖像，并且分析第一視頻信號(hào)，以補(bǔ)充參考光源在眼睛上的角膜反射的中心位置，并且基于參考光源在眼睛上的角膜反射的中心位置并基于眼睛參考系中測(cè)量的凝視方向來(lái)確定被觀察的顯示表面的平面中的凝視位置。
[0024]有利地，在眼睛參考系中，基于參考光源在眼睛上的角膜反射的中心位置，相對(duì)于眼睛上的被觀察表面的位置來(lái)確定凝視位置，并且在與眼睛參考系關(guān)聯(lián)的坐標(biāo)系和與由對(duì)應(yīng)于被觀察顯示表面平面的多個(gè)參考光源形成的平面關(guān)聯(lián)的坐標(biāo)系之間使用轉(zhuǎn)換關(guān)系，以便依據(jù)在眼睛參考系中確定的凝視位置來(lái)確定被觀察顯示表面的平面中的凝視位置。
[0025]根據(jù)一個(gè)實(shí)施方式，執(zhí)行初始操作，以依據(jù)用戶(hù)的眼睛在捕獲第二視頻信號(hào)的參考系中校準(zhǔn)被觀察表面的定位，在于:計(jì)算瞳孔在預(yù)限定測(cè)試圖案的每個(gè)安裝點(diǎn)上的中心位置，預(yù)限定測(cè)試圖案定位在被觀察表面的平面中，允許位于被觀察表面的平面和眼睛的圖像之間的對(duì)應(yīng)點(diǎn)被限定。
[0026]可優(yōu)選地，具體在黑暗環(huán)境中實(shí)施系統(tǒng)的情況下，提供指向眼睛、靠近第一攝像機(jī)物鏡、設(shè)計(jì)為增強(qiáng)眼睛照明的第二光源。
[0027]可優(yōu)選地，提供第二攝像機(jī)，其定位在被觀察的顯示表面的參考系中，用于捕獲第二視頻信號(hào)。
[0028]根據(jù)一個(gè)變型例，通過(guò)使用移動(dòng)終端的視頻輸出來(lái)捕獲第二視頻信號(hào)。
[0029]根據(jù)本發(fā)明各方面中的另一方面，本發(fā)明還涉及一種用于在可移動(dòng)狀態(tài)下支撐具有顯示表面的移動(dòng)終端、特別是移動(dòng)電話(huà)或類(lèi)似物體的設(shè)備，以實(shí)施根據(jù)本發(fā)明的方法，其特征在于，該設(shè)備包括形成用于設(shè)備的手動(dòng)夾持機(jī)構(gòu)的支撐元件以及相對(duì)于支撐元件可移動(dòng)地安裝的托盤(pán)，托盤(pán)形成設(shè)計(jì)為在使用位置中接收移動(dòng)終端的容納部，其中顯示表面能夠由用戶(hù)進(jìn)行觀察，該設(shè)備包括與支撐元件關(guān)聯(lián)的多個(gè)參考光源，所述多個(gè)參考光源能夠朝向用戶(hù)發(fā)射光并根據(jù)與擬接收于容納部中的移動(dòng)終端的顯示表面共面的二維陣列而設(shè)置在容納部的環(huán)境中。
[0030]根據(jù)一個(gè)實(shí)施方式，該設(shè)備包括設(shè)計(jì)為支撐多個(gè)參考光源的第一支撐框架，第一支撐框架由多個(gè)臂構(gòu)成，多個(gè)臂在它們中每個(gè)的各自第一端處安裝在支撐元件上，并在它們各自第二端上安裝了來(lái)自多個(gè)參考光源的一個(gè)相應(yīng)光源。
[0031]有利地，此外，該設(shè)備可以包括被稱(chēng)為第二攝像機(jī)的攝像機(jī)，其附接至支撐元件并且能夠朝向設(shè)計(jì)為接收移動(dòng)終端的容納部而取向，以便捕獲被觀察的顯示表面的圖像。
[0032]根據(jù)一個(gè)實(shí)施方式，該設(shè)備包括設(shè)計(jì)為支撐第二攝像機(jī)的第二支撐框架，其包括一臂，該臂通過(guò)第一端附接至支撐元件，并從該第一端延伸到第二端，第二端定位在設(shè)計(jì)為接收移動(dòng)終端的容納部上方，臂的該第二端配備有用于固定攝像機(jī)的裝置，該裝置能夠保持?jǐn)z像機(jī)在正確的方位中。
[0033]有利地，多個(gè)參考光源由四個(gè)發(fā)光二極管構(gòu)造，當(dāng)它們采用三個(gè)時(shí)是未對(duì)準(zhǔn)的。
[0034]可優(yōu)選地，發(fā)光二極管發(fā)射紅外線(xiàn)波長(zhǎng)范圍內(nèi)的輻射。
[0035]可優(yōu)選地，托盤(pán)旋轉(zhuǎn)地安裝在支撐元件上、位于基本彼此呈直角的兩個(gè)位置之間，以這樣的方式分別限定用于擬接收于容納部中的移動(dòng)終端的顯示表面的被稱(chēng)為肖像的位置和被稱(chēng)為景觀的位置，并且在這些各自位置的每個(gè)之中提供用于鎖定托盤(pán)的裝置。
[0036]本發(fā)明的另一方面還涉及一種用于追蹤用戶(hù)在可移動(dòng)狀態(tài)下在移動(dòng)終端的顯示表面上凝視的系統(tǒng)，其特征在于，該系統(tǒng)包括:根據(jù)本發(fā)明的用于支撐所述移動(dòng)終端的設(shè)備；附接至用戶(hù)的裝備的便攜式單元，包括設(shè)計(jì)為調(diào)整至用戶(hù)頭部的支撐件和在用戶(hù)的凝視軸線(xiàn)上安裝到支撐件上并在其末端處承載攝像機(jī)(被稱(chēng)為第一攝像機(jī))的臂；和第一光源，指向眼睛并位于第一攝像機(jī)的物鏡附近；以及處理單元，處理單元包括能夠接收第一視頻信號(hào)的第一視頻輸入接口，由便攜式裝備的第一攝像機(jī)捕獲的第一視頻信號(hào)包括瞳孔的圖像、指向眼睛的第一光源的角膜反射的圖像和與配備用于支撐物體的設(shè)備的每個(gè)參考光源對(duì)應(yīng)的角膜反射的圖像，處理單元包括能夠接收第二視頻信號(hào)的第二視頻輸入接口，第二視頻信號(hào)包括由用戶(hù)觀察的顯示表面的圖像，并且處理單元包括處理器模塊，基于第一視頻信號(hào)中參考光源的角膜反射中心的位置，并基于在眼睛的參考系中測(cè)量的凝視方向，處理器模塊依據(jù)瞳孔中心相對(duì)于第一光源角膜反射中心的位置并依據(jù)在被觀察顯示表面的平面中對(duì)凝視位置的確定能夠在眼睛的參考系中從第一視頻信號(hào)測(cè)量凝視方向。
[0037]可優(yōu)選地，在根據(jù)本發(fā)明的系統(tǒng)中實(shí)施的用于支撐移動(dòng)終端的設(shè)備包括被稱(chēng)為第二攝像機(jī)的攝像機(jī)，用于提供第二視頻信號(hào)，所述第二攝像機(jī)可以有利地附接至支撐元件并能夠朝向設(shè)計(jì)為接收移動(dòng)終端的容納部而取向，用于捕獲被觀察的顯示表面的圖像，并且處理單元的第二視頻輸入接口連接到該第二攝像機(jī)的提供第二視頻信號(hào)的視頻輸出。
[0038]根據(jù)一個(gè)變型例，處理單元的第二視頻輸入接口連接到移動(dòng)終端的能夠提供第二視頻信號(hào)的視頻輸出。
[0039]有利地，處理單元包括能夠提供第二視頻信號(hào)的視頻輸出接口，在第二視頻信號(hào)中，被觀察的顯示表面的圖像在處理器模塊確定的被觀察的表面的平面中顯示代表凝視位置的光標(biāo)。
[0040]可優(yōu)選地，該系統(tǒng)包括用于同步第一光源和參考光源的照明的模塊，其中由便攜式裝備的第一攝像機(jī)捕獲視頻信號(hào)，所述同步模塊包括能夠接收來(lái)自便攜式裝備第一攝像機(jī)的第一視頻信號(hào)的視頻輸入接口、設(shè)計(jì)為以同步方式控制第一光源和參考光源的照明和熄滅的供電裝置以及用于處理視頻信號(hào)的裝置，該視頻信號(hào)將所述供電裝置構(gòu)造為以?xún)蓚€(gè)圖像之一相對(duì)于便攜式裝備第一攝像機(jī)所捕獲圖像的速率來(lái)控制第一光源和參考光源的照明。
[0041]有利地，安裝在便攜式裝備的支撐件上的臂是伸縮臂，該伸縮臂配備有用于將第一攝像機(jī)維持在正確的方位中的抗旋轉(zhuǎn)裝置。
[0042]在一個(gè)實(shí)施方式中，伸縮臂包括兩個(gè)關(guān)聯(lián)的平行滑動(dòng)桿，其中至少一個(gè)在臂的近端處具有滑動(dòng)控制件。
[0043]可優(yōu)選地，便攜式裝備的支撐件是具有兩個(gè)支架的眼鏡架，所述臂固定到眼鏡架的支架之一上。
[0044]可優(yōu)選地，安裝在便攜式裝備的支撐件上的臂承載指向眼睛、靠近第一攝像機(jī)的物鏡、設(shè)計(jì)為促進(jìn)眼睛照明的第二光源。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0045]參考附圖，在閱讀通過(guò)非限制性示例給出的本發(fā)明一個(gè)特定實(shí)施方式的下文所呈現(xiàn)說(shuō)明的基礎(chǔ)上，本發(fā)明的其它特征和優(yōu)點(diǎn)將變得顯而易見(jiàn)，在圖中:
[0046]-圖1示出了根據(jù)本發(fā)明的眼部追蹤系統(tǒng)的總體圖；[0047]-圖2示意性地圖示了用于在可移動(dòng)狀態(tài)下支撐用戶(hù)所觀察的物體的根據(jù)本發(fā)明設(shè)備的側(cè)視圖；
[0048]-圖3圖示了圖2中設(shè)備的頂視圖；
[0049]-圖4示意性地圖示了在根據(jù)本發(fā)明的眼部追蹤系統(tǒng)的實(shí)施框架中設(shè)計(jì)為由用戶(hù)承載的便攜式裝備的輪廓圖；
[0050]-圖5圖示了圖4中便攜式裝備的頂視圖；
[0051]-圖6圖示了圖2中設(shè)備的頂視圖，校準(zhǔn)測(cè)試圖案設(shè)置在該設(shè)備上，和
[0052]-圖7圖示了當(dāng)系統(tǒng)處于操作時(shí)由圖4和5中所示便攜式裝備的攝像頭捕獲的眼睛圖像。
【具體實(shí)施方式】
[0053]現(xiàn)在將要通過(guò)示例描述的系統(tǒng)被設(shè)計(jì)為確定受試人一下文中的用戶(hù)一相對(duì)于物體被觀察的顯示表面的凝視方向的瞬時(shí)位置，該顯示表面例如具體采用諸如移動(dòng)電話(huà)或觸摸屏平板等移動(dòng)終端的顯示屏幕的形式。本發(fā)明可應(yīng)用于在真實(shí)可移動(dòng)情況下由用戶(hù)使用物體的背景之下。從而，在本發(fā)明的系統(tǒng)中，對(duì)在使用時(shí)通常由用戶(hù)手持的物體而言，應(yīng)規(guī)定為可相對(duì)于用戶(hù)頭部移動(dòng)。
[0054]如之前已經(jīng)說(shuō)明的，侵入式和便攜式類(lèi)型的已知眼部追蹤系統(tǒng)不適于記錄在真實(shí)的移動(dòng)性背景下用戶(hù)正觀看物體的現(xiàn)場(chǎng)，因?yàn)楸蛔⒁暫团臄z的物體在由現(xiàn)場(chǎng)攝像頭記錄現(xiàn)場(chǎng)所產(chǎn)生的視頻中變得可移動(dòng)。從而，雖然仍落入侵入式和便攜式類(lèi)型的眼部追蹤系統(tǒng)的分支中，但本發(fā)明的系統(tǒng)提供對(duì)用戶(hù)觀察的現(xiàn)場(chǎng)的捕獲，換句話(huà)說(shuō)常常在移動(dòng)電話(huà)的參考系中捕獲移動(dòng)電話(huà)的屏幕；并且定位在設(shè)計(jì)為反射于用戶(hù)眼睛中的參考光源的該相同參考系內(nèi)，此外這些光源相對(duì)于移動(dòng)電話(huà)設(shè)置在與移動(dòng)電話(huà)屏幕形成的平面相同的平面中。
[0055]因此，被觀察的顯示表面(屏幕)的圖像將總是位于由現(xiàn)場(chǎng)攝像頭產(chǎn)生的視頻中的同一個(gè)地方，并且如下文中將看到的，參考光源的反射在計(jì)算之后將允許由瞳孔在眼睛圖像中的位置推斷而出的凝視位置關(guān)聯(lián)到位于觀察現(xiàn)場(chǎng)的參考系中的凝視位置。
[0056]為此，圖1所示根據(jù)本發(fā)明的系統(tǒng)的實(shí)施方式示出了用于在可移動(dòng)狀態(tài)下支撐移動(dòng)終端20的設(shè)備10，移動(dòng)終端20具有設(shè)計(jì)為由用戶(hù)注視的顯示表面21。移動(dòng)終端例如由移動(dòng)電話(huà)組成，而顯示表面由移動(dòng)電話(huà)的屏幕組成。在圖2和3中更精確圖示的設(shè)備10包括支撐元件11，支撐元件11 一方面設(shè)計(jì)為用作用于設(shè)備的基板，另一方面設(shè)計(jì)為用作用于設(shè)備的手動(dòng)夾持機(jī)構(gòu)。它采用單個(gè)散片的形式，構(gòu)建為形成平面支撐的第一部分11a、從平面支撐部延伸并形成允許用戶(hù)保持并操縱整個(gè)組件的手柄的第二部分Ilb以及第三部分11c，第三部分Ilc以?xún)A斜方式從形成手柄的部分Ilb的一端延伸，并且托盤(pán)12安裝到第三部分Ilc上。托盤(pán)12包括平面表面12a，平面表面12a例如裝配有下端和上端止擋件12b和12c，從而界定出容納部，該容納部設(shè)計(jì)為特別當(dāng)他/她正將設(shè)備保持在一只手中時(shí)將移動(dòng)電話(huà)接收于使用位置中，即接收于使顯示屏幕能夠由用戶(hù)進(jìn)行觀察的位置中。托盤(pán)12設(shè)計(jì)為在支撐元件11上可移動(dòng)地安裝，并且更精確地旋轉(zhuǎn)安裝在支撐元件的傾斜部分Ilc上。托盤(pán)12例如裝配有鎖緊螺釘13，允許托盤(pán)12在適當(dāng)限定的位置中鎖定到支撐元件11的傾斜部分Ilc上。螺釘13允許托盤(pán)12例如鎖定在兩個(gè)基本彼此呈直角的位置中，以這樣的方式分別限定用于擬接收于容納部中的移動(dòng)電話(huà)的顯示屏幕的被稱(chēng)為肖像的位置和被稱(chēng)為景觀的位置。
[0057]此外，設(shè)備10包括被稱(chēng)為現(xiàn)場(chǎng)攝像頭的攝像機(jī)14，其被提供在與移動(dòng)電話(huà)相同的參考系中，用于捕獲接收于容納部中的移動(dòng)電話(huà)的屏幕圖像。為了實(shí)現(xiàn)這一點(diǎn)，現(xiàn)場(chǎng)攝像頭14由輕型框架15保持在托盤(pán)12上方，托盤(pán)12形成用于移動(dòng)電話(huà)的容納部，配備設(shè)備的輕型框架15可優(yōu)選地在形成手柄的部分Ilb的上部區(qū)域中附接至支撐元件11，以不干涉整個(gè)組件的夾持。在接收于設(shè)備10容納部中的移動(dòng)電話(huà)的參考系中，被設(shè)計(jì)為支撐現(xiàn)場(chǎng)攝像頭14的支撐框架15包括例如臂，該臂將其第一端固定到支撐元件11并從該第一端朝向定位在形成容納部的托盤(pán)上方的第二端延伸。臂的該第二端配備有用于固定現(xiàn)場(chǎng)攝像頭14的裝置(未示出)，允許現(xiàn)場(chǎng)攝像頭14保持在正確的方位中。由于該布置，現(xiàn)場(chǎng)攝像頭14被提供用于拍攝接收于設(shè)備10容納部中的移動(dòng)電話(huà)屏幕，現(xiàn)場(chǎng)攝像頭14相對(duì)于移動(dòng)電話(huà)固定在移動(dòng)電話(huà)本身的參考系中。另外，在由現(xiàn)場(chǎng)攝像頭14捕獲屏幕所產(chǎn)生的視頻中，包括在例如用戶(hù)相對(duì)于被注視的屏幕移動(dòng)他/她的頭部又或者在他/她正觀看屏幕的同時(shí)在空間中移動(dòng)移動(dòng)電話(huà)的移動(dòng)性背景下，正被注視和拍攝的屏幕將保持固定。
[0058]根據(jù)一個(gè)變型實(shí)施方式，在移動(dòng)終端配備有這樣的常規(guī)上允許移動(dòng)終端的屏幕被顯示在外部顯示媒介(例如，電視或計(jì)算機(jī)的屏幕)上的視頻輸出的情況下，來(lái)自用戶(hù)所觀察屏幕的視頻信號(hào)可通過(guò)直接使用移動(dòng)終端的視頻輸出而捕獲。根據(jù)該變型實(shí)施方式，如上文中說(shuō)明的，配備設(shè)備10的現(xiàn)場(chǎng)攝像頭不是必須存在的。
[0059]而且，為了能夠在運(yùn)動(dòng)中確定屏幕上用戶(hù)凝視所瞄準(zhǔn)的方位，設(shè)備包括多個(gè)參考光源16a、16b、16c、16d,參考光源因此定位在與接收于容納部中的移動(dòng)電話(huà)相同的參考系中，并且被提供以便發(fā)射朝向用戶(hù)的擬反射于用戶(hù)眼睛上的光?？蓛?yōu)選地，參考光源16a、16b、16c、16d包括四個(gè)發(fā)射紅外線(xiàn)波長(zhǎng)的輻射的發(fā)光二極管(LED)。這四個(gè)紅外線(xiàn)LED根據(jù)位于與接收于容納部中的移動(dòng)電話(huà)屏幕形成的平面相同的平面中的二維陣列更精確地設(shè)置在容納部的環(huán)境中，此外在采用三個(gè)數(shù)目時(shí)展示出未對(duì)準(zhǔn)的特征。由四個(gè)紅外線(xiàn)LED16a至16d形成的平面設(shè)置為平行于由托盤(pán)12的平面表面12a(形成用于移動(dòng)電話(huà)的容納部)形成的平面，并且考慮到接收于容納部中的物體厚度而略微地位于后一平面上方某一高度處，以這樣的方式使四個(gè)LED定位在與由物體屏幕形成的平面相同的平面中。
[0060]四個(gè)參考紅外線(xiàn)LED由輕型支撐框架17保持在托盤(pán)12周?chē)?，托盤(pán)12形成用于接收移動(dòng)電話(huà)的容納部，配備設(shè)備的輕型支撐框架17可優(yōu)選地在支撐元件11的與配置用于支撐現(xiàn)場(chǎng)攝像頭14的輕型框架15相同的面積中附接至支撐元件11。用于四個(gè)紅外線(xiàn)LED的該支撐框架17例如包括四個(gè)臂，每個(gè)均具有附接紅外線(xiàn)LED的自由端，以這樣的方式使紅外線(xiàn)LED朝向用戶(hù)眼睛發(fā)射光；支撐框架17的每個(gè)臂的另一端附接至設(shè)備的支撐元件
11。支撐框架的臂彼此相對(duì)布置，以這樣的方式來(lái)滿(mǎn)足用于上文中如此描述的紅外線(xiàn)LED的幾何定位約束。
[0061]圖1所示根據(jù)本發(fā)明的系統(tǒng)的實(shí)施方式還示出了侵入式和便攜式類(lèi)型的設(shè)備30，用于辨認(rèn)眼睛相對(duì)于反射于角膜上的所謂“Purkinje斑”的光斑的位置。設(shè)計(jì)為附接至用戶(hù)的該裝備在圖4和5中更精確地加以描述。它包括設(shè)計(jì)為調(diào)整到用戶(hù)頭部的支撐件30。在此，支撐件30采用一對(duì)眼鏡的框架的形式，其中矯正鏡片被除去；并且包括兩個(gè)支架31，其中至少一個(gè)至少在其前沿區(qū)域中足夠?qū)?，用于橫向接收用于將微型攝像機(jī)33剛性固定到眼鏡框架30的臂32。如以下部分將詳細(xì)看到的，臂的長(zhǎng)度可由使用蝸桿36的機(jī)構(gòu)調(diào)整。[0062]臂32包括具有細(xì)長(zhǎng)基座34的板，其例如通過(guò)粘合劑結(jié)合到眼鏡框架支架31而固定，并向前延伸細(xì)長(zhǎng)基座34。兩個(gè)平行管35a、35b通過(guò)任何手段、例如通過(guò)粘合劑帶而固定到支撐板34，并用作具有兩個(gè)滑動(dòng)桿36a、36b的引導(dǎo)構(gòu)件，其例如采用細(xì)管的形式。兩個(gè)桿36a、36b的末端從管35a、35b突出，并通過(guò)裝置36c使一個(gè)附接至另一個(gè),例如通過(guò)具有插置支柱(interposed strut)的夾緊環(huán)又或者通過(guò)穿過(guò)兩管組成的組件的鉚釘使一個(gè)附接至另一個(gè)。再次地在末端處，相同的裝置36c或其它的裝置33a可用于在固定的方位中基本上沿用戶(hù)的凝視軸線(xiàn)將攝像機(jī)33固定到桿36a、36b。在近端處，桿36a、36b的端部也從外管35a、35b突出。因此，兩個(gè)桿36a、36b組成的組件可以滑動(dòng)，無(wú)需在管35a、35b中旋轉(zhuǎn)。也可以提供單個(gè)桿，其具有非圓柱形橫截面，以便保證沒(méi)有旋轉(zhuǎn)；但本實(shí)施方式具有的優(yōu)點(diǎn)是，允許非常流暢的滑動(dòng)且僅需非常常見(jiàn)和低成本的市售元件。
[0063]在其近端處，板34接收L形軸向引導(dǎo)件38，L形軸向引導(dǎo)件38包括與管35b和桿36b的軸線(xiàn)對(duì)準(zhǔn)的平滑軸向通道。該通道接收蝸桿的螺桿40。端部止擋螺母39在軸向引導(dǎo)部分38附近被螺紋連接到螺桿40上并例如通過(guò)粘合劑結(jié)合被阻擋于螺桿40上，而調(diào)整指輪(adjustment thumb-wheel) 37則結(jié)合到螺釘?shù)慕?其軸向移動(dòng)因此被元件37、38和39的端部止擋配合限制，而通過(guò)操作調(diào)整指輪可以使其自由旋轉(zhuǎn)。螺桿40接合于螺母41中，螺母41例如通過(guò)粘合劑結(jié)合而固定到桿IOb的近端。
[0064]該裝備的操作如下。在用戶(hù)頭部上調(diào)整眼鏡框架，潛在地遵循如上文中提到的預(yù)調(diào)整。用戶(hù)借助于指輪37執(zhí)行對(duì)由攝像頭33所捕獲圖像的清晰度的微調(diào):
[0065]-在第一預(yù)限定方向上旋轉(zhuǎn)指輪37使元件41更接近元件38。然而，元件41、36c、35a、35b和33剛性地固定在一起，由此使攝像頭更接近用戶(hù)的眼睛。
[0066]-在與第一預(yù)限定方向相反的方向上旋轉(zhuǎn)指輪使元件41進(jìn)一步遠(yuǎn)離元件38而移動(dòng)。然而，元件41、36c、35a、35b和33剛性地固定在一起，由此使攝像頭遠(yuǎn)離用戶(hù)的眼睛而移動(dòng)。
[0067]由于該布置，使攝像頭33更接近或進(jìn)一步遠(yuǎn)離用戶(hù)的眼睛位置并由此調(diào)整焦距會(huì)容易地執(zhí)行，并用一只手借助于指輪37的簡(jiǎn)單旋轉(zhuǎn)，指輪37設(shè)置在臂32近端處靠近耳朵，如圖4所示，換句話(huà)說(shuō)位于相對(duì)于受試者頭部固定的方位中，其中操縱指輪不會(huì)以不希望的方式危及設(shè)備整個(gè)組件的移動(dòng)，因此它不需要保持。
[0068]此外，裝備包括第一光源LI，第一光源LI指向眼睛并位于攝像機(jī)物鏡附近。它例如直接固定到攝像頭33主體上。該第一光源可優(yōu)選地包括發(fā)射紅外線(xiàn)波長(zhǎng)的輻射的LED，它此后被稱(chēng)為“Purkinje”LED。在必要的情況下，可以添加紅外線(xiàn)LED類(lèi)型的第二光源L2，其以與光源LI相同的方式指向眼睛并設(shè)置在攝像機(jī)的物鏡附近，以備系統(tǒng)具體使用于暗處的情況。
[0069]圖1所示根據(jù)本發(fā)明的系統(tǒng)的實(shí)施方式還示出了處理單元50，其包括:第一視頻輸入接口 51，用于接收由布置在用戶(hù)上的便攜式裝備的攝像機(jī)33捕獲的視頻信號(hào)；和第二視頻輸入接口 52，用于接收由現(xiàn)場(chǎng)攝像頭14捕獲的視頻信號(hào)，連同音頻輸入接口 53—起允許來(lái)自配備現(xiàn)場(chǎng)攝像頭的麥克風(fēng)的音頻信號(hào)被接收。處理單元還至少包括一個(gè)視頻輸出接口 54和一個(gè)音頻輸出接口 55。
[0070]因此，當(dāng)現(xiàn)場(chǎng)攝像頭14捕獲設(shè)置在支撐設(shè)備10上并由用戶(hù)觀察的移動(dòng)電話(huà)屏幕的圖像時(shí)，屏幕的圖像使用連接到處理單元視頻輸入接口 52的聯(lián)接件(link)以視頻信號(hào)的形式傳送到處理單元50，并存儲(chǔ)在處理單元的合適的存儲(chǔ)裝置中。根據(jù)上文中描述的沒(méi)有現(xiàn)場(chǎng)攝像頭的變型實(shí)施方式，處理單元50的視頻輸入接口 52設(shè)計(jì)為連接到接收于設(shè)備10容納部中的移動(dòng)終端的視頻輸出，而音頻輸入接口 53可以連接到分開(kāi)的麥克風(fēng)。在該變型例中，用戶(hù)所觀察的屏幕的視頻記錄因此經(jīng)由來(lái)自移動(dòng)終端的視頻輸出直接由移動(dòng)終端本身提供。
[0071]此外，當(dāng)布置在用戶(hù)頭部上的便攜式裝備的攝像機(jī)33捕獲用戶(hù)眼睛的圖像時(shí)，用戶(hù)眼睛的圖像使用連接到處理單元視頻輸入接口 51的聯(lián)接件以視頻信號(hào)的形式傳送到處理單元50，并存儲(chǔ)在處理單元的合適的存儲(chǔ)裝置中。
[0072]然而，在一個(gè)優(yōu)選實(shí)施方式中，系統(tǒng)包括附加模塊60，用于同步“Purkinje”LED和參考LED的照明，使便攜式裝備的攝像機(jī)33捕獲視頻信號(hào)。該模塊插置于攝像機(jī)33和處理單元50之間；它包括用于接收由便攜式裝備攝像頭33采集的視頻信號(hào)的視頻輸入接口61以及視頻輸出接口 62。它還包括用于供電至LED的裝置63，其設(shè)計(jì)為以同步方式控制“Purkinje” LED和參考LED的照明和熄滅。
[0073]因此，根據(jù)該優(yōu)選實(shí)施方式，當(dāng)在用戶(hù)頭部上調(diào)整的便攜式裝備的攝像機(jī)33捕獲用戶(hù)眼睛的圖像時(shí)，使用連接到同步模塊的視頻輸入接口 61的聯(lián)接件以視頻信號(hào)的形式將眼睛的圖像傳送到同步模塊60，并存儲(chǔ)在同步模塊的合適的存儲(chǔ)裝置中用于處理。與同步模塊處理視頻信號(hào)并行，該視頻信號(hào)使用將同步模塊視頻輸出接口 62連接到處理單元50視頻輸入接口 51的聯(lián)接件再傳送到處理單元50，無(wú)需修改，就如同它已經(jīng)接收在視頻輸入接口 61處。
[0074]同步模塊60的作用是:檢測(cè)包含在所接收的視頻信號(hào)中的同步信號(hào)，并依據(jù)該同步信號(hào)來(lái)控制“Purkinje” LED和參考LED的照明，以這樣的方式同步化這些LED的照明來(lái)捕獲圖像。更具體地，四個(gè)參考LED16a至16d和“Purkinje”LED LI由同步模塊控制，以?xún)蓚€(gè)圖像之一相對(duì)于便攜式裝備攝像頭33所捕獲的眼睛圖像的速率以同步方式閃光。采用的術(shù)語(yǔ)“同步”所指事實(shí)是，當(dāng)視頻信號(hào)由便攜式裝備的攝像頭33記錄時(shí)，LED例如將在記錄奇數(shù)個(gè)圖像期間0N(開(kāi)啟)，而它們將在記錄偶數(shù)個(gè)圖像期間OFF(關(guān)閉)。實(shí)際上，LED針對(duì)兩個(gè)圖像之一 ON的事實(shí)將僅允許LED的光反射在眼睛的生成圖像中的有效位置被更好地區(qū)別開(kāi)來(lái)。
[0075]更精確地，根據(jù)一個(gè)實(shí)施方式，同步模塊使用電子元器件，以便從攝像頭33的視頻信號(hào)提取與該視頻信號(hào)的偶數(shù)幀和奇數(shù)幀同步提示有關(guān)的第一信息，并基于第二信息的檢測(cè)處理該信息，第二信息從與視頻信號(hào)返回的偶數(shù)個(gè)和奇數(shù)個(gè)圖像提示有關(guān)的視頻信號(hào)中提取。應(yīng)回顧，圖像包括兩個(gè)幀(奇數(shù)幀和偶數(shù)幀)，視頻流包括一連串從I個(gè)到無(wú)窮個(gè)的圖像，包括奇數(shù)個(gè)圖像(1、3、5個(gè)等等)組和偶數(shù)個(gè)圖像(2、4、6個(gè)等等)組。因此，當(dāng)兩個(gè)圖像一個(gè)隨著另一個(gè)時(shí)，一個(gè)是奇數(shù)，而另一個(gè)必然是偶數(shù)。
[0076]基于允許奇數(shù)個(gè)圖像的奇數(shù)幀在視頻信號(hào)中被辨認(rèn)出的該信息，來(lái)自攝像頭33的視頻信號(hào)的這種處理可例如對(duì)應(yīng)于由同步模塊執(zhí)行的計(jì)算，以使LED在奇數(shù)個(gè)圖像的奇數(shù)幀被辨認(rèn)出的時(shí)刻發(fā)光，這相當(dāng)于照明具有奇數(shù)幀的使攝像頭處于捕獲過(guò)程中的現(xiàn)場(chǎng)。以這種方式，LED的照明持續(xù)時(shí)間嚴(yán)格等于單個(gè)幀的時(shí)間(即半個(gè)圖像的時(shí)間)。由于LED的照明僅只在奇數(shù)幀的整個(gè)持續(xù)時(shí)間內(nèi)被執(zhí)行并開(kāi)始于完整圖像的形成，則應(yīng)確定的是，照明必將在一個(gè)完整圖像上發(fā)生，并將無(wú)法疊置到之后圖像上。為此，同步模塊實(shí)施處理手段，即:能夠提取與該視頻信號(hào)的偶數(shù)幀和奇數(shù)幀同步提示有關(guān)的第一件信息，能夠處理該第一信息以獲得與視頻信號(hào)返回的偶數(shù)個(gè)和奇數(shù)個(gè)圖像提示有關(guān)的第二件信息，并且能夠在以這種方式獲得的奇數(shù)幀和奇數(shù)個(gè)圖像之間執(zhí)行AND(與)邏輯類(lèi)型的操作，從而確定用于照明/熄滅LED的命令將被發(fā)送至向LED供電的模塊。
[0077]應(yīng)注意，作為變型例，可以使用數(shù)字?jǐn)z像頭，允許用于偶數(shù)個(gè)和奇數(shù)個(gè)圖像的同步信號(hào)直接恢復(fù)。實(shí)際上，這樣的數(shù)字?jǐn)z像頭可有利地得到圖像同步提示，沒(méi)有必要從視頻信號(hào)提取它。
[0078]同步模塊及其操作原理在專(zhuān)利文獻(xiàn)FR2937428中進(jìn)行了描述，針對(duì)進(jìn)一步的細(xì)節(jié)，讀者可有益地參閱該專(zhuān)利文獻(xiàn)。
[0079]一方面，操作如剛剛已經(jīng)描述的系統(tǒng)需要校準(zhǔn)用戶(hù)眼睛(原則上每個(gè)用戶(hù)具有不同的眼睛)的內(nèi)在參數(shù)以及托盤(pán)12在現(xiàn)場(chǎng)攝像頭14場(chǎng)內(nèi)的定位參數(shù)。為此，如圖6所示，所用的測(cè)試圖案70定位在設(shè)備10的托盤(pán)12上。測(cè)試圖案70采用板71的形式:五個(gè)校準(zhǔn)LED72根據(jù)預(yù)限定的幾何形狀固定到其上，并朝向用戶(hù)的眼睛發(fā)射光；便攜式裝備30已經(jīng)在其上進(jìn)行了初始調(diào)整。例如，四個(gè)LED設(shè)置在板71上以形成方形，而第五LED設(shè)置在方形的中心，在圖6的頂視圖上，后者被攝像頭14掩蓋。所用的校準(zhǔn)LED72是在它們發(fā)光時(shí)對(duì)肉眼而言顏色可見(jiàn)的LED，可優(yōu)選地是紅色。
[0080]根據(jù)圖6中的示例，板71具有兩個(gè)孔73、74，當(dāng)板71定位在托盤(pán)12上時(shí)，兩個(gè)參考LED16a、16b穿過(guò)這兩個(gè)孔，使得在校準(zhǔn)操作期間，板71相對(duì)于托盤(pán)12正好居中并保持剛性地固定到托盤(pán)12。
[0081]五個(gè)校準(zhǔn)LED72的照明借助于經(jīng)由連接電纜75傳送的具體電子命令而逐個(gè)執(zhí)行，連接電纜75將所述板的校準(zhǔn)LED連接到供電控制單元，用于未示出的校準(zhǔn)LED。
[0082]更精確地，校準(zhǔn)操作在于陸續(xù)地凝視五個(gè)閃光的校準(zhǔn)LED。使用在校準(zhǔn)操作期間捕獲的眼睛圖像，各種位置的眼睛和角膜反射點(diǎn)被存儲(chǔ)，用于用戶(hù)眼睛所注視的每個(gè)閃光的校準(zhǔn)LED。在存儲(chǔ)這些各種位置之后，計(jì)算眼睛的內(nèi)在參數(shù)。從而，現(xiàn)在可以確定在眼睛的圖像中由Purkinje斑和瞳孔中心的位置相關(guān)性確定的凝視方向與由四個(gè)參考LED16a至16d形成的平面之間的雙射(bijection)。
[0083]在操作中，如之前已經(jīng)說(shuō)明的，用于在可移動(dòng)狀態(tài)下支撐正由用戶(hù)注視的物體的設(shè)備10的四個(gè)參考LED16a至16d以及在用戶(hù)頭部上調(diào)整的便攜式裝備30的“Purkinje”LED LI以?xún)蓚€(gè)圖像之一相對(duì)于便攜式裝備30攝像頭33所捕獲的圖像的速率以同步方式閃光。當(dāng)LED16a至16d以及LI發(fā)光時(shí)，它們反射于用戶(hù)的眼睛上，并由此允許所捕獲的眼睛圖像中的固定點(diǎn)憑借角膜反射而獲得。因此，對(duì)于兩個(gè)依次捕獲的圖像，兩個(gè)圖像之一包含發(fā)光LED的角膜反射的圖像，而另一個(gè)圖像則不包括。用于減去兩個(gè)圖像的具有通過(guò)由接收來(lái)自攝像頭33的視頻信號(hào)的處理單元50所實(shí)施的閾值化的處理的方法允許產(chǎn)生的圖像被獲得，如圖7所示，其僅包含LED的角膜反射的圖像。使用特殊算法，處理單元能夠確定瞳孔的中心位置以及角膜反射在眼睛圖像中的中心。從那里，從“Purkinje” LED在眼睛上反射而來(lái)的“Purkinje”LED在眼睛上的角膜反射位置P以及瞳孔的中心位置0允許凝視方向，換句話(huà)說(shuō)，眼睛相對(duì)于被觀察現(xiàn)場(chǎng)的凝視角度在眼睛的參考系中得以確定。從而，在計(jì)算之后，四個(gè)參考LED16a、16b、16c和16d分別在角膜反射R1、R2、R3和R4的圖像中的位置以及因此測(cè)量的凝視方向?qū)⒃试S準(zhǔn)確地確定設(shè)置在支撐設(shè)備10托盤(pán)12上的物體的被觀察表面上的凝視位置。
[0084]實(shí)際上，在眼睛的參考系中，確定四個(gè)參考LED16a至16d在眼睛圖像中的角膜反射的中心位置可以確定凝視相對(duì)于在眼睛表面上所觀察的表面的位置。然后，通過(guò)改變參考系，可以從中推斷出位于現(xiàn)場(chǎng)攝像頭14參考系中的凝視位置，該參考系限定了對(duì)應(yīng)于被觀察表面的平面的由四個(gè)參考LED16a至16d形成的平面。在被觀察表面的平面中由此確定的凝視位置得以利用，以便在現(xiàn)場(chǎng)視頻中顯示代表該凝視位置的光標(biāo)。為此，處理單元對(duì)分別來(lái)自現(xiàn)場(chǎng)攝像頭和來(lái)自便攜式裝備攝像機(jī)的視頻信號(hào)施加在前同步，以便對(duì)這兩個(gè)視頻信號(hào)及時(shí)地調(diào)整相應(yīng)的重要時(shí)刻。
[0085]由于本發(fā)明的手段，具體地由于在可移動(dòng)狀態(tài)下用于支撐物體的設(shè)備，被觀察表面的圖像將總是位于現(xiàn)場(chǎng)視頻中的同一個(gè)地方，并且在計(jì)算之后，參考LED允許用戶(hù)的凝視相對(duì)于被觀察表面圖像的位置得以確定。為此，移動(dòng)電話(huà)用戶(hù)接口上的關(guān)注區(qū)域圖例如可更容易地創(chuàng)建，這是因?yàn)樵谡鎸?shí)的移動(dòng)性背景下在該移動(dòng)電話(huà)的整個(gè)給定使用周期內(nèi)，如被注視和拍攝的用戶(hù)接口將總是位于現(xiàn)場(chǎng)視頻中的相同方位處，并且僅將凝視點(diǎn)相對(duì)于用戶(hù)接口的圖像可移動(dòng)。
【權(quán)利要求】
1.一種用于追蹤用戶(hù)在由用戶(hù)觀察的移動(dòng)終端(20)的顯示表面(21)上的凝視的方法，包括:在被觀察的顯示表面上確定用戶(hù)的凝視的位置，其中提供了位于用戶(hù)的凝視的軸線(xiàn)上的第一攝像機(jī)(33)和指向眼睛且位于第一攝像機(jī)(33)的物鏡附近的第一光源(LI)，以收集第一視頻信號(hào)，所述第一視頻信號(hào)至少包括瞳孔的圖像和第一光源的角膜反射的圖像；收集第二視頻信號(hào)，所述第二視頻信號(hào)包括顯示表面(21)的圖像；分析第一視頻信號(hào)，以依據(jù)瞳孔的中心(O)相對(duì)于第一光源(LI)的角膜反射的中心(P)的位置在眼睛的參考系中測(cè)量凝視的方向；以及依據(jù)在眼睛的參考系中測(cè)量的凝視的方向，在第二視頻信號(hào)中顯示代表位于被觀察的顯示表面上的凝視的位置的光標(biāo)，其特征在于，在與第一攝像機(jī)(33)的參考系不同的、與被觀察的顯示表面的參考系關(guān)聯(lián)的參考系中捕獲第二視頻信號(hào)，將多個(gè)參考光源(16a、16b、16c、16d)定位在捕獲第二視頻信號(hào)的參考系中,所述多個(gè)參考光源指向眼睛并根據(jù)與被觀察的顯示表面共面的二維陣列設(shè)置，使得由第一攝像機(jī)(33)收集的第一視頻信號(hào)還包括參考光源在眼睛上的角膜反射(R1、R2、R3、R4)的圖像，并且分析第一視頻信號(hào)，以補(bǔ)充參考光源在眼睛上的角膜反射的中心的位置，并且基于參考光源在眼睛上的角膜反射的中心的位置，并基于在眼睛的參考系中測(cè)量的凝視的方向，確定位于被觀察的顯示表面的平面中的凝視的位置。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在眼睛的參考系中，基于參考光源在眼睛上的角膜反射的中心的位置，相對(duì)于眼睛上的被觀察的表面的位置來(lái)確定凝視的位置，并且在與眼睛的參考系關(guān)聯(lián)的坐標(biāo)系和與對(duì)應(yīng)于被觀察的顯示表面的平面、由多個(gè)參考光源形成的平面關(guān)聯(lián)的坐標(biāo)系之間使用轉(zhuǎn)換關(guān)系，以便依據(jù)在眼睛的參考系中確定的凝視的位置，確定位于被觀察的顯示表面的平面中的凝視的位置。
3.根據(jù)權(quán)利要求1和2之一所述的方法，其特征在于，執(zhí)行初始操作，以依據(jù)用戶(hù)的眼睛在捕獲第二視頻信號(hào)的參考系中校準(zhǔn)被觀察的表面的定位，計(jì)算瞳孔在預(yù)限定的測(cè)試圖案(70)的每個(gè)安裝點(diǎn)(72)上的中心的位置，所述測(cè)試圖案定位在被觀察的表面的平面中，允許位于被觀察的表面的平面和眼睛的圖像之間的對(duì)應(yīng)點(diǎn)被限定。
4.根據(jù)前述權(quán)利要求中任一 項(xiàng)所述的方法，其特征在于，提供靠近第一攝像機(jī)(33)的物鏡指向眼睛的并設(shè)計(jì)為促進(jìn)眼睛的照明的第二光源(L2)。
5.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，提供第二攝像機(jī)(14)，所述第二攝像機(jī)定位在被觀察的顯示表面的參考系中，以便捕獲第二視頻信號(hào)。
6.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，通過(guò)使用移動(dòng)終端的視頻輸出來(lái)捕獲第二視頻信號(hào)。
7.一種用于在可移動(dòng)狀態(tài)下支撐具有顯示表面(21)的移動(dòng)終端(20)、特別是移動(dòng)電話(huà)或類(lèi)似物體的設(shè)備(10)，以實(shí)施根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，所述設(shè)備包括形成用于設(shè)備的手動(dòng)夾持機(jī)構(gòu)的支撐元件(11)以及相對(duì)于支撐元件(11)可移動(dòng)地安裝的托盤(pán)(12)，托盤(pán)(12)形成設(shè)計(jì)為在使用位置中接收移動(dòng)終端的容納部，其中顯示表面(21)能夠由用戶(hù)進(jìn)行觀察，所述設(shè)備包括與支撐元件(11)關(guān)聯(lián)的多個(gè)參考光源(16a、16b、16c、16d)，所述多個(gè)參考光源能夠朝向用戶(hù)的眼睛發(fā)射光，并根據(jù)與擬接收于容納部中的移動(dòng)終端的顯示表面(21)共面的二維陣列而設(shè)置在容納部的環(huán)境中。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，所述設(shè)備包括設(shè)計(jì)為用于保持多個(gè)參考光源(16a、16b、16c、16d)的第一支撐框架(17),第一支撐框架由多個(gè)臂構(gòu)成,所述多個(gè)臂在它們中每個(gè)的各自第一端處安裝在支撐元件(11)上，并在它們各自第二端上安裝了來(lái)自多個(gè)參考光源的一個(gè)相應(yīng)光源。
9.根據(jù)權(quán)利要求7或8所述的設(shè)備，其特征在于，所述設(shè)備還包括第二攝像機(jī)(14)，所述第二攝像機(jī)附接至支撐元件(11)并且能夠朝向設(shè)計(jì)為接收移動(dòng)終端的容納部而取向，以便捕獲被觀察的顯示表面的圖像。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其特征在于，所述設(shè)備包括設(shè)計(jì)為支撐第二攝像機(jī)(14)的第二支撐框架(15)，所述第二支撐框架包括一臂，所述臂通過(guò)第一端附接至支撐元件(11)，并從所述第一端延伸到定位在設(shè)計(jì)為接收移動(dòng)終端的容納部上方的第二端，臂的所述第二端配備有用于固定攝像機(jī)(14)的裝置，所述裝置能夠?qū)z像機(jī)保持在正確的方位中。
11.根據(jù)權(quán)利要求7至10中任一項(xiàng)所述的設(shè)備，其特征在于，多個(gè)參考光源(16a、16b、16c、16d)由四個(gè)發(fā)光二極管構(gòu)成，當(dāng)發(fā)光二極管采用三個(gè)時(shí)是未對(duì)準(zhǔn)的。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其特征在于，發(fā)光二極管發(fā)射紅外線(xiàn)波長(zhǎng)范圍內(nèi)的輻射。
13.根據(jù)權(quán)利要求7至12中任一項(xiàng)所述的設(shè)備，其特征在于，托盤(pán)(12)旋轉(zhuǎn)地安裝在支撐元件(11)上、位于彼此基本呈直角的至少兩個(gè)位置之間，以這樣的方式分別限定用于擬接收于容納部中的移動(dòng)終端的顯示表面的被稱(chēng)為肖像的位置和被稱(chēng)為景觀的位置，并且所述設(shè)備包括位于這些各自位置的每個(gè)之中用于托盤(pán)的鎖定裝置(13)。
14.一種用于在可移動(dòng)狀態(tài)下追蹤用戶(hù)在移動(dòng)終端(20)的顯示表面上的凝視的系統(tǒng)，其特征在于，所述系統(tǒng)包括 :根據(jù)權(quán)利要求7至13中任一項(xiàng)所述的用于支撐所述移動(dòng)終端的設(shè)備(10);附接至用戶(hù)的便攜式裝備，包括支撐件(30)和臂(32)，所述支撐件被設(shè)計(jì)為調(diào)整至用戶(hù)的頭部，所述臂在用戶(hù)的凝視的軸線(xiàn)上安裝在支撐件(30)上并在所述臂的末端處承載第一攝像機(jī)(33);和第一光源(LI)，指向眼睛并位于第一攝像機(jī)(33)的物鏡附近；以及處理單元(50)，所述處理單元包括能夠接收第一視頻信號(hào)的第一視頻輸入接口(51)，由便攜式裝備的第一攝像機(jī)(33)捕獲的第一視頻信號(hào)包括瞳孔的圖像、指向眼睛的第一光源(LI)的角膜反射的圖像和與配備用于支撐移動(dòng)終端的設(shè)備(10)的每個(gè)參考光源(16a、16b、16c、16d)對(duì)應(yīng)的角膜反射的圖像，所述處理單元包括能夠接收第二視頻信號(hào)的第二視頻輸入接口(52)，第二視頻信號(hào)包括由用戶(hù)觀察的顯示表面的圖像，并且所述處理單元包括處理器模塊，基于第一視頻信號(hào)中參考光源的角膜反射的中心的位置，并基于在眼睛的參考系中測(cè)量的凝視的方向，處理器模塊依據(jù)瞳孔的中心相對(duì)于第一光源的角膜反射的中心的位置并依據(jù)在被觀察的顯示表面的平面中對(duì)凝視的位置的確定能夠在眼睛的參考系中從第一視頻信號(hào)測(cè)量凝視的方向。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，用于支撐移動(dòng)終端的所述設(shè)備(10)包括用于提供第二視頻信號(hào)的第二攝像機(jī)(14)，第二攝像機(jī)(14)附接至用于支撐移動(dòng)終端的設(shè)備(10)的支撐元件(11)并能夠朝向設(shè)計(jì)為接收移動(dòng)終端的容納部而取向，以便捕獲被觀察的顯示表面的圖像，并且處理單元(50)的第二視頻輸入接口(52)連接到第二攝像機(jī)(14)的視頻輸出。
16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，處理單元(50)的第二視頻輸入接口(52)連接到移動(dòng)終端的能夠提供第二視頻信號(hào)的視頻輸出。
17.根據(jù)權(quán)利要求14至16中任一項(xiàng)所述的系統(tǒng)，其特征在于，處理單元包括能夠提供第二視頻信號(hào)的視頻輸出接口(54)，在第二視頻信號(hào)中，被觀察的顯示表面的圖像在處理器模塊確定的被觀察的表面的平面中顯示代表凝視的位置的光標(biāo)。
18.根據(jù)權(quán)利要求14至17中任一項(xiàng)所述的系統(tǒng)，其特征在于，所述系統(tǒng)包括用于同步第一光源(LI)和參考光源(16a、16b、16c、16d)的照明的模塊(60)，其中由便攜式裝備的第一攝像機(jī)(33)捕獲第一視頻信號(hào)，所述用于同步的模塊包括:能夠接收來(lái)自便攜式裝備的第一攝像機(jī)(33)的第一視頻信號(hào)的視頻輸入接口(61)、設(shè)計(jì)為以同步方式控制第一光源和參考光源的照明和熄滅的供電裝置(63)、以及與所述供電裝置一起構(gòu)造的用于處理被接收的視頻信號(hào)的裝置，從而以?xún)蓚€(gè)圖像之一相對(duì)于便攜式裝備的第一攝像機(jī)所捕獲的圖像的速率來(lái)控制第一光源和參考光源的照明。
19.根據(jù)權(quán)利要求14至18中任一項(xiàng)所述的系統(tǒng)，其特征在于，安裝到便攜式裝備的支撐件(30)上的臂(32)是伸縮臂(35a、36a)，所述伸縮臂配備有用于將第一攝像機(jī)維持在正確的方位中的抗旋轉(zhuǎn)裝置(35a、35b、36a、36b)。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其特征在于，伸縮臂包括關(guān)聯(lián)的滑動(dòng)平行桿(36a、36b)，關(guān)聯(lián)的滑動(dòng)平行桿中的至少一個(gè)在臂的近端處具有滑動(dòng)控制件。
21.根據(jù)權(quán)利要求14至20中任一項(xiàng)所述的系統(tǒng)，其特征在于，便攜式裝備的支撐件(30)是具有兩個(gè)支架的眼鏡架，臂(32)固定到眼鏡架的支架之一上。
22.根據(jù)權(quán)利要求14至21中任一項(xiàng)所述的系統(tǒng)，其特征在于，安裝在便攜式裝備的支撐件(30)上的臂(32)承載第二光源 (L2)，所述第二光源靠近第一攝像機(jī)(33)的物鏡指向眼睛并設(shè)計(jì)為促進(jìn)眼睛的照明。
【文檔編號(hào)】A61B3/113GK103492979SQ201280012540
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2012年1月10日 優(yōu)先權(quán)日:2011年1月19日
【發(fā)明者】E.C.吉陶德, P.Y.巴斯考勒古 申請(qǐng)人:馬特奇克實(shí)驗(yàn)室