魯棒的眼睛/視線追蹤裝置和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明大體上涉及一種用于產(chǎn)生關(guān)于對象的眼睛和/或視線追蹤數(shù)據(jù)的技術(shù)方案，例如，該對象為計(jì)算機(jī)屏幕前方的人。更特別地，本發(fā)明設(shè)計(jì)一種根據(jù)權(quán)利要求1的前序部分的眼睛/視線追蹤裝置以及根據(jù)權(quán)利要求15的前序部分的眼睛/視線追蹤方法。本發(fā)明還涉及一種根據(jù)權(quán)利要求29的計(jì)算機(jī)程序產(chǎn)品以及根據(jù)權(quán)利要求30的計(jì)算機(jī)可讀介質(zhì)。
【背景技術(shù)】
[0002]用于自動(dòng)追蹤人眼睛的技術(shù)方案已經(jīng)存在了許多年。眼睛追蹤被理解為對眼睛相對于頭部的運(yùn)動(dòng)進(jìn)行測量的過程，而視線追蹤為確定視線點(diǎn)(即對象正在看的地方)的過程。所以，眼睛/視線追蹤器是用于對眼睛位置和/或眼睛運(yùn)動(dòng)進(jìn)行測量的設(shè)備。眼睛/視線追蹤器被用于在視覺系統(tǒng)研究、心理學(xué)、認(rèn)知語言學(xué)中以及被用于控制各種計(jì)算機(jī)系統(tǒng)。眼睛/視線追蹤器還可以被用在車輛中以確定駕駛員的困倦或者使得能夠與內(nèi)部顯示器進(jìn)行交互。測量眼睛運(yùn)動(dòng)有很多不同的方法。然而，最普遍的變型使用的是視頻圖像，由該視頻圖像提取眼睛位置。
[0003]在視頻數(shù)據(jù)中找到對象的眼睛并隨后維持對眼睛的追蹤通常具有挑戰(zhàn)性。一般地，一組初始圖像數(shù)據(jù)表示場景的較大視圖，并且在識別出眼睛候選者之后，僅讀出成像傳感器上與眼睛所處位置對應(yīng)的區(qū)域。換句話說，這減小了平均帶寬需求，并且增大了圖像傳感器讀出頻率。因此，由于較短的讀出時(shí)間導(dǎo)致的任何無控制光源的效應(yīng)能夠被減少。該策略通常被稱為圖像裁剪、開窗或應(yīng)用ROI (reg1n of interest,關(guān)注區(qū)域)或AOI (areaof interest，關(guān)注區(qū))。當(dāng)這樣做時(shí)，圖像大小變小，然而通常在每個(gè)圖像中使用傳感器能夠提供的最聞的可能分辨率。
[0004]發(fā)現(xiàn)并追蹤目標(biāo)(諸如面部或尤其是面部特征)的通常的高效方法是使用基于圖像的識別技術(shù)，該識別技術(shù)基于其他算法而非用于視線追蹤的最高效算法。換句話說，所識別的目標(biāo)和隨后處理的目標(biāo)在大小和形狀上有很大的不同。因而，對于特征識別，使用攝像頭的全視場是有益的。進(jìn)一步地，在眼睛追蹤過程中，當(dāng)僅使用ROI圖像時(shí)，眼睛追蹤器有可能“鎖定”到實(shí)際上并非眼睛的眼睛候選者上。因此，在一個(gè)或更多眼睛位于ROI外時(shí)，(在發(fā)現(xiàn)對象的眼睛之后)從廣視場切換到R0I，以及隨后切換回廣視場可能有用。在多個(gè)對象位于眼睛追蹤器前方時(shí)，這同樣有益。
[0005]W02008/107713公開了一種用于目標(biāo)識別應(yīng)用的圖像處理的方法和裝置。其中，首先，以相對廣的視場、相對低的分辨率獲得圖像。圖案識別算法被應(yīng)用于第一圖像以識別關(guān)注目標(biāo)。在確定至少一個(gè)關(guān)注目標(biāo)及其在圖像中的坐標(biāo)之后，對同一圖像捕捉設(shè)備或額外的圖像捕捉設(shè)備進(jìn)行控制以獲得一序列具有相對窄的視場、相對高的分辨率的第二圖像，該相對窄的視場含有所述至少一個(gè)關(guān)注目標(biāo)。
[0006]US 2009/0219387描述了一種自動(dòng)視頻監(jiān)視系統(tǒng)，其中，視頻攝像頭最初寄存一系列低分辨率圖像。該視頻數(shù)據(jù)經(jīng)過分析，并且根據(jù)此分析，在視頻攝像頭采集的場景中確定至少一個(gè)關(guān)注區(qū)域。以比初始系列的圖像更高的分辨率水平追蹤該至少一個(gè)關(guān)注區(qū)域。對更高的分辨率水平進(jìn)行動(dòng)態(tài)選擇，以使得場景內(nèi)的重要細(xì)節(jié)得到適當(dāng)?shù)募?xì)查，同時(shí)非關(guān)注區(qū)以較低分辨率成像。較優(yōu)地，后續(xù)的視頻數(shù)據(jù)以不同的暴露水平同時(shí)寄存以提供更大的動(dòng)態(tài)范圍，并因此提供改善的圖像質(zhì)量。
[0007]技術(shù)問題
[0008]因此，在現(xiàn)有技術(shù)方案的示例中，圖像數(shù)據(jù)最初以相對低的分辨率寄存，并且隨后以更高的分辨率和/或改善的圖像質(zhì)量來追蹤特別關(guān)注區(qū)。在本發(fā)明的背景下，術(shù)語“圖像分辨率”、“分辨率”或者其他此類術(shù)語是指每像素成像的視場的大小。更具體地，分辨率為成像的視場除以像素個(gè)數(shù)，即，圖像的水平視場除以以像素為單位的圖像寬度，或者成像的垂直視場除以以像素為單位的圖像高度。因此，分辨率相對較高的圖像每視場角具有許多像素，而分辨率相對較低的圖像每視場角具有較少像素。
[0009]然而，為了達(dá)到魯棒的眼睛/視線追蹤系統(tǒng)，重要的是重復(fù)驗(yàn)證“追蹤的眼睛”的確對應(yīng)于作為整個(gè)攝像頭視場中最佳的眼睛候選者的圖像元素。
[0010]對于視線追蹤，眾所周知(已知視線角、眼睛位置和角膜半徑)，照明器和攝像頭的相對位置決定了所述照明器的清晰反射在角膜上的位置。反射或閃爍有時(shí)可能位于不利于視線追蹤的位置，例如通過引起眼鏡中的反射，使通孔的大部分模糊，或者與角膜區(qū)域重合，這在所使用的眼鏡模型中很難表示。
[0011]在這樣的情況下，一方面，相當(dāng)期望可以使用來自系統(tǒng)中的任何其他照明器的信息。另一方面，能夠被適應(yīng)性選擇的發(fā)光器所在的系統(tǒng)可能與可測性和可重復(fù)性問題相關(guān)，這是因?yàn)檫@樣的系統(tǒng)在不同情況下可以顯示出不同的行為。而且，系統(tǒng)的可重復(fù)行為能夠避免任何與硬件相關(guān)的關(guān)于穩(wěn)定性的問題(例如，由不均勻且無法預(yù)期的熱量分布引起的穩(wěn)定性的問題)以及任何通過在照明器之間隨機(jī)切換引起的低頻分量中的可見閃爍。

【發(fā)明內(nèi)容】

[0012]本發(fā)明的目的是緩和以上問題，并因此提供更加魯棒和穩(wěn)定的眼睛/視線追蹤技術(shù)方案。
[0013]根據(jù)本發(fā)明的第一方面，該目標(biāo)的實(shí)現(xiàn)是通過最初所述的裝置，其中，控制單元被配置為控制圖像寄存單元的操作序列，以使得數(shù)據(jù)處理單元接收的系列圖像代表圖像幀重復(fù)序列。進(jìn)一步，每個(gè)周期包含至少一個(gè)第一分辨率的圖像幀以及至少一個(gè)不同于第一分辨率的第二分辨率的圖像幀。
[0014]該裝置是有利的，這是因?yàn)?，一方面能夠利用基于圖像的特征識別技術(shù)，例如使用第一分辨率的圖像幀或第二分辨率的圖像幀。某些可能的特征識別技術(shù)包括對圖像幀成像的人的面部動(dòng)作、手勢、面部特征、面部表情、閉眼、識別數(shù)據(jù)和身份識別的檢測。另一方面，可以應(yīng)用最高效的視線追蹤算法，例如應(yīng)用于第二分辨率的圖像幀。所以，可以在普遍的魯棒實(shí)施方式中將可靠的特征追蹤與高質(zhì)量的眼睛/視線追蹤相結(jié)合。
[0015]根據(jù)本發(fā)明的此方面的一個(gè)優(yōu)選實(shí)施方式，圖像寄存單元包含具有一組傳感器元件的圖像傳感器。而且，圖形寄存單元被配置為以圖像幀形式傳遞所述傳感器元件寄存的數(shù)據(jù)，其中，至少一個(gè)第一分辨率的圖像幀包含來自第一組所述傳感器元件的數(shù)據(jù)；并且至少一個(gè)第二分辨率的圖像幀包含來自第二組所述傳感器元件的數(shù)據(jù)。所以，第一組和第二組可以代表圖像傳感器的不同裁剪。
[0016]例如，根據(jù)本發(fā)明的一個(gè)實(shí)施例，第一組可以與相對較低的第一分辨率相關(guān)聯(lián)并且等價(jià)于所謂的全幀，也就是包含來自橫跨傳感器區(qū)的全寬和全高位置處的傳感器元件的數(shù)據(jù)的圖像幀。較優(yōu)地，第一分辨率的圖像幀是包含來自涉及傳感器區(qū)的全寬的至少80%和全高的至少80%傳感器元件的數(shù)據(jù)的基本全幀。第二組可以與相對較高的第二分辨率先關(guān)聯(lián)并且等價(jià)于所謂的子幀，子幀包含來自小于橫跨傳感器區(qū)的全寬和/或小于全高位置處的傳感器元件的數(shù)據(jù)，例如，小于全寬的50 %和/或小于全高的50 %。因此，第一組可以形成上述特征識別技術(shù)的基礎(chǔ)，而第二組可以是適用于對一個(gè)或更多識別出的眼睛候選者進(jìn)打追蹤的ROI。
[0017]根據(jù)本發(fā)明的此方面的另一優(yōu)選實(shí)施例，眼睛/視線追蹤裝置包括第一光源。控制單元被配置為與至少一個(gè)圖像寄存單元的操作序列協(xié)調(diào)控制第一光源。更確切地說，這意味著當(dāng)寄存至少一個(gè)第二分辨率的圖像幀中的至少一個(gè)時(shí)，第一光源發(fā)光。自然，照明可以選通，以使得例如第一光源僅在一部分傳感器暴露下發(fā)光。
[0018]根據(jù)本發(fā)明的此方面的又一優(yōu)選實(shí)施例，眼睛/視線追蹤裝置包括第二光源。控制單元被進(jìn)一步配置為與圖像寄存單元的操作序列協(xié)調(diào)控制第二光源，以使得當(dāng)寄存圖像幀重復(fù)序列的至少一個(gè)圖像幀時(shí)，第二光源發(fā)光。
[0019]使用這樣的重復(fù)(并因此)已知的圖像序列捕獲和照明使得可以使用來自兩個(gè)或更多光源的信息，并借此抑制任何不利位置的閃爍/反射；并且與此同時(shí)，滿足與可測試性及可重復(fù)性相關(guān)的要求。例如，當(dāng)寄存低分辨率全格式圖像時(shí)使用一組光源，并且當(dāng)寄存高分辨率ROI圖像時(shí)使用另一組光源，這是有利的。
[0020]根據(jù)本發(fā)明的此方面的又一優(yōu)選實(shí)施例，眼睛/視線追蹤裝置僅包含單個(gè)圖像寄存單元，該單個(gè)圖像寄存單元被配置為對代表對象的單個(gè)系列圖