欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

用于檢測感興趣的對象的方法和系統(tǒng)與流程

文檔序號(hào):11450501閱讀:364來源:國知局
用于檢測感興趣的對象的方法和系統(tǒng)與流程

相關(guān)申請的交叉引用

本應(yīng)用要求2014年10月30日提交的歐洲專利申請ep14191120.6的優(yōu)先權(quán)和申請日。

本申請涉及一種用于利用視線追蹤系統(tǒng)檢測感興趣的對象的方法、計(jì)算機(jī)程序和計(jì)算機(jī)可讀介質(zhì)。此外,本發(fā)明涉及一種視線追蹤系統(tǒng)。



背景技術(shù):

如pc、膝上型計(jì)算機(jī)、智能電話或頭部安裝的眼睛追蹤器(諸如增強(qiáng)現(xiàn)實(shí)眼鏡、虛擬現(xiàn)實(shí)眼鏡、眼睛追蹤眼鏡或智能眼鏡)的設(shè)備可以配備有視線追蹤系統(tǒng),該視線追蹤系統(tǒng)適配于確定其中使用設(shè)備的人正在看著(眼睛追蹤)的方向并且適配于確定人正在看著(視線追蹤)的那個(gè)點(diǎn)處。

視線追蹤系統(tǒng)可以被用于支持搜索,該搜索是在利用計(jì)算機(jī)工作時(shí)的關(guān)鍵活動(dòng)。然而,人類的光學(xué)搜索通常發(fā)生在焦點(diǎn)(focuspoint)中以及旁中心凹(parafoveal)、周邊中心凹(perifoveal)和周邊(peripheral)視野中二者,其在下文中以術(shù)語周邊視野來概括。當(dāng)對于圖形可區(qū)別對象(諸如圖像、詞語、文本塊、圖標(biāo)等)進(jìn)行搜索時(shí),人類視線的焦點(diǎn)選擇性地指向感興趣的對象,該感興趣的對象由人類視線的焦點(diǎn)基于光學(xué)可辨識(shí)的方面或?qū)ο箢悇e(例如主色、結(jié)構(gòu)、特定元素如人、圖像或圖標(biāo)中的文本或圖形、詞語中的字長、小、高圓形的和直的字母的布置)預(yù)識(shí)別為潛在候選。可以由人類在其周邊視野中檢測的類別特性可以取決于其自身的搜索任務(wù),并且該類別特性通常受周邊視野的不同區(qū)域中人類視覺的能力的限制。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明的目標(biāo)是以有效率方式利用視線追蹤系統(tǒng)支持基于計(jì)算機(jī)的搜索。

通過獨(dú)立權(quán)利要求的主題實(shí)現(xiàn)這個(gè)目的。另外的示例性實(shí)施例根據(jù)從屬權(quán)利要求和以下描述而明顯。

本發(fā)明的方面涉及用于檢測感興趣的對象的方法,這可以完全地通過計(jì)算機(jī)來執(zhí)行。感興趣的對象可以是在通過計(jì)算機(jī)提供的屏幕上顯示的圖像和/或字,或者可以是現(xiàn)實(shí)世界對象,該現(xiàn)實(shí)世界對象例如通過智能眼鏡或頭戴式眼睛追蹤器由人進(jìn)行觀看。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,該方法包括:接收正在看著對象集合的人的視線追蹤數(shù)據(jù),該視線追蹤數(shù)據(jù)包括人正在看著哪些點(diǎn)的信息;確定該人的視場中的對象映射,該對象映射指示對象集合中的對象被布置在哪個(gè)位置處;通過將視線追蹤數(shù)據(jù)與對象映射進(jìn)行匹配,確定針對該對象集合中的對象的(至少一個(gè)類型的)視線交互事件,其中,對象的視線交互事件指示關(guān)于該對象已經(jīng)發(fā)生特定視線交互;確定具有視線交互事件的對象的類別特性,其中,類別特性關(guān)于特定對象類別來描述該對象;通過找出被分配給多個(gè)對象的至少一個(gè)類別特性,在至少一個(gè)對象類別中確定至少一個(gè)感興趣的類別特性,所述多個(gè)對象具有指示該人對這些對象感興趣的視線交互事件。

例如,視線追蹤數(shù)據(jù)可以包括數(shù)據(jù)點(diǎn),該數(shù)據(jù)點(diǎn)可以包括兩個(gè)坐標(biāo),并且該兩個(gè)坐標(biāo)指示人的一只或兩只眼睛的當(dāng)前焦點(diǎn)。為了確定人正在看著哪個(gè)對象,對象映射可以包括對象的輪廓或?qū)ο蟮男螤睢@?,對象映射可以在對象集合中包括每個(gè)對象的含納輪廓的(outlining)矩形,或一般地包括含納輪廓的多邊形或含納輪廓的形狀。

然后,例如通過確定哪些數(shù)據(jù)點(diǎn)位于對象的哪個(gè)輪廓內(nèi),視線追蹤數(shù)據(jù)的數(shù)據(jù)點(diǎn)可以被映射到對象的映射。此外,例如通過對視線數(shù)據(jù)點(diǎn)的數(shù)目計(jì)數(shù),可以根據(jù)視線追蹤數(shù)據(jù)來識(shí)別視線交互事件,該視線數(shù)據(jù)點(diǎn)位于對象的相應(yīng)輪廓內(nèi)部。還可以是可能的是從數(shù)據(jù)點(diǎn)導(dǎo)出運(yùn)動(dòng)向量(具有支持點(diǎn)和方向的矢量),這會(huì)產(chǎn)生另外的視線交互事件,作為例如所預(yù)測的目標(biāo)點(diǎn)和/或與視線向量的對象的交叉。

至少針對這些目的中的一些,針對視線交互事件已經(jīng)識(shí)別的對象,確定類別特性。例如,當(dāng)對象是圖像或現(xiàn)實(shí)世界對象時(shí),這些類別特性可以是圖像中的特定色彩、特定形狀和/或特定模式。類別特性可以被分配給諸如顏色、形狀和/或模式的對象類別。必須理解的是,僅一個(gè)或多個(gè)特定類型的對象類別的類別特性可以被考慮(諸如顏色和/或形狀)。

最后,通過組合在先前步驟——即視線交互事件分配給對象和將類別特性分配給對象——期間確定的信息來確定至少一個(gè)對象類別中的至少一個(gè)感興趣的類別特性。通常,通過統(tǒng)計(jì)評估所聚集的信息,通過找出類似的類別特性的一個(gè)或多個(gè)群組來確定一個(gè)或多個(gè)類別特性,將該一個(gè)或多個(gè)的類別特性全部分配給該人感興趣的多個(gè)對象。

例如,通過單個(gè)值(例如,特定色彩值)或多個(gè)值(例如,在覆蓋圖像的網(wǎng)格上散布的平均色彩值),可以表示特定類別(諸如色彩)的類別特性,并且當(dāng)兩個(gè)類別特性的值與彼此僅相差至少閾值時(shí),該兩個(gè)類別特性可以是類似的。應(yīng)用于類別特性(的值)的統(tǒng)計(jì)函數(shù)(諸如最小均方)可以被用于確定統(tǒng)計(jì)值,該統(tǒng)計(jì)值可以與用于判定該類別特性是否在由平均值表示的特定群組中的平均值進(jìn)行比較。

在一種情況下,當(dāng)將對象分配給視線交互事件時(shí),可以聲明該對象是人感興趣的。例如,如果該視線交互事件是基于具有在對象的映射區(qū)域中的數(shù)據(jù)點(diǎn)的視線追蹤數(shù)據(jù)的,則視線交互事件指示該人對該對象感興趣。還可以是可能的是,通過可以利用統(tǒng)計(jì)函數(shù)(例如,依據(jù)視線交互事件)確定的值,可以表示感興趣的級(jí)別或涉入程度(involvementlevel),并且當(dāng)涉入程度值高于閾值時(shí),聲明該對象是令人感興趣的。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,對對象的類別特性進(jìn)行群集,并且通過選擇類別特性中表示至少一個(gè)感興趣的類別特性的至少一個(gè)群集來確定至少一個(gè)感興趣的類別特性。該類別特性可以關(guān)于對象類別和/或關(guān)于可以利用統(tǒng)計(jì)函數(shù)確定的一個(gè)或多個(gè)平均類別特性進(jìn)行群集。例如,在平均色彩的類別中,統(tǒng)計(jì)函數(shù)可以找出藍(lán)色平均色彩的群集(該藍(lán)色平均色彩的群集可以包括不同的藍(lán)色色彩值)和紅色平均色彩的群集。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,針對對象確定至少兩個(gè)不同類型的視線交互事件。必須理解的是,根據(jù)純視線追蹤數(shù)據(jù)(即,數(shù)據(jù)點(diǎn)),可以導(dǎo)出更多個(gè)復(fù)雜視線交互事件。例如,視線交互事件可以是基于以下中的至少一個(gè)的:對象上的視線命中、視線聚焦于對象的持續(xù)時(shí)間、關(guān)于對象的固定檢測、關(guān)于對象的讀取模式檢測、對對象的再次訪問、詳細(xì)的掃描模式、在顯示器上/周邊視野中對象的首次出現(xiàn)之后的交互時(shí)間、訪問時(shí)間的長度、在完成加載內(nèi)容之后的時(shí)間等。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,視線交互事件是基于人的周邊視野(peripheralview)的模型。通常,視線追蹤數(shù)據(jù)包括指示人的視線的焦點(diǎn)的數(shù)據(jù)點(diǎn)。然而,在搜索期間,尋找特定特征的人還可使用他的或她的周邊視野以用于確定感興趣的對象和不感興趣的對象。人的周邊視野可以被定義為焦點(diǎn)或聚焦區(qū)域的外部的視野。

在一種情況下,可以利用圍繞焦點(diǎn)和不包括焦點(diǎn)的區(qū)域?qū)χ苓呉曇敖!?梢岳脟@焦點(diǎn)的一個(gè)或多個(gè)環(huán)形區(qū)域?qū)χ苓呉曇敖?。映射區(qū)域與視線交互事件的周邊視野重疊的對象可以被聲明是令人感興趣的或是不感興趣的。對象的興趣值的等級(jí)可以基于分配給這樣的視線交互事件的值。

慮及周邊視野的視線交互事件可以基于以下中的至少一個(gè):在人的周邊視野中的對象的持續(xù)時(shí)間、與人的周邊視野的涉入程度、指向特定對象處但是沒有導(dǎo)致具體對象上的焦點(diǎn)焦點(diǎn)的異常值等。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,針對對象確定至少兩個(gè)不同類型的對象類別的類別特性。必須理解的是針對感興趣的對象同時(shí)地評估不僅一個(gè)對象類別而且兩個(gè)或更多個(gè)對象類別。還可以是可能的是,在評估視線追蹤數(shù)據(jù)期間確定感興趣的對象類別,以及對類別特性的確定被局限于這些對象類別。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,該對象集合的類別特性被預(yù)計(jì)算并且與該對象一起被存儲(chǔ)。例如,該對象可以被存儲(chǔ)在數(shù)據(jù)庫(諸如圖像或視頻)中,并且該數(shù)據(jù)庫還可以包含已經(jīng)在由數(shù)據(jù)庫的構(gòu)建期間或之前計(jì)算的數(shù)個(gè)類別的類別特性。在圖像和視頻的情況下,例如,可以計(jì)算平均色彩值并且將其與圖像或視頻的相應(yīng)多媒體數(shù)據(jù)一起存儲(chǔ)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,可以通過評估對象的對象數(shù)據(jù)來確定類別特性。例如,當(dāng)在顯示設(shè)備上顯示諸如圖像數(shù)據(jù)、視頻數(shù)據(jù)或文本數(shù)據(jù)的對象數(shù)據(jù)時(shí)和/或在利用視線追蹤系統(tǒng)的相機(jī)記錄該對象數(shù)據(jù)期間或之后,可以“即時(shí)(onthefly)”——即在評估視線追蹤數(shù)據(jù)期間或之后評估該對象數(shù)據(jù)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,通過評估來自感興趣的對象的群組的對象的對象數(shù)據(jù)來確定對象類別。還可以是可能的是利用統(tǒng)計(jì)方法或利用機(jī)器學(xué)習(xí)方法來評估對象數(shù)據(jù),以生成對象類別。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,該方法進(jìn)一步包括:根據(jù)對象的視線交互事件(以及可選地,根據(jù)類別特性)確定該對象的涉入程度,其中,只有具有高于涉入程度閾值的涉入程度的對象被考慮用于感興趣的識(shí)別、對象的選擇和/或?qū)ο箢悇e的選擇。涉入程度可以是基于視線交互事件來計(jì)算的數(shù)值。例如,可以將不同視線交互事件(諸如運(yùn)動(dòng)矢量所觸及的固定點(diǎn)或?qū)ο?分配給不同的——例如預(yù)定義的涉入程度值,并且對象的涉入程度是基于視線交互事件的涉入程度值的(例如,視線交互事件的涉入程度值可以相加或相乘)。

此外,可以是可能的是涉入程度可以基于與其它人的共同興趣。例如,當(dāng)數(shù)個(gè)其它用戶或人發(fā)現(xiàn)類別特性a和b令人感興趣時(shí),對于發(fā)現(xiàn)特性a令人感興趣的用戶,可以增加具有特性b的對象的涉入程度。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,該方法進(jìn)一步包括:根據(jù)對象的視線交互事件確定該對象的負(fù)涉入程度(具體地基于人的周邊視野的模型)(并且可選地基于對象的類別特性),其中,具有高于負(fù)涉入程度閾值的負(fù)涉入程度的對象被不考慮用于對象的選擇。負(fù)涉入程度可以與正涉入程度類似地進(jìn)行計(jì)算。

例如,沒有明確地正在看著特定對象的人可能已經(jīng)在他的或她的周邊視野中看見該對象不具有所需的特性的(因?yàn)椋搶ο罂梢跃哂绣e(cuò)誤色彩)。在這個(gè)情況下,在沒有視線交互事件“聚焦”的情況下的視線交互事件“對象觸及周邊視野”可以導(dǎo)致高負(fù)涉入程度。

可以預(yù)定義或動(dòng)態(tài)地確定正涉入程度閾值和負(fù)涉入程度閾值。在后者的情況下,可以對涉入程度的值排序,并且截止限(cutoff)可以被確定在上升或下降值的曲線具有陡斜側(cè)面(flank)(曲線的導(dǎo)數(shù)達(dá)到特定值)處。通常,可以利用任何類型的群集來確定該截止限。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,在人的視場中,對象集合被顯示在顯示設(shè)備上。例如,視線追蹤設(shè)備監(jiān)視正在看著計(jì)算機(jī)的監(jiān)視器的人,該計(jì)算機(jī)的監(jiān)視器顯示對象并且還執(zhí)行用于檢測對對象、類別特性和/或類別感興趣的該人對哪個(gè)對象、類別特性和/或類別感興趣的方法。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,在已經(jīng)確定至少一個(gè)感興趣的類別特性之后,在顯示設(shè)備上顯示具有該至少一個(gè)感興趣的特征的額外對象。在該情況下,在顯示設(shè)備的監(jiān)視器上顯示該對象,還可以可能的是執(zhí)行該方法的計(jì)算機(jī)向人提供具有看起來該人感興趣的特征的更多個(gè)對象。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,根據(jù)對象的輪廓生成對象映射。在該情況下,通過還執(zhí)行該方法的設(shè)備顯示該對象,將要被顯示的對象的輪廓或形狀可以被確定并且可以被用于將視線追蹤數(shù)據(jù)映射至對象。然而,還可以可能的是,根據(jù)從記錄該人的視場的攝像機(jī)接收的圖像數(shù)據(jù)來生成對象映射。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,對象集合包括以下中的至少一個(gè):圖像、詞語、文本塊、圖標(biāo)、公式、頁面、文檔的段落、3d對象、形狀、模式。全部這些類型的對象可以具有諸如色彩、形狀、字類型、模式等的不同類型的對象類別。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,對象類別是視覺描述符,其中,該類別特性是內(nèi)容描述符的值。如mpep-7標(biāo)準(zhǔn)的若干標(biāo)準(zhǔn)限定標(biāo)準(zhǔn)化內(nèi)容描述符,該標(biāo)準(zhǔn)化內(nèi)容描述符將值與例如多媒體數(shù)據(jù)的特性相關(guān)聯(lián)。在mpep-7的情況下,這些描述符的示例是可伸縮顏色描述符(scalablecolordescriptor)、色彩布局描述符、主色彩描述符、和邊緣直方描述符。

本發(fā)明的另外方面涉及一種用于檢測感興趣的對象的計(jì)算機(jī)程序,其中,該計(jì)算機(jī)程序在通過處理器執(zhí)行時(shí),被適配來施行如以上和以下所描述的方法的步驟,并且涉及一種計(jì)算機(jī)可讀介質(zhì),這樣的計(jì)算機(jī)程序存儲(chǔ)在該計(jì)算機(jī)可讀介質(zhì)中。

計(jì)算機(jī)可讀介質(zhì)可以是軟盤、硬盤、usb(通用串行總線)存儲(chǔ)設(shè)備、ram(隨機(jī)存取存儲(chǔ)器)、rom(只讀存儲(chǔ)器)、eprom(可擦除可編程只讀存儲(chǔ)器)或flash存儲(chǔ)器(閃速存儲(chǔ)器)。計(jì)算機(jī)可讀介質(zhì)還可以是例如互聯(lián)網(wǎng)的數(shù)據(jù)通信網(wǎng)絡(luò),該數(shù)據(jù)通信網(wǎng)絡(luò)允許下載程序代碼。通常,計(jì)算機(jī)可讀介質(zhì)可以是非暫時(shí)性或暫時(shí)性介質(zhì)。

本發(fā)明的另一方面涉及一種視線追蹤系統(tǒng),例如,該視線追蹤系統(tǒng)可以通過膝上型計(jì)算機(jī)或頭戴式眼睛追蹤器來提供。必須理解的是,如在以上和以下描述的方法、計(jì)算機(jī)程序和計(jì)算機(jī)可讀介質(zhì)的特征可以是如在以上和以下描述的視線追蹤系統(tǒng)的特征,反之亦然。

根據(jù)本發(fā)明的一個(gè)實(shí)施例,該視線追蹤系統(tǒng)包括用于生成視線追蹤數(shù)據(jù)視線追蹤設(shè)備和對象檢測設(shè)備,該視線追蹤設(shè)備可以適配以用于執(zhí)行如以上和以下描述的方法。

視線追蹤設(shè)備可以包括用于照明人的眼睛的光源和用于檢測該眼睛的運(yùn)動(dòng)的相機(jī)或傳感器。視線追蹤設(shè)備可以生成例如2d數(shù)據(jù)點(diǎn)的序列的視線追蹤數(shù)據(jù),該視線追蹤數(shù)據(jù)指示人正在看著的點(diǎn)。

對象檢測設(shè)備可以是例如附接至智能眼鏡的計(jì)算機(jī)、智能電話、平板計(jì)算機(jī)、或頭戴式眼睛追蹤器。通常,該對象檢測設(shè)備可以適配以用于處理視線追蹤數(shù)據(jù)。

此外,視線追蹤系統(tǒng)可以包括用于顯示例如圖像的對象集合的顯示設(shè)備。

總之,當(dāng)與具有在高數(shù)目的對象(例如,數(shù)百至數(shù)千的詞語、圖像)中進(jìn)行視線追蹤和搜索的計(jì)算機(jī)一起工作時(shí),關(guān)于焦點(diǎn)和外圍視覺的信息可以被用于識(shí)別感興趣的對象之間的相似性。該信息可以通過以下方式有效地在她的或他的搜索中支持用戶(即,使用視線追蹤系統(tǒng)的人):例如顯示包含全部數(shù)目的對象中的對象的最可能的搜索結(jié)果的子樣本;基于所假設(shè)的興趣適配顯示次序;或者在更間接的方法中,使用關(guān)于可能和與最終選擇有關(guān)的信息組合的相似性的該信息,在最初用戶的搜索之后,將對象的顯示適配至在對象的類似群組中作出選擇的其它用戶。

該方法可以用于基于通過視線追蹤系統(tǒng)(從遠(yuǎn)程眼睛追蹤至具有所包括的眼睛追蹤器的抬頭顯示器的各種裝置(setup))提供的視線數(shù)據(jù)來識(shí)別對象或感興趣的對象的群組,以實(shí)時(shí)或近實(shí)時(shí)在基于光學(xué)的搜索過程中支持用戶。

當(dāng)焦點(diǎn)的運(yùn)動(dòng)和視線交互事件的若干其它方面(焦點(diǎn)的持續(xù)時(shí)間、焦點(diǎn)的分布等)可以揭示關(guān)于用戶的感興趣的對象的信息時(shí),同時(shí)焦點(diǎn)基于個(gè)人興趣被吸引至對象,該個(gè)人興趣從由于特異性(peculiarity)、陌生(unfamiliarity)和記憶的排斥到吸引力以及搜索過程中獨(dú)立于對象的影響——如被打斷或?qū)υ谄聊惶師o目的地凝視。還可以通過該方法補(bǔ)償對該搜索過程的這些影響。

本發(fā)明的這些和其它方面將通過參照下文中描述的實(shí)施例而變得顯而易見并得以闡明。

附圖說明

以下,參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。

圖1示出根據(jù)本發(fā)明的實(shí)施例的視線追蹤系統(tǒng)。

圖2示出根據(jù)本發(fā)明的其他實(shí)施例的視線追蹤系統(tǒng)。

圖3示出用于根據(jù)本發(fā)明的實(shí)施例的,檢測感興趣的對象的方法的流程圖。

圖4示意性示出在圖3的方法中使用的對象映射。

圖5示意性示出在圖3的方法中使用的周邊視野的模型。

圖6示意性示出在圖3的方法中使用的對象類別和特性。

在附圖中使用的附圖標(biāo)記以及它們的含義在附圖標(biāo)記列表中以概述的形式列出來。原則上,在附圖中,完全相同的部分被設(shè)置有相同的附圖標(biāo)記。

具體實(shí)施方式

圖1以膝上型計(jì)算機(jī)的形式示出視線追蹤系統(tǒng)10,其包括殼體12、附接至殼體12的軌跡板14和鍵盤16、和經(jīng)由鉸接件20附接至殼體12的屏幕或顯示設(shè)備18。在鉸接件20上,設(shè)置例如包括紅外光源和對應(yīng)的傳感器(相機(jī))的遠(yuǎn)程視線追蹤器22。另外,在屏幕18上方設(shè)置3d相機(jī)24。

利用遠(yuǎn)程視線追蹤器22,膝上型計(jì)算機(jī)可以被用作為視線追蹤設(shè)備26。來自視線追蹤器22的紅外光被照射在用戶處,并且利用視線追蹤器22的內(nèi)部相機(jī)記錄來自眼球的反射。根據(jù)紅外相機(jī)的所記錄的數(shù)據(jù),膝上型計(jì)算機(jī)10然后預(yù)測眼睛正在看著哪里。具體地,膝上型計(jì)算機(jī)10生成視線追蹤數(shù)據(jù),該視線追蹤數(shù)據(jù)可以被提供給在膝上型計(jì)算機(jī)上運(yùn)行的軟件組件。

如下面將更詳細(xì)說明的,膝上型計(jì)算機(jī)10可以顯示對象28并且可以使用視線追蹤數(shù)據(jù)來檢測哪些對象28或該對象的哪些特征是用戶感興趣的。在這個(gè)意義上,膝上型計(jì)算機(jī)10可以被看作為對象檢測設(shè)備30。

圖2示出包括作為視線追蹤設(shè)備26的眼鏡32和對象檢測設(shè)備30的視線追蹤系統(tǒng)10的其他類型,該對象檢測設(shè)備30可以是與眼鏡32通信地互連的pc或智能電話。眼鏡32包括用于記錄眼鏡32的佩戴者的眼睛的傳感器或相機(jī)34,并且眼鏡32或?qū)ο髾z測設(shè)備可以生成來自傳感器34的所記錄的數(shù)據(jù)的視線追蹤數(shù)據(jù)。

此外,眼鏡32包括用于記錄佩戴者的視場的相機(jī)36。利用相機(jī)36的相機(jī)數(shù)據(jù),對象檢測設(shè)備30可以檢測該人正在看著的對象(例如,通過在相機(jī)數(shù)據(jù)中找出輪廓或形狀),并且利用視線追蹤數(shù)據(jù),對象檢測設(shè)備30可以檢測哪些對象或這些對象的哪些特征是佩戴者感興趣的。

圖3示出用于檢測感興趣的對象的方法,其可以通過圖1或圖2的對象檢測設(shè)備/模塊來執(zhí)行。

在步驟s10中,對象檢測設(shè)備30接收人正在看著對象集合的視線追蹤數(shù)據(jù),該視線追蹤數(shù)據(jù)包括該人正在看著哪些點(diǎn)的信息。例如,對象集合可以是顯示器18上的圖像,或者可以是在佩戴眼鏡32時(shí)她或他的視場中的對象。

如圖4所示,視線追蹤數(shù)據(jù)38可以包括一系列的數(shù)據(jù)點(diǎn)40,其例如可以利用恒定或可變的采樣率通過圖1或圖2的視線追蹤設(shè)備26來記錄。該數(shù)據(jù)點(diǎn)40可以包括可以被映射至顯示器18的坐標(biāo)的兩個(gè)坐標(biāo),和/或校正可以被應(yīng)用來調(diào)整所假設(shè)的焦點(diǎn)。

在步驟s12中,確定人的視場中的對象28的映射42,對象的映射42指示對象集合中的對象28布置在哪個(gè)位置處。

這樣的映射的示例還被示出在圖4中。每個(gè)對象28在映射42中具有映射區(qū)域44。在圖4的情況下,映射區(qū)域44是相等尺寸的矩形。例如,對象28可以是相等尺寸的圖像,并且映射區(qū)域44可以是這些圖像的外邊界。

當(dāng)對象28具有較復(fù)雜的形式時(shí)(例如,當(dāng)對象是圖像的部分時(shí)),還可以針對對象28來確定輪廓46,并且可以根據(jù)這些輪廓46來生成對象的映射42。

在對象是現(xiàn)實(shí)世界對象(例如,在圖2的情況下)和/或?qū)ο鬀]有由視線追蹤系統(tǒng)10自身來顯示的情況下,可以根據(jù)從相機(jī)36接收的圖像數(shù)據(jù)來生成對象28的映射42。例如,對象辨識(shí)算法可以應(yīng)用于相機(jī)數(shù)據(jù)并且這些對象的輪廓被用于生成映射42。

在步驟s14中,通過將視線追蹤數(shù)據(jù)與對象的映射42進(jìn)行匹配來確定視線交互事件48,其中,針對對象的視線交互事件48指示關(guān)于對象28已經(jīng)發(fā)生了特定視線交互。通過根據(jù)事件追蹤數(shù)據(jù)確定視線交互事件48的一個(gè)或多個(gè)算法來處理視線追蹤數(shù)據(jù)30。

這些算法可以相對于對象28的位置中立,并且所檢測的事件48可以具有可以映射至一個(gè)或多個(gè)對象28的位置。這樣的視線交互事件48的示例可以是固定點(diǎn)48a,其可以在特定數(shù)目的數(shù)據(jù)點(diǎn)40位于特定區(qū)域內(nèi)時(shí)生成。

這里還可以是已經(jīng)關(guān)注于對象28的算法。這樣的算法的示例是在對象28上的視線命中(hit)48b或者關(guān)注于對象28的視線的持續(xù)時(shí)間。

還可能的是,視線交互事件48、48c是基于如圖5所示的人的周邊視野的模型50的。事件48c可以被描述為事件“對象僅在周邊視野中”。

圖5示出周邊視野的模型50,該模型50包括內(nèi)圓和外環(huán),該內(nèi)圓圍繞對人的焦點(diǎn)(中心凹)視野52建模的數(shù)據(jù)點(diǎn)40,該外環(huán)對人的周邊視野54建模。在圖5中,利用圍繞焦點(diǎn)并且不包括焦點(diǎn)的區(qū)域來建模周邊視野。

基于模型50(其還可以包括若干個(gè)同心環(huán)),可以通過若干算法處理周邊視野上的視線追蹤數(shù)據(jù),所述若干算法也可以關(guān)于位置中立或可以是關(guān)注于對象的。這樣的算法的示例是在周邊視野中的對象28的持續(xù)時(shí)間、周邊視野內(nèi)的涉入程度(levelofinvolvement)等。

模型50可以基于關(guān)于人的信息(例如,基于所監(jiān)視的視線/選擇行為)對于該人進(jìn)行調(diào)整。參照圖5,圓和環(huán)的半徑可以適配于人。

在步驟s16中,確定具有視線交互事件38的對象28的類別特性。如圖6所指示,每個(gè)對象28可以具有一個(gè)或多個(gè)類別特性56,該一個(gè)或多個(gè)類別特性56關(guān)于特定對象類別58來描述該對象28。

例如,對象類別58可以是平均色彩58a、色彩模式58b,該包含頭58c、形狀58d等。在這些情況下的特性56可以是色彩值56a、多個(gè)(色彩)值56b、布爾(boolean)值58c和其它數(shù)據(jù)58d(如“圓形”、“正方形”、“星形”)。

可以是可能的是,預(yù)計(jì)算并且與對象26一起存儲(chǔ)對象26的類別特性56。例如,特性56可以是在數(shù)據(jù)庫中與對象一起存儲(chǔ)的(標(biāo)準(zhǔn))描述符。

還可以是可能的是,通過即時(shí)(onthefly)評估對象26的對象數(shù)據(jù)來確定類別特性56。在這個(gè)情況下,當(dāng)相關(guān)的類別58是未知的時(shí),在搜索過程期間建立已知對象類別58中的相似性的預(yù)先面(upfront)和/或方面。例如,視線追蹤系統(tǒng)10可以知道人正在看著圖像并且針對圖像中的相似性的經(jīng)考慮的對象類別58是突出色彩、粒度、圖像中的人等,并且正在參照用戶正看著的對象26來實(shí)時(shí)或近實(shí)時(shí)地分析這些方面。

此外,可以是可能的是通過評估對象26的對象數(shù)據(jù)來確定事件對象類別58(之前未知)。在這個(gè)情況下,當(dāng)即使針對相似性的對象類別58也未知時(shí),然后在慮及或沒有慮及哪種數(shù)據(jù)被編碼成對象數(shù)據(jù)的情況下,可以基于機(jī)器學(xué)習(xí)算法分析在blob(二進(jìn)制大對象)——即對象數(shù)據(jù)——之間的相似性。

在步驟s18中,通過找出被分配給多個(gè)對象28的至少一個(gè)類別特性56來確定一個(gè)或多個(gè)對象類別58中的一個(gè)或多個(gè)感興趣的類別特性56,該多個(gè)對象28具有指示人對這些對象感興趣的視線交互事件48。

無論對象28是人感興趣的還是不感興趣的,可以基于負(fù)涉入程度和/或正涉入程度來計(jì)算指示符,該涉入程度可以是關(guān)于對象來預(yù)測感興趣的級(jí)別或不感興趣的級(jí)別的數(shù)值。

僅具有高于涉入程度閾值的涉入程度的對象28被認(rèn)為是感興趣的對象,和/或從感興趣的對象的選擇中排除具有高于負(fù)涉入程度閾值的負(fù)涉入程度的對象28。

這里,正涉入程度和/或負(fù)涉入程度的閾值或截止值可以基于在全部對象26上檢測經(jīng)排序的涉入程度的曲線中的群集或急劇下降的算法進(jìn)行動(dòng)態(tài)調(diào)整。

例如,特定視線追蹤事件48可以具有預(yù)定義的正涉入程度和/或可以具有預(yù)定義的負(fù)涉入程度,并且對象的涉入程度然后基于視線交互事件特定程度。例如,固定點(diǎn)48a的涉入程度可以高于數(shù)個(gè)命中48的涉入程度。基于周邊視野的視線交互事件48c可能具有負(fù)涉入程度。例如,當(dāng)對像28在周邊視野被假設(shè)來有效地(actively)處理的時(shí)間期間處于周邊視野中的特定區(qū)域54中但后來沒有被聚焦的時(shí)候。

在那之后,對感興趣的對象28的類別特性56進(jìn)行群集,并且通過選擇類別特性中表示至少一個(gè)感興趣的類別特性的至少一個(gè)群集來確定至少一個(gè)感興趣的類別特性。圖6示出兩個(gè)這樣的群集60。例如,群集60a可以是“對象是藍(lán)色的”,其中,藍(lán)色可以通過被感知為藍(lán)色的色彩值的范圍來描述。作為另一示例,群集60b可以是“示出圓形的對象”。

如上所述,一個(gè)對象類別58的類別特性56可以是數(shù)值、整數(shù)值或布爾值,和/或可以是這些值的集合/向量/矩陣??梢允褂媒y(tǒng)計(jì)方法來評估這些值或值的集合。例如,利用最小均方,可以針對特定類別特性56來確定平均值,并且只有僅具有在閾值以下的距離的那些類別特性56可以被計(jì)入群集。

可以基于單個(gè)對象類別58來對類別特性56群集。

可以是可能的是,經(jīng)由若干對象類別58發(fā)生群集。例如,一個(gè)對象28的若干對象類別58的類別特性56的值(或值的集合)可以被聚集成一個(gè)矢量或矩陣,并且感興趣的對象28的矢量或矩陣可以被評估以供找出類似的模式。具有類似模式的這樣的對象28可以被聚集成一個(gè)群集。然后,感興趣的類別特性可以被確定為這樣的群集的表示。在這個(gè)情況下,相似性可以被限定:可以根據(jù)矢量或矩陣計(jì)算的統(tǒng)計(jì)值至少僅與平均值相差閾值。

通常,還可以是可能的是,基于與類別特性組合的(正和/或負(fù))涉入程度來發(fā)生群集——即從涉入程度和特性來形成矢量和矩陣并且該群集是基于與上述類似的這些矢量或矩陣的。

在這個(gè)情況下,在人的視場中,對象28集合被顯示在顯示設(shè)備18上,在步驟s20中,具有至少一個(gè)感興趣的特性的額外對象28可以被顯示在顯示設(shè)備18上。

例如,當(dāng)檢測到在感興趣的類別特性56當(dāng)中的趨勢時(shí),這個(gè)信息可以被應(yīng)用于其余的正在被搜索的對象28,和/或可以從可通過視線追蹤系統(tǒng)10訪問的類似對象28的數(shù)據(jù)庫抽取其他對象。

當(dāng)具有用戶的歷史——關(guān)于對對象的子集的事先熟悉的信息時(shí),和/或當(dāng)具有關(guān)于對象的一些額外信息時(shí),這個(gè)信息還可以被使用在搜索過程中。例如,可以忽略在按數(shù)據(jù)排序時(shí)的一定數(shù)據(jù)范圍中的圖像,和/或因?yàn)橄到y(tǒng)10知道沒有包括所搜索的項(xiàng)目,所以系統(tǒng)10可以詳細(xì)地知道圖像的群組并且該系統(tǒng)10沒有包括這些。

盡管已經(jīng)在附圖及前述描述中詳細(xì)說明并且描述了本發(fā)明,但這樣的說明和描述可以認(rèn)為是說明性的或示例性的,而不是限制性的;本發(fā)明不限于所公開的實(shí)施例。通過研究附圖、公開內(nèi)容、和所附權(quán)利要求,本領(lǐng)域技術(shù)人員在實(shí)踐所要求保護(hù)的發(fā)明時(shí)能夠理解和實(shí)現(xiàn)所公開的實(shí)施例的其它變型。在權(quán)利要求書中,詞“包括”并不排除其它元件或步驟,且不定冠詞“一”或“一個(gè)”并不排除多個(gè)。單個(gè)處理器或其它單元可以實(shí)現(xiàn)權(quán)利要求書中所記載的若干項(xiàng)目的功能。在相互不同的從屬權(quán)利要求中記載的某些測量并不指示這些測量的組合無法被使用來獲益。權(quán)利要求書中的任何附圖標(biāo)記不應(yīng)當(dāng)被解釋為限制其范圍。

附圖標(biāo)記的列表

10視線追蹤系統(tǒng)

12殼體

14軌跡板

16鍵盤

18顯示設(shè)備

20鉸接件

22視線追蹤器

243d相機(jī)

26視線追蹤設(shè)備

28對象

30對象檢測設(shè)備

32頭戴式眼睛追蹤系統(tǒng)

34眼睛追蹤傳感器

36相機(jī)

38視線追蹤數(shù)據(jù)

40數(shù)據(jù)點(diǎn)

42對象的映射

44映射區(qū)域

46輪廓

48視線交互事件

50周邊視野的模型

52焦點(diǎn)視野

54周邊視野

56類別特性

58對象類別

60群集

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
1
道真| 灌南县| 濉溪县| 中方县| 巫山县| 台南县| 荃湾区| 互助| 新田县| 偃师市| 巧家县| 册亨县| 博客| 阳山县| 勐海县| 庄河市| 梁平县| 巴塘县| 纳雍县| 社旗县| 荆州市| 荣成市| 林口县| 宁安市| 岳阳市| 盐城市| 马尔康县| 名山县| 平顶山市| 海伦市| 崇礼县| 嘉祥县| 淮滨县| 三明市| 利川市| 淮阳县| 乌恰县| 仁寿县| 霍山县| 普格县| 定西市|