專利名稱：促進(jìn)視線跟蹤數(shù)據(jù)應(yīng)用的技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視線跟蹤。更具體些，本發(fā)明涉及使用匯總視線跟蹤數(shù)據(jù)的技術(shù)。
背景技術(shù)：
目前存在當(dāng)一個(gè)人參加某項(xiàng)活動(dòng)如使用計(jì)算機(jī)系統(tǒng)時(shí)可跟蹤那個(gè)人的視線移動(dòng)的設(shè)備。視線跟蹤設(shè)備通常包括一個(gè)攝像機(jī)和相關(guān)的電子元件以產(chǎn)生表示凝視位置的數(shù)據(jù)(或“凝視數(shù)據(jù)”)。該凝視數(shù)據(jù)可用于確定個(gè)體正在看哪里，這可以用注視(持續(xù)預(yù)定時(shí)間的穩(wěn)定凝視)和掃視(在兩點(diǎn)間的凝視移動(dòng))來(lái)描述。
當(dāng)凝視數(shù)據(jù)與表示呈現(xiàn)給用戶的圖像的數(shù)據(jù)相結(jié)合時(shí)，結(jié)合數(shù)據(jù)指示那個(gè)人在觀察什么(或“觀察數(shù)據(jù)”)。例如，觀察數(shù)據(jù)可用于確定，例如，觀察者是否看了呈現(xiàn)出的所有信息。觀察數(shù)據(jù)通常通過(guò)圖像表現(xiàn)為一系列分別指示注視和掃視的圓圈和線條。典型的觀察數(shù)據(jù)和觀察數(shù)據(jù)的圖像表示的一個(gè)缺點(diǎn)是只能表示單個(gè)用戶的觀察。


本發(fā)明通過(guò)附形中的例子來(lái)說(shuō)明，而不是用限制的方式說(shuō)明，其中相似的標(biāo)號(hào)表示相似的元件。
圖1是具有視線跟蹤功能的電子系統(tǒng)的一個(gè)實(shí)施例的框圖。
圖2表示覆蓋有匯總視線跟蹤數(shù)據(jù)的一個(gè)示范的萬(wàn)維網(wǎng)網(wǎng)頁(yè)。
圖3表示用于收集視線跟蹤數(shù)據(jù)的第二個(gè)示范的萬(wàn)維網(wǎng)網(wǎng)頁(yè)。
圖4表示采用混合表示技術(shù)覆蓋有匯總視線跟蹤數(shù)據(jù)的第二個(gè)萬(wàn)維網(wǎng)網(wǎng)頁(yè)。
圖5表示可用于圖像表示觀察數(shù)據(jù)的視覺(jué)靈敏度梯度的一種形式。
圖6是用于收集和表示匯總觀察數(shù)據(jù)的技術(shù)的一個(gè)實(shí)施例的數(shù)據(jù)流程圖。
圖7是用于根據(jù)匯總觀察數(shù)據(jù)修改視覺(jué)景象的技術(shù)的一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式
描述了一種使用視線跟蹤數(shù)據(jù)的技術(shù)。在下面的描述中，為了說(shuō)明的目的，列出了眾多具體細(xì)節(jié)，以提供對(duì)本發(fā)明的全面理解。然而很顯然，對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)即使沒(méi)有這些具體細(xì)節(jié)也可以實(shí)現(xiàn)本發(fā)明。在其他例子中，用框圖的形式表示結(jié)構(gòu)和設(shè)備以免模糊本發(fā)明。
說(shuō)明書(shū)中所指的“一個(gè)實(shí)施例”或“某一實(shí)施例”是指所述的與實(shí)施例相關(guān)的某一特定的特性、結(jié)構(gòu)或特點(diǎn)包括在本發(fā)明的至少一個(gè)實(shí)施例中。在說(shuō)明書(shū)中不同地方出現(xiàn)的短語(yǔ)“在一個(gè)實(shí)施例中”不一定是指同一實(shí)施例。
這里所描述的是包括匯總視線跟蹤數(shù)據(jù)在內(nèi)的技術(shù)。匯總可通過(guò)多種方式實(shí)現(xiàn)，例如，通過(guò)數(shù)據(jù)求和或平均數(shù)據(jù)。也可以使用包括但不限于除法、統(tǒng)計(jì)分析等的其他類型操作進(jìn)行匯總。雖然這里描述為數(shù)據(jù)的求和和/或平均，但可用任何數(shù)據(jù)分析操作來(lái)匯總數(shù)據(jù)。
個(gè)體視線跟蹤數(shù)據(jù)可用于確定個(gè)體是否確實(shí)在看視野中的某一特定區(qū)域。“區(qū)域”可以是視野中的任何部分，例如，區(qū)域可以是顯示設(shè)備上的預(yù)定數(shù)目的像素，或物理環(huán)境中的一個(gè)區(qū)域。對(duì)應(yīng)多個(gè)個(gè)體的數(shù)據(jù)匯總可以為圖片表示(如網(wǎng)頁(yè)，廣告)以及可被觀察的其他項(xiàng)目的設(shè)計(jì)者提供有用的趨勢(shì)和其它數(shù)據(jù)。
指示被觀察區(qū)域和未觀察區(qū)域的匯總觀察數(shù)據(jù)的表示可用幾種不同的技術(shù)實(shí)現(xiàn)。例如，觀察某一特定區(qū)域的觀察者數(shù)目的百分比可表示為某一特定顏色，或者被觀察的背景圖像可根據(jù)靈敏度梯度和觀察不同區(qū)域的個(gè)體數(shù)被模糊。可根據(jù)與某一特定區(qū)域相關(guān)的觀察行為的類型(如讀、凝視)選擇表示為被觀察的不同區(qū)域。
根據(jù)所涉及的環(huán)境和參與者，匯總觀察數(shù)據(jù)可用于提供不同的結(jié)果。例如，匯總觀察數(shù)據(jù)可由視覺(jué)顯示表示，例如，通過(guò)打印數(shù)據(jù)的物理拷貝或用計(jì)算機(jī)顯示器顯示數(shù)據(jù)。匯總觀察數(shù)據(jù)可用于修改被監(jiān)視的區(qū)域。例如，與網(wǎng)頁(yè)相關(guān)的匯總觀察數(shù)據(jù)可用于修改網(wǎng)頁(yè)而不產(chǎn)生匯總觀察數(shù)據(jù)的物理表示。
在一個(gè)實(shí)施例中，這里描述的技術(shù)可實(shí)現(xiàn)為由電子系統(tǒng)執(zhí)行的指令序列。指令序列可由電子系統(tǒng)存儲(chǔ)，或者由電子設(shè)備(如通過(guò)網(wǎng)絡(luò)連接)接收指令。指令可由多個(gè)電子系統(tǒng)執(zhí)行。
例如，一個(gè)或多個(gè)視線跟蹤系統(tǒng)可從各個(gè)用戶收集視線跟蹤數(shù)據(jù)，該數(shù)據(jù)(如通過(guò)網(wǎng)絡(luò))被傳輸?shù)揭粋€(gè)或多個(gè)編譯和/或處理該數(shù)據(jù)的電子系統(tǒng)，然后該電子系統(tǒng)將處理數(shù)據(jù)提升為任何一種用戶可訪問(wèn)的形式(如顯示設(shè)備的圖像輸出、可通過(guò)服務(wù)器訪問(wèn)的文件、打印頁(yè)、另一系統(tǒng)的輸入)。作為另一個(gè)例子，所有的指令可由單個(gè)電子系統(tǒng)(如具有視線跟蹤攝像機(jī)以及收集和處理視線跟蹤數(shù)據(jù)的適當(dāng)軟件的計(jì)算機(jī)系統(tǒng))執(zhí)行。
圖1是電子系統(tǒng)的一個(gè)實(shí)施例的框圖。圖1所示的電子系統(tǒng)用于代表一系列電子系統(tǒng)，如計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)訪問(wèn)設(shè)備、個(gè)人數(shù)字助理(PDA)等?？商娲碾娮酉到y(tǒng)可包括更多、更少和/或不同的元件。為了簡(jiǎn)化說(shuō)明，描述的電子系統(tǒng)100帶有視線跟蹤設(shè)備，然而，并不要求視線跟蹤設(shè)備是處理視線跟蹤數(shù)據(jù)的同一電子系統(tǒng)的一部分。
電子系統(tǒng)100包括總線101或用于傳送信息的其它通訊設(shè)備，以及耦合到總線101以處理信息的處理器102。雖然電子系統(tǒng)100用單個(gè)處理器表示，電子系統(tǒng)100可包括多個(gè)處理器和/或協(xié)處理器。電子系統(tǒng)100還包括隨機(jī)存取存儲(chǔ)器(RAM)或其他動(dòng)態(tài)存儲(chǔ)設(shè)備104(稱為存儲(chǔ)器)，耦合到總線101并存儲(chǔ)信息和由處理器102執(zhí)行的指令。存儲(chǔ)器104也用于存儲(chǔ)處理器102執(zhí)行指令時(shí)的臨時(shí)變量或其它中間信息。
電子系統(tǒng)100還包括耦合到總線101用于存儲(chǔ)靜態(tài)數(shù)據(jù)和處理器102指令的只讀存儲(chǔ)器(ROM)和/或其他靜態(tài)存儲(chǔ)設(shè)備106。數(shù)據(jù)存儲(chǔ)設(shè)備107耦合到總線101以存儲(chǔ)信息和指令。諸如磁盤(pán)或光盤(pán)及相應(yīng)的驅(qū)動(dòng)的數(shù)據(jù)存儲(chǔ)設(shè)備107可以耦合到電子系統(tǒng)100。
存儲(chǔ)器104包括操作視線跟蹤數(shù)據(jù)166以產(chǎn)生觀察數(shù)據(jù)的輸出表示的視線跟蹤應(yīng)用軟件162。其他視線跟蹤數(shù)據(jù)(未示于圖1中)可存儲(chǔ)在存儲(chǔ)設(shè)備107或通過(guò)網(wǎng)絡(luò)接口130訪問(wèn)。下文用更詳細(xì)的細(xì)節(jié)來(lái)描述視線跟蹤應(yīng)用軟件162的特別功能和視線跟蹤數(shù)據(jù)166的應(yīng)用。
存儲(chǔ)器104包含引導(dǎo)系統(tǒng)100運(yùn)行的操作系統(tǒng)160。在一個(gè)實(shí)施例中，操作系統(tǒng)160是系統(tǒng)100的最高控制層。應(yīng)用軟件164是系統(tǒng)控制的較低層，因?yàn)樗麄冊(cè)谳^高系統(tǒng)層容許的上下文中引導(dǎo)運(yùn)行。應(yīng)用軟件164可包含用戶程序(如文字處理軟件、電子郵件(e-mail)程序)。
電子系統(tǒng)100也可以通過(guò)總線101耦合到諸如陰極射線管(CRT)或液晶顯示器(LCD)的顯示設(shè)備121，以向計(jì)算機(jī)用戶顯示信息。包括字母數(shù)字鍵和其他鍵的字母數(shù)字輸入設(shè)備122，通常耦合到總線101以向處理器102傳送信息和命令選擇。另一種類型的用戶輸入設(shè)備是諸如鼠標(biāo)、跟蹤球或光標(biāo)方向鍵的光標(biāo)控制器123，用于將方向信息和命令選擇傳送給處理器102和控制顯示器121上的光標(biāo)移動(dòng)。電子系統(tǒng)100還包括網(wǎng)絡(luò)接口130，用于訪問(wèn)網(wǎng)絡(luò)如局域網(wǎng)。
視線跟蹤設(shè)備150耦合到總線101并產(chǎn)生可存儲(chǔ)在存儲(chǔ)器104和/或存儲(chǔ)設(shè)備107中的視線跟蹤數(shù)據(jù)166。視線跟蹤設(shè)備150可以是本領(lǐng)域中任何一種已知的視線跟蹤設(shè)備。例如，視線跟蹤設(shè)備150可通過(guò)光、電、磁和/或其他技術(shù)跟蹤視線移動(dòng)。
指令通過(guò)可訪問(wèn)一個(gè)或多個(gè)電子可訪問(wèn)介質(zhì)的有線或無(wú)線遠(yuǎn)程連接(如在通過(guò)網(wǎng)絡(luò)接口130的網(wǎng)絡(luò)上)從諸如磁盤(pán)、只讀存儲(chǔ)器(ROM)集成電路、CD-ROM、DVD的存儲(chǔ)設(shè)備提供給存儲(chǔ)器。在其他實(shí)施例中，硬連接電路可用于取代軟件指令或與軟件指令結(jié)合使用。這樣，指令序列的執(zhí)行不限于硬件電路和軟件指令的任何特定結(jié)合。
電子可訪問(wèn)介質(zhì)包括提供(即存儲(chǔ)和/或傳輸)電子設(shè)備(如計(jì)算機(jī)、個(gè)人數(shù)字助理、便攜式電話機(jī))可讀的內(nèi)容(如計(jì)算機(jī)可執(zhí)行指令)的任何機(jī)制。例如，機(jī)器可訪問(wèn)介質(zhì)包括只讀存儲(chǔ)器(ROM)，隨機(jī)存取存儲(chǔ)器(RAM)，磁盤(pán)存儲(chǔ)介質(zhì)，光存儲(chǔ)介質(zhì)，閃存設(shè)備，電、光、聲或傳播信號(hào)的其他形式(如載波、紅外信號(hào)、數(shù)字信號(hào))等。
在一個(gè)實(shí)施例中，視線跟蹤設(shè)備150產(chǎn)生表示視線位置和移動(dòng)的原始數(shù)據(jù)。原始數(shù)據(jù)通過(guò)總線101傳輸?shù)酱鎯?chǔ)器104，存儲(chǔ)為視線跟蹤數(shù)據(jù)166。處理器102執(zhí)行視線跟蹤應(yīng)用軟件162，解釋視線跟蹤數(shù)據(jù)166。視線跟蹤應(yīng)用軟件162解釋不同級(jí)別的視線跟蹤數(shù)據(jù)。
在最低級(jí)，視線跟蹤數(shù)據(jù)被解釋以確定基本特性。例如，視線跟蹤數(shù)據(jù)可以是二維(x，y)視線凝視位置，三維(x，y，z)凝視位置，采樣時(shí)間(t)，瞳孔直徑(d)，眼睛是睜開(kāi)還是閉合，和/或諸如生物反饋(如出汗、溫度、心率、呼吸頻率)信息的其他相關(guān)信息。凝視信息可包括持續(xù)時(shí)間、反應(yīng)時(shí)間和/或與某一特定凝視有關(guān)的其他信息。例如，從視線跟蹤數(shù)據(jù)確定的基本特性可以是注視(位置、時(shí)間和/或持續(xù)時(shí)間)、掃視(數(shù)量、方向和/或速率)、平滑追隨動(dòng)作(視線的路徑、速率)、眨眼(持續(xù)時(shí)間)。
在一個(gè)實(shí)施例中，注視定義為在一定的空間-時(shí)間間隔中原始視線跟蹤器數(shù)據(jù)統(tǒng)計(jì)上的大量群集。通過(guò)分析原始視線跟蹤器數(shù)據(jù)流確定在預(yù)定的最小注視時(shí)間間隔內(nèi)多數(shù)視線位置是否位于預(yù)定的最小注視空間間隔內(nèi)來(lái)識(shí)別注視。例如，可分析原始視線跟蹤器數(shù)據(jù)流以確定在50ms的時(shí)間間隔內(nèi)是否至少80％的視線位置位于0.25度的空間間隔。也可以使用其他數(shù)值和其他技術(shù)來(lái)識(shí)別注視。本領(lǐng)域中許多技術(shù)是已知的，可以采用識(shí)別注視的任何技術(shù)。
掃視可定義為兩個(gè)注視間的位移和方向。從原始視線跟蹤器數(shù)據(jù)流也可以確定其他基本特性，如眨眼、平滑追隨動(dòng)作和眼睛在頭中轉(zhuǎn)動(dòng)的角度。
然后可解釋這些基本特性以確定眼動(dòng)模式。例如，眼動(dòng)模式可以包括再訪、重要注視、垂直掃視、水平掃視、短掃視系列等。在一個(gè)實(shí)施例中，眼動(dòng)模式是滿足與預(yù)定眼動(dòng)模式模板相關(guān)的一組標(biāo)準(zhǔn)的基本特性的組合。在一個(gè)實(shí)施例中，可在每個(gè)掃視后分析基本特性以確定是否存在預(yù)定的眼動(dòng)模式。
在一個(gè)實(shí)施例中，眼動(dòng)模式定義如下，然而，可以用眼動(dòng)模式的其他定義以及可以定義其他的眼動(dòng)模式?！霸僭L”是5個(gè)最近注視之一的1.2度內(nèi)的當(dāng)前注視，不包括當(dāng)前注視前緊鄰的那個(gè)注視。在一個(gè)實(shí)施例中，“重要注視”是與同一范疇內(nèi)的其他注視相比持續(xù)時(shí)間長(zhǎng)得多的注視。
“垂直掃視”是垂直(y)位移多于水平(x)位移的兩倍并且水平位移小于1度的掃視。“水平掃視”是水平位移多于垂直位移的兩倍并且垂直位移小于1度的掃視?！岸虙咭曄盗小笔强傮w距離跨度超過(guò)5度的一系列短掃視。
眼動(dòng)模式可提供有關(guān)觀察者精神狀態(tài)的信息。例如，如果觀察者從注視作了一個(gè)小掃視，觀察者作了一個(gè)可辨識(shí)的移動(dòng)因?yàn)樗麄兺ㄟ^(guò)周圍視覺(jué)移動(dòng)到了一個(gè)可視區(qū)域。作為另一個(gè)例子，短掃視系列指示觀察者在看本地的一個(gè)物體。后面緊跟著少量小掃視的重要注視后的大掃視指示到記憶位置的可辨識(shí)移動(dòng)。多個(gè)大掃視指示全局搜索，這發(fā)生在觀察者在大區(qū)域搜索目標(biāo)的時(shí)候。
眼動(dòng)模式被解釋以確定視線行為模式。視線行為模式是滿足預(yù)定準(zhǔn)則的一個(gè)或多個(gè)眼動(dòng)模式。通常，視線行為模式的識(shí)別不需要觀察者視野的預(yù)先知識(shí)。這樣，可以不參考視野而推斷出觀察者的精神狀態(tài)。然而，精神狀態(tài)和/或視線到視野移動(dòng)的圖像表示應(yīng)用可提供對(duì)設(shè)計(jì)、使用、修改或有關(guān)觀察者視野內(nèi)容的其他目的有用的信息。
下面的視線行為模式的例子和定義是代表性的而不是窮舉性的。可以支持其他和/或不同的視線行為模式。不同的定義也可以適用于個(gè)體視線行為模式?！白顑?yōu)線”是至少兩個(gè)向左或向右的水平掃視的一個(gè)序列?！白x”是向右的一個(gè)最優(yōu)線(對(duì)于英語(yǔ)和從左向右讀的其他語(yǔ)言)或者當(dāng)當(dāng)前狀態(tài)是讀時(shí)的一個(gè)短水平掃視。
“讀塊”是被向左的大掃視分開(kāi)的向右的最優(yōu)線的一個(gè)序列，其中最優(yōu)線被規(guī)則地隔成向下的序列且(典型地)具有類似的長(zhǎng)度。“再讀”是讀先前讀過(guò)的區(qū)域?！皰呙琛被颉盀g覽”是由具有向下元素的大掃視連接的向右的最優(yōu)線的一個(gè)序列，其中最優(yōu)線不是規(guī)則地被分開(kāi)或具有相等的長(zhǎng)度。
例如，“思考”由被短掃視分開(kāi)的幾個(gè)長(zhǎng)注視定義。例如“隔開(kāi)”由被持續(xù)很長(zhǎng)時(shí)間的短掃視分開(kāi)的幾個(gè)長(zhǎng)注視定義。“搜索”是一個(gè)短掃視系列、多個(gè)大掃視或自上次重要注視或用戶狀態(tài)變化以來(lái)的許多掃視?！霸僬J(rèn)識(shí)”類似于具有較長(zhǎng)注視和一致節(jié)奏的搜索。
圖2表示了覆蓋有匯總視線跟蹤數(shù)據(jù)的一個(gè)示范萬(wàn)維網(wǎng)頁(yè)。對(duì)一組觀察者的其他視野類型也可以積累和表示匯總視線跟蹤數(shù)據(jù)。例如，對(duì)一組讀書(shū)的觀察者，或者對(duì)諸如藝術(shù)作品或汽車的三維物體觀察者可收集視線跟蹤數(shù)據(jù)?？捎枚喾N技術(shù)積累匯總視線跟蹤數(shù)據(jù)。
在一個(gè)實(shí)施例中，可由電子系統(tǒng)(如計(jì)算機(jī)系統(tǒng))匯總來(lái)自多個(gè)個(gè)體的視線跟蹤數(shù)據(jù)(來(lái)自多個(gè)視線跟蹤設(shè)備或單個(gè)視線跟蹤設(shè)備)，該匯總視線跟蹤數(shù)據(jù)可用于生成匯總視線跟蹤數(shù)據(jù)的圖像表示。在另一個(gè)實(shí)施例中，來(lái)自單個(gè)個(gè)體的視線跟蹤數(shù)據(jù)可用于生成視線跟蹤數(shù)據(jù)的圖像表示。來(lái)自另一個(gè)個(gè)體的視線跟蹤數(shù)據(jù)可在圖像上與該圖像表示結(jié)合以產(chǎn)生結(jié)合兩個(gè)個(gè)體的圖像表示。該過(guò)程對(duì)于任何數(shù)量的個(gè)體都可以重復(fù)。
網(wǎng)頁(yè)200給出觀察者可觀察到的圖像和文本域的結(jié)合。例如，圖像250表示遛狗的人。在一個(gè)實(shí)施例中，區(qū)域210和215在指示器內(nèi)提供觀察該區(qū)域的觀察者的百分比(或總數(shù))指示。一般而言，與區(qū)域215相比，跟蹤到的觀察區(qū)域210內(nèi)的區(qū)域的觀察者百分比較大。例如，對(duì)不同區(qū)域，該差別可表現(xiàn)為不同顏色，不同區(qū)域可有不同程度的模糊，和/或區(qū)域的不透明度可指示觀察百分比或數(shù)量。
在一個(gè)實(shí)施例中，如果區(qū)域的邊界環(huán)繞基本特性(如注視或凝視)的邊界，就認(rèn)為該區(qū)域被觀察。在其他實(shí)施例中，例如，當(dāng)區(qū)域小于用于指示注視或凝視的區(qū)域時(shí)，如果基本特性與區(qū)域交疊，就認(rèn)為該區(qū)域被觀察。在一個(gè)實(shí)施例中，不同形狀可與不同的基本特性相結(jié)合。
在一個(gè)實(shí)施例中，根據(jù)與背景區(qū)域相關(guān)的視線行為模式選擇區(qū)域的形狀。例如，注視可表示為圓，瞥表示為大圓，讀表示為矩形區(qū)域。區(qū)域220、222和224提供觀察者讀的例子。在圖2的例子中，區(qū)域220指示讀取文本的前三個(gè)單詞的觀察者的百分比/數(shù)量。區(qū)域222指示讀取文本的第一行的觀察者的百分比/數(shù)量。區(qū)域224指示讀取整段的觀察者的百分比/數(shù)量。
可根據(jù)背景觀察區(qū)域選擇各個(gè)區(qū)域指示觀察特定區(qū)域的觀察者數(shù)目的方式。例如，灰色或灰影可用于指示觀察某一特定區(qū)域的觀察者的數(shù)目和/或百分比，或者也可以用模糊。也可用這些或類似技術(shù)指示其他觀察數(shù)據(jù)，例如每個(gè)區(qū)域被觀察的時(shí)間長(zhǎng)短，或提供時(shí)延的指示?？商峁┝硗獾闹甘酒鱽?lái)表示觀察者動(dòng)作。例如，如果一個(gè)或多個(gè)觀察者點(diǎn)擊“更多”鏈接來(lái)讀取另外的文本，采取動(dòng)作的指示可覆蓋在“更多”鏈接上?？梢蔡峁┢渌膭?dòng)作指示器。
圖3表示用于收集視線跟蹤數(shù)據(jù)的第二個(gè)示范萬(wàn)維網(wǎng)頁(yè)。網(wǎng)頁(yè)300是一個(gè)虛構(gòu)的網(wǎng)頁(yè)，作為可收集視線跟蹤數(shù)據(jù)的典型網(wǎng)頁(yè)的例子。當(dāng)觀察者通過(guò)讀、瀏覽、點(diǎn)擊或以其他方式觀察網(wǎng)頁(yè)300而與網(wǎng)頁(yè)300交互時(shí)，視線跟蹤設(shè)備，如顯示設(shè)備下面的攝像機(jī)顯示網(wǎng)頁(yè)300；然而，視線跟蹤設(shè)備可放在能充分接近觀察者的眼睛以提供視線跟蹤數(shù)據(jù)的任何位置。
圖4表示采用混合表示技術(shù)覆蓋有匯總視線跟蹤數(shù)據(jù)的網(wǎng)頁(yè)300。在一個(gè)實(shí)施例中，產(chǎn)生一個(gè)匯總觀察面具，其中觀察網(wǎng)頁(yè)300的某一特定區(qū)域的觀察者的百分比決定區(qū)域的不透明性。在α混合操作中，匯總觀察面具用作前景，被觀察圖像用作背景。例如，如果100％的觀察者觀察區(qū)域，區(qū)域的不透明性為0％。換句話說(shuō)，區(qū)域是透明的且相應(yīng)的背景區(qū)域不會(huì)被前景區(qū)域遮蔽。作為另一個(gè)例子，如果50％的觀察者觀察區(qū)域，區(qū)域的不透明性為50％，或50％是透明的。
在一個(gè)實(shí)施例中，匯總觀察面具與網(wǎng)頁(yè)300進(jìn)行α混合。α混合是將前景圖像(如觀察面具)與背景圖像(如網(wǎng)頁(yè)300)結(jié)合以產(chǎn)生新的混合圖像的過(guò)程。前景圖像的半透明程度可在完全透明到完全不透明間變化。如果前景圖像完全透明，混合圖像就是背景圖像。相反地，如果前景圖像完全不透明，混合圖像就是前景圖像。當(dāng)然，半透明可在這些極端間變化，這種情況下混合圖像計(jì)算為前景和背景圖像的加權(quán)平均。
在一個(gè)實(shí)施例中，背景圖像的半透明度為20％，前景圖像的半透明度為80％。根據(jù)觀察背景圖像的某一區(qū)域的觀察者的百分比/數(shù)量選擇每個(gè)區(qū)域的顏色。作為觀察百分比的另一個(gè)指示器，可根據(jù)觀察某一區(qū)域的觀察者的百分比/數(shù)量對(duì)不同區(qū)域進(jìn)行顏色編碼。
在另一個(gè)實(shí)施例中，模糊了網(wǎng)頁(yè)300的背景圖像以表示觀察百分比/數(shù)量。在一個(gè)實(shí)施例中，根據(jù)表示人眼實(shí)際所看的靈敏度梯度進(jìn)行模糊。
圖5表示可用的視覺(jué)靈敏度梯度的一種形式。圖5中的梯度來(lái)自1974年C.V.莫斯比(Mosby)公司出版的弗農(nóng)·B.·山城堡(Vernon B.Mountcastle)的第一卷“醫(yī)學(xué)生理學(xué)”(Medical Physiology，Volume One)的463頁(yè)。在另一個(gè)可替代的實(shí)施例中，用作前景圖像的匯總觀察面具可包括觀察某一特定區(qū)域的人的百分比/數(shù)量的灰度色標(biāo)指示。例如，較淺的灰色陰影可指示較高的觀察百分比而較深的灰色陰影表示較低的觀察百分比。然后前景圖像與背景圖像進(jìn)行α混合以產(chǎn)生匯總觀察數(shù)據(jù)的視覺(jué)表示。
圖6是收集和表示匯總觀察數(shù)據(jù)的技術(shù)的一個(gè)實(shí)施例的數(shù)據(jù)流程圖。圖6的例子產(chǎn)生與觀察數(shù)據(jù)的顏色表示進(jìn)行了α混合的觀察表示。如上所述，可以用其他類型的表示。在一個(gè)實(shí)施例中，圖6的流程由電子系統(tǒng)完成，例如，圖2的電子系統(tǒng)；然而，可以采用任何硬件軟件的結(jié)合、硬件或軟件。
信息呈現(xiàn)給觀察者610。呈現(xiàn)給用戶的信息可以是，例如，計(jì)算機(jī)系統(tǒng)的顯示設(shè)備上的網(wǎng)頁(yè)或一本書(shū)或其他類型的信息。放置視線跟蹤設(shè)備以跟蹤觀察信息者的視線。例如，可將具有視線跟蹤功能的攝像機(jī)放置在計(jì)算機(jī)系統(tǒng)的顯示設(shè)備的底部或?qū)z像機(jī)放置在書(shū)本頂部?？梢圆捎帽绢I(lǐng)域已知的跟蹤視線移動(dòng)的任何技術(shù)和/或設(shè)備。
獲取個(gè)體的視線跟蹤數(shù)據(jù)620。視線跟蹤數(shù)據(jù)由計(jì)算機(jī)系統(tǒng)或其他數(shù)據(jù)獲取設(shè)備存儲(chǔ)以進(jìn)行后續(xù)處理。如果在630沒(méi)有獲得所有被跟蹤個(gè)體的視線跟蹤數(shù)據(jù)，獲取另一個(gè)個(gè)體的視線跟蹤數(shù)據(jù)620。
如果在630獲得了所有被跟蹤的個(gè)體的視線跟蹤數(shù)據(jù)，各個(gè)信息區(qū)域的個(gè)體數(shù)據(jù)被求和和/或平均640。在一個(gè)實(shí)施例中，一個(gè)區(qū)域由網(wǎng)頁(yè)上的一個(gè)像素區(qū)域組成。然而，可用任何數(shù)目的像素來(lái)定義區(qū)域。也可以采用信息區(qū)域的其他定義。例如，可以通過(guò)確定是否每個(gè)個(gè)體觀察者觀察了某一特定區(qū)域以及求觀察該區(qū)域的觀察者人數(shù)總和來(lái)實(shí)現(xiàn)個(gè)體觀察數(shù)據(jù)的求和。然后總和或平均數(shù)與每個(gè)區(qū)域相結(jié)合以產(chǎn)生匯總觀察數(shù)據(jù)的表示。匯總觀察數(shù)據(jù)的總和是匯總觀察面具。
在一個(gè)實(shí)施例中，根據(jù)區(qū)域的匯總觀察數(shù)據(jù)為每個(gè)區(qū)域分配顏色650。也可以采用不是顏色表示，例如，可以用灰度色標(biāo)或模糊。在一個(gè)實(shí)施例中，紅色和橙色陰影用于表示觀察某一特定區(qū)域的大多數(shù)觀察者，綠色和藍(lán)色陰影用于表示觀察該區(qū)域的少數(shù)觀察者，黑色或灰色表示沒(méi)有觀察者觀察該區(qū)域。也可以采用其他的顏色方案。
在信息和匯總觀察面具的表示上進(jìn)行α混合。在一個(gè)實(shí)施例中，背景圖像(如觀察者所觀察的網(wǎng)頁(yè))分配了20％的不透明，前景圖像(如匯總觀察面具)分配了80％的不透明。除匯總觀察面具上的顏色外，根據(jù)實(shí)際觀察區(qū)域的觀察者的百分比，各個(gè)區(qū)域也可以有不透明性。顯示α混合圖像670。
圖7是根據(jù)匯總觀察數(shù)據(jù)修改視覺(jué)景象的技術(shù)的一個(gè)實(shí)施例的數(shù)據(jù)流程圖。在一個(gè)實(shí)施例中，圖7的流程由電子系統(tǒng)完成，例如，圖2的電子系統(tǒng)；然而，可以采用任何硬件軟件的結(jié)合、硬件或軟件。
信息呈現(xiàn)給觀察者710。呈現(xiàn)給用戶的信息可以是，例如，計(jì)算機(jī)系統(tǒng)的顯示設(shè)備上的網(wǎng)頁(yè)或應(yīng)用程序或其他類型的信息。放置視線跟蹤設(shè)備以跟蹤觀察信息者的視線?？梢圆捎帽绢I(lǐng)域已知的跟蹤視線移動(dòng)的任何技術(shù)和/或設(shè)備。
獲取個(gè)體的視線跟蹤數(shù)據(jù)720。視線跟蹤數(shù)據(jù)由計(jì)算機(jī)系統(tǒng)或其他數(shù)據(jù)獲取設(shè)備存儲(chǔ)以進(jìn)行后續(xù)處理。如果在730沒(méi)有獲得所有被跟蹤個(gè)體的視線跟蹤數(shù)據(jù)，獲取另一個(gè)個(gè)體的視線跟蹤數(shù)據(jù)720。
如果在730獲得了所有被跟蹤個(gè)體的視線跟蹤數(shù)據(jù)，各個(gè)信息區(qū)域的個(gè)體數(shù)據(jù)被求和且平均740。然后匯總數(shù)據(jù)被用于修改呈現(xiàn)給用戶的信息750。例如，可以根據(jù)匯總數(shù)據(jù)修改網(wǎng)頁(yè)的布局。作為另一個(gè)例子，可以根據(jù)匯總數(shù)據(jù)修改應(yīng)用程序的布局。匯總數(shù)據(jù)也可以用來(lái)修改其它類型的信息。
在前述的說(shuō)明書(shū)中，與具體實(shí)施例相結(jié)合描述了本發(fā)明。然而，很明顯，可以對(duì)其進(jìn)行各種修改和變化而不偏離本發(fā)明的較寬的實(shí)質(zhì)和范圍。因此，說(shuō)明書(shū)和附圖應(yīng)被看作是例示作用而不是限制作用。
權(quán)利要求
1.一種方法，包括獲取代表多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)；產(chǎn)生描述多個(gè)個(gè)體視線移動(dòng)的視覺(jué)表示的結(jié)果數(shù)據(jù)，其中視覺(jué)表示對(duì)應(yīng)于多個(gè)個(gè)體的匯總視線移動(dòng)數(shù)據(jù)；以及將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)的狀態(tài)。
2.如權(quán)力要求1所述的方法，其中將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)的狀態(tài)包括用顯示設(shè)備顯示結(jié)果數(shù)據(jù)。
3.如權(quán)力要求1所述的方法，其中將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)的狀態(tài)包括在電子可訪問(wèn)介質(zhì)上存儲(chǔ)結(jié)果數(shù)據(jù)。
4.如權(quán)力要求1所述的方法，其中視覺(jué)表示至少描述多個(gè)個(gè)體觀察的根據(jù)表示多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)進(jìn)行了視覺(jué)修改的視覺(jué)景象的一部分。
5.如權(quán)力要求4所述的方法，還包括在生成視覺(jué)表示前匯總兩個(gè)或更多個(gè)體的個(gè)體視線跟蹤數(shù)據(jù)形成匯總視線跟蹤數(shù)據(jù)，其中根據(jù)匯總視線跟蹤數(shù)據(jù)修改視覺(jué)表示。
6.如權(quán)力要求4所述的方法，其中生成描述多個(gè)個(gè)體視線移動(dòng)的視覺(jué)表示的結(jié)果數(shù)據(jù)包括生成描述在多個(gè)個(gè)體的選定子組和剩余多個(gè)個(gè)體之間差別的結(jié)果數(shù)據(jù)。
7.如權(quán)力要求1所述的方法，其中多個(gè)個(gè)體的視線移動(dòng)對(duì)應(yīng)于從電子系統(tǒng)的顯示設(shè)備讀取信息的多個(gè)個(gè)體。
8.如權(quán)力要求1所述的方法，其中視覺(jué)改變包括根據(jù)視覺(jué)靈敏度梯度模糊視覺(jué)表示。
9.如權(quán)力要求1所述的方法，其中視覺(jué)改變包括表示多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)的視覺(jué)表示和色彩表示的α混合。
10.如權(quán)力要求1所述的方法，其中視覺(jué)改變包括改變未被個(gè)體觀察到的視覺(jué)景象的區(qū)域。
11.如權(quán)力要求1所述的方法，還包括在視覺(jué)表示中提供一個(gè)或多個(gè)用戶的一個(gè)或多個(gè)預(yù)定狀態(tài)的表示。
12.如權(quán)力要求11所述的方法，其中預(yù)定狀態(tài)包括下面一組狀態(tài)中的一個(gè)或多個(gè)光標(biāo)控制選擇、凝視起點(diǎn)、凝視終點(diǎn)、瞳孔數(shù)據(jù)、凝視持續(xù)時(shí)間、生物反饋指示器以及精神狀態(tài)。
13.如權(quán)力要求1所述的方法，其中跟蹤個(gè)體的視線移動(dòng)包括通過(guò)將一個(gè)或多個(gè)視線移動(dòng)模式與一個(gè)或多個(gè)視線行為模式模板相匹配來(lái)確定精神狀態(tài)。
14.根據(jù)權(quán)力要求1所述的方法產(chǎn)生的視線跟蹤數(shù)據(jù)的圖像表示。
15.一種物品，包括電子可訪問(wèn)介質(zhì)，該介質(zhì)上存儲(chǔ)有與根據(jù)權(quán)力要求1所述方法產(chǎn)生的圖像表示相對(duì)應(yīng)的數(shù)據(jù)。
16.一種物品，包括提供指令的電子可訪問(wèn)介質(zhì)，當(dāng)所述指令被執(zhí)行時(shí)，可使一個(gè)或多個(gè)電子系統(tǒng)獲取代表多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)；產(chǎn)生描述多個(gè)個(gè)體視線移動(dòng)的視覺(jué)表示的結(jié)果數(shù)據(jù)，其中視覺(jué)表示對(duì)應(yīng)于多個(gè)個(gè)體的匯總視線移動(dòng)數(shù)據(jù)；以及將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)狀態(tài)。
17.如權(quán)力要求16所述的物品，其中使一個(gè)或多個(gè)電子系統(tǒng)將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)狀態(tài)的指令包括當(dāng)執(zhí)行時(shí)使一個(gè)或多個(gè)電子系統(tǒng)用顯示設(shè)備顯示結(jié)果數(shù)據(jù)的指令。
18.如權(quán)力要求16所述的物品，其中使一個(gè)或多個(gè)電子系統(tǒng)將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)狀態(tài)的指令包括當(dāng)執(zhí)行時(shí)使一個(gè)或多個(gè)電子系統(tǒng)在電子可訪問(wèn)介質(zhì)上存儲(chǔ)結(jié)果數(shù)據(jù)的指令；
19.如權(quán)力要求16所述的物品，其中視覺(jué)表示至少描述被多個(gè)個(gè)體觀察到的根據(jù)表示多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)進(jìn)行了視覺(jué)修改的視覺(jué)景象的一部分。
20.如權(quán)力要求19所述的物品，還包括指令，在產(chǎn)生視覺(jué)表示前，所述指令被執(zhí)行時(shí)使一個(gè)或多個(gè)電子系統(tǒng)匯總兩個(gè)或更多個(gè)體的個(gè)體視線跟蹤數(shù)據(jù)形成匯總視線跟蹤數(shù)據(jù)，其中根據(jù)匯總視線跟蹤數(shù)據(jù)修改視覺(jué)表示。
21.如權(quán)力要求16所述的物品，其中多個(gè)個(gè)體的視線移動(dòng)對(duì)應(yīng)于從電子系統(tǒng)的顯示設(shè)備讀取信息的多個(gè)個(gè)體。
22.如權(quán)力要求16所述的物品，其中使一個(gè)或多個(gè)電子系統(tǒng)產(chǎn)生描述多個(gè)個(gè)體視線移動(dòng)的視覺(jué)表示的指令包括當(dāng)執(zhí)行時(shí)使一個(gè)或多個(gè)電子系統(tǒng)產(chǎn)生描述在多個(gè)個(gè)體的選定子組和剩余多個(gè)個(gè)體之間差別的結(jié)果數(shù)據(jù)的指令。
23.如權(quán)力要求16所述的物品，其中視覺(jué)改變包括根據(jù)視覺(jué)靈敏度梯度模糊視覺(jué)表示。
24.如權(quán)力要求16所述的物品，視覺(jué)改變包括表示多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)的視覺(jué)表示和色彩表示的α混合。
25.如權(quán)力要求16所述的物品，其中視覺(jué)改變包括改變未被個(gè)體觀察到的視覺(jué)景象的區(qū)域。
26.如權(quán)力要求16所述的物品，還包括指令，所述指令被執(zhí)行時(shí)使一個(gè)或多個(gè)電子系統(tǒng)在視覺(jué)表示中提供一個(gè)或多個(gè)用戶的一個(gè)或多個(gè)預(yù)定狀態(tài)的表示。
27.如權(quán)力要求26所述的物品，其中預(yù)定狀態(tài)包括下面一組狀態(tài)中的一個(gè)或多個(gè)光標(biāo)控制選擇、凝視起點(diǎn)、凝視終點(diǎn)、瞳孔數(shù)據(jù)、凝視持續(xù)時(shí)間、生物反饋指示器以及精神狀態(tài)。
28.如權(quán)力要求16所述的物品，其中跟蹤個(gè)體的視線移動(dòng)包括通過(guò)將一個(gè)或多個(gè)視線移動(dòng)模式與一個(gè)或多個(gè)視線行為模式模板相匹配來(lái)確定精神狀態(tài)。
29.一種方法，包括獲取代表一個(gè)或多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)；產(chǎn)生以圖像表示代表一個(gè)或多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)的結(jié)果數(shù)據(jù)；以及將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)狀態(tài)；
30.如權(quán)力要求29所述的方法，其中將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)的狀態(tài)包括用顯示設(shè)備顯示結(jié)果數(shù)據(jù)。
31.如權(quán)力要求29所述的方法，其中將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)的狀態(tài)包括在電子可訪問(wèn)介質(zhì)上存儲(chǔ)結(jié)果數(shù)據(jù)。
32.如權(quán)力要求29所述的方法，其中以圖像表示代表一個(gè)或多個(gè)個(gè)體的視線移動(dòng)的數(shù)據(jù)的結(jié)果數(shù)據(jù)包括根據(jù)適用于表示視線移動(dòng)的數(shù)據(jù)的視覺(jué)靈敏度梯度模糊圖像。
33.如權(quán)力要求29所述的方法，其中以圖像表示代表一個(gè)或多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)的結(jié)果數(shù)據(jù)包括表示視線移動(dòng)的數(shù)據(jù)的圖像和色彩表示的α混合。
34.一種物品，包括提供指令的電子可訪問(wèn)介質(zhì)，當(dāng)所述指令被執(zhí)行時(shí)，使一個(gè)或多個(gè)電子系統(tǒng)獲取代表一個(gè)或更多個(gè)體視線移動(dòng)的數(shù)據(jù)；產(chǎn)生以圖像表示代表一個(gè)或多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)的結(jié)果數(shù)據(jù)；以及將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)狀態(tài)。
35.如權(quán)力要求34所述的物品，其中將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)的狀態(tài)包括用顯示設(shè)備顯示結(jié)果數(shù)據(jù)。
36.如權(quán)力要求34所述的物品，其中將結(jié)果數(shù)據(jù)提升到用戶可訪問(wèn)的狀態(tài)包括在電子可訪問(wèn)介質(zhì)上存儲(chǔ)結(jié)果數(shù)據(jù)。
37.如權(quán)力要求34所述的物品，其中以圖像表示代表一個(gè)或多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)的結(jié)果數(shù)據(jù)包括根據(jù)適用于表示視線移動(dòng)的數(shù)據(jù)的視覺(jué)靈敏度梯度模糊圖像。
38.如權(quán)力要求34所述的物品，其中以圖像表示代表一個(gè)或多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)的結(jié)果數(shù)據(jù)包括表示視線移動(dòng)的數(shù)據(jù)的圖像和色彩表示的α混合。
39.一種方法，包括獲取代表多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)；產(chǎn)生描述多個(gè)個(gè)體視線移動(dòng)的視覺(jué)表示的結(jié)果數(shù)據(jù)；以及至少部分根據(jù)結(jié)果數(shù)據(jù)修改視覺(jué)景象。
40.如權(quán)力要求39所述的方法，其中多個(gè)個(gè)體的視線移動(dòng)對(duì)應(yīng)于從電子系統(tǒng)的顯示設(shè)備讀取信息的多個(gè)個(gè)體。
41.如權(quán)力要求39所述的方法，其中修改視覺(jué)景象包括修改提供視覺(jué)景象的網(wǎng)頁(yè)的布局。
42.如權(quán)力要求39所述的方法，其中修改視覺(jué)景象包括修改提供視覺(jué)景象的應(yīng)用程序的布局；
43.一種物品，包括提供指令的電子可訪問(wèn)介質(zhì)，當(dāng)所述指令被執(zhí)行時(shí)，使一個(gè)或多個(gè)電子系統(tǒng)獲取代表多個(gè)個(gè)體視線移動(dòng)的數(shù)據(jù)；產(chǎn)生描述多個(gè)個(gè)體視線移動(dòng)的視覺(jué)表示的結(jié)果數(shù)據(jù)；以及至少部分根據(jù)結(jié)果數(shù)據(jù)修改視覺(jué)景象。
44.如權(quán)力要求43所述的物品，其中多個(gè)個(gè)體的視線移動(dòng)對(duì)應(yīng)于從電子系統(tǒng)的顯示設(shè)備讀取信息的多個(gè)個(gè)體。
45.如權(quán)力要求43所述的物品，其中修改視覺(jué)景象包括修改提供視覺(jué)景象的網(wǎng)頁(yè)的布局。
46.如權(quán)力要求43所述的物品，其中修改視覺(jué)景象包括修改提供視覺(jué)景象的應(yīng)用程序的布局。
全文摘要
個(gè)體視線跟蹤數(shù)據(jù)可用于確定個(gè)體是否真的在看視野中的某一特定區(qū)域。對(duì)應(yīng)多個(gè)個(gè)體的數(shù)據(jù)匯總可提供對(duì)圖像表示(如網(wǎng)頁(yè)，廣告)以及可以被觀察到的其他項(xiàng)目的設(shè)計(jì)者有用的趨勢(shì)和其它數(shù)據(jù)。指示被觀察區(qū)域和未觀察區(qū)域的匯總觀察數(shù)據(jù)的表示可用幾種不同的技術(shù)實(shí)現(xiàn)。例如，觀察某一特定區(qū)域的觀察者數(shù)量的百分比可表示為某一特定顏色，或者是被觀察的不同區(qū)域的背景圖像?？筛鶕?jù)與某一特定區(qū)域相關(guān)的觀察行為的類型(如讀、凝視)選擇表示被觀察的不同區(qū)域。
文檔編號(hào)A61B3/00GK1688242SQ02827783
公開(kāi)日2005年10月26日 申請(qǐng)日期2002年12月11日 優(yōu)先權(quán)日2001年12月12日
發(fā)明者G·T·愛(ài)德華茲 申請(qǐng)人:眼睛工具公司