評(píng)價(jià)用戶關(guān)注度的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般地涉及人機(jī)交互領(lǐng)域。具體而言，本發(fā)明涉及一種評(píng)價(jià)用戶關(guān)注度的方法和設(shè)備。
【背景技術(shù)】
[0002]近年來(lái)，人機(jī)交互技術(shù)得到迅猛發(fā)展。人機(jī)交互技術(shù)根據(jù)所采用的交互方式大體可分為如下兩類:鍵盤、鼠標(biāo)、觸摸屏等需要用戶與相關(guān)設(shè)備的物理接觸的交互方式、基于用戶的動(dòng)作如手勢(shì)、用戶的語(yǔ)音的無(wú)物理接觸的交互方式。第一種交互方式直接明了，但不夠智能，人機(jī)交互界面不夠友好，不能適用于無(wú)物理接觸的情形。后一種方式直觀容易理解，但容易與用戶的其它動(dòng)作相混淆且需要用戶記憶大量的預(yù)定動(dòng)作，存在口音與口語(yǔ)的識(shí)別困難。相應(yīng)地，用戶意圖識(shí)別的準(zhǔn)確率較低。
[0003]針對(duì)現(xiàn)有技術(shù)中存在的上述問題，期望直接明了、智能友好、無(wú)需物理接觸、無(wú)需記憶預(yù)定動(dòng)作、不存在識(shí)別障礙的人機(jī)交互方式。
[0004]本發(fā)明的發(fā)明人意識(shí)到用戶的視線能夠直接地反映用戶的觀看對(duì)象，而用戶的表情能夠直接地反映用戶對(duì)所觀看的對(duì)象的關(guān)注程度。因此，本發(fā)明提出了一種基于用戶的視線和表情對(duì)用戶的關(guān)注度進(jìn)行評(píng)價(jià)的方法和設(shè)備。進(jìn)一步地，可以基于對(duì)用戶的關(guān)注度的評(píng)價(jià)，進(jìn)行各種人機(jī)交互應(yīng)用，如可視媒體的導(dǎo)航等。

【發(fā)明內(nèi)容】

[0005]在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。
[0006]本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的上述問題，提出了一種能夠準(zhǔn)確地評(píng)價(jià)用戶關(guān)注度的方法和設(shè)備。
[0007]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種評(píng)價(jià)用戶關(guān)注度的方法，其包括:檢測(cè)用戶的視線方向；確定所檢測(cè)的視線方向所對(duì)應(yīng)的屏幕上的區(qū)域；獲得用戶針對(duì)所確定的區(qū)域的表情在各個(gè)預(yù)定情緒上的度量；以及根據(jù)所獲得的度量，生成用戶對(duì)所確定的區(qū)域的關(guān)注度。
[0008]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種評(píng)價(jià)用戶關(guān)注度的設(shè)備，其包括:視線方向檢測(cè)裝置，被配置為檢測(cè)用戶的視線方向；對(duì)應(yīng)區(qū)域確定裝置，被配置為確定所檢測(cè)的視線方向所對(duì)應(yīng)的屏幕上的區(qū)域；度量獲得裝置，被配置為獲得用戶針對(duì)所確定的區(qū)域的表情在各個(gè)預(yù)定情緒上的度量；以及關(guān)注度生成裝置，被配置為根據(jù)所獲得的度量生成用戶對(duì)所確定的區(qū)域的關(guān)注度。
[0009]另外，根據(jù)本發(fā)明的另一方面，還提供了一種存儲(chǔ)介質(zhì)。所述存儲(chǔ)介質(zhì)包括機(jī)器可讀的程序代碼，當(dāng)在信息處理設(shè)備上執(zhí)行所述程序代碼時(shí)，所述程序代碼使得所述信息處理設(shè)備執(zhí)行根據(jù)本發(fā)明的上述方法。
[0010]此外，根據(jù)本發(fā)明的再一方面，還提供了一種程序產(chǎn)品。所述程序產(chǎn)品包括機(jī)器可執(zhí)行的指令，當(dāng)在信息處理設(shè)備上執(zhí)行所述指令時(shí)，所述指令使得所述信息處理設(shè)備執(zhí)行根據(jù)本發(fā)明的上述方法。
【附圖說明】
[0011 ] 參照下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的說明，會(huì)更加容易地理解本發(fā)明的以上和其它目的、特點(diǎn)和優(yōu)點(diǎn)。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類似的技術(shù)特征或部件將采用相同或類似的附圖標(biāo)記來(lái)表示。附圖中:
[0012]圖1示出了根據(jù)本發(fā)明的實(shí)施例的評(píng)價(jià)用戶關(guān)注度的方法的流程圖；
[0013]圖2示出了根據(jù)本發(fā)明的實(shí)施例的度量獲得方法的流程圖；
[0014]圖3示出了根據(jù)本發(fā)明的實(shí)施例的人機(jī)交互方法的流程圖；
[0015]圖4示出了根據(jù)本發(fā)明的實(shí)施例的評(píng)價(jià)用戶關(guān)注度的設(shè)備的結(jié)構(gòu)方框圖；以及
[0016]圖5示出了可用于實(shí)施根據(jù)本發(fā)明實(shí)施例的方法和設(shè)備的計(jì)算機(jī)的示意性框圖。
【具體實(shí)施方式】
[0017]在下文中將結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例進(jìn)行詳細(xì)描述。為了清楚和簡(jiǎn)明起見，在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施方式的過程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會(huì)隨著實(shí)施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對(duì)得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來(lái)說，這種開發(fā)工作僅僅是例行的任務(wù)。
[0018]在此，還需要說明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細(xì)節(jié)。另外，還需要指出的是，在本發(fā)明的一個(gè)附圖或一種實(shí)施方式中描述的元素和特征可以與一個(gè)或更多個(gè)其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。
[0019]本發(fā)明的基本思想是根據(jù)用戶的視線判斷用戶觀看的對(duì)象，如多個(gè)屏幕中的一個(gè)屏幕，或一個(gè)屏幕上的某個(gè)區(qū)域等。然后基于用戶的表情，判斷用戶對(duì)觀看對(duì)象的關(guān)注度。
[0020]下面將參照?qǐng)D1描述根據(jù)本發(fā)明的實(shí)施例的評(píng)價(jià)用戶關(guān)注度的方法的流程。
[0021]圖1示出了根據(jù)本發(fā)明的實(shí)施例的評(píng)價(jià)用戶關(guān)注度的方法的流程圖。如圖1所示，根據(jù)本發(fā)明的評(píng)價(jià)用戶關(guān)注度的方法，包括如下步驟:檢測(cè)用戶的視線方向(步驟Si);確定所檢測(cè)的視線方向所對(duì)應(yīng)的屏幕上的區(qū)域(步驟S2);獲得用戶針對(duì)所確定的區(qū)域的表情在各個(gè)預(yù)定情緒上的度量(步驟S3);以及根據(jù)所獲得的度量，生成用戶對(duì)所確定的區(qū)域的關(guān)注度(步驟S4)；。
[0022]在步驟SI中，檢測(cè)用戶的視線方向。
[0023]此處對(duì)用戶的視線方向的檢測(cè)可以利用本領(lǐng)域已知的各種方法，并不做具體限制。
[0024]作為一種示例，首先，從用戶圖像中，檢測(cè)用戶的面部區(qū)域。然后，從用戶的面部區(qū)域中，檢測(cè)用戶的雙眼區(qū)域和鼻梁區(qū)域。接著，根據(jù)用戶的雙眼區(qū)域和鼻梁區(qū)域，確定用戶的面部朝向作為用戶的視線方向的檢測(cè)結(jié)果。
[0025]當(dāng)用戶面對(duì)由多塊屏幕組成的屏幕矩陣時(shí)，根據(jù)用戶的面部朝向，即可判斷出用戶所觀看的是哪個(gè)屏幕。所以，針對(duì)這類情況，檢測(cè)用戶的視線方向只需檢測(cè)出用戶的面部朝向。
[0026]在本示例中，假定根據(jù)用戶的雙眼區(qū)域和鼻梁區(qū)域即可確定用戶的面部朝向。但本發(fā)明不限于此。例如，用戶面部的多個(gè)特征點(diǎn)也可確定用戶的面部朝向。相應(yīng)地，可以通過檢測(cè)用戶面部的多個(gè)特征點(diǎn)來(lái)檢測(cè)用戶的視線方向。
[0027]作為另一示例，首先，從用戶圖像中，檢測(cè)用戶的面部區(qū)域。然后，從用戶的面部區(qū)域中，檢測(cè)用戶的雙眼區(qū)域和鼻梁區(qū)域。接著，根據(jù)用戶的雙眼區(qū)域和鼻梁區(qū)域，確定用戶的面部朝向。并且，從用戶的雙眼區(qū)域中，檢測(cè)用戶的瞳孔位置。最后，根據(jù)用戶的面部朝向與用戶的瞳孔位置相對(duì)于雙眼區(qū)域的中心位置的偏移量，確定用戶的視線方向。
[0028]基于這一示例所檢測(cè)出的用戶的視線方向，可以更精準(zhǔn)地定位屏幕上的某塊區(qū)域，例如是多塊屏幕中的某一塊屏幕上的某一區(qū)域，或者單個(gè)屏幕上的某一區(qū)域。
[0029]這一示例基于如下假設(shè):當(dāng)用戶平視屏幕時(shí)，若雙眼瞳孔均位于雙眼中心位置，則實(shí)際觀看方向?yàn)殡p眼中心連線與鼻梁交點(diǎn)處向前方的直線。
[0030]本發(fā)明不限于此。利用其它因素來(lái)確定更精細(xì)的用戶視線方向的方法均可應(yīng)用于此。
[0031]在步驟S2中，確定所檢測(cè)的視線方向所對(duì)應(yīng)的屏幕上的區(qū)域。
[0032]這一步驟實(shí)現(xiàn)視線方向到屏幕區(qū)域的轉(zhuǎn)換。根據(jù)具體應(yīng)用場(chǎng)景的不同，這里的屏幕包括多個(gè)屏幕和單個(gè)屏幕的情形。屏幕上的區(qū)域相應(yīng)地指示多個(gè)屏幕中的一個(gè)屏幕、多個(gè)屏幕中的一個(gè)屏幕上的一個(gè)區(qū)域、或單個(gè)屏幕上的一個(gè)區(qū)域的情形。
[0033]步驟SI和S2的作用就是確定用戶的視線方向，定位用戶所關(guān)注的對(duì)象。
[0034]在上述步驟中，對(duì)面部區(qū)域、鼻梁區(qū)域、雙眼區(qū)域、瞳孔區(qū)域的檢測(cè)可借助于面部區(qū)域檢測(cè)器、鼻梁區(qū)域檢測(cè)器、雙眼區(qū)域檢測(cè)器、瞳孔區(qū)域檢測(cè)器來(lái)進(jìn)行。
[0035]在傳統(tǒng)的技術(shù)中，利用檢測(cè)器進(jìn)行相關(guān)的檢測(cè)時(shí)，檢測(cè)器是離線訓(xùn)練好的，是一成不變的。如果訓(xùn)練得好，則檢測(cè)結(jié)果準(zhǔn)確，如果訓(xùn)練所利用的樣本與實(shí)際應(yīng)用時(shí)的檢測(cè)對(duì)象/背景條件差別較大，則檢測(cè)不準(zhǔn)確。事實(shí)上，訓(xùn)練樣本往往局限于若干種人為指定的背景下，在光照環(huán)境、眼睛大小、眼部特征等各方面有局限性，并不適合應(yīng)用時(shí)的情況。
[0036]當(dāng)輸入數(shù)據(jù)是用戶圖像組成的幀序列時(shí)，針對(duì)每一個(gè)用戶圖像進(jìn)行上述步驟SI?？紤]到這一點(diǎn)，本發(fā)明的發(fā)明人提出利用跟蹤和預(yù)測(cè)技術(shù)來(lái)修正檢測(cè)器的輸出結(jié)果，并以實(shí)際的用戶圖像作為訓(xùn)練樣本來(lái)訓(xùn)練檢測(cè)器，使得檢測(cè)器的訓(xùn)練更加充分并且更適合于當(dāng)前輸入的用戶圖像幀序列。
[0037]具體地說，對(duì)于輸入的用戶圖像幀序列，基于相應(yīng)檢測(cè)器對(duì)在前的用戶圖像的檢測(cè)結(jié)果，利用跟蹤算法，估計(jì)當(dāng)前用戶圖像的預(yù)期檢測(cè)結(jié)果；再利用預(yù)期檢測(cè)結(jié)果和當(dāng)前用戶圖像訓(xùn)練相應(yīng)的檢測(cè)器。
[0038]這里假定通過跟蹤獲得的預(yù)期檢測(cè)結(jié)果比檢測(cè)器針對(duì)當(dāng)前用戶圖像檢測(cè)出的結(jié)果更