專(zhuān)利名稱(chēng)：興趣度估計(jì)裝置以及興趣度估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及，估計(jì)視聽(tīng)者(以下，也稱(chēng)為“用戶(hù)”)對(duì)被顯示的影像的興趣度的興趣度估計(jì)裝置以及興趣度估計(jì)方法。
背景技術(shù)：
人們迎來(lái)了信息爆炸時(shí)代，在信息充滿(mǎn)的同時(shí)，人們的興趣也多樣化，根據(jù)以往的劃一性的信息提示，越來(lái)越難以抓住用戶(hù)的心。人們期待像若無(wú)其事地使具有潛在的興趣的信息表面化那樣的、個(gè)人化的信息提示。例如，若關(guān)注作為顯示裝置的電視機(jī)，隨著近幾年的電視廣播的數(shù)字化，頻道數(shù)急劇增加。并且，基于互聯(lián)網(wǎng)分發(fā)的網(wǎng)絡(luò)內(nèi)容也急劇增加。其結(jié)果為，用戶(hù)，能夠從大量的內(nèi)容中選擇內(nèi)容。但是，從大量的內(nèi)容中選擇用戶(hù)本身想要視聽(tīng)的節(jié)目是非常困難的。因此， 與符合用戶(hù)的興味以及興趣的節(jié)目推薦系統(tǒng)有關(guān)的研究日益盛行。為了提示符合這樣的用戶(hù)的興味以及興趣的內(nèi)容，而需要平時(shí)掌握用戶(hù)對(duì)正在視聽(tīng)的各個(gè)內(nèi)容具有哪些程度的興趣。也就是說(shuō)，需要估計(jì)用戶(hù)對(duì)視聽(tīng)影像的興趣度。對(duì)于估計(jì)興趣度的以往的方法，周知的是專(zhuān)利文獻(xiàn)I所記載的方法。根據(jù)專(zhuān)利文獻(xiàn)I所記載的方法，通過(guò)調(diào)查由用戶(hù)的內(nèi)容的視聽(tīng)狀況以及眼球運(yùn)動(dòng)，解析眨眼次數(shù)、反應(yīng)時(shí)間、眼跳的速度及繼續(xù)時(shí)間、以及視線的位置上的偏差等。而且，將各個(gè)解析結(jié)果作為計(jì)算要素，計(jì)算該視聽(tīng)者對(duì)內(nèi)容的興趣程度。并且，根據(jù)該計(jì)算結(jié)果和數(shù)據(jù)存儲(chǔ)裝置所存儲(chǔ)的其他的計(jì)算結(jié)果，計(jì)算視聽(tīng)者對(duì)特定的內(nèi)容的興趣程度。(現(xiàn)有技術(shù)文獻(xiàn))(專(zhuān)利文獻(xiàn))專(zhuān)利文獻(xiàn)I :日本特開(kāi)2006 - 20131號(hào)公報(bào)然而，專(zhuān)利文獻(xiàn)I所記載的方法中存在的問(wèn)題是，只是單純地將影像視聽(tīng)時(shí)的眨眼次數(shù)等作為特征量來(lái)估計(jì)興趣度，因此，根據(jù)影像的結(jié)構(gòu)會(huì)有不能高精度地估計(jì)視聽(tīng)者的興趣度的情況。

發(fā)明內(nèi)容
于是，為了解決所述的以往的問(wèn)題，本發(fā)明的目的在于高精度地估計(jì)視聽(tīng)者對(duì)被顯示在畫(huà)面上的影像的興趣度。為了實(shí)現(xiàn)所述的目的，本發(fā)明的實(shí)施方案之一涉及的興趣度估計(jì)裝置，估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度，該興趣度估計(jì)裝置具備視線檢測(cè)部，檢測(cè)所述用戶(hù)的視線方向；顯著性信息獲得部，獲得與顯著區(qū)域有關(guān)的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；以及用戶(hù)反應(yīng)分析部，計(jì)算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測(cè)出的所述視線方向的相關(guān)性，估計(jì)所述用戶(hù)對(duì)所述影像的興趣度，以使得計(jì)算出的所述相關(guān)性越高興趣度就越高。并且，為了實(shí)現(xiàn)所述的目的，本發(fā)明的實(shí)施方案之一涉及的興趣度估計(jì)方法，估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度，該興趣度估計(jì)方法包括視線檢測(cè)步驟，檢測(cè)所述用戶(hù)的視線方向；顯著性信息獲得步驟，獲得與顯著區(qū)域有關(guān)的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；相關(guān)性計(jì)算步驟，計(jì)算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測(cè)出的所述視線方向的相關(guān)性；以及興趣度估計(jì)步驟，估計(jì)所述用戶(hù)對(duì)所述影像的興趣度，以使得計(jì)算出的所述相關(guān)性越高興趣度就越高。 根據(jù)本發(fā)明，能夠高精度地估計(jì)視聽(tīng)者對(duì)被顯示在畫(huà)面上的影像的興趣度。


圖I是示出本發(fā)明的實(shí)施例的興趣度估計(jì)裝置的功能結(jié)構(gòu)的框圖。圖2是示出本發(fā)明的實(shí)施例的興趣度估計(jì)裝置的處理工作的流程圖。圖3是本發(fā)明的實(shí)施例的顯著構(gòu)造的概念圖。圖4A是用于說(shuō)明本發(fā)明的實(shí)施例的顯著模式的種類(lèi)的圖。圖4B是用于說(shuō)明本發(fā)明的實(shí)施例的顯著模式的種類(lèi)的圖。圖4C是用于說(shuō)明本發(fā)明的實(shí)施例的顯著模式的種類(lèi)的圖。圖4D是用于說(shuō)明本發(fā)明的實(shí)施例的顯著模式的種類(lèi)的圖。圖4E是用于說(shuō)明本發(fā)明的實(shí)施例的顯著模式的種類(lèi)的圖。圖5是示出本發(fā)明的實(shí)施例的顯著模式的時(shí)間序列的一個(gè)例子的圖。圖6A是示出本發(fā)明的實(shí)施例的拍攝視線方向檢測(cè)處理中獲得的圖像的攝像裝置的設(shè)置例的圖。圖6B是示出本發(fā)明的實(shí)施例的拍攝視線方向檢測(cè)處理中獲得的圖像的攝像裝置的設(shè)置例的圖。圖6C是示出本發(fā)明的實(shí)施例的拍攝視線方向檢測(cè)處理中獲得的圖像的攝像裝置的設(shè)置例的圖。圖7是示出本發(fā)明的實(shí)施例的視線方向檢測(cè)處理的流程的流程圖。圖8是用于說(shuō)明本發(fā)明的實(shí)施例的視線方向檢測(cè)處理中檢測(cè)臉朝向的處理的圖。圖9是用于說(shuō)明本發(fā)明的實(shí)施例的視線方向基準(zhǔn)面的計(jì)算的圖。圖10是用于說(shuō)明本發(fā)明的實(shí)施例的黑眼珠中心的檢測(cè)的圖。圖11是用于說(shuō)明本發(fā)明的實(shí)施例的黑眼珠中心的檢測(cè)的圖。圖12是用于說(shuō)明本發(fā)明的實(shí)施例的視線運(yùn)動(dòng)和其構(gòu)成要素的圖。圖13是用于說(shuō)明本發(fā)明的實(shí)施例的顯著性變動(dòng)和注視反應(yīng)的關(guān)系的圖。圖14是示出本發(fā)明的實(shí)施例的與多個(gè)顯著模式各自對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。圖15A是用于說(shuō)明本發(fā)明的實(shí)施例的與顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。圖15B是用于說(shuō)明本發(fā)明的實(shí)施例的與顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。圖15C是用于說(shuō)明本發(fā)明的實(shí)施例的與顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。圖15D是用于說(shuō)明本發(fā)明的實(shí)施例的與顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。圖15E是用于說(shuō)明本發(fā)明的實(shí)施例的與顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。
具體實(shí)施例方式影像制作者，一般而言，意圖著通過(guò)影像中的特定的人物以及物體，給視聽(tīng)者留下
5某種印象。因此，影像制作者，在畫(huà)面上要設(shè)定想要引起視聽(tīng)者的注意的區(qū)域。也就是說(shuō)，影像制作者，以影像中包含誘目性(引起視覺(jué)上的注意的容易性)顯著的區(qū)域(以下，稱(chēng)為“顯著區(qū)域”)的方式，制作影像的情況多。例如，在影像的內(nèi)容是電視劇的情況下，影像制作者，以主演員的顯示區(qū)域成為顯著區(qū)域的方式制作影像。并且，在影像的內(nèi)容是廣告的情況下，影像制作者，以作為廣告對(duì)象的產(chǎn)品的顯示區(qū)域成為顯著區(qū)域的方式制作影像。據(jù)此，視聽(tīng)者對(duì)影像制作者設(shè)定的、想要引起視聽(tīng)者的注意的區(qū)域加以注意，這意味著，視聽(tīng)者進(jìn)行按照影像制作者的意圖的視聽(tīng)行動(dòng)。也就是說(shuō)，若對(duì)影像中的顯著區(qū)域加以視覺(jué)注意，則可以估計(jì)視聽(tīng)者對(duì)該影像的興趣度高。于是，本發(fā)明的實(shí)施方案之一涉及的興趣度估計(jì)裝置，估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度，該興趣度估計(jì)裝置具備視線檢測(cè)部，檢測(cè)所述用戶(hù)的視線方向；顯著性信息獲得部，獲得與顯著區(qū)域有關(guān)的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；以及用戶(hù)反應(yīng)分析部，計(jì)算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測(cè)出的所述視線方向的相關(guān)性，估計(jì)所述用戶(hù)對(duì)所述影像的興趣度，以使得計(jì)算出的所述相關(guān)性越高興趣度就越高。根據(jù)該結(jié)構(gòu)，能夠根據(jù)影像內(nèi)的顯著區(qū)域與用戶(hù)的視線方向之間的相關(guān)性，估計(jì)用戶(hù)對(duì)影像的興趣度。也就是說(shuō)，由于能夠考慮影像的特性來(lái)估計(jì)興趣度，因此，與單純地根據(jù)視線方向來(lái)估計(jì)興趣度時(shí)相比，能夠高精度地估計(jì)興趣度。特別是，由于能夠利用針對(duì)影像的興趣度高時(shí)顯著區(qū)域與視線方向之間的相關(guān)性高這樣的情況，因此，能夠更高精度地估計(jì)興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，在根據(jù)顯著區(qū)域的數(shù)量以及變動(dòng)之中至少一方而分類(lèi)的多個(gè)顯著模式的每一個(gè)顯著模式中，預(yù)先對(duì)應(yīng)有用于評(píng)價(jià)相關(guān)性高的程度的至少一個(gè)評(píng)價(jià)基準(zhǔn)，所述用戶(hù)反應(yīng)分析部，按照與根據(jù)所述顯著性信息而確定的顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)來(lái)計(jì)算所述相關(guān)性。根據(jù)該結(jié)構(gòu)，能夠根據(jù)適于顯著模式的評(píng)價(jià)基準(zhǔn)，計(jì)算顯著區(qū)域與視線方向之間的相關(guān)性。因此，能夠更高精度地估計(jì)興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述多個(gè)顯著模式包含，示出顯著區(qū)域的位置不變化的狀態(tài)的靜態(tài)模式，在所述靜態(tài)模式中，對(duì)應(yīng)有作為所述至少一個(gè)評(píng)價(jià)基準(zhǔn)的、顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)，所述用戶(hù)反應(yīng)分析部，在根據(jù)所述顯著性信息而確定的顯著模式為靜態(tài)模式的情況下，計(jì)算所述相關(guān)性，以使得根據(jù)檢測(cè)出的所述視線方向而確定的、所述顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)越多所述相關(guān)性就越高。根據(jù)該結(jié)構(gòu)，在顯著模式是靜態(tài)模式的情況下，能夠根據(jù)顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)，計(jì)算相關(guān)性。顯著區(qū)域內(nèi)的眼跳是，用于從顯著區(qū)域獲得信息的視線運(yùn)動(dòng)。因此，計(jì)算相關(guān)性，以使得該顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)越多相關(guān)性就越高，從而能夠更高精度地估計(jì)興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述顯著性信息獲得部，根據(jù)賦予給示出所述影像的信號(hào)的標(biāo)簽來(lái)獲得所述顯著性信息。根據(jù)該結(jié)構(gòu)，能夠根據(jù)標(biāo)簽容易獲得顯著性信息。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述顯著性信息獲得部，通過(guò)根據(jù)圖像的物理特征來(lái)解析所述影像，從而獲得所述顯著性信息。根據(jù)該結(jié)構(gòu)，通過(guò)解析影像，從而能夠獲得顯著區(qū)域。因此，即使在輸入顯著性信息不明確的影像的情況下，也能夠獲得該影像的顯著性信息，能夠高精度地估計(jì)針對(duì)該影像的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述顯著區(qū)域是與 附隨于所述影像的聲音信息有關(guān)的對(duì)象的區(qū)域。根據(jù)該結(jié)構(gòu)，由于與用戶(hù)的興趣度對(duì)應(yīng)的關(guān)系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述對(duì)象是說(shuō)話者的臉或嘴。根據(jù)該結(jié)構(gòu)，由于與用戶(hù)的興趣度對(duì)應(yīng)的關(guān)系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述顯著區(qū)域是顯不與所述聲音信息對(duì)應(yīng)的文本的區(qū)域。根據(jù)該結(jié)構(gòu)，由于與用戶(hù)的興趣度對(duì)應(yīng)的關(guān)系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述顯著區(qū)域是移動(dòng)的對(duì)象的區(qū)域。根據(jù)該結(jié)構(gòu)，由于與用戶(hù)的興趣度對(duì)應(yīng)的關(guān)系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述對(duì)象是人。根據(jù)該結(jié)構(gòu)，由于與用戶(hù)的興趣度對(duì)應(yīng)的關(guān)系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述對(duì)象是動(dòng)物。根據(jù)該結(jié)構(gòu)，由于與用戶(hù)的興趣度對(duì)應(yīng)的關(guān)系性大的區(qū)域成為顯著區(qū)域，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述相關(guān)性是時(shí)間上的同步度。根據(jù)該結(jié)構(gòu)，由于能夠計(jì)算時(shí)間上的同步度以作為相關(guān)性，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述相關(guān)性是空間上的類(lèi)似度。根據(jù)該結(jié)構(gòu)，由于能夠計(jì)算空間上的類(lèi)似度以作為相關(guān)性，因此能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述用戶(hù)反應(yīng)分析部，計(jì)算所述顯著區(qū)域的出現(xiàn)定時(shí)、與針對(duì)所述顯著區(qū)域的視線的眼跳的發(fā)生定時(shí)之間的時(shí)間差，以作為表示所述相關(guān)性低的程度的值，所述用戶(hù)反應(yīng)分析部，估計(jì)所述興趣度，以使得所述時(shí)間差越小興趣度就越高。根據(jù)該結(jié)構(gòu)，可以計(jì)算顯著區(qū)域的出現(xiàn)定時(shí)、與針對(duì)顯著區(qū)域的眼跳的發(fā)生定時(shí)之間的時(shí)間差，以作為表示顯著區(qū)域與視線方向的相關(guān)性低的程度的值。因此，能夠更適當(dāng)?shù)赜?jì)算相關(guān)性，能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述用戶(hù)反應(yīng)分析部，計(jì)算所述顯著區(qū)域在所述畫(huà)面上移動(dòng)的速度成為規(guī)定的速度以上的定時(shí)、與針對(duì)所述顯著區(qū)域的視線的眼跳的發(fā)生定時(shí)之間的時(shí)間差，以作為表示所述相關(guān)性低的程度的值， 估計(jì)所述興趣度，以使得所述時(shí)間差越小興趣度就越高。根據(jù)該結(jié)構(gòu)，可以計(jì)算顯著區(qū)域的移動(dòng)定時(shí)與眼跳的發(fā)生定時(shí)之間的時(shí)間差，以作為表示顯著區(qū)域與視線方向的相關(guān)性低的程度的值。因此，能夠更適當(dāng)?shù)赜?jì)算相關(guān)性，能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，所述用戶(hù)反應(yīng)分析部，計(jì)算所述顯著區(qū)域的所述畫(huà)面上的移動(dòng)速度、與根據(jù)所述視線方向而確定的所述畫(huà)面上的注視位置的移動(dòng)速度之間的速度差，以作為表示所述相關(guān)性低的程度的值，所述用戶(hù)反應(yīng)分析部，估計(jì)所述興趣度，以使得所述速度差越小興趣度就越高。根據(jù)該結(jié)構(gòu)，可以計(jì)算顯著區(qū)域的移動(dòng)速度與注視位置的移動(dòng)速度之間的度差，以作為表示顯著區(qū)域與視線方向的相關(guān)性低的程度的值。因此，能夠更適當(dāng)?shù)赜?jì)算相關(guān)性，能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，用戶(hù)反應(yīng)分析部，根據(jù)所述影像內(nèi)的顯著區(qū)域的數(shù)量、各個(gè)顯著區(qū)域的面積、以及視線的眼跳的發(fā)生次數(shù)，計(jì)算所述相關(guān)性。根據(jù)該結(jié)構(gòu)，根據(jù)影像內(nèi)的顯著區(qū)域的數(shù)量、各個(gè)顯著區(qū)域的面積、以及視線的眼跳的發(fā)生次數(shù)，能夠更高精度地估計(jì)的興趣度。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)裝置，也可以被構(gòu)成為集成電路。并且，本發(fā)明的其他的實(shí)施方案之一涉及的興趣度估計(jì)方法，估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度，該興趣度估計(jì)方法包括視線檢測(cè)步驟，檢測(cè)所述用戶(hù)的視線方向；顯著性信息獲得步驟，獲得與顯著區(qū)域有關(guān)的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；相關(guān)性計(jì)算步驟，計(jì)算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測(cè)出的所述視線方向的相關(guān)性；以及興趣度估計(jì)步驟，估計(jì)所述用戶(hù)對(duì)所述影像的興趣度，以使得計(jì)算出的所述相關(guān)性越高興趣度就越高。據(jù)此，能夠產(chǎn)生與所述興趣度估計(jì)裝置同樣的效果。而且，本發(fā)明，也可以作為使計(jì)算機(jī)執(zhí)行興趣度估計(jì)方法中包含的各個(gè)步驟的程序來(lái)實(shí)現(xiàn)。而且，而且，當(dāng)然也可以通過(guò)⑶-ROM(Compact Disc Read Only Memory)等非暫時(shí)的記錄介質(zhì)或互聯(lián)網(wǎng)等傳輸介質(zhì)來(lái)分發(fā)這樣的程序。以下，參照

本發(fā)明的實(shí)施例。而且，以下說(shuō)明的實(shí)施例，都示出本發(fā)明的優(yōu)選的一個(gè)具體例。也就是說(shuō)，以下的實(shí)施例所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置以及連接形態(tài)、步驟、步驟的順序等，是本發(fā)明的一個(gè)例子，而不是限定本發(fā)明的宗旨。本發(fā)明是，根據(jù)權(quán)利要求書(shū)的記載來(lái)確定的。因此，對(duì)于以下的實(shí)施例的構(gòu)成要素中的、示出本發(fā)明的最上位概念的獨(dú)立請(qǐng)求要求中沒(méi)有記載的構(gòu)成要素，為了實(shí)現(xiàn)本發(fā)明的問(wèn)題而并不一定需要，但是，被說(shuō)明為構(gòu)成更優(yōu)選的形態(tài)的構(gòu)成要素。
(實(shí)施例)圖I是示出本發(fā)明的實(shí)施例的興趣度估計(jì)裝置的功能結(jié)構(gòu)的框圖。興趣度估計(jì)裝置100，估計(jì)用戶(hù)(視聽(tīng)者)對(duì)被顯示在畫(huà)面上的影像的興趣度。 如圖I示出，興趣度估計(jì)裝置100具備，視線檢測(cè)部101、顯著性信息獲得部102、以及用戶(hù)反應(yīng)分析部103。視線檢測(cè)部101，檢測(cè)用戶(hù)的視線方向。也就是說(shuō)，視線檢測(cè)部101，檢測(cè)用戶(hù)看的方向。在本實(shí)施例中，進(jìn)一步，視線檢測(cè)部101，根據(jù)如上檢測(cè)出的視線方向，計(jì)算作為畫(huà)面上的用戶(hù)的注視位置的移動(dòng)軌跡的注視坐標(biāo)系列。具體而言，視線檢測(cè)部101，利用視線方向和用戶(hù)的位置，計(jì)算從用戶(hù)在視線方向上延伸的直線與畫(huà)面的交點(diǎn)，以作為注視位置。而且，視線檢測(cè)部101，計(jì)算示出如此計(jì)算出的注視位置的坐標(biāo)的時(shí)間序列，以作為注視坐標(biāo)系列。也就是說(shuō)，視線檢測(cè)部101，計(jì)算視線方向的時(shí)間變化。而且，對(duì)于用戶(hù)的位置，例如，利用由立體相機(jī)等拍攝的立體圖像中的用戶(hù)像的視差檢測(cè)即可。并且，例如，對(duì)于用戶(hù)位置，也可以利用由設(shè)置在畫(huà)面前方的地板面上的壓力傳感器檢測(cè)出的壓力檢測(cè)。顯著性信息獲得部102，獲得關(guān)于顯著區(qū)域(Saliency Area)的顯著性信息。例如，顯著性信息獲得部102，通過(guò)解析影像，從而獲得顯著性信息。并且，例如，顯著性信息獲得部102也可以，根據(jù)賦予給示出影像的信號(hào)的標(biāo)簽來(lái)獲得顯著性信息。標(biāo)簽是指，賦予給示出影像的信號(hào)的信息、或存儲(chǔ)該信息的區(qū)域。該標(biāo)簽，也有被稱(chēng)為首部或首部信息的情況。而且，顯著區(qū)域是，影像中的誘目性顯著的區(qū)域。也就是說(shuō)，顯著區(qū)域是，影像中的容易引起用戶(hù)的視覺(jué)注意的區(qū)域。顯著性信息，例如，包含示出顯著區(qū)域的位置的信息。并且，顯著性信息，也可以包含與作為顯著區(qū)域的時(shí)間變化模式的顯著性變動(dòng)有關(guān)的信息。用戶(hù)反應(yīng)分析部103，計(jì)算根據(jù)獲得的顯著性信息而確定的顯著區(qū)域、與檢測(cè)出的視線方向之間的相關(guān)性。也就是說(shuō)，用戶(hù)反應(yīng)分析部103，計(jì)算表示影像中的顯著區(qū)域與檢測(cè)出的視線方向之間的相關(guān)性高或低的程度的值。具體而言，用戶(hù)反應(yīng)分析部103，例如，計(jì)算顯著區(qū)域與視線方向之間的時(shí)間上的同步度，以作為相關(guān)性。并且，用戶(hù)反應(yīng)分析部103也可以，例如，計(jì)算顯著區(qū)域與視線方向之間的空間上的類(lèi)似度，以作為相關(guān)性。而且，用戶(hù)反應(yīng)分析部103，也可以根據(jù)時(shí)間上的同步度和空間上的類(lèi)似度的雙方來(lái)計(jì)算相關(guān)性。用戶(hù)反應(yīng)分析部103，估計(jì)用戶(hù)對(duì)影像的興趣度，以使得如此計(jì)算出的相關(guān)性越高興趣度就越高。接著，說(shuō)明如上構(gòu)成的興趣度估計(jì)裝置100的各種工作。圖2是示出本發(fā)明的實(shí)施例的興趣度估計(jì)裝置的處理工作的流程圖。首先，顯著性信息獲得部102，獲得包含示出影像中的顯著區(qū)域的位置的信息、和與作為該顯著區(qū)域的時(shí)間變化模式的顯著性變動(dòng)有關(guān)的信息的顯著性信息(Sll)。視線檢測(cè)部101，檢測(cè)用戶(hù)的視線方向(S12)，在此，視線檢測(cè)部101，根據(jù)檢測(cè)出的視線方向計(jì)算注視坐標(biāo)系列。
而且，用戶(hù)反應(yīng)分析部103，計(jì)算根據(jù)顯著性信息獲得部102獲得的顯著性信息而確定的顯著區(qū)域、與視線檢測(cè)部101檢測(cè)出的視線方向之間的相關(guān)性(S13)。而且，用戶(hù)反應(yīng)分析部103，計(jì)算顯著性變動(dòng)與視線檢測(cè)部101檢測(cè)出的視線變化
之間的相關(guān)性(S14)。用戶(hù)反應(yīng)分析部103，根據(jù)計(jì)算出的相關(guān)性，估計(jì)針對(duì)該影像的興趣度(S15)。具體而言，用戶(hù)反應(yīng)分析部103，估計(jì)用戶(hù)對(duì)影像的興趣度，以使得計(jì)算出的相關(guān)性越高興趣度就越高。而且，也可以并行進(jìn)行步驟Sll的處理、和步驟S12及S13的處理。并且，也可以進(jìn)行步驟Sll的處理、和進(jìn)行步驟S12及S13的處理的順序相反。也就是說(shuō)，也可以步驟S12及S13的處理之后進(jìn)行步驟Sll的處理。并且，也可以不進(jìn)行步驟S13的處理。如上所述，興趣度估計(jì)裝置100，估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度。以下，對(duì)于所述的興趣度估計(jì)裝置100的處理工作，利用附圖進(jìn)行更詳細(xì)說(shuō)明?！碔，顯著性信息獲得〉首先，詳細(xì)說(shuō)明顯著性信息獲得處理。在此，說(shuō)明以下的情況，即，顯著性信息獲得部102，通過(guò)解析影像，從而獲得顯著性信息。圖3是本發(fā)明的實(shí)施例的顯著構(gòu)造的概念圖。顯著區(qū)域是，影像中包含的各個(gè)幀中容易引起視覺(jué)注意的區(qū)域(圖3的(a))。在影像中，顯著區(qū)域的顯著度和位置，隨著時(shí)間變化而變化。將伴隨這樣的變化的顯著區(qū)域的時(shí)空體積，稱(chēng)為顯著流(Saliency Flow)。而且，將影像中存在的多個(gè)顯著流匯集，來(lái)稱(chēng)為影像的顯著構(gòu)造(Saliency Structure)(圖3的(b))。針對(duì)影像中包含的各個(gè)幀計(jì)算顯著圖(Saliency Map)，從而獲得顯著區(qū)域。顯著圖是，通過(guò)非專(zhuān)利文獻(xiàn)“Itti, L. and Koch, C. Computational modeling of visualattention. Nature Reviews Neuroscience, 2(3), pp. 194 — 203. ” 中記載的計(jì)算方法能夠獲得的。也就是說(shuō)，在此，顯著性信息獲得部102，通過(guò)根據(jù)圖像的物理特征來(lái)解析影像，從而確定顯著區(qū)域。圖像的物理特征是指，例如亮度、顏色或明度等。對(duì)于顯著區(qū)域的典型的例子，可以舉出移動(dòng)的對(duì)象的區(qū)域。移動(dòng)的對(duì)象是人即可。移動(dòng)的對(duì)象也可以是動(dòng)物。并且，對(duì)于顯著區(qū)域的其他的例子，也可以舉出與附隨于影像的聲音信息的關(guān)聯(lián)性大的對(duì)象的區(qū)域。在此，對(duì)象是，例如，影像中的說(shuō)話者的臉或嘴。進(jìn)而，顯著區(qū)域也可以是，顯示與聲音信息對(duì)應(yīng)的文本的區(qū)域。顯著性信息獲得部102，將這樣的各個(gè)幀中包含的顯著區(qū)域，還根據(jù)時(shí)間方向的相鄰關(guān)系來(lái)聚類(lèi)(clustering)，從而獲得顯著流。顯著流，具有發(fā)生時(shí)間變化的顯著區(qū)域的顯著度、重心位置、以及面積，以作為屬性。而且，顯著性信息獲得部102，將顯著流分段化為由“位置發(fā)生時(shí)間變化的動(dòng)態(tài)的狀態(tài)”和“位置不發(fā)生時(shí)間變化的靜態(tài)的狀態(tài)"而成的狀態(tài)系列。顯著構(gòu)造，具有多個(gè)顯著流。顯著構(gòu)造，根據(jù)顯著區(qū)域的數(shù)量以及變動(dòng)的至少一方，可以分類(lèi)為多個(gè)顯著模式(Saliency Pattern)。圖4A至圖4E是用于說(shuō)明本發(fā)明的實(shí)施例的顯著模式的種類(lèi)的圖。圖4A至圖4E的各個(gè)圖表示出，顯著區(qū)域的位置的時(shí)間變化。在各個(gè)圖表中，縱軸示出畫(huà)面上的位置，橫軸示出時(shí)間。在此，多個(gè)顯著模式中包含，單數(shù)靜態(tài)模式(ss single 一 static)(圖4A)、單數(shù)動(dòng)態(tài)模式(sd :single — dynamic)(圖 4B)、復(fù)數(shù)靜態(tài)模式(ms multi 一 static)(圖 4C)、復(fù)數(shù)靜止動(dòng)態(tài)模式(msd multi 一 static / dynamic)(圖4D)、以及復(fù)數(shù)動(dòng)態(tài)模式(md multi — dynamic)(圖4E)的五種顯著模式。對(duì)于顯著構(gòu)造，分段化為由這樣的顯著模式而成的系列。而且，在multi —static / dynamic中，多個(gè)流中的幾個(gè)成為dynamic的狀態(tài),其余的流成為static的狀態(tài)。圖5是示出本發(fā)明的實(shí)施例的顯著模式的時(shí)間序列的一個(gè)例子的圖。具體而言，圖5的(a)是示出，顯著區(qū)域的位置的時(shí)間轉(zhuǎn)移的圖表。在此，為了便于說(shuō)明，以一維來(lái)表示顯著區(qū)域的位置。圖5的(b)是示出，各個(gè)顯著流的狀態(tài)的時(shí)間轉(zhuǎn)移的圖表。各個(gè)直方圖示出，一個(gè)顯著流的狀態(tài)。具體而言，直方圖的白色部分示出，顯著流為靜態(tài)狀態(tài)(static)。并且，直方圖的陰影部分示出，顯著流為動(dòng)態(tài)狀態(tài)(dynamic)。圖5的(C)是示出，顯著模式的時(shí)間轉(zhuǎn)移的圖表。在此示出，首先，顯著模式是復(fù)數(shù)靜態(tài)模式(ms)，其次，轉(zhuǎn)移到復(fù)數(shù)動(dòng)態(tài)模式(md)。如上所述，顯著性信息獲得部102，通過(guò)解析影像，從而確定顯著區(qū)域。因此，即使在輸入顯著性信息不明確的影像的情況下，也能夠獲得該影像的顯著性信息，能夠高精度地估計(jì)針對(duì)該影像的興趣度。而且，顯著性信息獲得部102，根據(jù)確定的顯著區(qū)域的數(shù)量以及變動(dòng)，決定顯著模式。示出如此確定的顯著區(qū)域的位置的信息以及示出顯著模式的信息相當(dāng)于顯著性信息。而且，顯著性信息獲得部102，并不一定需要解析影像。例如，顯著性信息獲得部102，也可以根據(jù)賦予給示出影像的信號(hào)的標(biāo)簽來(lái)獲得顯著性信息。據(jù)此，顯著性信息獲得部102，能夠容易獲得顯著性信息。而且，在此情況下，標(biāo)簽中需要包含，例如預(yù)先解析影像而獲得的關(guān)于顯著區(qū)域的信息。并且，標(biāo)簽中也可以包含，影像制作者預(yù)先輸入的關(guān)于顯著區(qū)域的信息?！?，視線方向的檢測(cè)〉接著，詳細(xì)說(shuō)明檢測(cè)視線方向的視線方向檢測(cè)處理(S12)。在本實(shí)施例中，視線方向是，根據(jù)用戶(hù)的臉的方向(以下，記載為“臉朝向”)、與針對(duì)用戶(hù)的臉朝向的眼睛中的黑眼珠部分的方向(以下，記載為“黑眼珠方向”)的組合來(lái)計(jì)算的。于是，視線檢測(cè)部101，首先，估計(jì)人物的三維的臉朝向。接著，視線檢測(cè)部101，進(jìn)行黑眼珠方向的估計(jì)。最后，視線檢測(cè)部101，合并臉朝向以及黑眼珠方向的兩個(gè)來(lái)計(jì)算視線方向。而且，視線檢測(cè)部101，并不一定需要根據(jù)臉朝向與黑眼珠方向的組合來(lái)計(jì)算視線方向。例如，視線檢測(cè)部101也可以，根據(jù)眼球中心與按照虹彩(黑眼珠)中心來(lái)計(jì)算視線方向。也就是說(shuō)，視線檢測(cè)部101也可以，計(jì)算連接眼球中心的三維位置和虹彩(黑眼珠)中心的三維位置的三維矢量，以作為視線方向。圖6A至圖6C各自是示出本發(fā)明的實(shí)施例的拍攝視線方向檢測(cè)處理中獲得的圖像的攝像裝置(相機(jī))的設(shè)置例的圖。如圖6A至圖6C示出，攝像裝置，被設(shè)置在畫(huà)面的近旁，以能夠拍攝位于顯示裝置具備的畫(huà)面的前方的用戶(hù)。圖7是示出本發(fā)明的實(shí)施例的視線方向檢測(cè)處理的流程的流程圖。首先，視線檢測(cè)部101，獲得攝像裝置拍攝在畫(huà)面的前方存在的用戶(hù)的圖像(S501)。接著，視線檢測(cè)部101，根據(jù)獲得的圖像，進(jìn)行臉區(qū)域的檢測(cè)(S502)。接著，視線檢測(cè)部101，針對(duì)檢測(cè)出的臉區(qū)域，符合與各個(gè)基準(zhǔn)臉朝向?qū)?yīng)的臉部件特征點(diǎn)的區(qū)域，剪出各個(gè)臉部件特征點(diǎn)的區(qū)域圖像(S503)。而且，視線檢測(cè)部101，計(jì)算剪出的區(qū)域圖像、與預(yù)先保持的模板圖像的相關(guān)度(S504)。接著，視線檢測(cè)部101，針對(duì)各個(gè)基準(zhǔn)臉朝向示出的角度，按照計(jì)算出的相關(guān)度的比例進(jìn)行加權(quán)并相加，來(lái)求出加權(quán)和，將其作為與臉區(qū)域?qū)?yīng)的用戶(hù)的臉朝向來(lái)檢測(cè)(S505)。圖8是用于說(shuō)明本發(fā)明的實(shí)施例的視線方向檢測(cè)處理中檢測(cè)臉朝向的處理的圖。視線檢測(cè)部101，如圖8的(a)示出，從存儲(chǔ)有與各個(gè)基準(zhǔn)臉朝向?qū)?yīng)的臉部件特征點(diǎn)的區(qū)域的臉部件區(qū)域數(shù)據(jù)庫(kù)(DB)中，讀出臉部件特征點(diǎn)的區(qū)域。接著，視線檢測(cè)部101，如圖8的(b)示出，針對(duì)拍攝的圖像的臉區(qū)域，按每個(gè)基準(zhǔn)臉朝向符合臉部件特征點(diǎn)的區(qū)域，按每個(gè)基準(zhǔn)臉朝向剪出臉部件特征點(diǎn)的區(qū)域圖像。而且，視線檢測(cè)部101，如圖8的(C)示出，按每個(gè)基準(zhǔn)臉朝向，計(jì)算剪出的區(qū)域圖像、與由臉部件區(qū)域模板DB保持的模板圖像之間的相關(guān)度。并且，視線檢測(cè)部101，按照如此計(jì)算出的相關(guān)度示出的相關(guān)程度高的程度，計(jì)算每個(gè)基準(zhǔn)臉朝向的權(quán)重。例如，視線檢測(cè)部101，計(jì)算各個(gè)基準(zhǔn)臉朝向的相關(guān)度對(duì)基準(zhǔn)臉朝向的相關(guān)度的總和的比例，以作為權(quán)重。接著，視線檢測(cè)部101，如圖8的(d)示出，計(jì)算基準(zhǔn)臉朝向示出的角度乘以計(jì)算出的權(quán)重后的值的總和，將計(jì)算結(jié)果作為用戶(hù)的臉朝向來(lái)檢測(cè)。在圖8的(d)的例子中，針對(duì)基準(zhǔn)臉朝向+ 20度的權(quán)重為“O. 85”，針對(duì)正面朝向的權(quán)重為“O. 14”，針對(duì)一 20度的權(quán)重為“O. 01”，因此，視線檢測(cè)部101，檢測(cè)臉朝向?yàn)?6.8度(=20X0. 85 + 0X0. 14 +(- 20) X0. 01)。而且，在圖8中，視線檢測(cè)部101，將臉部件特征點(diǎn)的區(qū)域圖像作為對(duì)象來(lái)計(jì)算相關(guān)度，但是，不僅限于此。例如，視線檢測(cè)部101也可以，將臉區(qū)域整體的圖像作為對(duì)象來(lái)計(jì)
算相關(guān)度。并且，檢測(cè)臉朝向的其他的方法有，從臉圖像中檢測(cè)眼睛、鼻子、嘴等的臉部件特征點(diǎn)，根據(jù)臉部件特征點(diǎn)的位置關(guān)系計(jì)算臉朝向的方法。對(duì)于根據(jù)臉部件特征點(diǎn)的位置關(guān)系計(jì)算臉朝向的方法，有以下的方法，S卩，以與由一個(gè)相機(jī)獲得的臉部件特征點(diǎn)最一致的方式，將預(yù)先準(zhǔn)備的臉部件特征點(diǎn)的三維模型旋轉(zhuǎn)、放大縮小來(lái)匹配，根據(jù)獲得的三維模型的旋轉(zhuǎn)量計(jì)算臉朝向。并且，對(duì)于根據(jù)臉部件特征點(diǎn)的位置關(guān)系計(jì)算臉朝向的其他的方法，有以下的方法，即，根據(jù)由兩臺(tái)相機(jī)拍攝的圖像，利用立體視的原理，根據(jù)左右的相機(jī)的臉部件特征點(diǎn)位置的圖像上的偏離，計(jì)算各個(gè)臉部件特征點(diǎn)的三維位置，根據(jù)獲得的臉部件特征點(diǎn)的位置關(guān)系來(lái)計(jì)算臉朝向。具體而言，例如，有將由雙眼以及嘴的三維坐標(biāo)點(diǎn)展開(kāi)的平面的法線方向作為臉朝向來(lái)檢測(cè)的方法等。返回圖7的流程圖的說(shuō)明。視線檢測(cè)部101，利用由攝像裝置拍攝的立體圖像，檢測(cè)用戶(hù)的左右的眼角的三維位置，利用檢測(cè)出左右的眼角的三維位置，計(jì)算視線方向基準(zhǔn)面(S506)。接著，視線檢測(cè)部101，利用由攝像裝置拍攝的立體圖像，檢測(cè)用戶(hù)的左右的黑眼珠中心的三維位置(S507)。而且，視線檢測(cè)部101，利用視線方向基準(zhǔn)面和左右的黑眼珠中心的三維位置，檢測(cè)黑眼珠方向(S508)。而且，視線檢測(cè)部101，利用檢測(cè)出的用戶(hù)的臉朝向和黑眼珠方向，檢測(cè)用戶(hù)的視線方向(S509)。接著，利用圖9至圖11，詳細(xì)說(shuō)明檢測(cè)黑眼珠方向的方法。在本實(shí)施例中，視線檢測(cè)部101，首先，計(jì)算視線方向基準(zhǔn)面。接著，視線檢測(cè)部101，檢測(cè)黑眼珠中心的三維位置。而且，最后，視線檢測(cè)部101，檢測(cè)黑眼珠方向。首先，說(shuō)明視線方向基準(zhǔn)面的計(jì)算。圖9是用于說(shuō)明本發(fā)明的實(shí)施例的視線方向基準(zhǔn)面的計(jì)算的圖。視線方向基準(zhǔn)面是指，檢測(cè)黑眼珠方向時(shí)成為基準(zhǔn)的面，如圖9示出，與臉的左右對(duì)稱(chēng)面相同。而且，眼角的位置，與眼梢、口角、或眉等的其他的臉部件相比，因表情而引起的變動(dòng)少，并且，誤檢測(cè)少。于是，視線檢測(cè)部101，利用眼角的三維位置，計(jì)算作為臉的左右對(duì)稱(chēng)面的視線方向基準(zhǔn)面。具體而言，視線檢測(cè)部101，在由作為攝像裝置的立體相機(jī)拍攝的兩張圖像(立體圖像)的每一個(gè)中，利用臉檢測(cè)模塊和臉部件檢測(cè)模塊，檢測(cè)左右的眼角區(qū)域。而且，視線檢測(cè)部101，利用檢測(cè)出的眼角區(qū)域的圖像間的位置的偏離(視差)，測(cè)量左右的眼角各自的三維位置。進(jìn)而，視線檢測(cè)部101，如圖9示出，計(jì)算以檢測(cè)出的左右的眼角的三維位置為端點(diǎn)的線段的垂直二等分面，以作為視線方向基準(zhǔn)面。接著，說(shuō)明黑眼珠中心的檢測(cè)。圖10以及圖11是用于說(shuō)明本發(fā)明的實(shí)施例的黑眼珠中心的檢測(cè)的圖。來(lái)自對(duì)象物的光，通過(guò)瞳孔到達(dá)視網(wǎng)膜，變換為電信號(hào)，該電信號(hào)傳達(dá)到腦，據(jù)此，人視覺(jué)識(shí)別對(duì)象物。因此，若利用瞳孔的位置，能夠檢測(cè)視線方向。但是，由于日本人的虹彩是黑或茶色，因此，通過(guò)圖像處理難以判別瞳孔和虹彩。于是，在本實(shí)施例中，由于瞳孔的中心與黑眼珠(包含瞳孔以及虹彩的雙方)的中心大致一致，因此，視線檢測(cè)部101，在檢測(cè)黑眼珠方向時(shí)，進(jìn)行黑眼珠中心的檢測(cè)。視線檢測(cè)部101，首先，從拍攝的圖像中檢測(cè)眼梢和眼角的位置。而且，視線檢測(cè)部101，從圖10那樣的包含眼梢和眼角的區(qū)域中，將亮度小的區(qū)域，作為黑眼珠區(qū)域來(lái)檢測(cè)。具體而言，視線檢測(cè)部101，例如，將亮度為規(guī)定閾值以下的區(qū)域、且比規(guī)定的大小大的區(qū)域，作為黑眼珠區(qū)域來(lái)檢測(cè)。接著，視線檢測(cè)部101，將圖11那樣的由第一區(qū)域和第二區(qū)域構(gòu)成的黑眼珠檢測(cè)濾波片，設(shè)定在黑眼珠區(qū)域的任意的位置。而且，視線檢測(cè)部101，搜索第一區(qū)域內(nèi)的像素的亮度與第二區(qū)域內(nèi)的像素的亮度的區(qū)域間分散最大的黑眼珠檢測(cè)濾波片的位置，將搜索結(jié)果示出的位置作為黑眼珠中心來(lái)檢測(cè)。最后，視線檢測(cè)部101，與所述同樣，利用立體圖像的黑眼珠中心的位置的偏離，檢測(cè)黑眼珠中心的三維位置。進(jìn)而，說(shuō)明黑眼珠方向的檢測(cè)。視線檢測(cè)部101，利用計(jì)算出的視線方向基準(zhǔn)面、和檢測(cè)出的黑眼珠中心的三維位置，檢測(cè)黑眼珠方向。對(duì)于成人的眼球直徑，周知的是，幾乎沒(méi)有個(gè)人差，例如，在日本人的情況下，為24mm左右。因此，若得知朝向成為基準(zhǔn)的方向(例如正面)時(shí)的黑眼珠中心的CN 102934458 A說(shuō)明書(shū)11/17 頁(yè)
位置，通過(guò)求出從那位置到當(dāng)前的黑眼珠中心的位置的變位，從而能夠計(jì)算并變換為黑眼珠方向。利用在用戶(hù)朝向正面時(shí)，左右的黑眼珠中心的中點(diǎn)位于臉的中心、即視線方向基準(zhǔn)面上這樣的情況,視線檢測(cè)部101，計(jì)算左右的黑眼珠中心的中點(diǎn)與視線方向基準(zhǔn)面之間的距離，從而檢測(cè)黑眼珠方向。具體而言，視線檢測(cè)部101，利用眼球半徑R和連接左右的黑眼珠中心的線段的中點(diǎn)與視線方向基準(zhǔn)面之間的距離山如式(I)示出，將對(duì)臉朝向的左右方向的旋轉(zhuǎn)角Θ作為黑眼珠方向來(lái)檢測(cè)。數(shù)式I
^ = Sin * —■·■ Cl'如上所述，視線檢測(cè)部101，利用視線方向基準(zhǔn)面和黑眼珠中心的三維位置，檢測(cè)黑眼珠方向。而且，視線檢測(cè)部101，利用檢測(cè)出的臉朝向和黑眼珠方向，檢測(cè)實(shí)際空間的用戶(hù)的視線方向。而且,視線方向的檢測(cè)方法有,角膜反射法、EOG(Electrooculography :眼動(dòng)電圖描記)法、探測(cè)線圈法以及鞏膜反射法等的多種多樣的方法。因此，視線檢測(cè)部101，并不一定需要根據(jù)所述的方法檢測(cè)視線方向。例如，視線檢測(cè)部101也可以，利用角膜反射法來(lái)檢測(cè)視線方向。角膜反射法是指，根據(jù)點(diǎn)光源照明照射到角膜時(shí)明亮地出現(xiàn)的角膜反射像(普爾欽(Purkinje)像)的位置，測(cè)量眼球運(yùn)動(dòng)的方法。由于眼球旋轉(zhuǎn)中心與角膜的凸面的中心不一致，因此，在將角膜設(shè)為凸面鏡，光源的反射點(diǎn)由凸透鏡等聚光的情況下，該聚光點(diǎn)，隨著眼球的旋轉(zhuǎn)而移動(dòng)。該點(diǎn)由攝像裝置拍攝，從而測(cè)量眼球運(yùn)動(dòng)。〈3，視線運(yùn)動(dòng)的檢測(cè)和分類(lèi)>接著，說(shuō)明根據(jù)如上檢測(cè)出的視線數(shù)據(jù)(注視坐標(biāo)系列)檢測(cè)視線運(yùn)動(dòng)，進(jìn)行分類(lèi)的方法。而且，可以將對(duì)影像的“興趣”定義為，對(duì)影像“加以注意"的意思。注意被定義為處理資源。針對(duì)某任務(wù)請(qǐng)求的處理資源量，按照該難易度而不同?？梢詫ⅰ凹右宰⒁?，表現(xiàn)為對(duì)任務(wù)的處理資源的分配。也就是說(shuō)，可以將對(duì)影像“加以注意"的現(xiàn)象，考慮為對(duì)影像視聽(tīng)任務(wù)的處理資源的分配。該情況，被周知為卡尼曼(Kahneman)的“注意的容量模型"。并且，若利用處理資源這概念來(lái)說(shuō)明興趣度這參數(shù)，興趣度是指對(duì)影像視聽(tīng)任務(wù)分配的處理資源的多寡。另一方面，可以將人進(jìn)行的信息處理，分類(lèi)為有意識(shí)的控制處理和無(wú)意識(shí)的自動(dòng)處理。控制處理是，人有意識(shí)地進(jìn)行的處理，在驅(qū)動(dòng)時(shí)需要處理資源。將影像視聽(tīng)任務(wù)中作為控制處理進(jìn)行的視線運(yùn)動(dòng)，稱(chēng)為內(nèi)源性視線運(yùn)動(dòng)。并且，將作為自動(dòng)處理進(jìn)行的視線運(yùn)動(dòng)，稱(chēng)為外源性視線運(yùn)動(dòng)。在此，將興趣度給視線運(yùn)動(dòng)帶來(lái)的影響模型化為如下。首先，根據(jù)用戶(hù)的意圖等的心理原因以及疲勞等的生理原因，按照用戶(hù)的興趣度的處理資源被分配到影像視聽(tīng)任務(wù)。按照該處理資源來(lái)驅(qū)動(dòng)控制處理，發(fā)生內(nèi)源性視線運(yùn)動(dòng)。另一方面，根據(jù)影像(顯著流)具有的視覺(jué)刺激，發(fā)生作為自動(dòng)處理的外源性視線運(yùn)動(dòng)。
14但是，在已經(jīng)發(fā)生內(nèi)源性視線運(yùn)動(dòng)的情況下，該外源性視線運(yùn)動(dòng)會(huì)被抑制。如此發(fā)生的視線運(yùn)動(dòng)，被物理觀測(cè)為實(shí)際的顯示裝置上的注視坐標(biāo)系列。用戶(hù)反應(yīng)分析部103，作為該“處理資源消耗一視線運(yùn)動(dòng)驅(qū)動(dòng)”的逆問(wèn)題，根據(jù)物理觀測(cè)出的視線運(yùn)動(dòng)，估算分配到影像視聽(tīng)任務(wù)的處理資源量，估計(jì)針對(duì)影像的興趣度。圖12是用于說(shuō)明本發(fā)明的實(shí)施例的視線運(yùn)動(dòng)和其構(gòu)成要素的圖。在影像視聽(tīng)中，人反復(fù)進(jìn)行對(duì)象具有的視覺(jué)信息的獲得和對(duì)象的切換?？紤]對(duì)象(顯著流)具有的狀態(tài)以及引起視線運(yùn)動(dòng)的原因，在此，對(duì)于影像視聽(tīng)時(shí)的視線運(yùn)動(dòng)，分類(lèi)為以下的四種視線運(yùn)動(dòng)。第一種視線運(yùn)動(dòng)是,從動(dòng)作的對(duì)象的信息獲得運(yùn)動(dòng)(PA Pursuing Acquisition)。第二種視線運(yùn)動(dòng)是，從靜止對(duì)象的信息獲得運(yùn)動(dòng)(FA :FixationAcquisition)。第三種視線運(yùn)動(dòng)是，有意圖的對(duì)象切換運(yùn)動(dòng)(NC :eNdogenous Change)。第四種視線運(yùn)動(dòng)是,夕卜源性的對(duì)象切換運(yùn)動(dòng)(XC eXogenous Change)。一般而言，人通過(guò)某點(diǎn)的注視以及注視點(diǎn)的移動(dòng)的組合來(lái)實(shí)現(xiàn)信息的獲得。也就是說(shuō)，影像視聽(tīng)時(shí)的視線運(yùn)動(dòng)，在內(nèi)部具有動(dòng)態(tài)變化，如圖12示出，由單純的視線運(yùn)動(dòng)(構(gòu)成要素)的組合而構(gòu)成。在此，將以下的四個(gè)單純的視線運(yùn)動(dòng)作為構(gòu)成要素，表現(xiàn)影像視聽(tīng)時(shí)的視線運(yùn)動(dòng)。第一個(gè)構(gòu)成要素是，滑動(dòng)性眼球運(yùn)動(dòng)(P =Pursuit)?；瑒?dòng)性眼球運(yùn)動(dòng)是指，眼球，跟隨動(dòng)作中的對(duì)象的動(dòng)作而慢慢地變動(dòng)的運(yùn)動(dòng)。第二個(gè)構(gòu)成要素是，固視運(yùn)動(dòng)(F :Fixation)。固視運(yùn)動(dòng)是指，由于一直看靜止對(duì)象，因此眼球不動(dòng)的情況。第三個(gè)構(gòu)成要素是，內(nèi)源性眼跳(NS :eNdogenous Saccade)。眼跳是指,為了將分辯率低的周邊視網(wǎng)膜中映出的對(duì)象，在分辯率高的視網(wǎng)膜中心窩捕捉而進(jìn)行的快速的眼球運(yùn)動(dòng)。而且，內(nèi)源性眼跳是，眼跳之中的有意識(shí)的眼跳。第四個(gè)構(gòu)成要素是，外源性眼跳(XS exogenous Saccade) 0外源性眼跳是，眼跳之中的無(wú)意識(shí)的眼跳。在此，視線檢測(cè)部101，從注視坐標(biāo)系列中檢測(cè)所述的視線運(yùn)動(dòng)，以作為興趣度估計(jì)的前階段。也就是說(shuō)，視線檢測(cè)部101，將注視坐標(biāo)系列分段化為單獨(dú)的視線運(yùn)動(dòng)會(huì)發(fā)生的時(shí)區(qū)間。具體而言，視線檢測(cè)部101，根據(jù)注視對(duì)象的流，將注視坐標(biāo)系列分段化，根據(jù)對(duì)應(yīng)的流的狀態(tài)是static以及dynamic的哪一方,來(lái)更加分段化。而且，視線檢測(cè)部101,為了將示出高的相關(guān)性的顯著流群作為單一的對(duì)象來(lái)處理，合并相關(guān)性高的兩個(gè)流間的注視移動(dòng)發(fā)生了的時(shí)區(qū)間。〈4，顯著性變動(dòng)和注視反應(yīng)的相關(guān)性分析(興趣度估計(jì))>接著，詳細(xì)說(shuō)明基于顯著性變動(dòng)和注視反應(yīng)的相關(guān)性分析的興趣度估計(jì)。圖13是用于說(shuō)明本發(fā)明的實(shí)施例的顯著性變動(dòng)和注視反應(yīng)的關(guān)系的圖。具體而言，圖13的(a)示出，興趣度高時(shí)的各個(gè)幀的時(shí)間上的偏離、以及興趣度低時(shí)的各個(gè)幀的時(shí)間上的偏離。并且，圖13的(b)示出，興趣度高時(shí)的各個(gè)幀的空間上的偏離、以及興趣度低時(shí)的各個(gè)幀的空間上的偏離。在針對(duì)影像的興趣度高的情況下，在該幀中顯著性變動(dòng)和可期待為與其對(duì)應(yīng)而產(chǎn)生的視線運(yùn)動(dòng)的時(shí)間上的偏離以及空間上的偏離變小。另一方面，在針對(duì)影像的興趣度低的情況下，在該幀中顯著性變動(dòng)和注視反應(yīng)的時(shí)間上的偏離以及空間上的偏離變大。也就是說(shuō)，這樣的時(shí)間上的偏離以及空間上的偏離示出，顯著區(qū)域與視線方向之間的相關(guān)性低的程度。于是，在本實(shí)施例中，用戶(hù)反應(yīng)分析部103，計(jì)算表示這樣的時(shí)間上的偏離以及空間上的偏離的至少一方的值，以作為表示顯著區(qū)域與視線方向之間的相關(guān)性低的程度的值。該時(shí)間上的偏離的一個(gè)例子有，顯著區(qū)域的出現(xiàn)定時(shí)、與對(duì)該顯著區(qū)域的視線的眼跳的發(fā)生定時(shí)之間的時(shí)間差。并且，時(shí)間上的偏離的其他的一個(gè)例子有，顯著區(qū)域在畫(huà)面上移動(dòng)的速度成為規(guī)定的速度以上的定時(shí)、與對(duì)該顯著區(qū)域的視線的眼跳的發(fā)生定時(shí)之間的時(shí)間差。并且，時(shí)間上的偏離以及空間上的偏離的一個(gè)例子有，顯著區(qū)域的畫(huà)面上的移動(dòng)速度、與根據(jù)視線方向而確定的畫(huà)面上的注視位置的移動(dòng)速度之間的速度差。而且，例如，根據(jù)示出視線方向的變化度的值是否超過(guò)閾值，能夠判定視線運(yùn)動(dòng)是否為眼跳。具體而言，注視位置移動(dòng)的速度成為規(guī)定的速度以上的定時(shí)，被檢測(cè)為眼跳的發(fā)生定時(shí)即可。關(guān)注這樣的特性，如下估計(jì)針對(duì)影像的興趣度。圖14是示出本發(fā)明的實(shí)施例的與多個(gè)顯著模式各自對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。如圖14示出，在多個(gè)顯著模式的每一個(gè)顯著模式中，預(yù)先對(duì)應(yīng)有用于評(píng)價(jià)相關(guān)性高的程度的至少一個(gè)評(píng)價(jià)基準(zhǔn)。示出這樣的顯著模式和評(píng)價(jià)基準(zhǔn)的對(duì)應(yīng)關(guān)系的信息，例如，由未圖示的存儲(chǔ)部(存儲(chǔ)器)保持即可。在此情況下，存儲(chǔ)部，例如，在興趣度估計(jì)裝置100中具備。并且，存儲(chǔ)部也可以，在與興趣度估計(jì)裝置100連接的外部設(shè)備中具備。用戶(hù)反應(yīng)分析部103，通過(guò)參照?qǐng)D14所示的信息，按照與根據(jù)獲得的顯著性信息而確定的顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)，計(jì)算相關(guān)性。以下，具體說(shuō)明評(píng)價(jià)基準(zhǔn)。圖15A至圖15E是用于說(shuō)明本發(fā)明的實(shí)施例的與顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)的圖。如圖14以及圖15A示出，在用戶(hù)對(duì)影像的興趣度高的情況下，在single — static中，可期待觀測(cè)到FA，以作為視線運(yùn)動(dòng)。并且，如圖14以及圖15B示出，在用戶(hù)對(duì)影像的興趣度高的情況下，在single — dynamic中，可期待觀測(cè)到PA,以作為視線運(yùn)動(dòng)。并且,如圖14以及圖15C示出，在用戶(hù)對(duì)影像的興趣度高的情況下,在multi — static中，可期待觀測(cè)到FA以及NS，以作為視線運(yùn)動(dòng)。并且，如圖14以及圖MD示出，在用戶(hù)對(duì)影像的興趣度高的情況下，在multi — static / dynamic中，可期待觀測(cè)到FA、PA以及NS,以作為視線運(yùn)動(dòng)。并且，如圖14以及圖15E示出，在用戶(hù)對(duì)影像的興趣度高的情況下,在multi — dynamic中，可期待觀測(cè)到PA以及NS，以作為視線運(yùn)動(dòng)。于是，如圖14示出，single — static，與作為評(píng)價(jià)基準(zhǔn)的眼跳數(shù)、眼跳的行程長(zhǎng)度、對(duì)象流面積對(duì)應(yīng)。在此，眼跳數(shù)是，顯著模式為single — static時(shí)檢測(cè)的眼跳的發(fā)生次數(shù)。眼跳是，例如，通過(guò)對(duì)示出視線方向的變化率的值與閾值進(jìn)行比較，從而檢測(cè)的。具體而言，例如，檢測(cè)注視位置在畫(huà)面上的顯著區(qū)域內(nèi)移動(dòng)的速度成為規(guī)定速度以上的次數(shù)，以作為眼跳數(shù)。并且，眼跳的行程長(zhǎng)度是，示出基于眼跳的視線方向的變化量的值。具體而言，眼跳的行程長(zhǎng)度，例如，相當(dāng)于基于眼跳的畫(huà)面上的注視位置的移動(dòng)量。對(duì)象流面積，相當(dāng)于顯著區(qū)域的面積。在構(gòu)成顯著流的顯著區(qū)域的面積變化的情況下，對(duì)于對(duì)象流面積，例如，利用顯著區(qū)域的面積的平均值。并且，對(duì)象流面積，也可以是顯著區(qū)域的面積的中央值、最大值、或最小值等。single 一 dynamic,與作為評(píng)價(jià)基準(zhǔn)的對(duì)象流以及視線運(yùn)動(dòng)的速度差、和對(duì)象的運(yùn)動(dòng)速度對(duì)應(yīng)。對(duì)象流以及視線運(yùn)動(dòng)的速度差，相當(dāng)于顯著區(qū)域的移動(dòng)速度與注視位置的移動(dòng)速度之間的速度差。在此，移動(dòng)速度意味著，移動(dòng)矢量的大小以及方向。并且，對(duì)象的運(yùn)動(dòng)速度，相當(dāng)于顯著區(qū)域的移動(dòng)速度。multi — static,與作為評(píng)價(jià)基準(zhǔn)的single — static所對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)、以及NS的發(fā)生頻度對(duì)應(yīng)。NS的發(fā)生頻度，相當(dāng)于多個(gè)顯著區(qū)域間的眼跳的發(fā)生次數(shù)。也就是說(shuō)，NS的發(fā)生頻度，相當(dāng)于使注視位置從某一個(gè)顯著區(qū)域向另一個(gè)顯著區(qū)域移動(dòng)的眼跳的發(fā)生次數(shù)。multi 一 static / dynamic,與作為評(píng)價(jià)基準(zhǔn)的single — static所對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)、single - dynamic所對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)、NS的發(fā)生頻度、以及PA及FA的比率對(duì)應(yīng)。multi 一 dynamic,與作為評(píng)價(jià)基準(zhǔn)的single — dynamic所對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)、以及NS的發(fā)生頻度對(duì)應(yīng)。而且，用戶(hù)反應(yīng)分析部103，根據(jù)與顯著模式對(duì)應(yīng)的這樣的評(píng)價(jià)基準(zhǔn)，計(jì)算評(píng)價(jià)值(矢量)E。該評(píng)價(jià)值E是，相當(dāng)于顯著區(qū)域與視線方向之間的相關(guān)性的、定量示出相關(guān)性高的程度的值。在FA中，對(duì)于用戶(hù)哪些程度積極掃描對(duì)象的指標(biāo)，對(duì)I)在對(duì)象的內(nèi)部多少發(fā)生了的眼跳、2)發(fā)生了哪些程度的大小的眼跳進(jìn)行評(píng)價(jià)。也就是說(shuō)，在顯著模式為，靜態(tài)模式(single — static、multi 一 static、或multi — static / dynamic)的情況下,用戶(hù)反應(yīng)分析部103,計(jì)算相關(guān)性，以使得顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)越多相關(guān)性就越高。據(jù)此，用戶(hù)反應(yīng)分析部103，在顯著模式是靜態(tài)模式的情況下，能夠根據(jù)顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)，計(jì)算相關(guān)性。顯著區(qū)域內(nèi)的眼跳是，用于從顯著區(qū)域獲得信息的視線運(yùn)動(dòng)。因此，用戶(hù)反應(yīng)分析部103，計(jì)算顯著區(qū)域與視線方向之間的相關(guān)性，以使得該顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)越多相關(guān)性就越高，從而能夠更高精度地估計(jì)興趣度。進(jìn)而，在顯著模式為靜態(tài)模式的情況下，用戶(hù)反應(yīng)分析部103，計(jì)算顯著區(qū)域與視線方向之間的相關(guān)性，以使得顯著區(qū)域內(nèi)的由眼跳的視線方向的變化量(眼跳的行程長(zhǎng)度)越大相關(guān)性就越高。在此情況下，優(yōu)選的是，用戶(hù)反應(yīng)分析部103，利用顯著區(qū)域的大小(例如面積等)，將視線方向的變化量歸一化。據(jù)此，為了從顯著區(qū)域內(nèi)的寬區(qū)域獲得信息而進(jìn)行視線運(yùn)動(dòng)時(shí)計(jì)算的相關(guān)性變高。因此，興趣度估計(jì)裝置100，能夠更高精度地估計(jì)興趣度。在PA中，對(duì)于用戶(hù)能夠與對(duì)象哪些程度同步并跟隨的指標(biāo)，對(duì)3)對(duì)象流與視線運(yùn)動(dòng)之間的速度差進(jìn)行評(píng)價(jià)。也就是說(shuō)，在顯著模式為動(dòng)態(tài)模式(single — dynamic>multi 一dynamic、或multi — static / dynamic)的情況下,用戶(hù)反應(yīng)分析部103,計(jì)算相關(guān)性，以使得顯著區(qū)域的畫(huà)面上的移動(dòng)速度與根據(jù)視線方向而確定的畫(huà)面上的注視位置的移動(dòng)速度之間的速度差越小相關(guān)性就越高。在此情況下，優(yōu)選的是，用戶(hù)反應(yīng)分析部103，利用顯著區(qū)域的移動(dòng)速度，將速度差歸一化。
據(jù)此，為了跟隨顯著區(qū)域的變動(dòng)從顯著區(qū)域獲得信息而進(jìn)行視線運(yùn)動(dòng)時(shí)計(jì)算的相關(guān)性變高。因此，興趣度估計(jì)裝置100，能夠更高精度地估計(jì)興趣度。針對(duì)多個(gè)流存在的顯著模式，NS的發(fā)生頻度加到評(píng)價(jià)基準(zhǔn)中。也就是說(shuō)，在顯著模式為復(fù)數(shù)模式(multi — static、multi — dynamic、或 multi — static / dynamic)的情況下，用戶(hù)反應(yīng)分析部103，計(jì)算相關(guān)性，以使注視位置從某一個(gè)顯著區(qū)域向其他的一個(gè)顯著區(qū)域移動(dòng)的眼跳的發(fā)生次數(shù)越多相關(guān)性就越高。在此情況下，優(yōu)選的是，用戶(hù)反應(yīng)分析部103，利用顯著區(qū)域的數(shù)量，將眼跳的發(fā)生次數(shù)歸一化。據(jù)此，為了從更多的顯著區(qū)域獲得信息而進(jìn)行視線運(yùn)動(dòng)時(shí)計(jì)算的相關(guān)性變高。因此，興趣度估計(jì)裝置100，能夠更高精度地估計(jì)興趣度。針對(duì)各個(gè)顯著模式的評(píng)價(jià)值E的、高興趣度時(shí)(H)的分布和低興趣度時(shí)(L)的分布是，預(yù)先學(xué)習(xí)的。利用該學(xué)習(xí)結(jié)果，用戶(hù)反應(yīng)分析部103，能夠計(jì)算新獲得了的評(píng)價(jià)值E*之后成為高興趣度時(shí)以及低興趣度時(shí)的概率，以作為事后概率P (H IE*)以及P (L| E*)。用戶(hù)反應(yīng)分析部103，對(duì)如此計(jì)算出的事后概率P (H IE*)以及P(L|E*)進(jìn)行比較，從而估計(jì)針對(duì)影像的興趣度。如上所述，根據(jù)本實(shí)施例涉及的興趣度估計(jì)裝置，從影像獲得與容易引起用戶(hù)的視覺(jué)注意的顯著區(qū)域、以及作為其時(shí)間變化模式的顯著性變動(dòng)有關(guān)的信息，根據(jù)顯著性變動(dòng)與注視反應(yīng)的相關(guān)性，估計(jì)針對(duì)影像的興趣度，據(jù)此，在畫(huà)面上顯示影像時(shí)，能夠更高精度地估計(jì)針對(duì)該影像的興趣度。也就是說(shuō)，根據(jù)本實(shí)施例涉及的興趣度估計(jì)裝置，能夠根據(jù)影像內(nèi)的顯著區(qū)域與用戶(hù)的視線方向之間的相關(guān)性，估計(jì)用戶(hù)對(duì)影像的興趣度。也就是說(shuō)，由于能夠考慮影像的特性來(lái)估計(jì)興趣度，因此，與單純地根據(jù)視線方向來(lái)估計(jì)興趣度時(shí)相比，能夠高精度地估計(jì)興趣度。特別是，由于能夠利用針對(duì)影像的興趣度高時(shí)顯著區(qū)域與視線方向之間的相關(guān)性高這樣的情況，因此，能夠更高精度地估計(jì)興趣度。并且，根據(jù)本實(shí)施例涉及的興趣度估計(jì)裝置，不測(cè)量用戶(hù)的皮膚電位等，也能夠估計(jì)用戶(hù)對(duì)影像的興趣度。因此，能夠容易估計(jì)興趣度，并且，也能夠抑制用戶(hù)的負(fù)擔(dān)增大。并且，根據(jù)本實(shí)施例涉及的興趣度估計(jì)裝置，能夠根據(jù)適于顯著模式的評(píng)價(jià)基準(zhǔn)，計(jì)算顯著區(qū)域與視線方向之間的相關(guān)性。因此，能夠更高精度地估計(jì)興趣度。而且，在所述實(shí)施例中，將針對(duì)影像的“興趣"定義為，對(duì)影像“加以注意"的意思，但是，能夠?qū)⒃诒景l(fā)明中的“興趣"置換為“集中"這術(shù)語(yǔ)。也就是說(shuō)，本發(fā)明，也可以說(shuō)是估計(jì)用戶(hù)對(duì)影像的集中度的發(fā)明。 并且，在所述實(shí)施例中，興趣度估計(jì)裝置100，估計(jì)興趣度，但是，能夠?qū)ⅰ肮烙?jì)"這術(shù)語(yǔ)置換為“計(jì)算"。也就是說(shuō)，也可以將估計(jì)興趣度的興趣度估計(jì)裝置置換為，計(jì)算興趣度的興趣度計(jì)算裝置。而且，由所述興趣度估計(jì)裝置100估計(jì)的興趣度是，例如，為了適當(dāng)?shù)仫@示要提示給用戶(hù)的信息而利用的。例如，在興趣度低的情況下，顯示裝置，將要提示給用戶(hù)的信息顯示在畫(huà)面的中央部。據(jù)此，顯示裝置能夠抑制用戶(hù)看漏被顯示的信息。另一方面，在興趣度高的情況下，顯示裝置，將要提示給用戶(hù)的信息顯示在畫(huà)面的端部，或不顯示。據(jù)此，顯示裝置能夠抑制給用戶(hù)帶來(lái)不舒服。并且，也可以根據(jù)由所述興趣度估計(jì)裝置100估計(jì)的興趣度對(duì)顯示裝置的亮度進(jìn)行調(diào)整。例如，也可以將顯示裝置的亮度顯示，以使興趣度低時(shí)的亮度，比興趣度高時(shí)的亮度低。在此情況下，能夠減少顯示裝置的耗電量，能夠貢獻(xiàn)于節(jié)能化。以上，根據(jù)實(shí)施例以及其變形例說(shuō)明了本發(fā)明的實(shí)施方案之一涉及的興趣度估計(jì) 裝置，但是，本發(fā)明不僅限于此實(shí)施例以及其變形例。只要不脫離本發(fā)明的宗旨，對(duì)本實(shí)施例或其變形例施行本領(lǐng)域的技術(shù)人員想到的各種變形的形態(tài)、或組合不同的實(shí)施例或其變形例中的構(gòu)成要素而構(gòu)成的形態(tài)，也包含在本發(fā)明的范圍內(nèi)。例如，在所述實(shí)施例中，用戶(hù)反應(yīng)分析部103，利用顯著模式計(jì)算顯著區(qū)域與視線方向之間的相關(guān)性，但是，并不一定需要利用顯著模式。例如，用戶(hù)反應(yīng)分析部103也可以，與顯著模式無(wú)關(guān)，而根據(jù)顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)，計(jì)算顯著區(qū)域與視線方向之間的相關(guān)性。即使在此情況下，興趣度估計(jì)裝置100，也能夠考慮影像的特性來(lái)估計(jì)興趣度，因此，與單純地根據(jù)視線方向來(lái)估計(jì)興趣度時(shí)相比，能夠高精度地估計(jì)興趣度。并且，在所述實(shí)施例中，多個(gè)顯著模式，根據(jù)顯著區(qū)域的數(shù)量以及變動(dòng)的雙方而被分類(lèi)，但是，也可以?xún)H根據(jù)顯著區(qū)域的數(shù)量以及變動(dòng)的一方而被分類(lèi)。也就是說(shuō)，多個(gè)顯著模式，根據(jù)顯著區(qū)域的數(shù)量以及變動(dòng)之中的至少一方而被分類(lèi)即可。進(jìn)而，對(duì)于本發(fā)明，也可以如下進(jìn)行變形。(I)所述的興趣度估計(jì)裝置是，具體而言，由微處理器、ROM (Read Only Memory) >RAM(Randam Access Memory)、硬盤(pán)單元、顯示器單元、鍵盤(pán)、鼠標(biāo)等構(gòu)成的計(jì)算機(jī)系統(tǒng)。所述ROM或所述硬盤(pán)單元，存儲(chǔ)有計(jì)算機(jī)程序。所述微處理器根據(jù)由所述RAM展開(kāi)的所述計(jì)算機(jī)程序進(jìn)行工作，據(jù)此，興趣度估計(jì)裝置實(shí)現(xiàn)其功能。在此，計(jì)算機(jī)程序是，為了實(shí)現(xiàn)規(guī)定的功能，示出對(duì)計(jì)算機(jī)的指令的命令碼組合多個(gè)而構(gòu)成的。而且，興趣度估計(jì)裝置，不僅限于包含微處理器、ROM、RAM、硬盤(pán)單元、顯示器單元、鍵盤(pán)、鼠標(biāo)等全部的計(jì)算機(jī)系統(tǒng)，也可以是由它們的一部分構(gòu)成的計(jì)算機(jī)系統(tǒng)。(2)構(gòu)成所述的興趣度估計(jì)裝置的構(gòu)成要素的一部分或全部也可以，由一個(gè)系統(tǒng)LSI (Large Scale Integration :大規(guī)模集成電路)構(gòu)成。系統(tǒng)LSI是,在一個(gè)芯片上集成多個(gè)構(gòu)成部而制造的超多功能LSI，具體而言，是包含微處理器、ROM、RAM等而構(gòu)成的計(jì)算機(jī)系統(tǒng)。所述ROM存儲(chǔ)有計(jì)算機(jī)程序。所述微處理器根據(jù)由所述RAM展開(kāi)的所述計(jì)算機(jī)程序進(jìn)行工作，據(jù)此，系統(tǒng)LSI實(shí)現(xiàn)其功能。而且，在此，被稱(chēng)為系統(tǒng)LSI，但是，根據(jù)集成度不同，會(huì)有被稱(chēng)為1C、LSI、超LSI、特大LSI的情況。并且，對(duì)于集成電路化的方法，不僅限于LSI，也可以以專(zhuān)用電路或通用處理器來(lái)實(shí)現(xiàn)。也可以利用在制造LSI后能夠編程的FPGA(Field Programmable GateArray 現(xiàn)場(chǎng)可編程門(mén)陣列)、以及可重構(gòu)LSI內(nèi)部的電路單元的連接以及設(shè)定的可重構(gòu)處理器。進(jìn)而，當(dāng)然，若因半導(dǎo)體技術(shù)的進(jìn)步或?qū)С龅钠渌募夹g(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則可以利用其技術(shù)對(duì)功能框進(jìn)行集成化。存在生物技術(shù)的應(yīng)用等的可能性。(3)構(gòu)成所述的興趣度估計(jì)裝置的構(gòu)成要素的一部分或全部也可以，由與興趣度估計(jì)裝置可裝卸的IC卡或單體的模塊構(gòu)成。所述IC卡或所述模塊是，由微處理器、ROM、RAM等構(gòu)成的計(jì)算機(jī)系統(tǒng)。所述IC卡或所述模塊也可以，包含所述的超多功能LSI。微處理器根據(jù)計(jì)算機(jī)程序進(jìn)行工作，據(jù)此，所述IC卡或所述模塊實(shí)現(xiàn)其功能。該IC卡或該模塊也可以，具有防篡改性。
(4)本發(fā)明，也可以是將所示的興趣度估計(jì)裝置具備的特征結(jié)構(gòu)部的工作作為步驟的方法。并且，可以是由計(jì)算機(jī)實(shí)現(xiàn)這樣的方法的計(jì)算機(jī)程序，也可以是由所述計(jì)算機(jī)程序而成的數(shù)字信號(hào)。并且，本發(fā)明也可以，將所述計(jì)算機(jī)程序或所述數(shù)字信號(hào)記錄到計(jì)算機(jī)可讀取的非暫時(shí)的記錄介質(zhì)，例如，軟盤(pán)、硬盤(pán)、CD — ROM、MO、DVD、DVD — ROM,DVD 一 RAM,BD(Blu 一ray Disc (注冊(cè)商標(biāo)))、半導(dǎo)體存儲(chǔ)器等。并且，也可以是這樣的記錄介質(zhì)所記錄的所述計(jì)算機(jī)程序或所述數(shù)字信號(hào)。并且，本發(fā)明也可以，將所述計(jì)算機(jī)程序或所述數(shù)字信號(hào)，經(jīng)由電通信線路、無(wú)線或有線通信線路、以互聯(lián)網(wǎng)為代表的網(wǎng)絡(luò)、數(shù)據(jù)廣播等傳輸。并且，本發(fā)明也可以是，具備微處理器和存儲(chǔ)器的計(jì)算機(jī)系統(tǒng)，所述存儲(chǔ)器存儲(chǔ)有所述計(jì)算機(jī)程序，所述微處理器根據(jù)所述計(jì)算機(jī)程序進(jìn)行工作。并且，也可以是，將所述程序或所述數(shù)字信號(hào)記錄到所述記錄介質(zhì)來(lái)轉(zhuǎn)送，或者，將所述程序或所述數(shù)字信號(hào)經(jīng)由所述網(wǎng)絡(luò)等轉(zhuǎn)送，從而由獨(dú)立的其他的計(jì)算機(jī)系統(tǒng)實(shí)施。(5)也可以將所述實(shí)施例以及所述變形例分別組合。本發(fā)明，有用于估計(jì)用戶(hù)對(duì)被顯示的影像的興趣度的興趣度估計(jì)裝置，例如，能夠適用于用戶(hù)接口裝置或者影像顯示裝置。符號(hào)說(shuō)明100興趣度估計(jì)裝置101視線檢測(cè)部102顯著性信息獲得部103用戶(hù)反應(yīng)分析部
權(quán)利要求
1.一種興趣度估計(jì)裝置，估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度，該興趣度估計(jì)裝置具備視線檢測(cè)部，檢測(cè)所述用戶(hù)的視線方向；顯著性信息獲得部，獲得與顯著區(qū)域有關(guān)的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；以及用戶(hù)反應(yīng)分析部，計(jì)算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測(cè)出的所述視線方向的相關(guān)性，估計(jì)所述用戶(hù)對(duì)所述影像的興趣度，以使得計(jì)算出的所述相關(guān)性越高興趣度就越高。
2.如權(quán)利要求I所述的興趣度估計(jì)裝置，在根據(jù)顯著區(qū)域的數(shù)量以及變動(dòng)之中至少一方而分類(lèi)的多個(gè)顯著模式的每一個(gè)顯著模式中，預(yù)先對(duì)應(yīng)有用于評(píng)價(jià)相關(guān)性高的程度的至少一個(gè)評(píng)價(jià)基準(zhǔn)，所述用戶(hù)反應(yīng)分析部，按照與根據(jù)所述顯著性信息而確定的顯著模式對(duì)應(yīng)的評(píng)價(jià)基準(zhǔn)來(lái)計(jì)算所述相關(guān)性。
3.如權(quán)利要求2所述的興趣度估計(jì)裝置，所述多個(gè)顯著模式包含，示出顯著區(qū)域的位置不變化的狀態(tài)的靜態(tài)模式，在所述靜態(tài)模式中，對(duì)應(yīng)有作為所述至少一個(gè)評(píng)價(jià)基準(zhǔn)的、顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)，所述用戶(hù)反應(yīng)分析部，在根據(jù)所述顯著性信息而確定的顯著模式為靜態(tài)模式的情況下，計(jì)算所述相關(guān)性，以使得根據(jù)檢測(cè)出的所述視線方向而確定的、所述顯著區(qū)域內(nèi)的眼跳的發(fā)生次數(shù)越多所述相關(guān)性就越高。
4.如權(quán)利要求I至3的任一項(xiàng)所述的興趣度估計(jì)裝置，所述顯著性信息獲得部，根據(jù)賦予給示出所述影像的信號(hào)的標(biāo)簽來(lái)獲得所述顯著性信肩、O
5.如權(quán)利要求I至3的任一項(xiàng)所述的興趣度估計(jì)裝置，所述顯著性信息獲得部，通過(guò)根據(jù)圖像的物理特征來(lái)解析所述影像，從而獲得所述顯著性信息。
6.如權(quán)利要求I至5的任一項(xiàng)所述的興趣度估計(jì)裝置，所述顯著區(qū)域是與附隨于所述影像的聲音信息有關(guān)的對(duì)象的區(qū)域。
7.如權(quán)利要求6所述的興趣度估計(jì)裝置，所述對(duì)象是說(shuō)話者的臉或嘴。
8.如權(quán)利要求6所述的興趣度估計(jì)裝置，所述顯著區(qū)域是顯示與所述聲音信息對(duì)應(yīng)的文本的區(qū)域。
9.如權(quán)利要求I至8的任一項(xiàng)所述的興趣度估計(jì)裝置，所述顯著區(qū)域是移動(dòng)的對(duì)象的區(qū)域。
10.如權(quán)利要求9所述的興趣度估計(jì)裝置，所述對(duì)象是人。
11.如權(quán)利要求9所述的興趣度估計(jì)裝置，所述對(duì)象是動(dòng)物。
12.如權(quán)利要求I至11的任一項(xiàng)所述的興趣度估計(jì)裝置，所述相關(guān)性是時(shí)間上的同步度。
13.如權(quán)利要求I至12的任一項(xiàng)所述的興趣度估計(jì)裝置，所述相關(guān)性是空間上的類(lèi)似度。
14.如權(quán)利要求I至13的任一項(xiàng)所述的興趣度估計(jì)裝置，所述用戶(hù)反應(yīng)分析部，計(jì)算所述顯著區(qū)域的出現(xiàn)定時(shí)、與針對(duì)所述顯著區(qū)域的視線的眼跳的發(fā)生定時(shí)之間的時(shí)間差，以作為表示所述相關(guān)性低的程度的值，所述用戶(hù)反應(yīng)分析部，估計(jì)所述興趣度，以使得所述時(shí)間差越小興趣度就越高。
15.如權(quán)利要求I至14的任一項(xiàng)所述的興趣度估計(jì)裝置，所述用戶(hù)反應(yīng)分析部，計(jì)算所述顯著區(qū)域在所述畫(huà)面上移動(dòng)的速度成為規(guī)定的速度以上的定時(shí)、與針對(duì)所述顯著區(qū)域的視線的眼跳的發(fā)生定時(shí)之間的時(shí)間差，以作為表示所述相關(guān)性低的程度的值，估計(jì)所述興趣度，以使得所述時(shí)間差越小興趣度就越高。
16.如權(quán)利要求I至15的任一項(xiàng)所述的興趣度估計(jì)裝置，所述用戶(hù)反應(yīng)分析部，計(jì)算所述顯著區(qū)域的所述畫(huà)面上的移動(dòng)速度、與根據(jù)所述視線方向而確定的所述畫(huà)面上的注視位置的移動(dòng)速度之間的速度差，以作為表示所述相關(guān)性低的程度的值，所述用戶(hù)反應(yīng)分析部，估計(jì)所述興趣度，以使得所述速度差越小興趣度就越高。
17.如權(quán)利要求I至16的任一項(xiàng)所述的興趣度估計(jì)裝置，所述用戶(hù)反應(yīng)分析部，根據(jù)所述影像內(nèi)的顯著區(qū)域的數(shù)量、各個(gè)顯著區(qū)域的面積、以及視線的眼跳的發(fā)生次數(shù)，計(jì)算所述相關(guān)性。
18.如權(quán)利要求I至17的任一項(xiàng)所述的興趣度估計(jì)裝置，所述興趣度估計(jì)裝置被構(gòu)成為集成電路。
19.一種興趣度估計(jì)方法，估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度，該興趣度估計(jì)方法包括視線檢測(cè)步驟，檢測(cè)所述用戶(hù)的視線方向；顯著性信息獲得步驟，獲得與顯著區(qū)域有關(guān)的顯著性信息，該顯著區(qū)域是所述影像中的誘目性顯著的區(qū)域；相關(guān)性計(jì)算步驟，計(jì)算根據(jù)獲得的所述顯著性信息而確定的顯著區(qū)域與檢測(cè)出的所述視線方向的相關(guān)性；以及興趣度估計(jì)步驟，估計(jì)所述用戶(hù)對(duì)所述影像的興趣度，以使得計(jì)算出的所述相關(guān)性越高興趣度就越高。
20.一種程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求19所述的興趣度估計(jì)方法。
全文摘要
估計(jì)用戶(hù)對(duì)被顯示在畫(huà)面上的影像的興趣度的興趣度估計(jì)裝置(100)具備視線檢測(cè)部(101)，檢測(cè)用戶(hù)的視線方向；顯著性信息獲得部(102)，獲得與顯著區(qū)域有關(guān)的顯著性信息，該顯著區(qū)域是影像中的誘目性顯著的區(qū)域；以及用戶(hù)反應(yīng)分析部(103)，計(jì)算根據(jù)獲得的顯著性信息而確定的顯著區(qū)域與檢測(cè)出的視線方向的相關(guān)性，估計(jì)用戶(hù)對(duì)影像的興趣度，以使得計(jì)算出的相關(guān)性越高興趣度就越高。
文檔編號(hào)H04N21/466GK102934458SQ20128000153
公開(kāi)日2013年2月13日 申請(qǐng)日期2012年1月26日 優(yōu)先權(quán)日2011年2月4日
發(fā)明者坂田幸太郎, 前田茂則, 米谷龍, 川島宏彰, 平山高嗣, 松山隆司 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社