專利名稱：人物跟蹤和互動(dòng)廣告的制作方法
人物跟蹤和互動(dòng)廣告技術(shù)領(lǐng)域
關(guān)于聯(lián)邦資助研發(fā)聲明
本發(fā)明根據(jù)國(guó)家司法研究所授予的批準(zhǔn)號(hào)2009-SQ-B9-K013在政府支持下進(jìn)行。 政府在本發(fā)明中具有某些權(quán)利。
一般來(lái)說(shuō)，本公開(kāi)涉及個(gè)人的跟蹤，以及在一些實(shí)施例中，涉及使用跟蹤數(shù)據(jù)來(lái)推斷用戶興趣，并且增強(qiáng)互動(dòng)廣告環(huán)境中的用戶體驗(yàn)。
背景技術(shù)：
產(chǎn)品和服務(wù)的廣告是無(wú)處不在的。廣告牌、標(biāo)牌和其它廣告媒體爭(zhēng)奪潛在顧客的注意力。近來(lái)，引入了鼓勵(lì)用戶參與的互動(dòng)廣告顯示。雖然廣告是普遍的，但是可能難以確定廣告的特定形式的功效。例如，廣告商可能難以(或者付費(fèi)給廣告商的客戶)確定特定廣告是否有效地引起做廣告產(chǎn)品或服務(wù)的增加的銷(xiāo)售或興趣。對(duì)于標(biāo)牌或互動(dòng)廣告顯示， 情況可能尤其是這樣。由于吸引對(duì)產(chǎn)品或服務(wù)的注意力并且增加產(chǎn)品或服務(wù)的銷(xiāo)售中的廣告的有效性在判定這種廣告的價(jià)值方面是重要的，所以需要更好地評(píng)估和確定以這類(lèi)方式所提供的廣告的有效性。發(fā)明內(nèi)容
下面提出范圍與最初要求保護(hù)的本發(fā)明相稱的某些方面。應(yīng)當(dāng)理解，呈現(xiàn)這些方面只是為讀者提供當(dāng)前所公開(kāi)主題的各個(gè)實(shí)施例可能采取的某些形式的概述，這些方面而并不是要限制本發(fā)明的范圍。實(shí)際上，本發(fā)明可包含下面可能沒(méi)有提出的各個(gè)方面。
當(dāng)前所公開(kāi)主題的一些實(shí)施例一般可涉及個(gè)人的跟蹤。在某些實(shí)施例中，跟蹤數(shù)據(jù)可與互動(dòng)廣告系統(tǒng)結(jié)合使用。例如，在一個(gè)實(shí)施例中，系統(tǒng)包括廣告站，包括顯示器，并且配置成經(jīng)由顯示器向潛在顧客提供廣告內(nèi)容；以及一個(gè)或多個(gè)照相裝置，配置成當(dāng)潛在顧客接近廣告站時(shí)捕獲其圖像。該系統(tǒng)還可包括數(shù)據(jù)處理系統(tǒng)，其中包括處理器以及具有供處理器執(zhí)行的應(yīng)用指令的存儲(chǔ)器，數(shù)據(jù)處理系統(tǒng)配置成執(zhí)行應(yīng)用指令，以便分析所捕獲圖像以確定潛在顧客的注視方向和人體姿勢(shì)方向，并且基于所確定注視方向和人體姿勢(shì)方向來(lái)確定潛在顧客對(duì)廣告內(nèi)容的感興趣程度。
在另一個(gè)實(shí)施例中，方法包括接收關(guān)于經(jīng)過(guò)顯示廣告內(nèi)容的廣告站的人們的注視方向或人體姿勢(shì)方向中的至少一個(gè)的數(shù)據(jù)，并且處理所接收數(shù)據(jù)以推斷人們對(duì)廣告站所顯示的廣告內(nèi)容的感興趣程度。在另一實(shí)施例中，方法包括從至少一個(gè)照相裝置來(lái)接收?qǐng)D像數(shù)據(jù)，并且電子地處理圖像數(shù)據(jù)，以便估計(jì)圖像數(shù)據(jù)中所示人物的人體姿勢(shì)方向和注視方向，而與此人的運(yùn)動(dòng)方向無(wú)關(guān)。
在另一實(shí)施例中，制造包括其中存儲(chǔ)了可執(zhí)行指令的一個(gè)或多個(gè)非暫時(shí)計(jì)算機(jī)可讀介質(zhì)?？蓤?zhí)行指令可包括適合接收關(guān)于經(jīng)過(guò)顯示廣告內(nèi)容的廣告站的人們的注視方向的數(shù)據(jù)，以及適合分析關(guān)于注視方向的所接收數(shù)據(jù)以推斷人們對(duì)廣告站所顯示的廣告內(nèi)容的感興趣程度的指令。
上述特征的各種細(xì)化可相對(duì)于本文所述主題的各個(gè)方面而存在。其它特征也可結(jié)合在這些各個(gè)方面。這些細(xì)化和附加特征可單獨(dú)地或者以任何組合而存在。例如，下面相對(duì)于所示實(shí)施例的一個(gè)或多個(gè)所述的各種特征可單獨(dú)地或者以任何組合結(jié)合到本公開(kāi)的所述實(shí)施例的任一個(gè)中。以上所述的概述同樣只是意在使讀者熟悉本文所公開(kāi)主題的某些方面和上下文，而沒(méi)有對(duì)要求保護(hù)的主題進(jìn)行限制。


通過(guò)參照附圖來(lái)閱讀以下詳細(xì)描述，將會(huì)更好地了解本技術(shù)的這些及其它特征、 方面和優(yōu)點(diǎn)，附圖中，相似標(biāo)號(hào)在附圖中通篇表示相似部件，其中
圖I是按照本公開(kāi)的一實(shí)施例、包括具有數(shù)據(jù)處理系統(tǒng)的廣告站的廣告系統(tǒng)的框圖2是按照本公開(kāi)的一實(shí)施例、包括數(shù)據(jù)處理系統(tǒng)以及通過(guò)網(wǎng)絡(luò)進(jìn)行通信的廣告站的廣告系統(tǒng)的框圖3是用于提供本公開(kāi)所述的功能性并且按照本公開(kāi)的一實(shí)施例的基于處理器的裝置或系統(tǒng)的框圖4示出走過(guò)按照本公開(kāi)的一實(shí)施例的廣告站的人物；
圖5是按照本公開(kāi)的一實(shí)施例、圖4的人物和廣告站的平面圖6 —般地示出按照本公開(kāi)的一實(shí)施例、用于基于用戶感興趣程度來(lái)控制廣告站所輸出的內(nèi)容的過(guò)程；以及
圖7-10是按照本公開(kāi)的某些實(shí)施例、可通過(guò)分析用戶跟蹤數(shù)據(jù)來(lái)推斷的用戶對(duì)廣告站所輸出的廣告內(nèi)容的興趣的各種程度的示例。
具體實(shí)施方式
下面將描述當(dāng)前所公開(kāi)主題的一個(gè)或多個(gè)具體實(shí)施例。在提供這些實(shí)施例的簡(jiǎn)要描述的工作中，本說(shuō)明書(shū)中可能沒(méi)有描述實(shí)際實(shí)現(xiàn)的所有特征。應(yīng)當(dāng)理解，在任何這種實(shí)際實(shí)現(xiàn)的開(kāi)發(fā)中，如同任何工程或設(shè)計(jì)項(xiàng)目中那樣，必須進(jìn)行許多實(shí)現(xiàn)特定的判定以便實(shí)現(xiàn)開(kāi)發(fā)人員的特定目標(biāo)，例如符合系統(tǒng)相關(guān)和業(yè)務(wù)相關(guān)限制，這些限制可對(duì)每個(gè)實(shí)現(xiàn)而改變。 此外，應(yīng)當(dāng)理解，這種開(kāi)發(fā)工作可能是復(fù)雜且費(fèi)時(shí)的，但仍然是獲益于本公開(kāi)的技術(shù)人員進(jìn)行的設(shè)計(jì)、制作和制造的日常事務(wù)。在介紹本技術(shù)的各個(gè)實(shí)施例的元件時(shí)，限定詞“一”、“一個(gè)”、“該”和“所述”預(yù)計(jì)表示存在元件的一個(gè)或多個(gè)。術(shù)語(yǔ)“包含”、“包括”和“具有”預(yù)計(jì)包括在內(nèi)，并且表示可存在除了列示元件之外的附加元件。
本公開(kāi)的某些實(shí)施例涉及個(gè)人的跟蹤方位，例如人體姿勢(shì)和注視方向。此外，在一些實(shí)施例中，這種信息可用于推斷用戶與提供給用戶的廣告內(nèi)容的互動(dòng)以及對(duì)廣告內(nèi)容的興趣。信息還可用于增強(qiáng)對(duì)互動(dòng)廣告內(nèi)容的用戶體驗(yàn)。注視(gaze)是“注意焦點(diǎn)(focus of attention)”的強(qiáng)烈指示，這提供交互性的有用信息。在一個(gè)實(shí)施例中，系統(tǒng)從固定照相裝置視圖(camera view)并且使用一組搖攝-傾斜-變焦(Pan-Tilt-Zoom :PTZ)照相裝置來(lái)聯(lián)合跟蹤個(gè)人的人體姿勢(shì)和注視，以便得到高分辨率的高質(zhì)量視圖。人們的人體姿勢(shì)和注視可使用運(yùn)行于來(lái)自固定和搖攝-傾斜-變焦(PTZ)照相裝置的視圖融合的集中跟蹤器來(lái)跟蹤。但是在其它實(shí)施例中，人體姿勢(shì)和注視方向中的一個(gè)或兩者可從僅單個(gè)照相裝置(例如一個(gè)固定照相裝置或一個(gè)PTZ照相裝置)的圖像數(shù)據(jù)來(lái)確定。
在圖I中示出按照一個(gè)實(shí)施例的系統(tǒng)10。系統(tǒng)10可以是包括用于向附近的人們 (即，潛在顧客)輸出廣告的廣告站12的廣告系統(tǒng)。所示廣告站12包括顯示器14和揚(yáng)聲器16，以便向潛在顧客輸出廣告內(nèi)容18。在一些實(shí)施例中，廣告內(nèi)容18可包括具有視頻和音頻的多媒體內(nèi)容。但是，任何適當(dāng)廣告內(nèi)容18可由廣告站12來(lái)輸出，例如包括僅視頻、 僅音頻以及具有或沒(méi)有音頻的靜止圖像。
廣告站12包括用于控制廣告站12的各種組件以及用于輸出廣告內(nèi)容18的控制器20。在所示實(shí)施例中，廣告站12包括用于從顯示器14附近的區(qū)域中捕獲圖像數(shù)據(jù)的一個(gè)或多個(gè)照相裝置22。例如，一個(gè)或多個(gè)照相裝置22可定位成捕獲使用或者經(jīng)過(guò)顯示器 14的潛在顧客的影像。照相裝置22可包括至少一個(gè)固定照相裝置或者至少一個(gè)PTZ照相裝置的任一個(gè)或兩者。例如，在一個(gè)實(shí)施例中，照相裝置22包括四個(gè)固定照相裝置和四個(gè) PTZ照相裝置。
還可隨廣告站12包含結(jié)構(gòu)光元件24，如圖I 一般所示。例如，結(jié)構(gòu)光元件24可包括視頻投影儀、紅外發(fā)射器、聚光燈或激光筆中的一個(gè)或多個(gè)。這類(lèi)裝置可用于主動(dòng)地促進(jìn)用戶互動(dòng)。例如，投射光(無(wú)論采取激光、聚光燈還是另外某種直射光的形式)可用于將廣告系統(tǒng)12的用戶的注意力導(dǎo)向特定位置(例如查看或者與特定內(nèi)容互動(dòng))，可用于使用戶驚奇等。另外，結(jié)構(gòu)光元件24可用于向環(huán)境提供附加照明，以便促進(jìn)分析來(lái)自照相裝置22 的圖像數(shù)據(jù)中的理解和對(duì)象識(shí)別。雖然圖I中照相裝置22示為廣告站12的一部分并且結(jié)構(gòu)光元件24示為遠(yuǎn)離廣告站12，，但是將會(huì)理解，系統(tǒng)10的這些及其它組件可按照其它方式來(lái)設(shè)置。例如，雖然在一個(gè)實(shí)施例中，系統(tǒng)10的顯示器14、一個(gè)或多個(gè)照相裝置22和其它組件可設(shè)置在共用殼體中，但是在其它實(shí)施例中，這些組件也可設(shè)置在獨(dú)立殼體中。
此外，數(shù)據(jù)處理系統(tǒng)26可包含在廣告站12中，以便接收和處理(例如來(lái)自照相裝置22的)圖像數(shù)據(jù)。具體來(lái)說(shuō)，在一些實(shí)施例中，可處理圖像數(shù)據(jù)，以便確定各種用戶特性， 并且跟蹤照相裝置22的觀察區(qū)中的用戶。例如，數(shù)據(jù)處理系統(tǒng)26可分析圖像數(shù)據(jù)，以便確定每個(gè)人的位置、移動(dòng)方向、跟蹤歷史、人體姿勢(shì)方向和注視方向或角度(例如相對(duì)于移動(dòng)方向或人體姿勢(shì)方向)。另外，這類(lèi)特性則可用于推斷個(gè)人對(duì)廣告站12的興趣或參與的程度。
雖然數(shù)據(jù)處理系統(tǒng)26示為結(jié)合在圖I的控制器20中，但是要注意，在其它實(shí)施例中，數(shù)據(jù)處理系統(tǒng)26可獨(dú)立于廣告站12。例如，圖2中，系統(tǒng)10包括經(jīng)由網(wǎng)絡(luò)28連接到一個(gè)或多個(gè)廣告站12的數(shù)據(jù)處理系統(tǒng)26。在這類(lèi)實(shí)施例中，廣告站12的照相裝置22(或者監(jiān)測(cè)這類(lèi)廣告站周?chē)膮^(qū)域的其它照相裝置)可經(jīng)由網(wǎng)絡(luò)28向數(shù)據(jù)處理系統(tǒng)26提供圖像數(shù)據(jù)。數(shù)據(jù)則可由數(shù)據(jù)處理系統(tǒng)26來(lái)處理，以便確定預(yù)期特性以及被成像人對(duì)廣告內(nèi)容的感興趣程度，如下面所論述的。以及數(shù)據(jù)處理系統(tǒng)26可經(jīng)由網(wǎng)絡(luò)28向廣告站12輸出這種分析的結(jié)果或者基于該分析的指令。
按照一個(gè)實(shí)施例，控制器20和數(shù)據(jù)處理系統(tǒng)26的任一個(gè)或兩者可采取基于處理器的系統(tǒng)30(例如計(jì)算機(jī))的形式來(lái)提供，如圖3所示。這種基于處理器的系統(tǒng)可執(zhí)行本公開(kāi)中所述的功能性，例如分析圖像數(shù)據(jù)、確定人體姿勢(shì)和注視方向以及確定用戶對(duì)廣告內(nèi)容的興趣。所示的基于處理器的系統(tǒng)30可以是通用計(jì)算機(jī)，例如個(gè)人計(jì)算機(jī)，它配置成運(yùn)行各種軟件，包括實(shí)現(xiàn)本文所述功能性的全部或部分的軟件。備選地，基于處理器的系統(tǒng)30尤其還可包括配置成基于作為系統(tǒng)的組成部分所提供的專業(yè)軟件和/或硬件來(lái)實(shí)現(xiàn)本技術(shù)的全部或部分的大型計(jì)算機(jī)、分布式計(jì)算系統(tǒng)或者專用計(jì)算機(jī)或工作站。此外，基于處理器的系統(tǒng)30可包括單個(gè)處理器或者多個(gè)處理器，以便促進(jìn)當(dāng)前所公開(kāi)功能性的實(shí)現(xiàn)。
一般來(lái)說(shuō)，基于處理器的系統(tǒng)30可包括微控制器或微處理器32，例如中央處理器 (CPU)，它可執(zhí)行系統(tǒng)30的各種例程和處理功能。例如，微處理器32可執(zhí)行配置成實(shí)現(xiàn)某些過(guò)程的各種操作系統(tǒng)指令以及軟件例程。例程可存儲(chǔ)在制造產(chǎn)品中或者由制造產(chǎn)品來(lái)提供，制造產(chǎn)品包括諸如存儲(chǔ)器34(例如個(gè)人計(jì)算機(jī)的隨機(jī)存取存儲(chǔ)器(RAM))之類(lèi)的一個(gè)或多個(gè)非暫時(shí)計(jì)算機(jī)可讀介質(zhì)或者一個(gè)或多個(gè)大容量存儲(chǔ)裝置36(例如內(nèi)部或外部硬盤(pán)驅(qū)動(dòng)器、固態(tài)存儲(chǔ)裝置、光盤(pán)、磁存儲(chǔ)裝置或者任何其它適當(dāng)存儲(chǔ)裝置)。另外，微處理器32處理作為各種例程或軟件程序的輸入所提供的數(shù)據(jù)，例如作為基于計(jì)算機(jī)的實(shí)現(xiàn)中的本技術(shù)的組成部分所提供的數(shù)據(jù)。
這種數(shù)據(jù)可存儲(chǔ)在存儲(chǔ)器34或大容量存儲(chǔ)裝置36中或者由其提供。備選地，這種數(shù)據(jù)可經(jīng)由一個(gè)或多個(gè)輸入裝置38提供給微處理器32。輸入裝置38可包括人工輸入裝置，例如鍵盤(pán)、鼠標(biāo)等。另外，輸入裝置38可包括網(wǎng)絡(luò)裝置，例如有線或無(wú)線以太網(wǎng)卡、無(wú)線網(wǎng)絡(luò)適配器或者任意配置成促進(jìn)經(jīng)由諸如局域網(wǎng)或因特網(wǎng)之類(lèi)的任何適當(dāng)通信網(wǎng)絡(luò)28 與其它裝置的通信的各種端口或裝置。通過(guò)這種網(wǎng)絡(luò)裝置，系統(tǒng)30可與無(wú)論是靠近還是遠(yuǎn)離系統(tǒng)30的其它聯(lián)網(wǎng)電子系統(tǒng)交換數(shù)據(jù)以及進(jìn)行通信。網(wǎng)絡(luò)28可包括促進(jìn)通信的各種組件，包括交換機(jī)、路由器、服務(wù)器或者其它計(jì)算機(jī)、網(wǎng)絡(luò)適配器、通信線纜等。
微處理器32所生成的結(jié)果、例如通過(guò)按照一個(gè)或多個(gè)所存儲(chǔ)例程來(lái)處理數(shù)據(jù)所得到的結(jié)果可經(jīng)由諸如顯示器40或打印機(jī)42之類(lèi)的一個(gè)或多個(gè)輸出裝置向操作人員報(bào)告?；谒@示或打印的輸出，操作人員可例如經(jīng)由輸入裝置38來(lái)請(qǐng)求附加或備選處理或者提供附加或備選數(shù)據(jù)?；谔幚砥鞯南到y(tǒng)30的各種組件之間的通信通常可經(jīng)由芯片組以及電連接系統(tǒng)30的組件的一個(gè)或多個(gè)總線或互連來(lái)實(shí)現(xiàn)。
參照?qǐng)D4和圖5可更好地了解廣告系統(tǒng)10、廣告站12和數(shù)據(jù)處理系統(tǒng)26的操作， 圖4 一般地示出廣告環(huán)境50。在這些圖示中，人52正通過(guò)安裝在墻壁54上的廣告站12。 一個(gè)或多個(gè)照相裝置22(圖I)可設(shè)置在環(huán)境50中，并且捕獲人52的影像。例如，一個(gè)或多個(gè)照相裝置22可安裝在廣告站12 (例如在顯示器14周?chē)目蚣苤?、在廣告站12的人行道對(duì)面、在遠(yuǎn)離廣告站12的墻壁54上等等。當(dāng)人52走過(guò)廣告站12時(shí)，人52可沿方向 56行進(jìn)。另外，當(dāng)人52沿方向56行走時(shí)，人52的人體姿勢(shì)可沿方向58 (圖5)，同時(shí)注視方向或人52可沿方向60朝向廣告站12的顯示器14 (例如此人可能正觀看顯示器14上的廣告內(nèi)容)。如圖5最好地示出，當(dāng)人52沿方向56行進(jìn)時(shí)，人52的身體62可變成面向方向58的姿勢(shì)。同樣，人52的頭部64可沿方向60轉(zhuǎn)向廣告站12，從而允許人52觀看廣告站12所輸出的廣告內(nèi)容。
按照一個(gè)實(shí)施例的用于互動(dòng)廣告的方法一般不為圖6中的流程圖70。系統(tǒng)10可例如經(jīng)由照相裝置22來(lái)捕獲用戶影像(框72)。這樣捕獲的影像可存儲(chǔ)任何適當(dāng)?shù)臅r(shí)間長(zhǎng)度，以便允許對(duì)這類(lèi)圖像進(jìn)行處理，這可包括實(shí)時(shí)、準(zhǔn)實(shí)時(shí)或在稍后時(shí)間進(jìn)行處理。該方法還可包括接收用戶跟蹤數(shù)據(jù)(框74)。這種跟蹤數(shù)據(jù)可包括以上所述的那些特性，例如注視方向、人體姿勢(shì)方向、運(yùn)動(dòng)方向、位置等的一個(gè)或多個(gè)。這種跟蹤數(shù)據(jù)可通過(guò)處理所捕獲影像來(lái)接收(例如采用數(shù)據(jù)處理系統(tǒng)26)，以便得出這類(lèi)特性。但是在其它實(shí)施例中，數(shù)據(jù)可CN 102982753 A書(shū)明說(shuō)5/10 頁(yè)
從另外某個(gè)系統(tǒng)或源來(lái)接收。下面接著圖7-10的描述來(lái)提供用于確定諸如注視方向和人體姿勢(shì)方向之類(lèi)的特性的技術(shù)的一個(gè)示例。
一旦被接收，可處理用戶跟蹤數(shù)據(jù)，以便推斷廣告站12附近的潛在顧客對(duì)輸出廣告內(nèi)容的感興趣程度(框76)。例如，可處理人體姿勢(shì)方向和注視方向的任一個(gè)或兩者，以便推斷用戶對(duì)廣告站12所提供的內(nèi)容的感興趣程度。另外，廣告系統(tǒng)10可基于潛在顧客的所推斷感興趣程度來(lái)控制廣告站12所提供的內(nèi)容(框78)。例如，如果用戶正示出對(duì)輸出內(nèi)容的最小興趣，則廣告站12可更新廣告內(nèi)容，以便鼓勵(lì)新用戶觀看或者與廣告站進(jìn)行互動(dòng)。這種更新可包括改變所顯示內(nèi)容的特性(例如，改變顏色、角色、亮度等)、開(kāi)始所顯示內(nèi)容的新回放部分(例如角色呼喚行人)或者(例如由控制器20)完全選擇不同內(nèi)容。 如果附近用戶的感興趣程度較高，則廣告站12可改變內(nèi)容以保持用戶的注意力或者鼓勵(lì)進(jìn)一步互動(dòng)。
一個(gè)或多個(gè)用戶或潛在顧客的興趣的推斷可基于所確定特性的分析，并且參照?qǐng)D 7-10會(huì)更好地理解。例如，在圖7所示的實(shí)施例中，用戶82和用戶84—般地示為走過(guò)廣告站12。在本敘述中，用戶82和84的行進(jìn)方向56、人體姿勢(shì)方向58和注視方向60 —般地與廣告站12平行。因此，在這個(gè)實(shí)施例中，用戶82和84沒(méi)有走向廣告站12，其人體姿勢(shì)沒(méi)有面向廣告站12，并且用戶82和84沒(méi)有看廣告站12。因此，由這個(gè)數(shù)據(jù)，廣告系統(tǒng)10可推斷用戶82和84沒(méi)有興趣或不參與廣告站12所提供的廣告內(nèi)容。
圖8中，用戶82和84沿其相應(yīng)行進(jìn)方向56行進(jìn)，他們的身體姿勢(shì)58沿相似方向。但是他們的注視方向60均朝向廣告站12。給定注視方向60，廣告系統(tǒng)10可推斷用戶 82和84至少看一下廣告站12所提供的廣告內(nèi)容，從而比圖7所示情況呈現(xiàn)更高的感興趣程度?？蓮挠脩粲^看廣告內(nèi)容的時(shí)間長(zhǎng)度作出其它推斷。例如，如果用戶朝廣告站12看了長(zhǎng)于閾值時(shí)間量，則可推斷較高感興趣程度。
圖9中，用戶82和84可處于靜止位置,其中人體姿勢(shì)方向58和注視方向60朝向廣告站12。通過(guò)分析這種事件中的影像，廣告系統(tǒng)10可確定用戶82和84已經(jīng)停下以便觀看，并且推斷用戶對(duì)廣告站12所顯示的廣告更感興趣。類(lèi)似地，圖10中，用戶82和84均可呈現(xiàn)朝廣告站12的人體姿勢(shì)方向58，可以是靜止的，并且可具有一般面向彼此的注視方向60。由這種數(shù)據(jù)，廣告系統(tǒng)10可推斷用戶82和84對(duì)廣告站12所提供的廣告內(nèi)容感興趣，以及當(dāng)注視方向60 —般朝向相對(duì)用戶時(shí)，還推斷用戶82和84是集體與廣告內(nèi)容進(jìn)行互動(dòng)或者討論廣告內(nèi)容的組群的一部分。類(lèi)似地，取決于用戶與廣告站12或者所顯示內(nèi)容的接近性，廣告系統(tǒng)還可推斷用戶正與廣告站12的內(nèi)容進(jìn)行互動(dòng)。還將會(huì)理解，位置、移動(dòng)方向、人體姿勢(shì)方向、注視方向等等可用于推斷用戶的其它關(guān)系和活動(dòng)(例如推斷組群中的一個(gè)用戶首先對(duì)廣告站感興趣，并且引起組群中的其他人對(duì)輸出內(nèi)容的注意)。
示例
如上所述，廣告系統(tǒng)10可從所捕獲圖像數(shù)據(jù)來(lái)確定某些跟蹤特性。下面提供用于通過(guò)估計(jì)無(wú)約束環(huán)境中的多個(gè)個(gè)人的位置、人體姿勢(shì)和頭部姿勢(shì)方向來(lái)跟蹤注視方向的一個(gè)實(shí)施例。這個(gè)實(shí)施例把來(lái)自固定照相裝置的人物檢測(cè)與從主動(dòng)控制搖攝-傾斜-變焦 (PTZ)照相裝置所得到的定向人臉檢測(cè)相結(jié)合，并且使用序列蒙特卡洛濾波(sequential Monte Carlo filtering)和MCMC(即馬爾可夫鏈蒙特卡洛(Markov chain Monte Carlo)) 取樣的組合從運(yùn)動(dòng)方向單獨(dú)地估計(jì)人體姿勢(shì)和頭部姿勢(shì)(注視)方向。在監(jiān)視中跟蹤人體8姿勢(shì)和注視方面存在許多有益效果。它允許跟蹤人們的注意焦點(diǎn)，能夠優(yōu)化用于生物測(cè)定人臉捕獲的現(xiàn)用照相裝置的控制，并且能夠提供成對(duì)人之間的更好互動(dòng)度量。注視和人臉檢測(cè)信息的可用性還改進(jìn)用于擁擠環(huán)境中進(jìn)行跟蹤的定位和數(shù)據(jù)關(guān)聯(lián)。雖然本技術(shù)可在如上所述的互動(dòng)廣告環(huán)境中是有用的，但是要注意，本技術(shù)可廣泛地應(yīng)用于許多其它環(huán)境。
檢測(cè)和跟蹤無(wú)約束條件下、例如大量客運(yùn)交接站、運(yùn)動(dòng)場(chǎng)所和操場(chǎng)中的個(gè)體在許多應(yīng)用中會(huì)是重要的。除此之外，對(duì)其注視和意向的理解因總體移動(dòng)自由和頻繁遮斷而更為棘手。此外，標(biāo)準(zhǔn)監(jiān)視視頻中的人臉圖像通常是低分辨率的，這限制了檢測(cè)速率。不像頂多得到注視信息的一些先前方式，在本公開(kāi)的一個(gè)實(shí)施例中，多視圖搖攝-傾斜-變焦 (PTZ)照相裝置可用于解決人體姿勢(shì)和頭部取向的實(shí)時(shí)聯(lián)合整體跟蹤的問(wèn)題?？杉俣ㄔ诖蠖鄶?shù)情況下，注視能夠通過(guò)頭部姿勢(shì)合理地得出。下面所使用的“頭部姿勢(shì)”指的是注視或視覺(jué)注意焦點(diǎn)，并且這些術(shù)語(yǔ)可互換地使用。集成和同步所耦合的人物跟蹤器、姿勢(shì)跟蹤器和注視跟蹤器，因而經(jīng)由相互更新和反饋的健壯(robust)跟蹤是可能的。對(duì)注視角進(jìn)行推理的能力提供注意的充分指示，這對(duì)監(jiān)視系統(tǒng)可以是有益的。具體來(lái)說(shuō)，作為事件識(shí)別的互動(dòng)模型的一部分，可能重要的是知道一組個(gè)人是否面向彼此(例如交談)、面向共同方向 (例如在沖突將要發(fā)生之前看另一組群)或者相互避開(kāi)(例如因?yàn)樗麄儾幌嚓P(guān)或者因?yàn)樗麄兲幱凇胺佬l(wèi)”形成中)。
下面所述的實(shí)施例提供統(tǒng)一框架來(lái)將多視圖人物跟蹤與不同步PTZ注視跟蹤耦合，以便聯(lián)合并且健壯地估計(jì)姿勢(shì)和注視，其中所耦合的粒子濾波跟蹤器(particle filtering tracker)聯(lián)合估計(jì)人體姿勢(shì)和注視。在人物跟蹤可用于控制PTZ照相裝置、從而允許人臉檢測(cè)和注視估計(jì)的執(zhí)行的同時(shí)，所產(chǎn)生的人臉檢測(cè)位置又可用于進(jìn)一步改進(jìn)跟蹤性能。這樣，能夠主動(dòng)平衡跟蹤信息，以便在使捕獲正面人臉視圖的概率為最大方面控制 PTZ照相裝置。本實(shí)施例可被認(rèn)為是對(duì)使用個(gè)人的行走方向作為注視方向的指示的先前工作的改進(jìn)，這在人們靜止的情況下中止。當(dāng)前所公開(kāi)框架是一般的，并且可適用于許多其它基于視覺(jué)的應(yīng)用。例如，它可允許生物測(cè)定的最佳人臉捕獲，特別是在人們是靜止的環(huán)境下，因?yàn)樗苯訌娜四槞z測(cè)來(lái)得到注視信 息。
在一個(gè)實(shí)施例中，固定照相裝置的網(wǎng)絡(luò)用于執(zhí)行站點(diǎn)范圍(site wide)人物跟蹤。 這個(gè)人物跟蹤器驅(qū)動(dòng)一個(gè)或多個(gè)PTZ照相裝置以個(gè)人為目標(biāo)以得到特寫(xiě)視圖。集中跟蹤器對(duì)地平面(例如表示目標(biāo)個(gè)人在其上移動(dòng)的地面的平面)進(jìn)行操作，以便把來(lái)自人物跟蹤和人臉跟蹤的信息整合在一起。由于對(duì)于從人臉檢測(cè)來(lái)推斷注視的大計(jì)算負(fù)擔(dān)，人物跟蹤器和人臉跟蹤器可不同步操作以實(shí)時(shí)運(yùn)行。本系統(tǒng)能夠?qū)蝹€(gè)或多個(gè)照相裝置進(jìn)行操作。 多照相裝置設(shè)定可改進(jìn)擁擠條件下的整體跟蹤性能。這種情況下的注視跟蹤在執(zhí)行高級(jí)推理方面也是有用的，例如以便分析社交互動(dòng)、注意模型和行為。
每個(gè)個(gè)人可采用狀態(tài)向量3=|>，￥，《,供,^]來(lái)表示，其中X是(X，Y)地平面度量世界 (groundplane metric world)上的位置，v是地平面上的速率，α是地平面法線周?chē)娜梭w的水平取向，爐是水平注視角，以及Θ是垂直注視角(地平線之上為正，而地平面之下為負(fù))。在這個(gè)系統(tǒng)中存在兩種類(lèi)型的觀測(cè)人物檢測(cè)(z，R)，其中ζ是地平面位置測(cè)量，并且 R是這個(gè)測(cè)量的不確定性；以及人臉檢測(cè)(z，R，Y，P)，其中附加參數(shù)Y和P是水平和垂直注視角。每個(gè)人物的頭部和腳部位置從基于圖像的人物檢測(cè)來(lái)提取，并且使用無(wú)跡變換 (unscented transform UT)分別后投射(backproject)到世界頭平面(world headplane)(例如在人的頭部水平處與地平面平行的平面)和地平面。隨后，PTZ視圖中的人臉位置和姿勢(shì)將使用PittPatt人臉檢測(cè)器來(lái)得到。其度量世界地平面位置再次通過(guò)反向投影來(lái)得到。人臉姿勢(shì)通過(guò)匹配人臉特征來(lái)得到。個(gè)人的注視角通過(guò)將圖像空間中的人臉搖攝和旋轉(zhuǎn)角映射到世界空間來(lái)得到。最后，世界注視角通過(guò)經(jīng)由nw = nimgR-T將圖像局部人臉?lè)ň€ nimg映射到世界坐標(biāo)(world coordinate)中來(lái)得到,其中R是投影P = [R|t]的旋轉(zhuǎn)矩陣。 觀測(cè)注視角(Y，P)直接從這個(gè)法線向量來(lái)得到。人臉的寬度和高度用于估計(jì)人臉位置的協(xié)方差置信等級(jí)。協(xié)方差再次使用從圖像到頭平面的UT從圖像投射到地平面，之后接著到地平面的下投影(down projection)。
與其中單獨(dú)從位置來(lái)估計(jì)人的注視角而忽略速度和人體姿勢(shì)的先前工作相對(duì)照， 本實(shí)施例對(duì)運(yùn)動(dòng)方向、人體姿勢(shì)和注視之間的關(guān)系正確地建模。首先，在這個(gè)實(shí)施例中，人體姿勢(shì)并不是嚴(yán)格地依賴于運(yùn)動(dòng)方向。尤其當(dāng)人們按組群等待或站立時(shí)，人們能夠后向和橫向移動(dòng)(盡管對(duì)于增加的橫向速度，人們的運(yùn)動(dòng)變得不可能，并且，在甚至更大的速度時(shí)，只可采取前向運(yùn)動(dòng))。其次，頭部姿勢(shì)并不依賴于運(yùn)動(dòng)方向，而是對(duì)相對(duì)于人體姿勢(shì)能夠采取什么姿勢(shì)存在比較嚴(yán)格的限制。在這種模型下，人體姿勢(shì)的估計(jì)不是微不足道的，因?yàn)樗鼉H寬松地耦合到注視角和速度(這又僅間接地觀測(cè))。整個(gè)狀態(tài)估計(jì)可使用序列蒙特卡洛濾波器來(lái)執(zhí)行。假定用于將測(cè)量與隨時(shí)間的跟蹤關(guān)聯(lián)的方法，對(duì)于序列蒙特卡洛濾波器， 下面指定如下方面(i)動(dòng)態(tài)模型，以及(ii)我們的系統(tǒng)的觀測(cè)模型。
動(dòng)態(tài)模型按照以上描述，狀態(tài)向量為s=[x,v，a，供,<9]，狀態(tài)預(yù)測(cè)模型分解如下
p(st+1|st) =/ (qt+1|qt)p(at+i|vt+1，OCt) (I)
p(9t+il9t, Ot+i)/ (0t+1|et)，
使用簡(jiǎn)化q= (X，V) = (x, y, vx, vy)。對(duì)于位置和速度，假定標(biāo)準(zhǔn)線性動(dòng)態(tài)模型
P(^Lt+i\qt) = V (qi+7 — F^qi, Qi),(2)
其中,J\T.表示正態(tài)分布，F(xiàn)t是與xt+1 = xt+vt Δ t對(duì)應(yīng)的標(biāo)準(zhǔn)恒定速度狀態(tài)預(yù)估，以及Qt是標(biāo)準(zhǔn)系統(tǒng)動(dòng)態(tài)(standard system dynamics)。等式(I)中的第二項(xiàng)描述在考慮當(dāng)前速度向量下的人體姿勢(shì)的傳播(propagation)。假定下述模型
p( (+i |vi+iGi) = M(m+1-(3)
1(1-0 — P0)M{oti+\ —+ 若 Ι.ΜΙ > 2 m/s,忐或若’I卜丨I < I m/s,— ^1:+11 °Va)+PbjSf(aw — i>t+i —霄，) + ·Ρ° 去其它
其中,Pf = O. 8是人向前行走的概率(對(duì)于中等速度O. 5ms/s < v < 2m/s) ,Pb = O. 15是向后行走的概率(對(duì)于中等速度)，以及P° = O. 05是基于實(shí)驗(yàn)試探(experimental heuristics)允許任意姿勢(shì)與移動(dòng)方向關(guān)系的背景概率(background probability)。通過(guò) Vt+1來(lái)表示速度向量vt+1的方向，以及通過(guò)O να表示移動(dòng)向量與人體姿勢(shì)之間的偏差的預(yù)計(jì)分布。前面的項(xiàng)N(at+1-at，O J表示系統(tǒng)噪聲分量，這又限制人體姿勢(shì)隨時(shí)間的變化。姿勢(shì)的所有變化歸因于與恒定姿勢(shì)模型的偏差。
等式(I)中的第三項(xiàng)描述在考慮當(dāng)前人體姿勢(shì)下的水平注視角的傳播。假定下述模型
權(quán)利要求
1.一種系統(tǒng)，包括 廣告站，包括顯示器并且配置成經(jīng)由所述顯示器向潛在顧客提供廣告內(nèi)容； 一個(gè)或多個(gè)照相裝置，配置成當(dāng)潛在顧客接近所述廣告站時(shí)捕獲潛在顧客的圖像；以及 數(shù)據(jù)處理系統(tǒng)，包括處理器以及具有供所述處理器執(zhí)行的應(yīng)用指令的存儲(chǔ)器，所述數(shù)據(jù)處理系統(tǒng)配置成執(zhí)行所述應(yīng)用指令，以便分析所述所捕獲圖像以確定潛在顧客的注視方向和身體姿勢(shì)方向，并且基于所述所確定注視方向和身體姿勢(shì)方向來(lái)確定潛在顧客對(duì)所述廣告內(nèi)容的感興趣程度。
2.如權(quán)利要求I所述的系統(tǒng)，其中，所述廣告站包括控制器，以便基于所述所確定的潛在顧客感興趣程度來(lái)選擇內(nèi)容。
3.如權(quán)利要求I所述的系統(tǒng)，包括結(jié)構(gòu)光元件，其中，控制器基于所述所確定的潛在顧客的感興趣程度來(lái)控制所述結(jié)構(gòu)光元素。
4.如權(quán)利要求I所述的系統(tǒng)，其中，所述廣告站配置成向潛在顧客提供互動(dòng)廣告內(nèi)容。
5.如權(quán)利要求I所述的系統(tǒng)，其中，所述廣告站包括所述數(shù)據(jù)處理系統(tǒng)。
6.一種方法，包括 接收數(shù)據(jù)，所述數(shù)據(jù)為關(guān)于經(jīng)過(guò)顯示廣告內(nèi)容的廣告站的人們的注視方向或人體姿勢(shì)方向中的至少一個(gè)的數(shù)據(jù)；以及 處理所述所接收數(shù)據(jù)，以便推斷人們對(duì)所述廣告站所顯示的所述廣告內(nèi)容的感興趣程度。
7.如權(quán)利要求6所述的方法，包括所述廣告站基于經(jīng)過(guò)所述廣告站的人們的所推斷感興趣程度來(lái)自動(dòng)更新所述廣告內(nèi)容。
8.如權(quán)利要求7所述的方法，其中，更新所述廣告內(nèi)容包括選擇將要由所述廣告站顯示的不同廣告內(nèi)容。
9.如權(quán)利要求6所述的方法，其中，接收關(guān)于注視方向或人體姿勢(shì)方向中的至少一個(gè)的數(shù)據(jù)包括接收關(guān)于注視方向的數(shù)據(jù)，并且處理所述所接收數(shù)據(jù)以推斷人們的感興趣程度包括檢測(cè)至少一個(gè)人朝所述廣告站看了超過(guò)閾值時(shí)間量。
10.如權(quán)利要求6所述的方法，其中，接收關(guān)于注視方向或人體姿勢(shì)方向中的至少一個(gè)的數(shù)據(jù)包括接收關(guān)于注視方向和人體姿勢(shì)方向的數(shù)據(jù)，并且處理所述所接收數(shù)據(jù)包括處理關(guān)于注視方向和人體姿勢(shì)方向的所述所接收數(shù)據(jù)以推斷人們對(duì)所述廣告內(nèi)容的所述感興趣程度。
11.如權(quán)利要求10所述的方法，其中，處理關(guān)于注視方向和人體姿勢(shì)的所述所接收數(shù)據(jù)包括確定一組人集體與所述廣告站進(jìn)行互動(dòng)。
12.如權(quán)利要求11所述的方法，其中，處理關(guān)于注視方向和人體姿勢(shì)的所述所接收數(shù)據(jù)包括確定至少兩個(gè)人正談?wù)撍鰪V告站。
13.如權(quán)利要求10所述的方法，其中，處理關(guān)于注視方向和人體姿勢(shì)的所述所接收數(shù)據(jù)包括確定人們是否正與所述廣告站進(jìn)行互動(dòng)。
14.如權(quán)利要求6所述的方法，包括將光束從結(jié)構(gòu)光源投射到某個(gè)區(qū)域，以便指導(dǎo)至少一個(gè)人觀看所述區(qū)域或者與所述區(qū)域中顯示的內(nèi)容進(jìn)行互動(dòng)。
15.一種方法，包括從至少一個(gè)照相裝置接收?qǐng)D像數(shù)據(jù)；以及 電子地處理所述圖像數(shù)據(jù)，以便估計(jì)所述圖像數(shù)據(jù)中所示的某人的身體姿勢(shì)方向和注視方向，而與此人的運(yùn)動(dòng)方向無(wú)關(guān)。
16.如權(quán)利要求15所述的方法，其中，從至少一個(gè)照相裝置接收?qǐng)D像數(shù)據(jù)包括僅從單個(gè)固定照相裝置來(lái)接收?qǐng)D像數(shù)據(jù)，并且電子地處理所述圖像數(shù)據(jù)包括電子地處理僅來(lái)自所述單個(gè)固定照相裝置的所述圖像數(shù)據(jù)。
17.如權(quán)利要求15所述的方法，其中，從至少一個(gè)照相裝置接收?qǐng)D像數(shù)據(jù)包括從多個(gè)照相裝置來(lái)接收?qǐng)D像數(shù)據(jù)，并且電子地處理所述圖像數(shù)據(jù)包括電子地處理來(lái)自所述多個(gè)固定照相裝置的至少兩個(gè)照相裝置的每個(gè)的所述圖像數(shù)據(jù)。
18.如權(quán)利要求17所述的方法，包括在無(wú)約束環(huán)境中使用至少一個(gè)固定照相裝置和至少一個(gè)搖攝_傾斜_變焦照相裝置來(lái)捕獲所述圖像數(shù)據(jù)。
19.如權(quán)利要求18所述的方法，包括基于來(lái)自所述至少一個(gè)固定照相裝置的數(shù)據(jù)來(lái)跟蹤人物，以及基于所述人物的跟蹤來(lái)控制所述至少一個(gè)搖攝_傾斜變焦照相裝置，以便捕獲所述人物的近景視圖，并且促進(jìn)注視方向的估計(jì)。
20.如權(quán)利要求19所述的方法，包括使用產(chǎn)生于對(duì)所述至少一個(gè)搖攝_傾斜_變焦照相裝置的控制的人臉檢測(cè)位置來(lái)改進(jìn)使用所述至少一個(gè)固定照相裝置的跟蹤性能。
21.如權(quán)利要求17所述的方法，其中，從多個(gè)照相裝置接收?qǐng)D像數(shù)據(jù)包括接收鄰接廣告站的區(qū)域的圖像數(shù)據(jù)。
22.如權(quán)利要求15所述的方法，其中，處理所述圖像數(shù)據(jù)以估計(jì)人體姿勢(shì)方向和注視方向包括使用序列蒙特卡羅濾波器。
23.一種制造，包括 其上存儲(chǔ)了可執(zhí)行指令的一個(gè)或多個(gè)非暫時(shí)計(jì)算機(jī)可讀介質(zhì)，所述可執(zhí)行指令包括 適合接收關(guān)于經(jīng)過(guò)顯示廣告內(nèi)容的廣告站的人們的注視方向的數(shù)據(jù)的指令；以及 適合分析關(guān)于注視方向的所述所接收數(shù)據(jù)以推斷人們對(duì)所述廣告站所顯示的所述廣告內(nèi)容的感興趣程度。
24.如權(quán)利要求23所述的制造，其中，所述一個(gè)或多個(gè)非暫時(shí)計(jì)算機(jī)可讀介質(zhì)包括其上至少共同存儲(chǔ)了所述可執(zhí)行指令的多個(gè)非暫時(shí)計(jì)算機(jī)可讀介質(zhì)。
25.如權(quán)利要求23所述的制造，其中，所述一個(gè)或多個(gè)非暫時(shí)計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)的存儲(chǔ)介質(zhì)或隨機(jī)存取存儲(chǔ)器。
全文摘要
公開(kāi)一種廣告系統(tǒng)。在一個(gè)實(shí)施例中，系統(tǒng)包括廣告站，包括顯示器，并且配置成經(jīng)由顯示器向潛在顧客提供廣告內(nèi)容；以及一個(gè)或多個(gè)照相裝置，配置成當(dāng)潛在顧客接近廣告站時(shí)捕獲其圖像。該系統(tǒng)還可包括數(shù)據(jù)處理系統(tǒng)，該數(shù)據(jù)處理系統(tǒng)分析所捕獲圖像，以便確定潛在顧客的注視方向和人體姿勢(shì)方向，并且基于所確定注視方向和人體姿勢(shì)方向來(lái)確定潛在顧客對(duì)廣告內(nèi)容的感興趣程度。還公開(kāi)了各種其它系統(tǒng)、方法和制造產(chǎn)品。
文檔編號(hào)G06F3/01GK102982753SQ201210242220
公開(kāi)日2013年3月20日 申請(qǐng)日期2012年7月2日 優(yōu)先權(quán)日2011年8月30日
發(fā)明者N·O·克拉恩施特弗, P·H·屠, M-C·常, W·葛 申請(qǐng)人:通用電氣公司