專利名稱：自動的被動和匿名反饋系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對多媒體內(nèi)容的反饋，尤其是對多媒體內(nèi)容的被動和匿名反饋。
背景技術(shù)：
電視評級系統(tǒng)依賴于自記錄的紙件日記或電子計量技術(shù)來測量觀看電視節(jié)目或演出的人數(shù)。例如，評級系統(tǒng)通常利用放置在電視機附近的電子計量器來確定電視機何時是打開的、電視機被調(diào)諧到什么頻道、以及多少人正在觀看特定的電視節(jié)目。評級系統(tǒng)通常利用人口的代表性樣本來收集關(guān)于大眾的特定量的數(shù)據(jù)。另外，評級系統(tǒng)所利用的紙件日記通常受到電視演出或節(jié)目的觀眾的響應(yīng)偏見的影響。

發(fā)明內(nèi)容
此處所公開的是在用戶觀看多媒體內(nèi)容時通過跟蹤用戶所表現(xiàn)的移動、手勢、姿勢、聲音響應(yīng)和面部表情來生成對用戶所觀看的多媒體內(nèi)容的被動和匿名反饋的方法和系統(tǒng)。多媒體內(nèi)容可包括錄制的視頻內(nèi)容、視頻點播內(nèi)容、電視內(nèi)容、電視節(jié)目、公告、廣告片、音樂、電影、視頻剪輯，及其他點播媒體內(nèi)容。在所公開技術(shù)的一個實施例中，經(jīng)由用戶的計算設(shè)備檢測到在用戶觀看節(jié)目內(nèi)容時視野中的用戶的存在。確定用戶正在觀看的節(jié)目內(nèi)容的類型、用戶的人口統(tǒng)計信息以及用戶的節(jié)目觀看歷史。對用戶的存在、節(jié)目內(nèi)容、用戶的人口統(tǒng)計信息以及用戶的節(jié)目觀看歷史的檢測被評級機構(gòu)、內(nèi)容提供方和廣告客戶用來提供與用戶所觀看的節(jié)目相關(guān)的預(yù)覽內(nèi)容和個性化內(nèi)容。在另一個實施例中，對所觀看節(jié)目的用戶的參與度水平通過跟蹤用戶所表現(xiàn)的移動、手勢、姿勢和面部表情來確定。用戶的移動、手勢、姿勢和面部表情被提供給評級機構(gòu)、內(nèi)容提供方和廣告客戶中的一個或多個。在一個實施例中，用戶的移動、手勢、姿勢和面部表情被內(nèi)容提供方和廣告客戶用來提供與用戶所觀看的節(jié)目相關(guān)的預(yù)覽內(nèi)容和個性化內(nèi)容。預(yù)覽內(nèi)容和個性化內(nèi)容經(jīng)由顯示設(shè)備被顯示給用戶。在另一個實施例中，所公開的技術(shù)允許對來自大量家庭對所觀看的多媒體內(nèi)容的響應(yīng)的輪詢和聚集，以生成大的用戶響應(yīng)數(shù)據(jù)集以便用于內(nèi)容提供方和廣告客戶的分析。在一個實施例中，公開了用于生成對用戶所觀看的多媒體內(nèi)容的被動和匿名反饋的方法。該方法包括接收并顯示與當前廣播相關(guān)聯(lián)的多媒體內(nèi)容。該方法包括標識連接到計算設(shè)備的捕捉設(shè)備的視野中的用戶中的一個或多個，并且自動地確定對用戶正在觀看的多媒體內(nèi)容的用戶的參與度水平。在一個實施例中，用戶的參與度水平通過跟蹤用戶所表現(xiàn)的移動、手勢、姿勢、音頻響應(yīng)和面部表情來確定。該方法還包括自動地生成對每個用戶所觀看的多媒體內(nèi)容的響應(yīng)的報告，捕捉設(shè)備基于用戶所表現(xiàn)的移動、手勢、姿勢、音頻響應(yīng)和面部表情來標識每個用戶。報告被傳送到遠程計算系統(tǒng)用于分析。在一個實施例中，基于報告從內(nèi)容提供方和廣告客戶接收與用戶所觀看的節(jié)目相關(guān)的預(yù)覽內(nèi)容。預(yù)覽內(nèi)容經(jīng)由連接到計算設(shè)備的視聽設(shè)備顯示給用戶。在另一個實施例中，基于報告從內(nèi)容提供方和廣告客戶接收與用戶所觀看的節(jié)目相關(guān)的個性化內(nèi)容。個性化內(nèi)容經(jīng)由連接到計算設(shè)備的視聽設(shè)備顯示給用戶。提供本發(fā)明內(nèi)容以便以簡化的形式介紹將在以下詳細描述中進一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本發(fā)明的任一部分中提及的任何或所有缺點的實現(xiàn)。


圖1示出了用于執(zhí)行所公開技術(shù)的操作的目標識別、分析和跟蹤系統(tǒng)的一個實施例。圖2示出了可用作跟蹤系統(tǒng)的一部分的捕捉設(shè)備的一個實施例。圖3示出了可用來實現(xiàn)圖1-2的計算設(shè)備的計算設(shè)備的示例。圖4示出了可被用于實現(xiàn)計算設(shè)備12的另一實施例的通用計算設(shè)備。圖5示出了用于實現(xiàn)本技術(shù)的系統(tǒng)的實施例。圖6是描述用于通過跟蹤用戶所表現(xiàn)的移動、手勢、姿勢和面部表情來生成對用戶所觀看的節(jié)目內(nèi)容的被動和匿名反饋的過程的一個實施例的流程圖。圖7是描述了用于從捕捉設(shè)備中的傳感器捕捉和跟蹤用戶運動數(shù)據(jù)的過程的一個實施例的流程圖。圖8示出了表示所掃描的人類目標的骨架模型或映射的示例。圖9是描述基于用戶所表現(xiàn)的移動、手勢、姿勢和面部表情來向用戶提供個性化內(nèi)容的過程的一個實施例的流程圖。圖10是描述基于用戶所表現(xiàn)的移動、手勢、姿勢和面部表情來向用戶提供預(yù)覽內(nèi)容的過程的一個實施例的流程圖。圖11是描述基于從用戶獲得的反饋向用戶提供新的或修改的個性化內(nèi)容、或者預(yù)覽內(nèi)容的過程的一個實施例的流程圖。
具體實施例方式公開了通過跟蹤在觀看多媒體內(nèi)容時用戶的移動、手勢、姿勢和面部表情來獲得對所觀看的多媒體內(nèi)容的用戶響應(yīng)的技術(shù)。可以在計算設(shè)備或連接到該計算設(shè)備的視聽設(shè)備處接收多媒體內(nèi)容。連接到該計算設(shè)備的捕捉設(shè)備標識視野中的一個或多個用戶，并且在用戶觀看多媒體內(nèi)容時跟蹤用戶的移動、手勢、姿勢和面部表情。在一個實施例中，計算設(shè)備基于用戶的移動、手勢、姿勢和面部表情確定對用戶正在觀看的電視節(jié)目的用戶的參與度水平。計算設(shè)備為捕捉設(shè)備基于每個用戶所表現(xiàn)的移動、手勢、姿勢、音頻響應(yīng)和面部表情所標識的每個用戶生成對所觀看的節(jié)目的響應(yīng)的用戶專用報告。用戶專用報告被提供給一個或多個評級機構(gòu)、內(nèi)容提供方和廣告客戶。在一個實施例中，計算設(shè)備基于用戶專用報告從內(nèi)容提供方或廣告客戶接收與所觀看的節(jié)目相關(guān)的預(yù)覽內(nèi)容或與所觀看的節(jié)目相關(guān)的個性化內(nèi)容。在另一個實施例中，計算設(shè)備還可以基于檢測到用戶觀看節(jié)目時用戶的計算設(shè)備的視野中的用戶的存在、用戶所觀看的節(jié)目的類型、用戶的人口統(tǒng)計信息以及用戶的節(jié)目觀看歷史，接收與用戶所觀看的節(jié)目相關(guān)的預(yù)覽內(nèi)容或個性化內(nèi)容。例如，如果確定出年齡組30-35歲中的一位男性用戶正在觀看科幻節(jié)目并且該用戶的節(jié)目觀看歷史指示了對科幻的用戶偏好，那么該用戶可以接收包括該科幻節(jié)目下一集片段的預(yù)覽內(nèi)容，或者包括用戶希望觀看的一組科幻節(jié)目的選擇的個性化內(nèi)容?？梢韵蚨鄠€家庭中的多個用戶輪詢對所觀看的多媒體內(nèi)容的響應(yīng)，并且多個用戶的已聚集的響應(yīng)可被傳送到遠程計算系統(tǒng)用于內(nèi)容提供方和廣告客戶的分析。圖1示出了用于執(zhí)行所公開技術(shù)的操作的目標識別、分析和跟蹤系統(tǒng)10 (下文中統(tǒng)稱為跟蹤系統(tǒng))的一個實施例。目標識別、分析和跟蹤系統(tǒng)10可用來識別、分析和/或跟蹤諸如用戶18和19之類的一個或多個人類目標。如圖1所示，跟蹤系統(tǒng)10可包括計算設(shè)備12。在一個實施例中，計算設(shè)備12可被實現(xiàn)為有線和/或無線設(shè)備中的任何一個或組合，實現(xiàn)為電視客戶端設(shè)備(例如，電視機機頂盒、數(shù)字錄像機(DVR)等等)、個人計算機、便攜式計算機設(shè)備、移動計算設(shè)備、媒體設(shè)備、通信設(shè)備、視頻處理和/或呈現(xiàn)設(shè)備、電器設(shè)備、游戲設(shè)備、電子設(shè)備中的任何形式、和/或?qū)崿F(xiàn)為可被實現(xiàn)為以音頻、視頻和/或圖像數(shù)據(jù)中的任何形式接收媒體內(nèi)容的任何其他類型的設(shè)備。根據(jù)一個實施例，計算設(shè)備12可以包括硬件組件和/或軟件組件，使得計算設(shè)備12可用來執(zhí)行諸如游戲應(yīng)用程序、非游戲應(yīng)用程序之類的應(yīng)用程序。在一個實施例中，計算設(shè)備12可包括可執(zhí)行在處理器可讀存儲設(shè)備上存儲的、用于執(zhí)行在此描述的過程的指令的處理器，諸如標準化處理器、專用處理器、微處理器等。如圖1所示，跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20例如可以是相機，該相機可以用于視覺地監(jiān)控諸如用戶18和19等一個或多個用戶，使得該用戶所表現(xiàn)的移動、姿勢和手勢可以被捕捉設(shè)備20捕捉和跟蹤。根據(jù)一個實施例，計算設(shè)備12可以連接到可向用戶18和19提供視覺和/或音頻的諸如電視機、監(jiān)視器、高清電視機(HDTV)等的視聽設(shè)備16。例如，計算設(shè)備12可以包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可以向用戶提供視聽信號。視聽設(shè)備16可從計算設(shè)備12接收視聽信號，并且可向用戶18和19輸出與視聽信號相關(guān)聯(lián)的視覺和/或音頻。根據(jù)一個實施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等連接到計算設(shè)備12。在一個實施例中，捕捉設(shè)備20跟蹤捕捉設(shè)備20的視野6內(nèi)用戶18、19所表現(xiàn)的一個或多個移動、手勢和姿勢。線2和4表示視野6的邊界。在一個實施例中，計算設(shè)備12基于由捕捉設(shè)備12所跟蹤的用戶的移動、姿勢和手勢，確定對經(jīng)由視聽設(shè)備16正被觀看的多媒體內(nèi)容的用戶響應(yīng)。多媒體內(nèi)容可以包括從諸如內(nèi)容提供方、寬帶、衛(wèi)星和有線電視公司、廣告代理、因特網(wǎng)或來自web服務(wù)器的視頻流之類的媒體內(nèi)容源接收的任何類型的音頻、視頻和/或圖像媒體內(nèi)容。如此處所描述的那樣，多媒體內(nèi)容可包括錄制的視頻內(nèi)容、視頻點播內(nèi)容、電視內(nèi)容、電視節(jié)目、公告、廣告片、音樂、電影、視頻剪輯，及其他點播媒體內(nèi)容。其他多媒體內(nèi)容可包括交互式游戲、基于網(wǎng)絡(luò)的應(yīng)用程序，以及任何其他內(nèi)容或數(shù)據(jù)(例如，包括節(jié)目指南應(yīng)用數(shù)據(jù)、用戶界面數(shù)據(jù)、廣告內(nèi)容、隱藏字幕、內(nèi)容元數(shù)據(jù)、搜索結(jié)果和/或推薦等等)。下面詳細討論由捕捉設(shè)備20和計算設(shè)備12執(zhí)行的操作。圖2示出了捕捉設(shè)備20和計算設(shè)備12的一個實施例，它們可以在目標識別、分析和跟蹤系統(tǒng)10中使用，以便識別捕捉區(qū)域中的人類或非人類目標，并在三維空間中唯一地標識他們及跟蹤這些目標。根據(jù)一個實施例，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)，包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等來捕捉具有深度信息的視頻，該深度信息包
6括可以包括深度值的深度圖像。根據(jù)一個實施例，捕捉設(shè)備20可將所計算的深度信息組織為“Z層”或可垂直于從深度相機沿其視線延伸的Z軸的層。如圖2所示，捕捉設(shè)備20可以包括圖像相機組件32。根據(jù)一個實施例，圖像相機組件32可以是可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可以表示深度值，比如所捕捉的場景中的物體與相機相距的例如以厘米、毫米等為單位的距離。如圖2所示，圖像相機組件32可包括可被用來捕捉捕捉區(qū)域的深度圖像的頂光組件34、三維(3-D)相機36、以及RGB相機38。例如，在飛行時間分析中，捕捉設(shè)備20的頂光組件34可以將紅外光發(fā)射到捕捉區(qū)域上，然后可以使用傳感器，用例如3-D相機36和/或RGB相機38來檢測從捕捉區(qū)域中的一個或多個目標和對象的表面反向散射的光。在某些實施例中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間差并將其用于確定從捕捉設(shè)備20到捕捉區(qū)域中的目標或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。此外，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離。根據(jù)一個實施例，可使用飛行時間分析，通過經(jīng)由包括例如快門式光脈沖成像的各種技術(shù)來分析反射光束隨時間的強度變化以間接地確定從捕捉設(shè)備20到目標或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。在另一示例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在該分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如頂光組件34被投影到捕捉區(qū)域上。在撞擊到捕捉區(qū)域中的一個或多個目標或?qū)ο蟮谋砻鏁r，作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3-D相機36和/或RGB相機38來捕捉，然后可被分析來確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離。根據(jù)一個實施例，捕捉設(shè)備20可包括可以從不同的角度觀察捕捉區(qū)域的兩個或更多個在物理上分離的相機，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。也可使用其他類型的深度圖像傳感器來創(chuàng)建深度圖像。捕捉設(shè)備20還可包括話筒40。話筒40可包括可接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。根據(jù)一個實施例，話筒40可用來減少在目標識別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20與計算設(shè)備12之間的反饋。另外，話筒40可用來接收也可由用戶提供的音頻信號，以控制可由計算設(shè)備12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用。在一個實施例中，捕捉設(shè)備20還可以包括可以與圖像相機組件32進行可操作的通信的處理器42。處理器42可包括可執(zhí)行指令的標準處理器、專用處理器、微處理器等，這些指令可包括用于存儲簡檔的指令、用于接收深度圖像的指令、用于確定合適的目標是否被包括在深度圖像中的指令、用于將合適的目標轉(zhuǎn)換成該目標的骨架表示或模型的指令、或任何其他合適的指令。捕捉設(shè)備20還可包括存儲器組件44，存儲器組件34可存儲可由處理器42執(zhí)行的指令、由3-D相機或RGB相機所捕捉的圖像或圖像的幀、用戶簡檔、或任何其他合適的信息、圖像等等。根據(jù)一個示例，存儲器組件44可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖2所示，存儲器組件44可以是與圖像捕捉組件32和處理器42進行通信的分離的組件。在另一實施例中，存儲器組件44可被集成到處理器42和/或圖像捕捉組件32中。在一個實施例中，圖2中示出的捕捉設(shè)備20的組件32、34、36、38、40、42和44中的一些或全部被容納在單一殼體中。捕捉設(shè)備20可以經(jīng)由通信鏈路46來與計算設(shè)備12進行通信。通信鏈路46可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802. lib、802. llg、802. Ila或802. Iln連接等的無線連接。計算設(shè)備12可以經(jīng)由通信鏈路46向捕捉設(shè)備20提供時鐘，該時鐘可以用來確定何時捕捉例如場景。捕捉設(shè)備20可將由例如3-D (或深度)相機36和/或RGB相機38捕捉的深度信息和圖像經(jīng)由通信鏈路46提供給計算設(shè)備12。如下面詳細討論的，計算設(shè)備12可隨后使用深度信息和所捕捉的圖像來執(zhí)行所公開技術(shù)的一個或多個操作。在由所公開技術(shù)執(zhí)行的一個操作集中，與當前廣播相關(guān)聯(lián)的多媒體內(nèi)容最初是從諸如內(nèi)容提供方、寬帶、衛(wèi)星和有線電視公司、廣告機構(gòu)、因特網(wǎng)或來自web服務(wù)的視頻流的一個或多個媒體內(nèi)容源接收的。多媒體內(nèi)容可以在計算設(shè)備12處或者在連接到計算設(shè)備12的視聽設(shè)備16處被接收。多媒體內(nèi)容可以通過多種網(wǎng)絡(luò)接收?？梢员慌渲脼橹С址?wù)提供商提供多媒體內(nèi)容服務(wù)的合適類型的網(wǎng)絡(luò)例如可以包括基于電話的網(wǎng)絡(luò)、基于同軸電纜的網(wǎng)絡(luò)以及基于衛(wèi)星的網(wǎng)絡(luò)。在一個實施例中，多媒體內(nèi)容經(jīng)由視聽設(shè)備16顯示給用戶。多媒體內(nèi)容可包括錄制的視頻內(nèi)容、視頻點播內(nèi)容、電視內(nèi)容、電視節(jié)目、公告、廣告片、音樂、電影、視頻剪輯，及其他點播媒體內(nèi)容。在一個實施例中，與當前廣播相關(guān)聯(lián)的多媒體內(nèi)容被標識出。在一個實施例中，被標識的多媒體內(nèi)容可以是電視節(jié)目、電影、實況演出或者體育賽事。例如，多媒體內(nèi)容可以通過如下方式被標識為電視節(jié)目從嵌入在內(nèi)容流中的元數(shù)據(jù)中或者從由服務(wù)提供方所提供的電子節(jié)目指南中標識出電視機在特定時隙期間所調(diào)諧到的頻道和節(jié)目。在一個實施例中，連接到計算設(shè)備12的視聽設(shè)備16標識與當前廣播相關(guān)聯(lián)的多媒體內(nèi)容。在另一個實施例中，計算設(shè)備12也可以標識與當前廣播相關(guān)聯(lián)的多媒體內(nèi)容。在一個實施例中，捕捉設(shè)備20最初在捕捉設(shè)備的視野6內(nèi)捕捉觀看多媒體內(nèi)容的一個或多個用戶。捕捉設(shè)備20向計算設(shè)備12提供所捕捉到的用戶的視覺圖像。計算設(shè)備12執(zhí)行由捕捉設(shè)備20捕捉的用戶的標識。在一個實施例中，計算設(shè)備12包括面部識別引擎192來執(zhí)行用戶的標識。面部識別引擎192可以將來自從捕捉設(shè)備20接收到的視覺圖像的用戶的面部與參考視覺圖像進行相關(guān)以確定用戶的身份。在另一示例中，還可以通過從用戶接收標識他們身份的輸入來確定用戶的身份。在一個實施例中，可以要求用戶通過站在計算系統(tǒng)12之前以便捕捉設(shè)備20可以捕捉每個用戶的深度圖像和視覺圖像來標識出他們自己。例如，可以要求用戶站在捕捉設(shè)備20之前，轉(zhuǎn)身，并且擺出各種姿態(tài)。在計算設(shè)備12獲得標識用戶所必需的數(shù)據(jù)以后，向用戶提供標識該用戶的唯一的標識符。關(guān)于標識用戶的更多信息可在美國專利申請序列號12/696，282“Visual Based Identity Tracking(基于視覺的身份跟蹤)”，以及美國專利申請序列號12/475，308 "Device for Identifyingand Tracking MultipleHumans over Time (用于隨時間標識和跟蹤多個人類的設(shè)備)”中找到，這兩個申請的全部內(nèi)容通過引用并入本申請。在另一實施例中，在用戶登入到計算設(shè)備時(諸如例如，當該計算設(shè)備是諸如用戶的手機之類的移動計算設(shè)備時)，用戶的身份可以已經(jīng)為該計算設(shè)備所知。在另一個實施例中，還可以使用用戶的聲紋來確定用戶的身份。
在一個實施例中，用戶的標識信息可以存儲在計算設(shè)備12中的用戶簡檔數(shù)據(jù)庫207中。在一個示例中，用戶簡檔數(shù)據(jù)庫207可以包括諸如下列關(guān)于用戶的信息與用戶相關(guān)聯(lián)的唯一標識符、用戶的姓名、以及諸如用戶的年齡組、性別和地理位置之類的與用戶相關(guān)的其他人口統(tǒng)計信息。用戶簡檔數(shù)據(jù)庫207還可以包括關(guān)于用戶的節(jié)目觀看歷史的信息，諸如用戶所觀看的節(jié)目列表以及用戶所購買的最近的電影或歌曲。在所公開技術(shù)執(zhí)行的一個操作集中，在用戶經(jīng)由視聽設(shè)備16觀看多媒體內(nèi)容時，捕捉設(shè)備20跟蹤用戶的移動、手勢、姿勢和面部表情。在一個示例中，由捕捉設(shè)備跟蹤到的手勢、姿勢和移動可以包括檢測在觀看節(jié)目時用戶是從捕捉設(shè)備20的視野移開或轉(zhuǎn)身背向視聽設(shè)備16、留在捕捉設(shè)備20的視野內(nèi)、面向視聽設(shè)備16、還是在觀看節(jié)目時向前傾斜或?qū)χ暵犜O(shè)備16的顯示設(shè)備講話。類似的，由捕捉設(shè)備20跟蹤到的面部表情可包括在用戶觀看節(jié)目時檢測到來自用戶的微笑、大笑、哭泣、皺眉、打呵欠或者鼓掌。在一個實施例中，計算設(shè)備12還包括姿勢庫196和姿勢識別引擎190。姿勢庫196包括姿勢過濾器的集合，每一姿勢過濾器包括與用戶所表現(xiàn)的移動、手勢或姿勢有關(guān)的信息。在一個實施例中，姿勢識別引擎190可將由相機36、38和設(shè)備20捕捉的骨架模型以及與其相關(guān)聯(lián)的移動形式的數(shù)據(jù)與姿勢庫192中的姿勢過濾器進行比較來標識用戶(如骨架模型所表示的)何時表現(xiàn)了一個或多個手勢或姿勢。計算設(shè)備12可使用姿勢庫192來解釋骨架模型的移動以執(zhí)行所公開的技術(shù)的一個或多個操作。關(guān)于姿勢識別引擎190的更多信息參見2009年4月13日提交的美國專利申請12/422,661 "Gesture RecognitionSystemArchitecture (姿勢識別系統(tǒng)架構(gòu))”，該申請通過整體引用合并于此。關(guān)于識別手勢和姿勢的更多信息參見于2009年2月23日提交的美國專利申請12/391，150"StandardGestures (標準姿勢)”以及于2009年5月四日提交的美國專利申請12/474，655"GestureTool (姿勢工具)”，這兩個申請的全部內(nèi)容都通過引用并入本申請。關(guān)于運動檢測和跟蹤的更多信息可在2009年12月18日提交的美國專利申請12/641, 788 "Motion DetectionUsing Depth Images(使用深度圖像的運動檢測)”，以及美國專利申請12/475，308"Devicefor Identifyingand Tracking Multiple Humans over Time (用于隨時間標識和跟蹤多個人類的設(shè)備)”中找到，這兩個申請通過整體引用合并于此。計算設(shè)備12中的面部識別引擎192可包括面部表情庫198。面部表情庫198包括面部表情過濾器的集合，每個面部表情過濾器包括關(guān)于用戶的面部表情的信息。在一個示例中，面部表情引擎192可對捕捉設(shè)備20中的相機36、38所捕捉的數(shù)據(jù)與面部表情庫198中的面部表情過濾器進行比較以標識用戶的面部表情。在另一示例中，面部識別引擎192還可以對由捕捉設(shè)備20中的麥克風(fēng)40所捕捉的數(shù)據(jù)與面部表情庫198中的面部表情濾波器進行比較以標識出諸如例如來自用戶的大笑或鼓掌的聲音之類的一個或多個聲音或音頻響應(yīng)。音頻響應(yīng)還可包括例如歌聲、在節(jié)目內(nèi)容中出現(xiàn)的人物的臺詞、來自用戶的評論寸。在另一個實施例中，還可以使用位于用戶經(jīng)由視聽設(shè)備觀看多媒體內(nèi)容的房間中或者放置在該房間中的物理表面(諸如桌面)上的一個或多個附加傳感器來跟蹤用戶的移動、手勢、姿勢和面部表情。傳感器可包括例如一個或多個活動信標傳感器，該傳感器發(fā)射結(jié)構(gòu)化光、脈沖紅外光或可見光到物理表面上，檢測從物理表面上的一個或多個對象的表面反向散射的光，并且檢測用戶所表現(xiàn)的移動、手勢、姿勢和面部表情。傳感器還可包括生物監(jiān)控傳感器、用戶可穿戴傳感器或者可跟蹤用戶所表現(xiàn)的移動、手勢、姿勢和面部表情的傳感器。在一個實施例中，所公開的技術(shù)提供一種在通過跟蹤用戶的移動、手勢、姿勢和面部表情之前隱去用戶的簡檔信息來與目標識別和分析系統(tǒng)10交互的同時滿足用戶隱私擔(dān)憂的機制。在一個示例中，在實現(xiàn)所公開的技術(shù)以前從用戶獲得用戶對觀看節(jié)目時跟蹤用戶的移動、手勢、姿勢和面部表情的選擇參加。該選擇參加可以顯示具有諸如“您是否同意跟蹤您的移動、手勢、姿勢和面部表情？ ”的文本的選項。該選項可在用戶系統(tǒng)的初始建立期間、每次用戶登錄系統(tǒng)時、或者在諸如用戶剛要開始觀看電影或節(jié)目之前的特定會話期間顯示給用戶。在由所公開的技術(shù)所執(zhí)行的另一個操作集中，計算系統(tǒng)12基于由捕捉設(shè)備12所跟蹤的用戶的移動、手勢、姿勢、音頻響應(yīng)和面部表情確定對用戶觀看的諸如電視節(jié)目的多媒體內(nèi)容的用戶的參與度水平。在一個實施例中，捕捉設(shè)備12可以在貫穿節(jié)目持續(xù)期間的長度的連續(xù)的時間間隔期間跟蹤用戶的手勢、姿勢、移動和面部表情，并且計算設(shè)備12可以基于在每一連續(xù)的時間間隔期間用戶所表現(xiàn)的手勢、姿勢、移動和面部表情來確定在連續(xù)的時間間隔期間對用戶所觀看的節(jié)目的參與度水平?？梢岳斫獾氖窃诎ü?jié)目的持續(xù)時間的連續(xù)時間間隔期間對用戶的手勢、姿勢、移動和面部表情的跟蹤使得能夠確定對節(jié)目的特定部分的用戶的參與度水平，并且還能夠確定導(dǎo)致來自用戶的特定參與度水平的所觀看的節(jié)目的特定部分。在一個實施例中，計算設(shè)備12還包括用戶專用響應(yīng)跟蹤模塊202。用戶專用響應(yīng)跟蹤模塊202基于用戶在觀看節(jié)目內(nèi)容時所表現(xiàn)的手勢、姿勢、音頻響應(yīng)、移動和面部表情來確定對用戶正在觀看的節(jié)目的用戶的參與度水平。在一個示例中，可以基于用戶在觀看節(jié)目時所表現(xiàn)的移動、手勢、姿勢、音頻響應(yīng)和面部表情的類型來將用戶的參與度水平確定為“正面”、“滿意”或“負面”之一。在一個示例中，如果用戶的姿勢或手勢指示了用戶從捕捉設(shè)備的視野移開、或者如果在觀看節(jié)目時用戶的頭背向視聽設(shè)備、或者如果在觀看節(jié)目時用戶在使用另一個設(shè)備(諸如用戶的電話、膝上型計算機或個人計算機)，那么將用戶的參與度水平確定為“負面”。類似地，如果用戶的面部表情指示了無聊中的一個，或者如果用戶的聲音或音頻響應(yīng)指示了打呵欠，那么將用戶的參與度水平確定為“負面”。在一個示例中，如果用戶所表現(xiàn)的手勢和姿勢指示在觀看節(jié)目時用戶面向顯示器并且在視野中達到時間的閾值百分比，那么可以將對用戶觀看的節(jié)目的用戶參與度水平確定為“滿意”。在一個實現(xiàn)中，時間的閾值百分比可以由計算設(shè)備12預(yù)定。類似地，如果用戶在節(jié)目的整個持續(xù)期間都在捕捉設(shè)備的視野內(nèi)、面向視聽設(shè)備16、或者在觀看節(jié)目時前傾，那么將對用戶所觀看的節(jié)目的參與度水平確定為“正面”?？梢岳斫獾氖牵缟纤鲇脕泶_定觀看節(jié)目時用戶的參與度水平的手勢、姿勢、移動和面部表情的類型是用于說明目的，并且在其他實施例中，手勢、姿勢、音頻響應(yīng)、 移動和面部表情的不同組合也可用來確定對所觀看節(jié)目的用戶的參與度水平。例如，還可以通過一旦用戶聽到來自經(jīng)由用戶的計算設(shè)備顯示的節(jié)目內(nèi)容的大笑或鼓掌的聲音就檢測該用戶在計算設(shè)備的視野中的存在來確定用戶的參與度水平。在另一個實施例中，還可以通過檢測在觀看節(jié)目時用戶參與的持續(xù)時間(例如， 通過檢測在觀看節(jié)目內(nèi)容時用戶面向顯示器的持續(xù)時間)來確定用戶的參與度水平。例如，用戶可能先觀看節(jié)目5分鐘，在諸如用戶的電話或個人計算機的其他設(shè)備上進行其他活動15分鐘，并且隨后再次觀看節(jié)目10分鐘等。在一個實施例中，用戶專用響應(yīng)跟蹤模塊202基于每個用戶所表現(xiàn)的手勢、姿勢、 移動和面部表情來為捕捉設(shè)備20所標識的每個用戶生成對所觀看的節(jié)目的響應(yīng)的用戶專用報告。在一個示例中，對所觀看的節(jié)目的響應(yīng)的用戶專用報告可被實現(xiàn)為帶有字段的表， 諸如包括節(jié)目持續(xù)時間的長度的一個或多個時間間隔，在每一時間間隔期間用戶所表現(xiàn)的移動、姿勢或手勢、和面部表情，以及在每一時間間隔期間對所觀看的節(jié)目的用戶參與度水平。在下面所示的表1中示出了對所觀看的節(jié)目的響應(yīng)的用戶專用報告的示例性圖示。^ 1—讀觀看肺_口__神顧告
時間間隔移動/手勢/姿勢面部表情參與度水平幵始 -tl用戶面向顯示器，用戶處于視野中鼓掌、 大笑正面tl-t2用戶從視野移開無負面t2-結(jié)束用戶面向顯示器并且處于視野中達到時間的閾值百分比無 兩意在另一個實施例中，用戶專用響應(yīng)跟蹤模塊202還可以生成捕捉設(shè)備20所標識的每個用戶對所觀看的節(jié)目的平均響應(yīng)的用戶專用報告。在一個示例中，對用戶所觀看的節(jié)目的平均響應(yīng)的用戶專用報告可以包括諸如用戶觀看超過一時間段的一個或多個節(jié)目、節(jié)目類型、用戶所觀看的節(jié)目劇集的百分比、以及在觀看每一節(jié)目劇集時用戶的平均參與度水平的信息。在一個實施例中，用戶的平均參與度水平可以如下來確定向在所觀看的節(jié)目的持續(xù)時間內(nèi)從用戶獲得的正面、滿意或負面參與度水平分配數(shù)值，確定對參與度水平相對應(yīng)的數(shù)值的平均值，并且通過確定該數(shù)值的平均值是否落在值的預(yù)定義范圍內(nèi)來計算平均參與度水平。例如，假設(shè)在連續(xù)時間間隔期間獲得負面、滿意和正面參與度水平，并且分配給負面參與度水平的數(shù)值是1，分配給滿意參與度水平的數(shù)值是5，分配給正面參與度水平的數(shù)值是10，并且負面參與度水平的值的預(yù)定義范圍是(1-4)，滿意參與度水平的值的預(yù)定義范圍是G-6)以及正面參與度水平的值的預(yù)定義范圍是(6-10)，那么在一個實現(xiàn)中，基于數(shù)值的平均值(該示例中是5. 3)以及數(shù)值的預(yù)定義范圍(該示例中是(4-6))，對所觀看的節(jié)目的用戶的平均參與度水平被確定為“滿意”。在一個示例中，對所觀看的節(jié)目的用戶的平均參與度水平可以被顯示為對用戶所觀看的每一節(jié)目劇集的用戶參與度水平的列表。在下面所示的表2中示出了對所觀看的節(jié)目集的平均響應(yīng)的用戶專用報告的示例性圖示。^-2 對所觀,看的節(jié)目的平J如向應(yīng)的用戶專用報告
權(quán)利要求
1.一種用于生成對用戶所觀看的多媒體內(nèi)容的被動和匿名反饋的計算機實現(xiàn)的方法，包括以下計算機實現(xiàn)的步驟接收并顯示與當前廣播相關(guān)聯(lián)的多媒體內(nèi)容(600、640)；標識連接到計算設(shè)備的捕捉設(shè)備的視野內(nèi)的一個或多個用戶(604、644)，所述標識包括基于捕捉與所述一個或多個用戶相關(guān)聯(lián)的視覺圖像和深度圖像中的至少一個來唯一地標識所述一個或多個用戶；通過跟蹤所述視野內(nèi)的所述一個或多個用戶所表現(xiàn)的移動、手勢和姿勢，自動地確定對所述一個或多個用戶觀看的所述多媒體內(nèi)容的所述一個或多個用戶的參與度水平(612、652)；基于跟蹤所述一個或多個用戶所表現(xiàn)的移動、手勢和姿勢，為所述一個或多個用戶，自動地生成對所觀看的多媒體內(nèi)容的響應(yīng)報告(616、656)，所述自動地跟蹤和自動地生成由所述計算設(shè)備來執(zhí)行；以及將對所觀看的多媒體內(nèi)容的所述響應(yīng)報告?zhèn)魉偷竭h程計算系統(tǒng)(618、658)。
2.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其特征在于，跟蹤所述一個或多個用戶所表現(xiàn)的移動、手勢和姿勢還包括檢測在觀看所述多媒體內(nèi)容時用戶是否從所述視野移開、留在所述視野內(nèi)、面向連接到所述計算設(shè)備的視聽設(shè)備、向前傾斜以及轉(zhuǎn)身背向所述視聽設(shè)備(612、652)。
3.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其特征在于，自動地確定所述一個或多個用戶的所述參與度水平還包括跟蹤觀看所述多媒體內(nèi)容的所述一個或多個用戶所表現(xiàn)的一個或多個面部表情(608、610、648、650)，其中所述面部表情包括來自所述一個或多個用戶的微笑、大笑、哭泣、皺眉、打呵欠或者鼓掌中的一個或多個，其中基于觀看所述多媒體內(nèi)容的所述一個或多個用戶所表現(xiàn)的手勢、姿勢、移動和面部表情來自動地確定所述一個或多個用戶的所述參與度水平。
4.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其特征在于，自動地生成對所觀看的多媒體內(nèi)容的響應(yīng)報告包括生成對所觀看的節(jié)目的響應(yīng)的用戶專用報告，其中所述用戶專用報告還包括包括由所述一個或多個用戶所觀看的所述節(jié)目的持續(xù)時間的長度的一個或多個時間間隔(656)，在每一時間間隔期間所述一個或多個用戶所表現(xiàn)的手勢、姿勢和面部表情，以及在每一時間間隔期間對所觀看的節(jié)目的所述一個或多個用戶的參與度水平。
5.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其特征在于，將所述響應(yīng)報告?zhèn)魉偷竭h程計算系統(tǒng)還包括將對所觀看的節(jié)目的響應(yīng)的用戶專用報告提供給評級機構(gòu)、內(nèi)容提供方和廣告客戶中的至少一個或多個(658)。
6.如權(quán)利要求5所述的計算機實現(xiàn)的方法，其特征在于，還包括基于所述用戶專用報告接收與所觀看的多媒體內(nèi)容相關(guān)的預(yù)覽內(nèi)容(660、710)，并且經(jīng)由連接到所述計算設(shè)備的視聽設(shè)備向所述一個或多個用戶顯示所述預(yù)覽內(nèi)容(662、712)。
7.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其特征在于，還包括基于檢測到所述計算設(shè)備的視野中所述一個或多個用戶的存在、所述一個或多個用戶觀看的節(jié)目類型、與所述一個或多個用戶相關(guān)的人口統(tǒng)計信息，以及與所述一個或多個用戶相關(guān)的節(jié)目觀看歷史，來為所述一個或多個用戶接收與所觀看的節(jié)目相關(guān)的預(yù)覽內(nèi)容或個性化內(nèi)容中的至少一個。
8.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其特征在于所述自動地確定所述一個或多個用戶的所述參與度水平包括，檢測在觀看所述多媒體內(nèi)容時用戶是否從所述視野移開、留在所述視野內(nèi)、面向連接到所述計算設(shè)備的視聽設(shè)備、向前傾斜以及轉(zhuǎn)身背向所述視聽設(shè)備；所述自動地確定所述一個或多個用戶的所述參與度水平包括，跟蹤觀看所述多媒體內(nèi)容的所述一個或多個用戶所表現(xiàn)的一個或多個面部表情，其中所述面部表情包括來自所述一個或多個用戶的微笑、大笑、哭泣、皺眉、打呵欠或鼓掌中的一個或多個；所述自動地確定所述一個或多個用戶的所述參與度水平包括，基于觀看所述多媒體內(nèi)容的所述一個或多個用戶所表現(xiàn)的手勢、姿勢、移動和面部表情，確定對所述一個或多個用戶所觀看的所述多媒體內(nèi)容的負面、滿意或正面參與度水平中的一個；所述將對所觀看的多媒體內(nèi)容的所述響應(yīng)報告提供給遠程計算系統(tǒng)包括，將所述報告提供給評級機構(gòu)、內(nèi)容提供方和廣告客戶中的至少一個或多個，并且基于所述報告接收與所觀看的多媒體內(nèi)容相關(guān)的預(yù)覽內(nèi)容；以及所述將對所觀看的多媒體內(nèi)容的所述響應(yīng)報告提供給遠程計算系統(tǒng)包括，將所述報告提供給評級機構(gòu)、內(nèi)容提供方和廣告客戶中的至少一個或多個，并且基于所述報告接收與所觀看的多媒體內(nèi)容相關(guān)的個性化內(nèi)容。
9.一種用于生成對用戶所觀看的多媒體內(nèi)容的被動和匿名反饋的裝置，包括深度相機(20)；計算設(shè)備(12、100、300)，連接到所述深度相機以接收與當前廣播相關(guān)聯(lián)的多媒體內(nèi)容，標識捕捉設(shè)備的視野中的一個或多個用戶，跟蹤所述視野中所述一個或多個用戶所表現(xiàn)的移動、手勢、姿勢和面部表情，基于跟蹤所述一個或多個用戶所表現(xiàn)的移動、手勢、姿勢和面部表情來確定對觀看的多媒體內(nèi)容的所述一個或多個用戶的參與度水平，并且基于對所觀看的多媒體內(nèi)容的所述一個或多個用戶的所述參與度水平來接收與所觀看的多媒體內(nèi)容相關(guān)的預(yù)覽內(nèi)容和個性化內(nèi)容。
10.如權(quán)利要求9所述的裝置，其特征在于所述計算設(shè)備基于所述一個或多個用戶所表現(xiàn)的移動、手勢、姿勢和面部表情，為所述一個或多個用戶生成對所觀看的多媒體內(nèi)容的響應(yīng)的用戶專用報告，將對所觀看的多媒體內(nèi)容的響應(yīng)的所述用戶專用報告提供給遠程計算系統(tǒng)，并且為所述一個或多個用戶從所述遠程計算系統(tǒng)接收接收與所觀看的多媒體內(nèi)容相關(guān)的預(yù)覽內(nèi)容和個性化內(nèi)容。
全文摘要
本發(fā)明涉及對多媒體內(nèi)容的被動和匿名反饋。公開了用于生成對用戶所觀看的多媒體內(nèi)容流的被動和匿名反饋的系統(tǒng)。多媒體內(nèi)容可包括錄制的視頻內(nèi)容、視頻點播內(nèi)容、電視內(nèi)容、電視節(jié)目、公告、廣告片、音樂、電影、視頻剪輯，及其他點播媒體內(nèi)容。標識連接到計算設(shè)備的捕捉設(shè)備的視野內(nèi)的一個或多個用戶。通過跟蹤用戶所表現(xiàn)的移動、手勢、姿勢和面部表情來確定對用戶所觀看的多媒體內(nèi)容的用戶的參與度水平?；谟脩羲憩F(xiàn)的移動、手勢、姿勢和面部表情來生成對所觀看的多媒體內(nèi)容的響應(yīng)報告。報告被提供給評級機構(gòu)、內(nèi)容提供方和廣告客戶。在一個實施例中，基于報告從內(nèi)容提供方和廣告客戶接收與所觀看的多媒體內(nèi)容相關(guān)的預(yù)覽內(nèi)容和個性化內(nèi)容。預(yù)覽內(nèi)容和個性化內(nèi)容被顯示給用戶。
文檔編號H04N21/258GK102572539SQ201110371508
公開日2012年7月11日 申請日期2011年11月11日 優(yōu)先權(quán)日2010年11月12日
發(fā)明者A·富勒, A·巴-澤埃夫, K·S·佩雷, S·M·斯莫爾 申請人:微軟公司