用于使用自動化內(nèi)容識別數(shù)據(jù)庫的實時電視廣告檢測的系統(tǒng)和方法
【專利說明】用于使用自動化內(nèi)容識別數(shù)據(jù)庫的實時電視廣告檢測的系統(tǒng)和方法
發(fā)明人
澤夫.紐梅爾(Zeev Neumeier)
布萊恩.里德(Brian Reed)
優(yōu)先權(quán)要求
[0001]本申請構(gòu)成2010年5月27日提交的、并且2013年11月6日按美國專利號8，595，781 發(fā)布的題為“METHODS FOR IDENTIFYING VIDEO SEGMENTS AND DISPLAYINGCONTEXTUAL TARGETED CONTENT ON A CONNECTED TELEVIS1N(用于標(biāo)識視頻片段并且在已連接電視上顯示上下文目標(biāo)內(nèi)容的方法)”的美國專利申請?zhí)?2/788，721的部分繼續(xù)申請，那項申請是要求2009年5月29日提交的題為“SYSTEM FOR PROCESSING CONTENTINFORMAT1N IN A TELEVIDEO SIGNAL(用于處理電視視頻信號中的內(nèi)容信息的系統(tǒng))”的美國臨時專利申請?zhí)?1/182，334的權(quán)益的非臨時申請，并且是要求2009年12月29日提交的題為“CONTEXTUAL TARGETING BASED ON DATA RECEIVED FROM A TELEVIS1N SYSTEM(基于從電視系統(tǒng)接收的數(shù)據(jù)的上下文目標(biāo)確定)”的美國臨時專利申請?zhí)?1/290，714的權(quán)益的非臨時申請；本申請進一步構(gòu)成2010年5月27日提交的題為“METHODS FOR DISPLAYINGCONTEXTUALLY TARGETED CONTENT ON A CONNECTED TELEVIS1N(用于在已連接電視上顯示根據(jù)上下文定為目標(biāo)的內(nèi)容的方法)”的美國專利申請?zhí)?2/788，748的部分繼續(xù)申請；本申請進一步構(gòu)成2013年11月25日提交的題為“_”的美國專利申請?zhí)?4/089,003的部分繼續(xù)申請；本申請進一步構(gòu)成2014年3月17日提交的題為“SYSTEMS AND METHODS FOR ADDRESSING A MEDIA DATABASE USING DISTANCE ASSOCIATIVEHASHING(用于使用距離關(guān)聯(lián)性散列法對媒體數(shù)據(jù)庫定址的系統(tǒng)和方法)”的美國專利申請?zhí)?*/林*，林*的部分繼續(xù)申請；本申請進一步構(gòu)成2014年3月17日提交的題為“SYSTEMSAND METHODS FOR IDENTIFYING VIDEO SEGMENTS FOR DISPLAYING CONTEXTUALLY RELEVANTCONTENT(用于標(biāo)識視頻片段以便顯示上下文相關(guān)內(nèi)容的系統(tǒng)和方法)”的美國專利申請?zhí)柫?*林，*林的部分繼續(xù)申請；本申請進一步構(gòu)成2014年3月17日提交的題為“SYSTEMSAND METHODS FOR ON-SCREEN GRAPHICS DETECT10N(用于屏幕上圖形檢測的系統(tǒng)和方法)”的美國專利申請?zhí)?*/***，***的部分繼續(xù)申請；本申請進一步構(gòu)成2014年3月17日提交的題為“SYSTEMS AND METHODS FOR IMPROVING SERVER AND CLIENT PERFORMANCE INFINGERPRINT ACR SYSTEMS (用于改進指紋ACR系統(tǒng)中的服務(wù)器和客戶端性能的系統(tǒng)和方法)”的美國專利申請?zhí)?*/***，***的部分繼續(xù)申請；本申請進一步構(gòu)成2014年3月17日提交的題為“SYSTEMS AND METHODS FOR MULT 1-BROADCAST DIFFERENTIAT1N (用于多重廣播區(qū)分的系統(tǒng)和方法)”的美國專利申請?zhí)?*/***，***的部分繼續(xù)申請；并且本申請進一步構(gòu)成 2013 年 3 月 15 日提交的題為“SYSTEMS AND METHODS FOR IDENTIFYING VIDEOSEGMENTS BEING DISPLAYED ON REMOTELY LOCATED TELEVIS1NS (用于標(biāo)識在遠程定位電視上顯示的視頻片段的系統(tǒng)和方法)”的美國專利申請?zhí)?1/791，578的部分繼續(xù)申請；前述申請或者是當(dāng)前共同未決的或者是當(dāng)前共同未決申請的有權(quán)享有提交日期的權(quán)益的申請。
發(fā)明領(lǐng)域
[0002]本發(fā)明總體上涉及圖像識別，并且更具體地涉及用于使用自動化內(nèi)容識別數(shù)據(jù)庫的實時電視廣告檢測的系統(tǒng)和方法。
背景
[0003]電視商業(yè)廣告的自動化檢測長期以來是不同支持者非常感興趣的領(lǐng)域。許多消費者一直希望尋求某種方式使整個商業(yè)廣告靜音或甚至跳過去，特別是在被記錄用于時移觀看的節(jié)目中。已經(jīng)提出了針對這種需要的許多解決方案并且全都在消費者設(shè)備級運行并且涉及到當(dāng)商業(yè)廣告在被觀看或記錄的廣播視頻流中出現(xiàn)時一次標(biāo)識一個商業(yè)廣告。
[0004]其他使用這種自動化內(nèi)容識別技術(shù)是需要驗證特定電視商業(yè)廣告實際上已經(jīng)按合同規(guī)定在許多頻道、時隙和市場中的每項上被廣播的那些方。此外，其他公司對哪些公司正在在哪些市場中播放哪些廣告進行調(diào)查和收集統(tǒng)計資料。本數(shù)據(jù)可以供公司自己使用或用于轉(zhuǎn)售。同時，其他公司調(diào)查商業(yè)廣告來為客戶開發(fā)更有效的廣告。這些類型的分析通常在逐市場級完成并且需要監(jiān)測大量頻道和市場。
[0005]過去半個世紀(jì)以來，這種商業(yè)廣告驗證或收集程序在按計劃廣播時間期間由人類手動執(zhí)行，或者在視覺上搜索(快進、倒帶等)早前廣播的磁帶或其他記錄來執(zhí)行。如可以認識到的，等待商業(yè)廣告播放(廣播)、設(shè)立記錄設(shè)備來記錄廣播、和/或搜索廣播內(nèi)容的記錄來驗證商業(yè)廣告內(nèi)容播放會是費時、費力且昂貴的任務(wù)。因此，存在一種未被滿足的需要:優(yōu)化直播視頻流中的商業(yè)信息的自動化檢測和標(biāo)識過程。
[0006]因為幾乎每個市場領(lǐng)域的消費者現(xiàn)在可以使用同時傳送數(shù)百個節(jié)目頻道的有線系統(tǒng)和衛(wèi)星系統(tǒng)，標(biāo)識、驗證和跟蹤在任何給定時間哪些商業(yè)廣告正在在哪些市場中廣播的能力提出了非比尋常的計算挑戰(zhàn)。本領(lǐng)域的現(xiàn)有技術(shù)一直主要專注于標(biāo)識單個觀看設(shè)備(如電視機)何時呈現(xiàn)商業(yè)廣告。本領(lǐng)域的技術(shù)人員已知的、使它們能夠同時實時監(jiān)測數(shù)百個視頻流同時將計算力和存儲成本在商業(yè)上合理的擴展(scaling)方法仍然是未滿足的需要。
概述
[0007]在某些實施例中，與使用自動化內(nèi)容識別數(shù)據(jù)庫的實時電視廣告檢測相關(guān)的示例性方法可以包括:攝取至少一個視聽流，包括至少將與該視聽流的一個或多個幀相關(guān)聯(lián)的至少某些數(shù)據(jù)存儲到一個節(jié)目內(nèi)容數(shù)據(jù)存儲器中；確定一個候選片段，該候選片段包括來自該至少一個攝取的視聽流的至少一個或多個連續(xù)幀；并且測試所確定的該候選片段在一個已知廣告數(shù)據(jù)存儲器中的至少一個匹配項，并且如果測試到該候選片段返回該已知廣告數(shù)據(jù)存儲器中的至少一個匹配項，則至少將與該候選片段相關(guān)聯(lián)的至少某些數(shù)據(jù)從該節(jié)目內(nèi)容數(shù)據(jù)存儲器中移除。
[0008]在某些實施例中，與使用自動化內(nèi)容識別數(shù)據(jù)庫的實時電視廣告檢測相關(guān)的示例性方法可以進一步包括:測試所確定的該候選片段在該節(jié)目內(nèi)容數(shù)據(jù)存儲器中的至少一個匹配項，并且如果測試到該候選片段返回該節(jié)目內(nèi)容數(shù)據(jù)存儲器中的至少一個匹配項，則至少將與該候選片段相關(guān)聯(lián)的至少某些數(shù)據(jù)從該節(jié)目內(nèi)容數(shù)據(jù)存儲器中移除并且將與該候選片段相關(guān)聯(lián)的至少某些數(shù)據(jù)存儲在該已知廣告數(shù)據(jù)存儲器中。
[0009]在某些實施例中，確定一個候選片段(該候選片段包括來自該至少一個攝取的視聽流的至少一個或多個連續(xù)幀)可以包括:接收對所攝取的該視聽數(shù)據(jù)流的一個幀的一個或多個指示；分析對一個幀的該一個或多個指示，包括至少確定該一個或多個指示是否可能是一個候選片段的一個起始幀；如果確定了一個起始幀，則分析繼該起始幀之后接收的一個或多個幀，包括至少確定繼該起始幀之后接收的該一個或多個幀之一是否可能是一個結(jié)束幀；并且如果確定了一個結(jié)束幀，則建立(i)該起始幀、(?)繼該起始幀之后和在該結(jié)束幀之前接收的該一個或多個幀、以及(iii)該結(jié)束幀作為該候選片段。
[0010]在某些實施例中，分析對一個幀的該一個或多個指示(包括至少確定該一個或多個指示是否可能是一個候選片段的一個起始幀)并且分析繼該起始幀之后接收的一個或多個幀(包括至少確定繼該起始幀之后接收的一個幀是否可能是一個結(jié)束幀)可以包括:確定一個幀是否是一個單色幀或具有一個或多個與緊接著前一個幀基本上不同的指紋值的一個幀中的至少一項，并且如果一個幀是一個單色幀或具有一個或多個與緊接著前一個幀基本上不同的指紋值的一個幀中的至少一項，貝Ij建立該幀作為一個起始幀或一個結(jié)束幀中的至少一項。
[0011]在某些實施例中，確定一個候選片段(該候選片段包括來自該至少一個攝取的視聽流的至少一個或多個連續(xù)幀)可以包括:接收對所攝取的該視聽數(shù)據(jù)流的一個幀的一個或多個指示；將與以最近接收的幀結(jié)束的一個連貫的攝取幀序列相關(guān)聯(lián)的數(shù)據(jù)和與之前存儲在該節(jié)目內(nèi)容數(shù)據(jù)存儲器中的一個或多個連貫幀序列相關(guān)聯(lián)的數(shù)據(jù)進行比較；并且至少部分地基于該比較數(shù)據(jù)提供對之前存儲在該節(jié)目內(nèi)容數(shù)據(jù)存儲器中的一個或多個連貫幀序列的一個或多個指示。
[0012]在某些實施例中，確定一個候選片段(該候選片段包括來自該至少一個攝取的視聽流的至少一個或多個連續(xù)幀)可以進一步包括針對所指示的該一個或多個連貫幀序列中的每個幀序列，確定該連貫幀序列是否是一個廣告。在某些實施例中，確定該連貫幀序列是否是一個廣告可以包括:對秒數(shù)長度和與該連貫幀序列相關(guān)聯(lián)的幀計數(shù)中的至少一項進行評估，并且如果秒數(shù)長度或幀計數(shù)基本上類似于一個標(biāo)準(zhǔn)廣告長度，則建立該連貫幀序列作為一個候選片段。在某些實施例中，對秒數(shù)長度和與該連貫幀序列相關(guān)聯(lián)的幀計數(shù)中的至少一項進行評估并且如果秒數(shù)長度或幀計數(shù)基本上類似于一個標(biāo)準(zhǔn)廣告長度則建立該連貫幀序列作為一個候選片段可以進一步包括:調(diào)整與匹配相關(guān)聯(lián)的至少一個閾值，所調(diào)整的該至少一個閾值與較低數(shù)量的返回懷疑項相關(guān)聯(lián)；至少部分地基于所調(diào)整的至少一個閾值將該候選片段與之前存儲在該數(shù)據(jù)存儲器中的該一個或多個連貫幀序列進行匹配；并且如果至少部分地基于所調(diào)整的至少一個閾值，該候選片段與之前存儲在該數(shù)據(jù)存儲器中的該一個或多個連貫幀序列匹配，則確定該候選片段的起始點和結(jié)束點。
[0013]在某些實施例中，調(diào)整與匹配相關(guān)聯(lián)的至少一個閾值(所調(diào)整的該至少一個閾值與較低數(shù)量的返回懷疑項相關(guān)聯(lián))可以包括:調(diào)整與一個路徑追蹤算法相關(guān)聯(lián)的至少一個半徑，所調(diào)整的該至少一個半徑與較低數(shù)量的返回懷疑項相關(guān)聯(lián)。在某些實施例中，調(diào)整與匹配相關(guān)聯(lián)的至少一個閾值(所調(diào)整的該至少一個閾值與較低數(shù)量的返回懷疑項相關(guān)聯(lián))可以包括:調(diào)整和與一個路徑追蹤算法相關(guān)聯(lián)的至少一個箱(bin)相關(guān)的至少一個時長，所調(diào)整的該至少一個半徑與較低數(shù)量的返回懷疑項相關(guān)聯(lián)。
[0014]在某些實施例中，確定該候選片段的起始點和結(jié)束點可以包括:調(diào)整與匹配相關(guān)聯(lián)的至少一個閾值，所調(diào)整的該至少一個閾值與較高數(shù)量的返回懷疑項相關(guān)聯(lián)；將與該候選片段中的每個幀相關(guān)聯(lián)的一個或多個指示