用于同步媒體的方法
【專利摘要】提供了一種方法，包括：接收正被媒體渲染源渲染的媒體流的媒體樣本；由計算設(shè)備確定與所述媒體樣本潛在匹配的多個媒體記錄；由所述計算設(shè)備向客戶端設(shè)備提供包括所述多個媒體記錄之一的特征的信息的對準(zhǔn)文件，其中預(yù)計所述多個媒體記錄之一在所述對準(zhǔn)文件中的特征在預(yù)定時間出現(xiàn)在所述媒體流中。
【專利說明】
用于同步媒體的方法
[00011 本申請是申請日為2011年5月4日、申請?zhí)枮?01180032480.4、發(fā)明名稱為"用于同 步媒體的方法和系統(tǒng)"的發(fā)明專利申請的分案申請。
[0002] 相關(guān)申請的交叉引用
[0003] 本申請要求2010年5月4日提交的序列號為61/331,015的美國臨時專利申請的優(yōu) 先權(quán)，通過引用將其全部內(nèi)容合并于此。
技術(shù)領(lǐng)域
[0004] 本公開涉及媒體的媒體信息檢索和同步。例如，本公開涉及音樂信息檢索以及文 本轉(zhuǎn)錄(textual transcription)或歌詞同步，例如在卡拉OK的領(lǐng)域中。本公開還涉及其它 形式的媒體的同步。
【背景技術(shù)】
[0005] 同步媒體(諸如音樂歌詞）顯示系統(tǒng)典型地包括歌詞顯示裝置，其與音樂回放裝置 操作地耦接，并被音樂回放裝置控制。在這些系統(tǒng)中，音樂回放裝置知道當(dāng)前播放的音樂音 軌(audio track)中的當(dāng)前時間位置。音樂音頻時間位置被提供給歌詞顯示裝置。歌詞顯示 裝置使用定時信息來確定對應(yīng)的歌詞文本位置，并顯示對應(yīng)的歌詞文本用于用戶與音樂音 頻同步地欣賞。廣泛可得的卡拉OK系統(tǒng)以此方式操作。
[0006] 現(xiàn)有的同步媒體(例如歌詞）系統(tǒng)典型地具有被設(shè)計為包括音樂回放裝置的系統(tǒng) 的構(gòu)成部分的歌詞顯示裝置，該系統(tǒng)通常在共享的物理殼體中、或者由共同的控制機構(gòu)(諸 如計算機程序)控制。偶遇任意環(huán)境或周邊音樂源(例如，在咖啡館、餐館、汽車、商店等中） 的音樂聽眾將沒有辦法欣賞同步媒體(例如歌詞），除非在任意環(huán)境或周邊源的音樂回放裝 置操作地耦接到集成的歌詞顯示裝置。

【發(fā)明內(nèi)容】

[0007] 在一個方面，提供了一種同步媒體的方法。該方法包括客戶端設(shè)備接收正被媒體 渲染源渲染的媒體流的媒體樣本，所述媒體樣本與對應(yīng)于所述媒體樣本的采樣時間的時間 戳關(guān)聯(lián)。所述方法還包括確定指示所述媒體流中對應(yīng)于所述媒體樣本的采樣時間的時間位 置的時間偏移，以及使用實時時間戳、所述媒體樣本的時間戳以及所述時間偏移計算實時 偏移，其中所述實時時間戳指示當(dāng)前時間。所述方法還包括所述客戶端設(shè)備在對應(yīng)于所述 實時偏移的位置渲染第二媒體流，以與正被所述媒體渲染源渲染的媒體流同步。
[0008] 在另一方面，提供了一種同步媒體的方法。所述方法包括客戶端設(shè)備向位置識別 模塊發(fā)送正被媒體渲染源渲染的歌曲的音頻樣本。所述音頻樣本與對應(yīng)于所述音頻樣本的 采樣時間的時間戳關(guān)聯(lián)。所述方法還包括客戶端設(shè)備從所述位置識別模塊接收時間偏移， 其指示所述歌曲中對應(yīng)于所述音頻樣本的采樣時間的時間位置。所述方法還包括:使用實 時時間戳、所述音頻樣本的時間戳以及所述時間偏移計算實時偏移，其中所述實時時間戳 指示當(dāng)前時間；接收所述歌曲的文本歌詞；以及所述客戶端設(shè)備在對應(yīng)于所述實時偏移的 位置渲染所述文本歌詞，以與正被所述媒體渲染源渲染的歌曲同步。
[0009] 在再一方面，提供了一種非暫時性計算機可讀介質(zhì)，其中存儲可由計算設(shè)備執(zhí)行 的指令，所述指令用于使得所述計算設(shè)備執(zhí)行功能。所述功能包括客戶端設(shè)備向位置識別 模塊發(fā)送正被媒體渲染源渲染的歌曲的音頻樣本。所述音頻樣本與對應(yīng)于所述音頻樣本的 采樣時間的時間戳關(guān)聯(lián)。所述功能還包括客戶端設(shè)備從所述位置識別模塊接收時間偏移， 其指示所述歌曲中對應(yīng)于所述音頻樣本的采樣時間的樣本的時間位置。所述功能還包括： 使用實時時間戳、所述音頻樣本的時間戳以及所述時間偏移計算實時偏移，其中所述實時 時間戳指示當(dāng)前時間；接收所述歌曲的文本歌詞；以及所述客戶端設(shè)備在對應(yīng)于所述實時 偏移的位置渲染所述文本歌詞，以與正被所述媒體渲染源渲染的歌曲同步。
[0010] 在再一方面，提供了執(zhí)行這里描述的方法的示例設(shè)備或系統(tǒng)。
[0011]在又一方面，提供了一種方法，包括:接收正被媒體渲染源渲染的媒體流的媒體樣 本；由計算設(shè)備確定與所述媒體樣本潛在匹配的多個媒體記錄；由所述計算設(shè)備向客戶端 設(shè)備提供包括所述多個媒體記錄之一的特征的信息的對準(zhǔn)文件，其中預(yù)計所述多個媒體記 錄之一在所述對準(zhǔn)文件中的特征在預(yù)定時間出現(xiàn)在所述媒體流中。
[0012] 在再一方面，提供了一種方法，包括：由客戶端設(shè)備向計算設(shè)備發(fā)送正被媒體渲染 源渲染的媒體流的媒體樣本;在客戶端設(shè)備接收包括與所述媒體樣本潛在匹配的多個媒體 記錄之一的特征的信息的對準(zhǔn)文件，其中所述對準(zhǔn)文件包括所述媒體記錄的預(yù)計在預(yù)定時 間出現(xiàn)在所述媒體流中的特征；以及確定正被所述媒體渲染源渲染的媒體流是否與所述對 準(zhǔn)文件的媒體記錄匹配。
[0013] 在再一方面，提供了一種方法，包括：由客戶端設(shè)備向計算設(shè)備發(fā)送正被媒體渲染 源渲染的媒體流的媒體樣本;在客戶端設(shè)備接收包括與所述媒體樣本潛在匹配的多個媒體 記錄之一的特征的信息的對準(zhǔn)文件，其中所述對準(zhǔn)文件包括所述媒體記錄的預(yù)計在預(yù)定時 間出現(xiàn)在所述媒體流中的特征；以及比較正被所述媒體渲染源渲染的所述媒體流與所述對 準(zhǔn)文件的媒體記錄，以確定正被所述媒體渲染源渲染的媒體流是否已經(jīng)中斷。
[0014] 之前的總結(jié)僅是示例性的，并不意在作為任何方式的限定。在以上描述的示例方 面、實施例和特征之外，其它方面、實施例和特征也將通過參考附圖和以下的詳細描述而變 得明顯。
【附圖說明】
[0015] 圖1示出了用于識別媒體內(nèi)容、并將數(shù)據(jù)與所識別的媒體內(nèi)容同步的系統(tǒng)的一個 示例。
[0016] 圖2示出了用于同步媒體流的方法的說明性實施例的流程圖。
[0017] 圖3A-3B示出了用于識別媒體樣本的媒體內(nèi)容或時間偏移、并將數(shù)據(jù)與所識別的 媒體內(nèi)容同步的系統(tǒng)的示例。
[0018] 圖4示出了用于將歌詞與正被媒體渲染源渲染的歌曲同步的方法的說明性實施例 的流程圖。
[0019] 圖5示出了音樂信息的示例。
[0020] 圖6示出了用于識別媒體樣本的媒體內(nèi)容或時間偏移、并將數(shù)據(jù)與所識別的媒體 內(nèi)容同步的系統(tǒng)的另一示例。
【具體實施方式】
[0021] 在下面的詳細說明中，參考形成說明的一部分的附圖。在附圖中，類似的符號典型 地標(biāo)識類似的元素，除非另有聲明。詳細說明、附圖和權(quán)利要求中描述的說明性實施例不 意圖為限制性?？梢圆捎闷渌鼘嵤├?，并且可以進行其它改變，而不偏離這里所呈現(xiàn)的主題 的精神和范圍。很容易理解，本公開的各方面(如這里一般描述以及在附圖中圖示的）可以 大量不同的配置進行布置、替代、組合、分割以及設(shè)計，它們?nèi)勘槐疚拿鞔_預(yù)想到。
[0022] 在示例實施例中，提供了同步媒體的系統(tǒng)和方法?？梢允褂每蛻舳嗽O(shè)備(例如便攜 式客戶端設(shè)備)來捕獲正被媒體渲染源渲染的媒體流的樣本?？蛻舳嗽O(shè)備可以使用參考時 鐘確定對應(yīng)于正被捕獲的媒體樣本的采樣時間的時間戳。采樣時間可以優(yōu)選是起始，但也 可以是媒體樣本的結(jié)尾、中間或任何其它預(yù)定時間。客戶端設(shè)備可以向位置識別模塊發(fā)送 媒體樣本，以確定時間偏移并可選地確定時間尺度比，該時間偏移指示媒體流中對應(yīng)于媒 體樣本的采樣時間的時間位置，該時間尺度比指示基于媒體流的參考速度的由媒體渲染源 正渲染媒體流的速度?？蛻舳嗽O(shè)備可以使用指示當(dāng)前時間的實時時間戳、媒體樣本的時間 戳、時間偏移、以及可選地使用時間尺度比，來計算實時偏移?？蛻舳嗽O(shè)備可以接著在對應(yīng) 于實時偏移的位置處渲染第二媒體流，以與正由媒體渲染源渲染的媒體流同步。例如，這里 所描述的系統(tǒng)和方法可以被執(zhí)行來基于第一媒體流的捕獲樣本控制第二媒體流的同步回 放。在其它示例中，客戶端設(shè)備包括麥克風(fēng)，用以從媒體渲染源接收媒體流或記錄?？蛻舳?設(shè)備還可以包括攝像機、振動傳感器、無線電接收器、網(wǎng)絡(luò)接口等中的任何一個，用以接收 媒體流。
[0023] 在一個示例中，系統(tǒng)和方法可以被用于使用移動音樂信息檢索設(shè)備，而與周邊播 放的音樂同步地顯示歌詞，該移動音樂信息檢索設(shè)備可以不被操作地耦接到音樂回放裝置 (播放周邊音樂的裝置)來確定對應(yīng)于播放的音樂的定時信息。不需要來自音樂回放裝置的 定時信息。例如，音樂信息檢索設(shè)備可被配置為識別播放的音樂，以及響應(yīng)地檢索和顯示與 音樂中的當(dāng)前時間點同步的對應(yīng)歌詞，而不需要用戶干預(yù)。
[0024]現(xiàn)在參考附圖，圖1示出了用于識別媒體內(nèi)容、并將數(shù)據(jù)與所識別的媒體內(nèi)容同步 的系統(tǒng)的一個示例。系統(tǒng)包括媒體渲染源102，其以任何已知的方式渲染和呈現(xiàn)來自媒體流 的媒體內(nèi)容。媒體流可以被存儲在媒體渲染源102上、或者從外部源(諸如模擬或數(shù)字廣播） 接收。在一個示例中，媒體渲染源102可以是無線電臺或電視內(nèi)容提供商，其廣播媒體流(例 如音頻和/或視頻)和/或其它信息。媒體渲染源102還可以是以記錄或現(xiàn)場格式播放音頻媒 體、顯示視頻媒體的任何類型的設(shè)備。在替代實施例中，例如，媒體渲染源102可以包括現(xiàn)場 表演作為音頻源和/或視頻源。
[0025] 媒體渲染源102可以通過圖形顯示器、音頻揚聲器、MIDI樂器、操縱木偶 (animatronic puppet)等、或者由媒體植染源102提供的任何其它類型的表達，來植染或呈 現(xiàn)媒體流。
[0026] 客戶端設(shè)備104通過包含媒體接收器106的樣本捕獲模塊接收來自媒體渲染源102 的媒體流的渲染。在圖1中，媒體接收器106被顯示為天線，并且媒體渲染源102將媒體流無 線地廣播到客戶端設(shè)備104。然而，取決于媒體流的形式，媒體渲染源102可以使用無線或有 線通信技術(shù)渲染媒體。
[0027] 在其它示例中，媒體接收器106可以包括麥克風(fēng)、攝像機、振動傳感器、無線電接收 器、網(wǎng)絡(luò)接口等中的任何一個。作為具體示例，媒體渲染源102可以播放音樂，并且客戶端設(shè) 備104可以包括麥克風(fēng)，用以接收音樂的樣本。
[0028] 除了接收媒體流的渲染，客戶端設(shè)備104并非操作地耦接到媒體渲染源102。以此 方式，客戶端104不受媒體渲染源102控制，客戶端設(shè)備104也不是媒體渲染源102的構(gòu)成部 分。在圖1所示的示例中，客戶端設(shè)備104是獨立于媒體渲染源102的實體。
[0029] 客戶端設(shè)備102捕獲所渲染的媒體流的媒體樣本。這可以自動發(fā)生而不需要用戶 干預(yù)，或者可以通過用戶激活按鈕或其它應(yīng)用以觸發(fā)樣本捕獲來進行。例如，客戶端設(shè)備 104的用戶可以按下按鈕以通過麥克風(fēng)記錄10秒的音頻數(shù)字樣本，或者使用相機捕獲靜止 圖像或視頻序列。
[0030] 客戶端設(shè)備104可以被實施為小型便攜式(或移動）電子設(shè)備的一部分，所述電子 設(shè)備諸如蜂窩電話、無線蜂窩電話、個人數(shù)據(jù)助理(PDA)、個人媒體播放器設(shè)備、無線上網(wǎng) (web-watch)設(shè)備、個人耳機設(shè)備、應(yīng)用特定設(shè)備、或混合設(shè)備，它們包括上述功能中的任何 功能。客戶端設(shè)備104也可以實施為個人計算機，其包括膝上型計算機或非膝上型計算機配 置兩者。客戶端設(shè)備104也可以是更大設(shè)備或系統(tǒng)的組件。
[0031] 客戶端設(shè)備104被操作來捕獲媒體渲染源102渲染的媒體流的部分，用于識別位置 信息。作為示例，客戶端設(shè)備104操作地耦接到服務(wù)器108,其包括位置識別模塊110和可選 的內(nèi)容識別模塊112。雖然圖1示出了服務(wù)器108包括位置識別模塊110和內(nèi)容識別模塊112 兩者，但例如，位置識別模塊110和/或內(nèi)容識別模塊112中的任一者可以是與服務(wù)器108分 離的獨立實體。替代地，位置識別模塊110和內(nèi)容識別模塊112兩者可以是同一實體，或者 位置識別模塊110和內(nèi)容識別模塊112的功能可以由同一實體執(zhí)行。此外，位置識別模塊110 和/或內(nèi)容識別模塊112可以位于客戶端設(shè)備104中，或者可以在通過網(wǎng)絡(luò)連接到客戶端設(shè) 備104的遠程服務(wù)器上，如圖1中所示。
[0032] 服務(wù)器108從客戶端設(shè)備104接收媒體樣本(通過有線或無線連接），并且位置識別 模塊110基于此時正被捕獲的媒體樣本識別對應(yīng)的估計時間位置(T s)，該估計時間位置指 示媒體樣本在媒體流中的時間偏移。在某些示例中，Ts也可以是從媒體流的起始起經(jīng)過的 時間量。
[0033] 內(nèi)容識別模塊112也可以可選地執(zhí)行對所接收的媒體樣本的內(nèi)容識別。如果標(biāo)識 不是已知的，則內(nèi)容識別對媒體流中的內(nèi)容進行識別，例如音樂聲軌。內(nèi)容識別模塊112可 被用在或者合并在任何示例媒體樣本信息檢索系統(tǒng)內(nèi)，這些系統(tǒng)例如由英國倫敦的Shazam Entertainment、加州埃默里維爾的Gracenot、或加州圣何塞的Me Iodi s提供。這些服務(wù)操作 來接收環(huán)境音頻的樣本，識別音頻樣本的音樂內(nèi)容，以及向用戶提供關(guān)于音樂的信息，包括 軌道名稱、藝術(shù)家、專輯、封面(artwork )、傳記、唱片分類目錄、音樂會門票等。
[0034] 在這一點上，內(nèi)容識別模塊112包括媒體搜索引擎114,并可以包括或有權(quán)訪問對 參考媒體內(nèi)容對象和記錄(例如，音樂聲軌、視頻剪輯、電影和電視節(jié)目）進行索引的數(shù)據(jù)庫 116,以將接收到的媒體樣本與存儲的信息進行比較，從而識別所接收的媒體樣本內(nèi)的媒體 內(nèi)容。一旦已經(jīng)識別了媒體流內(nèi)的媒體對象，便可以將標(biāo)識信息和其它元數(shù)據(jù)報告回到客 戶?而設(shè)備104。
[0035] 元數(shù)據(jù)還可以包括數(shù)據(jù)和對其它有關(guān)內(nèi)容和服務(wù)的超鏈接，包括推薦、廣告、出 價，以預(yù)覽、標(biāo)書簽和購買音樂記錄、視頻、音樂會門票、以及獎贈內(nèi)容；以及便利于在萬維 網(wǎng)上瀏覽、探究(exploring)和發(fā)現(xiàn)有關(guān)內(nèi)容。
[0036] 替代地，客戶端設(shè)備104可以從媒體渲染源102捕獲媒體流的樣本，并對該樣本執(zhí) 行初始特征提取處理，以創(chuàng)建該媒體樣本的指紋(fingerprint)?？蛻舳嗽O(shè)備104可以接著 將指紋信息發(fā)送給位置識別模塊110和/或內(nèi)容識別模塊112,其可以僅基于指紋信息而識 別有關(guān)該樣本的信息。以此方式，例如，可以在客戶端設(shè)備104、而不是在位置識別模塊110 和/或內(nèi)容識別模塊112執(zhí)行更多的計算或識別處理。
[0037] 如所述，數(shù)據(jù)庫116可以包括許多媒體內(nèi)容對象，每個媒體內(nèi)容對象可以由唯一的 標(biāo)識符(例如souncLID)識別。數(shù)據(jù)庫116可以不一定為每個記錄存儲實際媒體內(nèi)容(諸如 音頻或視頻文件），因為可以使用souncLID從其它地方檢索文件。然而，在某些實施例中，數(shù) 據(jù)庫116可以存儲媒體內(nèi)容文件。媒體內(nèi)容數(shù)據(jù)庫索引可以非常大，例如包含用于數(shù)百萬或 者甚至數(shù)十億的文件的索引?？梢赃f增地將新內(nèi)容添加到數(shù)據(jù)庫索引中。
[0038] 數(shù)據(jù)庫116還可以包括用于每個存儲的音頻、視頻或媒體文件、或者用于每個存儲 的媒體索引的信息。例如，可以與每個文件一起存儲元數(shù)據(jù)，其指示關(guān)于文件的信息，諸如 藝術(shù)家名字、歌曲的長度、歌曲的歌詞、歌詞的行或詞的時間索引、專輯封面、或文件的任何 其它識別或有關(guān)信息。
[0039]圖1的系統(tǒng)允許捕獲的媒體樣本的時間偏移被識別，并且允許基于存儲的信息識 別媒體樣本。雖然圖1示出了具有給定配置的系統(tǒng)，但可以其它方式布置系統(tǒng)內(nèi)的組件。例 如，媒體搜索引擎114可以獨立于內(nèi)容識別模塊112,或者媒體樣本處理可以發(fā)生在客戶端 104或服務(wù)器108。因此，應(yīng)該理解，這里所述的配置本質(zhì)上僅是示例，并且還可以使用許多 替代配置。
[0040]圖1中的系統(tǒng)、尤其是位置識別模塊110可以識別媒體流內(nèi)的媒體樣本的偏移?？?選地，系統(tǒng)可被用于使用內(nèi)容識別模塊112,使用媒體流內(nèi)的媒體樣本來識別媒體流中的內(nèi) 容。
[0041 ]本領(lǐng)域中已知各種媒體樣本識別技術(shù)，用于使用媒體內(nèi)容對象的數(shù)據(jù)庫執(zhí)行媒體 樣本和媒體樣本的特征的計算內(nèi)容識別。以下的美國專利和公布描述了媒體辨識技術(shù)的可 能示例，并且通過引用將每一個都完整地合并到這里，如同在此說明書中完整地記載一樣： Keny on等，美國專利No .4,843,562,題為 "Broadcast Information Classification System and Method" ；Kenyon，美國專利Νο·4,450,531，題為"Broadcast Signal Recognition System and Method" ；Haitsma等，美國專利申請公布Ν〇·2008/0263360,題為 "Generating and Matching Hashes of Multimedia Content" ；Wang和Culbert，美國專利 No.7,627,477,題為"Robust and Invariant Audio Pattern Matching" ；Wang，Avery，美 國專利申請公布Ν〇·2007/0143777,題為"Method and Apparatus for Identification of Broadcast Source" ；Wang和Smith，美國專利No.6,990,453,題為"System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion" ；以及 Blum 等，美國專利Νο·5,918,223,題為"Method and Article of Manufacture for Content-Based Analysis,Storage,Retrieval,and Segmentation of Audio Information"。
[0042]簡要地，通過接收媒體記錄和采樣媒體記錄而開始識別媒體記錄。例如，將該記錄 與數(shù)字化且歸一化的參考信號片段相關(guān)，以獲得針對每個作為結(jié)果的相關(guān)片段的相關(guān)函數(shù) 峰，從而當(dāng)相關(guān)函數(shù)峰之間的間隔在預(yù)定限值內(nèi)、并且與相關(guān)函數(shù)峰一致的RMS功率值的模 式(pattern)在來自數(shù)字化的參考信號片段的RMS功率值的模式的預(yù)定限值內(nèi)匹配時提供 辨識信號，如在美國專利No. 4，450，531中所述。因此識別了匹配的媒體內(nèi)容。此外，例如，媒 體內(nèi)容中的媒體記錄的匹配位置由匹配相關(guān)片段的位置以及相關(guān)峰的偏移給出。
[0043]在另一示例中，一般地，可以通過識別或計算媒體樣本的特性或指紋以及將指紋 與之前識別的指紋進行比較而識別媒體內(nèi)容。樣本內(nèi)計算指紋的特定位置取決于樣本中的 可再現(xiàn)點。這種可再現(xiàn)地可計算位置稱為"界標(biāo)（landmark)"。界標(biāo)在樣本內(nèi)的位置可以由 樣本本身確定，即取決于樣本質(zhì)量并且可再現(xiàn)。即，每次重復(fù)處理時，可以針對同一信號計 算相同或類似的界標(biāo)。加界標(biāo)方案可以對每秒聲音記錄標(biāo)記約5至約10個界標(biāo);然而，加界 標(biāo)密度取決于媒體記錄內(nèi)的活動量。一個加界標(biāo)技術(shù)(公知為功率規(guī)范(Power Norm))是在 記錄中的許多時間點計算瞬時功率，并選擇局部最大值。這么做的一個方法是通過直接對 波形進行整流和濾波而計算包絡(luò)。另一方法是計算信號的希爾伯特(Hi Ibert)變換(求積 分），并使用希爾伯特變換和原始信號的平方大小的和。也可以使用計算界標(biāo)的其它方法。 [0044] 一旦已經(jīng)計算了界標(biāo)，在記錄中的每個界標(biāo)時間點或其附近計算指紋。通過所使 用的指紋識別（fingerprinting)方法定義特征與界標(biāo)的接近度。在某些情況中，如果特征 清楚地對應(yīng)于界標(biāo)并且不對應(yīng)于前一或后一界標(biāo)，則認為該特征接近該界標(biāo)。在其它情況 中，特征對應(yīng)于多個相鄰界標(biāo)。指紋一般是一個值或值的集合，其總結(jié)記錄中在該時間點或 其附近的特征的集合。在一個實施例中，每個指紋是單個數(shù)值，其是多個特征的散列 (hashed)函數(shù)。指紋的其它示例包括頻譜片指紋、多片指紋、LPC系數(shù)、對數(shù)倒譜(cepstral) 系數(shù)、以及頻譜圖峰的頻率分量。
[0045] 可以通過對信號的任意類型的數(shù)字信號處理或頻率分析來計算指紋。在一個示例 中，為了生成頻譜片指紋，在每個界標(biāo)時間點附近執(zhí)行頻率分析，以提取最上幾個頻率峰。 指紋值從而可以是最強頻譜峰的單頻率值。關(guān)于計算音頻樣本的特性或指紋的更多信息， 讀者可以參考授權(quán)給Wang和Smith的美國專利No · 6，990，453，題為"System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion"，通過引 用將其全文合并到這里，如同在該說明書中全文記載一樣。
[0046] 因此，內(nèi)容識別模塊112將接收樣本并計算樣本的指紋。內(nèi)容識別模塊112可以通 過與附加的辨識引擎通信而計算指紋。為了識別樣本，內(nèi)容識別模塊112可以接著訪問數(shù)據(jù) 庫116,以通過如下方式將樣本的指紋與已知音軌的指紋匹配:生成數(shù)據(jù)庫116中的文件與 等效指紋之間的對應(yīng)關(guān)系來定位一文件，該文件具有最大數(shù)目的線性地有關(guān)的對應(yīng)關(guān)系， 或者其特性指紋的相對位置最嚴(yán)密地匹配樣本的相同指紋的相對位置。即，識別界標(biāo)對之 間的線性對應(yīng)關(guān)系，并根據(jù)線性地有關(guān)的對的數(shù)目對集合計分。例如，當(dāng)可以在允許的容限 內(nèi)利用基本相同的線性等式描述統(tǒng)計上大量的對應(yīng)樣本位置和文件位置時，可以發(fā)生線性 對應(yīng)關(guān)系。具有最高統(tǒng)計上重要的得分的集合(即具有最大數(shù)目的線性地有關(guān)的對應(yīng)關(guān)系） 的文件是勝出的文件，并被認為是匹配的媒體文件。
[0047] 作為識別媒體流內(nèi)的內(nèi)容的技術(shù)的再一示例，可以使用局部匹配技術(shù)分析媒體樣 本，以識別其內(nèi)容。例如，一般地，可以通過首先匹配從相應(yīng)的樣本導(dǎo)出的某些指紋對象來 表征兩個媒體樣本之間的關(guān)系。針對每個媒體樣本生成指紋對象的集合，每個指紋對象發(fā) 生在特定位置。根據(jù)相應(yīng)媒體樣本的內(nèi)容確定每個位置，并且每個指紋對象表征相應(yīng)特定 位置處或附近的一個或多個局部特征。接著，針對每對匹配的指紋對象確定相對值。接著生 成相對值的直方圖。如果發(fā)現(xiàn)統(tǒng)計上重要的峰值，則將這兩個媒體樣本表征為基本匹配。此 外，可以確定時間拉伸比，其表示:與原始音軌相比，音頻樣本已被加速或減慢多少。對于此 方法更詳細的說明，讀者可以參考授權(quán)給Wang和Culbert的美國專利No . 7，627，477，題為 "Robust and Invariant Audio Pattern Matching"，通過引用將其全文合并于此，如同在 該說明書中全文記載一樣。
[0048] 此外，在以上公布中描述的系統(tǒng)和方法可以不僅返回媒體樣本的標(biāo)識。例如，使用 授權(quán)給Wang和Smith的美國專利No . 6，990，453中描述的方法，除了可以返回關(guān)聯(lián)于所識別 的音軌的元數(shù)據(jù)之外，還可以返回從所識別的樣本的起始起的媒體樣本的相對時間偏移 (RTO)，稱為估計的所識別的媒體流位置T s。為了確定記錄的相對時間偏移，可以將樣本的 指紋與指紋所匹配的原始文件的指紋比較。每個指紋出現(xiàn)在給定時間，從而在匹配指紋以 識別樣本之后，（樣本中的匹配指紋的）第一指紋與存儲的原始文件的第一指紋之間的時 間差將是樣本的時間偏移，例如進入到歌曲中的時間量。因此，可以確定取得樣本的相對時 間偏移(例如，67秒進入到歌曲中）。也可以使用其它信息來確定RT0。例如，可以考慮直方圖 峰值的位置作為從參考記錄的起始到樣本記錄的起始的時間偏移。
[0049] 還可以根據(jù)媒體樣本的類型執(zhí)行其它形式的內(nèi)容識別。例如，可以使用視頻識別 算法來識別視頻流（例如電影）內(nèi)的位置。Oostveen, J.等的"Feature Extraction and a Database Strategy for Video Fingerprinting"，Lecture Notes in Computer Science (計算機科學(xué)中的講稿），2314(2002年3月11日），117-128頁中描述了示例視頻識別算法，通 過引用將其全部內(nèi)容合并于此。例如，可以通過確定哪個視頻幀被識別而導(dǎo)出視頻樣本到 視頻中的位置。為了識別視頻幀，可以將媒體樣本的幀劃分為行和列的網(wǎng)格，并且對于網(wǎng)格 的每個塊，計算像素的亮度值的平均值?？梢詫⒖臻g濾波器應(yīng)用到計算的平均亮度值，以導(dǎo) 出網(wǎng)格的每個塊的指紋比特。指紋比特可被用于唯一地識別幀，并且可被與包括已知媒體 的數(shù)據(jù)庫的指紋比特進行比較或匹配?？梢詫膸刑崛〉闹讣y比特稱為子指紋，并且指 紋塊是來自連續(xù)幀的固定數(shù)據(jù)的子指紋。使用子指紋和指紋塊，可以執(zhí)行視頻樣本的識別。 基于媒體樣本包括哪個幀，可以確定進入到視頻中的位置(即時間偏移）。
[0050] 此外，也可以執(zhí)行其它形式的內(nèi)容和/或位置識別，諸如使用加水印方法?？梢酝?過位置識別模塊110使用加水印方法來確定時間偏移，使得媒體流可已經(jīng)不時地嵌入水印， 并且例如，每個水印通過直接地或經(jīng)由數(shù)據(jù)庫查找而間接地指定水印的時間或位置。替代 地，如果媒體流包括直接或間接地指示時間或位置偏移值的所嵌入的水印，則客戶端設(shè)備 104可以確定正被渲染的媒體的樣本的時間偏移，而無需與位置識別模塊110進行通信。
[0051] 在每個前述用于實施內(nèi)容識別模塊112的功能的示例內(nèi)容識別方法中，識別處理 的副作用可能是媒體樣本在媒體流內(nèi)的時間偏移(例如，估計的所識別的媒體流位置!^)。 因此，在這些情況中，位置識別模塊110可以與內(nèi)容識別模塊112相同，或者可以通過內(nèi)容識 別模塊112執(zhí)行位置識別模塊110的功能。
[0052]因此，用戶可以從客戶端設(shè)備104向位置識別模塊110發(fā)送位置識別查詢，位置識 別模塊110可以使用這里描述的任何技術(shù)來將與內(nèi)容有關(guān)的信息返回到客戶端設(shè)備104,并 且可選地，可訪問內(nèi)容識別模塊112來識別內(nèi)容。這里所描述的示例實施例適用于任何類 型的媒體流，例如預(yù)錄或現(xiàn)場音樂、音頻、視頻、音頻和視頻的組合、或者任何其它類型的遵 循媒體流中的位置的時間線的媒體或事件序列。示例實施例還適用于任何格式的媒體流， 例如，CD、DVD上的媒體、壓縮的數(shù)字媒體、MIDI文件、動畫序列、控制序列、腳本、幻燈片等。 [0053]在其它示例中，客戶端設(shè)備104或服務(wù)器108還可以訪問媒體流庫數(shù)據(jù)庫118,以選 擇對應(yīng)于所采樣的媒體的媒體流，其接著可被返回給客戶端設(shè)備104以被客戶端設(shè)備104渲 染。媒體流庫數(shù)據(jù)庫118可以位于客戶端設(shè)備104中或服務(wù)器108中，或者替代地，客戶端設(shè) 備104和服務(wù)器108之一或兩者均可以通過網(wǎng)絡(luò)連接到媒體流庫數(shù)據(jù)庫118。在圖1中，例如， 媒體流庫數(shù)據(jù)庫118被顯示為連接到服務(wù)器108。此外，媒體流庫數(shù)據(jù)庫118中的信息或媒體 流庫數(shù)據(jù)庫118本身可被包括在數(shù)據(jù)庫116內(nèi)。
[0054] 媒體流庫數(shù)據(jù)庫118中的對應(yīng)于媒體樣本的媒體流可由客戶端設(shè)備104的用戶手 動選擇，由客戶端設(shè)備104編程地選擇，或者由服務(wù)器108基于例如內(nèi)容識別模塊112確定的 媒體樣本的標(biāo)識而選擇。所選擇的媒體流可以是與媒體樣本不同類型的媒體，并且可以與 媒體渲染源102正在渲染的媒體同步。例如，媒體樣本可以是音樂，并且所選擇的媒體流可 以是歌詞、樂譜、吉他符號譜、音樂伴奏、視頻、操縱木偶舞蹈、動畫序列等，它們可以與音樂 同步?？蛻舳嗽O(shè)備104可以接收所選擇的對應(yīng)于媒體樣本的媒體流，并且可以與正被媒體渲 染源102渲染的媒體同步地渲染所選擇的媒體流。
[0055] 正被媒體渲染源102渲染的媒體的估計時間位置由位置識別模塊110確定，并被用 于確定所選擇的媒體流內(nèi)渲染所選擇的媒體流的對應(yīng)位置。客戶端設(shè)備104可以接著與正 被媒體渲染源102渲染的媒體同步地渲染和呈現(xiàn)所選擇的媒體流。
[0056] 客戶端設(shè)備104可以包括位置追蹤模塊120,以確保兩個媒體流之間的精確同步。 當(dāng)觸發(fā)客戶端設(shè)備104捕獲媒體樣本時，從客戶端設(shè)備104的參考時鐘記錄時間戳(To)。在 任意時間t，從估計的所識別的媒體流位置Ts加上從時間戳的時間起經(jīng)過的時間而確定估 計的實時媒體流位置T r(t):
[0057] Tr(t)=Ts+t-To 等式（1)
[0058] Tr(t)是從參考點（諸如媒體流的起始)至媒體流的當(dāng)前正被渲染的實時位置經(jīng)過 的時間量。因此，使用Ts(g卩，從媒體流的起始至媒體流的基于記錄的樣本的位置的估計的 時間經(jīng)過量），可以計算T r(t)。接著，客戶端設(shè)備104使用Tr(t)來與正被媒體渲染源102渲染 的媒體同步地呈現(xiàn)所選擇的媒體流。例如，客戶端設(shè)備104可以在時間位置T r(t)處或者在 使得已經(jīng)經(jīng)過了時間量Tr(t)的位置處開始渲染所選擇的媒體流。
[0059] 位置追蹤可能由于許多原因而喪失同步。在一個實例中，媒體流可能被媒體渲染 源102以非預(yù)期的速度渲染。例如，如果正在未校準(zhǔn)的唱機轉(zhuǎn)盤或CD播放器上播放音樂記 錄，則音樂記錄可能被比預(yù)期的參考速度播放得更快或更慢，或者以與存儲的參考媒體流 不同的方式播放?；蛘?，有時，DJ可能有意地改變音樂記錄的速度，以獲得一定的效果，諸如 匹配多個軌道之間的節(jié)奏。在這樣的情況中，隨著t增大，估計的位置T r(t)可能變得不正 確，結(jié)果，選擇的媒體流可能喪失同步。作為參考速度的示例，CD播放器被預(yù)期以每秒44100 個樣本而渲染;45RPM黑膠唱片被預(yù)期在唱機轉(zhuǎn)盤上以每分鐘45轉(zhuǎn)而播放;并且NTSC視頻流 被預(yù)期以每秒60幀而播放。
[0060] 在某些實施例中，為了減輕或阻止所選擇的媒體流喪失與媒體渲染源102正在渲 染的媒體的同步，可以根據(jù)速度調(diào)整比率R調(diào)整估計的位置Tr(t)。例如，在美國專利No. 7， 627,477,題為"Robust and invariant audio pattern matching"（通過引用將其全部內(nèi) 容合并于此）中描述的方法可被執(zhí)行來識別媒體樣本、所估計的識別的媒體流位置^、和速 度比率R。
[0061 ] 為了估計速度比率R，計算匹配指紋的變化部分的交叉頻率(cross-frequency)比 率，并且，因為頻率與時間成反比，所以交叉時間比率是交叉頻率比率的倒數(shù)。交叉速度比 率R是交叉頻率比率(例如，交叉時間比率的倒數(shù)）。
[0062] 更具體地，使用上述方法，可以通過生成樣本的時間-頻率頻譜圖（例如，計算傅里 葉變換以生成每個幀中的頻率分布(bin))并識別頻譜圖的局部能量峰，來表征兩個音頻樣 本之間的關(guān)系。與局部能量峰有關(guān)的信息被提取和總結(jié)到指紋對象的列表中，每個指紋對 象可選地包括位置字段、變化成分、和不變成分。從各個音頻樣本的頻譜圖導(dǎo)出的某些指紋 對象可接著被匹配。針對每對匹配的指紋對象來確定相對值，其例如可以是各個音頻樣本 的參數(shù)值的商或?qū)?shù)差。
[0063] 在一個示例中，從媒體樣本的頻譜圖中選擇頻譜峰的局部對，并且每個局部對包 括指紋。類似地，從已知媒體流的頻譜圖中選擇頻譜峰的局部對，并且每個局部對包括指 紋。確定樣本和已知媒體流之間的匹配指紋，并計算針對樣本和媒體流中的每個的頻譜峰 之間的時間差。例如，樣本的兩個峰之間的時間差被確定并與已知媒體流的兩個峰之間的 時間差進行比較?？梢源_定這兩個時間差的比率，并可以生成包括這樣的比率(例如從匹配 的指紋對中提?。┑闹狈綀D?？梢詫⒅狈綀D的峰值確定為實際速度比率(例如，媒體渲染源 102正在播放媒體的速度與渲染參考媒體文件的參考速度相比的比率）。因此，可以通過找 到直方圖中的峰值(例如，使得直方圖中的峰值將兩個音頻樣本之間的關(guān)系表征為相對節(jié) 距(pitch)，或者在線性拉伸的情況下表征為相對回放速度)而獲得速度比率R的估計。
[0064] 替代地，可以從來自樣本和已知媒體流的匹配指紋的頻率值確定相對值。例如，樣 本的一對頻譜圖峰的錨點的頻率值被確定并與媒體流的一對頻譜圖峰的錨點的頻率值進 行比較?？梢源_定這兩個頻率值的比率，并且可以生成包括這種比率(例如從匹配的指紋對 中提取)的直方圖?？梢詫⒅狈綀D的峰值確定為實際速度比率R。在等式中，
[0065]
等式（2 )
[0066] 其中f稱和f流是匹Sd指紋的變化頻率值，如Wang和Culber的美國專利No. 7,627， 477中所描述的，通過引用將其全文合并于此。
[0067] 因此，可以使用來自兩個音頻樣本的對應(yīng)變化成分從匹配的指紋對象估計全局相 對值(例如，速度比率R)。變化成分可以是從每個指紋對象的位置附近的局部特征確定的頻 率值。速度比率R可以是頻率或時間增量(delta time)的比率，或者是導(dǎo)致用于描述兩個音 頻樣本之間的映射的全局參數(shù)的估計的某些其它函數(shù)。例如，速度比率R可以被認為是相對 回放速度的估計。
[0068] 也可以使用其它方法估計速度比率R。例如，可以捕獲媒體的多個樣本，并且可以 對每個樣本執(zhí)行內(nèi)容識別，以針對第k個樣本，在參考時鐘時間To(k)獲得多個估計的媒體 流位置T s (k)。從而，R可以被估計為：
[0069；
[0070： I以下等式：
[0071；
[0072] 因此，可以使用在時間跨度上估計的時間位置Ts來計算速度比率R，以確定媒體渲 染源102正在渲染媒體的速度。
[0073] 使用速度比率R，可以將實時媒體流位置的估計計算為：
[0074] Tr(t)=Ts+R(t-To)等式（5)
[0075]實時媒體流位置表示媒體樣本的時間位置。例如，如果媒體樣本來自于具有4分鐘 長度的歌曲，并且如果Tr(t)是1分鐘，則其表示歌曲已經(jīng)經(jīng)過了 1分鐘。
[0076]圖1中的系統(tǒng)還可以包括間斷檢測模塊122,其可以包含在客戶端設(shè)備104和/或服 務(wù)器108內(nèi)，或者間斷檢測模塊122的功能例如可以可選地由客戶端設(shè)備104的組件和/或服 務(wù)器108的組件執(zhí)行。替代地，如圖1中所示，間斷檢測模塊122可以是例如使用無線或有線 通信技術(shù)與客戶端設(shè)備104和/或服務(wù)器108通信的獨立實體。
[0077]間斷檢測模塊122可以檢測正被媒體渲染源102渲染的媒體流是否被意外地中斷。 這可能在如下情況中發(fā)生:例如，在媒體渲染源102上改變了頻道，或者某人停止了媒體流 的播出或者跳到媒體流中的不同位置。如果從媒體庫數(shù)據(jù)庫118選擇的媒體流將繼續(xù)播放， 則這兩個媒體流將喪失同步或不連貫。間斷檢測模塊122可以停止所選擇的媒體流或者嘗 試重新同步這兩個媒體流。因此，間斷檢測模塊122可以驗證是否正與正被媒體渲染源102 渲染的媒體流同步地渲染所選擇的媒體流。
[0078] 如以上作為示例方法所描述的，可以通過執(zhí)行周期性的位置和/或內(nèi)容識別采樣 以計算速度比率R，來實施間斷檢測模塊122的功能，并且因此，間斷檢測模塊122可以與服 務(wù)器108通信。如果在某點上，內(nèi)容識別不再成功，則正被媒體渲染源102渲染的媒體流已經(jīng) 停止?；蛘?，如果不同的媒體流被識別，則可能頻道改變，正在播放新的軌道，等等。
[0079] 為了確定正被媒體渲染源102渲染的媒體流中的間斷，間斷檢測模塊122可以周期 性地從客戶端設(shè)備104接收媒體樣本，并且對媒體樣本執(zhí)行指紋提取。間斷檢測模塊122也 可以從位置識別模塊110接收信息，該信息包括對準(zhǔn)文件，該對準(zhǔn)文件包括貫穿媒體流的參 考媒體流的多個指紋。間斷檢測模塊122可以接著將從周期性地接收的媒體樣本提取的指 紋與對準(zhǔn)文件中的指紋進行比較，以確定正被媒體渲染源102渲染的媒體流是否已被中斷。 當(dāng)未發(fā)現(xiàn)可識別的指紋匹配時，間斷檢測模塊122可以確定媒體流已被中斷或結(jié)束。
[0080] 例如也可以使用上述方法或者授權(quán)給Wang和Smith的美國專利No. 6，990，453中描 述的方法來執(zhí)行指紋匹配。
[0081] 此外，間斷檢測模塊122可以（從內(nèi)容識別模塊112)獲知媒體流的內(nèi)容識別，并因 此可以接收用于媒體流的指紋的文件。間斷檢測模塊122將預(yù)計某些指紋在預(yù)定時間會出 現(xiàn)在樣本中，并且，如果未見到預(yù)期的指紋，則可以確定間斷。例如，如果已經(jīng)經(jīng)過了某一時 間量而沒有預(yù)定指紋匹配，則可以確定間斷。
[0082] 在確定了間斷的類型時，間斷檢測模塊122可以進行多個事情之一。在一個示例 中，基于速度漂移的檢測，間斷檢測模塊122可以對速度比率R進行調(diào)整，從而執(zhí)行媒體流的 重新同步。在另一示例中，基于大間斷的檢測，間斷檢測模塊122可以使用位置識別模塊110 重新對準(zhǔn)媒體流，以便執(zhí)行媒體流的重新同步。在再一示例中，間斷檢測模塊122可以使用 內(nèi)容識別模塊112來檢測新媒體流，并選擇不同的匹配的媒體流和新流中的新位置用于同 步。在另一示例中，如果位置和/或內(nèi)容識別失敗，間斷檢測模塊122可以指示客戶端設(shè)備 104停止渲染所選擇的媒體。
[0083]例如，客戶端設(shè)備104可以從間斷檢測模塊122接收通知，并接著停止顯示所選擇 的媒體流或改變?yōu)轱@示從媒體流庫數(shù)據(jù)庫118中選擇的新媒體流，該新媒體流與正從媒體 渲染源102渲染的新媒體流同步。
[0084] 間斷檢測模塊122可以因此替代地執(zhí)行或指示客戶端設(shè)備104執(zhí)行對從媒體庫數(shù) 據(jù)庫118選擇的媒體與正被媒體渲染源102渲染的媒體的對準(zhǔn)的更新。間斷檢測模塊122可 以基于錯誤預(yù)測的指紋匹配的對準(zhǔn)而確定調(diào)整所選擇的媒體在客戶端設(shè)備104上的渲染的 偏移值，使得將所選擇的媒體與媒體渲染源102對媒體流的渲染重新對準(zhǔn)和同步。
[0085] 替代地，如果間斷檢測模塊122不再識別到來自周期性地接收的媒體樣本的指紋 與對準(zhǔn)文件中的指紋的匹配，則間斷檢測模塊122可以告知客戶端設(shè)備104執(zhí)行從媒體流庫 數(shù)據(jù)庫118選擇的媒體與媒體渲染源102正渲染的媒體的重新同步。為了這么做，客戶端設(shè) 備104可以重新執(zhí)行以下方法:捕獲媒體的新樣本并將新樣本發(fā)送到位置識別模塊110,以 確定時間偏移。
[0086] 仍然，替代地，基于指紋匹配的連續(xù)缺失，間斷檢測模塊122可以確定媒體流不再 被渲染(例如如果位置檢測模塊110未檢測到匹配的時間偏移），并因此例如可以指示客戶 端設(shè)備104停止渲染所選擇的媒體，或者執(zhí)行新內(nèi)容識別。客戶端設(shè)備104可以發(fā)送新樣本 給內(nèi)容識別模塊112,以識別正被媒體渲染源102渲染的新媒體流。如果識別的媒體流已改 變，則客戶端設(shè)備104可以從媒體流庫數(shù)據(jù)庫118選擇新媒體流，其對應(yīng)于要被客戶端設(shè)備 104同步渲染的媒體樣本。
[0087]圖2示出了用于同步媒體流的方法200的說明性實施例的流程圖。應(yīng)該理解，對于 這里公開的此以及其它處理和方法，流程圖示出了當(dāng)前實施例的一個可能的實施方式的功 能和操作。在這一點上，每個方框可以表示程序代碼的模塊、片段或部分，其包括可由處理 器執(zhí)行用于實施處理中的特定邏輯功能或步驟的一個或多個指令。程序代碼可以存儲在任 何類型的計算機可讀介質(zhì)中，例如存儲設(shè)備，包括盤或硬盤驅(qū)動器。計算機可讀介質(zhì)可以包 括非暫時性計算機可讀介質(zhì)，例如，短時段內(nèi)存儲數(shù)據(jù)的計算機可讀介質(zhì)，如寄存器存儲 器、處理器高速緩存和隨機存取存儲器(RAM)。計算機可讀介質(zhì)也可以包括非暫時性介質(zhì)， 諸如二次或永久長期存儲裝置，如只讀存儲器(R0M)、光或磁盤、光盤只讀存儲器(CD-ROM)。 計算機可讀介質(zhì)也可以是任何其它易失性或非易失性存儲系統(tǒng)。例如，計算機可讀介質(zhì)可 以被認為是計算機可讀存儲介質(zhì)。
[0088]此外，圖2中每個方框可以表示被布線以執(zhí)行處理中的特定邏輯功能的電路。替代 的實施方式包含在本公開的示例實施例的范圍內(nèi)，其中，可以不以所顯示或說明的順序執(zhí) 行功能，包括基本同時或以相反順序執(zhí)行，這取決于所涉及的功能，如本領(lǐng)域的技術(shù)人員所 理解的。
[0089]初始地，在方框202,客戶端設(shè)備接收正被媒體渲染源渲染的媒體流的媒體樣本。 客戶端設(shè)備可以在媒體流被渲染時通過記錄媒體樣本而接收媒體樣本。媒體樣本與時間戳 關(guān)聯(lián)或具有時間戳，該時間戳對應(yīng)于媒體樣本的采樣時間。例如，客戶端設(shè)備可以捕獲正被 渲染的媒體流的樣本，并且基于客戶端設(shè)備上的時鐘記錄樣本被記錄的時間。
[0090] 接著可以確定媒體樣本的時間偏移，其指示媒體流中對應(yīng)于媒體樣本的采樣時間 的時間位置，如在方框204所示。例如，客戶端設(shè)備可以將媒體流的樣本發(fā)送到位置識別模 塊，該位置識別模塊將返回媒體樣本的識別和時間偏移。替代地，客戶端設(shè)備可以確定時間 偏移。
[0091] 可選地，接著確定時間尺度比，其指示基于媒體流的參考速度的由媒體渲染源渲 染媒體的速度，如在方框206所示。時間尺度比可以由客戶端設(shè)備或者由服務(wù)器確定，并被 返回給客戶端設(shè)備。時間尺度比不是同步媒體流所必須的;然而，在某些實施例中可以包括 時間尺度比。
[0092] 接著使用實時時間戳、媒體樣本的時間戳、時間偏移、以及可選地使用時間尺度 比，來確定指示當(dāng)前時間的實時偏移，如方框208中所示?？梢允褂蒙鲜龅仁剑?)或等式(4) 計算實時偏移。
[0093] 客戶端設(shè)備可以接著在對應(yīng)于實時偏移的位置處渲染第二媒體流，以與正被媒體 渲染源渲染的媒體流同步，如方框210所示?？蛻舳嗽O(shè)備可以接收第二媒體流，或者可以例 如基于正被媒體渲染源渲染的媒體流的標(biāo)識而從客戶端設(shè)備的存儲器（例如本地存儲裝 置)或者從數(shù)據(jù)庫選擇第二媒體流。第二媒體流可以與正被媒體渲染源渲染的媒體流有關(guān)， 并且可以基于媒體流的內(nèi)容識別而被選擇。在某些示例中，第二媒體流可以是對應(yīng)于識別 的媒體流的歌詞。替代地，第二媒體流可以是任何類型的媒體流，例如電影、聲軌、歌詞、文 本、視頻剪輯、圖片、幻燈片、文檔等。
[0094]在一個實施例中，可以執(zhí)行方法200來將歌曲歌詞在第一設(shè)備上的顯示與正被第 二設(shè)備或媒體渲染源播放的歌曲同步。第一設(shè)備的用戶因此可以實時地觀看對應(yīng)于識別的 周邊音樂的歌詞。可以在與周邊音樂同步的時間位置處顯示歌詞文本。在一個示例中，當(dāng)歌 曲正被第二設(shè)備播放時，可以在第一設(shè)備的顯示器上滾動歌詞文本，使得當(dāng)該歌詞被歌唱 時顯示歌詞文本。
[0095] 在此示例中，提供用于向用戶觸發(fā)信息傳送事件的方法和系統(tǒng)。收聽任何媒體渲 染源(例如在家中收聽流行音樂的商業(yè)無線電廣播）的用戶可能感興趣于隨同正播放的特 定歌曲一起歌唱，并因此期望獲得歌曲歌詞。使用采樣設(shè)備(諸如移動(或蜂窩）電話、錄影 機、相機、個人數(shù)字助理(PDA)或掌中寶），用戶捕獲媒體渲染源的樣本，并例如將樣本發(fā)送 到服務(wù)提供商。為了發(fā)送樣本，用戶可以撥打預(yù)定電話號碼以訪問服務(wù)，并接著將電話聽筒 保持在音頻信號源（即，用戶的家用立體聲系統(tǒng)的揚聲器)的可聽距離內(nèi)，以捕獲環(huán)境的樣 本。在此示例中，經(jīng)驗環(huán)境包括在用戶的家用立體聲系統(tǒng)上播放的音樂。替代地，用戶可以 使用采樣設(shè)備來記錄正被播放的音樂的樣本，并可以將樣本發(fā)送到服務(wù)器。
[0096] 服務(wù)提供商或服務(wù)器采用的系統(tǒng)使用辨識引擎來將捕獲的樣本與數(shù)據(jù)庫中的音 樂記錄進行比較，以識別歌曲并因此為用戶觸發(fā)期望的事件。在此示例中，觸發(fā)的事件是 將對應(yīng)于從捕獲的樣本辨識的歌曲的歌詞信息傳送給用戶。
[0097] 可以實時和延遲模式的多種不同的方式完成事件的實現(xiàn)，即，將期望的歌曲歌詞 傳送給用戶。在實時模式中，傳送歌詞數(shù)據(jù)，使得用戶可以閱讀歌詞，以在廣播歌曲時及時 地隨同歌曲而歌唱。因此，對應(yīng)于捕獲的樣本的歌曲的數(shù)據(jù)被從數(shù)據(jù)庫讀出，并被服務(wù)提供 商發(fā)送給能夠顯示文本的用戶設(shè)備。
[0098] 取決于顯示設(shè)備和用戶偏好，可以批量布置的方式發(fā)送歌詞的實時傳送，在批量 布置中同時下載整個歌詞數(shù)據(jù)或者相對大的部分，或者，使用分離布置發(fā)送歌詞的實時傳 送，在分離布置中，自動將歌詞數(shù)據(jù)與歌曲同步，并且隨著歌曲的前進而分片地發(fā)送給用 戶。對于批量傳送，用戶可以選擇將歌詞的顯示與正被播放的歌曲同步(使得在廣播中的歌 曲表演者歌唱或說出歌詞之前以合適的時間間隔顯示歌詞），或者，在某些應(yīng)用中，用戶設(shè) 備可以配置為執(zhí)行批量發(fā)送的同步。服務(wù)提供商可以發(fā)送歌詞數(shù)據(jù)，以自動與廣播歌曲同 步，而用戶或用戶設(shè)備不需要任何動作。通過導(dǎo)出捕獲的樣本在辨識的歌曲中的時間位置 而實現(xiàn)這樣的自動同步，并且例如接著可以隨著歌曲前進而分片地將歌詞發(fā)送到用戶設(shè) 備。
[0099] 事件實現(xiàn)的延遲模式包括在歌曲廣播之后的某個時間傳送對應(yīng)于采樣的歌曲的 歌詞?？梢耘c被表征為更耗時的傳送方法(諸如，郵件、郵遞(courier)以及傳真?zhèn)鬏?一起 使用與利用實時模式相同的傳送方法。
[0100] 在示例實施例中，可以通過語音或觸摸音調(diào)（即DTMF音調(diào)）收集附加用戶輸入，以 進一步控制歌詞傳送或觸發(fā)附加事件，諸如交易事件。例如，通過分別經(jīng)由捕獲設(shè)備或傳送 設(shè)備、電話和文本顯示設(shè)備而與用戶交互，服務(wù)提供商可以向用戶提供購買選項，以獲得包 含歌詞被尋找的廣播和識別的歌曲的唱片專輯。
[0101]圖3A-3B示出了用于識別媒體內(nèi)容并將數(shù)據(jù)與識別的媒體內(nèi)容同步的系統(tǒng)的另一 示例。在圖3A的系統(tǒng)中，媒體內(nèi)容可以是歌曲，并且系統(tǒng)被操作來使用客戶端設(shè)備304捕獲 被隨機媒體渲染源302渲染的歌曲的樣本，以及識別樣本的時間偏移，并接著提供歌曲的歌 詞在客戶端設(shè)備304上的同步顯示。
[0102] 媒體渲染源302可以是任何形式。圖3A中所示的示例包括收音機和電視、預(yù)錄的音 頻和視頻(例如磁帶、CD、DVD、MP3等）、因特網(wǎng)和基于計算機的系統(tǒng)上的媒體、現(xiàn)場演示或 表現(xiàn)。其它示例包括電話、來自周邊環(huán)境的感官刺激、以及可以單獨或組合地形成典型媒體 渲染源的元件的其它組件。
[0103] 客戶端設(shè)備304可以被用于從媒體渲染源302捕獲歌曲的樣本?？蛻舳嗽O(shè)備304可 以包括麥克風(fēng)或其它組件用以記錄樣本?？蛻舳嗽O(shè)備304可以接著通過無線或有線通信將 樣本發(fā)送到服務(wù)器306。在圖3A中示出的示例中，客戶端設(shè)備304通過無線通信網(wǎng)絡(luò)（未示 出）與服務(wù)器306通信。無線通信網(wǎng)絡(luò)可以是任何無線網(wǎng)絡(luò)，例如，下述中的任一個:蜂窩無 線網(wǎng)絡(luò)、無線局域網(wǎng)(WLAN)或Wi-Fi網(wǎng)絡(luò)、藍牙網(wǎng)絡(luò)或其它無線個人區(qū)域網(wǎng)(WPAN)、無線城 域網(wǎng)(WMAN)、或無線廣域網(wǎng)(WffAN)。
[0104] 服務(wù)器306包括位置識別模塊308和內(nèi)容識別模塊310。然而，位置識別模塊308和/ 或內(nèi)容識別模塊310中的任一個可以是獨立的實體，或者替代地，位置識別模塊308和/或內(nèi) 容識別模塊310可以是同一實體或者可以具有由同一實體執(zhí)行的功能。
[0105]服務(wù)器306使用這里描述的任何方法，從客戶端設(shè)備304接收樣本并執(zhí)行內(nèi)容識 另IJ。服務(wù)器306可以訪問歌曲數(shù)據(jù)庫312,以將樣本與歌曲的已知樣本進行比較以識別樣本， 以及檢索關(guān)于識別的樣本的信息。服務(wù)器306可以接著訪問歌詞數(shù)據(jù)庫314,以檢索識別的 歌曲的歌詞。
[0106]關(guān)于歌曲的信息以及包括歌曲的所有歌詞的批量文件接著被發(fā)送到客戶端設(shè)備 304,如圖3B中所示。信息的一部分可以包括所估計的識別的媒體流位置Ts，客戶端設(shè)備304 可以使用該位置1計算所估計的實時媒體流位置Tr(t)。所估計的識別的媒體流位置Ts是識 別的音軌的長度內(nèi)的對應(yīng)于音頻樣本的起始的時間。歌詞可以是注釋了時間的歌詞316,其 包括關(guān)于歌詞的每行或每詞的媒體流時間位置的信息。在一個示例中，歌詞可以包括在XML 文件中，該XML文件包括包含注釋的時間字段，或者，可以其它方式將定時信息嵌入在歌詞 內(nèi)。客戶端設(shè)備304可以接著在時間位置T r(t)渲染歌詞，使得與正被媒體渲染源302渲染的 歌詞同步地(例如，同時或大致同時)顯示歌詞的文本。
[0107] 替代地，服務(wù)器306可以不在一個文件中將歌曲的所有歌詞都發(fā)送到客戶端設(shè)備 304,而是可以與正被媒體渲染源302渲染的歌曲同步地將歌詞流式傳輸?shù)娇蛻舳嗽O(shè)備304。 可以在媒體渲染源302渲染歌詞前的時刻將歌詞發(fā)送到客戶端設(shè)備304,使得客戶端設(shè)備 304有時間來接收歌詞，并與媒體渲染源302渲染的歌詞同步地顯示歌詞。
[0108] 圖4示出了用于將歌詞與正被媒體渲染源渲染的歌曲同步的方法400的說明性實 施例的流程圖。初始地，如方框402中所示，客戶端設(shè)備向位置識別模塊發(fā)送正由媒體渲染 源渲染的歌曲的音頻樣本。音頻樣本與時間戳(To)關(guān)聯(lián)、或具有時間戳(To)，該時間戳(T 0) 對應(yīng)于音頻樣本的采樣時間?？蛻舳嗽O(shè)備將從位置識別模塊接收樣本的時間偏移(Ts)并可 選地接收時間尺度比（R)，時間偏移(T s)指示歌曲中對應(yīng)于音頻樣本的采樣時間的時間位 置，時間尺度比(R)指示基于歌曲的參考速度的由媒體渲染源渲染歌曲的速度，如方框404 中所示。時間尺度比可選地被用于校正歌曲的渲染與歌曲的參考速度相比的差。因此，時間 尺度比可被用于補償歌曲中的時間漂移。
[0109] 客戶端設(shè)備接著使用指示當(dāng)前時間的實時時間戳、音頻樣本的時間戳、時間偏移、 以及可選地使用時間尺度比，來計算實時偏移，如方框406所示。
[0110] 客戶端設(shè)備將接收歌曲的文本歌詞，如方框408所示。歌詞可以是注釋了時間的歌 詞，其包括用于歌詞的行組、每行、或詞的時間標(biāo)簽。時間標(biāo)簽可以指示歌曲中被歌唱的歌 詞的時間位置(例如對應(yīng)于經(jīng)過了的時間量）。例如可以將歌詞作為文本文件或XML文件發(fā) 送到客戶端設(shè)備。客戶端設(shè)備可以接著在對應(yīng)于實時偏移的位置渲染文本歌詞，以與被媒 體渲染源渲染的歌曲同步，如方框410所述?？蛻舳嗽O(shè)備可以滾動的方式渲染歌詞，從而在 歌唱歌詞時顯示文本歌詞。此外，例如，可以在歌唱歌詞的詞時突顯歌詞，可以使用指針來 指示正在歌唱哪些歌詞，或者可以使用其它方法來指示在歌唱歌詞的詞時(或基本同時）正 在歌唱的詞。在這一點上，例如，客戶端設(shè)備可以動畫的方式渲染歌詞，使得在歌唱歌詞的 詞時（例如同步地)顯示該詞，或者使得顯示所有詞、或者比當(dāng)前正在歌唱的詞更多的詞，而 以動畫的方式強調(diào)正被歌唱的那些詞。可以使用任何類型的動畫來顯示歌詞。
[0111] 客戶端設(shè)備還可以在不同的或以后的時段向位置識別模塊發(fā)送歌曲的附加樣本， 以接收對時間偏移的更新。以此方式，客戶端設(shè)備可以驗證例如在時間上歌詞被同步地顯 示。客戶端設(shè)備可以在更新的時間偏移位置顯示歌詞，以確保歌詞匹配在歌曲的渲染中可 能的改變，例如，如果音樂家減慢節(jié)奏，或者在歌曲中具有任何中斷。
[0112]使用方法400,用戶的設(shè)備(例如，蜂窩電話)可以記錄正被任何類型的隨機媒體渲 染源渲染的音樂的樣本，并接著將歌詞與歌曲同步，用于在用戶的設(shè)備上顯示。例如，用戶 的設(shè)備可以因此操作為現(xiàn)場卡拉OK設(shè)備。
[0113]在另一實施例中，方法200可被執(zhí)行以將音樂信息（例如，吉他符號譜或傳統(tǒng)樂譜 或音樂游戲格式)在第一設(shè)備上的顯示與正被第二設(shè)備或媒體渲染源播放的歌曲同步。第 一設(shè)備的用戶可以因此實時地觀看與識別的周邊音樂對應(yīng)的音樂信息。可以在與周邊音樂 同步的時間位置顯示音樂信息。在一個示例中，當(dāng)?shù)诙O(shè)備播放歌曲時，可以在第一設(shè)備上 的顯示器上滾動音樂信息，使得當(dāng)渲染音樂信息時顯示該信息。
[0114]圖5示出了音樂信息的示例，其可以包括傳統(tǒng)的樂譜502、吉他符號譜504、或其它 樂譜。可以將音樂信息作為注釋了時間的音樂文件提供給用戶的設(shè)備，該注釋了時間的音 樂文件指示每行的時間順序。用戶的設(shè)備可以接著在播放音樂時與音樂同步地顯示音樂信 息。這使得用戶能夠以同步的方式隨同用戶正聽的歌曲進行演奏。
[0115]樂譜/符號譜的同步使用音頻辨識，以隨著音樂源正渲染音樂而及時顯示樂譜/符 號譜，并且提供音樂家能夠?qū)崟r地隨著音樂而進行演奏的方法。這對于音樂家是有用的，例 如，在學(xué)習(xí)音樂時，許多演奏者希望隨同收音機上的音樂或其它喜歡的歌曲進行演奏。同步 的樂譜/符號譜使得音樂家能夠在音樂過程中受到引導(dǎo)，并且能夠被指示在歌曲中聽到音 符的點要演奏什么。
[0116] 在另一示例中，音樂家可以在樂器（例如，吉他、鋼琴、木管樂器、樂器數(shù)字界面 (midi)設(shè)備等)上演奏音樂，并且使用這里描述的方法，可以識別音樂家正在演奏的歌曲。 此外，可以將歌曲的音樂信息（例如吉他符號譜/傳統(tǒng)樂譜/音樂游戲格式)返回到設(shè)備，并 在音樂家的設(shè)備的屏幕上顯示?？梢栽谝魳芳已葑喔枨鷷r與歌曲同步地顯示樂譜。
[0117] 此示例同步方法使用音頻辨識來識別音樂家演奏的音樂，并接著及時地與音樂同 步樂譜/符號譜。這可以幫助音樂家，因為當(dāng)學(xué)習(xí)音樂時，大多數(shù)演奏者可能知道歌曲的開 始，但不知道歌曲的其余部分。此外，這使得演奏者能夠?qū)W習(xí)音樂而不需要停止和開始演奏 以及在樂譜中翻頁（因為音樂將貫穿音樂家的設(shè)備上的歌曲）。
[0118] 在另一實施例中，這里描述的方法可被執(zhí)行來將電影或音樂視頻在第一設(shè)備上的 顯示與被第二設(shè)備或媒體渲染源播放的媒體(例如聲軌或歌曲）同步。第一設(shè)備的用戶因此 可以實時地觀看對應(yīng)于識別的周圍音樂的音樂視頻?？梢栽谂c周邊音樂同步的時間位置顯 示音樂視頻。
[0119] 在再一實施例中，媒體流可以是視頻流，并且第二媒體流可以是視頻流的聲軌。此 外，或者作為替代，媒體流可以是聲軌，并且第二媒體流可以是電影。
[0120] 在再一實施例中，第二媒體流可以是第一媒體流的替代版本，例如不同語言的版 本?；蛘?，第二媒體流可以具有與第一媒體流不同的分辨率，例如，高清或者7.1聲道環(huán)繞 聲，使得通過同步第二媒體流，可以提供第一媒體流的更高質(zhì)量的版本。
[0121] 圖6示出了用于識別媒體內(nèi)容并將媒體與識別的媒體內(nèi)容同步的系統(tǒng)的另一示 例。在圖6的系統(tǒng)中，媒體內(nèi)容可以是歌曲，并且系統(tǒng)被操作來使用客戶端設(shè)備604捕獲正被 隨機媒體渲染源602渲染的歌曲的樣本，并且識別時間偏移并可選地識別歌曲，以及接著提 供歌曲的音樂視頻在客戶端設(shè)備604上的同步顯示。
[0122] 客戶端設(shè)備604可以從媒體渲染源602捕獲歌曲的樣本，并將樣本發(fā)送到服務(wù)器 606,其包括位置識別模塊608和內(nèi)容識別模塊610(例如，它們的每個可以是同一實體、或獨 立的實體）。位置識別模塊608從客戶端設(shè)備604接收樣本，確定樣本的時間偏移。內(nèi)容識別 模塊610可以可選地使用這里描述的任一方法執(zhí)行內(nèi)容識別。內(nèi)容識別模塊610可以訪問歌 曲數(shù)據(jù)庫612,以將樣本與歌曲的已知樣本比較，以識別樣本，并且檢索關(guān)于識別的樣本的 信息。內(nèi)容識別模塊610可以接著訪問電影數(shù)據(jù)庫614,以檢索識別的歌曲的音樂視頻。
[0123] 位置識別模塊608將向客戶端設(shè)備604返回估計的識別的媒體流位置1，其可用于 計算所估計的實時媒體流位置Tr(t)。所估計的識別的媒體流位置1是識別的音軌的長度內(nèi) 對應(yīng)于音頻樣本的起始的時間。音樂視頻可以是注釋了時間的視頻，其例如包括關(guān)于每幀 或每組幀的媒體流時間位置的信息?？蛻舳嗽O(shè)備604可以從服務(wù)器606接收音樂視頻，并接 著在時間位置T r(t)渲染音樂視頻，使得與正被媒體渲染源602渲染的歌曲同步地(例如，同 時或大致同時)顯示音樂視頻。
[0124] 雖然這里已經(jīng)公開了各個方面和實施例，但對于本領(lǐng)域的技術(shù)人員而言，其它方 面和實施例將是很明顯的。這里公開的各個方面和實施例是為了說明的目的，而不意在限 制，真正的范圍和精神由所附的權(quán)利要求指示?？梢赃M行許多修改和變化而不偏離其精神 和范圍，如對本領(lǐng)域的技術(shù)人員所明顯的。根據(jù)之前的描述，對本領(lǐng)域的技術(shù)人員而言，在 所列舉的方法和裝置之外，本公開的范圍內(nèi)功能上等同的方法和裝置是顯然的。這種修改 和改變也意在落于所附權(quán)利要求的范圍內(nèi)。
【主權(quán)項】
1. 一種方法，包括： 接收正被媒體渲染源渲染的媒體流的媒體樣本； 由計算設(shè)備確定與所述媒體樣本潛在匹配的多個媒體記錄； 由所述計算設(shè)備向客戶端設(shè)備提供包括所述多個媒體記錄之一的特征的信息的對準(zhǔn) 文件，其中預(yù)計所述多個媒體記錄之一在所述對準(zhǔn)文件中的特征在預(yù)定時間出現(xiàn)在所述媒 體流中。2. 如權(quán)利要求1所述的方法，還包括基于所述多個媒體記錄的特征與所述媒體樣本的 特征的時間對應(yīng)關(guān)系，確定與所述媒體樣本潛在匹配的所述多個媒體記錄。3. 如權(quán)利要求1所述的方法，還包括基于指示所述媒體樣本在所述媒體流中的時間偏 移的時間位置，確定與所述媒體樣本潛在匹配的所述多個媒體記錄。4. 如權(quán)利要求1所述的方法，其中所述對準(zhǔn)文件包括所述多個媒體記錄中的給定媒體 記錄的多個指紋，所述指紋發(fā)生在所述媒體記錄中在所述媒體樣本的內(nèi)容存在在所述媒體 記錄中的時間之后的界標(biāo)時間位置處。5. 如權(quán)利要求1所述的方法，還包括： 在對應(yīng)界標(biāo)處確定所述媒體樣本的多個指紋，以便識別所述媒體樣本的指紋和界標(biāo) 對；以及 基于所述媒體記錄的指紋和界標(biāo)對、與所述媒體樣本的指紋和界標(biāo)對的比較，確定與 所述媒體樣本潛在匹配的所述多個媒體記錄。6. 如權(quán)利要求1所述的方法，還包括： 從所述多個媒體記錄確定與所述媒體樣本的匹配；以及 提供所述匹配的對準(zhǔn)文件，其包括所述匹配的預(yù)計在預(yù)定時間出現(xiàn)在所述媒體流中的 特征的信息。7. 如權(quán)利要求1所述的方法，其中接收所述媒體樣本包括從所述客戶端設(shè)備接收所述 媒體樣本。8. 如權(quán)利要求1所述的方法，其中接收所述媒體樣本包括隨時間遞增地接收所述媒體 樣本的部分，并且其中，所述方法還包括： 繼續(xù)基于所述多個媒體記錄的特征與隨時間接收的所述媒體樣本的特征的時間對應(yīng) 關(guān)系，確定所述媒體記錄中的哪些與所述媒體樣本潛在匹配，直到接收了足夠的數(shù)據(jù)以明 確地識別匹配的媒體記錄為止。9. 如權(quán)利要求1所述的方法，其中接收所述媒體樣本包括隨時間遞增地接收所述媒體 樣本的部分，并且其中，所述方法還包括： 繼續(xù)基于所述多個媒體記錄的特征與隨時間接收的所述媒體樣本的特征的時間對應(yīng) 關(guān)系，確定所述媒體記錄中的哪些與所述媒體樣本潛在匹配，直到發(fā)現(xiàn)具有閾值數(shù)目的時 間對應(yīng)關(guān)系的媒體記錄為止。10. 如權(quán)利要求1所述的方法，其中接收所述媒體樣本包括隨時間遞增地接收所述媒體 樣本的部分，并且其中，所述方法還包括： 基于對所述媒體樣本的明確識別，提供指示與所述媒體樣本的匹配的信息。11. 一種方法，包括： 由客戶端設(shè)備向計算設(shè)備發(fā)送正被媒體渲染源渲染的媒體流的媒體樣本； 在客戶端設(shè)備接收包括與所述媒體樣本潛在匹配的多個媒體記錄之一的特征的信息 的對準(zhǔn)文件，其中所述對準(zhǔn)文件包括所述媒體記錄的預(yù)計在預(yù)定時間出現(xiàn)在所述媒體流中 的特征；以及 確定正被所述媒體渲染源渲染的媒體流是否與所述對準(zhǔn)文件的媒體記錄匹配。12. 如權(quán)利要求11所述的方法，其中所述對準(zhǔn)文件包括所述多個媒體記錄中的給定媒 體記錄的多個指紋，所述指紋發(fā)生在所述媒體記錄中在所述媒體樣本的內(nèi)容存在在所述媒 體記錄中的時間之后的時間位置處。13. 如權(quán)利要求11所述的方法，其中確定正被所述媒體渲染源渲染的媒體流是否與所 述對準(zhǔn)文件的媒體記錄匹配包括確定正被所述媒體渲染源渲染的所述媒體流是否已經(jīng)中 斷。14. 如權(quán)利要求11所述的方法，其中確定正被所述媒體渲染源渲染的媒體流是否與所 述對準(zhǔn)文件的媒體記錄匹配包括確定正被所述媒體渲染源渲染的所述媒體流是否已經(jīng)結(jié) 束。15. 如權(quán)利要求11所述的方法，其中確定正被所述媒體渲染源渲染的媒體流是否與所 述對準(zhǔn)文件的媒體記錄匹配包括確定在所述媒體流中是否不再見到所述對準(zhǔn)文件中的預(yù) 期指紋。16. 如權(quán)利要求11所述的方法，還包括： 接收正被所述媒體渲染源渲染的所述媒體流的附加媒體樣本；以及 其中確定正被所述媒體渲染源渲染的媒體流是否與所述對準(zhǔn)文件的媒體記錄匹配包 括確定所述附加媒體樣本的特征是否與所述對準(zhǔn)文件的媒體記錄的特征具有時間對應(yīng)關(guān) 系。17. 如權(quán)利要求11所述的方法，基于在所述媒體流與所述對準(zhǔn)文件的媒體記錄之間沒 有預(yù)定指紋匹配的經(jīng)過的時間量，確定存在不連續(xù)性。18. 如權(quán)利要求17所述的方法，還包括:基于存在不連續(xù)性，向所述計算設(shè)備發(fā)送正被 所述媒體渲染源渲染的所述媒體流的新媒體樣本。19. 如權(quán)利要求11所述的方法，還包括： 所述客戶端設(shè)備與正被所述媒體渲染源渲染的所述媒體流同步地渲染第二媒體流；以 及 基于所述媒體流與所述對準(zhǔn)文件的媒體記錄的對準(zhǔn)，確定所述第二媒體流的渲染與所 述媒體流之間的同步。20. 如權(quán)利要求19所述的方法，其中基于所述媒體流與所述對準(zhǔn)文件的媒體記錄的對 準(zhǔn)確定所述第二媒體流的渲染與所述媒體流之間的同步包括:基于所述媒體流的參考速 度，確定與所述媒體流正被所述媒體渲染源渲染的速度相關(guān)聯(lián)的時間尺度比。21. 如權(quán)利要求11所述的方法，還包括： 基于所述媒體流的參考速度，確定與所述媒體流正被所述媒體渲染源渲染的速度相關(guān) 聯(lián)的時間尺度比； 基于所述時間尺度比確定正被所述媒體渲染源渲染的媒體流是否與所述對準(zhǔn)文件的 媒體記錄匹配，以對所述媒體流與所述對準(zhǔn)文件的媒體記錄的匹配的時間漂移進行補償。22. 如權(quán)利要求11所述的方法，還包括： 所述客戶端設(shè)備與正被所述媒體渲染源渲染的所述媒體流同步地渲染第二媒體流；以 及 基于所述媒體流與所述對準(zhǔn)文件的媒體記錄的誤對準(zhǔn)，確定所述第二媒體流的渲染與 所述媒體流之間的同步的中斷。23. 如權(quán)利要求22所述的方法，還包括基于所述中斷，中止所述第二媒體流的渲染。24. 一種方法，包括： 由客戶端設(shè)備向計算設(shè)備發(fā)送正被媒體渲染源渲染的媒體流的媒體樣本； 在客戶端設(shè)備接收包括與所述媒體樣本潛在匹配的多個媒體記錄之一的特征的信息 的對準(zhǔn)文件，其中所述對準(zhǔn)文件包括所述媒體記錄的預(yù)計在預(yù)定時間出現(xiàn)在所述媒體流中 的特征；以及 比較正被所述媒體渲染源渲染的所述媒體流與所述對準(zhǔn)文件的媒體記錄，以確定正被 所述媒體渲染源渲染的媒體流是否已經(jīng)中斷。25. 如權(quán)利要求24所述的方法，還包括確定正被所述媒體渲染源渲染的媒體流是否與 所述對準(zhǔn)文件的媒體記錄匹配。26. 如權(quán)利要求24所述的方法，還包括確定正被所述媒體渲染源渲染的媒體流是否已 經(jīng)結(jié)束。27. 如權(quán)利要求24所述的方法，還包括確定在所述媒體流中是否不再見到所述對準(zhǔn)文 件中的預(yù)期指紋。28. 如權(quán)利要求24所述的方法，其中所述對準(zhǔn)文件包括所述多個媒體記錄中的給定媒 體記錄的多個指紋，所述指紋發(fā)生在所述媒體記錄中在所述媒體樣本的內(nèi)容存在在所述媒 體記錄中的時間之后的時間位置處。29. 如權(quán)利要求24所述的方法，還包括： 接收正被所述媒體渲染源渲染的所述媒體流的附加媒體樣本；以及 確定所述附加媒體樣本的特征是否與所述對準(zhǔn)文件的媒體記錄的特征具有時間對應(yīng) 關(guān)系。
【文檔編號】G10H1/36GK105843968SQ201610334894
【公開日】2016年8月10日
【申請日】2011年5月4日
【發(fā)明人】A.L-C.王, R.波沃, W.M.米爾斯, C.J.P.巴頓, P.G.英格爾布雷赫特, D.S.米克赫吉
【申請人】沙扎姆娛樂有限公司