專利名稱：用于同步交互標(biāo)記與流傳輸內(nèi)容的設(shè)備和方法
用于同步交互標(biāo)記與流傳輸內(nèi)容的設(shè)備和方法技術(shù)領(lǐng)域
本發(fā)明總體上涉及流傳輸內(nèi)容，具體涉及與流傳輸內(nèi)容同步地傳送交互標(biāo)記。
技術(shù)背景
本部分旨在向讀者介紹所描述的和/或權(quán)利要求中要求保護(hù)的本發(fā)明的各方面。 相信這些討論有助于為讀者提供背景信息以便于更好地理解本發(fā)明的各方面。因此，應(yīng)理 解，這些陳述應(yīng)在此范圍內(nèi)閱讀，而不是作為對(duì)現(xiàn)有技術(shù)的認(rèn)可。
交互服務(wù)機(jī)制提供視頻節(jié)目和可以與用戶交互的應(yīng)用之間的同步，以便向用戶提 供附加或交互服務(wù)。交互服務(wù)的示例是投票應(yīng)用、交互游戲、獲得與產(chǎn)品有關(guān)的信息、產(chǎn)品 訂購(gòu)。視頻節(jié)目可以是現(xiàn)場(chǎng)直播，從攝像機(jī)流傳輸出至廣播裝置，并且最終到達(dá)終端，或者 是預(yù)先記錄的并且從服務(wù)器流傳輸至終端。在終端中視頻節(jié)目也可以從文件進(jìn)行本地播 放。交互服務(wù)需要與視頻節(jié)目同步。對(duì)同步信息進(jìn)行管理、從網(wǎng)絡(luò)側(cè)發(fā)送，以及由終端獲 取該同步信息。這允許獲知何時(shí)激活關(guān)聯(lián)的交互應(yīng)用或被稱作交互對(duì)象的交互應(yīng)用的一部 分。
交互對(duì)象是與被稱作小應(yīng)用程序或腳本的實(shí)例有關(guān)的軟件(可由處理器執(zhí)行或 可由虛擬機(jī)解譯)，該軟件使用人機(jī)界面向終端的用戶提供與該用戶當(dāng)前觀看的視頻節(jié)目 交互的能力。
在視頻分發(fā)系統(tǒng)中，通常使用端到端解決方案，通過(guò)廣播裝置將交互內(nèi)容從內(nèi)容 供應(yīng)商直至傳輸?shù)浇K端。內(nèi)容供應(yīng)商和廣播裝置有時(shí)僅形成一個(gè)實(shí)體。
來(lái)自Thomson Licensing的歐洲專利申請(qǐng)07300769. 2描述了使用RTP時(shí)間戳同 步標(biāo)記形式下的交互內(nèi)容的傳輸。
不必在視頻編碼器處執(zhí)行交互內(nèi)容的插入。那么交互內(nèi)容與視頻編碼器的輸出處 的視頻內(nèi)容不精確同步。發(fā)明內(nèi)容
本發(fā)明嘗試修改與現(xiàn)有技術(shù)中的同步有關(guān)的至少一些方面。
為此，本發(fā)明涉及一種用于將交互標(biāo)記插入流傳輸內(nèi)容的方法，所述方法包括以 下步驟接收第一形式的流傳輸內(nèi)容；接收第二形式的相同流傳輸內(nèi)容；接收與第一形式 的內(nèi)容的第一幀相對(duì)應(yīng)的交互標(biāo)記；以及與以第二形式接收到的內(nèi)容的第二幀同步地發(fā)送 交互標(biāo)記。第二幀中的內(nèi)容與第一幀中的內(nèi)容相對(duì)應(yīng)。
根據(jù)實(shí)施例，所述方法包括以下步驟計(jì)算接收第一形式的流傳輸內(nèi)容的第一幀 與接收第二形式的流傳輸內(nèi)容的第二幀之間的延遲，第二幀中的內(nèi)容與第一幀中的內(nèi)容相 對(duì)應(yīng)。
根據(jù)實(shí)施例，計(jì)算步驟在第一和第二內(nèi)容的接收的開(kāi)始處執(zhí)行一次，或者重復(fù)執(zhí) 行。
根據(jù)實(shí)施例，交互標(biāo)記附加至第二幀。3
根據(jù)實(shí)施例，在與第二幀不同的分組中發(fā)送交互標(biāo)記。
根據(jù)實(shí)施例，第一形式是未壓縮形式，第二形式是壓縮形式。
根據(jù)實(shí)施例，所述內(nèi)容是視頻內(nèi)容。
根據(jù)實(shí)施例，壓縮內(nèi)容包括RTP時(shí)間戳，并且交互標(biāo)記與RTP時(shí)間戳同步。
本發(fā)明的另一目的是一種設(shè)備，包括通信裝置，用于接收第一形式的流傳輸內(nèi) 容，接收第二形式的流傳輸內(nèi)容，以及發(fā)送第三形式的流傳輸內(nèi)容；以及標(biāo)記裝置，用于在 接收與第一形式的內(nèi)容的第一幀相對(duì)應(yīng)的交互標(biāo)記時(shí)，與接收到的第二形式的內(nèi)容的第二 幀同步地發(fā)送交互標(biāo)記，第二幀中的內(nèi)容與第一幀中的內(nèi)容相對(duì)應(yīng)。
根據(jù)實(shí)施例，所述設(shè)備包括校準(zhǔn)裝置，用于計(jì)算接收第一形式的流傳輸內(nèi)容的第 一幀與接收第二形式的流傳輸內(nèi)容的第二幀之間的延遲，第二幀中的內(nèi)容與第一幀中的內(nèi) 容相對(duì)應(yīng)。
根據(jù)實(shí)施例，第一形式是未壓縮形式，第二形式是壓縮形式。
本發(fā)明的另一方面是一種計(jì)算機(jī)程序產(chǎn)品，包括程序代碼指令，在該程序在計(jì)算 機(jī)上執(zhí)行時(shí)執(zhí)行根據(jù)本發(fā)明的方法的步驟。通過(guò)“計(jì)算機(jī)程序產(chǎn)品”，這意味著計(jì)算機(jī)程序 載體，不僅可以是包含程序的存儲(chǔ)空間(例如，磁盤或盒式磁帶)，也可以是信號(hào)(例如電或 光信號(hào))。
以下闡述了在范圍上與所公開(kāi)的實(shí)施例相當(dāng)?shù)奶囟ǚ矫?。?yīng)當(dāng)理解，提出這些方 面僅向讀者提供本發(fā)明可能采用的特定形式的簡(jiǎn)要概述，并且這些方面并不意在限制本發(fā) 明的范圍。實(shí)際上，本發(fā)明可以涵蓋以下沒(méi)有闡述的各個(gè)方面。


參照附圖，可以通過(guò)以下實(shí)施例和執(zhí)行示例但并非限制性的，更好地理解和示意 本發(fā)明，在附圖中
圖1是符合實(shí)施例的系統(tǒng)的框圖2是符合實(shí)施例的對(duì)象的框圖3是符合實(shí)施例的模塊的框圖；以及
圖4是示出了根據(jù)實(shí)施例的標(biāo)記插入方法的流程圖。
在圖1至3中，所呈現(xiàn)的模塊是純功能實(shí)體，不必與物理上分離的實(shí)體相對(duì)應(yīng)。即， 這些模塊可以以硬件或軟件的形式開(kāi)發(fā)，或者在一個(gè)或若干集成電路中實(shí)現(xiàn)。
具體實(shí)施方式
示例實(shí)施例在具有RTP的壓縮視頻的傳送的框架的范圍內(nèi)，但是本發(fā)明不限于該 特定實(shí)施例，并且可以在其他框架中應(yīng)用，在其他框架中，以未壓縮和壓縮方式連續(xù)地傳送 流傳輸內(nèi)容。
在圖1中示出了根據(jù)實(shí)施例的系統(tǒng)。僅示出了一個(gè)終端，但顯而易見(jiàn)的是，系統(tǒng) 中可以有多于一個(gè)終端。視頻源1是服務(wù)器或任何其他視頻節(jié)目源。視頻源1將視頻節(jié) 目廣播成未壓縮格式。視頻節(jié)目由視頻編碼器2和標(biāo)記插入設(shè)備3 (在下文中用MID表 示)接收。視頻節(jié)目包括音頻-視頻內(nèi)容，并且可以包括諸如電視文本廣播或限定標(biāo)題 (closedcaption)之類的交互內(nèi)容。
視頻編碼器2將未壓縮視頻壓縮成壓縮流，然后使用RTP/RTCP發(fā)送。例如，根據(jù) UIT-T H. 264標(biāo)準(zhǔn)對(duì)視頻進(jìn)行編碼。然后通過(guò)IP網(wǎng)絡(luò)5將RTP流傳遞至終端6。IP網(wǎng)絡(luò)可 以是支持組播傳輸?shù)娜魏蜪P網(wǎng)絡(luò)，例如互聯(lián)網(wǎng)。
MID還從編碼器接收壓縮流傳輸內(nèi)容。MID適于將標(biāo)記插入到節(jié)目中。交互控制 器4適于向MID提供交互標(biāo)記，以在適當(dāng)?shù)臅r(shí)候插入到內(nèi)容中。交互控制器包括允許操作 人員觀看所廣播的視頻節(jié)目的監(jiān)視器。在交互控制處的創(chuàng)作工具提供預(yù)先產(chǎn)生交互序列并 且將這些交互序列傳遞至MID的裝置，MID然后將這些交互序列通過(guò)專用信道或按照被嵌 入到關(guān)聯(lián)的媒體流中的方式轉(zhuǎn)發(fā)至終端。當(dāng)然，交互控制器和MID可以配置在相同的設(shè)備 中。
例如，當(dāng)在足球比賽期間標(biāo)記進(jìn)球時(shí)，通過(guò)按壓按鈕，操作人員發(fā)起標(biāo)記的產(chǎn)生， 以指示終端執(zhí)行預(yù)加載的應(yīng)用。該應(yīng)用例如可以是對(duì)足球比賽的最佳球員進(jìn)行投票的邀 請(qǐng)。MID將所涉及的對(duì)象視為條目來(lái)激活，例如URI或終端容易解譯的標(biāo)識(shí)符。然后終端將 該標(biāo)記用作使能符，以便在特定時(shí)間根據(jù)視頻呈現(xiàn)發(fā)起動(dòng)作。
可以使用首部擴(kuò)展將標(biāo)記嵌入到視頻RTP分組中，或者標(biāo)記可以是自身在專用標(biāo) 記流上發(fā)送且與視頻流同步的RTP分組。視頻的呈現(xiàn)時(shí)間基于RTP時(shí)間戳。該RTP時(shí)間戳 指示在RTP首部擴(kuò)展使用的情況下將標(biāo)記插入在視頻流RTP分組中的何處，以進(jìn)行標(biāo)記。如 果在分離的標(biāo)記流中發(fā)送標(biāo)記，則將該視頻RTP時(shí)間戳轉(zhuǎn)譯成絕對(duì)時(shí)間，以利用與該絕對(duì) 時(shí)間相對(duì)應(yīng)的正確時(shí)間戳在正確時(shí)間產(chǎn)生對(duì)應(yīng)的標(biāo)記流RTP分組。進(jìn)行將視頻RTP時(shí)間戳 轉(zhuǎn)譯成絕對(duì)時(shí)間是依據(jù)從視頻編碼器接收到的RTCP發(fā)送方報(bào)告。
在圖2中示出了 MID 3。MID 3包括處理模塊32、通信模塊31、存儲(chǔ)模塊33以及 標(biāo)記模塊34。內(nèi)部總線36適于連接這些模塊，以實(shí)現(xiàn)它們之間控制和數(shù)據(jù)分組以及信號(hào)的 傳輸。通信模塊31包括用于從視頻源和視頻編碼器接收視頻數(shù)據(jù)的裝置。通信模塊31包 括用于利用視頻編碼器和交互控制器發(fā)送和接收數(shù)據(jù)的裝置。通信模塊31還包括用于將 數(shù)據(jù)發(fā)送至移動(dòng)終端的裝置。
標(biāo)記模塊34意在提供用于插入與視頻相對(duì)應(yīng)的交互信息的裝置。定時(shí)模塊341 意在當(dāng)可以將交互標(biāo)記插入到視頻幀中時(shí)提供定時(shí)。插入模塊342意在將標(biāo)記插入到視頻 幀中。插入模塊342可以利用從交互控制器接收到的信息產(chǎn)生標(biāo)記。校準(zhǔn)模塊343適于執(zhí) 行輸出時(shí)間到輸入時(shí)間的校準(zhǔn)。
MID然后適于使視頻幀的可視化的時(shí)間和分組的RTP時(shí)間戳一致，其中，該幀在編 碼器的輸出處傳送。更精確地，使操作人員產(chǎn)生與在顯示器上觀看到的視頻節(jié)目相對(duì)應(yīng)的 交互標(biāo)記的時(shí)間和MID輸出與該視頻節(jié)目相對(duì)應(yīng)的編碼幀的時(shí)間一致。
在圖3中還示出了校準(zhǔn)模塊343。第一通信模塊3. 1和第二通信模塊3. 2是圖2 的通信模塊31的部件。第一通信模塊從視頻源1接收未壓縮視頻。第二通信模塊從視頻 編碼器2接收壓縮視頻。校準(zhǔn)模塊包括視頻獲取模塊3. 3，從第一通信模塊31接收未壓縮 視頻(第一視頻)。在MID時(shí)鐘的值、同時(shí)捕獲視頻幀。、是在MID處捕獲視頻幀的時(shí)間 的值，其中，該時(shí)間與MID處的時(shí)鐘的值相對(duì)應(yīng)。視頻獲取模塊303將第一視頻幀發(fā)送至視 頻匹配模塊3. 6。
編碼視頻獲取模塊3. 4從第二通信模塊3. 2接收壓縮視頻。編碼視頻獲取模塊 3. 4將壓縮視頻發(fā)送至視頻解碼模塊3. 5。視頻解碼模塊3. 5對(duì)視頻幀frame_i進(jìn)行解碼，并且還獲得RTP時(shí)間戳的值RTPi以及相應(yīng)編碼器的時(shí)鐘值tVi，根據(jù)編碼器2所產(chǎn)生的RTCP 發(fā)送方報(bào)告，對(duì)這兩個(gè)值進(jìn)行計(jì)算。
解碼之后第一視頻和第二視頻的格式和大小是相同的。例如，第一視頻的格式是 YUV 420格式。然后，通過(guò)視頻解碼模塊3. 5將在第二接口(從編碼器接收RTP分組的以太 網(wǎng)接口)上捕獲的RTP流解碼成未處理的YUV 420視頻幀。然后，視頻解碼模塊3. 5將已 解碼視頻幀(也被稱作第二視頻幀)發(fā)送至視頻匹配模塊。視頻解碼模塊3. 5發(fā)送具有對(duì) 應(yīng)的RTPVi*tVi的每個(gè)framej。在伴隨RTP視頻流的RTCP發(fā)送方報(bào)告的幫助下，使用以 下方程來(lái)計(jì)算所有的值tVi:
權(quán)利要求
1.一種在標(biāo)記插入設(shè)備C3)處用于將交互標(biāo)記插入流傳輸內(nèi)容的方法，所述方法包括 在所述設(shè)備處執(zhí)行的以下步驟-從第一源設(shè)備(1)接收(Si)第一格式的流傳輸內(nèi)容；-從第二設(shè)備( 接收(S》第二格式的所述流傳輸內(nèi)容；-從第三設(shè)備(4)接收(S3)與第一格式的所述內(nèi)容的第一幀相對(duì)應(yīng)的交互標(biāo)記；以及-與以第二格式接收到的內(nèi)容的第二幀同步地發(fā)送(SO所述交互標(biāo)記，所述第二幀中 的內(nèi)容與所述第一幀中的內(nèi)容相對(duì)應(yīng)。
2.根據(jù)前述權(quán)利要求所述的方法，其特征在于，所述方法包括步驟計(jì)算接收第一格 式的流傳輸內(nèi)容的第一幀與接收第二格式的流傳輸內(nèi)容的第二幀之間的延遲，所述第二幀 中的內(nèi)容與所述第一幀中的內(nèi)容相對(duì)應(yīng)。
3.根據(jù)前述權(quán)利要求所述的方法，其特征在于，計(jì)算步驟在所述第一和第二內(nèi)容的接 收的開(kāi)始處執(zhí)行一次，或者重復(fù)執(zhí)行。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，所述交互標(biāo)記被附加至所述 第二幀。
5.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，在與所述第二幀不同的分組 中發(fā)送所述交互標(biāo)記。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，所述第一格式是未壓縮格式， 所述第二格式是壓縮格式。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，所述內(nèi)容是視頻內(nèi)容。
8.根據(jù)權(quán)利要求6或7所述的方法，其特征在于，所述壓縮內(nèi)容包括RTP時(shí)間戳，并且 所述交互標(biāo)記與所述RTP時(shí)間戳同步。
9.一種設(shè)備(3)，包括通信裝置(31)，用于從第一設(shè)備(1)接收第一格式的流傳輸內(nèi) 容，從第二設(shè)備( 接收第二格式的所述流傳輸內(nèi)容，以及發(fā)送第三格式的所述流傳輸內(nèi) 容；以及標(biāo)記裝置(34)，用于在從第三設(shè)備(4)接收與第一格式的所述內(nèi)容的第一幀相對(duì) 應(yīng)的交互標(biāo)記時(shí)，與以第二格式接收到的內(nèi)容的第二幀同步地發(fā)送所述交互標(biāo)記，所述第 二幀中的內(nèi)容與所述第一幀中的內(nèi)容相對(duì)應(yīng)。
10.根據(jù)前述權(quán)利要求所述的設(shè)備，其特征在于，所述設(shè)備包括校準(zhǔn)裝置(343)，用于 計(jì)算接收第一格式的流傳輸內(nèi)容的第一幀與接收第二格式的流傳輸內(nèi)容的第二幀之間的 延遲，所述第二幀中的內(nèi)容與所述第一幀中的內(nèi)容相對(duì)應(yīng)。
11.根據(jù)權(quán)利要求9或10所述的設(shè)備，其特征在于，所述第一格式是未壓縮格式，所述 第二格式是壓縮格式。
12.—種計(jì)算機(jī)程序產(chǎn)品，包括程序代碼指令，當(dāng)所述程序在計(jì)算機(jī)上執(zhí)行時(shí)執(zhí)行根 據(jù)權(quán)利要求1至8所述的方法的步驟。
全文摘要
本發(fā)明涉及一種用于將交互標(biāo)記插入流傳輸內(nèi)容的設(shè)備和方法，所述方法包括以下步驟接收(S1)第一格式的流傳輸內(nèi)容；接收(S2)第二格式的相同流傳輸內(nèi)容；接收(S3)與第一格式的所述內(nèi)容的第一幀相對(duì)應(yīng)的交互標(biāo)記；以及與以第二格式接收到的內(nèi)容的第二幀同步地發(fā)送(S5)所述交互標(biāo)記。所述第二幀中的內(nèi)容與所述第一幀中的內(nèi)容相對(duì)應(yīng)。
文檔編號(hào)H04N7/24GK102037728SQ200980117934
公開(kāi)日2011年4月27日 申請(qǐng)日期2009年5月14日 優(yōu)先權(quán)日2008年5月19日
發(fā)明者伊馮·勒加盧瓦, 安東尼·洛朗, 斯蒂芬妮·古阿什, 紀(jì)堯姆·比紹 申請(qǐng)人:湯姆森許可貿(mào)易公司