專利名稱：同步多媒體流的方法和對應設備的制作方法
技術領域：
本發(fā)明涉及來自不同多媒體源或者經(jīng)由不同傳輸協(xié)議傳送并在呈現(xiàn)設備上恢復的多媒體流的處理。
背景技術：
在廣播TV中，音頻流和視頻流傳統(tǒng)地在一起廣播。它們一般由單個多媒體源(例如，多媒體內容的提供者)提供，然后利用單個傳輸協(xié)議在給定傳輸網(wǎng)絡上傳輸，然后被傳遞到單個終端用戶設備(例如，解碼器或電視機)，所述解碼器或電視機負責讀取這些流、在屏幕上顯示視頻數(shù)據(jù)并且在揚聲器上廣播音頻數(shù)據(jù)。隨著因特網(wǎng)網(wǎng)絡和移動電信網(wǎng)絡的快速發(fā)展，已經(jīng)出現(xiàn)了新的多媒體應用，其中，對于音頻流和視頻流而言，源和/或傳輸協(xié)議可以不同。還已經(jīng)出現(xiàn)了交互式應用，其源和傳輸協(xié)議可以與其所指的音頻視頻內容的源和傳輸協(xié)議不同。這些應用可以以此方式通過寬帶網(wǎng)絡傳輸。對于這些新應用，需要確保音頻流的呈現(xiàn)與視頻流的呈現(xiàn)同步，或者交互式應用與音頻視頻流同步地呈現(xiàn)。新的多媒體應用的示例是由與視頻流的源不同的源產生音頻流，該音頻流意圖用其自身替代將與視頻流一起被提供的基本音頻流。例如，在電視機上廣播足球比賽的情況下，可以利用包括以與基本音頻流的語言不同的語言進行的示例評論的音頻流(其將由與比賽廣播者不同的另一多媒體提供者傳遞)來替代與該比賽的視頻流一起提供的基本音頻流。為了使得音頻流能夠與視頻流同步，這些流必須包含公共的或等同的定時參考。作為一般規(guī)則，傳輸協(xié)議向呈現(xiàn)設備提供這些參考或時間戳，使得其調整和同步這兩個流的呈現(xiàn)。時間戳一般是指示與該時間戳相關聯(lián)的事件發(fā)生的時間的計數(shù)器值。計數(shù)器的時鐘頻率必定是呈現(xiàn)設備已知的值，使得其正確地校準流呈現(xiàn)。在傳輸層(MPEG-TS、RTP等)的規(guī)范中描述了向呈現(xiàn)設備給出該時鐘頻率所依據(jù)的方式。為了使得呈現(xiàn)設備能夠同步這兩個流，后者一般指代通常被稱為“壁鐘”的公共時鐘。例如，在根據(jù)RFC3550的由IETF規(guī)定的RTP協(xié)議(實時傳輸協(xié)議)的情況下，傳送器周期性地傳送被稱為RTCP (實時傳輸控制協(xié)議)廣播報告的消息，其指示時間戳和由公共時鐘給出的時間之間的等效性。如果由不同源提供音頻流和視頻流，則這兩個流必須共享相同的公共時鐘。NTP協(xié)議(網(wǎng)絡時間協(xié)議)典型地被用來在相同時鐘上同步兩個源。然而，當這兩個源在傳輸時間方面沒有通過充分可靠的網(wǎng)絡連接時，則需要另一同步機制。當在單個呈現(xiàn)設備上顯示的兩個視頻流不是由相同源或相同傳輸協(xié)議提供時，該同步問題也可能存在于這兩個流之間,視頻內容之一通過畫中畫被顯示在另一個之中。畫中畫功能是其一個示例。另一示例關注2D到3D轉換的情況，其中，在廣播流中接收2D視頻，而在寬帶流中接收使能3D顯示的3D補充(3D complement)。

發(fā)明內容
本發(fā)明涉及能夠解決在通過具有不同時基的網(wǎng)絡分發(fā)流時的同步問題的目的。為此目的，本發(fā)明目的是一種在設備中處理多媒體數(shù)據(jù)流的方法，所述設備包括至第一網(wǎng)絡的接口和至第二網(wǎng)絡的接口，所述方法包括以下步驟:通過與第一數(shù)據(jù)同步系統(tǒng)配合的第一傳輸協(xié)議，從第一網(wǎng)絡接收包括多媒體數(shù)據(jù)的第一流；通過與第二數(shù)據(jù)同步系統(tǒng)配合的第二傳輸協(xié)議，從第二網(wǎng)絡接收包括多媒體數(shù)據(jù)的第二流，所述第二同步系統(tǒng)基于與所述第一同步系統(tǒng)的定時參考不同的定時參考；所述第一流和第二流在所述第一傳輸協(xié)議和所述第二傳輸協(xié)議的數(shù)據(jù)字段中傳輸相同的同步信息，所述同步信息包括指示所述多媒體數(shù)據(jù)必須開始呈現(xiàn)的時刻的數(shù)據(jù)；通過使用所述同步信息來同步所述第一流和第二流；以及執(zhí)行用于呈現(xiàn)所述第一多媒體流和第二多媒體流的步驟。本發(fā)明具有提出了補充各傳輸協(xié)議所使用的同步系統(tǒng)的獨立同步系統(tǒng)的優(yōu)點。根據(jù)一個實施例，所述傳輸協(xié)議是MPEG-2TS和/或RTP類型。根據(jù)一個實施例，所述同步信息基于所述傳輸協(xié)議之一的定時參考。根據(jù)一個實施例，所述同步步驟包括用于通過存儲來延遲預先接收的內容直至所述內容能夠被同步地呈現(xiàn)的步驟。根據(jù)一個實施例，所述第一流是在廣播模式下在第一網(wǎng)絡上接收的，并且包括指示要在第一網(wǎng)絡上接收的第一多媒體數(shù)據(jù)將在何時必須被呈現(xiàn)的向下計數(shù)信息，應接收設備的請求在第二網(wǎng)絡上充分預先地預裝載第二流的第二多媒體數(shù)據(jù)，使得所述接收設備在接收到它們時能夠將它們與第一多媒體數(shù)據(jù)同步呈現(xiàn)。本發(fā)明的另一目的涉及一種接收設備，其包括:至第一網(wǎng)絡的接口，其使得能夠通過與第一數(shù)據(jù)同步系統(tǒng)配合的第一傳輸協(xié)議接收包括多媒體數(shù)據(jù)的第一流；以及至第二網(wǎng)絡的接口，其使得能夠通過與第二數(shù)據(jù)同步系統(tǒng)配合的第二傳輸協(xié)議接收包括多媒體數(shù)據(jù)的第二流，所述第二同步系統(tǒng)基于與所述第一數(shù)據(jù)同步系統(tǒng)的定時參考不同的定時參考；同步器，其通過使用在第一流和第二流中傳輸?shù)牟⑶野ㄖ甘竞螘r必須呈現(xiàn)所述多媒體數(shù)據(jù)的數(shù)據(jù)的同步信息來同步所述第一流和第二流；以及第三接口，其使得能夠同步地傳送所述第一多媒體流和第二多媒體流。本發(fā)明還適用于一種包括程序代碼指令的計算機程序產品，當該程序在計算機上運行時用于運行根據(jù)本發(fā)明的方法的步驟?！坝嬎銠C程序產品”被理解為意味著不僅可以包括包含該程序的存儲空間(諸如計算機存儲器)而且也可以包括信號(諸如電信號或光信號)的計算機程序介質。


參考附圖，借助于絕非限制的以下實施例和實現(xiàn)方式，將更好地理解和說明本發(fā)明，在附圖中:圖1是根據(jù)本發(fā)明實施例的內容分發(fā)系統(tǒng)； 圖2是根據(jù)本發(fā)明實施例的內容分發(fā)框圖；圖3是根據(jù)本發(fā)明另一實施例的內容分發(fā)框圖；以及圖4是根據(jù)本發(fā)明實施例的解碼器。在圖1和圖4中，所示出的模塊是可以或可以不對應于物理可區(qū)分單元的功能單元。例如，這些模塊或其中一些可以一起被編組在單個組件中，或者構成同一軟件的功能。相反，一些模塊可以包括分立的物理實體。
具體實施例方式本發(fā)明的實施例處于在通過兩個通信網(wǎng)絡并且根據(jù)兩種不同的數(shù)據(jù)傳輸協(xié)議(SP，RTP和MREG-2TS)進行內容分發(fā)的框架內，但是本發(fā)明不限于這種特定環(huán)境，并且可以應用在其它數(shù)據(jù)分發(fā)系統(tǒng)內。在圖1中圖示了根據(jù)本發(fā)明實施例的內容分發(fā)系統(tǒng)。該內容分發(fā)系統(tǒng)包括音頻視頻服務器類型的服務器I。該服務器通過被標注為廣播網(wǎng)絡7的廣播網(wǎng)絡廣播音頻視頻內容。廣播網(wǎng)絡是DVB-T類型，并且根據(jù)被標注為MPEG-2TS的MPEG-2傳輸流傳輸協(xié)議傳輸音頻視頻數(shù)據(jù)，所述MPEG-2傳輸流傳輸協(xié)議是在被標注為IS0/IEC13818-1的ISO標準ISO/IEC13818-1 標準 “ Information technology-generic coding of moving pictures andassociated audio information:Systems”中規(guī)定的。廣播網(wǎng)絡在這里是單向型的，但是本發(fā)明本質上適用于任何類型的廣播網(wǎng)絡，并且也不限于MPEG-2TS傳輸協(xié)議。被標注為STB (機頂盒)的視頻解碼器4接收音頻視頻內容。STB解碼音頻視頻內容，并且將已解碼的內容傳送至電視機TV5。根據(jù)MPEG-2TS協(xié)議，向解碼器傳送定時參考。傳輸流包括節(jié)目時鐘參考(也被標注為PCR)分組，其是在服務器中包含的系統(tǒng)時間時鐘(STC)的樣本。它們被用來同步解碼器中的時鐘系統(tǒng)。給定服務的基本流包含包括呈現(xiàn)時間戳(也被標注為PTS)的分組，所述呈現(xiàn)時間戳表示在該分組中傳輸?shù)臄?shù)據(jù)應該被呈現(xiàn)的時間。同一服務器可由STB通過寬帶分發(fā)網(wǎng)絡或寬帶網(wǎng)絡2訪問。具體地，寬帶網(wǎng)絡使用STB可通過家庭網(wǎng)關(被標注為HG3)訪問的因特網(wǎng)網(wǎng)絡2。該網(wǎng)絡是雙向網(wǎng)絡，并且使得網(wǎng)關能夠向或從服務器(更一般地向通過因特網(wǎng)網(wǎng)絡可訪問的任何類型的服務器)傳送數(shù)據(jù)或接收數(shù)據(jù)。根據(jù)實施例，服務器使得補充廣播音頻視頻內容的第二音頻流可由STB訪問。該第二音頻流可以由STB借助于RTP/RTCP傳輸協(xié)議接收。因此，一旦被接收，音頻流就被解碼并被傳送到電視機。RTCP協(xié)議向解碼器指示呈現(xiàn)時間戳和由根據(jù)網(wǎng)絡時間協(xié)議(NTP)的公共時鐘給出的時間之間的等效性。根據(jù)本發(fā)明實施例，盡管由兩個不同網(wǎng)絡使用不同傳輸協(xié)議傳送音頻視頻流和第二音頻流，但是在電視機中同步地播放它們。實際上，由服務器以輔助數(shù)據(jù)分組的形式傳送同步信息的項目。該信息使得STB能夠將音頻視頻流呈現(xiàn)時間同步到第二音頻流的呈現(xiàn)時間上。在實現(xiàn)中，僅呈現(xiàn)音頻視頻流中的視頻部分，并且同步地呈現(xiàn)第二音頻流。圖2圖示了在廣播模式下根據(jù)MPEG-2TS協(xié)議、以及在寬帶模式下根據(jù)RTP/RTCP協(xié)議的數(shù)據(jù)傳輸。在廣播模式下，利用對應的呈現(xiàn)時間戳分組PTSvO到PTSV3來廣播視頻幀VO到V3。在寬帶模式下，利用對應的呈現(xiàn)時間戳分組TSAO到PTSA2來傳輸音頻幀AO到A2。根據(jù)本實施例，輔助數(shù)據(jù)分組TO到T2與視頻流和音頻流相關聯(lián)，并且通過與它們所關聯(lián)的流使用相同傳輸協(xié)議來在兩個網(wǎng)絡上傳送。在每個網(wǎng)絡上，借助于專用于傳輸協(xié)議的同步協(xié)議，來同步輔助數(shù)據(jù)分組和多媒體流。輔助數(shù)據(jù)分組傳輸時間同步數(shù)據(jù)。該數(shù)據(jù)可以與時間線等同，并且表示從給定時間(例如當前事件的開始)開始的計數(shù)器值。必須在相同時間呈現(xiàn)的在廣播網(wǎng)絡上廣播的視頻幀和在寬帶網(wǎng)絡上廣播的音頻幀將參考相同的時間線值。在兩個網(wǎng)絡上傳輸?shù)耐綌?shù)據(jù)使用相同的格式。該格式可以與傳輸協(xié)議所使用的定時參考的格式不同。它們使得接收器能夠將PCR時鐘參考與NTP時鐘參考匹配。換句話說，這使得能夠測量內容呈現(xiàn)之間的時間。解碼器可以以此方式相對于視頻來調整音頻呈現(xiàn)。具體地，如果預先接收到視頻，則將其存儲足夠長時間以便使得能夠同步地進行音頻呈現(xiàn)。更一般地，接收器存儲預先接收的數(shù)據(jù)以便將其與稍后接收的數(shù)據(jù)同步地呈現(xiàn)。然而，在MPEG-2TS框架內，時間模型強制不延遲數(shù)據(jù)呈現(xiàn)。更準確地，數(shù)據(jù)編碼和數(shù)據(jù)呈現(xiàn)之間的時間必須保持恒定。因此，在本實施例的情形中，這不允許延遲視頻數(shù)據(jù)的呈現(xiàn)。這正是為什么在第二實施例中解碼器接收預先向其指示何時將播放即將到來的內容的信息。這是指示時間線的開始的向下計數(shù)信息。更準確地，如圖3所示，如果內容必須在與在輔助數(shù)據(jù)TO中指示的時間對應的時間處開始被呈現(xiàn)，則接收器預先接收信息T_3、Tf1L1的項目以向接收器指示時間TO將在何時開始。這使得接收器可以在被稱為預取模式的模式下預先恢復與將在時間TO處呈現(xiàn)的視頻對應的音頻數(shù)據(jù)。這些信息是在廣播類型的網(wǎng)絡上接收的，并且意圖使得終端能夠預先地預裝載寬帶組件(broadband component)。它們使得解碼器能夠預先發(fā)出對接收數(shù)據(jù)的請求。圖4中圖示了根據(jù)實施例的STB。STB包括至廣播分發(fā)網(wǎng)絡7的接口 44、至寬帶網(wǎng)絡6的接口 43、以及至電視機5的接口 47。STB包括音頻視頻解碼器45。STB還包括使得其能夠根據(jù)以上指示來同步內容呈現(xiàn)的同步器46。更具體地，同步器識別與音頻流和視頻流相關聯(lián)的輔助數(shù)據(jù)。同步器以此方式測量兩個流的呈現(xiàn)之間的時間。根據(jù)時間值，同步器存儲42內容之一，使得呈現(xiàn)同步。以此方式解碼并同步內容，以便通過TV接口 47傳遞到電視機。STB本質上包括處理器41，其使得STB能夠實現(xiàn)各種應用(諸如解碼或同步器)。本質上，可以將同步后的內容傳送到使得這些內容能夠被再現(xiàn)的任何類型的設備?，F(xiàn)在針對MPEG-2TS和RTP來具體描述輔助數(shù)據(jù)的分組。以英語來指示字段，以便便于閱讀所指示的規(guī)范。關于MPEG-2TS，“ETSI TS102823vl.1.1 (2005-11) over Digital VideoBroadcasting (DVB);Specification for the carriage of synchronized auxiliary datain DVB transport stream”規(guī)范(被標注為TS102823)描述了一種用于在DVB類型的傳輸流中傳輸必須與所謂的線性數(shù)據(jù)(諸如音頻數(shù)據(jù)或視頻數(shù)據(jù))同步的輔助數(shù)據(jù)的方法。其提供了在幾種格式下編碼輔助數(shù)據(jù)結構的有效載荷字段的可能性。具體地，所使用的格式是在TS102823的5.2.2和5.2.4部分中指示的格式。這些是廣播時間線描述符(BroadcastTimeline Descriptor)和內容標記描述符(Content Labelling Descriptor)。廣播時間線描述符是具有以與其流相同的速率增加的內在時間線的線性內容元素。該廣播時間線描述符被用來指示時間線的值。內容標記描述符是將標識符形式的標簽與內容元素相關聯(lián)的手段。
S卩，輔助數(shù)據(jù)的分組包括以下數(shù)據(jù):傳輸流分組頭部信息、基本流分組頭部信息和輔助數(shù)據(jù)結構。后者包括廣播時間線描述符和內容標記描述符。傳輸分組的格式是如在IS0/IEC規(guī)范13818-1的2.4.3.2部分中定義的格式。輔助數(shù)據(jù)分組不包括適配字段(adaptation field)。在相同節(jié)目的音頻或視頻分量的單獨字段或適配字段中傳輸PCR。在下表中指示了傳輸分組字段和值:
權利要求
1.一種在接收設備(4)中處理多媒體數(shù)據(jù)流的方法，所述接收設備(4)包括至第一網(wǎng)絡(6)的接口(43)和至第二網(wǎng)絡(7)的接口(44)，所述方法包括以下步驟: 通過與第一數(shù)據(jù)同步系統(tǒng)配合的第一傳輸協(xié)議，從第一網(wǎng)絡接收并同步包括第一多媒體數(shù)據(jù)的第一流，所述第一流包括指示所述第一多媒體數(shù)據(jù)將在何時必須被呈現(xiàn)的向下計數(shù)信息； 通過與第二數(shù)據(jù)同步系統(tǒng)配合的第二傳輸協(xié)議，從第二網(wǎng)絡接收并同步包括第二多媒體數(shù)據(jù)的第二流，所述第二同步系統(tǒng)不同于所述第一數(shù)據(jù)同步系統(tǒng)，所述第二多媒體數(shù)據(jù)應所述接收設備的請求被預裝載，以便使得所述接收設備在接收到所述第二多媒體數(shù)據(jù)時能夠將其與所述第一多媒體數(shù)據(jù)同步呈現(xiàn)； 所述第一流和第二流在所述第一傳輸協(xié)議和所述第二傳輸協(xié)議的有效載荷字段中傳輸相同格式的相同同步信息，所述同步信息包括指示所述多媒體數(shù)據(jù)必須開始呈現(xiàn)的時刻； 所述方法包括以下步驟: 通過使用所述同步信息，從所述第一流和第二流同步地呈現(xiàn)所述多媒體數(shù)據(jù)。
2.如權利要求1所述的方法，所述傳輸協(xié)議是MPEG-2TS和/或RTP類型。
3.如前述權利要求之一所述的方法，所述同步信息基于所述傳輸協(xié)議之一的定時參考。
4.如前述權利要求之一所述的方法，所述同步步驟包括用于通過存儲來延遲預先接收的內容直至所述內容能夠被同步地呈現(xiàn)的步驟。
5.如權利要求1所述的方法，其中，所述第一流是在廣播模式下在第一網(wǎng)絡上接收的。
6.一種接收設備(4),包括: 至第一網(wǎng)絡的接口(43)，其使得能夠通過與第一數(shù)據(jù)同步系統(tǒng)配合的第一傳輸協(xié)議接收并同步包括多媒體數(shù)據(jù)的第一流，所述第一流包括指示所述第一多媒體數(shù)據(jù)將在何時必須被呈現(xiàn)的向下計數(shù)信息； 至第二網(wǎng)絡的接口(44)，其使得能夠通過與第二數(shù)據(jù)同步系統(tǒng)配合的第二傳輸協(xié)議接收并同步包括多媒體數(shù)據(jù)的第二流，所述第二同步系統(tǒng)不同于所述第一數(shù)據(jù)同步系統(tǒng)，所述第二多媒體數(shù)據(jù)應所述接收設備的請求被預裝載，以便使得所述接收設備在接收到所述第二多媒體數(shù)據(jù)時能夠將其與所述第一多媒體數(shù)據(jù)同步呈現(xiàn)； 同步器(46)，其通過使用在第一流和第二流中傳輸?shù)牟⑶野ㄖ甘舅龆嗝襟w數(shù)據(jù)必須開始呈現(xiàn)的時刻的數(shù)據(jù)的同步信息，從所述第一流和第二流同步地呈現(xiàn)所述多媒體數(shù)據(jù)。
7.一種計算機程序產品，其特征在于:其包括程序代碼指令，當該程序在計算機上運行時用于運行如權利要求1 一 5所述的方法的步驟。
全文摘要
本發(fā)明涉及一種接收設備和在所述設備中處理多媒體數(shù)據(jù)流的方法，所述設備包括至第一網(wǎng)絡的接口和至第二網(wǎng)絡的接口，所述方法包括以下步驟通過與第一數(shù)據(jù)同步系統(tǒng)配合的第一傳輸協(xié)議，從第一網(wǎng)絡接收包括多媒體數(shù)據(jù)的第一流；通過與第二數(shù)據(jù)同步系統(tǒng)配合的第二傳輸協(xié)議，從第二網(wǎng)絡接收包括多媒體數(shù)據(jù)的第二流，所述第二同步系統(tǒng)基于與所述第一同步系統(tǒng)的定時參考不同的定時參考；其特征在于所述第一流和第二流在所述第一傳輸協(xié)議和所述第二傳輸協(xié)議的有效載荷字段中傳輸相同的同步信息，所述同步信息包括指示所述多媒體數(shù)據(jù)必須開始呈現(xiàn)的時刻的數(shù)據(jù)；通過使用所述同步信息來同步所述第一流和第二流；以及執(zhí)行用于呈現(xiàn)所述第一多媒體流和第二多媒體流的步驟。
文檔編號H04N21/43GK103155584SQ201180049772
公開日2013年6月12日 申請日期2011年10月14日 優(yōu)先權日2010年10月15日
發(fā)明者A.勞倫特, E.高蒂爾, Y.萊蓋賴斯 申請人:湯姆遜許可公司