用于在媒體中繼會議中同步音頻和視頻流的方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及用于在媒體中繼會議中同步音頻和視頻流的方法和系統(tǒng)。新技術(shù)允許將通過中間節(jié)點(diǎn)在接收媒體中繼端點(diǎn)處接收到的多個音頻和視頻流進(jìn)行同步，所述中間節(jié)點(diǎn)諸如是媒體中繼多點(diǎn)控制單元。接收到的流由多個發(fā)射媒體中繼端點(diǎn)產(chǎn)生并通過中間節(jié)點(diǎn)而被中繼到多個接收媒體中繼端點(diǎn)，但被視為在保持正確的捕獲時間的同時在掛鐘和操縱時間戳的方面使用單個時間域。
【專利說明】用于在媒體中繼會議中同步音頻和視頻流的方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及音頻/視頻通信，并且更具體地涉及多點(diǎn)音頻/視頻會議領(lǐng)域。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)上的業(yè)務(wù)持續(xù)其快速增長，伴隨有各種多媒體會議設(shè)備的增長，越來越多的人使用多媒體會議作為他們的通信工具?，F(xiàn)今，多媒體會議通信可基于兩種類型的通信方法而執(zhí)行:傳統(tǒng)的多媒體會議方法和媒體中繼會議方法的新技術(shù)。在本公開中，術(shù)語“多媒體會議、視頻會議和音頻會議可以可互換地使用，并且術(shù)語“視頻會議”可用作它們的代表性術(shù)語。
[0003]三個或更多個參與者之間的傳統(tǒng)多點(diǎn)會議需要多點(diǎn)控制單元(MCU)。MCU是會議控制實(shí)體，通常位于網(wǎng)絡(luò)節(jié)點(diǎn)或從端點(diǎn)接收多個信道的終端中。根據(jù)某些準(zhǔn)則，MCU處理音頻和視覺信號并分發(fā)它們到連接信道的集合。MCU的示例包括MGC-100，RMX2000，其可從Polycom, Inc.獲得(RMX-2000是Polycom, Inc.的注冊商標(biāo))?？杀环Q為傳統(tǒng)端點(diǎn)(LEP)的終端是網(wǎng)絡(luò)上的實(shí)體，其能夠提供與另一個LEP或MCU的實(shí)時、雙向音頻和/或音頻可視通信。LEP和MCU的更全面的定義可見于國際電信聯(lián)盟("ITU")標(biāo)準(zhǔn)中，例如但不限于H.320，H.324和H.323標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)可在下述ITU網(wǎng)站處找到:www.1tu.1nt。
[0004]公共MCU (也被稱為傳統(tǒng)MCU)可包括多個音頻和視頻解碼器、編碼器和媒體組合器(音頻混合器和/或視頻圖像構(gòu)建器)。MCU可使用大量的處理能力來處理可變數(shù)目的參與者(LEP)之間的音頻和視頻通信。該通信可以基于各種通信協(xié)議和壓縮標(biāo)準(zhǔn)，并可涉及不同類型的LEP。MCU可能需要分別組合多個輸入音頻或視頻流為至少一個單個音頻或視頻輸出流，該輸出流與該輸出流被發(fā)送到的至少一個與會者的LEP的屬性兼容。從端點(diǎn)接收到的壓縮音頻流被解碼并可以被分析來確定將選擇哪些音頻流以混合為會議的單個音頻流。在本公開中，術(shù)語“解碼”和“解壓縮”可以可互換地使用。
[0005]會議可以具有一個或多個視頻輸出流，其中每個輸出流與布局相關(guān)聯(lián)。布局定義了接收流的一個或多個與會者的顯示器上會議的外觀。布局可被分為一個或多個片段，其中，每個片段可以與由與會者(端點(diǎn))發(fā)送的視頻輸入流相關(guān)聯(lián)。每個輸出流可由多個輸入流構(gòu)成，從而產(chǎn)生連續(xù)呈現(xiàn)(CP, continuous presence)會議。在CP會議中，遠(yuǎn)程終端處的用戶可同時觀察會議中的其他多個參與者。每個參與者可被顯示在布局的片段中，其中每個片段可以是相同的尺寸或不同的尺寸。在參加相同會話的不同與會者當(dāng)中，所顯示的且與布局片段相關(guān)聯(lián)的參與者的選擇可以變化。
[0006]使用視頻會議的增長趨勢增加了對低成本MCU的需求，其將使一個低成本MCU能夠進(jìn)行具有所組成的CP視頻圖像的多個會議會話。這種需求產(chǎn)生了媒體中繼會議(MRC)的新技術(shù)。
[0007]在MRC中，媒體中繼MCU(MRM)從每個參與的媒體中繼端點(diǎn)(MRE)接收一個或多個輸入流。MRM給每個參與的端點(diǎn)中繼從會議中的其他端點(diǎn)接收到的多個媒體輸出流的集合。依據(jù)布局，每個接收端點(diǎn)使用多個流來產(chǎn)生視頻CP圖像以及會議的混合音頻。CP視頻圖像和混合的音頻被播放給MRE的用戶。MRE可以是會話中與會者的終端，其具有從MRM接收中繼的媒體和依據(jù)來自MRM的指令傳遞壓縮的媒體的能力。希望更多地了解MRC、MRM或MRE的示例的讀者受邀閱讀通過引用并入本文的相關(guān)美國專利N0.8，228，363和美國專利公開N0.2012-023611。在本公開中，術(shù)語“端點(diǎn)”可以指代MRE或LEP。
[0008]在某些MRC系統(tǒng)中，發(fā)射MRE在兩個或更多個流中發(fā)送其視頻圖像；每個流可與不同的質(zhì)量等級關(guān)聯(lián)。質(zhì)量可在幀速率、分辨率和/或信噪比(SNR)等方面不同。以相似的方式，每個發(fā)射MRE可在兩個或更多個流中發(fā)送其音頻，該兩個或更多個流在例如壓縮比特速率方面不同于彼此。這樣的系統(tǒng)可使用多個流來提供布局中的不同片段尺寸和每個接收端點(diǎn)所使用的不同分辨率等等。進(jìn)一步，多個流可以用于克服丟包。
[0009]現(xiàn)今，MRC變得越來越流行。許多視頻會議系統(tǒng)在一個或多個流中并行傳遞質(zhì)量等級。對于例如視頻，質(zhì)量可以在多個域中表示，例如時間域(如，幀每秒)，空間域(如，HD相對于CIF)和/或在質(zhì)量方面(如，銳度)。可用于多質(zhì)量流的視頻壓縮標(biāo)準(zhǔn)是H.264AVC、H.264附錄G(SVC)、MPEG-4等。關(guān)于壓縮標(biāo)準(zhǔn)(如H.264)的更多信息可在ITU網(wǎng)站www.1tu.1nt 或 www.mpeg, org 處找至丨J。
[0010]希望更多地了解MRM和MRE的讀者受邀閱讀通過引用并入本文的美國專利N0.8，228，363 和美國專利申請 N0.13 / 487,703。
[0011]為了達(dá)到良好的用戶體驗，在所播放的視頻和音頻之間需要同步。常用的音頻和視頻實(shí)時傳輸協(xié)議(RTP)包括音頻視頻同步機(jī)制。在RFC3550中描述了包括音頻視頻同步機(jī)制的RTP的示例，RFC3550的內(nèi)容通過引用而并入。該機(jī)制在媒體包的RTP報頭中使用時間戳，以及RTCP發(fā)送者報告(SR)和接收者報告(RR)。SR可包括接收報告塊，其等同于可能已包含在RR內(nèi)的接收報告。本公開還針對接收報告被包括在SR內(nèi)的情況涉及RR，而SR僅指代SR內(nèi)的發(fā)送者報告部分。關(guān)于RTP的更多信息可見于互聯(lián)網(wǎng)工程任務(wù)組(IETF)網(wǎng)站 www.1etf.0rg 中。
[0012]為了在音頻流和視頻流之間進(jìn)行同步，發(fā)射MRE或LEP將時間戳插入到其所發(fā)送的音頻和視頻實(shí)時傳輸協(xié)議(RTP)包的報頭中。時間戳分別反映了由麥克風(fēng)對音頻的捕獲時間(音頻時間戳，TSa)和/或由攝像機(jī)對視頻的捕獲時間(視頻時間戳，TSv) 0時間戳針對每種類型的流(音頻或視頻)以隨機(jī)值開始，并基于音頻和視頻編解碼器的不同時鐘速率(如音頻的8KHz和視頻的90KHz)進(jìn)行。
[0013]周期性地，發(fā)射端點(diǎn)MRE或LEP針對每個輸出流(音頻或視頻)發(fā)送RTP控制(RTCP)發(fā)送者報告(SR)。發(fā)送者報告可包括在消息被發(fā)送時對關(guān)聯(lián)的掛鐘的參考。例如，掛鐘時間(絕對日期和時間)可使用網(wǎng)絡(luò)時間協(xié)議(NTP)的時間格式而表示。此外，在發(fā)送者報告被發(fā)送時，每個流的RTCP發(fā)送者報告也包括關(guān)聯(lián)的時間戳(分別為TSa或TSv)，反映了在產(chǎn)生RTCP消息的時候被傳送的情況下將已被置于音頻/視頻RTP包(分別地)中的時間戳。兩個連續(xù)RTCP發(fā)送者報告之間的時間間隔可以是幾秒，如5秒。
[0014]這種機(jī)制使接收端點(diǎn)能夠在接收端點(diǎn)的掛鐘和發(fā)射端點(diǎn)的掛鐘之間進(jìn)行相關(guān)。這種相關(guān)可以在每次RTCP發(fā)送者報告被接收到的時候被調(diào)整。接收端點(diǎn)可使用各自的發(fā)送者報告中的掛鐘和時間戳，以通過將接收到的音頻的播放時間調(diào)整至接收到的視頻的播放時間(或反之亦然)來同步接收到音頻和視頻流。RTP和RTCP是本領(lǐng)域中公知的，并在多個RFC中描述。希望更多地了解RTP和RTCP的讀者受邀閱讀RFC3550，4585，4586和可在互聯(lián)網(wǎng)工程任務(wù)組(IETF)網(wǎng)站www.1etf.0rg處找到的許多其他資料,其內(nèi)容通過引用并入本文。
[0015]在傳統(tǒng)CP代碼轉(zhuǎn)換視頻會議中，在從多個發(fā)射傳統(tǒng)端點(diǎn)獲取壓縮音頻和視頻流時，傳統(tǒng)的MCU充當(dāng)接收實(shí)體。此外，在發(fā)射會議CP視頻圖像的壓縮混合音頻和壓縮組成視頻流到多個接收傳統(tǒng)端點(diǎn)時，傳統(tǒng)的MCU充當(dāng)發(fā)射實(shí)體。在上行鏈路方向上，由端點(diǎn)向MCU提供的RTP時間戳和RTCP報告使MCU能夠同步從多個源接收到的音頻和視頻RTP流。在下行鏈路方向上，MCU產(chǎn)生視頻布局和匹配的同步音頻混合。MCU發(fā)送音頻混合和視頻布局給接收端點(diǎn)，每個都在單個RTP流中，該流中的每個包使其音頻時間戳或視頻時間戳分別伴隨有RTCP報告。然而，在MRC的某些實(shí)施例中，在音頻和視頻之間進(jìn)行同步更加復(fù)雜，因為MRM僅在接收MRE (RMRE)混合音頻并組成CP視頻圖像時中繼媒體流，這些媒體流由多個發(fā)射MRE (TMRE)產(chǎn)生，每個發(fā)射MRE具有其自身的掛鐘和時間戳字段?；旌系囊纛l和組成的CP視頻圖像被呈遞給使用RMRE的與會者。
[0016]在MRC中同步不同的流的示例在相關(guān)的美國專利N0.8，228，363和美國專利申請N0.13 / 487，703中公開?？商鎿Q地，實(shí)體中的每一個(MRE以及MRM)可通過使用網(wǎng)絡(luò)時間協(xié)議(NTP)服務(wù)器來同步其時鐘。MRM的其他實(shí)施例可以僅將接收到的RTCP消息從TMRE中繼到RMRE。上面公開的用于在MRC會話中同步音頻和視頻的方法消耗MRM處的計算資源和/或MRM和RMRE間的帶寬資源。
[0017]在MRC的其他實(shí)施例中，由于接收端點(diǎn)處理能力、缺少音頻中繼解碼器的支持或者帶寬限制，可以將單個音頻流發(fā)送給接收端點(diǎn)，這包括混合來自最活躍的揚(yáng)聲器的多個音頻流，而被選擇的MRE的視頻流被分別發(fā)送給接收MRE，該接收MRE將流組成為CP視頻圖像。在這種情況下，接收到的視頻流不能被同步到接收到的音頻混合。

【發(fā)明內(nèi)容】

[0018]MRC會話中的音頻和視頻之間的同步過程的上述缺陷不意圖以任何方式限制本公開的發(fā)明構(gòu)思的范圍。該缺陷只是為了說明而提出的。本公開涉及一種在RMRE處實(shí)現(xiàn)由提出的MRE發(fā)起的視頻圖像和由相同提出的MRE發(fā)起的關(guān)聯(lián)的音頻信號之間的唇同步(lip-sync)的新技術(shù)。在MRC的某些實(shí)施例中，音頻混合可由RMRE完成。在其他實(shí)施例中，音頻混合可由MRM通過混合由TMRE發(fā)起的一個或多個音頻流來完成。在MRM中的音頻混合之后，可以將承載壓縮混合音頻的單個流發(fā)送給RMRE。至于視頻，例如，由多個TMRE產(chǎn)生的視頻流經(jīng)由中間節(jié)點(diǎn)(如MRM)而被中繼給多個RMRE。所公開的新技術(shù)適用于這兩種類型的MRC音頻混合實(shí)施例。
[0019]MRM的實(shí)施例可操縱每個接收到的音頻或視頻包(TSa或TSv)的時間戳為操縱的時間戳(MTSa或MTSv)。這種操縱可通過從嵌入在接收到的RTP包的報頭中的時間戳的值減去增量值(分別為Λ TSa或ATSv)而完成。在MRE連接到會話后，可針對每個MRE計算Λ TSa和ATSv。在另一個實(shí)施例中，可針對在MRM處接收到的每個媒體流計算Λ TSa和ATSv0 Λ TSa和ATSv的計算值可以針對整個會話而保持。在MRM的某些實(shí)施例中，可以不時地重新評估ATSa和Λ TSv，例如每幾十秒到幾十分鐘。在當(dāng)前描述中，MRM可被用作位于多個MRE之間的中間網(wǎng)絡(luò)設(shè)備。
[0020]針對音頻流計算Δ TSa或針對視頻流計算Δ TSv可以通過從MRM向MRE發(fā)送相關(guān)SR'(音頻或視頻)和等待從MRE獲得RR和SR而初始化。在一些實(shí)施例中，RR和SR可被合并至一個RTCP消息中?；赗R，可以計算MRM和MRE之間的相關(guān)往返時間(RTT)?；谟嬎愕南嚓P(guān)RTT的值；相關(guān)SR中的掛鐘字段；以及從MRE接收到RR時MRM的掛鐘，可以估計MRM和MRE的相關(guān)掛鐘之間的差值(WC_DIFF)。根據(jù)所估計的RTT和/或SR的到達(dá)時間，可以針對音頻或視頻計算通常的WC_DIFF。
[0021]最后，可以根據(jù)SR中的掛鐘的值、通常的WC_DIFF、音頻和/或視頻分別的時鐘速率、以及MRM TSa/v參考和分別嵌入到相關(guān)SR中的時間戳音頻或視頻之間的差值來計算Λ TSa或Λ TSv0針對每個MRE或針對與會話相關(guān)聯(lián)的每個流而計算的通常WC_DIFF的值Δ TSa和△ TSv可被存儲在會話RTP處理器處的表格中。該表格可以不時地被更新。
[0022]針對從承載壓縮媒體(音頻或視頻)的TMRE接收的每個包，會話RTP處理器可檢索合適Λ TSa或Λ TSv的值，并相應(yīng)地操縱TSa或TSv為MTSa或MTSv (分別地)。MTSa或MTSv可分別被置于中繼RTP包的報頭處，而不是被置于接收到的TSa或TSv處。嵌入在從MRM中繼到RMRE的包中的被操控時間戳將媒體捕獲時間變換為MRM的時間域。因此，MTSa/V表示MRM時間域中的媒體捕獲時間。由于對時間戳的操縱，單個發(fā)送者報告可由MRM針對每種媒體類型(一種用于音頻且一種用于視頻)發(fā)送到每個RMRE，其中發(fā)送者報告適用于該媒體類型的所有流。因此，從多個TMRE接收到的每個流的每個包的MTSa或MTSv表現(xiàn)為從單個實(shí)體、從中間節(jié)點(diǎn)(如MRM)接收到。[0023]因此，從MRM接收多個所選擇的中繼音頻和視頻流的RMRE可在混合音頻或組成CP視頻圖像前，通過使用每個中繼流內(nèi)的MTSa和MTSv以及來自從MRM接收到的發(fā)送者報告的信息來同步音頻和視頻流。該新技術(shù)使RMRE能夠同步音頻和視頻，而在MRM處不需要復(fù)雜的同步或依據(jù)接收到每一個TMRE的發(fā)送者報告。因此，這種技術(shù)減少了端到端等待時間并節(jié)約了 MRM和RMRE 二者處的計算資源，以及減少了 MRM和RMRE之間的帶寬消耗。
[0024]在音頻混合由MRM完成的MRC實(shí)施例中，例如，可添加額外的適配。額外的適配使RMRE能夠同步從TMRE發(fā)起的所提出的視頻流與從相同TMRE發(fā)起的音頻流，如果其存在于音頻混合中的話。這種系統(tǒng)的實(shí)施例可包括給承載壓縮音頻混合的每個包的RTP擴(kuò)展報頭添加新字段。在新字段中，MRM可指示其音頻流被包含在音頻混合中的端點(diǎn)及其各自的被操控時間戳(MTSa)。
[0025]這種系統(tǒng)的另一個實(shí)施例可以包括:在MRM處，在混合音頻流的包之前，依據(jù)其捕獲時間將其對齊。此外，可以給承載壓縮音頻混合的每個包的RTP擴(kuò)展報頭添加新字段，其中MRM可指示其音頻被包含在音頻混合中的一個或多個端點(diǎn)。音頻包的RTP時間戳是調(diào)整后的時間戳，其現(xiàn)在表示用于在MRM的時間域中對齊被包含在混合中的音頻源的捕獲時間。
[0026]遍及本公開，將MRC系統(tǒng)描述為將多個音頻和/或視頻流中繼到接收端點(diǎn)。然而，本發(fā)明類似地適用于MRC系統(tǒng)僅將單個音頻和/或單個視頻中繼到接收端點(diǎn)的情況。我們使用多個流的情況僅作為示例。
[0027]鑒于附圖和詳細(xì)描述，本公開的這些和其他方面將顯而易見。前面的
【發(fā)明內(nèi)容】
并不意圖總結(jié)本公開的每個可能的實(shí)施例或每個方面，并且在閱讀附有附圖的實(shí)施例的以下詳細(xì)描述以及所附權(quán)利要求后，本公開的其他特征和優(yōu)勢將變得顯而易見。
[0028]此外，盡管具體實(shí)施例被詳細(xì)描述以向本領(lǐng)域技術(shù)人員說明發(fā)明構(gòu)思，但是這樣的實(shí)施例易于具有各種修改和替換形式。相應(yīng)地，附圖和所撰寫的描述不意圖以任何方式限制發(fā)明構(gòu)思的范圍。
【專利附圖】

【附圖說明】
[0029]被并入到本說明書中且構(gòu)成本說明書的一部分的附圖圖示了與本發(fā)明一致的裝置和方法的實(shí)施方式，并與詳細(xì)描述一起用于解釋與本發(fā)明一致的優(yōu)勢和原理。在附圖中:
[0030]圖1圖示了依據(jù)一個實(shí)施例的包括多種電子視頻會議系統(tǒng)的多媒體中繼會議系統(tǒng)。
[0031]圖2描繪了依據(jù)一個實(shí)施例的具有MRM的相關(guān)元件的框圖。
[0032]圖3A是具有實(shí)現(xiàn)示例技術(shù)和元件的會話壓縮媒體RTP處理器的相關(guān)元件的簡化框圖，其中音頻混合由RMRE完成。
[0033]圖3B是具有實(shí)現(xiàn)示例技術(shù)和元件的會話壓縮音頻和視頻RTP處理器的相關(guān)元件的簡化框圖,其中音頻混合由MRM完成。
[0034]圖4是圖示了用于準(zhǔn)備用于將流的每個接收到的包的時間戳變換至MRM時間域中的參數(shù)的方法的相關(guān)動作的流程圖。
【具體實(shí)施方式】
[0035]在下文的描述中，為了解釋的目的，闡述了多個具體細(xì)節(jié)以提供對本發(fā)明的透徹理解。然而，對本領(lǐng)域的技術(shù)人員來說將顯而易見的是，可以在沒有這些具體細(xì)節(jié)的情況下實(shí)施本發(fā)明。在其他實(shí)例中，為了避免使本發(fā)明模糊，以框圖形式示出了結(jié)構(gòu)和設(shè)備。對沒有下標(biāo)或后綴的數(shù)字的引用被理解為引用與所引用的數(shù)字相對應(yīng)的下標(biāo)和后綴的所有實(shí)例。
[0036]如本文中所使用的那樣，術(shù)語“計算機(jī)系統(tǒng)”可以指代單個計算機(jī)或一起工作的多個工作計算機(jī)，所述計算機(jī)用于執(zhí)行被描述為在計算機(jī)系統(tǒng)上執(zhí)行或由計算機(jī)系統(tǒng)執(zhí)行的功能。
[0037]現(xiàn)在轉(zhuǎn)至在其中相似附圖標(biāo)記遍及若干視圖表示相似元件的附圖，描述了本公開的實(shí)施例。為了方便起見，可以對同一組的僅一些元件標(biāo)記有附圖標(biāo)記。附圖的目的是描述實(shí)施例而不是用于生產(chǎn)。因此，附圖中示出的特征僅是為了呈現(xiàn)的方便和清楚而選擇的。此外，本公開中使用的語言主要是出于可讀性和教學(xué)目的而選擇的，而可能不是為了勾畫或劃定本發(fā)明主題而選擇的，訴諸權(quán)利要求是確定這種本發(fā)明主題所必需的。
[0038]在說明書中對“一個實(shí)施例”或“一實(shí)施例”的引用意味著結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性被包含在本發(fā)明的至少一個實(shí)施例中，并且對“一個實(shí)施例”或“一實(shí)施例”的多個引用不應(yīng)被理解為一定都指代相同實(shí)施例。
[0039]雖然下面描述中的一些是在涉及軟件或固件的方面撰寫的，但是實(shí)施例可按期望以軟件、固件或硬件實(shí)現(xiàn)這里描述的特征和功能，包括軟件、固件和硬件的任意組合。在下文的描述中，詞語“單元”、“元件”、“模塊”和“邏輯模塊”可以可互換地使用。被指定為單元或模塊的任何內(nèi)容可以是獨(dú)立的單元或者專門或集成的模塊。單元或模塊可以是模塊化的或具有模塊化方面，從而允許其被容易地拆除和更換為另一個類似單元或模塊。每個單元或模塊可以是軟件、硬件和/或固件中的任一個或其任意組合，最終導(dǎo)致一個或多個處理器被編程為執(zhí)行歸于該單元或模塊的功能。此外，具有相同或不同類型的多個模塊可由單個處理器實(shí)現(xiàn)。邏輯模塊的軟件可體現(xiàn)在計算機(jī)可讀介質(zhì)上，如讀/寫硬盤、⑶-ROM、閃存、ROM或其他存儲器或儲存器等。為了執(zhí)行任務(wù)，軟件程序可按需加載到適當(dāng)處理器。在本公開中，術(shù)語任務(wù)、方法、過程可以可互換地使用。
[0040] 圖1圖示了依據(jù)一個實(shí)施例的新型多媒體中繼會議系統(tǒng)100，其包括多種新型電子視頻會議系統(tǒng)。系統(tǒng)100可包括網(wǎng)絡(luò)110、一個或多個中間節(jié)點(diǎn)(例如媒體中繼MCU(MRM) 120)、以及多個媒體中繼端點(diǎn)(MRE) 130。網(wǎng)絡(luò)110可以是但不限于分組交換網(wǎng)絡(luò)、電路交換網(wǎng)絡(luò)、IP網(wǎng)絡(luò)或其任意組合。網(wǎng)絡(luò)上的多媒體通信可例如基于通信協(xié)議，例如但不限于H.323或會話發(fā)起協(xié)議(SIP)，并可以使用媒體壓縮標(biāo)準(zhǔn)，例如但不限于H.263，H.264，G.711，G.719。在本公開中，術(shù)語數(shù)據(jù)塊和包可以可互換地使用。希望更多地了解國際電信聯(lián)盟(“ITU”)標(biāo)準(zhǔn)的讀者受邀訪問ITU網(wǎng)站?廁.itu.1nt。為了更多地了解 SIP,請訪問 IETF 網(wǎng)站:www.1etf.0rg。
[0041]每個媒體中繼端點(diǎn)(MRE) 130能夠提供實(shí)時、雙向音頻和/或視覺通信到另一個MRE130或MRMl20。MRE可以是會話中的與會者的終端，其具有從MRM120接收中繼壓縮媒體(音頻和視頻)和傳遞中繼RTP壓縮音頻和視頻數(shù)據(jù)塊到MRM120的能力。中繼上行鏈路(向MRM120)和中繼下行鏈路(向MRE)壓縮媒體(音頻或視頻)數(shù)據(jù)塊可作為RTP壓縮媒體數(shù)據(jù)塊而被發(fā)送。中繼上行鏈路數(shù)據(jù)塊可被認(rèn)為是MRM120的輸入數(shù)據(jù)塊，并且中繼下行鏈路數(shù)據(jù)塊可被認(rèn)為是輸出數(shù)據(jù)塊。每個MRE130可以以一個或多個適當(dāng)?shù)乃璞忍芈屎退璧膲嚎s標(biāo)準(zhǔn)來發(fā)送中繼RTP壓縮音頻數(shù)據(jù)塊。類似地，每個MRE130可以以一個或多個適當(dāng)?shù)乃璩叽?、一個或多個比特率、以及所需的壓縮標(biāo)準(zhǔn)來發(fā)送中繼RTP壓縮視頻數(shù)據(jù)塊。在某些實(shí)施例中，每個MRE130可被用于通過將音頻能量指示嵌入到中繼RTP壓縮音頻數(shù)據(jù)塊的擴(kuò)展報頭中或報頭中的字段中來發(fā)送其音頻能量的指示。
[0042]每個MRE130可與MRE標(biāo)識符(ID)相關(guān)聯(lián)，該MRE標(biāo)識符可以被承載在媒體數(shù)據(jù)的中繼RTP壓縮塊的實(shí)時傳輸協(xié)議(RTP)報頭中。在一個實(shí)施例中，ID可以由MRE隨機(jī)選擇，并在證實(shí)其獨(dú)特性后由MRM120潛在地確認(rèn)。在另一個實(shí)施例中，ID可以由MRM120分配并被傳達(dá)給相關(guān)的MRE130。在某些實(shí)施例中，MRE ID可結(jié)合媒體流類型指示使用，產(chǎn)生標(biāo)識由相關(guān)MRE發(fā)送的特定流的流ID。然而，在某些實(shí)施例中，流ID可被承載在媒體數(shù)據(jù)的RTP塊的實(shí)時傳輸協(xié)議(RTP)報頭中，被寫入RTP的擴(kuò)展報頭或同步源(SSRC)字段中。在另一個實(shí)施例中，流ID可以被承載在RTP報頭中的貢獻(xiàn)源ID(CSRC)字段中。在可替換實(shí)施例中，流ID可被寫入每個中繼RTP壓縮媒體數(shù)據(jù)塊的擴(kuò)展報頭中。流ID可使MRMl20能夠識別接收到的中繼RTP壓縮音頻和/或視頻包的源。
[0043]在可替換實(shí)施例中，相同MRE130的中繼RTP壓縮音頻數(shù)據(jù)塊和中繼RTP壓縮視頻數(shù)據(jù)塊可具有不相關(guān)的ID。在這樣的實(shí)施例中，在MRMl20上接收到中繼RTP壓縮音頻數(shù)據(jù)塊和/或視頻數(shù)據(jù)塊的IP地址和IP端口可以用于標(biāo)識，以代替ID號。
[0044]在一個實(shí)施例中，依據(jù)每個與會者(MRE130)的接收到的音頻能量，MRM120可確定在會話的一定時段中哪些與會者將被呈現(xiàn)在CP圖像中。例如，具有最高音頻能量的MRE130可以在未來給定的時間段內(nèi)被選擇、呈現(xiàn)和聽到。MRM120可進(jìn)一步確定所顯示的與會者中的哪個或哪些將被顯示在布局中的發(fā)言者片段中。在可替換實(shí)施例中，每個MRE130可確定哪些與會者將被呈現(xiàn)在布局中以及在哪個片段中。在這樣的實(shí)施例中，MRE130用戶可使用用戶接口方法來選擇所呈現(xiàn)的與會者，例如但不限于點(diǎn)擊和查看方法，這在美國專利N0.7，542，068 中公開。
[0045]MRE130的一些示例可解碼從所選擇的與會者發(fā)起的接收到的中繼RTP壓縮視頻流并在適當(dāng)?shù)牟季制沃酗@示每個圖像。MRE130可解碼從所選擇的與會者發(fā)起的接收到的中繼RTP壓縮音頻流，混合不同的解碼音頻流并傳輸混合的音頻到MRE130揚(yáng)聲器。在另一方向上，MRE130可傳遞中繼RTP壓縮音頻和視頻數(shù)據(jù)塊到MRMl20。
[0046]MRE130的其他示例可能在接收多個音頻流、對其進(jìn)行解碼和將其混合為單個流時遭受處理能力的缺少、對音頻中繼編解碼器的支持的缺少或者帶寬限制。在這樣的情況下，例如，從MRM120發(fā)送包括來自頂級活躍發(fā)言者的多個音頻流的混合的單個壓縮混合音頻流是優(yōu)選的，而所選擇的MRE的視頻流被分別發(fā)送給接收MRE，該接收MRE對該流進(jìn)行解碼并將解碼后的流組成為CP視頻圖像。
[0047]在RMRE130處，為了恰當(dāng)?shù)赝匠尸F(xiàn)CP視頻圖像和播放相關(guān)的音頻流，需要同步音頻和視頻。在能夠接收多個音頻流、對其進(jìn)行解碼和混合的MRE130的實(shí)施例中，可以基于MTSa，MTSv和從該MRM接收到的SR來完成經(jīng)由MRM120從相同TMRE接收到的音頻和視頻流的同步。盡管使用所操縱的時間戳，常用的RFC3550技術(shù)也可以用于同步音頻和視頻。
[0048]在某些MRC系統(tǒng)中，MRM120可依據(jù)在混合從多個TMRE接收到的音頻流之前的其捕獲時間來對齊從多個TMRE接收到的音頻流。因此，單個MTSa可反映由MRM120發(fā)送的壓縮音頻數(shù)據(jù)包中承載的混合音頻的通常捕獲時間。在這樣的MRC系統(tǒng)中，RMRE130可以基于在承載壓縮視頻流的包的RTP報頭中寫入的MTSv以及由承載混合音頻數(shù)據(jù)的包的RTP報頭承載的MTSa，在混合中的每個音頻信號和其關(guān)聯(lián)的視頻流之間進(jìn)行同步。因此，CP視頻圖像中的視頻圖像可來自相同的通常捕獲時間并與音頻混合唇同步。
[0049]在這樣的MRC系統(tǒng)的另一個實(shí)施例中，額外的信息可以被置于壓縮混合音頻包的RTP擴(kuò)展報頭中，包括其音頻被包含在音頻混合中的TMRE的ID的列表?；贗D字段，可以選擇相關(guān)的所呈現(xiàn)的視頻流，并且可以將該視頻流的MTSv連同通常MTSa —起用于同步從該相關(guān)TMRE接收到的視頻圖像和從相同TMRE接收到的音頻數(shù)據(jù)，該音頻數(shù)據(jù)當(dāng)前處于混合音頻中。以相似的方式，可以將混合中的每個音頻數(shù)據(jù)與其視頻圖像唇同步。因此，CP視頻圖像中的視頻圖像可來自于不同的捕獲時間，但它們中的每一個都與從相同TMRE接收到且當(dāng)前處于音頻混合中的音頻唇同步。
[0050]在某些MRC系統(tǒng)中，MRM120不依據(jù)在混合從多個TMRE接收到的音頻流之前的其捕獲時間對齊從多個TMRE接收到的音頻流。在這樣的MRC系統(tǒng)中，RMRE130可基于在承載壓縮視頻流的包的RTP報頭中寫入的MTSv以及由承載混合音頻數(shù)據(jù)的包的RTP擴(kuò)展報頭承載的額外信息，在混合中的每個音頻信號和其關(guān)聯(lián)的視頻流之間進(jìn)行同步。
[0051]該額外信息可被布置在列表對中。每對可與當(dāng)前處于由該包承載的混合音頻數(shù)據(jù)中的首頻流關(guān)聯(lián)。每對可以包括指不指向發(fā)起該首頻的TMRE的ID的字段和指不該首頻的MTSa的字段。基于ID字段，可以選擇相關(guān)的所呈現(xiàn)的視頻流，并且可以將該視頻流的MTSv連同MTSa —起用于同步從該相關(guān)TMRE接收到的視頻圖像和從相同TMRE接收到的音頻數(shù)據(jù)，該音頻數(shù)據(jù)當(dāng)前處于混合音頻中。以相似的方式，可以將混合中的每個音頻數(shù)據(jù)與其視頻圖像唇同步。因此，CP視頻圖像中的視頻圖像可來自于不同的捕獲時間，但它們中的每一個都與從相同TMRE接收到且當(dāng)前處于音頻混合中的音頻唇同步。
[0052]MRM120的一個實(shí)施例可進(jìn)行多個多媒體多點(diǎn)會議，每個涉及多個MRE130。此外，MRM120的示例可被配置為依據(jù)每個與會者和會話的當(dāng)前需求來動態(tài)地分配和釋放資源。MRM120的示例可具有集中式架構(gòu)并可位于多個MRE130之間的網(wǎng)絡(luò)110的中間節(jié)點(diǎn)中。
[0053]MRM120的實(shí)施例可被配置為參加同步過程。這樣的MRM120的示例可借助值(分別為Λ TSv或ATSa)來操縱每個接收到的包的時間戳(TSa或TSv)。在中繼RTP壓縮包報頭中從MRM120發(fā)送給RMRE130的所操縱的時間戳(分別為MTSa或MTSv)使接收到的時間戳(A/V)顯得好像其來自于MRM120。因此，從多個TMRE130發(fā)起的在RMRE130處接收到的中繼流的每個包的MTSa或MTSv顯得從單個實(shí)體(中間節(jié)點(diǎn)(如MRM120))發(fā)起。下面結(jié)合圖2、3Α、3Β和4公開了關(guān)于MRM120的示例實(shí)施例的更多信息。
[0054]圖2描繪了具有MRM200的一個實(shí)施例的相關(guān)元件的框圖。MRM200可包括網(wǎng)絡(luò)接口模塊(NI) 220、一個或多個會話壓縮音頻RTP處理器(SCARP) 230、一個或多個會話壓縮視頻RTP處理器(SCVRP) 250、以及信令和控制模塊(SCM) 240。在可替換實(shí)施例中，MRM200可包括一個或多個SCM240，針對每個會話一個SCM。在MRM200的某些實(shí)施例中，SCARP230和SCVRP250可以具有相似的模塊，這些模塊被配置為關(guān)于音頻-視頻同步操縱相關(guān)的流。這些模塊被稱為會話壓縮媒體RTP處理器(SCMRP)，并且下面結(jié)合圖3A而進(jìn)一步描述。某些SCMRP可被配置為處理承載壓縮音頻(SCARP230)，并且某些SCMRP可被配置為處理承載壓縮視頻(SCVRP250)的RTP流。為了將SCMRP適配為處理媒體類型，可以提供合適的掛鐘和時間戳?xí)r鐘。
[0055]在可替換實(shí)施例中，MRM200可被配置為傳遞壓縮混合音頻到多個RMRE130。在這樣的實(shí)施例中，SCARP230和視頻SCVRP250的功能可由會話壓縮音頻和視頻RTP處理器(SCAVRP)(諸如圖3B中所示的SCAVRP)提供。
[0056]NI220可通過網(wǎng)絡(luò)110與多個視頻會議設(shè)備(如MRE130)進(jìn)行通信。NI220可依據(jù)一個或多個通信標(biāo)準(zhǔn)(例如但不限于H.323和SIP)來解析通信。此外，NI220可處理通信的物理層、數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層和傳輸層(M)P / TCP層KNI220可從/向MRM200和MRE130或其他節(jié)點(diǎn)(附圖中未示出)的內(nèi)部模塊接收和發(fā)射控制和數(shù)據(jù)信息。NI220復(fù)用/解復(fù)用在MRE130和MRM200的內(nèi)部模塊間通信的不同信號和流。
[0057]通過NI220可分別向和從MRE130和適當(dāng)?shù)腟CARP230傳輸壓縮音頻的RTP包和RTCP報告(SR或RR或復(fù)合RR / SR)。每個SCARP230可與會議會話相關(guān)聯(lián)。NI220可依據(jù)MRE130的包源和/或目的地IP地址和端口和/或ID來確定MRE130參加哪個會議會話，從而使NI220能夠確定向哪個SCARP230傳輸從MRE130接收到的音頻包，并且反之亦然。
[0058]通過NI220可分別向和從MRE130和適當(dāng)?shù)腟CVRP250傳輸壓縮視頻的RTP包和RTCP報告(SR或RR或復(fù)合RR / SR)。每個SCVRP250可與會議會話相關(guān)聯(lián)。NI220可依據(jù)MRE130的包源和/或目的地IP地址和端口和/或ID來確定MRE130參加哪個會議會話，從而使NI220能夠確定應(yīng)該向其傳輸從MRE130接收到的視頻包的SCVRP250，并且反之亦然。
[0059]NI220還可以向和從SCM240和MRE130發(fā)射和接收信令和控制數(shù)據(jù)?？商鎿Q實(shí)施例可具有多于一個信令和控制模塊(SCM) 240，例如針對每個會話包含一個信令和控制模塊240。
[0060]對于MRM200所處理的每個會議會話，SCARP230可被分配以處理會話音頻。SCARP230可通過NI220從參加會話的MRE130獲得中繼RTP壓縮音頻數(shù)據(jù)塊(報頭和有效載荷)。RTCP SR和RR報告也可由SCARP230發(fā)送或獲得。此外，SCARP230可通過控制總線從SCM240接收MRM200掛鐘和用于音頻流的MRM200RTP音頻時鐘。對于由SCARP230處理的音頻流，一個或多個計數(shù)器可被分配以創(chuàng)建MRM200TSa。MRM200RTP音頻時鐘可用作所分配的計數(shù)器的時鐘。計數(shù)器可利用隨機(jī)數(shù)而發(fā)起并可以以循環(huán)模式運(yùn)行。
[0061]基于MRM200掛鐘和MRM200TSa，SCARP230可被配置為操縱在每個RTP包中接收的音頻時間戳。MTSa表示在RMRE130處接收到的音頻時間戳，以便顯得來自于MRM200的時間域。因此，從多個TMRE130接收的每個流的每個包的MTSa顯得接收自單個實(shí)體(中間節(jié)點(diǎn)(如MRM200))。因此，每幾秒鐘(如5秒鐘)，SCARP230可以發(fā)送單個RTCP音頻SR給每個RMRE,而不是發(fā)送其中每個SR與一個TMRE130相關(guān)的多個SR。
[0062]例如，周期性地，每幾十毫秒，SCARP230可選擇一組音頻塊中繼RTP壓縮流以便聽到并從而中繼到RMRE130。該選擇可以基于將與接收到的流關(guān)聯(lián)的平均能量或音頻能量進(jìn)行比較，或基于語音活動檢測(VAD)?？商鎿Q地，該選擇可以基于從SCM240接收到的命令。所選擇的中繼RTP壓縮流的數(shù)目取決于MRE130的音頻混合能力。在某些實(shí)施例中，所選擇的流的數(shù)目可由與會者配置。
[0063]SCARP230也可將TMRE130之一選擇為主揚(yáng)聲器(例如，將在最大布局片段中顯示的那一個)，并相應(yīng)地轉(zhuǎn)發(fā)信令和控制信息到SCM240。主揚(yáng)聲器可以是在一定時間段內(nèi)的特定百分比的收聽流選擇間隔內(nèi)具有最高音頻能量和/或VAD指示的那一個。在可替換實(shí)施例中，SCARP230可轉(zhuǎn)發(fā)關(guān)于MRE130的音頻能量和VAD的信息到SCM240。SCM240將選擇主揚(yáng)聲器和將被聽到(混合)的音頻數(shù)據(jù)的RTP壓縮流的組，并發(fā)送信令和控制數(shù)據(jù)到合適的SCARP230和SCVRP250。在某些實(shí)施例中，關(guān)于所選擇的與會者組和/或主揚(yáng)聲器的信息還被傳送到MRE130。依據(jù)從SCM240發(fā)送的信令和控制數(shù)據(jù)，SCARP230可操縱所選擇的組的中繼RTP壓縮音頻塊的TSa為MTSa并通過NI220將該壓縮音頻塊作為中繼壓縮音頻數(shù)據(jù)塊中繼到合適的RMRE130。下面結(jié)合圖3A公開了關(guān)于SCARP230的示例的更多信息。
[0064]對于MRM200所處理的每個會議會話，SCVRP250可被分配以處理會話視頻。SCVRP250的示例可通過NI220從參加會話的MRE130獲得中繼RTP壓縮視頻數(shù)據(jù)塊(報頭和有效載荷)。RTCP SR和RR報告也可由SCVRP250發(fā)送或獲得。此外，SCVRP250可通過控制總線從SCM240接收MRM200掛鐘和用于視頻流的MRM200RTP視頻時鐘。對于由SCVRP250處理的視頻流，計數(shù)器可被分配以創(chuàng)建MRM200TSV。MRM200RTP視頻時鐘可用作所分配的計數(shù)器的時鐘。計數(shù)器可以利用隨機(jī)數(shù)而發(fā)起并可以以循環(huán)模式運(yùn)行。
[0065]基于MRM200掛鐘和MRM200TSv，SCVRP250可被配置為操縱在每個RTP包中接收的視頻時間戳。MTSv表示在RMRE130處接收到的視頻時間戳，以便顯得來自于MRM200的時間域。因此，從多個TMRE130接收到的每個流的每個包的MTSv顯得從單個實(shí)體(中間節(jié)點(diǎn)(如MRM200))發(fā)起。因此，每幾秒鐘(如每5秒鐘)，SCVRP250可以發(fā)送單個RTCP視頻SR給每個RMRE130，而不是發(fā)送其中每個SR與一個TMRE130相關(guān)的多個SR。
[0066]例如，周期性地，每幾秒，SCVRP250可選擇一組視頻塊中繼RTP壓縮流以呈現(xiàn)并從而中繼到RMRE130。該選擇可基于從SCM240接收到的命令。例如，針對每個RMRE130選擇的中繼RTP壓縮流及其視頻參數(shù)的數(shù)目可以取決于用在該RMRE130中的CP布局。下面結(jié)合圖3A和圖4公開了關(guān)于SCVRP250和SCARP230的操作的更多信息。[0067]MRM的某些實(shí)施例可以不具有SCARP230和SCVRP250。取而代之，這種MRM可以具有會話壓縮音頻和視頻RTP處理器(SCAVRP) 300B。這種SCAVRP300B的音頻部分可被配置為解碼接收到的壓縮音頻流，分析解碼后的流來確定哪個與會者將被選擇為主發(fā)言者以及哪些與會者將被選擇以在會議中聽到和/或在CP視頻布局中呈現(xiàn)。然后，所選擇的與會者的解碼后的音頻被混合，并且混合的音頻可被壓縮和嵌入到RTP包中。下面結(jié)合圖3B公開了關(guān)于SCAVRP300B的更多信息。
[0068]SCM240的示例可以控制MRM200的整個操作。SCM240可發(fā)起會議會話(預(yù)留或即興)并設(shè)置與端點(diǎn)的連接。基于會話的需要，SCM240可確定會話的屬性，并且，相應(yīng)地設(shè)置端點(diǎn)。SCM240也可分配資源給MRM200的內(nèi)部模塊并可以分配ID號給RTP壓縮音頻/視頻的每個流。
[0069]不時地，SCM240可獲得關(guān)于數(shù)據(jù)塊的每個中繼RTP壓縮音頻流的音頻能量的信息，并相應(yīng)地選擇新的發(fā)言者和視頻資源以呈現(xiàn)在每個端點(diǎn)上?；谶@些選擇，向SCARP230和SCVRP250給出指令。SCM240還可通知一個或多個RMRE130關(guān)于會議發(fā)言者的變化、與會者的數(shù)目、他們所貢獻(xiàn)的媒體流和與會者的狀態(tài)。
[0070]此外，SCM240可包括一個或多個定時模塊，其可被使用以協(xié)助音頻和視頻流間的同步過程。SCM240的定時模塊可包括掛鐘、音頻流的一個或多個時鐘和視頻流的一個或多個時鐘。例如，掛鐘可以以每秒百萬次脈沖的速率傳遞脈沖。一個或多個音頻時鐘可以以每秒幾千次到幾萬次脈沖的速率傳遞脈沖，例如每秒8，000到64，000次脈沖。一個或多個視頻時鐘可以以每秒幾萬次脈沖的速率傳遞脈沖，例如每秒90，000次脈沖。相關(guān)的時鐘脈沖可通過控制總線而分發(fā)給適當(dāng)?shù)腟CARP230和SCVRP250。下面結(jié)合圖3A、3B和4公開了關(guān)于MRM的更多信息。
[0071]圖3A是具有SCMRP300A的示例的相關(guān)元件的簡化框圖，SCMRP300A實(shí)現(xiàn)了音頻和視頻同步的不同實(shí)施例的技術(shù)和元件，其中音頻混合由RMRE130完成。SCMRP300A可被配置為處理音頻流并充當(dāng)SCARP230?？商鎿Q地，例如，SCMRP300A可被配置為處理視頻流并充當(dāng)SCVRP250。SCMRP300的示例可包括RTP輸入緩沖器310、RTP報頭解析器和組織器320、多個TMRE130時間戳操縱器(TMTM) 330A (針對從每個TMRE130接收的每個媒體流(音頻或視頻)一個TMTM330A)、總線340、多個RTP處理器350和RTCP會話管理器(RTCPSM) 360A。SCMRP300A可由SCM240通過控制總線365控制，例如，該控制總線365可以是內(nèi)部總線或共享存儲器。SCMRP300A輸入和輸出媒體可通過壓縮RTP媒體數(shù)據(jù)公共接口(CRMDCI) 305連接到NI220，該接口用于接收和發(fā)射壓縮音頻或視頻數(shù)據(jù)塊。CRMDCI305可以是內(nèi)部總線或共享存儲器。
[0072]每個SCMRP300A可被分配以處理由MRM200處理的CP會議會話的音頻或視頻。SCMRP300A RTP輸入緩沖器310可從CRMDCI305獲得從參加會話的TMRE130接收到的中繼RTP壓縮媒體(依賴于SCMRP300A當(dāng)前配置的音頻或視頻)數(shù)據(jù)塊。在一個實(shí)施例中，RTP輸入緩沖器310可通過使用中繼RTP報頭中的ID號來確定從CRMDCI305收集哪個中繼RTP壓縮媒體數(shù)據(jù)塊。在可替換實(shí)施例中，RTP輸入緩沖器310可基于接收到的相關(guān)包的源和/或目的地IP地址以及端口號從NI220接收中繼RTP壓縮媒體數(shù)據(jù)塊。
[0073]RTP報頭解析器和組織器320可從RTP媒體輸入緩沖器310提取中繼RTP壓縮媒體數(shù)據(jù)塊，并解析中繼RTP壓縮數(shù)據(jù)塊的報頭來確定所獲得的RTP包應(yīng)該被路由到的TMTM330A。例如，該決定可基于RTP報頭的ID字段。此外，RTCP消息(如從每一個TMRE130接收的SR和RR)可被路由到RTCPSM360A。在某些實(shí)施例中，RTCP消息也可被傳輸?shù)较嚓P(guān)的 TMTM330A。
[0074]每個TMTM330A可與從TMRE130接收到的特定媒體流相關(guān)聯(lián)。依據(jù)SCMRP300A的當(dāng)前配置，媒體可以是音頻或視頻。TMTM330A的示例可操縱被嵌入到接收到的相關(guān)媒體流的每個接收到的中繼RTP壓縮媒體數(shù)據(jù)塊的RTP報頭中的時間戳。該操縱將媒體的捕獲時間從TMRE130的時間域變換到MRM200的時間域中。
[0075]一旦與TMRE130建立了承載新媒體流的連接，TMTM330A就可由RTCPSM360A分配和發(fā)起。在發(fā)起后，RTCPSM360A可將所計算出的Λ TSa或Λ TSv (分別為音頻或視頻)的值加載到ΤΜΤΜ330Α。在獲得Λ TSa或Λ TSv值后，對每個接收到的中繼RTP壓縮媒體數(shù)據(jù)塊的報頭進(jìn)行解析，并將TSa或TSv字段轉(zhuǎn)換為操縱的時間戳值，分別為MTSa或MTSv。MTSa可被計算為接收到的TSa減去所獲得的ATSa(MTSa=TSa-ATSa)。MTSv可被計算為接收到的 TSv 減去所獲得的 Λ TSv (MTSv=TSv- Δ TSv)。
[0076]具有MTSa或MTSv的中繼RTP壓縮媒體數(shù)據(jù)塊可通過緩沖器而被傳輸?shù)娇偩€340以及從總線340傳輸?shù)揭粋€或多個RTP處理器350。這一個或多個RTP處理器350中的每一個可與一個或多個需要混合和播放中繼音頻和/或視頻流的RMRE130相關(guān)聯(lián)?？偩€340可以是共享存儲器，其中每個ΤΜΤΜ330Α可被配置為以循環(huán)模式在特定地址間隔內(nèi)存儲所操縱的具有MTSa或MTSv的中繼RTP壓縮媒體數(shù)據(jù)塊。以類似的方式，每個RTP處理器350可被告知被分配給每一個ΤΜΤΜ330Α的地址間隔，并相應(yīng)地可選擇和取得合適的所操縱的媒體流。
[0077]在SCMRP300的其他實(shí)施例中，例如，總線340可以是TDM總線。在這樣的實(shí)施例中，每個ΤΜΤΜ330Α可被配置為在特定的時隙內(nèi)傳輸所操縱的中繼RTP壓縮媒體數(shù)據(jù)塊到總線340。以類似的方式，每一個RTP處理器350可以被告知被分配給每一個ΤΜΤΜ330Α的時隙，并相應(yīng)地可選擇和取得適當(dāng)?shù)乃倏v的媒體流。
[0078]每個RTP處理器350可被分配給一個或多個RMRE130。RTP處理器350可包括多路復(fù)用器/選擇器352和RTP媒體輸出FIF0354。多路復(fù)用器/選擇器352可通過經(jīng)由總線340選擇一個或多個ΤΜΤΜ330Α的輸出來選擇所操縱的壓縮媒體中繼數(shù)據(jù)塊的一組一個或多個流。組選擇可基于從RTCPSM360A接收的控制信號。在某些實(shí)施例中，該選擇可基于會話中的當(dāng)前活動?？梢栽谑褂没虿皇褂肰AD指示的情況下基于每個TMRE130的音頻能量來確定當(dāng)前活動?？商鎿Q地，該選擇可基于一個或多個特定源的用戶選擇而與其當(dāng)前活動無關(guān)。所選擇的ΤΜΤΜ330Α的數(shù)目可依賴于例如:RMRE130對音頻流的混合能力；在該RMRE130中針對視頻流呈現(xiàn)的CP圖像的當(dāng)前使用的布局；或者與會者的指令。通常，針對MRE130選擇的源的組不包括其自身的媒體流。在可替換實(shí)施例中，多路復(fù)用器/選擇器352可從相關(guān)的RMRE130接收關(guān)于選擇哪些TMRE130的控制信號。此外，不時地，多路復(fù)用器/選擇器352可依據(jù)會議中的實(shí)時變化來改變其對輸入的選擇。
[0079]轉(zhuǎn)換后的中繼RTP壓縮媒體數(shù)據(jù)塊(具有MTSa或MTSv)的所選擇的流可被多路復(fù)用為一個中繼RTP壓縮媒體數(shù)據(jù)流，其被發(fā)送給RTP媒體輸出FIF0354，并通過CRMDCI305和NI220從RTP媒體輸出FIF0354傳輸?shù)角‘?dāng)?shù)囊粋€或多個RMRE130。經(jīng)由CRMDCI305從RTP處理器350傳輸?shù)拿總€所傳輸?shù)闹欣^RTP壓縮媒體數(shù)據(jù)塊具有所操縱的時間戳(MTSa或MTSv)，其表示在MRM200的時間域中媒體(音頻或視頻)的捕獲時間。
[0080]RTP處理器350的可替換實(shí)施例(附圖中未示出)可包括一組選擇器。每個選擇器連接到總線340并可選擇一個TMTM330A的輸出。選擇器的另一端口可通過FIFO連接到CRMDCI305。在這樣的實(shí)施例中，所選擇的媒體流作為中繼RTP壓縮媒體數(shù)據(jù)塊的多個流而被發(fā)送給MRE。
[0081]在可替換實(shí)施例中，RTP處理器350可被用于服務(wù)于一組參加會議會話的與會者，其中所有相關(guān)RMRE130將接收對中繼RTP壓縮媒體數(shù)據(jù)塊的流的相同選擇。
[0082]在多媒體會議會話的建立階段期間，SCM240可分配SCMRP300A的資源并發(fā)起RTCPSM360A。RTCPSM360A 的實(shí)施例可管理 SCMRP300A 的操作。RTCPSM360A 可執(zhí)行 RTCP 管理器的常用操作；例如發(fā)送和接收RTCP消息(如SR、RR)。常見操作是本領(lǐng)域中公知的并且不會被進(jìn)一步公開。在發(fā)起之后，SCM240可經(jīng)由控制總線365向相關(guān)RTCPSM360A路由掛鐘和媒體時鐘的一個或多個時鐘脈沖(音頻或視頻)。例如，掛鐘脈沖可以處于每秒百萬次脈沖的速率。一個或多個音頻時鐘脈沖可以處于每秒幾千次脈沖的速率，例如每秒8，000到64，000次脈沖。一個或多個視頻時鐘脈沖可以處于每秒幾萬次脈沖的速率，例如每秒50，000到150，000次脈沖。在可替換實(shí)施例中，RTCPSM360A可包括針對每個媒體的一個或多個脈沖產(chǎn)生器。
[0083]對加入會話的與會者的媒體、音頻或視頻的每個新流，分配TMTM330A。此外，RTCPSM360A可發(fā)起下面結(jié)合圖4公開的新流適配過程400。該新流適配過程用于以恰當(dāng)?shù)乃俾蚀_定ATSa或ATSv的值，該值與該流(音頻或視頻)相關(guān)。時鐘速率匹配于用于接收到的流的RTP時鐘速率。所計算的ATSa或ATSv的值被加載到合適的TMTM330A中。在SCMRP300A的一些實(shí)施例中，例如，RTCPSM360A可被配置為周期性地(例如每幾十分鐘)執(zhí)行方法400以調(diào)整所計算的Λ TSa或ATSv從而修復(fù)補(bǔ)償時鐘漂移。
[0084]RTCPSM360A的實(shí)施例可包括多個計數(shù)器。一個計數(shù)器可被分配以針對該SCMRP300A的媒體類型監(jiān)控掛鐘。其他計數(shù)器可被分配以傳遞TSa或TSv。這些計數(shù)器可以在適當(dāng)?shù)臅r間處被采樣，以傳遞成對的值〈A WC_REF> (音頻掛鐘參考值)與〈A TS_REF> (音頻TS參考值);和〈V WC_REF> (視頻掛鐘參考值)與〈V TS_REF> (視頻TS參考值)。下面結(jié)合圖4公開了關(guān)于RTCPSM360A的操作的更多信息。
[0085]圖3B是具有會話壓縮音頻和視頻RTP處理器(SCAVRP) 300B的示例的相關(guān)元件的簡化框圖，SCAVRP300B實(shí)現(xiàn)了音頻和視頻同步的不同實(shí)施例的技術(shù)和元件，其中音頻混合由MRM120完成。SCAVRP300B可傳遞視頻流以由RMRE130組成和顯示，并傳遞混合音頻數(shù)據(jù)以由RMRE130播放。SCAVRP300B實(shí)現(xiàn)了從在CP布局中呈現(xiàn)的TMRE130發(fā)起的視頻和從相同TMRE130發(fā)起的音頻(如果其被包含在混合音頻中的話)之間的同步。
[0086]SCAVRP300B可包括RTP輸入緩沖器312、RTP報頭解析器和組織器322、多個視頻TMRE時間戳操縱器(VTMTM) 330B (針對從每個TMRE130接收的每個視頻流一個VTMTM330B)、總線340、多個RMRE RTP處理器350和RTCP會話管理器(RTCPSM) 360B。此外，SCAVRP300B可包括多個音頻TMRE時間戳操縱器(ATMTM) 370 (針對從每個TMRE130接收的每個音頻流一個ATMTM370)、傳統(tǒng)音頻處理器372和一個或多個RMRE音頻RTP輸出處理器(RAROP) 374。每個RAR0P374可與一個或多個RMRE130關(guān)聯(lián)。
[0087]多個VTMTM330B、總線340和多個RMRE RTP處理器350的元件可被配置為執(zhí)行與已被配置為處理視頻流的SCMRP300A (圖3A)的相關(guān)元件相似的功能，并因此不會被進(jìn)一步討論。
[0088]RTP輸入緩沖器312和RTP報頭解析器和組織器322的實(shí)施例以與SCMRP300A的相應(yīng)元件(分別為310和320)相似的方式處理承載壓縮視頻和音頻的RTP包。示例RTP輸入緩沖器312可從CRMDCI305獲得從參加會話的TMRE130接收到的中繼RTP壓縮音頻或視頻數(shù)據(jù)塊。例如，RTP輸入緩沖器312可通過使用中繼RTP報頭中的ID號來確定從CRMDCI305收集哪些中繼RTP壓縮媒體數(shù)據(jù)塊。在可替換實(shí)施例中，RTP輸入緩沖器312可基于接收到的相關(guān)包的源和/或目的地IP地址以及端口號從NI220接收中繼RTP壓縮媒體數(shù)據(jù)塊。
[0089]RTP報頭解析器和組織器322的實(shí)施例可從RTP媒體輸入緩沖器312提取中繼RTP壓縮媒體數(shù)據(jù)塊，并解析中繼RTP壓縮數(shù)據(jù)塊的報頭來確定將所獲得的RTP包路由到哪個ATMTM370或VTMTM330B。例如，該決定可基于媒體的類型(音頻或視頻)和/或RTP報頭的ID字段。此外，RTCP消息(如從每一個TMRE接收的SR和RR)可被路由到RTCPSM360B。在某些實(shí)施例中，RTCP消息還可被傳輸?shù)较嚓P(guān)的VTMTM330B或ATMTM370。
[0090]每個ATMTM370可與從TMRE130接收到的特定音頻流相關(guān)聯(lián)。ATMTM370可操縱被嵌入到接收到的相關(guān)音頻流的每個接收到的中繼RTP壓縮音頻數(shù)據(jù)塊的RTP報頭中的TSa為該數(shù)據(jù)塊的MTSa。該操縱將音頻的捕獲時間從TMRE的時間域變換到MRM的時間域中。ATMTM370和VTMTM330B的時間戳處理在上文中關(guān)于圖3A中的TMTM330A而公開并且不會被進(jìn)一步描述。
[0091]在MRM120的可能實(shí)施例中，MTSa以及每個接收到的RTP壓縮音頻數(shù)據(jù)塊的相關(guān)流ID可被存儲在存儲設(shè)備中，并且，指向存儲設(shè)備相關(guān)地址的指針可沿著解碼、混合和壓縮動作、作為元數(shù)據(jù)而與該音頻數(shù)據(jù)塊相關(guān)聯(lián)。
[0092]MTSa和流ID可與RTP包的有效載荷(壓縮音頻)相關(guān)聯(lián)地從每個ATMTM370傳輸?shù)絺鹘y(tǒng)音頻處理器372。在傳統(tǒng)音頻處理器372中，來自多個ATMTM370的多個有效載荷中的每個壓縮音頻流可由關(guān)聯(lián)的解碼器解碼。每個流的解碼音頻可被分析以選擇:要混合的兩個或更多個音頻流；要在下一個CP視頻圖像中呈現(xiàn)的TMRE130 ;和將作為當(dāng)前發(fā)言者而呈現(xiàn)的與會者。所選擇的流的ID可被傳遞給RTCPSM360B。多個音頻流的音頻解碼和音頻分析技術(shù)是視頻會議領(lǐng)域中公知的，并且不會被進(jìn)一步描述。
[0093]接下來，可以將所選擇的音頻流混合為混合的音頻。混合的音頻可被壓縮為壓縮混合首頻的塊?？梢詼?zhǔn)備對的列表。每對可包括:所選擇的首頻流的ID,該首頻流的首頻被包括在壓縮混合音頻數(shù)據(jù)塊中；以及由與該所選擇的音頻數(shù)據(jù)塊有關(guān)的相關(guān)ATMTM370計算出的MTSa。對的列表(ID5MTSa)可與壓縮混合音頻的塊相關(guān)聯(lián)并一起被傳輸?shù)揭粋€或多個 RAR0P374。
[0094]每個RAR0P374可被分配給一個或多個RMRE130。在一個實(shí)施例中，RAR0P374可將所獲得的壓縮混合音頻塊轉(zhuǎn)換為RTP包的有效載荷并添加與關(guān)聯(lián)的一個或多個RMRE130相對應(yīng)的相關(guān)RTP報頭。此外，反映在該壓縮混合音頻塊中混合的多個數(shù)據(jù)流中的每一個的流ID和MTSa的對的列表可被添加到RTP報頭的擴(kuò)展中的合適字段。接下來，壓縮混合音頻塊和擴(kuò)展RTP報頭可通過CRMDCI305和NI220而被傳輸?shù)胶线m的一個或多個RMRE130。如本文所使用的那樣，術(shù)語一套、一組、一雙或一對音頻流ID和MTSa可以可交換地使用。[0095]在RAR0P374的一些實(shí)施例中，對的列表可被分為兩個列表。第一個列表可包括對混合音頻做出貢獻(xiàn)的TMRE130的ID。第二個列表可以是其有效載荷被包含在混合中的音頻包的MTSa的匹配列表。在RAR0P374的可替換實(shí)施例中，可以以緊湊的方式將MTSa的列表表示為對公共MTSa的增量。因此，需要更少的比特來呈現(xiàn)MTSa值的列表。
[0096]在傳統(tǒng)音頻處理器372的另一個實(shí)施例中，可以在混合解碼后的音頻流之前依據(jù)其MTSa(反映在MRM時間域中的其捕獲時間)來組織解碼后的音頻流。在這樣的實(shí)施例中，可以消除對的列表，并且利用單個MTSa替代對的列表，MTSa現(xiàn)在表示被包含在混合中的流的所操縱的捕獲時間。在這樣的實(shí)施例中，SCAVRP300B實(shí)現(xiàn)了從在CP布局中呈現(xiàn)的任何TMRE發(fā)起的視頻與混合音頻之間的同步，而不管其音頻是否被包含在混合音頻中。
[0097]圖4圖示了用于準(zhǔn)備為了將流的每個接收到的包的時間戳變換至MRM200時間域中而需要的參數(shù)的方法400的實(shí)施例的相關(guān)動作的流程圖。這些參數(shù)可包括與該流(音頻、視頻等)相關(guān)的MRM200的掛鐘和與該流相關(guān)的RTCP消息中的掛鐘之間的差值；另一個參數(shù)可以是時間戳增量(ATSa / V)。時間戳增量可以用于在將包作為中繼包傳輸?shù)絉MRE130之前在MRM200處將該流的每個接收到的包的TSa / v變換至MRM200的時間域中。在建立RTP連接和用于承載新媒體流的相關(guān)RTCP連接的結(jié)束時，可以在402處發(fā)起過程400。在SCMRP300A的一些實(shí)施例中，在分配該TMTM330A和路由合適的Λ TS值到該ΤΜΤΜ330Α之后，可以由RTCPSM360A針對每個ΤΜΤΜ330Α實(shí)現(xiàn)過程400。在某些實(shí)施例中，為了補(bǔ)償時鐘漂移，對于每個運(yùn)行的ΤΜΤΜ330Α，可以周期性地(如每幾分鐘)在框402中發(fā)起過程400。
[0098]下面的段落描述了示例過程400，其可由SCMRP300A的元件實(shí)現(xiàn)。具有幾個適配的類似過程可由SCAVRP300B的元件實(shí)現(xiàn)。該適配可以包括通過SCAVRP300B的相應(yīng)元件執(zhí)行過程400的相似的框。為了簡化描述，將利用關(guān)于要由SCAVRP300B實(shí)現(xiàn)的適配過程400的注釋來詳細(xì)描述由SCMRP300A實(shí)現(xiàn)的過程400的僅一個實(shí)施例。
[0099]在建立RTP連接和用于承載新媒體流的相關(guān)RTCP連接的結(jié)束時，可以在402處發(fā)起過程400。在SCMRP300A的一些實(shí)施例中，可以由RTCPSM360A針對每個ΤΜΤΜ330Α實(shí)現(xiàn)過程400，以針對該ΤΜΤΜ330Α準(zhǔn)備合適的Λ TS值。以相似的方式，由SCAVRP300B實(shí)現(xiàn)的過程400的實(shí)施例可由RTCPSM360B針對每個VTMTM330B和每個ΑΤΜΤΜ370執(zhí)行。在某些實(shí)施例中，為了補(bǔ)償時鐘漂移，對于每個運(yùn)行的ΤΜΤΜ330Α，可以周期性地(如每幾分鐘)在框402中發(fā)起過程400。
[0100]在框402中的發(fā)起之后，RTCPSM360A或360Β可以在框404中在與該媒體流(音頻或視頻)相關(guān)的RTCP連接上發(fā)送發(fā)送者報告(SR)到發(fā)起了該流的TMRE130，并等待接收來自該TMRE130的接收者報告(RR)?？梢越馕鼋邮盏降腞R，并且可以在框410中檢查接收到的RR中的LSR字段的值。如果LSR字段的值不是零，則過程400可以前進(jìn)到框412。如果在框410中LSR值等于零，則過程400返回到框404并發(fā)送另一個SR。RR中的LSR字段是從由MRM200發(fā)送且由該TMRE130接收的最后SR中的WC字段導(dǎo)出的。
[0101]在框412中，可以計算與該流相關(guān)的往返時間(RTT)的值。方法400的示例可以通過使用下述各項來計算RTT:
[0102](a)在MRM200處接收到RR時MRM200相關(guān)掛鐘(A / V)的值。針對視頻流的該值可被稱為〈V RR local Receive time) (V RR本地接收時間)，并且針對音頻流的該值可被稱為〈A RR local Receive time〉(A RR 本地接收時間)；[0103](b)從接收來自MRM200的最后SR的時間到TMRE130發(fā)送該RR的時間表示TMRE130處的延遲的接收到的RR中的DLSR字段的值。針對視頻流的該值可被稱為〈V RR:DLSR〉，并且針對音頻流的該值可被稱為〈A RR:DLSR> ;以及
[0104](c)接收到的RR中的LSR字段的值是由MRM200發(fā)送且由該TMRE130接收的最后SR中的WC字段導(dǎo)出的。針對視頻流的該值可被稱為〈V RR:LSR>，并且針對音頻流的該值可被稱為〈A RR:LSR>。
[0105]用于計算視頻流的RTT值(RTTv)的示例公式可以是:
[0106]RTTv=<VRR local Receive time>-〈VRR:DLSR>-〈VRR:LSR>。
[0107]以相似的方式，用于計算音頻流的RTT值(RTTa)的示例公式可以是:
[0108]RTTa=〈A RR local Receive time>-〈A RR:DLSR>-<A RR:LSR>。
[0109]在框412中針對相關(guān)流計算RTT后，方法400可以在框420中等待接收通過相關(guān)RTCP連接從TMRE130發(fā)送的SR。接收到的SR可以由RTCPSM360A或360B解析，并且接收到的SR中的TMRE130掛鐘字段的值可以被獲取?；谒嬎愕腞TT以及所獲取的掛鐘值和MRM200掛鐘值，可以在框422中計算MRM200掛鐘和與該流相關(guān)的TMRE130掛鐘之間的掛鐘差值(WC_DIFF)。方法400的示例可以通過使用下述各項來估計該流的WC_DIFF:
[0110](a)接收到的SR中的掛鐘字段的值。WC字段表示發(fā)送SR的TMRE130處、在發(fā)送SR的時刻處掛鐘的值。針對視頻流的該值可被稱為:〈V SR:WC>，并且針對音頻流的該值可被稱為:<ASR:WC> ；
[0111](b)在SR被RTCPSM360A或360B接收到的時刻處MRM200中的掛鐘的值。針對視頻流的該值可被稱為:〈V SR local receive time) (V SR本地接收時間)；針對音頻流的該值可被稱為:〈A SR local receive time〉(A SR本地接收時間);以及
[0112](c)在框412處計算出的相關(guān)RTT的估計值。
[0113]用于估計視頻流的值WC_DIFF (WC_DIFFV)的示例公式可以是:
[0114](WC_DIFFV) =<VSR:WC>+0.5XRTTv-<VSR local receive time〉。
[0115]以相似的方式，用于估計音頻流的WC_DIFF值(WC_DIFFa)的示例公式可以是:
[0116](WC_DIFFa) =<A SR:WC>+0.5XRTTa-<A SR local receive time〉。
[0117]使用RTT的一半可能未準(zhǔn)確地表示上行鏈路傳播時間，這是因為RTT可能不是在上行鏈路和下行鏈路之間對稱地劃分的。相應(yīng)地，RTT的一半只是實(shí)際上行鏈路傳播時間的估計。然而，這不影響RMRE130的同步來自相同TMRE130的不同流的能力，這是因為它將類似地影響每個流(音頻和視頻)的ATS。
[0118]在某些實(shí)施例中，針對音頻或針對視頻估計出的第一 WC_DIFF可被定義為相關(guān)TMRE130和MRM200之間的WC_DIFF。該WC_DIFF值可以用于針對由該TMRE130產(chǎn)生的每個流計算ATS。
[0119]在其他實(shí)施例中，所選擇的WC_DIFF可以是針對來自該TMRE130的所有流估計的最小 WC_DIFF。
[0120]接下來，在框424處，可以計算可用于將承載該流的中繼媒體的每個接收到的包的TS變換至MRM200時間域中的差值(Λ TS)。計算Λ TS的值可以基于對WC_DIFF的估計和從SR獲取的參數(shù)，該SR是在框420中接收的。方法400的示例可以通過使用下述各項來估計該流的ATS:[0121](a)接收到的SR中的掛鐘字段的值，對于視頻流，其為〈V SR:WC>,以及對于音頻流，其為〈A SR:WC> ；
[0122](b)在框422處計算出的與該TMRE130相關(guān)的WC_DIFF的估計值；
[0123](c)在特定時刻處(例如當(dāng)計算ATS時)RTCPSM360A或360B中的掛鐘的值。針對視頻流的該值可被稱為:〈V WC_REF> ;并且針對音頻流的該值可被稱為:〈AWC_REF> ；
[0124](d)在相同特定時刻處(例如當(dāng)計算ATS時)RTCPSM360A中的相關(guān)TS計數(shù)器的值。針對視頻流的該值可被稱為:〈V TS_REF> ;并且針對音頻流的該值可被稱為<ATS_REF> ；
[0125](e)接收到的SR中的TS字段的值。TS字段表示發(fā)送SR的TMRE130處、在發(fā)送SR的時刻處TS的值。針對視頻流的該值可被稱為:〈V SR:TS> ;并且針對音頻流的該值可被稱為:<A SR:TS> ;以及
[0126](f)時間戳?xí)r鐘速率(TS_CL0CK)。該值可與流的有效載荷類型相關(guān)。視頻流的TS_CL0CK的示例值可以處于數(shù)萬的范圍內(nèi)，例如90，000。音頻流的TS_CL0CK的示例值可以處于數(shù)千的范圍內(nèi)，例如8，000。
[0127]用于計算視頻流的值A(chǔ)TS(ATSv)的示例公式可以是:
[0128]Δ TSv= ( < VSR:WC>-ffC_DIFF-<VffC_REF>) X TS_CLOCK_v+<VTS_REF>-<VSR:TS>。
[0129]以相似的方式，用于計算音頻流的ATS值(ATSa)的示例公式可以是:
[0130]Δ TSa= ( < A SR:WC>-ffC_DIFF- < A WC_REF>) X TS_CL0CK_a+ < ATS_REF>-〈ASR:TS>。
[0131]RTCPSM360A或360B的其他實(shí)施例可使用其他公式，以將接收到的包的TS變換至MRM200時間域中。例如，某些實(shí)施例可以針對MRE130和MRM120 二者使用NTP同步協(xié)議。這樣的實(shí)施例可以將下面的公式用于分別計算視頻和音頻的ATS值:
[0132]Δ TSv= ( < VSR:WC>-<VffC_REF>) X TS_CLOCK_v+<VTS_REF>-<VSR:TS>
[0133]Δ TSa= ( < A SR:WC>- < A WC_REF > ) X TS_CLOCK_a+〈ATS_REF>-〈ASR:TS>。
[0134]在計算流的WC_DIFF和Λ TS值后，可以在框426中更新會話表(ST)。如果針對新的流執(zhí)行過程400，則該更新可以包括在ST中針對新流分配新的條目和在該條目中存儲Δ TS和WC_DIFF的估計值。如果過程400被執(zhí)行以更新活動流的值，則該更新可以包括利用ATS和WC_DIFF的當(dāng)前估計值來替換在相關(guān)的條目中寫入的ATS和WC_DIFF的先前值。此外，當(dāng)前估計的WC_DIFF和Λ TS可被RTCPSM360A傳輸?shù)较嚓P(guān)的ΤΜΤΜ330Α，并且可以終止方法400?？商鎿Q地，當(dāng)前估計的WC_DIFF和Λ TS可被傳輸?shù)絉TCPSM360B的相應(yīng)的VTMTM300B 或ΑΤΜΤΜ370。
[0135]在一個實(shí)施例中，RTCPSM360A或360Β可以并行執(zhí)行多個過程400，針對從參與會話的MRE130傳輸?shù)拿總€流執(zhí)行一個過程。
[0136]上面的描述意圖是說明性的而不是限制性的。例如，上面描述的實(shí)施例可以與彼此結(jié)合使用。在閱讀了上文的描述后，許多其他實(shí)施例將對本領(lǐng)域技術(shù)人員來說顯而易見。因此，本發(fā)明的范圍應(yīng)該參照所附權(quán)利要求以及這些權(quán)利要求被授權(quán)的等同物的全部范圍而確定。在所附權(quán)利要求中，術(shù)語“包括”和“在其中”被用作相應(yīng)術(shù)語“包含”和“其中”的通俗英語等同物。
【權(quán)利要求】
1.一種方法，包括: 在多個媒體中繼端點(diǎn)間通信耦合的中間設(shè)備處，從所述多個媒體中繼端點(diǎn)接收多個輸入流，其中每個流包括輸入數(shù)據(jù)塊； 解析輸入數(shù)據(jù)塊；和 轉(zhuǎn)換每個輸入數(shù)據(jù)塊的時間戳字段為操縱的時間戳，其反映單個時間域。
2.如權(quán)利要求1所述的方法，進(jìn)一步包括: 創(chuàng)建輸出數(shù)據(jù)塊，每個輸出數(shù)據(jù)塊與相關(guān)的操縱的時間戳相關(guān)聯(lián)； 組織來自所述多個媒體中繼端點(diǎn)的子集的輸出數(shù)據(jù)塊為一個或多個輸出流；和 中繼所述一個或多個輸出流到接收媒體中繼端點(diǎn)。
3.如權(quán)利要求2所述的方法，進(jìn)一步包括: 由接收媒體中繼端點(diǎn)將所述一個或多個輸出流解釋為使用單個時間域而產(chǎn)生。
4.如權(quán)利要求2所述的方法，其中組織輸出數(shù)據(jù)塊包括: 寫入操縱的時間戳到所述一個或多個輸出流的相應(yīng)輸出數(shù)據(jù)塊的時間戳字段中。
5.如權(quán)利要求4所述的方法， 其中所述一個或多個輸出流包含視頻流和音頻流，和 其中視頻流和音頻流能夠使用操縱的時間戳同步。
6.如權(quán)利要求1所述的方法，其中多個輸入流包括多個視頻流，所述方法進(jìn)一步包括: 組織多個輸入流為一個或多個輸出視頻流，所述一個或多個輸出視頻流被配置為組成為連續(xù)呈現(xiàn)視頻圖像。
7.如權(quán)利要求1所述的方法，其中多個輸入流包括多個音頻流，所述方法進(jìn)一步包括: 組織多個音頻流為一個或多個輸出音頻流，所述一個或多個輸出音頻流能夠混合為混合的音頻流。
8.如權(quán)利要求1所述的方法，其中單個時間域是中間設(shè)備的時間域。
9.如權(quán)利要求1所述的方法，其中中間設(shè)備是媒體中繼多點(diǎn)控制單元。
10.如權(quán)利要求1所述的方法，進(jìn)一步包括: 計算與每個輸入流相對應(yīng)的用于轉(zhuǎn)換輸入數(shù)據(jù)塊的時間戳至單個時間域中的參數(shù)。
11.如權(quán)利要求10所述的方法，其中計算參數(shù)包括: 估計輸入流的發(fā)射媒體中繼端點(diǎn)的時鐘和中間設(shè)備的時鐘之間的差值；和依據(jù)所估計的差值、與輸入流相關(guān)聯(lián)的時間戳?xí)r鐘速率、與輸入流相對應(yīng)的發(fā)送者報告中的時鐘字段和時間戳字段、中間設(shè)備的時鐘值和中間設(shè)備的時間戳值來確定參數(shù)，其中中間設(shè)備的時鐘值和中間設(shè)備的時間戳值是同時獲得的。
12.如權(quán)利要求10所述的方法，其中轉(zhuǎn)換時間戳字段包括通過與輸入流相對應(yīng)的參數(shù)來修改輸入數(shù)據(jù)塊的時間戳字段。
13.如權(quán)利要求1所述的方法，進(jìn)一步包括: 組合輸出數(shù)據(jù)塊為單個輸出流。
14.如權(quán)利要求1所述的方法，進(jìn)一步包括: 發(fā)送來自中間設(shè)備的每種媒體類型的單個發(fā)送者報告到每個接收媒體中繼端點(diǎn)，其表示單個時間域。
15.如權(quán)利要求1所述的方法，進(jìn)一步包括:組織來自多個媒體中繼端點(diǎn)的子集的輸出數(shù)據(jù)塊為一個或多個輸出流；和 由接收媒體中繼端點(diǎn)組合一個或多個輸出流為連續(xù)呈現(xiàn)視頻圖像。
16.如權(quán)利要求1所述的方法，其中多個輸入流包括多個輸入音頻流，所述方法進(jìn)一步包括: 將輸入音頻數(shù)據(jù)塊的操縱時間戳的值與承載該輸入音頻數(shù)據(jù)塊的輸入流的標(biāo)識符相關(guān)聯(lián); 解碼接收到的輸入音頻數(shù)據(jù)流為解碼音頻流； 選擇和混合兩個或更多個解碼音頻流為混合的音頻流； 壓縮混合的音頻流為輸出混合音頻流； 組織輸出混合音頻流為輸出混合音頻數(shù)據(jù)塊的流；和 傳輸輸出混合音頻數(shù)據(jù)塊的流到接收媒體中繼端點(diǎn)， 其中解碼、選擇、壓縮和組織的動作保持輸出混合音頻數(shù)據(jù)塊、對應(yīng)的操縱時間戳和流標(biāo)識符之間的關(guān)聯(lián)。
17.如權(quán)利要求16所述的方法，其中組織的動作包括: 操縱每個輸出混合音頻數(shù)據(jù)塊以包含與被嵌入在混合中的輸入數(shù)據(jù)塊的一個或多個操縱時間戳和一個或多個流標(biāo)識符相關(guān)的信息。
18.如權(quán)利要求16所述的方法， 其中關(guān)聯(lián)的動作包括: 在混合輸入數(shù)據(jù)塊之前，依據(jù)其操縱的時間戳，在中間設(shè)備處對齊輸入數(shù)據(jù)塊，和 其中組織的動作包括: 插入操縱時間戳作為輸出混合音頻數(shù)據(jù)塊的操縱時間戳。
19.一種媒體中繼多點(diǎn)控制器，包括: 信令和控制模塊，其被配置為從多個發(fā)射媒體中繼端點(diǎn)選擇一個或多個發(fā)射媒體中繼端點(diǎn)；和 壓縮媒體處理器，其被信令和控制模塊控制，被配置為: 解析與多個輸入流相對應(yīng)的輸入數(shù)據(jù)塊；和 將輸入數(shù)據(jù)塊的時間戳字段從接收到的時間戳值轉(zhuǎn)換為反映單個時間域的操縱時間戳值。
20.如權(quán)利要求19所述的媒體中繼多點(diǎn)控制器，其中壓縮媒體處理器進(jìn)一步被配置為: 組織來自所選擇的發(fā)射媒體中繼端點(diǎn)的輸入數(shù)據(jù)塊為一個或多個輸出流，其中每個輸出流的每個數(shù)據(jù)塊與對應(yīng)的操縱時間戳相關(guān)聯(lián)；和傳輸一個或多個輸出流到接收媒體中繼端點(diǎn)。
21.如權(quán)利要求20所述的媒體中繼多點(diǎn)控制器， 其中一個或多個輸出流包括視頻流和音頻流，和 其中時間戳字段被接收媒體中繼端點(diǎn)用于將視頻流與音頻流進(jìn)行同步。
22.如權(quán)利要求20所述的媒體中繼多點(diǎn)控制器，其中壓縮媒體處理器被配置為通過媒體中繼多點(diǎn)控制器和接收媒體中繼端點(diǎn)之間的單個實(shí)時協(xié)議連接來傳輸一個或多個輸出流到接收媒體中繼端點(diǎn)。
23.如權(quán)利要求19所述的媒體中繼多點(diǎn)控制器， 其中多個輸入流包括多個視頻流。
24.如權(quán)利要求19所述的媒體中繼多點(diǎn)控制器， 其中多個輸入流包括多個音頻流。
25.如權(quán)利要求19所述的媒體中繼多點(diǎn)控制器，其中單個時間域與媒體中繼多點(diǎn)控制器相關(guān)聯(lián)。
26.如權(quán)利要求19所述的媒體中繼多點(diǎn)控制器，其中壓縮媒體處理器進(jìn)一步被配置為: 計算多個輸入流中的每個輸入流的參數(shù)以用于轉(zhuǎn)換被包含在輸入流中的每個輸入數(shù)據(jù)塊的時間戳字段。
27.如權(quán)利要求26所述的媒體中繼多點(diǎn)控制器，其中壓縮媒體處理器被配置為通過被配置為執(zhí)行下述操作來計算輸入流的參數(shù): 估計每個發(fā)射媒體中繼端點(diǎn)的掛鐘和媒體中繼多點(diǎn)控制器的掛鐘之間的差值；和依據(jù)所估計的差值、用于輸入流的時間戳?xí)r鐘速率、與輸入流相對應(yīng)的發(fā)送者報告中的掛鐘字段和時間戳字段的值、以及媒體中繼多點(diǎn)控制器的相關(guān)媒體時鐘的掛鐘值和時間戳值， 其中媒體中繼多點(diǎn)控制器的相關(guān)媒體時鐘的掛鐘值和時間戳值是同時獲得的。
28.如權(quán)利要求26所述的媒體中繼多點(diǎn)控制器，其中壓縮媒體處理器被配置為通過被配置為執(zhí)行下述操作來轉(zhuǎn)換時間戳字段: 通過對應(yīng)輸入流的參數(shù)來調(diào)整時間戳字段。
29.如權(quán)利要求19所述的媒體中繼多點(diǎn)控制器，其中壓縮媒體處理器進(jìn)一步被配置為將每種媒體類型的單個發(fā)送者報告發(fā)送到每個接收媒體中繼端點(diǎn)，其表示單個時間域。
30.如權(quán)利要求19所述的媒體中繼多點(diǎn)控制器， 其中多個輸入流包括多個輸入音頻流，和 其中壓縮媒體處理器進(jìn)一步被配置為: 將輸入音頻數(shù)據(jù)塊的操縱時間戳值與承載輸入音頻數(shù)據(jù)塊的流的標(biāo)識符相關(guān)聯(lián)； 解碼所獲得的輸入音頻數(shù)據(jù)流為解碼音頻流； 選擇和混合多個解碼音頻流為混合音頻流； 將混合音頻流壓縮為壓縮混合音頻的流； 組織壓縮混合音頻的流為輸出音頻數(shù)據(jù)塊的流； 傳輸輸出音頻數(shù)據(jù)塊的流到接收媒體中繼端點(diǎn)；和 保持輸出音頻數(shù)據(jù)塊、對應(yīng)的操縱時間戳值和流標(biāo)識符之間的關(guān)聯(lián)。
31.如權(quán)利要求30所述的媒體中繼多點(diǎn)控制器，其中壓縮媒體處理器進(jìn)一步被配置為: 添加與流標(biāo)識符和操縱時間戳相關(guān)的信息到每個相關(guān)輸出音頻數(shù)據(jù)塊。
【文檔編號】H04N7/15GK103945166SQ201310757163
【公開日】2014年7月23日 申請日期:2013年10月30日 優(yōu)先權(quán)日:2012年11月1日
【發(fā)明者】A·哈拉維, A·亞蘇爾 申請人:波利康公司