專利名稱：使漂移數(shù)據(jù)流重新同步而明顯非自然信號又最少的制作方法
技術領域：
本發(fā)明一般地涉及數(shù)據(jù)流同步，并且更具體地說，涉及一種將從網(wǎng)絡接收的數(shù)據(jù)流重新同步，并減少在重新同步期間引入的明顯非自然信號的方法和系統(tǒng)。
背景技術：
市場上目前可提供的許多多媒體播放器和視頻會議系統(tǒng)利用基于分組的網(wǎng)絡，并且應用提供在非實時操作系統(tǒng)上運行的基于音頻和/或視頻的服務。不同的媒體流(如視頻會議的音頻流和視頻流)經(jīng)常單獨發(fā)送，且通常具有固定的時間關系。由于網(wǎng)絡負荷重、中央處理器(CPU)負荷重或用于發(fā)送和接收裝置的時鐘不同，導致服務質(zhì)量下降，要求系統(tǒng)丟棄幀、樣本，或者在接收側(cè)引入幀/樣本以使音頻和視頻流重新同步。然而，常規(guī)重新同步方案將明顯的非自然信號引入到數(shù)據(jù)流中。
例如，考慮采用個人計算機(PC)作為終端裝置的基于因特網(wǎng)協(xié)議(IP)(參閱“RFC0791因特網(wǎng)控制消息協(xié)議，1981[RFC0791Internet Control Message Procotol，1981]”)的視頻會議系統(tǒng)，視頻和音頻流可能在接收側(cè)因網(wǎng)絡抖動或發(fā)送與接收側(cè)稍有不同的抽樣率而產(chǎn)生漂移。對于視頻部分，顯示幀速率易于調(diào)整。然而，由于抽樣率比幀率高得多，因此，音頻部分引起更多的問題。音頻樣本通常按塊傳送給具有固定抽樣率的聲音裝置。因此，要調(diào)整重放時間，抽樣率轉(zhuǎn)換通常太復雜，且因此要在所述塊中添加(填充)或刪除幾個樣本。這通常會在播放時導致明顯的非自然信號。
通常，通過檢測靜寂期并相應地引入或刪除樣本來實現(xiàn)重新同步。靜寂期通常用作使音頻流重新同步的瞬時，這是因為它非常不可能丟失或損壞重要信息。但存在必須執(zhí)行重新同步，并且信號中無靜寂期的情況。
發(fā)明概述本發(fā)明公開了一種用于使數(shù)據(jù)流同步的系統(tǒng)。分類單元接收有關數(shù)據(jù)幀的信息，并提供對每個幀的評估，該評估指示通過修改所述幀引入明顯非自然信號的可能性。重新同步單元接收與所述幀關聯(lián)的所述評估，并根據(jù)所述評估基于某個基準使所述數(shù)據(jù)流重新同步。
一種用于使數(shù)據(jù)流重新同步的方法包括將數(shù)據(jù)幀分類，以便提供對每個幀的評估，該評估指示對幀的修改可減少明顯非自然信號的可能性。使所述數(shù)據(jù)流重新同步的方式為采用與所述幀關聯(lián)的所述評估以確定添加和刪除幀的最佳時間，從而根據(jù)某個基準使所述數(shù)據(jù)流重新同步。
附圖簡述在結(jié)合附圖充分考慮多個說明性實施例之后，將會更全面地了解本發(fā)明的優(yōu)點、性質(zhì)和各種附加特征。


圖1是根據(jù)本發(fā)明一個實施例的方框/流程圖，其顯示了用于使媒體或數(shù)據(jù)流同步以減少或消除明顯非自然信號的一種系統(tǒng)/方法；以及圖2是根據(jù)本發(fā)明一個實施例，示意針對兩個媒體流的發(fā)送側(cè)與接收側(cè)之間的同步差異的時序圖。
應理解，附圖用于說明本發(fā)明概念，但不一定是說明本發(fā)明的唯一可能配置。
本發(fā)明詳細說明本發(fā)明提供了一種減少在使多個數(shù)據(jù)流重新同步期間引入的明顯非自然信號的方法和系統(tǒng)。將多媒體數(shù)據(jù)幀分類以指示在不產(chǎn)生明顯非自然信號的前提下數(shù)據(jù)流之間的可能調(diào)整程度?！懊黠@非自然信號”包括數(shù)據(jù)流之間同步時任何可察覺差異。一個示例可包括視頻中唇動與音頻部分不同步。明顯非自然信號的其它示例可包括空白幀、視頻中的太多連續(xù)靜態(tài)幀、無用的音頻噪聲或顯示幀中的隨機宏塊組成。本發(fā)明更適宜使用解碼和接收單元來獲得分類信息，隨后基于分類信息使一個或多個數(shù)據(jù)流重新同步。這樣，可在最佳的可能位置或時間將幀或塊(數(shù)據(jù))添加到至少一個數(shù)據(jù)流中，或從中去除，而無論清音停頓是否可用于重新同步。
要理解的是本發(fā)明是就視頻會議系統(tǒng)來進行描述的；然而，本發(fā)明更廣泛，并且可包括具有多個數(shù)據(jù)流以再現(xiàn)多媒體內(nèi)容的任一數(shù)字多媒體傳送系統(tǒng)。另外，本發(fā)明適用于任一網(wǎng)絡系統(tǒng)，并且數(shù)據(jù)流可通過電話、電纜、通過無線電波、計算機網(wǎng)絡、衛(wèi)星網(wǎng)絡、因特網(wǎng)或任何其它媒體傳送。
還應理解的是，附圖中所示要素可以硬件、軟件或其組合的不同形式來實現(xiàn)。這些元素最好在一個或多個適當編程的通用裝置上以硬件和軟件的組合來實現(xiàn)，所述通用裝置可包括處理器、存儲器和輸入/輸出接口。
現(xiàn)在具體參照附圖，幾個視圖之間同樣的標記表示類似或相同的要素。首先參照圖1，圖中顯示了允許識別執(zhí)行重新同步的最佳時間的系統(tǒng)10。系統(tǒng)10能夠使一個或多個媒體流同步到另一媒體流或時鐘信號。例如，視頻流(媒體間同步)與音頻流同步，以成為唇同步的，或者媒體流可同步到接收系統(tǒng)的時基(媒體間同步)。這些方法之間的差異在于在一種情況下，音頻流可用作相對時基，而在另一情況下，要參考系統(tǒng)時間/時鐘。
系統(tǒng)10最好包括接收器12，此接收器具有連接到接收器12的重新同步單元14。在一個實施例中，接收器12接收兩個媒體流，例如，音頻流16和視頻流18。流16和18要進行同步以便實現(xiàn)諸如重放或錄制的功能。音頻流16可包括由發(fā)送側(cè)編碼器(未顯示)產(chǎn)生的幀。這些幀可具有例如大約10毫秒到大約30毫秒的持續(xù)時間，但也可以考慮使用其它持續(xù)時間。另外，由系統(tǒng)處理的視頻幀類型例如可以是MPEG-2兼容的I、B和P幀，但可以使用其它幀。這些幀最好通過網(wǎng)絡20在分組中發(fā)送。在接收側(cè)(接收器12)，幀緩沖區(qū)22預取或緩存了多個幀以便能夠均衡網(wǎng)絡和處理延遲。
圖2所示時序圖顯示了與發(fā)送側(cè)108的時基106和接收側(cè)110的時基109相比較的視頻流18的幀102和音頻流16的幀104。發(fā)送與接收端上的不同時鐘頻率可導致流16與18之間的漂移。在此示例中，在接收器時鐘比發(fā)送器時鐘運行更慢時，可發(fā)生錯誤，即接收側(cè)的緩沖區(qū)水平將溢出。這種可能的錯誤條件是可檢測到的，并可這樣予以解決丟棄分類的音頻幀樣本，從而允許更快地播放視頻幀或?qū)⑵鋪G棄。因此，允許在最佳時間使流16和18重新同步。根據(jù)本發(fā)明的原理，本領域技術人員會應用本發(fā)明的原理來解決在至少兩個媒體流之間需要重新同步的問題類型。
再次參照圖1，由接收側(cè)分類單元24利用指明為重新同步而修改該幀會對音頻質(zhì)量產(chǎn)生的影響程度的數(shù)字將輸入幀分類。此數(shù)字或評估由分類單元24分配給各幀，并可基于網(wǎng)絡層21的信息執(zhí)行，網(wǎng)絡層可提供例如象“幀損壞”或“幀丟失”等信息。另外，幀的評估可根據(jù)解碼器26執(zhí)行的解碼進程期間提供/生成的一組參數(shù)執(zhí)行?？刹捎弥T如ITU G.723、GSM AMR、MPEG-4CELP、MPEG-4HVXC等的常用語音編碼器，這些語音編碼器提供如下說明性參數(shù)濁音信號(元音)、清音信號(輔音)、話音活動(即，靜音或話音)、信號能量等。
視解碼器26的內(nèi)置錯誤隱藏而定，可采用如表1所列的以下說明性評估
表1根據(jù)本發(fā)明可采用其它評估系統(tǒng)、參數(shù)和值。本發(fā)明的評估向重新同步單元14指示當前緩存幀28中的哪個幀允許引入或刪除樣本而對主觀聲音質(zhì)量影響最小(例如，0表示最小影響，4表示最大影響)。損壞的幀和丟失的幀可引入明顯的噪聲，但插入或刪除該幀的樣本可能不會引起其它非自然信號。如上所述，靜寂期更可能用于重新同步。清音幀通常具有比濁音幀低的能量，因此，清音幀中的修改將不太引入注意。如果解碼器具有修復由損壞或丟失的幀引起的錯誤的成熟機制，則評估可能不同。
編碼幀30進入解碼器以進行解碼。有關每個幀的信息從網(wǎng)絡層21和解碼器26輸入分類單元24。分類單元24輸出評估，并將該評估與每個解碼幀28關聯(lián)。解碼幀28與評估一起存儲在幀緩沖區(qū)22中。每個幀的評估輸入到重新同步單元14中，以便分析使媒體或數(shù)據(jù)流16與18重新同步的最佳時機。重新同步單元14可采用本地系統(tǒng)計時器36或基準計時器38來使流16與18重新同步。計時器36可包括系統(tǒng)的時鐘信號或任何其它定時參考，而基準計時器38可基于某個基準流的定時，例如，基準流可包括流16或流18中的任意一個流。
一旦輸入重新同步單元14，便可相對于附近的幀對每個幀進行分析，以確定刪除或添加幀/數(shù)據(jù)到該流中的最佳時機。重新同步單元14可包括程序或函數(shù)40，該程序/或函數(shù)對附近的幀進行輪詢或維護累計評估計數(shù)，以估計用于使數(shù)據(jù)流重新同步的相對位置或時間。例如，視各流之間同步中的差異而定，可從視頻流中刪除損壞的幀，以便相對于音頻流使視頻流超前。同樣地，視頻幀可通過復制添加到視頻流以便相對于音頻流而放慢視頻流。多個幀可同時添加到一個或多個流，或者從中刪除以實現(xiàn)重新同步?；谙到y(tǒng)10的需要，也可進行對任一流的幀率進行調(diào)整以實現(xiàn)重新同步。
除幀評估外，程序40可采用統(tǒng)計數(shù)據(jù)41或其它標準，以選擇要添加或去除的適當幀。統(tǒng)計數(shù)據(jù)可包括諸如這樣的信息例如每經(jīng)基于給定評估類型的多個幀的多個周期，只允許刪除或添加一個幀等。在另一示例中，某些幀評估模式可導致產(chǎn)生不需要的非自然信號。重新同步單元14和函數(shù)40可編程為確定這些模式，并可編程為以減少這些非自然信號的方式使數(shù)據(jù)流重新同步。這可基于用戶經(jīng)驗、基于輸出42的反饋或者基于從系統(tǒng)10外形成的涉及其它重新同步系統(tǒng)的操作的數(shù)據(jù)的反饋。
要理解的是本發(fā)明可應用到其它媒體流，包括音樂、數(shù)據(jù)、視頻數(shù)據(jù)等。另外，雖然附圖顯示了正在使兩個數(shù)據(jù)流同步，但本發(fā)明適用于使更多數(shù)量的數(shù)據(jù)流同步。另外，數(shù)據(jù)流可包括由不同編碼器生成的音頻流或視頻流，并且以可變比特率編碼。例如，可存在這樣兩個不同視頻流，它們表示以不同抽樣率抽樣的同一音頻/視頻源。本發(fā)明的重新同步方案能夠?qū)⑦@些變化納入考慮，并且如果存在同步問題，則可將來自一個源的幀用在另一個源的幀上。本發(fā)明還可考慮將一個編碼器(如RealAudio)所生成的流的幀用在第二編碼器(如Windows Media Player)生成的流上，以便根據(jù)本發(fā)明原理使數(shù)據(jù)流重新同步。
數(shù)據(jù)流可通過網(wǎng)絡20發(fā)送。網(wǎng)絡20可包括電纜調(diào)制解調(diào)器網(wǎng)絡、電話(有線或無線)網(wǎng)絡、衛(wèi)星網(wǎng)絡、局域網(wǎng)、因特網(wǎng)或能夠發(fā)送多個數(shù)據(jù)流的任何其它網(wǎng)絡。另外，數(shù)據(jù)流無需通過網(wǎng)絡接收，而是可在發(fā)送器-接收器裝置對之間直接接收。這些裝置可包括對講機、電話、手持/膝上型計算機、個人計算機或能夠接收多個數(shù)據(jù)流的其它裝置。
在使數(shù)據(jù)流重新同步方面，還可以將數(shù)據(jù)流的起源(與上述其它屬性的情況一樣)納入考慮。例如，源于因特網(wǎng)源的視頻流可導致太多的重新同步嘗試，從而使太多幀被丟棄。諸如來自電話的替代源或替代數(shù)據(jù)流可用于替換產(chǎn)生重放錯誤的流。在此實施例中，通過將表(例如表1)中所列的順序用作要添加到重新同步單元14中累積器43中的存儲記錄的值，累積器43(例如，寄存器或存儲塊)會記錄被重新同步的當前媒體流的幀錯誤類型。在該累積器中存儲的記錄超過閾值后，重新同步單元14會請求替代媒體流(例如，來自不同來源、類型的特定編碼器媒體流或者能夠發(fā)送多個流的網(wǎng)絡的媒體流)，以替代當前媒體流。系統(tǒng)10隨后會利用來自替代媒體流的幀來減少必須使兩個或更多媒體流重新同步的需要。在使用替代媒體流后會使累積器43重置。
雖然就接收器裝置進行了描述，但本發(fā)明也可以類似方式在網(wǎng)絡的發(fā)送側(cè)/接收側(cè)采用，或在系統(tǒng)的發(fā)送與接收位置之間采用。
在描述了使漂移數(shù)據(jù)流重新同步且引入的明顯非自然信號最少的優(yōu)選實施例(這些實施例用于說明而非限制)后，要注意，本領域的技術人員可根據(jù)上述教導進行修改和變化。因此要理解，可以對所公開的本發(fā)明的特定實施例進行改動；這些改動在所附權利要求書概括的本發(fā)明的范圍和精神內(nèi)。
權利要求
1.一種用于使數(shù)據(jù)流同步的系統(tǒng)，它包括分類單元(24)，其接收表示多個幀的數(shù)據(jù)信息，并提供對所述多個幀中至少一個幀的評估，以指示通過修改所述幀引入明顯非自然信號的可能性；以及重新同步單元(14)，其接收與所述幀關聯(lián)的所述評估，并根據(jù)所述評估基于某個基準使所述數(shù)據(jù)流重新同步。
2.如權利要求1所述的系統(tǒng)，其特征在于所述基準至少包括本地計時器和數(shù)據(jù)流之一。
3.如權利要求1所述的系統(tǒng)，其特征在于還包括將所述接收的多個幀解碼的解碼器，其中，所述解碼器提供輸入給所述分類單元以確定所述評估。
4.如權利要求3所述的系統(tǒng)，其特征在于所述解碼器提供的有關聲音幀的信息至少包括下列之一靜音幀、清音幀和濁音幀。
5.如權利要求4所述的系統(tǒng)，其特征在于所述數(shù)據(jù)流是從網(wǎng)絡層接收的，所述網(wǎng)絡層向所述分類單元提供信息以指示幀是否丟失或損壞。
6.如權利要求5所述的系統(tǒng)，其特征在于還包括幀緩沖區(qū)，其存儲所述多個幀和與所述多個幀關聯(lián)的要輸入到所述重新同步單元的所述評估。
7.如權利要求6所述的系統(tǒng)，其特征在于所述重新同步單元包括確定評估模式，并根據(jù)所述評估模式使所述數(shù)據(jù)流重新同步的程序。
8.如權利要求7所述的系統(tǒng)，其特征在于所述程序包括統(tǒng)計數(shù)據(jù)以確定重新同步是如何實現(xiàn)的。
9.如權利要求8所述的系統(tǒng)，其特征在于在達到重新同步閾值時，所述重新同步單元利用來自備選數(shù)據(jù)流的第二多個幀。
10.如權利要求1所述的系統(tǒng)，其特征在于所述幀的所述評估包括與至少下列之一相關的信息所述幀的來源及用于生成所述幀的編碼器。
11.一種使數(shù)據(jù)流重新同步的方法，它包括以下步驟將表示多個幀的數(shù)據(jù)分類(24)，以便提供對所述多個幀中至少一個幀的評估，從而指示通過修改所述幀引入明顯非自然信號的可能性；以及通過采用與所述幀關聯(lián)的所述評估來確定添加和刪除數(shù)據(jù)的最佳時間，以根據(jù)基準使所述數(shù)據(jù)流重新同步，從而使所述數(shù)據(jù)流重新同步(14)。
12.如權利要求11所述的方法，其特征在于所述基準包括本地計時器和數(shù)據(jù)流。
13.如權利要求11所述的方法，其特征在于還包括將所述多個幀解碼以提供用于將所述多個幀分類的輸入，從而確定所述評估的步驟。
14.如權利要求13所述的方法，其特征在于所述解碼步驟包括將表示聲音數(shù)據(jù)流的數(shù)據(jù)解碼以提供有關所述多個幀的信息；所述多個幀至少包括下列之一靜音幀、清音幀和濁音幀。
15.如權利要求11所述的方法，其特征在于所述數(shù)據(jù)流是從網(wǎng)絡層接收的，并且所述方法還包括為了對所述多個幀中所述幀進行分類，由所述網(wǎng)絡層提供指示幀是否丟失或損壞的信息的步驟。
16.如權利要求11所述的方法，其特征在于還包括在用于保存幀的幀緩沖區(qū)中緩存幀以及用于所述重新同步步驟的與各幀關聯(lián)的評估的步驟。
17.如權利要求11所述的方法，其特征在于還包括確定評估模式并根據(jù)所述評估模式使所述數(shù)據(jù)流重新同步的步驟。
18.如權利要求17所述的方法，其特征在于在達到重新同步閾值時，所述重新同步單元利用來自備選數(shù)據(jù)流的幀。
19.如權利要求18所述的方法，其特征在于所述幀的所述評估包括與至少下列之一相關的信息所述幀的來源及用于生成所述幀的編碼器。
20.一種用于使數(shù)據(jù)流同步的系統(tǒng)，它包括用于分類(24)的裝置，其接收有關數(shù)據(jù)幀的信息，并提供每個幀的評估，所述評估指示通過修改所述幀引入明顯非自然信號的可能性；以及用于重新同步(14)的裝置，其接收與所述幀關聯(lián)的所述評估，并根據(jù)所述評估基于某個基準使所述數(shù)據(jù)流重新同步。
全文摘要
本發(fā)明公開了一種用于使數(shù)據(jù)流同步的系統(tǒng)。分類單元(24)接收有關數(shù)據(jù)幀的信息，并為每個幀提供評估，該評估指示通過修改所述幀引入明顯非自然信號的可能性。重新同步單元(14)接收與所述幀關聯(lián)的所述評估，并根據(jù)所述評估基于某個基準使所述數(shù)據(jù)流重新同步。
文檔編號H04N7/62GK1739102SQ200380108671
公開日2006年2月22日 申請日期2003年12月29日 優(yōu)先權日2003年1月16日
發(fā)明者A·M·奧斯特 申請人:湯姆森許可公司