專利名稱：用于視頻通信系統(tǒng)中的差錯(cuò)彈性的改進(jìn)系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻數(shù)據(jù)通信系統(tǒng)。本發(fā)明尤其涉及用于提供視頻會(huì)議應(yīng)用中的 差錯(cuò)彈性的技術(shù)。
背景技術(shù)：
通過(guò)基于分組的現(xiàn)代通信網(wǎng)絡(luò)(例如，基于網(wǎng)際協(xié)議(IP)的網(wǎng)絡(luò))在發(fā)送 方與接收方之間提供高質(zhì)量數(shù)字視頻通信至少由于此類網(wǎng)絡(luò)上的數(shù)據(jù)傳輸通常是 以盡力為基礎(chǔ)執(zhí)行的這個(gè)事實(shí)而成為技術(shù)上的難題。現(xiàn)代通信網(wǎng)絡(luò)中的傳輸差錯(cuò)通 常將其自身表現(xiàn)為分組丟失而非比特差錯(cuò)，后者是早期通信系統(tǒng)中的特性。分組丟 失常常是中間路由器中的擁塞的結(jié)果，而非物理層差錯(cuò)的結(jié)果。
當(dāng)在數(shù)字視頻通信系統(tǒng)中發(fā)生傳輸差錯(cuò)時(shí)，確保接收器可從差錯(cuò)快速恢復(fù)并 返回傳入視頻信號(hào)的無(wú)差錯(cuò)顯示是很重要的。然而，在典型數(shù)字視頻通信系統(tǒng)中， 接收器的穩(wěn)健性因傳入數(shù)據(jù)被嚴(yán)重壓縮以節(jié)約帶寬這個(gè)事實(shí)而降低。此外，用在通 信系統(tǒng)中的視頻壓縮技術(shù)(例如，最新編解碼器ITU-T H.264和H.263或者ISO MPEG-2和MPEG-4編解碼器)可在連續(xù)視頻分組或幀之間形成強(qiáng)的時(shí)間依存性。 具體地，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(例如，涉及P幀或B幀的使用)編解碼器的使用形成其 中所顯示的幀依賴于先前幀的幀依存性鏈。依存性鏈可一直擴(kuò)展到視頻序列的開(kāi) 頭。作為依存鏈的結(jié)果，給定分組的丟失可影響接收器處多個(gè)連續(xù)分組的解碼。由于給定分組的丟失而導(dǎo)致的差錯(cuò)傳播僅在"內(nèi)"(I)刷新點(diǎn)或者完全不使用任何 時(shí)間預(yù)測(cè)的幀處。
數(shù)字視頻通信系統(tǒng)中的差錯(cuò)彈性要求在傳送信號(hào)中有至少某一級(jí)別的冗余 度。然而，這種要求與力圖消除或最小化所傳送信號(hào)中的冗余度的視頻壓縮技術(shù)的 目的相反。
在提供區(qū)分型服務(wù)的網(wǎng)絡(luò)(例如，基于區(qū)分型服務(wù)IP的網(wǎng)絡(luò)、租用線路上的 專用網(wǎng)等)上，視頻數(shù)據(jù)通信應(yīng)用可采用網(wǎng)絡(luò)特征來(lái)以無(wú)損或近似無(wú)損的方式向接 收器遞送視頻信號(hào)數(shù)據(jù)的部分或全部。然而，在未提供區(qū)分型服務(wù)的任意盡力型網(wǎng) 絡(luò)(諸如因特網(wǎng))中，數(shù)據(jù)通信應(yīng)用必須依賴其自身的特征來(lái)實(shí)現(xiàn)差錯(cuò)彈性。在文 本或字母數(shù)字?jǐn)?shù)據(jù)通信中有用的已知技術(shù)(例如，傳輸控制協(xié)議一TCP)不適于視 頻或音頻通信，這對(duì)由人類接口需求所導(dǎo)致的較低的端對(duì)端延遲有額外的約束。例 如，TCP技術(shù)可用于文本或字母數(shù)字?jǐn)?shù)據(jù)輸送中的差錯(cuò)彈性。TCP保持重傳數(shù)據(jù)
直至確認(rèn)所有數(shù)據(jù)被接收，即使其包括若干秒的延遲。然而，TCP不適用于現(xiàn)場(chǎng)
或交互式視頻會(huì)議應(yīng)用中的視頻數(shù)據(jù)輸送，因?yàn)闊o(wú)限制的端對(duì)端延遲對(duì)于參與者而 言是無(wú)法接受的。
視頻通信系統(tǒng)中差錯(cuò)彈性的一方面涉及對(duì)壓縮效率具有相當(dāng)大的影響的隨機(jī) 接入(例如，當(dāng)接收方加入現(xiàn)行視頻信號(hào)的傳輸時(shí))。例如，隨機(jī)接入的實(shí)例是加 入視頻會(huì)議的用戶，或者調(diào)諧至廣播的用戶。這樣的用戶將必須在傳入比特流信號(hào) 中尋找開(kāi)始解碼或要與編碼器同步的合適的點(diǎn)。隨機(jī)接入點(diǎn)是從該點(diǎn)開(kāi)始任何傳播 差錯(cuò)終止的有效的差錯(cuò)彈性特征(或差錯(cuò)恢復(fù)點(diǎn))。因此，提供良好的隨機(jī)接入支 持的特定編碼方案通常具有提供較快速差錯(cuò)恢復(fù)的差錯(cuò)彈性技術(shù)。然而，逆過(guò)程依 賴于關(guān)于差錯(cuò)彈性技術(shù)被設(shè)計(jì)要解決的差錯(cuò)的持續(xù)時(shí)間和范圍的特定假設(shè)。差錯(cuò)彈 性技術(shù)可假定某些狀態(tài)信息在接收器處發(fā)生差錯(cuò)時(shí)可用。在此情形中，差錯(cuò)彈性技 術(shù)不確保良好的隨機(jī)接入支持。
在用于數(shù)字電視系統(tǒng)(數(shù)字電纜TV或衛(wèi)星TV)的MPEG-2視頻編解碼器中， 以周期間隔(通常為0.5秒)使用I畫面來(lái)實(shí)現(xiàn)快速切換成流。然而，I畫面顯著 大于其P或B對(duì)應(yīng)物(通常大3到6倍)，并由此被避免使用，在低帶寬和/或低 延遲應(yīng)用中尤其如此。
在諸如視頻會(huì)議的交互式應(yīng)用中，請(qǐng)求幀內(nèi)更新的概念通常被用于差錯(cuò)彈性。 在操作中，更新涉及從接收方對(duì)發(fā)送方的、關(guān)于使得解碼器被同步的內(nèi)畫面?zhèn)鬏數(shù)?請(qǐng)求。此操作的帶寬開(kāi)銷是顯著的。另外，當(dāng)分組差錯(cuò)發(fā)生時(shí)，也存在此開(kāi)銷。如果分組丟失是由擁塞導(dǎo)致的，則使用內(nèi)畫面只會(huì)惡化擁塞問(wèn)題。
另一種用于差錯(cuò)穩(wěn)健性的傳統(tǒng)技術(shù)——在過(guò)去用于減輕由IDCT實(shí)現(xiàn)(例如，
在H.261標(biāo)準(zhǔn)中)中的失配而導(dǎo)致的漂移——是周期性地編碼每個(gè)宏塊幀內(nèi)模式。 H.261標(biāo)準(zhǔn)要求每132次強(qiáng)制幀內(nèi)編碼傳送一宏塊。
隨著強(qiáng)制要被編碼為給定幀中幀內(nèi)的宏塊的百分比的增大，編碼效率下降。 相反，當(dāng)此百分比較低時(shí)，從分組丟失恢復(fù)的時(shí)間增加。強(qiáng)制幀內(nèi)編碼過(guò)程要求額 外的精力以避免運(yùn)動(dòng)相關(guān)漂移，該漂移由于必須避免某些運(yùn)動(dòng)矢量值——即使它們 是最有效的——而進(jìn)一步限制了編碼器的性能。
除傳統(tǒng)之外，單層編解碼器、分層或可縮放編碼是多媒體數(shù)據(jù)編碼中的公知 技術(shù)?？煽s放編碼用于生成以帶寬效率方式共同代表給定媒體的兩個(gè)或多個(gè)"經(jīng)縮 放"比特流?？煽s放性可以多個(gè)維度——即時(shí)間、空間和質(zhì)量(也稱為SNR"信 噪比"可縮放性)——來(lái)提供。例如，視頻信號(hào)可以CIF或QCIF分辨率且每秒 7.5、 15和30幀(fps)的幀率下的不同層來(lái)可縮放地編碼。取決于編解碼器的結(jié) 構(gòu)，空間分辨率和幀率的任何組合可從編解碼器比特流獲得。與不同層相對(duì)應(yīng)的比 特可作為單獨(dú)的比特流傳送(即，每層一個(gè)流)或它們可在一個(gè)或多個(gè)比特流中被 復(fù)用在一起。為了便于本文的描述，與給定層相對(duì)應(yīng)的經(jīng)編碼比特可稱為該層的比 特流，即使各個(gè)層被復(fù)用且在單個(gè)比特流中傳送。專門設(shè)計(jì)成提供可縮放特征的編 解碼器包括例如MPEG-2 (也稱為ITU-T H.262的ISO/IEC 13818-2)和目前開(kāi)發(fā)的 H.264可縮放視頻編碼擴(kuò)展(稱為ITU-T H.264附錄G或MPEG-4第10部分SVC)。 在共同轉(zhuǎn)讓國(guó)際專利申請(qǐng)No. PCT/US06/028365——"SYSTEM AND METHOD FOR SCALABLE AND LOW-DELAY VIDEOCONFERENCING USING SCALABLE VIDEO CODING (用于使用可縮放視頻編碼的可縮放和低延遲視頻會(huì) 議的系統(tǒng)和方法)"——中描述了為視頻通信專門設(shè)計(jì)的可縮放視頻編碼(SVC) 技術(shù)。注意，即使并非專門設(shè)計(jì)成可縮放的編解碼器也可以在時(shí)間維度呈現(xiàn)可縮放 性的特性。例如，考慮MPEG-2 Main Profile (主型)編解碼器——DVD和數(shù)字TV 環(huán)境中使用的非可縮放編解碼器。此外，假定以30 fps操作的編解碼器以及使用 IBBPBBPBBPBBPBB (周期N45幀)的GOP結(jié)構(gòu)。通過(guò)連續(xù)消除B畫面，接著 消除P畫面，就能得到總共三個(gè)時(shí)間分辨率30fps (包括所有畫面類型)、10 fps (僅有I和P)以及2 fps (僅有I)。連續(xù)消去過(guò)程導(dǎo)致可解碼的比特流，因?yàn)?MPEG-2 Main Profile編解碼器被設(shè)計(jì)成使得P畫面的編碼不依賴于B畫面，并且 類似的I畫面的編碼不依賴于其它P或B畫面。在以下，具有時(shí)間可縮放特征的單層編解碼器被認(rèn)為是可縮放視頻編碼的特例，因此被包括在術(shù)語(yǔ)可縮放視頻編碼 中，除非另外明確指明。
可縮放編解碼器通常具有錐形比特流結(jié)構(gòu)，其中組成比特流之一 (稱為"基 層")在恢復(fù)某種基本質(zhì)量的原始媒體時(shí)是必需的。連同基層一起使用一個(gè)或多個(gè) 剩余比特流(稱為"增強(qiáng)層")提升了所恢復(fù)媒體的質(zhì)量。增強(qiáng)層中的數(shù)據(jù)丟失是 容許的，但是基層中的數(shù)據(jù)丟失會(huì)導(dǎo)致所恢復(fù)媒體的顯著失真或完全失敗。
可縮放編解碼器提出了類似于由單層編解碼器針對(duì)差錯(cuò)彈性和隨機(jī)接入所提 出的那些挑戰(zhàn)。然而，可縮放編解碼器的編碼結(jié)構(gòu)具有單層視頻編解碼器中不存在 的獨(dú)特特性。此外，與單層編碼不同，可縮放編碼可能涉及從一個(gè)可縮放性層切換 到另一個(gè)(例如，在CIF與QCIF分辨率之間來(lái)回切換)。
聯(lián)播是用于視頻會(huì)議的編碼解決方案，它不如可縮放視頻編碼復(fù)雜但具有后 者的優(yōu)點(diǎn)中的某些。在聯(lián)播中，兩個(gè)不同版本的源被編碼(例如，以兩種不同空間 分辨率)并傳送。每個(gè)版本是獨(dú)立的，因?yàn)槠浣獯a并不依賴于另一版本的接收。類 似于可縮放和單層編碼，聯(lián)播提出了類似的隨機(jī)接入和穩(wěn)健性問(wèn)題。在下文中，聯(lián) 播被認(rèn)為是可縮放編碼(其中不執(zhí)行層間預(yù)測(cè))的特例，并且兩者皆簡(jiǎn)稱為可縮放 視頻編碼技術(shù)，除非另外明確指明。
在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)No. PCT/US06/061815: "SYSTEMS AND METHODS FOR ERROR RESILIENCE AND RANDOM ACCESS IN VIDEO COMMUNICATIONS SYSTEMS(用于視頻通信系統(tǒng)中的差錯(cuò)彈性和隨機(jī)接入的系 統(tǒng)和方法)"以及PCT/US07/063335: " SYSTEM AND METHOD FOR PROVIDING ERROR RESILIENCE, RANDOM ACCESS, AND RATE CONTROL IN SCALABLE VIDEO COMMUNICATIONS (用于提供可縮放視頻通信中的差錯(cuò)彈性、隨機(jī)接入 和速率控制的系統(tǒng)和方法)"中描述了用于在視頻通信系統(tǒng)中提供差錯(cuò)彈性和隨機(jī) 接入的專用技術(shù)。這些專利申請(qǐng)尤其公開(kāi)了LR畫面的概念，S卩，組成可縮放地編 碼的視頻信號(hào)的最低時(shí)間層(以最低空間或質(zhì)量分辨率)并且從發(fā)送方可靠地傳送 到接收方的畫面。LR畫面的可靠傳輸確保接收解碼器處有最低水平的質(zhì)量。接收 方可立即檢測(cè)LR畫面是否已丟失并采取步驟以使用例如"關(guān)鍵畫面索引"機(jī)制來(lái) 獲得丟失的畫面(例如，通過(guò)請(qǐng)求發(fā)送方重傳)，這也在國(guó)際專利申請(qǐng)No. PCT/US06/061815中公開(kāi)。注意，發(fā)送方和接收方不一定分別是編碼器和解碼器， 而可以是如在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)No. PCT/US06/028366中公開(kāi)的可縮放視 頻通信服務(wù)器(SVCS)、如在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)No.PCT/US06/62569中公開(kāi)的合成SVCS ( CSVCS )、或者如在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)No. PCT/US07/80089中公開(kāi)的多播SVCS (MSVCS)。
當(dāng)在一個(gè)以上分組上傳輸最低時(shí)間層畫面時(shí)，就會(huì)發(fā)生在國(guó)際專利申請(qǐng)No. PCT/US06/061815中所描述的系統(tǒng)和方法的潛在限制。這可能在例如編碼高清視頻 時(shí)一其中每一幀可能使用一個(gè)以上傳輸層分組來(lái)傳輸，或者在畫面是使用一個(gè)以 上切片來(lái)編碼的并且每一切片在其自己的分組中傳輸時(shí)發(fā)生。在這些情形中，屬于 同一幀的所有分組將具有相同的關(guān)鍵畫面索引。如果所有切片都因網(wǎng)絡(luò)中的分組丟 失而丟失，則接收方可恰當(dāng)?shù)貦z測(cè)整個(gè)畫面的丟失并發(fā)起校正動(dòng)作。然而，如果接 收到一些或全部切片，則接收器可能不能立即推斷收到切片是包含整個(gè)畫面還是只 包含部分畫面，除非其繼續(xù)解碼片數(shù)據(jù)。此推論在解碼收到數(shù)據(jù)的接收器中是直截 了當(dāng)?shù)?，但其?duì)通常未被裝備成執(zhí)行視頻數(shù)據(jù)的解碼的中間接收器(例如，SVCS、 CSVCS、或MSCVS，或任何媒體認(rèn)知網(wǎng)絡(luò)元件-MANE)呈現(xiàn)出顯著的復(fù)雜度。
現(xiàn)在針對(duì)改進(jìn)對(duì)視頻通信系統(tǒng)中經(jīng)編碼比特流的差錯(cuò)彈性作出考慮。關(guān)注開(kāi) 發(fā)對(duì)端對(duì)端延遲和系統(tǒng)所用的帶寬具有最小影響的差錯(cuò)彈性技術(shù)，并解決多切片中 經(jīng)編碼視頻數(shù)據(jù)的分段的可能性。合需的差錯(cuò)彈性技術(shù)將可應(yīng)用于可縮放和單層視 頻編碼兩者。
發(fā)明內(nèi)容
本發(fā)明提供了用于在基于單層以及可縮放視頻編碼的視頻通信系統(tǒng)中提升差 錯(cuò)彈性的系統(tǒng)和方法。具體地，本發(fā)明提供了供接收器用來(lái)檢測(cè)預(yù)期可靠地傳送的 畫面的部分是否因分組丟失而丟失的機(jī)制，從而能以最小延遲發(fā)起校正動(dòng)作。提供 特定技術(shù)以通過(guò)RTP以及在使用H.264附錄G (SVC) NAL單元時(shí)進(jìn)行傳送。
附圖簡(jiǎn)述
圖1是示出根據(jù)本發(fā)明原理的用于遞送可縮放地編碼的視頻數(shù)據(jù)的示例性視 頻會(huì)議系統(tǒng)的框圖2是示出根據(jù)本發(fā)明原理的與單層視頻編碼的使用相兼容的示例性最終用 戶終端的框圖3是示出根據(jù)本發(fā)明原理的與可縮放或聯(lián)播編碼的使用相兼容的示例性最 終用戶終端的框圖4是示出根據(jù)本發(fā)明原理的多點(diǎn)SVCS的內(nèi)部交換結(jié)構(gòu)的框圖；圖5是示出SVCS的操作原理的框圖6是示出根據(jù)本發(fā)明原理的示例性視頻編碼器的結(jié)構(gòu)的框圖； 圖7是示出根據(jù)本發(fā)明原理的用于編碼基層和時(shí)間增強(qiáng)層的視頻編碼器的示 例性架構(gòu)的框圖8是示出根據(jù)本發(fā)明原理的用于空間增強(qiáng)層的視頻編碼器的示例性架構(gòu)的
框圖9是示出根據(jù)本發(fā)明原理的示例性分層畫面編碼結(jié)構(gòu)的框圖； 圖10是示出根據(jù)本發(fā)明原理的另一示例性分層畫面編碼結(jié)構(gòu)的框圖； 圖11是示出根據(jù)本發(fā)明原理的包括時(shí)間和空間可縮放性的示例性畫面編碼結(jié) 構(gòu)的框圖12是示出根據(jù)本發(fā)明原理的用于差錯(cuò)彈性視頻通信的示例性分層畫面編碼
結(jié)構(gòu)的框圖13是示出根據(jù)本發(fā)明原理的具有空間/質(zhì)量可縮放性的用于差錯(cuò)彈性視頻
通信的示例性分層畫面編碼結(jié)構(gòu)的框圖。
圖14是示出根據(jù)本發(fā)明原理的、當(dāng)R分組技術(shù)被用于通過(guò)RTP傳輸時(shí)傳送 終端的LPR (發(fā)送)模塊的示例性架構(gòu)的框圖。
圖15是示出根據(jù)本發(fā)明原理的、當(dāng)R分組技術(shù)被用于通過(guò)RTP傳輸時(shí)接收 終端的LRP (接收)模塊的示例性架構(gòu)的框圖。
圖16是示出根據(jù)本發(fā)明原理的、當(dāng)R分組技術(shù)被用于通過(guò)RTP傳輸時(shí)服務(wù) 器的LPR發(fā)送和接收模塊的示例性架構(gòu)的框圖。
圖17示出根據(jù)本發(fā)明原理的用于RTP分組的名為RTP報(bào)頭擴(kuò)展的示例性結(jié)構(gòu)。
圖18示出根據(jù)本發(fā)明原理的RNACK分組的反饋控制信息字段的示例性結(jié)構(gòu)。
圖19示出根據(jù)本發(fā)明原理的具有幀索引和開(kāi)始/結(jié)束標(biāo)志的經(jīng)更改H.264附 錄G (SVC) NAL報(bào)頭擴(kuò)展句法。
貫穿附圖，相似附圖標(biāo)記和字符除非另外聲明否則用于標(biāo)注所例示的實(shí)施例 的類似特征、要素、組件或部分。此外，現(xiàn)在參照附圖詳細(xì)描述本發(fā)明是結(jié)合示例 性實(shí)施例進(jìn)行的。
發(fā)明詳細(xì)描述本發(fā)明提供了用于視頻通信系統(tǒng)中差錯(cuò)彈性傳輸?shù)南到y(tǒng)和方法。這些機(jī)制與 可在視頻通信系統(tǒng)中使用的具有時(shí)間可縮放性的可縮放編碼技術(shù)以及單層和聯(lián)播 視頻編碼相兼容。
這些系統(tǒng)和方法涉及在視頻信號(hào)傳輸中指定一組視頻幀或畫面來(lái)向接收方可 靠或有保證地遞送。指定組視頻幀的可靠遞送可通過(guò)使用安全或高可靠性的鏈路、 或通過(guò)重傳技術(shù)來(lái)實(shí)現(xiàn)?？煽窟f送的視頻幀被用作參考畫面用于在差錯(cuò)發(fā)生之后或 針對(duì)隨機(jī)接入使接收器與所傳送視頻信號(hào)重新同步。
在優(yōu)選實(shí)施例中，示例性視頻通信系統(tǒng)可以是在基于分組的網(wǎng)絡(luò)上操作的多 點(diǎn)視頻會(huì)議系統(tǒng)10。(參看例如圖1)。多點(diǎn)視頻會(huì)議系統(tǒng)可包括任選網(wǎng)橋120a 和120b (例如，多點(diǎn)控制單元(MCU)或可縮放視頻通信服務(wù)器(SVCS))以協(xié) 調(diào)網(wǎng)絡(luò)上的端點(diǎn)(例如，用戶l-k禾B l-m)之間的可縮放多層或單層視頻通信。對(duì) 于結(jié)合或不結(jié)合任選網(wǎng)橋120a和120b使用的點(diǎn)對(duì)點(diǎn)連接而言，示例性視頻通信系 統(tǒng)的操作是相同的且是有益的。
在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)No. PCT/US06/028365 : " SYSTEM AND METHOD FOR SCALABLE AND LOW-DELAY VIDEOCONFERENCING USING SCALABLE VIDEO CODING (用于使用可縮放視頻編碼的可縮放和低延遲視頻會(huì) 議的系統(tǒng)和方法)"、No. PCT/US06/028266: "SYSTEM AND METHOD FOR A CONFERENCE SERVER ARCHITECTURE FOR LOW DELAY AND DISTRIBUTED CONFERENCING APPLICATIONS (用于低延遲和分布式會(huì)議應(yīng)用 的會(huì)議服務(wù)器架構(gòu)的系統(tǒng)和方法)"、No. PCT7US/06/062569: "SYSTEM AND METHOD FOR VIDEOCONFERENCING USING SCALABLE VIDEO CODING AND COMPOSITING SCALABLE VIDEO SERVERS (用于使用可縮放視頻編碼和 合成可縮放視頻服務(wù)器進(jìn)行視頻會(huì)議的系統(tǒng)和方法)"、以及No. PCT/US07/80089: "SYSTEM AND METHOD FOR MULTIPOINT CONFERENCING WITH SCALABLE VIDEO CODING SERVERS AND MULTICAST (用于通過(guò)可縮放視頻 編碼服務(wù)器和多播進(jìn)行多點(diǎn)會(huì)議的系統(tǒng)和方法)"中提供了基于可縮放視頻編碼的
可縮放視頻編碼技術(shù)和視頻會(huì)議系統(tǒng)的詳細(xì)描述。此外，在共同轉(zhuǎn)讓的國(guó)際專利申 請(qǐng)No. PCT/US06/061815 : " SYSTEMS AND METHODS FOR ERROR RESILIENCE AND RANDOM ACCESS IN VIDEO COMMUNICATION SYSTEMS (用于視頻通信系統(tǒng)中的差錯(cuò)彈性和隨機(jī)接入的系統(tǒng)和方法)"以及No. PCT/US07/063335 :" SYSTEM AND METHOD FOR PROVIDING ERRORRESILIENCE, RANDOM ACCESS, AND RATE CONTROL IN SCALABLE VIDEO COMMUNICATIONS (用于提供可縮放視頻通信中的差錯(cuò)彈性、隨機(jī)接入和速率 控制的系統(tǒng)和方法)"中提供了對(duì)差錯(cuò)彈性、隨機(jī)接入和速率控制技術(shù)的描述。所 有前述國(guó)際專利申請(qǐng)都通過(guò)引用全部納入于此。本發(fā)明的系統(tǒng)和方法基于在國(guó)際專 利申請(qǐng)No. PCT/US06/61815中描述的系統(tǒng)和方法進(jìn)行改進(jìn)。
圖1示出了視頻會(huì)議系統(tǒng)10的一般結(jié)構(gòu)。視頻會(huì)議系統(tǒng)10包括經(jīng)由LAN 1 和2鏈接在網(wǎng)絡(luò)IOO上的多個(gè)最終用戶終端(例如，用戶l-k和用戶1-m)和服務(wù) 器120a和120b。服務(wù)器可以是傳統(tǒng)MCU，可縮放視頻通信服務(wù)器(SVCS)、合 成可縮放視頻通信服務(wù)器(CSVCS)、或多播可縮放視頻通信服務(wù)器(MSVCS)。 后幾種服務(wù)器具有與傳統(tǒng)MCU相同的用途，但是具有顯著降低的復(fù)雜度和改進(jìn)的 功能。(參見(jiàn)例如國(guó)際專利申請(qǐng)No. PCT/US06/28366)。在本文的描述中，術(shù)語(yǔ) "服務(wù)器"可用于統(tǒng)指SVCS類型中的任一種。
圖2示出被設(shè)計(jì)成與基于單層編碼的視頻會(huì)議系統(tǒng)(例如，系統(tǒng)IO) —起使 用的最終用戶終端10的架構(gòu)。類似地，圖3示出被設(shè)計(jì)成與基于多層編碼的視頻 會(huì)議系統(tǒng)(例如，系統(tǒng)10) —起使用的最終用戶終端140的架構(gòu)。終端140包括 人類接口輸入/輸出設(shè)備(例如，相機(jī)210A、話筒210B、視頻顯示器250C、揚(yáng)聲 器250D)，以及耦合至輸入和輸出信號(hào)復(fù)用器和分用器單元(例如，分組MUX 220A 和分組DMUX220B)的一個(gè)或多個(gè)網(wǎng)絡(luò)接口控制器卡(NIC) 230。 NIC 230可以 是標(biāo)準(zhǔn)硬件組件，諸如以太網(wǎng)LAN適配器或任何其它合適的網(wǎng)絡(luò)接口設(shè)備或者其 組合。
相機(jī)210A和話筒210B被設(shè)計(jì)成分別捕捉參與者的視頻和音頻信號(hào)以傳輸給 其他會(huì)議參與者。相反，視頻顯示器250C和揚(yáng)聲器250D被設(shè)計(jì)成分別顯示和回 放從其他參與者接收到的視頻和音頻信號(hào)。視頻顯示器250C也被配置成任選地顯 示參與者/終端140自身的視頻。相機(jī)210A和話筒210B輸出分別經(jīng)由模數(shù)轉(zhuǎn)換器 210E和210F耦合到視頻和音頻編碼器210G和210H。視頻和音頻編碼器210G和 210H被設(shè)計(jì)成壓縮輸入視頻和音頻數(shù)字信號(hào)以減小在電子通信網(wǎng)絡(luò)上傳輸信號(hào)所 需的帶寬。輸入視頻信號(hào)可以是實(shí)況或預(yù)先錄制和存儲(chǔ)的視頻信號(hào)。編碼器壓縮本 地?cái)?shù)字信號(hào)以使傳輸信號(hào)所需的帶寬最小化。
在本發(fā)明的示例性實(shí)施例中，音頻信號(hào)可用本領(lǐng)域中已知的任何合適的技術(shù) (例如，G.711、 G.729、 G.729EV、 MPEG-1等)來(lái)編碼。在本發(fā)明的優(yōu)選實(shí)施例 中，可縮放音頻編解碼器G.729EV被音頻編碼器210G用來(lái)編碼音頻信號(hào)。音頻編碼器210G的輸出被發(fā)送到復(fù)用器MUX 220A以經(jīng)由NIC 230通過(guò)網(wǎng)絡(luò)100傳輸。
分組MUX 220A可使用RTP協(xié)議執(zhí)行傳統(tǒng)復(fù)用。分組MUX 220A也可執(zhí)行 可由網(wǎng)絡(luò)IOO提供的任何相關(guān)服務(wù)質(zhì)量(QoS)處理。來(lái)自終端140的每個(gè)數(shù)據(jù)流 在其自身的虛擬信道或IP技術(shù)中的"端口號(hào)"中傳送。
圖3示出被配置成與其中使用可縮放或聯(lián)播視頻編碼的視頻會(huì)議系統(tǒng)一起使 用的最終用戶終端140。在此情形中，視頻編碼器210GG具有多個(gè)輸出。圖3示出 例如標(biāo)記為"基"和"增強(qiáng)"的兩個(gè)層輸出。終端140的輸出(例如，單層輸出(圖 2)或多層輸出(圖3))經(jīng)由LRP處理模塊270A連接到分組MUX 220A。 LRP 處理模塊270A (和模塊270B)被設(shè)計(jì)成通過(guò)處理特定類型的幀(例如，圖12和 13中的"R"幀)以及諸如視頻序列報(bào)頭數(shù)據(jù)等需要可靠傳輸?shù)娜魏纹渌畔⒌膫?輸來(lái)進(jìn)行差錯(cuò)彈性通信("差錯(cuò)彈性LRP操作")。如果視頻編碼器210G產(chǎn)生 一個(gè)以上的增強(qiáng)層輸出，則增強(qiáng)層輸出的每一個(gè)可以與圖3中所示的相同的方式連 接到LRP處理模塊270A。類似地，在此情形中，附加增強(qiáng)層將經(jīng)由LRP處理模 塊270B提供給視頻編碼器230A?；蛘?，增強(qiáng)層輸出的一個(gè)或多個(gè)可直接連接到 分組MUX 220A，而非經(jīng)由LRP處理模塊270A。
終端140還可配置有一組視頻和音頻解碼器對(duì)230A和230B，其中每一對(duì)對(duì) 應(yīng)于在視頻會(huì)議中終端140處可看到或聽(tīng)到的每個(gè)參與者。應(yīng)當(dāng)理解，盡管在圖2 和3中示出解碼器230A和230B的若干實(shí)例，但使用一對(duì)解碼器230A和230B連 續(xù)處理來(lái)自多個(gè)參與者的信號(hào)是可能的。因此，終端140可配置有一對(duì)解碼器230A 和230B或比參與者的數(shù)目少的解碼器230A和230B。
音頻解碼器230B的輸出被連接到混音器240，后者又與驅(qū)動(dòng)揚(yáng)聲器250B的 數(shù)模轉(zhuǎn)換器(DA/C) 250A連接?；煲羝鲗⒏鱾€(gè)信號(hào)組合成用于回放的單個(gè)輸出信 號(hào)。如果到達(dá)的音頻信號(hào)是預(yù)先混合的，則可能不需要混音器240。類似地，視頻 解碼器230A的輸出可經(jīng)由合成器260在視頻顯示器250C的幀緩沖器250B中被 組合。合成器260被設(shè)計(jì)成將每個(gè)經(jīng)解碼的畫面置于輸出畫面顯示的適當(dāng)區(qū)域。例 如，如果顯示器被劃分成四個(gè)較小的區(qū)域，則合成器260從視頻解碼器230A的每 一個(gè)處獲得像素?cái)?shù)據(jù)并將其放置在適當(dāng)?shù)膸彌_器位置(例如，通過(guò)填充右下方的 畫面)。為了避免雙重緩沖(例如， 一次在解碼器230A的輸出以及一次在幀緩沖 器250B)，合成器260可被實(shí)現(xiàn)為驅(qū)動(dòng)解碼器230A的輸出像素的放置的地址生 成器。用于最優(yōu)化各個(gè)視頻輸出對(duì)顯示器250C的放置的其它技術(shù)也可用于類似效 果。例如，在H.264標(biāo)準(zhǔn)規(guī)范中，通過(guò)使用靈活宏塊排序(FMO)方案將多個(gè)參 與者的視圖組合在單個(gè)經(jīng)編碼的畫面中是可能的。在此方案中，每個(gè)參與者占用經(jīng) 編碼圖像的一部分——包括其切片之一。在概念上，單個(gè)解碼器可用于解碼所有參 與者的信號(hào)。然而，從實(shí)踐角度看來(lái)，接收方/終端將必須解碼四個(gè)較小的獨(dú)立編 碼的切片。因此，圖2和圖3中所示的具有解碼器230A的終端140可用在H.264 規(guī)范的應(yīng)用中。注意用于轉(zhuǎn)發(fā)切片的服務(wù)器是CSVCS。
在終端140中，分用器DMUX 220B接收來(lái)自NIC 320的分組并經(jīng)由接收如 圖2和3中所示的LRP模塊270B將它們重定向到適當(dāng)?shù)慕獯a器單元230A。視頻 解碼器230A的輸入處的LRP模塊270B終止接收終端的那一端處的差錯(cuò)彈性LRP。
MCU或服務(wù)器控制塊280協(xié)調(diào)服務(wù)器(SVCS/CSVCS)與最終用戶終端之間 的交互。在沒(méi)有中間服務(wù)器的點(diǎn)對(duì)點(diǎn)通信系統(tǒng)中，不需要服務(wù)器控制塊。類似地， 在非會(huì)議應(yīng)用中，在接收最終用戶終端處僅需要單個(gè)解碼器。對(duì)于涉及所存儲(chǔ)的視 頻(例如，預(yù)先錄制的廣播、預(yù)先編碼的材料)的應(yīng)用中，傳送最終用戶終端可不 涉及音頻和視頻編碼塊或它們之前的所有終端塊(例如，相機(jī)、話筒等)的整體功 能。具體地，僅需要提供如下所說(shuō)明的、與視頻分組的選擇性傳輸有關(guān)的部分。
應(yīng)當(dāng)理解，終端140的各個(gè)組件可以是彼此互聯(lián)的、物理上單獨(dú)的軟件和硬 件設(shè)備或單元(例如，集成在個(gè)人計(jì)算機(jī)中)，或者可以是其任何組合。
圖4示出用于差錯(cuò)彈性處理應(yīng)用中的示例性SVCS 400的結(jié)構(gòu)。SVCS 400的 核心是確定來(lái)自每一個(gè)可能源的哪個(gè)分組被傳送到哪個(gè)目的地和通過(guò)什么信道的 交換機(jī)410。(參見(jiàn)例如PCT/US06/028366)。
示例性SVCS 400的操作原理可參照?qǐng)D5來(lái)理解。在此示例中，傳送終端或端 點(diǎn)處的SVC編碼器510產(chǎn)生除多個(gè)時(shí)間層(未在圖中示出)之外的三個(gè)空間層。 各個(gè)經(jīng)編碼的視頻層在各個(gè)分組中自傳送端點(diǎn)(SVC編碼器)傳送到SVCS400。 取決于網(wǎng)絡(luò)條件或用戶偏好，SVCS400決定哪個(gè)分組要被轉(zhuǎn)發(fā)到所示三個(gè)接收方/ 解碼器520的每一個(gè)。在圖5所示示例中，SVCS 400僅將第一和第二空間層轉(zhuǎn)發(fā) 到SVC解碼器520(0)、將所有三個(gè)空間層轉(zhuǎn)發(fā)到SVC解碼器520(1)、以及僅將第 一 (基)層轉(zhuǎn)發(fā)到SVC解碼器520(2)。
再次參看圖4，除PCT/US06/028366中描述的交換機(jī)之外，SVCS 400還包括 分別設(shè)置在交換機(jī)的輸入和輸出處的LRP單元470A和470B。 SVCS 400被配置成 在其傳入交換機(jī)連接處終止彈性LRP處理，以及在其傳出交換機(jī)連接處發(fā)起彈性 LRP處理。在使用SVCS 400的本發(fā)明的實(shí)現(xiàn)中，差錯(cuò)彈性LRP處理并非在網(wǎng)絡(luò)上端對(duì)端地執(zhí)行，而是僅在每個(gè)單獨(dú)的連接段(例如，發(fā)送方到SVCS、 SVCS到
SVCS以及SVCS到接收方)上執(zhí)行。然而，應(yīng)當(dāng)理解，本發(fā)明的差錯(cuò)彈性LRP 處理可在使用或不使用SVCS的情況下以端對(duì)端方式在網(wǎng)絡(luò)上執(zhí)行。沒(méi)有LRP單 元470A和470B的SVCS 400可在使用SVCS的網(wǎng)絡(luò)中用于端對(duì)端LRP處理。此 外，SVCS400可裝備有一個(gè)以上NIC 230，如果SVCS 400連接不同網(wǎng)絡(luò)上的用戶 通常將是這種情形。
圖6示出可用于差錯(cuò)彈性視頻通信系統(tǒng)中的示例性視頻編碼器600的架構(gòu)。 視頻編碼器600可例如是基于塊的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)霓D(zhuǎn)換編碼器。H.264設(shè)計(jì)是視頻編 碼器600的優(yōu)選設(shè)計(jì)。然而，也可使用其它編解碼器設(shè)計(jì)。例如，圖7示出用于編 碼基于SVC設(shè)計(jì)的基層和時(shí)間增強(qiáng)層的示例性視頻編碼器600'的架構(gòu)，而圖8示 出用于編碼空間增強(qiáng)層的示例性視頻編碼器600"的架構(gòu)。(參見(jiàn)例如 PCT/US06/28365和PCT/US06/028366)。視頻編碼器600'和600"包括可用于使用 空間可縮放性降低系統(tǒng)中的輸入分辨率(例如，從CIF到CIF)的任選輸入下釆樣 器640。
圖6還示出可使用視頻編碼器600實(shí)現(xiàn)的編碼過(guò)程。編碼器600中的增強(qiáng)參 考控制(ENC REF CONTROL) 620用于創(chuàng)建"線程化"編碼結(jié)構(gòu)。(參見(jiàn)例如 PCT/US06/28365和PCT/US06/028366)?；跇?biāo)準(zhǔn)塊的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)木幗獯a器具 有I、 P和B幀的常規(guī)結(jié)構(gòu)。例如，在諸如IBBPBBP的畫面序列(按顯示次序) 中，'P'幀是從前一P幀或I幀預(yù)測(cè)的，而B畫面是使用前一以及后一P或I幀 兩者來(lái)預(yù)測(cè)的。盡管連續(xù)的I或P畫面之間的B畫面的數(shù)目如同I畫面出現(xiàn)的速率 一樣可變化，但是例如P畫面不可能用作在時(shí)間上比最近的P畫面早的另一 P畫 面的參考。H.264是個(gè)例外，因?yàn)榫幋a器和解碼器保持兩個(gè)參考畫面列表。選擇哪 些畫面用作參考以及哪些參考用于要被編碼的特定畫面是可能的。圖6中的幀緩沖 器塊610代表存儲(chǔ)參考畫面列表的存儲(chǔ)器，而編碼器側(cè)的增強(qiáng)參考控制620決定對(duì) 當(dāng)前畫面使用哪些參考畫面。
參照示出示例性分層畫面編碼結(jié)構(gòu)900的圖9可更好地理解增強(qiáng)參考控制520 的操作。為了實(shí)現(xiàn)多個(gè)時(shí)間分辨率，用于視頻通信系統(tǒng)中的編解碼器可生成多個(gè)單 獨(dú)的畫面"線程"。給定級(jí)的線程被定義為使用或者來(lái)自相同線程的畫面、或者來(lái) 自較低級(jí)線程的畫面來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)漠嬅嫘蛄?。線程的使用允許實(shí)現(xiàn)時(shí)間可縮放 性，因?yàn)榭上ト魏螖?shù)目的頂級(jí)線程而不影響其余線程的解碼過(guò)程。
在本發(fā)明的優(yōu)選實(shí)施例中，使用具有一組三個(gè)線程的編碼結(jié)構(gòu)(例如，圖9中的結(jié)構(gòu)900)。在圖9中，畫面標(biāo)記中的字母'L'指示任何可縮放層。L之后 的數(shù)字(0、 l和2)標(biāo)識(shí)時(shí)間層，例如，其中"0"對(duì)應(yīng)于最低、或最粗糙的時(shí)間 層，而"2"對(duì)應(yīng)于最高或最細(xì)的時(shí)間層。圖9中所示的箭頭指示預(yù)測(cè)的方向、源 和目標(biāo)。在多數(shù)應(yīng)用中，將僅使用P畫面，因?yàn)槭褂肂畫面增加編碼延遲達(dá)捕捉 和編碼用于B畫面的參考畫面所占用的時(shí)間。然而，在并非延遲敏感的應(yīng)用中， 可能除LO畫面之外，畫面的一部分或全部可以是B畫面。類似的，LO畫面可以 是形成傳統(tǒng)畫面組(GOP)的I畫面。
繼續(xù)參看圖9，層LO僅是相隔四個(gè)畫面的常規(guī)P畫面系列。層L1具有與L0 相同的幀速率，但是僅允許根據(jù)前一LO幀進(jìn)行預(yù)測(cè)。層L2幀是根據(jù)最近的L0或 Ll幀預(yù)測(cè)的。LO提供完全時(shí)間分辨率的四分之一 (1:4) ， L1是L0幀速率的兩倍 (1:2)，而L2是L0+L1幀速率的兩倍(1:1)。
可在設(shè)計(jì)成適應(yīng)本發(fā)明的特定實(shí)現(xiàn)的不同帶寬/可縮放性要求的編碼結(jié)構(gòu)中類 似地構(gòu)造比以上討論的三個(gè)層LO、 Ll和L2更多或更少的層。圖11示出僅有兩個(gè) 層LO和Ll的線程化編碼結(jié)構(gòu)1000的示例。此外，圖11示出用于空間可縮放性 的線程化編碼結(jié)構(gòu)IIOO的示例。編碼結(jié)構(gòu)IIOO包括由字母標(biāo)注的用于增強(qiáng) 層的線程。應(yīng)當(dāng)注意，增強(qiáng)層的幀可具有與基層的幀不同的線程結(jié)構(gòu)。
用于編碼時(shí)間層的視頻編碼器600'(圖7)可被擴(kuò)充以編碼空間和/或質(zhì)量增 強(qiáng)層。(參見(jiàn)例如PCT/US06/028365和PCT/US06/028366)。圖8示出用于空間 增強(qiáng)層的示例性編碼器600"。除基層信息也可用于編碼器600"之外，編碼器600" 的結(jié)構(gòu)和功能類似于基層編解碼器600'。此信息可包括運(yùn)動(dòng)矢量數(shù)據(jù)、宏塊模式 數(shù)據(jù)、經(jīng)編碼的預(yù)測(cè)差錯(cuò)數(shù)據(jù)或經(jīng)重構(gòu)的像素?cái)?shù)據(jù)。編碼器600"可重用此數(shù)據(jù)中 的部分或全部以針對(duì)增強(qiáng)層S.作出編碼決定。該數(shù)據(jù)必須被縮放成增強(qiáng)層的目標(biāo) 分辨率(例如，如果基層為QCIF且增強(qiáng)層為CIF，則縮放2的倍數(shù))。
盡管空間可縮放性通常需要維護(hù)兩個(gè)編碼環(huán)路，但是例如在H.264附錄G (SVC)草案標(biāo)準(zhǔn)中，通過(guò)將用于增強(qiáng)層編碼的基層數(shù)據(jù)僅限于可從當(dāng)前畫面的基 層中編碼的信息計(jì)算出的那些值來(lái)執(zhí)行單環(huán)路解碼是可能的。(參見(jiàn)例如通過(guò)引用 全部結(jié)合于此的2006年10月T. Wiegand、 G. Sulli備、J. Reichel、 H. Schwarz、 M. Wien等人在杭州的聯(lián)合視頻組文獻(xiàn)JVT-U201的"Joint Draft 8 of SVC Amendment (SVC修改的聯(lián)合草案8)")。例如，如果基層宏塊是幀間編碼 (inter-code)的，則增強(qiáng)層不能使用該宏塊的經(jīng)重構(gòu)像素作為預(yù)測(cè)的基礎(chǔ)。然而， 它可使用其運(yùn)動(dòng)矢量和預(yù)測(cè)差錯(cuò)值，因?yàn)樗鼈兛赏ㄟ^(guò)只解碼當(dāng)前基層畫面中包含的信息來(lái)獲得。由于解碼器的復(fù)雜度被顯著降低，因此單環(huán)路解碼是可取的。
質(zhì)量或SNR可縮放性增強(qiáng)層編解碼器可以與空間可縮放性編解碼器相同的方 式來(lái)構(gòu)造。對(duì)于質(zhì)量可縮放性，與在較高分辨率版本的輸入上構(gòu)建增強(qiáng)層不同，編 解碼器以相同空間分辨率編碼殘余預(yù)測(cè)差錯(cuò)。關(guān)于空間分辨率，在單或雙環(huán)路編碼 配置中，基層的所有宏塊數(shù)據(jù)可在增強(qiáng)層被重用。出于簡(jiǎn)便起見(jiàn)，本文的描述一般 針對(duì)使用空間可縮放性的技術(shù)。然而將理解，相同的技術(shù)可應(yīng)用于質(zhì)量可縮放性。
國(guó)際專利申請(qǐng)PCT/US06/028365描述了線程編碼結(jié)構(gòu)(例如，編碼結(jié)構(gòu)900) 在其針對(duì)存在傳輸差錯(cuò)的穩(wěn)健性方面所具有的不同優(yōu)點(diǎn)。在基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的傳 統(tǒng)技術(shù)水平的視頻編解碼器中，時(shí)間依存性是固有的。給定畫面處的任何分組丟失 不僅影響該特定畫面的質(zhì)量，而且或者直接或者間接地影響以給定畫面作為參考的 所有將來(lái)畫面。這是因?yàn)榻獯a器對(duì)將來(lái)的預(yù)測(cè)可構(gòu)建的參考幀將與編碼器處所用的 參考幀不同。隨后的差異或漂移會(huì)對(duì)傳統(tǒng)技術(shù)水平的視頻編解碼器造成極大的影 響。
相反，圖9中所示的線程結(jié)構(gòu)創(chuàng)建三個(gè)完備線程或依存鏈。關(guān)于L2畫面發(fā)生 的分組丟失將僅影響L2畫面；L0和L1畫面仍可被解碼和顯示。類似地，關(guān)于L1 畫面發(fā)生的分組丟失將僅影響L1和L2畫面；LO畫面仍可被解碼和顯示。此外， 線程結(jié)構(gòu)可被創(chuàng)建成包括S畫面的線程或依存鏈(例如，圖11)。圖11中所示的 示例性S分組線程結(jié)構(gòu)1100具有與圖9中所示的L畫面線程結(jié)構(gòu)900相類似的特 性。S2畫面處的分組丟失僅影響特定畫面，而Sl畫面處的丟失還將影響隨后的 S2畫面。在任一情形中， 一旦將下一SO畫面解碼，漂移就將終止。
再次參看圖9，在畫面質(zhì)量方面，LO畫面處發(fā)生的分組丟失可能是災(zāi)難性的， 因?yàn)閷?huì)影響所有畫面類型。如前所述，對(duì)此問(wèn)題的傳統(tǒng)解決方案是周期性地編碼 L0畫面作為內(nèi)畫面或I畫面。然而，實(shí)現(xiàn)這種解決方案的帶寬開(kāi)銷會(huì)是顯著的， 因?yàn)镮畫面通常比P畫面大3-6倍。此外，導(dǎo)致需要使用I畫面的分組丟失通常是 網(wǎng)絡(luò)擁塞的結(jié)果。試圖通過(guò)網(wǎng)絡(luò)發(fā)送I畫面來(lái)補(bǔ)救分組丟失只會(huì)惡化擁塞問(wèn)題。
如果基層L0和某些增強(qiáng)層畫面以保證其遞送的方式傳送，則在分組丟失的情 形中沒(méi)有嚴(yán)重后果的情況下其余層可基于盡力來(lái)傳送。這種有保證傳輸可使用諸如 區(qū)分型和FEC等已知技術(shù)來(lái)執(zhí)行。在本文的描述中，也可參照提供這種區(qū)分型服 務(wù)質(zhì)量的作為兩個(gè)實(shí)際或虛擬信道的高可靠性信道(HRC)和低可靠性信道(LRC) (圖1)。(參見(jiàn)例如PCT/US06/028365和PCT/US06/028366)。在使用可縮放視 頻編碼結(jié)構(gòu)(圖11中的結(jié)構(gòu)1100)的視頻通信系統(tǒng)中，層L0-L2和SO可例如在HRC上可靠地傳送，而Sl和S2可在LRC上傳送。盡管Sl或S2分組的丟失可導(dǎo) 致有限的漂移，但是仍期望能夠盡可能多地隱藏信息丟失。
在國(guó)際專利申請(qǐng)No. PCT/US06/061815中描述的差錯(cuò)彈性技術(shù)通過(guò)采用L0層 的子集或整個(gè)L0層的可靠傳輸來(lái)克服用于補(bǔ)償分組丟失的傳統(tǒng)技術(shù)的限制。差錯(cuò) 彈性或可靠性通過(guò)重傳來(lái)確保。這些差錯(cuò)彈性技術(shù)不僅出于顯示目的而被設(shè)計(jì)成恢 復(fù)丟失的畫面，還被設(shè)計(jì)成創(chuàng)建正確的參考畫面以便于解碼依賴于丟失分組中所包 含的那些畫面(整體或部分)的將來(lái)畫面。本發(fā)明通過(guò)在畫面是在多個(gè)傳輸層(例 如RTP)分組上傳送的情況下確保其恰當(dāng)操作來(lái)對(duì)這些技術(shù)進(jìn)行改進(jìn)。在本發(fā)明 的系統(tǒng)實(shí)現(xiàn)中，L0畫面的可靠傳輸可通過(guò)LRP模塊(例如，圖2中的模塊270A 和270B以及圖4中的模塊470A和470B)根據(jù)適當(dāng)?shù)谋Ｗo(hù)協(xié)議在發(fā)送方和接收方 之間使用肯定或否定確認(rèn)來(lái)執(zhí)行。
圖12示出示例性畫面編碼結(jié)構(gòu)1200 (其還在國(guó)際專利申請(qǐng)No. PCT/US06/061815中描述)，其中L0基層和Ll-L2時(shí)間增強(qiáng)層與至少一個(gè)可靠傳 送的基層畫面相耦合以進(jìn)行差錯(cuò)彈性視頻通信。在編碼結(jié)構(gòu)1200中，除標(biāo)記為 L0-L2畫面的常規(guī)基層和增強(qiáng)層之外，還有稱為L(zhǎng)R ('R'代表可靠)的新的畫面類 型。注意在圖12中所示的編碼結(jié)構(gòu)1200中，層LR和L0-L2可等效于分別被標(biāo) 記為L(zhǎng)0-L3，因?yàn)長(zhǎng)R畫面總是經(jīng)編碼的視頻信號(hào)的最低時(shí)間層。根據(jù)用于差錯(cuò)彈 性視頻通信的本發(fā)明，可以是P畫面的LR畫面被指定成將被可靠地遞送到接收方 目的地。
本發(fā)明的差錯(cuò)彈性技術(shù)的操作可通過(guò)考慮其中LO畫面之一因分組丟失而被破 壞或丟失的示例來(lái)理解。如前所述，在傳統(tǒng)通信系統(tǒng)中，丟失LO畫面對(duì)所有后續(xù) L0-L2畫面的影響是嚴(yán)重的。使用畫面編碼結(jié)構(gòu)1200，在丟失LO畫面之后的下一 "可靠遞送的"LR畫面提供了重新同步點(diǎn)，接收器/解碼器可在該點(diǎn)之后繼續(xù)無(wú)失 真地解碼和顯示。
在圖12中所示的編碼結(jié)構(gòu)1200中，LR畫面之間的時(shí)間距離例如為12幀。 LR畫面的可靠遞送利用了具有極長(zhǎng)時(shí)間距離(6幀或更多)的P畫面約為I畫面 的大小的一半，并且可靠遞送并非旨在確保相關(guān)畫面的及時(shí)顯示而是旨在創(chuàng)建合適 的參考畫面以備將來(lái)使用這個(gè)事實(shí)。因此，LR畫面的遞送可通過(guò)在連續(xù)LR畫面 之間的一段時(shí)間內(nèi)極輕微地增加系統(tǒng)中的帶寬來(lái)實(shí)現(xiàn)。
編碼結(jié)構(gòu)1200可使用現(xiàn)有的H.264標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)，在該標(biāo)準(zhǔn)下LR畫面可例如 被存儲(chǔ)在解碼器處作為長(zhǎng)期參考畫面并可用MMCO命令來(lái)替換。圖13示出示例性畫面編碼結(jié)構(gòu)1300，其中LR畫面的概念被應(yīng)用于增強(qiáng)層畫 面(或者空間或者質(zhì)量可縮放性)。這里，要被可靠傳送的畫面被標(biāo)記為SR，而 對(duì)于LR畫面，它們組成空間或質(zhì)量增強(qiáng)層的最低時(shí)間層。
注意盡管出于例示的目的LR畫面的概念在此通常被描述成應(yīng)用于經(jīng)編碼的 視頻信號(hào)的最低時(shí)間層，但此概念也可根據(jù)本發(fā)明原理被擴(kuò)展或應(yīng)用到附加層。此 擴(kuò)展應(yīng)用將導(dǎo)致以可靠方式傳送附加層。例如，參看圖12，除LR畫面之外，L0 畫面也可被納入可靠(重)傳送機(jī)制中。類似地，可包括(來(lái)自最低或附加時(shí)間層 的)任何空間/質(zhì)量增強(qiáng)層的畫面。此外，視頻序列報(bào)頭或其它數(shù)據(jù)可被當(dāng)作或考 慮成與系統(tǒng)中的LR等效，以使得它們(報(bào)頭或其它數(shù)據(jù))被可靠地傳送。在下文 中，出于描述簡(jiǎn)便的目的，假定只有LR畫面被可靠傳送，除非另外明確指明。然 而，應(yīng)當(dāng)容易理解，附加層或數(shù)據(jù)可以完全相同的方法來(lái)可靠傳送。
當(dāng)沒(méi)有分組丟失時(shí)，用于LR幀的可靠遞送的帶寬開(kāi)銷為零或可忽略是合乎需 要的。這意味著動(dòng)態(tài)閉環(huán)算法應(yīng)當(dāng)被用于可靠遞送機(jī)制。在例如LR幀被主動(dòng)重傳 多次的情況中，使用開(kāi)環(huán)算法也是可能的。
國(guó)際專利申請(qǐng)No. PCT/US06/061825描述用于通知發(fā)送方(例如，發(fā)送器、 SVCS1或SVCS2)特定LR畫面已被預(yù)期接收方接收到的若干機(jī)制，并且還描述 了用于動(dòng)態(tài)地建立LR畫面的技術(shù)。使用RTCP或其它反饋機(jī)制，可使用例如本文 中描述的肯定和否定確認(rèn)技術(shù)通知發(fā)送器特定接收器正經(jīng)歷丟失分組。該反饋可像 針對(duì)每個(gè)單獨(dú)分組的各個(gè)ACK/NACK消息一樣詳細(xì)。使用反饋使得編碼器能夠計(jì) 算(確切或大致地)解碼器的狀態(tài)，并相應(yīng)地進(jìn)行動(dòng)作。此反饋被生成并由可靠性 和隨機(jī)接入控制(RRC)模塊530 (圖6)來(lái)收集。
這些發(fā)送方通知機(jī)制的一個(gè)重要方面是接收方(接收端點(diǎn)或SVCS)藉此以最 小延遲來(lái)檢測(cè)LR畫面的丟失的技術(shù)。在前述專利申請(qǐng)中使用的技術(shù)依賴于LR畫 面編號(hào)和畫面編號(hào)引用。
LR畫面編號(hào)技術(shù)通過(guò)向LR畫面指派與這些LR畫面分組一起被運(yùn)送的序號(hào) 來(lái)操作。接收器維護(hù)其已接收到的LR畫面的編號(hào)的列表。另一方面，非LR畫面 包含最近LR畫面在解碼次序中的序號(hào)。此序號(hào)引用允許接收器甚至在接收后一 LR畫面之前檢測(cè)丟失的LR畫面。當(dāng)接收器接收到LR畫面時(shí)，其可通過(guò)將收到 LR畫面的畫面編號(hào)與其所維護(hù)的畫面編號(hào)列表作比較來(lái)檢測(cè)其是否已丟失(即， 未收到)先前LR畫面中的一個(gè)或多個(gè)。收到LR畫面的畫面編號(hào)應(yīng)當(dāng)比前一畫面 的編號(hào)大l，或者如果計(jì)數(shù)重新開(kāi)始則為0。當(dāng)接收器接收到非LR畫面時(shí)，它進(jìn)行測(cè)試以査看所引用的LR畫面的編號(hào)是否存在于其編號(hào)列表中。如果不存在，則
假定所引用的LR畫面為丟失，并且可發(fā)起糾正動(dòng)作(例如，NACK消息被傳回發(fā) 送器)。注意，使用LR畫面編號(hào)技術(shù)檢測(cè)丟失的LR畫面可在接收端點(diǎn)以及中間 SVCS兩者處執(zhí)行。例如在圖2和圖3中的LRP (接收)模塊270B或圖4中的模 塊470B處執(zhí)行此操作。
畫面編號(hào)技術(shù)的潛在限制可在使用一個(gè)以上分組傳輸單個(gè)LR畫面時(shí)表明其 自身。這樣的傳輸可例如在使用多個(gè)切片來(lái)進(jìn)行編碼的情況下發(fā)生，但也可在每當(dāng) 給定畫面的經(jīng)編碼比特超過(guò)最大傳輸層分組大小時(shí)發(fā)生。當(dāng)多個(gè)分組用于傳輸一個(gè) 畫面時(shí)，所有分組將具有相同的畫面索引值，因?yàn)樗鼈儗儆谕划嬅?。如果所有這 些分組都在傳送中丟失，則接收器可在下一次成功接收畫面數(shù)據(jù)時(shí)恰當(dāng)?shù)貦z測(cè)該丟 失。然而，如果在其中該圖片的僅一些分組丟失(而一些分組被收到)的部分?jǐn)?shù)據(jù) 接收的情形中，接收器將不能檢測(cè)丟失，除非其檢查數(shù)據(jù)以確定畫面中所包含的所 有宏塊是否都包括在收到數(shù)據(jù)中。要求接收器解析經(jīng)編碼視頻數(shù)據(jù)的此確定是高計(jì) 算性要求的任務(wù)。在H.264或H.264 SVC情形中，例如確定一組切片是否包括整 個(gè)分組的數(shù)據(jù)要求解析整個(gè)切片報(bào)頭。解析操作可在裝備有解碼器的接收器中執(zhí) 行。然而，在接收器為SVCS或任何其他類型的MANE時(shí)則并非如此。
為了解決部分?jǐn)?shù)據(jù)接收情形中的差錯(cuò)彈性，應(yīng)注意，接收器可使用與每一個(gè) 分組相關(guān)聯(lián)的序號(hào)(例如，在其中RTP被用作傳輸協(xié)議的優(yōu)選實(shí)施例中為RTP序 號(hào))來(lái)檢測(cè)分組丟失。LR畫面的連續(xù)分組將包含連續(xù)RTP序號(hào)。如果收到部分?jǐn)?shù) 據(jù)，則接收器根據(jù)收到RTP序號(hào)之間的間隙得知有一些數(shù)據(jù)丟失，但是其不能確 定丟失的數(shù)據(jù)對(duì)應(yīng)于LR畫面的部分還是來(lái)自后繼畫面的數(shù)據(jù)。結(jié)果，不能單獨(dú)從 RTP序號(hào)檢測(cè)出收到數(shù)據(jù)是否包含整個(gè)LR畫面。為了使接收器檢測(cè)到整個(gè)畫面的 接收，本發(fā)明引入兩個(gè)標(biāo)志開(kāi)始位標(biāo)志和結(jié)束位標(biāo)志，其分別指示包含LR畫面 的數(shù)據(jù)的第一分組和最后分組。
在收到LR畫面的分組時(shí)，接收器可檢驗(yàn)其RTP序號(hào)并檢查其是否已收到具 有連續(xù)更小序號(hào)的所有先前分組，直至抵達(dá)具有相同畫面索引值且其中'開(kāi)始'位 被置位的分組。類似地，其可繼續(xù)檢査收到了具有連續(xù)更大RTP序號(hào)的連續(xù)分組， 直至抵達(dá)具有相同畫面索引值且其中'最后'位被置位的分組。通過(guò)此修改，幀索 引可用于在未收到數(shù)據(jù)時(shí)以及在收到部分?jǐn)?shù)據(jù)時(shí)這兩種情形中檢測(cè)最低時(shí)間級(jí)畫 面的丟失。
這兩個(gè)標(biāo)志還可被引入比最低時(shí)間級(jí)更高的時(shí)間級(jí)，以實(shí)現(xiàn)對(duì)屬于更高時(shí)間級(jí)的畫面進(jìn)行完整性檢查。這種與RTP序號(hào)相耦合將使得接收器能快速地確定其 是否已收到特定畫面的全部所需數(shù)據(jù)而不管其時(shí)間級(jí)。
注意，RTP標(biāo)注位具有用在視頻傳輸中的通常定義，如"畫面的最后分組"。
使用RTP標(biāo)注位可代替'最后，標(biāo)志來(lái)考慮。然而，在SVC的上下文中，RTP標(biāo) 注位的這種使用不足以解決本發(fā)明要解決的問(wèn)題，因?yàn)橐划嬅婵赡馨ㄈ舾?畫面' (基層和增強(qiáng)層)。此外，這種改變可能在已納入RTP標(biāo)注位的通常解釋的現(xiàn)有 RTP系統(tǒng)中引起問(wèn)題。
本文描述了經(jīng)修改LR畫面編號(hào)技術(shù)的兩個(gè)不同實(shí)施例。 一個(gè)實(shí)施例(在下文 中稱為'R分組'技術(shù))適用于系統(tǒng)使用RTP協(xié)議進(jìn)行傳輸?shù)那闆r。另一實(shí)施例 適用于系統(tǒng)使用H.264 SVC草案標(biāo)準(zhǔn)的情況。
對(duì)于R分組技術(shù)，假定RTP協(xié)議(在UDP和IP上)被用于兩個(gè)終端之間—— 可能經(jīng)由一個(gè)或多個(gè)中間服務(wù)器——的通信。注意媒體傳送終端可執(zhí)行實(shí)時(shí)編碼， 或者可從本地或其它存儲(chǔ)(RAM、硬盤、存儲(chǔ)區(qū)網(wǎng)、文檔服務(wù)器等)訪問(wèn)媒體數(shù) 據(jù)。類似地，接收終端可執(zhí)行實(shí)時(shí)解碼，以及它可將收到數(shù)據(jù)存儲(chǔ)在本地或其它存
儲(chǔ)或這兩者中以備將來(lái)回放。對(duì)于在此的描述，假定(并非限制)正在進(jìn)行實(shí)時(shí)編 碼和解碼。
圖14示出傳送終端的LRP發(fā)送模塊(例如，圖2中的模塊270A)的架構(gòu)。 LRP發(fā)送模塊包括具有用于可能要求重傳的分組的本地存儲(chǔ)(例如，緩沖器1605) 的分組處理器(R分組控制器1610) 。 R分組控制器1610對(duì)R分組作標(biāo)注，并且 還對(duì)RNACK作出響應(yīng)。R分組控制器被連接到實(shí)現(xiàn)RTP/UDP/IP協(xié)議棧的復(fù)用器 MUX 1620和分用器DMUX 1630。盡管MUX 1620和DMUX 1630在圖14中被示 為單獨(dú)的實(shí)體，但它們可被組合在同一單元中。MUX 1620和DMUX 1630被連接 到提供物理層接口的一個(gè)或多個(gè)網(wǎng)絡(luò)接口控制器(NIC)。在優(yōu)選實(shí)施例中，NIC 是以太網(wǎng)適配器，但可使用任何其它NIC，這對(duì)于本領(lǐng)域技術(shù)人員是顯而易見(jiàn)的。
類似地，圖15示出接收終端的LRP接收模塊(例如，圖2中的模塊270B) 的示例性架構(gòu)。在此，R分組控制器(例如，控制器1610')負(fù)責(zé)分組丟失檢測(cè)和 適當(dāng)NACK消息的生成。此外，圖16示出服務(wù)器的LRP發(fā)送和接收模塊(例如， 圖4中的模塊420A和420B)——可與接收終端的組件以及背靠背(back-to-back) 連接的傳送終端的那些組件相同——的結(jié)構(gòu)。
在優(yōu)選實(shí)施例中，傳送終端根據(jù)RTP規(guī)范對(duì)媒體數(shù)據(jù)進(jìn)行分組。注意盡管 針對(duì)RTP定義了不同的分組(稱為"有效載荷")格式，但它們可共享同一公共報(bào)頭。本發(fā)明針對(duì)RTP分組引入名為報(bào)頭擴(kuò)展機(jī)制(參見(jiàn)2006年2月D. Singer
的draft-ietf-avt-rtp-hdrext-01 (進(jìn)行中)-"A general mechanism for RTP Header
Extensions (RTP報(bào)頭擴(kuò)展的通用機(jī)制)")以使得R分組可被適當(dāng)處理。
根據(jù)本發(fā)明，在包含R分組的RTP會(huì)話中，用名為報(bào)頭擴(kuò)展機(jī)制來(lái)對(duì)各個(gè)分 組作標(biāo)注。R分組報(bào)頭擴(kuò)展元素標(biāo)識(shí)R分組自身以及先前發(fā)送的R分組。此報(bào)頭 擴(kuò)展元素具有名稱"com.layeredmedia.avtr-packet/200606"。每個(gè)R分組包括—— 且每個(gè)非R分組應(yīng)當(dāng)包括——此類形式的報(bào)頭擴(kuò)展元素。
圖n示出發(fā)明性名為報(bào)頭擴(kuò)展的示例性數(shù)據(jù)字段格式，其中這些字段定義如下。
ID: 4比特
針對(duì)此報(bào)頭擴(kuò)展元素協(xié)商的本地標(biāo)識(shí)符，如例如D. Singer在2006年2
月的draft-ietf-avt-rtp-hdrext-01 (進(jìn)行中)-"A general mechanism for
RTP Header Extensions (RTP報(bào)頭擴(kuò)展的通用機(jī)制)"中所定義的。 長(zhǎng)度(len): 4比特
此報(bào)頭擴(kuò)展元素的數(shù)據(jù)字節(jié)的長(zhǎng)度減一，不計(jì)入報(bào)頭字節(jié)(ID和len)。 如果存在第二個(gè)字(取代范圍)，則這將具有值6，如果不存在，則為2。 因此，其值必須或者為2或者為6。 R: 1比特
指示包含此報(bào)頭擴(kuò)展元素的分組是系列SER中具有R序號(hào)RSEQ的R 分組的比特。如果此比特未被置位，則報(bào)頭擴(kuò)展元素替代地指示媒體流 在系列SER中的最近R分組具有R序號(hào)RSEQ。如果此比特未被置位， 則取代范圍應(yīng)當(dāng)不存在(即，ien字段應(yīng)當(dāng)為2)并且在存在的情況下必 須被忽略。
保留，必須為零(0) : 1比特
保留比特。這些必須在傳送時(shí)被設(shè)為零，并且在接收時(shí)被忽略。
開(kāi)始(S) : 1比特
如果這是包含來(lái)自給定畫面的數(shù)據(jù)的第一分組則必須置位。
結(jié)束(E) : 1比特
如果這是包含來(lái)自給定畫面的數(shù)據(jù)的最后分組則必須置位。
系列ID (SER) : 4比特
R分組系列的標(biāo)識(shí)符由此報(bào)頭擴(kuò)展元素來(lái)描述。如果媒體編碼器僅描述單個(gè)R分組系列，則此應(yīng)當(dāng)具有值0。例如，使用圖13中所描繪的可縮
放視頻畫面編碼結(jié)構(gòu)，L分組(空間增強(qiáng)基層，所有線程)可比方將SER 設(shè)為零，而S分組(空間增強(qiáng)層，所有線程)可將SER設(shè)為1。 R分組序號(hào)(RSEQ) : 16比特
指示此R分組在系列SER中的編號(hào)的無(wú)符號(hào)序號(hào)。針對(duì)給定序列中發(fā)送 的每一個(gè)R分組，此值遞增l (模2"6)。各個(gè)序列的RSEQ值是獨(dú)立 的。
取代范圍的起始(SUPERSEDE—START) : 16比特
最早R分組(包括被此R分組取代的)的R序號(hào)，通過(guò)模2A16計(jì)算出。 (由于此值使用模運(yùn)算，因此值RSEQ + 1可用于SUPERSEDE—START 以指示在取代范圍末端之前的所有R分組已被取代。)此字段是任選的， 并且僅在ler^6時(shí)存在。 取代范圍的末端(SUPERSEDE_END) : 16比特
最后R分組(包括被此R分組取代的)的R序號(hào)，通過(guò)模2A16計(jì)算出。 此值必須位于閉合范圍[SUPERSEDE—START .. RSEQ]模2A16中。此字 段是任選的，并且僅在len^6時(shí)存在。 根據(jù)本發(fā)明的差錯(cuò)彈性視頻通信系統(tǒng)的操作與國(guó)際專利申請(qǐng)No. PCT/US06/61815中所描述的操作相同或類似，除了 'S'和標(biāo)志的使用。這 些標(biāo)志在接收器處結(jié)合RTP序號(hào)一起使用以檢測(cè)LR畫面是完整地被收到(在這 種情形中無(wú)需校正動(dòng)作)還是部分地被收到(在這種情形中必須發(fā)起校正動(dòng)作)。 該系統(tǒng)的操作的所有其他方面——包括各種重傳技術(shù)(例如，肯定或否定確認(rèn))—— 保持不變。 . '
RTP分組可包含多個(gè)R分組標(biāo)注元素，只要這些元素的每一個(gè)都具有一不同 的SER值。然而，RTP分組不能包含一個(gè)以上的、R比特被置位的這種報(bào)頭擴(kuò)展 元素，即，R分組不可屬于一個(gè)以上的系列。
媒體流中使用R分組的所有RTP分組應(yīng)當(dāng)包括針對(duì)所有活躍系列的標(biāo)注元素。
當(dāng)此報(bào)頭擴(kuò)展元素的第二個(gè)字存在時(shí)，它指示此R分組取代某些先前接收到 的R分組，這意味著這些分組不再是重構(gòu)流狀態(tài)所必需的。第二個(gè)字必須僅在其R 比特被置位的報(bào)頭擴(kuò)展元素中出現(xiàn)。
R分組可僅取代系列中由元素的SER字段標(biāo)識(shí)的R分組。R分組不能取代其它系列中的分組。
對(duì)于取代元素而言，具有SUPERSEDE—END=RSEQ是有效的。這指示R分 組取代其自身，g卩，此R分組直接變成與流狀態(tài)無(wú)關(guān)。實(shí)際上，這樣做的最通常 原因是要結(jié)束一 系列；這可通過(guò)發(fā)送具有取代范圍(SUPERSEDE—START, SUPERSEDE—END) = (RSEQ+1, RSEQ)的空分組(例如，RTP No-op分組，參見(jiàn) F. Andreasen在2005年5月的draft-ietf-avt-rtp-no-op-00 (進(jìn)行中)的"A No-op Payload Format for RTP (RTP的No-op有效載荷格式)")，以使得該系列不再包 含任何未經(jīng)取代的分組。
在系列中發(fā)送的第一 R分組應(yīng)當(dāng)在取代范圍為(SUPERSEDE一START， SUPERSEDE—END) = (RSEQ+1， RSEQ-I)下發(fā)送，以明確該范圍內(nèi)沒(méi)有其它R分組 存在。
R分組可冗余地包括要被取代的分組范圍內(nèi)已被取代的分組。
R分組的丟失由接收器來(lái)檢測(cè)，并且由該接收器用RTCP反饋消息向發(fā)送器
進(jìn)行指示。R分組否定確認(rèn)(NACK)消息是由PT-RTPFB且FMT二4 (作為示例)
標(biāo)識(shí)的RTCP反饋消息(例如，參見(jiàn)J. Ott等人在2006年7月的RFC 4585的 "Extended RTP Profile for RTCP-based Feedback (RTP/AVPF)(基于RTCP反饋的
擴(kuò)展RTP概況(RTP/AVPF))")。根據(jù)本發(fā)明，也可選擇其它值。FCI字段必
須包含至少一個(gè)且可包含一個(gè)以上的RNACK。
RNACK分組用于指示一個(gè)或多個(gè)R分組的丟失。丟失分組經(jīng)由分組序號(hào)、
系列標(biāo)識(shí)符和位屏蔽來(lái)標(biāo)識(shí)。
RNACK消息的結(jié)構(gòu)和語(yǔ)義類似于AVPF通用NACK消息的那些。
圖18示出了 RNACK反饋控制信息(FCI)的示例性句法，其中各個(gè)字段定
義如下
R分組序號(hào)(RSEQ) : 16比特
RSEQ字段指示接收器尚未接收到的RSEQ值。
系列ID (SER) : 4比特
哪個(gè)R分組序列正被此報(bào)頭擴(kuò)展元素描述為丟失的標(biāo)識(shí)符。
后續(xù)丟失R分組的位屏蔽(BLR) : 12比特
BLR允許報(bào)告緊隨由RSEQ指示的RTP分組之后的12個(gè)R分組中的任 一個(gè)的丟失。指示BLP的最低有效位為比特1，且其最高有效位為比特 12，如果接收器尚未接收到系列SER(模2"6)中的R分組號(hào)(RSEQ+i)，則位屏蔽的比特i被設(shè)為比特1，并且指示此分組丟失；否則比特i被設(shè) 為0。注意發(fā)送器不能假定接收器已接收到R分組，因?yàn)槠湮黄帘伪?br>
設(shè)為0。例如，如果序列中對(duì)應(yīng)于RSEQ的分組和后續(xù)的R分組已丟失， 則BLR的最低有效位可被設(shè)為1。然而，發(fā)送器不能僅因?yàn)楸忍谺LR的 比特2到15為0就推斷已接收到分組RSEQ+2到RSEQ+16;所有發(fā)送 器都知道接收器此時(shí)尚未將它們當(dāng)作丟失來(lái)報(bào)告。 圖18中所示的RNACK消息的結(jié)構(gòu)與在國(guó)際專利申請(qǐng)No. PCT/US06/061815 中描述的相同。
允許接收器以最小延遲檢測(cè)已丟失的LR分組的第二示例性檢測(cè)技術(shù)可應(yīng)用 于基于H.264 SVC草案標(biāo)準(zhǔn)的系統(tǒng)。在此情形中，H.264 SVC NAL單元被用作進(jìn) 行傳輸?shù)幕A(chǔ)。國(guó)際專利申請(qǐng)No. PCT/US06/61815描述了 LR畫面索引技術(shù)如何 也可應(yīng)用于這種情形。與RTP實(shí)施例相同，本發(fā)明引入了兩個(gè)單比特標(biāo)志來(lái)解決 有多個(gè)分組被用于傳輸給定LR畫面的情形。
圖19示出被修改成包括開(kāi)始和結(jié)束標(biāo)志的發(fā)明性H.264 SVC NAL報(bào)頭擴(kuò)展 的結(jié)構(gòu)，其使用H.264 SVC草案(參見(jiàn)例如T. Wiegand、 G. Sullivan、 J. Reichel、 H. Schwarz、 M. Wien等人于2006年10月在杭州的聯(lián)合視頻組文獻(xiàn)JVT-U202中 的"Joint Scalable Video Model 8: Joint Draft 8 with proposed changes (聯(lián)合可縮放視
頻模型8:帶有所提議修改的聯(lián)合草案8)"，其通過(guò)引用全部結(jié)合于此)的句法
作為基礎(chǔ)。開(kāi)始和結(jié)束標(biāo)志是畫面—開(kāi)始一標(biāo)志和畫面—結(jié)束—標(biāo)志，而畫面索引是
tI0_pic—idx參數(shù)。dependency—id (依存性—ID) (D) 、 temporal—level (時(shí)間—層) (T)以及quality—level (質(zhì)量一層)(Q)字段分別指示空間/粗粒度質(zhì)量、時(shí)間 和細(xì)粒度質(zhì)量維度中的點(diǎn)。換言之，它們指示由可縮放編碼器提供的一組分辨率中 NAL的有效載荷的位置。注意，此方案中的基層通過(guò)0=(^=丁=0來(lái)標(biāo)識(shí)。
雖然已描述了被視為是本發(fā)明的優(yōu)選實(shí)施例的那些實(shí)施例，但是本領(lǐng)域技術(shù) 人員應(yīng)當(dāng)認(rèn)識(shí)到，可作出其它或進(jìn)一步的改變和更改而不背離本發(fā)明的精神，并且 其旨在要求保護(hù)落在本發(fā)明的真實(shí)范圍內(nèi)的所有這些改變和更改。例如，根據(jù)本發(fā) 明可在RTP傳輸上下文和H.264 SVC NAL傳輸上下文兩者中使用用于指示LR畫 面幀索引值并在非LR畫面中引用它的替換性機(jī)制。類似地，在RTP和H.264 SVC 兩者中皆可使用用于指示開(kāi)始和結(jié)束標(biāo)志的替換性機(jī)制。例如，tl0_pic—idx參數(shù)和 相關(guān)聯(lián)的畫面—開(kāi)始_標(biāo)志和畫面—結(jié)束—標(biāo)志參數(shù)可攜帶在SEI消息中。
應(yīng)當(dāng)理解，本發(fā)明的系統(tǒng)和方法可用任何硬件和軟件的組合來(lái)實(shí)現(xiàn)。用于實(shí)現(xiàn)和操作前述系統(tǒng)和方法的軟件(即，指令)可被設(shè)置在計(jì)算機(jī)可讀介質(zhì)上，這些 計(jì)算機(jī)可讀介質(zhì)可包括但不限于固件、存儲(chǔ)器、存儲(chǔ)設(shè)備、微控制器、微處理器、
集成電路、ASICS、可在線下載的媒體以及其它可用的介質(zhì)。
權(quán)利要求
1.一種用于在基于分組的通信網(wǎng)絡(luò)上在傳送端點(diǎn)或服務(wù)器與一個(gè)或多個(gè)接收端點(diǎn)或服務(wù)器之間進(jìn)行媒體通信的系統(tǒng)，所述系統(tǒng)包括編碼器，其將所傳送的媒體編碼為具有包括最低時(shí)間層的多個(gè)不同層的線程化編碼結(jié)構(gòu)中的畫面，其中每一畫面與畫面索引號(hào)相關(guān)聯(lián)，其中與單個(gè)畫面相對(duì)應(yīng)的數(shù)據(jù)被劃分成一個(gè)或多個(gè)個(gè)體數(shù)據(jù)分組并在其中傳送，其中個(gè)體數(shù)據(jù)分組包括指示以下的數(shù)據(jù)元素對(duì)于最低時(shí)間級(jí)畫面，標(biāo)識(shí)所述畫面的序號(hào)，對(duì)于其它時(shí)間級(jí)畫面，對(duì)按照解碼次序最近的最低時(shí)間級(jí)畫面的序號(hào)的引用，以及對(duì)于所有畫面，‘開(kāi)始’標(biāo)志和‘結(jié)束’標(biāo)志，其分別指示所述個(gè)體數(shù)據(jù)分組是否包含所述畫面的第一或最后數(shù)據(jù)部分，從而接收端點(diǎn)或服務(wù)器在收到所述個(gè)體數(shù)據(jù)分組之際能通過(guò)檢查在所述接收端點(diǎn)或服務(wù)器處是否已收到與所述被引用的畫面索引相對(duì)應(yīng)的所述畫面的所有數(shù)據(jù)部分來(lái)檢測(cè)最低時(shí)間級(jí)畫面的部分的丟失，以使得其分組序號(hào)不包含間隙，并且其中此所述第一數(shù)據(jù)部分的‘開(kāi)始’位被置位，而此所述最后數(shù)據(jù)部分的‘結(jié)束’位被置位。
2. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)元素另外指示與各個(gè)空 間或質(zhì)量層相關(guān)聯(lián)的系列號(hào)，其中所述接收端點(diǎn)或服務(wù)器通過(guò)確定在所述接收端點(diǎn) 或服務(wù)器處是否已收到與所引用的系列號(hào)和序號(hào)相對(duì)應(yīng)的所述畫面來(lái)檢測(cè)特定空 間或質(zhì)量層的最低時(shí)間級(jí)畫面是否丟失。
3. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，包括遵循H.264的編解碼器，其 中所述最低時(shí)間級(jí)畫面包括被標(biāo)記為長(zhǎng)期引用畫面的畫面，并且其中所述解碼器基 于最低時(shí)間級(jí)畫面來(lái)解碼所述收到媒體的至少一部分是由MMCO命令控制的。
4. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，所述通信網(wǎng)絡(luò)使用網(wǎng)際協(xié)議，媒 體傳輸是使用實(shí)時(shí)協(xié)議(RTP)來(lái)執(zhí)行的，并且所述數(shù)據(jù)元素包括指示所述分組中 是否存在最低時(shí)間層幀或其片段的數(shù)據(jù)。
5. 如權(quán)利要求4所述的系統(tǒng)，其特征在于，接收端點(diǎn)或服務(wù)器響應(yīng)于所述接 收端點(diǎn)或服務(wù)器檢測(cè)到丟失了最低時(shí)間級(jí)畫面或此類畫面的一部分而向所述傳送端點(diǎn)或服務(wù)器發(fā)送否定確認(rèn)消息。
6. 如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述傳送端點(diǎn)或服務(wù)器在收到所 述否定確認(rèn)消息之際重傳所述丟失畫面或此類畫面的丟失部分。
7. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，所述編碼器遵循H.264 SVC，并 且在用于SVC元素的NAL單元報(bào)頭擴(kuò)展中攜帶所述數(shù)據(jù)元素。
8. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，所述編碼器遵循H.264 SVC，并 且在SEI消息中攜帶所述數(shù)據(jù)元素。
9. 一種用于在基于分組的通信網(wǎng)絡(luò)上在傳送端點(diǎn)或服務(wù)器與一個(gè)或多個(gè)接收 端點(diǎn)或服務(wù)器之間進(jìn)行媒體通信的方法，其中編碼器將所傳送的媒體編碼為具有包 括最低時(shí)間層的多個(gè)不同層的線程化編碼結(jié)構(gòu)中的畫面，并且其中與單個(gè)畫面相對(duì) 應(yīng)的數(shù)據(jù)被劃分成一個(gè)或多個(gè)個(gè)體數(shù)據(jù)分組并在其中傳送，所述方法包括在每一個(gè)個(gè)體數(shù)據(jù)分組中放置指示以下的數(shù)據(jù)元素對(duì)于最低時(shí)間級(jí)畫面，標(biāo)識(shí)所述畫面的序號(hào)或索引號(hào)， 對(duì)于其它時(shí)間級(jí)畫面，對(duì)按照解碼次序最近的最低時(shí)間級(jí)畫面的序號(hào)的引用，以及對(duì)于所有畫面，'開(kāi)始'標(biāo)志和'結(jié)束'標(biāo)志，其分別指示所述個(gè)體數(shù) 據(jù)分組是否包含所述畫面的第一或最后數(shù)據(jù)部分，從而接收端點(diǎn)或服務(wù)器在收到所 述個(gè)體數(shù)據(jù)分組之際能通過(guò)檢查在所述接收端點(diǎn)或服務(wù)器處是否已收到與所述被 引用的畫面索引相對(duì)應(yīng)的所述畫面的所有數(shù)據(jù)部分來(lái)檢測(cè)最低時(shí)間級(jí)畫面的部分 的丟失，以使得其分組序號(hào)不包含間隙，并且其中此所述第一數(shù)據(jù)部分的'開(kāi)始' 位被置位，而此所述最后數(shù)據(jù)部分的'結(jié)束'位被置位。
10. 如權(quán)利要求9所述的方法，其特征在于，所述數(shù)據(jù)元素另外指示與各個(gè)空 間或質(zhì)量層相關(guān)聯(lián)的系列號(hào)，從而所述接收端點(diǎn)或服務(wù)器通過(guò)確定在所述接收端點(diǎn) 或服務(wù)器處是否已收到與所引用的系列號(hào)和序號(hào)相對(duì)應(yīng)的所述畫面來(lái)檢測(cè)特定空 間或質(zhì)量層的最低時(shí)間級(jí)畫面是否丟失。
11. 如權(quán)利要求9所述的方法，其特征在于，所述傳送的媒體是使用遵循H.264 的編解碼器來(lái)編碼的，其中所述最低時(shí)間級(jí)畫面包括被標(biāo)記為長(zhǎng)期引用畫面的畫 面，并且其中所述解碼器基于最低時(shí)間級(jí)畫面來(lái)解碼所述收到媒體的至少一部分是 由MMCO命令控制的。
12. 如權(quán)利要求9所述的方法，其特征在于，所述通信網(wǎng)絡(luò)使用網(wǎng)際協(xié)議，媒 體傳輸是使用實(shí)時(shí)協(xié)議(RTP)來(lái)執(zhí)行的，并且所述數(shù)據(jù)元素包括指示所述分組中是否存在最低時(shí)間層畫面或其片段的數(shù)據(jù)。
13. 如權(quán)利要求12所述的方法，其特征在于，接收端點(diǎn)或服務(wù)器響應(yīng)于所述 接收端點(diǎn)或服務(wù)器檢測(cè)到丟失了最低時(shí)間級(jí)畫面或此類畫面的一部分而向傳送端 點(diǎn)或服務(wù)器發(fā)送否定確認(rèn)消息。
14. 如權(quán)利要求13所述的方法，其特征在于，所述傳送端點(diǎn)或服務(wù)器在收到 所述否定確認(rèn)消息之際重傳所述丟失畫面或此類畫面的丟失部分。
15. 如權(quán)利要求14所述的方法，其特征在于，所述編碼器遵循H.264 SVC， 并且在用于SVC元素的NAL單元報(bào)頭擴(kuò)展中攜帶所述數(shù)據(jù)元素。
16. 如權(quán)利要求9所述的方法，其特征在于，所述編碼器遵循H.264 SVC，并 且在SEI消息中攜帶所述數(shù)據(jù)元素。
17. —種包括用于執(zhí)行方法權(quán)利要求9-16的至少一項(xiàng)中所述的步驟的指令集 的計(jì)算機(jī)可讀介質(zhì)。
全文摘要
提供了用于視頻通信系統(tǒng)中的差錯(cuò)彈性傳輸和隨機(jī)接入的系統(tǒng)和方法。視頻通信系統(tǒng)基于可用在視頻通信系統(tǒng)中的單層可縮放視頻、或具有時(shí)間縮放性的聯(lián)播視頻編碼。視頻信號(hào)傳輸中的一組視頻幀或畫面被指定為使用安全或高可靠性鏈路或通過(guò)重傳技術(shù)可靠或有保證地遞送到接收器?？煽窟f送的視頻幀被用作用于在差錯(cuò)發(fā)生之后或針對(duì)隨機(jī)接入使接收器與所傳送視頻信號(hào)重新同步的參考畫面。
文檔編號(hào)H03M13/00GK101611551SQ200880004546
公開(kāi)日2009年12月23日 申請(qǐng)日期2008年1月9日 優(yōu)先權(quán)日2007年1月9日
發(fā)明者A·埃爾法澤阿迪斯, J·倫諾克斯, S·希伯利 申請(qǐng)人:維德約股份有限公司