專利名稱：用于可縮放視頻碼流的增強層的容錯方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻傳輸系統(tǒng)和視頻編碼/解碼技術(shù)。本發(fā)明適用于視頻壓縮系統(tǒng)，諸如MPEG-4系統(tǒng)，其中使用可縮放壓縮技術(shù)來壓縮視頻以在易出現(xiàn)差錯的網(wǎng)絡(luò)(諸如無線和盡可能好的網(wǎng)絡(luò))上傳輸。
背景技術(shù)：
在視頻技術(shù)領(lǐng)域，已知視頻是作為一系列靜止圖像/圖片傳送的。因為視頻信號的質(zhì)量在視頻信號的編碼或壓縮過程中受到影響，已知基于視頻信號和編碼的視頻碼流之間的差異而包括附加的信息或“層”。包括附加層使得接收信號的質(zhì)量在經(jīng)過解碼和/或解壓縮之后得到提高。因此，使用劃分為一個或多個層的基本圖片和增強圖片的層次來產(chǎn)生分層的視頻碼流。
可縮放的視頻碼流指的是同時發(fā)射和接收多種解析度和/或質(zhì)量的視頻信號?？煽s放視頻碼流可以以不同速率解碼，其取決于解碼器的可用帶寬。這使得可以訪問更高帶寬信道的用戶能夠解碼高質(zhì)量視頻，而較低帶寬的用戶仍舊能夠觀看相同的視頻，雖然是以較低質(zhì)量?？煽s放視頻傳輸主要應(yīng)用于可訪問不同帶寬的多解碼器系統(tǒng)從單一的編碼器接收圖像的情況。
可縮放視頻傳輸也可以用于比特率適應(yīng)性，其中，可用的比特率隨時間波動。其他應(yīng)用包括具有不同網(wǎng)絡(luò)和/或視頻特性的到多個端系統(tǒng)的視頻廣播。更重要的，可縮放視頻也可用于根據(jù)費率和偏好向具體服務(wù)的訂戶提供不同的視頻質(zhì)量。因此，在這些應(yīng)用中，防止增強層出現(xiàn)傳輸差錯是勢在必行的。否則，訂戶可能對網(wǎng)絡(luò)操作員提供可接受服務(wù)的能力失去信心。
在分層(可縮放)視頻碼流中，對視頻信號的增強可通過下述方法添加到基本層上(i)增加圖片的解析度(空間伸縮性)；(ii)包括差錯信息以改善圖片的信噪比(SNR伸縮性)；(iii)包括額外的圖片來增加幀率(時間伸縮性)；或(iv)提供連續(xù)的增強，其可在任意選擇的比特率修剪(精細(xì)(FineGranular)伸縮性)。
這樣的增強可用于整個圖片或圖片內(nèi)任意形狀的對象，其被稱為基于對象的伸縮性。
為了保持時間增強層的可隨意處理的特點，H.263+ITU H.263[ITU-T Recommendation，H.263，“Video Coding for Low Bit RateCommunication”]標(biāo)準(zhǔn)規(guī)定了包括在時間伸縮性模式中的圖片應(yīng)該是雙向預(yù)測(B)圖片。圖1的視頻流中示出了這些。
圖1示出了可縮放視頻結(jié)構(gòu)100的示意圖，該結(jié)構(gòu)圖示說明B圖片預(yù)測相關(guān)性，如視頻編碼技術(shù)領(lǐng)域所公知。初始內(nèi)編碼(intra-coded)幀(I1)110之后是雙向預(yù)測幀(B2)120。接著，是單向預(yù)測幀(P3)130，然后是第二雙向預(yù)測幀(B4)140。接著，又是單向預(yù)測幀(P5)150，等等。
如圖1結(jié)構(gòu)的增強，使用分層的視頻碼流。圖2是分層視頻結(jié)構(gòu)的示意圖，如視頻編碼技術(shù)領(lǐng)域所公知。分層視頻碼流包括基本層205和一個或多個增強層235。
基本層(層-1)包括從原始視頻信號圖片中采樣、編碼和/或壓縮的一個或多個內(nèi)編碼圖片(I圖片)210。此外，基本層將包括從內(nèi)編碼圖片210預(yù)測的多個隨后預(yù)測的間編碼(inter-coded)圖片(P圖片)220、230。
在增強層(層-2或?qū)?3或更高層)235中，可使用三種類型的圖片(i)雙向預(yù)測(B)圖片(未示出)；(ii)從基本層205的內(nèi)編碼圖片210中預(yù)測的增強內(nèi)編碼(EI)圖片240；和(iii)從基本層205的間編碼預(yù)測圖片220中預(yù)測的增強預(yù)測(EP)圖片250、260。
來自較低的基本層的垂直箭頭示出了從參考(較低)層中的圖片的重構(gòu)近似來預(yù)測增強層中的圖片。
如果只從較低層形成預(yù)測的話，則增強層圖片被稱為EI圖片。但是，有可能使用前面的增強層圖片和暫時同步的較低層參考圖片來創(chuàng)建修改的雙向預(yù)測圖片。這類圖片被稱為EP圖片或“增強”P圖片。
圖2中示出了EI和EP圖片的預(yù)測流程。雖然在圖2中沒有具體示出，增強層中的EI圖片可以將P圖片作為其較低層的參考圖片，EP圖片可以將I圖片作為其較低層的增強圖片。
對于EI和EP圖片，來自參考層的預(yù)測沒有使用運動矢量。但是，如同正常的P圖片，EP圖片在從相同層中其暫時的、前面的參考圖片中預(yù)測時使用運動矢量。
包含上述縮放技術(shù)的現(xiàn)有標(biāo)準(zhǔn)包括MPEG-4和H.263。但是，MPEG-4擴展時間伸縮性，使得增強層的圖片或視頻對象平面可以彼此之間互相預(yù)測。這些標(biāo)準(zhǔn)創(chuàng)建了高度壓縮的碼流，其表現(xiàn)了編碼的視頻。但是，由于這種高度壓縮，碼流非常容易由于在其傳送時的網(wǎng)絡(luò)差錯而惡化。例如，在通過易于出錯的網(wǎng)絡(luò)流傳送視頻的例子中，甚至使用現(xiàn)有網(wǎng)絡(luò)水平的差錯保護(hù)工具，也不可避免地會有某些比特級的惡化出現(xiàn)在碼流中并傳遞到解碼器。
為了考慮這些比特級差錯，通過包含不同的工具來設(shè)計編碼標(biāo)準(zhǔn)，允許解碼器對付差錯。這些工具使解碼器能夠在碼流中局限并隱藏這些差錯。
MPEG-4標(biāo)準(zhǔn)為視頻碼流的容錯能力定義了三種工具。它們是再同步標(biāo)記、數(shù)據(jù)分割(DP)和可逆變長編碼(RVLC)。這些工具限定用于基本層。但是，現(xiàn)有MPEG-4標(biāo)準(zhǔn)正在考慮在可縮放的增強層內(nèi)使用再同步標(biāo)記。
尤其是這種視頻碼流的視頻包容錯工具，其包含周期性再同步標(biāo)記，對于視頻對象平面(VOP)內(nèi)出現(xiàn)的差錯(諸如運動參數(shù)或離散余弦變換(DCT)系數(shù)的差錯)的恢復(fù)很有用。視頻包頭(Video PacketHeader)包括可選的頭擴展碼(HEC，Header Extension Code)，其復(fù)制了某些VOP頭信息，包括但不限于時間戳和VOP編碼類型。與再同步標(biāo)記相對照，HEC在VOP頭而非VOP體內(nèi)出現(xiàn)差錯的恢復(fù)中是非常有用的工具。
值得注意的地方是，屬于增強層的VOP頭包含附加的2比特字段，稱為“ref_select_code”。這2比特字段指出了參考VOP，解碼器將使用其重構(gòu)當(dāng)前的VOP。這2比特字段不在基本層中?；緦拥腣OP限于內(nèi)或預(yù)測類型VOP。因此，每個預(yù)測的VOP可以從其前一個VOP中重構(gòu)，而無需如增強層中所用的“ref_select_code”或類似字段。
MPEG-4視頻標(biāo)準(zhǔn)描述視頻包頭如下(引自ISO/IEC JTC 1/SC29/WG 11 N2802，“Information technology-Generic coding of audio-visual objects-Part 2Visual”，ISO/IEC 14496-2 FPDAM 1，Vancouver，July 1999的附錄E，第109頁)
“ESO/IEC 14496所采用的視頻包技術(shù)基于在整個碼流中提供周期性再同步標(biāo)記。換言之，視頻包的長度不基于宏塊(macroblock)的數(shù)目，而基于該包中所包含的比特的數(shù)目。如果當(dāng)前視頻包中包含的比特的數(shù)目超出了預(yù)設(shè)門限的話，就在下一宏塊開始處創(chuàng)建新的視頻包。”現(xiàn)在參看圖3，根據(jù)上述MPEG-4標(biāo)準(zhǔn)，圖示說明了典型的視頻包300。使用再同步標(biāo)記310來區(qū)分新視頻包300的開始。該再同步標(biāo)記310與所有可能的變長編碼(VLC)碼字，以及視頻對象平面(VOP)開始碼相區(qū)別。
頭信息350也在視頻包300的開始處提供。頭350包含重新開始解碼過程所需的信息。頭350包括(i)視頻包300中所包含的第一數(shù)據(jù)宏塊360的宏塊地址(號)320，(ii)解碼第一宏塊數(shù)據(jù)360所需的量化參數(shù)(quant_scale)330，和(iii)頭擴展340，包括頭擴展碼(HEC)。
宏塊號320提供必要的空間再同步，量化參數(shù)330允許再同步有差別的解碼過程。量化參數(shù)330之后的頭擴展碼(HEC)是單獨的信息比特，用于指出附加信息是否在頭350中可用。
如果HEC等于“1”，則下面的附加信息在包頭擴展340中可用Modulo time base，vop_time_increnent，vop_coding_type，intra_dc_vlc_thr，vop_fcode_forward，vop_fcode_backward。
HEC在其值為“1”時，使每個視頻包(VP)300能夠獨立地被解碼。如果HEC等于“1”，在HEC字段就包括解碼VP 300的必要信息。
在視頻圖片(術(shù)語稱為視頻對象平面(VOP))中，發(fā)送一系列再同步標(biāo)記，然后是連續(xù)的VP頭和隨后的數(shù)據(jù)宏塊(并由此接收)。這種視頻圖片的初始頭是VOP頭(未示出)。VOP頭包括諸如這樣的信息視頻序列的開始碼、時間戳、識別編碼類型的信息、識別量化類型的信息，等等。因此，正確解碼VOP頭的解碼器隨后可以正確解碼連續(xù)VP 300的剩余傳輸。如果VOP頭信息由于傳輸差錯而惡化，可通過頭擴展的信息來校正差錯，頭擴展的信息復(fù)制了部分而非全部的VOP頭信息，諸如時間戳和VOP編碼類型。
如上指出的，增強層內(nèi)的VOP頭包含一個附加的2比特字段，稱為“ref_select_code”字段。HEC設(shè)計用于基本層，因此如果HEC包含在增強層中的話，則不會復(fù)制ref_select_code。
本發(fā)明的發(fā)明人認(rèn)識到，如果增強層VOP頭中的“ref_select_code”字段不會直接或者由于頭惡化而出現(xiàn)網(wǎng)絡(luò)差錯的話，則解碼器將不能識別下面VOP的正確重構(gòu)源。這點上的差錯將不僅引起下面VOP的質(zhì)量下降，而且將由于幀間預(yù)測的固有特性而滲透到連續(xù)的VOP上。
根據(jù)在增強層VOP中使用的縮放模式，2比特“ref_select_code”字段可具有下面的不同的四個值之一“00”、“01”、“10”或“11”。為了重構(gòu)非內(nèi)編碼的VOP，解碼器根據(jù)“ref_select_code”字段的值運動補償(通過以相關(guān)運動矢量的值移動下面的8×8或16×16像素塊)前面解碼的VOP。如果“ref_select_code”字段惡化或丟失，解碼器將不能識別參考VOP。重要的是，因此將不能正確解碼下面的VOP。本發(fā)明的發(fā)明人認(rèn)識到，“ref_select_code”字段的惡化可能導(dǎo)致不同的差錯情況，如圖4所示。
對于發(fā)生在增強層傳輸410中的VOP頭的“ref_select_code”字段中的差錯，具有三種情況405、450、460，如圖4所示。對于這三種情況中的每一種來說，增強層410示出了三個增強的預(yù)測值415、420、425，基本層430示出了三個預(yù)測值435、440、445。
在字段405示出了無差錯例子的比較，其中指出了Be+1的“ref_select_code”＝“01”。在字段450，示出了Be+1字段中的頭差錯。結(jié)果，解碼器將不正確地假定Be+1的“ref_select_code”＝“11”。在字段460，再次示出了Bn+1字段中的頭差錯。結(jié)果，在此情況下解碼器將不正確地假定Be+1的“ref_select_code”＝“10”。
值得注意的地方是，編碼器根據(jù)VOP選擇“ref_select_code”，其意味著根據(jù)下面的實現(xiàn)，該字段可以從一個VOP改變到另一個VOP。而且，由于后面的Be+2值425使用惡化的VOP作為預(yù)測源，差錯將開始在時域中傳播，從而引起顯著的視覺失真。
現(xiàn)在參看圖5，根據(jù)圖4的差錯情況450和460，圖示說明了“ref_select_code”的惡化所引起的客觀影響。在圖5中，以每層20kbit/s的時間伸縮性編碼測試序列Foreman。使用通用分組無線系統(tǒng)(GPRS)物理鏈路層模擬器產(chǎn)生增強層中的差錯。生成的消幀率(FER，F(xiàn)rameErasure Rate)為5.6％，殘留誤碼率(RBER)為0.1％。在圖5中，將VOP號176的ref_select_code示為惡化的。圖5示出了修改的頭擴展的影響以及與使用原始頭擴展用于差錯情況(b)450和差錯情況(c)460相關(guān)聯(lián)的質(zhì)量下降。
在差錯情況(b)450中，假定“ref_select_code”值為“11”，因此解碼器選擇圖4的VOP Pb而不是Be作為重構(gòu)的前向源。類似地，在情況(c)460中，解碼器選擇圖4的VOP Pb+1而不是Pb作為預(yù)測的后向源。在兩種情況中，都沒有正確重構(gòu)下面的VOP。因為后面的VOP使用下面的VOP作為預(yù)測的源，差錯開始在時域中傳播。
計劃和使用增強層之后的論證基于如下事實，增強層被認(rèn)為是其自身的容錯工具。增強層信息包含視覺信息，其增強了更重要的基本層的解碼質(zhì)量。因此，當(dāng)沒有重視增強層信息時，不用預(yù)期任何的復(fù)原能力。
因此，當(dāng)前視頻通信系統(tǒng)中視頻比特序列中更高級保護(hù)的焦點在于基本層。這意味著，當(dāng)在增強層碼流中出現(xiàn)差錯時，希望保持增強層的解碼器必須比使用容錯工具時隱藏更多的可能是出錯的數(shù)據(jù)。
因此，本發(fā)明的發(fā)明人認(rèn)識到并驗證MPEG-4標(biāo)準(zhǔn)的多個當(dāng)前的限制。本發(fā)明的發(fā)明人認(rèn)為，如果在增強層中使用有限的容錯工具，例如只使用MPEG-4碼流語法和簡單可縮放設(shè)定檔內(nèi)的再同步標(biāo)記的話，MPEG-4和其他類似的可縮放視頻技術(shù)和標(biāo)準(zhǔn)是不完善的。特別地，本發(fā)明的發(fā)明人正在建議針對基本層視頻比特序列中更高級保護(hù)的當(dāng)前焦點作范例變化，以改進(jìn)增強層傳輸。
總而言之，存在對視頻通信領(lǐng)域的需求，尤其是對可縮放視頻通信的需求，需要一種裝置和方法用于改善在易于出錯的網(wǎng)絡(luò)上傳送的可縮放視頻增強層的質(zhì)量，其中可以克服現(xiàn)有技術(shù)配置中的上述缺點。
公布的專利申請US-A-2002/0021761描述了一種可縮放分層視頻編碼方案。將再同步標(biāo)記在頭中插入到增強層碼流中。
現(xiàn)有技術(shù)文檔“Error resilience methods for FGS Coding Scheme(精細(xì)的可伸縮性視頻編碼中容錯技術(shù)的研究)”，Yan Rong，Tao Ran，WangYue，Wu Feng，Li Shi-Peng，Acta Electron.Sin.(China)(電子學(xué)報)，January 2002，Vol.30，No.1，第102-104頁描述了精細(xì)可伸縮性(FGS)編碼方案。在增強層碼流的新結(jié)構(gòu)中提議使用再同步標(biāo)記和頭擴展碼。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于改進(jìn)易于出錯的網(wǎng)絡(luò)上可縮放視頻對象平面增強層傳輸?shù)馁|(zhì)量的方法，如權(quán)利要求1；一種視頻通信系統(tǒng)，如權(quán)利要求5；一種視頻通信單元，如權(quán)利要求6；一種視頻編碼器，如權(quán)利要求7；一種視頻解碼器，如權(quán)利要求8；和一種移動無線設(shè)備，如權(quán)利要求9。在從屬權(quán)利要求中限定了本發(fā)明的進(jìn)一步的方面。
總而言之，描述了一種用于通過使用再同步標(biāo)記改善在易于出錯的網(wǎng)絡(luò)上傳送的可縮放視頻增強層的質(zhì)量的裝置和方法。
特別地，本發(fā)明提供了一種裝置和方法，使用視頻包頭的頭擴展的改進(jìn)，用于增強層。頭擴展的改進(jìn)包括復(fù)制參考VOP標(biāo)識符，諸如MPEG-4系統(tǒng)中的ref_select_code。這樣，解碼器能夠識別應(yīng)該用于當(dāng)前VOP重構(gòu)的參考VOP。


圖1是示出圖片預(yù)測相關(guān)性的視頻編碼配置示意圖，如視頻編碼圖2是已知分層視頻編碼配置的示意圖。
圖3圖示說明了根據(jù)上述MPEG-4標(biāo)準(zhǔn)的典型視頻包。
圖4圖示說明了根據(jù)MPEG-4標(biāo)準(zhǔn)、來自視頻對象平面(VOP)頭的“ref_select_code”字段惡化的不同差錯情況。
圖5是圖示說明圖4的不同差錯情況的模擬測量的圖表。
現(xiàn)在將參考附圖，描述本發(fā)明的示例實施例，其中圖6是根據(jù)本發(fā)明優(yōu)選實施例、適用于修改視頻序列的增強層的可縮放視頻通信系統(tǒng)的示意表示。
圖7圖示說明了VOP頭和VOP體，適于包含本發(fā)明的優(yōu)選實施例。
圖8是圖示說明根據(jù)本發(fā)明優(yōu)選實施例在增強層VOP頭的“ref_select_code”字段中尋址差錯的優(yōu)選方法的流程圖。
圖9圖示說明了根據(jù)本發(fā)明優(yōu)選實施例、對MPEG-4視頻標(biāo)準(zhǔn)的6.2.5.2節(jié)“Video Plane with short header，Video_Packet_Header()”的建議的語法修改。
具體實施例方式
在此描述的發(fā)明概念可用于不同的可縮放編碼視頻技術(shù)，諸如SNR、時間伸縮性、空間伸縮性和精細(xì)伸縮性(FGS)。在此描述的發(fā)明概念在當(dāng)前MPEG技術(shù)舞臺以及可縮放視頻壓縮的未來版本中有著特別的應(yīng)用。
本發(fā)明的優(yōu)選實施例圖示說明了一種裝置和方法，通過其對視頻包頭的頭擴展的改進(jìn)用于增強層。對頭擴展的改進(jìn)包括復(fù)制頭信息，諸如來自增強層視頻對象平面(VOP)頭的“ref_select_code”字段。這樣，解碼器能夠識別應(yīng)該用于當(dāng)前VOP的重構(gòu)的參考VOP。
盡管參考諸如MPEG-4視頻系統(tǒng)的“ref_select_code”的頭擴展的適應(yīng)性修改來描述本發(fā)明的優(yōu)選實施例，本發(fā)明還考慮了另外的技術(shù)可用于其他可縮放視頻通信系統(tǒng)。例如，認(rèn)識到，對于不使用“ref_select_code”的系統(tǒng)，頭擴展的隨后的使用可能包括視頻對象平面頭的其他參數(shù)，諸如參考VOP的時間戳。
首先參看圖6，示出了視頻通信系統(tǒng)600的示意表示，包括視頻編碼器615和視頻解碼器625，適于包含本發(fā)明的優(yōu)選實施例。
在圖6中，視頻圖片F(xiàn)0在視頻編碼器615中壓縮610以產(chǎn)生要以速率r1千比特每秒(kbps)傳送的基本層碼流信號。該信號在視頻解碼器625解壓縮620以產(chǎn)生重構(gòu)的基本層圖片F(xiàn)0’。
壓縮的基本層碼流還在視頻編碼器615中在630解壓縮，并在640與原始圖片F(xiàn)0進(jìn)行比較，以潛在地產(chǎn)生差信號650。該差信號在660經(jīng)壓縮并作為增強層碼流以速率r2kbps傳送。該增強層碼流在視頻解碼器625中在670解壓縮，以產(chǎn)生增強層圖片F(xiàn)0”，其在680加到重構(gòu)的基本層圖片F(xiàn)0’上以產(chǎn)生最終的重構(gòu)圖片F(xiàn)0”’。
根據(jù)本發(fā)明的優(yōu)選實施例，視頻編碼器615中的壓縮功能660適于修改基本層的視頻包頭的頭擴展等，以適用于增強層碼流內(nèi)。此外，視頻解碼器625中的解壓縮功能670適于解碼增強層碼流的視頻包頭的修改的頭擴展等。這樣，通過提供對頭擴展的改進(jìn)，包括復(fù)制參考VOP的標(biāo)識符，諸如ref_select_code，解碼器能夠識別應(yīng)該用于當(dāng)前(可能惡化了的)VOP的重構(gòu)的參考VOP。
參考圖7進(jìn)一步描述視頻包頭的頭擴展的修改。
本發(fā)明考慮了另外的編碼和解碼配置可以適于修改基本層的視頻包頭的頭擴展等，以適用于增強層碼流內(nèi)。結(jié)果，此后所述的發(fā)明概念不應(yīng)被視為對圖6中提供的示例配置的限制。
現(xiàn)在參看圖7，示出增強層VOP，根據(jù)本發(fā)明優(yōu)選實施例作了適應(yīng)性改進(jìn)。總而言之，基本層視頻傳輸?shù)囊曨l包頭的頭擴展修改得適用于增強層。VPH的適應(yīng)頭擴展的優(yōu)選實現(xiàn)在MPEG-4傳輸中，建議的修改后的語法在圖9中圖示說明。
圖7的增強層VOP視頻比特序列700包括VOP頭710，其包括2比特“ref_select_code”字段715。VOP頭710后面是連續(xù)的數(shù)據(jù)宏塊360。VOP被分為多個視頻包，每個都以再同步標(biāo)記310和視頻包頭750開始。
根據(jù)本發(fā)明的優(yōu)選實施例，增強層傳輸?shù)亩鄠€VP頭750適于包括修改后的頭擴展740。修改頭擴展740以復(fù)制增強層傳輸?shù)腣OP頭710的“ref_select_code”字段715(參考VOP的標(biāo)識符)。
通過復(fù)制增強層視頻包頭750的多個頭擴展740中的“ref_select_code”字段715，解碼器變得能夠恢復(fù)影響增強層的VOP頭的差錯。尤其是，如果屬于增強層的VOP頭710的“ref_select_code”字段715惡化的話，解碼器就會用從增強層的修改的頭擴展740中解碼的正確的值來替換它。
修改頭擴展從而復(fù)制屬于增強層的VOP頭710的“ref_select_code”的值，防止了圖5中所示的質(zhì)量下降。一旦解碼了每個增強層頭擴展，解碼器可以選擇正確的參考VOP標(biāo)識符并繼續(xù)增強層中數(shù)據(jù)宏塊的正確解碼。這可以通過對MPEG-4視頻碼流語法代碼進(jìn)行簡短修改而實現(xiàn)，如圖9中所示。
通過在適當(dāng)位置對語法代碼進(jìn)行修改，如果在VOP頭中出現(xiàn)差錯，導(dǎo)致“ref_select_code”惡化的話，則解碼器可以繼之以圖8中所述的技術(shù)之一。
現(xiàn)在參看圖8，流程圖800圖示說明了根據(jù)本發(fā)明優(yōu)選實施例、在增強層VOP頭的“ref_select_code”字段中尋址差錯的優(yōu)選方法。可縮放視頻傳輸始于步驟810。在VOP頭中發(fā)生差錯，導(dǎo)致“ref_select_code”的惡化，如步驟820所示。解碼器然后可以采取任何合適的步驟來處理增強層碼流，直到解碼了下一頭擴展。
在流程圖800中說明了兩種優(yōu)選可替換方法。首先，解碼器可以估計“ref_select_code”的值，如步驟830，例如可通過查看前面的“ref_select_code”。然后可能使用這個估計的ref_select_code，直到解碼器遇到下一頭擴展，如步驟840，對下一頭擴展的解碼指示了要使用的正確“ref_select_code”。解碼頭擴展之后，解碼器可以在步驟850校正“ref_select_code”的值。解碼器然后能夠選擇正確參考VOP用于隨后的增強層解碼，如步驟870所示。
另外，解碼器可以決定緩沖VOP比特達(dá)到視頻包的最大尺寸(該尺寸是預(yù)先知道的)，直到要解碼下一頭擴展，如步驟860所示。然后解碼器可以在步驟860校正其對參考VOP的選擇。然后，對增強層傳輸?shù)恼_解碼可以從下面VOP的開始繼續(xù)，如圖880所示。
“ref_select_code”是一個2比特字段。有利地，如果在40kbit/s達(dá)到每秒10幀的速率，頭擴展在每VOP出現(xiàn)一次的話，則所提議的碼流語法修改所造成的額外開銷為0.05％。這種級別的開銷是可以忽略的?？梢栽O(shè)想，只有單獨的再同步標(biāo)記用來指示視頻包頭，繼之以適應(yīng)修改的頭擴展，包含復(fù)制的參考VOP標(biāo)識符(例如ref_select_code)，將從在此所述的發(fā)明概念中獲益。但是，本發(fā)明將提供任意數(shù)量的再同步標(biāo)記、頭和頭擴展之上的優(yōu)點。
最后，申請人注意到，MPEG通信標(biāo)準(zhǔn)的進(jìn)一步版本，諸如聯(lián)合視頻團隊(JVT，Joint Video Team)(來自MPEG-4和H.26L)配置，當(dāng)前正在開發(fā)之中。本發(fā)明不限于MPEG-4標(biāo)準(zhǔn)，且本發(fā)明人認(rèn)為本發(fā)明適用于可縮放視頻壓縮的進(jìn)一步版本。
本發(fā)明考慮，上述本發(fā)明概念可應(yīng)用于任意視頻通信單元和/或視頻通信系統(tǒng)。特別地，本發(fā)明概念尤其適用于無線(無線電)設(shè)備，諸如移動電話/移動無線單元以及關(guān)聯(lián)的無線通信系統(tǒng)。這樣的無線通信單元可包括便攜或移動PMR無線設(shè)備、個人數(shù)字助理、膝上電腦或無線聯(lián)網(wǎng)的PC。
雖然通過參考MPEG-4標(biāo)準(zhǔn)說明了本發(fā)明的優(yōu)選實施例，但可縮放視頻系統(tǒng)技術(shù)可實現(xiàn)于數(shù)字蜂窩電話的第三代應(yīng)用(3G)中，即通常稱作的通用移動電信標(biāo)準(zhǔn)(UMTS)?？煽s放視頻系統(tǒng)技術(shù)也可適用于第二代蜂窩電話的分組數(shù)據(jù)變量，通常稱作通用分組數(shù)據(jù)無線系統(tǒng)(GPRS)，還適用于數(shù)字專用和公用移動無線系統(tǒng)的陸地中繼無線(TETRA)標(biāo)準(zhǔn)。此外，可縮放視頻系統(tǒng)技術(shù)還可用于因特網(wǎng)。因此，上述發(fā)明概念將適用于所有這些新興的技術(shù)，并造福于這些技術(shù)。
應(yīng)該理解，如上所述的改進(jìn)在易出錯網(wǎng)絡(luò)上傳送的可縮放視頻增強層的質(zhì)量的機制和方法至少提供了下面的優(yōu)點(i)它改進(jìn)了出錯嚴(yán)重的無線信道和因特網(wǎng)上視頻傳輸中的增強層差錯性能。
(ii)它使可縮放視頻技術(shù)能夠在高度競爭的移動多媒體市場中使用容錯工具。
(iii)它進(jìn)一步能夠使用可縮放視頻聯(lián)合網(wǎng)絡(luò)服務(wù)質(zhì)量(QoS)信息以將優(yōu)化視頻質(zhì)量傳送到網(wǎng)絡(luò)吞吐量和誤碼率(BER)可能變化的各種情況中的用戶。
(a)本發(fā)明的方法綜上所述，描述了一種改進(jìn)易出錯網(wǎng)絡(luò)上可縮放視頻對象平面增強層傳輸?shù)馁|(zhì)量的方法。增強層傳輸包括至少一個再同步標(biāo)記，繼之以視頻包頭和頭擴展。該方法包括從視頻對象平面頭復(fù)制參考VOP標(biāo)識符到多個增強層頭擴展中的步驟。通過從后面的增強層頭擴展中解碼正確的參考VOP標(biāo)識符來恢復(fù)惡化參考VOP標(biāo)識符的差錯。正確參考視頻對象平面識別用于可縮放視頻傳輸中的增強層視頻對象平面的重構(gòu)。
本發(fā)明主要聚焦于MPEG-4傳輸系統(tǒng)。但是，本發(fā)明的發(fā)明人認(rèn)識到，本發(fā)明同樣可適用于其他可縮放視頻壓縮系統(tǒng)。
(b)本發(fā)明的裝置描述了一種視頻通信系統(tǒng)，其包括具有處理器的視頻編碼器，用于對具有多個增強層的可縮放視頻序列進(jìn)行編碼。增強層傳輸包括至少一個再同步標(biāo)記，繼之以視頻包頭和頭擴展。提供復(fù)制裝置，用于從視頻對象平面頭復(fù)制參考VOP的標(biāo)識符到多個增強層頭擴展中；發(fā)射器發(fā)射包含復(fù)制的參考VOP標(biāo)識符的可縮放視頻序列。視頻解碼器包括接收器，用于接收來自視頻編碼器、包含視頻對象平面增強層頭擴展的可縮放視頻序列。檢測器在接收到的可縮放視頻序列的增強層中檢測所述參考VOP標(biāo)識符中的一個或多個差錯，當(dāng)檢測到一個或多個差錯時，有效連接到檢測器的處理器通過從隨后的增強層頭擴展中解碼正確的參考VOP標(biāo)識符來恢復(fù)惡化所述參考VOP標(biāo)識符的差錯。處理器識別正確參考視頻對象平面，在可縮放視頻傳輸中用于增強層視頻對象平面的重構(gòu)。
還描述了視頻通信單元、適應(yīng)修改的視頻編碼器、適應(yīng)修改的視頻解碼器，以及結(jié)合了這些單元中任意一個的移動無線設(shè)備。
一般地，在此包含的發(fā)明概念同等適用于任何合適的視頻或圖像傳輸系統(tǒng)。雖然上面描述的是本發(fā)明的特殊或優(yōu)選實現(xiàn)，但應(yīng)當(dāng)清楚地認(rèn)識到，本領(lǐng)域技術(shù)人員可以容易地對這樣的發(fā)明概念做出變化和修改。
因此，提供了一種改進(jìn)的裝置和方法，用于改進(jìn)在易出錯網(wǎng)絡(luò)上傳送的可縮放視頻增強層的質(zhì)量，由此，充分克服了上述的現(xiàn)有技術(shù)配置的不足。
權(quán)利要求
1.一種用于改進(jìn)在易出錯網(wǎng)絡(luò)上的可縮放視頻對象平面增強層傳輸?shù)馁|(zhì)量的方法(800)，增強層傳輸包括至少一個再同步標(biāo)記，繼之以視頻包頭和頭擴展，所述方法包括步驟從視頻對象平面頭中復(fù)制參考VOP的標(biāo)識符到多個增強層頭擴展(715)中；通過從隨后的增強層頭擴展中解碼正確參考VOP標(biāo)識符來恢復(fù)(830、840、850、860)惡化所述參考VOP標(biāo)識符的差錯；和識別(870、880)正確參考視頻對象平面，以用于可縮放視頻傳輸中的增強層視頻對象平面的重構(gòu)；其中，可縮放視頻對象平面增強層傳輸是MPEG-4可縮放視頻對象平面增強層傳輸或類似的傳輸，并且參考VOP的標(biāo)識符是“ref_select_code”字段(715)。
2.根據(jù)權(quán)利要求1所述的用于改進(jìn)在易出錯網(wǎng)絡(luò)上的可縮放視頻對象平面增強層傳輸?shù)馁|(zhì)量的方法，其中所述的恢復(fù)的步驟包括步驟當(dāng)在參考VOP標(biāo)識符中出現(xiàn)差錯時，估計(830)參考VOP標(biāo)識符；解碼(840)視頻對象平面增強層傳輸，直到解碼了視頻對象平面增強層頭擴展；和校正(850)所述估計的參考VOP標(biāo)識符，以響應(yīng)從所述解碼的頭擴展中提取的參考VOP標(biāo)識符。
3.根據(jù)權(quán)利要求1所述的用于改進(jìn)在易出錯網(wǎng)絡(luò)上的可縮放視頻對象平面增強層傳輸?shù)馁|(zhì)量的方法，其中所述的恢復(fù)的步驟包括步驟當(dāng)在參考VOP標(biāo)識符中出現(xiàn)差錯時，緩沖(860)視頻對象平面增強層傳輸比特，直到解碼了視頻對象平面增強層頭擴展；和校正(870)所述的參考VOP標(biāo)識符，以響應(yīng)從所述解碼的頭擴展中提取的參考VOP標(biāo)識符。
4.根據(jù)權(quán)利要求1所述的用于改進(jìn)在易出錯網(wǎng)絡(luò)上的可縮放視頻對象平面增強層傳輸?shù)馁|(zhì)量的方法，還包括步驟選擇(870、880)正確參考VOP標(biāo)識符來解碼隨后的增強層傳輸。
5.一種視頻通信系統(tǒng)(600)，包括視頻編碼器(615)，其包括處理器，用于編碼具有多個增強層的可縮放視頻序列，其中增強層傳輸包括至少一個再同步標(biāo)記，繼之以視頻包頭和頭擴展；復(fù)制裝置，用于從視頻對象平面頭中復(fù)制參考VOP的標(biāo)識符到多個增強層頭擴展(715)中；發(fā)射器，用于發(fā)射包含所述一個或多個參考VOP標(biāo)識符的所述可縮放視頻序列；和視頻解碼器(625)，其包括接收器，用于接收來自所述視頻編碼器、包含所述視頻對象平面增強層頭擴展(715)的所述可縮放視頻序列；檢測器，在所述接收到的可縮放視頻序列的增強層中檢測所述參考VOP標(biāo)識符中的一個或多個差錯；和有效連接到所述檢測器的處理器，當(dāng)檢測到所述一個或多個差錯時，通過從隨后的增強層頭擴展中解碼正確的參考VOP標(biāo)識符來恢復(fù)(830、840、850、860)惡化所述參考VOP標(biāo)識符的差錯，并且，識別(870、880)正確參考視頻對象平面，以在可縮放視頻傳輸中用于增強層視頻對象平面的重構(gòu)；其中，可縮放視頻對象平面增強層傳輸是MPEG-4可縮放視頻對象平面增強層傳輸或類似的傳輸，并且參考VOP的標(biāo)識符是“ref_select_code”字段(715)。
6.一種適用于權(quán)利要求1到4中任意一個所述的方法或適用于權(quán)利要求5所述的通信系統(tǒng)的視頻通信單元(615、625)。
7.一種適用于權(quán)利要求1到4中任意一個所述的方法或適用于權(quán)利要求5所述的通信系統(tǒng)的視頻編碼器(615)。
8.一種適用于權(quán)利要求1到4中任意一個所述的方法或適用于權(quán)利要求5所述的通信系統(tǒng)的視頻解碼器(625)。
9.一種包括根據(jù)權(quán)利要求6所述的視頻通信單元或根據(jù)權(quán)利要求7所述的視頻編碼器或根據(jù)權(quán)利要求8所述的視頻解碼器的移動無線設(shè)備。
10.根據(jù)權(quán)利要求9所述的移動無線設(shè)備，其中，所述移動無線設(shè)備是移動電話、便攜或移動PMR無線設(shè)備、個人數(shù)字助理、膝上電腦或無線聯(lián)網(wǎng)的PC。
全文摘要
一種用于改進(jìn)在易出錯網(wǎng)絡(luò)上的可縮放視頻對象平面增強層傳輸?shù)馁|(zhì)量的方法(800)。增強層傳輸包括至少一個再同步標(biāo)記，繼之以視頻包頭和頭擴展。從視頻對象平面頭中復(fù)制參考VOP標(biāo)識符(例如“ref_select_code”)到多個增強層頭擴展(715)中。通過從隨后的增強層頭擴展中解碼正確參考VOP標(biāo)識符來恢復(fù)(830、840、850、860)惡化所述參考VOP標(biāo)識符的差錯。識別(870、880)正確參考視頻對象平面，以用于可縮放視頻傳輸中的增強層視頻對象平面的重構(gòu)。這改善了出錯嚴(yán)重的無線信道和因特網(wǎng)上的視頻傳輸?shù)脑鰪妼又械牟铄e性能。
文檔編號H04N7/68GK1640151SQ03805364
公開日2005年7月13日 申請日期2003年2月18日 優(yōu)先權(quán)日2002年3月5日
發(fā)明者塔梅爾·沙納布勒 申請人:摩托羅拉公司