專利名稱：用于處理數(shù)字視頻信號(hào)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種根據(jù)權(quán)利要求1的前序部分的視頻通信系統(tǒng)，其能夠接收數(shù)字視頻信號(hào)。本發(fā)明進(jìn)一步涉及一種根據(jù)權(quán)利要求8的前序部分的處理數(shù)字視頻信號(hào)的方法。
這種系統(tǒng)例如可以用于MPEG標(biāo)準(zhǔn)中的3D視頻應(yīng)用。
背景技術(shù)：
視頻通信系統(tǒng)典型地包括帶有編碼器的發(fā)射器和帶有解碼器的接收器。這種系統(tǒng)接收輸入數(shù)字視頻信號(hào)，通過(guò)編碼器對(duì)所述信號(hào)進(jìn)行編碼，將編碼的信號(hào)發(fā)送到接收器，然后通過(guò)解碼器對(duì)所發(fā)送的信號(hào)進(jìn)行解碼，得到輸出數(shù)字視頻信號(hào)，其是輸入數(shù)字視頻信號(hào)的重建信號(hào)。接收器然后顯示所述輸出數(shù)字視頻信號(hào)。數(shù)字視頻信號(hào)包括多組對(duì)象，其特征在于某些組件，諸如形狀、紋理、運(yùn)動(dòng)信息、差異圖(在3D視頻信號(hào)的情況下)等。
當(dāng)對(duì)象被編碼時(shí)，所述對(duì)象的組件就被編碼。每一視頻組件的編碼和解碼過(guò)程可以或多或少地彼此相互依賴。編碼性能取決于該相互依賴關(guān)系。
讓我們給出一個(gè)使用MPEG-4標(biāo)準(zhǔn)對(duì)3D視頻對(duì)象進(jìn)行編碼的范例。在該文檔中，我們參照ISO的MPEG-4下的文檔號(hào)w3056，并且標(biāo)題為“Information Technology-Coding of audio-visual objects-Part2Visual，ISO/IEC JTC 1/SC 29/WG 11，Maui，December，1999”，當(dāng)人們對(duì)包括兩個(gè)視圖的立體視頻序列進(jìn)行編碼時(shí)，編碼一個(gè)視圖——指的是左視圖——以及對(duì)應(yīng)的差異圖(或深度圖)。通過(guò)使用差異圖對(duì)左視圖進(jìn)行投影來(lái)重建右視圖。在左視圖中所沒(méi)有的右視圖的部分(遮擋部分)不能夠被重建，并且留下空洞。為了正確地重建右視圖，人們將從原始右視圖恢復(fù)的遮擋部分編碼為MPEG-4視頻對(duì)象，其形狀對(duì)應(yīng)于這些孔。如果以3.5Mbit/s的位速率編碼左視圖，那么被定義用于處理遮擋部分的增強(qiáng)層不應(yīng)該大于該位速率的10％。這里取340kbit/s。通過(guò)形狀和紋理定義遮擋對(duì)象。使用編碼對(duì)象的標(biāo)準(zhǔn)方法，它們的位速率開(kāi)銷為
形狀93kbit/s，即該位速率的27％分配給遮擋紋理128kbit/s，即該位速率的37％。
可以從差異圖確定該遮擋形狀。盡管如此，組件編碼是相互依賴的，在沒(méi)有對(duì)形狀編碼的情況下，有效編碼遮擋部分的紋理是不可能的。因此，該視頻序列的位速率開(kāi)銷不是最優(yōu)的。

發(fā)明內(nèi)容
相應(yīng)地，本發(fā)明的目的是提供一種如權(quán)利要求1的前序部分中定義的視頻通信系統(tǒng)，和一種如權(quán)利要求8的前序部分中定義的方法，其降低了編碼對(duì)象所需要的位速率。
為此，根據(jù)本發(fā)明的第一目的，提供一種如權(quán)利要求1所述的視頻通信系統(tǒng)。
另外，根據(jù)本發(fā)明的第二目的，提供一種如權(quán)利要求8所述的方法。
如下面我們將詳細(xì)看到，通過(guò)在編碼其它組件時(shí)，有可能不編碼并因此不傳輸?shù)谝唤M件，而就好像是在這樣的情況下，編碼效率得到提高，因?yàn)榫幋a整個(gè)對(duì)象需要更少的比特。


通過(guò)閱讀下面的詳細(xì)描述，并參照下面的附圖，可以清楚地看到本發(fā)明的其它目的、特征和優(yōu)點(diǎn)，其中圖1所述為根據(jù)本發(fā)明的包括編碼器和解碼器的視頻通信系統(tǒng)；圖2所示為根據(jù)本發(fā)明的視頻通信的編碼器所使用的編碼方法的示意圖；和圖3所示為根據(jù)本發(fā)明的視頻通信的解碼器所使用的解碼方法的示意圖。
具體實(shí)施例方式
在下面的描述中，對(duì)本領(lǐng)域的熟練技術(shù)人員所熟知的功能和結(jié)構(gòu)就不再進(jìn)行詳細(xì)描述，因?yàn)椴槐匾脑敿?xì)描述就會(huì)使得本發(fā)明不夠清楚。
本發(fā)明涉及一種用于處理數(shù)字視頻信號(hào)的視頻通信系統(tǒng)。
在圖1中所述的這種系統(tǒng)可以用于MPEG2或MPEG4中的視頻應(yīng)用，其中所述視頻通信系統(tǒng)包括發(fā)射器TRANS、傳輸媒體CH和接收器RECEIV。所述發(fā)射器TRANS和所述接收器RECEIV分別包括編碼器ENC和解碼器DEC。
為了通過(guò)傳輸媒體CH有效地傳輸一些視頻信號(hào)，其中已知視頻信號(hào)的傳輸比特為比特流BIT_STR，所述編碼器ENC對(duì)視頻信號(hào)進(jìn)行編碼，然后將所編碼的視頻信號(hào)發(fā)送到解碼器DEC，其對(duì)所述信號(hào)進(jìn)行解碼。最后，接收器RECEIV顯示所述視頻信號(hào)。
視頻信號(hào)包括多組具有不同的組件COMP的對(duì)象OBJ，諸如形狀、紋理、運(yùn)動(dòng)矢量、差異圖、色彩等。
當(dāng)編碼器ENC編碼對(duì)象OBJ時(shí)，其有效地對(duì)所述對(duì)象OBJ的所有組件COMP進(jìn)行編碼。很多組件的編碼依賴于其它組件。例如在本領(lǐng)域的技術(shù)人員所熟知的INTER模式方案中，只有當(dāng)我們具有運(yùn)動(dòng)信息時(shí)才可以使用紋理信息。當(dāng)在MPEG-4中使用基于塊的原理進(jìn)行視頻對(duì)象編碼時(shí)，通過(guò)形狀確定紋理塊的位置，并且通過(guò)使用共處在一起的紋理決之間的空間冗余，知道該形狀可以改善編碼效率。
編碼器ENC包括有效性信息FLAG，用于確定對(duì)象的組件COMP是否要被編碼；編碼裝置，用于在所述有效性信息FLAG為允許時(shí)編碼所述組件COMP；和傳輸裝置，用于在該有效性信息FLAG為允許時(shí)，傳輸所述對(duì)象OBJ的所述組件COMP。
解碼器DEC包括解碼裝置，用于在該有效性信息FLAG為允許時(shí)解碼組件COMP；和恢復(fù)裝置，用于在有效性信息FLAG為禁止時(shí)恢復(fù)所述組件COMP。
如下圖2中所述，下面通過(guò)編碼器ENC完成對(duì)象OBJ的編碼。
對(duì)于對(duì)象OBJ的每一組件COMP，編碼器ENC判定所述組件COMP是否將包括在比特流BIT_STR中。該判定取決于視頻應(yīng)用的類型例如，在對(duì)遮擋部分進(jìn)行編碼的立體聲系統(tǒng)中，人們知道不需要對(duì)這些遮擋的形狀進(jìn)行編碼和傳輸。
將有效性信息FLAG分配給對(duì)象OBJ的每一組件COMP。如果組件COMP將包括在比特流中，即將被編碼和傳輸，則該有效性信號(hào)FLAG為允許。該有效性信息FLAG優(yōu)選地放置在視頻對(duì)象級(jí)(MPEG-4中的VO)。
在第一非限制性的實(shí)施例中，該有效性信息FLAG具有兩個(gè)值當(dāng)允許時(shí)為1；并且當(dāng)禁止時(shí)為0。
在第二非限制性的實(shí)施例中，該有效性信息FLAG具有擴(kuò)展語(yǔ)法(extended syntax)當(dāng)允許時(shí)為1；并且當(dāng)禁止時(shí)為0加上描述代碼字。從該描述代碼字可以知道如何恢復(fù)丟失的組件COMP(等待額外的輸入，諸如預(yù)計(jì)算的形狀，等待額外的輸入和第n個(gè)組件信息等...)。然后，解碼器DEC將使用該描述代碼字來(lái)恢復(fù)組件COMP。假定在該解碼器側(cè)，恢復(fù)丟失組件COMP的方法是熟知的，并且恢復(fù)算法是有效的。
接下來(lái)，編碼器ENC對(duì)將包括在比特流BIT_STR中的所有組件COMP進(jìn)行編碼(圖2中的ENC_COMP步驟)，并且對(duì)于需要丟失組件COMP_M的組件COMP_D，其對(duì)它們進(jìn)行編碼，就好像對(duì)象OBJ的所有組件COMP和特別是丟失組件COMP_M都已經(jīng)被使用、編碼和傳輸。實(shí)際上，一些編碼組件可能需要使用如前所述的其它組件。
注意到為每一對(duì)象組件COMP定義了有效性信息FLAG和潛在的描述代碼字(根據(jù)在應(yīng)用中所使用的有效性信息的種類)。然后所編碼的視頻對(duì)象OBJ與所包括的編碼組件COMP一起對(duì)應(yīng)于所有這些有效性信息FLAG。因此，傳輸?shù)浇獯a器的比特流BIT_STR包括丟失組件的有效性信息FLAG，并且對(duì)于每個(gè)其它組件，包括它們的相對(duì)應(yīng)的有效性信息FLAG和所編碼的組件COMP本身。
注意到進(jìn)行下面的假設(shè)。我們假定我們具有一個(gè)編碼算法，其中視頻對(duì)象OBJ分成幾個(gè)組件，并且它們對(duì)應(yīng)于比特流BIT_STR的不同的、可分開(kāi)的部分。這意味著有可能替換一個(gè)組件而不會(huì)阻止對(duì)另一組件的解碼過(guò)程。例如在MPEG-4中，如果我們使用紋理和深度信息來(lái)編碼視頻序列，如果我們替換或修改所編碼的紋理信息，還仍然有可能對(duì)深度進(jìn)行解碼。而且，如果我們改變運(yùn)動(dòng)矢量組件，還仍然有可能解碼紋理——盡管我們得到了看起來(lái)不同于原始的序列，但是所編碼的紋理信息仍然是正確的。
然后通過(guò)傳輸媒體CH將所述編碼的比特流BIT_STR發(fā)送到接收器RECEIV的解碼器DEC。
如圖3中所述，通過(guò)解碼器DEC按照下面對(duì)所編碼的比特流BIT_STR進(jìn)行解碼。
當(dāng)接收到所編碼的比特流BIT_STR時(shí)，解碼器DEC首先檢查所述比特流BIT_STR中的有效性信息FLAG。如果有效性信息FLAG設(shè)置為1，其等待比特流BIT_STR中對(duì)應(yīng)的組件COMP，其在它們的被分配的有效性信息FLAG之后。然后，其對(duì)它們進(jìn)行解碼。首先對(duì)不需要任何其它編碼組件或丟失組件COMP_M的組件COMP進(jìn)行解碼(圖3中的DEC_COMP步驟)，然后對(duì)依賴于其它編碼組件和依賴于丟失組件COMP_M的組件COMP_D進(jìn)行解碼。對(duì)于這些后者的依賴組件COMP_D，解碼器DEC恢復(fù)丟失組件COMP_M(圖3中的RETR_COMP_M1步驟)，然后解碼這些依賴組件COMP_D(圖3中的DEC_COMP_D步驟)。組件之間的這些想依關(guān)系與應(yīng)用有關(guān)在立體聲視頻解碼器中，我們可以認(rèn)為當(dāng)解碼遮擋形狀時(shí)，人們使用解碼的差異圖——這可以通過(guò)引入表示“從差異中恢復(fù)”意義的描述代碼字來(lái)完成。取更一般的情況，在MPEG編碼方案中，從運(yùn)動(dòng)矢量和先前幀中恢復(fù)紋理信息。
一旦對(duì)所有的編碼組件COMP進(jìn)行了解碼，解碼器DEC恢復(fù)出最后丟失的組件COMP_M(圖3中的RETR_COMP_M2步驟)。注意到，該最后步驟也可以在任何其它時(shí)間進(jìn)行，例如在開(kāi)始時(shí)進(jìn)行。
比特流BIT_STR就好像是沒(méi)有刪除任何組件。可以使用本領(lǐng)域的技術(shù)人員所熟知的解碼過(guò)程，就好像每個(gè)組件都被正常編碼和傳輸。
于是，本發(fā)明的一個(gè)優(yōu)點(diǎn)是通過(guò)只使用有效性信息FLAG來(lái)簡(jiǎn)單地降低了編碼對(duì)象所需要的比特速率，并且簡(jiǎn)單地告知解碼器其需要恢復(fù)某些組件本身。
應(yīng)該理解的是，本發(fā)明并不限于前述實(shí)施例，并且在不脫離本發(fā)明如所附權(quán)利要求書(shū)中限定的精神和范圍，可以做出變換和修改。至于這一點(diǎn)，做出如下結(jié)束性的注釋。
應(yīng)該理解的是，本發(fā)明并不限于前述視頻應(yīng)用。其可以用于任何使用對(duì)分解成多個(gè)組件的信號(hào)進(jìn)行處理的系統(tǒng)的應(yīng)用，組件的編碼產(chǎn)生單獨(dú)的比特流部分。特別地，本發(fā)明應(yīng)用于其它MPEG標(biāo)準(zhǔn)家族(MPEG-1，MPEG2)的視頻壓縮算法和ITU H26X家族(H261，H263及擴(kuò)展，H261當(dāng)今是最新的，參考號(hào)Q15-K-59)。
應(yīng)該理解的是，根據(jù)本發(fā)明的方法并不限于前述實(shí)施方式。
通過(guò)硬件或軟件或二者的結(jié)合可以有多種方式實(shí)施根據(jù)本發(fā)明的方法的功能，假設(shè)使用單項(xiàng)硬件或軟件可以執(zhí)行多個(gè)功能。但是其并不排除將多項(xiàng)硬件或軟件或二者的結(jié)合組合起來(lái)執(zhí)行一個(gè)功能，由此形成單個(gè)功能而不會(huì)修改根據(jù)本發(fā)明的處理視頻信號(hào)的方法。
可以通過(guò)多種方式實(shí)施所述硬件或軟件項(xiàng)，諸如通過(guò)有線電子電路的方式，或通過(guò)適合于被編程的集成電路的方式。集成電路可以安裝在計(jì)算機(jī)中，或安裝在視頻系統(tǒng)通信中。在第二種情況下，視頻系統(tǒng)通信包括編碼裝置，用于在有效性信息為允許時(shí)編碼對(duì)象的組件；解碼裝置，用于在有效性信息為允許時(shí)解碼所述對(duì)象的所述組件；和恢復(fù)裝置，用于在有效性信息為禁止時(shí)恢復(fù)所述對(duì)象的所述組件，如前所述，所述裝置為如上所述的硬件或軟件項(xiàng)。
集成電路包括指令集。由此，例如包括在計(jì)算機(jī)編程存儲(chǔ)器或視頻通信系統(tǒng)中的所述指令集可以使得該計(jì)算機(jī)或視頻通信系統(tǒng)執(zhí)行該編碼方法的不同步驟。
可以通過(guò)讀取數(shù)據(jù)載體、例如讀取盤(pán)來(lái)將指令集裝載到編程存儲(chǔ)器中。業(yè)務(wù)運(yùn)營(yíng)商也可以通過(guò)通信網(wǎng)絡(luò)、諸如互聯(lián)網(wǎng)使得該指令集可獲得。
下面權(quán)利要求中的任何附圖標(biāo)記都不應(yīng)用理解為對(duì)權(quán)利要求的限制。很明顯動(dòng)詞“包括”及其變化詞的使用并不排除除了任何權(quán)利要求中所定義的步驟或元件之外的任何其它步驟或元件的出現(xiàn)。元件或步驟前面的冠詞“一個(gè)”并不排除會(huì)出現(xiàn)多個(gè)這種元件或步驟。
權(quán)利要求
1.一種視頻通信系統(tǒng)(SYS)，其能夠接收數(shù)字視頻信號(hào)，所述數(shù)字視頻信號(hào)包括多組具有組件(COMP)的對(duì)象(OBJ)，該視頻通信系統(tǒng)包括用于編碼所述視頻信號(hào)的編碼器(ENC)、用于傳輸所編碼的視頻信號(hào)的傳輸信道(CH)、和用于解碼所述編碼的視頻信號(hào)的解碼器(DEC)，其特征在于其包括有效性信息(FLAG)，用于確定所述對(duì)象(OBJ)的組件(COMP)是否需要在編碼器(ENC)側(cè)被編碼，并且通過(guò)傳輸信道(CH)傳輸；編碼器(ENC)側(cè)的編碼裝置，用于在有效性信息(FLAG)為允許時(shí)編碼所述對(duì)象(OBJ)的組件(COMP)；解碼器(DEC)側(cè)的解碼裝置，用于在有效性信息(FLAG)為允許時(shí)解碼所述對(duì)象(OBJ)的所述組件(COMP)；和解碼器(DEC)側(cè)的恢復(fù)裝置，用于在有效性信息(FLAG)為禁止時(shí)恢復(fù)所述對(duì)象(OBJ)的所述組件(COMP)。
2.如權(quán)利要求1中的視頻通信系統(tǒng)(SYS)，其特征在于該編碼裝置用于對(duì)組件(COMP)編碼，就好像所述對(duì)象(OBJ)的所有組件(COMP)都已經(jīng)被編碼和傳輸了一樣。
3.如權(quán)利要求1中的視頻通信系統(tǒng)(SYS)，其特征在于編碼組件(COMP_D)依賴于另一組件(COMP)，所述另一組件是所編碼的組件或丟失組件(COMP_D)。
4.一種用于編碼數(shù)字視頻信號(hào)的編碼器(ENC)，所述數(shù)字視頻信號(hào)包括多組具有組件(COMP)的對(duì)象(OBJ)，其特征在于其包括有效性信息(FLAG)，用于確定所述對(duì)象(OBJ)的組件是否將被編碼和通過(guò)傳輸信道(CH)傳輸；和編碼裝置，用于在該有效性信息(FLAG)為允許時(shí)編碼所述對(duì)象(OBJ)的所述組件(COMP)。
5.如權(quán)利要求4中的編碼器(ENC)，其特征在于該編碼裝置用于對(duì)組件(COMP)編碼，就好像所述對(duì)象(OBJ)的所有組件(COMP)都已經(jīng)被編碼和傳輸了一樣。
6.一種用于解碼數(shù)字視頻信號(hào)的解碼器(DEC)，所述數(shù)字視頻信號(hào)包括多組具有組件(COMP)的對(duì)象(OBJ)，其特征在于其包括解碼裝置，用于在有效性信息(FLAG)為允許時(shí)解碼所述對(duì)象(OBJ)的組件(COMP)；和恢復(fù)裝置，用于在有效性信息(FLAG)為禁止時(shí)恢復(fù)所述對(duì)象(OBJ)的組件(COMP_M)。
7.如權(quán)利要求6中的解碼器(DEC)，其特征在于該解碼裝置用于首先對(duì)不依賴于其它組件(COMP)的組件(COMP)進(jìn)行解碼，然后對(duì)依賴于其它組件的組件(COMP_D)進(jìn)行解碼，并且如果依賴于丟失組件(COMP_M)，就在恢復(fù)所述丟失組件(COMP_M)之后對(duì)所述依賴組件(COMP_D)進(jìn)行解碼。
8.一種處理數(shù)字視頻信號(hào)的方法，所述數(shù)字視頻信號(hào)包括多組具有組件(COMP)的對(duì)象(OBJ)，其特征在于其包括步驟通過(guò)有效性信息(FLAG)確定所述對(duì)象(OBJ)的組件(COMP)是否將被編碼和通過(guò)傳輸信道(CH)傳輸；在該有效性信息(FLAG)為允許時(shí)，對(duì)所述對(duì)象(OBJ)的所述組件(COMP)進(jìn)行編碼并將其傳輸；在該有效性信息(FLAG)為允許時(shí)，對(duì)所述對(duì)象(OBJ)的所述組件(COMP)進(jìn)行解碼；和在該有效性信息(FLAG)為禁止時(shí)，恢復(fù)所述對(duì)象(OBJ)的所述組件(COMP_M)。
9.如權(quán)利要求8中的處理數(shù)字視頻信號(hào)的方法，其特征在于執(zhí)行所述組件(COMP)的編碼，就好像所述對(duì)象(OBJ)的所有組件(COMP)都已經(jīng)被編碼和傳輸了一樣。
10.一種用于計(jì)算機(jī)的計(jì)算機(jī)程序產(chǎn)品，包括指令集，其中當(dāng)將該指令集裝載到所述計(jì)算機(jī)中時(shí)，使該計(jì)算機(jī)執(zhí)行如權(quán)利要求8和9中的方法。
全文摘要
本發(fā)明涉及一種視頻通信系統(tǒng)(SYS)，其能夠接收數(shù)字視頻信號(hào)，所述數(shù)字視頻信號(hào)包括多組具有組件(COMP)的對(duì)象(OBJ)。本發(fā)明的特征在于包括有效性信息(FLAG)，用于確定所述對(duì)象(OBJ)的組件(COMP)是否將被編碼和通過(guò)傳輸信道(CH)傳輸；編碼裝置，用于在該有效性信息(FLAG)為允許時(shí)編碼所述對(duì)象(OBJ)的組件(COMP)；解碼裝置，用于在該有效性信息(FLAG)為允許時(shí)解碼所述對(duì)象(OBJ)的所述組件(COMP)；和恢復(fù)裝置，用于在該有效性信息(FLAG)為禁止時(shí)恢復(fù)所述對(duì)象(OBJ)的所述組件(COMP)。
文檔編號(hào)H04N7/24GK1685730SQ03822713
公開(kāi)日2005年10月19日 申請(qǐng)日期2003年9月17日 優(yōu)先權(quán)日2002年9月25日
發(fā)明者S·奧伯格, Y·皮卡爾德 申請(qǐng)人:皇家飛利浦電子股份有限公司