專利名稱：圖像信號(hào)的傳輸和解碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信號(hào)的編碼和解碼，更具體地，涉及構(gòu)成多個(gè)壓縮數(shù)據(jù)流的壓縮圖像信號(hào)，該壓縮的數(shù)據(jù)流可由可變性能及存儲(chǔ)容量的解碼器解碼。
例如，在電視會(huì)議系統(tǒng)或可視電話系統(tǒng)中，通過取幀內(nèi)和幀間相關(guān)的優(yōu)點(diǎn)，運(yùn)動(dòng)圖像信號(hào)被壓縮和編碼，以便它們能經(jīng)通信信道更有效地傳送到遠(yuǎn)端位置。
通過正交變換，例如離散余弦變換(DCT)，能夠利用幀內(nèi)相關(guān)。
通過連續(xù)圖像之間的預(yù)測(cè)編碼，能夠利用幀間相關(guān)。正如這里使用的，一個(gè)圖像一般地稱為由一幀表示的圖像。當(dāng)一幀的一場(chǎng)以非隔行方式編碼時(shí)，即分別地，則每場(chǎng)可稱為一個(gè)圖像。
如像

圖1A所示，例如，在時(shí)間點(diǎn)t1，t2和t3產(chǎn)生幀圖像PC1，PC2和PC3。如圖1B中陰景所示，得到的幀圖像PC1和PC2之間的差為差圖像數(shù)據(jù)PC12和得到幀圖像PC2和PC3之間的差為差值圖像數(shù)據(jù)PC23。因?yàn)樵谒查g臨近幀的信號(hào)之間有相當(dāng)小的變化，利用傳輸信道僅傳輸差值圖像數(shù)據(jù)比傳輸原始圖像更有效。即使用差值圖像數(shù)據(jù)作為編碼圖像信號(hào)而降低傳輸?shù)臄?shù)據(jù)量。
但是，如果僅僅傳送差值信號(hào)，不能恢復(fù)原始圖像。有時(shí)傳送一個(gè)沒有預(yù)測(cè)編碼的圖像作為差值圖像數(shù)據(jù)的參考是有利的，因?yàn)橛袝r(shí)候比傳送一個(gè)預(yù)測(cè)編碼圖像更有效。
僅利用幀內(nèi)相關(guān)和幀間不相關(guān)編碼的圖像在這里稱為內(nèi)-圖像即I-圖像。
用相對(duì)于一個(gè)前面的編碼圖像的預(yù)測(cè)編碼的圖像在這里被稱為預(yù)測(cè)圖像即P-圖像。前面的編碼圖像可能是I-圖像或P-圖像，而可能是暫時(shí)在先的P-圖像。
用相對(duì)至多兩個(gè)圖像(暫時(shí)在先和暫時(shí)隨后的圖像)預(yù)測(cè)編碼的圖像在這里稱為雙向預(yù)測(cè)編碼圖像即B-圖像。這兩個(gè)圖像每個(gè)圖像可能是一個(gè)I-圖像或一個(gè)P-圖像。當(dāng)使用二者時(shí)，得到兩個(gè)圖像的平均值，而用作為編碼圖像的參考圖像。
一系列圖像可認(rèn)為是具有預(yù)定數(shù)量幀，例如F1…F17的圖像組。前導(dǎo)幀F(xiàn)1的亮度和色度圖像信號(hào)被編碼為I-圖像，第二幀F(xiàn)2的圖像信號(hào)被編碼為B-圖像，而第三幀F(xiàn)3的圖像信號(hào)編碼為P-圖像。第四幀和后面的幀F(xiàn)4至F17交替地編碼為B-圖像和P-圖像。圖2A表示用于編碼P-圖像的參考圖像，而圖2B表示用于編碼B-圖像的參考圖像。
如圖3A和3B所示，有四種方法用于編碼一個(gè)圖像的宏方塊(下面討論)，當(dāng)多種方法是適合的時(shí)候，將利用給出的最小的編碼數(shù)據(jù)量的方法。圖3A中的方塊F1至F5代表運(yùn)動(dòng)圖像信號(hào)幀的數(shù)據(jù)，而圖3B中的方塊F1X至F5X代表編碼幀的數(shù)據(jù)。圖3A實(shí)線箭頭表示運(yùn)動(dòng)矢量X1…X6相關(guān)的幀。
所示的SP1第一種方法是不使用預(yù)測(cè)編碼，即僅使用幀內(nèi)相關(guān)。這對(duì)于I-圖像，P-圖像和B-圖像的任何宏方塊是適合的。換句話說，如果不用預(yù)測(cè)編碼產(chǎn)生較少編碼數(shù)據(jù)，那么就選擇這種方法。
所示的SP2第二種方法是相對(duì)于暫時(shí)地繼當(dāng)前圖像之后的圖像預(yù)測(cè)編碼，稱為后向預(yù)測(cè)編碼。所示的SP3第三種方法是相對(duì)于暫時(shí)在當(dāng)前圖像之前圖像的預(yù)測(cè)編碼，稱為前向預(yù)測(cè)編碼。第二種方法僅適合于B-圖像的宏方塊。第三種方法適合于P-圖像和B-圖像的宏方塊。
所示的SP4第四種方法是相對(duì)于兩個(gè)圖像的平均值的預(yù)測(cè)編碼，一個(gè)圖像暫時(shí)地在當(dāng)前圖像之前而一個(gè)圖像暫時(shí)地在當(dāng)前圖像之后。這種方法僅適合于B-圖像的宏方塊。
現(xiàn)在編碼的順序。
使用第一種方法編碼第一幀F(xiàn)1，作為I-圖像，以便該圖像作為編碼的數(shù)據(jù)F1X直接地經(jīng)傳輸信道傳送。
第三幀F(xiàn)3被編碼為P-圖像。當(dāng)?shù)谌椒ㄊ褂们跋蝾A(yù)測(cè)編碼時(shí)，計(jì)算與用于參考圖像暫時(shí)在先的幀F(xiàn)1的差信號(hào)，用虛線箭頭SP3表示，和計(jì)算參考圖像F1和當(dāng)前圖像F3之間的運(yùn)動(dòng)矢量X3，并編碼為數(shù)據(jù)F3X。另一方面，如果對(duì)于編碼的P圖像的宏方塊產(chǎn)生較少數(shù)量的編碼數(shù)據(jù)，可使用第一種方法，其中原始幀F(xiàn)3的數(shù)據(jù)直接地利用作為傳輸數(shù)據(jù)F3X。
第二幀F(xiàn)2被編碼為B-圖像。
當(dāng)?shù)谒姆N方法用于編碼幀F(xiàn)2時(shí)，根據(jù)像素基礎(chǔ)用像素計(jì)算暫時(shí)在先幀F(xiàn)1的平均值與暫時(shí)隨后幀F(xiàn)3平均值之間的差值。該差值數(shù)據(jù)和運(yùn)動(dòng)矢量X1和X2被編碼為數(shù)據(jù)F2X。
當(dāng)使用第一處理方法SP1編碼幀F(xiàn)2時(shí)，原始幀F(xiàn)2的數(shù)據(jù)構(gòu)成編碼數(shù)據(jù)F2X。
當(dāng)使用第二或第三方法SP2，SP3的之一方法編碼幀F(xiàn)2時(shí)，計(jì)算暫時(shí)隨后幀F(xiàn)3和當(dāng)前幀F(xiàn)2之間的差和暫時(shí)在先幀F(xiàn)1和當(dāng)前幀F(xiàn)2之間的差之一差值，該差值數(shù)據(jù)和運(yùn)動(dòng)矢量X1、X2之一被編碼為數(shù)據(jù)F2X。
以上述的類似方法處理用于B-圖像的幀F(xiàn)4和用于P-圖像的幀F(xiàn)5，以便產(chǎn)生傳送的數(shù)據(jù)F4X和F5X。
圖4表示根據(jù)上述預(yù)測(cè)編碼方案用于編和解碼運(yùn)動(dòng)圖像信號(hào)的安排。如圖4所示，一個(gè)編碼裝置1編碼輸入圖像信號(hào)并發(fā)送編碼的信號(hào)至記錄介質(zhì)3作了傳輸信道進(jìn)行記錄。解碼裝置2再生記錄介質(zhì)3上的記錄信號(hào)并解碼這些信號(hào)作為輸出信號(hào)。
編碼設(shè)備1包括一個(gè)輸入端10，一個(gè)預(yù)處理電路11，A/D變換器12和13，一個(gè)幀存儲(chǔ)器14，該存儲(chǔ)器包括一個(gè)亮度信號(hào)幀存儲(chǔ)器15和色差信號(hào)幀存儲(chǔ)器16，一個(gè)格式變換電路17和一個(gè)編碼器18。
輸入端10適于接收視頻信號(hào)并把該信號(hào)VD加至預(yù)處理電路11，該電路的功能是分離視頻信號(hào)VD為亮度信號(hào)和彩色信號(hào)，在這里色度或色差信號(hào)，并把這些信號(hào)分別加到模/數(shù)(A/D)變換器12和13。由A/D變換器12和13進(jìn)行模-數(shù)變換的數(shù)字視頻信號(hào)被加到具有存儲(chǔ)器15、16的幀存儲(chǔ)器14，存儲(chǔ)器15、16的功能是分別存儲(chǔ)亮度信號(hào)和色差信號(hào)，并在這里讀存儲(chǔ)信號(hào)到格式變換電路17。
變換器17運(yùn)行變換在幀存儲(chǔ)器部件14中存儲(chǔ)的幀格式信號(hào)為方塊格式信號(hào)。如圖5A所示，在幀存儲(chǔ)器部件14中存儲(chǔ)的圖像為具有V行每行由H點(diǎn)構(gòu)成的幀格式數(shù)據(jù)。變換電路17劃分每幀為N部分，每一部分包括多個(gè)16行。如圖5B所示，該變換器17劃分每部分為M個(gè)宏方塊。如圖5C所示，每個(gè)宏方塊代表相應(yīng)于16×16像素即點(diǎn)的亮度信號(hào)Y和相關(guān)的色度Cr，Cb信號(hào)。這些亮度信號(hào)細(xì)分為方塊Y1至Y4，每個(gè)方塊由8×8點(diǎn)構(gòu)成。16×16點(diǎn)亮度信號(hào)與8×8點(diǎn)Cb信號(hào)和8×8點(diǎn)Cr信號(hào)相關(guān)。變換器17還運(yùn)行供給方塊格式信號(hào)至編碼器18，該編碼器將在下面結(jié)合圖6詳細(xì)描述。
編碼器18運(yùn)行編碼方塊格式信號(hào)并供給該編碼的信號(hào)作為傳輸信道上的比特流在記錄介質(zhì)3上記錄。
解碼設(shè)備2包括一個(gè)解碼器31，一個(gè)格式變換電路32，一個(gè)包括一個(gè)亮度信號(hào)幀存儲(chǔ)器34和一個(gè)色差信號(hào)幀存儲(chǔ)器35的幀存儲(chǔ)器部件33，數(shù)/模變換器36和37，一個(gè)后處理電路38和一個(gè)輸出端30。
解碼器31的操作是要從記錄介質(zhì)3再生編碼數(shù)據(jù)并解出該編碼的數(shù)據(jù)，(如下面參見圖9詳細(xì)的描述)并把該解碼數(shù)據(jù)信號(hào)加至格式變換電路32，該電路運(yùn)行變換解碼的數(shù)據(jù)信號(hào)為幀格式數(shù)據(jù)信號(hào)并提供幀格式數(shù)據(jù)信號(hào)作為亮度信號(hào)和色差信號(hào)到存儲(chǔ)器33。存儲(chǔ)器33的存儲(chǔ)器34、35的功能是分別存儲(chǔ)亮度和色度信號(hào)，并把這些信號(hào)分別加到D/A變換器36和37。由后處理電路38合成來自變換器37、37的模擬信號(hào)，后處理電路的作用是形成輸出的圖像信號(hào)，并輸出它們至輸出端30，然后輸出到一個(gè)顯示單元，例如CRT(未畫出)進(jìn)行顯示。
圖6表示了圖4所示的編碼器18。
一般地，編碼器18存儲(chǔ)三種圖像，即當(dāng)前的圖像和暫時(shí)在先的圖像和暫時(shí)在當(dāng)前圖像之后的圖像。根據(jù)當(dāng)前圖像在圖像組中的順序位置對(duì)每個(gè)圖像選擇圖像編碼類型(P，I或B)。
如將參見圖7所說明的，編碼器18還選擇基于幀和基于場(chǎng)預(yù)測(cè)編碼之一，和如將參見圖8所說明的，進(jìn)一步選擇基于幀和基于場(chǎng)DCT編碼之一。對(duì)每個(gè)圖像，得到適當(dāng)?shù)倪\(yùn)動(dòng)矢量，而且相對(duì)于零預(yù)測(cè)編碼該圖像，本地已被解碼的一個(gè)或兩個(gè)前面的編碼圖像作為形成差值數(shù)據(jù)信號(hào)的參考圖像。該差值數(shù)據(jù)信號(hào)被正交變換為系數(shù)數(shù)據(jù)方塊，該數(shù)據(jù)被量化，可變長(zhǎng)度編碼并作為編碼數(shù)據(jù)傳送。
在編碼器18，量化的數(shù)據(jù)被解除量化，反正交變換并作為參考信號(hào)存儲(chǔ)。預(yù)測(cè)編碼把從當(dāng)前圖像得到的運(yùn)動(dòng)矢量施加到參考圖像，以便產(chǎn)生一個(gè)預(yù)測(cè)圖像，該預(yù)測(cè)圖像與當(dāng)前圖像相減產(chǎn)生差值數(shù)據(jù)。
編碼器18的元件現(xiàn)將詳細(xì)說明。
用于編碼的圖像數(shù)據(jù)逐個(gè)宏方塊被施加到輸入端49，然后到運(yùn)動(dòng)矢量檢測(cè)電路50，該運(yùn)動(dòng)檢測(cè)電路50的作用是根據(jù)如圖2A，2B所示的例子以每個(gè)圖像組的預(yù)定順序處理各個(gè)幀，如I-圖像，P-圖像或B-圖像的圖像數(shù)據(jù)。該電路50施加當(dāng)前幀的圖像數(shù)據(jù)到具有幀存儲(chǔ)器51a，51b，51c的幀存儲(chǔ)器51，幀存儲(chǔ)器51a，51b，51c分別用于存儲(chǔ)暫時(shí)在先的圖，當(dāng)前的圖像和暫時(shí)在后的圖像。
更具體地，在存儲(chǔ)器51a，51b，51c分別存儲(chǔ)幀F(xiàn)1，F(xiàn)2，F(xiàn)3。然后在存儲(chǔ)器51c中存儲(chǔ)的圖像被轉(zhuǎn)移到存儲(chǔ)器51a。在存儲(chǔ)器51b，51c中分別存儲(chǔ)幀F(xiàn)4，F(xiàn)5。轉(zhuǎn)移存儲(chǔ)器51C的科像到存儲(chǔ)器51a和在存儲(chǔ)器51b，51c中存儲(chǔ)其次兩個(gè)圖像的工作被重復(fù)進(jìn)行，以便保持圖像組的圖像。
在這些圖像被讀到存儲(chǔ)器并暫地存儲(chǔ)之后，它們被讀出并施加到一個(gè)預(yù)測(cè)方式轉(zhuǎn)換電路52，該電路適合于處理用于基于幀和基于場(chǎng)預(yù)測(cè)編碼之一的當(dāng)前圖像。在處理圖像組中作為I-圖像的第一幀圖像數(shù)據(jù)之后和在處理作為B-圖像的第二幀圖像數(shù)據(jù)之前，運(yùn)動(dòng)矢量檢測(cè)電路50處理第三幀P-圖像。該處理順序與施加圖像的順序是不同的，因?yàn)锽-圖像可能包括后向預(yù)測(cè)，可能需要接著解碼，即暫時(shí)地在B-圖像之后的P-圖像預(yù)先地解碼。
運(yùn)動(dòng)矢量檢測(cè)電路50計(jì)算對(duì)每個(gè)宏方塊碼內(nèi)的估計(jì)值，對(duì)每個(gè)宏方塊幀預(yù)測(cè)方式預(yù)測(cè)誤差絕對(duì)值的和，及對(duì)每個(gè)宏方塊場(chǎng)預(yù)測(cè)方式預(yù)測(cè)誤差絕對(duì)值的和，并施加這些和至預(yù)測(cè)判決電路54，該電路比較這些和并根據(jù)這些值的最小值選擇幀預(yù)測(cè)方式或場(chǎng)預(yù)測(cè)方式，提供所選擇的方式至預(yù)測(cè)方式轉(zhuǎn)換電路52。
如果選擇了幀預(yù)測(cè)方式，該預(yù)測(cè)方式轉(zhuǎn)換電路52輸出四個(gè)亮度方塊Y1至Y4和兩個(gè)色度或色差方塊Cb，Cr，這些方塊是從運(yùn)動(dòng)矢量檢測(cè)電路50接收未處理的每個(gè)宏方塊的方塊。如圖7A所示，從運(yùn)動(dòng)矢量檢測(cè)電路50接收的每個(gè)亮度和色差方塊交替，奇數(shù)或第一場(chǎng)的行數(shù)據(jù)，用實(shí)線表示，用偶數(shù)或第二場(chǎng)行數(shù)據(jù)，用虛線表示。在圖7A中表示用于補(bǔ)償?shù)膯卧?。在幀預(yù)測(cè)方式中，用作為一個(gè)單元的四個(gè)亮度方塊(宏方塊)和與該四個(gè)亮度方塊Y1至Y4相關(guān)的單個(gè)運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)補(bǔ)償。
如果選擇場(chǎng)預(yù)測(cè)方式，預(yù)測(cè)方式轉(zhuǎn)換電路52處理從運(yùn)動(dòng)矢量檢測(cè)電路50接收的信號(hào)，以便四個(gè)亮度方塊的每一個(gè)方塊包括來自單個(gè)場(chǎng)的數(shù)據(jù)，和兩個(gè)色差方塊具有非交替的奇和偶數(shù)場(chǎng)數(shù)據(jù)。具體如圖7B所示，亮度方塊Y1和Y2具有奇數(shù)場(chǎng)數(shù)據(jù)和亮度方塊Y3和Y4具有偶數(shù)場(chǎng)數(shù)據(jù)，而色差方塊Cb，Cr的上半部代表亮度方塊Y1和Y2的奇數(shù)場(chǎng)色差數(shù)據(jù)，而色差方塊Cb，Cr的下半部代表亮度方塊Y3和Y4的偶數(shù)場(chǎng)色差數(shù)據(jù)。在圖7B中b表示用于運(yùn)動(dòng)補(bǔ)償?shù)膯卧?。在?chǎng)預(yù)測(cè)方式中，分別對(duì)奇數(shù)場(chǎng)方塊和偶數(shù)場(chǎng)方塊執(zhí)行運(yùn)動(dòng)補(bǔ)償，以便一個(gè)運(yùn)動(dòng)矢量與兩個(gè)亮度方塊Y1和Y2相關(guān)而另一個(gè)運(yùn)動(dòng)矢量與兩個(gè)亮度方塊Y3和Y4相關(guān)。
預(yù)測(cè)方式轉(zhuǎn)換電路52提供當(dāng)前的圖像，作為對(duì)基于幀或基于場(chǎng)的預(yù)測(cè)編碼，到圖6的運(yùn)算單元53。該運(yùn)算單元53運(yùn)行執(zhí)行圖像為預(yù)測(cè)，前向預(yù)測(cè)，后向預(yù)測(cè)或雙向預(yù)測(cè)之一。預(yù)測(cè)判決電路54依賴于當(dāng)前圖像信號(hào)有關(guān)的預(yù)測(cè)誤差信號(hào)適于選擇最好類型的預(yù)測(cè)。
運(yùn)動(dòng)矢量檢測(cè)電路050對(duì)當(dāng)前圖像計(jì)算在Aij和Aij∑｜Aij-(Aij)的平均值｜的平均值之間差值的絕對(duì)值的和并供給該和作為圖像內(nèi)編碼的估計(jì)值到預(yù)測(cè)判決電路54。
相應(yīng)于前后、后向和雙向預(yù)測(cè)誤差信號(hào)，運(yùn)動(dòng)矢量檢測(cè)電路50對(duì)每個(gè)幀預(yù)測(cè)方式和場(chǎng)預(yù)測(cè)方式計(jì)算當(dāng)前圖像宏方塊的信號(hào)Aij和預(yù)測(cè)圖像∑｜Aij-Bij｜宏方塊的信號(hào)Bij之間差值(Aij-Bij)的絕對(duì)值(或平方和)的和。如上所述，當(dāng)前圖像的運(yùn)動(dòng)矢量被施加于參考圖像產(chǎn)生預(yù)測(cè)圖像。當(dāng)該參考圖像暫時(shí)在當(dāng)前圖像之前時(shí)，數(shù)量∑｜Aij-Bij｜稱為前向預(yù)測(cè)誤差信號(hào)，而當(dāng)參考圖像暫時(shí)在當(dāng)前圖像之后時(shí)，數(shù)量∑｜Aij-Bij｜稱為后向預(yù)測(cè)誤差信號(hào)。當(dāng)預(yù)測(cè)圖像是暫時(shí)在參考圖像之前和之后的平均值時(shí)，作為運(yùn)動(dòng)補(bǔ)償，數(shù)量∑｜Aij-Bij｜稱為雙向預(yù)測(cè)誤差信。該電路50供給在每幀和場(chǎng)預(yù)測(cè)方式中的前向，后向和雙向預(yù)測(cè)誤差信號(hào)至預(yù)測(cè)判決電路54。
預(yù)測(cè)判決電路54根據(jù)在每幀和場(chǎng)預(yù)測(cè)方式中前向，后向和雙向預(yù)測(cè)誤差信號(hào)的估計(jì)值的最小值選擇內(nèi)編碼，前向圖像間預(yù)測(cè)，后向圖像間預(yù)測(cè)或雙向圖像間預(yù)測(cè)之一和幀預(yù)測(cè)方式或場(chǎng)預(yù)測(cè)方式之一。運(yùn)算單元53根據(jù)由預(yù)測(cè)判決電路54選擇的預(yù)測(cè)方式預(yù)測(cè)地編碼當(dāng)前的圖像，通過幀或場(chǎng)轉(zhuǎn)換電路52進(jìn)行處理。
運(yùn)動(dòng)矢量檢測(cè)電路50用于計(jì)算并提供與選擇的預(yù)測(cè)方式相關(guān)的運(yùn)動(dòng)矢量到可變長(zhǎng)度編碼電路58和運(yùn)動(dòng)補(bǔ)償電路64，下面將說明。
以上面描述的方法，在宏方塊基礎(chǔ)上的幀間差值(預(yù)測(cè)誤差)的絕對(duì)值的和從運(yùn)動(dòng)矢量檢測(cè)電路50施加到預(yù)測(cè)判決電路54。
運(yùn)算單元53對(duì)當(dāng)前圖像施加預(yù)測(cè)編碼數(shù)據(jù)，也稱為差值數(shù)據(jù)，到DCT方式轉(zhuǎn)換電路55，該電路適于對(duì)基于幀或基于場(chǎng)的正交變換之一處理當(dāng)前圖像。
DCT轉(zhuǎn)換電路55運(yùn)行比較編碼效率，當(dāng)用奇數(shù)場(chǎng)數(shù)據(jù)替換偶數(shù)場(chǎng)數(shù)據(jù)執(zhí)行對(duì)圖像宏方塊DCT操作，即如圖8A所示用于基于幀的正交變換時(shí)的編碼效率與當(dāng)用與偶數(shù)場(chǎng)數(shù)據(jù)分離的奇數(shù)場(chǎng)數(shù)據(jù)執(zhí)行對(duì)圖像宏方塊DCT操作，如圖8B所示用于基于場(chǎng)的正交變換時(shí)的效率。電路55的作用是選擇具有較高編碼效率的方式。
為了評(píng)價(jià)對(duì)基于幀正交變換的編碼效率，該DCT方式轉(zhuǎn)換電路55放置亮度宏方塊數(shù)據(jù)為隔行形式，如圖8A所示，并計(jì)算垂直互相相鄰的奇數(shù)場(chǎng)行信號(hào)和偶數(shù)場(chǎng)行信號(hào)之間的差值，并求出差值EFM的絕對(duì)值的和或該差值平方值的和。
E F M =Σj = 116Σj = i15｜o ( i , j ) - e ( i , j ) ｜ +Σj = i16Σj = i15｜ e ( i , j ) - o ( i + 1, j ) ｜]]>為了評(píng)價(jià)基于正交變換的編碼效率，該DCT方式轉(zhuǎn)換電路55設(shè)置亮度宏方塊數(shù)據(jù)為非隔行形式，如圖8B所示，并計(jì)算垂直相鄰奇數(shù)場(chǎng)行信號(hào)之間的差值和垂直相鄰偶數(shù)場(chǎng)行信號(hào)之間的差值，并求出差值EFD的絕對(duì)值的和或該差值平方值的和。
E F M =Σj = 116Σj = i15( ｜o i , j ) - o ( i + 1 , j ) ｜ + ｜e ( i , j ) - e ( i + 1 , j ) ｜… ( 2 )]]>該DCT轉(zhuǎn)換電路55把基于幀和基于場(chǎng)絕對(duì)值和之間的差值與預(yù)定的門限進(jìn)行比較，如果差值EFM-EFD小于預(yù)定門限，選擇基于幀的DCT變換。
如果在預(yù)測(cè)方式轉(zhuǎn)換電路52中選擇幀預(yù)測(cè)方式，則在DCT方式轉(zhuǎn)換電路55中選擇幀DCT方式的概率是高的。如果在預(yù)測(cè)方式轉(zhuǎn)換電路52中選擇場(chǎng)預(yù)測(cè)方式，則在DCT方式轉(zhuǎn)換電路55中選擇場(chǎng)DCT方式的概率是高的。然而，因?yàn)檫@是不必要的情況，預(yù)測(cè)方式轉(zhuǎn)換電路52設(shè)置這樣一種，方式該方式將給出預(yù)測(cè)誤差絕對(duì)值之和的最小值，而DCT方式轉(zhuǎn)換電路55設(shè)置這樣一種方式，該方式將給出最佳正交變換的編碼效率。
如果選擇基于幀的正交變換，也稱為幀DCT方式，則該DCT方式轉(zhuǎn)換電路55運(yùn)行保證四個(gè)亮度方塊Y1至Y4和兩個(gè)色差方塊Cb，Cr表示交替的或隔行的奇數(shù)和偶數(shù)場(chǎng)的行，如圖8A所示。
如果選擇基于場(chǎng)的正交變換，也稱為場(chǎng)DCT方式，則該DCT方式轉(zhuǎn)換電路55運(yùn)行保證每個(gè)亮度方塊僅表示一場(chǎng)，而且每個(gè)色差方塊具有隔開的，或非隔行的奇數(shù)和偶數(shù)場(chǎng)的行，如圖8B所示。
該DCT方式轉(zhuǎn)換電路55運(yùn)行輸出具有與選擇的DCT方式有關(guān)的結(jié)構(gòu)數(shù)據(jù)和輸出指示選擇DCT方式的DCT標(biāo)記符到可變長(zhǎng)度編碼電路58和運(yùn)動(dòng)補(bǔ)償電路64。
該DCT方式轉(zhuǎn)換電路55適當(dāng)?shù)毓┙o配置不同的圖像數(shù)據(jù)到圖6所示的DCT電路56，該電路用作于正交變換，它使用離散的余弦變換為DCT系數(shù)，并提供DCT系數(shù)數(shù)據(jù)到量化電路57，該電路根據(jù)傳輸緩沖器59中存儲(chǔ)的數(shù)據(jù)量選擇量化級(jí)，量化該系數(shù)數(shù)據(jù)，并施加量化的數(shù)據(jù)到可變長(zhǎng)度編碼電路58。
可變長(zhǎng)度編碼電路59還施加有來自量化電路57的量化級(jí)或量化標(biāo)度數(shù)據(jù)，來自預(yù)測(cè)判決電路54的預(yù)測(cè)方式數(shù)據(jù)，該數(shù)據(jù)指示所使用的圖像內(nèi)預(yù)測(cè)，前向預(yù)測(cè)，后向預(yù)測(cè)或雙向預(yù)測(cè)的那一種，和來自運(yùn)動(dòng)矢量檢測(cè)電路50的運(yùn)動(dòng)矢量數(shù)據(jù)。編碼電路58還從預(yù)測(cè)判決電路54接收預(yù)測(cè)標(biāo)記符數(shù)據(jù)，該標(biāo)記符數(shù)據(jù)包括指示使用的是幀預(yù)測(cè)方式或場(chǎng)預(yù)測(cè)方式的那一種方式的標(biāo)記符，和從DCT方式轉(zhuǎn)換電路55接收預(yù)測(cè)標(biāo)記符數(shù)據(jù)，該標(biāo)記符數(shù)據(jù)包括指示使用的是幀DCT方式或場(chǎng)DCT方式的那一種方式的標(biāo)記符。該信息被放置在編碼數(shù)據(jù)流的首部。
可變長(zhǎng)度編碼電路58用于根據(jù)從量化電路47提供的量化級(jí)數(shù)據(jù)，編碼量化的數(shù)據(jù)和使用可變長(zhǎng)度碼(例如霍夫曼碼)的首部信息，并輸產(chǎn)生的數(shù)據(jù)至傳輸緩沖器59。
量化的數(shù)據(jù)和量化級(jí)還提供給解除量化電路60，該電路用于解除量化使用量化級(jí)的量化的數(shù)據(jù)，并提供恢復(fù)的DCT系數(shù)數(shù)據(jù)到反DCT電路61，該電路運(yùn)行反變換DCT系數(shù)數(shù)據(jù)，產(chǎn)生恢復(fù)的差值數(shù)據(jù)并提供該恢復(fù)的差值數(shù)據(jù)到運(yùn)算單元62。
該運(yùn)算單元62把用以前編碼恢復(fù)的差值數(shù)據(jù)和作為運(yùn)動(dòng)補(bǔ)償?shù)慕獯a的參考圖像相組合，產(chǎn)生用于重建圖像的解碼數(shù)據(jù)，該圖像將被用于作為參考圖像，該圖像讀入到兩個(gè)幀存儲(chǔ)器63a，63b之一。存儲(chǔ)器63a，63b適于讀存儲(chǔ)在其內(nèi)的參考圖像數(shù)據(jù)到運(yùn)動(dòng)補(bǔ)償電路64，該電路使用來自運(yùn)動(dòng)矢量檢測(cè)電路50的運(yùn)動(dòng)矢量從參考圖像中產(chǎn)生預(yù)測(cè)圖像。具體地，該電路50使用運(yùn)動(dòng)矢量改變從存儲(chǔ)器63a或63b讀出的參考圖像的地址。
對(duì)于一組圖像來說，在第一幀I-圖像數(shù)據(jù)和第三幀P-圖像數(shù)據(jù)，被分別存儲(chǔ)在前向和后向預(yù)測(cè)圖像存儲(chǔ)器或單元63a，63b中，第二幀B-圖像數(shù)據(jù)由運(yùn)動(dòng)矢量檢測(cè)電路50處理。當(dāng)設(shè)定預(yù)測(cè)方式為幀內(nèi)預(yù)測(cè)方式，前向預(yù)測(cè)方式，后向預(yù)測(cè)方式和雙向預(yù)測(cè)方式之一，相應(yīng)于根據(jù)宏方塊預(yù)測(cè)誤差絕對(duì)值的和，預(yù)測(cè)判決電路54選擇幀或場(chǎng)預(yù)測(cè)方式。
因?yàn)椴皇褂弥貥?gòu)成B-圖像作為其它圖像的參考圖像，它不被存儲(chǔ)在幀存儲(chǔ)器63中。
應(yīng)當(dāng)明白，幀存儲(chǔ)器63有其前向和后向預(yù)測(cè)圖像單元63a，63b存儲(chǔ)單元根據(jù)需要交換，以便在單元63a或63b之一中存儲(chǔ)的圖像能被輸出作為一個(gè)前向預(yù)測(cè)或后向預(yù)測(cè)。
運(yùn)動(dòng)補(bǔ)償電路64運(yùn)行提供作為預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)至運(yùn)算單元62和運(yùn)算單元53，該運(yùn)算單元從當(dāng)前預(yù)測(cè)編碼P-圖像或B-圖像減去預(yù)測(cè)圖像。
更具體地，當(dāng)運(yùn)動(dòng)矢量檢測(cè)電路50從前向原始圖像單元51a接收對(duì)于I-圖像的圖像數(shù)據(jù)，預(yù)測(cè)判決電路54選擇幀內(nèi)預(yù)測(cè)方式并設(shè)置運(yùn)算單元53的開關(guān)53d到輸入接點(diǎn)a。這樣使得I-圖像數(shù)據(jù)直接地輸入到DCT方式轉(zhuǎn)換電路55。在這種情況下，不希望從運(yùn)動(dòng)補(bǔ)償電路64來預(yù)測(cè)圖像。該I-圖像數(shù)據(jù)還施加到前向預(yù)測(cè)圖像單元63a。
當(dāng)由預(yù)測(cè)判決電路54選擇前向預(yù)測(cè)方式時(shí)，電路54還設(shè)置開關(guān)53d到輸入接點(diǎn)b，該接點(diǎn)便得運(yùn)算單元53a從存儲(chǔ)器51讀出的圖像中減去由運(yùn)動(dòng)補(bǔ)償電路64產(chǎn)生的預(yù)測(cè)圖像，對(duì)于以逐像素為基礎(chǔ)各宏塊產(chǎn)生差值數(shù)據(jù)。在編碼和本地解碼之后，P-圖像被施加到單元63a，63b的其中之一。例如，如圖P-圖像立即跟隨I-圖像，那么P-圖像被存儲(chǔ)在后向預(yù)測(cè)圖像單元63b。
對(duì)于前向預(yù)測(cè)編碼來說，預(yù)測(cè)圖像是從幀存儲(chǔ)器63的前向預(yù)測(cè)圖像單元63a讀出的參考I-圖像或P-圖像，并根據(jù)從運(yùn)動(dòng)矢量檢測(cè)電路50輸出的運(yùn)動(dòng)矢量由運(yùn)動(dòng)補(bǔ)償電路64進(jìn)行運(yùn)動(dòng)補(bǔ)償。更具體地，對(duì)于每個(gè)宏方塊，運(yùn)動(dòng)補(bǔ)償電路64以相應(yīng)于由運(yùn)動(dòng)矢量檢測(cè)電路50當(dāng)前輸出的運(yùn)動(dòng)矢量的量值移位前向預(yù)測(cè)圖像單元63a的讀出地址。
當(dāng)由預(yù)測(cè)判決電路54選擇后向預(yù)測(cè)方式時(shí)，該電路54還設(shè)置開關(guān)53d至輸入接點(diǎn)c，該接點(diǎn)使得運(yùn)算電路53b從存儲(chǔ)器51讀出的圖像中，以逐像素為基礎(chǔ)，減去由運(yùn)動(dòng)補(bǔ)償電路64產(chǎn)生的預(yù)測(cè)圖像，以便產(chǎn)生差值數(shù)據(jù)。
對(duì)于后向預(yù)測(cè)編碼來說，預(yù)測(cè)圖像是從幀存儲(chǔ)器63的后向預(yù)測(cè)圖像單元63b讀出的P-圖像和根據(jù)從運(yùn)動(dòng)矢量檢測(cè)電路50輸出的運(yùn)動(dòng)矢量由運(yùn)動(dòng)補(bǔ)償電路64補(bǔ)償?shù)倪\(yùn)動(dòng)(圖像)。更體具地，對(duì)于每個(gè)宏方塊，運(yùn)動(dòng)補(bǔ)償電路64以相應(yīng)于由運(yùn)動(dòng)矢量檢測(cè)電路50當(dāng)前輸出運(yùn)動(dòng)矢量的量值移位后向預(yù)測(cè)圖像單元63b的讀出地址。
當(dāng)由預(yù)測(cè)判決電路54選擇雙向預(yù)測(cè)方式時(shí)，電路54設(shè)置開關(guān)53d至輸入接點(diǎn)d，使得運(yùn)算單元53c從存儲(chǔ)器51讀出的圖像中，以逐像素為基礎(chǔ)，減去預(yù)測(cè)圖像，以便產(chǎn)生差值數(shù)據(jù)。該預(yù)測(cè)圖像是前向預(yù)測(cè)圖像和后向預(yù)測(cè)圖像的平均值。
在雙向預(yù)測(cè)的情況下，在前后預(yù)測(cè)圖像單元63a存儲(chǔ)的圖像和在后向預(yù)測(cè)圖像單元63b存儲(chǔ)的圖像被讀出并由運(yùn)動(dòng)補(bǔ)償電路64根據(jù)從運(yùn)動(dòng)矢量檢測(cè)電路50輸出的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償。更具體地，對(duì)于每個(gè)宏方塊，運(yùn)動(dòng)補(bǔ)償電路64以相應(yīng)于由運(yùn)動(dòng)矢量檢測(cè)電路50當(dāng)前輸出的運(yùn)動(dòng)矢量適當(dāng)?shù)囊粋€(gè)運(yùn)動(dòng)矢量的量值，移位前向和后向預(yù)測(cè)圖像單元63a，63b的讀出地址。
傳輸緩沖器59暫時(shí)地存儲(chǔ)施加到其上的數(shù)據(jù)，產(chǎn)生一個(gè)指示在其上存儲(chǔ)數(shù)據(jù)量的控制數(shù)據(jù)并提供該控制信號(hào)到量化電路57。當(dāng)在該傳輸緩沖器內(nèi)存儲(chǔ)的數(shù)據(jù)量達(dá)到預(yù)定的上限值時(shí)，來自傳輸緩沖器59的控制數(shù)據(jù)使得顯化電路57的量化標(biāo)度增加，以便降低量比數(shù)據(jù)的量值。類似地，當(dāng)傳輸緩沖器59中存儲(chǔ)的數(shù)據(jù)量達(dá)到預(yù)定的低限值時(shí)，來自傳輸緩沖器59的控制數(shù)據(jù)使得量化電路的量化標(biāo)度降低，以便增加量化數(shù)據(jù)的量值。以這種方法，傳輸緩沖器59防止加到其上的數(shù)據(jù)上溢或下溢其容量。在傳輸緩沖器59中存儲(chǔ)的數(shù)據(jù)以預(yù)定的時(shí)序讀出到輸出端69，并且然后到作為記錄在例如記錄介質(zhì)3上的傳輸信道。
雖然主要參照亮度方塊已進(jìn)行了前面的描述，而色差方塊類似地被處理，并利用運(yùn)動(dòng)矢量傳送，該運(yùn)動(dòng)矢量相應(yīng)于在垂直和水平方向兩個(gè)方向平分的亮度方塊的運(yùn)動(dòng)矢量。
圖9表示圖4所示的解碼器31。
從記錄介質(zhì)3傳送的再生編碼圖像被施加到接收電路(未示出)或到輸入端80，該輸入端80施加編碼的圖像數(shù)據(jù)到接收緩沖器81，該緩沖器用于暫時(shí)地存儲(chǔ)編碼的圖像數(shù)據(jù)，并提供該數(shù)據(jù)到解碼電路90的可變長(zhǎng)度解碼電路82。
可變長(zhǎng)度解碼電路82作用于可變長(zhǎng)度解碼編碼的數(shù)據(jù)，以輸出恢復(fù)的運(yùn)動(dòng)矢量、預(yù)測(cè)方式數(shù)據(jù)，預(yù)測(cè)標(biāo)記符和DCT，標(biāo)記符到運(yùn)動(dòng)補(bǔ)償電路87，并輸出量化等級(jí)數(shù)據(jù)和可變長(zhǎng)度解碼圖像數(shù)據(jù)，包括預(yù)測(cè)方式，運(yùn)動(dòng)矢量，預(yù)測(cè)標(biāo)記符，DCT標(biāo)記符的可變長(zhǎng)度解碼的圖像數(shù)據(jù)和量化圖像數(shù)據(jù)到反量化電路83。
反量化電路83適于根據(jù)從可變長(zhǎng)度解碼電路82提供的量化級(jí)數(shù)據(jù)解除從可變長(zhǎng)度解碼電路82提供的圖像數(shù)據(jù)，并輸出這樣的恢復(fù)的系數(shù)數(shù)據(jù)到反變換IDCT電路84。
該IDCT電路84適于根據(jù)恢復(fù)的系數(shù)數(shù)據(jù)執(zhí)行反變換，產(chǎn)生恢復(fù)的差值數(shù)據(jù)，并提供恢復(fù)的差值數(shù)據(jù)到運(yùn)算單元85。
如果從IDCT電路84提供的恢復(fù)的差值數(shù)據(jù)代表I-圖像，則運(yùn)算單元85就不處理該數(shù)據(jù)，并簡(jiǎn)單地通過輸出端91施加到圖4所示的格式變換電路32，和幀存儲(chǔ)器86的前向預(yù)測(cè)圖像單元86a。
如果從IDCT電路84提供的恢復(fù)的差值數(shù)據(jù)代表前向預(yù)測(cè)方式產(chǎn)生的P-圖像的一個(gè)宏方塊，存儲(chǔ)在幀存儲(chǔ)器86的前向預(yù)測(cè)圖像存儲(chǔ)器86a中前面幀的參考圖像數(shù)據(jù)被讀出并由運(yùn)動(dòng)補(bǔ)償電路87根據(jù)來自可變長(zhǎng)度解碼電路82輸出的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，產(chǎn)生預(yù)測(cè)圖像。具體地，運(yùn)動(dòng)補(bǔ)償電路87使用運(yùn)動(dòng)矢量改變施加到存儲(chǔ)器86a的讀出地址。運(yùn)算單元85加預(yù)測(cè)圖像到恢復(fù)的差值數(shù)據(jù)，產(chǎn)生解碼的或重構(gòu)的圖像，該圖像存儲(chǔ)在幀存儲(chǔ)器86的后向預(yù)測(cè)圖像存儲(chǔ)器86b中。解碼的P-圖像保持在解碼器31中，并且在下一個(gè)B-圖像被解碼并輸出之后輸出，以便以加到圖4編碼器18的次序恢復(fù)圖像。
甚至如果P-圖像的宏方塊被編碼為碼內(nèi)編碼方式數(shù)據(jù)，解碼的P-圖像也直接地被存儲(chǔ)在后向預(yù)測(cè)圖像單元86b，而無需通過運(yùn)算單元85輸出到輸出端91。
如果從IDCT電路84提供的恢復(fù)的差值數(shù)據(jù)代表圖像內(nèi)預(yù)測(cè)方式編碼的B-圖像的宏方塊，根據(jù)從可變長(zhǎng)度解碼電路82提供到運(yùn)動(dòng)補(bǔ)償電路87的預(yù)測(cè)方式確定，則不產(chǎn)生預(yù)測(cè)圖像。
如果從IDCT電路84提供的恢復(fù)的差值數(shù)據(jù)代表前向預(yù)測(cè)方式中編碼的B-圖像的宏方塊，根據(jù)從可變長(zhǎng)度解碼電路82提供到運(yùn)動(dòng)補(bǔ)償電路87的預(yù)測(cè)方式確定，在幀存儲(chǔ)器86的前向預(yù)測(cè)圖像單元86a中存儲(chǔ)的數(shù)據(jù)被讀出并且由運(yùn)動(dòng)補(bǔ)償電路87使用從可變長(zhǎng)度解碼電路82提供的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，以便形成預(yù)測(cè)圖像。運(yùn)算單元85把恢復(fù)的差值數(shù)據(jù)與預(yù)測(cè)圖像相加，以便形成恢復(fù)的B-圖像。
如果從IDCT電路84提供的恢復(fù)的差值數(shù)據(jù)代表后向預(yù)測(cè)方式中編碼的B-圖像的宏方塊，根據(jù)從可變長(zhǎng)度解碼電路82提供到運(yùn)動(dòng)補(bǔ)償電路87的預(yù)測(cè)方式確定，在后向預(yù)測(cè)圖像單元86b中存儲(chǔ)的數(shù)據(jù)被讀出并且由運(yùn)動(dòng)補(bǔ)償電路87使用從可變長(zhǎng)度解碼電路82提供的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，以便形成預(yù)測(cè)圖像。運(yùn)算單元85把恢復(fù)的差值數(shù)據(jù)與預(yù)測(cè)圖像相加，以便形成恢復(fù)的B-圖像。
如果從IDCT電路84提供的恢復(fù)的差值數(shù)據(jù)代表雙向預(yù)測(cè)方式中編碼的B-圖像的宏方塊，根據(jù)從可變長(zhǎng)度解碼電路82的供到運(yùn)動(dòng)補(bǔ)償電路87的預(yù)測(cè)方式確定，在前向和后向預(yù)測(cè)圖像存儲(chǔ)器86a，86b存儲(chǔ)的數(shù)據(jù)被讀出并且由運(yùn)動(dòng)補(bǔ)償電路87使用從可變長(zhǎng)度編碼電82提供的運(yùn)動(dòng)矢量分別進(jìn)行運(yùn)動(dòng)補(bǔ)償，然后平均形成預(yù)測(cè)圖像。運(yùn)算單元85把恢復(fù)的差值數(shù)據(jù)與預(yù)測(cè)圖像相加，以便形成恢復(fù)的B-圖像。
經(jīng)輸出端91提供恢復(fù)的B-圖像到格式變換電路32。但是，因?yàn)锽-圖像不被利用為其它圖像產(chǎn)生預(yù)測(cè)圖像，它不被存儲(chǔ)在幀存儲(chǔ)器86中。
在B-圖像輸出之后，在后向預(yù)測(cè)圖像單元86b存儲(chǔ)的P-圖像的圖像數(shù)據(jù)被讀出并經(jīng)運(yùn)動(dòng)補(bǔ)償電路87施加到運(yùn)算單元85。這時(shí)不執(zhí)行運(yùn)動(dòng)補(bǔ)償。
連接到圖6中編碼器18中的預(yù)測(cè)方式轉(zhuǎn)換電路52和DCT轉(zhuǎn)換電路55的計(jì)數(shù)部分電路在解碼器31中沒有示出。由這些電路執(zhí)行處理，即由運(yùn)動(dòng)補(bǔ)償電路87執(zhí)行處理，處理恢復(fù)的配置，在該配置中奇數(shù)場(chǎng)行信號(hào)和偶數(shù)場(chǎng)行信號(hào)被互相分離為這樣一種配置，在這種配置中奇數(shù)和偶數(shù)場(chǎng)行信號(hào)互相交替。
在前面已經(jīng)說明了亮度信號(hào)的處理。因?yàn)楸绢I(lǐng)域的普通技術(shù)人員明白，以類似的方法，實(shí)現(xiàn)色差信號(hào)的處理。然而，在這種情況下利用的運(yùn)動(dòng)矢量是用于亮度信號(hào)的運(yùn)動(dòng)矢量，該信號(hào)在垂直和水平方向兩個(gè)方向被平分。
根據(jù)上述的描述，對(duì)圖像信號(hào)的常規(guī)的編碼和解碼方法有可能使用兩個(gè)參考預(yù)測(cè)圖進(jìn)雙向預(yù)測(cè)，但是，要求的存儲(chǔ)器容量是相對(duì)地大。已經(jīng)認(rèn)識(shí)到，如果預(yù)測(cè)被限制到使用單個(gè)參考預(yù)測(cè)圖像的前向或后向預(yù)測(cè)，有可能降低存儲(chǔ)器容量，但是，恢復(fù)的圖像質(zhì)量也降低了。
常規(guī)的編碼和解碼方法也有缺點(diǎn)，用于使用雙向預(yù)測(cè)產(chǎn)生的比特流的解碼器不能解碼僅使用前向或后向預(yù)測(cè)產(chǎn)生的比特流。
因此，本發(fā)明的目的是提供一種用于對(duì)圖像信號(hào)的編碼和解碼方法和設(shè)備，避免了現(xiàn)有技術(shù)中前述的一些缺點(diǎn)。
本發(fā)明的另一個(gè)目的是提供編碼的比特流，該比特流能被具有單個(gè)參考圖像存儲(chǔ)器容量的解碼器解碼，和還能被具有兩個(gè)圖像存儲(chǔ)器容量的另一種解碼器解碼，以便產(chǎn)生比由較小存儲(chǔ)器容量的解碼器產(chǎn)生的較高質(zhì)量的解碼圖像。
本發(fā)明的進(jìn)一步的目的是提供一種編碼的比特流，該比特流能被不能雙向解碼的解碼器解碼，而且還能被能夠雙向解碼的另一種解碼器解碼，以便產(chǎn)生比用不能雙向解碼的解碼器產(chǎn)生的較高質(zhì)量的解碼圖像。
本發(fā)明還有另一個(gè)目的是有效地提供代表一串圖像的編碼的比特流。
根據(jù)本發(fā)明的一個(gè)方面，用于發(fā)送圖像組信號(hào)的方法和設(shè)備通過參考第一部分中的預(yù)測(cè)圖像信號(hào)的前向預(yù)測(cè)編碼，編碼該圖像組信號(hào)的第一部分，產(chǎn)生一個(gè)第一比特流，和通過參考第一部分中的圖像信號(hào)的前向和后向預(yù)測(cè)編碼之一種編碼方法，編碼在第一部分中不包括的圖像組信號(hào)的圖像信號(hào)。以便產(chǎn)生一個(gè)第二比特流。第一和第二比特流并行發(fā)送。
根據(jù)本發(fā)明的另一個(gè)方面，通過參考第一部分的圖像信號(hào)的雙向預(yù)測(cè)編碼還編碼在第一部分中不包括的圖像組信號(hào)的圖像信號(hào)，以便產(chǎn)生第三比特流，第三比特流與第一和第二比特流并行發(fā)送。
根據(jù)本發(fā)明的一個(gè)方面，第一和第二編碼的比特流構(gòu)成第一和第二編碼的圖像信號(hào)。第一編碼的圖像信號(hào)通過參考來自第一編碼圖像信號(hào)解碼的先前的解碼圖像信號(hào)的前向預(yù)測(cè)解碼而被解碼，產(chǎn)生第一解碼圖像信號(hào)，和通過參考第一解碼的圖像信號(hào)的前向和后向預(yù)測(cè)解碼解出第二編碼的圖像信號(hào)，產(chǎn)生第二編碼圖像信號(hào)。然后組合第一和第二解碼圖像信號(hào)。
根據(jù)本發(fā)明的另一個(gè)方面，第三編碼比特流構(gòu)成第三編碼圖像信號(hào)，這些信號(hào)通過參考所述第二解碼圖像信號(hào)的雙向預(yù)測(cè)解碼而被解碼，以便產(chǎn)生第三解碼圖像信號(hào)。然后組合第一和第三解碼圖像信號(hào)。
用于第一和第二比特流的第一類型解碼器需要僅具有一個(gè)圖像幀容量的存儲(chǔ)器，和它不需要雙向預(yù)測(cè)解碼的能力。
用于第一和第三比特流的第二類型解碼器需要具有兩個(gè)圖像幀容量的存儲(chǔ)器，和必須具有雙向預(yù)測(cè)解碼的能力。但是，第二類型解碼器產(chǎn)生比第一類型解碼器具有較高質(zhì)量解碼圖像。
這樣，本發(fā)明允許根據(jù)本發(fā)明編碼的圖像信號(hào)解碼器具有可互換性，該圖像信號(hào)能被具有不同存儲(chǔ)器容量和復(fù)雜性的解碼器解碼。
通過參見附圖對(duì)本發(fā)明優(yōu)選實(shí)施例的如下詳細(xì)描述，本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)將更明顯，在附圖中相同標(biāo)號(hào)的相應(yīng)部分是等同的。
圖1A和1B是說明幀間相關(guān)的圖像;
圖2A和2B是說明在預(yù)測(cè)編碼中使用的圖像類型的圖;
圖3是說明圖像信號(hào)是如何變換為用于傳輸?shù)木幋a數(shù)據(jù)的圖;
圖4是表示用于編碼和解碼圖像信號(hào)常規(guī)設(shè)備的方框圖;
圖5是涉及說明圖4所示格式變換電路工作的圖;
圖6是表示圖4所示設(shè)備的編碼器的方框圖;
圖7是涉及說明圖6所示編碼器的預(yù)測(cè)編碼工作圖表;
圖8是涉及說明圖6所示編碼器的正交變換工作的圖表;
圖9是表示圖4所示設(shè)備的解碼器的方框圖;
圖10是涉及說明本發(fā)明中前向預(yù)測(cè)的圖表;
圖11是涉及說明本發(fā)明中雙向預(yù)測(cè)的圖表;
圖12是涉及說明本發(fā)明實(shí)施例中產(chǎn)生的三個(gè)比特流的圖表;
圖13是表示根據(jù)本發(fā)明實(shí)施例的編碼器的方框圖;
圖14是表示根據(jù)本發(fā)明實(shí)施例的解碼器的方框圖;
圖15是涉及說明本發(fā)明實(shí)施例中產(chǎn)生的比特流的圖表;
圖16是表示優(yōu)先斷點(diǎn)技術(shù)應(yīng)用于圖15所示比特流的圖表;
圖17是涉及說明在本發(fā)明的另一個(gè)實(shí)施例中產(chǎn)生的三個(gè)比特流的圖表;
圖18是表示根據(jù)本發(fā)明另一個(gè)實(shí)施的編碼器的方框圖;
圖19是表示根據(jù)本發(fā)明另一個(gè)實(shí)施例的解碼器的方框圖;
圖20是涉及說明在本發(fā)明的另一個(gè)實(shí)施例中產(chǎn)生的比特流的圖表;和圖21是說明優(yōu)選斷點(diǎn)技術(shù)應(yīng)用于圖20所示比特流的圖表。
本發(fā)明編碼一系列圖像，以便僅具有一幀存儲(chǔ)器容量和不能雙向解碼和后向預(yù)測(cè)解碼的第一類型解碼器能解出編碼的比特流，和具有多幀存儲(chǔ)器容量和能夠雙向解碼和后向預(yù)測(cè)解碼的第二類型解碼器能解碼編碼的比特流，以便產(chǎn)生較高質(zhì)量的解碼圖像系列。
編碼的比特流包括三條并行編碼圖像數(shù)據(jù)信道。第一信道包括所有其它的圖像和對(duì)第二和第二信道共有的信息頭信息。第二信道包括在第一信道沒有代表的和由前向和后向預(yù)測(cè)編碼之一編碼的圖像。應(yīng)當(dāng)注意到，在下面的描述中，由前向或后向預(yù)測(cè)編碼的編碼圖像可包括用內(nèi)編碼(intra-coding)的宏塊。第三信道包括在第一信道沒有代表的和由雙向預(yù)測(cè)編碼的圖像。應(yīng)當(dāng)注意到，在下面描述中，由雙向預(yù)測(cè)編碼編碼的圖像可能包括由內(nèi)編碼的前向預(yù)測(cè)編碼或后向預(yù)測(cè)編碼的宏方塊。第一類型的解碼器使用第一和第二信道，而第二類型的解碼器使用第一和第三信道。這樣，根據(jù)本發(fā)明的比特流允許解碼器具有可互換性。
圖10表示一個(gè)圖像序列，其中僅使用前向預(yù)測(cè)并且圖像間距離等于1。僅需要一個(gè)參考圖像暫時(shí)地在當(dāng)前圖像之前，即該圖像順序僅包括I-圖像和P-圖像，僅用前向預(yù)測(cè)獲得P-圖像。顯然，僅需要一個(gè)圖像存儲(chǔ)器編碼和解碼該序列。
圖11表示一個(gè)圖像的序列，其中使用前向和雙向預(yù)測(cè)，即由I-圖像，P-圖像和B圖像構(gòu)成該圖像順序。對(duì)于雙向預(yù)測(cè)需要兩個(gè)參考圖像。傳統(tǒng)地，如圖6和9所示，利用前向預(yù)測(cè)圖像存儲(chǔ)器和后向預(yù)測(cè)圖像存儲(chǔ)器編碼和解碼這個(gè)序列。
現(xiàn)在將描述本發(fā)明的實(shí)施例，其中編碼器編碼圖像系列，以便它能被第一類型解碼器或第二類型解碼器解碼，第一類型解碼器具有單個(gè)預(yù)測(cè)圖像存儲(chǔ)器和僅能圖像內(nèi)和前向預(yù)測(cè)解碼，第二類型解碼器具有兩個(gè)預(yù)測(cè)圖像存儲(chǔ)器和能夠圖像內(nèi)、前向、后向和雙向預(yù)測(cè)編碼。
圖12表示根據(jù)本發(fā)明的比特流。這里，一組圖像包括11幀。
第一幀被指定為圖像內(nèi)編碼并稱為I1。在原始序列中奇數(shù)標(biāo)號(hào)幀的余部被指定為前向預(yù)測(cè)編碼和稱為P3，P5，……P11。第一傳輸信道，信道0，包含編碼的比特流部分，比特流A，代表奇數(shù)標(biāo)號(hào)的幀I1，P3，P3，……P11。在比特流A中的圖像之間的距離是幀數(shù)N，N分離比特流中的連續(xù)圖像，用N＝2。
其余的幀，即原始序列的偶數(shù)標(biāo)號(hào)的幀分別代表每個(gè)第二和第三傳輸信道，信道1和2，它們與信道0可互換地組合。
在第二信道，通過參考第一信道中暫時(shí)在先幀的前向預(yù)測(cè)編碼得到原始序列的偶數(shù)標(biāo)號(hào)的幀，并稱為比特流B，包括幀P′，P′2，P′4，…P′4。顯然，使用比特流A的圖像作為參考圖像，預(yù)測(cè)比特流A的圖像和比特流B的圖像。
在第三信道，通過參考第一信道中暫時(shí)在先的幀和暫時(shí)在后的幀的雙向預(yù)測(cè)編碼得到原始順序的偶數(shù)標(biāo)號(hào)的幀，并稱為比特流C，包括幀B，B2，B4…B10。第一幀B是通過從前面圖像組中比特流A中的幀和當(dāng)前圖像組比特流A中的幀獲得的。顯然，除了比特流A的每組的最后圖像之外，比特流A的每一個(gè)圖像被用于預(yù)測(cè)比特流A的一個(gè)圖像和比特流c的兩個(gè)圖像的參考圖像。
在解碼器中需要存儲(chǔ)器的數(shù)量取決于構(gòu)成解碼的圖像序列被組合的比特流的數(shù)量。如第一和第二比特流被組合，解碼器僅需一幀的存儲(chǔ)器容量。
在解碼器中需要的預(yù)測(cè)能力取決于構(gòu)成解碼的圖像序列被組合的比特流的能力。具體地，如比特流A和B被解碼，解碼器僅需要能夠圖像內(nèi)編碼和前向預(yù)測(cè)編碼，而不需要后向或雙向預(yù)測(cè)編碼。因此，解碼器可能是比較簡(jiǎn)單和生產(chǎn)不昂貴。
圖13表示根據(jù)本發(fā)明的編碼器的方框圖，該編碼器用于僅使用前向預(yù)測(cè)編碼一系列圖像為圖12的比特流A和B。在圖13與圖6中所示的那些等同的部件用相同標(biāo)號(hào)表示，并省略對(duì)其描述。
圖13中所示的編碼器有單個(gè)幀存儲(chǔ)器，幀存儲(chǔ)器163的前向預(yù)測(cè)圖像單元63a。圖13的編碼器包括一個(gè)具有一個(gè)開關(guān)53e的運(yùn)算單元153，而且當(dāng)選擇開關(guān)53e的輸入接點(diǎn)a時(shí)適于執(zhí)行圖像內(nèi)預(yù)測(cè)，而當(dāng)選擇開關(guān)53e的輸入接點(diǎn)b時(shí)適于前向預(yù)測(cè)。
以圖12所示的序列P′1，P′2，P′3，P′4，P′5…執(zhí)行編碼。經(jīng)傳輸信道1發(fā)送的比特流B的圖像數(shù)據(jù)不在本地解碼，因?yàn)檫@些圖像不被用于預(yù)測(cè)另一個(gè)圖像。首先，以與圖6所示編碼器使用相同方法編碼圖像I1。量化電路57施加代表圖像I1的量化系數(shù)數(shù)據(jù)到可變長(zhǎng)度編碼電路58和反量化電路60。反量化電路60和IDCT電路61本地地解碼量化系數(shù)并提供恢復(fù)的數(shù)據(jù)到幀存儲(chǔ)器163。
然后編碼圖像P′2，使用與圖6所示編碼器相同的方法，而本地解碼的圖像I1，作為預(yù)測(cè)圖像存儲(chǔ)在幀存儲(chǔ)器163中。量化電路57提供代表圖像P′2的量化系數(shù)數(shù)據(jù)僅到可變長(zhǎng)度編碼電路58而不到反量化電路60，以便本地解碼圖像I1保持在幀存儲(chǔ)器163。
然后以與圖6所示編碼器相同的方法編碼圖像P3，本地解碼的圖像I1作為預(yù)測(cè)圖像存儲(chǔ)在幀存儲(chǔ)器163。量化電路57提供代表圖像P3的量化系數(shù)數(shù)據(jù)到可變長(zhǎng)度編碼電路58和反量化電路60。反量化電路60，IDCT電路61和運(yùn)算單元162本地解碼P3的量化系數(shù)并把恢復(fù)的數(shù)據(jù)加到幀存儲(chǔ)器163。
圖像組中其余圖像的編碼以類似方法實(shí)現(xiàn)。這樣看到的編碼序列中I1，P′2，P′3，P′4，P5…。
分離電路70分離從傳輸緩沖器59提供的組合的比特流為經(jīng)傳輸信道0傳輸?shù)谋忍亓鰽和用于經(jīng)傳輸信道1傳輸?shù)谋忍亓鰾。
為了編碼圖像為比特流A和比特流C，該編碼器必須具有足夠的存儲(chǔ)器容量，用于存儲(chǔ)兩個(gè)本地解碼的參考圖像，如圖6所示，即前向預(yù)測(cè)圖像單元63a和后向預(yù)測(cè)圖像單元63b。編碼的順序是I1，P3，B2，P5，B4，P7，但是，在本發(fā)明中，圖6的編碼器被修改為包括一個(gè)分離電路，在傳輸緩沖器59之后，用于分離從傳輸緩沖器59提供的組合比特流為用于經(jīng)傳輸信道0傳輸?shù)谋忍亓鰽和用于經(jīng)傳輸信道2傳輸?shù)谋忍亓鰿并提供合適的時(shí)延，以便在解碼期間比特流A的參考圖像適當(dāng)?shù)乜捎糜诒忍亓鰿的圖像。如果比特流A、B和C并行傳輸，分離電路僅發(fā)送比特流C到傳輸信道2。
圖14表示根據(jù)本發(fā)明解碼器190的方框圖，該解碼器用于解碼一系列圖像，僅使用圖像內(nèi)和前向預(yù)測(cè)解碼解碼，該系列圖像被編為圖12所示的比特流A和B。在圖14中，等同于圖9所示的那些部件用相同的標(biāo)號(hào)表示，并省略其描述。
解碼器190有一個(gè)僅存儲(chǔ)單個(gè)圖像容量的幀存儲(chǔ)器186，即前向預(yù)測(cè)圖像單元86a。經(jīng)不同信道發(fā)送的比特流A和B施加到復(fù)用器79，把它們復(fù)接產(chǎn)生組合比特流A+B并提供這個(gè)比特流到接收緩沖器81。然后按照?qǐng)D9示解碼器所說明的相同的方法執(zhí)行解碼。然而，比特流B的解碼圖像沒有放置在幀存儲(chǔ)器186。
為了解碼比特流A和C，解碼器必須有兩個(gè)參考圖像存儲(chǔ)器并且能夠雙向預(yù)測(cè)編碼，例如，圖9所示的解碼器。但是，本發(fā)明中圖9的解碼器被修改，在接收緩沖器81之前包括一個(gè)復(fù)用器，用于經(jīng)不同信道發(fā)送的復(fù)用比特流A和C，產(chǎn)生一個(gè)組合比特流A+C。
現(xiàn)在更詳細(xì)地研究比特流，得提供用于改進(jìn)其效率的技術(shù)。
根據(jù)所謂的同時(shí)廣播即并行，在發(fā)送中出現(xiàn)的比特流如圖15所示。
在傳輸信道0上的整個(gè)圖像I，P，P…用比特流A表示。每個(gè)圖像有一個(gè)圖像首部PH，一個(gè)片(slice)首部SH和一個(gè)宏方塊首部，MBH，根據(jù)等級(jí)圖像結(jié)構(gòu)編碼格式。每個(gè)宏塊包括運(yùn)動(dòng)矢量數(shù)據(jù)MV，預(yù)測(cè)方式數(shù)據(jù)和DCT系數(shù)數(shù)據(jù)DOEF。參照?qǐng)D6的上述描述，根據(jù)所施加的其它數(shù)據(jù)，由VLC電路58產(chǎn)生首部信息。
在比特流A中沒有表示出的其余圖像以比特流B表示，作為在傳輸信道1上的圖像P′，P′，…。P′圖像數(shù)據(jù)在結(jié)構(gòu)上等同于前面所述比特流A的圖像數(shù)據(jù)，并參考數(shù)據(jù)流A的圖像通過預(yù)測(cè)產(chǎn)生。
沒有表示在比特流A中的其余圖像也以比特流C表示，作為傳輸信道2上的圖像B′，B′，…。該B圖像數(shù)據(jù)在結(jié)構(gòu)上等同于上面描述的比特流A或B的圖像數(shù)據(jù)，并且參考比特流A的兩個(gè)解碼圖像通過預(yù)測(cè)產(chǎn)生。兩個(gè)解碼圖像暫時(shí)地圍繞各自的B圖像。
通過解碼在分離信道上發(fā)送的比特流A和B再生圖像I，P′，P，P′，P…。解碼使用了一種單個(gè)圖像存儲(chǔ)器，因?yàn)閮H使用了前向預(yù)測(cè)編碼，在圖15的比特流A和B的宏方塊中用FW表示。
如果比特流B代替比特流C，可再生在不同信道上發(fā)送的圖像I，B，P，B，P，…。為了解碼，需要兩具圖像存儲(chǔ)器，因?yàn)槭褂玫氖请p向預(yù)測(cè)解碼，在圖15的比特流C的宏方塊中用BI-DIR表示。
現(xiàn)在將解釋用于提高同時(shí)廣播比特流的編碼效率的技術(shù)，這里稱為優(yōu)先斷點(diǎn)(PBP)技術(shù)。
圖16表示應(yīng)用PBP技術(shù)之后的同時(shí)廣播比特流。
圖16的比特流A包括圖15所示的信息，而且還包括用于在比特流A沒有表示的圖像的公開首部信息CH，即在比特流B和C每一個(gè)比特流中表示的圖像。具體地，公共首部信息CH包括對(duì)于上面就圖15所描述的比特流B和C圖像的圖像和片(slice)首部，該首部對(duì)于比特流B和C是公共的。每一個(gè)片首部包括指示被發(fā)送的信息達(dá)到的點(diǎn)的PBP信息。
根據(jù)變化的PBP信息，它有可能在信道0內(nèi)發(fā)送，僅首部信息或?qū)τ诒忍亓鰾和C中的每個(gè)宏方塊發(fā)送到運(yùn)動(dòng)矢量。對(duì)于比特流B和C來說其余的信息分別在信道1和2發(fā)送。在圖16所示的舉例中，PBP信息指示執(zhí)行對(duì)每個(gè)宏方塊的傳輸達(dá)到片首部。在本實(shí)施例中的編碼器包括對(duì)同時(shí)廣播系統(tǒng)上面描述的編碼器，進(jìn)行修改，以便使其分離電路不僅分離編碼數(shù)據(jù)，而且加PBP信息到每個(gè)片首部。
在等級(jí)編碼格式中比在比特流A中未表示的P′圖像的宏方塊層更低的數(shù)據(jù)(不包括公共首部)被表示在比特流B，其序列為P′，P′，P′…。
在等級(jí)編碼格式中比在比特流A中未表示的B圖像的宏方塊層更低的數(shù)據(jù)(不包括公共首部)被表示在比特流C，其序列為B，B，B…。
根據(jù)解碼比特流A和B再生圖像I，P′，P，P′，P……。P′圖像首部的信息從解碼的比特流A中提取，而低于宏方塊層的數(shù)據(jù)從比特流B解碼。解碼僅需要單個(gè)圖像存儲(chǔ)器，因?yàn)閮H執(zhí)行圖像內(nèi)和前向預(yù)測(cè)解碼。
如果比特流C由比特流B代替，通過解碼比特流A和C再生圖像I，B，P，B，P，…。對(duì)于B圖像的首部信息從解碼的比特流A提取，而宏方塊層以下的數(shù)據(jù)從比特流C解碼。解碼需要兩個(gè)圖像存儲(chǔ)器，因?yàn)榭赡苁菆?zhí)行雙向預(yù)測(cè)解碼，除了別的之外。
現(xiàn)在將描述本發(fā)明的另一個(gè)實(shí)施例，其中編碼器編碼圖像系列，以便它能被第一類型解碼器或第二類型解碼器解碼，第一類型解碼器有一個(gè)預(yù)測(cè)圖像存儲(chǔ)器并僅能夠進(jìn)行圖像內(nèi)，前向和后向預(yù)測(cè)解碼，第二類型解碼器有兩個(gè)預(yù)測(cè)圖像存儲(chǔ)器和能雙向預(yù)測(cè)解碼。
圖17表示根據(jù)本發(fā)明的另一個(gè)比特流，它類似于圖12所示的比特流，但用后向預(yù)測(cè)編碼來自比特流A的圖像產(chǎn)生表示在比特流B的圖像除外。比特流B和C與比特流A可互換地組合，以便解碼圖像系列。
圖18表示根據(jù)本發(fā)明的編碼器的方塊圖，該編碼器用于編碼圖像系列為圖17的比特流A和B，僅使用圖像內(nèi)，前向和后向預(yù)測(cè)。在圖18中，等同于圖6所示的那些部件用相同的標(biāo)號(hào)表示，并且省略了對(duì)其描述。
圖18中所示的編碼器有一個(gè)包括預(yù)測(cè)圖像單元63c的單個(gè)幀存儲(chǔ)器263。圖18的編碼器18包括一個(gè)具有開關(guān)53的運(yùn)算單元253，和當(dāng)選擇開關(guān)53的輸入接點(diǎn)a時(shí)，適于圖像內(nèi)預(yù)測(cè)，當(dāng)選擇開關(guān)53的接點(diǎn)b時(shí)，適于前向預(yù)測(cè)，當(dāng)選擇開關(guān)53的接點(diǎn)c時(shí)，適于后向預(yù)測(cè)。
以圖17所示的序列I1，P′，P3，P′2，P5，P′4…執(zhí)行編碼。經(jīng)傳輸信道1發(fā)送的對(duì)于比特流B的圖像數(shù)據(jù)本地不被解碼，因?yàn)檫@些圖像不用于預(yù)測(cè)另外的圖像。首先，圖像I1以與圖6所示編碼器所用相同的方法被編碼。量化電路57提供代表圖像I1的量化系數(shù)數(shù)據(jù)到可變長(zhǎng)度編碼電路58和到反量化電路60。反量化電路60和IDCT電路61本地解碼量化系數(shù)并提供恢復(fù)的數(shù)據(jù)到幀存儲(chǔ)器263。
然后使用與圖6所示編碼器相同的方法圖像P′被編碼，本地解碼的圖像I1作為預(yù)測(cè)圖像存儲(chǔ)在幀存儲(chǔ)器263中。量化電路57提供代表圖像P′的量化系數(shù)數(shù)據(jù)僅到可變長(zhǎng)度編碼電路58而不到反量化電路，以便本地解碼的圖像I1保存在幀存儲(chǔ)器263。
然后使用與圖6所示編碼器相同的方法對(duì)圖像P3編碼，而本地解碼的圖像I1作為預(yù)測(cè)圖像存儲(chǔ)在幀存儲(chǔ)器263中。量化電路57提供代表圖像P′的量化系數(shù)數(shù)據(jù)到可變長(zhǎng)度編碼電路58和到反量化電路60。反是化電路60，IDCT電路61和運(yùn)算單元162本地解碼P3的量化系數(shù)并提供恢復(fù)的數(shù)據(jù)到幀存儲(chǔ)器263。
圖像組中其余圖像的編碼以類似的方式實(shí)現(xiàn)。
用這種方法，用圖18所示的安排，產(chǎn)生比特流，該比特流由僅產(chǎn)生于圖像內(nèi)和前向預(yù)測(cè)的比特流A和僅產(chǎn)生于后向預(yù)測(cè)的比特流B組成。
分離電路70分離從傳輸緩沖器59提供的比特流為經(jīng)傳輸信道0傳輸?shù)谋忍亓鰽和經(jīng)傳輸信道1傳輸?shù)谋忍亓鰾。
為了編碼圖像為比特流A和比特流C，該編碼器必須有足夠的存儲(chǔ)容量，用于存儲(chǔ)兩個(gè)本地解碼的預(yù)測(cè)圖像，例如，如圖6所示，即前向預(yù)測(cè)圖像單元63a和后向預(yù)測(cè)圖像單元63b。但是，在本發(fā)明中，圖6的編碼器被修改，以便在傳輸緩沖器59包括一個(gè)分離電路，該分離電路用于分離從傳輸緩沖器59提供的組合比特流為在傳輸信道0上傳輸?shù)谋忍亓鰽和經(jīng)傳輸信道2傳輸?shù)谋忍亓鰿。如果比特流A、B和C并行傳送，分離電路僅發(fā)送比特流C到傳輸信道2。編碼的序列是I1，B，P3，B2，P5，B4，P7。
圖9表示根據(jù)本發(fā)明的解碼器290的方框圖，該解碼器用于解碼編碼的圖像系列，僅使用圖像內(nèi)，前向和后向預(yù)測(cè)解碼，解碼為圖17的比特流A和B。在圖19中，等同于圖9所示的那些部件用相同標(biāo)號(hào)表示，并省略對(duì)其描述。
解碼器290有一個(gè)只具有單個(gè)圖像容量的幀存儲(chǔ)器286，即預(yù)測(cè)圖像單元86c。經(jīng)不同信道發(fā)送的比特流A和B被施加到適于復(fù)接它們產(chǎn)生組合比特流A+B的復(fù)用器79，并提供這個(gè)比特流到接收緩沖器81。以如圖9所示對(duì)解碼器說明的相同的方法執(zhí)行解碼。但是，比特流B的解碼的圖像不被放置在幀存儲(chǔ)器286。
為了解碼比特流A和C，解碼器必須有兩個(gè)參考圖像存儲(chǔ)器并能夠雙向預(yù)測(cè)解碼，例如圖9的解碼器。但是，在本發(fā)明中圖9的解碼器被修改，以便在接收緩沖器之前包括一個(gè)復(fù)用器，該復(fù)用器用于復(fù)接在不同信道上發(fā)送的比特流A和C，產(chǎn)生一個(gè)組合比特流A+C。
根據(jù)本發(fā)明的比特流按照所謂的同時(shí)廣播系統(tǒng)發(fā)送。圖20中的比特流類似于圖15所示的那些和上面所討論的那些，除了比特流B包括由后向預(yù)測(cè)編碼產(chǎn)生的系數(shù)數(shù)據(jù)，用20的比特流B的宏方塊內(nèi)用BW表示系數(shù)數(shù)據(jù)。
只使用單個(gè)圖像存儲(chǔ)器就可解碼圖20的比特流A和B，因?yàn)椴皇褂秒p向預(yù)測(cè)解碼。為了解碼圖20的比特流A和C，需要一個(gè)具有存儲(chǔ)兩個(gè)圖像容量的存儲(chǔ)器，因?yàn)槭褂秒p向預(yù)測(cè)解碼。
圖21表示圖20的同時(shí)廣播比特流，在PBP技術(shù)應(yīng)用之后，提高同時(shí)廣播比特流的編碼效率。圖21中的比特流類似于圖16所示的和上面討論的那些比特流，除去比特流B包括由后向預(yù)測(cè)編碼產(chǎn)生的系數(shù)數(shù)據(jù)，在圖21的比特流B的宏方塊中用BW表示。
雖然在這里參照附圖詳細(xì)地描述了本發(fā)明的實(shí)施例和各種修改，應(yīng)當(dāng)明白，本發(fā)明不限于這些具體實(shí)施例和描述的修改，本領(lǐng)域的普通技術(shù)人員可實(shí)現(xiàn)各種改變和進(jìn)一步的修改而不脫離所附權(quán)利要求書限定本發(fā)明的范圍或精神。
權(quán)利要求
1.一種發(fā)送圖像組信號(hào)的方法，包括步驟通過參考在所述第一部分中預(yù)測(cè)圖像信號(hào)的前向預(yù)測(cè)編碼，對(duì)所述圖像組信號(hào)的第一部分編碼，以便產(chǎn)生一個(gè)第一比特流；通過參考在所述第一部分圖像信號(hào)的前向和后向預(yù)測(cè)編碼之一，對(duì)在所述第一部分不包括的所述圖像組的圖像信號(hào)編碼，以便產(chǎn)生一個(gè)第二比特流；和并行發(fā)送所述第一比特流和所述第二比特流。
2.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括步驟通過參考在所述第一部分的圖像信號(hào)的雙向預(yù)測(cè)編碼，對(duì)在所述第一部分中不包括的所述圖像組的圖像信號(hào)編碼，以產(chǎn)生一個(gè)第三比特流;和與所述第一和第二比特流并行地發(fā)送所述第三比特流。
3.根據(jù)權(quán)利要求2的方法，進(jìn)一步包括步驟產(chǎn)生首部信息，用于所述第二比特流和所述第三比特流;放置所述首部信息的第一部分到所述第一比特流;和放置所述首部信息的其余部分到所述第二和第三比特流。
4.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括步驟產(chǎn)生用于所述第二比特流的首部信息;放置所述首部信息的第一部分到所述第一比特流;和放置所述首部信息的其余部分到所述第二比特流。
5.根據(jù)權(quán)利要求1的方法，其中所述圖像組信號(hào)的所述第一部分包括每個(gè)第N個(gè)所述圖像組信號(hào)，N是整數(shù)。
6.一種發(fā)送圖像組信號(hào)的方法，包括步驟通過參考所述第一部分中在先的圖像信號(hào)的前向預(yù)測(cè)編碼，對(duì)所述圖像組信號(hào)的第一部分編碼，以產(chǎn)生一個(gè)第一比特流;通過參考所述第一部分中的圖像信號(hào)的雙向預(yù)測(cè)編碼，對(duì)在所述第一部分不包括的所述圖像組的圖像信號(hào)編碼，以產(chǎn)一個(gè)第二比流特;和并行發(fā)送所述第一比特流和所述第二比特流。
7.根據(jù)權(quán)利要求6的方法，進(jìn)一步包括步驟產(chǎn)生用于所述第二比特流的首部信息;放置所述首部信息的第一部分到所述第一比特流;和放置所述首部信息的剩余部分到所述第二比特流。
8.用于發(fā)送圖像組信號(hào)的設(shè)備，包括通過參考在所述第一部分中的預(yù)測(cè)圖像信號(hào)的前向預(yù)測(cè)編碼，用于對(duì)所述圖像組信號(hào)的第一部分編碼，以產(chǎn)生一個(gè)第一比特流的裝置;通過參考在所述第一部分中的圖像信號(hào)的前向和后向預(yù)測(cè)編碼之一，用于對(duì)在所述第一部不包括的所述圖像組信號(hào)的圖像信號(hào)編碼，以產(chǎn)生一個(gè)第二比特流的裝置;和用于并行發(fā)送所述第一比特流和所述第二比特流的裝置。
9.根據(jù)權(quán)利要求8的設(shè)備，進(jìn)一步包括通過參考在所述第一部分中的圖像信號(hào)的雙向預(yù)測(cè)編碼，用于對(duì)在所述第一部分不包括到所述圖像組的圖像信號(hào)編碼，以便產(chǎn)生一個(gè)第三比特流的裝置;和用于與所述第一和第二比特流并行發(fā)送第三比特流的裝置。
10.根據(jù)權(quán)利要求9的設(shè)備，進(jìn)一步包括用于對(duì)所述第二比特流及所述第三比特流產(chǎn)生首部信息的裝置;和用于放置所述首部信息的第一部分到所述第一比特流和放置所述首部信息的剩余部分到所述第二和第三比特流的裝置。
11.根據(jù)權(quán)利要求8的設(shè)備，進(jìn)一步包括用于對(duì)所述第二比特流產(chǎn)生首部信息的裝置;和用于放置所述首部信息的第一部分到所述第一比特流和用于放置所述首部信息的剩余部分到所述第二比特流的裝置。
12.根據(jù)權(quán)利要求8的設(shè)備，其中所述圖像組信息的所述第一部分包括每個(gè)第N個(gè)所述圖像組信號(hào)，N是整數(shù)。
13.用于發(fā)送圖像組信號(hào)的設(shè)備，包括通過參考在所述第一部分中在先的圖像信號(hào)的前向預(yù)測(cè)編碼，用于對(duì)所述圖像組信號(hào)的第一部分編碼，以產(chǎn)生一個(gè)第一比特流的裝置;通過參考所述第一部分中的圖像信號(hào)的雙向預(yù)測(cè)編碼，用于對(duì)在所述第一部分中不包括的所述圖像組的圖像信號(hào)編碼，以產(chǎn)生一個(gè)第二比特流的裝置;和用于并行發(fā)送所述第一比特流和所述第二比特流的裝置。
14.根據(jù)權(quán)利要求13的設(shè)備，進(jìn)一步包括用于對(duì)所述第二比特流產(chǎn)生首部信息的裝置;和用于放置所述首部信息的第一部分到所述第一比特流和用于放置所述首部信息的剩余部分到所述第二比特流的裝置。
15.一種產(chǎn)生代表原始圖像組信號(hào)的編碼圖像信號(hào)，其步驟為通過參考在所述第一部分中在先圖像信號(hào)的前向預(yù)測(cè)編碼，對(duì)原始圖像信號(hào)所述組的第一部分編碼，而產(chǎn)生一個(gè)第一比特流;通過參考在所述第一部分中的圖像信號(hào)的前向和后向預(yù)測(cè)編碼之一，對(duì)在所述第一部分沒有包括的原始圖像信號(hào)的所述組的圖像信號(hào)編碼，而產(chǎn)生一個(gè)第二比特流;和安排所述第一比特流和所述第二圖像信號(hào)并行，因此產(chǎn)生所述編碼圖像信號(hào)。
16.一種用于能解出第一和第二編碼圖像信號(hào)的方法，包括步驟組合所述第一和第二編碼圖像信號(hào);通過參考來自所述第一編碼的圖像信號(hào)解碼的在先解碼信號(hào)的前向預(yù)測(cè)解碼，對(duì)所述第一編碼圖像信號(hào)解碼，以產(chǎn)生第一解碼圖像信號(hào);和通過參考所述第一解碼圖像信號(hào)的前向和后向預(yù)測(cè)解碼之一，對(duì)所述第二編碼的圖像信號(hào)解碼，以產(chǎn)生第二解碼的圖像信號(hào)。
17.根據(jù)權(quán)利要求16的方法，進(jìn)一步包括步驟從所述第一編碼的圖像信號(hào)中提取用于所述第二編碼圖像信號(hào)的首部信息;和其中所述解碼所述第二編碼圖像信號(hào)的步驟使用提取的首部信息;
18.根據(jù)權(quán)利要求16的方法，其中解出所述第一編碼圖像信號(hào)的步驟把所述第一解碼圖像信號(hào)放到具有一幀容量的存儲(chǔ)器中;和解出所述第二編碼圖像信號(hào)的步驟讀取放置在所述存儲(chǔ)器中的第一解碼的圖像信號(hào)，以便解出所述第二編碼的圖像信號(hào)。
19.一種對(duì)第一和第二編碼圖像信號(hào)解碼的方法，其步驟包括組合所述第一和第二編碼圖像信號(hào);通過參考來自所述第一編碼圖像信號(hào)解碼的在先前碼圖像的前向預(yù)測(cè)解碼，解出所述第一編碼的圖像信號(hào)，以產(chǎn)生第一解碼圖像信號(hào);和通過參考所述第一解碼圖像信號(hào)的雙向預(yù)測(cè)解碼，解出所述第二編碼的圖像信號(hào)，以產(chǎn)生第二解碼的圖像信號(hào)。
20.根據(jù)權(quán)利要求19的方法，進(jìn)一步包括步驟從所述第一編碼的圖像信號(hào)中提取用于所述第二編碼圖像信號(hào)的首部信息;和其中所述解碼所述第二編碼圖像信號(hào)的步驟使用該提取的首部信息。
21.一種用于解出第一和第二編碼圖像信號(hào)的設(shè)備，包括通過參考來自所述第一編碼圖像信號(hào)解碼的先前解碼信號(hào)的前向預(yù)測(cè)解碼，用于對(duì)所述第一編碼圖像信號(hào)解碼，以產(chǎn)生第一解碼圖像信號(hào)的裝置;和通過參考所述第一解碼圖像信號(hào)的前向和后向預(yù)測(cè)解碼;用于對(duì)所述第二編碼圖像信號(hào)解碼，以產(chǎn)生第二解碼圖像信號(hào)的裝置。
22.根據(jù)權(quán)利要求21的設(shè)備，進(jìn)一步包括提取裝置，用于從所述第一編碼的圖像信號(hào)中提取對(duì)于所述第二編碼圖像信號(hào)的首部信息;和其中所述的用于解出所述第二編碼圖像信號(hào)的裝置使用所提取的首部信息，以譯出所述第二編碼圖像信號(hào)。
23.根據(jù)權(quán)利要求21的設(shè)備，進(jìn)一步包括一個(gè)具有一幀容量的存儲(chǔ)器;和其中所述的用于解出所述第一編碼圖像信號(hào)的裝置放置所述第一解碼圖像信號(hào)在所述存儲(chǔ)器中;和所述的用于解出所述第二編碼圖像信號(hào)的裝置讀出放置在所述存儲(chǔ)器中的第一解碼的圖像信號(hào)，以便解出所述第二編碼的圖像信號(hào)。
24.一種用于對(duì)第一和第二編碼圖像信號(hào)解碼的設(shè)備，包括用于組合所述第一和第二圖像信號(hào)的裝置;通過參考來自所述第一編碼的圖像信號(hào)解碼的先前解碼圖像信號(hào)的前向預(yù)測(cè)解碼，用于對(duì)所述第一編碼圖像信號(hào)解碼，以產(chǎn)生第一編碼圖像信號(hào)的裝置;和通過參考所述第一解碼圖像信號(hào)的雙向預(yù)測(cè)解碼，用于對(duì)所述第二編碼圖像信號(hào)解碼，以產(chǎn)生第二解碼圖像信號(hào)的裝置。
25.根據(jù)權(quán)利要求24的設(shè)備，進(jìn)一步包括提取裝置，用于從所述第一編碼圖像信號(hào)提取用于所述第二編碼圖像信號(hào)的首部信息;和其中所述的用于對(duì)所述第二編碼圖像信號(hào)解碼的裝置使用該提取的首部信息。
全文摘要
圖像序列被編碼，以便僅具有一幀存儲(chǔ)器和不能雙向解碼的第一類型解碼器能解出編碼的比特流，和具有多幀和能夠雙向解碼的第二類型解碼器能夠解出編碼的比特流，以便產(chǎn)生較高質(zhì)量的解碼圖像序列。編碼的比特流包括三個(gè)并行編碼圖像數(shù)據(jù)信道。
文檔編號(hào)H04N7/50GK1101478SQ94104818
公開日1995年4月12日 申請(qǐng)日期1994年3月15日 優(yōu)先權(quán)日1993年3月15日
發(fā)明者田原勝己, 矢崎陽一, 米滿潤(rùn) 申請(qǐng)人:索尼公司