專利名稱：具有運(yùn)動補(bǔ)償?shù)耐耆度胧絝gs視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到視頻編碼，尤其是涉及到這樣一種可擴(kuò)展性視頻編碼方案，它采用單個運(yùn)動補(bǔ)償環(huán)路來產(chǎn)生完全用精細(xì)可擴(kuò)展性(FGS)編碼方式編碼的雙向預(yù)測幀(B幀)或者預(yù)測幀和雙向預(yù)測幀(P幀和B幀)。
背景技術(shù)：
可擴(kuò)展性增強(qiáng)層視頻編碼已經(jīng)被用來壓縮在具有變化帶寬的計算機(jī)網(wǎng)絡(luò)(例如，因特網(wǎng))上傳送的視頻。采用FGS編碼技術(shù)(由ISO MPEG-4標(biāo)準(zhǔn)所采用)的當(dāng)前增強(qiáng)層視頻編碼方案在圖1中示出。正如我們可以看到的，該視頻編碼方案10包括以比特率RBL編碼的基于預(yù)測的基本層11以及以REL編碼的FGS增強(qiáng)層12。
基于預(yù)測的基本層11包括幀內(nèi)編碼的I幀、幀間編碼的P幀(它是使用運(yùn)動估計補(bǔ)償從前一個I或P幀暫時(temporally)預(yù)測出來的)以及幀間編碼的雙向B幀(它是使用運(yùn)動估計補(bǔ)償從與該B幀相鄰的前一個幀和后一個幀暫時(temporally)預(yù)測出來的。在基本層11中使用預(yù)測和/或內(nèi)插編碼(即，運(yùn)動估計和相應(yīng)的補(bǔ)償)降低了其中的時間冗余度，但是只能降低到有限的程度，因為只有基本層幀被用來預(yù)測。
增強(qiáng)層12包括通過從相應(yīng)的原始幀中減去它們相應(yīng)的重建基本層幀(這個減法也可發(fā)生在運(yùn)動補(bǔ)償域)從而得到的FGS增強(qiáng)層I、P和B幀。因此，增強(qiáng)層中的FGS增強(qiáng)層I、P和B幀是沒有經(jīng)過運(yùn)動補(bǔ)償?shù)摹?FGS余項在相同的時間段(time-instance)從幀中取出。)對此的主要理由是提供允許根據(jù)發(fā)送時的可用帶寬來單獨(dú)地截短每個FGS增強(qiáng)層幀的靈活性。更具體地，增強(qiáng)層12的精細(xì)可擴(kuò)展性編碼允許FGS視頻流在具有可用帶寬范圍從Rmin＝RBL到Rmax＝RBL+REL的任何網(wǎng)絡(luò)會話上被發(fā)送。例如，如果發(fā)送機(jī)和接收機(jī)之間的可用帶寬是B＝R，那么，發(fā)送機(jī)然后就以速率RBL發(fā)送基本層幀，而以速率REL＝R-RBL上只發(fā)送部分增強(qiáng)層幀。正如可以從圖1中看到的，增強(qiáng)層中的部分FGS增強(qiáng)層幀可以以精細(xì)可擴(kuò)展的方式進(jìn)行選擇以便傳送。因此，總的傳送比特率就是R＝RBL+REL，因為對于單個增強(qiáng)層，它具有支持大范圍傳送帶寬的靈活性。
圖2示出了用于對圖1的視頻編碼方案中的基本層11和增強(qiáng)層12進(jìn)行編碼的傳統(tǒng)FGS編碼器的框圖。正如我們可以看到的，第i幀的增強(qiáng)層余項(FGSR(i))等于MCR(i)-MCRQ(i)，其中，MCR(i)是第i幀的運(yùn)動補(bǔ)償余項，MCRQ(i)是量化和反量化過程以后第i幀的運(yùn)動補(bǔ)償余項。
雖然圖1中的當(dāng)前FGS增強(qiáng)層視頻編碼方案10是非常靈活的，但是它有這樣的缺點(diǎn)，即與工作于相同傳送比特率的不可擴(kuò)展編碼器功能相比，它在視頻圖像質(zhì)量方面的性能相對較低。圖像質(zhì)量的降低不是因為增強(qiáng)層12的精細(xì)可擴(kuò)展編碼，而主要是因為較少利用了增強(qiáng)層12內(nèi)FGS余項幀間的時間冗余。具體說，增強(qiáng)層12的FGS增強(qiáng)層幀僅僅是從它們相應(yīng)的基本層I、P和B幀的運(yùn)動補(bǔ)償余項衍生而來。沒有FGS增強(qiáng)層幀被用來預(yù)測增強(qiáng)層12中的其它FGS增強(qiáng)層幀或者基本層11中的其它幀。
因此，我們需要具有改善視頻圖像質(zhì)量的可擴(kuò)展性視頻編碼方案。

發(fā)明內(nèi)容
本發(fā)明涉及可擴(kuò)展視頻編碼方案，該方案采用單個運(yùn)動補(bǔ)償環(huán)路以便產(chǎn)生完全用精細(xì)可擴(kuò)展(FGS)編碼方案來編碼的雙向預(yù)測幀(B幀)或預(yù)測幀和雙向預(yù)測幀(P幀和B幀)。本發(fā)明的一個方面涉及到一種用于對視頻編碼的方法，包括如下步驟對未編碼的視頻進(jìn)行編碼以便產(chǎn)生擴(kuò)展基本層參考幀，該擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和從未編碼視頻和擴(kuò)展基本層參考幀中預(yù)測幀余項。
本發(fā)明的另一個方面涉及到一種用于對具有基本層流和增強(qiáng)層流的已壓縮視頻進(jìn)行解碼的方法，該方法包括如下步驟對基本層和增強(qiáng)層流進(jìn)行解碼以便產(chǎn)生擴(kuò)展基本層參考幀，該擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和從擴(kuò)展基本層參考幀中預(yù)測幀余項。
本發(fā)明的另一個方面涉及到一種用于對視頻進(jìn)行編碼的存儲介質(zhì)，該存儲介質(zhì)包括用于對未編碼視頻進(jìn)行編碼以便產(chǎn)生擴(kuò)展基本層參考幀的代碼，該擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從未編碼視頻和擴(kuò)展基本層參考幀中預(yù)測幀余項的代碼。
本發(fā)明的另一個方面涉及到一種用于對具有基本層流和增強(qiáng)層流的已壓縮視頻進(jìn)行解碼的存儲介質(zhì)，該存儲介質(zhì)包括用于對基本層和增強(qiáng)層流進(jìn)行解碼以便產(chǎn)生擴(kuò)展基本層參考幀的代碼，該擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從擴(kuò)展基本層參考幀中預(yù)測幀余項的代碼。
本發(fā)明的另一個方面涉及到一種用于對視頻進(jìn)行編碼的設(shè)備，該設(shè)備包括用于對未編碼視頻進(jìn)行編碼以便產(chǎn)生擴(kuò)展基本層參考幀的裝置，該擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從未編碼視頻和擴(kuò)展基本層參考幀中預(yù)測幀余項的裝置。
本發(fā)明的另一個方面涉及到一種用于對具有基本層流和增強(qiáng)層流的已壓縮視頻進(jìn)行解碼的設(shè)備，該設(shè)備包括用于對基本層和增強(qiáng)層流進(jìn)行解碼以便產(chǎn)生擴(kuò)展基本層參考幀的裝置，該擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從擴(kuò)展基本層參考幀中預(yù)測幀余項的裝置。


在考慮了現(xiàn)在要結(jié)合附圖進(jìn)行詳細(xì)描述的示意性實(shí)施例以后，本發(fā)明的優(yōu)點(diǎn)、特性以及各種附加特征將更完整地顯現(xiàn)出來，在整個附圖中，相同的附圖標(biāo)記表示相同的元件，附圖如下圖1示出了當(dāng)前的增強(qiáng)層視頻編碼方案；圖2示出了用于對圖1的視頻編碼方案的基本層和增強(qiáng)層進(jìn)行編碼的傳統(tǒng)編碼器的框圖；圖3A示出了根據(jù)本發(fā)明第一示范實(shí)施例的可擴(kuò)展性視頻編碼方案；圖3B示出了根據(jù)本發(fā)明第二示范實(shí)施例的可擴(kuò)展性視頻編碼方案；圖4示出了根據(jù)本發(fā)明示范實(shí)施例的編碼器的框圖，該編碼器可用于產(chǎn)生圖3A的可擴(kuò)展性視頻編碼方案；圖5示出了根據(jù)本發(fā)明示范實(shí)施例的編碼器的框圖，該編碼器可用于產(chǎn)生圖3B的可擴(kuò)展性視頻編碼方案；圖6示出了根據(jù)本發(fā)明示范實(shí)施例的解碼器的框圖，該解碼器可用于對由圖4的編碼器產(chǎn)生的壓縮過的基本層和增強(qiáng)層流進(jìn)行解碼；圖7示出了根據(jù)本發(fā)明示范實(shí)施例的解碼器的框圖，該解碼器可用于對由圖5的編碼器產(chǎn)生的壓縮過的基本層和增強(qiáng)層流進(jìn)行解碼；和圖8示出了可以用于實(shí)現(xiàn)本發(fā)明原理的系統(tǒng)的示范實(shí)施例。
具體實(shí)施例方式
圖3A示出了根據(jù)本發(fā)明第一示范實(shí)施例的可擴(kuò)展性視頻編碼方案30。該可擴(kuò)展性視頻編碼方案30包括基于預(yù)測的基本層31和基于預(yù)測的單環(huán)路增強(qiáng)層32。
基于預(yù)測的基本層31被編碼為包括幀內(nèi)編碼的I幀和幀間編碼的P幀，它們通常在基本層(不可擴(kuò)展)編碼期間從標(biāo)準(zhǔn)的基本層I和P參考幀中產(chǎn)生出來。在基本層不對幀間編碼的雙向B幀進(jìn)行編碼。
根據(jù)本發(fā)明的原理，基于預(yù)測的增強(qiáng)層32被編碼為包括幀間編碼的雙向B幀，它們是在基本層編碼期間從“擴(kuò)展的”或“增強(qiáng)的”基本層I和P或P和P參考幀(下文中，擴(kuò)展的基本層I和P參考幀)中經(jīng)運(yùn)動預(yù)測而來。每個擴(kuò)展的基本層參考幀包括標(biāo)準(zhǔn)基本層參考幀以及至少部分相關(guān)的增強(qiáng)層參考幀(可以使用相關(guān)增強(qiáng)層參考幀的一個或多個位平面或部分位平面)。
增強(qiáng)層32還被編碼為包括增強(qiáng)層I和P幀，它們通常是通過從它們相應(yīng)的原始基本層幀余項中減去它們相應(yīng)的重建(解碼的)基本層幀余項而產(chǎn)生的。增強(qiáng)層I、B和P幀可以用任何合適的可擴(kuò)展的編解碼器進(jìn)行編碼。例如，該可擴(kuò)展編解碼器可以是基于DCT的編解碼器(FGS)、基于小波變換的編解碼器或者任何其它嵌入式編解碼器。在圖3A示出的的實(shí)施例中，可擴(kuò)展編解碼器包括FGS。
因為本領(lǐng)域的普通技術(shù)人員將會理解，本發(fā)明的視頻編碼方案30改善了視頻的圖像質(zhì)量。這是因為視頻編碼方案30使用了擴(kuò)展基本層參考幀以便減少增強(qiáng)層B幀內(nèi)的時間冗余。
圖4示出了根據(jù)本發(fā)明示范實(shí)施例的編碼器40的框圖，該編碼器40可用于產(chǎn)生圖3A的可擴(kuò)展性視頻編碼方案。正如我們可以看到的，編碼器40包括基本層編碼器41和增強(qiáng)層編碼器42?；緦泳幋a器41包括運(yùn)動估計裝置43，它從存儲在幀存儲器60中的原始視頻序列以及基本層和擴(kuò)展基本層參考幀中產(chǎn)生運(yùn)動信息(運(yùn)動矢量和預(yù)測模式)。這個運(yùn)動信息然后被施加到運(yùn)動補(bǔ)償裝置44，運(yùn)動補(bǔ)償裝置44使用運(yùn)動信息和存儲在幀存儲器60中的傳統(tǒng)參考幀和擴(kuò)展基本層I和P參考幀以便產(chǎn)生傳統(tǒng)的經(jīng)過運(yùn)動補(bǔ)償?shù)幕緦訁⒖紟捅景l(fā)明的擴(kuò)展基本層I和P參考幀經(jīng)過運(yùn)動補(bǔ)償后的版本(全部用Ref(i)來表示)。第一減法器45從原始視頻序列中減去傳統(tǒng)的經(jīng)過運(yùn)動補(bǔ)償?shù)膮⒖紟瑥亩a(chǎn)生基本層I和P幀經(jīng)過運(yùn)動補(bǔ)償?shù)挠囗棥５谝粠髁靠刂圃O(shè)備62正是為基本層I和P幀經(jīng)過運(yùn)動補(bǔ)償?shù)挠囗椷x擇路由以便被離散余弦變換(DCT)編碼器46、量化器47和熵編碼器48處理，從而產(chǎn)生基本層I和P幀，它們形成了壓縮的基本層流的一部分。運(yùn)動估計裝置43產(chǎn)生的運(yùn)動信息還被施加到復(fù)用器49，它將運(yùn)動信息和基本層I和P幀組合起來從而完成壓縮的基本層流。基本層I和P幀經(jīng)過量化的運(yùn)動補(bǔ)償?shù)挠囗?MCR(i))在量化器47的輸出端產(chǎn)生，并且被反量化器50進(jìn)行反量化，然后被反向DCT解碼器51解碼。這個過程在反向DCT 51的輸出端產(chǎn)生了基本層I和P幀的經(jīng)過運(yùn)動補(bǔ)償?shù)挠囗椀牧炕?反量化版本(MCRQ(i))。在反向DCT 51輸出端的基本層I和P幀的經(jīng)過量化/反量化和運(yùn)動補(bǔ)償?shù)挠囗棻皇┘拥降谝患臃ㄆ?1，該加法器61將它們與相應(yīng)的經(jīng)過運(yùn)動補(bǔ)償?shù)幕緦訁⒖紟琑ef(i)相加，從而產(chǎn)生如上所述存儲在幀存儲器60中的傳統(tǒng)的基本層參考幀。
基本層I和P幀經(jīng)過量化/反量化和運(yùn)動補(bǔ)償?shù)挠囗椷€被施加到增強(qiáng)層編碼器42內(nèi)的第二減法器53。第二減法器53從相應(yīng)的基本層I和P幀經(jīng)過運(yùn)動補(bǔ)償?shù)挠囗椫袦p去基本層I和P幀經(jīng)過量化/反量化和運(yùn)動補(bǔ)償?shù)挠囗?，從而產(chǎn)生差分I和P幀余項。第二減法器53的輸出由FGS編碼器54或類似可擴(kuò)展編碼器進(jìn)行可擴(kuò)展編碼。FGS編碼器54使用傳統(tǒng)的DCT編碼，然后使用傳統(tǒng)的位平面DCT掃描和傳統(tǒng)的熵編碼，從而產(chǎn)生經(jīng)過可擴(kuò)展(FGS)編碼的I和P幀，它們形成了壓縮的增強(qiáng)層流的一部分。屏蔽設(shè)備(masking device)55取出經(jīng)過可擴(kuò)展編碼的I和P幀中的一個或多個已編碼的位平面，選擇性地使它們路由通過第一幀流量控制設(shè)備65，并將這數(shù)據(jù)施加到第二加法器56的第一輸入端57。由基本層編碼器41產(chǎn)生的，I和P幀的經(jīng)過運(yùn)動補(bǔ)償?shù)挠囗椀牧炕?反量化版本MCRQ(i)被進(jìn)一步施加到第二加法器56的第二輸入端58。通過將增強(qiáng)層已編碼的I和P幀的一個或多個已編碼位平面與相應(yīng)的I和P幀余項MCRQ(i)進(jìn)行累加，第二加法器56產(chǎn)生增強(qiáng)層I和P參考幀。由第二加法器56計算出的增強(qiáng)層I和P參考幀被施加到基本層編碼器41內(nèi)的第三加法器52。第三加法器52將增強(qiáng)層I和P參考幀與相應(yīng)的經(jīng)過運(yùn)動補(bǔ)償?shù)幕緦覫和P參考幀Ref(i)以及相應(yīng)的基本層I和P幀經(jīng)過量化/反量化和運(yùn)動補(bǔ)償?shù)挠囗椷M(jìn)行累加，從而產(chǎn)生擴(kuò)展的基本層I和P參考幀，它們被存儲在幀存儲器60中。
運(yùn)動補(bǔ)償裝置44使用存儲在幀存儲器60中的擴(kuò)展基本層I和P參考幀和運(yùn)動信息以便產(chǎn)生擴(kuò)展基本層I和P參考幀的經(jīng)過運(yùn)動補(bǔ)償?shù)陌姹尽５谝粶p法器45從原始視頻序列中減去經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層參考幀，從而產(chǎn)生經(jīng)過運(yùn)動補(bǔ)償?shù)腂幀余項。第一幀控制設(shè)備62將經(jīng)過運(yùn)動補(bǔ)償?shù)腂幀余項路由到增強(qiáng)層編碼器42的可擴(kuò)展(FGS)編碼器54，以便進(jìn)行可擴(kuò)展編碼。經(jīng)過可擴(kuò)展(FGS)編碼的B幀形成了壓縮的增強(qiáng)層流的余下部分。由運(yùn)動估計裝置43產(chǎn)生的屬于B幀的運(yùn)動信息還通過第三幀控制設(shè)備63被施加到增強(qiáng)層編碼器42內(nèi)的第二復(fù)用器64。第二復(fù)用器64將B幀運(yùn)動信息和增強(qiáng)層幀組合起來從而完成壓縮的增強(qiáng)層流。
圖6示出了根據(jù)本發(fā)明示范實(shí)施例的解碼器70的框圖，該解碼器70可用于對由圖4的編碼器40產(chǎn)生的壓縮過的基本層和增強(qiáng)層流進(jìn)行解碼。正如我們可以看到的，解碼器70包括基本層解碼器71和增強(qiáng)層解碼器72?；緦咏獯a器71包括解復(fù)用器73，它接收已編碼的基本層流并且將該流解復(fù)用為包含運(yùn)動信息的第一數(shù)據(jù)流75a和包含紋理信息的第二數(shù)據(jù)流75b。增強(qiáng)層解碼器72包括解復(fù)用器92，它接收已編碼的增強(qiáng)層流并且將該流解復(fù)用為包含紋理信息的第三數(shù)據(jù)流74a和包含運(yùn)動信息的第四數(shù)據(jù)流74b。運(yùn)動補(bǔ)償裝置76使用第四數(shù)據(jù)流74b中的運(yùn)動信息和存儲在相關(guān)基本層幀存儲器77中的擴(kuò)展基本層參考幀來重建經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層參考(I和p)幀。運(yùn)動補(bǔ)償裝置76使用第一數(shù)據(jù)流75a中的I和P運(yùn)動信息以及存儲在基本層幀存儲器77中的傳統(tǒng)基本層參考幀以便重建傳統(tǒng)的經(jīng)過運(yùn)動補(bǔ)償?shù)幕緦?I和P)參考幀。然后，經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層參考幀和傳統(tǒng)的經(jīng)過運(yùn)動補(bǔ)償?shù)幕緦訁⒖紟陀傻诙髁靠刂圃O(shè)備93處理，該處理過程將在下面進(jìn)行解釋。
第二數(shù)據(jù)流75b中的紋理信息被施加到基本層變長碼解碼器81以便解碼，還被施加到反向量化器82以便進(jìn)行反量化。反量化的系數(shù)被施加到反向離散余弦變換解碼器83，在這里，經(jīng)過反量化的碼被變換為施加到第一加法器78的第一輸入端80的基本層幀余項。第一加法器78將基本層P幀余項與它們相應(yīng)的經(jīng)過運(yùn)動補(bǔ)償?shù)幕緦訁⒖紟?由第二幀流量控制設(shè)備93有所選擇地路由到第一加法器的第二輸入端79)進(jìn)行累加，并且輸出經(jīng)過運(yùn)動補(bǔ)償?shù)腜幀。(基本層I幀余項由第一加法器78作為基本層I幀輸出。)由第一加法器78輸出的I和P基本層幀被存儲在基本層幀存儲器77中并且形成了傳統(tǒng)的基本層參考幀。此外，第一加法器78輸出的I和P幀可以有所選擇地輸出作為基本層視頻。
增強(qiáng)層解碼器72包括對壓縮的增強(qiáng)層流進(jìn)行解碼以便重建差分I和P幀余項以及B幀余項的FGS位平面解碼器84或類似可擴(kuò)展解碼器，所述差分I和P幀余項以及B幀余項被施加到第二加法器90。I和P幀差分余項還被第一幀流量控制設(shè)備85有所選擇地選路到屏蔽設(shè)備86，屏蔽設(shè)備86取出差分I和P幀余項中的一個或多個重建的增強(qiáng)層位平面(或其一部分)并將它們施加到第三加法器87的第一輸入端88。第三加法器87將I和P幀余項與相應(yīng)的基本層I和P幀(由基本層解碼器71在第三加法器87的第二輸入端89施加)進(jìn)行累加，以便重建擴(kuò)展基本層I和P參考幀，該擴(kuò)展基本層I和P參考幀被存儲在幀存儲器77中。
經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層I和P參考幀被第二幀流量控制設(shè)備93有所選擇地路由到第二加法器90，第二加法器90將經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層I和P參考幀與相應(yīng)的B幀余項和B幀運(yùn)動信息(在壓縮的增強(qiáng)層流中傳送)進(jìn)行累加，從而重建增強(qiáng)層B幀。
由基本層解碼器71的第一加法器78輸出的基本層I和P幀被第三幀流量控制設(shè)備91有所選擇地路由到第二加法器90，第二加法器90將增強(qiáng)層I和P幀與相應(yīng)的基本層I和P幀進(jìn)行累加從而產(chǎn)生增強(qiáng)的I和P幀。該增強(qiáng)的I和P幀以及增強(qiáng)層B由第二加法器90作為增強(qiáng)的視頻輸出。
圖3B示出了根據(jù)本發(fā)明第二示范實(shí)施例的可擴(kuò)展性視頻編碼方案100。第二實(shí)施例的可擴(kuò)展視頻編碼方案100只包括基于預(yù)測的單環(huán)路可擴(kuò)展層132，該層具有幀內(nèi)編碼的I幀；幀間編碼的、經(jīng)過運(yùn)動預(yù)測的P幀；以及幀間編碼的、經(jīng)過雙向運(yùn)動預(yù)測的B幀。在這個實(shí)施例中，所有的幀(I、P和B幀)都完全用可擴(kuò)展編解碼器進(jìn)行編碼。該可擴(kuò)展編解碼器可以是基于DCT(FGS)的、基于小波的、或者任何其它嵌入式編解碼器。P和B幀完全是在編碼期間從擴(kuò)展基本層I和P或者P和P參考幀經(jīng)過運(yùn)動預(yù)測而來。
本領(lǐng)域普通技術(shù)人員將會理解，排除基本層將使得這種編碼方案非常有效并且進(jìn)一步改善了視頻圖像質(zhì)量，因為它在增強(qiáng)層P和B幀中都降低了時間冗余。
圖5示出了根據(jù)本發(fā)明示范實(shí)施例的編碼器140的框圖，該編碼器140可用于產(chǎn)生圖3B的可擴(kuò)展性視頻編碼方案。正如我們可以看到的，圖5的編碼器140包括運(yùn)動補(bǔ)償和估計單元141以及可擴(kuò)展紋理編碼器142。運(yùn)動補(bǔ)償和估計單元141包括包含擴(kuò)展基本層I和P參考幀的幀存儲器60。運(yùn)動估計裝置43從原始的視頻序列以及存儲在幀存儲器60中的擴(kuò)展基本層I和P參考幀中產(chǎn)生運(yùn)動信息(運(yùn)動矢量和預(yù)測模式)。這個運(yùn)動信息然后被施加給移動補(bǔ)償裝置44和復(fù)用器49。運(yùn)動補(bǔ)償裝置44使用運(yùn)動信息和存儲在幀存儲器60中的擴(kuò)展基本層I和P參考幀來產(chǎn)生擴(kuò)展基本層I和P參考幀Ref(i)的經(jīng)過運(yùn)動補(bǔ)償?shù)陌姹尽p法器45從原始視頻序列中減去擴(kuò)展基本層參考幀Ref(i)經(jīng)過運(yùn)動補(bǔ)償?shù)陌姹緩亩a(chǎn)生經(jīng)過運(yùn)動補(bǔ)償?shù)膸囗桵CR(i)。
可擴(kuò)展紋理編碼器142包括傳統(tǒng)的FGS編碼器54或類似可擴(kuò)展編碼器。在FGS編碼器54的情況下，由基本層編碼器41的減法器45輸出的經(jīng)過運(yùn)動補(bǔ)償?shù)膸囗棻贿M(jìn)行DCT編碼、位平面DCT掃描以及熵編碼，從而產(chǎn)生壓縮的增強(qiáng)層(經(jīng)過FGS編碼的)幀。復(fù)用器49通過將壓縮的增強(qiáng)層幀和運(yùn)動估計裝置43產(chǎn)生的運(yùn)動信息組合起來從而產(chǎn)生壓縮的輸出流。屏蔽設(shè)備55取出增強(qiáng)層已編碼的I和P幀中的一個和多個已編碼的位平面并將它們施加到加法器52。加法器52將這個數(shù)據(jù)與相應(yīng)的經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層I和P參考幀Ref(i)進(jìn)行累加從而產(chǎn)生存儲在幀存儲器60中的新的擴(kuò)展基本層I和P參考幀。
對于視頻序列中的不同部分或者對于不同的視頻序列，本發(fā)明的可擴(kuò)展視頻編碼方案可以與圖1的當(dāng)前視頻編碼方案替換使用或者交換使用。此外，替換可以在圖3A、圖3B的可擴(kuò)展視頻編碼方案和圖1中的當(dāng)前視頻編碼方案、和/或在更早提到的相關(guān)未決美國專利申請中描述的視頻編碼方案和/或其它視頻編碼方案中進(jìn)行。這種視頻編碼方案的替換可以根據(jù)信道特性進(jìn)行，并且可以在編碼和傳送時進(jìn)行。此外，本發(fā)明的視頻編碼方案在編碼效率方面實(shí)現(xiàn)了很大的增進(jìn)，而在復(fù)雜性上只有微小增加(圖3A)或降低(圖3B)。
圖7示出了根據(jù)本發(fā)明示范實(shí)施例的解碼器170的框圖，該解碼器170可用于對由圖5的編碼器140產(chǎn)生的輸出流進(jìn)行解碼。正如我們可以看到的，解碼器170包括解復(fù)用器173，它接收已編碼的可擴(kuò)展流并將該流解復(fù)用為第一和第二數(shù)據(jù)流174和175。包括運(yùn)動信息(運(yùn)動矢量和預(yù)測模式)的第一數(shù)據(jù)流174被施加到運(yùn)動補(bǔ)償裝置176。運(yùn)動補(bǔ)償裝置176使用這個運(yùn)動信息和存儲在基本層幀存儲器177中的擴(kuò)展基本層I和P參考幀以便重建經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層I和P參考幀。
由解復(fù)用器173解復(fù)用的第二數(shù)據(jù)流175被施加到紋理解碼器172，該紋理解碼器172包括FGS位平面解碼器184或類似可擴(kuò)展解碼器，這些可擴(kuò)展解碼器將第二數(shù)據(jù)流175解碼以便重建I、P和B幀余項，該I、P和B幀余項被施加到第一加法器190。該I和P幀余項還通過幀流量控制設(shè)備185被施加到屏蔽設(shè)備186，該幀流量控制設(shè)備185取出I和P幀余項中的一個或多個已編碼位平面(或其一部分)并將它們施加到第二加法器187的第一輸入端188。第二加法器187將I和P幀余項數(shù)據(jù)與相應(yīng)的重建的經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層I和P幀(由運(yùn)動補(bǔ)償裝置176在第二加法器187的第二輸入端189處施加)進(jìn)行累加以便重建新的擴(kuò)展基本層I和P參考幀，該新的擴(kuò)展基本層I和P參考幀被存儲在幀存儲器177中。
經(jīng)過運(yùn)動補(bǔ)償?shù)臄U(kuò)展基本層I和P參考幀還被路由到第一加法器，第一加法器將它們與相應(yīng)的重建幀余項(來自FGS解碼器184)進(jìn)行累加以便產(chǎn)生增強(qiáng)的I、P和B幀，該I、P和B幀被第一加法器190輸出作為增強(qiáng)的視頻。
圖8示出了可以用于實(shí)現(xiàn)本發(fā)明原理的系統(tǒng)200的示范實(shí)施例。該系統(tǒng)200可以代表電視、機(jī)頂盒、桌面型電腦、膝上型電腦或掌上型電腦、個人數(shù)字助理(PDA)、諸如錄像機(jī)(VCR)之類的視頻/圖像存儲設(shè)備、數(shù)字視頻記錄設(shè)備(DVR)、TiVO設(shè)備等以及這些和其它設(shè)備中的一部分或其組合。系統(tǒng)200包括一個或多個視頻/圖像源201、一個或多個輸入/輸出設(shè)備202、處理器203和存儲器204。視頻/圖像源(一個或多個)201可以代表例如電視接收機(jī)、VCR或其它視頻/圖像存儲設(shè)備?？商鎿Q地，源(一個或多個)201可以代表用于在例如諸如因特網(wǎng)之類的全球計算機(jī)通信網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、地面廣播系統(tǒng)、電纜網(wǎng)、衛(wèi)星網(wǎng)、無線網(wǎng)或電話網(wǎng)以及這些或其它類型網(wǎng)絡(luò)中的一部分或其組合上從服務(wù)器(一個或多個)接收視頻的一個或多個網(wǎng)絡(luò)連接。
輸入/輸出設(shè)備202、處理器203和存儲器204可以在通信介質(zhì)205上通信。通信介質(zhì)205可以代表例如總線、通信網(wǎng)絡(luò)、電路的一個或多個內(nèi)部連接、電路卡和其它設(shè)備以及這些和其它通信介質(zhì)中的一部分或其組合。根據(jù)存儲在存儲器204中并由處理器203執(zhí)行的一個或多個軟件程序來處理來自源(一個或多個)201的輸入視頻數(shù)據(jù)從而產(chǎn)生提供給顯示設(shè)備206的輸出視頻/圖像。
在優(yōu)選實(shí)施例中，采用本發(fā)明原理的編碼和解碼可以通過由該系統(tǒng)執(zhí)行的計算機(jī)可讀代碼來實(shí)現(xiàn)。該代碼可以存儲在存儲器204中或者從諸如CD-ROM或軟盤之類的存儲介質(zhì)中讀出/下載。在其它實(shí)施例中，可以使用硬件電路替換或者結(jié)合軟件指令來實(shí)現(xiàn)本發(fā)明。例如，圖4-7中示出的元件也可以實(shí)現(xiàn)為分立的硬件元件。
雖然上面在具體實(shí)施例方面描述了本發(fā)明，但是應(yīng)該理解，本發(fā)明并不打算局限于這里公開的實(shí)施例。例如，除了DCT之外，還可以采用其它變換，包括但不局限于小波變換和匹配搜尋技術(shù)。這些以及所有其它這樣的修改和變化可以認(rèn)為是在所附權(quán)利要求書的范圍之內(nèi)。
權(quán)利要求
1.一種用于對視頻編碼的方法，包括如下步驟對未編碼視頻進(jìn)行編碼(41，141，42，142)以便產(chǎn)生擴(kuò)展基本層參考幀，擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和從未編碼視頻和擴(kuò)展基本層參考幀中產(chǎn)生幀余項(45)。
2.根據(jù)權(quán)利要求1的用于對視頻編碼的方法，還包括如下步驟用從由基于DCT的編解碼器或基于小波的編解碼器組成的組中選擇的可擴(kuò)展編解碼器對所述幀余項進(jìn)行編碼(54)以便產(chǎn)生增強(qiáng)層幀。
3.根據(jù)權(quán)利要求1的用于對視頻編碼的方法，還包括如下步驟用精細(xì)可擴(kuò)展編解碼器對所述幀余項進(jìn)行編碼(54)以便產(chǎn)生精細(xì)可擴(kuò)展的增強(qiáng)層幀。
4.根據(jù)權(quán)利要求1的用于對視頻編碼的方法，其中，所述幀余項包括B幀余項。
5.根據(jù)權(quán)利要求4的用于對視頻編碼的方法，其中，所述幀余項還包括P幀余項。
6.根據(jù)權(quán)利要求1的用于對視頻編碼的方法，其中，所述幀余項包括P幀余項。
7.一種用于對具有基本層流和增強(qiáng)層流的已壓縮視頻進(jìn)行解碼的方法，該方法包括如下步驟對基本層和增強(qiáng)層流進(jìn)行解碼(71，72，172)以便產(chǎn)生擴(kuò)展基本層參考幀，擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和從擴(kuò)展基本層參考幀中預(yù)測(78)幀余項。
8.根據(jù)權(quán)利要求7的用于對視頻進(jìn)行解碼的方法，還包括如下步驟用從由基于DCT的解碼或基于小波的解碼組成的組中選擇的可擴(kuò)展解碼(84)對所述幀余項進(jìn)行解碼。
9.根據(jù)權(quán)利要求8的用于對視頻進(jìn)行解碼的方法，還包括如下步驟從所述幀余項中產(chǎn)生增強(qiáng)層幀；和從基本層幀和增強(qiáng)層幀中產(chǎn)生(90)增強(qiáng)的視頻。
10.根據(jù)權(quán)利要求7的用于對視頻進(jìn)行解碼的方法，其中，所述幀余項包括B幀余項。
11.根據(jù)權(quán)利要求10的用于對視頻進(jìn)行解碼的方法，其中，所述幀余項還包括P幀余項。
12.根據(jù)權(quán)利要求7的用于對視頻進(jìn)行解碼的方法，其中，所述幀余項包括P幀余項。
13.一種用于對視頻進(jìn)行編碼的存儲介質(zhì)，該存儲介質(zhì)包括用于對未編碼視頻進(jìn)行編碼以便產(chǎn)生擴(kuò)展基本層參考幀的代碼(41，141，42，142)，擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從未編碼視頻和擴(kuò)展基本層參考幀中預(yù)測幀余項的代碼(45)。
14.根據(jù)權(quán)利要求13的用于對視頻編碼的存儲介質(zhì)，還包括用于對所述幀余項進(jìn)行可擴(kuò)展編碼的代碼(54)。
15.根據(jù)權(quán)利要求13的用于對視頻編碼的存儲介質(zhì)，還包括用于對所述幀余項進(jìn)行精細(xì)可擴(kuò)展編碼的代碼(54)。
16.根據(jù)權(quán)利要求13的用于對視頻編碼的存儲介質(zhì)，其中，所述幀余項包括B幀余項。
17.根據(jù)權(quán)利要求16的用于對視頻編碼的存儲介質(zhì)，其中，所述幀余項還包括P幀余項。
18.根據(jù)權(quán)利要求13的用于對視頻編碼的存儲介質(zhì)，其中，所述幀余項包括P幀余項。
19.一種用于對具有基本層流和增強(qiáng)層流的已壓縮視頻進(jìn)行解碼的存儲介質(zhì)，該存儲介質(zhì)包括用于對基本層和增強(qiáng)層流進(jìn)行解碼以便產(chǎn)生擴(kuò)展基本層參考幀的代碼(71，72，172)，擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從擴(kuò)展基本層參考幀中預(yù)測幀余項的代碼(78)。
20.根據(jù)權(quán)利要求19的用于對已壓縮視頻進(jìn)行解碼的存儲介質(zhì)，還包括對所述幀余項進(jìn)行可擴(kuò)展解碼的代碼(84)，該用于對可擴(kuò)展解碼的代碼是從由基于DCT的代碼或基于小波的代碼組成的組中選擇的。
21.根據(jù)權(quán)利要求20的用于對已壓縮視頻進(jìn)行解碼的存儲介質(zhì)，還包括用于從所述幀余項中產(chǎn)生增強(qiáng)層幀的代碼；和用于從基本層幀和增強(qiáng)層幀中產(chǎn)生增強(qiáng)視頻的代碼(90)。
22.根據(jù)權(quán)利要求19的用于對已壓縮視頻進(jìn)行解碼的存儲介質(zhì)，其中，所述幀余項包括B幀余項。
23.根據(jù)權(quán)利要求22的用于對已壓縮視頻進(jìn)行解碼的存儲介質(zhì)，其中，所述幀余項還包括P幀余項。
24.根據(jù)權(quán)利要求19的用于對已壓縮視頻進(jìn)行解碼的存儲介質(zhì)，其中，所述幀余項包括P幀余項。
25.一種用于對視頻進(jìn)行編碼的設(shè)備(40，140)，該設(shè)備包括用于對未編碼視頻進(jìn)行編碼以便產(chǎn)生擴(kuò)展基本層參考幀的裝置(41，141，42，142)，擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從未編碼視頻和擴(kuò)展基本層參考幀中預(yù)測幀余項的裝置(45)。
26.根據(jù)權(quán)利要求25的用于對視頻編碼的設(shè)備，還包括用于對所述幀余項進(jìn)行可擴(kuò)展編碼的裝置(54)。
27.根據(jù)權(quán)利要求25的用于對視頻編碼的設(shè)備，還包括用于對所述幀余項進(jìn)行精細(xì)可擴(kuò)展編碼的編碼器(54)。
28.根據(jù)權(quán)利要求25的用于對視頻編碼的設(shè)備，其中，所述幀余項包括B幀余項。
29.根據(jù)權(quán)利要求28的用于對視頻編碼的設(shè)備，其中，所述幀余項還包括P幀余項。
30.根據(jù)權(quán)利要求25的用于對視頻編碼的設(shè)備，其中，所述幀余項包括P幀余項。
31.一種用于對具有基本層流和增強(qiáng)層流的已壓縮視頻進(jìn)行解碼的設(shè)備(70，170)，該設(shè)備包括用于對基本層和增強(qiáng)層流進(jìn)行解碼以便產(chǎn)生擴(kuò)展基本層參考幀的裝置(71，72，172)，擴(kuò)展基本層參考幀中的每一個都包括基本層參考幀和至少一部分相關(guān)的增強(qiáng)層參考幀；和用于從擴(kuò)展基本層參考幀中預(yù)測幀余項的裝置(78)。
32.根據(jù)權(quán)利要求31的用于對已壓縮視頻進(jìn)行解碼的設(shè)備，還包括用于對所述幀余項進(jìn)行解碼的可擴(kuò)展解碼裝置(84)，該可擴(kuò)展解碼裝置是從由基于DCT的解碼裝置或基于小波的解碼裝置組成的組中選擇的。
33.根據(jù)權(quán)利要求32的用于對已壓縮視頻進(jìn)行解碼的設(shè)備，還包括用于從所述幀余項中產(chǎn)生增強(qiáng)層幀的裝置；和用于從基本層幀和增強(qiáng)層幀中產(chǎn)生(90)增強(qiáng)視頻的裝置。
34.根據(jù)權(quán)利要求31的用于對已壓縮視頻進(jìn)行解碼的設(shè)備，其中，所述幀余項包括B幀余項。
35.根據(jù)權(quán)利要求34的用于對已壓縮視頻進(jìn)行解碼的設(shè)備，其中，所述幀余項還包括P幀余項。
36.根據(jù)權(quán)利要求31的用于對已壓縮視頻進(jìn)行解碼的設(shè)備，其中，所述幀余項包括P幀余項。
全文摘要
一種可擴(kuò)展視頻編碼方案，它具有產(chǎn)生完全用可擴(kuò)展編解碼器進(jìn)行編碼的雙向預(yù)測幀(B幀)或者預(yù)測幀和雙向預(yù)測幀(P和B幀)的單個運(yùn)動補(bǔ)償環(huán)路。
文檔編號G06T9/00GK1636407SQ02815867
公開日2005年7月6日 申請日期2002年7月11日 優(yōu)先權(quán)日2001年8月15日
發(fā)明者M·范德沙亞 申請人:皇家飛利浦電子股份有限公司