專利名稱：過完備小波域中的視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及視頻編碼系統(tǒng)，更具體地說涉及過完備(overcomplete)小波域中的視頻編碼。
近年來，數(shù)據(jù)網(wǎng)絡(luò)上的多媒體內(nèi)容的實(shí)時(shí)流動已經(jīng)變成了日益常見的應(yīng)用。例如，比如新聞點(diǎn)播、實(shí)時(shí)網(wǎng)絡(luò)電視收視以及視頻會議之類的多媒體應(yīng)用經(jīng)常依賴于視頻信息的端對端流動。流視頻應(yīng)用系統(tǒng)一般包括視頻發(fā)射機(jī)，其編碼視頻信號并通過網(wǎng)絡(luò)將視頻信號發(fā)送給實(shí)時(shí)解碼并顯示該視頻信號的視頻接收機(jī)。
可量測的視頻編碼一般是許多多媒體應(yīng)用和業(yè)務(wù)的所希望的特征?？闪繙y性允許具有較低計(jì)算能力的處理器僅解碼視頻流的子集，而具有較高計(jì)算能力的處理器可解碼整個視頻流?？闪繙y性的另一個應(yīng)用是在具有可變傳輸帶寬的環(huán)境中。在那些環(huán)境中，具有較低訪問帶寬的接收機(jī)僅接收并解碼視頻流的子集，而具有較高訪問帶寬的接收機(jī)接收并解碼整個視頻流。
例如MPEG-2和MPEG-4的領(lǐng)先的視頻壓縮標(biāo)準(zhǔn)已經(jīng)采用了幾種視頻可量測性方法。在這些標(biāo)準(zhǔn)中已經(jīng)定義了時(shí)間、空間以及質(zhì)量(如信噪比或“SNR”)可量測性類型。這些方法一般包括基礎(chǔ)層(BL)和增強(qiáng)層(EL)。通常，視頻流的基礎(chǔ)層代表為解碼該流所需的最小數(shù)據(jù)量。流的增強(qiáng)層代表附加信息，其在由接收機(jī)來解碼時(shí)增強(qiáng)視頻信號顯示。
許多當(dāng)前的視頻編碼系統(tǒng)對基礎(chǔ)層采用運(yùn)動補(bǔ)償預(yù)測編碼以及對增強(qiáng)層采用離散余弦變換(DCT)殘差編碼。這一般稱為“運(yùn)動補(bǔ)償”DCT編碼(MC-DCT)。在這些系統(tǒng)中，利用運(yùn)動補(bǔ)償降低了時(shí)間冗余，并且通過變換編碼運(yùn)動補(bǔ)償?shù)臍埐罱档土丝臻g分辨率。然而，這些系統(tǒng)一般易于具有諸如誤差傳播(或漂移)以及缺乏真正的可量測性的問題。
本發(fā)明提供一種在過完備小波域中采用運(yùn)動預(yù)測的改進(jìn)的編碼系統(tǒng)。在一個方面，混合三維(3D)小波視頻編碼器對基礎(chǔ)層采用運(yùn)動補(bǔ)償DCT(MC-DCT)編碼以及對增強(qiáng)層采用過完備小波域中的3D帶內(nèi)運(yùn)動補(bǔ)償時(shí)間濾波(MCTF)或無約束MCTF(UMCTF)。
現(xiàn)在參考以下結(jié)合附圖的描述來更完全地理解本發(fā)明，其中

圖1示出了根據(jù)本發(fā)明的一個實(shí)施例的實(shí)例視頻傳輸系統(tǒng)；圖2示出了根據(jù)本發(fā)明的一個實(shí)施例的實(shí)例視頻編碼器；圖3示出了根據(jù)本發(fā)明的一個實(shí)施例的由過完備小波展開所產(chǎn)生的實(shí)例參考幀；圖4示出了根據(jù)本發(fā)明的一個實(shí)施例的實(shí)例視頻解碼器；圖5A和5B示出了根據(jù)本發(fā)明的一個實(shí)施例的實(shí)例視頻信息編碼；圖6示出了根據(jù)本發(fā)明的一個實(shí)施例的在過完備小波域中編碼視頻信息的實(shí)例方法；以及圖7示出了根據(jù)本發(fā)明的一個實(shí)施例的在過完備小波域中解碼視頻信息的實(shí)例方法。
以下所討論的圖1～7以及在本專利文獻(xiàn)中所描述的各種實(shí)施例僅僅作為說明，并且無論如何不應(yīng)構(gòu)成對本發(fā)明的范圍的限制。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明的原理可用任何適當(dāng)配置的視頻編碼器、視頻解碼器或其他裝置、設(shè)備或構(gòu)造來實(shí)現(xiàn)。
圖1示出了根據(jù)本發(fā)明的一個實(shí)施例的實(shí)例視頻傳輸系統(tǒng)100。在所示的實(shí)施例中，系統(tǒng)100包括流視頻發(fā)射機(jī)102、流視頻接收機(jī)104以及數(shù)據(jù)網(wǎng)絡(luò)106。在不脫離本發(fā)明的范圍的情況下可以采用視頻傳輸系統(tǒng)的其他實(shí)施例。
流視頻發(fā)射機(jī)102通過網(wǎng)絡(luò)106使視頻信息流到流視頻接收機(jī)104。流視頻發(fā)射機(jī)102也可以使音頻或其他信息流到流視頻接收機(jī)104。流視頻發(fā)射機(jī)102包括多種視頻幀源中的任何一種，其包括數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器、電視臺發(fā)射機(jī)、電纜網(wǎng)、或臺式個人計(jì)算機(jī)。
在所示的例子中，流視頻發(fā)射機(jī)102包括視頻幀源108、視頻編碼器110、編碼器緩沖器112以及存儲器114。視頻幀源108代表能夠產(chǎn)生或相反提供一序列未壓縮的視頻幀的任何設(shè)備或構(gòu)造，諸如電視天線及接收單元、盒式放像機(jī)、攝像機(jī)、或能夠存儲“未加工的”視頻片段的磁盤存儲設(shè)備。
未壓縮的視頻幀以給定的畫面速度(或“流速度”)進(jìn)入視頻編碼器110，并被視頻編碼器110壓縮。然后視頻編碼器110將該壓縮的視頻幀發(fā)送給編碼器緩沖器112。視頻編碼器110代表用于編碼視頻幀的任何適當(dāng)?shù)木幋a器。在一些實(shí)施例中，視頻編碼器110代表對基礎(chǔ)層采用MC-DCT編碼并對增強(qiáng)層采用過完備小波域中的3D帶內(nèi)MCTF或UMCTF的混合3D小波視頻編碼器。視頻編碼器110的一個例子在圖2中示出，其在下面被描述。
編碼器緩沖器112接收來自視頻編碼器110的壓縮的視頻幀并緩沖該視頻幀以準(zhǔn)備穿過數(shù)據(jù)網(wǎng)絡(luò)106來傳輸。編碼器緩沖器112代表用于存儲壓縮的視頻幀的任何適當(dāng)?shù)木彌_器。
流視頻接收機(jī)104接收由流視頻發(fā)射機(jī)102經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)106所流出的壓縮的視頻幀。在所示的例子中，流視頻接收機(jī)104包括解碼器緩沖器116、視頻解碼器118、視頻顯示器120、以及存儲器122。取決于應(yīng)用，流視頻接收機(jī)104可代表多種視頻幀接收機(jī)中的任何一種，包括電視接收機(jī)、臺式個人計(jì)算機(jī)、或盒式錄像機(jī)。解碼器緩沖器116存儲經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)106接收的壓縮的視頻幀。解碼器緩沖器116接著按要求將該壓縮的視頻幀發(fā)送給視頻解碼器118。解碼器緩沖器116代表用于存儲壓縮的視頻幀的任何適當(dāng)?shù)木彌_器。
視頻解碼器118解壓縮由視頻編碼器110壓縮的視頻幀。壓縮的視頻幀是可量測的，允許視頻解碼器118解碼部分或所有的壓縮的視頻幀。視頻解碼器118接著將解壓縮的幀發(fā)送給視頻顯示器120以便顯示。視頻解碼器118代表用于解碼視頻幀的任何適當(dāng)?shù)慕獯a器。在一些實(shí)施例中，視頻解碼器118代表對基礎(chǔ)層采用MC-DCT解碼并對增強(qiáng)層采用過完備小波域中的反3D帶內(nèi)MCTF或UMCTF的混合3D小波視頻解碼器。視頻解碼器118的一個例子在圖4中示出，其在下面被描述。視頻顯示器120代表用于向用戶呈現(xiàn)視頻幀的任何適當(dāng)?shù)脑O(shè)備或構(gòu)造，諸如電視機(jī)、PC屏幕、或放映機(jī)。
在一些實(shí)施例中，視頻編碼器110實(shí)現(xiàn)為由諸如標(biāo)準(zhǔn)MPEG編碼器之類的普通數(shù)據(jù)處理器所執(zhí)行的軟件程序。在這些實(shí)施例中，視頻編碼器110包括多個計(jì)算機(jī)可執(zhí)行指令，諸如存儲在存儲器114中的指令。類似地，在一些實(shí)施例中，視頻解碼器118實(shí)現(xiàn)為由諸如標(biāo)準(zhǔn)MPEG解碼器之類的普通數(shù)據(jù)處理器所執(zhí)行的軟件程序。在這些實(shí)施例中，視頻解碼器118包括多個計(jì)算機(jī)可執(zhí)行指令，諸如存儲在存儲器122中的指令。每個存儲器114、122代表任何一個或一些易失性或非易失性存儲及恢復(fù)設(shè)備，諸如固定磁盤、可移動磁盤、CD、DVD、磁帶、或視盤。在其他實(shí)施例中，視頻編碼器110及視頻解碼器118每一個都用硬件、軟件、固件、或其任意組合來實(shí)現(xiàn)。
數(shù)據(jù)網(wǎng)絡(luò)106便于系統(tǒng)100的部件之間的通信。例如，網(wǎng)絡(luò)106可在網(wǎng)絡(luò)地址或部件之間傳送網(wǎng)間協(xié)議(IP)包、幀中繼幀、異步傳輸模式(ATM)單元、或其他適當(dāng)?shù)男畔?。網(wǎng)絡(luò)106可包括一個或多個局域網(wǎng)(LANs)、城域網(wǎng)(MANs)、廣域網(wǎng)(WANs)、所有或一部分諸如國際互聯(lián)網(wǎng)的全局網(wǎng)絡(luò)、或在一個或多個位置處的任何一個或一些其他的通信系統(tǒng)。網(wǎng)絡(luò)106還可根據(jù)諸如以太網(wǎng)、IP、X.25、幀中繼、或任何其他的分組數(shù)據(jù)協(xié)議的任何一個或一些適當(dāng)類型的協(xié)議來運(yùn)行。
雖然圖1示出了視頻傳輸系統(tǒng)100的一個例子，但是仍然可對圖1做出各種改變。例如，系統(tǒng)100可包括任意數(shù)目的流視頻發(fā)射機(jī)102、流視頻接收機(jī)104以及網(wǎng)絡(luò)106。
圖2示出了根據(jù)本發(fā)明的一個實(shí)施例的實(shí)例視頻編碼器110。圖2所示的視頻編碼器110可用于圖1所示的視頻傳輸系統(tǒng)100中。視頻編碼器110的其他實(shí)施例可用于視頻傳輸系統(tǒng)100中，并且在不脫離本發(fā)明的范圍的情況下，圖2所示的視頻編碼器110可用于任何其他適當(dāng)?shù)脑O(shè)備、構(gòu)造或系統(tǒng)中。
在所示的例子中，視頻編碼器110包括小波變換器202。小波變換器202接收未壓縮的視頻幀214并將該視頻幀214從空間域變換到小波域。該變換利用小波濾波空間地將視頻幀214分解成多個頻帶216a-216n，并且該視頻幀214的每個頻帶216用一組小波系數(shù)來表示。小波變換器202采用任何適當(dāng)?shù)淖儞Q來將視頻幀214分解成多個視頻或小波頻帶216。在一些實(shí)施例中，將幀214分解成第一分解級，該第一分解級包括低-低(LL)頻帶、低-高(LH)頻帶、高-低(HL)頻帶、以及高-高(HH)頻帶?？蓪⑦@些頻帶中的一個或多個進(jìn)一步分解成附加分解級，比如這時(shí)將LL頻帶進(jìn)一步分解成LLLL、LLLH、LLHL、以及LLHH子頻帶。
將小波頻帶216提供給運(yùn)動補(bǔ)償DCT(MC-DCT)編碼器203和多個運(yùn)動補(bǔ)償時(shí)間濾波器(MCTFs)204a-204m。MC-DCT編碼器203對最低分辨率小波頻帶216a進(jìn)行編碼。MCTF 204對剩余的視頻頻帶216b-216n進(jìn)行時(shí)間濾波并消除幀214之間的時(shí)間相關(guān)性。例如，MCTF 204可濾波視頻頻帶216并產(chǎn)生用于每個視頻頻帶216的高通幀和低通幀。在該實(shí)施例中，被壓縮的視頻流的基礎(chǔ)層代表由MC-DCT編碼器203所處理的最低分辨率小波頻帶216a，以及視頻流的增強(qiáng)層代表由MCTF 204所處理的剩余的小波頻帶216b-216n。處理基礎(chǔ)層的視頻編碼器110的部件可稱為“基礎(chǔ)層電路”，而處理增強(qiáng)層的部件可稱為“增強(qiáng)層電路”。一些部件可以對兩個層都進(jìn)行處理，并且可形成每個層的電路的一部分。
在一些實(shí)施例中，由MC-DCT編碼器203和MCTF 204來處理幀組。在具體實(shí)施例中，每個MCTF 204包括一個運(yùn)動估計(jì)器和一個時(shí)間濾波器。MC-DCT編碼器203和MCTF 204中的運(yùn)動估計(jì)器產(chǎn)生一個或多個運(yùn)動矢量，其估計(jì)當(dāng)前視頻幀和參考幀之間的運(yùn)動量并產(chǎn)生一個或多個運(yùn)動矢量。MCTF 204中的時(shí)間濾波器利用該信息來沿運(yùn)動方向?qū)σ唤M視頻幀進(jìn)行時(shí)間濾波。在其他實(shí)施例中，可用無約束運(yùn)動補(bǔ)償時(shí)間濾波器(UMCTFs)來代替MCTF 204。
在一些實(shí)施例中，運(yùn)動估計(jì)器中的內(nèi)插濾波器可具有不同的系數(shù)值。因?yàn)椴煌l帶216可具有不同的時(shí)間相關(guān)性，因此這可有助于改進(jìn)MCTF 204的編碼性能。并且，不同的時(shí)間濾波器可用于MCTF 204中。在一些實(shí)施例中，雙向時(shí)間濾波器用于較低的頻帶216，并且只向前(forward-only)時(shí)間濾波器用于較高的頻帶216?？筛鶕?jù)對最小化失真測量或復(fù)雜性測量的期望來選擇時(shí)間濾波器。時(shí)間濾波器可代表任何適當(dāng)?shù)臑V波器，諸如采用預(yù)測并對為每個頻帶216不同設(shè)計(jì)的步驟進(jìn)行更新以提高或優(yōu)化效率/復(fù)雜性約束的提升濾波器(liftingfilters)。
此外，可為每個頻帶216適當(dāng)?shù)卮_定分組在一起并由MC-DCT編碼器203和MCTF 204來處理的幀的數(shù)目。在一些實(shí)施例中，較低的頻帶216具有較大數(shù)目的分組在一起的幀，并且較高的頻帶具有較小數(shù)目的分組在一起的幀。這允許，例如，根據(jù)幀序列214的特性或復(fù)雜性或彈性需要來改變每頻帶216分組在一起的幀數(shù)。并且，較高的空間頻帶216可從較長期的時(shí)間濾波中省略。作為具體的例子，LL、LH和HL以及HH頻帶216中的幀可分別放在八個幀、四個幀、以及兩個幀的組中。這分別允許三、二和一的最大分解級。每個頻帶216的時(shí)間分解級的數(shù)目可利用任何適當(dāng)?shù)臉?biāo)準(zhǔn)來確定，諸如幀內(nèi)容、目標(biāo)失真度量、或每個頻帶216的時(shí)間可量測性的期望級。作為另一個具體的例子，LL、LH和HL以及HH頻帶216的每一個中的幀可放在八個幀的組中。
如圖2所示，MCTF 204在小波域中運(yùn)行。在普通編碼器中，由于小波系數(shù)不是移位恒定的，因此小波域中的運(yùn)動估計(jì)和補(bǔ)償一般效率低。利用低頻帶移位技術(shù)可以克服這種低效率。在所示的實(shí)施例中，低頻帶移位器206處理輸入視頻幀214并產(chǎn)生一個或多個過完備小波展開218。MCTF 204采用過完備小波展開218作為運(yùn)動估計(jì)期間的參考幀。過完備小波展開218用作參考幀允許MCTF 204來估計(jì)運(yùn)動以改變精確度等級。作為具體的例子，MCTF 204可在LL頻帶216中采用1/16象素精確度進(jìn)行運(yùn)動估計(jì)并且在其他頻帶216中采用1/8象素精確度進(jìn)行運(yùn)動估計(jì)。
在一些實(shí)施例中，低頻帶移位器206通過對輸入視頻幀214的較低頻帶進(jìn)行移位而產(chǎn)生過完備小波展開218。圖3A-3C示出了通過低頻帶移位器206來產(chǎn)生過完備小波展開218。在這個例子中，相應(yīng)于特定空間位置處的相同的分解級的不同移位的小波系數(shù)稱為“交叉相位小波系數(shù)”。如圖3A所示，通過移位下一個細(xì)微等級LL頻帶的小波系數(shù)來產(chǎn)生過完備小波展開218。例如，小波系數(shù)302代表在沒有移位的情況下的LL頻帶的系數(shù)。小波系數(shù)304代表(1，0)移位后或向右移一位后的LL頻帶的系數(shù)。小波系數(shù)306代表(0，1)移位后或向下移一位后的LL頻帶的系數(shù)。小波系數(shù)308代表(1，1)移位后或向右移一位并向下移一位后的LL頻帶的系數(shù)。
將圖3A中的四組小波系數(shù)302-308擴(kuò)充或合并以產(chǎn)生過完備小波展開218。圖3B示出了可如何擴(kuò)充或合并小波系數(shù)302-308以產(chǎn)生過完備小波展開218的一個例子。如圖3B所示，使兩組小波系數(shù)330、332交插以產(chǎn)生一組過完備小波系數(shù)334。該過完備小波系數(shù)334代表圖3A所示的過完備小波展開218。執(zhí)行交插以便過完備小波展開218中的新坐標(biāo)相應(yīng)于原始空間域中的相關(guān)移位。這種交插技術(shù)還可以在每個分解級處循環(huán)使用并且可直接擴(kuò)展為二維信號。利用交插來產(chǎn)生過完備小波系數(shù)334可以在視頻編碼器110和視頻解碼器118中實(shí)現(xiàn)更最佳的或最佳的于象素精確度運(yùn)動估計(jì)和補(bǔ)償，這是因?yàn)樗试S考慮相鄰小波系數(shù)之間的交叉相位相關(guān)性。雖然圖3B示出了兩組正在交插的小波系數(shù)330、332，但是可以將任意數(shù)目的系數(shù)組交插在一起以形成過完備小波系數(shù)334，諸如四組小波系數(shù)。
低頻帶移位技術(shù)的一部分包括小波塊的產(chǎn)生，如圖3C所示。在一些實(shí)施例中，在小波分解期間，給定比例的系數(shù)(除最高頻帶中的系數(shù)之外)可與一組細(xì)微比例的同向系數(shù)有關(guān)。在普通編碼器中，通過將這些系數(shù)表示成稱作“小波樹”的數(shù)據(jù)結(jié)構(gòu)來使用該關(guān)系。在低頻帶移位技術(shù)中，對根位于最低頻帶中的每個小波樹的系數(shù)進(jìn)行重排以形成小波塊350，如圖3C所示。類似地將其他系數(shù)分組以形成另外的小波塊352、354。圖3C所示的小波塊提供了該小波塊中的小波系數(shù)與那些系數(shù)在圖像中空間地代表的內(nèi)容之間的直接關(guān)聯(lián)。在具體實(shí)施例中，所有比例和方向的相關(guān)系數(shù)包括在每個小波塊中。
在一些實(shí)施例中，在運(yùn)動估計(jì)期間由MCTF 204來使用圖3C所示的小波塊。例如，在運(yùn)動估計(jì)期間，每個MCTF 204找出產(chǎn)生當(dāng)前小波塊和參考幀中的參考小波塊之間的最小平均絕對差(MAD)的運(yùn)動矢量(dx，dy)。例如，可按下述來計(jì)算圖3C中的第k個小波塊的平均絕對差回到圖2，MC-DCT編碼器203和MCTF 204為嵌入式零塊編碼(EZBC)編碼器208提供濾過的視頻頻帶。該EZBC編碼器208分析該濾過的視頻頻帶并識別該濾過的頻帶216內(nèi)以及該濾過的頻帶216之間的相關(guān)性。EZBC編碼器208利用該信息來編碼和壓縮該濾過的頻帶216。作為具體的例子，EZBC編碼器208可壓縮由MCTF 204所產(chǎn)生的高通幀和低通幀。
MC-DCT編碼器203和MCTF 204也為兩個運(yùn)動矢量編碼器210a-210b提供運(yùn)動矢量。這些運(yùn)動矢量代表在提供給視頻編碼器110的視頻幀序列214中所檢測到的運(yùn)動。運(yùn)動矢量編碼器210a編碼由MC-DCT編碼器203所產(chǎn)生的運(yùn)動矢量，并且運(yùn)動矢量編碼器210b編碼由MCTF 204所產(chǎn)生的運(yùn)動矢量。運(yùn)動矢量編碼器210代表采用任何適當(dāng)?shù)木幋a技術(shù)例如類似MC-DCT編碼之類的結(jié)構(gòu)或熵基編碼技術(shù)的任何適當(dāng)?shù)木幋a器。
總之，由EZBC編碼器208所產(chǎn)生的壓縮并濾過的頻帶216和由運(yùn)動矢量編碼器210所產(chǎn)生的壓縮的運(yùn)動矢量代表輸入視頻幀214。多路復(fù)用器212接收該壓縮并濾過的頻帶216以及該壓縮的運(yùn)動矢量并將它們多路傳輸?shù)絾蝹€輸出比特流220上。然后由流視頻發(fā)射機(jī)102經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)106而將該比特流220發(fā)送給流視頻接收機(jī)104。
圖4示出了根據(jù)本發(fā)明的一個實(shí)施例的視頻解碼器118的一個例子。圖4所示的視頻解碼器118可用于圖1所示的視頻傳輸系統(tǒng)100中。視頻解碼器118的其他實(shí)施例可用于視頻傳輸系統(tǒng)100中，并且在不脫離本發(fā)明的范圍的情況下，圖4所示的視頻解碼器118可用于任何其他適當(dāng)?shù)脑O(shè)備、構(gòu)造或系統(tǒng)中。
通常，視頻解碼器118執(zhí)行與由圖2的視頻編碼器110所執(zhí)行的功能相反的功能，從而解碼由編碼器110所編碼的視頻幀214。在所示的例子中，視頻解碼器118包括解多路復(fù)用器402。解多路復(fù)用器402接收由視頻編碼器110所產(chǎn)生的比特流220。解多路復(fù)用器402多路分解比特流220并分離編碼的視頻頻帶、由MC-DCT編碼產(chǎn)生的編碼的運(yùn)動矢量、以及由MCTF產(chǎn)生的編碼的運(yùn)動矢量。
將該編碼的視頻頻帶提供給EZBC解碼器404。EZBC解碼器404對由EZBC編碼器208所編碼的視頻頻帶進(jìn)行解碼。例如，EZBC解碼器404執(zhí)行與由EZBC編碼器208所采用的編碼技術(shù)相反的編碼技術(shù)以還原該視頻頻帶。作為具體的例子，編碼的視頻頻帶可代表壓縮的高通幀和低通幀，并且EZBC解碼器404可以解壓縮該高通及低通幀。類似地，將運(yùn)動矢量提供給兩個運(yùn)動矢量解碼器406a-406b。運(yùn)動矢量解碼器406通過執(zhí)行與由運(yùn)動矢量編碼器210所采用的編碼技術(shù)相反的編碼技術(shù)來解碼并還原該運(yùn)動矢量。運(yùn)動矢量解碼器406可代表采用任何適當(dāng)?shù)慕獯a技術(shù)例如結(jié)構(gòu)或熵基解碼技術(shù)的任何適當(dāng)?shù)慕獯a器。
將還原的視頻頻帶416a-416n和運(yùn)動矢量提供給DCT解碼器407和多個反運(yùn)動補(bǔ)償時(shí)間濾波器(反MCTFs)408a-408m。DCT解碼器407通過執(zhí)行反DCT編碼來處理并還原最低分辨率的視頻頻帶416a。反MCTF408處理并還原剩余的視頻頻帶416b-416n。例如，反MCTF 408可執(zhí)行時(shí)間合成以使由MCTF 204所完成的時(shí)間濾波效應(yīng)變得相反。反MCTF408也可以執(zhí)行運(yùn)動補(bǔ)償以在視頻頻帶416中再引入運(yùn)動。特別地，反MCTF 408可處理由MCTF 204所產(chǎn)生的高通和低通幀以還原視頻頻帶416。在其他實(shí)施例中，反MCTF 408可用反UMCTF來代替。
然后，將還原的視頻頻帶416提供給反小波變換器410。反小波變換器410執(zhí)行變換功能以將視頻頻帶416從小波域變換回空間域。取決于例如比特流220中接收的信息量和視頻解碼器118的處理能力，反小波變換器410可產(chǎn)生一個或多個不同組的還原的視頻信號414a-414c。在一些實(shí)施例中，還原的視頻信號414a-414c具有不同的分辨率。例如，第一還原的視頻信號414a可具有低分辨率，第二還原的視頻信號414b可具有中等分辨率，以及第三還原的視頻信號414c可具有高分辨率。這樣，具有不同處理能力或不同帶寬入口的不同類型的流視頻接收機(jī)104可用于系統(tǒng)100中。
將還原的視頻信號414提供給低頻帶移位器412。如上所述，視頻編碼器110利用一個或多個過完備小波展開218來處理輸入視頻幀214。視頻解碼器118采用還原視頻信號414中的前面還原的視頻幀來產(chǎn)生相同的或近似相同的過完備小波展開418。然后，將過完備小波展開418提供給反MCTF 408以用于解碼視頻頻帶416。
雖然圖2-4示出了視頻編碼器、過完備小波展開、以及視頻解碼器的例子，但是可對圖2-4做出各種改變。例如，視頻編碼器110可包括任意數(shù)目的MCTF 204，以及視頻解碼器118可包括任意數(shù)目的反MCTF 408。并且，視頻編碼器110和視頻解碼器118可采用任何其他的過完備小波展開。此外，視頻解碼器118中的反小波變換器410可產(chǎn)生具有任意數(shù)目的分辨率的還原的視頻信號414。作為具體的例子，視頻解碼器118可產(chǎn)生n組還原的視頻信號414，其中n表示視頻頻帶416的數(shù)目。
圖5A和5B示出了根據(jù)本發(fā)明的一個實(shí)施例的實(shí)例視頻信息編碼。特別地，圖5A示出了當(dāng)視頻編碼器110既支持空間可量測性又支持質(zhì)量可量測性時(shí)的實(shí)例編碼，以及圖5B示出了當(dāng)視頻編碼器110支持空間、時(shí)間和質(zhì)量可量測性時(shí)的實(shí)例編碼。
在圖5A中，一組視頻幀500正在被視頻編碼器110編碼。該幀組500已經(jīng)分解成為兩個分解級。視頻編碼器110識別具有最低分辨率的頻帶，其在所示的實(shí)施例中是標(biāo)注為A20的頻帶。該頻帶代表這組視頻幀500的基礎(chǔ)層。視頻編碼器110中的MC-DCT編碼器203接著利用例如MPEG-2、MPEG-4或ITU-T H.26L的MC-DCT基編碼來編碼該A20頻帶。
組500中的剩余頻帶(Aji，i＝1，2，3，j＝1，2)代表這組視頻幀500的增強(qiáng)層。視頻編碼器110中的MCTF 204利用過完備小波域中的帶內(nèi)MCTF或UMCTF來編碼這些頻帶。
利用MC-DCT編碼的基礎(chǔ)層不能為時(shí)間濾波提供足夠的運(yùn)動矢量，并且MCTF 204中的時(shí)間濾波器會需要這些運(yùn)動矢量。因?yàn)镸C-DCT編碼器203僅能為第一分解級提供運(yùn)動矢量，所以如果增強(qiáng)層包括多個分解級(其在圖5A中是成立的)則會需要另外的運(yùn)動矢量。為了產(chǎn)生另外的運(yùn)動矢量，將3D帶內(nèi)MCTF或UMCTF既應(yīng)用到基礎(chǔ)層又應(yīng)用到其他頻帶。換句話說，可由MCTF 204處理基礎(chǔ)層以產(chǎn)生用于另外的分解級的運(yùn)動矢量。雖然圖2示出了僅提供給MC-DCT編碼器203的視頻頻帶216a，但是相同的視頻頻帶216a還可以提供給MCTF 204。類似地，雖然圖4示出了僅提供給MC-DCT解碼器407的視頻頻帶416a，但是相同的視頻頻帶416a還可以提供給反MCTF 408。
在圖5B中，另一組視頻幀550正在被視頻編碼器110編碼。視頻編碼器110識別具有最低分辨率的頻帶，其在所示的實(shí)施例中是標(biāo)注為A20的頻帶。該頻帶代表這組視頻幀550的基礎(chǔ)層。視頻編碼器110中的MC-DCT編碼器203接著利用MC-DCT基編碼來編碼在每隔一個幀中的該A20頻帶。
組550中的剩余頻帶(Aji，i＝1，2，3，j＝1，2)和跳過的A20頻帶代表這組視頻幀500的增強(qiáng)層。視頻編碼器110中的MCTF 204利用過完備小波域中的3D帶內(nèi)MCTF或UMCTF來編碼這些頻帶。在該實(shí)施例中，增強(qiáng)層包括多個分解級，并且因?yàn)樵揂20頻帶被編碼為增強(qiáng)層的一部分，所以在3D帶內(nèi)MCTF或UMCTF期間產(chǎn)生用于該增強(qiáng)層的運(yùn)動矢量。
雖然圖5A和5B示出了視頻信息的實(shí)例編碼，但是可對圖5A和5B做出各種改變。例如，任意數(shù)目的幀可包括在組500、550中。并且，這些幀也可被分解成任意數(shù)目的分解級。
圖6示出了根據(jù)本發(fā)明的一個實(shí)施例的用于在過完備小波域中編碼視頻信息的實(shí)例方法600。相對于在圖1的系統(tǒng)100中運(yùn)行的圖2的視頻編碼器110來描述該方法600。方法600可由任何其他適當(dāng)?shù)木幋a器來使用并且可用于任何其他適當(dāng)?shù)南到y(tǒng)中。
在步驟602，視頻編碼器110接收視頻輸入信號。這可包括，例如視頻編碼器110接收來自視頻幀源108的多幀視頻數(shù)據(jù)。
在步驟604，視頻編碼器110將每個視頻幀分成頻帶。這可包括，例如小波變換器202處理該視頻幀并將該幀分成n個不同的頻帶216。小波變換器202可將該幀分解成一個或多個分解級。
在步驟606，視頻編碼器110產(chǎn)生一個或多個視頻幀的過完備小波展開。這可包括，例如低頻帶移位器206接收視頻幀、識別視頻幀的較低頻帶、以不同的量移位該較低頻帶、并同時(shí)擴(kuò)充該較低頻帶以產(chǎn)生過完備小波展開。
在步驟608，視頻編碼器110利用MC-DCT壓縮視頻幀的基礎(chǔ)層。這可包括，例如MC-DCT編碼器203編碼每個幀中的具有最低分辨率的頻帶216。這也可包括MC-DCT編碼器203編碼在幀的一個子集中例如在每隔一幀中的具有最低分辨率的頻帶216。
在步驟610，視頻編碼器110利用3D帶內(nèi)MCTF或UMCTF壓縮視頻幀的增強(qiáng)層。這可包括，例如MCTF 204接收視頻頻帶216、估計(jì)頻帶中的運(yùn)動、以及產(chǎn)生運(yùn)動矢量。這也可包括MCTF 204利用在步驟604處所產(chǎn)生的過完備小波展開來編碼增強(qiáng)層。
在步驟612，視頻編碼器110編碼濾過的視頻頻帶。這可包括EZBC編碼器208接收來自MCTF 204的濾過的視頻頻帶216并壓縮該濾過的頻帶216。在步驟614，視頻編碼器110編碼運(yùn)動矢量。這可包括，例如運(yùn)動矢量編碼器210接收由MCTF 204所產(chǎn)生的運(yùn)動矢量并壓縮該運(yùn)動矢量。在步驟616，視頻編碼器110產(chǎn)生輸出比特流。這可包括，例如多路復(fù)用器212接收壓縮的視頻頻帶216和壓縮的運(yùn)動矢量并將它們多路傳輸?shù)奖忍亓?20中。這里，視頻編碼器110可采取任何適當(dāng)?shù)男袆?，例如將比特流傳送給緩沖器以便經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)106來傳輸。
雖然圖6示出了用于在過完備小波域中編碼視頻信息的方法600的一個例子，但是可對圖6做出各種改變。例如，圖6所示的各個步驟可在視頻編碼器110中并行執(zhí)行，例如步驟604和606。并且，視頻編碼器110可多次在編碼處理期間產(chǎn)生過完備小波展開，例如一次為由編碼器110處理每組幀。
圖7示出了根據(jù)本發(fā)明的一個實(shí)施例的用于在過完備小波域中解碼視頻信息的實(shí)例方法700。相對于在圖1的系統(tǒng)100中運(yùn)行的圖4的視頻解碼器118來描述該方法700。方法700可由任何其他適當(dāng)?shù)慕獯a器來使用并且可用于任何其他適當(dāng)?shù)南到y(tǒng)中。
在步驟702，視頻解碼器118接收視頻比特流。這可包括，例如視頻解碼器110經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)106接收比特流。
在步驟704，視頻解碼器118分離比特流中的編碼的視頻頻帶和編碼的運(yùn)動矢量。這可包括，例如多路復(fù)用器402分離視頻頻帶和運(yùn)動矢量并且將它們發(fā)送給視頻解碼器118中的不同部件。
在步驟706，視頻解碼器118解碼視頻頻帶。這可包括，例如EZBC解碼器404對視頻頻帶執(zhí)行反操作以使由EZBC編碼器208執(zhí)行的編碼變得相反。在步驟708，視頻解碼器118解碼運(yùn)動矢量。這可包括，例如運(yùn)動矢量解碼器406對運(yùn)動矢量執(zhí)行反操作以使由運(yùn)動矢量編碼器210執(zhí)行的編碼變得相反。
在步驟710，視頻解碼器118利用MC-DCT來解壓縮視頻幀的基礎(chǔ)層。這可包括，例如MC-DCT解碼器407解碼每個幀中的具有最低分辨率的頻帶416。這也可包括MC-DCT解碼器407解碼在幀的一個子集中例如在每隔一幀中的具有最低分辨率的頻帶416。
在步驟712，視頻解碼器118利用反3D帶內(nèi)MCTF或UMCTF來解壓縮視頻幀的增強(qiáng)層(如果可能的話)。這可包括，例如反MCTF 408接收頻帶416并且利用運(yùn)動矢量來補(bǔ)償原始視頻幀214中的運(yùn)動。
在步驟714，視頻解碼器118變換所還原的視頻頻帶416。這可包括，例如反小波變換器410將視頻頻帶416從小波域變換到空間域。這也可包括反小波變換器410產(chǎn)生一組或多組還原的信號414，其中不同組的還原的信號414具有不同的分辨率。
在步驟716，視頻解碼器118產(chǎn)生一個或多個所還原的信號414中的還原的視頻幀的過完備小波展開。這可包括，例如低頻帶移位器412接收視頻幀、識別視頻幀的較低頻帶、以不同的量移位該較低頻帶、并同時(shí)擴(kuò)充該較低頻帶。然后將過完備小波展開提供給反MCTF 408以用于解碼另外的視頻信息。
雖然圖7示出了用于在過完備小波域中解碼視頻信息的方法700的一個例子，但是可對圖7做出各種改變。例如，圖7所示的各個步驟可在視頻解碼器118中并行執(zhí)行，例如步驟706和708。并且，視頻解碼器118可多次在解碼處理期間產(chǎn)生過完備小波展開，例如，一次為由解碼器118解碼每組幀。
闡明本專利文獻(xiàn)中所采用的一些詞和短語的限定是有益的。術(shù)語“包含”和“包括”以及其派生詞表示包括而不是限制。術(shù)語“或”是范圍廣泛的，表示和/或。短語“相關(guān)”和“與此相關(guān)”以及其派生詞可表示包括、被包括在內(nèi)、與之互連、包含、被包含在內(nèi)、連接到或與之連接、耦合到或與之耦合、與之通信、與之合作、交叉、并列、鄰近、束縛于或與之束縛、具有、具有一種特性等等。在整個本專利文獻(xiàn)中提供了對一些詞和短語的限定。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，如果不是在大多數(shù)情況下，那么在許多情況下，這種限定適用于先前和將來使用這種限定的詞和短語。
雖然本說明書已經(jīng)描述了一些實(shí)施例和通常相關(guān)的方法，但是這些實(shí)施例和方法的變型和置換對本領(lǐng)域的技術(shù)人員來說將是顯而易見的。因此，實(shí)例上面描述的實(shí)例實(shí)施例并不會限定或限制本發(fā)明。在不脫離由以下權(quán)利要求所限定的本發(fā)明的精神和范圍的情況下，其他改變、替換和變型也是可以的。
權(quán)利要求
1.一種用于壓縮視頻幀的輸入流(214)的視頻編碼器(110)，包括基礎(chǔ)層電路，包括運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)編碼器(203)，可操作的壓縮與輸入流(214)相關(guān)的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)而傳輸?shù)膲嚎s的基礎(chǔ)層視頻數(shù)據(jù)；以及增強(qiáng)層電路，可操作的壓縮與輸入流(214)相關(guān)的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)而傳輸?shù)膲嚎s的增強(qiáng)層視頻數(shù)據(jù)，該增強(qiáng)層電路包括多個運(yùn)動補(bǔ)償時(shí)間濾波器(204)，可操作用于在過完備小波域中處理增強(qiáng)層視頻數(shù)據(jù)。
2.如權(quán)利要求1的視頻編碼器(110)，進(jìn)一步包括小波變換器(202)，可操作用于將每一個視頻幀變換成多個視頻頻帶；低頻帶移位器(206)，可操作用于產(chǎn)生一個或多個過完備小波展開，運(yùn)動補(bǔ)償時(shí)間濾波器(204)可操作用于當(dāng)濾波視頻幀時(shí)使用該一個或多個過完備小波展開，MC-DCT編碼器(203)以及至少其中一個運(yùn)動補(bǔ)償時(shí)間濾波器(204)產(chǎn)生一個或多個運(yùn)動矢量；第一編碼器(208)，可操作用于在由運(yùn)動補(bǔ)償時(shí)間濾波器(204)濾波之后編碼視頻頻帶；多個第二編碼器(210)，可操作用于編碼運(yùn)動矢量；以及多路復(fù)用器(212)，可操作用于將編碼的視頻頻帶和編碼的運(yùn)動矢量多路傳輸?shù)捷敵霰忍亓?220)上。
3.如權(quán)利要求2的視頻編碼器(110)，其中MC-DCT編碼器(203)包括MPEG-2編碼器、MPEG-4編碼器、以及H.26L編碼器的其中一個；運(yùn)動補(bǔ)償時(shí)間濾波器(204)包括無約束運(yùn)動補(bǔ)償時(shí)間濾波器；以及第二編碼器(210)包含熵編碼器。
4.一種用于解壓縮視頻比特流(220)的視頻解碼器(118)，包括基礎(chǔ)層電路，包括運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)解碼器(407)，可操作用于解壓縮包含于比特流(220)中的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的基礎(chǔ)層視頻數(shù)據(jù)；以及增強(qiáng)層電路，可操作用于解壓縮包含于比特流(220)中的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的增強(qiáng)層視頻數(shù)據(jù)，該增強(qiáng)層電路包括多個反運(yùn)動補(bǔ)償時(shí)間濾波器(408)，可操作用于在過完備小波域中處理增強(qiáng)層視頻數(shù)據(jù)。
5.如權(quán)利要求4的視頻解碼器(118)，進(jìn)一步包括解多路復(fù)用器(402)，可操作用于從比特流(220)中多路分解編碼的視頻頻帶和編碼的運(yùn)動矢量；第一解碼器(406a)，可操作用于解碼第一組運(yùn)動矢量，MC-DCT解碼器(407)可操作用于利用該第一組解碼的運(yùn)動矢量來處理形成基礎(chǔ)層的視頻頻帶；第二解碼器(406b)，可操作用于解碼第二組運(yùn)動矢量，反運(yùn)動補(bǔ)償時(shí)間濾波器(408)可操作用于利用該第二組解碼的運(yùn)動矢量來處理形成增強(qiáng)層的視頻頻帶；反小波變換器(410)，可操作用于將所處理的視頻頻帶變換成多個視頻幀；以及低頻帶移位器(412)，可操作用于產(chǎn)生一個或多個過完備小波展開，反運(yùn)動補(bǔ)償時(shí)間濾波器(408)可操作用于當(dāng)處理視頻幀時(shí)使用該一個或多個過完備小波展開。
6.如權(quán)利要求5的視頻解碼器(118)，其中MC-DCT解碼器(407)包括MPEG-2解碼器、MPEG-4解碼器、以及H.26L解碼器的其中一個；反運(yùn)動補(bǔ)償時(shí)間濾波器(408)包括反無約束運(yùn)動補(bǔ)償時(shí)間濾波器；以及第一和第二解碼器(406)包括熵解碼器。
7.一種用于壓縮視頻幀的輸入流(214)的方法(600)，包括利用運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)編碼來壓縮與輸入流(214)相關(guān)的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的基礎(chǔ)層視頻數(shù)據(jù)；以及利用過完備小波域中的運(yùn)動補(bǔ)償時(shí)間濾波來壓縮與輸入流(214)相關(guān)的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)的壓縮的增強(qiáng)層視頻數(shù)據(jù)。
8.如權(quán)利要求7的方法(600)，其中壓縮基礎(chǔ)層視頻數(shù)據(jù)和增強(qiáng)層視頻數(shù)據(jù)包括產(chǎn)生一個或多個運(yùn)動矢量，并且進(jìn)一步包括將每一個視頻幀變換成多個視頻頻帶；產(chǎn)生一個或多個過完備小波展開，其中壓縮增強(qiáng)層視頻數(shù)據(jù)包括利用該一個或多個過完備小波展開來壓縮增強(qiáng)層視頻數(shù)據(jù)；在運(yùn)動補(bǔ)償時(shí)間濾波之后編碼視頻頻帶；編碼運(yùn)動矢量；以及將編碼的視頻頻帶和編碼的運(yùn)動矢量多路傳輸?shù)捷敵霰忍亓魃稀?br> 9.一種用于解壓縮視頻比特流(220)的方法(700)，包括利用運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)解碼來解壓縮包含于比特流(220)中的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的基礎(chǔ)層視頻數(shù)據(jù)；以及利用過完備小波域中的反運(yùn)動補(bǔ)償時(shí)間濾波來解壓縮包含于比特流(220)中的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的增強(qiáng)層視頻數(shù)據(jù)。
10.如權(quán)利要求9的方法(700)，進(jìn)一步包括從比特流(220)中多路分解編碼的視頻頻帶和編碼的運(yùn)動矢量；解碼第一組運(yùn)動矢量和第二組運(yùn)動矢量，其中解壓縮基礎(chǔ)層視頻數(shù)據(jù)包括利用該第一組解碼的運(yùn)動矢量來解壓縮基礎(chǔ)層視頻數(shù)據(jù)以及利用該第二組解碼的運(yùn)動矢量來解壓縮增強(qiáng)層視頻數(shù)據(jù)；將還原的視頻頻帶變換成多個視頻幀；以及產(chǎn)生一個或多個過完備小波展開，其中解壓縮增強(qiáng)層視頻數(shù)據(jù)包括利用該一個或多個過完備小波展開來解壓縮增強(qiáng)層視頻數(shù)據(jù)。
11.一種視頻發(fā)射機(jī)(102)，包括圖像幀源(108)，可操作用于提供視頻幀流；視頻編碼器(110)，可操作用于壓縮視頻幀，該視頻編碼器(110)包括基礎(chǔ)層電路，包括運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)編碼器(203)，可操作用于壓縮與該流相關(guān)的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的基礎(chǔ)層視頻數(shù)據(jù)；以及增強(qiáng)層電路，可操作用于壓縮與該流相關(guān)的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的增強(qiáng)層視頻數(shù)據(jù)，該增強(qiáng)層電路包括多個運(yùn)動補(bǔ)償時(shí)間濾波器(204)，可操作用于在過完備小波域中處理增強(qiáng)層視頻數(shù)據(jù)；以及緩沖器(112)，可操作用于接收并存儲經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的視頻幀。
12.如權(quán)利要求11的視頻發(fā)射機(jī)(102)，進(jìn)一步包括小波變換器(202)，可操作用于將每一個視頻幀變換成多個視頻頻帶；低頻帶移位器(206)，可操作用于產(chǎn)生一個或多個過完備小波展開，運(yùn)動補(bǔ)償時(shí)間濾波器(204)可操作用于當(dāng)濾波視頻幀時(shí)使用該一個或多個過完備小波展開，MC-DCT編碼器(203)以及至少其中一個運(yùn)動補(bǔ)償時(shí)間濾波器(204)產(chǎn)生一個或多個運(yùn)動矢量；第一編碼器(208)，可操作用于在由運(yùn)動補(bǔ)償時(shí)間濾波器(204)濾波之后編碼視頻頻帶；多個第二編碼器(210)，可操作用于編碼運(yùn)動矢量；以及多路復(fù)用器(212)，可操作用于將編碼的視頻頻帶和編碼的運(yùn)動矢量多路傳輸?shù)捷敵霰忍亓?220)上。
13.一種視頻接收機(jī)(104)，包括緩沖器(116)，可操作用于接收并存儲視頻比特流；視頻解碼器(118)，可操作用于解壓縮該視頻比特流并產(chǎn)生視頻幀，該視頻解碼器(118)包括基礎(chǔ)層電路，包括運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)解碼器(407)，可操作用于解壓縮包含于比特流中的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的基礎(chǔ)層視頻數(shù)據(jù)；以及增強(qiáng)層電路，可操作用于解壓縮包含于比特流中的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的增強(qiáng)層視頻數(shù)據(jù)，該增強(qiáng)層電路包括多個反運(yùn)動補(bǔ)償時(shí)間濾波器(408)，可操作用于在過完備小波域中處理增強(qiáng)層視頻數(shù)據(jù)；以及視頻顯示器(120)，可操作用于呈現(xiàn)視頻幀。
14.如權(quán)利要求13的視頻接收機(jī)，進(jìn)一步包括解多路復(fù)用器(402)，可操作用于從比特流中多路分解編碼的視頻頻帶和編碼的運(yùn)動矢量；第一解碼器(406a)，可操作用于解碼第一組運(yùn)動矢量，MC-DCT解碼器(407)可操作用于利用該第一組解碼的運(yùn)動矢量來處理形成基礎(chǔ)層的視頻頻帶；第二解碼器(406b)，可操作用于解碼第二組運(yùn)動矢量，反運(yùn)動補(bǔ)償時(shí)間濾波器(408)可操作用于利用該第二組解碼的運(yùn)動矢量來處理形成增強(qiáng)層的視頻頻帶；反小波變換器(410)，可操作用于將所處理的視頻頻帶變換成多個視頻幀；以及低頻帶移位器(412)，可操作用于產(chǎn)生一個或多個過完備小波展開，反運(yùn)動補(bǔ)償時(shí)間濾波器(408)可操作用于當(dāng)處理視頻幀時(shí)使用該一個或多個過完備小波展開。
15.一種包含在計(jì)算機(jī)可讀介質(zhì)上并可操作用于被處理器執(zhí)行的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括計(jì)算機(jī)可讀程序代碼，用于利用運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)編碼來壓縮與視頻幀的輸入流(214)相關(guān)的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的基礎(chǔ)層視頻數(shù)據(jù)；以及利用過完備小波域中的運(yùn)動補(bǔ)償時(shí)間濾波來壓縮與輸入流(214)相關(guān)的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的增強(qiáng)層視頻數(shù)據(jù)。
16.如權(quán)利要求15的計(jì)算機(jī)程序，其中該計(jì)算機(jī)程序進(jìn)一步包括計(jì)算機(jī)可讀程序代碼，用于將每一個視頻幀變換成多個視頻頻帶；產(chǎn)生一個或多個過完備小波展開，其中壓縮增強(qiáng)層視頻數(shù)據(jù)包括利用該一個或多個過完備小波展開來壓縮增強(qiáng)層視頻數(shù)據(jù)；編碼運(yùn)動矢量；以及將編碼的視頻頻帶和編碼的運(yùn)動矢量多路傳輸?shù)捷敵霰忍亓魃稀?br> 17.一種包含在計(jì)算機(jī)可讀介質(zhì)上并可操作用于被處理器執(zhí)行的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括計(jì)算機(jī)可讀程序代碼，用于利用運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)解碼來解壓縮包含于比特流(220)中的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的基礎(chǔ)層視頻數(shù)據(jù)；以及利用過完備小波域中的反運(yùn)動補(bǔ)償時(shí)間濾波來解壓縮包含于比特流(220)中的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生解壓縮的增強(qiáng)層視頻數(shù)據(jù)。
18.如權(quán)利要求17的計(jì)算機(jī)程序，其中該計(jì)算機(jī)程序進(jìn)一步包括計(jì)算機(jī)可讀程序代碼，用于從比特流(220)中多路分解編碼的視頻頻帶和編碼的運(yùn)動矢量；解碼第一組運(yùn)動矢量和第二組運(yùn)動矢量，其中解壓縮基礎(chǔ)層視頻數(shù)據(jù)包括利用該第一組解碼的運(yùn)動矢量來解壓縮基礎(chǔ)層視頻數(shù)據(jù)以及利用該第二組解碼的運(yùn)動矢量來解壓縮增強(qiáng)層視頻數(shù)據(jù)；將還原的視頻頻帶變換成多個視頻幀；以及產(chǎn)生一個或多個過完備小波展開，其中解壓縮增強(qiáng)層視頻數(shù)據(jù)包括利用該一個或多個過完備小波展開來解壓縮增強(qiáng)層視頻數(shù)據(jù)。
19.一種通過以下步驟產(chǎn)生的可傳輸?shù)囊曨l信號利用運(yùn)動補(bǔ)償離散余弦變換(MC-DCT)編碼來壓縮與視頻幀的輸入流(214)相關(guān)的基礎(chǔ)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的基礎(chǔ)層視頻數(shù)據(jù)；以及利用過完備小波域中的運(yùn)動補(bǔ)償時(shí)間濾波來壓縮與輸入流(214)相關(guān)的增強(qiáng)層視頻數(shù)據(jù)以產(chǎn)生適用于經(jīng)由網(wǎng)絡(luò)(106)傳輸?shù)膲嚎s的增強(qiáng)層視頻數(shù)據(jù)。
全文摘要
提供了用于編碼和解碼視頻幀的編碼和解碼方法以及裝置。該編碼方法(600)和裝置(110)對基礎(chǔ)層采用運(yùn)動補(bǔ)償離散余弦變換編碼以及對增強(qiáng)層采用過完備小波域中的帶內(nèi)運(yùn)動補(bǔ)償時(shí)間濾波。解碼方法(700)和裝置(118)對基礎(chǔ)層采用運(yùn)動補(bǔ)償離散余弦變換解碼以及對增強(qiáng)層采用過完備小波域中的反運(yùn)動補(bǔ)償時(shí)間濾波。
文檔編號H04N7/26GK1813479SQ200480018488
公開日2006年8月2日 申請日期2004年6月28日 優(yōu)先權(quán)日2003年6月30日
發(fā)明者J·C·葉, M·范德沙爾 申請人:皇家飛利浦電子股份有限公司