專利名稱：使用自適應(yīng)運動補償時間濾波的完全可分級3－d過完整小波視頻編碼的制作方法
此申請要求2002年10月16日提交的U.S.臨時申請序列號60/418,961根據(jù)35 USC 119(e)的權(quán)益，并在此將其結(jié)合以供參考。
本發(fā)明涉及視頻壓縮，并且更具體地涉及使用自適應(yīng)運動補償時間濾波的過完整小波視頻編碼。
當(dāng)前的視頻編碼算法主要基于帶有運動補償預(yù)測編碼的混合編碼方案。在這種混合方案中，使用運動補償來降低時間冗余度，并通過變換編碼運動補償?shù)氖Ｓ嗔縼斫档涂臻g分辨率。但是，這些混合編碼方案易于產(chǎn)生錯誤傳播，并且對于提供真正的可分級比特流缺乏靈活性，即缺乏由同一壓縮比特流解壓縮為不同質(zhì)量、分辨率和幀速率的層的能力。
相反，3D子帶/小波編碼能夠提供非常靈活的可分級比特流和較高的錯誤恢復(fù)力.就所允許的不同可分級類型來說，基于小波的可分級視頻編碼方案允許很大的靈活性。因此，對于經(jīng)不同的無線和有線網(wǎng)絡(luò)將視頻傳輸至各種具有不同性能的裝置，它們特別有用。
目前，有兩種基于小波的視頻編碼方案過完整小波和幀間小波。在過完整(OW)小波視頻編碼中，首先對每幀執(zhí)行空間小波變換，隨后是通過預(yù)測小波系數(shù)值或通過在熵編碼中定義時間上下文來利用幀間冗余度。在幀間小波視頻編碼中，小波濾波沿時間軸執(zhí)行，隨后是2D空間小波變換。
目前的幀間小波視頻編碼方案使用運動補償時間濾波(MCTF)來降低時間冗余度。在執(zhí)行空間分解之前沿運動的時間方向執(zhí)行MCTF。這種視頻編碼方案在這里稱為空間域MCTF(SDMCTF)。但是，由運動估計算法提供的匹配質(zhì)量固有地限制了SDMCTF視頻編碼方案。例如，有些幀間小波編碼序列看起來有輕微的模糊，因為不完全的運動估計造成幀細節(jié)移動到時間高頻子帶中，并從其移動到空間高頻子帶中。這些人為失真降低了未量化和空間分級的序列的視覺性能。進一步的測試已經(jīng)表明，降低時間分解等級的數(shù)目能夠減少人為失真。
在目前的OW視頻編碼方案中，小波濾波用于將每個視頻幀在空間上分解為多個子帶，并且使用運動估計去除每個子帶的時間相關(guān)性。
已經(jīng)有許多嘗試來在小波域中通過運動補償預(yù)測小波系數(shù)。但是，小波域中的運動補償高度地依賴于信號和為分析而選擇的分立網(wǎng)格的對準(zhǔn)。在原始圖像和平移一個像素的圖像的小波系數(shù)之間有很大差別。此平移變化特性經(jīng)常在圖像邊緣附近發(fā)生，所以小波系數(shù)的運動補償很困難。
現(xiàn)有的OW視頻編碼方案通過在預(yù)測中還利用奇相位小波系數(shù)克服了小波域中運動估計的低效率。獲得奇相位系數(shù)的便利方法是執(zhí)行帶移。因為解碼的先前幀也可在解碼器處得到，所以從過完整擴展的預(yù)測不需要任何附加的開銷。此外，就分數(shù)像素精度來說，在小波域中搜索最佳相位和運動向量的計算復(fù)雜度與空間域中的傳統(tǒng)運動估計的計算復(fù)雜度相當(dāng)。
但是，由于運動估計/補償?shù)脑?，所以傳統(tǒng)OW結(jié)構(gòu)受到漂移的影響，導(dǎo)致SNR可分級中的性能損失。此外，僅有限范圍的時間可分級能夠使用B幀實現(xiàn)。
因此，需要具有改善的SNR和時間可分級的基于小波的視頻編碼方案。
本發(fā)明致力于一種用于編碼視頻的方法和裝置。按照本發(fā)明的第一方面，視頻信號被空間分解為至少兩個不同頻率子帶的信號。對每個子帶信號應(yīng)用個性化運動補償時間濾波方案。然后對每個運動補償時間濾波的子帶信號應(yīng)用紋理編碼。按照本發(fā)明的第二方面，一個包括了視頻信號的至少兩個編碼運動補償時間濾波的、不同頻率子帶信號的信號被解碼。對解碼的至少兩個子帶信號的每一個，獨立地應(yīng)用逆運動補償時間濾波。該至少兩個子帶信號被空間重組，并且從該至少兩個空間重組子帶信號的至少一個中重建視頻信號。


圖1是按照本發(fā)明示例性實施例的可用于執(zhí)行本發(fā)明的IBMCTF方法的3-D過完整小波視頻編碼器的框圖。
圖2是在本發(fā)明中使用的自適應(yīng)高階內(nèi)插濾波器的框圖。
圖3說明了從小波系數(shù)的過完整擴展產(chǎn)生按照本發(fā)明用于運動估計的擴展參考幀的過程。
圖4A說明了產(chǎn)生模糊圖像的傳統(tǒng)MCTF的分解方案。
圖4B說明了在本發(fā)明中使用的分解方案。
圖5是按照本發(fā)明示例性實施例的3-D過完整小波視頻解碼器的框圖。
圖6示出了對兩級分解使用LBS算法的過完整小波擴展。
圖7是使用LBS方法獲得的2級過完整小波變換的視頻。
圖8說明了對于一級分解的1-D情況的本發(fā)明的交織方案。
圖9示出了執(zhí)行本發(fā)明的交織過程以后的圖7視頻第一幀的過完整小波系數(shù)。
圖10是LBS算法形成的小波塊。
圖11示出了說明時間高子帶幀的小波域中的MAD的表。
圖12-17繪出了對于整數(shù)和1/8像素精度運動估計的幾個測試序列的本發(fā)明的IBMCTF視頻編碼方案和SDMCTF的速率失真性能。
圖18是可以用于實施本發(fā)明原理的系統(tǒng)的示例性實施例。
本發(fā)明是一種完全可分級三維(3-D)過完整小波視頻編碼方案，它利用新穎的帶內(nèi)運動補償時間濾波(IBMCTF)方法。本發(fā)明的IBMCTF克服了先前IBMCTF編碼方法的缺點，并且顯示出與利用空間域運動補償時間濾波的傳統(tǒng)幀間小波編碼方法相當(dāng)?shù)幕蚋鼉?yōu)于它的編碼效率。
圖1是按照本發(fā)明示例性實施例的可用于執(zhí)行本發(fā)明的IBMCTF方法的3-D過完整小波視頻編碼器的框圖。視頻編碼器100包括3-D小波變換單元110，它使用傳統(tǒng)3-D過完整小波濾波過程來將輸入視頻的每個視頻幀空間分解為任意希望數(shù)目的多個子帶1、2、…和N。
視頻編碼器100進一步包括用于由小波變換單元110產(chǎn)生的每個子帶的分割單元120a、120b、120c。每個分割單元120a、120b、120c將其關(guān)聯(lián)的子帶的小波系數(shù)劃分為幀組(GOF)，以作為組進行編碼。
視頻編碼器100還包括用于每個子帶的運動補償時間濾波(MCTF)單元130a、130b、130c，其包含運動估計器131a、131b、131c和時間濾波器132a、132b、132c。每個MCTF 130a、130b、130c使用運動補償時間濾波(MCTF)過程分別從每個子帶的GOF去除時間相關(guān)性或冗余度。按照本發(fā)明，每個子帶的分立MCTF單元的使用使得運動補償時間濾波過程適合于每個子帶而與其它子帶無關(guān)。此外，為特定子帶選擇的時間濾波過程可以基于不同的標(biāo)準(zhǔn)。
此外，編碼器還包括用于每個子帶的紋理編碼器140a、140b、140c，其允許使用任何最佳紋理編碼過程對由每個子帶的MCTF單元130a、130b、130c產(chǎn)生的剩余信號和運動信息(運動向量)獨立地進行紋理編碼。紋理編碼的剩余信號和運動信息然后由多路復(fù)用器150合并為一個單個的比特流。另一個紋理編碼的實施例是實際大小的剩余幀的整體變換，這在由每個子帶的MCTF單元130a、130b、130c產(chǎn)生的所有剩余信號和運動信息都被合并以產(chǎn)生實際大小的剩余幀以后進行應(yīng)用。
正如本領(lǐng)域普通技術(shù)人員認識到的，已知IBMCTF方法中的臨界取樣小波分解僅是周期性地平移不變的。因此，在小波域中執(zhí)行運動估計和補償是低效率的，并且會導(dǎo)致編碼損失。為了解決此問題，每個運動補償濾波單元130a、130b、130c利用如圖2所示的自適應(yīng)高階內(nèi)插濾波器200來最大化運動估計器131a、131b、131c的性能。本發(fā)明的內(nèi)插濾波器200包括執(zhí)行低頻帶平移的低頻帶平移(LBS)單元210、執(zhí)行過完整小波系數(shù)交織的交織單元220和內(nèi)插單元230。LBS過程在LBS單元210中以一個或多個已知LBS算法實施，該算法有效地產(chǎn)生原始小波系數(shù)的過完整表示，它現(xiàn)在是平移不變量。LBS使用一個或多個類似LBS算法有利地在編碼器和解碼器處產(chǎn)生原始小波系數(shù)的過完整擴展，因此，與傳統(tǒng)幀間小波編碼方案相比，不需要編碼和傳輸附加信息。
由交織單元220執(zhí)行的交織過程合并由過完整小波系數(shù)提供的不同相位信息來產(chǎn)生擴展參考幀。因此，不需要象在以前的基于IBMCTF的視頻編碼方法中一樣分別編碼相位信息。由于本發(fā)明的交織過程，所以相位信息作為高精度運動向量的一部分被固有地編碼。
內(nèi)插單元230從擴展參考幀產(chǎn)生分數(shù)像素，例如1/2、1/4、1/8、1/16像素，它被運動估計器131a、131b、131c用于運動估計。內(nèi)插可以以傳統(tǒng)一維內(nèi)插濾波器實施。為了最大化運動估計和MCTF的性能，可以對每個子帶使用具有不同抽頭的獨立優(yōu)化內(nèi)插濾波器。圖3說明了從小波系數(shù)的過完整擴展產(chǎn)生按照本發(fā)明用于運動估計的擴展參考幀的過程。為了在HH子帶過完整擴展300中實現(xiàn)運動估計的高階內(nèi)插，例如通過以(1，0)、(0，1)和(1，1)的量平移低子帶來從原始小波系數(shù)310產(chǎn)生小波系數(shù)的另外三個相位。然后，小波系數(shù)的四個相位310、320、330、340交織，以產(chǎn)生擴展參考幀350。
本發(fā)明的基于IBMCTF的3-D過完整小波視頻編碼方法，與已知的基于空間域運動補償時間濾波(SDMCTF)的視頻編碼方法相比，提供了改善的空間可分級性能。這是因為對每個子帶(分辨率)都執(zhí)行時間濾波，因此，更精細分辨率的子帶的信息損失不會在時間方向?qū)е氯魏纹揭啤?br> 如前所述，對每個子帶使用分立MCTF單元130a、130b、130c使得可以在不同的分辨率使用不同的時間濾波技術(shù)。例如，在一個實施例中，雙向時間濾波技術(shù)可以用于低分辨率子帶，而前向時間濾波技術(shù)可以用于高分辨率子帶。時間濾波技術(shù)可以根據(jù)最小化失真或復(fù)雜度測量(例如低分辨率子帶具有較少的像素，因此可以采用雙向和多參考時間濾波，而對于具有較大量像素的高分辨率子帶，僅執(zhí)行前向估計)來選擇。這種靈活的時間濾波選項的選擇使本發(fā)明脫離了如MCTF所執(zhí)行的嚴(yán)格1D+2D分解方案，而趨向更普遍的在整個時間級別都降低了空間尺寸的3-D分解方案，其中從較長期時間濾波中省略了較高的空間頻率子帶。
對每個子帶使用分立分割單元120a、120b、120c使得能夠?qū)γ總€子帶自適應(yīng)地確定GOF。例如，LL子帶可能有很大的GOF，而H子帶可以使用有限的GOF。GOF的尺寸可以根據(jù)序列特性、復(fù)雜度或恢復(fù)力要求來改變。如前所述，傳統(tǒng)MCTF的分解方案，如圖4A所示，產(chǎn)生模糊圖像，但是，不同時間分解等級和GOF尺寸的使用使得本發(fā)明的3-D小波可分級視頻編碼方案能夠克服這種缺點。如圖4B所示，LL LH(HL)和HH的GOF尺寸可以分別是8、4和2幀，其分別允許3、2和1的最大分解等級。這樣，從較長期時間濾波中省略了較高的空間頻率子帶。
不同子帶的時間分解等級數(shù)目可以根據(jù)內(nèi)容或減少特定失真度量或者僅根據(jù)希望的每個分辨率中的時間可分級來確定。例如，如果在CIF(352×288)尺寸的分辨率時希望30、15和7.5Hz幀速率，而在SD(704×576)尺寸分辨率時僅希望30和15，則對于LL空間子帶使用三級時間分解，而對于LH、HL和HH子帶僅能應(yīng)用兩級時間分解。
而且如前所述，對每個子帶使用分立紋理編碼單元140a、140b、140c允許不同空間子帶的自適應(yīng)紋理編碼。例如，可以使用小波或基于DCT的紋理編碼方案。如果使用基于DCT的紋理編碼，則幀內(nèi)編碼塊可以有利地插入GOF內(nèi)的任何地方以有效地處理覆蓋和未覆蓋情況。而且能夠容易地利用MPEG-4/H.26L的“自適應(yīng)幀內(nèi)刷新”概念來提供改善的恢復(fù)力，并且可以對不同的子帶使用不同的刷新速率來獲得不同的恢復(fù)力。這特別有利，因為低分辨率子帶可以用于隱藏高分辨率子帶，因而它們的恢復(fù)力更重要。
本發(fā)明的另一優(yōu)點涉及解碼器的復(fù)雜度可分級。如果有許多具有不同計算能力和表現(xiàn)的解碼器，通過SNR/空間/時間可分級，同一可分級比特流可用于支持所有這些解碼器。例如，由本發(fā)明的編碼器產(chǎn)生的可分級比特流可以用低復(fù)雜度的解碼器解碼，該解碼器僅能解碼低分辨率的空時分解等級，這導(dǎo)致僅有很小的計算負擔(dān)。類似地，由本發(fā)明的編碼器產(chǎn)生的可分級比特流也能用具有復(fù)雜解碼能力的解碼器解碼，該解碼器能夠解碼整個比特流，以實現(xiàn)完全的空時分辨率。
圖5是按照本發(fā)明示例性實施例的3-D過完整小波視頻解碼器的框圖。解碼器可以用于解碼由本發(fā)明的編碼器產(chǎn)生的比特流。視頻解碼器400可以包括解復(fù)用器410，它處理比特流以從運動信息分離編碼的小波系數(shù)。
第一紋理解碼器420按照在編碼器側(cè)執(zhí)行的紋理編碼技術(shù)的相反方式將小波系數(shù)解碼為它們各自分開的子帶1、2、…和N。由第一紋理解碼器420產(chǎn)生的子帶小波系數(shù)對應(yīng)于該子帶的每個GOF。運動向量解碼器430按照在編碼器側(cè)執(zhí)行的紋理編碼技術(shù)的相反方式解碼每個子帶的運動信息。使用解碼的運動向量和剩余紋理信息，由MCTF單元440a、440b、440c對每個子帶獨立應(yīng)用逆MCTF，并且逆小波變換單元450空間重組每個子帶，以重建低、中和高級圖像。低頻帶平移塊讀取重組的子帶圖像以組合實際尺寸的圖像，然后應(yīng)用低頻帶平移小波分解來為逆MCTF單元440a、440b、440c提供擴展參考幀。根據(jù)顯示分辨率，一個視頻重建單元(未示出)可以使用子帶之一來產(chǎn)生低分辨率視頻，或者使用兩個子帶來產(chǎn)生中分辨率視頻，或者使用所有子帶來產(chǎn)生高分辨率、完全質(zhì)量的視頻。
現(xiàn)在將在下面更詳細地說明在本發(fā)明的視頻方案中利用的各種過程。
過完整小波域中的運動估計和補償1.低頻帶平移方法(LBS)在小波變換中執(zhí)行的抽取(decimation)過程產(chǎn)生不再是平移不變的小波系數(shù)。因此，空間域中的平移運動不能根據(jù)小波系數(shù)精確地估計，其進而又產(chǎn)生編碼效率的明顯的損失。在本發(fā)明中利用的LBS算法提供了一種克服小波變換的平移變化特性的方法。在第一級，原始和平移信號被分解為低子帶和高子帶信號。隨后，低子帶信號以與第一級相同的方式進一步被分解。
圖6示出了對兩級分解使用LBS算法的過完整小波擴展。一維(1-D)表示可以很容易地擴展為具有多級的小波分解以及也擴展為二維(2-D)圖像信號。一個對(m，n)表示該子帶內(nèi)的小波系數(shù)分別通過x方向的m像素和y方向的n像素平移來產(chǎn)生。LBS算法對輸入子帶的所有可能平移產(chǎn)生整組的小波系數(shù)。因此，這種表示精確地傳達了空間域中的任意平移。如將進一步討論的，在特定空間位置處對應(yīng)于同一分解等級的不同平移的小波系數(shù)被稱為“交叉相位”小波系數(shù)。
圖7是使用LBS方法獲得的2級過完整小波變換的視頻。注意，對于n級分解，過完整小波表示需要原始圖像的3n+1倍的存儲空間。
2.小波系數(shù)的交織本發(fā)明新穎的交織方案以與圖6和7所述的方式不同地來存儲過完整小波系數(shù)。如說明了一級分解的1-D情況的本發(fā)明交織方案的圖8所示，系數(shù)的平移交織被執(zhí)行，從而過完整域中的新坐標(biāo)對應(yīng)于原始空間域中的相關(guān)平移。
交織方案可以在每個分解級遞歸地使用，并且可以直接對2-D信號擴展。圖9示出了執(zhí)行本發(fā)明的交織過程以后的圖7視頻第一幀的過完整小波系數(shù)。如可從圖9看到的，交織低子帶信號是使用過完整小波低通濾波器的原始幀的低通濾波形式。本發(fā)明的交織過程使本發(fā)明的IBMCTF方法能夠提供子像素精度的運動估計和補償。先前提出的IBMCTF方案不能提供最佳子像素精度的運動估計和補償，因為它們沒有考慮鄰近小波系數(shù)之間的交叉相位依賴關(guān)系。此外，交織過程使得本發(fā)明的IBMCTF方法能夠使用分級可變尺寸塊匹配、后向運動補償和塊內(nèi)的自適應(yīng)插入。
小波塊的產(chǎn)生如本領(lǐng)域眾所周知的，在小波分解中，除了最高頻率子帶中的那些外，給定等級的每個系數(shù)都與更精細等級的相同取向的一組系數(shù)有關(guān)。在許多小波編碼器中，該關(guān)系通過將系數(shù)表示為稱作小波樹的數(shù)據(jù)結(jié)構(gòu)來利用。在LBS算法中，固定在最低子帶中的每個小波樹的系數(shù)被重新排列以形成小波塊，如圖10所示。小波塊的目的是提供小波系數(shù)和它們在圖像中空間上表示的內(nèi)容之間的直接關(guān)聯(lián)。所有等級和取向的相關(guān)系數(shù)都包括在每個決中。
運動估計的結(jié)構(gòu)在空間域中，基于塊的運動估計通常將圖像劃分為小塊，然后尋找能使當(dāng)前幀的每個塊的平均絕對差(MAD)最小化的參考幀的塊。LBS算法的運動估計尋找一個在當(dāng)前小波塊和參考小波塊之間產(chǎn)生最小MAD的運動向量(dx，dy)。例如，如果輸入圖像被分解直至第三級(即輸入圖像可以分解為總共十個子帶)，并且位移向量是(dx，dy)，則圖10中第k個小波塊的MAD如下計算MADk(dx,dy)=Σi=13Σxi=x1,kxi,k+M/2iΣyi=y1,kyi,k+N/2i{]]> 其中xi，k＝x0，k/2i，而yi，k＝y(tǒng)0，k/2i；以及(x0，k，y0，k)表示空間域中的第k個小波塊的初始位置，如圖10所示，而 表示不超過x的最大整數(shù)。這里，例如，參考幀的第i級HL子帶由HLref(i)(m，n；x，y)表示，其中(m，n)表示空間域中沿x和y方向平移的數(shù)目，而(x，y)是子帶信號的位置。運動估計的最佳標(biāo)準(zhǔn)現(xiàn)在是尋找能使此MAD最小化的最佳(dx，dy)。注意，在原始LBS算法中，對于(dx，dy)的非整數(shù)值不可能使用上述公式計算MAD。更具體地，傳統(tǒng)IBMCTF視頻編碼方案中的MAD僅基于相同相位的小波系數(shù)，并且所得的子像素精度運動估計和補償不是最佳的。
但是，在本發(fā)明的IBMCTF方法中，交織過程使得MAD計算能夠象SDMCTF視頻編碼方案一樣地執(zhí)行，甚至對于子像素精度也如此。更具體地，本發(fā)明的IBMCTF方法的位移向量(dx，dy)的MAD如下計算MADk(dx,dy)=Σi=13Σxi=xi,kxi,k+M/2iΣyi=yi,kyi,k+N/2i{]]>|HLcur(i)(xi,yi)-LBS_HLref(i)(2ixi+dx,2iyi+dy)|+|LHcur(i)(xi,yi)-LBS_LHref(i)(2ixi+dx,2iyi+dy)|]]>+|HHcur(i)(xi,yi)-LBS_HHref(i)(2ixi+dx,2iyi+dy)|}]]>+Σxi=xi,kxi,k+M/2iΣyi=yi,kyi,k+N/2I|LLcur(i)(xi,yi)-LBS_LLref(i)(2ixi+dx,2iyi+dy)|]]>其中，例如LBS_HLref(i)(x，y)表示使用本發(fā)明的交織過程的參考幀的擴展HL子帶。注意，即使(dx，dy)是非整數(shù)值，與SDMCTF使用的相同的內(nèi)插技術(shù)也可以容易地用于每個擴展子帶從而產(chǎn)生非整數(shù)偏移的MAD。因此，與現(xiàn)有的IBMCTF編碼方案相比，本發(fā)明的IBMCTF視頻編碼方案提供更有效和實際上最佳的子像素運動估計。而且，在具有小波塊結(jié)構(gòu)的本發(fā)明的IBMCTF視頻編碼方案中不會導(dǎo)致任何運動向量開銷，因為要編碼的運動向量的數(shù)目和SDMCTF的一樣。由于運動估計與剩余編碼緊密匹配，所以可以使用更復(fù)雜的運動估計標(biāo)準(zhǔn)(例如剩余信號的熵)來改善編碼性能。
仿真結(jié)果為了檢驗在過完整小波域中按照本發(fā)明的運動估計和運動補償在小波域產(chǎn)生低殘余能量，使用一級時間分解，并對IBMCTF和SDMCTF計算MAD。注意，在幀間小波編碼中，MAD在空間域中被計算，但是實際需要被最小化的是小波域中的殘余能量。圖11示出了說明時間高子帶幀的小波域中的MAD的表。MAD值對時間高子帶的前50幀進行平均。對于SDMCTF的情況，小波域中的相應(yīng)MAD值在剩余信號的小波變換后被計算。注意，IBMCTF的MAD總是小于SDMCTF的MAD，這表明本發(fā)明的IBMCTF視頻編碼方案的可能編碼增益超過SDMCTF的可能編碼增益。
圖12-17繪出了對整數(shù)和1/8像素精度運動估計的幾個測試序列的本發(fā)明的IBMCTF視頻編碼方案和SDMCTF的速率失真性能。MCTF的帶內(nèi)結(jié)構(gòu)用由Daubechies 9/7濾波器執(zhí)行的兩級空間分解來計算，而對于時間方向則使用四級分解。用在S.T.Hsiaug等人的標(biāo)題為Invertible Three-Dimensional Analysis/Synthesis System ForVideo Coding With Half-Pixel Accurate Motion Compensation(用于帶半像素精度運動補償?shù)囊曨l編碼的可逆三維分析/合成系統(tǒng))，VCIP 1999，SPIE Vol.3653，pp.537-546的文章中描述的EZBC算法執(zhí)行紋理編碼。與SDMCTF類似，使用1/8像素的子像素運動估計很大地改善了IBMCTF的編碼性能。IBMCTF和SDMCTF的整個編碼性能相當(dāng)。但是，有些序列，例如“Coastguard”、“Silent”和“Stefan”呈現(xiàn)高達0.5dB的性能增益，而對于“Mobile”序列可以觀察到0.3dB的性能下降?？梢?，本發(fā)明的IBMCTF算法不受運動估計的塊失真的影響，因為運動估計和濾波在每個子帶中執(zhí)行，并且使用小波重組濾波器濾除了運動的邊界。
圖18是可以用于實施本發(fā)明原理的系統(tǒng)500的示例性實施例。系統(tǒng)500可以代表電視、機頂盒、桌上、膝上和掌上電腦、個人數(shù)字助理(PDA)、視頻/圖像存儲裝置，例如盒式錄像機(VCR)、數(shù)字錄像機(DVR)、TiVO裝置等，以及這些和其它裝置的部分和組合。系統(tǒng)500包括一個或多個視頻/圖像源501、一個或多個輸入/輸出裝置502、處理器503和存儲器504。視頻/圖像源501可以代表例如電視接收機、VCR或其它視頻/圖像存儲裝置。源501可替代地代表一個或多個網(wǎng)絡(luò)連接，用于經(jīng)例如諸如因特網(wǎng)之類的全球計算機通信網(wǎng)絡(luò)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、地面廣播系統(tǒng)、有線網(wǎng)、衛(wèi)星網(wǎng)、無線網(wǎng)或電話網(wǎng)以及這些和其它類型網(wǎng)絡(luò)的部分或組合來從服務(wù)器接收視頻。
輸入/輸出裝置502、處理器503和存儲器504可以經(jīng)通信介質(zhì)505通信。通信介質(zhì)505可以代表例如總線、通信網(wǎng)絡(luò)、一個或多個電路、電路卡或其它裝置的內(nèi)部連接以及這些和其它通信介質(zhì)的部分和組合。按照存儲器504中存儲的并由處理器503執(zhí)行的一個或多個軟件程序處理來自源501的輸入視頻數(shù)據(jù)，以便產(chǎn)生提供給顯示裝置506的輸出視頻/圖像。
在優(yōu)選實施例中，本發(fā)明的編碼和解碼原理可以通過由系統(tǒng)執(zhí)行的計算機可讀代碼來實現(xiàn)。代碼可以存儲在存儲器504中，或從諸如CD-ROM或軟盤之類的存儲介質(zhì)讀取/下載。在其它實施例中，可以使用硬件電路代替或組合軟件指令來實現(xiàn)發(fā)明。例如，圖1、2和5所示的功能單元也可以以分立硬件單元實施。
雖然以上已經(jīng)就特定實施例描述了本發(fā)明，但是應(yīng)當(dāng)理解，本發(fā)明不限于這里公開的實施例。例如，除了DCT，還可以使用其它變換，包括但不限于小波或匹配跟蹤。這些和所有其它這類修改和變化被認為在所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1.一種編碼視頻的方法，該方法包括下列步驟提供視頻信號；將視頻信號空間分解(110)為至少兩個不同頻率子帶的信號；對每個子帶信號應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)；以及紋理編碼(140a、140b、140c)每個運動補償時間濾波子帶信號。
2.按照權(quán)利要求1的方法，其中空間分解步驟(110)通過小波濾波執(zhí)行。
3.按照權(quán)利要求1的方法，其中視頻信號規(guī)定了多個幀，空間分解步驟(110)包括將每幀視頻信號空間分解為至少兩個不同頻率子帶的信號。
4.按照權(quán)利要求1的方法，其中在應(yīng)用運動補償時間濾波方案(130a、130b、130c)的步驟(130a、130b、130c)之前，進一步包括下述步驟將每個子帶信號分成一個表示一組具有一定內(nèi)容的時間幀的信號。
5.按照權(quán)利要求4的方法，其中對每個子帶信號所應(yīng)用的個性化運動補償時間濾波方案(130a、130b、130c)是按照幀組的內(nèi)容而被個性化的。
6.按照權(quán)利要求1的方法，其中在應(yīng)用運動補償時間濾波方案的步驟之前，進一步包括下述步驟將每個子帶信號分成一個表示一組幀(120a、120b、120c)的信號，在至少一個幀信號組中的幀數(shù)目是自適應(yīng)地確定的。
7.按照權(quán)利要求1的方法，其中對每個子帶信號所應(yīng)用的個性化運動補償時間濾波方案(130a、130b、130c)是按照子帶信號的空間分辨率而被個性化的。
8.按照權(quán)利要求1的方法，其中對每個子帶信號應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的步驟是通過使用取決于信號內(nèi)容的可變精度運動估計來執(zhí)行的。
9.按照權(quán)利要求1的方法，其中對每個子帶信號所應(yīng)用的個性化運動補償時間濾波方案(130a、130b、130c)是按照子帶信號的時間相關(guān)性而被個性化的。
10.按照權(quán)利要求1的方法，其中對每個子帶信號應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的步驟是通過使用個性化內(nèi)插濾波器(200)來最大化運動估計性能而執(zhí)行的。
11.按照權(quán)利要求1的方法，其中對每個子帶信號應(yīng)用的個性化運動補償時間濾波方案(130a、130b、130c)是按照子帶信號的特性而被個性化的。
12.按照權(quán)利要求1的方法，其中對每個子帶信號所應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的步驟是通過使用從由多方向時間濾波器和單方向時間濾波器組成的組中選擇的一個時間濾波器來執(zhí)行的。
13.按照權(quán)利要求1的方法，其中對每個子帶信號應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的步驟包括下列步驟平移(210)子帶信號至少三次，以產(chǎn)生小波系數(shù)的三個附加相位，該子帶信號來自在空間分解步驟中產(chǎn)生的小波系數(shù)的一個相位；交織(220)小波系數(shù)的所述四個相位以產(chǎn)生擴展參考幀；以及使用擴展參考幀來估計運動(131a、131b、131c)。
14.按照權(quán)利要求13的方法，其中執(zhí)行空間分解步驟(110)來提供多個分解等級，每個分解等級包括不同頻率子帶，并且其中通過執(zhí)行平移(210)、交織(220)和估計步驟(131a、131b、131c)來應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的步驟被遞歸地應(yīng)用于每個分解等級。
15.按照權(quán)利要求1的方法，其中對每個子帶信號應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的步驟包括下列步驟平移(210)子帶信號至少三次，以產(chǎn)生小波系數(shù)的三個附加相位，該子帶信號來自在空間分解步驟中產(chǎn)生的小波系數(shù)的一個相位；組合(220)小波系數(shù)的所述四個相位以產(chǎn)生擴展參考幀；從擴展幀中產(chǎn)生分數(shù)像素(230)；以及按照分數(shù)像素來估計運動(131a、131b、131c)。
16.按照權(quán)利要求14的方法，其中執(zhí)行空間分解步驟(110)來提供多個分解等級，每個分解等級包括不同頻率子帶，并且其中通過執(zhí)行平移(210)、組合(220)、產(chǎn)生(230)和估計步驟(131a、131b、131c)來應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的步驟被遞歸地應(yīng)用于每個分解等級。
17.一種用于編碼視頻的存儲介質(zhì)，該存儲介質(zhì)包括用于將視頻信號空間分解(110)為至少兩個不同頻率子帶信號的代碼；用于對每個子帶信號應(yīng)用個性化運動補償時間濾波方案(130a、130b、130c)的代碼；以及用于紋理編碼(140a、140b、140c)每個運動補償時間濾波子帶信號的代碼。
18.一種用于編碼視頻的裝置，該裝置包括小波變換單元(110)，用于將視頻信號空間分解為至少兩個不同頻率子帶的信號；用于至少兩個子帶信號中每一個的運動補償時間濾波單元(130a、130b、130c)，每個運動補償時間濾波單元對其關(guān)聯(lián)的子帶信號應(yīng)用個性化運動補償時間濾波方案；以及用于至少兩個子帶信號中每一個的紋理編碼單元(140a、140b、140c)，每個紋理編碼單元紋理編碼其關(guān)聯(lián)的運動補償時間濾波子帶信號。
19.按照權(quán)利要求18的裝置，進一步包括用于每個子帶信號的分割單元(120a、120b、120c)，每個分割單元將其關(guān)聯(lián)的子帶信號分成表示具有一定內(nèi)容的一組時間幀的信號。
20.按照權(quán)利要求18的裝置，其中每個運動補償時間濾波單元(130a、130b、130c)包括低頻帶平移單元(210)，用于平移其關(guān)聯(lián)的子帶信號至少三次，以產(chǎn)生小波系數(shù)的三個附加相位，該子帶信號來自小波系數(shù)的一個相位；和交織單元(220)，用于交織小波系數(shù)的所述四個相位，以產(chǎn)生擴展參考幀。
21.按照權(quán)利要求20的裝置，其中每個運動補償時間濾波單元(130a、130b、130c)進一步包括一個內(nèi)插單元(230)，用于從擴展幀中產(chǎn)生分數(shù)像素。
22.按照權(quán)利要求21的裝置，其中每個運動補償時間濾波單元(130a、130b、130c)進一步包括一個運動估計單元(131a、131b、131c)，用于按照分數(shù)像素來估計運動。
23.一種解碼視頻的方法，該方法包括下列步驟解碼(420)一個包括視頻信號的至少兩個編碼運動補償時間濾波的不同頻率子帶信號的信號；對解碼的至少兩個子帶信號中的每個獨立地應(yīng)用逆運動補償時間濾波(440a、440b、440c)；空間重組(450)至少兩個子帶信號；以及從該至少兩個空間重組子帶信號中的至少一個重建視頻信號。
24.按照權(quán)利要求23的方法，其中視頻信號從所有的該至少兩個空間重組的子帶信號來進行重建。
25.一種用于解碼視頻的存儲介質(zhì)，該存儲介質(zhì)包括用于解碼一個包括視頻信號的至少兩個編碼運動補償時間濾波的不同頻率子帶信號的信號(420)的代碼；用于對解碼的至少兩個子帶信號中的每個獨立地應(yīng)用逆運動補償時間濾波(440a、440b、440c)的代碼；用于空間重組(450)至少兩個子帶信號的代碼；以及用于從至少兩個空間重組子帶信號中的至少一個重建視頻信號的代碼。
26.一種用于解碼視頻的裝置，該裝置包括紋理解碼單元(420)，用于解碼一個包括視頻信號的至少兩個編碼運動補償時間濾波的不同頻率子帶信號的信號；用于該至少兩個子帶信號的每一個的逆運動補償時間濾波單元(440a、440b、440c)，每個逆運動補償時間濾波單元對其關(guān)聯(lián)的解碼的至少兩個子帶信號獨立地應(yīng)用逆運動補償時間濾波；逆小波變換單元(450)，用于空間重組至少兩個子帶信號；以及視頻重建單元，用于從該至少兩個空間重組子帶信號中的至少一個重建視頻信號。
全文摘要
一種用于編碼視頻的方法和裝置，其中視頻信號被空間分解為至少兩個不同頻率子帶的信號，按照信號內(nèi)容自適應(yīng)地對每個子帶信號應(yīng)用個性化運動補償時間濾波方案，并按照信號內(nèi)容自適應(yīng)地對每個運動補償時間濾波的子帶信號應(yīng)用紋理編碼。
文檔編號H04N7/26GK1706197SQ200380101519
公開日2005年12月7日 申請日期2003年10月8日 優(yōu)先權(quán)日2002年10月16日
發(fā)明者J·C·葉, M·范德沙爾 申請人:皇家飛利浦電子股份有限公司