預(yù)測部254利用存儲(chǔ)于解碼圖片緩沖器256的參考圖片及運(yùn)動(dòng)矢量來生成預(yù)測圖片。幀間預(yù)測部254還可包括運(yùn)動(dòng)估計(jì)部254a及運(yùn)動(dòng)補(bǔ)償部254b。在運(yùn)動(dòng)估計(jì)部254a，通過獲得表示當(dāng)前塊和用于編碼的參考圖片的參考?jí)K之間的位置關(guān)系的運(yùn)動(dòng)矢量，向運(yùn)動(dòng)補(bǔ)償部254b傳遞所獲得的運(yùn)動(dòng)矢量。
[0037]通過從上述幀內(nèi)預(yù)測部252或幀間預(yù)測部254輸出的預(yù)測值和從逆變換部225輸出的像素值相加，來生成復(fù)原的視頻幀。
[0038]以下，對上述編碼裝置100和解碼裝置200的操作方面，參照圖3至圖5來說明對編碼單元及預(yù)測單元等進(jìn)行分割的方法。
[0039]編碼單元是指在上述中所說明的視頻信號(hào)的處理過程中，例如在幀內(nèi)(intra)/幀間(inter)預(yù)測、變換(transform)、量化(quantizat1n)和 / 或熵編碼(entropycoding)等過程中，用于處理圖片的基本單位。在對一個(gè)圖片進(jìn)行編碼的過程中所使用的編碼單元的大小可不固定。編碼單元可呈四角形形式，一個(gè)編碼單元可重新分割為多個(gè)編碼單元。
[0040]圖3為示出根據(jù)本發(fā)明實(shí)施例來分割編碼單元的一個(gè)示例的圖。例如，大小為2NX2N的一個(gè)編碼單元可重新被分割成四個(gè)大小為NXN的編碼單元。這種編碼單元的分割可以以遞歸方式(recursively)執(zhí)行，所有編碼單元無需被分割成相同的形式。但是，為了便于進(jìn)行編碼及處理過程，可存在對編碼單元32的最大大小和/或編碼單元34的最小大小的限制。
[0041]對一個(gè)編碼單元，可存儲(chǔ)用于表示相應(yīng)的編碼單元是否被分割的信息。圖4為示出利用標(biāo)志值來以分級(jí)方式表示圖3所示編碼單元的分割結(jié)構(gòu)的方法的實(shí)施例的圖。關(guān)于表示編碼單元是否被分割的信息，可在相應(yīng)編碼單元被分割的情況下配置為“I”值，在相應(yīng)單元不被分割的情況下配置為“O”值。如圖4所示，若用于表示相應(yīng)單元是否被分割的標(biāo)志值為“ I ”，則與相應(yīng)節(jié)點(diǎn)相對應(yīng)的編碼單元將重新被分成四個(gè)編碼單元，若用于表示相應(yīng)編碼單元是否被分割的標(biāo)志值為“0”，則不再分割編碼單元，并可執(zhí)行對相應(yīng)編碼單元的處理程序。
[0042]在上述中所說明的編碼單元的結(jié)構(gòu)可利用遞歸樹(recursive tree)結(jié)構(gòu)來表示。即，以一個(gè)圖片或最大大小的編碼單元作為根(root)，被分割成其他編碼單元的編碼單元具有所被分割的編碼單元的數(shù)量相當(dāng)?shù)淖?child)節(jié)點(diǎn)。因此，不再被分割的編碼單元成為葉(leaf)節(jié)點(diǎn)。當(dāng)假設(shè)對一個(gè)編碼單元僅可進(jìn)行正方形分割時(shí)，由于一個(gè)編碼單元最多可被分割成4個(gè)其他編碼單元，因而表示編碼單元的樹結(jié)構(gòu)可呈四叉樹(Quard tree)形狀。
[0043]在編碼器中，根據(jù)視頻圖片的特性(例如，分辨率)或考慮編碼的效率來選擇編碼單元的最佳大小，而比特流可包含關(guān)于所選擇最佳大小的信息或可導(dǎo)出所選擇最佳大小的信息。例如，可定義最大編碼單元的大小及樹結(jié)構(gòu)的最大深度。若分割成正方形，編碼單元的高度及寬度為主節(jié)點(diǎn)的編碼單元的高度及寬度的一半，因此利用如上所述的信息，可求得最小編碼單元的大小。或者，相反，可通過預(yù)先定義并利用最小編碼單元的大小及樹結(jié)構(gòu)的最大深度，并由此導(dǎo)出最大編碼單元的大小來加以利用。在進(jìn)行正方形分割的情況下，由于單元的大小以2的倍數(shù)形式變化，因而可通過以2為底數(shù)的對數(shù)值來表示實(shí)際編碼單元的大小，從而提高傳送效率。
[0044]在解碼器中，可獲得用于表示當(dāng)前編碼單元是否被分割的信息。若僅在特定條件下獲得(傳送)這種信息，則可提高效率。例如，可使當(dāng)前編碼單元被分割的條件為在當(dāng)前位置加上當(dāng)前編碼單元大小的值小于圖片的大小，且當(dāng)前單元大小大于已設(shè)定的最小編碼單元的大小，因而僅在這種情況下，才可獲得用于表示當(dāng)前編碼單元是否被分割的信息。
[0045]若上述信息表示編碼單元被分割，則將要被分割出的編碼單元的大小為當(dāng)前編碼單元的一半，以當(dāng)前處理位置為基準(zhǔn)，被分割成四個(gè)正方形編碼單元?？蓪Ρ环指畛龅母骶幋a單元反復(fù)執(zhí)行如上所述的處理。
[0046]用于編碼的圖片預(yù)測(運(yùn)動(dòng)補(bǔ)償)將不再被分割的編碼單元(即，編碼單元樹的葉節(jié)點(diǎn))作為對象。以下，執(zhí)行這種預(yù)測的基本單位被稱作預(yù)測單元(predict1n unit)或預(yù)測塊(predict1n block)。
[0047]圖5示出本發(fā)明實(shí)施例的各種大小及形式的預(yù)測單元。預(yù)測單元可在編碼單元內(nèi)具有正方形、長方形等多種形式。例如，一個(gè)預(yù)測單元不能被分割(2NX2N)，或如圖5所示，可被分割成具有 NX N、2NX N、NX 2N、2NX N/2、2NX 3N/2、N/2 X 2N、3N/2 X 2N 等多種大小及形式。并且，預(yù)測單元的可分割的形式可在幀內(nèi)編碼單元和幀間編碼單元中以分別不同的方式定義。例如，可設(shè)定成在幀內(nèi)編碼單元中僅可分割成2NX 2N或NX N形式，而在幀間編碼單元中可分割成在上述中所提及的所有形式。此時(shí)，比特流可包含表示上述預(yù)測單元是否被分割的信息或上述預(yù)測單元以何種形式被分割的信息?；蛘?，還可從其他信息導(dǎo)出這種信息。
[0048]以下，可將在本說明書中所使用的“單元”這一術(shù)語用作代替作為執(zhí)行預(yù)測的基本單位的上述預(yù)測單元的術(shù)語。但是，本發(fā)明并不限定于此，更寬泛地，可將上述“單元”這一術(shù)語理解為包括上述編碼單元的概念。
[0049]為了使執(zhí)行解碼的當(dāng)前單元復(fù)原，可利用包括當(dāng)前單元的當(dāng)前圖片或其他多個(gè)圖片的被解碼的部分。對在復(fù)原的過程中僅使用當(dāng)前圖片的情況，即，僅執(zhí)行幀內(nèi)預(yù)測的圖片(切片)被稱作幀內(nèi)圖片或I圖片(切片)，可執(zhí)行幀內(nèi)預(yù)測和幀間預(yù)測兩者的圖片(切片)被稱作幀間圖片(切片)。為了在幀間圖片(切片)中預(yù)測各個(gè)單元而利用最多一個(gè)運(yùn)動(dòng)矢量及參考索引的圖片(切片)被稱作預(yù)測圖片(predictive picture)或P圖片(切片)，利用最多兩個(gè)運(yùn)動(dòng)矢量及參考索引的圖片(切片)被稱作雙向預(yù)測圖片(B1-predictivepicture)或B圖片(切片)。
[0050]在幀內(nèi)預(yù)測部中，從當(dāng)前圖片內(nèi)的被復(fù)原的區(qū)域執(zhí)行預(yù)測對象單元的像素值的幀內(nèi)預(yù)測(Intra predict1n)。例如，可以以當(dāng)前單元為中心，從位于上端、左側(cè)、左側(cè)上端和/或右側(cè)上端的多個(gè)單元的被編碼的像素預(yù)測當(dāng)前單元的像素值。
[0051]另一方面，在幀間預(yù)測部中，不是利用當(dāng)前圖片而是被復(fù)原的其他多個(gè)圖片的信息來執(zhí)行預(yù)測對象單元的像素值的幀間預(yù)測(Inter predict1n)。此時(shí)，用于預(yù)測的圖片被稱作參考圖片(reference picture)。在幀間預(yù)測過程中，可利用用于表示包括相應(yīng)參考區(qū)域的參考圖片的索引及運(yùn)動(dòng)矢量(mot1n vector)信息等，來表示利用哪個(gè)參考區(qū)域?qū)Ξ?dāng)前單元進(jìn)行預(yù)測。
[0052]幀間預(yù)測可包括前向預(yù)測(forward direct1n predict1n)、后向預(yù)測(backward direct1n predict1n)及雙向預(yù)測(B1-predict1n)。前向預(yù)測意味著利用時(shí)間上在當(dāng)前圖片之前顯示(或輸出)的一個(gè)參考圖片來進(jìn)行的預(yù)測，后向預(yù)測意味著利用時(shí)間上在當(dāng)前圖片之后顯示(或輸出)的一個(gè)參考圖片來進(jìn)行的預(yù)測。為此，有可能需要一組運(yùn)動(dòng)信息(例如，運(yùn)動(dòng)矢量及參考圖片索引)。在雙向預(yù)測方式中，可利用最多兩個(gè)參考區(qū)域，該兩個(gè)參考區(qū)域可存在于相同的參考圖片，也可分別存在于互不相同的圖片。即，在雙向預(yù)測方式中，可利用最多兩組運(yùn)動(dòng)信息(例如，運(yùn)動(dòng)矢量及參考圖片索引)，兩個(gè)運(yùn)動(dòng)矢量可具有相同的參考圖片索引，也可具有互不相同的參考圖片索引。此時(shí)，多個(gè)參考圖片在時(shí)間上均可顯示(或輸出)于當(dāng)前圖片之前或當(dāng)前圖片之后。
[0053]可利用運(yùn)動(dòng)矢量及參考圖片索引來獲得當(dāng)前單元的參考單元。上述參考單元存在于具有上述參考圖片索引的參考圖片內(nèi)。并且，可將借助上述運(yùn)動(dòng)矢量來指定的單元的像素值或內(nèi)插(interpolat1n)值用作上述當(dāng)前單元的預(yù)測值(predictor)。為了進(jìn)行具有子像素(sub-pel)單位的像素準(zhǔn)確度的運(yùn)動(dòng)預(yù)測，例如，可對亮度信號(hào)使用8抽頭內(nèi)插濾波器，可對色差信號(hào)使用4抽頭內(nèi)插濾波器。如上所述，利用運(yùn)動(dòng)信息來執(zhí)行從之前被解碼的圖片預(yù)測當(dāng)前單元的圖片的運(yùn)動(dòng)補(bǔ)償(mot1n compensat1n) ο
[0054]另一方面，對于當(dāng)前圖片，可由用于幀間預(yù)測而使用的多個(gè)圖片來構(gòu)成參考圖片列表。在B圖片的情況下，需要兩個(gè)參考圖片列表，以下，上述兩個(gè)參考圖片列表分別被稱作參考圖片列表O (或L0)、參考圖片列表I (或LI)。
[0055]圖6為本發(fā)明實(shí)施例的可分級(jí)視頻編碼(或可分級(jí)高效視頻編碼)系統(tǒng)的簡要框圖。
[0056]可分級(jí)視頻編碼方式為用于根據(jù)在多種多媒體環(huán)境下的網(wǎng)絡(luò)狀況或終端的分辨率等多種用戶環(huán)境，來從空間性、時(shí)間性和/或圖像質(zhì)量等方面，分級(jí)提供視頻內(nèi)容的壓縮方法?？臻g可分級(jí)性(scalability)可通過以不同的分辨率按各個(gè)層對相同的圖片進(jìn)行編碼來支持，時(shí)間可分級(jí)性可通過調(diào)節(jié)圖片的每秒幀的屏幕回放率來體現(xiàn)。并且，質(zhì)量可分級(jí)性可通過使每個(gè)層的量化參數(shù)各不相同的方式進(jìn)行編碼，來提供多種圖像質(zhì)量的圖片。此時(shí)，具有較低的分辨率、每秒幀數(shù)和/或質(zhì)量的圖片序列被稱作基礎(chǔ)層，具有較高的分辨率、每秒幀數(shù)和/或質(zhì)量的圖片序列被稱作增強(qiáng)層。
[0057]以下，參照圖6，對本發(fā)明的可分級(jí)視頻編碼系統(tǒng)的結(jié)構(gòu)進(jìn)行更加具體的說明?？煞旨?jí)視頻編碼系統(tǒng)包括編碼裝置300和解碼裝置400。上述編碼裝置300可包括基礎(chǔ)層編碼部100a、增強(qiáng)層編碼部10b及多路復(fù)用器(multiplexer) 180，解碼裝置400可包括解復(fù)用器(demultiplexer) 280、基礎(chǔ)層解碼部200a及增強(qiáng)層解碼部200b?；A(chǔ)層編碼部10a可通過對輸入信號(hào)x(n)進(jìn)行壓縮來生成基礎(chǔ)比特流。增強(qiáng)層編碼部10b可通過利用輸入信號(hào)X(Ii)和借助基