用于幀間預(yù)測的方法及其裝置和用于運動補(bǔ)償?shù)姆椒捌溲b置制造方法
【專利摘要】本發(fā)明提供一種幀間預(yù)測方法和運動補(bǔ)償方法。所述幀間預(yù)測方法包括：通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測；確定經(jīng)由幀間預(yù)測產(chǎn)生的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量；通過將長期參考圖像的畫面順序計數(shù)(POC)信息劃分為最高有效位(MSB)信息和最低有效位(LSB)信息，來將LSB信息確定為指示長期參考圖像的長期參考索引。
【專利說明】用于幀間預(yù)測的方法及其裝置和用于運動補(bǔ)償?shù)姆椒捌溲b置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種幀間預(yù)測方法和運動補(bǔ)償方法。

【背景技術(shù)】
[0002]隨著用于再現(xiàn)和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件的開發(fā)和提供，對于用于有效地對高分辨率或高質(zhì)量視頻內(nèi)容進(jìn)行編碼或解碼的視頻編解碼器的需求正在增加。根據(jù)傳統(tǒng)的視頻編解碼器，基于具有預(yù)定尺寸的宏塊，根據(jù)受限的編碼方法來對視頻進(jìn)行編碼。
[0003]空間域的圖像數(shù)據(jù)經(jīng)由頻率變換被變換為頻率域的系數(shù)。根據(jù)視頻編解碼器，將圖像劃分為具有預(yù)定尺寸的塊，對每個塊執(zhí)行離散余弦變換(DCT)，并在塊單元中對頻率系數(shù)進(jìn)行編碼，以進(jìn)行頻率變換的快速計算。與空間域的圖像數(shù)據(jù)相比，頻率域的系數(shù)容易被壓縮。具體地，由于根據(jù)經(jīng)由視頻編解碼器的幀間預(yù)測或幀內(nèi)預(yù)測的預(yù)測誤差來表示空間域的圖像像素值，因此當(dāng)對預(yù)測誤差執(zhí)行頻率變換時，大量數(shù)據(jù)可被變換為O。根據(jù)視頻編解碼器，可通過使用小量數(shù)據(jù)來代替連續(xù)并重復(fù)產(chǎn)生的數(shù)據(jù)，來減少數(shù)據(jù)量。


【發(fā)明內(nèi)容】

[0004]技術(shù)問題
[0005]本發(fā)明提供一種使用長期參考圖像的幀間預(yù)測方法和幀間預(yù)測設(shè)備，以及一種使用長期參考圖像的運動補(bǔ)償方法和運動補(bǔ)償設(shè)備。本發(fā)明還提供一種涉及使用長期參考圖像的幀間預(yù)測和運動補(bǔ)償?shù)囊曨l編碼方法和視頻編碼設(shè)備，以及一種涉及使用長期參考圖像的運動補(bǔ)償?shù)囊曨l解碼方法和視頻解碼設(shè)備。
[0006]解決方案
[0007]根據(jù)本發(fā)明的一方面，提供一種幀間預(yù)測方法，包括:通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測；確定經(jīng)由幀間預(yù)測產(chǎn)生的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量；通過將長期參考圖像的畫面順序計數(shù)(POC)信息劃分為最高有效位(MSB)信息和最低有效位(LSB)信息，將LSB信息確定為指示長期參考圖像的長期參考索引。
[0008]有益效果
[0009]根據(jù)本發(fā)明的運動補(bǔ)償方法，長期參考圖像的畫面順序計數(shù)(POC)信息的最低有效位(LSB)信息可用作指示用于對圖像進(jìn)行幀間預(yù)測的參考圖像之中的長期參考圖像的參考索引。長期參考圖像可通過使用圖像的POC信息來指示，而不必使用用于識別長期參考圖像的長期參考圖像的單獨圖像編號。因此，可節(jié)省用于存儲長期參考圖像的單獨圖像編號的存儲空間。此外，指示長期參考圖像的索引的范圍可以是無限的。

【專利附圖】

【附圖說明】
[0010]圖1a是根據(jù)本發(fā)明的實施例的幀間預(yù)測設(shè)備的框圖；
[0011]圖1b是示出根據(jù)本發(fā)明的實施例的幀間預(yù)測方法的流程圖；
[0012]圖2a是根據(jù)本發(fā)明的實施例的運動補(bǔ)償設(shè)備的框圖；
[0013]圖2b是示出根據(jù)本發(fā)明的實施例的運動補(bǔ)償方法的流程圖；
[0014]圖3是示出根據(jù)本發(fā)明的實施例的長期參考圖像的畫面順序計數(shù)(POC)信息的最低有效位(LSB)信息和最高有效位(MSB)信息的表；
[0015]圖4是根據(jù)本發(fā)明的實施例的執(zhí)行幀間預(yù)測的視頻編碼設(shè)備的框圖；
[0016]圖5是根據(jù)本發(fā)明的實施例的執(zhí)行運動補(bǔ)償?shù)囊曨l解碼設(shè)備的框圖；
[0017]圖6是根據(jù)本發(fā)明的實施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框圖；
[0018]圖7是根據(jù)本發(fā)明的實施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框圖；
[0019]圖8是用于描述根據(jù)本發(fā)明的實施例的編碼單元的概念的示圖；
[0020]圖9是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像編碼器的框圖；
[0021]圖10是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像解碼器的框圖；
[0022]圖11是示出根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖；
[0023]圖12是用于描述根據(jù)本發(fā)明的實施例的編碼單元與變換單元之間的關(guān)系的示圖；
[0024]圖13是用于描述根據(jù)本發(fā)明的實施例的與編碼深度相應(yīng)的編碼單元的編碼信息的示圖；
[0025]圖14是根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元的示圖；
[0026]圖15至圖17是用于描述根據(jù)本發(fā)明的實施例的編碼單元、預(yù)測單元和變換單元之間的關(guān)系的不圖；
[0027]圖18是用于描述根據(jù)表I的編碼模式信息的編碼單元、預(yù)測單元和變換單元之間的關(guān)系的不圖；
[0028]圖19是根據(jù)本發(fā)明的實施例的存儲程序的盤的物理結(jié)構(gòu)的示圖；
[0029]圖20是用于通過使用盤來記錄和讀取程序的盤驅(qū)動器的示圖；
[0030]圖21是用于提供內(nèi)容分配服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu)的示圖；
[0031]圖22和圖23分別是根據(jù)本發(fā)明的實施例的應(yīng)用了視頻編碼方法和視頻解碼方法的移動電話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu)的示圖；
[0032]圖24是根據(jù)本發(fā)明的實施例的應(yīng)用通信系統(tǒng)的數(shù)字廣播系統(tǒng)的示圖；
[0033]圖25是根據(jù)本發(fā)明的實施例的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)的示圖。
[0034]最佳實施方式
[0035]根據(jù)本發(fā)明的一方面，提供一種幀間預(yù)測方法，包括:通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測；確定經(jīng)由幀間預(yù)測產(chǎn)生的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量；通過將長期參考圖像的畫面順序計數(shù)(POC)信息劃分為最高有效位(MSB)信息和最低有效位(LSB)信息，來將LSB信息確定為指示長期參考圖像的長期參考索引。
[0036]確定LSB信息的步驟可包括:將用于當(dāng)前條帶進(jìn)行幀間預(yù)測的長期參考圖像的POC信息的LSB信息作為長期參考索引插入到條帶頭中。
[0037]確定LSB信息的步驟可包括:將當(dāng)前圖像的POC信息和長期參考圖像的POC信息之間的差信息劃分為MSB信息和LSB信息,來將差信息的LSB信息確定為長期參考索引。
[0038]所述幀間預(yù)測方法還可包括:通過使用存儲在解碼畫面緩沖器中的短期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測；將短期參考圖像的POC信息的LSB信息確定為指示短期參考圖像的短期參考索引。
[0039]確定殘差數(shù)據(jù)和運動矢量的步驟可包括:基于根據(jù)當(dāng)前圖像的塊執(zhí)行的幀間預(yù)測的結(jié)果，確定根據(jù)當(dāng)前圖像的塊的殘差數(shù)據(jù)和運動矢量。
[0040]根據(jù)本發(fā)明的另一方面，提供一種運動補(bǔ)償方法，包括:接收編碼的圖像數(shù)據(jù)、運動矢量、和長期參考索引；通過對編碼的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)；通過從長期參考索引讀取當(dāng)前圖像的長期參考圖像的POC信息的最低有效位(LSB)信息，使用長期參考圖像的最高有效位(MSB)信息和LSB信息，來確定畫面順序計數(shù)(POC)信息；通過基于在存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的長期參考圖像，使用運動矢量和殘差數(shù)據(jù)執(zhí)行運動補(bǔ)償，來恢復(fù)當(dāng)前圖像。
[0041]確定POC信息的步驟可包括:在用于當(dāng)前圖像的多個長期參考圖像之中，從第一長期參考圖像的POC信息的MSB信息預(yù)測第二長期參考圖像的POC信息的MSB信息；通過將從接收到的長期參考索引讀取的第二長期參考圖像的POC信息的LSB信息和第二長期參考圖像的POC信息的MSB信息組合，來恢復(fù)第二長期參考圖像的POC信息。
[0042]確定POC信息的步驟可包括:通過將長期參考圖像的POC信息的MSB信息和LSB信息組合來恢復(fù)在當(dāng)前圖像的POC信息和長期參考圖像的POC信息之間的差信息；通過將所述差信息與當(dāng)前圖像的POC信息相加，或從當(dāng)前圖像的POC信息減去所述差信息，來確定長期參考圖像的POC編號。
[0043]接收的步驟可包括:從條帶頭解析長期參考索引，其中，長期參考索引指示用于對當(dāng)前條帶進(jìn)行運動補(bǔ)償?shù)拈L期參考圖像。
[0044]所述運動補(bǔ)償方法還可包括:接收用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的短期參考索引；從短期參考索引讀取用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的短期參考圖像的POC信息的LSB信息；通過使用讀取的短期參考圖像的LSB信息和先前短期參考圖像的MSB信息，來確定短期參考圖像的POC信息；通過使用在存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的短期參考圖像對當(dāng)前圖像執(zhí)行運動補(bǔ)償。
[0045]接收的步驟可包括:接收根據(jù)當(dāng)前圖像的塊的編碼的圖像數(shù)據(jù)，恢復(fù)殘差數(shù)據(jù)的步驟可包括:根據(jù)所述塊恢復(fù)殘差數(shù)據(jù)和運動矢量，恢復(fù)當(dāng)前圖像的步驟可包括:通過根據(jù)所述塊執(zhí)行使用殘差數(shù)據(jù)和運動矢量的運動補(bǔ)償來恢復(fù)當(dāng)前圖像。
[0046]根據(jù)本發(fā)明的另一方面，提供一種幀間預(yù)測設(shè)備，包括:幀間預(yù)測單元，用于通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測；輸出單元，用于通過將長期參考圖像的畫面順序計數(shù)(POC)信息劃分為最高有效位(MSB)信息和最低有效位(LSB)信息，將LSB信息輸出為指示長期參考圖像的長期參考索引，并用于輸出經(jīng)由幀間預(yù)測產(chǎn)生的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量。
[0047]根據(jù)本發(fā)明的另一方面，提供一種運動補(bǔ)償設(shè)備，包括:接收單元，用于接收編碼的圖像數(shù)據(jù)、運動矢量和長期參考索引；運動補(bǔ)償單元，用于通過對編碼的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)，從長期參考索引讀取當(dāng)前圖像的長期參考圖像的畫面順序計數(shù)(POC)信息的最低有效位(LSB)信息，通過使用長期參考圖像的最高有效位(MSB)信息和LSB信息來確定POC信息，并通過基于在存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的長期參考圖像，使用運動矢量和殘差數(shù)據(jù)執(zhí)行運動補(bǔ)償，來恢復(fù)當(dāng)前圖像。
[0048]根據(jù)本發(fā)明的另一方面，提供一種記錄有用于執(zhí)行所述幀間預(yù)測方法的程序的計算機(jī)可讀記錄介質(zhì)。
[0049]根據(jù)本發(fā)明的另一方面，提供一種記錄有用于執(zhí)行所述運動補(bǔ)償方法的程序的計算機(jī)可讀記錄介質(zhì)。
[0050]根據(jù)本發(fā)明的另一方面，提供一種視頻編碼設(shè)備，包括:解碼畫面緩沖器，存儲用于對圖像進(jìn)行幀間預(yù)測的參考圖像；幀間預(yù)測單元，通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測來產(chǎn)生殘差數(shù)據(jù)；變換量化單元，通過對殘差數(shù)據(jù)執(zhí)行變換和量化來產(chǎn)生量化的變換系數(shù)；熵編碼單元，通過將長期參考圖像的畫面順序計數(shù)(POC)信息劃分為最高有效位(MSB)信息和最低有效位(LSB)信息，對LSB信息和符號執(zhí)行熵編碼，其中，LSB信息是指示長期參考圖像的長期參考索引，所述符號包括量化的變換系數(shù)和運動矢量。
[0051]根據(jù)本發(fā)明的另一方面，提供一種視頻解碼設(shè)備，包括:接收單元，接收視頻流，并通過對接收到的視頻流執(zhí)行熵解碼來解析編碼的圖像數(shù)據(jù)、運動矢量和長期參考索引；反量化和逆變換單元，通過對編碼的圖像數(shù)據(jù)執(zhí)行反量化和逆變換來恢復(fù)殘差數(shù)據(jù)；解碼畫面緩沖器，存儲用于運動補(bǔ)償?shù)膮⒖紙D像；運動補(bǔ)償單元，通過對編碼的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)，從長期參考索引讀取當(dāng)前圖像的長期參考圖像的畫面順序計數(shù)(POC)信息的最低有效位(LSB)信息，通過使用長期參考圖像的最高有效位(MSB)信息和LSB信息來確定POC信息，并基于在存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的長期參考圖像，使用運動矢量和殘差數(shù)據(jù)來執(zhí)行運動補(bǔ)償；環(huán)路濾波單元，對經(jīng)由運動補(bǔ)償產(chǎn)生的恢復(fù)圖像執(zhí)行去塊濾波。

【具體實施方式】
[0052]以下，將參照圖1至圖3描述根據(jù)本發(fā)明的實施例的使用長期參考圖像的幀間預(yù)測方法和幀間預(yù)測設(shè)備以及運動補(bǔ)償方法和運動補(bǔ)償設(shè)備。此外，將參照圖4和圖5描述根據(jù)本發(fā)明的實施例的執(zhí)行幀間預(yù)測的視頻編碼設(shè)備和執(zhí)行運動補(bǔ)償?shù)囊曨l解碼設(shè)備。此夕卜，將參考圖6至圖18描述根據(jù)本發(fā)明的實施例的與基于具有樹結(jié)構(gòu)的編碼單元的幀間預(yù)測有關(guān)的視頻編碼技術(shù)和視頻解碼技術(shù)。以下，術(shù)語“圖像”可以指靜止圖像或視頻的運動圖像(即，視頻本身)。
[0053]首先，將參照圖1至圖3描述根據(jù)本發(fā)明的實施例的使用長期參考圖像的幀間預(yù)測方法和幀間預(yù)測設(shè)備。然后，將參照圖4和圖5描述根據(jù)本發(fā)明的實施例的涉及幀間預(yù)測的視頻編碼方法和視頻解碼方法。
[0054]圖1a是根據(jù)本發(fā)明的實施例的幀間預(yù)測設(shè)備10的框圖。
[0055]幀間預(yù)測設(shè)備10包括幀間預(yù)測單元12和輸出單元14。
[0056]幀間預(yù)測使用當(dāng)前圖像和另一圖像之間的相似性。從在當(dāng)前圖像之前被恢復(fù)的參考圖像檢測與當(dāng)前圖像的當(dāng)前區(qū)域相似的參考區(qū)域。當(dāng)前區(qū)域和參考區(qū)域之間的關(guān)于坐標(biāo)的距離被表示為運動矢量，當(dāng)前區(qū)域和參考區(qū)域的像素值之間的差被表示為殘差數(shù)據(jù)。因此，可通過對當(dāng)前區(qū)域進(jìn)行幀間預(yù)測來輸出指示參考圖像的索引、運動矢量和殘差數(shù)據(jù)，而不是直接輸出當(dāng)前區(qū)域的圖像信息。
[0057]根據(jù)實施例的幀間預(yù)測設(shè)備10可根據(jù)視頻的每個圖像的塊執(zhí)行幀間預(yù)測。塊可具有正方形形狀、矩形形狀或任何幾何形狀，不受限于具有預(yù)測尺寸的數(shù)據(jù)單元。根據(jù)實施例的塊可以是根據(jù)樹結(jié)構(gòu)的編碼單元之中的最大編碼單元、編碼單元、預(yù)測單元或變換單元。隨后將參考圖6至圖18描述基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻編碼和解碼方法。
[0058]用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的參考圖像必須在當(dāng)前圖像之間被解碼。根據(jù)實施例的用于幀間預(yù)測的參考圖像可被分類為短期參考圖像和長期參考圖像。解碼畫面緩沖器存儲經(jīng)由對先前圖像進(jìn)行運動補(bǔ)償而產(chǎn)生的恢復(fù)圖像。產(chǎn)生的恢復(fù)圖像可用作用于對其他圖像進(jìn)行幀間預(yù)測的參考圖像。因此，可從存儲在解碼畫面緩沖器中的恢復(fù)圖像中選擇用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的至少一個短期參考圖像或至少一個長期參考圖像。短期參考圖像可以是根據(jù)解碼順序在當(dāng)前畫面之前立即被解碼或最近被解碼的圖像，而長期參考圖像可以是解碼比當(dāng)前圖像早得多但被選擇并被存儲在解碼畫面緩沖器中以用作對其它圖像進(jìn)行幀間預(yù)測的參考圖像的圖像。
[0059]在存儲在解碼畫面緩沖器中的恢復(fù)圖像中，短期參考圖像和長期參考圖像被彼此分類。長期參考圖像是能夠參考以對多個圖像進(jìn)行幀間預(yù)測的圖像，并在很長一段時間內(nèi)存儲在解碼畫面緩沖器中。另一方面，可更新短期參考圖像，其中，短期參考圖像中的每一個被參考以用于對當(dāng)前圖像和后續(xù)圖像進(jìn)行幀間預(yù)測并且每個圖像需要短期參考圖像，因此可頻繁更新解碼畫面緩沖器中的短期參考圖像。因此，當(dāng)新的短期參考圖像被存儲在解碼畫面緩沖器中時，在預(yù)先存儲的短期參考圖像之中的最早的短期參考圖像可被順序地刪除。
[0060]幀間預(yù)測單元12可通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測。
[0061]輸出單元14可輸出經(jīng)由幀間預(yù)測單元12的幀間預(yù)測產(chǎn)生的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量。
[0062]輸出單元14可將長期參考圖像的畫面順序計數(shù)(POC)信息的最低有效位(LSB)信息確定為指示長期參考圖像的長期參考索引。輸出單元14可將長期參考圖像的POC信息劃分為最高有效位(MSB)信息和LSB信息，并僅將LSB信息輸出為指示長期參考圖像的長期參考索引。
[0063]幀間預(yù)測單元12可確定每個條帶的長期參考圖像。因此，輸出單元14可將用于對當(dāng)前條帶進(jìn)行幀間預(yù)測的長期參考圖像的POC信息的LSB信息作為長期參考索引插入到條帶頭。用于當(dāng)前條帶的塊的參考圖像的POC信息的LSB信息可被插入到條帶頭，然后被發(fā)送。
[0064]根據(jù)條帶確定長期參考圖像，并根據(jù)條帶中的塊執(zhí)行幀間預(yù)測。換言之，幀間預(yù)測單元12可通過參考長期參考圖像根據(jù)當(dāng)前條帶的塊來執(zhí)行幀間預(yù)測。因此，根據(jù)當(dāng)前條帶的塊從長期參考圖像確定參考塊，并根據(jù)塊針對參考塊確定運動矢量和殘差數(shù)據(jù)。因此，輸出單元14可根據(jù)當(dāng)前條帶的塊輸出運動矢量和殘差數(shù)據(jù)。
[0065]可選地，輸出單元14可將長期參考圖像的POC信息和當(dāng)前圖像的POC信息之間的差信息劃分為MSB信息和LSB信息,并將差信息的LSB信息輸出為長期參考索引。
[0066]幀間預(yù)測單元12可通過參考短期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測。在此情況下，在短期參考圖像的POC信息的MSB信息和LSB信息之中，輸出單元14可僅輸出LSB信息作為指示短期參考圖像的短期參考索引。
[0067]幀間預(yù)測設(shè)備10可包括總體控制幀間預(yù)測單元12和輸出單元14的中央處理器(未示出)?？蛇x地，幀間預(yù)測單元12和輸出單元14可均由自身的處理器(未示出)來操作，并且自身的處理器可互相系統(tǒng)地進(jìn)行操作以使得對幀間預(yù)測設(shè)備10進(jìn)行操作。可選地，可根據(jù)幀間預(yù)測設(shè)備10的外部處理器(未示出)來控制幀間預(yù)測單元12和輸出單元14。
[0068]幀間預(yù)測設(shè)備10可包括存儲幀間預(yù)測單元12和輸出單元14的輸入數(shù)據(jù)和輸出數(shù)據(jù)的一個或更多個數(shù)據(jù)存儲單元(未示出)。幀間預(yù)測設(shè)備10可包括用于控制數(shù)據(jù)存儲單元的數(shù)據(jù)輸入和輸出的存儲器控制單元(未示出)。
[0069]圖1b是示出根據(jù)本發(fā)明的實施例的幀間預(yù)測方法的流程圖。
[0070]在操作13，幀間預(yù)測設(shè)備10可通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測。在操作15，幀間預(yù)測設(shè)備10可確定根據(jù)幀間預(yù)測的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量。在操作17，幀間預(yù)測設(shè)備10可將長期參考圖像的POC信息劃分為MSB信息和LSB信息，并將長期參考圖像的POC信息的LSB信息確定為長期參考索引。
[0071]可輸出當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量，并且可將長期參考圖像的POC信息的LSB信息輸出為用于指示當(dāng)前圖像的長期參考圖像的信息，作為在操作13至17中幀間預(yù)測設(shè)備10通過使用長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測的結(jié)果。
[0072]圖2a是根據(jù)本發(fā)明的實施例的運動補(bǔ)償設(shè)備20的框圖。
[0073]運動補(bǔ)償設(shè)備20包括接收單元22和運動補(bǔ)償單元24。
[0074]接收單元22可接收編碼的圖像數(shù)據(jù)、運動矢量和長期參考索引。
[0075]作為幀間預(yù)測的結(jié)果，當(dāng)前圖像和參考圖像之間的運動矢量和殘差數(shù)據(jù)被產(chǎn)生。通過使用參考圖像、殘差數(shù)據(jù)和運動矢量來恢復(fù)當(dāng)前圖像的處理是運動補(bǔ)償。運動補(bǔ)償單元24可通過使用由接收單元22接收的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量執(zhí)行運動補(bǔ)償來恢復(fù)當(dāng)前圖像。
[0076]運動補(bǔ)償單元24可通過對編碼的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)。當(dāng)編碼的圖像數(shù)據(jù)是量化后的變換系數(shù)時，運動補(bǔ)償單元24可通過對編碼的圖像數(shù)據(jù)執(zhí)行反量化和逆變換來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)，然后對殘差數(shù)據(jù)執(zhí)行運動補(bǔ)償。
[0077]詳細(xì)地講，運動補(bǔ)償單元24可根據(jù)圖像的塊執(zhí)行運動補(bǔ)償。塊可具有正方形形狀、矩形形狀或任意幾何形狀，并可以是預(yù)測單元的樹結(jié)構(gòu)的編碼單元。如以上參照圖1a所描述的，塊不限于具有預(yù)定尺寸的數(shù)據(jù)單元。
[0078]因此，接收單元22可接收根據(jù)當(dāng)前圖像的塊的編碼的圖像數(shù)據(jù)，運動補(bǔ)償單元24可根據(jù)塊恢復(fù)殘差數(shù)據(jù)和運動矢量以根據(jù)所述塊執(zhí)行使用殘差數(shù)據(jù)和運動矢量的運動補(bǔ)償。可通過對圖像中的所有塊執(zhí)行運動補(bǔ)償來恢復(fù)當(dāng)前圖像。
[0079]運動補(bǔ)償單元24可從長期參考索引中讀取當(dāng)前圖像的長期參考圖像的POC信息的LSB信息。運動補(bǔ)償單元24可通過將長期參考圖像的POC信息的MSB信息和從長期參考索引讀取的LSB信息組合，來確定長期參考圖像的POC信息。
[0080]運動補(bǔ)償單元24可從存儲在解碼畫面緩沖器中的參考圖像之中確定與確定的POC信息相應(yīng)的長期參考圖像。運動補(bǔ)償單元24可基于確定的長期參考圖像，通過使用運動矢量和殘差數(shù)據(jù)對當(dāng)前圖像執(zhí)行運動補(bǔ)償。當(dāng)前圖像可經(jīng)由運動補(bǔ)償被恢復(fù)。
[0081]運動補(bǔ)償單元24可從存儲在解碼圖像緩沖器中的用于當(dāng)前圖像的多個長期參考圖像之中的第一長期參考圖像的MSB信息，預(yù)測第二長期參考圖像的MSB信息。
[0082]例如，運動補(bǔ)償單元24可對第二長期參考圖像的POC信息的LSB信息與第一長期參考圖像的POC信息的LSB信息進(jìn)行比較，以確定第二長期參考圖像的POC信息的MSB信息是高于、低于還是等于第一長期參考圖像的POC信息的MSB信息。因此，可從第一長期參考圖像的POC信息的MSB信息預(yù)測第二長期參考圖像的POC信息的MSB信息。運動補(bǔ)償單元24可通過將從接收到的長期參考索引讀取的第二長期參考圖像的POC信息的LSB信息和預(yù)測的第二長期參考圖像的POC信息的MSB信息組合，來恢復(fù)第二長期參考圖像的POC信息。
[0083]可選地，運動補(bǔ)償單元24可接收作為用于當(dāng)前圖像的長期參考索引的長期參考圖像的POC信息的LSB信息和長期參考圖像的POC信息的MSB信息兩者。在此情況下，運動補(bǔ)償單元24可通過將從接收到的長期參考索引讀取的長期參考圖像的POC信息的LSB信息和MSB信息組合，來恢復(fù)長期參考圖像的POC信息。
[0084]運動補(bǔ)償單元24可從長期參考索引讀取在當(dāng)前圖像的POC信息和長期參考圖像的POC /[目息之間的差彳目息的LSB彳目息。這里，運動補(bǔ)償單兀24可通過將MSB彳目息和LSB fg息組合來恢復(fù)差信息。運動補(bǔ)償單元24可通過從當(dāng)前圖像的POC信息減去恢復(fù)的差信息或?qū)⒒謴?fù)的差信息添加到當(dāng)前圖像的POC信息來確定長期參考圖像的POC編號。
[0085]接收單元22可從條帶頭解析當(dāng)前條帶的長期參考索引?？蓮臈l帶頭解析用于當(dāng)前條帶的塊的參考圖像的POC信息的LSB信息。
[0086]可選地，接收單元22可接收用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的短期參考索引?？蓮亩唐趨⒖妓饕x取用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的短期參考圖像的POC信息的LSB信息。運動補(bǔ)償單元24可通過使用讀取的短期參考圖像的POC信息的LSB信息和短期參考圖像的MSB信息來確定短期參考圖像的POC信息。運動補(bǔ)償單元24可通過使用存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的短期參考圖像對當(dāng)前圖像執(zhí)行運動補(bǔ)償。
[0087]圖2b是根據(jù)本發(fā)明的實施例的運動補(bǔ)償方法的流程圖。
[0088]在操作21，運動補(bǔ)償設(shè)備20可接收編碼的圖像數(shù)據(jù)、運動矢量和長期參考索引。在操作23，運動補(bǔ)償設(shè)備20可通過對編碼的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)。在操作25，運動補(bǔ)償設(shè)備20可從長期參考索引讀取當(dāng)前圖像的長期參考圖像的POC信息的LSB信息，并通過使用長期參考圖像的POC信息的MSB信息和LSB信息來確定長期參考圖像的POC信息。在操作27，運動補(bǔ)償設(shè)備20可通過基于在存儲在解碼畫面緩沖器中的參考圖像之中的與在操作25確定的POC信息相應(yīng)的長期參考圖像，使用運動矢量和殘差數(shù)據(jù)執(zhí)行運動補(bǔ)償，來恢復(fù)當(dāng)前圖像。
[0089]換言之，運動補(bǔ)償設(shè)備20可在存儲在解碼畫面緩沖器中的恢復(fù)圖像之中選擇與在操作25確定的POC信息相應(yīng)的長期參考圖像，并從選擇的長期參考圖像中確定由運動矢量指示的參考區(qū)域。運動補(bǔ)償設(shè)備20可通過將殘差數(shù)據(jù)與確定的參考區(qū)域組合來執(zhí)行運動補(bǔ)償以確定當(dāng)前區(qū)域。運動補(bǔ)償設(shè)備20可通過根據(jù)當(dāng)前圖像的塊執(zhí)行運動補(bǔ)償來恢復(fù)當(dāng)前圖像。
[0090]根據(jù)以上參照圖1a和圖1b描述的幀間預(yù)測設(shè)備10和以上參照圖2a和圖2b描述的運動補(bǔ)償設(shè)備20，可將長期參考圖像的POC信息的LSB信息用作指示在用于對圖像進(jìn)行幀間預(yù)測的參考圖像之中的長期參考圖像的長期參考索引。長期參考圖像可通過使用POC信息來指示，而不必使用用于識別長期參考圖像的長期參考圖像的單獨圖像編號。因此，可節(jié)省用于存儲長期參考圖像的單獨圖像編號的存儲空間。此外，指示長期參考圖像的索引的范圍可以是無限的。
[0091]圖3是示出根據(jù)本發(fā)明的實施例的長期參考圖像的POC信息的LSB信息和MSB信息的表。
[0092]幀間預(yù)測設(shè)備10和運動補(bǔ)償設(shè)備20使用長期參考圖像的POC信息來指示長期參考圖像。此外，POC信息被劃分為MSB信息和LSB信息?？深A(yù)先設(shè)置LSB信息的最大大小。在圖3中，LSB信息的范圍是從O到15，因此LSB信息的最大大小為16，即，4比特。
[0093]當(dāng)POC/[目息除以LSB彳目息的最大大小時，商可以是MSB/[目息，余數(shù)可以是LSB彳目息。
[0094]因此，當(dāng)POC信息從O增加到15時，POC信息的MSB信息是0，LSB信息從O增加到15。此外，當(dāng)POC信息從16增加到31時，MSB信息是1，LSB信息從O增加到15。此外，當(dāng)POC信息從32增加至IJ 47時，MSB信息是2, LSB信息從O增加到15。此外，當(dāng)POC信息是48時，MSB f目息是3, LSB f目息是O。
[0095]在圖3中，MSB信息O、1、2和3都是十六進(jìn)制數(shù)，并且分別表示十進(jìn)制數(shù)的O、16、32 和 48。
[0096]當(dāng)POC信息從15增加至IJ 16，從31增加到32，或從47增加到48時，LSB信息從15返回到O。換言之，每當(dāng)LSB信息在連續(xù)增加時增加到最大大小的倍數(shù)時，LSB信息可從最大值返轉(zhuǎn)到最小值。
[0097]當(dāng)LSB信息僅在POC信息的MSB信息被預(yù)先檢查之后才被另外確定時，可通過將MSB信息和LSB信息組合來確定POC信息。
[0098]因此，幀間預(yù)測設(shè)備10可僅輸出長期參考圖像的POC信息的LSB信息，以便輸出指示長期參考圖像的長期參考索引。運動補(bǔ)償設(shè)備20可從接收自幀間預(yù)測設(shè)備10的參考索引中，讀取長期參考圖像的POC信息的LSB信息，并通過將LSB信息與預(yù)先獲得的MSB信息組合來恢復(fù)長期參考圖像的POC信息。
[0099]可選地，長期參考索引可表示在當(dāng)前圖像的POC信息和參考圖像的POC信息之間的差信息的LSB信息。這里，運動補(bǔ)償設(shè)備20可從長期參考索引中讀取在當(dāng)前圖像的POC信息和長期參考圖像的POC信息之間的差信息的LSB信息(DeltaPOCLtMlLsb)。運動補(bǔ)償設(shè)備20可通過將預(yù)先確定的MSB信息(DeItaPOCLtMlMsb)和讀取的LSB信息(DeltaPOCLtMlLsb)組合，來確定在當(dāng)前圖像的POC信息和長期參考圖像的POC信息之間的差信息(DeltaPOCLtMl)(DeltaPOCLtMl = DeItaPOCLtMlLsb+DeItaPOCLtMlMsb)。此夕卜，當(dāng)從當(dāng)前圖像的POC信息(PicOrderCnt)減去確定的差信息(DeltaPOCLtMl)時，可確定當(dāng)前圖像的長期參考圖像的POC信息(RefPicSetLtCurr) (RefPicSetLtCurr =P i cOrderCnt-DeItaPOCLtMl)。
[0100]運動補(bǔ)償設(shè)備20可從幀間預(yù)測設(shè)備10接收長期參考圖像的POC信息的MSB信息。這里，運動補(bǔ)償設(shè)備20可通過將接收到的MSB信息和長期參考圖像的POC信息的LSB信息，來恢復(fù)長期參考圖像的POC信息。
[0101]可選地，運動補(bǔ)償設(shè)備20可基于在多個長期參考圖像之中的預(yù)先確定的先前長期參考圖像的POC信息的MSB信息，來確定當(dāng)前長期參考圖像的POC信息的MSB信息。例如，當(dāng)前長期參考圖像的POC信息的MSB信息(POCLtMlMsb)可i)比先前長期參考圖像的POC信息的MSB信息(prevPOCLtMlMsb)高LSB信息的最大大小(MaxPOCLtLsb)，ii)比先前長期參考圖像的POC信息的MSB信息(prevPOCLtMlMsb)低LSB信息的最大大小(MaxPOCLtLsb)，或iii)等于先前長期參考圖像的POC信息的MSB信息(prevPOCLtMlMsb)。
[0102]例如，運動補(bǔ)償設(shè)備20可將先前長期參考圖像的POC信息的LSB信息與當(dāng)前長期參考圖像的POC信息的LSB信息進(jìn)行比較，以確定當(dāng)前長期參考圖像的POC信息的MSB信息是否高于或等于先前長期參考圖像的POC信息的MSB信息。
[0103]根據(jù)第一條件，當(dāng)前長期參考圖像的POC信息的LSB信息(POCLtLsbMl)可小于先前長期參考圖像的POC信息的LSB信息(prevPOCLtLsbMl)，并且當(dāng)前長期參考圖像的POC信息的LSB信息和先前長期參考圖像的POC信息的LSB信息之間的距離高于或等于LSB信息的最大大小的一半(MaxPOCLtLsb/2)。當(dāng)?shù)谝粭l件被滿足時，當(dāng)前長期參考圖像的POC信息的MSB信息(POCLtMlMsb)可比先前長期參考圖像的POC信息的MSB信息(prevPOCLtMlMsb)高 LSB 信息的最大大小(MaxPOCLtLsb)。
[0104][根據(jù)第一條件的關(guān)系表達(dá)式]
[0105]if ((P0CLtMlLsb<prevP0CLtMlLsb)&&
[0106]((prevPOCLtMlLsb-POCLtMlLsb)> = (MaxP0CLtLsb/2)))
[0107]POCLtMlMsb = prevPOCLtMlMsb+MaxPOCLtLsb
[0108]換言之，在第一條件中，確定LSB信息按從先前長期參考圖像的POC信息到當(dāng)前長期參考圖像的POC信息的增加的方向折回(wrap around)，并因此可相對地增加當(dāng)前長期參考圖像的POC信息的MSB信息。
[0109]根據(jù)第二條件，當(dāng)前長期參考圖像的POC信息的LSB信息(POCLtLsbMl)可高于先前長期參考圖像的POC信息的LSB信息(prevPOCLtLsbMl)，并且當(dāng)前長期參考圖像的POC信息的LSB信息和先前長期參考圖像的POC信息的LSB信息之間的距離高于或等于LSB信息的最大大小的一半(MaxPOCLtLsb/2)。當(dāng)?shù)诙l件被滿足時，當(dāng)前長期參考圖像的POC信息的MSB信息(POCLtMlMsb)可比先前長期參考圖像的POC信息的MSB信息(prevPOCLtMlMsb)低 LSB 信息的最大大小(MaxPOCLtLsb)。
[0110][根據(jù)第二條件的關(guān)系表達(dá)式]
[0111]if ((P0CLtMlLsb>prevP0CLtMlLsb)&&
[0112]((prevPOCLtMlLsb-POCLtMlLsb)> = (MaxPOCLtLsb/2)))
[0113]POCLtMlMsb = prevPOCLtMlMsb-MaxPOCLtLsb
[0114]換言之，在第二條件中，確定LSB信息按從先前長期參考圖像的POC信息到當(dāng)前長期參考圖像的POC信息的減小的方向折回，因此可相對地減小當(dāng)前長期參考圖像的POC信息的MSB信息。
[0115]當(dāng)無法應(yīng)用第一條件和第二條件時，應(yīng)用第三條件。在第三條件中，當(dāng)前長期參考圖像的POC信息的MSB信息(POCLtMlMsb)可等于先前長期參考圖像的POC信息的MSB信息(prevPOCLtMlMsb)。
[0116][根據(jù)第三條件的關(guān)系表達(dá)式]
[0117]POCLtMlMsb = prevPOCLtMlMsb
[0118]通過考慮所有的第一條件至第三條件來確定當(dāng)前長期參考圖像的POC信息的MSB信息(POCLtMlMsb)，并且可通過將從長期參考索引讀取的當(dāng)前長期參考圖像的POC信息的LSB信息(POCLtMlLsb)與確定的MSB信息(POCLtMlMsb)組合，來確定當(dāng)前長期參考圖像的POC 信息(POCLtMl) (POCLtMl = POCLtMlMsb+POCLtMlLsb)。
[0119]即使當(dāng)以上描述的當(dāng)前圖像的POC信息和長期參考圖像的POC信息之間的差信息的LSB信息被用作長期參考索引時，仍可確定當(dāng)前圖像的POC信息和當(dāng)前長期參考圖像的POCf目息之間的差彳目息的LSB彳目息是聞于、低于還是等于當(dāng)如圖像的POC/[目息和預(yù)先確定的先前長期參考圖像的POC信息之間的差信息的LSB信息。
[0120]圖4是根據(jù)本發(fā)明的實施例的執(zhí)行幀間預(yù)測的視頻編碼設(shè)備40的框圖。
[0121]視頻編碼設(shè)備40包括解碼畫面緩沖器42、幀間預(yù)測單元44、變換量化單元46和熵編碼單元48。
[0122]解碼畫面緩沖器42存儲先前恢復(fù)的圖像?？蓮拇鎯υ诮獯a畫面緩沖器42中的恢復(fù)圖像之中確定用于對圖像進(jìn)行幀間預(yù)測的參考圖像。幀間預(yù)測單元44可通過使用從存儲在解碼畫面緩沖器42中的恢復(fù)圖像之中選擇的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測，來產(chǎn)生殘差數(shù)據(jù)。幀間預(yù)測單元44可執(zhí)行與以上描述的幀間預(yù)測設(shè)備10相同的操作。
[0123]變換量化單元46可通過對由幀間預(yù)測單元44產(chǎn)生的殘差數(shù)據(jù)執(zhí)行變換和量化來產(chǎn)生量化的變換系數(shù)。熵編碼單元48可對包括量化的變換系數(shù)和運動矢量的符號執(zhí)行熵編碼。
[0124]因此，視頻編碼設(shè)備40可根據(jù)視頻的圖像的塊執(zhí)行幀間預(yù)測，通過對經(jīng)由幀間預(yù)測根據(jù)塊所產(chǎn)生的殘差數(shù)據(jù)執(zhí)行變換和量化來根據(jù)塊產(chǎn)生量化的變換系數(shù)，并通過對量化的變換系數(shù)執(zhí)行熵編碼來輸出比特流，從而對視頻進(jìn)行編碼。
[0125]熵編碼單元48可輸出經(jīng)由幀間預(yù)測確定的運動矢量連同量化的變換系數(shù)。因此，可對包括量化的變換系數(shù)和運動矢量的符號執(zhí)行熵編碼。
[0126]此外，由幀間預(yù)測單元44所確定的長期參考索引可被輸出為符號。長期參考索引可以是長期參考圖像的POC信息的LSB信息。相應(yīng)地，熵編碼單元48可對符號執(zhí)行熵編碼，其中，所述符號包括量化的變換系數(shù)、運動矢量和長期參考索引。熵編碼單元48可輸出根據(jù)熵編碼產(chǎn)生的比特流。
[0127]此外，視頻編碼設(shè)備40可通過參考存儲在解碼畫面緩沖器42中的恢復(fù)圖像，使用當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量來執(zhí)行運動補(bǔ)償，以產(chǎn)生當(dāng)前圖像的恢復(fù)圖像，從而產(chǎn)生用于對其他圖像進(jìn)行幀間預(yù)測的參考圖像。因此，視頻編碼設(shè)備40可執(zhí)行運動補(bǔ)償設(shè)備20的操作以執(zhí)行運動補(bǔ)償。
[0128]換言之，視頻編碼設(shè)備40可從長期參考索引中讀取POC信息的LSB信息，并通過使用讀取的LSB信息來恢復(fù)長期參考圖像的POC信息，以便選擇用于運動補(bǔ)償?shù)拈L期參考圖像。視頻編碼設(shè)備40可從存儲在解碼畫面緩沖器42中的恢復(fù)圖像之中選擇與恢復(fù)的POC信息相應(yīng)的長期參考圖像，并基于選擇的長期參考圖像使用當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量來執(zhí)行運動補(bǔ)償。
[0129]為了輸出視頻編碼結(jié)果，視頻編碼設(shè)備40可與安裝在其中的視頻編碼處理器或外部視頻編碼處理器協(xié)作地進(jìn)行操作，以便執(zhí)行包括幀內(nèi)預(yù)測、幀間預(yù)測、變換和量化的視頻編碼操作。視頻編碼操作不僅可在視頻編碼設(shè)備40包括單獨內(nèi)部視頻編碼處理器時被執(zhí)行，而且可在視頻編碼設(shè)備40或用于控制視頻編碼設(shè)備40的中央處理設(shè)備或圖形處理設(shè)備包括視頻編碼處理模塊時被執(zhí)行。
[0130]圖5是根據(jù)本發(fā)明的實施例的執(zhí)行運動補(bǔ)償?shù)囊曨l解碼設(shè)備50的框圖。
[0131]視頻解碼設(shè)備50可包括接收單元52、反量化和逆變換單元54、解碼畫面緩沖器56、運動補(bǔ)償單元58和環(huán)路濾波單元59。
[0132]接收單元52可接收視頻流，并對接收的視頻流執(zhí)行熵解碼以解析編碼的圖像數(shù)據(jù)。
[0133]反量化和逆變換單元54可通過對經(jīng)由接收單元52解析的編碼的圖像數(shù)據(jù)執(zhí)行反量化和逆變換來恢復(fù)殘差數(shù)據(jù)。
[0134]接收單元52可從視頻流中解析運動矢量。解碼畫面緩沖器56可存儲先前恢復(fù)的圖像，其中，先前恢復(fù)的圖像可用作用于對其他圖像進(jìn)行運動補(bǔ)償?shù)膮⒖紙D像。運動補(bǔ)償單元58可基于存儲在解碼畫面緩沖器56中的參考圖像，使用運動矢量和殘差數(shù)據(jù)來執(zhí)行運動補(bǔ)償。
[0135]環(huán)路濾波單元59可對由運動補(bǔ)償單元58恢復(fù)并輸出的恢復(fù)圖像執(zhí)行去塊濾波。環(huán)路濾波單元59可輸出最終的恢復(fù)圖像。此外，環(huán)路濾波單元59的輸出圖像可存儲在解碼畫面緩沖器56中，并且所述輸出圖像可用作用于對后續(xù)圖像進(jìn)行運動補(bǔ)償?shù)膮⒖紙D像。
[0136]視頻解碼設(shè)備50可通過根據(jù)視頻的圖像的塊執(zhí)行解碼來恢復(fù)視頻。接收單元52可根據(jù)塊解析編碼的圖像數(shù)據(jù)和運動矢量，反量化和逆變換單元54可通過根據(jù)塊執(zhí)行反量化和逆變換來根據(jù)塊恢復(fù)殘差數(shù)據(jù)。運動補(bǔ)償單元58可根據(jù)塊從參考圖像之中確定由運動矢量指示的參考塊，并通過將參考塊和殘差數(shù)據(jù)組合來產(chǎn)生恢復(fù)塊。
[0137]接收單元52可從視頻流解析長期參考索引。運動補(bǔ)償單元58可執(zhí)行與以上描述的運動補(bǔ)償設(shè)備20相同的操作。運動補(bǔ)償單元58可從長期參考索引中讀取當(dāng)前圖像的長期參考圖像的POC信息的LSB信息，并通過使用長期參考圖像的MSB信息和LSB信息來確定長期參考圖像的POC信息。運動補(bǔ)償單元58可基于在存儲在解碼畫面緩沖器56中的恢復(fù)圖像之中的與POC信息相應(yīng)的長期參考圖像，使用運動矢量和殘差數(shù)據(jù)來執(zhí)行運動補(bǔ)償。換言之，運動補(bǔ)償單元58可在長期參考圖像中確定由運動矢量指示的參考塊，并通過將參考塊和殘差數(shù)據(jù)組合來恢復(fù)當(dāng)前塊。
[0138]為了輸出視頻解碼結(jié)果，視頻解碼設(shè)備50可與安裝在其中的視頻解碼處理器或外部視頻解碼處理器協(xié)作地進(jìn)行操作，以執(zhí)行包括反量化、逆變換、幀內(nèi)預(yù)測和運動補(bǔ)償?shù)囊曨l解碼操作。視頻解碼操作不僅可在視頻解碼設(shè)備50包括單獨內(nèi)部視頻解碼處理器時被執(zhí)行，而且可在視頻解碼設(shè)備50或用于控制視頻解碼設(shè)備50的中央處理設(shè)備或圖形處理設(shè)備包括視頻解碼處理模塊時被執(zhí)行。
[0139]如以上所描述的，幀間預(yù)測設(shè)備10可將視頻數(shù)據(jù)的塊劃分為具有樹結(jié)構(gòu)的編碼單元，并且用于編碼單元的幀間預(yù)測的預(yù)測單元可被使用。以下，將參照圖6至圖18描述基于具有樹結(jié)構(gòu)的編碼單元和變換單元的視頻編碼方法、視頻編碼設(shè)備、視頻解碼方法和視頻解碼設(shè)備。
[0140]圖6是根據(jù)本發(fā)明的實施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的框圖。
[0141]涉及基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻預(yù)測的視頻編碼設(shè)備100包括最大編碼單元劃分器110、編碼單元確定器120和輸出單元130。
[0142]最大編碼單元劃分器110可基于最大編碼單元劃分當(dāng)前畫面，其中，最大編碼單元是具有用于圖像的當(dāng)前畫面的最大尺寸的編碼單元。如果當(dāng)前畫面大于最大編碼單元，則可將當(dāng)前畫面的圖像數(shù)據(jù)劃分為至少一個最大編碼單元。根據(jù)本發(fā)明的實施例的最大編碼單元可以是尺寸為32X32、64X64、128X128、256X256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和長度為2的若干次方的正方形。圖像數(shù)據(jù)可根據(jù)至少一個最大編碼單元被輸出到編碼單元確定器120。
[0143]根據(jù)本發(fā)明的實施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最大編碼單元空間被劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單元被劃分到最小編碼單元。最大編碼單元的深度為最高深度，最小編碼單元的深度為最低深度。由于隨著最大編碼單元的深度加深，與每個深度相應(yīng)的編碼單元的尺寸減小，因此與更高深度相應(yīng)的編碼單元可包括多個與更低深度相應(yīng)的編碼單元。
[0144]如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單元，并且每個最大編碼單元可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)深度對根據(jù)本發(fā)明的實施例的最大編碼單元進(jìn)行劃分，因此可根據(jù)深度對包括在最大編碼單元中的空間域的圖像數(shù)據(jù)進(jìn)行分層地分類。
[0145]可預(yù)先確定編碼單元的最大深度和最大尺寸,所述最大深度和最大尺寸限制最大編碼單元的高度和寬度被分層劃分的總次數(shù)。
[0146]編碼單元確定器120對通過根據(jù)深度對最大編碼單元的區(qū)域進(jìn)行劃分而獲得的至少一個劃分區(qū)域進(jìn)行編碼，并且根據(jù)所述至少一個劃分區(qū)域來確定用于輸出最終編碼的圖像數(shù)據(jù)的深度。換言之，編碼單元確定器120通過根據(jù)當(dāng)前畫面的最大編碼單元以根據(jù)深度的較深層編碼單元對圖像數(shù)據(jù)進(jìn)行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深度。確定的編碼深度和根據(jù)確定的編碼深度的被編碼的圖像數(shù)據(jù)被輸出到輸出單元130。
[0147]基于與等于或低于最大深度的至少一個深度相應(yīng)的較深層編碼單元，對最大編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼，并且基于每個較深層編碼單元比較對圖像數(shù)據(jù)進(jìn)行編碼的結(jié)果。在對與較深層編碼單元的編碼誤差進(jìn)行比較之后，可選擇具有最小編碼誤差的深度。可針對每個最大編碼單元選擇至少一個編碼深度。
[0148]隨著編碼單元根據(jù)深度而被分層地劃分并且編碼單元的數(shù)量增加，最大編碼單元的尺寸被劃分。另外，即使在一個最大編碼單元中編碼單元與同一深度相應(yīng)，也通過分別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與同一深度相應(yīng)的每個編碼單元劃分為更低深度。因此，即使圖像數(shù)據(jù)被包括在一個最大編碼單元中，在一個最大編碼單元中編碼誤差根據(jù)區(qū)域而不同，因此在圖像數(shù)據(jù)中編碼深度可根據(jù)區(qū)域而不同。因此，可在一個最大編碼單元中確定一個或更多個編碼深度，并且可根據(jù)至少一個編碼深度的編碼單元來對最大編碼單元的圖像數(shù)據(jù)進(jìn)行劃分。
[0149]因此，編碼單元確定器120可確定包括在最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元。根據(jù)本發(fā)明的實施例的“具有樹結(jié)構(gòu)的編碼單元”包括在最大編碼單元中包括的所有較深層編碼單元中的與確定為編碼深度的深度相應(yīng)的編碼單元。可根據(jù)最大編碼單元的相同區(qū)域中的深度來分層地確定編碼深度的編碼單元，并可在不同區(qū)域中獨立地確定編碼深度的編碼單元。類似地，可從另一區(qū)域的編碼深度獨立地確定當(dāng)前區(qū)域中的編碼深度。
[0150]根據(jù)本發(fā)明的實施例的最大深度是與從最大編碼單元到最小編碼單元的劃分次數(shù)有關(guān)的索引。根據(jù)本發(fā)明的實施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數(shù)。根據(jù)本發(fā)明實施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度等級的總數(shù)。例如，當(dāng)最大編碼單元的深度是O時，對最大編碼單元劃分一次的編碼單元的深度可被設(shè)置為1，對最大編碼單元劃分兩次的編碼單元的深度可被設(shè)置為2。這里，如果最小編碼單元是對最大編碼單元劃分四次的編碼單元，則存在深度O、1、2、3和4的5個深度等級，并因此第一最大深度可被設(shè)置為4，第二最大深度可被設(shè)置為5。
[0151]可根據(jù)最大編碼單元執(zhí)行預(yù)測編碼和變換。還根據(jù)最大編碼單元，基于根據(jù)等于或小于最大深度的深度的較深層編碼單元來執(zhí)行預(yù)測編碼和變換。
[0152]由于每當(dāng)根據(jù)深度對最大編碼單元進(jìn)行劃分時，較深層編碼單元的數(shù)量增加，因此對隨著深度加深而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預(yù)測編碼和變換的編碼。為了便于描述，在最大編碼單元中，現(xiàn)在將基于當(dāng)前深度的編碼單元來描述預(yù)測編碼和變換。
[0153]視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測編碼、變換和熵編碼的操作，此時，可針對所有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單元。
[0154]例如，視頻編碼設(shè)備100不僅可選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還可選擇不同于編碼單元的數(shù)據(jù)單元，以便對編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測編碼。
[0155]為了對最大編碼單元執(zhí)行預(yù)測編碼，可基于與編碼深度相應(yīng)的編碼單元(即，基于不再被劃分為與更低深度相應(yīng)的編碼單元的編碼單元)來執(zhí)行預(yù)測編碼。以下，不再被劃分且成為用于預(yù)測編碼的基本單元的編碼單元現(xiàn)在將被稱為“預(yù)測單元”。通過劃分預(yù)測單元獲得的分區(qū)可包括預(yù)測單元以及通過對預(yù)測單元的高度和寬度中的至少一個進(jìn)行劃分而獲得的數(shù)據(jù)單元。分區(qū)是編碼單元的預(yù)測單元被劃分的數(shù)據(jù)單元，預(yù)測單元可以是具有與編碼單元相同尺寸的分區(qū)。
[0156]例如，當(dāng)2NX2N(其中，N是正整數(shù))的編碼單元不再被劃分，并且成為2NX2N的預(yù)測單元時，分區(qū)的尺寸可以是2NX 2N、2NX N、NX 2N或NX N。分區(qū)類型的示例包括通過對預(yù)測單元的高度或?qū)挾冗M(jìn)行對稱地劃分而獲得的對稱分區(qū)、通過對預(yù)測單元的高度或?qū)挾冗M(jìn)行非對稱地劃分(諸如，1:11或11:1)而獲得的分區(qū)、通過對預(yù)測單元進(jìn)行幾何地劃分而獲得的分區(qū)、以及具有任意形狀的分區(qū)。
[0157]預(yù)測單元的預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一個。例如，可對2N X 2N、2N X N、N X 2N或N X N的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。另外，可僅對2N X 2N的分區(qū)執(zhí)行跳過模式?？蓪幋a單元中的一個預(yù)測單元獨立地執(zhí)行編碼，從而選擇具有最小編碼誤差的預(yù)測模式。
[0158]視頻編碼設(shè)備100不僅可基于用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單元還可基于與編碼單元不同的數(shù)據(jù)單元，來對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了對編碼單元執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的數(shù)據(jù)單元，來執(zhí)行變換。例如，用于變換的數(shù)據(jù)單元可包括幀內(nèi)模式的數(shù)據(jù)單元和幀間模式的數(shù)據(jù)單元。
[0159]編碼單元中的變換單元可以以與根據(jù)樹結(jié)構(gòu)的編碼單元相似的方式被遞歸地劃分為更小尺寸的區(qū)域。因此，可基于根據(jù)變換深度的具有樹結(jié)構(gòu)的變換單元，對編碼單元中的殘差數(shù)據(jù)進(jìn)行劃分。
[0160]還可在變換單元中設(shè)置變換深度，其中，變換深度表示通過對編碼單元的高度和寬度進(jìn)行劃分以達(dá)到變換單元的劃分次數(shù)。例如，在2NX2N的當(dāng)前編碼單元中，當(dāng)變換單元的尺寸是2NX2N時，變換深度可以是0，當(dāng)變換單元的尺寸是NXN時，變換深度可以是1，當(dāng)變換單元的尺寸是N/2XN/2時，變換深度可以是2。換言之，還可根據(jù)變換深度設(shè)置具有樹結(jié)構(gòu)的變換單元。
[0161]根據(jù)與編碼深度相應(yīng)的編碼單元的編碼信息不僅需要關(guān)于編碼深度的信息，還需要關(guān)于與預(yù)測編碼和變換相關(guān)的信息的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的編碼深度，還確定預(yù)測單元中的分區(qū)類型、根據(jù)預(yù)測單元的預(yù)測模式和用于變換的變換單元的尺寸。
[0162]稍后將參照圖8至圖18詳細(xì)描述根據(jù)本發(fā)明的實施例的最大編碼單元中的根據(jù)樹結(jié)構(gòu)的編碼單元，以及確定預(yù)測單元/分區(qū)和變換單元的方法。
[0163]編碼單元確定器120可通過使用基于拉格朗日乘數(shù)的率失真優(yōu)化，來測量根據(jù)深度的較深層編碼單元的編碼誤差。
[0164]輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)和關(guān)于根據(jù)編碼深度的編碼模式的信息，其中，所述最大編碼單元的圖像數(shù)據(jù)基于由編碼單元確定器120確定的至少一個編碼深度被編碼。
[0165]可通過對圖像的殘差數(shù)據(jù)進(jìn)行編碼來獲得編碼圖像數(shù)據(jù)。
[0166]關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于編碼深度的信息、關(guān)于在預(yù)測單元中的分區(qū)類型的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的尺寸的信息。
[0167]可通過使用根據(jù)深度的劃分信息來定義關(guān)于編碼深度的信息，其中，根據(jù)深度的劃分信息指示是否對更低深度而不是當(dāng)前深度的編碼單元執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng)前深度是編碼深度，則對當(dāng)前編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼并輸出，因此可定義劃分信息以不將當(dāng)前編碼單元劃分到更低深度?？蛇x地，如果當(dāng)前編碼單元的當(dāng)前深度不是編碼深度，則對更低深度的編碼單元執(zhí)行編碼，并因此可定義劃分信息以對當(dāng)前編碼單元進(jìn)行劃分來獲得更低深度的編碼單元。
[0168]如果當(dāng)前深度不是編碼深度，則對被劃分到更低深度的編碼單元的編碼單元執(zhí)行編碼。由于更低深度的至少一個編碼單元存在于當(dāng)前深度的一個編碼單元中，因此對更低深度的每個編碼單元重復(fù)執(zhí)行編碼，并因此可對具有相同深度的編碼單元遞歸地執(zhí)行編碼。
[0169]由于針對一個最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元，并且針對編碼深度的編碼單元確定關(guān)于至少一個編碼模式的信息，所以可針對一個最大編碼單元確定關(guān)于至少一個編碼模式的信息。另外，由于根據(jù)深度對圖像數(shù)據(jù)進(jìn)行分層劃分，因此最大編碼單元的圖像數(shù)據(jù)的編碼深度可根據(jù)位置而不同，因此可針對圖像數(shù)據(jù)設(shè)置關(guān)于編碼深度和編碼模式的信息。
[0170]因此，輸出單元130可將關(guān)于相應(yīng)的編碼深度和編碼模式的編碼信息分配給包括在最大編碼單元中的編碼單元、預(yù)測單元和最小單元中的至少一個。
[0171]根據(jù)本發(fā)明的實施例的最小單元是通過將構(gòu)成最低深度的最小編碼單元劃分為4份而獲得的方形數(shù)據(jù)單元?？蛇x擇地，根據(jù)實施例的最小單元可以是可包括在最大編碼單元中所包括的所有編碼單元、預(yù)測單元、分區(qū)單元和變換單元中的最大方形數(shù)據(jù)單元。
[0172]例如，通過輸出單元130輸出的編碼信息可被分類為根據(jù)較深層編碼單元的編碼信息和根據(jù)預(yù)測單元的編碼信息。根據(jù)較深層編碼單元的編碼信息可包括關(guān)于預(yù)測模式的信息和關(guān)于分區(qū)尺寸的信息。根據(jù)預(yù)測單元的編碼信息可包括關(guān)于幀間模式的估計方向的信息、關(guān)于幀間模式的參考圖像索引的信息、關(guān)于運動矢量的信息、關(guān)于幀內(nèi)模式的色度分量的信息、以及關(guān)于幀內(nèi)模式的插值方法的信息。
[0173]根據(jù)畫面、條帶或GOP定義的關(guān)于編碼單元的最大尺寸的信息和關(guān)于最大深度的信息可被插入到比特流的頭、序列參數(shù)集或畫面參數(shù)集。
[0174]還可經(jīng)由比特流的頭、序列參數(shù)集或畫面參數(shù)集輸出關(guān)于針對當(dāng)前視頻允許的變換單元的最大尺寸的信息和關(guān)于變換單元的最小尺寸的信息。輸出單元130可對以上參照圖1至圖6描述的與預(yù)測有關(guān)的參考信息、預(yù)測信息和條帶類型信息進(jìn)行編碼，并輸出這些信息。
[0175]在視頻編碼設(shè)備100中，較深層編碼單元可以是通過將更高深度的編碼單元(更高一層)的高度或?qū)挾葎澐殖蓛煞荻@得的編碼單元。換言之，當(dāng)當(dāng)前深度的編碼單元的尺寸是2NX 2N時，更低深度的編碼單元的尺寸是NXN。另外，尺寸為2NX 2N的具有當(dāng)前深度的編碼單元可包括最多4個具有更低深度的編碼單元。
[0176]因此，視頻編碼設(shè)備100可基于考慮當(dāng)前畫面的特征而確定的最大編碼單元的尺寸和最大深度，通過針對每個最大編碼單元確定具有最優(yōu)形狀和最優(yōu)尺寸的編碼單元來形成具有樹結(jié)構(gòu)的編碼單元。另外，由于可通過使用各種預(yù)測模式和變換中的任意一個對每個最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的特征來確定最優(yōu)編碼模式。
[0177]因此，如果以傳統(tǒng)宏塊對具有高分辨率或大數(shù)據(jù)量的圖像進(jìn)行編碼，則每個畫面的宏塊的數(shù)量極度增加。因此，針對每個宏塊產(chǎn)生的壓縮信息的條數(shù)增加，因此難以發(fā)送壓縮的信息，并且數(shù)據(jù)壓縮效率降低。然而，通過使用視頻編碼設(shè)備100，由于考慮圖像的尺寸，在增加編碼單元的最大尺寸的同時，基于圖像的特征來調(diào)整編碼單元，因此可增加圖像壓縮效率。
[0178]圖6的視頻編碼設(shè)備100可執(zhí)行圖1a的幀間預(yù)測設(shè)備10或圖4的視頻編碼設(shè)備40的操作。
[0179]編碼單元確定器120和輸出單元130可執(zhí)行幀間預(yù)測設(shè)備10或幀間預(yù)測單元44的操作?？舍槍γ總€最大編碼單元，根據(jù)具有樹結(jié)構(gòu)的編碼單元確定用于幀間預(yù)測的預(yù)測單元，并且可對每個預(yù)測單元執(zhí)行幀間預(yù)測。
[0180]具體地，當(dāng)長期參考圖像用于在幀間模式下對當(dāng)前預(yù)測單元進(jìn)行幀間預(yù)測時，長期參考圖像的POC信息可用作用于識別存儲在解碼畫面緩沖器中的長期參考圖像的長期參考索引。輸出單元130可將長期參考圖像的POC信息的LSB信息輸出為參考索引。此外，指示將在當(dāng)前條帶中被參考的長期參考圖像的參考索引可被存儲在條帶頭中。因此，輸出單元130可通過條帶頭發(fā)送作為參考索引的長期參考圖像的POC信息的LSB信息。
[0181]此外，編碼單元確定器120可通過參考存儲在解碼畫面緩沖期中的先前恢復(fù)圖像對當(dāng)前圖像執(zhí)行運動補(bǔ)償，以便產(chǎn)生用于對其他圖像進(jìn)行幀間預(yù)測的參考圖像。因此，編碼單元確定器120可執(zhí)行參照圖5描述的視頻解碼設(shè)備50的操作。
[0182]換言之，編碼單元確定器120還可從長期參考索引讀取POC信息的LSB信息，并通過使用讀取的LSB信息恢復(fù)長期參考圖像的POC信息，以便選擇用于運動補(bǔ)償?shù)拈L期參考圖像。編碼單元確定器120可從存儲在解碼畫面緩沖器中的恢復(fù)圖像之中選擇與恢復(fù)的POC信息相應(yīng)的長期參考圖像，并基于選擇的長期參考圖像使用運動矢量和殘差數(shù)據(jù)來執(zhí)行運動補(bǔ)償。
[0183]由于編碼單元確定器120根據(jù)預(yù)測單元執(zhí)行運動補(bǔ)償，因此編碼單元確定器120可從選擇的長期參考圖像中確定由當(dāng)前預(yù)測單元的運動矢量指示的參考預(yù)測單元，并通過將當(dāng)前預(yù)測單元的殘差數(shù)據(jù)與確定的參考預(yù)測單元組合來恢復(fù)當(dāng)前預(yù)測單元。可通過恢復(fù)預(yù)測單元來恢復(fù)編碼單元，可通過恢復(fù)編碼單元來恢復(fù)最大編碼單元，并且可通過恢復(fù)最大編碼單元來恢復(fù)圖像。
[0184]圖7是根據(jù)本發(fā)明的實施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備200的框圖。
[0185]涉及基于具有樹結(jié)構(gòu)的編碼單元的視頻預(yù)測的視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器220、圖像數(shù)據(jù)解碼器230。
[0186]用于視頻解碼設(shè)備200的解碼操作的各種術(shù)語(諸如編碼單元、深度、預(yù)測單元、變換單元和關(guān)于各種編碼模式的信息)的定義與參照圖6和視頻編碼設(shè)備100描述的定義相同。
[0187]接收器210接收和解析編碼視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流，針對每個編碼單元提取編碼圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230，其中，編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。圖像數(shù)據(jù)和編碼信息提取器220可從關(guān)于當(dāng)前畫面的頭、序列參數(shù)集或畫面參數(shù)集提取關(guān)于當(dāng)前畫面的編碼單元的最大尺寸的信息。
[0188]另外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流，根據(jù)每個最大編碼單元，提取關(guān)于具有樹結(jié)構(gòu)的編碼單元的編碼深度和編碼模式的信息。提取的關(guān)于編碼深度和編碼模式的信息被輸出到圖像數(shù)據(jù)解碼器230。換言之，比特流中的圖像數(shù)據(jù)被劃分為最大編碼單元，使得圖像數(shù)據(jù)解碼器230針對每個最大編碼單元對圖像數(shù)據(jù)進(jìn)行解碼。
[0189]可針對關(guān)于與編碼深度相應(yīng)的至少一個編碼單元的信息設(shè)置關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息，關(guān)于編碼模式的信息可包括關(guān)于與編碼深度相應(yīng)的相應(yīng)編碼單元的分區(qū)類型的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的尺寸的信息。另外，根據(jù)深度的劃分信息可被提取為關(guān)于編碼深度的信息。
[0190]關(guān)于由圖像數(shù)據(jù)和編碼信息提取器220提取的根據(jù)每個最大編碼單元的編碼深度和編碼模式的信息是關(guān)于在以下情況下被確定為產(chǎn)生最小編碼誤差的編碼深度和編碼模式的信息，即，在編碼器(諸如，視頻編碼設(shè)備100)根據(jù)最大編碼單元對根據(jù)深度的每個較深層編碼單元重復(fù)地執(zhí)行編碼的時候。因此，視頻解碼設(shè)備200可通過根據(jù)產(chǎn)生最小編碼誤差的編碼深度和編碼模式對圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)圖像。
[0191]由于關(guān)于編碼深度和編碼模式的編碼信息可被分配給相應(yīng)的編碼單元、預(yù)測單元和最小單元中的預(yù)定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)預(yù)定數(shù)據(jù)單元，提取關(guān)于編碼深度和編碼模式的信息。如果關(guān)于相應(yīng)最大編碼單元的編碼深度和編碼模式的信息根據(jù)預(yù)定數(shù)據(jù)單元被記錄，則可將被分配了相同的關(guān)于編碼深度和編碼模式的信息的預(yù)定數(shù)據(jù)單元推斷為是包括在同一最大編碼單元中的數(shù)據(jù)單元。
[0192]圖像數(shù)據(jù)解碼器230基于關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息，通過對每個最大編碼單元中的圖像數(shù)據(jù)進(jìn)行解碼，來恢復(fù)當(dāng)前畫面。換言之，圖像數(shù)據(jù)解碼器230可基于提取出的關(guān)于包括在每個最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元之中的每個編碼單元的分區(qū)類型、預(yù)測模式和變換單元的信息，對編碼的圖像數(shù)據(jù)進(jìn)行解碼。解碼處理可包括預(yù)測(包含幀內(nèi)預(yù)測和運動補(bǔ)償)和逆變換。
[0193]圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)編碼深度的編碼單元的預(yù)測單元的分區(qū)類型和預(yù)測模式的信息，根據(jù)每個編碼單元的分區(qū)和預(yù)測模式，執(zhí)行幀內(nèi)預(yù)測或運動補(bǔ)償。
[0194]另外，為了對每個最大編碼單元執(zhí)行逆變換，圖像數(shù)據(jù)解碼器230可讀取關(guān)于每個編碼單元的根據(jù)樹結(jié)構(gòu)的變換單元的信息，從而基于每個編碼單元的變換單元執(zhí)行逆變換。通過逆變換，可恢復(fù)編碼單元的空間域的像素值。
[0195]圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的劃分信息來確定當(dāng)前最大編碼單元的編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當(dāng)前深度中不再被劃分，則當(dāng)前深度是編碼深度。因此，圖像數(shù)據(jù)解碼器230可通過使用關(guān)于與編碼深度相應(yīng)的每個編碼單元的預(yù)測單元的分區(qū)類型、預(yù)測模式和變換單元的尺寸的信息，對當(dāng)前最大編碼單元中的編碼數(shù)據(jù)進(jìn)行解碼。
[0196]換言之，可通過觀察分配給編碼單元、預(yù)測單元和最小單元中的預(yù)定數(shù)據(jù)單元的編碼信息集來收集包含包括相同劃分信息的編碼信息的數(shù)據(jù)單元，并且收集的數(shù)據(jù)單元可被認(rèn)為是將由圖像數(shù)據(jù)解碼器230以相同編碼模式進(jìn)行解碼的一個數(shù)據(jù)單元。因此，可通過獲得關(guān)于每個編碼單元的編碼模式的信息對當(dāng)前編碼單元進(jìn)行解碼。
[0197]此外，圖7的視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可執(zhí)行圖2a的運動補(bǔ)償設(shè)備20或圖5的運動補(bǔ)償單元58的操作。
[0198]圖像數(shù)據(jù)和編碼信息提取器220可從接收到的比特流解析長期參考索引。可從條帶頭解析長期參考索引。
[0199]針對每個最大編碼單元，根據(jù)具有樹結(jié)構(gòu)的編碼單元，圖像數(shù)據(jù)解碼器230可確定用于幀間預(yù)測的預(yù)測單元，并對每個預(yù)測單元執(zhí)行幀間預(yù)測。
[0200]具體地，圖像數(shù)據(jù)解碼器230可從長期參考索引讀取長期參考圖像的POC信息的LSB信息。圖像數(shù)據(jù)解碼器230可通過將長期參考圖像的POC信息的預(yù)先確定的MSB信息和讀取的LSB信息組合來恢復(fù)長期參考圖像的POC信息。
[0201]由于圖像數(shù)據(jù)解碼器230根據(jù)預(yù)測單元執(zhí)行運動補(bǔ)償，因此圖像數(shù)據(jù)解碼器230可從長期參考圖像中確定由當(dāng)前預(yù)測單元的運動矢量指示的參考預(yù)測單元，并通過將當(dāng)前預(yù)測單元的殘差數(shù)據(jù)與參考預(yù)測單元組合來恢復(fù)當(dāng)前預(yù)測單元?？赏ㄟ^恢復(fù)預(yù)測單元來恢復(fù)編碼單元，可通過恢復(fù)編碼單元來恢復(fù)最大編碼單元，并通過恢復(fù)最大編碼單元來恢復(fù)圖像。
[0202]因此，視頻解碼設(shè)備200可獲得關(guān)于當(dāng)對每個最大編碼單元迭代地執(zhí)行編碼時產(chǎn)生最小編碼誤差的至少一個編碼單元的信息，并使用所述信息來對當(dāng)前畫面進(jìn)行解碼。換言之，可對在每個最大編碼單元中被確定為最佳編碼單元的具有樹結(jié)構(gòu)的編碼單元進(jìn)行解碼。
[0203]因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可通過使用編碼單元的尺寸和編碼模式，對圖像數(shù)據(jù)進(jìn)行有效地解碼和恢復(fù)，其中，通過使用從編碼器接收到的關(guān)于最優(yōu)編碼模式的信息，根據(jù)圖像數(shù)據(jù)的特征自適應(yīng)地確定所述編碼單元的尺寸和編碼模式。
[0204]圖8是用于描述根據(jù)本發(fā)明的實施例的編碼單元的概念的示圖。
[0205]編碼單元的尺寸可被表示為寬度X高度，并可以是64X64、32X32、16X16和8X8。64X64的編碼單元可被劃分為64X64、64X32、32X64或32X32的分區(qū)，32X32的編碼單元可被劃分為32X32、32X16、16X32或16X16的分區(qū)，16X16的編碼單元可被劃分為16X16、16X8、8X16或8X8的分區(qū)，8X8的編碼單元可被劃分為8X8、8X4、4X8或4X4的分區(qū)。
[0206]在視頻數(shù)據(jù)310中，分辨率是1920 X 1080，編碼單元的最大尺寸是64，最大深度是
2。在視頻數(shù)據(jù)320中，分辨率是1920 X 1080，編碼單元的最大尺寸是64，最大深度是3。在視頻數(shù)據(jù)330中，分辨率是352X288，編碼單元的最大尺寸是16，最大深度是I。圖8中示出的最大深度表示從最大編碼單元到最小編碼單元的劃分總次數(shù)。
[0207]如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可能較大，從而不僅提高編碼效率，而且準(zhǔn)確地反映圖像的特征。因此，具有比視頻數(shù)據(jù)330更高分辨率的視頻數(shù)據(jù)310和320的編碼單元的最大尺寸可以是64。
[0208]由于視頻數(shù)據(jù)310的最大深度是2，因此由于通過對最大編碼單元劃分兩次，深度加深至兩層，因此視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元和長軸尺寸為32和16的編碼單元。由于視頻數(shù)據(jù)330的最大深度是1，因此由于通過對最大編碼單元劃分一次，深度加深至一層，因此視頻數(shù)據(jù)330的編碼單元335可包括長軸尺寸為16的最大編碼單元和長軸尺寸為8的編碼單元。
[0209]由于視頻數(shù)據(jù)320的最大深度是3，因此由于通過對最大編碼單元劃分三次，深度加深至3層，因此視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元和長軸尺寸為32、16和8的編碼單元。隨著深度加深，詳細(xì)信息可被精確地表示。
[0210]圖9是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像編碼器400的框圖。
[0211]圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120的操作來對圖像數(shù)據(jù)進(jìn)行編碼。換言之，幀內(nèi)預(yù)測器410在幀內(nèi)模式下對當(dāng)前幀405中的編碼單元執(zhí)行幀內(nèi)預(yù)測，運動估計器420和運動補(bǔ)償器425通過使用當(dāng)前幀405和參考幀495，在幀間模式下對當(dāng)前幀405中的編碼單元分別執(zhí)行幀間預(yù)測和運動補(bǔ)償。
[0212]從幀內(nèi)預(yù)測器410、運動估計器420和運動補(bǔ)償器425輸出的數(shù)據(jù)通過變換器430和量化器440被輸出為量化后的變換系數(shù)。量化后的變換系數(shù)通過反量化器460和逆變換器470被恢復(fù)為空間域中的數(shù)據(jù)，恢復(fù)的空間域中的數(shù)據(jù)在通過去塊單元480和環(huán)路濾波單元490后處理之后被輸出為參考幀495。量化后的變換系數(shù)可通過熵編碼器450被輸出為比特流455。
[0213]為了將圖像編碼器400應(yīng)用到視頻編碼設(shè)備100中，圖像編碼器400的所有元件(即，幀內(nèi)預(yù)測器410、運動估計器420、運動補(bǔ)償器425、變換器430、量化器440、熵編碼器450、反量化器460、逆變換器470、去塊單元480和環(huán)路濾波單元490)在考慮每個最大編碼單元的最大深度的同時，基于具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元執(zhí)行操作。
[0214]具體地，幀內(nèi)預(yù)測器410、運動估計器420和運動補(bǔ)償器425在考慮當(dāng)前最大編碼單元的最大尺寸和最大深度的同時，確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元的分區(qū)和預(yù)測模式，變換器430確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元中的變換單元的尺寸。
[0215]具體地，當(dāng)運動估計器420使用長期參考幀執(zhí)行幀間預(yù)測時，長期參考幀的POC信息可被輸出為長期參考索引。熵編碼器450可將長期參考幀的POC信息到的LSB信息編碼為長期參考索引，并輸出所述LSB信息。用于當(dāng)前條帶的預(yù)測單元的長期參考幀的POC信息的LSB信息可被包括在條帶頭中，然后被發(fā)送。
[0216]運動補(bǔ)償器425還可通過使用從長期參考索引讀取的POC信息的LSB信息來確定長期參考幀的POC信息。運動補(bǔ)償單元425可從存儲在解碼畫面緩沖器中的參考幀中選擇與恢復(fù)的POC信息相應(yīng)的長期參考幀，并基于選擇的長期參考幀使用當(dāng)前幀的殘差數(shù)據(jù)和運動矢量來執(zhí)行運動補(bǔ)償。
[0217]圖10是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像解碼器500的框圖。
[0218]解析器510從比特流505解析將被解碼的編碼圖像數(shù)據(jù)和解碼所需的編碼信息。編碼圖像數(shù)據(jù)通過熵解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，反量化的數(shù)據(jù)通過逆變換器540被恢復(fù)為空間域中的圖像數(shù)據(jù)。
[0219]針對空間域中的圖像數(shù)據(jù)，幀內(nèi)預(yù)測器550在幀內(nèi)模式下對編碼單元執(zhí)行幀內(nèi)預(yù)測，運動補(bǔ)償器560通過使用參考幀585在幀間模式下編碼單元執(zhí)行運動補(bǔ)償。
[0220]通過幀內(nèi)預(yù)測器550和運動補(bǔ)償器560的空間域中的圖像數(shù)據(jù)可在通過去塊單元570和環(huán)路濾波單元580后處理之后被輸出為恢復(fù)幀595。另外，通過去塊單元570和環(huán)路濾波單元580后處理的圖像數(shù)據(jù)可被輸出為參考幀585。
[0221]為了在視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中對圖像數(shù)據(jù)進(jìn)行解碼，圖像解碼器500可執(zhí)行在解析器510之后執(zhí)行的操作。
[0222]為了將圖像解碼器500應(yīng)用到視頻解碼設(shè)備200中，圖像解碼器500的所有元件(即，解析器510、熵解碼器520、反量化器530、逆變換器540、幀內(nèi)預(yù)測器550、運動補(bǔ)償器560、去塊單元570和環(huán)路濾波單元580)針對每個最大編碼單元，基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行操作。
[0223]具體地，幀內(nèi)預(yù)測器550和運動補(bǔ)償器560基于具有樹結(jié)構(gòu)的每個編碼單元的分區(qū)和預(yù)測模式來執(zhí)行操作，逆變換器540基于每個編碼單元的變換單元的尺寸來執(zhí)行操作。
[0224]具體地，解析器510可從比特流505解析長期參考索引。可從條帶頭解析用于當(dāng)前條帶的預(yù)測單元的長期參考圖像的POC信息的LSB信息。運動補(bǔ)償器560通過將當(dāng)前長期參考圖像的POC信息的MSB信息和LSB信息組合來恢復(fù)當(dāng)前長期參考圖像的POC信息，并從存儲在解碼畫面緩沖器中的長期參考圖像之中確定與恢復(fù)的POC信息相應(yīng)的當(dāng)前長期參考圖像。運動補(bǔ)償器560可從當(dāng)前長期參考圖像中確定由用于當(dāng)前預(yù)測單元的運動矢量指示的參考預(yù)測單元，并通過將參考預(yù)測單元和當(dāng)前預(yù)測單元的殘差數(shù)據(jù)組合來恢復(fù)當(dāng)前預(yù)測單元。
[0225]圖11是示出根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖。
[0226]視頻編碼設(shè)備100和視頻解碼設(shè)備200使用分層編碼單元以考慮圖像的特征?？筛鶕?jù)圖像的特征自適應(yīng)地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不同地設(shè)置編碼單元的最大高度、最大寬度和最大深度?？筛鶕?jù)編碼單元的預(yù)定最大尺寸來確定根據(jù)深度的較深層編碼單元的尺寸。
[0227]在根據(jù)本發(fā)明的實施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均是64，最大深度是4。在這種情況下，最大深度表示編碼單元從最大編碼單元被劃分到最小編碼單元的總次數(shù)。由于沿著分層結(jié)構(gòu)600的垂直軸深度加深，因此較深層編碼單元的高度和寬度均被劃分。另外，預(yù)測單元和分區(qū)沿著分層結(jié)構(gòu)600的水平軸被示出，其中，所述預(yù)測單元和分區(qū)是對每個較深層編碼單元進(jìn)行預(yù)測編碼的基礎(chǔ)。
[0228]換言之，在分層結(jié)構(gòu)600中，編碼單元610是最大編碼單元，其中，深度為0，尺寸(即，高度乘寬度)為64X64。隨著深度沿著垂直軸加深，編碼單元620的尺寸為32X32深度為I，編碼單元630的尺寸為16X 16深度為2，編碼單元640的尺寸為8X8深度為3。尺寸為8X8和深度為3的編碼單兀640是最小編碼單兀。
[0229]編碼單元的預(yù)測單元和分區(qū)根據(jù)每個深度沿著水平軸被排列。換言之，如果尺寸為64X64和深度為O的編碼單元610是預(yù)測單元，則可將預(yù)測單元劃分成包括在編碼單元610中的分區(qū)，即，尺寸為64X64的分區(qū)610、尺寸為64X32的分區(qū)612、尺寸為32X64的分區(qū)614或尺寸為32X32的分區(qū)616。
[0230]類似地，可將尺寸為32X32和深度為I的編碼單元620的預(yù)測單元劃分成包括在編碼單元620中的分區(qū)，即，尺寸為32X32的分區(qū)620、尺寸為32 X 16的分區(qū)622、尺寸為16X32的分區(qū)624和尺寸為16X16的分區(qū)626。
[0231]類似地，可將尺寸為16 X 16和深度為2的編碼單元630的預(yù)測單元劃分成包括在編碼單元630中的分區(qū)，即，包括在編碼度單元630中的尺寸為16X16的分區(qū)630、尺寸為16X8的分區(qū)632、尺寸為8X16的分區(qū)634和尺寸為8X8的分區(qū)636。
[0232]類似地，可將尺寸為8X8和深度為3的編碼單元640的預(yù)測單元劃分成包括在編碼單元640中的分區(qū)，即，包括在編碼單元640中的尺寸為8X8的分區(qū)、尺寸為8X4的分區(qū)642、尺寸為4X8的分區(qū)644和尺寸為4X4的分區(qū)646。
[0233]為了確定構(gòu)成最大編碼單元610的編碼單元的至少一個編碼深度，視頻編碼設(shè)備100的編碼單元確定器120對包括在最大編碼單元610中的與每個深度相應(yīng)的編碼單元執(zhí)行編碼。
[0234]隨著深度加深，包括具有相同范圍和相同尺寸的數(shù)據(jù)的根據(jù)深度的較深層編碼單元的數(shù)量增加。例如，需要四個與深度2相應(yīng)的編碼單元來覆蓋包括在與深度I相應(yīng)的一個編碼單元中的數(shù)據(jù)。因此，為了根據(jù)深度比較對相同數(shù)據(jù)進(jìn)行編碼的結(jié)果，與深度I相應(yīng)的編碼單元和四個與深度2相應(yīng)的編碼單元均被編碼。
[0235]為了針對深度之中的當(dāng)前深度執(zhí)行編碼，可沿著分層結(jié)構(gòu)600的水平軸，通過對與當(dāng)前深度相應(yīng)的編碼單元中的每個預(yù)測單元執(zhí)行編碼，來針對當(dāng)前深度選擇最小編碼誤差。可選地，隨著深度沿著分層結(jié)構(gòu)600的垂直軸加深，可通過針對每個深度執(zhí)行編碼，比較根據(jù)深度的最小編碼誤差，來搜索最小編碼誤差。在編碼單元610中的具有最小編碼誤差的深度和分區(qū)可被選為編碼單元610的編碼深度和分區(qū)類型。
[0236]圖12是用于描述根據(jù)本發(fā)明的實施例的在編碼單元710和變換單元720之間的關(guān)系的不圖。
[0237]視頻編碼設(shè)備100或視頻解碼設(shè)備200針對每個最大編碼單元，根據(jù)具有小于或等于最大編碼單元的尺寸的編碼單元，對圖像進(jìn)行編碼或解碼?？苫诓淮笥谙鄳?yīng)的編碼單元的數(shù)據(jù)單元，來選擇用于在編碼期間進(jìn)行變換的變換單元的尺寸。
[0238]例如，在視頻編碼設(shè)備100或視頻解碼設(shè)備200中，如果編碼單元710的尺寸是64X64，則可通過使用尺寸為32X32的變換單元720來執(zhí)行變換。
[0239]此外，可通過對小于64X 64的尺寸為32 X 32、16 X 16、8 X 8和4X 4的每個變換單元執(zhí)行變換，來對尺寸為64X64的編碼單元710的數(shù)據(jù)進(jìn)行編碼，然后可選擇具有最小編碼誤差的變換單元。
[0240]圖13是用于描述根據(jù)本發(fā)明的實施例的與編碼深度相應(yīng)的編碼單元的編碼信息的示圖。
[0241]視頻編碼設(shè)備100的輸出單元130可對與編碼深度相應(yīng)的每個編碼單元的關(guān)于分區(qū)類型的信息800、關(guān)于預(yù)測模式的信息810以及關(guān)于變換單元尺寸的信息820進(jìn)行編碼，并將信息800、信息810和信息820作為關(guān)于編碼模式的信息來發(fā)送。
[0242]信息800指示關(guān)于通過劃分當(dāng)前編碼單元的預(yù)測單元而獲得的分區(qū)的形狀的信息，其中，所述分區(qū)是用于對當(dāng)前編碼單元進(jìn)行預(yù)測編碼的數(shù)據(jù)單元。例如，可將尺寸為2NX2N的當(dāng)前編碼單元CU_0劃分成以下分區(qū)中的任意一個:尺寸為2NX2N的分區(qū)802、尺寸為2NXN的分區(qū)804、尺寸為NX2N的分區(qū)806以及尺寸為NXN的分區(qū)808。這里，關(guān)于分區(qū)類型的信息800被設(shè)置來指示尺寸為2NXN的分區(qū)804、尺寸為NX 2N的分區(qū)806以及尺寸為NXN的分區(qū)808中的一個。
[0243]信息810指示每個分區(qū)的預(yù)測模式。例如，信息810可指示對由信息800指示的分區(qū)執(zhí)行的預(yù)測編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過模式816。
[0244]信息820指示當(dāng)對當(dāng)前編碼單元執(zhí)行變換時所基于的變換單元。例如，變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀內(nèi)變換單元828。
[0245]視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個較深層編碼單元，提取并使用用于解碼的信息800、810和820。
[0246]圖14是根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元的示圖。
[0247]劃分信息可用來指示深度的改變。劃分信息指示當(dāng)前深度的編碼單元是否被劃分成更低深度的編碼單元。
[0248]用于對深度為O和尺寸為2N_0X2N_0的編碼單元900進(jìn)行預(yù)測編碼的預(yù)測單元910可包括以下分區(qū)類型的分區(qū):尺寸為2N_0X2N_0的分區(qū)類型912、尺寸為2N_0XN_0的分區(qū)類型914、尺寸為N_0X2N_0的分區(qū)類型916和尺寸為Ν_0ΧΝ_0的分區(qū)類型918。圖14僅示出了通過對稱地劃分預(yù)測單元910而獲得的分區(qū)類型912至918，但是分區(qū)類型不限于此，并且預(yù)測單元910的分區(qū)可包括非對稱分區(qū)、具有預(yù)定形狀的分區(qū)和具有幾何形狀的分區(qū)。
[0249]根據(jù)每種分區(qū)類型，對尺寸為2N_0X2N_0的一個分區(qū)、尺寸為2N_0XN_0的兩個分區(qū)、尺寸為N_0X2N_0的兩個分區(qū)和尺寸為Ν_0ΧΝ_0的四個分區(qū)重復(fù)地執(zhí)行預(yù)測編碼?？蓪Τ叽鐬?N_0 X 2N_0、N_0 X 2N_0、2N_0 X N_0和N_0 X N_0的分區(qū)執(zhí)行幀內(nèi)模式和幀間模式下的預(yù)測編碼。可僅對尺寸為2N_0X2N_0的分區(qū)執(zhí)行跳過模式下的預(yù)測編碼。
[0250]如果在分區(qū)類型912至916中的一個分區(qū)類型中編碼誤差最小，則可不將預(yù)測單元910劃分到更低深度。
[0251]如果在分區(qū)類型918中編碼誤差最小，則深度從O改變到I以在操作920中劃分分區(qū)類型918，并對深度為2和尺寸為Ν_0ΧΝ_0的編碼單元930重復(fù)地執(zhí)行編碼來搜索最小編碼誤差。
[0252]用于對深度為I和尺寸為2N_1 X 2N_1 ( = Ν_0ΧN_0)的編碼單元930進(jìn)行預(yù)測編碼的預(yù)測單元940可包括以下分區(qū)類型的分區(qū):尺寸為2N_1X2N_1的分區(qū)類型942、尺寸為2N_1XN_1的分區(qū)類型944、尺寸為N_1X2N_1的分區(qū)類型946以及尺寸為N_1XN_1的分區(qū)類型948。
[0253]如果在分區(qū)類型948中編碼誤差最小，則深度從I改變到2以在操作950中劃分分區(qū)類型948，并對深度為2和尺寸為N_2XN_2的編碼單元960重復(fù)執(zhí)行編碼來搜索最小編碼誤差。
[0254]當(dāng)最大深度是d時，根據(jù)每個深度的劃分操作可被執(zhí)行直到深度變成d-Ι，并且劃分信息可被編碼直到深度是O到d-2中的一個。換句話說，當(dāng)編碼被執(zhí)行直到在與d-2的深度相應(yīng)的編碼單元在操作970中被劃分之后深度是d-Ι時，用于對深度為d-Ι和尺寸為2N_(d-l) X2N_(d-l)的編碼單元980進(jìn)行預(yù)測編碼的預(yù)測單元990可包括以下分區(qū)類型的分區(qū):尺寸為2N_(d-l)X2N(d-l)的分區(qū)類型992、尺寸為2N_(d-l)XN(d-l)的分區(qū)類型994、尺寸為N_(d-1) X2N(d-l)的分區(qū)類型996和尺寸為N_(d_l) XN(d_l)的分區(qū)類型998。
[0255]可對分區(qū)類型992至998中的尺寸為2N_(d_l) X2N_(d_l)的一個分區(qū)、尺寸為2N_(d-l) XN_(d-l)的兩個分區(qū)、尺寸為N_(d-1) X2N_(d-l)的兩個分區(qū)、尺寸為1(d-1) XN_(d-l)的四個分區(qū)重復(fù)地執(zhí)行預(yù)測編碼，以搜索具有最小編碼誤差的分區(qū)類型。
[0256]即使當(dāng)分區(qū)類型998具有最小編碼誤差時，由于最大深度是d，因此深度為d-1的編碼單元cu_(d-l)也不再被劃分到更低深度，構(gòu)成當(dāng)前最大編碼單元900的編碼單元的編碼深度被確定為d-Ι，并且當(dāng)前最大編碼單元900的分區(qū)類型可被確定為N_(d-1) X N (d-1)。此外，由于最大深度是d，并且具有最低深度d-Ι的最小編碼單元980不再被劃分到更低深度，因此不設(shè)置最小編碼單元980的劃分信息。
[0257]數(shù)據(jù)單元999可以是用于當(dāng)前最大編碼單元的“最小單元”。根據(jù)本發(fā)明的實施例的最小單元可以是通過將最小編碼單元980劃分成4份而獲得的方形數(shù)據(jù)單元。通過重復(fù)地執(zhí)行編碼，視頻編碼設(shè)備100可通過比較根據(jù)編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度以確定編碼深度，并將相應(yīng)分區(qū)類型和預(yù)測模式設(shè)置為編碼深度的編碼模式。
[0258]這樣，在所有深度I至d中對根據(jù)深度的最小編碼誤差進(jìn)行比較，并且具有最小編碼誤差的深度可被確定為編碼深度。編碼深度、預(yù)測單元的分區(qū)類型和預(yù)測模式可作為關(guān)于編碼模式的信息被編碼并發(fā)送。另外，由于編碼單元從O的深度被劃分到編碼深度，因此僅編碼深度的劃分信息被設(shè)置為O，并且除了編碼深度以外的深度的劃分信息被設(shè)置為I。
[0259]視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用關(guān)于編碼單元900的編碼深度和預(yù)測單元的信息，來對分區(qū)912進(jìn)行解碼。視頻解碼設(shè)備200可通過使用根據(jù)深度的劃分信息，將劃分信息為O的深度確定為編碼深度，并且使用關(guān)于相應(yīng)深度的編碼模式的信息來進(jìn)行解碼。
[0260]圖15至圖17是用于描述根據(jù)本發(fā)明的實施例的編碼單元1010、預(yù)測單元1060和變換單元1070之間的關(guān)系的示圖。
[0261]編碼單元1010是最大編碼單元中的與由視頻編碼設(shè)備100確定的編碼深度相應(yīng)的具有樹結(jié)構(gòu)的編碼單元。預(yù)測單元1060是每個編碼單元1010中的預(yù)測單元的分區(qū)，變換單元1070是每個編碼單元1010的變換單元。
[0262]當(dāng)在編碼單元1010中最大編碼單元的深度是O時，編碼單元1012和編碼單元1054的深度是1，編碼單元1014、1016、1018、1028、1050和1052的深度是2，編碼單元1020、1022、1024、1026、1030、1032 和 1048 的深度是 3，編碼單元 1040、1042、1044 和 1046 的深度是4。
[0263]在預(yù)測單元1060中，通過劃分編碼單元1010中的編碼單元來獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052 和 1054。換句話說，編碼單元 1014、1022、1050 和1054中的分區(qū)類型的尺寸是2NXN，編碼單元1016、1048和1052中的分區(qū)類型的尺寸是NX2N，編碼單元1032的分區(qū)類型的尺寸就NXN。編碼單元1010的預(yù)測單元和分區(qū)小于或等于每個編碼單元。
[0264]在小于編碼單元1052的數(shù)據(jù)單元中的變換單元1070中，對編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或逆變換。另外，在尺寸和形狀方面，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050 和 1052 不同于預(yù)測單元 1060 中的編碼單元 1014、1016、1022、1032、1048、1050和1052。換句話說，視頻編碼設(shè)備100和視頻解碼設(shè)備200可對同一編碼單元中的數(shù)據(jù)單元獨立地執(zhí)行幀內(nèi)預(yù)測、運動估計、運動補(bǔ)償、變換和逆變換。
[0265]因此，對最大編碼單元的每個區(qū)域中的具有分層結(jié)構(gòu)的每個編碼單元遞歸地執(zhí)行編碼來確定最優(yōu)編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括關(guān)于編碼單元的劃分信息、關(guān)于分區(qū)類型的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的尺寸的信息。表I示出可由視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。
[0266][表 I]
[0267]

【權(quán)利要求】
1.一種幀間預(yù)測方法，包括: 通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測； 確定經(jīng)由幀間預(yù)測產(chǎn)生的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量； 通過將長期參考圖像的畫面順序計數(shù)(POC)信息劃分為最高有效位(MSB)信息和最低有效位(LSB)信息,來將LSB信息確定為指示長期參考圖像的長期參考索引。
2.如權(quán)利要求1所述的幀間預(yù)測方法，其中，確定LSB信息的步驟包括:將當(dāng)前圖像的POC信息和長期參考圖像的POC信息之間的差信息劃分為MSB信息和LSB信息，來將差信息的LSB信息確定為長期參考索引。
3.如權(quán)利要求1所述的幀間預(yù)測方法，其中，確定LSB信息的步驟包括:將用于對當(dāng)前條帶進(jìn)行幀間預(yù)測的長期參考圖像的POC信息的LSB信息作為長期參考索引插入到條帶頭中。
4.如權(quán)利要求1所述的幀間預(yù)測方法，還包括: 通過使用存儲在解碼畫面緩沖器中的短期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測； 將短期參考圖像的POC信息的LSB信息確定為指不短期參考圖像的短期參考索引。
5.如權(quán)利要求1所述的幀間預(yù)測方法，其中，確定殘差數(shù)據(jù)和運動矢量的步驟包括:基于根據(jù)當(dāng)前圖像的塊執(zhí) 行的幀間預(yù)測的結(jié)果，確定根據(jù)當(dāng)前圖像的塊的殘差數(shù)據(jù)和運動矢量。
6.—種運動補(bǔ)償方法，包括: 接收編碼的圖像數(shù)據(jù)、運動矢量和長期參考索引； 通過對編碼的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)； 通過從長期參考索引讀取當(dāng)前圖像的長期參考圖像的POC信息的最低有效位(LSB)信息，使用長期參考圖像的最高有效位(MSB)信息和LSB信息，來確定畫面順序計數(shù)(POC)信息； 通過基于在存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的長期參考圖像，使用運動矢量和殘差數(shù)據(jù)執(zhí)行運動補(bǔ)償，來恢復(fù)當(dāng)前圖像。
7.如權(quán)利要求6所述的運動補(bǔ)償方法，其中，確定POC信息的步驟包括: 在用于當(dāng)前圖像的多個長期參考圖像之中，從第一長期參考圖像的POC信息的MSB信息預(yù)測第二長期參考圖像的POC信息的MSB信息； 通過將從接收到的長期參考索引讀取的第二長期參考圖像的POC信息的LSB信息和第二長期參考圖像的POC信息的MSB信息組合，來恢復(fù)第二長期參考圖像的POC信息。
8.如權(quán)利要求6所述的運動補(bǔ)償方法，其中，確定POC信息的步驟包括: 通過將長期參考圖像的POC信息的MSB信息和LSB信息組合來恢復(fù)在當(dāng)前圖像的POC信息和長期參考圖像的POC信息之間的差信息； 通過將所述差信息與當(dāng)前圖像的POC信息相加，或從當(dāng)前圖像的POC信息減去所述差信息，來確定長期參考圖像的POC編號。
9.如權(quán)利要求6所述的運動補(bǔ)償方法，其中，接收的步驟包括:從條帶頭解析長期參考索引，其中，長期參考索引指示用于對當(dāng)前條帶進(jìn)行運動補(bǔ)償?shù)拈L期參考圖像。
10.如權(quán)利要求6所述的運動補(bǔ)償方法，還包括: 接收用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的短期參考索引；從短期參考索引讀取用于對當(dāng)前圖像進(jìn)行幀間預(yù)測的短期參考圖像的POC信息的LSB信息； 通過使用讀取的短期參考圖像的LSB信息和先前短期參考圖像的MSB信息，來確定所述短期參考圖像的POC信息； 通過使用在存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的短期參考圖像，對當(dāng)前圖像執(zhí)行運動補(bǔ)償。
11.如權(quán)利要求6所述的運動補(bǔ)償方法，其中，接收的步驟包括:接收根據(jù)當(dāng)前圖像的塊的編碼的圖像數(shù)據(jù)， 恢復(fù)殘差數(shù)據(jù)的步驟包括:根據(jù)所述塊恢復(fù)殘差數(shù)據(jù)和運動矢量， 恢復(fù)當(dāng)前圖像的步驟包括:通過根據(jù)所述塊執(zhí)行使用殘差數(shù)據(jù)和運動矢量的運動補(bǔ)償來恢復(fù)當(dāng)前圖像。
12.—種幀間預(yù)測設(shè)備，包括: 幀間預(yù)測單元，用于通過使用存儲在解碼畫面緩沖器中的長期參考圖像對當(dāng)前圖像執(zhí)行幀間預(yù)測； 輸出單元，用于通過將長期參考圖像的畫面順序計數(shù)(POC)信息劃分為最高有效位(MSB)信息和最低有效位(LSB)信息，將LSB信息輸出為指示長期參考圖像的長期參考索弓丨，并用于輸出經(jīng) 由幀間預(yù)測產(chǎn)生的當(dāng)前圖像的殘差數(shù)據(jù)和運動矢量。
13.—種運動補(bǔ)償設(shè)備,包括: 接收單元，用于接收編碼的圖像數(shù)據(jù)、運動矢量和長期參考索引； 運動補(bǔ)償單元，用于通過對編碼的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前圖像的殘差數(shù)據(jù)，從長期參考索引讀取當(dāng)前圖像的長期參考圖像的畫面順序計數(shù)(POC)信息的最低有效位(LSB)信息，通過使用長期參考圖像的最高有效位(MSB)信息和LSB信息來確定POC信息，并通過基于在存儲在解碼畫面緩沖器中的參考圖像之中的與確定的POC信息相應(yīng)的長期參考圖像，使用運動矢量和殘差數(shù)據(jù)執(zhí)行運動補(bǔ)償，來恢復(fù)當(dāng)前圖像。
14.一種記錄有用于執(zhí)行如權(quán)利要求1所述的幀間預(yù)測方法的程序的計算機(jī)可讀記錄介質(zhì)。
15.一種記錄有用于執(zhí)行如權(quán)利要求6所述的運動補(bǔ)償方法的程序的計算機(jī)可讀記錄介質(zhì)。
【文檔編號】H04N19/58GK104081779SQ201280065429
【公開日】2014年10月1日 申請日期:2012年10月29日 優(yōu)先權(quán)日:2011年10月28日
【發(fā)明者】樸永五, 金壹求, 金贊烈, 崔光杓 申請人:三星電子株式會社