多視點(diǎn)視頻編碼方法和裝置以及多視點(diǎn)視頻解碼方法和裝置制造方法
【專利摘要】一種多視點(diǎn)視頻編碼方法：按預(yù)定數(shù)據(jù)單元對編碼的多視點(diǎn)圖像進(jìn)行復(fù)用，并將可伸縮擴(kuò)展類型(SET)、深度標(biāo)記以及包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID添加到所述預(yù)定數(shù)據(jù)單元的頭，其中，所述可伸縮擴(kuò)展類型(SET)指示基本視點(diǎn)圖像和附加視點(diǎn)圖像之中的哪個視點(diǎn)圖像與所述數(shù)據(jù)相關(guān)，所述深度標(biāo)記指示紋理圖像和深度圖圖像之中的哪個圖像與所述數(shù)據(jù)相關(guān)。
【專利說明】多視點(diǎn)視頻編碼方法和裝置以及多視點(diǎn)視頻解碼方法和裝 CP3

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于對可伸縮視頻和多視點(diǎn)視頻進(jìn)行編碼和解碼的方法和設(shè)備，更具 體地講，涉及可伸縮視頻和多視點(diǎn)視頻的可伸縮性以及用于傳送多視點(diǎn)信息的高層語法結(jié) 構(gòu)。

【背景技術(shù)】
[0002] 通常，通過根據(jù)預(yù)定數(shù)據(jù)壓縮標(biāo)準(zhǔn)（例如，運(yùn)動圖像專家組（MPEG)標(biāo)準(zhǔn)）的編解 碼器來對圖像數(shù)據(jù)進(jìn)行編碼，并且所述圖像數(shù)據(jù)隨后以比特流的形式被存儲在信息存儲介 質(zhì)中，或者經(jīng)由通信信道被發(fā)送。
[0003] 作為視頻壓縮方法的可伸縮視頻編碼（SVC)適合于根據(jù)各種通信網(wǎng)絡(luò)和終端來 對大量信息進(jìn)行調(diào)整和發(fā)送。SVC提供了一種通過使用單個視頻流來向各種傳輸網(wǎng)絡(luò)以及 各種接收終端適應(yīng)性地提供服務(wù)的視頻編碼方法。
[0004] 因?yàn)?D多媒體裝置和3D多媒體內(nèi)容的流行，多視點(diǎn)視頻編碼技術(shù)被廣泛用于3D 視頻編碼。
[0005] 這樣的傳統(tǒng)SVC或多視點(diǎn)視頻編碼通過使用基于預(yù)定尺寸的宏塊的有限編碼方 法對視頻進(jìn)行編碼。


【發(fā)明內(nèi)容】

[0006] 技術(shù)問題
[0007] 本發(fā)明提供一種用于與根據(jù)傳統(tǒng)圖像壓縮格式的網(wǎng)絡(luò)抽象層（NAL)數(shù)據(jù)單元兼 容并傳送關(guān)于多視點(diǎn)視頻和可伸縮視頻的信息的NAL數(shù)據(jù)單元的結(jié)構(gòu)。
[0008] 本發(fā)明還提供用于通過使用關(guān)于多視點(diǎn)視頻和可伸縮視頻的信息來對可伸縮視 頻和多視點(diǎn)視頻進(jìn)行編碼和解碼的方法和設(shè)備。
[0009] 解決方案
[0010] 根據(jù)本發(fā)明的實(shí)施例，預(yù)定數(shù)據(jù)單元的區(qū)域被重新定義為用于可伸縮性擴(kuò)展信息 或多視點(diǎn)擴(kuò)展信息的區(qū)域。
[0011] 有益效果
[0012] 根據(jù)本發(fā)明的實(shí)施例，與根據(jù)傳統(tǒng)圖像壓縮格式的NAL單元具有從屬兼容性的 NAL單元可被用于傳送關(guān)于多視點(diǎn)視頻和可伸縮視頻的信息。

【專利附圖】

【附圖說明】
[0013] 圖1是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框 圖。
[0014] 圖2是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框 圖。
[0015] 圖3是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元的構(gòu)思的示圖。
[0016] 圖4是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像編碼器的框圖。
[0017] 圖5是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像解碼器的框圖。
[0018] 圖6是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元以及預(yù)測單元的 示圖。
[0019] 圖7是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元和變換單元之間的關(guān)系的示圖。
[0020] 圖8是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息 的示圖。
[0021] 圖9是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元的示圖。
[0022] 圖10至圖12是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元、預(yù)測單元和頻率變換 單元之間的關(guān)系的示圖。
[0023] 圖13是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元和變換單元之間 的關(guān)系的不圖。
[0024] 圖14是根據(jù)本發(fā)明的實(shí)施例的多視點(diǎn)視頻編碼設(shè)備的框圖。
[0025] 圖15是根據(jù)本發(fā)明的實(shí)施例的圖14的圖像編碼器的框圖。
[0026] 圖16示出時間可伸縮圖像的示例。
[0027] 圖17示出空間可伸縮圖像的示例。
[0028] 圖18示出時間和空間可伸縮圖像的示例。
[0029] 圖19是用于解釋根據(jù)本發(fā)明的實(shí)施例的視頻編碼和解碼處理的分層分類的示 圖。
[0030] 圖20a和圖20b示出根據(jù)本發(fā)明的實(shí)施例的網(wǎng)絡(luò)抽象層（NAL)單元的頭的示例。
[0031] 圖21示出根據(jù)本發(fā)明的實(shí)施例的用于可伸縮擴(kuò)展的NAL單元的頭。
[0032] 圖22是根據(jù)本發(fā)明的實(shí)施例的可伸縮擴(kuò)展類型（SET)的表。
[0033] 圖23示出根據(jù)本發(fā)明的另一實(shí)施例的用于可伸縮擴(kuò)展的NAL單元的頭。
[0034] 圖24是指示根據(jù)圖23的NAL單元的頭的SET的第一子層索引和第二子層索引的 SET的表。
[0035] 圖25示出根據(jù)本發(fā)明的實(shí)施例的用于多視點(diǎn)擴(kuò)展的NAL單元的頭。
[0036] 圖26是根據(jù)本發(fā)明的實(shí)施例的根據(jù)用于多視點(diǎn)擴(kuò)展的NAL單元的頭的SET的多 視點(diǎn)ID的表。
[0037] 圖27是根據(jù)本發(fā)明的實(shí)施例的用于多視點(diǎn)擴(kuò)展的NAL單元的語法結(jié)構(gòu)的表。
[0038] 圖28是根據(jù)本發(fā)明的另一實(shí)施例的用于多視點(diǎn)擴(kuò)展的NAL單元的語法結(jié)構(gòu)的表。
[0039] 圖29是根據(jù)本發(fā)明的實(shí)施例的多視點(diǎn)視頻編解碼方法的流程圖。
[0040] 圖30是根據(jù)本發(fā)明的實(shí)施例的多視點(diǎn)視頻解碼設(shè)備的框圖。
[0041] 圖31是根據(jù)本發(fā)明的實(shí)施例的多視點(diǎn)視頻解碼方法的流程圖。
[0042] 最佳模式
[0043] 根據(jù)本發(fā)明的一方面，提供了一種多視點(diǎn)視頻編碼方法，所述方法包括：對包括在 多視點(diǎn)視頻中的多視點(diǎn)圖像進(jìn)行編碼；按預(yù)定數(shù)據(jù)單元對編碼的多視點(diǎn)圖像進(jìn)行復(fù)用，并 將可伸縮擴(kuò)展類型（SET)、深度標(biāo)記以及包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID添加 到所述預(yù)定數(shù)據(jù)單元的頭，其中，所述可伸縮擴(kuò)展類型（SET)指示基本視點(diǎn)圖像和附加視 點(diǎn)圖像之中的哪個視點(diǎn)圖像與所述數(shù)據(jù)相關(guān)，所述深度標(biāo)記指示紋理圖像和深度圖圖像之 中的哪個圖像與所述數(shù)據(jù)相關(guān)。
[0044] 根據(jù)本發(fā)明的另一方面，提供了一種多視點(diǎn)視頻編碼設(shè)備，所述設(shè)備包括：圖像編 碼器，用于對包括在多視點(diǎn)視頻中的多視點(diǎn)圖像進(jìn)行編碼；輸出單元，用于按預(yù)定數(shù)據(jù)單元 對編碼的多視點(diǎn)圖像進(jìn)行復(fù)用，并將可伸縮擴(kuò)展類型（SET)、深度標(biāo)記以及包括在所述預(yù) 定數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID添加到所述預(yù)定數(shù)據(jù)單元的頭，其中，所述可伸縮擴(kuò)展類型 (SET)指示基本視點(diǎn)圖像和附加視點(diǎn)圖像之中的哪個視點(diǎn)圖像與所述數(shù)據(jù)相關(guān)，所述深度 標(biāo)記指示紋理圖像和深度圖圖像之中的哪個圖像與所述數(shù)據(jù)相關(guān)。
[0045] 根據(jù)本發(fā)明的另一方面，提供了一種多視點(diǎn)視頻解碼方法，所述方法包括：接收復(fù) 用有編碼的多視點(diǎn)圖像數(shù)據(jù)的預(yù)定數(shù)據(jù)單元；從所述預(yù)定數(shù)據(jù)單元的頭獲得可伸縮擴(kuò)展類 型（SET)、深度標(biāo)記以及包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID，其中，所述可伸縮擴(kuò) 展類型（SET)指示基本視點(diǎn)圖像和附加視點(diǎn)圖像之中的哪個視點(diǎn)圖像與所述數(shù)據(jù)相關(guān)，所 述深度標(biāo)記指示紋理圖像和深度圖圖像之中的哪個圖像與所述數(shù)據(jù)相關(guān)；基于獲得的信息 來確定包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的SET，確定所述數(shù)據(jù)是紋理圖像還是深度圖圖 像，并確定所述數(shù)據(jù)的視點(diǎn)。
[0046] 根據(jù)本發(fā)明的另一方面，提供了一種多視點(diǎn)視頻解碼設(shè)備，所述設(shè)備包括：接收 器，用于接收復(fù)用有編碼的多視點(diǎn)圖像數(shù)據(jù)的預(yù)定數(shù)據(jù)單元，并從所述預(yù)定數(shù)據(jù)單元的頭 獲得可伸縮擴(kuò)展類型（SET)、深度標(biāo)記以及包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID， 其中，所述可伸縮擴(kuò)展類型（SET)指示基本視點(diǎn)圖像和附加視點(diǎn)圖像之中的哪個視點(diǎn)圖像 與所述數(shù)據(jù)相關(guān)，所述深度標(biāo)記指示紋理圖像和深度圖圖像之中的哪個圖像與所述數(shù)據(jù)相 關(guān)；圖像解碼器，用于基于獲得的信息來確定包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的SET，確 定所述數(shù)據(jù)是紋理圖像還是深度圖圖像，并確定所述數(shù)據(jù)的視點(diǎn)。

【具體實(shí)施方式】
[0047] 將參照圖1至圖13描述根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的數(shù)據(jù)單元的視 頻編碼方法和視頻解碼方法。將參照圖14至圖31描述根據(jù)本發(fā)明的實(shí)施例的基于具有樹 結(jié)構(gòu)的編碼單元的多視點(diǎn)視頻編碼方法和多視點(diǎn)視頻解碼方法。
[0048] 現(xiàn)在將在下面參照圖1至圖13描述根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編 碼單元的視頻編碼方法和視頻解碼方法。
[0049] 圖1是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的 框圖。
[0050] 根據(jù)實(shí)施例的伴有基于具有樹結(jié)構(gòu)的編碼單元的視頻預(yù)測的視頻編碼設(shè)備100 包括：最大編碼單元劃分器110、編碼單元確定器120和輸出單元130。在下文中，為便于描 述，伴有基于具有樹結(jié)構(gòu)的編碼單元的視頻預(yù)測的視頻編碼設(shè)備1〇〇被稱為"視頻編碼設(shè) 備 100"。
[0051] 最大編碼單元劃分器110可基于圖像的當(dāng)前畫面的最大編碼單元來劃分當(dāng)前畫 面，其中，最大編碼單元是具有最大尺寸的編碼單元。如果當(dāng)前畫面大于最大編碼單元，則 可將當(dāng)前畫面的圖像數(shù)據(jù)劃分為至少一個最大編碼單元。根據(jù)實(shí)施例的最大編碼單元可以 是尺寸為32X32、64X64、128X128或256X256的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度 和長度為2的若干次方的正方形。圖像數(shù)據(jù)可根據(jù)至少一個最大編碼單元被輸出到編碼單 元確定器120。
[0052] 根據(jù)實(shí)施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最大編碼 單元被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單 元被劃分到最小編碼單元。最大編碼單元的深度為最高深度，最小編碼單元的深度為最低 深度。由于隨著最大編碼單元的深度加深，與每個深度相應(yīng)的編碼單元的尺寸減小，因此與 更高深度相應(yīng)的編碼單元可包括多個與更低深度相應(yīng)的編碼單元。
[0053] 如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單 元，并且每個最大編碼單元可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)深度對根 據(jù)實(shí)施例的最大編碼單元進(jìn)行劃分，因此可根據(jù)深度分層地對包括在最大編碼單元中的空 間域的圖像數(shù)據(jù)進(jìn)行分類。
[0054] 可預(yù)先設(shè)置編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制最大編碼單元的高度和寬度被分層劃分的總次數(shù)。
[0055] 編碼單元確定器120對通過根據(jù)深度對最大編碼單元的區(qū)域進(jìn)行劃分而獲得的 至少一個劃分區(qū)域進(jìn)行編碼，并且根據(jù)所述至少一個劃分區(qū)域來確定用于輸出最終編碼結(jié) 果的深度。換句話說，編碼單元確定器120通過根據(jù)當(dāng)前畫面的最大編碼單元以根據(jù)深度 的較深層編碼單元對圖像數(shù)據(jù)進(jìn)行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深 度。輸出確定的編碼深度和根據(jù)最大編碼單元的圖像數(shù)據(jù)。
[0056] 基于與等于或小于最大深度的至少一個深度相應(yīng)的較深層編碼單元，對最大編碼 單元中的圖像數(shù)據(jù)進(jìn)行編碼，并且基于每個較深層編碼單元比較編碼結(jié)果。在對較深層編 碼單元的編碼誤差進(jìn)行比較之后，可選擇具有最小編碼誤差的深度。可針對每個最大編碼 單元選擇至少一個編碼深度。
[0057] 隨著編碼單元根據(jù)深度而被分層地劃分，最大編碼單元的尺寸被劃分，并且編碼 單元的數(shù)量增加。另外，即使在一個最大編碼單元中編碼單元與同一深度相應(yīng)，仍通過分別 測量每個編碼單元的數(shù)據(jù)的編碼誤差來確定是否將與同一深度相應(yīng)的每個編碼單元劃分 為更低深度。因此，即使數(shù)據(jù)被包括在一個最大編碼單元中，根據(jù)深度的編碼誤差可根據(jù)區(qū) 域而不同，因此編碼深度可根據(jù)區(qū)域而不同。因此，可為一個最大編碼單元設(shè)置一個或更多 個編碼深度，并且可根據(jù)一個或更多個編碼深度的編碼單元來對最大編碼單元的數(shù)據(jù)進(jìn)行 劃分。
[0058] 因此，根據(jù)實(shí)施例的編碼單元確定器120可確定包括在當(dāng)前最大編碼單元中的具 有樹結(jié)構(gòu)的編碼單元。根據(jù)本發(fā)明的實(shí)施例的"具有樹結(jié)構(gòu)的編碼單元"包括最大編碼單 元中包括的所有較深層編碼單元之中的與確定為編碼深度的深度相應(yīng)的編碼單元?？筛鶕?jù) 最大編碼單元的相同區(qū)域中的深度來分層地確定編碼深度的編碼單元，并可在不同區(qū)域中 獨(dú)立地確定編碼深度的編碼單元。類似地，可與另一區(qū)域中的編碼深度相獨(dú)立地確定當(dāng)前 區(qū)域中的編碼深度。
[0059] 根據(jù)實(shí)施例的最大深度是與從最大編碼單元到最小編碼單元所執(zhí)行劃分的次數(shù) 有關(guān)的索引。根據(jù)實(shí)施例的第一最大深度可表示從最大編碼單元到最小編碼單元所執(zhí)行的 劃分的總次數(shù)。根據(jù)實(shí)施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度 級別的總數(shù)。例如，當(dāng)最大編碼單元的深度是〇時，對最大編碼單元劃分一次的編碼單元的 深度可被設(shè)置為1，對最大編碼單元劃分兩次的編碼單元的深度可被設(shè)置為2。在此情況 下，如果最小編碼單元是通過對最大編碼單元劃分四次而獲得的編碼單元，則存在深度0、 1、2、3和4的5個深度級別，并因此第一最大深度可被設(shè)置為4,第二最大深度可被設(shè)置為 5 〇
[0060] 可根據(jù)最大編碼單元執(zhí)行預(yù)測編碼和頻率變換。還根據(jù)最大編碼單元，基于根據(jù) 等于或小于最大深度的深度的較深層編碼單元來執(zhí)行預(yù)測編碼和變換。
[0061] 由于每當(dāng)根據(jù)深度對最大編碼單元進(jìn)行劃分時，較深層編碼單元的數(shù)量增加，因 此將必需對隨著深度增加而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預(yù)測編碼和頻率變換的 編碼。為了便于描述，在至少一個最大編碼單元之中，現(xiàn)在將基于當(dāng)前深度的編碼單元來描 述預(yù)測編碼和頻率變換。
[0062] 根據(jù)實(shí)施例的視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù) 單元的尺寸或形狀。為了對圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測編碼、頻率變換和熵編碼的 操作，此時，可針對所有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單 JLi〇
[0063] 例如，視頻編碼設(shè)備100不僅可選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還可 選擇不同于編碼單元的數(shù)據(jù)單元，以便對編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測編碼。
[0064] 為了在最大編碼單元中執(zhí)行預(yù)測編碼，可基于與編碼深度相應(yīng)的編碼單元（即， 基于不再被劃分為與更低深度相應(yīng)的編碼單元的編碼單元）來執(zhí)行預(yù)測編碼。以下，不再 被劃分且成為用于預(yù)測編碼的基本單元的編碼單元現(xiàn)在將被稱為"預(yù)測單元"。通過劃分預(yù) 測單元獲得的分區(qū)可包括預(yù)測單元以及通過對預(yù)測單元的高度和寬度中的至少一個進(jìn)行 劃分而獲得的數(shù)據(jù)單元。
[0065] 例如，當(dāng)2NX2N(其中，N是正整數(shù)）的編碼單元不再被劃分時，2NX2N的編碼單 元可成為2NX2N的預(yù)測單元，并且分區(qū)的尺寸可以是2NX2N、2NXN、NX2N或NXN。分區(qū) 類型的示例包括通過對預(yù)測單元的高度或?qū)挾冗M(jìn)行對稱劃分而獲得的對稱分區(qū)、通過對預(yù) 測單元的高度或?qū)挾冗M(jìn)行非對稱劃分（諸如，1 :n或n:l)而獲得的分區(qū)、通過對預(yù)測單元 進(jìn)行幾何劃分而獲得的分區(qū)、以及具有任意形狀的分區(qū)。
[0066] 預(yù)測單元的預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一個。例如， 可對2NX2N、2NXN、NX2N或NXN的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。另外，可僅對2NX2N的分區(qū)執(zhí)行跳過模式?？蓪幋a單元中的一個預(yù)測單元獨(dú)立地執(zhí)行編碼，從而選擇具有最 小編碼誤差的預(yù)測模式。
[0067] 根據(jù)實(shí)施例的視頻編碼設(shè)備100不僅可基于用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單 元還可基于與編碼單元不同的數(shù)據(jù)單元，來對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編 碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元來執(zhí)行變換。例如， 變換單元可包括幀內(nèi)模式的變換單元和幀間模式的數(shù)據(jù)單元。
[0068] 類似于根據(jù)實(shí)施例的樹結(jié)構(gòu)中的編碼單元，編碼單元中的變換單元可被遞歸地劃 分為更小尺寸的變換單元，因此可基于根據(jù)變換深度的具有樹結(jié)構(gòu)的變換單元，對編碼單 元中的殘差數(shù)據(jù)進(jìn)行劃分。
[0069] 還可在根據(jù)實(shí)施例的變換單元中設(shè)置變換深度，其中，變換深度表示通過對編碼 單元的高度和寬度進(jìn)行劃分以達(dá)到變換單元所執(zhí)行的劃分的次數(shù)。例如，在2NX2N的當(dāng)前 編碼單元中，當(dāng)變換單元的尺寸是2NX2N時，變換深度可以是0,當(dāng)變換單元的尺寸是NXN時，變換深度可以是1，當(dāng)變換單元的尺寸是N/2XN/2時，變換深度可以是2。也就是說，還 可根據(jù)變換深度設(shè)置具有樹結(jié)構(gòu)的變換單元。
[0070] 根據(jù)與編碼深度相應(yīng)的編碼單元的編碼信息不僅需要關(guān)于編碼深度的信息，還需 要關(guān)于與預(yù)測編碼和變換相關(guān)的信息的信息。因此，編碼單元確定器120不僅確定具有最 小編碼誤差的編碼深度，還確定預(yù)測單元中的分區(qū)類型、根據(jù)預(yù)測單元的預(yù)測模式和用于 變換的變換單元的尺寸。
[0071] 稍后將參照圖3至圖13詳細(xì)描述根據(jù)實(shí)施例的最大編碼單元中的具有樹結(jié)構(gòu)的 編碼單元以及確定預(yù)測單元/分區(qū)和變換單元的方法。
[0072] 編碼單元確定器120可通過使用基于拉格朗日乘數(shù)的率失真（RD)優(yōu)化，來測量根 據(jù)深度的較深層編碼單元的編碼誤差。
[0073] 輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)和關(guān)于根據(jù)編碼深度的 編碼模式的信息，其中，所述最大編碼單元的圖像數(shù)據(jù)基于由編碼單元確定器120確定的 至少一個編碼深度被編碼。
[0074] 可通過對圖像的殘差數(shù)據(jù)進(jìn)行編碼來獲得編碼圖像數(shù)據(jù)。
[0075] 關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于編碼深度的信息、關(guān)于預(yù)測單元 中的分區(qū)類型的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的尺寸的信息。
[0076] 可通過使用根據(jù)深度的劃分信息來定義關(guān)于編碼深度的信息，其中，根據(jù)深度的 劃分信息指示是否對更低深度而不是當(dāng)前深度的編碼單元執(zhí)行編碼。如果當(dāng)前編碼單元的 當(dāng)前深度是編碼深度，則對當(dāng)前深度的當(dāng)前編碼單元執(zhí)行編碼，因此可將劃分信息定義為 不將當(dāng)前編碼單元劃分到更低深度。可選擇地，如果當(dāng)前編碼單元的當(dāng)前深度不是編碼深 度，則對更低深度的編碼單元執(zhí)行編碼，并且因此可將劃分信息定義為對當(dāng)前編碼單元進(jìn) 行劃分來獲得更低深度的編碼單元。
[0077] 如果當(dāng)前深度不是編碼深度，則對被劃分到更低深度的編碼單元的編碼單元執(zhí)行 編碼。由于更低深度的至少一個編碼單元存在于當(dāng)前深度的一個編碼單元中，因此對更低 深度的每個編碼單元重復(fù)執(zhí)行編碼，并且因此可對具有相同深度的編碼單元遞歸地執(zhí)行編 碼。
[0078] 由于針對一個最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元，并且針對編碼深度的編 碼單元確定關(guān)于至少一個編碼模式的信息，所以可針對一個最大編碼單元確定關(guān)于至少一 個編碼模式的信息。另外，由于根據(jù)深度對數(shù)據(jù)進(jìn)行分層劃分，因此最大編碼單元的數(shù)據(jù)的 編碼深度可根據(jù)位置而不同，因此可針對數(shù)據(jù)設(shè)置關(guān)于編碼深度和編碼模式的信息。
[0079] 因此，根據(jù)實(shí)施例的輸出單元130可將關(guān)于相應(yīng)的編碼深度和編碼模式的編碼信 息分配給包括在最大編碼單元中的編碼單元、預(yù)測單元和最小單元中的至少一個。
[0080] 根據(jù)實(shí)施例的最小單元是通過將構(gòu)成最低深度的最小編碼單元劃分為4份而獲 得的矩形數(shù)據(jù)單元?？蛇x擇地，最小單元可以是可包括在最大編碼單元中所包括的所有編 碼單元、預(yù)測單元、分區(qū)單元和變換單元中的最大矩形數(shù)據(jù)單元。
[0081] 例如，通過輸出單元130輸出的編碼信息可被分類為根據(jù)基于深度的較深層編碼 單元的編碼信息和根據(jù)預(yù)測單元的編碼信息。根據(jù)基于深度的較深層編碼單元的編碼信息 可包括關(guān)于預(yù)測模式的信息和關(guān)于分區(qū)尺寸的信息。根據(jù)預(yù)測單元的編碼信息可包括關(guān)于 幀間模式的估計方向的信息、關(guān)于幀間模式的參考圖像索引的信息、關(guān)于運(yùn)動矢量的信息、 關(guān)于幀內(nèi)模式的色度分量的信息、以及關(guān)于幀內(nèi)模式的插值方法的信息。
[0082] 此外，根據(jù)畫面、條帶或G0P定義的關(guān)于編碼單元的最大尺寸的信息和關(guān)于最大 深度的信息可被插入到比特流的頭、序列參數(shù)集或畫面參數(shù)集等。
[0083] 關(guān)于針對當(dāng)前視頻而被允許的變換單元的最大尺寸的信息以及關(guān)于所述變換單 元的最小尺寸的信息可通過比特流的頭、序列參數(shù)集或畫面參數(shù)集等被輸出。輸出單元130 可對以上參照圖1所描述的參考信息、預(yù)測信息、單向預(yù)測信息、包括四種條帶類型的條帶 類型信息進(jìn)行編碼和輸出
[0084] 在根據(jù)最簡單的實(shí)施例的視頻編碼設(shè)備100中，較深層編碼單元是通過將更高深 度（更高一層）的編碼單元的高度或?qū)挾葎澐殖蓛煞荻@得的編碼單元。換句話說，在當(dāng) 前深度的編碼單元的尺寸是2NX2N時，更低深度的編碼單元的尺寸是NXN。另外，尺寸為 2NX2N的當(dāng)前深度的編碼單元可包括最多4個所述更低深度的編碼單元。
[0085] 因此，根據(jù)實(shí)施例的視頻編碼設(shè)備100可基于考慮當(dāng)前畫面的特征而確定的最大 編碼單元的尺寸和最大深度，通過針對每個最大編碼單元確定具有最優(yōu)形狀和最優(yōu)尺寸的 編碼單元來形成具有樹結(jié)構(gòu)的編碼單元。另外，由于可通過使用各種預(yù)測模式和變換中的 任意一個對每個最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的圖像特征 來確定最優(yōu)編碼模式。
[0086] 因此，如果以傳統(tǒng)宏塊對具有高的分辨率或大數(shù)據(jù)量的圖像進(jìn)行編碼，則每個畫 面的宏塊的數(shù)量極度增加。因此，針對每個宏塊產(chǎn)生的壓縮信息的條數(shù)增加，因而難以發(fā)送 壓縮的信息，并且數(shù)據(jù)壓縮效率降低。然而，通過使用根據(jù)實(shí)施例的視頻編碼設(shè)備100,由于 在考慮圖像的特征的同時調(diào)整編碼單元，同時，在考慮圖像的尺寸的同時增加編碼單元的 最大尺寸，因此可提高圖像壓縮效率。
[0087] 圖2是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備200的 框圖。
[0088] 伴有視頻預(yù)測的視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器 220以及圖像數(shù)據(jù)解碼器230。在下文中，為便于描述，根據(jù)實(shí)施例的伴有基于具有樹結(jié)構(gòu) 的編碼單元的視頻預(yù)測的視頻解碼設(shè)備200被稱為"視頻解碼設(shè)備200"。
[0089] 用于根據(jù)視頻解碼設(shè)備200的各種操作的各種術(shù)語（諸如編碼單元、深度、預(yù)測單 元、變換單元和關(guān)于各種編碼模式的信息）的定義與參照圖1和視頻編碼設(shè)備100所描述 的定義相同。
[0090] 接收器210接收并解析編碼視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解 析的比特流提取針對每個編碼單元的編碼圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù) 解碼器230,其中，編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。圖像數(shù)據(jù)和編碼信息提 取器220可從關(guān)于當(dāng)前畫面的頭提取關(guān)于當(dāng)前畫面的編碼單元的最大尺寸的信息。
[0091] 另外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流根據(jù)每個最大編碼單元提 取關(guān)于具有樹結(jié)構(gòu)的編碼單元的編碼深度和編碼模式的信息。提取的關(guān)于編碼深度和編碼 模式的信息被輸出到圖像數(shù)據(jù)解碼器230。換句話說，比特流中的圖像數(shù)據(jù)被劃分為最大編 碼單元，使得圖像數(shù)據(jù)解碼器230針對每個最大編碼單元對圖像數(shù)據(jù)進(jìn)行解碼。
[0092] 可針對關(guān)于至少一個編碼深度的信息設(shè)置關(guān)于根據(jù)最大編碼單元的編碼深度和 編碼模式的信息，關(guān)于根據(jù)每個編碼深度的編碼模式的信息可包括關(guān)于與編碼深度相應(yīng)的 相應(yīng)編碼單元的分區(qū)類型的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的尺寸的信息。另 夕卜，根據(jù)深度的劃分信息可被提取為關(guān)于編碼深度的信息。
[0093] 由圖像數(shù)據(jù)和編碼信息提取器220提取的關(guān)于根據(jù)每個最大編碼單元的編碼深 度和編碼模式的信息是這樣的關(guān)于編碼深度和編碼模式的信息：該信息被確定為在編碼器 (諸如，視頻編碼設(shè)備100)根據(jù)每個最大編碼單元對根據(jù)深度的每個較深層編碼單元重復(fù) 地執(zhí)行編碼時產(chǎn)生最小編碼誤差。因此，視頻解碼設(shè)備200可通過根據(jù)產(chǎn)生最小編碼誤差 的編碼模式對圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)圖像。
[0094] 由于根據(jù)實(shí)施例的關(guān)于編碼深度和編碼模式的編碼信息可被分配給相應(yīng)編碼單 元、預(yù)測單元和最小單元之中的預(yù)定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息提取器220可根 據(jù)預(yù)定數(shù)據(jù)單元，提取關(guān)于編碼深度和編碼模式的信息。當(dāng)關(guān)于相應(yīng)最大編碼單元的編碼 深度和編碼模式的信息根據(jù)預(yù)定數(shù)據(jù)單元被記錄時，可將具有相同的關(guān)于編碼深度和編碼 模式的信息的預(yù)定數(shù)據(jù)單元推斷為是包括在同一最大編碼單元中的數(shù)據(jù)單元。
[0095] 圖像數(shù)據(jù)解碼器230基于關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息， 通過對每個最大編碼單元中的圖像數(shù)據(jù)進(jìn)行解碼，來恢復(fù)當(dāng)前畫面。換句話說，圖像數(shù)據(jù)解 碼器230可基于提取出的關(guān)于包括在每個最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元之中 的每個編碼單元的分區(qū)類型、預(yù)測模式和變換單元的信息，對編碼的圖像數(shù)據(jù)進(jìn)行解碼。解 碼處理可包括預(yù)測（包含幀內(nèi)預(yù)測和運(yùn)動補(bǔ)償）和逆變換。
[0096] 圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)編碼深度的編碼單元的預(yù)測單元的分區(qū)類 型和預(yù)測模式的信息，根據(jù)每個編碼單元的分區(qū)和預(yù)測模式執(zhí)行幀內(nèi)預(yù)測或運(yùn)動補(bǔ)償。 [0097] 此外，圖像數(shù)據(jù)解碼器230可根據(jù)編碼單元讀取基于樹結(jié)構(gòu)的變換單元信息，并 基于編碼單元中的每個變換單元來執(zhí)行逆變換，從而根據(jù)最大編碼單元執(zhí)行逆變換。編碼 單元的空間區(qū)域的像素值可被重構(gòu)。
[0098] 圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的劃分信息來確定當(dāng)前最大編碼單元 的編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當(dāng)前深度中不再被劃分，則當(dāng)前深度是編碼深 度。因此，圖像數(shù)據(jù)解碼器230可通過使用關(guān)于用于當(dāng)前最大編碼單元的圖像數(shù)據(jù)的預(yù)測 單元的分區(qū)類型、預(yù)測模式和變換單元的尺寸的信息，對當(dāng)前深度的編碼數(shù)據(jù)進(jìn)行解碼。 [0099] 換句話說，可通過觀察被分配給編碼單元、預(yù)測單元和最小單元之中的預(yù)定數(shù)據(jù) 單元的編碼信息集來收集包含包括相同劃分信息的編碼信息的數(shù)據(jù)單元，并且收集的數(shù)據(jù) 單元可被認(rèn)為是將由圖像數(shù)據(jù)解碼器230以相同編碼模式進(jìn)行解碼的一個數(shù)據(jù)單元。
[0100] 根據(jù)實(shí)施例的視頻解碼設(shè)備200可獲得關(guān)于當(dāng)對每個最大編碼單元遞歸地執(zhí)行 編碼時產(chǎn)生最小編碼誤差的編碼單元的信息，并可使用所述信息來對當(dāng)前畫面進(jìn)行解碼。 換句話說，可對每個最大編碼單元中被確定為最佳編碼單元的具有樹結(jié)構(gòu)的編碼單元進(jìn)行 解碼。
[0101] 因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可根據(jù)編碼單元的尺寸和編碼 模式，有效地對圖像數(shù)據(jù)進(jìn)行解碼和恢復(fù)，其中，通過使用從編碼器接收到的關(guān)于最優(yōu)編碼 模式的信息，根據(jù)圖像的特征自適應(yīng)地確定所述編碼單元的尺寸和編碼模式。
[0102] 圖3是用于描述根據(jù)本發(fā)明的實(shí)施例的分層編碼單元的構(gòu)思的示圖。
[0103] 編碼單元的尺寸可被表示為寬度X高度，并且編碼單元的尺寸的示例可包括 64X64、32X32、16X16 和 8X8。64X64 的編碼單元可被劃分為 64X64、64X32、32X64 或 32X32的分區(qū)，32X32的編碼單元可被劃分為32X32、32X16、16X32或16X16的分區(qū)， 16X16的編碼單元可被劃分為16X16、16X8、8X16或8X8的分區(qū)，8X8的編碼單元可被 劃分為8X8、8X4、4X8或4X4的分區(qū)。
[0104] 在視頻數(shù)據(jù)310中，分辨率被設(shè)置為1920X1080,編碼單元的最大尺寸被設(shè)置為 64,最大深度被設(shè)置為2。在視頻數(shù)據(jù)320中，分辨率被設(shè)置為1920X1080,編碼單元的最 大尺寸被設(shè)置為64,最大深度被設(shè)置為3。在視頻數(shù)據(jù)330中，分辨率被設(shè)置為352X288， 編碼單元的最大尺寸被設(shè)置為16,最大深度被設(shè)置為1。圖3中示出的最大深度表示從最 大編碼單元到最小編碼單元的劃分總次數(shù)。
[0105] 如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可能較大，從而不僅提高編碼 效率，而且準(zhǔn)確地反映圖像的特征。因此，比視頻數(shù)據(jù)330具有更高分辨率的視頻數(shù)據(jù)310 和320的編碼單元的最大尺寸可以是64。
[0106] 由于視頻數(shù)據(jù)310的最大深度是2,因此由于通過對最大編碼單元劃分兩次，深度 加深至兩層，因此視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元和長 軸尺寸為32和16的編碼單元。同時，由于視頻數(shù)據(jù)330的最大深度是1，因此由于通過對 最大編碼單元劃分一次，深度增加至一層，因此視頻數(shù)據(jù)330的編碼單元335可包括長軸尺 寸為16的最大編碼單元和長軸尺寸為8的編碼單元。
[0107] 由于視頻數(shù)據(jù)320的最大深度是3,因此由于通過對最大編碼單元劃分三次，深度 增加至3層，因此視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元和長 軸尺寸為32、16和8的編碼單元。隨著深度加深，詳細(xì)信息可被精確地表示。
[0108] 圖4是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像編碼器400的框圖。
[0109] 根據(jù)實(shí)施例的圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120的操 作來對圖像數(shù)據(jù)進(jìn)行編碼。換句話說，幀內(nèi)預(yù)測器410對當(dāng)前幀405中的幀內(nèi)模式下的編碼 單元執(zhí)行幀內(nèi)預(yù)測，運(yùn)動估計器420和運(yùn)動補(bǔ)償器425通過使用當(dāng)前幀405和參考幀495， 對當(dāng)前幀405中的幀間模式下編碼單元執(zhí)行幀間估計和運(yùn)動補(bǔ)償。
[0110] 從幀內(nèi)預(yù)測器410、運(yùn)動估計器420和運(yùn)動補(bǔ)償器425輸出的數(shù)據(jù)通過頻率變換 器430和量化器440被輸出為量化后的變換系數(shù)。量化后的變換系數(shù)通過反量化器460和 頻率逆變換器470被恢復(fù)為空間域中的數(shù)據(jù)，恢復(fù)的空間域中的數(shù)據(jù)在通過去塊單元480 和偏移調(diào)整單元490后處理之后被輸出為參考幀495。量化后的變換系數(shù)可通過熵編碼器 450被輸出為比特流455。
[0111] 為了將圖像編碼器400應(yīng)用到根據(jù)實(shí)施例的視頻編碼設(shè)備100中，圖像編碼器400 的所有元件（即，幀內(nèi)預(yù)測器410、運(yùn)動估計器420、運(yùn)動補(bǔ)償器425、頻率變換器430、量化 器440、熵編碼器450、反量化器460、頻率逆變換器470、去塊單元480和偏移調(diào)整單元490) 必需在考慮每個最大編碼單元的最大深度的同時，基于具有樹結(jié)構(gòu)的編碼單元之中的每個 編碼單元執(zhí)行操作。
[0112] 具體地，幀內(nèi)預(yù)測器410、運(yùn)動估計器420和運(yùn)動補(bǔ)償器425必需在考慮當(dāng)前最大 編碼單元的最大尺寸和最大深度的同時確定具有樹結(jié)構(gòu)的編碼單元之中的每個編碼單元 的分區(qū)和預(yù)測模式，頻率變換器430必需確定具有樹結(jié)構(gòu)的編碼單元之中的每個編碼單元 中的變換單元的尺寸。
[0113] 圖5是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像解碼器500的框圖。
[0114] 解析器510從比特流505解析將被解碼的編碼圖像數(shù)據(jù)和解碼所需的關(guān)于編碼的 信息。編碼圖像數(shù)據(jù)通過熵解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，反量化的 數(shù)據(jù)通過頻率逆變換器540被恢復(fù)為空間域中的圖像數(shù)據(jù)。
[0115] 針對空間域中的圖像數(shù)據(jù)，幀內(nèi)預(yù)測器550對幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預(yù) 測，運(yùn)動補(bǔ)償器560通過使用參考幀585對幀間模式下的編碼單元執(zhí)行運(yùn)動補(bǔ)償。
[0116] 經(jīng)過幀內(nèi)預(yù)測器550和運(yùn)動補(bǔ)償器560的空間域中的數(shù)據(jù)可在通過去塊單元570 和偏移調(diào)整單元580后處理之后被輸出為恢復(fù)幀595。另外，通過去塊單元570和偏移調(diào)整 單元580后處理的數(shù)據(jù)可被輸出為參考幀585。
[0117] 為了在視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中對圖像數(shù)據(jù)進(jìn)行解碼，圖像解 碼器500可執(zhí)行在解析器510的操作被執(zhí)行之后執(zhí)行的操作。
[0118] 為了將圖像解碼器500應(yīng)用到根據(jù)實(shí)施例的視頻解碼設(shè)備200中，圖像解碼器500 的所有元件（即，解析器510、熵解碼器520、反量化器530、頻率逆變換器540、幀內(nèi)預(yù)測器 550、運(yùn)動補(bǔ)償器560、去塊單元570和偏移調(diào)整單元580)必需針對每個最大編碼單元基于 具有樹結(jié)構(gòu)的編碼單元執(zhí)行操作。
[0119] 具體地，幀內(nèi)預(yù)測器550和運(yùn)動補(bǔ)償器560必需針對具有樹結(jié)構(gòu)的每個編碼單元 確定分區(qū)和預(yù)測模式，頻率逆變換器540必需針對每個編碼單元確定變換單元的尺寸。
[0120] 圖6是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元和分區(qū)的示圖。
[0121] 視頻編碼設(shè)備100和視頻解碼設(shè)備200使用分層編碼單元以考慮圖像的特征?？?根據(jù)圖像的特征自適應(yīng)地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不 同地設(shè)置編碼單元的最大高度、最大寬度和最大深度。可根據(jù)被預(yù)先設(shè)置的編碼單元的最 大尺寸來確定根據(jù)深度的較深層編碼單元的尺寸。
[0122] 在根據(jù)實(shí)施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均 是64,最大深度是4。由于沿著根據(jù)實(shí)施例的編碼單元的分層結(jié)構(gòu)600的垂直軸深度增加， 因此較深層編碼單元的高度和寬度均被劃分。另外，預(yù)測單元和分區(qū)沿著編碼單元的分層 結(jié)構(gòu)600的水平軸被示出，其中，所述預(yù)測單元和分區(qū)是對每個較深層編碼單元進(jìn)行預(yù)測 編碼的基礎(chǔ)。
[0123] 換句話說，在編碼單元的分層結(jié)構(gòu)600中，編碼單元610是最大編碼單元，其中，深 度為0,尺寸（即，高度乘寬度）為64X64。深度沿著垂直軸增大，存在尺寸為32X32且深 度為1的編碼單元620、尺寸為16X16且深度為2的編碼單元630、以及尺寸為8X8且深 度為3的編碼單元640。尺寸為8X8且深度為3的編碼單元640是最小編碼單元。
[0124] 編碼單元的預(yù)測單元和分區(qū)根據(jù)每個深度沿著水平軸被排列。換句話說，如果尺 寸為64X64且深度為0的編碼單元610是預(yù)測單元，則可將預(yù)測單元劃分成包括在編碼單 元610中的分區(qū)，S卩，尺寸為64X64的分區(qū)610、尺寸為64X32的分區(qū)612、尺寸為32X64 的分區(qū)614或尺寸為32X32的分區(qū)616。
[0125] 類似地，可將尺寸為32X32且深度為1的編碼單元620的預(yù)測單元劃分成包括在 編碼單元620中的分區(qū)，S卩，尺寸為32X32的分區(qū)620、尺寸為32X16的分區(qū)622、尺寸為 16X32的分區(qū)624和尺寸為16X16的分區(qū)626。
[0126] 類似地，可將尺寸為16X16且深度為2的編碼單元630的預(yù)測單元劃分成包括 在編碼單元630中的分區(qū)，g卩，包括在編碼度單元630中的尺寸為16X16的分區(qū)、尺寸為 16X8的分區(qū)632、尺寸為8X16的分區(qū)634和尺寸為8X8的分區(qū)636。
[0127] 類似地，可將尺寸為8X8且深度為3的編碼單元640的預(yù)測單元劃分成包括在編 碼單元640中的分區(qū)，S卩，包括在編碼單元640中的尺寸為8X8的分區(qū)、尺寸為8X4的分 區(qū)642、尺寸為4X8的分區(qū)644和尺寸為4X4的分區(qū)646。
[0128] 最后,尺寸為8X8且深度為3的編碼單元640是最小編碼單元和最低深度的編碼 單元。
[0129] 為了確定最大編碼單元610的編碼深度，根據(jù)實(shí)施例的視頻編碼設(shè)備100的編碼 單元確定器120必需對包括在最大編碼單元610中的與每個深度相應(yīng)的編碼單元執(zhí)行編 碼。
[0130] 隨著深度增大，包括具有相同范圍和相同尺寸的數(shù)據(jù)的根據(jù)深度的較深層編碼單 元的數(shù)量增加。例如，需要四個與深度2相應(yīng)的編碼單元來覆蓋包括在與深度1相應(yīng)的一 個編碼單元中的數(shù)據(jù)。因此，為了根據(jù)深度比較相同數(shù)據(jù)的編碼結(jié)果，與深度1相應(yīng)的編碼 單元和四個與深度2相應(yīng)的編碼單元均需被編碼。
[0131] 為了根據(jù)每個深度執(zhí)行編碼，可沿著編碼單元的分層結(jié)構(gòu)600的水平軸，通過對 較深層編碼單元中的每個預(yù)測單元執(zhí)行編碼，來選擇作為相應(yīng)深度中的最小編碼誤差的代 表性編碼誤差。可選擇地，隨著深度沿著編碼單元的分層結(jié)構(gòu)600的垂直軸增加，可通過針 對每個深度執(zhí)行編碼來比較根據(jù)深度的代表性編碼誤差，以搜索最小編碼誤差。在最大編 碼單元610中具有最小編碼誤差的深度和分區(qū)可被選為最大編碼單元610的編碼深度和分 區(qū)類型。
[0132] 圖7是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元710和變換單元720之間的關(guān)系 的示圖。
[0133] 根據(jù)實(shí)施例的視頻編碼設(shè)備100或根據(jù)實(shí)施例的視頻解碼設(shè)備200針對每個最大 編碼單元，根據(jù)具有小于或等于最大編碼單元的尺寸的編碼單元，對圖像進(jìn)行編碼或解碼。 可基于不大于相應(yīng)編碼單元的數(shù)據(jù)單元，選擇用于在編碼期間進(jìn)行頻率變換的變換單元的 尺寸。
[0134] 例如，在根據(jù)實(shí)施例的視頻編碼設(shè)備100或根據(jù)實(shí)施例的視頻解碼設(shè)備200中，如 果當(dāng)前編碼單元710的尺寸是64X64,則可通過使用尺寸為32X32的變換單元720來執(zhí)行 變換。
[0135] 此外，可通過對小于64X64的尺寸為32X32、16X16、8X8和4X4的每個變換單 元執(zhí)行變換，來對尺寸為64X64的編碼單元710的數(shù)據(jù)進(jìn)行編碼，然后可選擇具有最小編 碼誤差的變換單元。
[0136] 圖8是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息 的示圖。
[0137] 根據(jù)實(shí)施例的視頻編碼設(shè)備100的輸出單兀130可對與編碼深度相應(yīng)的每個編碼 單元的關(guān)于分區(qū)類型的信息800、關(guān)于預(yù)測模式的信息810以及關(guān)于變換單元尺寸的信息 820進(jìn)行編碼，并將信息800、信息810和信息820作為關(guān)于編碼模式的信息來發(fā)送。
[0138] 關(guān)于分區(qū)類型的信息800指示關(guān)于通過劃分當(dāng)前編碼單元的預(yù)測單元而獲得 的分區(qū)的形狀的信息，其中，所述分區(qū)是用于對當(dāng)前編碼單元進(jìn)行預(yù)測編碼的數(shù)據(jù)單元。 例如，可將尺寸為2NX2N的當(dāng)前編碼單元CU_0劃分成以下分區(qū)中的任意一個：尺寸為 2NX2N的分區(qū)802、尺寸為2NXN的分區(qū)804、尺寸為NX2N的分區(qū)806以及尺寸為NXN的 分區(qū)808。這里，關(guān)于當(dāng)前編碼單元的分區(qū)類型的信息800被設(shè)置來指示尺寸為2NXN的分 區(qū)804、尺寸為NX2N的分區(qū)806以及尺寸為NXN的分區(qū)808中的一個。
[0139] 關(guān)于預(yù)測模式的信息810指示每個分區(qū)的預(yù)測模式。例如，關(guān)于預(yù)測模式的信息 810可指示對由信息800指示的分區(qū)執(zhí)行的預(yù)測編碼的模式，S卩，幀內(nèi)模式812、幀間模式 814或跳過模式816。
[0140] 此外，關(guān)于變換單元的尺寸的信息820指示當(dāng)對當(dāng)前編碼單元執(zhí)行頻率變換時所 基于的變換單元。例如，變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第 一幀間變換單元826或第二幀內(nèi)變換單元828。
[0141] 根據(jù)實(shí)施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個較 深層編碼單元，提取并使用用于解碼的關(guān)于分區(qū)類型的信息800、關(guān)于預(yù)測模式的信息810 和關(guān)于變換單元的尺寸的信息820。
[0142] 圖9是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元的示圖。
[0143] 劃分信息可用來指示深度的改變。劃分信息指示當(dāng)前深度的編碼單元是否被劃分 成更低深度的編碼單元。
[0144] 用于對深度為0且尺寸為2N_0X2N_0的編碼單元900進(jìn)行預(yù)測編碼的預(yù)測單元 910可包括以下分區(qū)類型的分區(qū)：尺寸為2N_0X2N_0的分區(qū)類型912、尺寸為2N_0XN_0的 分區(qū)類型914、尺寸為N_0X2N_0的分區(qū)類型916和尺寸為N_0XN_0的分區(qū)類型918。圖9 僅示出了通過對稱地劃分預(yù)測單元910而獲得的分區(qū)類型912至918,但是分區(qū)類型不限于 此，預(yù)測單元910的分區(qū)可包括非對稱分區(qū)、具有預(yù)定形狀的分區(qū)和具有幾何形狀的分區(qū)。
[0145] 根據(jù)每種分區(qū)類型，需對尺寸為2N_0X2N_0的一個分區(qū)、尺寸為2N_0XN_0的兩 個分區(qū)、尺寸為N_0X2N_0的兩個分區(qū)和尺寸為N_0XN_0的四個分區(qū)重復(fù)地執(zhí)行預(yù)測編 碼?？蓪Τ叽鐬?N_0X2N_0、N_0X2N_0、2N_0XN_0和N_0XN_0的分區(qū)執(zhí)行幀內(nèi)模式和幀 間模式下的預(yù)測編碼。可僅對尺寸為2N_0X2N_0的分區(qū)執(zhí)行跳過模式下的預(yù)測編碼。
[0146] 如果在尺寸為2N_0X2N_0、2N_0XN_0和N_0X2N_0的分區(qū)類型912至916中的 一個分區(qū)類型中編碼誤差最小，則可不再將預(yù)測單元910劃分到更低深度。
[0147] 如果在尺寸為N_0XN_0的分區(qū)類型918中編碼誤差最小，則深度可從0改變到1 以在操作920中劃分分區(qū)類型918,并可對深度為2且尺寸為N_0XN_0的編碼單元930重 復(fù)地執(zhí)行編碼來搜索最小編碼誤差。
[0148] 用于對深度為1且尺寸為2N_1X2N_1 ( =N_0XN_0)的編碼單元930進(jìn)行預(yù)測編 碼的預(yù)測單元940可包括以下分區(qū)類型的分區(qū)：尺寸為2N_1X2N_1的分區(qū)類型942、尺寸 為2N_1XN_1的分區(qū)類型944、尺寸為N_1X2N_1的分區(qū)類型946以及尺寸為N_1XN_1的 分區(qū)類型948。
[0149] 如果在尺寸為N_1XN_1的分區(qū)類型948中編碼誤差最小，則深度可從1改變到2 以在操作950中劃分分區(qū)類型948,并可對深度為2且尺寸為N_2XN_2的編碼單元960重 復(fù)執(zhí)行編碼來搜索最小編碼誤差。
[0150] 當(dāng)最大深度是d時，根據(jù)每個深度的劃分信息可被設(shè)置直到深度變成d-1，并且劃 分信息可被設(shè)置直到深度變成d-2。換句話說，當(dāng)編碼被執(zhí)行直到在與d-2的深度相應(yīng)的編 碼單元在操作970中被劃分之后深度是d-1時，用于對深度為d-1且尺寸為2N_(d-l)X2N_ (d-1)的編碼單元980進(jìn)行預(yù)測編碼的預(yù)測單元990可包括以下分區(qū)類型的分區(qū)：尺寸為 2N_(d-l)X2N_(d-l)的分區(qū)類型992、尺寸為2N_(d-l)XN_(d-l)的分區(qū)類型994、尺寸為 N_(d-1)X2N_(d-l)的分區(qū)類型996和尺寸為N_(d-1)XN_(d-l)的分區(qū)類型998。
[0151] 可對分區(qū)類型992至998中的尺寸為2N_(d-l)X2N_(d-l)的一個分區(qū)、尺寸 為2N_(d-l)XN_(d-l)的兩個分區(qū)、尺寸SN_(d-l)X2N_(d-l)的兩個分區(qū)、尺寸為1 (d-1)XN_(d-1)的四個分區(qū)重復(fù)地執(zhí)行預(yù)測編碼，以搜索具有最小編碼誤差的分區(qū)類型。
[0152] 即使當(dāng)尺寸為N_(d-1)XN_(d-1)的分區(qū)類型998具有最小編碼誤差時，由于最大 深度是d，因此深度為d-1的編碼單元CU_ (d-1)可不再被劃分到更低深度，當(dāng)前最大編碼單 元900的編碼深度可被確定為d-1，并且當(dāng)前最大編碼單元900的分區(qū)類型可被確定為N_ (d-1)XN(d-1)。此外，由于最大深度是d，因此不設(shè)置深度為d-1的編碼單元952的劃分信 肩、。
[0153] 數(shù)據(jù)單元999可被稱為用于當(dāng)前最大編碼單元的"最小單元"。根據(jù)實(shí)施例的最小 單元可以是通過將具有最低編碼深度的最小編碼單元劃分成4份而獲得的矩形數(shù)據(jù)單元。 通過重復(fù)地執(zhí)行編碼，視頻編碼設(shè)備100可通過比較根據(jù)編碼單元900的深度的編碼誤差 來選擇具有最小編碼誤差的深度以確定編碼深度，并可將相應(yīng)分區(qū)類型和預(yù)測模式設(shè)置為 編碼深度的編碼模式。
[0154] 這樣，在所有深度1至d中對根據(jù)深度的最小編碼誤差進(jìn)行比較，并且具有最小編 碼誤差的深度可被確定為編碼深度。編碼深度、預(yù)測單元的分區(qū)類型和預(yù)測模式可作為關(guān) 于編碼模式的信息被編碼并發(fā)送。另外，由于編碼單元需從深度〇被劃分到編碼深度，因此 僅編碼深度的劃分信息必需被設(shè)置為0,并且除了編碼深度以外的深度的劃分信息必需被 設(shè)置為1。
[0155] 根據(jù)實(shí)施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用 關(guān)于編碼單元900的編碼深度和預(yù)測單元的信息，以對編碼單元912進(jìn)行解碼。根據(jù)實(shí)施 例的視頻解碼設(shè)備200可通過使用根據(jù)深度的劃分信息，將劃分信息為0的深度確定為編 碼深度，并且可使用關(guān)于相應(yīng)深度的編碼模式的信息來進(jìn)行解碼。
[0156] 圖10至圖12是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元1010、預(yù)測單元1060和 頻率變換單兀1070之間的關(guān)系的不圖。
[0157] 編碼單元1010是最大編碼單元中的與由根據(jù)實(shí)施例的視頻編碼設(shè)備100確定的 編碼深度相應(yīng)的編碼單元。預(yù)測單元1060是每個編碼單元1010中的預(yù)測單元的分區(qū)，變 換單元1070是每個編碼單元1010的變換單元。
[0158] 當(dāng)在編碼單元1010中最大編碼單元的深度是0時，編碼單元1012和1054的深度 是 1,編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2,編碼單元 1020、1022、1024、 1026、1030、1032和1048的深度是3,編碼單元1040、1042、1044和1046的深度是4。
[0159] 在預(yù)測單元1060中，通過劃分編碼單元來獲得一些分區(qū)1014、1016、1022、1032、 1048、1050、1052和1054。換句話說，分區(qū)1014、1022、1050和1054中的分區(qū)類型的尺寸是 2NXN，分區(qū)1016、1048和1052中的分區(qū)類型的尺寸是NX2N，分區(qū)1032的分區(qū)類型的尺寸 是NXN。編碼單元1010的預(yù)測單元和分區(qū)小于或等于每個編碼單元。
[0160] 在小于變換單元1052的數(shù)據(jù)單元中的變換單元1070中，對變換單元1052的圖像 數(shù)據(jù)執(zhí)行頻率變換或頻率逆變換。另外，在尺寸或形狀方面，變換單元1070中的變換單元 1014、1016、1022、1032、1048、1050和 1052 不同于預(yù)測單元 1060 中的變換單元1014、1016、 1022、1032、1048、1050和1052。換句話說，根據(jù)實(shí)施例的視頻編碼設(shè)備100和根據(jù)實(shí)施例 的視頻解碼設(shè)備200可對甚至是同一編碼單元中的數(shù)據(jù)單元獨(dú)立地執(zhí)行幀內(nèi)預(yù)測/運(yùn)動估 計/運(yùn)動補(bǔ)償和頻率變換/頻率逆變換。
[0161] 因此，對最大編碼單元的每個區(qū)域中的具有分層結(jié)構(gòu)的每個編碼單元遞歸地執(zhí)行 編碼來確定最優(yōu)編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括關(guān)于 編碼單元的劃分信息、關(guān)于分區(qū)類型的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的尺寸 的信息。表1示出可由根據(jù)實(shí)施例的視頻編碼設(shè)備100和根據(jù)實(shí)施例的視頻解碼設(shè)備200 設(shè)置的編碼信息。
[0162] [表 1]

【權(quán)利要求】
1. 一種多視點(diǎn)視頻編碼方法，所述方法包括： 對包括在多視點(diǎn)視頻中的多視點(diǎn)圖像進(jìn)行編碼； 按預(yù)定數(shù)據(jù)單元對編碼的多視點(diǎn)圖像進(jìn)行復(fù)用，并將可伸縮擴(kuò)展類型（SET)、深度標(biāo)記 以及包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID添加到所述預(yù)定數(shù)據(jù)單元的頭，其中，所 述可伸縮擴(kuò)展類型（SET)指示基本視點(diǎn)圖像和附加視點(diǎn)圖像之中的哪個視點(diǎn)圖像與所述 數(shù)據(jù)相關(guān)，所述深度標(biāo)記指示紋理圖像和深度圖圖像之中的哪個圖像與所述數(shù)據(jù)相關(guān)。
2. 如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法，其中，所述預(yù)定數(shù)據(jù)單元是網(wǎng)絡(luò)適應(yīng)層 (NAL)單元。
3. 如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法，其中，所述SET、所述深度標(biāo)記以及所述 視點(diǎn)ID被添加到保留區(qū)域和時間ID(TID)區(qū)域，其中，所述保留區(qū)域?yàn)獒槍AL單元的頭 的未來擴(kuò)展而建立。
4. 如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法，還包括：當(dāng)包括在所述預(yù)定數(shù)據(jù)單元中 的數(shù)據(jù)是基本視點(diǎn)圖像時，將基本視點(diǎn)圖像的時間ID(TID)而不是所述視點(diǎn)ID添加到所述 預(yù)定數(shù)據(jù)單元的頭。
5. -種多視點(diǎn)視頻編碼設(shè)備，所述設(shè)備包括： 圖像編碼器，用于對包括在多視點(diǎn)視頻中的多視點(diǎn)圖像進(jìn)行編碼； 輸出單元，用于按預(yù)定數(shù)據(jù)單元對編碼的多視點(diǎn)圖像進(jìn)行復(fù)用，并將可伸縮擴(kuò)展類型 (SET)、深度標(biāo)記以及包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID添加到所述預(yù)定數(shù)據(jù)單 元的頭，其中，所述可伸縮擴(kuò)展類型（SET)指示基本視點(diǎn)圖像和附加視點(diǎn)圖像之中的哪個 視點(diǎn)圖像與所述數(shù)據(jù)相關(guān)，所述深度標(biāo)記指示紋理圖像和深度圖圖像之中的哪個圖像與所 述數(shù)據(jù)相關(guān)。
6. -種多視點(diǎn)視頻解碼方法，所述方法包括： 接收復(fù)用有編碼的多視點(diǎn)圖像數(shù)據(jù)的預(yù)定數(shù)據(jù)單元； 從所述預(yù)定數(shù)據(jù)單元的頭獲得可伸縮擴(kuò)展類型（SET)、深度標(biāo)記以及包括在所述預(yù)定 數(shù)據(jù)單元中的數(shù)據(jù)的視點(diǎn)ID，其中，所述可伸縮擴(kuò)展類型（SET)指示基本視點(diǎn)圖像和附加 視點(diǎn)圖像之中的哪個視點(diǎn)圖像與所述數(shù)據(jù)相關(guān)，所述深度標(biāo)記指示紋理圖像和深度圖圖像 之中的哪個圖像與所述數(shù)據(jù)相關(guān)； 基于獲得的信息來確定包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的SET，確定所述數(shù)據(jù)是紋 理圖像還是深度圖圖像，并確定所述數(shù)據(jù)的視點(diǎn)。
7. 如權(quán)利要求6所述的多視點(diǎn)視頻解碼，其中，所述預(yù)定數(shù)據(jù)單元是網(wǎng)絡(luò)適應(yīng)層（NAL) 單元。
8. 如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法，其中，所述SET、所述深度標(biāo)記以及所述 視點(diǎn)ID被包括在保留區(qū)域和時間ID(TID)區(qū)域中，其中，所述保留區(qū)域?yàn)獒槍AL單元的 頭的未來擴(kuò)展而建立。
9. 如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法，還包括：當(dāng)包括在所述預(yù)定數(shù)據(jù)單元中 的數(shù)據(jù)是基本視點(diǎn)圖像時，從所述預(yù)定數(shù)據(jù)單元的頭獲得基本視點(diǎn)圖像的時間ID (TID)。
10. 如權(quán)利要求9所述的多視點(diǎn)視頻解碼方法，還包括：通過使用基本視點(diǎn)圖像的TID 來確定附加視點(diǎn)圖像的TID，其中，附加視點(diǎn)圖像通過被包括在與包括基本視點(diǎn)圖像的所述 預(yù)定數(shù)據(jù)單元相同的訪問單元中而被發(fā)送。
11. 一種多視點(diǎn)視頻解碼設(shè)備，所述設(shè)備包括： 接收器，用于接收復(fù)用有編碼的多視點(diǎn)圖像數(shù)據(jù)的預(yù)定數(shù)據(jù)單元，并從所述預(yù)定數(shù)據(jù) 單元的頭獲得可伸縮擴(kuò)展類型（SET)、深度標(biāo)記以及包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的 視點(diǎn)ID，其中，所述可伸縮擴(kuò)展類型（SET)指示基本視點(diǎn)圖像和附加視點(diǎn)圖像之中的哪個 視點(diǎn)圖像與所述數(shù)據(jù)相關(guān)，所述深度標(biāo)記指示紋理圖像和深度圖圖像之中的哪個圖像與所 述數(shù)據(jù)相關(guān)； 圖像解碼器，用于基于獲得的信息來確定包括在所述預(yù)定數(shù)據(jù)單元中的數(shù)據(jù)的SET，確 定所述數(shù)據(jù)是紋理圖像還是深度圖圖像，并確定所述數(shù)據(jù)的視點(diǎn)。
12. 如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，所述預(yù)定數(shù)據(jù)單元是網(wǎng)絡(luò)適應(yīng) 層（NAL)單元。
13. 如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，所述SET、所述深度標(biāo)記以及所 述視點(diǎn)ID被包括在保留區(qū)域和時間ID(TID)區(qū)域中，其中，所述保留區(qū)域?yàn)獒槍AL單元 的頭的未來擴(kuò)展而建立。
14. 如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，當(dāng)包括在所述預(yù)定數(shù)據(jù)單元 中的數(shù)據(jù)是基本視點(diǎn)圖像時，接收器從所述預(yù)定數(shù)據(jù)單元的頭獲得基本視點(diǎn)圖像的時間 ID(TID) 〇
15. 如權(quán)利要求14述的多視點(diǎn)視頻解碼設(shè)備，其中，圖像解碼器通過使用基本視點(diǎn)圖 像的TID來確定附加視點(diǎn)圖像的TID，其中，附加視點(diǎn)圖像通過被包括在與包括基本視點(diǎn)圖 像的所述預(yù)定數(shù)據(jù)單元相同的訪問單元中而被發(fā)送。
【文檔編號】H04N21/238GK104412602SQ201380033261
【公開日】2015年3月11日 申請日期:2013年4月23日 優(yōu)先權(quán)日:2012年4月23日
【發(fā)明者】崔秉斗, 金宰賢, 樸正輝 申請人:三星電子株式會社