圖像處理裝置和圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理裝置，包括配置為在利用第一編碼方案解碼的基礎(chǔ)層中設(shè)置宏塊的第一設(shè)置部分，以及配置為根據(jù)由第一設(shè)置部分設(shè)置的塊尺寸、在利用第二編碼方案解碼的增強(qiáng)層中設(shè)置編碼單位的第二設(shè)置部分，其中第一編碼方案基于具有固定尺寸的宏塊，第二編碼方案是基于接受遞歸分塊的編碼單位。
【專利說明】圖像處理裝置和圖像處理方法

【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置和圖像處理方法。

【背景技術(shù)】
[0002]為了提高編碼效率超過H.264/AVC，由JCTVC (聯(lián)合協(xié)作團(tuán)隊(duì)-視頻編碼)對稱為HEVC (高效視頻編碼)的圖像編碼方案的標(biāo)準(zhǔn)化目前正在進(jìn)行當(dāng)中，其中JCTVC是ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)化組織。對于HEVC標(biāo)準(zhǔn)，作為第一草案規(guī)范的委員會草案在2012年2月發(fā)行(見例如以下的非專利文獻(xiàn)I)。
[0003]為了使編碼流能夠利用另一種圖像編碼方案解碼，已經(jīng)建議利用相關(guān)領(lǐng)域的圖像編碼方案編碼可縮放視頻編碼中的基礎(chǔ)層并且根據(jù)HEVC編碼增強(qiáng)層(例如，見以下的非專利文獻(xiàn)2) ο
[0004]可縮放視頻編碼(SVC) —般而言是分級地編碼發(fā)送粗糙圖像信號的層和發(fā)送精細(xì)圖像信號的層的技術(shù)。在可縮放視頻編碼中分級的典型屬性主要包括以下三個:
[0005]-空間縮放性:空間分辨率或圖像尺寸被分級。
[0006]-時(shí)間縮放性:幀速率被分級。
[0007]-SNR (信噪比)縮放性:SN比被分級。
[0008]另外,雖然還沒有在標(biāo)準(zhǔn)中采樣,但是對位深度縮放性(bit depth scalability)和色度格式縮放性(chroma format scalability)也進(jìn)行了討論。而且,通過常規(guī)圖像編碼方案編碼可縮放視頻編碼中的基礎(chǔ)層并且通過HEVC編碼增強(qiáng)層也被推薦(見以下的非專利文獻(xiàn)3)。
[0009]在可縮放視頻編碼中，編碼效率可以通過僅在一層中編碼可以在各層之間共享的參數(shù)來提高。
[0010]引用列表
[0011]非專利文獻(xiàn)
[0012]非專利文獻(xiàn)1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan, Thomas ffiegand, “High efficiency video coding (HEVC) text specificat1ndraft 6”(JCTVC-H1003 ver20, February 17,2012)
[0013]非專利文獻(xiàn)2:Ajay Luthra, Jens-Rainer Ohm, Joern Ostermann, “Draftrequirements for the scalable enhancement of HEVC” (IS0/IEC JTC1/SC29/WG1IN12400, November, 2011)
[0014]但在HEVC中，編碼過程是對四叉樹(Quad-Tree)結(jié)構(gòu)中的每個編碼單位執(zhí)行的，其中四叉樹結(jié)構(gòu)是通過遞歸地對圖像執(zhí)行分塊形成的。另一方面，在相關(guān)領(lǐng)域的圖像編碼方案中，諸如MPEG2或AVC，編碼過程是對具有固定尺寸的每個宏塊執(zhí)行的。另外，在相關(guān)領(lǐng)域中基礎(chǔ)層的圖像編碼方案中，還沒有建議塊結(jié)構(gòu)如何在多編解碼器的可縮放視頻編碼中的層之間映射的最佳解決方案，其中在多編解碼器中每個增強(qiáng)層是根據(jù)HEVC編碼的。
[0015]例如，當(dāng)基礎(chǔ)層中的宏塊結(jié)構(gòu)完全被忽視并且四叉樹結(jié)構(gòu)從頭開始在增強(qiáng)層中形成時(shí)，層之間的塊映射會丟失。這種情況下，難以在層之間重用為每個塊設(shè)置的各種參數(shù)，可縮放視頻編碼的優(yōu)點(diǎn)丟失了，并且因此編碼效率惡化。
[0016]因此，在多編解碼器的可縮放視頻編碼中，期望提供一種改進(jìn)結(jié)構(gòu)，其被配置為在增強(qiáng)層中設(shè)置塊。


【發(fā)明內(nèi)容】

[0017]根據(jù)本公開內(nèi)容，提供一種圖像處理裝置，包括配置為在利用第一編碼方案解碼的基礎(chǔ)層中設(shè)置宏塊的第一設(shè)置部分，以及配置為根據(jù)由第一設(shè)置部分設(shè)置的塊尺寸、在利用第二編碼方案解碼的增強(qiáng)層中設(shè)置編碼單位的第二設(shè)置部分，其中第一編碼方案基于具有固定尺寸的宏塊，而第二編碼方案基于接受遞歸分塊的編碼單位。
[0018]上述圖像處理裝置通?？梢詫?shí)現(xiàn)為解碼圖像的圖像解碼設(shè)備。
[0019]另外，根據(jù)本公開內(nèi)容，提供了一種圖像處理方法，包括在利用第一編碼方案解碼的基礎(chǔ)層中設(shè)置宏塊，以及根據(jù)在基礎(chǔ)層中設(shè)置的塊尺寸、在利用第二編碼方案解碼的增強(qiáng)層中設(shè)置編碼單位，其中第一編碼方案基于具有固定尺寸的宏塊，而第二編碼方案基于接受遞歸分塊的編碼單位。
[0020]另外，根據(jù)本公開內(nèi)容，提供了一種圖像處理裝置，包括配置為在利用第一編碼方案編碼的基礎(chǔ)層中設(shè)置宏塊的第一設(shè)置部分，以及配置為根據(jù)由第一設(shè)置部分設(shè)置的塊尺寸、在利用第二編碼方案編碼的增強(qiáng)層中設(shè)置編碼單位的第二設(shè)置部分，其中第一編碼方案基于具有固定尺寸的宏塊，而第二編碼方案基于接受遞歸分塊的編碼單位。
[0021 ] 上述圖像處理裝置通?？梢詫?shí)現(xiàn)為編碼圖像的圖像編碼設(shè)備。
[0022]另外，根據(jù)本公開內(nèi)容，提供了一種圖像處理方法，包括在利用第一編碼方案編碼的基礎(chǔ)層中設(shè)置宏塊，以及根據(jù)在基礎(chǔ)層中設(shè)置的塊尺寸、在利用第二編碼方案編碼的增強(qiáng)層中設(shè)置編碼單位，其中第一編碼方案基于具有固定尺寸的宏塊，而第二編碼方案基于接受遞歸分塊的編碼單位。
[0023]根據(jù)本公開內(nèi)容的技術(shù)，根據(jù)配置為在多個編解碼器的可縮放視頻編碼的增強(qiáng)層中設(shè)置塊的改進(jìn)結(jié)構(gòu)，編碼效率可以提高。

【專利附圖】

【附圖說明】
[0024]圖1是說明可縮放視頻編碼的解釋性圖。
[0025]圖2是說明HEVC中編碼單位的四叉樹結(jié)構(gòu)的解釋性圖。
[0026]圖3A是說明設(shè)置HEVC的IXU尺寸的第一種方法的解釋性圖。
[0027]圖3B是說明設(shè)置HEVC的IXU尺寸的第二種方法的解釋性圖。
[0028]圖4A是說明設(shè)置HEVC的SCU尺寸的第一種方法的解釋性圖。
[0029]圖4B是說明設(shè)置HEVC的SCU尺寸的第二種方法的解釋性圖。
[0030]圖5A是說明設(shè)置HEVC的TU尺寸的第一種方法的解釋性圖。
[0031 ]圖5B是說明設(shè)置HEVC的TU尺寸的第二種方法的解釋性圖。
[0032]圖6A是說明設(shè)置HEVC的PU尺寸的第一種方法的解釋性圖。
[0033]圖6B是說明設(shè)置HEVC的PU尺寸的第二種方法的解釋性圖。
[0034]圖7A是說明在AVC的幀間預(yù)測中可用的預(yù)測塊尺寸候選的解釋性圖。
[0035]圖7B是說明設(shè)置HEVC的幀間預(yù)測的尺寸的第三種方法的解釋性圖。
[0036]圖8是示出根據(jù)實(shí)施例的圖像編碼設(shè)備的示意性配置的框圖。
[0037]圖9是示出根據(jù)實(shí)施例的圖像解碼設(shè)備的示意性配置的框圖。
[0038]圖10是示出圖8中所示第一編碼部分和第二編碼部分的配置例子的框圖。
[0039]圖11是示出圖10中所示塊設(shè)置部分的詳細(xì)配置例子的框圖。
[0040]圖12是示出圖10中所示正交變換部分的詳細(xì)配置例子的框圖。
[0041]圖13是示出圖10中所示幀內(nèi)預(yù)測部分的詳細(xì)配置例子的框圖。
[0042]圖14是示出圖10中所示幀間預(yù)測部分的詳細(xì)配置例子的框圖。
[0043]圖15A是示出在編碼時(shí)增強(qiáng)層中塊設(shè)置過程流的第一個例子的流程圖。
[0044]圖15B是示出在編碼時(shí)增強(qiáng)層中塊設(shè)置過程流的第二個例子的流程圖。
[0045]圖16A是示出在編碼時(shí)增強(qiáng)層中正交變換過程流的第一個例子的流程圖。
[0046]圖16B是示出在編碼時(shí)增強(qiáng)層中正交變換過程流的第二個例子的流程圖。
[0047]圖17A是示出在編碼時(shí)增強(qiáng)層中幀內(nèi)預(yù)測過程流的第一個例子的流程圖。
[0048]圖17B是示出在編碼時(shí)增強(qiáng)層中幀內(nèi)預(yù)測過程流的第二個例子的流程圖。
[0049]圖18A是示出在編碼時(shí)增強(qiáng)層中幀間預(yù)測過程流的第一個例子的流程圖。
[0050]圖18B是示出在編碼時(shí)增強(qiáng)層中幀間預(yù)測過程流的第二個例子的流程圖。
[0051]圖19是示出圖9中所示第一解碼部分和第二解碼部分的配置例子的框圖。
[0052]圖20是示出圖19中所示塊設(shè)置部分的詳細(xì)配置例子的框圖。
[0053]圖21是示出圖19中所示逆正交變換部分的詳細(xì)配置例子的框圖。
[0054]圖22是示出圖19中所示幀內(nèi)預(yù)測部分的詳細(xì)配置例子的框圖。
[0055]圖23是示出圖19中所示幀間預(yù)測部分的詳細(xì)配置例子的框圖。
[0056]圖24A是示出在解碼時(shí)增強(qiáng)層中塊設(shè)置過程流的第一個例子的流程圖。
[0057]圖24B是示出在解碼時(shí)增強(qiáng)層中塊設(shè)置過程流的第二個例子的流程圖。
[0058]圖25A是示出在解碼時(shí)增強(qiáng)層中逆正交變換過程流的第一個例子的流程圖。
[0059]圖25B是示出在解碼時(shí)增強(qiáng)層中逆正交變換過程流的第二個例子的流程圖。
[0060]圖26A是示出在解碼時(shí)增強(qiáng)層中幀內(nèi)預(yù)測過程流的第一個例子的流程圖。
[0061]圖26B是示出在解碼時(shí)增強(qiáng)層中幀內(nèi)預(yù)測過程流的第二個例子的流程圖。
[0062]圖27A是示出在解碼時(shí)增強(qiáng)層中幀間預(yù)測過程流的第一個例子的流程圖。
[0063]圖27B是示出在解碼時(shí)增強(qiáng)層中幀間預(yù)測過程流的第二個例子的流程圖。
[0064]圖28是示出電視機(jī)的示意性配置例子的框圖。
[0065]圖29是示出移動電話的示意性配置例子的框圖。
[0066]圖30是示出記錄/再現(xiàn)設(shè)備的示意性配置例子的框圖。
[0067]圖31是示出圖像捕捉設(shè)備的示意性配置例子的框圖。
[0068]圖32是說明可縮放視頻編碼用途的第一個例子的解釋性圖。
[0069]圖33是說明可縮放視頻編碼用途的第二個例子的解釋性圖。
[0070]圖34是說明可縮放視頻編碼用途的第三個例子的解釋性圖。
[0071]圖35是說明多視點(diǎn)編解碼器的解釋性圖。
[0072]圖36是示出用于多視點(diǎn)編解碼器的圖像編碼設(shè)備的示意性配置的框圖。
[0073]圖37是示出用于多視點(diǎn)編解碼器的圖像解碼設(shè)備的示意性配置的框圖。

【具體實(shí)施方式】
[0074]下文中，將參考附圖詳細(xì)地描述本公開內(nèi)容的優(yōu)選實(shí)施例。應(yīng)當(dāng)指出，本說明書和附圖中，具有基本上相同功能和結(jié)構(gòu)的元件用相同的標(biāo)號指示，并且略去重復(fù)的解釋。
[0075]本描述將按以下次序進(jìn)行。
[0076]1.概述
[0077]1-1.問題的描述
[0078]1-2.編碼單位中的映射
[0079]1-3.變換單元中的映射
[0080]1-4.預(yù)測單元中的映射
[0081]1-5.編碼器的基本配置例子
[0082]1-6.解碼器的基本配置例子
[0083]2.根據(jù)實(shí)施例的編碼部分的配置例子
[0084]2-1.整體配置
[0085]2-2.塊設(shè)置部分的詳細(xì)配置
[0086]2-3.正交變換部分的詳細(xì)配置
[0087]2-4.幀內(nèi)預(yù)測部分的詳細(xì)配置
[0088]2-5.幀間預(yù)測部分的詳細(xì)配置
[0089]3.根據(jù)實(shí)施例在編碼時(shí)的過程流
[0090]3-1.塊設(shè)置過程
[0091]3-2.正交變換過程
[0092]3-3.幀內(nèi)預(yù)測過程
[0093]3-4.幀間預(yù)測過程
[0094]4.根據(jù)實(shí)施例的解碼部分的配置例子
[0095]4-1.整體配置
[0096]4-2.塊設(shè)置部分的詳細(xì)配置
[0097]4-3.逆正交變換部分的詳細(xì)配置
[0098]4-4.幀內(nèi)預(yù)測部分的詳細(xì)配置
[0099]4-5.幀間預(yù)測部分的詳細(xì)配置
[0100]5.根據(jù)實(shí)施例在解碼時(shí)的過程流
[0101]5-1.塊設(shè)置過程
[0102]5-2.逆正交變換過程
[0103]5-3.幀內(nèi)預(yù)測過程
[0104]5-4.幀間預(yù)測過程
[0105]6.示例應(yīng)用
[0106]6-1.對各種產(chǎn)品的應(yīng)用
[0107]6-2.可縮放視頻編碼的各種用途
[0108]6-3.其它
[0109]7.結(jié)論
[0110]〈1.概述〉
[0111][l-1.問題的描述]
[0112]可縮放視頻編碼中，多個層被編碼，其中每個層包括一系列圖像?；A(chǔ)層(baselayer)是首先被編碼為代表最粗糙圖像的層。無需解碼其它層的編碼流，基礎(chǔ)層的編碼流可以獨(dú)立地被解碼。除基礎(chǔ)層之外的層是被稱為增強(qiáng)層(enhancement layers)的層，代表更精細(xì)的層。增強(qiáng)層的編碼流是使用被包含在基礎(chǔ)層的編碼流中的信息來編碼的。因此，為了再現(xiàn)增強(qiáng)層的圖像，基礎(chǔ)層和增強(qiáng)層的編碼流都要被解碼。在可縮放視頻編碼中被處理的層數(shù)可以是等于2或更大的任何數(shù)量。當(dāng)三層或更多層被編碼時(shí)，最下面的層是基礎(chǔ)層，而剩余的層是增強(qiáng)層。對于更高增強(qiáng)層的編碼流，包含在更低增強(qiáng)層和基礎(chǔ)層的編碼流中的信息可以用于編碼和解碼。本說明書中，對于具有依賴性的至少兩層，被依賴一側(cè)的層被稱為下層，而在依賴一側(cè)的層被稱為上層。
[0113]圖1不出了接受可縮放視頻編碼的二層L1、L2、L3。層LI是基礎(chǔ)層，層L2、L3是增強(qiáng)層。這里，在各種類型的縮放性當(dāng)中，以空間縮放性作為例子。層L2與層LI的空間分辨率之比是2:1 (B卩，縮放比SR = 2.0)。層L3與層LI的空間分辨率之比是4:1。但是，縮放比不限于這種例子。例如，像SR = 1.5的非整數(shù)縮放比也可以采用。
[0114]這里，假設(shè)基礎(chǔ)層了 LI利用用于宏塊基礎(chǔ)(macroblock base)的圖像編碼方案編碼，諸如MPEG2或AVC?；A(chǔ)層LI的塊BI是一個宏塊。宏塊的尺寸定義為固定尺寸，因此宏塊BI具有16X 16像素的尺寸。當(dāng)假設(shè)增強(qiáng)層L2利用用于宏塊基礎(chǔ)的圖像編碼方案編碼時(shí)，層L2與層LI的縮放比是2.0,因此增強(qiáng)層L2中對應(yīng)于塊BI的圖像區(qū)域可以被分成四個宏塊 B21、B22、B23、B24。
[0115]但是，當(dāng)增強(qiáng)層L2根據(jù)HEVC編碼時(shí)，情況就不同了。在HEVC中，編碼過程是在通過對圖像執(zhí)行遞歸分塊形成的四叉樹結(jié)構(gòu)中的每個編碼單位中執(zhí)行的。圖2是說明HEVC中編碼單位的四叉樹結(jié)構(gòu)的解釋性圖。圖2左側(cè)示出其中一個人的臉部被拍攝的圖像頂01。圖像IMOl首先被分成多個最大編碼單位(LCU)，其中LCU具有在序列參數(shù)集(SPS)中指定的尺寸。最大可用的LCU尺寸是64X64像素。在不低于以相同方式在SPS中指定的最小編碼單位(SCU)的范圍內(nèi)，每個LCU被遞歸地分成至少一個編碼單位(CU)。在圖2右側(cè)，以擴(kuò)大方式示出了其中LCUO被遞歸地分成多個CU的情況，其中紋理邊界跨過該LCU0。該紋理邊界附近的區(qū)域中，更小的CU通過重復(fù)劃分來設(shè)置。其它區(qū)域中，更大的CU通過減少劃分次數(shù)來設(shè)置。例如，當(dāng)假設(shè)IXUO的尺寸是64X64像素時(shí)，⑶01的尺寸是32X32像素，⑶02的尺寸是16 X 16像素，并且⑶03的尺寸是8 X 8像素。雖然沒有示出，但是每個⑶被劃分成多個變換單元(TU)，每個變換單元是正交變換的處理單元。每個CU被劃分成多個預(yù)測單元(PU)，每個預(yù)測單元是幀內(nèi)預(yù)測或幀間預(yù)測的處理單元。根據(jù)遞歸分塊，高清晰度圖像的編碼效率可以通過根據(jù)圖像的內(nèi)容靈活地改變編碼過程的處理單元的尺寸來提高。
[0116]回來參考圖1，當(dāng)基礎(chǔ)層LI根據(jù)AVC編碼而增強(qiáng)層L2根據(jù)HEVC編碼時(shí)，對應(yīng)于塊BI并且包括塊B21、B22、B23和B24的32X32像素的一個⑶可以根據(jù)最簡單的方法在增強(qiáng)層L2中設(shè)置。但是，當(dāng)某個紋理只在塊B21、B22、B23和B24中的塊B21中存在時(shí)，就編碼效率而言，存在設(shè)置更小CU的優(yōu)選概率，而不是包括這四個塊的一個CU。相反，當(dāng)紋理普遍存在于相鄰的外圍區(qū)域之間時(shí)，也有設(shè)置更大CU的優(yōu)選概率，而不是包括這四個塊的一個CU。因此，在增強(qiáng)層L2中簡單地重新使用基礎(chǔ)層LI的晶格(lattice)形式的宏塊結(jié)構(gòu)的方法中，HEVC的獨(dú)特的四叉樹結(jié)構(gòu)的優(yōu)點(diǎn)不能被采用并且編碼效率不能優(yōu)化。
[0117]當(dāng)基礎(chǔ)層LI中的宏塊結(jié)構(gòu)完全被忽視并且增強(qiáng)層L2中的四叉樹結(jié)構(gòu)從頭開始形成時(shí)，層之間塊的映射會丟失。這種情況下，難以在各層之間重新使用為每個塊設(shè)置的各種參數(shù)，并且因此編碼效率也不能優(yōu)化。
[0118]因此，本說明書中，多編解碼器的可縮放視頻編碼中各層之間各塊的映射定義為解決或者至少部分地校正這些問題。于是，將描述根據(jù)映射編碼和解碼圖像的設(shè)備的配置例子。
[0119]以下描述中，例如，假設(shè)基礎(chǔ)層是根據(jù)高級視頻編碼(AVC)編碼的，并且假設(shè)增強(qiáng)層是根據(jù)高效視頻編碼(HEVC)編碼的。但是，本公開內(nèi)容中的技術(shù)不限于這個例子，并且還適用于其它圖像編碼方案的組合(例如，基礎(chǔ)層根據(jù)MPEG2編碼，而增強(qiáng)層根據(jù)HEVC編碼)。本公開內(nèi)容中的技術(shù)不僅適用于圖1示例的空間縮放性，而且適用于SNR縮放性、位深度縮放性以及色度格式縮放性。
[0120][1-2.編碼單位中的映射]
[0121]在本公開內(nèi)容的技術(shù)中，CU中映射的基本構(gòu)思是，根據(jù)在基礎(chǔ)層中設(shè)置的宏塊的塊尺寸，在根據(jù)HEVC編碼的增強(qiáng)層中設(shè)置CU。即，在增強(qiáng)層中，四叉樹結(jié)構(gòu)不是從頭開始形成的，而是四叉樹結(jié)構(gòu)利用基礎(chǔ)層中的宏塊尺寸形成。
[0122]更具體而言，增強(qiáng)層中的LCU尺寸設(shè)置成等于或大于基礎(chǔ)層中宏塊尺寸與縮放比之積的值。實(shí)際設(shè)置的IXU尺寸可以確定性地被確定為:可用尺寸中最接近該乘積的尺寸或者可以從利用這個乘積作為參考來縮小的多個尺寸中選擇。以這種方式設(shè)置的每個IXU可以靈活地被分成更小的CU，而不管基礎(chǔ)層中的宏塊尺寸是多少。
[0123]圖3A是說明設(shè)置HEVC的IXU尺寸的第一種方法的解釋性圖。第一種方法中，IXU尺寸是確定性地確定的。在圖3A的左側(cè)，示出了 AVC中具有16X16像素的塊尺寸的宏塊。在圖3A的右側(cè)，示出具有在HEVC中可用的四種塊尺寸(64X64像素、32 X 32像素、16X16像素和8X8像素)的4個IXU。例如，在縮放比“SR = 2.0”的情況下，宏塊尺寸與縮放比之積是“16X2.0 = 32”。這種情況下，32X32像素可以確定性地設(shè)置為增強(qiáng)層中的IXU尺寸。同樣，在“3.0彡SR”的情況下，64X64像素可以確定性地設(shè)置為IXU尺寸。在“1.5 ( SR<3.0”的情況下，32X32像素可以確定性地設(shè)置為LCU尺寸。在“1.0 ( SR〈1.5”的情況下，16X16像素可以確定性地設(shè)置為IXU尺寸。根據(jù)第一種方法，IXU尺寸可以在增強(qiáng)層中確定，而無需另外編碼指示LCU尺寸的參數(shù)。
[0124]圖3B是說明設(shè)置HEVC的IXU尺寸的第二種方法的解釋性圖。第二種方法中，IXU尺寸是從利用宏塊尺寸與縮放比之積作為參考來縮小的尺寸的至少一個候選中選擇的。例如，在縮放比“SR = 2.0”的情況下，宏塊尺寸與縮放比之積是“16X2.0 = 32”。因而，增強(qiáng)層中的IXU尺寸從等于或大于這個乘積的2種尺寸(S卩，64X64像素和32X 32像素)之中選擇。例如，當(dāng)優(yōu)選地設(shè)置比對應(yīng)于基礎(chǔ)層中的宏塊的區(qū)域更寬的CU時(shí)，可以選擇64X64像素的IXU尺寸。否則，可以選擇32X32像素的IXU尺寸。第二種方法中，指示IXU尺寸的參數(shù)(LCU尺寸信息)是另外生成的并且所生成的參數(shù)在增強(qiáng)層中編碼。但是，由于選定的LCU尺寸的候選被縮小，因此另外編碼的參數(shù)的位數(shù)比所有類型LCU尺寸都可以選擇的時(shí)候少。在圖3B的例子中，另外編碼的參數(shù)的位數(shù)是I。例如，參數(shù)值“O”可以指示64X64像素，并且參數(shù)值“I”可以指示32X32像素(或者反之亦然)。根據(jù)第二種方法，指示IXU尺寸的參數(shù)的編碼量可以在增強(qiáng)層中減少，同時(shí)仍然維持LCU尺寸的選擇靈活性。
[0125]縮小LCU尺寸候選的方法不限于圖3B中示例的方法。例如，當(dāng)縮放比不等于二的冪時(shí)，和宏塊尺寸與縮放比之積完全相同的IXU尺寸在HEVC中不可用。這種情況下，IXU尺寸的候選可以縮小到可用LCU尺寸中大于前面乘積的最小尺寸和可用LCU尺寸小于前面乘積的最大尺寸。例如，在縮放比“SR = 1.5”的情況下,宏塊尺寸和縮放比之積是“16X1.5= 24”。因此，IXU尺寸的候選可以縮小到兩種尺寸，S卩，16X16像素和32X32像素。這種情況下，生成指示哪個LCU尺寸被選擇的1-位參數(shù)，并且所生成的參數(shù)被編碼。解碼器解碼這個參數(shù)并且參考解碼后的參數(shù)來選擇LCU尺寸。相同的構(gòu)思還可適用于以下要描述的S⑶尺寸、TU尺寸和PU尺寸的縮小。
[0126]增強(qiáng)層中的SCU尺寸可以設(shè)置成等于或小于LCU尺寸的值，使得期望的分塊可以被執(zhí)行。無需依賴基礎(chǔ)層的塊尺寸，SCU的尺寸就可以確定。作為替代，當(dāng)在基礎(chǔ)層中定義了子宏塊尺寸時(shí)，SCU尺寸可以根據(jù)子宏塊尺寸與縮放比之積來確定。
[0127]圖4A是說明設(shè)置HEVC的S⑶尺寸的第一種方法的解釋性圖。第一種方法中，S⑶尺寸是確定性地確定的。在圖4A的左側(cè)，示出了 AVC中具有8X8像素的塊尺寸的子宏塊。在圖4A的右側(cè)，示出了具有四種塊尺寸(64 X 64像素、32 X 32像素、16 X 16像素和8 X 8像素)的4個S⑶。例如，在縮放比“SR = 2.0”的情況下，子宏塊與縮放比之積是“8X 2.0= 16”。這種情況下，16X16像素可以確定性地設(shè)置為增強(qiáng)層中的S⑶尺寸。同樣，在“3.0 ( SR”的情況下，32X32像素可以確定性地設(shè)置為S⑶尺寸。在“1.5 ( SR<3.0”的情況下，32X32像素可以確定性地設(shè)置為S⑶尺寸。在“1.0彡SR〈1.5”的情況下，16X16像素可以確定性地設(shè)置為S⑶尺寸。根據(jù)這第一種方法，無需另外編碼指示S⑶尺寸的參數(shù)，SCU尺寸就可以在增強(qiáng)層中確定。
[0128]圖4B是說明設(shè)置HEVC的S⑶尺寸的第二種方法的解釋性圖。第二種方法中，S⑶尺寸是從等于或小于LCU尺寸的多個尺寸中選擇的。例如，在圖4B中，32X32像素被設(shè)置為IXU尺寸。因此，S⑶尺寸的候選可以包括32X32像素、16X16像素和8X8像素。例如，當(dāng)優(yōu)選地是啟用更細(xì)膩的分塊時(shí)，可以選擇更小的SCU尺寸。第二種方法中，指示SCU尺寸的參數(shù)(SCU尺寸信息)另外地在增強(qiáng)層中生成，并且所生成的參數(shù)被編碼。在圖4B的例子中，參數(shù)值“O”可以指示32X 32像素，參數(shù)值“ I”可以指示16X 16像素，而參數(shù)值“2”可以指示8X8像素。
[0129]這部分描述的設(shè)置IXU的方法和設(shè)置SCU的方法可以以任何方式組合。
[0130][1-3.變換單元中的映射]
[0131]TU中映射的基本構(gòu)思類似于CU中映射的基本構(gòu)思。本公開內(nèi)容的技術(shù)中，在增強(qiáng)層中設(shè)置的TU尺寸是根據(jù)在基礎(chǔ)層中設(shè)置的變換塊的尺寸(S卩，離散余弦變換(DCT)尺寸)確定的。
[0132]在AVC中，作為正交變換的處理單元的變換塊的DCT尺寸從8X8像素和4X4像素中選擇。在HEVC中，作為正交變換的處理單元的變換塊的尺寸(即，TU尺寸)從32X32像素、16X16像素、8X8像素和4X4像素中選擇。關(guān)于可用的尺寸，實(shí)際在增強(qiáng)層中設(shè)置的TU尺寸可以確定性地被確定為最接近縮放比與基礎(chǔ)層中DCT尺寸之積的尺寸。作為替代，實(shí)際設(shè)置的TU尺寸可以從利用前面的乘積作為參考來縮小的多個尺寸中選擇。
[0133]圖5A是說明設(shè)置HEVC的TU尺寸的第一種方法的解釋性圖。第一種方法中，TU尺寸是確定性地確定的。在圖5A的左側(cè)，點(diǎn)線范圍指示在AVC中設(shè)置了 8X8像素的DCT尺寸。在圖5A的右側(cè)，示出了具有在HEVC中可用的4種塊尺寸(64X64像素、32X32像素、16X16像素和8X8像素)的4個TU。例如，在縮放比“SR = 2.0”的情況下，DCT尺寸與縮放比之積是“8X2.0= 16”。這種情況下，16X16像素可以確定性地設(shè)置為增強(qiáng)層中的TU尺寸。同樣，在“3.0彡SR”的情況下，32X32像素可以確定性地設(shè)置為TU尺寸。在“1.5 ( SR<3.0”的情況下，16X16像素可以確定性地設(shè)置為TU尺寸。在“1.0 ( SR〈1.5”的情況下，8X8像素可以確定性地設(shè)置為TU尺寸。根據(jù)這第一種方法，無需另外編碼指示TU尺寸的參數(shù)，TU尺寸就可以在增強(qiáng)層中確定。
[0134]圖5B是說明設(shè)置HEVC的TU尺寸的第二種方法的解釋性圖。第二種方法中，TU尺寸是從利用DCT尺寸與縮放比之積作為參考來縮小的至少一個尺寸候選中選擇的。例如，假設(shè)縮放比“SR = 2.0”并且假設(shè)在基礎(chǔ)層中設(shè)置的DCT尺寸是8X8像素。這種情況下，DCT尺寸與縮放比之積是“8X 2.0 = 16”。在這里，當(dāng)考慮基礎(chǔ)層中小于8X8像素的DCT尺寸不被選擇的事實(shí)時(shí)，盡管從增強(qiáng)層中的候選排除了小于16X16像素的DCT尺寸，但是也可以說對編碼效率的不利影響沒有發(fā)生。因此，這種情況下，增強(qiáng)層中TU尺寸的候選被縮小到2種尺寸，S卩，32 X 32像素和16X16像素。另外，指示實(shí)際設(shè)置的TU尺寸的參數(shù)(TU尺寸信息)另外地生成、并且所生成的參數(shù)在增強(qiáng)層中編碼。同樣，例如，假設(shè)縮放比“SR=2.0”并且假設(shè)在基礎(chǔ)層中設(shè)置的DCT尺寸是4X4像素。在這里，當(dāng)考慮基礎(chǔ)層中大于4X4像素的DCT尺寸不被選擇的事實(shí)時(shí)，盡管從增強(qiáng)層中的候選排除了大于8X8像素的DCT尺寸，但是也可以說對編碼效率的不利影響沒有發(fā)生。因此，這種情況下，增強(qiáng)層中TU尺寸的候選被縮小到2種尺寸，即，8X8像素和4X4像素。另外，指示實(shí)際設(shè)置的TU尺寸的參數(shù)(TU尺寸信息)另外地生成、并且所生成的參數(shù)在增強(qiáng)層中編碼。在任何情況下，由于TU尺寸的候選范圍縮小，因此另外編碼的參數(shù)的位數(shù)都比在所有種類TU尺寸都可以選擇的時(shí)候少。根據(jù)第二種方法，指示TU尺寸的參數(shù)的編碼量可以在增強(qiáng)層中減少，同時(shí)仍然維持TU尺寸的選擇靈活性。
[0135][1-4.預(yù)測單元中的映射]
[0136]PU中映射的基本構(gòu)思類似于TU中映射的基本構(gòu)思。在本公開內(nèi)容的技術(shù)中，在增強(qiáng)層中設(shè)置的PU尺寸是根據(jù)在基礎(chǔ)層中設(shè)置的預(yù)測塊的尺寸確定的。
[0137]在AVC中，對于幀內(nèi)預(yù)測，作為預(yù)測的處理單元的預(yù)測塊的尺寸(B卩，預(yù)測塊尺寸)是從16X16像素、8X8像素和4X4像素中選擇的。對于幀間預(yù)測(運(yùn)動補(bǔ)償)，非方形的預(yù)測塊尺寸，即8X16像素、16X8像素、4X8像素和8X4像素，也可用。在HEVC中，對于幀內(nèi)預(yù)測，作為預(yù)測的處理單元的預(yù)測塊的尺寸(即，I3U尺寸)是從64X64像素、32X32像素、16X 16像素、8X8像素和4X4像素中選擇的。對于幀間預(yù)測(運(yùn)動補(bǔ)償)，非方形的預(yù)測塊尺寸也可用。對于可用的尺寸，在增強(qiáng)層中實(shí)際設(shè)置的PU尺寸可以確定性地被確定為最接近縮放比與基礎(chǔ)層中設(shè)置的預(yù)測塊尺寸之積的尺寸。作為替代，實(shí)際設(shè)置的PU尺寸可以從利用前面的乘積作為參考來縮小的多個尺寸中選擇。
[0138]圖6A是說明設(shè)置HEVC的PU尺寸的第一種方法的解釋性圖。這里，例如，將描述幀內(nèi)預(yù)測。第一種方法中，PU尺寸是確定性地確定的。在圖6A的左側(cè)，點(diǎn)線范圍指示在AVC中設(shè)置4X4像素的預(yù)測塊尺寸。在圖6A的右側(cè)，示出了具有4種PU尺寸(32X 32像素、16X16像素、8X8像素和4X4像素)的4個PU。例如，在縮放比“SR = 2.0”的情況下，預(yù)測塊尺寸與縮放比之積是“4X2.0 = 16”。這種情況下，8X8像素可以確定性地設(shè)置為增強(qiáng)層中的PU尺寸。同樣，在“6.0彡SR”的情況下，32 X 32像素可以確定性地設(shè)置為PU尺寸。在“3.0彡SR〈6.0”的情況下，16X16像素可以確定性地設(shè)置為PU尺寸。在“1.5 ( SR<3.0”的情況下，8X8像素可以確定性地設(shè)置為PU尺寸。在“1.0 ( SR〈1.5”的情況下，4 X 4像素可以確定性地設(shè)置為尺寸。根據(jù)這第一種方法，無需另外編碼指示尺寸的參數(shù)，PU尺寸就可以在增強(qiáng)層中確定。
[0139]圖6B是說明設(shè)置HEVC的PU尺寸的第二種方法的解釋性圖。這里，例如，將描述幀內(nèi)預(yù)測。第二種方法中，PU尺寸從利用預(yù)測塊尺寸與縮放比之積作為參考來縮小的尺寸的至少一個候選中選擇。例如，假設(shè)縮放比“SR = 2.0”并且假設(shè)在基礎(chǔ)層中設(shè)置的預(yù)測塊尺寸是16X16像素。這種情況下，預(yù)測塊尺寸與縮放比之積是“16 X 2.0 = 32”。在這里，當(dāng)考慮基礎(chǔ)層中小于16X16像素的預(yù)測塊尺寸不被選擇的事實(shí)時(shí)，盡管從增強(qiáng)層中的候選排除了小于32X32像素的DCT尺寸，但是也可以說對編碼效率的不利影響沒有發(fā)生。因此，這種情況下，增強(qiáng)層中PU尺寸的候選被縮小到2種尺寸，S卩，64X64像素和32X32像素。另外，指示實(shí)際設(shè)置的PU尺寸的參數(shù)尺寸信息)另外生成并且所生成的參數(shù)在增強(qiáng)層中編碼。同樣，例如，假設(shè)縮放比“SR= 2.0”并且假設(shè)在基礎(chǔ)層中設(shè)置的預(yù)測塊尺寸是4X4像素。這種情況下，預(yù)測塊尺寸與縮放比之積是“4X2.0 = 8.0”。在這里，當(dāng)考慮基礎(chǔ)層中大于4X4像素的預(yù)測塊尺寸不被選擇的事實(shí)時(shí)，盡管從增強(qiáng)層中的候選排除了大于8X8像素的預(yù)測塊尺寸，但是也可以說對編碼效率的不利影響沒有發(fā)生。因此，這種情況下，增強(qiáng)層中PU尺寸的候選被縮小到2種尺寸，即，8X8像素和4X4像素。另外，指示實(shí)際設(shè)置的PU尺寸的參數(shù)O3U尺寸信息)另外生成并且所生成的參數(shù)在增強(qiáng)層中編碼。當(dāng)設(shè)置縮放比“SR = 2.0”并且基礎(chǔ)層中設(shè)置的預(yù)測塊尺寸是8X8像素時(shí)，作為縮小的結(jié)果，增強(qiáng)層中I3U尺寸的候選只有16X 16像素。這種情況下，16X16像素的I3U尺寸必然會在增強(qiáng)層中設(shè)置并且不生成指示PU尺寸的參數(shù)。在任何情況下，由于PU尺寸的候選范圍縮小，因此另外編碼的參數(shù)的位數(shù)比在所有種類PU尺寸都可以選擇的時(shí)候少。根據(jù)這第二種方法，指示PU尺寸的參數(shù)的編碼量可以在增強(qiáng)層中減少，同時(shí)仍然維持PU尺寸的選擇靈活性。
[0140]雖然可用預(yù)測塊的候選在參考圖6A和6B描述的兩種方法之間是不同的，但是候選可以用來設(shè)置HEVC的幀間預(yù)測的TO。
[0141]圖7A是說明在AVC的幀間預(yù)測中可用的預(yù)測塊尺寸候選的解釋性圖。在AVC中，當(dāng)具有等于或小于8X8像素的尺寸的預(yù)測塊在幀間預(yù)測時(shí)使用時(shí)，即，使用劃分成子宏塊，編碼作為指示子宏塊形狀和尺寸的子宏塊類型的參數(shù)。因而，在增強(qiáng)層中，PU尺寸的候選可以根據(jù)是否使用劃分成子宏塊(即，編碼子宏塊類型)來縮小。
[0142]圖7B是說明設(shè)置HEVC的幀間預(yù)測的I3U尺寸的第三種方法的解釋性圖。第三種方法中，PU尺寸是根據(jù)子宏塊類型是否為對應(yīng)于基礎(chǔ)層的塊編碼來縮小的。例如，當(dāng)設(shè)置縮放比“SR = 2.0”并且子宏塊類型沒有在基礎(chǔ)層中編碼時(shí)，增強(qiáng)層中尺寸的候選被縮小到等于或大于16X16像素的尺寸。此外，指示實(shí)際設(shè)置的尺寸的參數(shù)尺寸信息)另外生成、并且所生成的參數(shù)在增強(qiáng)層中編碼。相反，例如，當(dāng)設(shè)置縮放比“SR = 2.0”并且子宏塊類型在基礎(chǔ)層中編碼時(shí)，增強(qiáng)層中PU尺寸的候選縮小到等于或小于8X8像素的尺寸。此外，指示實(shí)際設(shè)置的PU尺寸的參數(shù)O3U尺寸信息)另外生成、并且所生成的參數(shù)在增強(qiáng)層中編碼。在任何情況下，由于PU尺寸的候選范圍縮小，因此另外編碼的參數(shù)的位數(shù)比當(dāng)所有種類PU尺寸都可以選擇時(shí)少。根據(jù)這第三種方法，指示PU尺寸的參數(shù)的編碼量可以在增強(qiáng)層中減少，同時(shí)仍然維持PU尺寸的選擇靈活性。
[0143][1-5.編碼器的基本配置例子]
[0144]圖8是示出根據(jù)實(shí)施例支持可縮放視頻編碼的圖像編碼設(shè)備10的示意性配置的框圖。參考圖8，圖像編碼設(shè)備10包括第一編碼部分la、第二編碼部分lb、公共存儲器2以及多路復(fù)用部分3。
[0145]第一編碼部分Ia編碼基礎(chǔ)層圖像，以生成基礎(chǔ)層的編碼流。第二編碼部分Ib編碼增強(qiáng)層圖像，以生成增強(qiáng)層的編碼流。公共存儲器2存儲在層之間公共使用的信息。多路復(fù)用部分3多路復(fù)用由第一編碼部分Ia生成的基礎(chǔ)層的編碼流和由第二編碼部分Ib生成的至少一個增強(qiáng)層的編碼流，以生成多層的多路復(fù)用流。
[0146][1-6.解碼器的基本配置例子]
[0147]圖9是示出根據(jù)實(shí)施例支持可縮放視頻編碼的圖像解碼設(shè)備60的示例性配置的框圖。參考圖9，圖像解碼設(shè)備60包括多路分解部分5、第一解碼部分6a、第二解碼部分6b以及公共存儲器7。
[0148]多路分解部分5把多層的多路復(fù)用流多路分解成基礎(chǔ)層的編碼流和至少一個增強(qiáng)層的編碼流。第一解碼部分6a從基礎(chǔ)層的編碼流解碼基礎(chǔ)層圖像。第二解碼部分6b從增強(qiáng)層的編碼流解碼增強(qiáng)層圖像。公共存儲器7存儲在層之間公共使用的信息。
[0149]在圖8所說明的圖像編碼設(shè)備10中，編碼基礎(chǔ)層的第一編碼部分Ia的配置和編碼增強(qiáng)層的第二編碼部分Ib的配置是彼此相似的，但是在圖像編碼系統(tǒng)中存在一些區(qū)別。由第一編碼部分Ia生成或獲取的有些參數(shù)通過使用公共存儲器2被緩沖并且被第二編碼部分Ib重用。在下一部分中，將詳細(xì)地描述第一編碼部分Ia和第二編碼部分Ib的這種配置。
[0150]類似地，在圖9所說明的圖像解碼設(shè)備60中，解碼基礎(chǔ)層的第一解碼部分6a的配置和解碼增強(qiáng)層的第二解碼部分6b的配置是彼此相似的，但是在圖像編碼系統(tǒng)中存在一些區(qū)別。由第一解碼部分6a生成或獲取的有些參數(shù)通過使用公共存儲器7被緩沖并且被第二解碼部分6b重用。此外，在下一部分中，將詳細(xì)地描述第一解碼部分6a和第二解碼部分6b的這種配置。
[0151]〈2.根據(jù)實(shí)施例的編碼部分的配置例子〉
[0152][2-1.整體配置]
[0153]圖10是不出圖8中所不第一編碼部分Ia和第二編碼部分Ib的配置例子的框圖。參考圖10，第一編碼部分Ia包括排序緩沖區(qū)11、塊設(shè)置部分12a、減法部分13、正交變換部分14a、量化部分15、無損編碼部分16a、累加緩沖區(qū)17、速率控制部分18、逆量化部分21、逆正交變換部分22a、加法部分23、解塊過濾器24、幀存儲器25、選擇器26和27、幀內(nèi)預(yù)測部分30a以及幀間預(yù)測部分40a。代替塊設(shè)置部分12a、正交變換部分14a、無損編碼部分16a、累逆正交變換部分22a、幀內(nèi)預(yù)測部分30a和幀間預(yù)測部分40a，第二編碼部分Ib包括塊設(shè)置部分12b、正交變換部分14b、無損編碼部分16b、逆正交變換部分22b、幀內(nèi)預(yù)測部分30b以及巾貞間預(yù)測部分40b。
[0154]排序緩沖區(qū)11把包括在圖像數(shù)據(jù)序列中的圖像排序。在根據(jù)編碼過程把根據(jù)GOP(圖片組)結(jié)構(gòu)的圖像排序之后，排序緩沖區(qū)11把已經(jīng)排序的圖像數(shù)據(jù)輸出到塊設(shè)置部分 12a 或 12b。
[0155]塊設(shè)置部分12a在從排序緩沖區(qū)11輸入的基礎(chǔ)層的圖像數(shù)據(jù)中設(shè)置至少一個宏塊。例如，AVC中的宏塊尺寸定義為固定的尺寸，并且該宏塊尺寸事先由公共存儲器2存儲。塊設(shè)置部分12a把用于所設(shè)置的每個宏塊的圖像數(shù)據(jù)輸出到減法部分13、幀內(nèi)預(yù)測部分30a和幀間預(yù)測部分40a。
[0156]塊設(shè)置部分12b為從排序緩沖區(qū)11輸入的增強(qiáng)層的圖像數(shù)據(jù)設(shè)置IXU尺寸和SCU尺寸。LCU尺寸和SCU尺寸的設(shè)置可以對每個序列改變。塊設(shè)置部分12b可以利用由公共存儲器2存儲的宏塊尺寸和縮放比來確定IXU尺寸。SCU尺寸可以通過進(jìn)一步參考由公共存儲器2存儲的子宏塊尺寸來確定。然后，塊設(shè)置部分12b把用于所設(shè)置的每個LCU的圖像數(shù)據(jù)輸出到減法部分13、幀內(nèi)預(yù)測部分30b和幀間預(yù)測部分40b。
[0157]從塊設(shè)置部分12a或12b輸入的圖像數(shù)據(jù)以及由隨后所述幀內(nèi)預(yù)測部分30a或30b或者幀間預(yù)測部分40a或40b輸入的預(yù)測的圖像數(shù)據(jù)提供給減法部分13。減法部分13計(jì)算預(yù)測的誤差數(shù)據(jù)，這是從排序緩沖區(qū)12輸入的圖像數(shù)據(jù)與預(yù)測的圖像數(shù)據(jù)之間的差值，并且把計(jì)算出的預(yù)測的誤差數(shù)據(jù)輸出到正交變換部分14a或14b。
[0158]正交變換部分14a關(guān)于從減法部分13輸入的基礎(chǔ)層的預(yù)測誤差數(shù)據(jù)在宏塊中來設(shè)置變換塊，并且對所設(shè)置的每個變換塊執(zhí)行正交變換。由正交變換部分14a執(zhí)行的正交變換可以是，例如，離散余弦變換(DCT)。由正交變換部分14a設(shè)置的變換塊的尺寸是8X8像素或4X4像素。正交變換部分14a把通過對每個變換塊的正交變換過程所獲取的變換系數(shù)數(shù)據(jù)輸出到量化部分15。正交變換部分14a使公共存儲器2緩沖指示所設(shè)置的每個變換塊的尺寸的DCT尺寸信息。
[0159]正交變換部分14b關(guān)于從減法部分13輸入的增強(qiáng)層的預(yù)測誤差數(shù)據(jù)在IXU中設(shè)置TU，并且對所設(shè)置的每個TU執(zhí)行正交變換。由正交變換部分14b執(zhí)行的正交變換也可以是離散余弦變換(DCT)。由正交變換部分14b設(shè)置的TU的尺寸是32X32像素、16X 16像素、8 X 8像素或4X 4像素。正交變換部分14b可以利用存儲在公共存儲器2中的縮放比和基礎(chǔ)層的DCT尺寸信息來確定要在增強(qiáng)層中設(shè)置的TU尺寸。正交變換部分14b把通過對每個TU的正交變換過程所獲取的變換系數(shù)數(shù)據(jù)輸出到量化部分15。
[0160]從正交變換部分14a或14b輸入的變換系數(shù)數(shù)據(jù)以及來自隨后所述速率控制部分18的速率控制信號提供給量化部分15。量化部分15量化變換系統(tǒng)數(shù)據(jù)，并且把已經(jīng)量化的變換系數(shù)數(shù)據(jù)(在下文中稱為量化數(shù)據(jù))輸出到無損編碼部分16a或16b和逆量化部分21。而且，量化部分15基于來自速率控制部分18的速率控制信號來切換量化參數(shù)(量化級別)，由此改變量化數(shù)據(jù)的位速率。
[0161]無損編碼部分16a對從量化部分15輸入的基礎(chǔ)層的量化數(shù)據(jù)執(zhí)行無損編碼過程，以生成基礎(chǔ)層的編碼流。無損編碼部分16a編碼關(guān)于在基礎(chǔ)層中設(shè)置的各個塊尺寸的信息，并且在編碼流的首部區(qū)域中多路復(fù)用所編碼的參數(shù)。在本文中，編碼的信息可以包括，例如，DCT尺寸信息、關(guān)于幀內(nèi)預(yù)測的信息，以及關(guān)于幀間預(yù)測的信息。然后，無損編碼部分16a把生成的編碼流輸出到累加緩沖區(qū)17。
[0162]無損編碼部分16b對從量化部分15輸入的增強(qiáng)層的量化數(shù)據(jù)執(zhí)行無損編碼過程，以生成增強(qiáng)層的編碼流。無損編碼部分16b編碼關(guān)于在增強(qiáng)層中設(shè)置的各個塊尺寸的信息，并且在編碼流的首部區(qū)域中多路復(fù)用編碼的參數(shù)。在本文中，編碼的信息可以包括，例如，縮放比、塊尺寸信息、指示每個LCU中塊分割的分割標(biāo)記(split_flag)、關(guān)于幀內(nèi)預(yù)測的信息，以及關(guān)于幀間預(yù)測的信息。然后，無損編碼部分16b把生成的編碼流輸出到累加緩沖區(qū)17。
[0163]累加緩沖區(qū)17利用諸如半導(dǎo)體存儲器的存儲介質(zhì)暫時(shí)性地累加從無損編碼部分16a輸入的基礎(chǔ)層的編碼流和從無損編碼部分16b輸入的增強(qiáng)層的編碼流。然后，累加緩沖區(qū)17以與傳輸路徑的頻帶相符的速率把累加的編碼流輸出到傳輸部分(未示出)(例如，通信接口或者到外圍設(shè)備的接口)。
[0164]速率控制部分18監(jiān)視累加緩沖區(qū)17的自由空間。然后，速率控制部分18根據(jù)累加緩沖區(qū)17上的自由空間生成速率控制信號并且把生成的速率控制信號輸出到量化部分15。例如，當(dāng)累加緩沖區(qū)17上沒有太多自由空間時(shí)，速率控制部分18生成用于降低量化數(shù)據(jù)的位速率的速率控制信號。而且，例如，如果累加緩沖區(qū)17上的自由空間足夠大時(shí)，速率控制部分18生成用于增加愛量化數(shù)據(jù)的位速率的速率控制信號。
[0165]逆量化部分21對從量化部分15輸入的量化數(shù)據(jù)執(zhí)行逆量化過程。然后，逆量化部分21把通過逆量化過程獲取的變換系數(shù)數(shù)據(jù)輸出到逆正交變換部分22a或22b。
[0166]對于由正交變換部分14a設(shè)置的每個變換塊，逆正交變換部分22a對從逆量化部分21輸入的基礎(chǔ)層的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換過程，以恢復(fù)預(yù)測誤差數(shù)據(jù)。然后，逆正交變換部分22a把恢復(fù)的預(yù)測的誤差數(shù)據(jù)輸出到加法部分23。
[0167]對于由正交變換部分14b設(shè)置的每個TU，逆正交變換部分22b對從逆量化部分21輸入的增強(qiáng)層的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換過程，以恢復(fù)預(yù)測誤差數(shù)據(jù)。然后，逆正交變換部分22b把恢復(fù)的預(yù)測的誤差數(shù)據(jù)輸出到加法部分23。
[0168]加法部分23把從逆正交變換部分22a或22b輸入的恢復(fù)的預(yù)測的誤差數(shù)據(jù)以及從幀內(nèi)預(yù)測部分30a或30b或者幀間預(yù)測部分40a或40b輸入的預(yù)測的圖像數(shù)據(jù)相加，由此生成解碼的圖像數(shù)據(jù)(所謂重構(gòu)的圖像)。然后，加法部分23把生成的解碼的圖像數(shù)據(jù)輸出到解塊過濾器24和幀存儲器25。
[0169]解塊過濾器24執(zhí)行用于減少在圖像編碼時(shí)發(fā)生的塊變形的過濾過程。解塊過濾器24過濾從加法部分23輸入的解碼的圖像數(shù)據(jù)，以除去塊變形，并且把過濾之后解碼的圖像數(shù)據(jù)輸出到幀存儲器25。
[0170]幀存儲器25利用存儲介質(zhì)存儲從加法部分23輸入的解碼的圖像數(shù)據(jù)以及從解塊過濾器24輸入的過濾之后解碼的圖像數(shù)據(jù)。
[0171]選擇器26從幀存儲器25讀取過濾之前要用于幀內(nèi)預(yù)測的解碼的圖像數(shù)據(jù)，并且把已經(jīng)讀出的解碼的圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀內(nèi)預(yù)測部分30a或30b。而且，選擇器26從幀存儲器25讀取過濾之后要用于幀間預(yù)測的解碼的圖像數(shù)據(jù)，并且把已經(jīng)讀出的解碼的圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀間預(yù)測部分40a或40b。
[0172]在幀內(nèi)預(yù)測模式，選擇器27把作為幀內(nèi)預(yù)測的結(jié)果從幀內(nèi)預(yù)測部分30a或30b輸出的預(yù)測圖像數(shù)據(jù)輸出到減法部分13，并且還把關(guān)于幀內(nèi)預(yù)測的信息輸出到無損編碼部分16a或16b。在幀間預(yù)測模式，選擇器27把作為幀間預(yù)測的結(jié)果從幀間預(yù)測部分40a或40b輸出的預(yù)測的圖像數(shù)據(jù)輸出到減法部分13，并且還把關(guān)于幀間預(yù)測的信息輸出到無損編碼部分16a或16b。根據(jù)成本函數(shù)值的量值，選擇器27切換幀內(nèi)預(yù)測模式和幀間預(yù)測模式。
[0173]基于基礎(chǔ)層的原始圖像數(shù)據(jù)和解碼的圖像數(shù)據(jù)，幀內(nèi)預(yù)測部分30a對AVC的每個預(yù)測塊執(zhí)行幀內(nèi)預(yù)測過程。例如，幀內(nèi)預(yù)測部分30a在宏塊中設(shè)置預(yù)測塊并且對所設(shè)置的每個預(yù)測塊執(zhí)行幀內(nèi)預(yù)測。由幀內(nèi)預(yù)測部分30a設(shè)置的預(yù)測塊的尺寸是16X 16像素、8X8像素或4X4像素。然后，幀內(nèi)預(yù)測部分30a利用預(yù)定的成本函數(shù)評估每種預(yù)測模式下的預(yù)測結(jié)果。接下來，幀內(nèi)預(yù)測部分30a選擇其中成本函數(shù)值最小(S卩，壓縮比最高)的預(yù)測模式作為最優(yōu)預(yù)測模式。而且，幀內(nèi)預(yù)測部分30a根據(jù)最優(yōu)預(yù)測模式生成基礎(chǔ)層的預(yù)測的圖像數(shù)據(jù)。然后，幀內(nèi)預(yù)測部分30a把關(guān)于幀內(nèi)預(yù)測的信息，包括指示選定的最優(yōu)預(yù)測模式的預(yù)測模式信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)，輸出到選擇器27。幀內(nèi)預(yù)測部分30a使公共存儲器2緩沖預(yù)測塊尺寸信息。
[0174]基于增強(qiáng)層的原始圖像數(shù)據(jù)和解碼的圖像數(shù)據(jù)，幀內(nèi)預(yù)測部分30b對HEVC的每個PU執(zhí)行幀內(nèi)預(yù)測過程。例如，幀內(nèi)預(yù)測部分30b在LCU中設(shè)置PU并且對所設(shè)置的每個執(zhí)行幀內(nèi)預(yù)測。由幀內(nèi)預(yù)測部分30b設(shè)置的I3U的尺寸是32X32像素、16X 16像素、8X8像素或4X4像素。幀內(nèi)預(yù)測部分30b可以利用由公共存儲器2存儲的基礎(chǔ)層的預(yù)測塊尺寸信息以及縮放比來確定在要增強(qiáng)層中設(shè)置的PU尺寸。接下來，幀內(nèi)預(yù)測部分30b利用預(yù)定的成本函數(shù)評估每種預(yù)測模式下的預(yù)測結(jié)果。接下來，幀內(nèi)預(yù)測部分30b選擇其中成本函數(shù)值最小(即，壓縮比最高)的預(yù)測模式作為最優(yōu)預(yù)測模式。幀內(nèi)預(yù)測部分30b根據(jù)最優(yōu)預(yù)測模式生成增強(qiáng)層的預(yù)測的圖像數(shù)據(jù)。然后，幀內(nèi)預(yù)測部分30b把關(guān)于幀內(nèi)預(yù)測的信息，包括指示選定的最優(yōu)預(yù)測模式的預(yù)測模式信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)，輸出到選擇器27。
[0175]基于基礎(chǔ)層的原始圖像數(shù)據(jù)和解碼的圖像數(shù)據(jù)，幀間預(yù)測部分40a對AVC的每個預(yù)測塊執(zhí)行幀間預(yù)測過程(運(yùn)動搜索過程)。例如，幀間預(yù)測部分40a在宏塊中設(shè)置預(yù)測塊并且對所設(shè)置的每個預(yù)測塊執(zhí)行幀間預(yù)測。由幀間預(yù)測部分40a設(shè)置的預(yù)測塊的尺寸是圖7A中所示的7種尺寸之一。接下來，幀間預(yù)測部分40a利用預(yù)定的成本函數(shù)評估每種預(yù)測模式下的預(yù)測結(jié)果。接下來，幀間預(yù)測部分40a選擇其中成本函數(shù)值最小(即，壓縮比最高)的預(yù)測模式作為最優(yōu)預(yù)測模式。幀間預(yù)測部分40a根據(jù)最優(yōu)預(yù)測模式生成基礎(chǔ)層的預(yù)測的圖像數(shù)據(jù)。然后，幀間預(yù)測部分40a把關(guān)于幀間預(yù)測的信息，包括對應(yīng)于定選的最優(yōu)預(yù)測模式的運(yùn)動信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)，輸出到選擇器27。接下來，幀間預(yù)測部分40a使公共存儲器2緩沖預(yù)測塊尺寸信息。預(yù)測塊尺寸信息可以包括子宏塊類型。
[0176]基于增強(qiáng)層的原始圖像數(shù)據(jù)和解碼的圖像數(shù)據(jù)，幀間預(yù)測部分40b對HEVC的每個PU執(zhí)行幀間預(yù)測過程(運(yùn)動搜索過程)。例如，幀間預(yù)測部分40b在IXU中設(shè)置PU并且對所設(shè)置的每個PU執(zhí)行幀間預(yù)測。幀間預(yù)測部分40b可以利用由公共存儲器2存儲的基礎(chǔ)層的預(yù)測塊尺寸信息及縮放比來確定要在增強(qiáng)層中設(shè)置的PU尺寸。接下來，幀間預(yù)測部分40b利用預(yù)定的成本函數(shù)評估每種預(yù)測模式下的預(yù)測結(jié)果。接下來，幀間預(yù)測部分40b選擇其中成本函數(shù)值最小(即，壓縮比最高)的預(yù)測模式作為最優(yōu)預(yù)測模式。幀間預(yù)測部分40b根據(jù)最優(yōu)預(yù)測模式生成增強(qiáng)層的預(yù)測的圖像數(shù)據(jù)。然后，幀間預(yù)測部分40b把關(guān)于幀間預(yù)測的信息，包括對應(yīng)于選定的最優(yōu)預(yù)測模式的運(yùn)動信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)，輸出到選擇器27。
[0177]第一編碼部分Ia對基礎(chǔ)層的圖像數(shù)據(jù)序列執(zhí)行這里所描述的一系列編碼過程。第二編碼部分Ib對增強(qiáng)層的圖像數(shù)據(jù)序列執(zhí)行這里所描述的一系列編碼過程。當(dāng)存在多個增強(qiáng)層時(shí)，增強(qiáng)層的編碼過程可以重復(fù)與增強(qiáng)層數(shù)一樣多的次數(shù)。
[0178][2-2.塊設(shè)置部分的詳細(xì)配置]
[0179]圖11是示出圖10所示塊設(shè)置部分12a和12b的詳細(xì)配置例子的框圖。參考圖11，塊設(shè)置部分12a包括設(shè)置控制部分Illa和宏塊設(shè)置部分112a。塊設(shè)置部分12b包括設(shè)置控制部分Illb和⑶設(shè)置部分112b。
[0180](I)基礎(chǔ)層的塊設(shè)置過程
[0181]塊設(shè)置部分12a的設(shè)置控制部分Illa獲取事先由公共存儲器2存儲的固定的宏塊尺寸并且指示宏塊設(shè)置部分112a利用所獲取的尺寸設(shè)置宏塊。
[0182]響應(yīng)于來自設(shè)置控制部分Illa的指令，宏塊設(shè)置部分112a在基礎(chǔ)層的圖像數(shù)據(jù)中設(shè)置至少一個宏塊。然后，宏塊設(shè)置部分112a把用于所設(shè)置的每個宏塊的圖像數(shù)據(jù)輸出到減法部分13、巾貞內(nèi)預(yù)測部分30a以及巾貞間預(yù)測部分40a。
[0183](2)增強(qiáng)層的塊設(shè)置過程
[0184]塊設(shè)置部分12b的設(shè)置控制部分Illb獲取事先由公共存儲器2存儲的宏塊的尺寸以及基礎(chǔ)層與增強(qiáng)層之間的縮放比。該縮放比可以事先由公共存儲器2存儲，或者可以從兩個層的分辨率數(shù)據(jù)計(jì)算。然后，設(shè)置控制部分Illb指示CU設(shè)置部分112b設(shè)置利用宏塊尺寸以及縮放比確定的LCU尺寸和SCU尺寸。
[0185]響應(yīng)于來自設(shè)置控制部分Illb的指令，⑶設(shè)置部分112b在增強(qiáng)層中設(shè)置IXU尺寸和SCU尺寸。通過根據(jù)參考圖3A所述的第一種方法用縮放比乘以宏塊尺寸，⑶設(shè)置部分112b可以確定性地確定IXU尺寸。作為代替，⑶設(shè)置部分112b可以根據(jù)參考圖3B所述的第二種方法確定從利用宏塊尺寸和縮放比之積作為參考來縮小的多個尺寸候選中選擇的一個尺寸作為IXU尺寸。后一種情況下，⑶設(shè)置部分112b生成指示選定的IXU尺寸的IXU尺寸信息。
[0186]通過根據(jù)參考圖4A所述的第一種方法用縮放比乘以由公共存儲器2事先存儲的子宏塊尺寸，⑶設(shè)置部分112b可以確定性地確定S⑶尺寸。作為代替，⑶設(shè)置部分112b可以根據(jù)參考圖4B所述的第二種方法確定從等于或小于LCU尺寸的多個尺寸候選中選擇的一個尺寸作為S⑶尺寸。后一種情況下，⑶設(shè)置部分112b生成指示選定的S⑶尺寸的SCU尺寸信息。
[0187]然后，⑶設(shè)置部分112b把用于每個IXU的圖像數(shù)據(jù)輸出到減法部分13、幀內(nèi)預(yù)測部分30b以及幀間預(yù)測部分40b。此外，當(dāng)生成IXU尺寸信息或S⑶尺寸信息時(shí)，宏塊設(shè)置部分112b把生成的尺寸信息輸出到無損編碼部分16b。
[0188][2-3.正交變換部分的詳細(xì)配置]
[0189]圖12是示出圖10所示正交變換部分14a和14b的詳細(xì)配置例子的框圖。參考圖12，正交變換部分14a包括變換控制部分121a、4X4變換部分122a、8X8變換部分123a，以及尺寸確定部分126a。正交變換部分14b包括變換控制部分121b、4X4變換部分122b、8X8變換部分123b、16X16變換部分124b、32X32變換部分125b，以及尺寸確定部分126b。
[0190](I)基礎(chǔ)層的正交變換過程
[0191]正交變換部分14a的變換控制部分121a關(guān)于基礎(chǔ)層的預(yù)測的誤差數(shù)據(jù)在宏塊中設(shè)置4X4像素的變換塊，并且使4X4變換部分122a為所設(shè)置的每個變換塊執(zhí)行正交變換。同樣，變換控制部分121a在宏塊中設(shè)置8X8像素的變換塊并且使8X8變換部分123a為所設(shè)置的每個變換塊執(zhí)行正交變換。變換控制部分121a使尺寸確定部分126a確定最優(yōu)DCT尺寸。
[0192]4X4變換部分122a對用于由變換控制部分121a設(shè)置的每個變換塊的預(yù)測的誤差數(shù)據(jù)執(zhí)行4X4像素的2維DCT。然后，4X4變換部分122a把變換系數(shù)數(shù)據(jù)輸出到尺寸確定部分126a。8X8變換部分123a對用于由變換控制部分121a設(shè)置的每個變換塊的預(yù)測的誤差數(shù)據(jù)執(zhí)行8X8像素的2維DCT。然后，8X8變換部分123a把變換系數(shù)數(shù)據(jù)輸出到尺寸確定部分126a。
[0193]基于從4X4變換部分122a和8X8變換部分123a輸入的變換系數(shù)數(shù)據(jù)，尺寸確定部分126a確定最優(yōu)DCT尺寸，并且把對應(yīng)于最優(yōu)DCT尺寸的變換系數(shù)數(shù)據(jù)輸出到量化部分15。此外，尺寸確定部分126a把指示最優(yōu)DCT尺寸的DCT尺寸信息輸出到無損編碼部分16a和逆正交變換部分22a并且使公共存儲器2緩沖DCT尺寸信息。
[0194](2)增強(qiáng)層的正交變換過程
[0195]正交變換部分14b的變換控制部分121b獲取由公共存儲器2存儲的縮放比和DCT尺寸信息。然后，變換控制部分121b利用至少一個利用DCT尺寸和縮放比確定的尺寸在IXU中設(shè)置TU。
[0196]例如，變換控制部分121b在增強(qiáng)層的LCU中利用根據(jù)參考圖5A所述的第一種方法通過用縮放比乘以DCT尺寸確定性地確定的尺寸來設(shè)置TU。然后，變換控制部分121b使4X4變換部分122b、8X8變換部分123b、16X 16變換部分124b和32X32變換部分125b中對應(yīng)于所確定的TU尺寸的變換部分對預(yù)測的誤差數(shù)據(jù)執(zhí)行正交變換。
[0197]作為代替，變換控制部分121b在LCU中利用根據(jù)參考圖5B所述的第二種方法，利用DCT尺寸與縮放比之積作為參考來縮小的至少一個TU尺寸當(dāng)中每一個來設(shè)置TU。然后，變換控制部分121b使4X4變換部分122b、8X8變換部分123b、16X 16變換部分124b和32X32變換部分125b中對應(yīng)的變換部分對預(yù)測的誤差數(shù)據(jù)執(zhí)行正交變換。當(dāng)采用第二種方法時(shí)，變換控制部分121b使尺寸確定部分126b確定最優(yōu)TU尺寸。
[0198]4X4變換部分122b對預(yù)測的誤差數(shù)據(jù)執(zhí)行4X4像素的2維DCT。8X8變換部分123b對預(yù)測的誤差數(shù)據(jù)執(zhí)行8X8像素的2維DCT。16X16變換部分124b對預(yù)測的誤差數(shù)據(jù)執(zhí)行16X 16像素的2維DCT。32X32變換部分125b對預(yù)測的誤差數(shù)據(jù)執(zhí)行32X32像素的2維DCT。
[0199]當(dāng)多個TU尺寸由變換控制部分121b為位于相同位置的預(yù)測的誤差數(shù)據(jù)設(shè)置時(shí)，基于從多個對應(yīng)的變換部分輸入的變換系統(tǒng)數(shù)據(jù)，尺寸確定部分126b確定最優(yōu)TU。然后，尺寸確定部分126b把對應(yīng)于最優(yōu)TU尺寸的變換系數(shù)數(shù)據(jù)輸出到量化部分15。此外，尺寸確定部分126b把指示最優(yōu)TU尺寸的TU尺寸信息輸出到無損編碼部分16b和逆正交變換部分22b。
[0200][2-4.幀內(nèi)預(yù)測部分的詳細(xì)配置]
[0201]圖13是示出圖10所示幀內(nèi)預(yù)測部分30a和30b的詳細(xì)配置例子的框圖。參考圖13，幀內(nèi)預(yù)測部分30a包括預(yù)測控制部分131a、預(yù)測部分132a以及模式確定部分133a。幀內(nèi)預(yù)測部分30b包括預(yù)測控制部分131b、預(yù)測部分132b以及模式確定部分133b。
[0202](I)基礎(chǔ)層的幀內(nèi)預(yù)測過程
[0203]幀內(nèi)預(yù)測部分30a的預(yù)測控制部分131a控制基礎(chǔ)層的幀內(nèi)預(yù)測過程。更具體而言，預(yù)測控制部分131a利用基礎(chǔ)層的宏塊中的各種尺寸設(shè)置預(yù)測塊并且使預(yù)測部分132a在各種預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測。然后，預(yù)測控制部分131a使模式確定部分133a確定最優(yōu)預(yù)測塊尺寸和預(yù)測模式。
[0204]對于由預(yù)測控制部分131a設(shè)置的每個預(yù)測塊，預(yù)測部分132a在各種預(yù)測模式下(例如，DC預(yù)測、水平預(yù)測、垂直預(yù)測和平面預(yù)測)利用從幀存儲器25輸入的解碼的圖像數(shù)據(jù)來生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分132a把生成的預(yù)測圖像數(shù)據(jù)輸出到模式確定部分 133a。
[0205]通過比較從預(yù)測部分132a輸入的預(yù)測圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分133a計(jì)算成本函數(shù)值，并且選擇其中成本函數(shù)值最小的預(yù)測塊尺寸與預(yù)測模式的組合。然后，模式確定部分133a把關(guān)于幀內(nèi)預(yù)測的信息，包括指示最優(yōu)預(yù)測塊尺寸和預(yù)測模式的組合的預(yù)測模式信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)，輸出到選擇器27。此外，模式確定部分133a使公共存儲器2緩沖預(yù)測塊尺寸信息。
[0206](2)增強(qiáng)層的幀內(nèi)預(yù)測過程
[0207]幀內(nèi)預(yù)測部分30b的預(yù)測控制部分131b控制增強(qiáng)層的幀內(nèi)預(yù)測過程。更具體而言，預(yù)測控制部分131b在增強(qiáng)層的LCU中設(shè)置至少一個并且使預(yù)測部分132b在各種預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測。然后，預(yù)測控制部分131b使模式確定部分133b確定最優(yōu)預(yù)測模式。
[0208]為了確定尺寸，預(yù)測控制部分131b獲取由公共存儲器2存儲的縮放比以及基礎(chǔ)層的預(yù)測塊尺寸信息。然后，預(yù)測控制部分131b利用預(yù)測塊尺寸和縮放比確定要在LCU中設(shè)置的PU尺寸。
[0209]例如，預(yù)測控制部分131b可以利用根據(jù)參考圖6A所述的第一種方法通過用IXU中的縮放比乘以預(yù)測塊尺寸確定性地確定的PU尺寸來設(shè)置PU。作為替代，預(yù)測控制部分131b可以利用根據(jù)參考圖6B所述的第二種方法利用預(yù)測塊尺寸與縮放比之積作為參考來縮小的至少一個PU尺寸來設(shè)置I3U。
[0210]對于由預(yù)測控制部分131b設(shè)置的每個PU，預(yù)測部分132b在各種預(yù)測模式下(例如，DC預(yù)測、角度預(yù)測、平面預(yù)測和亮度基本色差預(yù)測)利用從幀存儲器25輸入的解碼的圖像數(shù)據(jù)生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分132b把生成的預(yù)測圖像數(shù)據(jù)輸出到模式確定部分133b。
[0211]通過比較從預(yù)測部分132b輸入的預(yù)測的圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分133b計(jì)算成本函數(shù)值，并且選擇其中成本函數(shù)值最小的PU尺寸和預(yù)測模式的組合。然后，模式確定部分133b把關(guān)于幀內(nèi)預(yù)測的信息，包括預(yù)測模式信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)，輸出到選擇器27。當(dāng)多個尺寸被預(yù)測控制部分131b設(shè)置時(shí)，模式確定部分133b生成的信息可以包括在圖6B示例的PU尺寸信息。
[0212][2-5.幀間預(yù)測部分的詳細(xì)配置]
[0213]圖14是示出圖10所示幀間預(yù)測部分40a和40b的詳細(xì)配置例子的框圖。參考圖14，幀間預(yù)測部分40a包括預(yù)測控制部分141a、預(yù)測部分142a和模式確定部分143a。幀間預(yù)測部分40b包括預(yù)測控制部分141b、預(yù)測部分142b和模式確定部分143b。
[0214](I)基礎(chǔ)層的幀間預(yù)測過程
[0215]幀間預(yù)測部分40a的預(yù)測控制部分141a控制基礎(chǔ)層的幀間預(yù)測過程。更具體而言，預(yù)測控制部分141a在基礎(chǔ)層的宏塊中利用各種尺寸設(shè)置預(yù)測塊。預(yù)測控制部分141a在每個預(yù)測塊中設(shè)置參考圖像。預(yù)測控制部分141a使預(yù)測部分142a在各種預(yù)測模式下執(zhí)行幀間預(yù)測。預(yù)測控制部分141a使模式確定部分143a確定最優(yōu)預(yù)測塊尺寸和預(yù)測模式。
[0216]預(yù)測部分142a為由預(yù)測控制部分141a設(shè)置的每個預(yù)測塊計(jì)算運(yùn)動矢量并且利用計(jì)算出的運(yùn)動矢量以及參考圖像數(shù)據(jù)來生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分142a把運(yùn)動矢量信息和預(yù)測的圖像數(shù)據(jù)輸出到模式確定部分143a。
[0217]通過比較從預(yù)測部分142a輸入的預(yù)測的圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分143a計(jì)算成本函數(shù)值，并且選擇其中成本函數(shù)值最小的預(yù)測塊尺寸和預(yù)測模式的組合。根據(jù)選定的最優(yōu)組合，模式確定部分143a生成預(yù)測塊尺寸信息、預(yù)測模式信息以及運(yùn)動信息(運(yùn)動矢量信息和參考圖像信息)。模式確定部分143a把關(guān)于幀間預(yù)測的信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)輸出到選擇器27。模式確定部分143a使公共存儲器2緩沖預(yù)測塊尺寸信息(這可以包括子宏塊類型)。
[0218](2)增強(qiáng)層的幀間預(yù)測過程
[0219]幀間預(yù)測部分40b的預(yù)測控制部分141b控制增強(qiáng)層的幀間預(yù)測過程。更具體而言，預(yù)測控制部分141b在增強(qiáng)層的LCU中設(shè)置至少一個并且使預(yù)測部分142b執(zhí)行幀間預(yù)測。然后，預(yù)測控制部分141b使模式確定部分143b確定最優(yōu)預(yù)測模式。
[0220]為了確定尺寸，預(yù)測控制部分141b獲得由公共存儲器2存儲的縮放比以及基礎(chǔ)層的預(yù)測塊尺寸信息。然后，預(yù)測控制部分141b利用預(yù)測塊尺寸和縮放比來確定要在IXU中設(shè)置的I3U尺寸。
[0221]例如，預(yù)測控制部分141b可以通過用IXU中的縮放比乘以預(yù)測塊尺寸來確定性地確定的PU尺寸而設(shè)置W。作為替代，預(yù)測控制部分141b可以利用至少一個利用預(yù)測塊尺寸與縮放比之積作為參考來縮小的PU尺寸來設(shè)置PU。關(guān)于基礎(chǔ)層中對應(yīng)的預(yù)測塊，在LCU中，預(yù)測控制部分141b可以利用根據(jù)子宏塊類型是否存在來縮小的至少一個PU尺寸而設(shè)置PU。
[0222]預(yù)測部分142b為由預(yù)測控制部分141b設(shè)置的每個計(jì)算運(yùn)動矢量并且利用計(jì)算出的運(yùn)動矢量和參考圖像數(shù)據(jù)生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分142b把運(yùn)動矢量信息和預(yù)測的圖像數(shù)據(jù)輸出到模式確定部分143b。
[0223]通過比較從預(yù)測部分142b輸入的預(yù)測的圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分143b計(jì)算成本函數(shù)值，并且選擇其中成本函數(shù)值最小的PU尺寸和預(yù)測模式的組合。模式確定部分143b根據(jù)選定的最優(yōu)組合生成預(yù)測模式信息和運(yùn)動信息。模式確定部分143b把關(guān)于幀間預(yù)測的信息、成本函數(shù)信息和預(yù)測的圖像數(shù)據(jù)輸出到選擇器27。當(dāng)多個尺寸被預(yù)測控制部分141b設(shè)置時(shí)，由模式確定部分143b生成的信息可以包括指示從縮小后的PU尺寸中選擇的HJ尺寸的HJ尺寸信息。
[0224]<3.根據(jù)實(shí)施例在編碼時(shí)的過程流〉
[0225]接下來將參考圖15A至18B描述根據(jù)實(shí)施例在編碼時(shí)的過程流。為了描述的簡潔，與本公開內(nèi)容中的技術(shù)不直接相關(guān)的過程的描述將被忽略。
[0226][3-1.塊設(shè)置過程]
[0227](I)第一個例子
[0228]圖15A是示出在編碼時(shí)增強(qiáng)層中的塊設(shè)置過程流的第一個例子的流程圖。圖15A所示的塊設(shè)置過程是根據(jù)如參考圖3A所述的設(shè)置LCU尺寸的第一種方法和如參考圖4A所述的設(shè)置S⑶尺寸的第一種方法的組合過程。
[0229]參考圖15A，用于增強(qiáng)層的塊設(shè)置部分12b的設(shè)置控制部分Illb首先從公共存儲器2獲取指示基礎(chǔ)層的宏塊尺寸和子宏塊尺寸的塊尺寸信息(步驟SllOa)。接下來，設(shè)置控制部分Illb獲取基礎(chǔ)層和增強(qiáng)層之間的縮放比(步驟S111)。
[0230]接下來，通過用縮放比乘以由塊尺寸信息指示的宏塊尺寸，⑶設(shè)置部分112b確定性地確定增強(qiáng)層的IXU尺寸(步驟S112a)。通過用縮放比乘以由塊尺寸信息指示的子宏塊尺寸，⑶設(shè)置部分112b確定性地確定增強(qiáng)層的SCU尺寸(步驟SI 14a)。
[0231]接下來，⑶設(shè)置部分112b在增強(qiáng)層中利用在步驟S112a中確定的IXU尺寸來設(shè)置IXU(步驟S115a)。從每個IXU分塊成⑶可以根據(jù)正交變換、幀內(nèi)預(yù)測和幀間預(yù)測的結(jié)果來確定。基于由⑶設(shè)置部分112b確定的IXU尺寸和S⑶尺寸，無損編碼部分16b生成指示分塊的劃分標(biāo)記(步驟SI 17)。
[0232](2)第二個例子
[0233]圖15B是示出在編碼時(shí)增強(qiáng)層中的塊設(shè)置過程流的第二個例子的流程圖。圖15B中所示的塊設(shè)置過程是根據(jù)如參考圖3B所述的設(shè)置LCU尺寸的第二種方法和如參考圖4B所述的設(shè)置SCU尺寸的第二種方法的組合的過程。
[0234]參考圖15B，用于增強(qiáng)層的塊設(shè)置部分12b的設(shè)置控制部分Illb首先從公共存儲器2獲取指示基礎(chǔ)層的宏塊尺寸的塊尺寸信息(步驟SllOb)。接下來，設(shè)置控制部分Illb獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S111)。
[0235]接下來，利用宏塊尺寸與縮放比之積作為參考，CU設(shè)置部分112b確定增強(qiáng)層的IXU尺寸的至少一個候選(步驟S112b)。接下來，⑶設(shè)置部分112b從縮小后的IXU尺寸的候選中選擇要設(shè)置的IXU尺寸(步驟S113)。然后，⑶設(shè)置部分112b從等于或小于在步驟S113中選定的IXU尺寸的S⑶尺寸的至少一個候選中選擇要設(shè)置的S⑶尺寸。
[0236]接下來，⑶設(shè)置部分112b在增強(qiáng)層中利用在步驟S113中選定的IXU尺寸而設(shè)置IXU(步驟S115b)。然后，⑶設(shè)置部分112b生成指示選定的IXU尺寸和S⑶尺寸的參數(shù)(步驟S116)。在本文中，所生成的參數(shù)由無損編碼部分16編碼并且插入到例如SPS中。
[0237]從每個LCU分塊成CU可以根據(jù)正交變換、幀內(nèi)預(yù)測和幀間預(yù)測的結(jié)果來確定?；谟蒀U設(shè)置部分112b選擇的LCU尺寸和SCU尺寸，無損編碼部分16b生成指示分塊的劃分標(biāo)記(步驟SI 17)。
[0238][3-2.正交變換過程]
[0239](I)第一個例子
[0240]圖16A是示出在編碼時(shí)增強(qiáng)層中正交變換過程流的第一個例子的流程圖。圖16A中所示的正交變換過程是根據(jù)參考圖5A所述設(shè)置TU尺寸的第一種方法的過程。
[0241]參考圖16A，用于增強(qiáng)層的正交變換部分14b的變換控制部分121b首先從公共存儲器2獲取指示在基礎(chǔ)層中設(shè)置的DCT尺寸的DCT尺寸信息(步驟S120)。接下來，變換控制部分121b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S121)。
[0242]接下來，通過用縮放比乘以由DCT尺寸信息指示的DCT尺寸，變換控制部分121b確定性地確定增強(qiáng)層中對應(yīng)于基礎(chǔ)層中變換塊的TU的尺寸(步驟S122a)。變換控制部分121b利用所確定的TU尺寸在增強(qiáng)層中設(shè)置TU。
[0243]接下來，4X4變換部分122b、8X8變換部分123b、16X 16變換部分124b和32X32變換部分125b中對應(yīng)于在步驟S122a中確定的TU尺寸的變換部分對由變換控制部分121b設(shè)置的TU執(zhí)行正交變換(步驟S123a)。然后，這個變換部分把作為正交變換的結(jié)果所獲得的變換系數(shù)數(shù)據(jù)輸出到量化部分15(步驟S125a)。
[0244](2)第二個例子
[0245]圖16B是示出在編碼時(shí)增強(qiáng)層中的正交變換過程流的第二個例子的流程圖。圖16B中所示的正交變換過程是根據(jù)參考圖5B所述的設(shè)置TU尺寸的第二種方法的過程。
[0246]參考圖16B，用于增強(qiáng)層的正交變換部分14b的變換控制部分121b首先從公共存儲器2獲取指示在基礎(chǔ)層中設(shè)置的DCT尺寸的DCT尺寸信息(步驟S120)。接下來，變換控制部分121b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S121)。
[0247]接下來，利用DCT尺寸與縮放比之積作為參考，變換控制部分121b確定增強(qiáng)層中對應(yīng)于基礎(chǔ)層中變換塊的TU的TU尺寸的至少一個候選(步驟S122b)。然后，變換控制部分121b利用被確定為是增強(qiáng)層中候選的TU尺寸來設(shè)置TU。
[0248]接下來，4X4變換部分122b、8X8變換部分123b、16X 16變換部分124b和32X32變換部分125b中對應(yīng)于在步驟S122b中確定的TU尺寸的變換部分對TU尺寸的每個候選執(zhí)行正交變換(步驟S123b)。
[0249]接下來，通過比較作為正交變換的結(jié)果獲得的變換系數(shù)數(shù)據(jù)，尺寸確定部分126b從TU尺寸的至少一個候選中確定最優(yōu)TU尺寸(步驟S124)。然后，尺寸確定部分126b把對應(yīng)于最優(yōu)TU尺寸的變換系數(shù)數(shù)據(jù)輸出到量化部分15 (步驟S125b)。然后，尺寸確定部分126b生成指示最優(yōu)TU尺寸的參數(shù)并且把生成的參數(shù)輸出到無損編碼部分16b和逆正交變換部分22b (步驟126)。
[0250][3-3.幀內(nèi)預(yù)測過程]
[0251](I)第一個例子
[0252]圖17A是示出在編碼時(shí)增強(qiáng)層中的幀內(nèi)預(yù)測過程流的第一個例子的流程圖。圖17A中所示的幀內(nèi)預(yù)測過程是根據(jù)參考圖6A所述設(shè)置尺寸的第一種方法的過程。
[0253]參考圖17A，用于增強(qiáng)層的幀內(nèi)預(yù)測部分30b的預(yù)測控制部分131b首先從公共存儲器2獲取指示在基礎(chǔ)層中設(shè)置的預(yù)測塊尺寸的預(yù)測塊尺寸信息(步驟S130)。接下來，預(yù)測控制部分131b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S131)。
[0254]接下來，通過用縮放比乘以由預(yù)測塊尺寸信息指示的預(yù)測塊尺寸，預(yù)測控制部分131b確定性地確定增強(qiáng)層中對應(yīng)于基礎(chǔ)層中預(yù)測塊的PU的尺寸(步驟S132a)。預(yù)測控制部分131b利用所確定的尺寸在增強(qiáng)層中設(shè)置W。
[0255]接下來，預(yù)測部分132b在各種預(yù)測模式下對由預(yù)測控制部分131b設(shè)置的PU執(zhí)行幀內(nèi)預(yù)測(步驟S133a)。接下來，通過比較從預(yù)測部分132b輸入的預(yù)測的圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分133b選擇最優(yōu)預(yù)測模式(步驟S134a)。
[0256]然后，模式確定部分133b生成指示選定的最優(yōu)預(yù)測模式的預(yù)測模式信息(步驟S136)。模式確定部分133b把關(guān)于幀內(nèi)預(yù)測的信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)輸出到選擇器27。
[0257](2)第二個例子
[0258]圖17B是示出在編碼時(shí)增強(qiáng)層中的幀內(nèi)預(yù)測過程流的第二個例子的流程圖。圖17B中所示的幀內(nèi)預(yù)測過程是根據(jù)參考圖6B所述設(shè)置尺寸的第二種方法的過程。
[0259]參考圖17B，用于增強(qiáng)層的幀內(nèi)預(yù)測部分30b的預(yù)測控制部分131b首先從公共存儲器2獲取指示在基礎(chǔ)層中設(shè)置的預(yù)測塊尺寸的預(yù)測塊尺寸信息(步驟S130)。接下來，預(yù)測控制部分131b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S131)。
[0260]接下來，利用預(yù)測塊尺寸與縮放比之積作為參考，預(yù)測控制部分131b確定增強(qiáng)層中對應(yīng)于基礎(chǔ)層中預(yù)測塊的PU的尺寸的至少一個候選(步驟S132b)。預(yù)測控制部分131b利用被確定為增強(qiáng)層中候選的尺寸來設(shè)置W。
[0261 ] 接下來，預(yù)測部分132b在各種預(yù)測模式下對具有作為候選的尺寸的每個執(zhí)行幀內(nèi)預(yù)測(步驟S133b)。接下來，通過比較從預(yù)測部分132b輸入的預(yù)測的圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分133b選擇最優(yōu)PU尺寸和預(yù)測模式(步驟S134b)。
[0262]然后，模式確定部分133b生成指示選定的最優(yōu)PU尺寸的參數(shù)(步驟S135b)。模式確定部分133b生成指示最優(yōu)預(yù)測模式的預(yù)測模式信息(步驟S136)。模式確定部分133b把關(guān)于幀內(nèi)預(yù)測的信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)輸出到選擇器27。
[0263][3-4.幀間預(yù)測過程]
[0264](I)第一個例子
[0265]圖18A是示出在編碼時(shí)增強(qiáng)層中的幀間預(yù)測過程流的第一個例子的流程圖。圖18A中所示的幀間預(yù)測過程是根據(jù)參考圖6A所述設(shè)置尺寸的第一種方法的過程。
[0266]參考圖18A，用于增強(qiáng)層的幀間預(yù)測部分40b的預(yù)測控制部分141b首先從公共存儲器2獲取指示在基礎(chǔ)層中設(shè)置的預(yù)測塊尺寸的預(yù)測塊尺寸信息(步驟S140a)。接下來，預(yù)測控制部分141b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S141)。
[0267]接下來，通過用縮放比乘以由預(yù)測塊尺寸信息指示的預(yù)測塊尺寸，預(yù)測控制部分141b確定性地確定增強(qiáng)層中對應(yīng)于基礎(chǔ)層中預(yù)測塊的PU的尺寸(步驟S142a)。預(yù)測控制部分141b利用所確定的尺寸在增強(qiáng)層中設(shè)置W。
[0268]接下來，預(yù)測部分142b在各種預(yù)測模式下對由預(yù)測控制部分141b設(shè)置的PU執(zhí)行幀間預(yù)測(步驟S143a)。接下來，通過比較從預(yù)測部分142b輸入的預(yù)測的圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分143b選擇最優(yōu)預(yù)測模式(步驟S144a)。
[0269]然后，模式確定部分143b生成指示選定的最優(yōu)預(yù)測模式的運(yùn)動信息和預(yù)測模式信息(步驟S146)。模式確定部分143b把關(guān)于幀間預(yù)測的信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)輸出到選擇器27。
[0270](2)第二個例子
[0271]圖18B是示出在編碼時(shí)增強(qiáng)層中的幀間預(yù)測過程流的第二個例子的流程圖。圖18B中所示的幀內(nèi)預(yù)測過程是根據(jù)參考圖7B所述設(shè)置尺寸的第三種方法的過程。
[0272]參考圖18B，用于增強(qiáng)層的幀間預(yù)測部分40b的預(yù)測控制部分141b首先從公共存儲器2獲取指示是否使用在基礎(chǔ)層中分成子塊的子宏塊類型(步驟S140b)。接下來，預(yù)測控制部分141b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S141)。
[0273]接下來，參考子宏塊類型，根據(jù)是否使用在基礎(chǔ)層中的預(yù)測塊中分成子塊，預(yù)測控制部分141b確定增強(qiáng)層中對應(yīng)于基礎(chǔ)層中預(yù)測塊的的PU尺寸的至少一個候選(步驟S142b)。預(yù)測控制部分141b利用被確定為增強(qiáng)層中候選的尺寸來設(shè)置W。
[0274]接下來，預(yù)測部分142b在各種預(yù)測模式下對具有作為候選的尺寸的每個執(zhí)行幀間預(yù)測(步驟S143b)。接下來，通過比較從預(yù)測部分142b輸入的預(yù)測的圖像數(shù)據(jù)與原始圖像數(shù)據(jù)，模式確定部分143b選擇最優(yōu)PU尺寸和預(yù)測模式(步驟S144b)。
[0275]然后，模式確定部分143b生成指示選定的最優(yōu)I3U尺寸的參數(shù)(步驟S145b)。模式確定部分143b生成指示最優(yōu)預(yù)測模式的運(yùn)動信息和預(yù)測模式信息(步驟S146)。模式確定部分143b把關(guān)于幀間預(yù)測的信息、成本函數(shù)值和預(yù)測的圖像數(shù)據(jù)輸出到選擇器27。
[0276]<4.根據(jù)實(shí)施例的解碼部分的配置例子〉
[0277][4-1.整體配置]
[0278]圖19是說明圖9中所示第一解碼部分6a和第二解碼部分6b的配置例子的框圖。參考圖19，第一解碼部分6a包括無損解碼部分61a、塊設(shè)置部分62a、逆量化部分63、逆正交變換部分64a、加法部分65、解塊過濾器66、排序緩沖區(qū)67、D/A (數(shù)-模)變換部分68、幀存儲器69、選擇器70和71、幀內(nèi)預(yù)測部分80a以及幀間預(yù)測部分90a。代替無損解碼部分61a、塊設(shè)置部分62a、逆正交變換部分64a、幀內(nèi)預(yù)測部分80a和幀間預(yù)測部分90a，第二解碼部分6b包括無損解碼部分61b、塊設(shè)置部分62b、逆正交變換部分64b、幀內(nèi)預(yù)測部分80b以及幀間預(yù)測部分90b。
[0279]無損解碼部分61a根據(jù)在編碼時(shí)使用的編碼方案解碼經(jīng)傳輸路徑輸入的基礎(chǔ)層的編碼流，以生成基礎(chǔ)層的量化數(shù)據(jù)。無損解碼部分61a解碼在編碼流的首部區(qū)域中多路復(fù)用的信息。被無損解碼部分61a解碼的信息可以包括，例如，DCT尺寸信息、關(guān)于幀內(nèi)預(yù)測的信息，以及關(guān)于幀間預(yù)測的信息。
[0280]無損解碼部分61b根據(jù)在編碼時(shí)使用的編碼方案解碼經(jīng)傳輸路徑輸入的增強(qiáng)層的編碼流，以生成增強(qiáng)層的量化數(shù)據(jù)。無損解碼部分61b解碼在編碼流的首部區(qū)域中多路復(fù)用的信息。被無損解碼部分61b解碼的信息可以包括，例如，縮放比、塊尺寸信息、劃分標(biāo)記、關(guān)于幀內(nèi)預(yù)測的信息，以及關(guān)于幀間預(yù)測的信息。
[0281]塊設(shè)置部分62a利用固定的尺寸在基礎(chǔ)層中設(shè)置宏塊。對于設(shè)置的每個宏塊，塊設(shè)置部分62a都把量化的數(shù)據(jù)輸出到逆量化部分63、把關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部分80a，并且把關(guān)于幀間預(yù)測的信息輸出到幀間預(yù)測部分90a。宏塊尺寸事先由公共存儲器7存儲。
[0282]塊設(shè)置部分62b根據(jù)由塊設(shè)置部分62a設(shè)置的宏塊尺寸在增強(qiáng)層中設(shè)置⑶。更具體而言，通過根據(jù)IXU尺寸、SCT尺寸以及劃分標(biāo)記對IXU執(zhí)行遞歸分塊,塊設(shè)置部分62b首先在增強(qiáng)層中設(shè)置IXU并且在每個IXU中設(shè)置⑶。塊設(shè)置部分62b可以利用由公共存儲器7所存儲的縮放比和宏塊尺寸來確定LCU尺寸。SCU尺寸可以通過進(jìn)一步參考可以由公共存儲器7存儲的子宏塊尺寸來確定。對于所設(shè)置的每個LCU，塊設(shè)置部分62b都把量化的數(shù)據(jù)輸出到逆量化部分63、把關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部分80b，并且把關(guān)于幀間預(yù)測的信息輸出到幀間預(yù)測部分90b。
[0283]逆量化部分63對從塊設(shè)置部分62a或62b輸入的量化數(shù)據(jù)執(zhí)行逆量化，以生成變換系數(shù)數(shù)據(jù)。然后，逆量化部分63把生成的變換系數(shù)數(shù)據(jù)輸出到逆正交變換部分64a或64b ο
[0284]逆正交變換部分64a根據(jù)由無損解碼部分61a解碼的DCT尺寸信息在宏塊中設(shè)置變換塊并且對從逆量化部分63輸入的基礎(chǔ)層的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換。由逆正交變換部分64a執(zhí)行的逆正交變換可以是例如，逆離散余弦變換(逆DCT)。DCT尺寸是8X8像素或4X4像素。逆正交變換部分64a把通過逆正交變換過程為每個變換塊獲取的預(yù)測的誤差數(shù)據(jù)輸出到加法部分65。逆正交變換部分64a使公共存儲器7緩沖指示所設(shè)置的每個變換塊的尺寸的DCT尺寸信息。
[0285]逆正交變換部分64b在由塊設(shè)置部分62b設(shè)置的每個⑶中設(shè)置TU并且對從逆量化部分63輸入的增強(qiáng)層的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換。由逆正交變換部分64b執(zhí)行的逆正交變換也可以是，例如，逆DCT。由逆正交變換部分64b設(shè)置的TU的尺寸是32X32像素、16 X 16像素、8 X 8像素或4 X 4像素。逆正交變換部分64b可以利用由公共存儲器7存儲的縮放比以及基礎(chǔ)層的DCT尺寸信息來確定要在增強(qiáng)層中設(shè)置的TU尺寸。逆正交變換部分64b把通過正交變換過程為每個TU獲取的變換系數(shù)數(shù)據(jù)輸出到加法部分65。
[0286]加法部分65把從逆正交變換部分64a或64b輸入的預(yù)測的誤差數(shù)據(jù)和從選擇器71輸入的預(yù)測的圖像數(shù)據(jù)相加，由此生成解碼的圖像數(shù)據(jù)。然后，加法部分65把生成的解碼的圖像數(shù)據(jù)輸出到解塊過濾器66和幀存儲器69。
[0287]解塊過濾器66通過過濾從加法部分65輸入的解碼的圖像數(shù)據(jù)來除去塊變形，并且把過濾之后解碼的圖像數(shù)據(jù)輸出到排序緩沖區(qū)67和幀存儲器69。
[0288]通過把從解塊過濾器66輸入的圖像排序，排序緩沖區(qū)67按時(shí)間序列生成一系列圖像數(shù)據(jù)。然后，排序緩沖區(qū)67把生成的圖像數(shù)據(jù)輸出到D/A轉(zhuǎn)換部分68。
[0289]D/A轉(zhuǎn)換部分68把從排序緩沖區(qū)67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換成模擬格式的圖像信號。然后，例如，通過把模擬信號輸出到連接到圖像解碼設(shè)備60的顯示器(未示出)，D/A轉(zhuǎn)換部分68使圖像顯示。
[0290]幀存儲器69利用存儲介質(zhì)存儲從加法部分65輸入的過濾之前解碼的圖像數(shù)據(jù)，以及從解塊過濾器66輸入的過濾之后解碼的圖像數(shù)據(jù)。
[0291]對于圖像中的每個塊，選擇器70在幀內(nèi)預(yù)測部分80a或80b與幀間預(yù)測部分90a或90b之間切換來自幀存儲器69的圖像數(shù)據(jù)的輸出目的地。例如，當(dāng)幀內(nèi)預(yù)測模式由解碼的參數(shù)指定時(shí)，選擇器70把從幀存儲器69提供的過濾之前解碼的圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出到幀內(nèi)預(yù)測部分80a或80b。當(dāng)指定了幀間預(yù)測模式時(shí)，選擇器70把從幀存儲器69提供的過濾之后解碼的圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出到幀間預(yù)測部分90a或90b。
[0292]基于關(guān)于從塊設(shè)置部分62a為每個宏塊輸入的幀內(nèi)預(yù)測的信息，通過執(zhí)行基礎(chǔ)層的幀內(nèi)預(yù)測過程，幀內(nèi)預(yù)測部分80a生成預(yù)測的圖像數(shù)據(jù)。例如，幀內(nèi)預(yù)測部分80a根據(jù)預(yù)測塊尺寸信息在宏塊中設(shè)置預(yù)測塊并且根據(jù)預(yù)測模式信息為所設(shè)置的每個預(yù)測塊執(zhí)行幀內(nèi)預(yù)測。由幀內(nèi)預(yù)測部分80a設(shè)置的預(yù)測塊的尺寸是16 X 16像素、8 X 8像素或4X4像素。幀內(nèi)預(yù)測部分80a把生成的基礎(chǔ)層的預(yù)測的圖像數(shù)據(jù)輸出到選擇器71。幀內(nèi)預(yù)測部分80a使公共存儲器7緩沖預(yù)測塊尺寸信息。
[0293]基于關(guān)于從塊設(shè)置部分62b為每個LCU輸入的幀內(nèi)預(yù)測的信息以及來自幀存儲器69的參考圖像數(shù)據(jù)，通過執(zhí)行增強(qiáng)層的幀內(nèi)預(yù)測過程，幀內(nèi)預(yù)測部分80b生成預(yù)測圖像數(shù)據(jù)。例如，幀內(nèi)預(yù)測部分80b在每個CU中設(shè)置PU并且根據(jù)預(yù)測模式信息為所設(shè)置的每個PU執(zhí)行幀內(nèi)預(yù)測。由幀內(nèi)預(yù)測部分80b設(shè)置的PU的尺寸是64X64像素、32X32像素、16X 16像素、8X8像素或4X4像素。幀內(nèi)預(yù)測部分80b可以利用由公共存儲器7存儲的縮放比以及基礎(chǔ)層的預(yù)測塊尺寸信息來確定要在增強(qiáng)層中設(shè)置的PU尺寸。幀內(nèi)預(yù)測部分80b把生成的增強(qiáng)層的預(yù)測的圖像數(shù)據(jù)輸出到選擇器71。
[0294]基于關(guān)于從塊設(shè)置部分62a為每個宏塊輸入的幀間預(yù)測的信息以及來自幀存儲器69的參考圖像數(shù)據(jù)，通過執(zhí)行基礎(chǔ)層的幀間預(yù)測過程，幀間預(yù)測部分90a生成預(yù)測圖像數(shù)據(jù)。例如，幀間預(yù)測部分90a根據(jù)預(yù)測塊尺寸信息在宏塊中設(shè)置預(yù)測塊并且利用運(yùn)動信息為所設(shè)置的每個預(yù)測塊執(zhí)行幀間預(yù)測(運(yùn)動補(bǔ)償)。由幀間預(yù)測部分90a設(shè)置的預(yù)測塊的尺寸是圖7A中所示7種尺寸之一。然后，幀間預(yù)測部分90a把生成的基礎(chǔ)層的預(yù)測圖像數(shù)據(jù)輸出到選擇器71。幀間預(yù)測部分90a使公共存儲器7緩沖預(yù)測塊尺寸信息。預(yù)測塊尺寸信息可以包括子宏塊類型。
[0295]基于關(guān)于從塊設(shè)備部分62b為每個LCU輸入的幀間預(yù)測的信息以及來自幀存儲器69的參考圖像數(shù)據(jù)，通過執(zhí)行增強(qiáng)層的幀間預(yù)測過程，幀間預(yù)測部分90b生成預(yù)測圖像數(shù)據(jù)。例如，幀間預(yù)測部分90b在每個CU中設(shè)置PU并且利用運(yùn)動信息為所設(shè)置的每個執(zhí)行幀間預(yù)測。幀間預(yù)測部分90b可以利用由公共存儲器7存儲的縮放比以及基礎(chǔ)層的預(yù)測塊尺寸來確定要在增強(qiáng)層中設(shè)置的PU尺寸。然后，幀間預(yù)測部分90b把生成的增強(qiáng)層的預(yù)測圖像數(shù)據(jù)輸出到選擇器71。
[0296]第一解碼部分6a對基礎(chǔ)層的圖像數(shù)據(jù)序列執(zhí)行這里所述的一系列解碼過程。第二解碼部分6b對增強(qiáng)層的圖像數(shù)據(jù)序列執(zhí)行這里所述的一系列解碼過程。當(dāng)存在多個增強(qiáng)層時(shí)，增強(qiáng)層的解碼過程可以重復(fù)與增強(qiáng)層數(shù)一樣多的次數(shù)。
[0297][4-2.塊設(shè)置部分的詳細(xì)配置]
[0298]圖20是不出圖19所不塊設(shè)置部分62a和62b的詳細(xì)配置例子的框圖。參考圖20,塊設(shè)置部分62a包括設(shè)置控制部分161a和宏塊設(shè)置部分162a。塊設(shè)置部分62b包括設(shè)置控制部分161b、尺寸設(shè)置部分162b以及⑶設(shè)置部分163b。
[0299](I)基礎(chǔ)層的塊設(shè)置過程
[0300]塊設(shè)置部分62a的設(shè)置控制部分161a獲取事先由公共存儲器7存儲的固定的宏塊尺寸并且指示宏塊設(shè)置部分162a利用所獲取的尺寸設(shè)置宏塊。
[0301]響應(yīng)于來自設(shè)置控制部分161a的指令，宏塊設(shè)置部分162a在基礎(chǔ)層中設(shè)置至少一個宏塊。然后，對于所設(shè)置的每個宏塊，宏塊設(shè)置部分162a把量化數(shù)據(jù)輸出到逆量化部分63、把關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部分80a，并且把關(guān)于幀間預(yù)測的信息輸出到中貞間預(yù)測部分90a。
[0302](2)增強(qiáng)層的塊設(shè)置過程
[0303]塊設(shè)置部分62b的設(shè)置控制部分161b獲取由公共存儲器7存儲的宏塊尺寸以及基礎(chǔ)層與增強(qiáng)層之間的縮放比?？s放比可以由無損解碼部分61b解碼的參數(shù)直接指示或者可以從兩層的分辨率數(shù)據(jù)計(jì)算。然后，設(shè)置控制部分161b指示尺寸設(shè)置部分162b設(shè)置利用宏塊尺寸和縮放比確定的LCU尺寸和SCU尺寸。
[0304]響應(yīng)于來自設(shè)置控制部分161b的指令，尺寸設(shè)置部分162b在增強(qiáng)層中設(shè)置IXU尺寸和S⑶尺寸。通過根據(jù)參考圖3A所述的第一種方法用縮放比乘以宏塊尺寸，尺寸設(shè)置部分162b可以確定性地確定宏塊尺寸。作為替代，尺寸設(shè)置部分162b可以根據(jù)參考圖3B所述的第二種方法利用宏塊與縮放比之積作為參考來縮小尺寸的候選，然后參考由無損解碼部分61b解碼的IXU尺寸信息來選擇IXU尺寸。
[0305]根據(jù)參考圖4A所述的第一種方法通過用可縮放比乘以事先由公共存儲器7存儲的子宏塊尺寸，尺寸設(shè)置部分162b可以確定性地確定S⑶尺寸。作為替代，尺寸設(shè)置部分162b可以根據(jù)參考圖4B所述的第二種方法，參考由無損解碼部分61b解碼的SCU尺寸信息，從等于或小于LCU尺寸的多個尺寸候選中選擇SCU尺寸。
[0306]通過根據(jù)由尺寸設(shè)置部分162b設(shè)置的IXU尺寸和S⑶尺寸以及由無損解碼部分61b解碼的劃分標(biāo)記來執(zhí)行對IXU的遞歸分塊，⑶設(shè)置部分163b在每個IXU中設(shè)置⑶。然后，對于每個LCU，CU設(shè)置部分163b把量化數(shù)據(jù)輸出到逆量化部分63并且把關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部分80b，并且把關(guān)于幀間預(yù)測的信息輸出到幀間預(yù)測部分90b。
[0307][4-3.逆正交變換部分的詳細(xì)配置]
[0308]圖21是示出圖19所示逆正交變換部分64a和64b的詳細(xì)配置例子的框圖。參考圖21，逆正交變換部分64a包括變換控制部分171a、4X4變換部分172a，及8 X 8變換部分173a。逆正交變換部分64b包括變換控制部分171b、4X4變換部分172b、8X8變換部分173b、16 X 16變換部分174b，及32X32變換部分175b。
[0309](I)基礎(chǔ)層的逆正交變換過程
[0310]逆正交變換部分64a的變換控制部分171a利用由無損解碼部分61a解碼的DCT尺寸信息所指示的DCT尺寸在宏塊中設(shè)置變換快。變換控制部分171a使4X4變換部分172a和8X8變換部分173a之間對應(yīng)于所設(shè)置的DCT尺寸的變換部分對從逆量化部分63輸入的基礎(chǔ)層的變換系統(tǒng)數(shù)據(jù)執(zhí)行逆正交變換。變換控制部分171a使公共存儲器7緩沖指示每個變換塊的尺寸的DCT尺寸信息。
[0311]當(dāng)設(shè)置具有4X4像素尺寸的變換塊時(shí)，4X4變換部分172a對這個變換塊的變換系數(shù)數(shù)據(jù)執(zhí)行4X4像素的2維逆DCT。然后，4X4變換部分172a把預(yù)測誤差數(shù)據(jù)輸出到加法部分65。當(dāng)設(shè)置具有8X8像素尺寸的變換塊時(shí)，8 X 8變換部分173a對這個變換塊的變換系數(shù)數(shù)據(jù)執(zhí)行8X8像素的2維逆DCT。然后，8X8變換部分173a把預(yù)測誤差數(shù)據(jù)輸出到加法部分65。
[0312](2)增強(qiáng)層的逆正交變換過程
[0313]逆正交變換部分64b的變換控制部分171b獲取由公共存儲器7所存儲的縮放比和DCT尺寸信息。變換控制部分171b利用通過DCT尺寸和縮放比確定的尺寸在增強(qiáng)層的每個⑶中設(shè)置TU。
[0314]例如，通過根據(jù)參考圖5A所述的第一種方法用縮放比乘以DCT尺寸，變換控制部分171b可以確定性地確定TU尺寸。作為替代，變換控制部分171b可以根據(jù)參考圖5B所述的第二種方法，利用DCT尺寸和縮放比之積作為參考來縮小尺寸的候選，然后可以參考由無損解碼部分61b解碼的TU尺寸信息來選擇TU尺寸。變換控制部分171b使4X4變換部分172b、8X8變換部分173b、16X 16變換部分174b和32X32變換部分175b當(dāng)中對應(yīng)于所設(shè)置的TU尺寸的變換部分，對從逆量化部分63輸入的增強(qiáng)層的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換。
[0315]當(dāng)設(shè)置具有4X4像素尺寸的TU時(shí)，4X4變換部分172b對這個TU的變換系統(tǒng)數(shù)據(jù)執(zhí)行4X4像素的2維逆DCT。然后，4X4變換部分172b把預(yù)測的誤差數(shù)據(jù)輸出到加法部分65。當(dāng)設(shè)置具有8X8像素尺寸的TU時(shí)，8X8變換部分173b對這個TU的變換系統(tǒng)數(shù)據(jù)執(zhí)行8X8像素的2維逆DCT。然后，8X8變換部分173b把預(yù)測的誤差數(shù)據(jù)輸出到加法部分65。當(dāng)設(shè)置具有16X 16像素尺寸的TU時(shí)，16X16變換部分174b對這個TU的變換系統(tǒng)數(shù)據(jù)執(zhí)行16X 16像素的2維逆DCT。然后，16X16變換部分174b把預(yù)測的誤差數(shù)據(jù)輸出到加法部分65。當(dāng)設(shè)置具有32X32像素尺寸的TU時(shí)，32 X 32變換部分175b對這個TU的變換系統(tǒng)數(shù)據(jù)執(zhí)行32X32像素的2維逆DCT。然后，32 X 32變換部分175b把預(yù)測誤差數(shù)據(jù)輸出到加法部分65。
[0316][4-4.幀內(nèi)預(yù)測部分的詳細(xì)配置]
[0317]圖22是說明圖19所示幀內(nèi)預(yù)測部分80a和80b的詳細(xì)配置例子的框圖。參考圖22，幀內(nèi)預(yù)測部分80a包括預(yù)測控制部分181a、模式獲取部分182a，及預(yù)測部分183a。幀內(nèi)預(yù)測部分80b包括預(yù)測控制部分181b、模式獲取部分182b，及預(yù)測部分183b。
[0318](I)基礎(chǔ)層的幀內(nèi)預(yù)測過程
[0319]幀內(nèi)預(yù)測部分80a的預(yù)測控制部分181a控制基礎(chǔ)層的幀內(nèi)預(yù)測過程。更具體而言，預(yù)測控制部分181a利用由無損解碼部分61a解碼的預(yù)測塊尺寸信息所指示的尺寸在宏塊中設(shè)置預(yù)測塊。模式獲取部分182a獲取由無損解碼部分61a解碼的預(yù)測模式信息。預(yù)測控制部分181a使預(yù)測部分183a在由預(yù)測模式信息指示的預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測。預(yù)測控制部分181a使公共存儲器7緩沖指示每個預(yù)測塊的尺寸的預(yù)測塊尺寸信息。
[0320]在預(yù)測模式信息指示的預(yù)測模式下，對于預(yù)測控制部分181a設(shè)置的每個預(yù)測塊，預(yù)測部分183a利用從幀存儲器69輸入的解碼的圖像數(shù)據(jù)生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分183a把生成的預(yù)測圖像數(shù)據(jù)輸出到加法部分65。
[0321](2)增強(qiáng)層的幀內(nèi)預(yù)測過程
[0322]幀內(nèi)預(yù)測部分80b的預(yù)測控制部分181b控制增強(qiáng)層的幀內(nèi)預(yù)測過程。更具體而言，預(yù)測控制部分181b在增強(qiáng)層的每個CU中設(shè)置PU。預(yù)測控制部分181b獲取由公共存儲器7存儲的縮放比以及基礎(chǔ)層的預(yù)測塊尺寸信息，以確定PU尺寸。預(yù)測控制部分181b利用預(yù)測塊尺寸和縮放比來確定要設(shè)置的PU尺寸。
[0323]例如，通過根據(jù)參考圖6A所述的第一種方法，用縮放比乘以預(yù)測塊尺寸，預(yù)測控制部分181b可以確定性地確定PU尺寸。作為替代，預(yù)測控制部分181b可以根據(jù)參考圖6B所述的第二種方法，利用預(yù)測塊尺寸和縮放比之積作為參考來縮小尺寸的候選范圍，然后可以參考由無損解碼部分61b解碼的PU尺寸信息來選擇尺寸。
[0324]模式獲取部分182b獲取由無損解碼部分61b解碼的預(yù)測模式信息。在預(yù)測模式信息指示的預(yù)測模式下，對于由預(yù)測控制部分181b設(shè)置的每個PU，預(yù)測部分183b利用從幀存儲器69輸入的解碼的圖像數(shù)據(jù)生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分183b把生成的預(yù)測圖像數(shù)據(jù)輸出到加法部分65。
[0325][4-5.幀間預(yù)測部分的詳細(xì)配置]
[0326]圖23是說明圖19所示幀間預(yù)測部分90a和90b的詳細(xì)配置例子的框圖。參考圖23，幀間預(yù)測部分90a包括預(yù)測控制部分191a、信息獲取部分192a，及預(yù)測部分193a。幀間預(yù)測部分90b包括預(yù)測控制部分191b、信息獲取部分192b，及預(yù)測部分193b。
[0327](I)基礎(chǔ)層的幀間預(yù)測過程
[0328]幀間預(yù)測部分90a的預(yù)測控制部分191a控制基礎(chǔ)層的幀間預(yù)測過程。更具體而言，預(yù)測控制部分191a利用由無損解碼部分61a解碼的預(yù)測塊尺寸信息所指示的尺寸在宏塊中設(shè)置預(yù)測塊。信息獲取部分192a獲取由無損解碼部分61a解碼的預(yù)測模式信息和運(yùn)動信息。預(yù)測控制部分191a使預(yù)測部分193a在由預(yù)測模式信息指示的預(yù)測模式下執(zhí)行幀間預(yù)測。預(yù)測控制部分191a使公共存儲器7緩沖指示每個預(yù)測塊的尺寸的預(yù)測塊尺寸信息(可以包括子宏塊類型)。
[0329]在由預(yù)測模式信息指示的預(yù)測模式下，對于由預(yù)測控制部分191a設(shè)置的每個預(yù)測塊，預(yù)測部分193a利用從幀存儲器69輸入的運(yùn)動信息和解碼的圖像數(shù)據(jù)來生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分193a把生成的預(yù)測圖像數(shù)據(jù)輸出到加法部分65。
[0330](2)增強(qiáng)層的幀間預(yù)測過程
[0331]幀間預(yù)測部分90b的預(yù)測控制部分191b控制增強(qiáng)層的幀間預(yù)測過程。更具體而言，預(yù)測控制部分191b在增強(qiáng)層的每個CU中設(shè)置PU。預(yù)測控制部分191b獲取由公共存儲器7存儲的縮放比以及基礎(chǔ)層的預(yù)測塊尺寸信息，以確定PU尺寸。預(yù)測控制部分191b利用預(yù)測塊尺寸和縮放比來確定要設(shè)置的PU尺寸。
[0332]例如，通過用縮放比乘以預(yù)測塊尺寸，預(yù)測控制部分191b可以確定性地確定PU尺寸。作為替代，預(yù)測控制部分191b可以利用預(yù)測塊尺寸與縮放比之積作為參考來縮小尺寸的候選，然后可以參考由無損解碼部分61b解碼的PU尺寸信息來選擇尺寸。關(guān)于基礎(chǔ)層中對應(yīng)的預(yù)測塊，預(yù)測控制部分191b可以根據(jù)子宏塊類型是否存在來縮小尺寸的候選范圍，然后可以參考由無損解碼部分61b解碼的PU尺寸信息來選擇尺寸。
[0333]信息獲取部分192b獲取由無損解碼部分61b解碼的運(yùn)動信息預(yù)測模式信息。根據(jù)參考圖像信息和包括在運(yùn)動信息中的運(yùn)動矢量信息，預(yù)測部分193b利用從幀存儲器69輸入的解碼的圖像數(shù)據(jù)生成預(yù)測的圖像數(shù)據(jù)。然后，預(yù)測部分193b把生成的預(yù)測圖像數(shù)據(jù)輸出到加法部分65。
[0334]<5.根據(jù)實(shí)施例在解碼時(shí)的過程流〉
[0335]接下來，將參考圖24A至27B描述根據(jù)實(shí)施例在解碼時(shí)的過程流。為了描述的簡潔，與本公開內(nèi)容中的技術(shù)不直接相關(guān)的過程的描述將被忽略。
[0336][5-1.塊設(shè)置過程]
[0337](I)第一個例子
[0338]圖24A是示出在解碼時(shí)增強(qiáng)層中塊設(shè)置過程流的第一個例子的流程圖。圖24A所示的塊設(shè)置過程是根據(jù)如參考圖3A所述的設(shè)置LCU尺寸的第一種方法和如參考圖4A所述的設(shè)置SCU尺寸的第一種方法的組合的過程。
[0339]參考圖24A，用于增強(qiáng)層的塊設(shè)置部分62b的設(shè)置控制部分161b首選獲取指示基礎(chǔ)層的宏塊尺寸和子宏塊尺寸的塊尺寸信息(步驟S160a)。接下來，設(shè)置控制部分161b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S161)。
[0340]接下來，通過用縮放比乘以由塊尺寸信息指示的宏塊尺寸，尺寸設(shè)置部分162b確定性地確定增強(qiáng)層的IXU尺寸(步驟S164a)。通過用縮放比乘以由塊尺寸信息指示的子宏塊尺寸，尺寸設(shè)置部分162b確定性地確定增強(qiáng)層的S⑶尺寸(步驟S166a)。在步驟S164a和166a中確定的LCU尺寸和SCU尺寸可以在增強(qiáng)層的每個序列中設(shè)置。
[0341]接下來，尺寸設(shè)置部分162b利用在步驟S164a中確定的IXU尺寸在增強(qiáng)層中設(shè)置IXU (步驟S167a)。然后，根據(jù)由尺寸設(shè)置部分162b設(shè)置的IXU尺寸和S⑶尺寸以及由無損解碼部分61b解碼的劃分標(biāo)記，通過對IXU執(zhí)行遞歸分塊，⑶設(shè)置部分163b在每個IXU中設(shè)置CU(步驟S168)。
[0342](2)第二個例子
[0343]圖24B是示出在解碼時(shí)增強(qiáng)層中塊設(shè)置過程流的第二個例子的流程圖。圖24B中所示的塊設(shè)置過程是根據(jù)如參考圖3B所述設(shè)置LCU尺寸的第二種方法和如參考圖4B所述設(shè)置S⑶尺寸的第二種方法的組合的過程。
[0344]參考圖24B，用于增強(qiáng)層的塊設(shè)置部分62b的設(shè)置控制部分161b首選獲取指示基礎(chǔ)層的宏塊尺寸的塊尺寸信息(步驟S160b)。接下來，設(shè)置控制部分161b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S161)。然后，設(shè)置控制部分161b獲取由無損解碼部分61b解碼的IXU尺寸和S⑶尺寸(步驟S162b)。
[0345]接下來，利用宏塊尺寸與縮放比之積作為參考，尺寸設(shè)置部分162b確定IXU尺寸的至少一個候選(步驟S163b)。接下來，尺寸設(shè)置部分162b從IXU尺寸的候選中選擇由無損解碼部分61b解碼的參數(shù)指定的LCU尺寸(步驟S164b)。然后，尺寸設(shè)置部分162b確定等于或小于選定的LCU尺寸的SCU尺寸的至少一個候選(步驟S165b)。接下來，尺寸設(shè)置部分162b從SCU尺寸的候選中選擇由無損解碼部分61b解碼的參數(shù)指定的SCU尺寸(步驟S166b)。在步驟S164b和步驟S166b中選定的LCU尺寸和SCU尺寸可以在增強(qiáng)層的每個序列中設(shè)置。
[0346]接下來，尺寸設(shè)置部分162b利用在步驟S164b中選定的IXU尺寸在增強(qiáng)層中設(shè)置IXU (步驟S167b)。然后，根據(jù)由尺寸設(shè)置部分162b設(shè)置的ICU尺寸和SCU尺寸以及由無損解碼部分61b解碼的劃分標(biāo)記，通過對IXU指向遞歸的分塊，⑶設(shè)置部分163b在每個LCU中設(shè)置CU(步驟S168)。
[0347][5-2.逆正交變換過程]
[0348](I)第一個例子
[0349]圖25A是示出在解碼時(shí)增強(qiáng)層中的逆正交變換過程流的第一個例子的流程圖。圖25A中所示的正交變換過程是根據(jù)參考圖5A所述設(shè)置TU尺寸的第一種方法的過程。
[0350]參考圖25A，用于增強(qiáng)層的逆正交變換部分64b的變換控制部分171b首先從公共存儲器7獲取指示基礎(chǔ)層的DCT尺寸的DCT尺寸信息(步驟S170)。接下來，變換控制部分171b獲取基礎(chǔ)層和增強(qiáng)層之間的縮放比(步驟S171)。
[0351]接下來，通過用縮放比乘以DCT尺寸，變換控制部分171b確定性地確定增強(qiáng)層的TU尺寸(步驟S174a)。然后，變換控制部分171b利用所確定的TU尺寸在增強(qiáng)層的每個CU中設(shè)置TU (步驟S175a)。
[0352]接下來，4X4變換部分172b、8X8變換部分173b、16X 16變換部分174b和32X32變換部分175b當(dāng)中對應(yīng)于由變換控制部分171b確定的TU尺寸的變換部分對所設(shè)置的TU執(zhí)行逆正交變換(步驟S176)。
[0353](2)第二個例子
[0354]圖25B是示出在解碼時(shí)增強(qiáng)層中的逆正交變換過程流的第二個例子的流程圖。圖25B中所示的正交變換過程是根據(jù)參考圖5B所述設(shè)置TU尺寸的第二種方法的過程。
[0355]參考圖25B，用于增強(qiáng)層的逆正交變換部分64b的變換控制部分171b首先從公共存儲器7獲取指示基礎(chǔ)層的DCT尺寸的DCT尺寸信息(步驟S170)。接下來，變換控制部分171b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S171)。然后，變換控制部分171b獲取由無損解碼部分61b解碼的TU尺寸信息(步驟S172)。
[0356]接下來，利用DCT尺寸與縮放比之積作為參考，變換控制部分171b確定TU尺寸的至少一個候選(步驟S173)。然后，變換控制部分171b從TU尺寸的候選中選擇由TU尺寸信息指定的TU尺寸(步驟S174b)。接下來，變換控制部分171b利用選定的TU尺寸在增強(qiáng)層的每個⑶中設(shè)置TU (步驟S175b)。
[0357]接下來，4X4變換部分172b、8X8變換部分173b、16X 16變換部分174b和32X32變換部分175b當(dāng)中對應(yīng)于由變換控制部分171b選擇的TU尺寸的變換部分對所設(shè)置的TU執(zhí)行逆正交變換(步驟S176)。
[0358][5-3.幀內(nèi)預(yù)測過程]
[0359](I)第一個例子
[0360]圖26A是示出在解碼時(shí)增強(qiáng)層中的幀內(nèi)預(yù)測過程流的第一個例子的流程圖。圖26A中所示的幀內(nèi)預(yù)測過程是根據(jù)參考圖6A所述設(shè)置尺寸的第一種方法的過程。
[0361]參考圖26A，用于增強(qiáng)層的幀內(nèi)預(yù)測部分80b的預(yù)測控制部分181b首先從公共存儲器7獲取指示基礎(chǔ)層的預(yù)測塊尺寸的預(yù)測塊尺寸信息(步驟S180)。接下來，預(yù)測控制部分181b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S181)。
[0362]接下來，通過用縮放比乘以預(yù)測塊尺寸，預(yù)測控制部分181b確定性地確定增強(qiáng)層的PU尺寸(步驟S184a)。然后，預(yù)測控制部分181b利用所確定的PU尺寸在增強(qiáng)層的每個CU中設(shè)置PU(步驟S185a)。
[0363]接下來，關(guān)于由預(yù)測控制部分181b設(shè)置的PU，模式獲取部分182b獲取由無損解碼部分61b解碼的預(yù)測模式信息(步驟S186)。然后，根據(jù)由預(yù)測模式信息指示的預(yù)測模式，預(yù)測部分183b對由預(yù)測控制部分181b設(shè)置的PU執(zhí)行幀內(nèi)預(yù)測(步驟S187)。
[0364](2)第二個例子
[0365]圖26B是示出在解碼時(shí)增強(qiáng)層中的幀內(nèi)預(yù)測過程流的第二個例子的流程圖。圖26B中所示的幀內(nèi)預(yù)測過程是根據(jù)參考圖6B所述設(shè)置尺寸的第二種方法的過程。
[0366]參考圖26B，用于增強(qiáng)層的幀內(nèi)預(yù)測部分80b的預(yù)測控制部分181b首先從公共存儲器7獲取指示基礎(chǔ)層的預(yù)測塊尺寸的預(yù)測塊尺寸信息(步驟S180)。接下來，預(yù)測控制部分181b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S181)。然后，預(yù)測控制部分181b獲取由無損解碼部分61b解碼的PU尺寸信息(步驟S182)。
[0367]接下來，利用預(yù)測塊尺寸與縮放比之積作為參考，預(yù)測控制部分181b確定PU尺寸的至少一個候選(步驟S183)。然后，預(yù)測控制部分181b從PU尺寸的候選中選擇由PU尺寸信息指定的PU尺寸(步驟S184b)。接下來，預(yù)測控制部分181b利用選定的PU尺寸在增強(qiáng)層的每個⑶中設(shè)置PU(步驟S185b)。
[0368]接下來，關(guān)于由預(yù)測控制部分181b設(shè)置的PU，模式獲取部分182b獲取由無損解碼部分61b解碼的預(yù)測模式信息(步驟S186)。然后，根據(jù)由預(yù)測模式信息指示的預(yù)測模式，預(yù)測部分183b對由預(yù)測控制部分181b設(shè)置的PU執(zhí)行幀內(nèi)預(yù)測(步驟S187)。
[0369][5-4.幀間預(yù)測過程]
[0370](I)第一個例子
[0371]圖27A是示出在解碼時(shí)增強(qiáng)層中的幀間預(yù)測過程流的第一個例子的流程圖。圖27A中所示的幀間預(yù)測過程是其中參考圖6A所述設(shè)置尺寸的第一種方法用于幀間預(yù)測的過程。
[0372]參考圖27A，用于增強(qiáng)層的幀間預(yù)測部分90b的預(yù)測控制部分191b首先從公共存儲器7獲取指示基礎(chǔ)層的預(yù)測塊尺寸的預(yù)測塊尺寸信息(步驟S190a)。接下來，預(yù)測控制部分191b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S191)。
[0373]接下來，通過用縮放比乘以預(yù)測塊尺寸，預(yù)測控制部分191b確定性地確定增強(qiáng)層的PU尺寸(步驟S194a)。然后，預(yù)測控制部分191b利用所確定的PU尺寸在增強(qiáng)層的每個CU中設(shè)置PU(步驟S195a)。
[0374]接下來，對于由預(yù)定控制部分191b設(shè)置的PU，信息獲取部分192b獲取由無損解碼部分61b解碼的預(yù)測模式信息和運(yùn)動信息(步驟S196)。然后，根據(jù)由預(yù)測模式信息指示的預(yù)測模式，預(yù)測部分193b利用運(yùn)動信息對由預(yù)測控制部分191b設(shè)置的PU執(zhí)行幀間預(yù)測(步驟 S197)。
[0375](2)第二個例子
[0376]圖27B是示出在解碼時(shí)增強(qiáng)層中的幀間預(yù)測過程流的第二個例子的流程圖。圖27B中所示的幀間預(yù)測過程是根據(jù)參考圖7B所述設(shè)置尺寸的第三種方法的過程。
[0377]參考圖27B，用于增強(qiáng)層的幀間預(yù)測部分90b的預(yù)測控制部分191b首先從公共存儲器7獲取包括在基礎(chǔ)層的對應(yīng)預(yù)測塊中指定的子宏塊類型在內(nèi)的預(yù)測塊尺寸信息(步驟S190b)。接下來，預(yù)測控制部分191b獲取基礎(chǔ)層與增強(qiáng)層之間的縮放比(步驟S191)。然后，預(yù)測控制部分191b獲取由無損解碼部分61b解碼的PU尺寸信息(步驟S192)。
[0378]接下來，參考子宏塊類型，預(yù)測控制部分191b確定PU尺寸的至少一個候選(步驟S193)。然后，預(yù)測控制部分191b從PU尺寸的候選中選擇由尺寸信息指定的尺寸(步驟S194b)。接下來，預(yù)測控制部分191b利用選定的尺寸在增強(qiáng)層的每個CU中設(shè)置PU (步驟 S195b)。
[0379]接下來，對于由預(yù)定控制部分191b設(shè)置的PU，信息獲取部分192b獲取由無損解碼部分61b解碼的預(yù)測模式信息和運(yùn)動信息(步驟S196)。然后，根據(jù)由預(yù)測模式信息指示的預(yù)測模式，預(yù)測部分193b利用運(yùn)動信息對由預(yù)測控制部分191b設(shè)置的PU執(zhí)行幀間預(yù)測(步驟 S197)。
[0380]<6.示例應(yīng)用>
[0381][6-1.對各種產(chǎn)品的應(yīng)用]
[0382]根據(jù)上述實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60可以應(yīng)用到各種電子用具，諸如用于衛(wèi)星廣播、諸如有線電視的有線廣播、在互聯(lián)網(wǎng)上分發(fā)的、經(jīng)蜂窩通信分發(fā)到終端等的發(fā)送器和接收器，在諸如光盤、磁盤或閃存存儲器之類的介質(zhì)中記錄圖像的記錄設(shè)備，從這種存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備，等等。以下將描述四個示例應(yīng)用。
[0383](I)第一個應(yīng)用例子
[0384]圖28是說明應(yīng)用上述實(shí)施例的電視機(jī)設(shè)備的示意性配置例子的圖。電視機(jī)設(shè)備900包括天線901、調(diào)諧器902、多路分解器903、解碼器904、視頻信號處理單元905、顯示器906、音頻信號處理單元907、揚(yáng)聲器908、外部接口 909、控制單元910、用戶接口 911以及總線 912。
[0385]調(diào)諧器902從通過天線901接收到的廣播信號提取期望頻道的信號并且解調(diào)提取出的信號。然后，調(diào)諧器902把通過解調(diào)獲得的編碼位流輸出到多路分解器903。S卩，在電視機(jī)設(shè)備900中，調(diào)諧器902具有作為接收圖像在其中編碼的編碼流的傳輸裝置的角色。
[0386]多路分解器903從編碼位流隔離要觀看的節(jié)目中的視頻流和音頻流并且把隔離出的每個流輸出到解碼器904。多路分解器903還從編碼位流提取諸如EPG(電子節(jié)目指南)的輔助數(shù)據(jù)并且把提取出的數(shù)據(jù)提供給控制單元910。在這里，在編碼位流被加擾時(shí)，多路分解器903可以對其解擾。
[0387]解碼器904解碼從多路分解器903輸入的視頻流和音頻流。然后，解碼器904把由解碼過程生成的視頻數(shù)據(jù)輸出到視頻信號處理單元905。此外，解碼器904把由解碼過程生成的音頻數(shù)據(jù)輸出到音頻信號處理單元907。
[0388]視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)并且在顯示器906上顯示該視頻。視頻信號處理單元905還可以在顯示器906上顯示通過網(wǎng)絡(luò)提供的應(yīng)用屏幕。視頻信號處理單元905還可以根據(jù)設(shè)置對視頻數(shù)據(jù)執(zhí)行諸如噪聲減小之類的附加過程。此夕卜，視頻信號處理單元905可以生成諸如菜單、按鈕或光標(biāo)之類的⑶1(圖形用戶接口)的圖像并且把生成的圖像疊加到輸出圖像上。
[0389]顯示器906利用從視頻信號處理單元905提供的驅(qū)動信號驅(qū)動并且在顯示設(shè)備(諸如液晶顯示器、等離子體顯示器或者OELD (有機(jī)電致發(fā)光顯示器))的視頻屏幕上顯示視頻或圖像。
[0390]音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如D/A轉(zhuǎn)換和放大之類的再現(xiàn)過程并且從揚(yáng)聲器908輸出音頻。音頻信號處理單元907還可以對音頻數(shù)據(jù)執(zhí)行諸如噪聲減小之類的附加過程。
[0391]外部接口 909是把電視機(jī)設(shè)備900與外部設(shè)備或網(wǎng)絡(luò)連接的接口。例如，解碼器904可以解碼通過外部接口 909接收到的視頻流或音頻流。這意味著，在電視機(jī)設(shè)備900中，外部接口 909也具有作為接收圖像在其中編碼的編碼流的傳輸裝置的角色。
[0392]控制單元910包括諸如中央處理單元(CPU)的處理器以及諸如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序、節(jié)目數(shù)據(jù)、EPG數(shù)據(jù)，以及通過網(wǎng)絡(luò)獲取的數(shù)據(jù)。例如，存儲在存儲器中的程序在電視機(jī)設(shè)備900啟動時(shí)被讀取，并且被執(zhí)行。例如，通過執(zhí)行程序，根據(jù)從用戶接口 911輸入的操作信號，CPU控制電視機(jī)設(shè)備900的操作。
[0393]用戶接口 911連接到控制單元910。例如，用戶接口 911包括讓用戶操作電視機(jī)設(shè)備900的按鈕和開關(guān)以及接收遙控信號的接收部分。用戶接口 911通過這些部件檢測用戶操作、生成操作信號并且把生成的操作信號輸出到控制單元910。
[0394]總線912把調(diào)諧器902、多路分解器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909以及控制單元910相互連接。
[0395]具有這種配置的電視機(jī)設(shè)備900中，解碼器904具有根據(jù)上述實(shí)施例的圖像解碼設(shè)備60的功能。因而，由于電視機(jī)設(shè)備900中圖像的多個編解碼器的可縮放解碼，通過采用在增強(qiáng)層中設(shè)置塊的改進(jìn)結(jié)構(gòu)，編碼效率可以提高。
[0396](2)第二個應(yīng)用例子
[0397]圖29是說明應(yīng)用上述實(shí)施例的移動電話的示意性配置例子的圖。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)單元926、圖像處理單元927、多路分解單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931、操作單元932，以及總線933。
[0398]天線921連接到通信單元922。揚(yáng)聲器924和麥克風(fēng)925連接到音頻編解碼器923。操作單元932連接到控制單元931?？偩€933把通信單元922、音頻編解碼器923、相機(jī)單元926、圖像處理單元927、多路分解單元928、記錄/再現(xiàn)單元929、顯示器930及控制單元931相互連接。
[0399]移動電話920執(zhí)行諸如以下的操作:發(fā)送/接收音頻信號、發(fā)送/接收電子郵件或圖像數(shù)據(jù)、把圖像成像，或者在包括音頻呼叫模式、數(shù)據(jù)通信模式、攝影模式和視頻電話模式的各種操作模式下記錄數(shù)據(jù)。
[0400]在音頻呼叫模式下，由麥克風(fēng)925生成的模擬音頻信號供給音頻編解碼器923。然后，音頻編解碼器923把模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù)、對轉(zhuǎn)換后的音頻數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，并且壓縮數(shù)據(jù)。其后，音頻編解碼器923把壓縮的音頻數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制音頻數(shù)據(jù)，以生成傳輸信號。然后，通信單元922把生成的傳輸信號通過天線921發(fā)送到基站(未示出)。此外，通信單元922放大通過天線921接收到的無線電信號、轉(zhuǎn)換信號的頻率，并且獲取接收信號。其后，通信單元922解調(diào)并解碼接收信號，以生成音頻數(shù)據(jù)并把生成的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923擴(kuò)大音頻數(shù)據(jù)、對數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換，并且生成模擬音頻信號。然后，音頻編解碼器923通過把生成的音頻信號供給揚(yáng)聲器924來輸出音頻。
[0401]在數(shù)據(jù)通信模式下，例如，根據(jù)通過操作單元932的用戶操作，控制單元931生成配置電子郵件的字符數(shù)據(jù)?？刂茊卧?31還在顯示器930上顯示字符。而且，控制單元931根據(jù)通過操作單元932來自用戶的傳輸指令生成電子郵件數(shù)據(jù)并且把生成的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制電子郵件數(shù)據(jù)，以生成傳輸信號。然后，通信單元922把生成的傳輸信號通過天線921發(fā)送到基站(未示出)。通信單元922還放大通過天線921接收到的無線電信號、轉(zhuǎn)換信號的頻率，并且獲取接收信號。其后，通信單元922解調(diào)并解碼接收信號、恢復(fù)電子郵件數(shù)據(jù)，并且把恢復(fù)后的電子郵件數(shù)據(jù)輸出到控制單元931?？刂茊卧?31在顯示器930上顯示電子郵件的內(nèi)容并且在記錄/再現(xiàn)單元929的存儲介質(zhì)中存儲電子郵件數(shù)據(jù)。
[0402]記錄/再現(xiàn)單元929包括可讀并且可寫的任意存儲介質(zhì)。例如，存儲介質(zhì)可以是內(nèi)置的存儲介質(zhì)，諸如RAM或閃存存儲器，或者可以是外部安裝的存儲介質(zhì)，諸如硬盤、磁盤、磁光盤、光盤、USB (未分配空間位圖)存儲器或存儲卡。
[0403]在攝影模式下，例如，相機(jī)單元926把對象成像、生成圖像數(shù)據(jù)，并且把生成的圖像數(shù)據(jù)輸出到圖像處理單元927。圖像處理單元927編碼從相機(jī)單元926輸入的圖像數(shù)據(jù)并且在存儲/再現(xiàn)單元929的存儲介質(zhì)中存儲編碼流。
[0404]在視頻電話模式下，例如，多路分解單元928多路復(fù)用由圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流，并且把多路復(fù)用的流輸出到通信單元922。通信單元922編碼并調(diào)制該流，以生成傳輸信號。通信單元922隨后把生成的傳輸信號通過天線921發(fā)送到基站(未示出)。而且，通信單元922放大通過天線921接收到的無線電信號、轉(zhuǎn)換信號的頻率，并且獲取接收信號。傳輸信號和接收信號可以包括編碼的位流。然后，通信單元922解調(diào)并解碼接收信號，以恢復(fù)該流，并且把恢復(fù)后的流輸出到多路分解單元928。多路分解單元928從輸入流隔離視頻流和音頻流并且把視頻流和音頻流分別輸出到圖像處理單元927和音頻編解碼器923。圖像處理單元927解碼視頻流，以生成視頻數(shù)據(jù)。然后，視頻數(shù)據(jù)被提供給顯示器930，該顯示器顯示一系列圖像。音頻編解碼器923擴(kuò)大音頻流并對其執(zhí)行D/A轉(zhuǎn)換，以生成模擬音頻信號。然后，音頻編解碼器923把生成的音頻信號供給揚(yáng)聲器924,以輸出音頻。
[0405]移動電話920中以上述方式配置的圖像處理單元927具有根據(jù)上述實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60的功能。因此，針對移動電話920進(jìn)行的圖像的多編解碼器可縮放視頻編碼和解碼，通過采用在增強(qiáng)層中設(shè)置塊的改進(jìn)系統(tǒng)，編碼效率可以提高。
[0406](3)第三個應(yīng)用例子
[0407]圖30是說明應(yīng)用上述實(shí)施例的記錄/再現(xiàn)設(shè)備940的示意性配置例子的圖。例如，記錄/再現(xiàn)設(shè)備940編碼接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)并且把數(shù)據(jù)記錄到記錄介質(zhì)中。例如，記錄/再現(xiàn)設(shè)備940還可以編碼從另一設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)并且把數(shù)據(jù)記錄到記錄介質(zhì)中。響應(yīng)于用戶指令，例如，記錄/再現(xiàn)設(shè)備940在監(jiān)視器和揚(yáng)聲器上再現(xiàn)記錄介質(zhì)中所記錄的數(shù)據(jù)。這個時(shí)候，記錄/再現(xiàn)設(shè)備940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。
[0408]記錄/再現(xiàn)設(shè)備940包括調(diào)諧器941、外部接口 942、編碼器943、HDD (硬盤驅(qū)動器)944、盤驅(qū)動器945、選擇器946、解碼器947、OSD (屏幕顯示)948、控制單元949，以及用戶接口 950。
[0409]調(diào)諧器941從通過天線(未示出)接收到的廣播信號提取期望頻道的信號并且解調(diào)提取出的信號。然后，調(diào)諧器941把通過解調(diào)獲得的編碼位流輸出到選擇器946。S卩，在記錄/再現(xiàn)設(shè)備940中，調(diào)諧器941具有作為傳輸裝置的角色。
[0410]外部接口 942是連接記錄/再現(xiàn)設(shè)備940與外部設(shè)備或網(wǎng)絡(luò)的接口。外部接口 942可以是，例如，IEEE 1394接口、網(wǎng)絡(luò)接口、USB接口，或閃存存儲器接口。例如，通過外部接口 942接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入到編碼器943。S卩，在記錄/再現(xiàn)設(shè)備940中，夕卜部接口 942具有作為傳輸裝置的角色。
[0411]當(dāng)從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未編碼時(shí)，編碼器943編碼視頻數(shù)據(jù)和音頻數(shù)據(jù)。其后，編碼器943把編碼位流輸出到選擇器946。
[0412]HDD 944把編碼位流、各種程序及其它數(shù)據(jù)記錄到內(nèi)部硬盤中，其中諸如視頻和音頻的內(nèi)容數(shù)據(jù)在編碼位流中壓縮。當(dāng)再現(xiàn)視頻和音頻時(shí)，HDD 944從硬盤讀取這些數(shù)據(jù)。
[0413]盤驅(qū)動器945把數(shù)據(jù)記錄到安裝到盤驅(qū)動器的記錄介質(zhì)/從該介質(zhì)讀取數(shù)據(jù)。安裝到盤驅(qū)動器945的記錄介質(zhì)可以是，例如，DVD盤(諸如DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R 或者 DVD+RW)或者 Blue_ray (注冊商標(biāo))盤。
[0414]當(dāng)記錄視頻和音頻時(shí)，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編碼位流，并且把選定的編碼位流輸出到HDD 944或盤驅(qū)動器945。另一方面，當(dāng)再現(xiàn)視頻和音頻時(shí)，選擇器946把從HDD 944或盤驅(qū)動器945輸入的編碼位流輸出到解碼器947。
[0415]解碼器947解碼編碼位流，以生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器947把生成的視頻數(shù)據(jù)輸出到OSD 948并把生成的音頻數(shù)據(jù)輸出到外部揚(yáng)聲器。
[0416]OSD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)并顯示該視頻。OSD 948還可以把諸如菜單、按鈕或光標(biāo)之類的⑶I的圖像疊加到所顯示的視頻上。
[0417]控制單元949包括諸如CPU的處理器以及諸如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序以及節(jié)目數(shù)據(jù)。例如，在記錄/再現(xiàn)設(shè)備940啟動時(shí)，存儲在存儲器中的程序被CPU讀取，并且被執(zhí)行。例如，通過執(zhí)行該程序，CPU根據(jù)從用戶接口 950輸入的操作信號控制記錄/再現(xiàn)設(shè)備940的操作。
[0418]用戶接口 950連接到控制單元949。例如，用戶接口 950包括讓用戶操作記錄/再現(xiàn)設(shè)備940的按鈕和開關(guān)以及接收遙控信號的接收部分。用戶接口 950通過這些部件檢測用戶操作、生成操作信號，并且把生成的操作信號輸出到控制單元949。
[0419]記錄/再現(xiàn)設(shè)備940中以上述方式配置的編碼器943具有根據(jù)上述實(shí)施例的圖像編碼設(shè)備10的功能。另一方面，解碼器947具有根據(jù)上述實(shí)施例的圖像解碼設(shè)備60的功能。因此，對于記錄/再現(xiàn)設(shè)備940進(jìn)行的圖像的多編解碼器可縮放視頻編碼和解碼，通過采用在增強(qiáng)層中設(shè)置塊的改進(jìn)系統(tǒng)，編碼效率可以提高。
[0420](4)第四種應(yīng)用例子
[0421]圖31示出應(yīng)用上述實(shí)施例的圖像捕捉設(shè)備的示意性配置的例子。成像設(shè)備960把對象成像、生成圖像、編碼圖像數(shù)據(jù)，并且把數(shù)據(jù)記錄到記錄介質(zhì)中。
[0422]成像設(shè)備960包括光學(xué)塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示器965、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、OSD 969、控制單元970、用戶接口 971，以及總線972。
[0423]光學(xué)塊961連接到成像單元962。成像單元962連接到信號處理單元963。顯示器965連接到圖像處理單元964。用戶接口 971連接到控制單元970?？偩€972把圖像處理單元964、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD 969和控制單元970相互連接。
[0424]光學(xué)塊961包括聚焦透鏡和光圈機(jī)制。光學(xué)塊961在成像單元962的成像表面上形成對象的光學(xué)圖像。成像單元962包括諸如CCD (電荷耦合設(shè)備)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的圖像傳感器并且執(zhí)行光電轉(zhuǎn)換，以便把在成像表面上形成的光學(xué)圖像轉(zhuǎn)換成作為電信號的圖像信號。隨后，成像單元962把圖像信號輸出到信號處理單元963。
[0425]信號處理單兀963對從成像單兀962輸入的圖像信號執(zhí)行各種相機(jī)信號處理,諸如膝關(guān)節(jié)校正、伽瑪校正和顏色校正。信號處理單元963把已經(jīng)對其執(zhí)行了相機(jī)信號處理的圖像數(shù)據(jù)輸出到圖像處理單元964。
[0426]圖形處理單元964編碼從信號處理單元963輸入的圖像數(shù)據(jù)并且生成編碼的數(shù)據(jù)。然后，圖像處理單元964把生成的編碼數(shù)據(jù)輸出到外部接口 966或介質(zhì)驅(qū)動器968。圖像處理單元964還解碼從外部接口 966或介質(zhì)驅(qū)動器968輸入的編碼數(shù)據(jù)，以生成圖像數(shù)據(jù)。然后，圖像處理單元964把生成的圖像數(shù)據(jù)輸出到顯示器965。而且，圖像處理單元964可以把從信號處理單元963輸入的圖像數(shù)據(jù)輸出到顯示器965，以顯示該圖像。此外，圖像處理單元964可以把從OSD 969獲取的顯示數(shù)據(jù)疊加到在顯示器965上輸出的圖像上。
[0427]OSD 969生成諸如菜單、按鈕或光標(biāo)之類的⑶I的圖像并且把生成的圖像輸出到圖像處理單元964。
[0428]例如，外部接口 966配置為USB輸入/輸出終端。例如，當(dāng)打印圖像時(shí)，外部接口966連接成像設(shè)備960和打印機(jī)。而且，驅(qū)動器根據(jù)需要連接到外部接口 966。諸如磁盤或光盤的移動介質(zhì)安裝到驅(qū)動器，例如，使得從移動介質(zhì)讀出的程序可以安裝到成像設(shè)備960。外部接口 966還可以配置為連接到諸如LAN或互聯(lián)網(wǎng)之類的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。S卩，成像設(shè)備960中，外部接口 966具有作為傳輸裝置的角色。
[0429]安裝到介質(zhì)驅(qū)動器968的記錄介質(zhì)可以是可讀并且可寫的任意移動介質(zhì)，諸如磁盤、磁光盤、光盤，或半導(dǎo)體存儲器。此外，例如，記錄介質(zhì)可以固定地安裝到介質(zhì)驅(qū)動器968，使得諸如內(nèi)置硬盤驅(qū)動器或SSD(固態(tài)驅(qū)動器)的不可移動存儲單元得以配置。
[0430]控制單元970包括諸如CPU的處理器以及諸如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序以及節(jié)目數(shù)據(jù)。在成像設(shè)備960啟動時(shí)，存儲在存儲器中的程序被CPU讀取，然后被執(zhí)行。例如，通過執(zhí)行該程序，CPU根據(jù)從用戶接口 971輸入的操作信號控制成像設(shè)備960的操作。
[0431]用戶接口 971連接到控制單元970。例如，用戶接口 971包括讓用戶操作成像設(shè)備960的按鈕和開關(guān)。用戶接口 971通過這些部件檢測用戶操作、生成操作信號并且把生成的操作信號輸出到控制單元970。
[0432]成像設(shè)備960中以上述方式配置的圖像處理單元964具有根據(jù)上述實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60的功能。因此，對于成像設(shè)備960進(jìn)行的圖像的多編解碼器可縮放視頻編碼和解碼，通過采用在增強(qiáng)層中設(shè)置塊的改進(jìn)系統(tǒng)，編碼效率可以提高。
[0433][6-2.可縮放視頻編碼的各種用途]
[0434]上述可縮放視頻編碼的優(yōu)點(diǎn)可以在各種用途中享有。以下將描述這些用途的例子。
[0435](I)第一個例子
[0436]第一個例子中，可縮放視頻編碼用于數(shù)據(jù)的選擇性傳輸。參考圖32，數(shù)據(jù)傳輸系統(tǒng)1000包括流存儲設(shè)備1001和輸送服務(wù)器1002。輸送服務(wù)器1002經(jīng)網(wǎng)絡(luò)1003連接到一些終端設(shè)備。網(wǎng)絡(luò)1003可以是有線網(wǎng)絡(luò)或無線網(wǎng)絡(luò)或者其組合。作為終端設(shè)備的例子，圖32示出了 PC (個人計(jì)算機(jī))1004、AV設(shè)備1005、平板設(shè)備1006，以及移動電話1007。
[0437]流存儲設(shè)備1001存儲例如流數(shù)據(jù)1011，包括圖像編碼設(shè)備10生成的多路復(fù)用的流。多路復(fù)用的流包括基礎(chǔ)層(BL)的編碼流和增強(qiáng)層(EL)的編碼流。輸送服務(wù)器1002讀取存儲在流存儲設(shè)備1001中的流數(shù)據(jù)1011并且把讀出的流數(shù)據(jù)1011的至少一部分經(jīng)網(wǎng)絡(luò)1003輸送到PC 1004、AV設(shè)備1005、平板設(shè)備1006以及移動電話1007。
[0438]當(dāng)流輸送到終端設(shè)備時(shí)，輸送服務(wù)器1002基于某種條件，諸如終端設(shè)備的能力或者通信環(huán)境，選擇要輸送的流。例如，通過不輸送具有超過可以被終端設(shè)備處理的圖像質(zhì)量的高圖像質(zhì)量的編碼流，輸送服務(wù)器1002可以避免終端設(shè)備中的延遲或者處理器的過流或過載的發(fā)生。通過不輸送具有高圖像質(zhì)量的編碼流，輸送服務(wù)器1002還可以避免網(wǎng)絡(luò)1003的通信頻帶的占用。另一方面，當(dāng)不存在要避免的風(fēng)險(xiǎn)、或者基于用戶的合同或某種條件被認(rèn)為合適時(shí)，輸送服務(wù)器1002可以把整個多路復(fù)用的流輸送到終端設(shè)備。
[0439]圖32的例子中，輸送服務(wù)器1002從流存儲設(shè)備1001讀取流數(shù)據(jù)1011。然后，輸送服務(wù)器1002把流數(shù)據(jù)1011直接輸送到具有高處理能力的PC 1004。因?yàn)锳V設(shè)備1005具有低處理能力，所以輸送服務(wù)器1002生成從流數(shù)據(jù)1011中提取出的、只包含基礎(chǔ)層的編碼流的流數(shù)據(jù)1012并且把流數(shù)據(jù)1012輸送到AV設(shè)備1005。輸送服務(wù)器1002把流數(shù)據(jù)1011直接輸送到能夠以高通信速率通信的平板設(shè)備1006。因?yàn)橐苿与娫?007可以以低通信速率通信，所以輸送服務(wù)器1002把只包含基礎(chǔ)層的編碼流的流數(shù)據(jù)1012輸送到移動電話 1007。
[0440]通過以這種方式使用多路復(fù)用的流，要發(fā)送流量的量可以適應(yīng)性地調(diào)節(jié)。當(dāng)與每層都獨(dú)立編碼時(shí)的情況相比時(shí)，流數(shù)據(jù)1011的代碼量減少，因此，即使整個流數(shù)據(jù)1011都輸送，網(wǎng)絡(luò)1003上的負(fù)載也可以減小。此外，節(jié)約了流存儲設(shè)備1001的存儲器資源。
[0441]終端設(shè)備的硬件性能每個設(shè)備都有所不同。此外，在終端設(shè)備上運(yùn)行的應(yīng)用能力是不同的。次外，網(wǎng)絡(luò)1003的通信能力是變化的?？捎糜跀?shù)據(jù)傳輸?shù)哪芰捎谄渌髁慷诿總€時(shí)刻變化。因此，在開始流數(shù)據(jù)的輸送之前，輸送服務(wù)器1002可以通過與輸送目的地終端設(shè)備的信令來獲取關(guān)于終端設(shè)備的硬件性能和應(yīng)用能力的終端信息以及關(guān)于網(wǎng)絡(luò)1003的通信能力的網(wǎng)絡(luò)信息。然后，輸送服務(wù)器1002可以基于所獲取的信息選擇要輸送的流。
[0442]順便提及，要解碼的層可以由終端設(shè)備提取。例如，PC 1004可以在其屏幕上顯示基礎(chǔ)層圖像，該基礎(chǔ)層圖像從接收到的多路復(fù)用流提取并解碼。通過從接收到的多路復(fù)用流提取基礎(chǔ)層的編碼流而生成流數(shù)據(jù)1012之后，PC 1004可以使存儲介質(zhì)存儲流數(shù)據(jù)1012或者把流數(shù)據(jù)傳送到另一設(shè)備。
[0443]圖32所示數(shù)據(jù)傳輸系統(tǒng)1000的配置僅僅是例子。數(shù)據(jù)傳輸系統(tǒng)1000可以包括任何數(shù)量的流存儲設(shè)備1001、輸送服務(wù)器1002、網(wǎng)絡(luò)1003以及終端設(shè)備。
[0444](2)第二個例子
[0445]第二個例子中，可縮放視頻編碼用于數(shù)據(jù)經(jīng)多個通信通道的傳輸。參考圖33，數(shù)據(jù)傳輸系統(tǒng)1100包括廣播站1101和終端設(shè)備1102。廣播站1101在地面頻道1111上廣播基礎(chǔ)層的編碼流1121。廣播站1101還經(jīng)網(wǎng)絡(luò)1112向終端設(shè)備1102廣播增強(qiáng)層的編碼流1122。
[0446]終端設(shè)備1102具有經(jīng)地面頻道1111接收由廣播站1101廣播的地面廣播并且接收基礎(chǔ)層的編碼流1121的接收功能。終端設(shè)備1102還具有經(jīng)網(wǎng)絡(luò)1112與廣播站1101通信并且接收增強(qiáng)層的編碼流1122的通信功能。
[0447]接收到基礎(chǔ)層的編碼流1121之后，例如，響應(yīng)于用戶的指令，終端設(shè)備1102可以從接收到的編碼流1121解碼基礎(chǔ)層圖像、并且在屏幕上顯示基礎(chǔ)層圖像?；蛘?，終端設(shè)備1102可以使存儲介質(zhì)存儲解碼的基礎(chǔ)層圖像或者把基礎(chǔ)層圖像傳送到另一設(shè)備。
[0448]經(jīng)網(wǎng)絡(luò)1112接收到增強(qiáng)層的編碼流1122之后，例如，響應(yīng)于用戶的指令，終端設(shè)備1102可以通過多路復(fù)用基礎(chǔ)層的編碼流1121和增強(qiáng)層的編碼流1122來生成多路復(fù)用流。終端設(shè)備1102還可以從增強(qiáng)層的編碼流1122解碼增強(qiáng)圖像，以便在屏幕上顯示增強(qiáng)圖像。或者，終端設(shè)備1102可以使存儲介質(zhì)存儲解碼的增強(qiáng)層圖像或者把增強(qiáng)層圖像傳送到另一設(shè)備。
[0449]如上所述，多路復(fù)用流中所包含的每一層的編碼流可以經(jīng)用于每一層的不同通信通道發(fā)送。因此，通信延遲或者過載(overflow)的出現(xiàn)可以通過在各個通道上分布負(fù)載來減少。
[0450]用于傳輸?shù)耐ㄐ磐ǖ揽梢愿鶕?jù)某種條件動態(tài)地選擇。例如，其數(shù)據(jù)量相對大的基礎(chǔ)層的編碼流1121可以經(jīng)具有較寬帶寬的通信通道來發(fā)送并且其數(shù)據(jù)量相對小的增強(qiáng)層的編碼流1122可以經(jīng)具有較窄帶寬的通信通道來發(fā)送。特定層的編碼流1122在其上發(fā)送的通信通道可以根據(jù)通信通道的帶寬來切換。因此，各個通道上的負(fù)載可以更有效地減小。
[0451]圖33所示數(shù)據(jù)傳輸系統(tǒng)1100的配置僅僅是例子。數(shù)據(jù)傳輸系統(tǒng)1100可以包括任何數(shù)量的通信通道和終端設(shè)備。這里所述的系統(tǒng)的配置也可以應(yīng)用到除廣播之外的其它用途。
[0452](3)第三個例子
[0453]第三個例子中，可縮放視頻編碼用于視頻存儲。參考圖34，數(shù)據(jù)傳輸系統(tǒng)1200包括成像設(shè)備1201和流存儲設(shè)備1202。成像設(shè)備1201可縮放編碼由被成像的主體1211生成的圖像數(shù)據(jù)，以生成多路復(fù)用流1221。多路復(fù)用流1221包括基礎(chǔ)層的編碼流和增強(qiáng)層的編碼流。然后，成像設(shè)備1201把多路復(fù)用流1221供給流存儲設(shè)備1202。
[0454]按照用于每種模式的不同圖像質(zhì)量，流存儲設(shè)備1202存儲從成像設(shè)備1201提供的多路復(fù)用流1221。例如，流存儲設(shè)備1202在正常模式下從多路復(fù)用流1221提取基礎(chǔ)層的編碼流1222并且存儲提取出的基礎(chǔ)層的編碼流1222。作為對比，在高質(zhì)量模式下，流存儲設(shè)備1202照原樣存儲多路復(fù)用流1221。因此，只有當(dāng)期望高質(zhì)量的視頻記錄時(shí)，流存儲設(shè)備1202才會存儲具有大量數(shù)據(jù)的高質(zhì)量流。因此，存儲器資源可以節(jié)約，同時(shí)，圖像降級對用戶的影響也得到了控制。
[0455]例如，假設(shè)成像設(shè)備1201是監(jiān)控相機(jī)。當(dāng)沒有監(jiān)控對象(例如，沒有入侵者)出現(xiàn)在捕捉到的圖像中時(shí)，選擇正常模式。這種情況下，捕捉到的圖像有可能是不重要的并且優(yōu)先級給予數(shù)據(jù)量的減少，因此視頻以低圖像質(zhì)量記錄(即，只存儲基礎(chǔ)層的編碼流1222)。相反，當(dāng)監(jiān)控對象(例如，作為入侵者的主體1211)出現(xiàn)在捕捉到的圖像中時(shí)，選擇高質(zhì)量模式。這種情況下，捕捉到的圖像有可能是重要的并且優(yōu)先級給予高圖像質(zhì)量，因此視頻以高圖像質(zhì)量記錄(即，存儲多路復(fù)用流1221)。
[0456]圖34的例子中，模式是由流存儲設(shè)備1202基于例如圖像分析結(jié)果來選擇的。但是，本實(shí)施例不限于這種例子并且成像設(shè)備1201可以選擇模式。后一種情況下，成像設(shè)備1201可以在正常模式下把基礎(chǔ)層的編碼流1222提供給流存儲設(shè)備1202并且在高質(zhì)量模式下把多路復(fù)用流1221提供給流存儲設(shè)備1202。
[0457]選擇模式的選擇標(biāo)準(zhǔn)可以是任何標(biāo)準(zhǔn)。例如，模式可以根據(jù)通過麥克風(fēng)獲取的語音音量或者語音的波形來切換。模式還可以周期性地切換。而且，模式可以響應(yīng)于用戶指令來切換。此外，可選擇的模式的數(shù)量可以是任何數(shù)量，只要沒超過分級層的個數(shù)就可以。
[0458]圖34所示數(shù)據(jù)傳輸系統(tǒng)1200的配置僅僅是例子。數(shù)據(jù)傳輸系統(tǒng)1200可以包括任何數(shù)量的成像設(shè)備1201。這里所述的系統(tǒng)的配置也可以應(yīng)用到除監(jiān)控相機(jī)之外的其它用途。
[0459][6-3.其它]
[0460](I)對多視點(diǎn)編解碼器的應(yīng)用
[0461]多視點(diǎn)編解碼器是一種多層編解碼器并且是編碼和解碼所謂多視點(diǎn)視頻的圖像編碼系統(tǒng)。圖35是說明多視點(diǎn)編解碼器的解釋性圖。參考圖35，示出了從三個視點(diǎn)捕捉的三個視圖幀的序列。視圖1D(view_id)附連到每個視圖。多個這些視圖之中，一個視圖被規(guī)定為基礎(chǔ)視圖。除基礎(chǔ)視圖之外的其它視圖被稱為非基礎(chǔ)視圖。在圖35的例子中,其視圖1D為“O”的視圖是基礎(chǔ)視圖，而其視圖1D為“I”或“2”的兩個視圖是非基礎(chǔ)視圖。當(dāng)這些視圖被分級編碼時(shí)，每個視圖可以對應(yīng)于一個層。如圖35中的箭頭所指示的，非基礎(chǔ)視圖的圖像是通過參考基礎(chǔ)視圖的圖像來編碼和解碼的(其它非基礎(chǔ)視圖的圖像也可以參考)。
[0462]圖36是示出支持多視點(diǎn)編解碼器的圖像編碼設(shè)備1v的示意性配置的框圖。參考圖36，圖像編碼設(shè)備1v包括第一層編碼部分lc、第二層編碼部分Id、公共存儲器2，以及多路復(fù)用部分3。
[0463]第一層編碼部分Ic的功能與利用圖8描述的第一編碼部分Ia的功能相同，除了不是基礎(chǔ)層圖像、而是基礎(chǔ)視圖圖像被接收作為輸入之外。第一層編碼部分Ic編碼基本視圖圖像，以生成第一層的編碼流。第二層編碼部分Id的功能與利用圖8描述的第二編碼部分Ib的功能相同，除了不是增強(qiáng)層圖像、而是非基礎(chǔ)視圖圖像被接收作為輸入之外。第二層編碼部分Id編碼非基礎(chǔ)視圖圖像，以生成第二層的編碼流。公共存儲器2存儲在層之間公共使用的信息。多路復(fù)用部分3多路復(fù)用由第一層編碼部分Ic生成的第一層的編碼流和由第二層編碼部分Id生成的第二層的編碼流，以生成多層的多路復(fù)用流。
[0464]圖37是示出支持多視點(diǎn)編解碼器的圖像解碼設(shè)備60v的示意性配置的框圖。參考圖37，圖像解碼設(shè)備60v包括多路分解部分5、第一層解碼部分6c、第二層解碼部分6d，以及公共存儲器7。
[0465]多路分解部分5把多層的多路復(fù)用流多路分解成第一層的編碼流和第二層的編碼流。第一層解碼部分6c的功能與利用圖9描述的第一解碼部分6a的功能相同，除了不是基礎(chǔ)層圖像、而是基礎(chǔ)視圖圖像被接收作為輸入的編碼流之外。第一層解碼部分6c從第一層的編碼流解碼基本視圖圖像。第二層解碼部分6d的功能與利用圖9描述的第二解碼部分6b的功能相同，除了不是增強(qiáng)層圖像、而是非基礎(chǔ)視圖圖像被接收作為輸入的編碼流之外。第二層解碼部分6d從第二層的編碼流解碼非基礎(chǔ)視圖圖像。公共存儲器7存儲在各層之間公共使用的信息。
[0466]當(dāng)多視點(diǎn)圖像數(shù)據(jù)被編碼或解碼時(shí)，通過本公開內(nèi)容中的技術(shù)在非基礎(chǔ)視圖的各層中設(shè)置塊，編碼效率可以增加。
[0467](2)對流化技術(shù)的應(yīng)用
[0468]本公開內(nèi)容中的技術(shù)還可以應(yīng)用到流化協(xié)議。在MPEG-DASH(經(jīng)HTTP的動態(tài)適應(yīng)性流化)中，例如，具有相互不同的參數(shù)(諸如分辨率)的多個編碼流由流服務(wù)器事先準(zhǔn)備。然后，流化服務(wù)器從多個編碼流動態(tài)地選擇適當(dāng)?shù)臄?shù)據(jù)用于流化，并且輸送選定的數(shù)據(jù)。這種流化協(xié)議中，本公開內(nèi)容中的技術(shù)可以適用。
[0469]<7.結(jié)論〉
[0470]以上參考圖1至37描述了圖像編碼設(shè)備10和圖像解碼設(shè)備60的各種實(shí)施例。根據(jù)上述實(shí)施例，根據(jù)在多編解碼器的可縮放視頻編碼中基礎(chǔ)層中設(shè)置的塊尺寸，基礎(chǔ)層利用宏塊基礎(chǔ)的圖像編碼方案編碼并且在增強(qiáng)層中設(shè)置CU，其中在多編解碼器中，增強(qiáng)層是利用接受遞歸分塊的CU基礎(chǔ)的圖像編碼方案編碼的。因此，與在增強(qiáng)層中從頭開始形成四叉樹結(jié)構(gòu)的方法相比，可以實(shí)現(xiàn)高編碼效率。
[0471]根據(jù)上述實(shí)施例，CU的最大尺寸(即，LCU尺寸)是利用基礎(chǔ)層中的塊尺寸以及各層之間的縮放比來確定的。另一方面，在LCU中分塊成CU不必依賴于基礎(chǔ)層中的塊尺寸。因此，保持四叉樹結(jié)構(gòu)靈活性的優(yōu)點(diǎn)的同時(shí)，增強(qiáng)層的編碼效率可以優(yōu)化，而不會用基礎(chǔ)層的晶格形式限制HEVC的獨(dú)特的宏塊結(jié)構(gòu)。當(dāng)LCU尺寸利用宏塊尺寸和縮放比來確定性地被確定時(shí)，增強(qiáng)層中的塊尺寸信息可以不編碼，由此減少編碼量。此外，當(dāng)LCU尺寸的候選利用宏塊尺寸與縮放比之積作為參考來縮小時(shí)，IXU尺寸設(shè)置的靈活性也可以與減少編碼量的優(yōu)點(diǎn)同時(shí)獲得。
[0472]本文主要描述的是其中各種信息片段，諸如關(guān)于幀內(nèi)預(yù)測的信息和關(guān)于幀間預(yù)測的信息，多路復(fù)用到編碼流的首部并且從編碼側(cè)發(fā)送到解碼側(cè)的例子。但是，發(fā)送這些信息片段的方法不限于這種例子。例如，這些信息片段可以作為與編碼位流關(guān)聯(lián)的獨(dú)立數(shù)據(jù)被發(fā)送或記錄，而不多路復(fù)用到編碼位流。這里，術(shù)語“關(guān)聯(lián)”意味著允許位流中所包括的圖像(可以是圖像的一部分，諸如一條或一塊)和對應(yīng)于當(dāng)前圖像的信息在解碼時(shí)建立鏈接。即，信息可以在與圖像(或者位流)不同的傳輸路徑上發(fā)送。信息還可以在與圖像(或者位流)不同的記錄介質(zhì)(或者相同記錄介質(zhì)的不同記錄區(qū)域)上記錄。此外，信息和圖像(或者位流)可以通過任意單元，諸如多個幀、一個幀或者幀中的一部分，彼此關(guān)聯(lián)。
[0473]以上已經(jīng)參考附圖描述了本公開內(nèi)容的優(yōu)選實(shí)施例，但是本公開內(nèi)容當(dāng)然不限于以上的例子。本領(lǐng)域技術(shù)人員可以發(fā)現(xiàn)在所附權(quán)利要求范圍之內(nèi)的各種變更和修改，并且應(yīng)當(dāng)理解，它們將自然屬于本公開內(nèi)容的技術(shù)范圍。
[0474]此外，本技術(shù)還可以如下配置。
[0475](I)圖像處理裝置，包括:
[0476]第一設(shè)置部分，配置為在利用第一編碼方案解碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊；及
[0477]第二設(shè)置部分，配置為根據(jù)由第一設(shè)置部分設(shè)置的塊尺寸、在利用第二編碼方案解碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
[0478](2)根據(jù)(I)的圖像處理裝置，其中第二設(shè)置部分利用宏塊尺寸以及各層之間的縮放比來確定編碼單位的尺寸。
[0479](3)根據(jù)(2)的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以宏塊尺寸來確定編碼單位的最大尺寸。
[0480](4)根據(jù)(2)的圖像處理裝置，其中第二設(shè)置部分確定選自多個尺寸中的一個尺寸為編碼單位的最大尺寸，其中所述多個尺寸的范圍是根據(jù)從編碼流獲取的參數(shù)利用宏塊尺寸和縮放比之積作為參考來縮小的。
[0481](5)根據(jù)(3)或(4)的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以子宏塊尺寸來確定編碼單位的最小尺寸。
[0482](6)根據(jù)(3)或(4)的圖像處理裝置，其中第二設(shè)置部分根據(jù)從編碼流獲取的參數(shù)來確定編碼單位的最小尺寸。
[0483](7)根據(jù)⑵至(6)中任何一項(xiàng)的圖像處理裝置，還包括:
[0484]第一預(yù)測部分，配置為在基礎(chǔ)層中設(shè)置第一預(yù)測塊，并且對第一預(yù)測塊執(zhí)行幀內(nèi)預(yù)測或幀間預(yù)測 '及
[0485]第二預(yù)測部分，配置為利用第一預(yù)測塊的尺寸以及縮放比在增強(qiáng)層中設(shè)置對應(yīng)于第一預(yù)測塊的第二預(yù)測塊，并且對第二預(yù)測塊執(zhí)行幀內(nèi)預(yù)測或幀間預(yù)測。
[0486](8)根據(jù)(7)的圖像處理裝置，其中第二預(yù)測部分通過用縮放比乘以由第一預(yù)測部分設(shè)置的第一預(yù)測塊的尺寸來確定第二預(yù)測塊的尺寸。
[0487](9)根據(jù)(7)的圖像處理裝置，其中第二預(yù)測部分確定選自多個尺寸中的一個尺寸為第二預(yù)測塊的尺寸，其中所述多個尺寸的范圍是根據(jù)從編碼流獲取的參數(shù)、利用由第一預(yù)測塊設(shè)置的第一預(yù)測塊的尺寸和縮放比之積作為參考來縮小的。
[0488](10)根據(jù)(7)的圖像處理裝置，
[0489]其中第一和第二預(yù)測部分執(zhí)行幀間預(yù)測，及
[0490]其中第二預(yù)測部分確定選自多個尺寸中的一個尺寸為第二預(yù)測塊的尺寸，其中所述多個尺寸范圍是根據(jù)從編碼流獲取的參數(shù)、判斷在設(shè)置第一預(yù)測塊時(shí)第一預(yù)測部分是否使用子宏塊分割來縮小的。
[0491](11)根據(jù)⑵至(10)中任何一項(xiàng)的圖像處理裝置，還包括:
[0492]第一變換部分，配置為在基礎(chǔ)層中設(shè)置第一變換塊，并且對第一變換塊執(zhí)行逆正交變換；及
[0493]第二變換部分，配置為利用第一變換塊的尺寸以及縮放比在增強(qiáng)層中設(shè)置對應(yīng)于第一變換塊的第二變換塊，并且對第二變換塊執(zhí)行逆正交變換。
[0494](12)根據(jù)(11)的圖像處理裝置，其中第二變換部分通過用縮放比乘以由第一變換部分設(shè)置的第一變換塊的尺寸來確定第二變換塊的尺寸。
[0495](13)根據(jù)(11)的圖像處理裝置，其中第二變換部分確定選自多個尺寸中的一個尺寸作為第二變換塊的尺寸，其中所述多個尺寸的范圍是根據(jù)從編碼流獲取的參數(shù)、利用由第一變換部分設(shè)置的第一變換塊的尺寸和縮放比之積作為參考來縮小的。
[0496](14) 一種圖像處理方法，包括:
[0497]在利用第一編碼方案解碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊 '及
[0498]根據(jù)在基礎(chǔ)層中設(shè)置的塊尺寸、在利用第二編碼方案解碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
[0499](15) —種圖像處理裝置，包括:
[0500]第一設(shè)置部分，配置為在利用第一編碼方案編碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊；及
[0501]第二設(shè)置部分，配置為根據(jù)由第一設(shè)置部分設(shè)置的塊尺寸、在利用第二編碼方案編碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
[0502](16)根據(jù)(15)的圖像處理裝置，其中第二設(shè)置部分利用宏塊尺寸以及各層之間的縮放比來確定編碼單位的尺寸。
[0503](17)根據(jù)(16)的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以宏塊尺寸來確定編碼單位的最大尺寸。
[0504](18)根據(jù)(17)的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以子宏塊尺寸來確定編碼單位的最小尺寸。
[0505](19)根據(jù)(17)的圖像處理裝置，其中第二設(shè)置部分生成參數(shù)以指示被選作編碼單位最小尺寸的尺寸。
[0506](20) —種圖像處理方法，包括:
[0507]在利用第一編碼方案編碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊 '及
[0508]根據(jù)在基礎(chǔ)層中設(shè)置的塊尺寸、在利用第二編碼方案編碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
[0509]標(biāo)號列表
[0510]10 圖像編碼設(shè)備(圖像處理裝置)
[0511]12a 塊設(shè)置部分(第一設(shè)置部分)
[0512]12b 塊設(shè)置部分(第二設(shè)置部分)
[0513]14a 正交變換部分(第一變換部分)
[0514]14b正交變換部分(第二變換部分)
[0515]30a幀內(nèi)預(yù)測部分(第一預(yù)測部分)
[0516]30b幀內(nèi)預(yù)測部分(第二預(yù)測部分)
[0517]40a幀間預(yù)測部分(第一預(yù)測部分)
[0518]40b幀間預(yù)測部分(第二預(yù)測部分)
[0519]60圖像解碼設(shè)備(圖像處理裝置)
[0520]62a塊設(shè)置部分(第一設(shè)置部分)
[0521]62b塊設(shè)置部分(第二設(shè)置部分)
[0522]64a逆正交變換部分(第一變換部分)
[0523]64b逆正交變換部分(第二變換部分)
[0524]80a幀內(nèi)預(yù)測部分(第一預(yù)測部分)
[0525]80b幀內(nèi)預(yù)測部分(第二預(yù)測部分)
[0526]90a幀間預(yù)測部分(第一預(yù)測部分)
[0527]90b幀間預(yù)測部分(第二預(yù)測部分)
【權(quán)利要求】
1.一種圖像處理裝置，包括: 第一設(shè)置部分，配置為在利用第一編碼方案解碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊；及 第二設(shè)置部分，配置為根據(jù)由第一設(shè)置部分設(shè)置的塊尺寸在利用第二編碼方案解碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
2.如權(quán)利要求1所述的圖像處理裝置，其中第二設(shè)置部分利用宏塊尺寸以及各層之間的縮放比來確定編碼單位的尺寸。
3.如權(quán)利要求2所述的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以宏塊尺寸來確定編碼單位的最大尺寸。
4.如權(quán)利要求2所述的圖像處理裝置，其中第二設(shè)置部分確定選自多個尺寸范圍中的一個尺寸作為編碼單位的最大尺寸，其中所述多個尺寸范圍是根據(jù)從編碼流獲取的參數(shù)、利用宏塊尺寸和縮放比之積作為參考來縮小的。
5.如權(quán)利要求3所述的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以子宏塊尺寸來確定編碼單位的最小尺寸。
6.如權(quán)利要求3所述的圖像處理裝置，其中第二設(shè)置部分根據(jù)從編碼流獲取的參數(shù)來確定編碼單位的最小尺寸。
7.如權(quán)利要求2所述的圖像處理裝置，還包括: 第一預(yù)測部分，配置為在基礎(chǔ)層中設(shè)置第一預(yù)測塊，并且對所述第一預(yù)測塊執(zhí)行幀內(nèi)預(yù)測或幀間預(yù)測 '及 第二預(yù)測部分，配置為利用第一預(yù)測塊的尺寸以及縮放比在增強(qiáng)層中設(shè)置對應(yīng)于第一預(yù)測塊的第二預(yù)測塊，并且對第二預(yù)測塊執(zhí)行幀內(nèi)預(yù)測或幀間預(yù)測。
8.如權(quán)利要求7所述的圖像處理裝置，其中第二預(yù)測部分通過用縮放比乘以由第一預(yù)測部分設(shè)置的第一預(yù)測塊的尺寸來確定第二預(yù)測塊的尺寸。
9.如權(quán)利要求7所述的圖像處理裝置，其中第二預(yù)測部分確定選自多個尺寸范圍中的一個尺寸為第二預(yù)測塊的尺寸，其中所述多個尺寸范圍是根據(jù)從編碼流獲取的參數(shù)、利用由第一預(yù)測塊設(shè)置的第一預(yù)測塊的尺寸和縮放比之積作為參考來縮小的。
10.如權(quán)利要求7所述的圖像處理裝置， 其中第一和第二預(yù)測部分執(zhí)行幀間預(yù)測，及 其中第二預(yù)測部分確定選自多個尺寸范圍中的一個尺寸為第二預(yù)測塊的尺寸，其中所述多個尺寸范圍是根據(jù)從編碼流獲取的參數(shù)、判斷在設(shè)置第一預(yù)測塊時(shí)第一預(yù)測部分是否使用子宏塊分割來縮小的。
11.如權(quán)利要求2所述的圖像處理裝置，還包括: 第一變換部分，配置為在基礎(chǔ)層中設(shè)置第一變換塊，并且對第一變換塊執(zhí)行逆正交變換；及 第二變換部分，配置為利用第一變換塊的尺寸以及縮放比在增強(qiáng)層中設(shè)置對應(yīng)于第一變換塊的第二變換塊，并且對第二變換塊執(zhí)行逆正交變換。
12.如權(quán)利要求11所述的圖像處理裝置，其中第二變換部分通過用縮放比乘以由第一變換部分設(shè)置的第一變換塊的尺寸來確定第二變換塊的尺寸。
13.如權(quán)利要求11所述的圖像處理裝置，其中第二變換部分確定選自多個尺寸范圍中的一個尺寸作為第二變換塊的尺寸，其中所述多個尺寸范圍是根據(jù)從編碼流獲取的參數(shù)、利用由第一變換部分設(shè)置的第一變換塊的尺寸和縮放比之積作為參考來縮小的。
14.一種圖像處理方法，包括: 在利用第一編碼方案解碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊；及 根據(jù)基礎(chǔ)層中設(shè)置的塊尺寸、在利用第二編碼方案解碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
15.一種圖像處理裝置，包括: 第一設(shè)置部分，配置為在利用第一編碼方案編碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊；及 第二設(shè)置部分，配置為根據(jù)由第一設(shè)置部分設(shè)置的塊尺寸、在利用第二編碼方案編碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
16.如權(quán)利要求15所述的圖像處理裝置，其中第二設(shè)置部分利用宏塊尺寸以及各層之間的縮放比來確定編碼單位的尺寸。
17.如權(quán)利要求16所述的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以宏塊尺寸來確定編碼單位的最大尺寸。
18.如權(quán)利要求17所述的圖像處理裝置，其中第二設(shè)置部分通過用縮放比乘以子宏塊尺寸來確定編碼單位的最小尺寸。
19.如權(quán)利要求17所述的圖像處理裝置，其中第二設(shè)置部分生成參數(shù)，該參數(shù)指示被選作編碼單位最小尺寸的尺寸。
20.—種圖像處理方法，包括: 在利用第一編碼方案編碼的基礎(chǔ)層中設(shè)置宏塊，其中第一編碼方案基于具有固定尺寸的宏塊 '及 根據(jù)在基礎(chǔ)層中設(shè)置的塊尺寸、在利用第二編碼方案編碼的增強(qiáng)層中設(shè)置編碼單位，其中第二編碼方案基于接受遞歸分塊的編碼單位。
【文檔編號】H04N19/187GK104272734SQ201380024085
【公開日】2015年1月7日 申請日期:2013年3月7日 優(yōu)先權(quán)日:2012年5月15日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司