圖像處理設備和方法
【專利摘要】本技術涉及一種能夠防止設備的成本變高的圖像處理設備和方法。設置單元設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息。幀間預測單元根據限制信息產生預測圖像。編碼器(1000)利用預測圖像將塊編碼，并產生編碼流。另外，編碼器(1000)發(fā)送編碼流和限制信息。本技術可應用于諸如將圖像編碼/解碼的情況。
【專利說明】圖像處理設備和方法
【技術領域】
[0001]本技術涉及一種圖像處理設備及其方法，具體地講，涉及一種被配置為例如防止設備的成本的增加的圖像處理設備及其方法。
【背景技術】
[0002]近年來，基于諸如運動圖像專家組(MPEG)的方法的設備被廣泛用于在廣播站等的信息分發(fā)和在家庭的信息接收，在MPEG中，圖像信息被視為數字數據，并且此時，通過使用對于圖像信息而言獨一無二的冗余通過正交變換(諸如，離散余弦變換)和運動補償來壓縮圖像信息以便以高效率執(zhí)行信息的傳輸和累積。
[0003]具體地講，MPEG2 (國際標準化組織(ISO)/國際電工委員會(IEC) 13818-2)被定義為通用圖像編碼方法，并且當前被廣泛地用在專業(yè)使用和消費者使用的很大范圍的應用中作為覆蓋所有的隔行掃描圖像、順序掃描圖像、標準分辨率圖像和高清晰度圖像的標準。通過使用MPEG2壓縮方法，通過在包括720 X 480像素的標準分辨率隔行掃描圖像的情況下分派4Mbps至8Mbps的編碼率(比特率)以及在包括1920X 1088像素的高分辨率隔行掃描圖像的情況下分派18Mbps至22Mbps的編碼率，能夠實現高壓縮比和極好的圖像質量。
[0004]MPEG2主要用于適合用于廣播的高圖像質量編碼，但不與使用比MPEGl的編碼率(比特率)低的編碼率(比特率)(也就是說，具有更高的壓縮率)的編碼方法兼容。預期對這種編碼方法的需求在未來隨著便攜式終端的普及而增加，并且響應于此執(zhí)行了 MPEG4編碼方法的標準化。對于圖像編碼方法的標準，IS0/IEC14496-2的標準在1998年12月被批準作為國際標準。
[0005]另外，近年來，首先，以用于電話會議的圖像編碼為目標的H.26L(國際電信聯(lián)盟電信標準化部門(ITU-T)Q6/16視頻編碼專家組(VCEG))正在進行中。與現有技術的編碼方法(例如，MPEG2或MPEG4)相比，H.26L由于編碼和解碼而需要更大的計算量，但它是用于實現更高編碼效率的公知方法。另外，當前，作為MPEG4的操作的一部分，執(zhí)行通過甚至基于H.26L引入在H.26L中不支持的功能來實現更高編碼效率的標準化，作為增強壓縮視頻編碼的聯(lián)合模型。
[0006]在該標準化的方案中，H.264/MPEG-4部分10 (高級視頻編碼，以下，被稱為AVC)在2003年3月變?yōu)閲H標準。
[0007]然而，存在這樣的擔心:針對可能是下一代編碼方法的目標的超高清晰度(UHD ；4000像素X 2000像素)的大幀，16像素X 16像素的宏塊大小可能不是最佳的。
[0008]這里，當前，為了 AVC的編碼效率的進一步提高，正在由聯(lián)合協(xié)作團隊-視頻編碼(JCTVC)進行被稱為高效率視頻編碼(HEVC)的編碼方法的標準化，JCTVC是ITU-T和ISO/IEC的聯(lián)合標準化組織(例如,參見NPL1)。
[0009]在HEVC的編碼方法中，編碼單元(⑶)被定義為與AVC的宏塊相同的處理單元。與AVC的宏塊不同，CU的大小并不固定為16X16像素，而是在各序列的圖像壓縮信息中被指定。[0010]然而，為了改進使用AVC的中值預測的運動向量的編碼，已提出除了在AVC中定義并且通過中值預測獲取的“空間預測器”之外還自適應地使用“時間預測器”和“時空預測器”中的任何一個作為預測運動向量信息(例如，參見NPL2)。
[0011]在圖像信息編碼裝置中，針對每個塊計算在使用每個預測運動向量信息項的情況下的成本函數，并且執(zhí)行最佳預測運動向量信息的選擇。在圖像壓縮信息中，發(fā)送示出指示針對每個塊使用哪個預測運動向量信息的信息的圖表信息。
[0012]另外，作為運動信息的編碼方法之一，提出了一種被稱為運動分割合并的方法(以下，也被稱為合并模 式)(例如，參見NPL3)。在這個方法中，在對應塊的運動信息與周圍塊的運動信息相同的情況下，僅發(fā)送標記信息，并且當執(zhí)行解碼時，使用周圍塊的運動信息重建對應塊的運動信息。
[0013]引用列表
[0014]非專利文獻
[0015]NPLl:"Test Model under Considerat1n",JCTVC-B205，Joint CollaborativeTeam on Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG112ndMeeting:Geneva, CH, 2010 年 7 月 21 日至 28 日
[0016]NPL2: Joe I Jung, Gui I laume Laroche, ^Competit1n-Based Scheme forMot1n Vector Select1n and Coding", VCEG-AC06, ITU-TeIecommunicat1nsStandardizat1n SectorSTUDY GROUP 16Quest1n6Video Coding Experts Group (VCEG) 29thMeeting:Klagenfurt, Austria, 2006 年 7 月 17 日和 18 日
[0017]NPL3:Martin ffinken, Sebastian Bosse, Benjamin Bross, PhilippHelle, TobiasHinz, Heiner Kirchhoffer, Haricharan Lakshman, Detlev Marpe, Simon Oudin, MatthiasPreiss, Heiko Schwarz, Mischa Siekmann, Karsten Suehring, and Thomasffiegand,"Descript1n of video coding technology proposed by FraunhoferHHI", JCTVC-Al16, 2010 年 4 月

【發(fā)明內容】

[0018]技術問題
[0019]在AVC或HEVC中，執(zhí)行產生預測圖像的預測編碼以及使用預測圖像對圖像進行編碼。
[0020]在預測編碼中，預先解碼(編碼隨后解碼)的解碼圖像被用于產生預測圖像，因此，如果必要，則將解碼圖像存儲在被稱為解碼圖片緩沖器(DPB)的存儲器中。當產生預測圖像時，從DPB讀出存儲在DPB中的解碼圖像作為參考圖像。
[0021]然而，當嘗試確保大范圍的帶寬(高速率)作為存儲器帶寬時，設備的成本增加，其中存儲器帶寬是從DPB讀出解碼圖像的傳輸速率。
[0022]考慮到這些情況而提出本技術，并且本技術用于防止設備的成本的增加。
[0023]問題的解決方案
[0024]根據本技術的第一方面，提供了一種圖像處理設備，該設備包括:設置單元，設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測單元，根據由設置單元設置的限制信息產生預測圖像；編碼單元，利用由預測單元產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送單元，發(fā)送由編碼單元產生的編碼流和由設置單元設置的限制信息。
[0025]根據本技術的第一方面，提供了一種圖像處理方法，該方法包括:設置步驟，設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測步驟，根據在設置步驟中設置的限制信息產生預測圖像；編碼步驟，利用在預測步驟中產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送步驟，發(fā)送在編碼步驟中產生的編碼流和在設置步驟中設置的限制信息。
[0026]在上述第一方面中，設置了用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息，并且根據限制信息產生預測圖像。另外，利用預測圖像將圖像編碼并產生編碼流。另外，發(fā)送編碼流和限制信息。
[0027]根據本技術的第二方面，提供了一種圖像處理設備，該設備包括:接收單元，接收用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息、和通過將圖像編碼產生的編碼流；預測單元，根據由接收單元接收到的限制信息產生預測圖像；以及解碼單元，利用由預測單元產生的預測圖像將由接收單元接收到的編碼流解碼。
[0028]根據本技術的第二方面，提供了一種圖像處理方法，該方法包括:接收步驟，接收用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息、和通過將圖像編碼產生的編碼流；預測步驟，根據在接收步驟中接收到的限制信息產生預測圖像；以及解碼步驟，利用在預測步驟中產生的預測圖像將在接收步驟中接收到的編碼流解碼。
[0029]在上述第二方面中，接收用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息和通過將圖像編碼產生的編碼流，并且根據限制信息產生預測圖像。另外，利用預測圖像將編碼流解碼。
[0030]根據本技術的第三方面，提供了一種圖像處理設備，該設備包括:設置單元，基于檔次(profile)和級別(level)設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測單元，根據由設置單元設置的限制信息產生預測圖像；編碼單元，利用由預測單元產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送單元，發(fā)送由編碼單元產生的編碼流。
[0031]根據本技術的第三方面，提供了一種圖像處理方法，該方法包括:設置步驟，基于檔次和級別設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測步驟，根據在設置步驟中設置的限制信息產生預測圖像；編碼步驟，利用在預測步驟中產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送步驟，發(fā)送在編碼步驟中產生的編碼流。
[0032]在上述第三方面中，基于檔次和級別設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息，并且根據限制信息產生預測圖像。另外，利用預測圖像將圖像編碼，產生編碼流，并且發(fā)送編碼流。
[0033]根據本技術的第四方面，提供了一種圖像處理設備，該設備包括:接收單元，接收根據基于框架或級別的用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息編碼的編碼流；預測單元，根據基于檔次或級別識別的限制信息產生預測圖像；以及解碼單元，利用由預測單元產生的預測圖像將由接收單元接收到的編碼流解碼。
[0034]根據本技術的第四方面，提供了一種圖像處理方法，該方法包括:接收步驟，接收根據基于框架或級別的用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息編碼的編碼流；預測步驟，根據基于檔次或級別識別的限制信息產生預測圖像；以及解碼步驟，利用在預測步驟中產生的預測圖像將在接收步驟中接收到的編碼流解碼。
[0035]在上述第四方面中，接收根據基于檔次或級別的用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息編碼的編碼流，并且根據基于檔次或級別識別的限制信息產生預測圖像。另外，利用預測圖像將編碼流解碼。
[0036]發(fā)明的有益效果
[0037]根據本技術，可防止設備的成本的增加。
【專利附圖】

【附圖說明】
[0038]圖1是顯示圖像編碼裝置的主要配置示例的方框圖。
[0039]圖2是表示編碼單元的示圖。
[0040]圖3是表示片和編碼單元之間的關系的示圖。
[0041]圖4是表示合并模式的示圖。
[0042]圖5是顯示可逆編碼單元和編碼控制單元的主要配置示例的方框圖。
[0043]圖6是表不編碼處理的流程的不例的流程圖。
[0044]圖7是表不可逆編碼處理的流程的不例的流程圖。
[0045]圖8是表不⑶編碼處理的流程的不例的流程圖。
[0046]圖9是表示⑶編碼處理的流程的示例的在圖8之后的流程圖。
[0047]圖10是顯示圖像解碼裝置的主要配置示例的方框圖。
[0048]圖11是顯示可逆解碼單元和解碼控制單元的主要配置示例的方框圖。
[0049]圖12是表不解碼處理的流程的不例的流程圖。
[0050]圖13是表示可逆解碼處理的流程的示例的流程圖。
[0051]圖14是表不⑶解碼處理的流程的不例的流程圖。
[0052]圖15是表示⑶解碼處理的流程的示例的在圖14之后的流程圖。
[0053]圖16是顯示應用本技術的圖像處理設備的一個實施例的配置示例的方框圖。
[0054]圖17 是表不 disable_bip_small_mrg_idc 信息的不圖。
[0055]圖18是表示在使用disable_bip_small_mrg_idc信息的情況下的編碼器1000和解碼器2000的處理的流程圖。
[0056]圖19 是表不 disable_bip_small_mrg_idc 擴展信息的不圖。
[0057]圖20 是表不 modify_bip_small_mrg_10 信息的不圖。
[0058]圖21是表示由編碼器1000執(zhí)行的SPS的編碼和由解碼器2000執(zhí)行的SPS的解碼的流程圖。
[0059]圖22是表示由編碼器1000執(zhí)行的片頭的編碼和由解碼器2000執(zhí)行的片頭的解碼的流程圖。
[0060]圖23是表示由編碼器1000執(zhí)行的CU的編碼和由解碼器2000執(zhí)行的CU的解碼的流程圖。
[0061]圖24是表不合并候選項的選定(選擇)的流程圖。
[0062]圖25是表示限制模式RB的示圖。[0063]圖26是表示在使用限制模式RB的情況下的編碼器1000和解碼器2000的處理的
流程圖。
[0064]圖27是表示與水平塊的預測相比在垂直塊的預測中使用更大范圍的存儲器帶寬的示圖。
[0065]圖28是表示與水平塊的預測相比在垂直塊的預測中使用更大范圍的存儲器帶寬的示圖。
[0066]圖29是表示限制模式RV的示圖。
[0067]圖30是顯示包括識別信息的編碼數據的頭信息的語法的第一示例的示圖。
[0068]圖31是顯示由標記disable_bip_small_mrg_idc采用的值并且顯示雙向預測被標記disable_bip_small_mrg_idc的每個值禁止的塊的大小的示圖。
[0069]圖32是顯示包括識別信息的編碼數據的頭信息的語法的第二示例的示圖。
[0070]圖33是顯示包括識別信息的編碼數據的頭信息的語法的第二示例的示圖。
[0071]圖34是顯示個人計算機的主要配置示例的方框圖。
[0072]圖35是顯示電視設備的示意性配置示例的方框圖。
[0073]圖36是顯示移動電話的示意性配置示例的方框圖。
[0074]圖37是顯示記錄和再現設備的示意性配置示例的方框圖。
[0075]圖38是顯示成像設備的示意性配置示例的方框圖。
[0076]圖39是顯示多視圖圖像編碼方法的示例的示圖。
[0077]圖40是顯示應用本技術的多視圖圖像編碼裝置的主要配置示例的示圖。
[0078]圖41是顯示應用本技術的多視圖圖像解碼裝置的主要配置示例的示圖。
[0079]圖42是顯示分層圖像編碼方法的示例的示圖。
[0080]圖43是顯示應用本技術的分層圖像編碼裝置的主要配置示例的示圖。
[0081]圖44是顯示應用本技術的分層圖像解碼裝置的主要配置示例的示圖。
[0082]圖45是顯示可擴展編碼(scalable encoding)的使用的示例的方框圖。
[0083]圖46是顯示可擴展編碼的使用的另一示例的方框圖。
[0084]圖47是顯示可擴展編碼的使用的另一示例的方框圖。
【具體實施方式】
[0085]以下，將描述本技術的實施例，但在此之前，將描述基本的技術。
[0086][圖像編碼裝置]
[0087]圖1是顯示圖像編碼裝置的主要配置示例的方框圖。
[0088]圖1中示出的圖像編碼裝置100使用作為H.264/運動圖像專家組(MPEG)4部分10 (高級視頻編碼(AVC))的編碼方法的預測處理對圖像數據進行編碼。
[0089]圖1中示出的圖像編碼裝置100包括A/D轉換單元101、畫面重新布置緩沖器102、計算單元103、正交變換單元104、量化單元105、可逆編碼單元106和累積緩沖器107。圖像編碼裝置100還包括逆量化單元108、逆正交變換單元109、計算單元110、環(huán)路濾波器111、幀存儲器112、選擇單元113、幀內預測單元114、運動預測補償單元115、預測圖像選擇單元116和速率控制單元117。
[0090]圖像編碼裝置100還包括編碼控制單元121。[0091]A/D轉換單元101執(zhí)行輸入圖像數據的A/D轉換，將在轉換之后的圖像數據(數字數據)提供給畫面重新布置緩沖器102，并且將圖像數據存儲在畫面重新布置緩沖器102中。畫面重新布置緩沖器102根據圖片組(GOP)將按照存儲的顯示次序的幀的圖像重新布置為用于編碼的幀的次序，并且將具有改變的幀的次序的圖像提供給計算單元103。另外，畫面重新布置緩沖器102還將具有改變的幀的次序的圖像提供給幀內預測單元114和運動預測補償單元115。
[0092]計算單元103用從畫面重新布置緩沖器102讀出的圖像減去通過預測圖像選擇單元116從幀內預測單元114或運動預測補償單元115提供的預測圖像，并且將其差信息輸出到正交變換單元104。
[0093]例如，在將要對圖像進行幀間編碼的情況下，計算單元103用從畫面重新布置緩沖器102讀出的圖像減去從運動預測補償單元115提供的預測圖像。
[0094]正交變換單元104針對從計算單元103提供的差信息執(zhí)行正交變換，諸如離散余弦變換或Karhunen-Loeve變換。另外，這種正交變換的方法是任意的。正交變換單元104將通過正交變換獲得的變換系數提供給量化單元105。
[0095]量化單元105對從正交變換單元104提供的變換系數進行量化。量化單元105基于從速率控制單元117提供的與編碼率的目標值相關的信息設置量化參數，并且執(zhí)行其量化。另外，其量化的方法是任意的。量化單元105將量化的變換系數提供給可逆編碼單元106。
[0096]可逆編碼單元106通過任意編碼方法對在量化單元105中量化的變換系數進行編碼。由于變換系數在速率控制單元117的控制下被量化，所以其編碼率是由速率控制單元117設置的目標值(或近似目標值)。
[0097]另外，可逆編碼單元106從幀內預測單元114獲取顯示幀內預測的模式的信息等，并且從運動預測補償單元115獲取顯示幀間預測的模式的信息、運動向量信息等。另外，可逆編碼單元106獲取在環(huán)路濾波器111中使用的濾波器系數等。
[0098]可逆編碼單元106通過任意編碼方法對各種信息項進行編碼，并且將信息項設置(多路復用)為編碼數據的某一頭信息?？赡婢幋a單元106將通過編碼獲得的編碼數據提供給累積緩沖器107，并且將編碼數據累積在累積緩沖器107中。
[0099]作為可逆編碼單元106的編碼方法，例如，使用可變長度編碼、算術編碼等。作為可變長度編碼，例如，使用基于H.264/AVC方法獲得的上下文自適應可變長度編碼(CAVLC)。作為算術編碼，例如，使用上下文自適應二進制算術編碼(CABAC)。
[0100]累積緩沖器107暫時保存從可逆編碼單元106提供的編碼數據。累積緩沖器107例如在預定時間將保存的編碼數據輸出到在后面階段的記錄設備(記錄介質)或傳輸路徑(未示出)。
[0101]另外，在量化單元105中量化的變換系數也被提供給逆量化單元108。逆量化單元108通過與量化單元105的量化對應的方法執(zhí)行量化的變換系數的逆量化。這種逆量化方法可以是任何方法，只要它是與由量化單元105執(zhí)行的量化處理對應的方法即可。逆量化單元108將獲得的變換系數提供給逆正交變換單元109。
[0102]逆正交變換單元109通過與由正交變換單元104執(zhí)行的正交變換處理對應的方法執(zhí)行從逆量化單元108提供的變換系數的逆正交變換。這種逆正交變換方法可以是任何方法，只要它是與由正交變換單元104執(zhí)行的正交變換處理對應的方法即可。經過了逆正交變換的輸出(恢復的差信息)被提供給計算單元110。
[0103]計算單元110將通過預測圖像選擇單元116從幀內預測單元114或運動預測補償單元115提供的預測圖像與從逆正交變換單元109提供的逆正交變換結果(也就是說，恢復的差信息)相加，并且獲得在本地解碼的圖像(解碼圖像)。解碼圖像被提供給環(huán)路濾波器111或幀存儲器112。
[0104]環(huán)路濾波器111包括去塊濾波器、適應性環(huán)路濾波器等，并且針對從計算單元110提供的解碼圖像執(zhí)行合適的濾波處理。例如，環(huán)路濾波器111通過針對解碼圖像執(zhí)行去塊濾波處理來去除解碼圖像的塊失真。另外，例如，環(huán)路濾波器111通過針對其去塊濾波處理結果(去除了塊失真的解碼圖像)使用維納濾波器執(zhí)行環(huán)路濾波處理來執(zhí)行圖像質量改進。
[0105]另外，環(huán)路濾波器111可針對解碼圖像執(zhí)行任意濾波處理。另外，如果必要，則環(huán)路濾波器111還能夠被配置為將信息(諸如，用于濾波處理的濾波器系數)提供給可逆編碼單元106并且對該信息進行編碼。
[0106]環(huán)路濾波器111將濾波處理結果(在濾波處理之后的解碼圖像)提供給幀存儲器112。另外，如上所述，從計算單元110輸出的解碼圖像能夠被提供給幀存儲器112而不使用環(huán)路濾波器111。也就是說，由環(huán)路濾波器111執(zhí)行的濾波處理能夠被省略。
[0107]幀存儲器112存儲提供的解碼圖像，并且在預定時間將存儲的解碼圖像提供給選擇單元113作為參考圖像。
[0108]選擇單元113選擇從幀存儲器112提供的參考圖像的提供目的地。例如，在幀間預測的情況下，選擇單元113將從幀存儲器112提供的參考圖像提供給運動預測補償單元115。
[0109]幀內預測單元114通過使用待處理圖片(該待處理圖像是通過選擇單元113從幀存儲器112提供的參考圖像)中的像素值，基本上使用預測單元(PU)作為處理單元來執(zhí)行產生預測圖像的幀內預測(畫面內預測)。幀內預測單元114在預先準備的多種模式(幀內預測模式)下執(zhí)行這種幀內預測。
[0110]幀內預測單元114在作為候選項的所有幀內預測模式下產生預測圖像，使用從畫面重新布置緩沖器102提供的輸入圖像評估每個預測圖像的成本函數值，并且選擇最佳模式。如果選擇了最佳幀內預測模式，則幀內預測單元114將在這種最佳模式下產生的預測圖像提供給預測圖像選擇單元116。
[0111]另外，如上所述，幀內預測單元114合適地將顯示所采用的幀內預測模式的幀內預測模式信息等提供給可逆編碼單元106以使該信息等被編碼。
[0112]運動預測補償單元115通過使用從畫面重新布置緩沖器102提供的輸入圖像和經選擇單元113從幀存儲器112提供的參考圖像，基本上使用作為處理單位來執(zhí)行運動預測(幀間預測)，基于檢測到的運動向量執(zhí)行運動補償，并且產生預測圖像(幀間預測圖像信息)。運動預測補償單元115在預先準備的多種模式(幀間預測模式)下執(zhí)行這種幀間預測。
[0113]運動預測補償單元115在作為候選項的所有幀間預測模式下產生預測圖像，評估每個預測圖像的成本函數值，并且選擇最佳模式。如果選擇了最佳幀間預測模式，則運動預測補償單元115將在這種最佳模式下產生的預測圖像提供給預測圖像選擇單元116。
[0114]另外，當對顯示所采用的幀間預測模式的信息或編碼數據進行解碼時，運動預測補償單元115將在這種幀間預測模式下執(zhí)行處理所需的信息等提供給可逆編碼單元106以使該信息等被編碼。
[0115]預測圖像選擇單元116選擇將要被提供給計算單元103或計算單元110的預測圖像的提供源。例如，在幀間編碼的情況下，預測圖像選擇單元116選擇運動預測補償單元115作為預測圖像的提供源，并且將從運動預測補償單元115提供的預測圖像提供給計算單元103或計算單元110。
[0116]速率控制單元117基于累積在累積緩沖器107中的編碼數據的編碼率控制量化單元105的量化操作的速率，以免產生上溢或下溢。
[0117]編碼控制單元121控制可逆編碼單元106的編碼處理。此時，編碼控制單元121執(zhí)行這樣的確定:是否在合并模式下執(zhí)行編碼。
[0118]另外，編碼控制單元121也在除合并模式之外的模式(例如，跳躍模式、幀內預測模式、幀間預測模式、直接模式等)下執(zhí)行編碼處理的控制。
[0119]可逆編碼單元106在由編碼控制單元121選擇的模式下執(zhí)行可逆編碼處理。
[0120][編碼單元]
[0121]同時，在AVC編碼方法中，宏塊或通過將宏塊分割為多個塊而獲得的子宏塊被用作預測處理或編碼處理的處理單位。然而，針對可能是下一代編碼方法的目標的超高清晰度(UHD ；4000像素X 2000像素)的大幀，設置16像素X 16像素的宏塊大小不是最佳的。
[0122]這里，當前，為了 AVC的編碼效率的進一步提高，正在由聯(lián)合協(xié)作團隊-視頻編碼(JCTVC)進行被稱為高效率視頻編碼(HEVC)的編碼方法的標準化，JCTVC是國際電信聯(lián)盟電信標準化部門(ITU-T)和國際標準化組織(ISO)/國際電工委員會(IEC)的聯(lián)合標準化組織。
[0123]在AVC中，定義了具有宏塊和子宏塊的分層結構，但在HEVC中，如圖2中所示定義編碼單元(⑶)。
[0124]⑶也被稱為編碼樹塊(CTB)，并且是圖片單位的圖像的部分區(qū)域，它與AVC的宏塊具有相同的作用。盡管在后者方法中的大小被固定為16X16像素的大小，但在前者方法中的大小不是固定的并且在各序列的圖像壓縮信息中被指定。
[0125]例如，在將要被輸出的編碼數據中所包括的序列參數集(SPS)中，定義了 CU的最大大小(最大編碼單元(LCU))及其最小大小(最小編碼單元(SCU))。
[0126]在每個IXU中，通過在不小于S⑶的大小的范圍中將split_flag設置為1，可將CU劃分為具有更小大小的CU。在圖2的示例中，LCU的大小是128，并且最大分層深度是5。在split_flag的值為“I”時，具有2NX2N的大小的⑶被劃分為具有NXN的大小的⑶，具有NXN的大小的CU位于比具有2NX2N的大小的CU的分層低一個級別的分層中。
[0127]另外，如圖3中所示，CU被劃分為預測單元(PU)，每個PU是用作幀內預測或幀間預測的處理單位的區(qū)域(圖片單位的圖像的部分區(qū)域)，并且CU被進一步劃分為變換單位(TU)，每個TU是用作正交變換的處理單位的區(qū)域(圖片單位的圖像的部分區(qū)域)。當前，在HEVC中，除了 4X4和8X8之外，還可使用16X16和32X32的正交變換。
[0128]在上述HEVC中，在定義了⑶并且利用⑶作為單位執(zhí)行各種處理的編碼方法的情況下，能夠認為AVC的宏塊對應于LCU。然而，由于如圖2中所示CU具有分層結構，所以通常將最高分層中的IXU的大小設置為大于AVC的宏塊，例如，設置為128X 128像素。
[0129]本技術還能夠被應用于使用CU、PU和TU而不是宏塊的編碼方法。也就是說，用于執(zhí)行預測處理的處理單位可以是任意區(qū)域。也就是說，在下面的描述中，不僅宏塊或子宏塊被包括在預測處理的待處理的區(qū)域(也被稱為對應區(qū)域或目標區(qū)域)或周圍區(qū)域(周圍區(qū)域是位于對應區(qū)域周圍的區(qū)域)中，CU、PU和TU也被包括在預測處理的待處理的區(qū)域或周圍區(qū)域中。
[0130][運動分割的合并]
[0131]同時，提出如圖4中所示的被稱為運動分割合并的方法(合并模式)作為運動信息的編碼方法之一。在這種方法中，發(fā)送兩個標記(Merge_Flag和Merge_Left_Flag)作為合并信息(合并信息是與合并模式相關的信息)。
[0132]Merge_Flag = I顯示:對應區(qū)域X的運動信息與與對應區(qū)域的上部分相鄰的周圍區(qū)域T或與對應區(qū)域的左部分相鄰的周圍區(qū)域L的運動信息相同。此時，合并信息包括Merge_Left_Flag并且被發(fā)送。Merge_Flag = O顯示:對應區(qū)域X的運動信息與周圍區(qū)域T和周圍區(qū)域L的運動信息都不同。在這種情況下，發(fā)送對應區(qū)域X的運動信息。
[0133]在對應區(qū)域X的運動信息與周圍區(qū)域L的運動信息相同的情況下，Merge_Flag =I并且Merge_Left_Flag = I。在對應區(qū)域X的運動信息與周圍區(qū)域T的運動信息相同的情況下，Merge_Flag = I 并且 Merge_Left_Flag = O。
[0134][可逆編碼單元和編碼控制單元]
[0135]圖5是顯示可逆編碼單元106和編碼控制單元121的主要配置示例的方框圖。
[0136]如圖5中所示，可逆編碼單元106包括網絡抽象層(NAL)編碼單元131和⑶數據編碼單元132。
[0137]NAL編碼單元131對NAL的數據(諸如，序列參數集(SPS)、圖片參數集(PPS)和片頭)進行編碼。CU數據編碼單元132對比CU更低的分層(視頻編碼層(VCL))中的數據進行編碼。
[0138]⑶數據編碼單元132包括跳躍標記編碼單元141、跳躍模式編碼單元142、合并標記編碼單元143和合并模式編碼單元144。⑶數據編碼單元132還包括PredMode (預測模式)編碼單元145、幀內編碼單元146、幀間編碼單元147和直接模式編碼單元148。
[0139]跳躍標記編碼單元141產生顯示是否采用跳躍模式的跳躍標記并且根據編碼控制單元121的控制執(zhí)行編碼。跳躍模式編碼單元142根據編碼控制單元121的控制在跳躍模式下執(zhí)行編碼處理。
[0140]合并標記編碼單元143根據編碼控制單元121的控制產生顯示是否采用合并模式的MergeFlag(合并標記)并且對其進行編碼。合并躍模式編碼單元144根據編碼控制單元121的控制在合并模式下執(zhí)行編碼處理。
[0141]PredMode編碼部分145根據編碼控制單元121的控制對作為顯示預測模式的參數的PredMode (預測模式)進行編碼。幀內編碼單元146根據編碼控制單元121的控制執(zhí)行與使用幀內預測產生的差圖像的編碼相關的處理。幀間編碼單元147根據編碼控制單元121的控制執(zhí)行與使用幀間預測產生的差圖像的編碼相關的處理。直接模式編碼單元148根據編碼控制單元121的控制執(zhí)行與使用直接模式產生的差圖像的編碼相關的處理。[0142][編碼處理的流程]
[0143]接下來，將描述由上述圖像編碼裝置100執(zhí)行的每個處理的流程。首先，將參照圖6的流程圖描述編碼處理的流程的示例。
[0144]在步驟SlOl中，A/D轉換單元101執(zhí)行輸入圖像的A/D轉換。在步驟S102中，畫面重新布置緩沖器102存儲經A/D轉換的圖像，并且執(zhí)行從顯示每個圖片的順序至被編碼的順序的重新布置。
[0145]在步驟S103中，幀內預測單元114按照幀內預測模式執(zhí)行幀內預測處理。在步驟S104中，運動預測補償單元115按照幀間預測模式執(zhí)行用于執(zhí)行運動預測或運動補償的幀間運動預測處理。
[0146]在步驟S105中，預測圖像選擇單元116基于從幀內預測單元114和運動預測補償單元115輸出的每個成本函數值確定最佳模式。也就是說，預測圖像選擇單元116選擇由幀內預測單元114產生的預測圖像和由運動預測補償單元115產生的預測圖像中的任何一個。
[0147]在步驟S106中，計算單元103計算通過步驟S102的處理重新布置的圖像與通過步驟S105的處理選擇的預測圖像之間的差。與原始圖像數據的數據量相比，差數據的數據量減小。因此，與按原樣編碼圖像的情況相比，可壓縮該數據量。
[0148]在步驟S107中，正交變換單元104對通過步驟S106的處理產生的差信息執(zhí)行正交變換。詳細地說，執(zhí)行諸如離散余弦變換或Karhunen-Loeve變換的正交變換，并且輸出變換系數。
[0149]在步驟S108中，量化單元105將通過步驟S107的處理獲得的變換系數量化。
[0150]如下地對通過步驟S108的處理量化的差信息進行本地解碼。也就是說，在步驟S109中，逆量化單元108利用對應于量化單元105的屬性的屬性，將通過步驟S108的處理產生和量化的變換系數(也被稱作量化系數)逆量化。在步驟SllO中，逆正交變換單元109利用對應于正交變換單元104的屬性的屬性，對通過步驟S107的處理獲得的變換系數執(zhí)行逆正交變換，將差信息本地解碼，并且將差信息供應至計算單元110。
[0151]在步驟Slll中，計算單元110將預測圖像添加至經本地解碼的差信息，并產生經本地解碼的圖像(對應于輸入到計算單元103的圖像)。在步驟S112中，環(huán)路濾波器111針對通過步驟Slll的處理獲得的經本地解碼的圖像，合適地執(zhí)行包括去塊濾波處理或適應性環(huán)路濾波處理的環(huán)路濾波處理。
[0152]在步驟S113中，幀存儲器112存儲通過步驟S112的處理而經過了環(huán)路濾波處理的解碼圖像。另外，還將未經過環(huán)路濾波器111的濾波處理的圖像從計算單元110供應至幀存儲器112并存儲在幀存儲器112中。
[0153]在步驟SI 14中，可逆編碼單元106編碼通過步驟S108的處理量化的變換系數(量化系數)。也就是說，針對差圖像執(zhí)行諸如可變長度編碼或算術編碼的可逆編碼。
[0154]另外，可逆編碼單元106編碼在步驟S108中計算的量化的參數，并將量化的參數添加(包括)至編碼數據。另外，可逆編碼單元106編碼與通過步驟S105的處理選擇的預測圖像的預測模式有關的信息，并將該信息添加至通過編碼差圖像獲得的編碼數據。也就是說，可逆編碼單元106還編碼從幀內預測單元114供應的最佳幀內預測模式信息、從運動預測補償單元115供應的基于最佳幀內預測模式信息的信息等，并將信息添加至編碼數據。
[0155]在步驟S115中，累積緩沖器107累積通過步驟S114的處理獲得的編碼數據。合適地讀出在累積緩沖器107中累積的編碼數據，并將其通過傳輸路徑或記錄介質發(fā)送至解碼側。
[0156]在步驟SI 16中，速率控制單元117基于通過步驟SI 15的處理在累積緩沖器107中累積的編碼數據的編碼率(產生的編碼率)控制量化單元105的量化操作的速率，從而不產生上溢或下溢。
[0157]當步驟S116的處理結束時，編碼處理結束。
[0158]另外，在步驟S114中，可逆編碼單元106根據編碼控制單元121的控制執(zhí)行編碼處理。
[0159][可逆編碼處理的流程]
[0160]接著，將參照圖7的流程圖描述在圖6的步驟S114中執(zhí)行的可逆編碼處理的流程的示例。如圖7所示，針對圖像的每個分層執(zhí)行可逆編碼處理。
[0161]也就是說，NAL編碼單元131在步驟S121中產生并編碼SPS，在步驟S122中產生并編碼PPS，以及在步驟S123中產生并編碼片頭。在步驟S124中，⑶數據編碼單元132編碼作為處理目標的對應的CU。
[0162]⑶數據編碼單元132針對作為處理目標的對應的片中的所有⑶重復步驟S124的處理。在步驟S125中，在確定對應的片中不存在未處理的CU的情況下，CU數據編碼單元132允許處理前進至步驟S126。
[0163]NAL編碼單元131針對作為處理目標的對應的圖片中的所有片重復步驟S123至步驟S125的處理。在步驟S126中，在確定對應的圖片中不存在未處理的片的情況下，NAL編碼單元131允許處理前進至步驟S127。
[0164]NAL編碼單元131針對作為處理目標的對應的序列中的所有圖片重復步驟S122至步驟S126的處理。在步驟S127中，在確定對應的序列中不存在未處理的圖片的情況下，NAL編碼單元131允許可逆編碼處理結束，并且處理返回至圖6。
[0165][⑶編碼處理的流程]
[0166]接著，將參照圖8和圖9的流程圖描述在圖7的步驟S124中執(zhí)行的⑶編碼處理的流程的示例。
[0167]當⑶編碼處理開始時，在步驟S131中，編碼控制單元121根據由NAL編碼單元131產生的NAL數據確定對應的片的類型，并且確定對應的片是否為I片。僅在對應的片不是I片(為P片或B片)的情況下，在步驟S132中，跳躍標記編碼單元141產生跳躍標記并且編碼該跳躍標記。
[0168]在步驟S133中，在編碼控制單元121確定跳躍標記的值為I的情況下，在步驟S134中，已從編碼控制單元121獲得其確定結果的跳躍模式編碼部分142按照跳躍模式編碼⑶數據。當編碼結束時，⑶編碼處理結束，并且處理返回至圖7。
[0169]另外，在圖8的步驟S133中，在編碼控制單元121確定跳躍標記的值為O或者不存在跳躍標記的情況下，編碼控制單元121允許處理前進至步驟S135。在這種情況下，不執(zhí)行跳躍模式的編碼。
[0170]合并標記編碼部分143在步驟S135中產生并編碼合并標記。[0171]在步驟S136中，在編碼控制單元121確定合并標記的值為I的情況下，在步驟S137中，已從編碼控制單元121獲得其確定結果的合并模式編碼部分144按照合并模式編碼⑶數據。當編碼結束時，⑶編碼處理結束，并且處理返回至圖7。
[0172]另外，在圖8的步驟S136中，在編碼控制單元121確定合并標記的值為O或不存在合并標記的情況下，處理前進至圖9的流程圖并且執(zhí)行基于采用的預測模式的編碼。
[0173]也就是說，僅在編碼控制單元121在圖9的步驟S141中確定作為處理目標的對應的片不是I片的情況下，PredMode編碼部分145在步驟S142中產生并編碼作為示出對應的片的預測模式的類型的參數的pred_mode。
[0174]在編碼控制單元121在步驟S143中參照PredMode確定對應的區(qū)域的預測模式為幀內預測模式的情況下，幀內編碼部分146在步驟S144中按照幀內預測模式編碼CU數據。也就是說，差圖像信息(量化系數)、關于幀內預測模式的信息等被編碼。當編碼結束時，⑶編碼處理結束，并且處理返回至圖7。
[0175]另外，在編碼控制單元121確定對應的區(qū)域的預測模式為幀間預測模式而不是幀內預測模式(步驟S143和步驟S145)的情況下，幀間編碼部分147在步驟S146中按照幀間預測模式編碼CU數據。也就是說，差圖像信息(量化系數)、關于幀間預測模式的信息等被編碼。當編碼結束時，⑶編碼處理結束，并且處理返回至圖7。
[0176]另外，在編碼控制單元121確定對應的區(qū)域的預測模式既非幀內預測模式也非幀間預測模式(步驟S143和步驟S145)的情況下，直接模式編碼部分148在步驟S147中按照直接預測模式編碼CU數據。當編碼結束時，CU編碼處理結束，并且處理返回至圖7。
[0177][圖像解碼裝置]
[0178]圖10是示出圖像解碼裝置的主要配置示例的框圖。圖10所示的圖像解碼裝置200通過對應于其編碼方法的解碼方法解碼由圖像編碼裝置100產生的編碼數據。另外，圖像解碼裝置200按照與圖像編碼裝置100的方式相同的方式針對每個任意區(qū)域(例如，預測單元(PU)等)執(zhí)行預測處理。
[0179]如圖10所示，圖像解碼裝置200包括累積緩沖器201、可逆解碼單元202、逆量化單元203、逆正交變換單元204、計算單元205、環(huán)路濾波器206、畫面重新布置緩沖器207和D/A轉換單元208。圖像解碼裝置200還包括幀存儲器209、選擇單元210、幀內預測單元211、運動預測補償單元212和選擇單元213。
[0180]圖像解碼裝置200還包括解碼控制單元221。
[0181]累積緩沖器201累積發(fā)送的編碼數據，并在預定時刻將編碼數據供應至可逆解碼單元202。可逆解碼單元202通過對應于可逆編碼單元106的編碼方法的方法將通過累積緩沖器201供應并通過圖1的可逆編碼單元106編碼的信息解碼。可逆解碼單元202將通過解碼獲得的差圖像的量化系數供應至逆量化單元203。
[0182]另外，可逆解碼單元202確定針對最佳預測模式選擇了幀內預測模式還是選擇了幀間預測模式，并將關于最佳預測模式的信息供應至幀內預測單元211和運動預測補償單元212中的具有確定被選擇的模式的單元。也就是說，例如，在圖像編碼裝置100中選擇幀間預測模式作為最佳預測模式的情況下，將關于最佳預測模式的信息供應至運動預測補償單元212。
[0183]逆量化單元203通過對應于圖1的量化單元105的量化方法的方法逆量化通過可逆解碼單元202執(zhí)行的解碼獲得的量化系數，并將獲得的變換系數供應至逆正交變換單元204。
[0184]逆正交變換單元204通過對應于圖1的正交變換單元104的正交變換方法的方法對從逆量化單元203供應的變換系數執(zhí)行逆正交變換。通過該逆正交變換處理，逆正交變換單元204獲得與在圖像編碼裝置100中經過正交變換之前的殘余數據對應的解碼的殘余數據(與通過圖像編碼裝置100的逆正交變換單元109輸出的經本地解碼的差信息相同的數據)。
[0185]將通過執(zhí)行逆正交變換獲得的解碼的殘余數據供應至計算單元205。另外，通過選擇單元213將預測圖像從幀內預測單元211或運動預測補償單元212供應至計算單元205。
[0186]計算單元205將解碼的殘余數據與預測圖像相加，并獲得與通過圖像編碼裝置100的計算單元103對預測圖像執(zhí)行減法之前的圖像數據對應的解碼圖像數據。計算單元205將解碼圖像數據供應至環(huán)路濾波器206。
[0187]環(huán)路濾波器206針對供應的解碼圖像合適地執(zhí)行包括去塊濾波處理或適應性環(huán)路濾波處理的環(huán)路濾波處理，并將其供應至畫面重新布置緩沖器207。
[0188]環(huán)路濾波器206包括去塊濾波器、適應性環(huán)路濾波器等，并針對從計算單元205供應的解碼圖像執(zhí)行合適的濾波處理。例如，環(huán)路濾波器206通過針對解碼圖像執(zhí)行去塊濾波處理去除解碼圖像的塊失真。另外，例如，環(huán)路濾波器206通過利用威納濾波器針對去塊濾波處理的結果(其中去除了塊失真的解碼圖像)執(zhí)行環(huán)路濾波處理來執(zhí)行圖像質量提聞。
[0189]另外，環(huán)路濾波器206可針對解碼圖像執(zhí)行任意濾波處理。另外，環(huán)路濾波器206可利用從圖1的圖像編碼裝置100供應的濾波系數執(zhí)行濾波處理。
[0190]環(huán)路濾波器206將濾波處理結果(在濾波處理之后的解碼圖像)供應至畫面重新布置緩沖器207和幀存儲器209。另外，可不使用環(huán)路濾波器206將從計算單元205輸出的解碼圖像供應至畫面重新布置緩沖器207或幀存儲器209。也就是說，可省略通過環(huán)路濾波器206執(zhí)行的濾波處理。
[0191]畫面重新布置緩沖器207執(zhí)行圖像的重新布置。也就是說，針對通過圖1的畫面重新布置緩沖器102編碼的順序重新布置的幀的順序被重新布置為原始顯示的順序。D/A轉換單元208對從畫面重新布置緩沖器207供應的圖像執(zhí)行D/A轉換，輸出到并在顯示器(未示出)上顯示圖像。
[0192]幀存儲器209存儲供應的解碼圖像，并在預定時刻或基于幀內預測單元211或運動預測補償單元212的外部請求將存儲的解碼圖像作為參考圖像供應至選擇單元210。
[0193]選擇單元210選擇從幀存儲器209供應的參考圖像的供應目的地。在對經過了幀內編碼的圖像進行解碼的情況下，選擇單元210將從幀存儲器209供應的參考圖像供應至幀內預測單元211。另外，在對經過了幀間編碼的圖像進行解碼的情況下，選擇單元210將從幀存儲器209供應的參考圖像供應至運動預測補償單元212。
[0194]示出通過解碼包括在編碼數據中的頭信息獲得的幀內預測模式的信息等被從可逆解碼單元202合適地供應至幀內預測單元211。幀內預測單元211利用從幀存儲器209獲得的參考圖像，按照在圖1的幀內預測單元114中使用的幀內預測模式執(zhí)行幀內預測，并產生預測圖像。幀內預測單元211將產生的預測圖像供應至選擇單元213。[0195]運動預測補償單元212從可逆解碼單元202獲得通過解碼頭信息得到的信息(最佳預測模式信息、差信息、預測運動向量信息的碼號等)。
[0196]運動預測補償單元212利用從幀存儲器209獲得的參考圖像，按照在圖1的運動預測補償單元115中使用的幀間預測模式執(zhí)行幀間預測，并產生預測圖像。
[0197]解碼控制單元221控制可逆解碼單元202的解碼處理。由于可逆解碼單元202基本上通過對應于圖1的可逆編碼單元106的方法執(zhí)行解碼處理，因此解碼控制單元221的控制方法與圖1的編碼控制單元121的控制方法基本相同。由于在編碼側和解碼側使用相同的控制方法，因此解碼控制單元221可選擇對應于由編碼控制單元121選擇的編碼方法的解碼方法，并且可進行控制以便正確地執(zhí)行解碼處理。
[0198]也就是說，解碼控制單元221執(zhí)行關于是否按照合并模式執(zhí)行解碼的確定。
[0199]另外，解碼控制單元221還按照除合并模式以外的模式(例如，跳躍模式、幀內預測模式、幀間預測模式、直接模式等)執(zhí)行對解碼處理的控制。
[0200]可逆解碼單元202按照由解碼控制單元221選擇的模式執(zhí)行可逆解碼處理。
[0201 ][可逆解碼單元和解碼控制單元]
[0202]圖11是示出可逆解碼單元202和解碼控制單元221的主要配置示例的框圖。
[0203]如圖11所示，可逆解碼單元202包括NAL解碼單元231和⑶數據解碼單元232。
[0204]NAL解碼單元231解碼諸如序列參數集、圖片參數集、片頭等的NAL的編碼數據。CU數據解碼單元232在比CU更低的分層中解碼編碼數據。
[0205]⑶數據解碼單元232包括跳躍標記解碼單元241、跳躍模式解碼單元242、合并標記解碼單元243和合并模式解碼單元244。⑶數據解碼單元232還包括PredMode (預測模式)解碼單元245、幀內解碼單元246、幀間解碼單元247和直接模式解碼單元248。
[0206]跳躍標記解碼單元241根據解碼控制單元221的控制解碼跳躍標記。跳躍模式解碼單元242根據解碼控制單元221的控制按照跳躍模式執(zhí)行解碼處理。
[0207]合并標記解碼單元243根據解碼控制單元221的控制解碼合并標記(MergeFlag)。合并模式解碼單元244根據解碼控制單元221的控制按照合并模式執(zhí)行解碼處理。
[0208]PredMode解碼部分245根據解碼控制單元221的控制解碼PredMode。巾貞內解碼單元246根據解碼控制單元221的控制執(zhí)行關于解碼通過利用幀內預測產生的差圖像的編碼數據的處理。幀間解碼單元247根據解碼控制單元221的控制執(zhí)行關于解碼通過利用幀間預測產生的差圖像的編碼數據的處理。直接模式解碼單元248根據解碼控制單元221的控制執(zhí)行關于解碼通過利用直接模式產生的差圖像的編碼數據的處理。
[0209][解碼處理的流程]
[0210]接著，將描述通過上述圖像解碼裝置200執(zhí)行的每個處理的流程。首先，將參照圖12的流程圖描述解碼處理的流程的示例。
[0211]如果開始解碼處理，則在步驟S201中，累積緩沖器201累積發(fā)送的編碼數據(編碼流)。在步驟中S202，可逆解碼單元202解碼從累積緩沖器201供應的編碼數據。也就是說，通過圖1的可逆編碼單元106編碼的I圖片、P圖片和B圖片被解碼。另外，除包括在編碼數據中的差圖像信息之外的諸如差運動信息、預測運動向量信息的碼號、合并信息等的各個信息項也被解碼。
[0212]在步驟S203中，逆量化單元203逆量化通過步驟S202的處理獲得的量化的變換系數(量化系數)。在步驟S204中，逆正交變換單元204對在步驟S203中逆量化的變換系數執(zhí)行逆正交變換。
[0213]在步驟S205中，幀內預測單元211或運動預測補償單元212利用供應的信息執(zhí)行預測處理。在步驟S206中，選擇單元213選擇在步驟S205中產生的預測圖像。在步驟S207中，計算單元205將在步驟S206中選擇的預測信息添加至通過在步驟S204中執(zhí)行逆正交變換獲得的差息。因此，獲得解碼圖像。
[0214]在步驟S208中，環(huán)路濾波器206針對在步驟S207中獲得的解碼圖像合適地執(zhí)行包括去塊濾波處理或適應性環(huán)路濾波處理的環(huán)路濾波處理。
[0215]在步驟S209中，畫面重新布置緩沖器207對在步驟S208中經過濾波處理的圖像執(zhí)行重新布置。也就是說，通過圖像編碼裝置100的畫面重新布置緩沖器102編碼而重新布置的幀的順序被重新布置為原始顯示順序。
[0216]在步驟S210中，D/A轉換單元208對其中幀的順序在步驟S209中被重新布置的圖像執(zhí)行D/A轉換。將該圖像輸出至顯示器(未示出)并且顯示該圖像。
[0217]在步驟S211中，幀存儲器209存儲在步驟S208中經過濾波處理的圖像。該圖像在步驟S205中用于產生作為參考圖像的預測圖像(預測處理)。
[0218]當步驟S211的處理結束時，解碼處理結束。
[0219][可逆解碼處理的流程]
[0220]接著，將參照圖13的流程圖描述在圖12的步驟S202中執(zhí)行可逆解碼處理的流程的示例。
[0221]按照與可逆編碼處理的情況中的相同的方式針對圖像的每個分層執(zhí)行該可逆解碼處理。
[0222]也就是說，NAL解碼單元231在步驟S221中解碼SPS的編碼數據，在步驟S222中解碼PPS的編碼數據，并且在步驟S223中解碼片頭的編碼數據。在步驟S224中，CU數據解碼單元232解碼作為處理目標的對應的⑶。
[0223]⑶數據解碼單元232針對作為處理目標的對應的片中的所有⑶重復步驟S224的處理。在步驟S225中，在確定對應的片中不存在未處理的CU的情況下，CU數據解碼部232允許處理前進至步驟226。
[0224]NAL解碼單元231針對作為處理目標的對應的圖片中的所有片重復步驟S223至步驟S225的處理。在步驟S226中，在確定對應的圖片中不存在未處理的片的情況下，NAL解碼單元231允許處理前進至步驟S227。
[0225]NAL解碼單元231針對作為處理目標的對應的序列中的所有圖片重復步驟S222至步驟S226的處理。在步驟S227中，在確定對應的序列中不存在未處理的圖片的情況下，NAL解碼單元231允許可逆解碼處理結束，并且處理返回至圖12。
[0226][⑶解碼處理]
[0227]接著，將參照圖14和圖15的流程圖描述在圖13的步驟S224中執(zhí)行的CU解碼處理的流程的示例。
[0228]當⑶解碼處理開始時，在步驟S231中，解碼控制單元221根據通過NAL解碼單元231解碼的NAL數據確定對應的片的類型，并確定對應的片是否為I片。
[0229]在對應的片不是I片(為P片或B片)的情況下，跳躍標記解碼部分241在步驟S232中解碼跳躍標記。在確定對應的片為I片的情況下，不編碼跳躍標記，因此省略該處理。
[0230]在解碼控制單元221在步驟S233中確定跳躍標記存在且其值為I的情況下，跳躍模式解碼部分242在步驟S234中按照跳躍模式解碼CU數據。當解碼CU數據時，跳躍模式解碼部分242允許⑶解碼處理結束，并且處理返回至圖13。
[0231]在解碼控制單元221在步驟S233中確定不存在跳躍標記或者其值為O的情況下，合并標記解碼部分243在步驟S235中解碼合并標記。
[0232]在解碼控制單元221在步驟S236中確定合并標記存在且其值為I的情況下，合并模式解碼部分244在步驟S237中按照合并模式解碼CU數據。當解碼CU數據時，合并模式解碼部分244允許⑶解碼處理結束，并且處理返回至圖13。
[0233]在解碼控制單元221在步驟S238中確定不存在合并標記或者其值為O的情況下，處理前進至圖15。
[0234]在這種情況下，通過基于預測模式的方法解碼⑶數據。也就是說，在解碼控制單元221在圖15的步驟S241中確定對應的片不是I片的情況下，PredMode解碼部分245在步驟S242中解碼pred_mode (PredMode)。在確定對應的片為I片的情況下，不編碼pred_mode，因此省略其處理。
[0235]在解碼控制單元221在S243步驟中確定對應的區(qū)域的預測模式為幀內預測模式的情況下，幀內解碼部分246在步驟S244中按照幀內預測模式執(zhí)行解碼(通過合適的方法解碼按照幀內預測模式編碼的CU數據)。當解碼CU數據時，幀內解碼部分246允許CU解碼處理結束，并且處理返回至圖13。
[0236]另外，在解碼控制單元221在步驟S243中確定對應的區(qū)域的預測模式不是幀內預測模式并且在步驟S245中確定其預測模式為幀間預測模式的情況下，幀間解碼部分247在步驟S246中按照幀間預測模式執(zhí)行解碼(通過合適的方法解碼按照幀間預測模式編碼的CU數據)。當解碼CU數據時，幀間解碼部分247允許CU解碼處理結束，并且處理返回至圖13。
[0237]另外，在解碼控制單元221在步驟S243中確定對應的區(qū)域的預測模式不是幀內預測模式并且在步驟S245中確定其預測模式不是幀間預測模式的情況下，直接模式解碼部分248在步驟S247中按照直接預測模式執(zhí)行解碼(通過合適的方法解碼按照直接預測模式編碼的CU數據)。當解碼CU數據時，直接模式解碼部分248允許CU解碼處理結束，并且處理返回至圖13。
[0238][應用本技術的圖像處理設備的一個實施例]
[0239]圖16是示出應用本技術的圖像處理設備的一個實施例的配置示例的框圖。
[0240]在圖16中，圖像處理設備包括編碼器1000和解碼器2000。另外，編碼器1000和解碼器2000可在一個獨立設備中作為分離的塊安裝，或者可分別安裝在分離的獨立的設備中。另外，編碼器1000和解碼器2000的每一個可被配置為一個獨立的設備。
[0241]編碼器1000與圖1的圖像編碼裝置100按照相同的方式配置。
[0242]也就是說，在編碼器1000中，輸入圖片緩沖器1001對應于圖1的畫面重新布置緩沖器102，而計算單元1002對應于圖1的計算單元103。正交變換單元1003對應于圖1的正交變換單元104，而量化單元1004對應于圖1的量化單元105。熵編碼單元1005對應于圖1的可逆編碼單元106,而逆量化單元1006對應于圖1的逆量化單元108。逆正交變換單元1007對應于圖1的逆正交變換單元109，而計算單元1008對應于圖1的計算單元110。去塊濾波器1009、適應性采樣偏移單元1010、適應性采樣偏移估計單元1011、適應性環(huán)路濾波器1012和適應性環(huán)路濾波器估計單元1013對應于圖1的環(huán)路濾波器111，而解碼圖片緩沖器(DPB) 1014對應于圖1的幀存儲器112。幀內方向估計單元1015和幀內預測單元1016對應于圖1的幀內預測單元114，而運動估計單元1017和幀間預測單元1018對應于圖1的運動預測補償單元115。模式確定單元1019對應于圖1的預測圖像選擇單元116。
[0243]另外，編碼器1000與圖1的圖像編碼裝置100的不同之處在于:新設置了設置單元1021 ;幀間預測單元1018利用由設置單元1021輸出的信息執(zhí)行處理；以及設置單元1021輸出的信息被包括在熵編碼單元1005中的編碼數據中。
[0244]另外，在圖16的編碼器1000中，在附圖中省略了對應于圖1的A/D轉換單元101、累積緩沖器107、速率控制單元117和編碼控制單元121的塊。
[0245]解碼器2000與圖10的圖像解碼裝置200按照相同的方式配置。
[0246]也就是說，在解碼器2000中，熵解碼單元2001對應于圖10的可逆解碼單元202，而逆量化單元2002對應于圖10的逆量化單元203。逆正交變換單元2003對應于圖10的逆正交變換單元204，而計算單元2004對應于圖10的計算單元205。去塊濾波器2005、適應性采樣偏移單元2006和適應性環(huán)路濾波器2007對應于圖10的環(huán)路濾波器206，而DPB2008對應于圖10的幀存儲器209。幀內預測單元2009對應于圖10的幀內預測單元211，而幀間預測單元2010對應于圖10的運動預測補償單元212。模式選擇單元2011對應于圖10的選擇單元213。
[0247]另外，解碼器2000與圖10的圖像解碼裝置200的不同之處在于，幀間預測單元2010利用包括在由編碼器1000獲得的編碼數據中并且由設置單元1021輸出的信息執(zhí)行處理。
[0248]另外，在圖16的解碼器2000中，在附圖中省略了對應于圖10的累積緩沖器201、畫面重新布置緩沖器207、D/A轉換單元208和解碼控制單元221的塊。
[0249]在如上述配置的圖16的圖像處理設備中，在編碼器1000中按照與圖1的圖像編碼裝置100的方式相同的方式編碼圖像和發(fā)送作為其結果獲得的編碼數據(編碼流)。
[0250]然而，在編碼器1000中，設置單元1021設置并輸出預定信息。設置單元1021輸出的信息(下文中，也被稱作設置信息)被供應至幀間預測單元1018和熵編碼單元1005。
[0251]幀間預測單元1018基于來自設置單元1021的設置信息產生預測圖像。根據需要，該預測圖像在計算單元1002至熵編碼單元1005中用于諸如⑶、PU、PU分區(qū)和TU的圖像塊的編碼(預測編碼)。
[0252]另外，熵編碼單元1005在編碼數據中包括來自設置單元1021的設置信息，并發(fā)送設置信息。
[0253]同時，解碼器2000接收從編碼器1000發(fā)送的編碼數據和按照與圖10的圖像解碼裝置200的方式相同的方式將編碼數據解碼為圖像。
[0254]然而，在解碼器2000中，熵解碼單元2001將設置信息從編碼數據中分離，并將設置信息供應至幀間預測單元2010。
[0255]幀間預測單元2010基于來自熵解碼單元2001的設置信息產生預測圖像。該預測圖像用于解碼在熵解碼單元2001至計算單元2004中經過預測編碼的圖像塊。
[0256]在圖16的圖像處理設備中，例如針對由設置單元1021設置的設置信息使用識別信息、限制信息等。
[0257]下文中，將描述識別信息和限制信息。
[0258][識別信息]
[0259]首先，將描述在設置單元1021中設置的識別信息。
[0260]這里，如上所述，合并模式是一種發(fā)送標記(標記信息)而不是運動信息(預測方向、運動向量或參考索引)(而不發(fā)送運動信息)的技術，并且可提高編碼效率。
[0261]合并模式可關于CU單元和PU單元二者的塊單元使用，并且將在下面描述的技術可應用于通過CU單元和PU單元二者的塊單元執(zhí)行的任何合并模式。
[0262]現在，作為在編碼器1000中的編碼目標的塊(對應的區(qū)域)被稱作目標塊。
[0263]在合并模式中，從在空間上和在時間上靠近目標塊的區(qū)域(周邊區(qū)域)中選擇作為將要與目標塊合并的區(qū)域的合并區(qū)域的候選(下文中，也被稱作合并候選)。然后，從合并候選中選擇(將成為合并區(qū)域的合并候選)合并區(qū)域以增大編碼效率，并且在編碼流(編碼數據)中包括指示其合并區(qū)域的merge_idx。
[0264]另外，merge_i dx描述如下。
[0265]merge_idx[xO] [y0]指明合并候選列表的合并候選索引，其中x0、y0指明考慮的預測塊的左上亮度樣本相對于圖片的左上亮度樣本的位置(x0，y0)。
[0266]mergejdx是指示將成為合并區(qū)域的區(qū)域的信息(或該區(qū)域的運動信息)，其代替上述Merge_Left_Flag使用。Merge_Left_Flag指示位于目標塊左部或上部的區(qū)域,但根據merge_idx,還可指示在其它位置的區(qū)域。
[0267]然而，在編碼器1000的運動補償(MC)中，如果頻繁發(fā)生對存儲解碼圖像的DPB1014的訪問，則作為從DPB1014中讀出解碼圖像的傳輸速率的存儲器帶寬的范圍增大。
[0268]也就是說，作為用于MC中的預測圖像的預測，在執(zhí)行LO預測和LI預測二者(下文中，也被稱作雙向預測(雙預測))而非LO預測和LI預測中的一個預測(下文中，也被稱作單向預測(單預測))的情況下，或者在目標塊的塊大小較小的情況下，存儲器帶寬的范圍增大。
[0269]然而，當嘗試確保大范圍的帶寬(高速率)作為存儲器帶寬時，編碼器1000的成本增加。這也按照相同方式應用于包括DPB2008的解碼器2000。
[0270]上文中，在安裝編碼器1000和解碼器2000的過程中，MC中需要的最大存儲器帶寬(下文中，也被稱作最大必要帶寬)成為瓶頸。
[0271]作為一種減小最大必要帶寬的范圍的方法，例如，提出了一種禁止使用小尺寸的塊的方法，或者一種禁止根據塊的尺寸使用雙向預測的方法。然而，在針對大小小于預定大小的小的塊禁止使用雙向預測的情況下，當所有合并候選處于將進行雙向預測的區(qū)域中時，針對大小小于預定大小的塊不能選擇將成為合并區(qū)域的合并候選，結果，不能使用合并模式，并且編碼效率會降低。
[0272]這里，在編碼器1000中，通過在設置單元1021中設置識別信息抑制最大必要帶寬，并且基于識別信息在幀間預測單元1018中執(zhí)行預測(預測圖像的產生)。
[0273]這里，識別信息是用于識別圖像的塊的大小和應用于塊的預測方法的改變之間的對應關系的信息，并且作為識別信息，可例如采用將在后面描述的第一信息、第二信息和第三信息中的任一個。
[0274]可采用作為識別信息的第一信息是disable_bip_small_mrg_idc信息(標記),并且disable_bip_small_mrg_idc信息可具有0、1、2和3這四個值。
[0275]圖17 是不出 disable_bip_small_mrg_idc 信息的不圖。
[0276]具有各個值的disable_bip_small_mrg_idc信息指示其中預測方法改變的塊(這里，例如，PU分區(qū))的大小(塊大小)，以應用單向預測而非雙向預測。
[0277]也就是說，值為O的disable_bip_small_mrg_idc信息指示不管目標塊的F1U分區(qū)的塊大小如何，合并候選的預測方法都不變。
[0278]值為I的disable_bip_small_mrg_idc信息指不,在目標塊的F1U分區(qū)的塊大小為4X4(寬度像素X高度像素的數量)的情況下，應用雙向預測的合并候選的預測方法改變(被取代)，以便應用單向預測而非雙向預測，并且執(zhí)行合并模式的處理。
[0279]這里，應用雙向預測的合并候選的預測方法改變以應用單向預測而非雙向預測并且執(zhí)行合并模式的處理的事實意味著應用雙向預測的合并候選的預測方法實際上不改變?yōu)閱蜗蝾A測，而是假定按照單向預測執(zhí)行合并候選的預測，并且關于單向預測的運動信息用于目標塊(其PU分區(qū))的處理。因此，通過使用針對合并候選確定(選擇)的預測方法而不改變，來執(zhí)行(非目標塊而是)合并候選本身的預測。
[0280]在設置了值為I的disable_bip_small_mrg_idc的情況下,將應用雙向預測的合并候選的預測方法改變，從而應用單向預測而非雙向預測，并且針對塊大小為4X4的PU分區(qū)執(zhí)行合并模式的處理。
[0281]因此，例如，在塊大小為4X4的PU分區(qū)中禁止使用雙向預測的情況下，即使所有合并候選是雙預測的區(qū)域，雙向預測也改變?yōu)閱蜗蝾A測，并且執(zhí)行合并模式的處理。
[0282]結果，由于在具有預定大小或更小的分區(qū)中禁止使用雙向預測的情況下不能使用合并模式，因此可防止編碼效率降低。
[0283]這里，改變在合并模式中將合并候選從雙向預測改變?yōu)閱蜗蝾A測的預測方法的損失小于不能使用合并模式的損失。
[0284]值為2的disable_bip_small_mrg_idc信息指不,在目標塊的F1U分區(qū)的塊大小為4X4、8X4和4X8中的任一個的情況下，應用雙向預測的合并候選的預測方法改變，從而應用單向預測而非雙向預測，并且執(zhí)行合并模式的處理。
[0285]值為3的disable_bip_small_mrg_idc信息指不,在目標塊的F1U分區(qū)的塊大小為4X4、8X4、4X8和8X8中的任一個的情況下，應用雙向預測的合并候選的預測方法改變，從而應用單向預測而非雙向預測，并且執(zhí)行合并模式的處理。
[0286]這里，可采用除上述4X4、8X4、4X8和8X8之外的塊大小作為其中合并候選的預測方法改變以應用單向預測而非雙向預測的PU分區(qū)的塊大小。
[0287]另夕卜，disable_bip_small_mrg_idc信息采用的值不限于O至3這四個值。
[0288]另外，雙向預測是執(zhí)行例如LO預測和LI測二者的預測，代替雙向預測應用于合并候選的單向預測是作為雙向預測的LO預測和LI預測中的任一個。
[0289]在使用作為第一信息的disable_bip_small_mrg_idc信息的情況下,需要事先確定將LO預測和LI預測中的哪一個設為代替雙向預測應用于合并候選的單向預測，并且使編碼器1000和解碼器2000中的預測統(tǒng)一。
[0290]圖18是示出在使用disable_bip_small_mrg_idc信息作為第一實施例的情況下通過編碼器1000和解碼器2000執(zhí)行的處理的概要的流程圖。
[0291]在編碼器1000中，在步驟S1001中，設置單元1021例如基于DPB1014的存儲器帶寬的最大值針對目標塊設置disable_bip_small_mrg_idc信息,并將信息供應至巾貞間預測單元1018和熵編碼單元1005。
[0292]在步驟S1002中，幀間預測單元1018在合并模式中執(zhí)行處理，并且還基于來自設置單元1021的disable_bip_small_mrg_idc信息執(zhí)行預測圖像的產生。也就是說，在執(zhí)行合并模式中的處理(編碼)的情況下，幀間預測單元1018基于來自設置單元1021的disable_bip_small_mrg_idc 信息產生預測圖像。
[0293]另外，設置單元1021隨著DPB1014的存儲器帶寬的最大值變小設置具有較大值的disable_bip_small_mrg_idc信息。因此，隨著DPB1014的存儲器帶寬的最大值變小,F1U分區(qū)的合并候選的預測方法從雙向預測改變?yōu)閱蜗蝾A測，直至PU分區(qū)具有較大的塊大小，并且抑制當從DPB1014讀出解碼圖像以產生預測圖像時的存儲器帶寬。
[0294]如上所述，抑制了當從DPB1014讀出解碼圖像時的存儲器帶寬被，因此可防止編碼器1000的成本增加。
[0295]在步驟S1003中，計算單元1002至熵編碼單元1005根據需要通過利用在步驟S1002中產生的預測圖像來編碼目標塊。
[0296]在步驟S1004中，熵編碼單元1005在編碼數據中包括(例如，多路復用)來自設置單兀1021的disable_bip_small_mrg_idc信息，并發(fā)送該信息。
[0297]另外，熵編碼單元1005可在例如編碼數據(編碼流)的SPS、PPS、APS或片頭中包括 disable_bip_small_mrg_idc 信息。
[0298]相反，在解碼器2000中，在步驟SlOll中，熵解碼單元2001接收包括disable—bip_small_mrg_idc信息的編碼數據。另外，熵解碼單元2001從編碼數據中分離disable—bip_small_mrg_idc信息,并將信息供應至巾貞間預測單元2010。
[0299]在步驟S1012中，幀間預測單元2010執(zhí)行合并模式的處理，并且還基于disable—bip_small_mrg_idc信息按照與巾貞間預測單元1018相同的方式執(zhí)行預測圖像的產生。也就是說，在執(zhí)行合并模式的處理(編碼)的情況下，幀間預測單元2010基于來自熵解碼單元2001 的 disable_bip_small_mrg_idc 信息產生預測圖像。
[0300]另外，在步驟S1013中，熵解碼單元2001至計算單元2004通過利用在步驟S1012中產生的預測圖像根據需要來解碼在步驟S1021中接收到的編碼數據。
[0301]另外，在編碼器1000中，設置單元1021可響應于諸如編碼器1000的操作員的用戶執(zhí)行的操縱設置disable_bip_small_mrg_idc信息。
[0302]另外，在編碼器1000中，通過使用各個值的存儲器帶寬作為最大必要帶寬，可根據各個值的最大必要帶寬定義用于調節(jié)解碼器的處理量的檔次或級別，并且檔次和級別信息(profile_idc和level_idc)可被包括在編碼數據中。
[0303]這里，profile_idc和 level_idc 描述如下。
[0304]profile_idc和level_idc指示編碼的視頻序列符合的檔次和級別。
[0305]因此，profi le_idc和I eve l_i dc還未詳細定義，但是例如可將profi le_idc和level_idc定義為在MC中包括最大必要帶寬的信息。
[0306]例如,可定義profile_idc和level_idc以包括以下信息:所述信息例如是PU分區(qū)的塊大小的最小值、是否使用雙向預測、以及PU分區(qū)的塊大小的最小值與是否使用雙向預測的組合。
[0307]在設置單元1021中，例如，如上所述，基于DPB1014的存儲器帶寬的最大值設置disable_bip_small_mrg_idc 信息。
[0308]另外，在編碼器1000中，根據profile_idc或level_idc禁止使用塊大小等于或小于預定大小的PU分區(qū)，或禁止塊大小等于或小于預定大小的分區(qū)應用雙向預測。
[0309]然而，例如，雖然禁止塊大小為4X4的I3U分區(qū)應用雙向預測，在設置了值為I的disable_bip_small_mrg_idc信息的情況下,在編碼器1000中，針對4X4的PU分區(qū)(塊大小)，應用雙向預測的合并候選的預測方法改變，從而應用單向預測而非雙向預測，并且執(zhí)行合并模式的處理。
[0310]因此，針對禁止應用雙向預測的4 X 4的PU分區(qū)，S卩使所有合并候選是雙預測的區(qū)域，雙向預測也改變?yōu)閱蜗蝾A測，因此可執(zhí)行合并模式的處理。
[0311]同樣在解碼器2000中，應用雙向預測的合并候選的預測方法基于disable_bip_small_mrg_idc信息根據需要按照與編碼器1000相同的方式從雙向預測改變?yōu)閱蜗蝾A測。
[0312]接著，將描述可被采用作為識別信息的第二信息。
[0313]可被采用作為識別信息的第二信息是通過擴展作為第一信息的di sab I e_b ip_small_mrg_idc信息獲得的disable_bip_small_mrg_idc擴展信息，并且可具有包括例如0、1、2、3、4、5和6的七個值。
[0314]圖19 是不出 disable_bip_small_mrg_idc 擴展信息的不圖。
[0315]各個值的disable_bip_small_mrg_idc擴展信息指示其預測方法改變從而應用單向預測而非雙向預測的PU分區(qū)的塊大小，并指示代替雙向預測應用的單向預測的預測方向，并且其語義如下。
[0316]也就是說，值為O的disable_bip_small_mrg_idc擴展信息指不不管目標塊的F1U分區(qū)的塊大小如何，不改變合并候選的預測方法，其方式與值為O的disable_bip_small_mrg_idc信息的方式相同。
[0317]值為I或2的disable_bip_small_mrg_idc擴展信息均指不在目標塊的PU分區(qū)的塊大小為4X4的情況下，應用雙向預測的合并候選的預測方法改變從而應用單向預測而非雙向預測，并且執(zhí)行合并模式的處理，其方式與值為I的disable_bip_small_mrg_idc信息的方式相同。
[0318]另外,值為I的disable_bip_small_mrg_idc擴展信息指示代替雙向預測應用的單向預測的預測方向是例如LO預測和LI預測中的LO預測。另外，值為2的disable_bip_small_mrg_idc擴展信息指示代替雙向預測應用的單向預測的預測方向是例如LO預測和LI預測中的LI預測。
[0319]值為3或4的disable_bip_small_mrg_idc擴展信息均指不在目標塊的PU分區(qū)的塊大小為4X4、8X4和4X8中的任一個的情況下，應用雙向預測的合并候選的預測方法改變，從而應用單向預測而非雙向預測，并且執(zhí)行合并模式的處理，其方式與值為2的isable_bip_small_mrg_idc 信息的方式相同。[0320]另外,值為3的disable_bip_small_mrg_idc擴展信息指示代替雙向預測應用的單向預測的預測方向是例如LO預測和LI預測中的LO預測。另外，值為4的disable_bip_small_mrg_idc擴展信息指示代替雙向預測應用的單向預測的預測方向是例如LO預測和LI預測中的LI預測。
[0321]值為5或6的disable_bip_small_mrg_idc擴展信息均指不在目標塊的PU分區(qū)的塊大小為4X4、8X4、4X8和8X8中的任一個的情況下，應用雙向預測的合并候選的預測方法改變，從而應用單向預測而非雙向預測，并且執(zhí)行合并模式的處理，其方式與值為3的 disable_bip_small_mrg_idc 信息的方式相同。
[0322]另外,值為5的disable_bip_small_mrg_idc擴展信息指示代替雙向預測應用的單向預測的預測方向是例如LO預測和LI預測中的LO預測。另外，值為6的disable_bip_small_mrg_idc擴展信息指示代替雙向預測應用的單向預測的預測方向是例如LO預測和LI預測中的LI預測。
[0323]按照與作為第一信息的disable_bip_small_mrg_idc信息的方式相同的方式,作為第二信息的disable_bip_small_mrg_idc擴展信息不僅指示其預測方法改變從而應用單向預測而非雙向預測的PU分區(qū)的塊大小，而且指示代替雙向預測應用的單向預測的預測方向，因此不需要事先確定利用編碼器1000和解碼器2000設置LO預測和LI預測中的哪一個作為代替雙向預測應用于合并候選的單向預測。
[0324]當使用disable_bip_small_mrg_idc 擴展信息時，除使用 disable_bip_small_mrg_idc擴展信息代替disable_bip_small_mrg_idc信息之外，圖16的編碼器1000和解碼器2000的處理與在圖18中描述的處理相同，因此將省略其描述。
[0325]接著，將描述可采用作為識別信息的第三信息。
[0326]可采用作為識別信息的第三信息是包括作為第一信息的di sab I e_b ip_smal 1_mrg_idc信息和modify_bip_small_mrg_10信息的兩個信息項。
[0327]圖20 是不出 modify_bip_small_mrg_10 信息的不圖。
[0328]modify_bip_small_mrg_10信息具有包括例如O和I的兩個值,并指示代替雙向預測應用的單向預測的預測方向。
[0329]也就是說，值為O的modify_bip_small_mrg_10信息指示代替雙向預測應用的單向預測是例如LI預測，并且值為I的modify_bip_small_mrg_10信息指示代替雙向預測應用的單向預測是例如LO預測。
[0330]根據第三信息，可通過利用disable_bip_small_mrg_idc信息控制其預測方法改變的PU分區(qū)的塊大小，以應用單向預測而非雙向預測，并且可通過利用modify_bip_small_mrg_10信息控制代替雙向預測應用的單向預測的預測方向。
[0331]結果，可在更小的單元中控制參考方向。
[0332]在根據單向預測的預測方向(也就是說，參考方向)存在預測質量的差異(預測誤差)的情況下，在作為預測目標的目標圖片在LI預測中(與LO預測相比)在時間上更靠近參考圖片(參考圖像)的情況下，LI預測通常往往具有更高的預測質量。在這種情況下，將LI預測用作代替雙向預測應用的單向預測，因此可增大編碼效率。
[0333]另外，在其中當LO預測和LI預測的參考圖片被編碼時在量化參數QP中存在差異的情況下，預測具有較小量化參數QP的參考圖片具有更高的質量。另外，當運動圖像的場景改變時，采用其中選擇相同的場景的參考方向提高了預定質量。也就是說，在其中存在場景變化的情況下，當在場景改變之前的圖片被編碼時采用在場景改變之前的圖片作為參考圖片，并且當在場景改變之后的圖片被編碼時采用在場景改變之后的圖片作為參考圖片，從而提高預測質量。
[0334]根據modify_bip_small_mrg_10信息,可選擇LO預測和LI預測中的具有優(yōu)異預測質量的那一個作為代替雙向預測應用的單向預測。
[0335]另夕卜，當disable_bip_small_mrg_idc 信息具有非 O 的值時，modify_bip_small_mrg_10信息可被包括在編碼數據中。
[0336]因此，modify_bip_small_mrg_10信息可被包括在比 disable_bip_small_mrg_idc信息更低的分層中的編碼數據中。
[0337]例如，disable_bip_small_mrg_idc信息可被包括在 SPS 中，并且 modify_bip_small_mrg_10信息可被包括在片頭中。modify_bip_small_mrg_10信息可被包括在例如PPS、瓦片頭(tile header)、LCU、CU、PU等其它元素中。
[0338]可通過在精細單元中控制的基于modify_bip_small_mrg_10信息和disable_bip_small_mrg_idc信息的預測方法的改變程度與由于modify_bip_small_mrg_10信息和di sab I e_b ip_smal l_mrg_i dc信息被包括在編碼數據中導致的數據量的增加之間的平衡，來確定其中包括modify_bip_small_mrg_10 信息和 disable_bip_small_mrg_idc 信息的分層。
[0339]當使用modify_bip_small_mrg_10 信息和 disable_bip_small_mrg_idc 信息時的圖16的編碼器1000和解碼器2000的處理與圖18中描述的處理相同，不同的是除了disable_bip_small_mrg_idc 信息以外還使用 modify_bip_small_mrg_10 信息，因此將省略其描述。
[0340]圖21 是不出當使用 disable_bip_small_mrg_idc 信息或 disable_bip_small_mrg_idc擴展信息時，由編碼器1000執(zhí)行的SPS的編碼和由解碼器2000執(zhí)行的SPS的解碼的概要的流程圖。
[0341]在編碼器1000中，在步驟S1021中，熵編碼單元1005在編碼數據(編碼流)的SPS 中包括 profile_idc 和 level_idc。
[0342]另外，在步驟S1022中，熵編碼單元1005在編碼數據的SPS中包括從設置單元1021 供應的 disable_bip_small_mrg_idc 信息或 disable_bip_small_mrg_idc 擴展信息。
[0343]另一方面，在解碼器2000中，在步驟S1031中，熵解碼單元2001從編碼數據中分離(讀出)profile_idc 和 level_idc。
[0344]另外,在步驟S1032中，熵解碼單元2001從編碼數據中分離disable_bip_small_mrg_idc信息或disable_bip_small_mrg_idc擴展信息，并將該信息供應至巾貞間預測單元2010。
[0345]圖22 是不出當使用 disable_bip_small_mrg_idc 信息和modify_bip_small_mrg_10信息時由編碼器1000執(zhí)行的片頭的編碼和由解碼器2000執(zhí)行的片頭的解碼的概要的流程圖。
[0346]在編碼器1000中，在步驟S1041中，熵編碼單元1005在編碼數據的片頭中包括來自設置單元 1021 的 modify_bip_small_mrg_10 信息。[0347]另一方面，在解碼器2000中，在步驟S1051中，熵解碼單元2001從編碼數據中分離(讀出)modify_bip_small_mrg_10信息，并將該信息供應至巾貞間預測單元2010。
[0348]另夕卜,例如如在圖21中所述的,執(zhí)行諸如在SPS中包括與modify_bip_small_mrg_10信息一起使用的disable_bip_small_mrg_idc信息的處理。
[0349]圖23是示出通過編碼器1000執(zhí)行的⑶的編碼和通過解碼器2000執(zhí)行的⑶的解碼的概要的流程圖。
[0350]在⑶的編碼中，在步驟S1061中，編碼器1000計算在包括作為目標塊的⑶被分割的情況和CU不被分割的情況的各種情況下的成本函數值。這里，關于成本函數值，例如已知其中考慮了產生的編碼率和編碼失真的被稱作RD成本的值。
[0351]在步驟S1062中，編碼器1000基于在步驟S1061中計算的RD成本確定作為目標塊的CU是否將被分割。
[0352]這里，在步驟S1062中，在其中當⑶被分割時的RD成本低于當⑶不被分割時的RD成本的情況下(在其中與CU不被分割時相比當CU被分割時產生的編碼率和編碼失真綜合進一步提高的情況下)，確定分割CU。
[0353]在步驟S1062中，在確定⑶將被分割的情況下，處理前進至步驟S1063，并且編碼器1000在作為關于⑶的分割的標記的cu_split_flag中設置例如I (指示分割⑶的值)，并在編碼數據(編碼流)中包括該標記。
[0354]另外，在步驟S1064中，編碼器1000將作為目標塊的⑶分割為例如四個(2X2)新的CU。
[0355]另外，在步驟S1065中，編碼器1000在通過在步驟S1064中的分割獲得的四個新的CU上按順序以遞歸方式對作為目標塊的CU執(zhí)行編碼處理。
[0356]另一方面，在其中在步驟S1062中確定不分割⑶的情況下，處理前進至步驟S1066，并且編碼器1000在cu_split_flag中設置例如O (指示不執(zhí)行CU分割的值)，并在編碼數據中包括該標記。
[0357]然后，在步驟S1067中，編碼器1000執(zhí)行用于選擇合并候選的合并候選選擇處理，并且處理前進至步驟S1068。
[0358]在步驟S1068中，編碼器1000計算在包括其中采用合并模式編碼作為目標塊的⑶和不采用合并模式編碼作為目標塊的CU的情況的各種情況下的RD成本。
[0359]另外，在步驟S1068中，編碼器1000基于在步驟S1068中計算的RD成本確定是否按照合并模式編碼作為目標塊的CU。
[0360]這里，在步驟S1068中，在其中當按照合并模式編碼目標塊時的RD成本小于當不采用合并模式時的RD成本的情況下(在其中與不采用合并模式相比當采用合并模式時產生的編碼率和編碼失真綜合進一步提高的情況下)，確定按照合并模式執(zhí)行編碼。
[0361]在其中在步驟S1068中確定按照合并模式執(zhí)行編碼(采用合并模式)的情況下，處理前進至步驟S1069，并且編碼器1000在作為關于合并模式的標記的merge_flag中設置I (指示采用合并模式的值)，在指示合并區(qū)域的mergejdx中設置指示合并區(qū)域的位置的值，并在編碼數據中包括標記和信息。
[0362]另外，在步驟S1069中，編碼器1000按照合并模式編碼作為目標塊的⑶(通過使用關于合并區(qū)域的運動信息作為關于目標塊的運動信息產生預測圖像，并且編碼目標塊)。[0363]另一方面，在其中在步驟S1068中確定不按照合并模式執(zhí)行編碼(不采用合并模式)的情況下，處理前進至步驟S1070，并且編碼器1000對形成作為目標塊的⑶的執(zhí)行編碼處理。
[0364]在步驟S1071中，編碼器1000從形成作為目標塊的⑶的I3U中包括的TU(輸入圖像)中減去通過在步驟S1070中對PU的編碼處理獲得的預測圖像，并產生用于TU的差圖像。
[0365]在步驟S1072中，編碼器1000對其中在步驟S1071中產生差圖像的TU執(zhí)行編碼處理。
[0366]另外，在步驟S1073中，編碼器1000針對通過TU的編碼處理獲得的TU執(zhí)行差圖像的正交變換和量化，以獲得量化系數，并且對獲得的量化系數執(zhí)行逆量化和逆正交變換，以解碼差圖像。
[0367]另外，在步驟S1073中，編碼器1000將通過PU的編碼處理獲得的預測圖像添加至在步驟S1073中解碼的差圖像，以產生用于TU的解碼圖像。解碼圖像存儲在DPB1014中，隨后根據需要用作參考圖像(圖片)。
[0368]另一方面，在⑶的解碼中，在步驟S1081中，解碼器2000從編碼數據(編碼流)解碼作為目標塊的⑶的cu_split_flag。
[0369]另外，在步驟S1082中，解碼器2000確定cu_split_flag的值是否為I。
[0370]在其中在步驟S1082中確定cu_split_flag的值為I的情況下，也就是說，在其中作為目標塊的CU被分割的情況下，處理前進至步驟S1083，并且解碼器2000按照與步驟S1064的情況中的方式相同的方式將作為目標塊的CU分割為四個新的CU。
[0371]另外，在步驟S1084中，解碼器2000在通過在步驟S1083中的分割獲得的四個新的CU上按順序以遞歸方式對作為目標塊的CU執(zhí)行解碼處理。
[0372]另一方面，在其中在步驟S1082中確定cu_split_flag的值不為I (為O)的情況下，也就是說，在其中不分割作為目標塊的⑶的情況下，處理前進至步驟S1085，并且解碼器2000確定merge_flag的值是否為I。
[0373]在步驟S1085中，在其中確定merge_f lag的值為I的情況下,也就是說，在按照合并模式編碼作為目標塊的CU的情況下，處理前進至步驟S1086，并且解碼器2000從編碼數據中讀出merge_idx,并執(zhí)行與步驟S1067的情況中的合并候選選擇處理相同的合并候選選擇處理。
[0374]另外，在步驟S1086中，解碼器2000在通過合并候選選擇處理獲得的合并候選中選擇由mergejdx指示的位置的合并候選作為合并區(qū)域，并通過使用合并區(qū)域(關于合并區(qū)域的運動信息)按照合并模式解碼作為目標塊的CU (通過使用關于合并區(qū)域的運動信息作為關于目標塊的運動信息產生預測圖像，并解碼目標塊)。
[0375]另夕卜，在步驟S1085中，在其中確定merge_flag的值不為I (為O)的情況下，也就是說，在其中不采用合并模式編碼作為目標塊的CU的情況下，處理前進至步驟S1087，并且解碼器2000對形成作為目標塊的⑶的I3U執(zhí)行解碼處理，并在步驟S1088中對包括在I3U中的TU執(zhí)行解碼處理。
[0376]另外，在步驟S1089中，解碼器2000將通過對的解碼處理獲得的預測圖像添加至通過對量化系數(通過對TU的解碼處理獲得)執(zhí)行逆量化和逆正交變換獲得的差圖像，以產生用于TU的解碼圖像。解碼圖像存儲在DPB2008中，并且隨后根據需要用作參考圖像(圖片)。
[0377]圖24是示出在圖23的步驟S1067中對合并候選的選擇的流程圖。
[0378]也就是說，圖24 是示出當使用 disable_bip_small_mrg_idc 信息和 modify_bip_small_mrg_10信息時對合并候選的選擇的流程圖。
[0379]在步驟SllOl中，在作為在空間上和在時間上靠近目標塊的塊的周邊塊中，編碼器1000將作為經過幀間預測的塊的幀間預測塊添加至合并候選。
[0380]另外，在該步驟中，在幀間預測塊的預測方法是雙向預測的情況下，幀間預測塊在雙向預測的狀態(tài)下被添加至合并候選。
[0381]在步驟SI 102中，編碼器1000從合并候選中的作為合并候選的幀間預測塊中排除具有交疊的運動信息的幀間預測塊。
[0382]在步驟S1103中，編碼器1000將運動向量為零向量的(虛擬)幀間預測塊添加至合并候選。
[0383]此后，在步驟SI 104中，編碼器1000確定目標塊的片類型是否為B。
[0384]在其中在步驟SI 104中確定目標塊的片類型不是B的情況下，也就是說，在目標塊不被雙預測的情況下，合并候選選擇處理結束。在這種情況下，通過利用在步驟SllOl和S1103中獲得的合并候選選擇合并區(qū)域而不改變。
[0385]另外，在其中在步驟S1104中確定目標塊的片類型為B的情況下，也就是說，在目標塊被雙預測的情況下，處理前進至步驟S1105，并且編碼器1000確定目標塊的塊大小是否對應于由disable_bip_small_mrg_idc信息指示的其中預測方法改變的塊大小。
[0386]在步驟S1105中，在確定目標塊的塊大小不對應于由disable_bip_small_mrg_idc信息指示的塊大小的情況下，合并候選選擇處理結束。另外，在這種情況下，通過利用在步驟SllOl和S1103中獲得的合并候選選擇合并區(qū)域而不改變。
[0387]另外，在步驟S1105中，在確定目標塊的塊大小對應于由disable_bip_small_mrg_idc信息指示的塊大小的情況下，處理前進至步驟S1106，并且編碼器1000確定modify_bip_small_mrg_10 信息的值是否為 O。
[0388]在步驟S1106中，在確定modify_bip_small_mrg_10信息的值不為O,也就是說，modify_bip_small_mrg_10信息的值為I的情況下，處理前進至步驟SI 107,并且編碼器1000將其預測方向為雙向預測的合并候選的雙向預測改變?yōu)閱蜗蝾A測的LO預測，并允許合并候選選擇處理結束。在這種情況下，在步驟SllOl和S1103中獲得的合并候選中，針對其預測方法為雙向預測的合并候選，雙向預測改變?yōu)長O預測，然后，在合并候選中選擇合并區(qū)域。
[0389]另夕卜，在步驟S1106中，在確定modify_bip_small_mrg_10信息的值為O的情況下，處理前進至步驟S1108，并且編碼器1000將其預測方向為雙向預測的合并候選的雙向預測改變?yōu)閱蜗蝾A測的LI預測，并允許合并候選選擇處理結束。在這種情況下，對于在步驟SllOl和S1103中獲得的合并候選中的預測方法為雙向預測的合并候選，雙向預測改變?yōu)長O預測，然后，在合并候選中選擇合并區(qū)域。
[0390][限制信息]
[0391]接著，將描述通過設置單元1021設置的限制信息。[0392]如在識別信息中的描述，MC中需要的最大存儲器帶寬(最大必要帶寬)是在安裝編碼器1000和解碼器2000的過程中的瓶頸。
[0393]這里，在編碼器1000中，設置單元1021設置限制信息，并且?guī)g預測單元1018基于限制信息執(zhí)行預測(預測圖像的產生)，從而允許抑制最大必要帶寬。
[0394]這里，限制信息是用于限制圖像編碼(解碼)處理的信息，并包括例如下面描述的限制模式RB或限制模式RV。
[0395]根據限制模式RB，限制了圖像塊的大小和應用于具有該大小的塊的預測方法，并且根據限制模式RV，限制了用于在圖像塊的MC中產生預測圖像的運動向量的數量(參考塊的數量)。
[0396]圖25是示出限制模式RB的示圖。
[0397]在圖25中，例如，在限制模式RB為B4的情況下，Bi_4X4、Bi_4X8、Bi_8X4和Un1-4 X 4被禁止。
[0398]這里，例如，Bi_4X4指示雙向預測(Bi)應用于塊大小為4X4的PU分區(qū)。
[0399]另外，例如，Uni_4X4指示單向預測(Uni)應用于塊大小為4X4的PU分區(qū)。
[0400]因此，在限制模式RB為B4的情況下，限制了通過利用B1-4X4和Uni_4X4將雙向預測和單向預測應用于 塊大小為4X4的PU分區(qū)，以及限制了利用(幀間預測)塊大小為4X4的I3U分區(qū)。
[0401]另外，在限制模式RB為B4的情況下，限制了通過利用Bi_4X8將雙向預測應用于塊大小為4X8的I3U分區(qū)。
[0402]另外，在限制模式RB為B4的情況下，限制了通過利用Bi_8 X 4將雙向預測應用于塊大小為8X4的I3U分區(qū)。
[0403]在編碼器1000中，設置單元1021例如基于DPB1014的存儲器帶寬的最大值設置限制模式RB，并將設置的限制模式供應至幀間預測單元1018和熵編碼單元1005。
[0404]幀間預測單元1018根據來自設置單元1021的限制模式RB執(zhí)行預測圖像的產生。
[0405]同時，熵編碼單元1005在編碼數據中包括來自設置單元1021的限制模式RB，并發(fā)送該限制模式。
[0406]在熵編碼單元1005中，限制模式RB可被包括在編碼數據(編碼流)的例如SPS、PPS、APS、片頭等中。
[0407]另外，隨著DPB1014的存儲器帶寬的最大值變小，設置單元1021設置具有較大的值B#i的限制模式RB。
[0408]這里，限制模式RB的大的值B#i指示數#i大。
[0409]在圖25中，限制模式RB按照B1、B2、…和B7的順序在MC中具有減小的最大必
要帶寬。
[0410]這里，圖25中，在限制模式RB為BI的情況下，Bi_4X4被限制，在限制模式RB為B2的情況下，除B1-4X4之外還限制B1-4X8。在限制模式RB為B3的情況下，除Β?-4Χ4和B1-4X8之外還限制B1-8X4。如上所述，在特定限制模式RB = B#i下，將新的限制內容添加至限制先前限制模式B#1-1中的內容。
[0411]新的限制內容是其中此時在存儲器帶寬的消耗最大的塊大小和應用于具有該塊大小的I3U分區(qū)的預測方法的組合。[0412]如上所述，在圖25中，在限制模式RB為BI的情況下，Bi_4X4被限制，在限制模式RB為B2的情況下，除B1-4X4之外還限制Bi_4X8。在限制模式RB為B3的情況下，除B1-4X4 和 B1-4X8 之外還限制 Bi_8X4。
[0413]因此，Β?-4Χ4的預測(對塊大小為4X4的PU分區(qū)應用雙向預測的預測)消耗最大的存儲器帶寬，Β?-4Χ8的預測消耗第二大的存儲器帶寬。另外，Β?-8Χ4的預測消耗第三大的存儲器帶寬。
[0414]這里，如上所述，與B1-8X4的預測(也就是說，寬度X高度為8X4的水平的長塊的預測)相比，Β?-4Χ8的預測(也就是說，寬度X高度為4X8的豎直的長塊O3U分區(qū))的預測)消耗較大的存儲器帶寬，并且其原因將在稍后描述。
[0415]如上所述，由于限制模式RB在MC中具有按照B1、B2、…和B7的順序減小的最大必要帶寬，通過設置單元1021設置具有大的值B#i的限制模式RB，因此當從DPB1014中讀出解碼圖像以產生預測圖像時可抑制存儲器帶寬。結果，可防止增加編碼器1000的成本。
[0416]另外，根據圖25，在其中隨著DPB1014的存儲器帶寬的最大值變小，設置單元1021設置具有較大的值B#i的限制模式RB的情況下，隨著DPB1014的存儲器帶寬的最大值變小，限制應用雙向預測或單向預測，直至塊具有較大的大小為止。
[0417]在解碼器2000中，熵解碼單元2001從編碼數據中分離限制模式RB，并將限制模式供應至幀間預測單元2010。
[0418]幀間預測單元2010根據限制模式RB執(zhí)行預測圖像的產生。
[0419]也就是說，在編碼數據適于限制模式RB的情況下，例如，在其中在限制模式RB中限制B1-4X4，并且根據限制模式RB在編碼數據中不包括B1-4X4的情況下，幀間預測單元2010產生例如預測圖像。
[0420]另外，在其中編碼數據不適于限制模式RB的情況下，例如，在其中在限制模式RB中限制B1-4X 4，但是在編碼數據中包括B1-4X 4的情況下，例如，幀間預測單元2010不產生預測圖像，并使得解碼器2000停止處理。
[0421]另外，在編碼器1000中，設置單元1021可響應于由諸如編碼器1000的操作員的用戶執(zhí)行的操縱設置限制模式RB。
[0422]另外，在編碼器1000中，針對各個值的存儲器帶寬，可根據各個值的最大必要帶寬將檔次或級別定義為最大必要帶寬，并且限制模式RB可連接至檔次或級別。
[0423]這里，當由Lv.#i指示級別，并且最大必要帶寬隨著所述級別的值#i變大而變小時，級別Lv.#i可連接至例如限制模式RB = B#1
[0424]在這種情況下，在編碼器1000中，例如，如果設置級別Lv.1，則設置單元1021將限制模式RB設置為連接至級別Lv.1的BI。
[0425]另外，在編碼器1000中，根據限制模式RB，在不使用限制模式RB指示的預測方法與塊大小的組合的情況下執(zhí)行編碼，并且關于檔次和級別的信息被包括在編碼數據中以發(fā)送。
[0426]在解碼器2000中，可從編碼數據解碼關于檔次和級別的信息，并且，例如，可從所述級別識別出連接至該級別的限制模式RB。
[0427]另外，在編碼器1000中，限制模式RB可被包括在編碼數據中以發(fā)送，在解碼器2000中，可解碼包括在編碼數據中的限制模式RB。[0428]解碼器2000可檢查由限制模式RB限制的預測方法與塊大小的組合是否被包括在編碼數據中。
[0429]在編碼數據不適于限制模式RB的情況下，也就是說，在由限制模式RB限制的預測方法與塊大小的組合被包括在編碼數據中的情況下，解碼器2000可通知高等級系統(tǒng)編碼數據不適于限制模式RB的事實，并且高等級系統(tǒng)可確定怎樣處理編碼數據。
[0430]另外，在由檔次或級別指示圖像(圖片幀)的大小的情況下，例如，隨著由檔次或級別指示的圖像的大小變大，編碼器1000可設置用于限制雙向預測或單向預測應用于具有較大大小的塊的限制模式RB。
[0431]圖26是示出當使用限制模式RB時編碼器1000和解碼器2000執(zhí)行的處理的流程圖。
[0432]在編碼器1000中，在步驟SI 121中，設置單元1021基于例如DPB1014的存儲器帶寬的最大值、用戶的操縱、級別等在目標塊中設置限制模式RB，并將設置的限制模式供應至幀間預測單元1018和熵編碼單元1005。
[0433]在步驟S1122中，幀間預測單元1018產生預測圖像，同時根據來自設置單元1021的限制模式RB限制分區(qū)的塊大小和應用于具有這種塊大小的分區(qū)的預測方法。
[0434]在步驟S1123中，計算單元1002至熵編碼單元1005通過根據需要使用在步驟SI 122中產生的預測圖像來編碼目標塊，并產生編碼數據。
[0435]在步驟SI 124中，熵編碼單元1005在編碼數據中包括來自設置單元1021的限制模式RB，并發(fā)送該限制模式。
[0436]另外，由于檔次和級別可被包括在編碼數據中，因此在限制模式RB連接至該級別(或該檔次)的情況下，從關于包括在編碼數據中的級別的信息中可識別限制模式RB，因此不需要在編碼數據中包括限制模式RB。
[0437]因此，在限制模式RB連接至該級別的情況下，可發(fā)送編碼數據而不包括限制模式RB。
[0438]同時，在解碼器2000中，在步驟S1131中，熵解碼單元2001接收編碼數據。另外，熵解碼單元2001從編碼數據中分離限制模式RB，并將限制模式RB供應至幀間預測單元2010。
[0439]另外，在限制模式RB連接至該級別，因此在編碼數據中不包括限制模式RB的情況下，熵解碼單元2001將在編碼數據中包括的級別供應至幀間預測單元2010，并且?guī)g預測單元2010基于來自熵解碼單元2001的級別識別限制模式RB。
[0440]在步驟S1132中，幀間預測單元2010根據限制模式RB產生預測圖像。
[0441]也就是說，幀間預測單元1018產生預測圖像，同時檢查編碼數據是否適于限制模式RB，也就是說，檢查由限制模式RB限制的預測圖像與塊大小的組合是否被包括在編碼數據中。
[0442]另外，在編碼數據不適于限制模式RB的情況下，解碼器2000向高等級系統(tǒng)通知其要點。
[0443]另一方面，在編碼數據適于限制模式RB的情況下，在步驟S1133中，熵解碼單元2001至計算單元2004通過根據需要利用在步驟S1132中產生的預測圖像來解碼在步驟SI 131中接收到的編碼數據。[0444]圖27和圖28是示出即使在具有相同大小(像素數量)的塊中，諸如4X8的豎直的長塊的預測也比諸如8X4的水平的長塊的預測消耗更大的存儲器帶寬的圖。
[0445]在其中從諸如DPB1014的存儲器中讀出存儲在存儲器中的解碼圖像(圖片)的像素的情況下，64比特或128比特變?yōu)榭偩€寬度(數據傳輸路徑寬度)單元。
[0446]在由8比特形成一個像素的情況，在64比特的總線寬度中平行地同時讀出八個像素，并且在128比特的總線寬度中平行地同時讀出十六個像素。
[0447]在通常的安裝中，由于實驗方便等，采用水平的長矩形塊作為從存儲器中同時讀出的像素組的最小單元。
[0448]例如，在圖27中，針對由虛線分隔的寬度X高度為4X2的像素的各個塊讀出像素(值)。
[0449]這里，從存儲器中同時讀出的像素組的最小單元被稱作最小塊。
[0450]另外，在圖27中，方形(□標記)指示存儲在存儲器中的一個像素(其數據)，而圓形(O標記)指示預測圖像的像素的位置。在圖27中，預測圖像是沿著水平方向和豎直方向的每一個從存儲在存儲器中的圖像(參考圖像)的像素偏離1/2像素的圖像。
[0451]另外，塊B指示預測圖像的像素塊，并且在圖27中是8X4的像素塊。
[0452]塊P指示當從參考圖像中產生預測圖像時應用作為內插濾波器的有限沖擊響應(FIR)濾波器的參考圖像的像素塊，并且是通過擴展預測圖像的塊B獲得的塊(下文中，被稱作預測塊)。
[0453]在圖27中，塊P是15X11的像素塊。在幀間預測單元1018和2010中，內插濾波器應用于塊P的像素，因此產生塊B的預測圖像。
[0454]塊R是當從存儲器中讀出塊P的像素時要求從存儲器中讀出(必要地從存儲器中讀出)的像素塊，并且在圖27中是由寬度X高度為5X6的最小塊形成的塊，也就是說，20X12的像素塊。
[0455]這里，在當從存儲器中讀出塊P的像素時，要求從存儲器中讀出的塊(下文中，也被稱作必要讀出塊)R的像素數量由NUM_R指示，并且預測塊B的像素數量由NUM_B指示時，存儲器帶寬帶寬由例如等式(I)表達。
[0456]帶寬=NUM_R/NUM_B…(I)
[0457]當水平像素的數量和豎直像素的數量分別由B_H和B_V指示時，預測塊B的像素的數量NUM_B由等式⑵表達。
[0458]NUM_B = B_H X B_V— (2)
[0459]在圖27中，像素。
[0460]當水平像素的數量和豎直像素的數量分別由RJ!和R_V指示時，必要讀出塊R的像素的數量NUM_R由等式(3)表達。
[0461]NUM_R = R_HXR_V~(3)
[0462]這里，在最糟的情況下，當最小塊的水平像素的數量和豎直像素的數量分別由AlignJ^P Align_V指示時，必要讀出塊R的水平像素的數量R_H和豎直像素的數量R_V由等式⑷和(5)表達。
[0463]R_H = Align_H+Align_HX ceil ((P_H-1) /AIign_H)…(4)
[0464] R_V = Align_V+Align_VX ceil ((P_V_1)/Align_V)...(5)[0465]另外，在等式(4)和(5)中，ceil(x)指示等于或大于x的最小整數。另外，P_H和P_v分別指示應用內插濾波器的塊P的水平像素的數量和豎直像素的數量，并且分別由等式(6)和(7)表不。
[0466]P_H = B_H+Tap_H_l …(6)
[0467]P_V = B_V+Tap_V_L...(7)
[0468]在等式(6)和(J)中，Tap_H和Tap_V分別指示作為內插濾波器的FIR濾波器的水平抽頭的數量和豎直抽頭的數量。
[0469]在由多個像素形成最小塊的情況下，可從存儲器中讀出在幀間預測中不必要的像素，但是不必要像素在從存儲器讀出之后被丟棄。
[0470]在最小塊具有水平的長矩形形狀的情況下，在從存儲器讀出的必要讀出塊R的左部和右部而非上部和下部讀出更多的殘余像素。
[0471 ] 在諸如4X8的豎直的長塊和諸如8X4的水平的長塊中，像素的數量相同，但是針對具有不同形狀的預測塊B，包括最多在像素(針對預測圖像的產生從存儲器中讀出)的幀間預測中不必要 的像素的預測塊B是消耗最大存儲器帶寬的塊。
[0472]在最小塊具有水平的長矩形形狀的情況下，如圖28所示，當讀出包括預測塊B的擴展塊P (應用內插濾波器的塊)的必要讀出塊R的像素時，與當預測塊B具有水平的長矩形形狀(圖28的B)時相比，當預測塊B具有豎直的長矩形形狀(圖28的A)時，包括更多在幀間預測(通過內插濾波器濾波)中不必要的像素。
[0473]為此，諸如4X8的豎直的長預測塊B和諸如8X4的水平的長預測塊B具有相同數量的像素，但是豎直的長預測塊B的預測比水平的長預測塊B的預測消耗更大的存儲器帶寬。
[0474]圖29是示出限制模式RV的示圖。
[0475]如上所述，根據限制模式RV，限制了用于在圖像塊的MC(ME)中產生預測圖像的運動向量的數量(參考塊的數量)。
[0476]在圖29中，限制模式RV = V#i可采用包括V1、V2和V3的三個值，并且根據幀率(Frame rate)和LQJ的大小(LQJ size)限制運動向量的數量。
[0477]例如，在其中幀率是由表達式O <速率≤30表達的范圍內的值的情況下，IXU的大小是16X 16像素，當限制模式RV設為值Vl時，可在MC中使用的運動向量的數量限制為32。
[0478]這里，在限制模式RV中，作為運動向量的數量的替代，可限制從DPB1014(DPB2008)中讀出的參考塊的數量。
[0479]根據圖29，參考塊的數量或運動向量的數量的最大值由幀率和LCU的大小限制。
[0480]例如，如果幀率增大，則最大必要帶寬也增大，因此根據圖29，參考塊的數量或運動向量的數量與幀率成比例地減小。
[0481]在編碼器1000中，設置單元1021基于例如DPB1014的存儲器帶寬的最大值以及幀率和IXU的大小設置限制模式RV，并且將設置的限制模式供應至幀間預測單元1018和熵編碼單元1005。
[0482]幀間預測單元1018根據來自設置單元1021的限制模式RV執(zhí)行預測圖像的產生。
[0483]同時，熵編碼單元1005在編碼數據中包括來自設置單元1021的限制模式RV，并發(fā)送該限制模式。
[0484]在熵編碼單元1005中，限制模式RV可被包括在編碼數據的例如SPS、PPS、APS、片頭等中。
[0485]另外，隨著DPB1014的存儲器帶寬的最大值變小，設置單元1021設置具有較大值V#i的限制模式RV。
[0486]這里，限制模式RV的大的值V#i指示數#i大。
[0487]限制模式RV在MC中按照V1、V2和V3的順序具有減小的最大必要帶寬。
[0488]設置單元1021設置具有大的值V#i的限制模式RV，因此當從DPB1014中讀出解碼圖像以用于產生預測圖像時可抑制存儲器帶寬。結果，可防止編碼器1000的成本增加。
[0489]在解碼器2000中，熵解碼單元2001從編碼數據中分離限制模式RV，并將限制模式供應至幀間預測單元2010。
[0490]幀間預測單元2010根據限制模式RV執(zhí)行預測圖像的產生。
[0491]也就是說，在編碼數據適于限制模式RV的情況下，例如，在其中在限制模式RV中運動向量的數量被限制為兩個，并且在編碼數據中不包括通過使用超過兩個運動向量產生的預測圖像的塊的情況下，幀間預測單元2010產生例如預測圖像。
[0492]另外，在編碼數據不適于限制模式RV的情況下，例如，在其中在限制模式RV中運動向量的數量被限制為兩個，但是在編碼數據中包括通過使用超過兩個運動向量產生的預測圖像的塊的情況下，幀間預測單元2010執(zhí)行與編碼數據不適于限制模式RB的上述情況中的處理相同的處理。
[0493]另外，在編碼器1000中，設置單元1021可響應于由諸如編碼器1000的操作員的用戶執(zhí)行的操縱設置限制模式RV。
[0494]另外，在編碼器1000中，針對DPB1014的存儲器帶寬的最大值，可根據最大必要帶寬的限制量將檔次或級別定義為最大必要帶寬，并且限制模式RV可連接至檔次或級別。
[0495]這里，當最大必要帶寬隨著等級的值#i變大而變小時，級別Lv.#i可連接至例如限制模式RV = VU1
[0496]在這種情況下，在編碼器1000中，例如，如果設置了級別Lv.1，則設置單元1021將限制模式RV設置為連接至級別Lv.1的VI。
[0497]另外，在編碼器1000中，根據限制模式RB，通過將運動向量的數量限制為由限制模式RV指示的數量(或更少)來執(zhí)行編碼，并且關于檔次和級別的信息(Ieveljdc等)被包括在編碼數據中以發(fā)送。
[0498]在解碼器2000中，可從編碼數據解碼關于檔次和級別的信息，例如，可從該等級中識別連接至該等級的限制模式RV。
[0499]另外，在編碼器1000中，限制模式RV可被包括在編碼數據中以發(fā)送，在解碼器2000中，可解碼包括在編碼數據中的限制模式RV。
[0500]在編碼數據不適于限制模式RV的情況下，解碼器2000向高等級系統(tǒng)通知編碼數據不適于限制模式RV的事實。在這種情況下，高等級系統(tǒng)確定怎樣處理編碼數據。
[0501]另外，可由檔次或級別指示圖像(圖片幀)的大小。例如，在由該級別指示圖像的大小的情況下，當等級的值越大時，圖像的大小越大，級別Lv.針連接至限制模式RV = V#i,因此，例如，隨著由該級別指示的圖像的大小變大，編碼器1000將運動向量的數量限制為較小的量，從而減小存儲器帶寬。
[0502]在該等級(或該檔次)按照與在該等級連接至限制模式RB的情況下的方式相同的方式連接至限制模式RV的情況下，可從該等級中識別限制模式RV，因此在編碼器1000中，在編碼數據中可不包括限制模式RV。
[0503]這里，如果IXU大小增大，例如，由于每個圖片的IXU數量減少，可被單個IXU使用的參考塊或MV的數量隨著LCU的數量減少而增大。
[0504]另外，例如，如果圖像大小增大，則由于在單個圖片中具有預定LCU大小的LCU的數量增大，可被單個LCU使用的參考塊或MV的數量隨著LCU的數量增大而減小。
[0505]另外，如上所述，在其中參考塊(或運動向量)的數量與幀率成比例地減小的情況下，在圖29中，作為參考，當幀率為O <速率≤30時，參考塊的數量為二，IXU大小為8X8，并且限制模式RV為V3，當幀率為30 <速率≤60時，參考塊的數量限制為一(=2X1/2)，IXU大小為8X8，并且限制模式RV為V3。當幀率為O <速率≤30時，參考塊的數量限制為0.5( = 2X 1/2X 1/2)，LCU大小為8X8，并且限制模式RV為V3。
[0506]然而，由于諸如0.5的非整數作為參考塊的數量不合適，因此在圖29中，在計算中將0.5的參考塊的數量向上取整為作為(一個或更多個)參考塊的數量的值中的最小值I。
[0507]如上所述，在參考塊的數量被向上取整的情況下，需要安裝編碼器1000的DPB1014和解碼器2000的DPB2008，以讀出向上取整的數量的參考塊。 [0508]另外，限制模式RB和RV可組合使用。另外，識別信息和限制信息可組合使用。
[0509]另外，雖然在圖29的限制模式RV中，根據LCU大小限制LCU中使用的運動向量或參考塊的數量，但是可根據諸如PU、TU、SCU或圖片的區(qū)域單元中的區(qū)域的大小以及LCU限制運動向量或參考塊的數量。然而，如果將用于其的運動向量的數量等被限制的區(qū)域設置為太寬的區(qū)域，則將許多運動向量分配給所述寬區(qū)域的一部分，結果，分配給其它部分的運動向量可被顯著限制。另外，如果將用于其的運動向量的數量等被限制的區(qū)域設置為太窄的區(qū)域，分配給所述窄區(qū)域的運動向量的數量起初較少，因此限制運動向量的數量的自由度減少。因此，考慮到以上事實，用于其的運動向量的數量等被限制的區(qū)域優(yōu)選為具有合適大小的區(qū)域，諸如ιχυ。
[0510][包括識別信息的頭信息的句法的第一示例]
[0511]圖30是示出包括識別信息的編碼數據的頭信息的句法的第一示例的示圖。
[0512]也就是說，圖30示出了頭信息seq_parameter_set_rbsp O的句法,并且在頭信息seq_parameter_set_rbsp O 中包括作為識別信息的標記 disable_bip_small_mrg_idc。
[0513]圖30的標記disable_bip_small_mrg_idc指示針對其禁止雙向預測(雙預測)的塊(預測塊)的大小。
[0514]圖31是示出圖30的作為識別信息的標記disable_bip_small_mrg_id采用的值的示圖和針對其通過各個值的標記disable_bip_small_mrg_idc禁止雙向預測的塊的大小。
[0515]在圖31 中，標記 disable_bip_small_mrg_idc 可采用包括 0、1、2 和 3 的值。
[0516]在其中標記disable_bip_small_mrg_idc的值為O的情況下,不禁止雙向預測。
[0517]在其中標記disable_bip_small_mrg_idc的值為I的情況下，針對4X4的塊(塊大小為4X4的塊)禁止雙向預測。[0518]在其中標記disable_bip_small_mrg_idc的值為2的情況下，針對4X4、8X4和4X8這三種類型的塊禁止雙向預測,在其中標記disable_bip_small_mrg_idc的值為3的情況下，針對4X4、8X4、4X8和8X8這四種類型的塊禁止雙向預測。
[0519]另外，例如，通過圖16的圖像處理設備的設置單元1021設置圖30的作為識別信息的標記disable_bip_small_mrg_idc,該標記通過巾貞間預測單元1018用于巾貞間預測，并通過熵編碼單元1005被包括在編碼數據中。
[0520]另外，例如，通過圖16的圖像處理設備的熵解碼單元2001從編碼數據中分離圖30的作為識別信息的標記disable_bip_small_mrg_idc,并將其通過巾貞間預測單元2010用于幀間預測。
[0521 ][包括識別信息的頭信息的句法的第二示例]
[0522]圖32和圖33是示出包括識別信息的編碼數據的頭信息的句法的第二示例的圖。
[0523]也就是說，圖32示出了頭信息seq_parameter_set_rbsp O的句法,并且在頭信息seq_parameter_set_rbsp O 中包括作為識別信息的標記 disable_inter_4X 8_8 X 4_8 X 8_bidir_flag 和 disable_inter_4X8_8X4_bidir_flag。
[0524]在圖32 中，作為識別信息的標記 disable_inter_4X8_8X4_8X8_bidir_flag指示雙向預測是否可應用于4X8、8X4和8X8這三種類型的塊。
[0525]例如，在其中標記disable_inter_4X8_8X4_8X8_bidir_flag 的值為 O 的情況下，針對4X8、8X4和8X8這三種類型的塊不禁止雙向預測，在其中標記disable—inter_4X8_8X4_8X8_bidir_flag的值為I的情況下，針對4X8、8X4和8X8這三種類型的塊不禁止雙向預測。
[0526]另外,在圖32中，作為識別信息的標記disable_inter_4X8_8X4_bidir_flag指示雙向預測是否可應用于4X8和8X4這兩種類型的塊。
[0527]例如，在其中標記disable_inter_4X8_8X4_bidir_flag的值為O的情況下,針對4X8和8X4這兩種類型的塊不禁止雙向預測,在其中標記disable_inter_4X8_8X4_bidir_flag的值為I的情況下，針對4X8和8X4這兩種類型的塊禁止雙向預測。
[0528]因此,在其中標記disable_inter_4X8_8X4_8X8_bidir_flag 的值為 I 的情況下，當目標塊是4X8、8X4或8X8的塊時，更換應用雙向預測的合并候選的預測方法，從而應用單向預測而非雙向預測，并在目標塊上執(zhí)行合并模式的處理。
[0529]另外，在其中標記disable_inter_4X8_8X4_bidir_flag的值為I的情況下，當目標塊是4X 8或8 X 4的塊時，更換應用雙向預測的合并候選的預測方法，從而應用單向預測而非雙向預測，并在目標塊上執(zhí)行合并模式的處理。
[0530]在圖32 中，在其中標記 log2_min_coding_block_size_minus3 的值等于或小于I的情況下，在頭信息seq_parameter_set_rbsp O中包括標記disable_inter_4X8_8X4_8X8_bidir_flag。另外，在其中標記 log2_min_coding_block_size_minus3 的值為 O 并且標記 disable_inter_4X8_8X4_8X8_bidir_flag 的值為 O 的情況下，在頭信息 seq_parameter_set_rbsp O 中包括標記 disable_inter_4X8_8X4_bidir_flag。
[0531]這里,標記log2_min_coding_block_size_minus3指示⑶(編碼塊)的最小大小。
[0532]在其中由標記log2_min_coding_block_size_minus3指示的⑶的最小大小是比16X16更大的大小(32 X 32或64 X 64)的情況下，將大小為16 X 16 (或更大的大小)的塊用作作為目標塊的PU，并且不使用大小為8X8 (或更小的大小)的塊。
[0533]因此,在其中由標記log2_min_coding_block_size_minus3指示的⑶的最小大小是大于16X16的大小的情況下，作為識別信息的標記disable_inter_4X8_8X4_8X8_bidir_flag和disable_inter_4X8_8X4_bidir_flag無意義，因此即使在編碼數據中包括所述標記，熵解碼單元2001 (圖16)也不讀出(不理會)所述標記。
[0534]另外，在其中在頭信息seq_parameter_set_rbsp O中不包括標記disable—inter_4 X 8_8 X 4_8 X 8_bidir_flag 的情況下，估計標記 disable_inter_4 X 8_8 X 4_8 X 8_bidir_flag 的值為 O。
[0535]另外，在其中在頭信息seq_parameter_set_rbsp O中不包括標記disable_inter_4X8_8X4_bidir_flag 的情況下，如果標記 disable_inter_4X 8_8 X 4_8 X 8_bidir_flag 的值為 O,則標記 disable_inter_4X8_8X4_bidir_flag 的值也被估計為O,如果標記 disable_inter_4X8_8X4_8X8_bidir_flag 的值為 1，則標記 disable—inter_4X8_8X4_bidir_flag 的值也被估計為 I。
[0536]圖33示出了頭信息predict1n_unit (x0, yO, log2CbSize)的句法,并且在頭信息predict1n_unit (x0, yO, log2CbSize)中包括作為識別信息的標記 disable_bidir。
[0537]根據圖32 的作為識別信息的標記 disable_inter_4X8_8X4_8X8_bidir_flag和 disable_inter_4X8_8X4_bidir_flag,將作為識別信息的標記 disable_bidir 設為值O或I。
[0538]在其中標記disable_bidir的值為O的情況下，不禁止雙向預測，在其中標記disable_bidir的值為I的情況下，禁止雙向預測。
[0539]在圖33 中，在標記 disable_bidir 之后描述的標記 inter_pred_flag[xO] [yO]指示在由x0和yO指示的位置的塊的預測方法為單向預測還是雙向預測，但是在其中標記disable_bidir的值為I并且禁止雙向預測的情況下，熵解碼單元2001 (圖16)不從編碼數據中讀出標記inter_pred_flag[x0] [yO],將在由x0和yO指示的位置的塊的預測方法解釋為單向預測。
[0540]另外，例如，通過圖16的圖像處理設備的設置單元1021設置圖32的作為識別信息的標記 disable_inter_4X8_8X4_8X8_bidir_flag 和 disable_inter_4X8_8X4_bidir_flag以及圖33的作為識別信息的標記disable_bidir,以通過巾貞間預測單元1018用于幀間預測，并通過熵編碼單元1005被包括在編碼數據中。
[0541]另外，例如，通過圖16的圖像處理設備的熵解碼單元2001從編碼數據中分離圖 32 的作為識別信息的標記 disable_inter_4X8_8X4_8X8_bidir_flag 和 disable—inter_4X8_8X4_bidir_flag以及圖33的作為識別信息的標記disable_bidir,以通過中貞間預測單元2010用于幀間預測。
[0542]這里，在除執(zhí)行合并模式的情況之外的情況下，圖32的作為識別信息的標記disable_inter_4X 8_8X4_8X8_bidir_flag 和 di sabIe_inter_4 X 8_8X4_bidir_flag以及圖33的作為識別信息的標記disable_bidir也可按照除合并模式之外的模式應用于執(zhí)行幀間預測的情況。
[0543]另外，在圖32的頭信息seq_parameter_set_rbsp O中包括的作為識別信息的標記 disable_inter_4X8_8X4_8X8_bidir_flag 和 disable_inter_4X8_8X4_bidir_flag中不包括指示雙向預測是否可應用于大小等于或小于8X8的塊中的4X4的塊的信息。這是因為此時在頭信息seq_parameter_set_rbsp O中存在標記inter_4X4_enabled_flag。
[0544]也就是說,此時,在圖30所示的頭信息seq_parameter_set_rbsp()中定義了指示是否使用 4X4 的塊的標記 inter_4X4_enabled_flag,并且在標記 inter_4X4_enabled_flag之后對4X4的塊進行處理。因此，在圖32中，未定義指示雙向預測是否可應用于4 X 4的塊的標記。
[0545]因此,例如,在其中在以后刪除標記inter_4X4_enabled_flag的情況下,可定義指示雙向預測是否可應用于4X4的塊或塊大小為4X4或更大的塊大小的塊的標記，并且在圖32的頭信息seq_parameter_set_rbsp O中包括該標記而非不包括關于4X4的塊的信息的標記 disable_inter_4X8_8X4_8X8_bidir_flag 和 disable_inter_4X8_8X4_bidir_flag(或者也包括標記 disable_inter_4X8_8X4_8X8_bidir_flag 和 disable—inter_4 X 8_8 X 4_bidir_flag)。
[0546]另外，本技術可應用于當通過諸如衛(wèi)星廣播、有線電視、互聯(lián)網或移動電話的網絡介質接收通過諸如離散余弦變換和運動補償(諸如，例如，MPEG或H.26x)的正交變換壓縮的圖像信息(比特流)時使用的圖像編碼裝置和圖像解碼裝置。另外，本技術可應用于當在諸如光盤、磁盤和閃速存儲器的存儲介質上執(zhí)行處理時使用的圖像編碼裝置和圖像解碼裝置。此外，本技術還可應用于包括在圖像編碼裝置和圖像解碼裝置中的運動預測補償裝置。
[0547][個人計算機]
[0548]可通過硬件或軟件執(zhí)行一連串的上述處理。當通過軟件執(zhí)行所述一連串的處理時，在計算機中安裝構成所述軟件的程序。這里，計算機包括可通過安裝各種程序執(zhí)行各種功能的并入專用硬件中的計算機或通用個人計算機等。
[0549]在圖34中，個人計算機500的CPU(中央處理單元)501根據存儲在只讀存儲器(ROM) 502中的程序或從存儲單元513裝載到隨機存取存儲器(RAM) 503中的程序執(zhí)行各種處理。RAM503合適地存儲CPU501執(zhí)行各種處理必要的數據等。
[0550]CPU50UR0M502和RAM503通過總線504彼此連接。另外，輸入和輸出接口 510也連接至總線504。
[0551]輸入和輸出接口 510連接至包括鍵盤、鼠標等的輸入單元511 ;包括諸如陰極射線管(CRT)或液晶顯示器(LCD)的顯示器、揚聲器等的輸出單元512 ;包括硬盤等的存儲單元513 ;以及包括調制解調器等的通信單元514。通信單元514通過包括互聯(lián)網的網絡執(zhí)行通
/[目處理。
[0552]驅動器515根據需要連接至輸入和輸出接口 510，諸如磁盤、光盤、磁光盤或半導體存儲器的可移動介質521合適地安裝在所述驅動器515中，并且從其中讀出的計算機程序根據需要安裝在存儲單元513中。
[0553]在其中在軟件中執(zhí)行一連串上述處理的情況下，從網絡或記錄介質安裝構成所述軟件的程序。
[0554]如圖34所示，例如，記錄介質不僅包括諸如磁盤(包括軟盤)、光盤(包括壓縮盤-只讀存儲器(CD-ROM)和數字多功能盤(DVD))、磁光盤(包括迷你盤(MD))或半導體存儲器(被分布以將程序與裝置主體分離地遞送至用戶，并在其中記錄程序)的可移動介質521，而且包括在預先并入裝置主體中的狀態(tài)下被發(fā)送至用戶并在其中記錄程序的R0M502，或者在存儲單元513中包括的硬盤。
[0555]另外，計算機執(zhí)行的程序可為根據在本說明書中描述的順序按照時間順序執(zhí)行處理的程序，并且可為平行地或在必要時刻(諸如當被訪問時)執(zhí)行處理的程序。
[0556]另外，在本說明書中，用于描述在記錄介質上記錄的程序的步驟不僅包括根據描述的順序按照時間順序執(zhí)行的處理，而且包括平行或分離地執(zhí)行的處理(如果沒必要按照時間順序執(zhí)行)。
[0557]另外，在本說明書中，系統(tǒng)指包括多個裝置的整個設備。
[0558]另外，在以上描述中，被描述為單個裝置(或處理單元)的配置可分為多個裝置(或處理單元)，并且通過多個裝置(或處理單元)一起形成。相反，在以上描述中，被描述為多個裝置(或處理單元)的配置可通過單個裝置(或處理單元)形成。另外，除上述那些以外的配置可加至各個裝置(或各個處理單元)的配置。另外，一個裝置(或處理單元)的配置的一部分可被包括在另一裝置(或另一處理單元)的配置中，只要整個系統(tǒng)的配置和操作基本相同即可。也就是說，在不脫離本技術的范圍的情況下，本技術不限于上述實施例，而是可具有各種修改形式。
[0559]根據上述實施例的圖像處理設備可應用于在衛(wèi)星廣播、諸如有線TV的有線廣播和互聯(lián)網上的遞送以及用于通過蜂窩通信至終端的遞送的諸如發(fā)送器或接收器的各種電子設備、在諸如光盤、磁盤和閃速存儲器的介質上記錄圖像的記錄設備以及從存儲介質再現圖像的再現設備。下文中，將描述四個應用示例。
[0560][第一應用示例:電視接收器]
[0561]圖35示出了應用上述實施例的電視設備的示意性配置的示例。電視設備900包括天線901、調諧器902、多路解復用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口 909、控制單元910、用戶接口 911和總線912。
[0562]調諧器902從通過天線901接收的廣播信號中提取期望信道的信號并解調提取的信號。另外，調諧器902將通過解調獲得的編碼流輸出至多路解復用器903。也就是說，調諧器902用作電視設備900中的傳輸裝置，以接收其中圖像被編碼的編碼流。
[0563]多路解復用器903從編碼流中多路解復用觀看的目標程序的圖像(視頻)流和音頻流，并將分離的流輸出至解碼器904。另外，多路解復用器903從編碼流中提取諸如電子節(jié)目指南(EPG)的輔助數據，并將提取的數據供應至控制單元910。另外，當編碼流被擾亂時，多路解復用器903可執(zhí)行解擾。
[0564]解碼器904解碼從多路解復用器903輸入的圖像流和音頻流。另外，解碼器904將由于解碼處理產生的圖像數據輸出至視頻信號處理單元905。另外，解碼器904將由于解碼處理產生的音頻數據輸出至音頻信號處理單元907。
[0565]視頻信號處理單元905再現從解碼器904輸入的圖像數據，以在顯示單元906上顯示圖像。另外，視頻信號處理單元905可在顯示單元906上顯示通過網絡供應的應用畫面。另外，視頻信號處理單元905可根據其設置對圖像數據執(zhí)行諸如(例如)噪聲去除的額外處理。此外，視頻信號處理單元905可產生諸如(例如)菜單、按鈕或光標的圖形用戶接口(⑶I)圖像，并且可在輸出圖像上疊加產生的圖像。
[0566]顯示單元906通過從視頻信號處理單元905供應的驅動信號驅動，并在顯示裝置(例如，液晶顯示器、等離子體顯示器或有機電致發(fā)光顯示器(OLED))的畫面上顯示圖像。
[0567]音頻信號處理單元907對從解碼器904輸入的音頻數據執(zhí)行諸如D/A轉換和放大的再現處理，以允許從揚聲器908輸出聲音。另外，音頻信號處理單元907可對音頻數據執(zhí)行諸如噪聲去除的額外處理。
[0568]外部接口 909是將電視設備900連接至外部設備或網絡的接口。例如，可通過解碼器904解碼通過外部接口 909接收的圖像流或音頻流。也就是說，外部接口 909還在電視設備900中用作傳輸裝置，以接收其中圖像被編碼的編碼流。
[0569]控制單元910包括諸如CPU的處理器和諸如RAM和ROM的存儲器。存儲器存儲通過CPU執(zhí)行的程序、程序數據、EPG數據、通過網絡獲得的數據等。例如，當電視設備900起動時，通過CPU讀和執(zhí)行存儲在存儲器中的程序。CPU執(zhí)行所述程序，因此響應于從用戶接口 911輸入的例如操縱信號控制電視設備900的操作。
[0570]用戶接口 911連接至控制單元910。用戶接口 911包括例如用于用戶操縱電視設備900的按鈕和開關、遙控信號的接收單元等。用戶接口 911通過檢測用戶通過這些構成元件執(zhí)行的操縱產生操縱信號，并將產生的操縱信號輸出至控制單元910。
[0571]總線912將調諧器902、多路解復用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909和控制單元910彼此連接。
[0572]在如上所述配置的電視設備900中，解碼器904具有根據上述實施例的解碼器2000的功能。
[0573][第二應用示例:移動電話]
[0574]圖36示出了應用上述實施例的移動電話的示意性配置的示例。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、相機單元926、圖像處理單元927、多路復用和多路解復用單元928、記錄和再現單元929、顯示單元930、控制單元931、操縱單元932和總線933。
[0575]天線921連接至通信單元922。揚聲器924和麥克風925連接至音頻編解碼器923。操縱單元932連接至控制單元931?？偩€933將通信單元922、音頻編解碼器92、相機單元926、圖像處理單元927、多路復用和多路解復用單元928、記錄和再現單元929、顯示單元930和控制單元931彼此連接。
[0576]移動電話920在包括言語模式、數據通信模式、攝影模式和視頻電話模式各種操作模式下執(zhí)行諸如傳輸和接收音頻信號、傳輸和接收電子郵件或圖像數據、俘獲圖像和記錄數據的操作。
[0577]在言語模式中，由麥克風925產生的模擬音頻信號供應至音頻編解碼器923。音頻編解碼器923通過A/D轉換將模擬音頻信號轉換為音頻數據，并壓縮轉換的音頻數據。另夕卜，音頻編解碼器923將壓縮的音頻數據輸出至通信單元922。通信單元922編碼和調制音頻數據，以產生傳輸信號。另外，通信單元922將產生的傳輸信號通過天線921發(fā)送至基站(未示出)。此外，通信單元922放大通過天線921接收的無線信號，并轉換其頻率，以獲得接收到的信號。而且，通信單元922解調和解碼接收到的信號以產生音頻數據，并將產生的音頻數據輸出至音頻編解碼器923。音頻編解碼器923解壓縮音頻數據并對其進行D/A轉換，以產生模擬音頻信號。另外，音頻編解碼器923將產生的音頻信號供應至揚聲器924以輸出聲音。
[0578]另外，例如，在數據通信模式中，控制單元931響應于用戶利用操縱單元932執(zhí)行的操縱產生形成電子郵件的文本數據。另外，控制單元931在顯示單元930上顯示文本。此外，控制單元931響應于用戶利用操縱單元932作出的傳輸命令產生電子郵件數據，并將產生的電子郵件數據輸出至通信單元922。通信單元922編碼和調制電子郵件數據以產生傳輸信號。另外，通信單元922通過天線921將產生的傳輸信號發(fā)送至基站(未示出)。另外，通信單元922放大通過天線921接收到的無線信號并轉換其頻率，以獲得接收到的信號。此外，通信單元922解調和解碼接收到的信號以恢復電子郵件數據，并將恢復的電子郵件數據輸出至控制單元931?？刂茊卧?31在顯示單元930上顯示電子郵件的內容并將電子郵件數據存儲在記錄和再現單元929的記錄介質上。
[0579]記錄和再現單元929包括任意可讀和可寫存儲介質。例如，存儲介質可為諸如RAM或閃速存儲器的內置存儲介質，并且可為諸如硬盤、磁盤、磁光盤、光盤、未分配的空間位圖(USB)存儲器或存儲卡的外部附接的存儲介質。
[0580]另外，例如，在攝影模式中，相機單元926使主體成像以產生圖像數據，并將產生的圖像數據輸出至圖像處理單元927。圖像處理單元927將從相機單元926輸入的圖像數據編碼，并將編碼流存儲在記錄和再現單元929的存儲介質上。
[0581]另外，例如，在視頻電話模式中，多路復用和多路解復用單元928將通過圖像處理單元927編碼的圖像流和從音頻編解碼器923輸入的音頻流多路復用，并將多路復用的流輸出至通信單元922。通信單元922將流編碼和調制以產生傳輸信號。此外，通信單元922通過天線921將產生的傳輸信號發(fā)送至基站(未示出)。另外，通信單元922放大通過天線921接收的無線信號，并轉換其頻率，以獲得接收到的信號。編碼流可被包括在傳輸信號和接收到的信號中。另外，通信單元922將接收到的信號解調和解碼，以恢復流，并將恢復的流輸出至多路復用和多路解復用單元928。多路復用和多路解復用單元928從輸入流中多路解復用圖像流和音頻流，并將視頻流輸出至圖像處理單元927和將音頻流輸出至音頻編解碼器923。圖像處理單元927解碼圖像流，以產生圖像數據。將圖像數據供應至顯示單元930，以允許在顯示單元930上顯示一連串圖像。音頻編解碼器923解壓縮音頻流并對其進行D/A轉換，以產生模擬音頻信號。此外，音頻編解碼器923將產生的音頻信號供應至揚聲器924以輸出聲音。
[0582]在具有以上配置的移動電話920中，圖像處理單元927具有根據上述實施例的編碼器1000和解碼器2000的功能。
[0583][第三應用示例:記錄和再現設備]
[0584]圖37示出了應用了上述實施例的記錄和再現設備的示意性配置的示例。記錄和再現設備940將例如接收到的廣播程序的音頻數據和圖像數據編碼，并在記錄介質上記錄編碼數據。另外，記錄和再現設備940可將例如從其它設備獲得的音頻數據和圖像數據編碼，并且可在記錄介質上記錄編碼數據。另外，記錄和再現設備940例如響應于來自用戶的命令在監(jiān)視器和揚聲器上再現記錄在記錄介質上的數據。此時，記錄和再現設備940將音頻數據和圖像數據解碼。[0585]記錄和再現設備940包括調諧器941、外部接口 942、編碼器943、硬盤驅動器(HDD) 944、盤驅動器945、選擇器946、解碼器947、屏幕顯示器(OSD) 948、控制單元949和用戶接口 950。
[0586]調諧器941從通過天線(未示出)接收的廣播信號中提取期望信道的信號，并將提取的信號解調。另外，調諧器941將通過解調獲得的編碼流輸出至選擇器946。也就是說，調諧器941在記錄和再現設備940中用作傳輸裝置。
[0587]外部接口 942是將記錄和再現設備940連接至外部設備或網絡的接口。外部接口942可為例如IEEE1394接口、網絡接口、USB接口、閃速存儲器接口等。例如，通過外部接口942接收的圖像數據和音頻數據被輸入至編碼器943。也就是說，外部接口 942在記錄和再現設備940中用作傳輸裝置。
[0588]編碼器943在其中從外部接口 942輸入的圖像數據和音頻數據未編碼的情況下將圖像數據和音頻數據編碼。另外，編碼器943將編碼流輸出至選擇器946。
[0589]HDD944將其中諸如圖像和聲音的內容數據被壓縮的編碼流、各種程序和其它數據記錄在內部硬盤中。另外，當再現圖像和聲音時，HDD944從硬盤中讀出數據。
[0590]盤驅動器945將數據記錄在安裝在其中的記錄介質上和從中讀出數據。安裝在盤驅動器945中的記錄介質可為例如DVD盤(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+Rff等)、藍光(注冊商標)盤等。
[0591]當記錄圖像和聲音時，選擇器946選擇從調諧器941或編碼器943輸入的編碼流，并將選擇的編碼流輸出至HDD944或盤驅動器945。另外，當再現圖像和聲音時，選擇器946將從HDD944或盤驅動器945輸入的編碼流輸出至解碼器947。
[0592]解碼器947將編碼流解碼，以產生圖像數據和音頻數據。另外，解碼器947將產生的圖像數據輸出至0SD948。另外，解碼器904將產生的音頻數據輸出至外部揚聲器。
[0593]0SD948再現從解碼器947輸入的圖像數據，以顯示圖像。另外，0SD948可將諸如(例如)菜單、按鈕或光標的⑶I圖像疊加在顯示的圖像上。
[0594]控制單元949包括諸如CPU的處理器和諸如RAM和ROM的存儲器。存儲器存儲通過CPU執(zhí)行的程序、程序數據等。例如，當記錄和再現設備940起動時，通過CPU讀和執(zhí)行存儲在存儲器中的程序。CPU執(zhí)行程序，因此響應于例如從用戶接口 950輸入的操縱信號控制記錄和再現設備940的操作。
[0595]用戶接口 950連接至控制單元949。用戶接口 950包括例如允許用戶操縱記錄和再現設備940的按鈕和開關、遙控信號的接收單元等。用戶接口 950通過檢測用戶通過這些構成元件執(zhí)行的操縱產生操縱信號，并將產生的操縱信號輸出至控制單元949。
[0596]在具有以上配置的記錄和再現設備940中，編碼器943具有根據上述實施例的編碼器1000的功能。另外，解碼器947具有根據上述實施例的解碼器2000的功能。
[0597][第四應用示例:成像設備]
[0598]圖38示出了應用上述實施例的成像設備的示意性配置的示例。成像設備960使主體成像以產生圖像，并將圖像數據編碼以在記錄介質上記錄編碼數據。
[0599]成像設備960包括光學塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口 966、存儲器967、介質驅動器968、0SD969、控制單元970、用戶接口 971和總線972。[0600]光學塊961連接至成像單元962。成像單元962連接至信號處理單元963。顯示單元965連接至圖像處理單元964。用戶接口 971連接至控制單元970?？偩€972將圖像處理單元964、外部接口 966、存儲器967、介質驅動器968、0SD969和控制單元970彼此連接。
[0601]光學塊961包括聚焦透鏡、隔膜機構等。光學塊961在成像單元962的成像表面上形成主體的光學圖像。成像單元962包括諸如電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)的圖像傳感器，并通過光電轉換將在成像表面上形成的光學圖像轉換為作為電信號的圖像信號。另外，成像單元962將圖像信號輸出至信號處理單元963。
[0602]信號處理單元963對從成像單元962輸入的圖像信號執(zhí)行諸如拐點校正、伽馬校正和色彩校正的各種相機信號處理。信號處理單元963將已經歷相機信號處理的圖像數據輸出至圖像處理單元964。
[0603]圖像處理單元964將從信號處理單元963輸入的圖像數據編碼，以產生編碼數據。另外，圖像處理單元964將產生的編碼數據輸出至外部接口 966或介質驅動器968。另外，圖像處理單元964將從外部接口 966或介質驅動器968輸入的編碼數據解碼，以產生圖像數據。此外，圖像處理單元964將產生的圖像數據輸出至顯示單元965。而且，圖像處理單元964可將從信號處理單元963輸入的圖像數據輸出至顯示單元965，以顯示圖像。另外，圖像處理單元964可將從0SD969獲得的顯示數據疊加在輸出至顯示單元965的圖像上。
[0604]0SD969產生諸如(例如)菜單、按鈕和光標的⑶I圖像，并將產生的圖像輸出至圖像處理單元964。
[0605]外部接口 966通過例如USB輸入和輸出終端形成。例如，當打印圖像時，外部接口966將成像設備960連接至打印機。另外，外部接口 966根據需要連接至驅動器。諸如(例如)磁盤或光盤的可移動介質可安裝在驅動器中，并且從可移動介質讀出的程序可安裝在成像設備960中。另外，外部接口 966可被配置為連接至諸如LAN或互聯(lián)網的網絡的網絡接口。也就是說，外部接口 966在成像設備960中用作傳輸裝置。
[0606]安裝在介質驅動器968中的記錄介質可為諸如(例如)磁盤、磁光盤、光盤或半導體存儲器的任何可讀和可寫可移動介質。另外，記錄介質可固定地安裝在介質驅動器968中，以配置諸如(例如)內置硬盤驅動器或固態(tài)驅動器(SSD)的非便攜式存儲單元。
[0607]控制單元970包括諸如CPU的處理器和諸如RAM和ROM的存儲器。存儲器存儲通過CPU執(zhí)行的程序、程序數據等。例如，當成像設備960起動時，通過CPU讀和執(zhí)行存儲在存儲器中的程序。CPU執(zhí)行該程序，因此響應于例如從用戶接口 971輸入的操縱信號控制成像設備960的操作。
[0608]用戶接口 971連接至控制單元970。例如，用戶接口 971包括允許用戶操縱成像設備960的按鈕和開關等。用戶接口 971通過檢測用戶通過這些構成元件執(zhí)行的操縱產生操縱信號，并將產生的操縱信號輸出至控制單元970。
[0609]在具有以上配置的成像設備960中，圖像處理單元964具有根據上述實施例的編碼器1000和解碼器2000的功能。
[0610][多視圖圖像編碼和多視圖圖像解碼的應用]
[0611]圖39是示出多視圖圖像編碼方法的示例的示圖。
[0612]上述一連串處理可應用于多視圖圖像編碼和多視圖圖像解碼。[0613]如圖39所示，多視圖圖像包括來自多個視圖的圖像，并且將來自多個視圖中的特定視圖的圖像指定為基本視圖圖像。將除基本視圖圖像以外的來自各個視圖的圖像看作非基本視圖圖像。
[0614]在圖39中，呈現三個視圖圖像作為多視圖圖像，并且用于在各個視圖中識別圖像的view_id為O的圖像是基本視圖圖像。另外，view_id為I和2的圖像是非基本視圖圖像。
[0615]這里，在多視圖圖像編碼和多視圖圖像解碼中，不參照其它視圖的圖像處理(編碼和解碼)基本視圖圖像。另一方面，可通過參照其它視圖的圖像處理非基本視圖圖像。在圖39中，箭頭指示圖像的參考，并且可根據需要通過參照箭頭終點的圖像處理箭頭起點的圖像。
[0616]在其中如圖39所示的多視圖圖像被編碼和解碼的情況下，各個視圖圖像被編碼和解碼，并且用于圖16的圖像處理設備的技術可應用于各個視圖的編碼和解碼。因此，如上所述，可防止成本增加。
[0617]另外，在各個視圖的編碼和解碼中，可共享用于圖16的圖像處理設備的技術的標記和其它信息。
[0618][多視圖圖像編碼裝置]
[0619]圖40是示出執(zhí)行上述多視圖圖像編碼的多視圖圖像編碼裝置的配置示例的框圖。
[0620]如圖40所示，多視圖圖像編碼裝置600包括編碼單元601、編碼單元602和多路復用單元603，并將通過包括例如基本視圖圖像和非基本視圖圖像的兩個視圖圖像形成的多視圖圖像編碼。作為通過兩個視圖圖像形成的多視圖圖像，存在例如通過由左眼觀察到的左眼圖像和由右眼觀察到的右眼圖像形成的三維(3D)圖像。
[0621]編碼單兀601將基本視圖圖像編碼以廣生基本視圖圖像編碼流。編碼單兀602在根據需要參照基本視圖圖像(通過編碼單元601編碼并局部解碼的基本視圖圖像)的同時編碼非基本視圖圖像，以產生非基本視圖圖像編碼流。多路復用單元603將在編碼單元601中產生的基本視圖圖像編碼流和在編碼單元602中產生的非基本視圖圖像編碼流多路復用，以產生多視圖圖像編碼流。
[0622]用于圖16的圖像處理設備的編碼器1000的技術可應用于多視圖圖像編碼裝置600的編碼單元601和編碼單元602。另外，如上所述，編碼單元601和編碼單元602可共享標記和其它信息。
[0623][多視圖圖像解碼裝置]
[0624]圖41是示出執(zhí)行上述多視圖圖像解碼的多視圖圖像解碼裝置的配置示例的框圖。
[0625]如圖41所示，多視圖圖像解碼裝置610包括多路解復用單元611、解碼單元612和解碼單元613，并且將例如通過圖40的多視圖圖像編碼裝置獲得的多視圖圖像編碼流解碼。
[0626]多路解復用單元611將其中多路復用基本視圖圖像編碼流和非基本視圖圖像編碼流的多視圖圖像編碼流多路解復用，以提取基本視圖圖像編碼流和非基本視圖圖像編碼流。解碼單元612將通過多路解復用單元611提取的基本視圖圖像編碼流解碼，以獲得基本視圖圖像。解碼單元613在根據需要參照通過解碼單元612解碼的基本視圖圖像的同時將通過多路解復用單元611提取的非基本視圖圖像編碼流解碼，以獲得非基本視圖圖像。
[0627]圖16的圖像處理設備的解碼器2000可應用于多視圖圖像解碼裝置610的解碼單元612和解碼單元613。另外，如上所述，解碼單元612和解碼單元613可共享標記和其它信息。
[0628][分層圖像編碼和分層圖像解碼的應用]
[0629]圖42是示出分層圖像編碼方法的示例的示圖。
[0630]上述一連串處理可應用于分層圖像編碼和分層圖像解碼。
[0631]如圖42所示，分層圖像包括多個分層(分辨率)的圖像，并且將多個分層中的特定層的圖像(例如，具有最低分辨率的圖像)指定為基本層圖像。將除基本層圖像以外的各個分層的圖像看作非基本層圖像S。
[0632]在圖42中，呈現三個分層圖像作為分層圖像，并且用于識別各個層的圖像的layer_id為O的圖像是基本層圖像。另外，layer_id為I和2的圖像為非基本層圖像。另夕卜，layer_id為2的非基本層圖像是例如具有原始分辨率的特定內容的圖像，而layer_id為I的非基本層圖像是例如通過將layer_id為2的非基本層圖像的分辨率降低獲得的圖像。此外，layer_id為O的基本層圖像是通過將layer_id為I的非基本層圖像的分辨率降低獲得的圖像。
[0633]這里，在分層圖像編碼和分層圖像解碼中，不參照其它層(分層)的圖像處理(編碼和解碼)基本層圖像。另一方面，可通過參照其它層的圖像處理非基本層圖像。在圖42中，按照與圖39中的方式相同的方式，箭頭指示圖像的參考，并且可通過根據需要參照箭頭終點的圖像處理箭頭起點的圖像。
[0634]在其中編碼和解碼如圖42所示的分層圖像的情況下，編碼和解碼各個分層圖像，并且圖16的圖像處理設備的技術可應用于各個分層的編碼和解碼。因此，如上所述，可防止成本的增加。
[0635]另外，在各個分層的編碼和解碼中，可共享用于圖16的圖像處理設備的技術的標記和其它信息。
[0636][分層圖像編碼裝置]
[0637]圖43是示出執(zhí)行上述分層圖像編碼的分層圖像編碼裝置的配置示例的框圖。
[0638]如圖43所示，分層圖像編碼裝置620包括編碼單元621、編碼單元622和多路復用單元623，并將通過包括例如基本層圖像和非基本層圖像的兩個分層圖像形成的分層圖像編碼。
[0639]編碼單元621編碼基本層圖像以產生基本層圖像編碼流。編碼單元622在根據需要參照基本層圖像(通過編碼單元621編碼并局部解碼的基本層圖像)的同時將非基本層圖像編碼，以產生非基本層圖像編碼流。多路復用單元623將在編碼單元621中產生的基本層圖像編碼流和在編碼單元622中產生的非基本層圖像編碼流多路復用，以產生分層圖像編碼流。
[0640]用于圖16的圖像處理設備的編碼器1000的技術可應用于分層圖像編碼裝置620的編碼單元621和編碼單元622。另外，如上所述，編碼單元621和編碼單元622可共享標記和其它信息。[0641][分層圖像解碼裝置]
[0642]圖44是示出執(zhí)行上述分層圖像解碼的層圖像解碼裝置的配置示例的框圖。
[0643]如圖44所示，分層圖像解碼裝置630包括多路解復用單元631、解碼單元632和解碼單元633，并將例如通過圖43的分層圖像編碼裝置獲得的分層圖像編碼流解碼。
[0644]多路解復用單元631將其中多路復用了基本層圖像編碼流和非基本層圖像編碼流的分層圖像編碼流多路解復用，以提取基本層圖像編碼流和非基本層圖像編碼流。解碼單元632將通過多路解復用單元631提取的基本層圖像編碼流解碼，以獲得基本層圖像。解碼單元633在根據需要參照通過解碼單元632解碼的基本層圖像的同時將由多路解復用單元631提取的非基本層圖像編碼流解碼，以獲得非基本層圖像。
[0645]圖16的圖像處理設備的解碼器2000的技術可應用于分層圖像解碼裝置630的解碼單元632和解碼單元633。另外，如上所述，解碼單元632和解碼單元633可共享標記和其它信息。
[0646][利用分層圖像編碼方法的示例]
[0647]將描述利用上述分層圖像編碼方法的示例。
[0648][利用分層圖像編碼方法的第一示例]
[0649]圖45是示出利用分層圖像編碼方法的第一示例的示圖。
[0650]分層圖像編碼(下文中，還稱作可擴縮編碼)可用于例如選擇將被發(fā)送的數據，如圖45所示的示例。
[0651]在圖45所示的數據傳輸系統(tǒng)3000中，通過將分層圖像以可擴縮方式編碼獲得的可擴縮編碼數據被存儲在可擴縮編碼數據存儲單元3001中。
[0652]遞送服務器3002讀出存儲在可擴縮編碼數據存儲單元3001中的可擴縮編碼數據，并將可擴縮編碼數據通過網絡3003遞送至諸如個人計算機3004、AV設備3005、平板裝置3006和移動電話3007的終端設備。
[0653]此時，遞送服務器3002基于終端設備的性能、通信環(huán)境等選擇和發(fā)送具有合適質量(分辨率等)的編碼數據。即使遞送服務器3002不必要地發(fā)送高質量數據，也不能說在終端設備中獲得高質量圖像，并且對可發(fā)生的延遲或上溢有所考慮。另外，考慮到高質量數據可不必要地占據通信頻帶，并且可不必要地增大終端設備上的負載。相反，如果遞送服務器3002僅發(fā)送低質量數據，則即使終端設備的性能或通信環(huán)境合適，也難以獲得高質量圖像。為此，遞送服務器3002適當地從可擴縮編碼數據存儲單元3001讀出并發(fā)送具有適合終端設備的性能或通信環(huán)境的質量(層)的編碼數據。
[0654]這里，在圖45中，可擴縮編碼數據存儲單元3001存儲可擴縮編碼數據(BL+EL)3011?？蓴U縮編碼數據(BL+EL) 3011是其中多路復用了基本層圖像編碼流BL和非基本層圖像編碼流EL的分層圖像編碼流。
[0655]基本層圖像編碼流BL是通過將基本層圖像編碼獲得的編碼數據。另外，非基本層圖像編碼流EL是在根據需要參照基本層圖像的同時通過將非基本層(增強層)圖像編碼獲得的編碼數據。
[0656]因此，可擴縮編碼數據(BL+EL)3011是包括基本層和非基本層二者的圖像的編碼數據，并且是允許通過解碼獲得基本層圖像和非基本層圖像二者的數據。
[0657]遞送服務器3002基于接收數據(接收遞送的數據)的終端設備的性能或通信環(huán)境選擇合適的層，并從可擴縮編碼數據存儲單元3001中讀出(解碼圖像所需的)層的數據。例如，針對具有高處理性能的個人計算機3004或平板裝置3006，遞送服務器3002從可擴縮編碼數據存儲單元3001中讀出具有高質量的可擴縮編碼數據(BL+EL)3011(這允許獲得高質量圖像)，并按原樣發(fā)送數據。相反，例如，針對具有低處理性能的AV設備3005或移動電話3007，遞送服務器3002從可擴縮編碼數據(BL+EL)3011中提取基本層數據(基本層圖像編碼流BL)，并將該數據作為可擴縮編碼數據(BL) 3012發(fā)送，可擴縮編碼數據(BL) 3012是內容與可擴縮編碼數據(BL+EL)3011的內容相同(就內容而言)，但是質量比可擴縮編碼數據(BL+EL)3011的質量更差的數據。
[0658]如上所述，由于利用可擴縮編碼數據可容易地調節(jié)數據量，因此可抑制發(fā)生延遲或上溢，或者抑制不必要增加終端設備或通信介質上的負載。
[0659]另外，在可擴縮編碼中，由于在參照基本層圖像的同時執(zhí)行非基本層(增強層)圖像的編碼，因此在可擴縮編碼數據(BL+EL)3011中減少了層之間的冗余，并且因此與在其中不參照其它層的圖像對非基本層圖像編碼(也就是說，按照獨立的方式)的情況相比，數據量變得更少。因此，可更有效地使用可擴縮編碼數據存儲單元3001的存儲區(qū)。
[0660]另外，可采用諸如個人計算機3004至移動電話3007的各種設備作為從遞送服務器3002接收數據的終端設備，并且終端設備的硬件具有變化的各種性能。另外，終端設備執(zhí)行各種應用，并且其軟件也具有各種性能。此外，可采用包括諸如(例如)互聯(lián)網或局域網(LAN)的有線網絡、無線網絡或這兩種網絡的所有通信線路網絡作為網絡3003(通信介質)，并且具有各種數據傳輸性能。而且，用作通信介質的網絡3003的數據傳輸性能可根據流量或其它通信環(huán)境而改變。
[0661]因此，在開始數據傳輸之前，遞送服務器3002可執(zhí)行與作為數據的傳輸目的地的終端設備的通信，以獲得關于終端設備的性能(諸如終端設備的硬件性能和通過終端設備執(zhí)行的應用(軟件)的性能)的信息和關于諸如網絡3003的可用帶寬的通信環(huán)境的信息。另外，遞送服務器3002可基于關于終端設備的性能信息的和關于通信環(huán)境的信息選擇合適的層。
[0662]另外，可通過終端設備以及通過遞送服務器3002執(zhí)行從可擴縮編碼數據(BL+ED3011中提取可擴縮編碼數據(BL)3012。例如，個人計算機3004可不僅將從遞送服務器3002發(fā)送的可擴縮編碼數據(BL+EL) 3011解碼以顯示非基本層圖像，而且從從遞送服務器3002發(fā)送的可擴縮編碼數據(BL+EL)3011中提取基本層可擴縮編碼數據(BL)3012，以存儲數據，從而將數據發(fā)送至其它裝置，或解碼數據以顯示基本層圖像。
[0663]當然，可擴縮編碼數據存儲單元3001的數量、遞送服務器3002的數量、網絡3003的數量和終端設備的數量全部是任意的。
[0664]另外，終端設備可從遞送服務器3002接收例如多個內容項的可擴縮編碼數據。另夕卜，在其中從遞送服務器3002接收到多個內容項的可擴縮編碼數據的情況下，終端設備可執(zhí)行其中顯示關于多個內容項中的特定內容項的非基本層圖像的例如多個屏幕的顯示(諸如所謂的雙屏幕顯示)，并且關于其它內容項顯示基本層圖像。
[0665][使用分層圖像編碼方法的第二示例]
[0666]圖46是示出使用分層圖像編碼方法的第二示例的示圖。
[0667]可擴縮編碼可用于例如利用多個通信介質的傳輸，如圖46所示的示例。[0668]在圖46所示的數據傳輸系統(tǒng)3100中，廣播站3101通過利用陸地廣播3111發(fā)送基本層可擴縮編碼數據(BL)3121。另外，廣播站3101通過由有線網絡、無線網絡或二者形成的任何網絡3112發(fā)送(例如，分包和發(fā)送)非基本層可擴縮編碼數據(EL) 3122。
[0669]終端設備3102具有通過廣播站3101廣播的陸地廣播3111的接收功能，并接收經陸地廣播3111發(fā)送的基本層可擴縮編碼數據(BL)3121。另外，終端設備3102還具有利用網絡3112執(zhí)行通信的通信功能，并接收經網絡3112發(fā)送的非基本層可擴縮編碼數據(EL)3122。
[0670]終端設備3102可例如響應于來自用戶的命令將經陸地廣播3111獲得的基本層可擴縮編碼數據(BL) 3121解碼，以獲得基本層圖像，以存儲圖像，并且將圖像發(fā)送至其它設備。
[0671]另外，例如，響應于來自用戶的命令，終端設備3102可將經陸地廣播3111獲得的基本層可擴縮編碼數據(BL)3121與經網絡3112獲得的非基本層可擴縮編碼數據(EL)3122組合，以獲得可擴縮編碼數據(BL+EL)，并且可解碼數據，從而獲得非基本層圖像，以存儲圖像，以及將圖像發(fā)送至其它設備。
[0672]如上所述，例如，可經針對各個層不同的通信介質發(fā)送可擴縮編碼數據。在這種情況下，可分布負載，因此可抑制延遲或上溢的發(fā)生。
[0673]另外，根據環(huán)境可針對各個層選擇用于傳輸的通信介質。例如，可經具有大帶寬的通信介質發(fā)送具有相對大量的數據的基本層可擴縮編碼數據(BL) 3121，并且可經具有小帶寬的通信介質發(fā)送具有相對少量的數據的非基本層可擴縮編碼數據(EL) 3122。另外，例如，用于發(fā)送非基本層可擴縮編碼數據(EL) 3122的通信介質可根據網絡3112的可用帶寬在網絡3112與陸地廣播3111之間改變。當然，這對于任何層的數據也是相同的。
[0674]如上所述執(zhí)行控制，因此可進一步抑制數據傳輸的負載的增加。
[0675]另外，層的數量是任意的，并且用于傳輸的通信介質的數量也是任意的。另外，用作數據傳輸目的地的終端設備3102的數量也是任意的。此外，如圖46所示，在層單元中將以可擴縮方式編碼的編碼數據分割為多個數據項并通過多個線路發(fā)送數據項的數據傳輸系統(tǒng)3100不限于使用廣播的系統(tǒng)。
[0676][使用分層圖像編碼方法的第三示例]
[0677]圖47是示出利用分層圖像編碼方法的第三示例的示圖。
[0678]可擴縮編碼可用于例如存儲編碼數據，如圖47所示的示例。
[0679]在圖47所示的成像系統(tǒng)3200中，成像設備3201以可擴縮方式編碼通過使主體3211成像獲得的圖像數據，并將所得數據供應至可擴縮編碼數據存儲裝置3202作為可擴縮編碼數據(BL+EL)3221。
[0680]可擴縮編碼數據存儲裝置3202存儲具有基于環(huán)境的質量(分辨率)的從成像設備3201供應的可擴縮編碼數據(BL+EL)3221。例如，在正常時間的情況下，可擴縮編碼數據存儲裝置3202從可擴縮編碼數據(BL+EL)3221中提取基本層數據，并將該數據作為具有低質量的少量數據的基本層可擴縮編碼數據(BL)3222存儲。相反，例如，在通知時間的情況下，可擴縮編碼數據存儲裝置3202按原樣存儲具有高質量的大量數據的可擴縮編碼數據(BL+EL)3221。
[0681]因此，由于可擴縮編碼數據存儲裝置3202可僅在必要時保持高質量圖像，因此在抑制圖像的值由于圖像質量變差而減小的同時可抑制數據量的增加，因此提高了存儲區(qū)的使用效率。
[0682]例如，假設成像設備3201為監(jiān)視相機。在俘獲到的圖像(成像設備3201獲得的圖像數據)中不反射監(jiān)視目標(例如，侵入者)的情況下(正常時間的情況)，俘獲到的圖像的內容很可能不重要，因此數據量的減少優(yōu)先，并且以低質量存儲俘獲到的圖像(可擴縮編碼數據)。相反，在作為主體3211的俘獲到的圖像中反射監(jiān)視目標的情況下(通知時間的情況)，俘獲到的圖像的內容很可能重要，因此圖像質量優(yōu)先，并且以高質量存儲俘獲到的圖像(可擴縮編碼數據)。
[0683]另外，可例如通過分析圖像的可擴縮編碼數據存儲裝置3202確定正常時間和通知時間。另外，可例如通過成像設備3201確定正常時間和通知時間，并且可將確定結果發(fā)送至可擴縮編碼數據存儲裝置3202。
[0684]另外，正常時間和通知時間的確定標準是任意的，并且用作確定標準的俘獲到的圖像的內容是任意的。當然，除俘獲到的圖像的內容以外的條件可用作確定標準。例如，可基于記錄的聲音的量值、波形等確定正常時間和通知時間。另外，正常時間和通知時間可例如針對各個預定時間間隔變化，或者通過諸如用戶的命令的外部命令變化。
[0685]另外，在以上描述中，已描述了改變包括正常時間和通知時間的兩種狀態(tài)的示例，但是狀態(tài)的數量是任意的，例如，諸如正常時間、小通知時間、通知時間和大通知時間的三個或更多個狀態(tài)可改變。這里，改變的狀態(tài)的最大數量取決于可擴縮編碼數據的層數。
[0686]另外，成像設備3201可基于狀態(tài)確定可擴縮編碼層的數量。例如，在正常時間的情況下，成像設備3201可產生具有低質量的少量數據的基本層可擴縮編碼數據(BL) 3222，并可將該數據供應至可擴縮編碼數據存儲裝置3202。另外，例如，在通知時間的情況下，成像設備3201可產生具有高質量的大量數據的基本層和非基本層可擴縮編碼數據(BL+EL) 3221，并可將該數據供應至可擴縮編碼數據存儲裝置3202。
[0687]另外，成像系統(tǒng)3200的使用是任意的，并且不限于監(jiān)視相機。
[0688]另外，在本說明書中，描述了這樣一個示例，其中諸如預測模式信息和合并信息的各種信息多路復用到編碼流的頭中，并將其從編碼側發(fā)送至解碼側。然而，發(fā)送所述信息的方法不限于該示例。例如，可將信息作為與編碼流相關的分離數據發(fā)送或記錄，而不多路復用到編碼流中。這里，術語“相關”指示在解碼中，在編碼流中包括的圖像(可為諸如片或塊的圖像的一部分)可連接至對應于圖像的信息。也就是說，可在與圖像(或編碼流)不同的傳輸路徑上發(fā)送信息。此外，可將信息記錄在與圖像(或編碼流)的記錄介質不同的記錄介質(或者相同記錄介質的不同記錄區(qū)域)上。而且，信息和圖像(或編碼流)可在任何單元(諸如(例如)多個幀、一個幀或幀的一部分)中彼此關聯(lián)。
[0689]如上所述，雖然已經參照附圖詳細描述了本技術的優(yōu)選實施例，但是本發(fā)明不限于該示例。明顯的是，本領域技術人員可構想出權利要求記錄的技術精神的范圍內的各種修改或改變，并且應該理解，它們自然落入本技術的技術范圍內。
[0690]另外，本技術可具有以下配置。
[0691][I]
[0692]一種圖像處理設備，包括:設置單元，設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測單元，根據由設置單元設置的限制信息產生預測圖像；編碼單元，利用由預測單元產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送單元，發(fā)送由編碼單元產生的編碼流和由設置單元設置的限制信息。
[0693][2]
[0694]根據[I]所述的圖像處理設備，其中，設置單元基于存儲器帶寬設置限制信息，存儲器帶寬是從存儲當產生預測圖像時使用的解碼圖像的存儲單元中讀出解碼圖像的傳輸速率。
[0695][3]
[0696]根據[2]所述的圖像處理設備，其中，在存儲器帶寬小時，設置單元設置用于限制將被應用于大小較大的塊的預定預測方法的限制信息。
[0697][4]
[0698]根據[3]所述的圖像處理設備，其中，預定預測方法是雙向預測，或者雙向預測和單向預測二者。
[0699][5]
[0700]根據[I]所述的圖像處理設備，其中，設置單元基于檔次或級別設置限制信息。
[0701][6]
[0702]根據[5]所述的圖像處理設備，其中，在由檔次或級別表示的圖像的大小較大時，設置單元設置用于限制將被應用于大小較大的塊的預定預測方法的限制信息。
[0703][7]
[0704]根據[6]所述的圖像處理設備，其中，預定預測方法是雙向預測，或雙向預測和單向預測二者。
[0705][8]
[0706]一種圖像處理方法，包括:設置步驟，設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測步驟，根據在設置步驟中設置的限制信息產生預測圖像；編碼步驟，利用在預測步驟中產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送步驟，發(fā)送在編碼步驟中產生的編碼流和在設置步驟中設置的限制信息。
[0707][9]
[0708]—種圖像處理設備，包括:接收單元，接收用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息、和通過將圖像編碼產生的編碼流；預測單元，根據由接收單元接收到的限制信息產生預測圖像；以及解碼單元，利用由預測單元產生的預測圖像將由接收單元接收到的編碼流解碼。
[0709][10]
[0710]根據[9]所述的圖像處理設備，其中，在編碼流適合于限制信息的情況下，預測單元產生預測圖像。
[0711][11]
[0712]一種圖像處理方法，包括:接收步驟，接收用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息、和通過將圖像編碼產生的編碼流；預測步驟，根據在接收步驟中接收到的限制信息產生預測圖像；以及解碼步驟，利用在預測步驟中產生的預測圖像將在接收步驟中接收到的編碼流解碼。
[0713][12][0714]一種圖像處理設備，包括:基于檔次和級別設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測單元，根據由設置單元設置的限制信息產生預測圖像；編碼單元，利用由預測單元產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送單元，發(fā)送由編碼單元產生的編碼流。
[0715][13]
[0716]一種圖像處理方法，包括:設置步驟，基于檔次和級別設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息；預測步驟，根據在設置步驟中設置的限制信息產生預測圖像；編碼步驟，利用在預測步驟中產生的預測圖像將圖像編碼，并產生編碼流；以及發(fā)送步驟，發(fā)送在編碼步驟中產生的編碼流。
[0717][14]
[0718]一種圖像處理設備，包括:接收單元，接收根據基于框架或級別的用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息編碼的編碼流；預測單元，根據基于檔次或級別識別的限制信息產生預測圖像；以及解碼單元，利用由預測單元產生的預測圖像將由接收單元接收到的編碼流解碼。
[0719][15]
[0720]—種圖像處理方法，包括:接收步驟，接收根據基于框架或級別的用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息編碼的編碼流；預測步驟，根據基于檔次或級別識別的限制信息產生預測圖像；以及解碼步驟，利用在預測步驟中產生的預測圖像將在接收步驟中接收到的編碼流解碼。
[0721]參考標號列表
[0722]100 圖像編碼裝置，106可逆編碼單元，
[0723]121編碼控制單元，143合并標記編碼單元，
[0724]144合并模式編碼單元，200圖像解碼裝置，
[0725]202可逆解碼單元，221 解碼控制單元，
[0726]243合并標記解碼單元，244合并模式解碼單元，
[0727]1001輸入圖片緩沖器，1002計算單元，
[0728]1003正交變換單元，1004量化單元，
[0729]1005熵編碼單元，1006逆量化單元，
[0730]1007逆正交變換單元，1008計算單元，
[0731]1009去塊濾波器，1010適應性采樣偏移單元，
[0732]1011適應性采樣偏移估計單元，
[0733]1012適應性環(huán)路濾波器，
[0734]1013適應性環(huán)路濾波器估計單元，
[0735]1014 DPB, 1015幀內方向估計單元，
[0736]1016幀內預測單元，1017運動估計單元，
[0737]1018幀間預測單元，1019模式確定單元，
[0738]1021設置單元，2001熵解碼單元，
[0739]2002逆量化單元，2003逆正交變換單元，
[0740]2004計算單元，2005去塊濾波器，[0741]2006適應性采樣偏移單元，2007適應性環(huán)路濾波器，
[0742]2008 DPB，2009 幀內預測單元，
[0743]2010幀間預測單元，2011模式選擇單元
【權利要求】
1.一種圖像處理設備，包括: 設置單元，設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息； 預測單元，根據由設置單元設置的限制信息產生預測圖像； 編碼單元，利用由預測單元產生的預測圖像將圖像編碼，并產生編碼流；以及 發(fā)送單元，發(fā)送由編碼單元產生的編碼流和由設置單元設置的限制信息。
2.根據權利要求1所述的圖像處理設備，其中，設置單元基于存儲器帶寬設置限制信息，存儲器帶寬是從存儲當產生預測圖像時使用的解碼圖像的存儲單元中讀出解碼圖像的傳輸速率。
3.根據權利要求2所述的圖像處理設備，其中，在存儲器帶寬小時，設置單元設置用于限制將被應用于大小較大的塊的預定預測方法的限制信息。
4.根據權利要求3所述的圖像處理設備，其中，預定預測方法是雙向預測，或者雙向預測和單向預測二者。
5.根據權利要求1所述的圖像處理設備，其中，設置單元基于檔次或級別設置限制信肩、O
6.根據權利要求5所述的圖像處理設備，其中，在由檔次或級別表示的圖像的大小較大時，設置單元設置用于限制將被應用于大小較大的塊的預定預測方法的限制信息。
7.根據權利要求6所述的圖像處理設備，其中，預定預測方法是雙向預測，或雙向預測和單向預測二者。
8.—種圖像處理方法，包括: 設置步驟，設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息； 預測步驟，根據在設置步驟中設置的限制信息產生預測圖像； 編碼步驟，利用在預測步驟中產生的預測圖像將圖像編碼，并產生編碼流；以及 發(fā)送步驟，發(fā)送在編碼步驟中產生的編碼流和在設置步驟中設置的限制信息。
9.一種圖像處理設備，包括: 接收單元，接收用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息、和通過將圖像編碼產生的編碼流； 預測單元，根據由接收單元接收到的限制信息產生預測圖像；以及 解碼單元，利用由預測單元產生的預測圖像將由接收單元接收到的編碼流解碼。
10.根據權利要求9所述的圖像處理設備，其中，在編碼流適合于限制信息的情況下，預測單元產生預測圖像。
11.一種圖像處理方法,包括: 接收步驟，接收用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息、和通過將圖像編碼產生的編碼流； 預測步驟，根據在接收步驟中接收到的限制信息產生預測圖像；以及 解碼步驟，利用在預測步驟中產生的預測圖像將在接收步驟中接收到的編碼流解碼。
12.—種圖像處理設備，包括: 設置單元，基于檔次和級別設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息； 預測單元，根據由設置單元設置的限制信息產生預測圖像； 編碼單元，利用由預測單元產生的預測圖像將圖像編碼，并產生編碼流；以及 發(fā)送單元，發(fā)送由編碼單元產生的編碼流。
13.一種圖像處理方法，包括: 設置步驟，基于檔次和級別設置用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息； 預測步驟，根據在設置步驟中設置的限制信息產生預測圖像； 編碼步驟，利用在預測步驟中產生的預測圖像將圖像編碼，并產生編碼流；以及 發(fā)送步驟，發(fā)送在編碼步驟中產生的編碼流。
14.一種圖像處理設備，包括: 接收單元，接收根據基于框架或級別的用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息編碼的編碼流； 預測單元，根據基于檔次或級別識別的限制信息產生預測圖像；以及 解碼單元，利用由預測單元產生的預測圖像將由接收單元接收到的編碼流解碼。
15.—種圖像處理方 法,包括: 接收步驟，接收根據基于框架或級別的用于限制圖像塊的大小和將被應用于具有該大小的塊的預測方法的限制信息編碼的編碼流； 預測步驟，根據基于檔次或級別識別的限制信息產生預測圖像；以及 解碼步驟，利用在預測步驟中產生的預測圖像將在接收步驟中接收到的編碼流解碼。
【文檔編號】H04N19/14GK104041034SQ201380005222
【公開日】2014年9月10日 申請日期:2013年1月9日 優(yōu)先權日:2012年1月19日
【發(fā)明者】近藤健治 申請人:索尼公司