圖像處理裝置和方法
【專利摘要】公開了一種在對運動向量編碼時能夠提高編碼效率的圖像處理裝置和方法。運動向量編碼單元生成（確定）每個PU的預(yù)測運動向量。區(qū)域決定單元參考當(dāng)前PUC的預(yù)測運動向量和與當(dāng)前PUC鄰接的各個鄰接PU的預(yù)測運動向量來確定與當(dāng)前PUC具有相同預(yù)測運動向量的鄰接PUT所屬的CUT，作為為了生成當(dāng)前CUT的預(yù)測量化參數(shù)而要參考的區(qū)域。本公開例如可應(yīng)用到圖像處理裝置。
【專利說明】圖像處理裝置和方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置和方法。具體而言，本公開涉及能夠提高編碼效率的圖像處理裝置和方法。
【背景技術(shù)】
[0002]近年來，用于根據(jù)如下編碼方案對圖像進行壓縮和編碼的裝置已普及了:該編碼方案將圖像信息作為數(shù)字數(shù)據(jù)來處理，其在此情況下以高效率地傳送和存儲信息為目標(biāo)并且通過利用圖像信息所特有的冗余性根據(jù)諸如離散余弦變換之類的正交變換和運動補償來壓縮圖像信息。這種編碼方案的示例包括MPEG (Moving Picture Experts Group,運動圖片專家組)等等。
[0003]特別地，MPEG2 (IS0/IEC13818-2)被定義為一種通用圖像編碼方案并且是一種涵蓋了隔行掃描圖像和順序掃描圖像以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)。例如，MPEG2目前被廣泛用在用于專業(yè)和消費用途的許多種應(yīng)用中。通過采用MPEG2壓縮方案，例如，對于具有720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像分配4至8Mbps的碼量(比特率)。通過采用MPEG2壓縮方案，例如對于具有1920X 1088像素的高分辨率的隔行掃描圖像分配18至22Mbps的碼量(比特率)。結(jié)果，可以實現(xiàn)高壓縮率和良好的圖像質(zhì)量。
[0004]MPEG2主要旨在用于適合廣播的高圖像質(zhì)量編碼，而并不兼容用于實現(xiàn)比MPEGl更低的碼量(比特率)(更高的壓縮率)的編碼方案。隨著移動終端的普及，預(yù)期將來對于這種編碼方案的需求將會增加。為了對此作出響應(yīng)，已確認了 MPEG4編碼方案的標(biāo)準(zhǔn)化。關(guān)于圖像編碼方案，其規(guī)范于1998年12月被確認為國際標(biāo)準(zhǔn)IS0/IEC14496-2。
[0005]標(biāo)準(zhǔn)化的日程表明，其于2003年3月成為了名為H.264及MPEG_4PartlO(高級視頻編碼，以下稱為H.264/AVC)的國際標(biāo)準(zhǔn)。
[0006]另外，作為H.264/AVC的擴展，包括諸如RGB、4:2: 2、4:4:4之類的操作所必要的編碼工具和MPEG-2規(guī)定的8x8DCT和量化矩陣的FRExt(Fidelity Range Extension,保真范圍擴展)的標(biāo)準(zhǔn)化在2005年2月完成了。從而，獲得了能夠令人滿意地利用H.264/AVC來表達電影中包括的膠片噪聲的編碼方案，并且該編碼方案將被用在諸如藍光盤(注冊商標(biāo))之類的許多種應(yīng)用中。
[0007]然而，近來，對于更高的壓縮編碼，例如壓縮是高畫質(zhì)圖像的四倍的4000X2000像素的圖像，或者例如在傳送能力有限的環(huán)境(如因特網(wǎng))中分發(fā)高畫質(zhì)圖像，有更多的需求。從而，以上所述的ITU-T下的VCEG (=Video Coding Expert Group,視頻編碼專家組)正繼續(xù)進行與編碼效率的提聞有關(guān)的研究。
[0008]作為提高編碼效率的一種方法，為了利用AVC方案中定義的中值預(yù)測來改進運動向量的編碼，已提出了一種方法，其允許除了在中值預(yù)測中獲得的“空間預(yù)測子”以外，“時間預(yù)測子”和“空間-時間預(yù)測子”中的任何一個也可被自適應(yīng)性地用作預(yù)測運動向量信息(以下，這種自適應(yīng)使用也被稱為MV競爭)(例如,參見非專利文獻I)。
[0009]在AVC方案中，當(dāng)選擇預(yù)測運動向量信息時，使用基于被稱為聯(lián)合模型(jointmodel, JM)的AVC的參考軟件中實現(xiàn)的高復(fù)雜度模式或低復(fù)雜度模式的成本函數(shù)值。
[0010]也就是說，計算使用預(yù)測運動向量信息時的成本函數(shù)值并且選擇最優(yōu)的預(yù)測運動向量信息。在圖像壓縮信息中，傳送指示關(guān)于所使用的預(yù)測運動向量信息的信息的標(biāo)志信肩、O
[0011]然而，將宏塊的大小設(shè)定到16X16像素對于將成為下一代編碼方案的對象的名為UHD (Ultra High Definition，超高清晰度；4000X2000像素)的大圖像幀不是最優(yōu)的。
[0012]從而，被稱為HEVC (High Efficiency Video Coding,高效率視頻編碼)的編碼系統(tǒng)的標(biāo)準(zhǔn)化當(dāng)前正被作為ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)化組織的JCTVC (JointCollaboration Team-Video Coding,聯(lián)合協(xié)作組-視頻編碼)所開發(fā)，以便與AVC相比進一步提高編碼效率(例如，參見非專利文獻2)。
[0013]在HEVC編碼方案中，編碼單位(coding unit，⑶)被定義為與AVC方案中的宏塊相同的處理單位。CU的大小不是像AVC方案的宏塊那樣固定到16X 16像素，而是在各個序列的圖像壓縮信息中指定的。另外，在各個序列中，定義CU的最大大小(LCU:最大編碼單位)和最小大小(SCU:最小編碼單位)。
[0014]另外，在非專利文獻2中，可以以子IXU為單位傳送量化參數(shù)QP。傳送量化參數(shù)的編碼單位的大小是在每個圖片的圖像壓縮信息中指定的。另外，圖像壓縮信息中包括的關(guān)于量化參數(shù)的信息是以各個編碼單位傳送的。
[0015]另外，作為對于運動信息的編碼方案之一，提出了一種被稱為運動分區(qū)合并的方法(以下也稱為合并模式)(例如，參見非專利文獻3)。在此方法中，當(dāng)當(dāng)前塊的運動信息與鄰居塊的運動信息相同時，只傳送標(biāo)志信息。在解碼期間，利用鄰居塊的運動信息來重構(gòu)當(dāng)前塊的運動信息。
[0016]然而，在上述MV競爭或合并模式中，由于時間預(yù)測子特別是在靜止圖像區(qū)域中實現(xiàn)更高的編碼效率，所以觀察到如下趨勢:即，當(dāng)在靜止圖像區(qū)域中基于成本函數(shù)值來選擇預(yù)測子時，更有可能選擇時間預(yù)測子。
[0017]引文列表
[0018]非專利文獻
[0019]非專利文獻1:Joel Jung, Guillaume Laroche, "Competition-Based Schemefor Motion Vector Selection and Coding", VCEG-AC06, ITU-TeIecommunications Standardization Sector STUDY GR0UP16Question6Video Coding Experts Group(VCEG)29th Meeting:Klagenfurt, Austria, 17-18July, 2006
[0020]非專利文獻2:Thomas ffiegand, Woo-Jin Han, Benjamin Bross, Jens-RainerOhm,Gary J.Sullivan, "Working Draf t4o f High-Efficiency VideoCoding", JCTVC-F803，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino, IT, 14-22July, 2011
[0021]非專利文獻3:Martin ffinken, Sebastian Bosse, Benjamin Bross, PhilippHelle, Tobias Hinz, Heiner Kirchhoffer, Haricharan Lakshman, Detlev Marpe, SimonOudin, Matthias Preiss, Heiko Schwarz, Mischa Siekmann, Karsten Suehring, andThomas ffiegand, "Description of video coding technology proposed by FraunhoferHHI", JCTVC-Al16, April, 2010
【發(fā)明內(nèi)容】

[0022]本發(fā)明要解決的問題
[0023]這里，在片間(inter-slices)，將考慮在當(dāng)前⑶中選擇空間預(yù)測子并且在當(dāng)前塊的左鄰居CU中選擇時間預(yù)測子的情況或者相反的情況。在此情況下，根據(jù)非專利文獻2中公開的量化參數(shù)的預(yù)測編碼方案，由于量化參數(shù)是在靜止區(qū)域和運動區(qū)域的不同區(qū)域之間編碼的，所以預(yù)測效率會降低。
[0024]本公開是鑒于這些情況而作出的，并且目標(biāo)在于提高對量化參數(shù)編碼時的編碼效率。
[0025]解決問題的方案
[0026]根據(jù)本公開的第一方面，提供了一種圖像處理裝置，包括:預(yù)測運動向量生成單元，其利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量解碼時使用的預(yù)測運動向量；預(yù)測量化參數(shù)生成單元，其根據(jù)由預(yù)測運動向量生成單元生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)解碼時使用的預(yù)測量化參數(shù)；以及參數(shù)解碼單元，其利用由預(yù)測運動向量生成單元生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量解碼并且利用由預(yù)測量化參數(shù)生成單元生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)解碼。
[0027]預(yù)測量化參數(shù)生成單元可依據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方法是空間預(yù)測還是時間預(yù)測來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0028]預(yù)測量化參數(shù)生成單元可在周邊區(qū)域的預(yù)測運動向量的預(yù)測方法是空間預(yù)測時依據(jù)對于空間預(yù)測參考的參考區(qū)域的位置是上方還是左側(cè)來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0029]預(yù)測量化參數(shù)生成單元可利用根據(jù)與預(yù)測當(dāng)前區(qū)域的預(yù)測運動向量的預(yù)測方法相同的預(yù)測方法生成的周邊區(qū)域的預(yù)測量化參數(shù)來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0030]當(dāng)區(qū)域由多個子區(qū)域構(gòu)成時，預(yù)測量化參數(shù)生成單元可以周邊區(qū)域為對象利用周邊區(qū)域的位置與位于當(dāng)前區(qū)域左上角的左上子區(qū)域鄰接的子區(qū)域的預(yù)測運動向量來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0031]當(dāng)區(qū)域由多個子區(qū)域構(gòu)成時，預(yù)測量化參數(shù)生成單元可以周邊區(qū)域為對象利用周邊區(qū)域的在當(dāng)前區(qū)域上方鄰接位置處的上方子區(qū)域的預(yù)測運動向量和周邊區(qū)域的在當(dāng)前區(qū)域左側(cè)鄰接位置處的左側(cè)子區(qū)域的預(yù)測運動向量來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0032]當(dāng)對周邊區(qū)域應(yīng)用雙預(yù)測式預(yù)測時，預(yù)測量化參數(shù)生成單元可根據(jù)周邊區(qū)域的關(guān)于ListO預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0033]當(dāng)對周邊區(qū)域應(yīng)用雙預(yù)測式預(yù)測時，預(yù)測量化參數(shù)生成單元可在當(dāng)前圖片未被重排序時根據(jù)周邊區(qū)域的關(guān)于ListO預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)，并且在當(dāng)前圖片被重排序時根據(jù)周邊區(qū)域的關(guān)于Listl預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0034]當(dāng)對周邊區(qū)域應(yīng)用雙預(yù)測式預(yù)測時，預(yù)測量化參數(shù)生成單元可根據(jù)周邊區(qū)域的關(guān)于時間軸上的更近距離的預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。[0035]預(yù)測量化參數(shù)生成單元可根據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方向和當(dāng)前區(qū)域的預(yù)測運動向量的預(yù)測方向來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0036]圖像處理裝置還可包括解碼單元，其利用由參數(shù)解碼單元解碼出的運動向量和量化參數(shù)來對比特流進行解碼。
[0037]比特流是以具有層次結(jié)構(gòu)的單位來編碼的，并且解碼單元以具有層次結(jié)構(gòu)的單位來對比特流解碼。
[0038]根據(jù)本公開的第一方面，提供了一種圖像處理方法，用于使得圖像處理裝置執(zhí)行:利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量解碼時使用的預(yù)測運動向量；根據(jù)所生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)解碼時使用的預(yù)測量化參數(shù)；以及利用所生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量解碼并且利用所生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)解碼。
[0039]根據(jù)本公開的第二方面，提供了一種圖像處理裝置，包括:預(yù)測運動向量生成單元，其利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量編碼時使用的預(yù)測運動向量；預(yù)測量化參數(shù)生成單元，其根據(jù)由預(yù)測運動向量生成單元生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)編碼時使用的預(yù)測量化參數(shù)；以及參數(shù)編碼單元，其利用由預(yù)測運動向量生成單元生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量編碼并且利用由預(yù)測量化參數(shù)生成單元生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)編碼。
[0040]預(yù)測量化參數(shù)生成單元可依據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方法是空間預(yù)測還是時間預(yù)測來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0041]預(yù)測量化參數(shù)生成單元可利用根據(jù)與預(yù)測當(dāng)前區(qū)域的預(yù)測運動向量的預(yù)測方法相同的預(yù)測方法生成的周邊區(qū)域的預(yù)測量化參數(shù)來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
[0042]預(yù)測量化參數(shù)生成單元可根據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方向和當(dāng)前區(qū)域的預(yù)測運動向量的預(yù)測方向來生成對象區(qū)域的預(yù)測量化參數(shù)。
[0043]圖像處理裝置還可包括:傳送單元，其利用當(dāng)前區(qū)域的運動向量和當(dāng)前區(qū)域的量化參數(shù)來對圖像編碼以生成比特流，并且把經(jīng)參數(shù)編碼單元編碼的運動向量和量化參數(shù)與由編碼單元生成的比特流一起傳送。
[0044]編碼單元可按具有層次結(jié)構(gòu)的單位來對圖像編碼以生成比特流。
[0045]根據(jù)本公開的第二方面，提供了一種圖像處理方法，用于使得圖像處理裝置執(zhí)行:利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量編碼時使用的預(yù)測運動向量；根據(jù)所生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)編碼時使用的預(yù)測量化參數(shù)；以及利用所生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量編碼并且利用所生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)編碼。
[0046]在本公開的一個方面中，利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量解碼時使用的預(yù)測運動向量，并且根據(jù)所生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)解碼時使用的預(yù)測量化參數(shù)。另外，利用所生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量解碼，并且利用所生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)解碼。
[0047]在本公開的另一方面中，利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量編碼時使用的預(yù)測運動向量，并且根據(jù)所生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)編碼時使用的預(yù)測量化參數(shù)。另外，利用所生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量編碼，并且利用所生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)編碼。
[0048]上述圖像處理裝置可以是獨立裝置，并且可以是構(gòu)成一個圖像編碼裝置或圖像解碼裝置的內(nèi)部塊。
[0049]本發(fā)明的效果
[0050]根據(jù)本公開的一個方面，可以對圖像解碼。特別地，可以提高編碼效率。
[0051]根據(jù)本公開的另一方面，可以對圖像編碼。特別地，可以提高編碼效率。
【專利附圖】

【附圖說明】
[0052]圖1是示出圖像編碼裝置的主要組件的示例的框圖。
[0053]圖2是示出分數(shù)像素精度運動預(yù)測/補償處理的示例的圖。
[0054]圖3是示出宏塊的示例的圖。
[0055]圖4是用于描述中值操作的圖。
[0056]圖5是用于描述多參考幀的圖。
[0057]圖6是用于描述時間直接模式的圖。
[0058]圖7是用于描述運動向量編碼方法的圖。
[0059]圖8是用于描述編碼單位的配置示例的圖。
[0060]圖9是示出圖片參數(shù)集合的語法元素的示例的圖。
[0061]圖10是示出transform_coeff的語法元素的示例的圖。
[0062]圖11是用于描述運動分區(qū)合并的圖。
[0063]圖12是用于描述靜止區(qū)域中的預(yù)測運動向量的圖。
[0064]圖13是用于描述根據(jù)本技術(shù)的量化參數(shù)預(yù)測方法的圖。
[0065]圖14是用于描述另一種量化參數(shù)預(yù)測方法的圖。
[0066]圖15是用于描述在雙預(yù)測式預(yù)測的情況下的量化參數(shù)預(yù)測方法的圖。
[0067]圖16是示出運動向量編碼單元、區(qū)域判定單元和量化單元的主要組件的示例的框圖。
[0068]圖17是用于描述編碼處理的流程的示例的流程圖。
[0069]圖18是用于描述參數(shù)生成處理的流程的示例的流程圖。
[0070]圖19是示出圖像解碼裝置的主要組件的示例的框圖。
[0071]圖20是示出運動向量編碼單元、區(qū)域判定單元和逆量化單元的主要組件的示例的框圖。
[0072]圖21是用于描述解碼處理的流程的示例的流程圖。
[0073]圖22是用于描述參數(shù)重構(gòu)處理的流程的示例的流程圖。
[0074]圖23是示出多視點圖像編碼方案的示例的圖。
[0075]圖24是示出應(yīng)用了本技術(shù)的多視點圖像編碼裝置的主要組件的示例的圖。[0076]圖25是示出應(yīng)用了本技術(shù)的多視點圖像解碼裝置的主要組件的示例的圖。
[0077]圖26是示出層次圖像編碼方案的示例的圖。
[0078]圖27是示出應(yīng)用了本技術(shù)的層次圖像編碼裝置的主要組件的示例的圖。
[0079]圖28是示出應(yīng)用了本技術(shù)的層次圖像解碼裝置的主要組件的示例的圖。
[0080]圖29是示出計算機的主要組件的示例的框圖。
[0081]圖30是示出電視裝置的示意性配置的示例的框圖。
[0082]圖31是示出移動電話的示意性配置的示例的框圖。
[0083]圖32是示出記錄/再現(xiàn)裝置的示意性配置的示例的框圖。
[0084]圖33是示出成像裝置的示意性配置的示例的框圖。
【具體實施方式】
[0085]以下，將描述實現(xiàn)本公開的模式(以下稱為實施例)。將按以下順序給出描述:
[0086]1.第一實施例(圖像編碼裝置)
[0087]2.第二實施例(圖像解碼裝置)
[0088]3.第二實施例(多視點圖像編碼和解碼裝置)
[0089]4.第四實施例(層次圖像編碼和解碼裝置)
[0090]5.第五實施例(計算機)
[0091]6.應(yīng)用例
[0092][1.第一實施例]
[0093][圖像編碼裝置]
[0094]圖1是示出圖像編碼裝置的主要組件的示例的框圖。
[0095]圖1所示的圖像編碼裝置100例如利用根據(jù)高效率視頻編碼(HEVC)方案的預(yù)測處理來對圖像數(shù)據(jù)編碼。
[0096]如圖1所示，圖像編碼裝置100包括A/D轉(zhuǎn)換器101、畫面重排序緩沖器102、運算單元103、正交變換單元104、量化單元105、無損編碼單元106、累積緩沖器107、逆量化單元108和逆正交變換單元109。另外，圖像編碼裝置100還包括運算單元110、解塊濾波器
111、幀存儲器112、選擇器113、內(nèi)預(yù)測單元114、運動預(yù)測/補償單元115、預(yù)測圖像選擇器116和率控制器117。
[0097]圖像編碼裝置100還包括運動向量編碼單元121和區(qū)域判定單元122。
[0098]A/D轉(zhuǎn)換器101對輸入的圖像數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，將轉(zhuǎn)換后的圖像數(shù)據(jù)(數(shù)字數(shù)據(jù))提供給畫面重排序緩沖器102，畫面重排序緩沖器102存儲圖像數(shù)據(jù)。畫面重排序緩沖器102根據(jù)GOP (Group OfPicture,圖片組)對按存儲順序排列的圖像的巾貞進行重排序以使得幀被以編碼順序重排序以獲得幀順序被重排序的圖像，并將該圖像提供給運算單元103。畫面重排序緩沖器102將幀順序被重排序的圖像提供給內(nèi)預(yù)測單元114和運動預(yù)測/補償單元115。
[0099]運算單元103從讀取自畫面重排序緩沖器102的圖像中減去經(jīng)由預(yù)測圖像選擇器116從內(nèi)預(yù)測單元114或運動預(yù)測/補償單元115提供來的預(yù)測圖像以獲得其差別信息，并將該差別信息輸出到正交變換單元104。
[0100]另外，例如，在經(jīng)歷間編碼的圖像的情況下，運算單元103從讀取自畫面重排序緩沖器102的圖像中減去從運動預(yù)測/補償單元115提供來的預(yù)測圖像。
[0101]正交變換單元104對于從運算單元103提供來的差別信息執(zhí)行諸如離散余弦變換或卡-洛變換(Karhunen-Loeve transform)之類的正交變換。正交變換方法是任選的。正交變換單元104將變換系數(shù)提供給量化單元105。
[0102]量化單元105對從正交變換單元104提供來的變換系數(shù)進行量化。量化單元105基于從率控制器117提供來的關(guān)于目標(biāo)碼量的信息設(shè)定量化參數(shù)并執(zhí)行量化。量化方法是任選的。量化單元105將量化的變換系數(shù)提供給無損編碼單元106。
[0103]另外，量化單元105在區(qū)域判定單元122的控制下預(yù)測要處理的對象區(qū)域(也稱為當(dāng)前區(qū)域)的量化參數(shù)。具體而言，量化單元105在區(qū)域判定單元122的控制下利用(在圖片內(nèi))在空間上與對象區(qū)域鄰接的區(qū)域的量化參數(shù)生成對象區(qū)域的預(yù)測量化參數(shù)。量化單元105把量化的變換系數(shù)提供給無損編碼單元106以便對作為對象區(qū)域的量化參數(shù)與對象區(qū)域的預(yù)測量化參數(shù)之間的差別的差分量化參數(shù)編碼。
[0104]也就是說，執(zhí)行在圖像編碼裝置100或稍后描述的圖像解碼裝置200中預(yù)測對象區(qū)域的量化參數(shù)的處理以便對量化參數(shù)進行編碼或解碼。從而，預(yù)測量化參數(shù)用于對量化參數(shù)編碼或解碼。
[0105]與對象區(qū)域鄰接的鄰接區(qū)域也是位于對象區(qū)域周圍的周邊區(qū)域，以下描述中兩個詞都指同一區(qū)域。
[0106]無損編碼單元106根據(jù)任選的編碼方案對經(jīng)量化單元105量化的變換系數(shù)進行編碼。由于系數(shù)數(shù)據(jù)是在率控制器117的控制下被量化的，所以此碼量變成(或接近)率控制器117設(shè)定的目標(biāo)值。
[0107]另外，無損編碼單元106從內(nèi)預(yù)測單元114獲取指示內(nèi)預(yù)測(intra-prediction)模式等的信息并且從運動預(yù)測/補償單元115獲取指示間預(yù)測(inter-prediction)模式的信息、差分運動向量信息等等。另外，無損編碼單元106從量化單元105獲取差分量化參數(shù)。
[0108]無損編碼單元106根據(jù)任選的編碼方案對這些各種類型的信息進行編碼并且將這些信息合并(復(fù)用)為編碼數(shù)據(jù)的頭部信息的一部分。無損編碼單元106把通過編碼獲得的編碼數(shù)據(jù)提供給累積編碼數(shù)據(jù)的累積緩沖器107。
[0109]無損編碼單元106的編碼方案的示例包括可變長度編碼和算術(shù)編碼?？勺冮L度編碼的示例包括H.264/AVC方案中定義的上下文自適應(yīng)可變長度編碼(context-adaptivevariable length coding, CAVLC)0算術(shù)編碼的示例包括上下文自適應(yīng)二元算術(shù)編碼(context-adaptive binary arithmetic coding, CABAC)。
[0110]累積緩沖器107臨時存儲從無損編碼單元106提供來的編碼數(shù)據(jù)。累積緩沖器107例如在預(yù)定的時機把存儲在其中的編碼數(shù)據(jù)輸出到后級中的記錄裝置(記錄介質(zhì))(未示出)、傳送線等等。
[0111]另外，在量化單元105中量化的變換系數(shù)也被提供給逆量化單元108。逆量化單元108根據(jù)與量化單元105的量化相對應(yīng)的方法對經(jīng)量化的變換系數(shù)執(zhí)行逆量化。逆量化方法是任選的，只要該方法對應(yīng)于量化單元105的量化處理即可。逆量化單元108將所獲得的變換系數(shù)提供給逆正交變換單元109。
[0112]逆正交變換單元109根據(jù)與正交變換單元104的正交變換處理相對應(yīng)的方法對從逆量化單元108提供來的變換系數(shù)執(zhí)行逆正交變換。逆正交變換方法是任選的，只要該方法對應(yīng)于正交變換單元104的正交變換處理即可。通過逆正交變換獲得的輸出(重構(gòu)的差別信息)被提供給運算單元110。
[0113]運算單元110把經(jīng)由預(yù)測圖像選擇器116從內(nèi)預(yù)測單元114或運動預(yù)測/補償單元115提供來的預(yù)測圖像與從逆正交變換單元109提供來的逆正交變換結(jié)果(即，本地重構(gòu)的差別信息)相加以獲得本地解碼的圖像(解碼圖像)。解碼圖像被提供給解塊濾波器111或幀存儲器112。
[0114]解塊濾波器111對從運算單元110提供來的解碼圖像適當(dāng)?shù)貓?zhí)行解塊濾波處理。例如，解塊濾波器111通過對解碼圖像執(zhí)行解塊濾波處理來去除解碼圖像的塊失真。
[0115]解塊濾波器111把濾波結(jié)果(濾波處理后的解碼圖像)提供給幀存儲器112。如上所述，從運算單元110輸出的解碼圖像可在不經(jīng)由解塊濾波器111的情況下被提供給幀存儲器112。也就是說，可不執(zhí)行解塊濾波器111的濾波處理。
[0116]幀存儲器112存儲所提供的解碼圖像并在預(yù)定的時機將存儲的解碼圖像作為參考圖像提供給選擇器113。
[0117]選擇器113選擇從幀存儲器112提供來的參考圖像的提供目的地。例如，在間預(yù)測的情況下，選擇器113把從幀存儲器112提供來的參考圖像提供給運動預(yù)測/補償單元115。
[0118]內(nèi)預(yù)測單元114利用處理對象圖片中的像素值來執(zhí)行基本上利用預(yù)測單位(prediction unit, PU)作為處理單位來生成預(yù)測圖像的內(nèi)預(yù)測(場內(nèi)預(yù)測)，其中處理對象圖片是經(jīng)由選擇器113從幀存儲器112提供來的參考圖像。內(nèi)預(yù)測單元114在預(yù)先準(zhǔn)備的多種內(nèi)預(yù)測模式中執(zhí)行內(nèi)預(yù)測。
[0119]內(nèi)預(yù)測單元114在所有候選內(nèi)預(yù)測模式中生成預(yù)測圖像，利用從畫面重排序緩沖器102提供來的輸入圖像評估各個預(yù)測圖像的成本函數(shù)值，并且選擇最優(yōu)模式。當(dāng)選擇了最優(yōu)內(nèi)預(yù)測模式時，內(nèi)預(yù)測單元114把在最優(yōu)模式中生成的預(yù)測圖像提供給預(yù)測圖像選擇器 116。
[0120]如上所述，內(nèi)預(yù)測單元114把指示出所采用的內(nèi)預(yù)測模式等的內(nèi)預(yù)測模式信息提供給對該信息編碼的無損編碼單元106。
[0121]運動預(yù)測/補償單元115利用從畫面重排序緩沖器102提供來的輸入圖像和經(jīng)由選擇器113從幀存儲器112提供來的參考圖像基本上利用作為處理單位來執(zhí)行運動預(yù)測(間預(yù)測)。運動預(yù)測/補償單元115把檢測到的運動向量提供給運動向量編碼單元121，根據(jù)檢測到的運動向量執(zhí)行運動補償處理，并且生成預(yù)測圖像(間預(yù)測圖像信息)。運動預(yù)測/補償單元115在預(yù)先準(zhǔn)備的多種間預(yù)測模式中執(zhí)行這種間預(yù)測。
[0122]運動預(yù)測/補償單元115在所有候選間預(yù)測模式中生成預(yù)測圖像。運動預(yù)測/補償單元115利用從畫面重排序緩沖器102提供來的輸入圖像、來自運動向量編碼單元121的最優(yōu)預(yù)測運動向量信息等等評估各個預(yù)測圖像的成本函數(shù)值，并選擇最優(yōu)模式。當(dāng)選擇了最優(yōu)間預(yù)測模式時，運動預(yù)測/補償單元115把在最優(yōu)模式中生成的預(yù)測圖像提供給預(yù)測圖像選擇器116。
[0123]另外，運動預(yù)測/補償單元115把指示所采用的間預(yù)測模式的信息和當(dāng)對編碼數(shù)據(jù)解碼時在間預(yù)測模式中執(zhí)行處理所必要的信息提供給對該信息編碼的無損編碼單元106。必要信息的示例包括關(guān)于作為對象區(qū)域的運動向量與對象區(qū)域的預(yù)測運動向量之間的差別的差分運動向量的信息、作為預(yù)測運動向量信息的指示預(yù)測運動向量的索引的標(biāo)
士坐坐
[0124]在圖像編碼裝置100或稍后描述的圖像解碼裝置200中，執(zhí)行預(yù)測對象區(qū)域的運動向量的處理以便對運動向量編碼或解碼。從而，預(yù)測運動向量被用于對運動向量編碼或解碼。
[0125]預(yù)測圖像選擇器116選擇提供給運算單元103和運算單元110的預(yù)測圖像的來源。例如，在間編碼的情況下，預(yù)測圖像選擇器116選擇運動預(yù)測/補償單元115作為預(yù)測圖像的來源并且把從運動預(yù)測/補償單元115提供來的預(yù)測圖像提供給運算單元103和運算單元110。
[0126]率控制器117基于累積在累積緩沖器107中的編碼數(shù)據(jù)的碼量來控制量化單元105的量化操作的率，以免發(fā)生上溢或下溢。
[0127]運動向量編碼單元121存儲由運動預(yù)測/補償單元115獲得的運動向量。運動向量編碼單元121預(yù)測對象區(qū)域的運動向量。具體而言，運動向量編碼單元121利用在時間上或空間上與對象區(qū)域鄰接的鄰接區(qū)域的運動向量來生成對象區(qū)域的預(yù)測運動向量(預(yù)測子)。運動向量編碼單元121把所生成的預(yù)測運動向量中最優(yōu)的最優(yōu)預(yù)測運動向量提供給運動預(yù)測/補償單元115和區(qū)域判定單元122。
[0128]區(qū)域判定單元122存儲來自運動向量編碼單元121的最優(yōu)預(yù)測運動向量。區(qū)域判定單元122確定在參考與對象區(qū)域鄰接的鄰接區(qū)域的預(yù)測運動向量的預(yù)測方法生成對象區(qū)域的預(yù)測量化參數(shù)時要參考其量化參數(shù)的鄰接區(qū)域。區(qū)域判定單元122基于該確定結(jié)果控制量化單元105的預(yù)測量化參數(shù)生成處理。
[0129]也就是說，在圖1的圖像編碼裝置100中，量化單元105在區(qū)域判定單元122的控制下根據(jù)預(yù)測鄰接區(qū)域的預(yù)測運動向量的方法來生成對象區(qū)域的預(yù)測量化參數(shù)。
[0130][1/4像素精度運動預(yù)測]
[0131]圖2是用于描述AVC方案中規(guī)定的1/4像素精度運動預(yù)測/補償處理的示例的圖。在圖2中，每個矩形表示一個像素。在這些矩形之中，A指示幀存儲器112中存儲的整數(shù)精度像素的位置，b、c和d指示具有1/2像素精度的位置，并且el、e2和e3指示1/4像素精度的位置。
[0132]以下，函數(shù)CliplO被定義為以下式(1)。
[0133][數(shù)學(xué)公式1]
[0134]
【權(quán)利要求】
1.一種圖像處理裝置，包括: 預(yù)測運動向量生成單元，其利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量解碼時使用的預(yù)測運動向量； 預(yù)測量化參數(shù)生成單元，其根據(jù)由所述預(yù)測運動向量生成單元生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)解碼時使用的預(yù)測量化參數(shù)；以及 參數(shù)解碼單元，其利用由所述預(yù)測運動向量生成單元生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量解碼并且利用由所述預(yù)測量化參數(shù)生成單元生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)解碼。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中 所述預(yù)測量化參數(shù)生成單元依據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方法是空間預(yù)測還是時間預(yù)測來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 所述預(yù)測量化參數(shù)生成單元在周邊區(qū)域的預(yù)測運動向量的預(yù)測方法是空間預(yù)測時依據(jù)對于空間預(yù)測參考的參考區(qū)域的位置是上方還是左側(cè)來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 所述預(yù)測量化參數(shù)生成單元利用根據(jù)與預(yù)測當(dāng)前區(qū)域的預(yù)測運動向量的預(yù)測方法相同的預(yù)測方法生成的周邊區(qū) 域的預(yù)測量化參數(shù)來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 當(dāng)區(qū)域由多個子區(qū)域構(gòu)成時，所述預(yù)測量化參數(shù)生成單元以周邊區(qū)域為對象利用周邊區(qū)域的位置與位于當(dāng)前區(qū)域左上角的左上子區(qū)域鄰接的子區(qū)域的預(yù)測運動向量來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 當(dāng)區(qū)域由多個子區(qū)域構(gòu)成時，所述預(yù)測量化參數(shù)生成單元以周邊區(qū)域為對象利用周邊區(qū)域的在當(dāng)前區(qū)域上方鄰接位置處的上方子區(qū)域的預(yù)測運動向量和周邊區(qū)域的在當(dāng)前區(qū)域左側(cè)鄰接位置處的左側(cè)子區(qū)域的預(yù)測運動向量來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
7.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 當(dāng)對周邊區(qū)域應(yīng)用雙預(yù)測式預(yù)測時，所述預(yù)測量化參數(shù)生成單元根據(jù)周邊區(qū)域的關(guān)于ListO預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
8.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 當(dāng)對周邊區(qū)域應(yīng)用雙預(yù)測式預(yù)測時，所述預(yù)測量化參數(shù)生成單元在當(dāng)前圖片未被重排序時根據(jù)周邊區(qū)域的關(guān)于ListO預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)，并且在當(dāng)前圖片被重排序時根據(jù)周邊區(qū)域的關(guān)于Listl預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
9.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 當(dāng)對周邊區(qū)域應(yīng)用雙預(yù)測式預(yù)測時，所述預(yù)測量化參數(shù)生成單元根據(jù)周邊區(qū)域的關(guān)于時間軸上的較近距離的預(yù)測的預(yù)測運動向量的預(yù)測方法來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
10.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 所述預(yù)測量化參數(shù)生成單元根據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方向和當(dāng)前區(qū)域的預(yù)測運動向量的預(yù)測方向來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 解碼單元，其利用由所述參數(shù)解碼單元解碼出的運動向量和量化參數(shù)來對比特流進行解碼。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中 所述比特流是以具有層次結(jié)構(gòu)的單位來編碼的，并且所述解碼單元以具有層次結(jié)構(gòu)的單位來對比特流解碼。
13.一種圖像處理方法，用于使得圖像處理裝置執(zhí)行: 利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量解碼時使用的預(yù)測運動向量； 根據(jù)所生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)解碼時使用的預(yù)測量化參數(shù)；以及 利用所生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量解碼并且利用所生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)解碼。
14.一種圖像處理裝置，包括: 預(yù)測運動向量生成單元，其利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量編碼時使用 的預(yù)測運動向量； 預(yù)測量化參數(shù)生成單元，其根據(jù)由所述預(yù)測運動向量生成單元生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)編碼時使用的預(yù)測量化參數(shù)；以及 參數(shù)編碼單元，其利用由所述預(yù)測運動向量生成單元生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量編碼并且利用由所述預(yù)測量化參數(shù)生成單元生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對當(dāng)前區(qū)域的量化參數(shù)編碼。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其中 所述預(yù)測量化參數(shù)生成單元依據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方法是空間預(yù)測還是時間預(yù)測來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中 所述預(yù)測量化參數(shù)生成單元利用根據(jù)與預(yù)測當(dāng)前區(qū)域的預(yù)測運動向量的預(yù)測方法相同的預(yù)測方法生成的周邊區(qū)域的預(yù)測量化參數(shù)來生成當(dāng)前區(qū)域的預(yù)測量化參數(shù)。
17.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中 所述預(yù)測量化參數(shù)生成單元根據(jù)周邊區(qū)域的預(yù)測運動向量的預(yù)測方向和對象區(qū)域的預(yù)測運動向量的預(yù)測方向來生成對象區(qū)域的預(yù)測量化參數(shù)。
18.根據(jù)權(quán)利要求14所述的圖像處理裝置，還包括: 編碼單元，其利用當(dāng)前區(qū)域的運動向量和當(dāng)前區(qū)域的量化參數(shù)來對圖像編碼以生成比特流；以及 傳送單元，其把經(jīng)所述參數(shù)編碼單元編碼的運動向量和量化參數(shù)與由所述編碼單元生成的比特流一起傳送。
19.根據(jù)權(quán)利要求18所述的圖像處理裝置，其中 所述編碼單元以具有層次結(jié)構(gòu)的單位來對圖像編碼以生成比特流。
20.一種圖像處理方法，用于使得圖像處理裝置執(zhí)行: 利用位于當(dāng)前區(qū)域周圍的周邊區(qū)域的運動向量生成在對當(dāng)前區(qū)域的運動向量編碼時使用的預(yù)測運動向量； 根據(jù)所生成的周邊區(qū)域的預(yù)測運動向量的預(yù)測方法生成在對當(dāng)前區(qū)域的量化參數(shù)編碼時使用的預(yù)測量化參數(shù)；以及 利用所生成的當(dāng)前區(qū)域的預(yù)測運動向量來對當(dāng)前區(qū)域的運動向量編碼并且利用所生成的當(dāng)前區(qū)域的預(yù)測量化參數(shù)來對對象區(qū)域的量化參數(shù)編碼。
【文檔編號】H04N19/124GK103843348SQ201280048981
【公開日】2014年6月4日 申請日期:2012年10月5日 優(yōu)先權(quán)日:2011年10月14日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司