圖像處理裝置和方法
【專利摘要】本公開涉及一種圖像處理裝置以及方法，采用該圖像處理裝置以及方法，在對運動向量進行編碼或解碼時，在緩解圖像劣化的同時可以實現(xiàn)存儲器訪問量和操作量的降低。時間預(yù)測控制單元對應(yīng)于經(jīng)由操作輸入單元（未示出）所輸入的用戶操作，從預(yù)測運動向量之中設(shè)置針對List0和List1的每個預(yù)測方向是否使用時間預(yù)測運動向量。基于設(shè)置針對每個預(yù)測方向是否使用時間預(yù)測運動向量，時間預(yù)測控制單元控制運動向量編碼單元的時間預(yù)測運動向量的使用（生成）。例如，本公開可以被應(yīng)用到圖像處理裝置。
【專利說明】圖像處理裝置和方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種圖像處理裝置和方法，并且具體地，涉及一種能夠使得實現(xiàn)存儲器訪問量和計算量降低而同時抑制圖像劣化的圖像處理裝置和方法。
【背景技術(shù)】
[0002]近年，通過采用下述編碼方法對圖像進行壓縮編碼的裝置變得流行:在該方法中，對圖像信息進行數(shù)字處理，并且在這種情況下針對實現(xiàn)信息的高效率傳送和累積的目的、使用圖像信息所特有的冗余，通過正交變換(諸如離散余弦變換)和運動補償對圖像信息進行壓縮。此編碼方法的示例包括MPEG (運動圖像專家組)等。
[0003]具體地，MPEG2 (ISO (國際標準化組織)/IEC (國際電工委員會)13818-2)被定義為通用圖像編碼格式，并且是涵蓋了隔行掃描圖像和逐行掃描圖像兩者以及標準分辨率圖像和高清晰度圖像的標準。例如，當(dāng)前MPEG2被廣泛地用于針對專業(yè)用途和消費者用途的大范圍應(yīng)用中。通過使用MPEG2壓縮方法，在具有例如720X480像素的標準分辨率隔行掃描圖像的情況下，分配了 4Mbps至8Mbps的編碼量(比特率)。另外，通過使用MPEG2壓縮方法，在具有例如1920X 1088像素的高分辨率隔行掃描圖像的情況下，分配了 18Mbps至22Mbps的編碼量(比特率)。由此,可以實現(xiàn)高壓縮率和良好的圖像質(zhì)量。
[0004]MPEG2主要用于適合于廣播的高圖像質(zhì)量編碼,但是不與編碼量(比特率)低于MPEGl的編碼量(換言之，較高的壓縮率)的編碼方法兼容。隨著移動終端的廣泛使用，考慮到將來對于這種編碼方法的需求將增加，并且響應(yīng)于此，對MPEG4編碼方法進行了標準化。關(guān)于圖像編碼方法，其規(guī)格在1998年12月作為IS0/IEC14496-2被指定為國際標準。
[0005]作為標準化的日程，在2003年3月建立了被稱為H.264和MPEG-4部分10 (先進視頻編碼，在下文中稱為AVC)的國際標準。
[0006]此外，作為H.264/AVC的擴展，在2005年2月完成了 FRExt (保真度范圍擴展)的標準化，F(xiàn)RExt的標準化包括商業(yè)使用所需要的編碼工具(諸如，RGB,4:2:2、以及4:4:4)以及在MPEG-2中所定義的8X8DCT (離散余弦變換)和量化矩陣。因此，建立了下述編碼格式:該編碼格式通過使用H.264/AVC甚至能夠良好地表達電影中所包括的膠卷噪聲，該編碼格式被用于廣泛的應(yīng)用(諸如，藍光盤(注冊商標))中。
[0007]然而，近來對于以較高壓縮率進行編碼存在增長的需求，例如意圖對具有大約4000X2000像素(其為高視覺圖像的像素的四倍)的圖像進行壓縮，或意圖在具有有限的傳送容量的環(huán)境中(諸如，因特網(wǎng))對高視覺圖像進行分發(fā)。因此，在以上所述的ITU-T下的VCEG (視頻編碼專家組)中，繼續(xù)并且執(zhí)行針對改進編碼效率的研究。
[0008]作為這種編碼效率改進之一，為了改進AVC中利用中值預(yù)測的運動向量的編碼，提出了除了在AVC中所定義的并且通過中值預(yù)測所獲得的“空間預(yù)測器(predictor)”之夕卜，還自適應(yīng)地使用“時間預(yù)測器”和“空間時間預(yù)測器”中的一個作為預(yù)測運動向量信息(在下文中，稱為MV競爭(MV Competition))(例如，參見非專利文獻I)。
[0009]另外，在AVC中，在選擇預(yù)測運動向量信息的情況下，使用下述成本函數(shù)值，該成本函數(shù)值基于被實現(xiàn)為AVC的參考軟件(所謂的JM (聯(lián)合模型))的高復(fù)雜度模式或低復(fù)雜度模式。
[0010]換言之，計算使用預(yù)測運動向量信息的情況下的成本函數(shù)值，并且執(zhí)行最佳預(yù)測運動向量信息的選擇。在圖像壓縮信息中，傳送標志(flag)信息,該標志信息指示與對于每個塊使用了哪個預(yù)測運動向量信息有關(guān)的信息。
[0011]順便提及，存在下述可能性:關(guān)于作為下一代編碼方法的目標的大圖像幀(諸如UHD (超高清晰度；4000像素X 2000像素)，將宏塊尺寸設(shè)置為16像素X 16像素可能不是最合適的。
[0012]因此，針對與AVC相比進一步改進編碼效率的目的，當(dāng)前，作為ITU-T和IS0/IEC的聯(lián)合標準化組的JCTVC (聯(lián)合合作組-視頻編碼)正在進行被稱為HEVC (高效率視頻編碼)的編碼方法的標準化(例如，參見非專利文獻2)。
[0013]在HEVC編碼方法中，編碼單位(⑶(Coding Unit))被定義為與在AVC中所使用的宏塊類似的處理單位。不同于在AVC中所使用的宏塊，此編碼單位(CU)的尺寸未被固定為16X16個像素，而是在每個序列的圖像壓縮信息中指定編碼單位的尺寸。另外，在每個序列中，還指定編碼單位的最大尺寸(LCU (最大編碼單位))和最小尺寸(SCU (最小編碼單位)。
[0014]此外，另外在非專利文獻2中，可以以子IXU(Sub-1XU)為單位傳送量化參數(shù)(QP)。關(guān)于每個畫面，在圖像壓縮信息中指定要以哪個編碼單位的尺寸來傳送量化參數(shù)。另外，以各自的編碼單位為單位來傳送在圖像壓縮信息中所包括的、與量化參數(shù)有關(guān)的信息。
[0015]另外，作為用于運動信息的編碼方法之一，提出了稱為運動分區(qū)(partition)合并(在下文中，也稱為合并模式(Merge mode))的方法(例如，參見非專利文獻3)。在此方法中，在相關(guān)塊的運動信息與鄰近塊的運動信息相同的情況下，僅傳送標志信息，并且在進行解碼的情況下，使用鄰近塊的運動信息對相關(guān)塊的運動信息進行重構(gòu)。
[0016]此外，在HEVC方法中，除了在AVC中所指定的序列參數(shù)集(SPS (SequenceParameter Set))和畫面參數(shù)集(PPS (Picture Parameter Set))之外，指定了在非專利文獻4中所提出的這種自適應(yīng)參數(shù)集(APS (Adaptation Parameter Set))。
[0017]自適應(yīng)參數(shù)集(APS)是畫面單位的參數(shù)集(Parameter Set),并且是用于傳送在畫面單位(諸如自適應(yīng)環(huán)路濾波器(Adaptive Loop Filter)中自適應(yīng)地更新的編碼參數(shù)的語法。
[0018]順便提及，在以上提及的MV競爭(MV Competition)或合并模式(Merge mode)中，將運動向量信息存儲在線緩沖器中，運動向量信息與應(yīng)用空間預(yù)測運動向量(空間預(yù)測器)所需要的空間鄰近PU (預(yù)測單位)相關(guān)。
[0019]引用列表
[0020]非專利文獻
[0021]非專利文獻1:
Joel Jung,Guillaume Laroche, “Competition-Based Scheme for Motion VectorSelection and Coding”，VCEG-AC06, ITU-Telecommunications StandardizationSector STUDY GR0UP16Question6Video Coding Experts Group (VCEG)29thMeeting:Klagenfurt, Austria, 17 - 18July, 2006[0022]非專利文獻2:
Thomas Wiegand，Woo-Jin Hanj Benjamin BrossjJens-Rainer Ohm,GaryJ.Sullivan, “Working Draft4of High-Efficiency Video Coding，，，JCTVC-F803，JointCollaborative Team on Video Coding (JCT-VC)of ITU-T SG16WP3and ISO/IEC JTCl/SC29/WG116th Meeting:Torino, IT, 14_22July，2011
[0023]非專利文獻3:
Martin Winkenj Sebastian Bosse，Benjamin Bross，Philipp Hellej Tobias Hinzj HeinerKirchhofferj Haricharan Lakshmanj Detlev Marpej Simon Oudinj Matthias Preissj HeikoSchawarzj Mischa Siekmannj Karsten Suehringj and Thomas Wiegandj “Description ofvideo coding technology proposed by Fraunhofer HHI，，，JCTVC-A116，April，2010
[0024]非專利文獻4:
Stephan Wenger,Jill Boyce, Yu-Wen Huang, Chia-Yang Tsai, Ping Wuj and MingLi, “Adaption Parameter Set (APS) ”，JCTVC_F747r3，Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTCl/SC29/WG116th Meeting:Torino, IT，14-22July, 2011

【發(fā)明內(nèi)容】

[0025]技術(shù)問題
[0026]然而,在以上提及的MV競爭(MV Competition)或合并模式(Merge mode)中，運動向量信息存儲在存儲器中，該運動向量信息與應(yīng)用時間預(yù)測運動向量(時間預(yù)測器)所需要的時間鄰近PU (預(yù)測單位)相關(guān)。因此，存在需要提取在存儲器中所存儲的信息并且導(dǎo)致增加存儲器訪問的可能性。
[0027]另一方面,如果在MV競爭中(MV Competition)或合并模式(Merge mode)中，僅使用空間預(yù)測運動向量(空間預(yù)測器)而不使用時間預(yù)測運動向量(時間預(yù)測器)執(zhí)行編碼處理，則存在降低編碼效率的可能性。
[0028]鑒于這些情形提出了本公開，并且本公開針對在運動向量的編碼或解碼中，實現(xiàn)存儲器訪問量和計算量降低而同時抑制圖像劣化。
[0029]本公開的一個方面的圖像處理裝置包括:接收單元，以在對圖像中的當(dāng)前區(qū)域的運動向量進行解碼中所使用的預(yù)測運動向量作為目標，接收關(guān)于每個預(yù)測方向的標志和編碼流，所述標志指示使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的時間預(yù)測向量是否可用；預(yù)測運動向量生成單元，基于由所述接收單元所接收的標志所指示的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量，生成所述當(dāng)前區(qū)域的預(yù)測運動向量；運動向量解碼單元，使用由所述預(yù)測運動向量生成單元所生成的預(yù)測運動向量，對所述當(dāng)前區(qū)域的運動向量進行解碼；以及解碼單元，使用由所述運動向量解碼單元所解碼的運動向量，對所述接收單元所接收的編碼流進行解碼，并且生成所述圖像。
[0030]接收單元可以接收關(guān)于每個預(yù)測方向的標志，所述標志指示所述時間預(yù)測向量是否可用并且被設(shè)置在畫面單位的參數(shù)中。
[0031]時間預(yù)測向量被設(shè)置為關(guān)于所述預(yù)測方向中的一個預(yù)測方向可用，并且被設(shè)置為關(guān)于所述預(yù)測方向中的另一預(yù)測方向不可用。
[0032]在當(dāng)前畫面是其中存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是ListO方向；并且在所述當(dāng)前畫面是其中不存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是Listl方向。
[0033]在參考畫面與當(dāng)前畫面在LsitO方向上的距離不同于參考畫面與所述當(dāng)前畫面在Listl方向上的距離的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是關(guān)于在時間軸上接近所述當(dāng)前畫面的參考畫面的方向。
[0034]在AMVP (先進運動向量預(yù)測)和合并模式中，獨立地生成關(guān)于每個預(yù)測方向的標志，所述標志指示所述時間預(yù)測向量是否可用。
[0035]在本公開的一個方面的圖像處理方法中，圖像處理裝置以在對圖像中的當(dāng)前區(qū)域的運動向量進行解碼中所使用的預(yù)測運動向量作為目標，接收關(guān)于每個預(yù)測方向的標志以及編碼流，所述標志指示使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的時間預(yù)測向量是否可用，基于由所接收的標志所指示的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量，生成所述當(dāng)前區(qū)域的預(yù)測運動向量，使用所生成的預(yù)測運動向量，對所述當(dāng)前區(qū)域的運動向量進行解碼，以及使用所解碼的運動向量，對所接收的編碼流進行解碼并且生成所述圖像。
[0036]本公開的另一方面的圖像處理裝置包括:時間預(yù)測控制單元，以在對圖像中的當(dāng)前區(qū)域的運動向量進行編碼中所使用的預(yù)測運動向量為目標，關(guān)于每個預(yù)測方向設(shè)置時間預(yù)測向量是否可用，所述時間預(yù)測向量是使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的；預(yù)測運動向量生成單元，基于由所述時間預(yù)測控制單元所設(shè)置的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量，生成所述當(dāng)前區(qū)域的預(yù)測運動向量；標志設(shè)置單元，設(shè)置關(guān)于每個預(yù)測方向的標志，所述標志指示由所述時間預(yù)測控制單元所設(shè)置的時間預(yù)測向量是否可用；以及傳送單元，傳送由所述標志設(shè)置單元所設(shè)置的標志以及對所述圖像進行編碼所得到的編碼流。
[0037]標志設(shè)置單元可以在畫面單位的參數(shù)中設(shè)置關(guān)于每個預(yù)測方向的標志，所述標志指示由所述時間預(yù)測控制單元所設(shè)置的時間預(yù)測向量是否可用。
[0038]時間預(yù)測控制單元可以將所述時間預(yù)測向量設(shè)置為關(guān)于所述預(yù)測方向中的一個預(yù)測方向可用，并且將所述時間預(yù)測向量設(shè)置為關(guān)于所述預(yù)測方向中的另一預(yù)測方向不可用。
[0039]在當(dāng)前畫面是在其中存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是ListO方向；并且在所述當(dāng)前畫面是在其中不存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是Listl方向。
[0040]在參考畫面與當(dāng)前畫面在ListO方向上的距離不同于參考畫面與所述當(dāng)前畫面在Listl方向上的距離的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是關(guān)于在時間軸上接近所述當(dāng)前畫面的參考畫面的方向。
[0041]在AMVP (先進運動向量預(yù)測)和合并模式中，所述時間預(yù)測控制單元獨立地設(shè)置所述時間預(yù)測向量是否可用。
[0042]本公開的另一方面的圖像處理方法包括:以在對圖像中的當(dāng)前區(qū)域的運動向量進行編碼中所使用的預(yù)測運動向量作為目標，關(guān)于每個預(yù)測方向設(shè)置時間預(yù)測向量是否可用，所述時間預(yù)測向量是使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的；基于所設(shè)置的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量生成所述當(dāng)前區(qū)域的預(yù)測運動向量；設(shè)置關(guān)于每個預(yù)測方向的標志，所述標志指示所設(shè)置的時間預(yù)測向量是否可用；以及傳送所設(shè)置的標志以及對所述圖像進行編碼所得到的編碼流。
[0043]本公開的又一方面的圖像處理裝置包括:接收單元，接收在對圖像進行編碼中所使用的參數(shù)的編碼數(shù)據(jù)、以及指示是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式(pattern)的信息；預(yù)測參數(shù)生成單元，依照由所述接收單元所接收的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)；以及參數(shù)解碼單元，使用由所述預(yù)測參數(shù)生成單元所生成的所述預(yù)測參數(shù)，對由所述接收單元所接收的所述參數(shù)的編碼數(shù)據(jù)進行解碼，并且重構(gòu)所述參數(shù)。
[0044]所述模式是關(guān)于多個畫面、指定針對每個畫面是否要使用所述時間預(yù)測的模式。
[0045]所述模式基于由所述多個畫面所形成的層級結(jié)構(gòu)的層，對是否要使用所述時間預(yù)測進行分類。
[0046]所述模式基于所述多個畫面的排列順序，對是否要使用所述時間預(yù)測進行分類。
[0047]所述參數(shù)可以是運動向量，并且所述預(yù)測參數(shù)可以是預(yù)測運動向量，所述接收單元可以接收所述運動向量的編碼數(shù)據(jù)、以及指示是否要使用所述時間預(yù)測的模式的信息，所述預(yù)測參數(shù)生成單元可以依照由所述接收單元所接收的所述模式，使用在所述運動向量的編碼數(shù)據(jù)中所指定的預(yù)測方法，生成所述預(yù)測運動向量，以及所述參數(shù)解碼單元可以使用由所述預(yù)測參數(shù)生成單元所生成的所述預(yù)測運動向量，對由所述接收單元所接收的所述運動向量的編碼數(shù)據(jù)進行解碼，并且重構(gòu)所述運動向量。
[0048]所述參數(shù)可以是之前一個處理的塊的量化參數(shù)與當(dāng)前塊的量化參數(shù)之間的差。
[0049]參數(shù)可以是用于圖像的編碼的CABAC (基于上下文的自適應(yīng)二進制算術(shù)編碼)的參數(shù)。
[0050]所述接收單元還可以接收圖像的編碼數(shù)據(jù)，并且所述圖像處理裝置還可以包括圖像解碼單元，其使用由所述參數(shù)解碼單元所重構(gòu)的所述參數(shù)，對由所述接收單元所接收的所述圖像的編碼數(shù)據(jù)進行解碼。
[0051]本公開的另一方面的圖像處理方法包括:接收在對圖像進行編碼時所示使用的參數(shù)的編碼數(shù)據(jù)、以及指示是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式的信息，依照所接收的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)，以及使用所生成的所述預(yù)測參數(shù)對所接收的所述參數(shù)的編碼數(shù)據(jù)進行解碼，并且重構(gòu)所述參數(shù)。
[0052]本公開的又一方面的圖像處理裝置包括:設(shè)置單元，設(shè)置是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式；預(yù)測參數(shù)生成單元，依照由所述設(shè)置單元所設(shè)置的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)；參數(shù)編碼單元，使用由所述預(yù)測參數(shù)生成單元所生成的所述預(yù)測參數(shù)，對所述參數(shù)進行編碼；以及傳送單元，傳送由所述參數(shù)編碼單元所生成的所述參數(shù)的編碼數(shù)據(jù)、以及指示由所述設(shè)置單元所設(shè)置的所述模式的信息。
[0053]還包括:參數(shù)生成單元,生成所述參數(shù)；以及圖像編碼單元，使用由所述參數(shù)生成單元所生成的所述參數(shù)，對所述圖像進行編碼，其中所述設(shè)置單元可設(shè)置是否要使用所述時間預(yù)測的模式，所述參數(shù)編碼單元可使用所述預(yù)測參數(shù)，對由所述參數(shù)生成單元所生成的所述參數(shù)進行編碼，以及所述傳送單元還可傳送由所述圖像編碼單元所生成的所述圖像的編碼數(shù)據(jù)。
[0054]本公開的另一方面的圖像處理方法包括:設(shè)置是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式，依照所述所設(shè)置的模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)，使用所生成的預(yù)測參數(shù)對所述參數(shù)進行編碼，以及傳送所生成的所述參數(shù)的編碼數(shù)據(jù)以及指示所設(shè)置的模式的信息。
[0055]在本公開的一個方面中，以在對圖像中的當(dāng)前區(qū)域的運動向量進行解碼中所使用的預(yù)測運動向量作為目標，接收關(guān)于每個預(yù)測方向的標志和編碼流，所述標志指示使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的時間預(yù)測向量是否可用；基于由所接收的標志所指示的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量，生成所述當(dāng)前區(qū)域的預(yù)測運動向量。另外，使用所生成的預(yù)測運動向量，對所述當(dāng)前區(qū)域的運動向量進行解碼，以及使用由所解碼的運動向量，對所接收的編碼流進行解碼，并且生成所述圖像。
[0056]在本公開的另一方面中，以在對圖像中的當(dāng)前區(qū)域的運動向量進行編碼時所使用的預(yù)測運動向量作為目標，關(guān)于每個預(yù)測方向設(shè)置時間預(yù)測向量是否可用，使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量生成所述時間預(yù)測向量；并且基于所設(shè)置的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量生成所述當(dāng)前區(qū)域的預(yù)測運動向量。另外，設(shè)置關(guān)于每個預(yù)測方向的標志，所述標志指示所設(shè)置的時間預(yù)測向量是否可用，并且傳送所設(shè)置的標志以及對圖像進行編碼所得到的編碼流。
[0057]在本公開的另一方面中，接收在對圖像進行編碼時所示使用的參數(shù)的編碼數(shù)據(jù)、以及指示是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式的信息，依照所接收的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)，使用所生成的所述預(yù)測參數(shù)對所接收的所述參數(shù)的編碼數(shù)據(jù)進行解碼，并且重構(gòu)所述參數(shù)。
[0058]在本公開的又一方面中，設(shè)置是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式；依照所設(shè)置的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)；使用所生成的所述預(yù)測參數(shù)，對所述參數(shù)進行編碼；以及傳送所生成的所述參數(shù)的編碼數(shù)據(jù)、以及指示所設(shè)置的所述模式的信息。
[0059]另外，以上提及的圖像處理裝置可以是獨立的裝置，并且還可以是構(gòu)成一個圖像編碼裝置或一個圖像解碼裝置的內(nèi)部塊。
[0060]有利效果
[0061]根據(jù)本公開的一個方面，可以對圖像進行解碼。具體地，可以實現(xiàn)存儲器訪問量和計算量的降低而同時抑制圖像劣化。
[0062]根據(jù)本公開的另一方面，可以對圖像進行編碼。具體地，可以實現(xiàn)存儲器訪問量和計算量的降低而同時抑制圖像劣化。
【專利附圖】

【附圖說明】
[0063]圖1是示出圖像編碼裝置的主要配置的示例的框圖。[0064]圖2是示出具有小數(shù)像素精確度的運動預(yù)測/補償處理的示例的圖。
[0065]圖3是示出宏塊的示例的圖。
[0066]圖4是說明中值運算的圖。
[0067]圖5是說明多參考幀的圖。
[0068]圖6是說明時間直接(temporal direct)模式的圖。
[0069]圖7是說明運動向量編碼方法的圖。
[0070]圖8是說明編碼單位的配置的示例的圖。
[0071]圖9是說明運動分區(qū)合并的圖。
[0072]圖10是說明在雙預(yù)測的情況下利用時間預(yù)測運動向量對運動向量進行編碼的圖。
[0073]圖11是說明在雙預(yù)測的情況下利用時間預(yù)測運動向量對運動向量進行編碼的圖。
[0074]圖12是示出運動向量編碼單元、時間預(yù)測控制單元、以及無損編碼單元的主要配置的示例的框圖。
[0075]圖13是說明編碼處理的流程的示例的流程圖。
[0076]圖14是說明幀間運動預(yù)測處理的流程的示例的流程圖。
[0077]圖15是示出圖像解碼裝置的主要配置的示例的框圖。
[0078]圖16是示出無損解碼單元、運動向量解碼單元、以及時間預(yù)測控制單元的主要配置的示例的框圖。
[0079]圖17是說明解碼處理的流程的示例的流程圖。
[0080]圖18是說明運動向量重構(gòu)處理的流程的示例的流程圖。
[0081]圖19是說明圖像編碼裝置的配置的另一示例的框圖。
[0082]圖20是說明運動向量信息的編碼的情形的示例的圖。
[0083]圖21是示出畫面參數(shù)集的示例的圖。
[0084]圖22是說明時間預(yù)測控制的示例的圖。
[0085]圖23是說明序列參數(shù)集的示例的圖。
[0086]圖24是說明序列參數(shù)集的示例并且在圖23之后的圖。
[0087]圖25是說明時間預(yù)測控制的示例的圖。
[0088]圖26是說明時間預(yù)測控制的示例的圖。
[0089]圖27是示出時間預(yù)測控制單元和運動向量編碼單元的配置的另一示例的框圖。
[0090]圖28是說明幀間運動預(yù)測處理的流程的另一示例的流程圖。
[0091]圖29是說明時間預(yù)測層指定處理的流程的示例的流程圖。
[0092]圖30是說明候選預(yù)測運動向量生成處理的流程的示例的流程圖。
[0093]圖31是示出圖像解碼裝置的配置的另一示例的框圖。
[0094]圖32是示出運動向量解碼單元和時間預(yù)測控制單元的配置的另一示例的框圖。
[0095]圖33是說明解碼處理的流程的另一示例的流程圖。
[0096]圖34是說明時間預(yù)測控制處理的流程的示例的流程圖。
[0097]圖35是說明運動向量重構(gòu)處理的流程的另一示例的流程圖。
[0098]圖36是示出視頻參數(shù)集的語法的示例的圖。[0099]圖37是示出緩沖時段SEI的語法的示例的圖。
[0100]圖38是示出緩沖時段SEI的語法的另一示例的圖。
[0101]圖39是示出多視圖圖像編碼方法的示例的圖。
[0102]圖40是示出應(yīng)用了本技術(shù)的多視圖圖像編碼裝置的主要配置的示例的圖。
[0103]圖41是示出應(yīng)用了本技術(shù)的多視圖圖像解碼裝置的主要配置的示例的圖。
[0104]圖42是示出層級圖像編碼方法的示例的圖。
[0105]圖43是示出了應(yīng)用了本技術(shù)的層級圖像編碼裝置的主要配置的示例的圖。
[0106]圖44是示出了應(yīng)用了本技術(shù)的層級圖像解碼裝置的主要配置的示例的圖。
[0107]圖45是示出了計算機的主要配置的示例的框圖。
[0108]圖46是示出了電視機裝置的示意配置的示例的框圖。
[0109]圖47是示出了移動電話的示意配置的示例的框圖。
[0110]圖48是示出了記錄/再現(xiàn)裝置的示意配置的示例的框圖。
[0111]圖49是示出了成像裝置的示意配置的示例的框圖。
【具體實施方式】
[0112]在下文中，將描述用于實現(xiàn)本公開的實施例(在下文中，稱為實施例)。另外，將按照下面順序執(zhí)行說明。
[0113]1.第一實施例(圖像編碼裝置)
[0114]2.第二實施例(圖像解碼裝置)
[0115]3.第三實施例(圖像編碼裝置)
[0116]4.第四實施例(圖像解碼裝置)
[0117]5.第五實施例(語法)
[0118]6.第六實施例(多視圖圖像編碼裝置/多視圖圖像解碼裝置)
[0119]7.第七實施例(層級圖像編碼裝置/層級圖像解碼裝置)
[0120]8.第八實施例(計算機)
[0121]9.應(yīng)用示例
[0122]〈1.第一實施例〉
[0123][圖像編碼裝置]
[0124]圖1是示出了圖像編碼裝置的主要配置的示例的框圖。
[0125]圖1所示的圖像編碼裝置100使用用作例如基于HEVC (高效率視頻編碼)的方法的預(yù)測處理對圖像數(shù)據(jù)進行編碼。
[0126]如圖1所示，圖像編碼裝置100包括A/D轉(zhuǎn)換單元101、畫面重排緩沖器102、計算單元103、正交變換單元104、量化單元105、無損編碼單元106、累積緩沖器107、逆量化單元108、以及逆正交變換單元109。另外，圖像編碼裝置100包括計算單元110、去塊效應(yīng)濾波器111、幀存儲器112、選擇單元113、幀內(nèi)預(yù)測單元114、運動預(yù)測/補償單元115、預(yù)測圖像選擇單元116、以及速率控制單元117。
[0127]圖像編碼裝置100還包括運動向量編碼單元121和時間預(yù)測控制單元122。
[0128]A/D轉(zhuǎn)換單元101對輸入圖像數(shù)據(jù)進行A/D轉(zhuǎn)換，將轉(zhuǎn)換之后的圖像數(shù)據(jù)(數(shù)字數(shù)據(jù))提供給畫面重排緩沖器102，以及使得圖像數(shù)據(jù)存儲在畫面重排緩沖器102中。畫面重排緩沖器102依照GOP (畫面組)，將與顯示順序相對應(yīng)的所存儲的幀的圖像重排為用于編碼的幀的順序，以及將其中對幀的順序進行了重排的圖像提供給計算單元103。另外，畫面重排緩沖器102還將其中對幀的順序進行了重排的圖像提供給幀內(nèi)預(yù)測單元114和運動預(yù)測/補償單元115。
[0129]計算單元103從在畫面重排緩沖器102中所讀出的圖像中減去經(jīng)由預(yù)測圖像選擇單元116從幀內(nèi)預(yù)測單元114或運動預(yù)測/補償單元115所提供的預(yù)測圖像，并且將其差分信息輸出到正交變換單元104。
[0130]例如，在對其執(zhí)行了幀間編碼的圖像的情況下，計算單元103從在畫面重排緩沖器102中所讀出的圖像中減去從運動預(yù)測/補償單元115所提供的預(yù)測圖像。
[0131]正交變換單元104對從計算單元103所提供的差分信息執(zhí)行諸如離散余弦變換或Karhunen-Loeve變換的正交變換。另外，用于正交變換的方法是任意的。正交變換單元104將其變換系數(shù)提供給量化單元105。
[0132]量化單元105對從正交變換單元104所提供的變換系數(shù)進行量化。量化單元105基于與從速率控制單元117所提供的編碼量的目標值有關(guān)的信息設(shè)置量化參數(shù)，并且對其執(zhí)行量化。另外，用于量化的方法是任意的。量化單元105將量化的變換系數(shù)提供給無損編碼單元106。
[0133]無損編碼單元106使用任意編碼方法對在量化單元105中所量化的變換系數(shù)進行編碼。因為在速率控制單元117的控制之下對系數(shù)數(shù)據(jù)進行量化，所以其編碼量變?yōu)橛伤俾士刂茊卧?17所設(shè)置的目標值(或近似為目標值)。
[0134]另外，無損編碼單元106從幀內(nèi)預(yù)測單元114獲取指示幀內(nèi)預(yù)測的模式等的信息，并且從運動預(yù)測/補償單元115獲取指示幀間預(yù)測的模式的信息、差分運動向量信息等。
[0135]無損編碼單元106使用任意編碼方法對這些各種信息進行編碼，并且將這些信息設(shè)置為編碼數(shù)據(jù)(也稱為編碼流)的數(shù)據(jù)頭信息的一部分(執(zhí)行復(fù)用)。無損編碼單元106將通過進行編碼所獲得的編碼數(shù)據(jù)提供給累積緩沖器107，并且使得編碼數(shù)據(jù)累積在累積緩沖器107中。
[0136]例如，作為用于無損編碼單元106的編碼方法，列舉了可變長度編碼、算術(shù)編碼等。作為可變長度編碼，可以列舉在H.264/AVC方法等中所定義的CAVLC(上下文自適應(yīng)可變長度編碼)等。作為算術(shù)編碼，可以列舉CABAC (基于上下文的自適應(yīng)二進制算術(shù)編碼)
坐寸ο
[0137]累積緩沖器107臨時地保存從無損編碼單元106所提供的編碼數(shù)據(jù)。累積緩沖器107在隨后的階段(未在附圖中示出)，以給定的定時，將所保存的編碼數(shù)據(jù)輸出到例如記錄裝置，傳送路徑等。換言之，累積緩沖器107還用作傳送編碼數(shù)據(jù)的傳送單元。
[0138]另外，在量化單元105中所量化的變換系數(shù)還被提供給逆量化單元108。逆量化單元108使用與由量化單元105所執(zhí)行的量化相對應(yīng)的方法對量化的變換系數(shù)執(zhí)行逆量化。如果用于逆量化的方法與由量化單元105所執(zhí)行的量化處理相對應(yīng)，則該方法可以是任意方法。逆量化單元108將所獲得的變換系數(shù)提供給逆正交變換單元109。
[0139]逆正交變換單元109使用與由正交變換單元104所執(zhí)行的正交變換處理相對應(yīng)的方法，對從逆量化單元108所提供的變換系數(shù)執(zhí)行逆正交變換。如果用于逆正交變換的方法與由正交變換單元104所執(zhí)行的正交變換處理相對應(yīng)，則該方法可以是任意方法。將經(jīng)受了逆正交變換的輸出(恢復(fù)的差分信息)提供給計算單元110。
[0140]計算單元110將經(jīng)由預(yù)測圖像選擇單元116來自幀內(nèi)預(yù)測單元114或運動預(yù)測/補償單元115的預(yù)測圖像加到用作從逆正交變換單元109所提供的逆正交變換結(jié)果的恢復(fù)的差分信息，并且獲得本地解碼圖圖像(解碼圖像)。將解碼圖像提供給去塊效應(yīng)濾波器111或幀存儲器112。
[0141]去塊效應(yīng)濾波器111對從計算單元110所提供的解碼圖像適當(dāng)?shù)貓?zhí)行去塊效應(yīng)濾波處理。例如，去塊效應(yīng)濾波器111對解碼圖像執(zhí)行去塊效應(yīng)濾波處理，并且因此移除解碼圖像的塊失真。
[0142]去塊效應(yīng)濾波器111將濾波處理結(jié)果(濾波處理之后的解碼圖像)提供給幀存儲器112。另外，如上所述，可以將從計算單元110所輸出的解碼圖像提供給幀存儲器112而不通過去塊效應(yīng)濾波器111。換言之，可以跳過由去塊效應(yīng)濾波器111所執(zhí)行的濾波處理。
[0143]幀存儲器112將所提供的解碼圖像存儲在其中，并且以給定的定時將所存儲的解碼圖像作為參考圖像提供給選擇單元113。
[0144]選擇單元113選擇從幀存儲器112所提供的參考圖像的供給目的地。例如，在幀間預(yù)測的情況下，選擇單元113將從幀存儲器112所提供的參考圖像提供給運動預(yù)測/補償單元115。
[0145]使用用作經(jīng)由選擇單元113從幀存儲器112所提供的參考圖像的處理目標畫面(也稱為當(dāng)前畫面)中的像素值，幀內(nèi)預(yù)測單元114執(zhí)行幀內(nèi)預(yù)測(幀內(nèi)畫面預(yù)測)，其中，采用基本上用作處理單位的預(yù)測單位(PU (Prediction Unit))生成預(yù)測圖像。巾貞內(nèi)預(yù)測單元114使用預(yù)先準備的多個幀內(nèi)預(yù)測模式執(zhí)行幀內(nèi)預(yù)測。
[0146]幀內(nèi)預(yù)測單元114使用用作候選的所有幀內(nèi)預(yù)測模式生成預(yù)測圖像，使用從畫面重排緩沖器102所提供的輸入圖像評估每個預(yù)測圖像的成本相關(guān)值，以及選擇最佳模式。當(dāng)選擇了最佳幀內(nèi)預(yù)測模式時，幀內(nèi)預(yù)測單元114將采用該最佳模式所生成的預(yù)測圖像提供給預(yù)測圖像選擇單元116。
[0147]另外，如上所述，幀內(nèi)預(yù)測單元114適當(dāng)?shù)貙⒅T如指示所采用的幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測模式信息的信息提供給無損編碼單元106，并且使得該信息被編碼。
[0148]使用從畫面重排緩沖器102所提供的輸入圖像和經(jīng)由選擇單元113從幀存儲器112所提供的參考圖像，運動預(yù)測/補償單元115采用基本上用作處理單位的預(yù)測單位(PU)執(zhí)行運動預(yù)測(幀間預(yù)測)。運動預(yù)測/補償單元115將所檢測到的運動向量提供給運動向量編碼單元121，依照所檢測到的運動向量執(zhí)行運動補償處理，以及生成預(yù)測圖像(幀間預(yù)測圖像信息)。運動預(yù)測/補償單元115使用預(yù)先準備的多個幀間預(yù)測模式執(zhí)行這樣的幀間預(yù)測。
[0149]運動預(yù)測/補償單元115使用用作候選的所有幀間預(yù)測模式生成預(yù)測圖像。運動預(yù)測/補償單元115生成用作目標區(qū)域(也稱為當(dāng)前區(qū)域)的運動向量與來自運動向量編碼單元121的目標區(qū)域的預(yù)測運動向量之間的差異的差分運動向量。另外，運動預(yù)測/補償單元115使用從畫面重排緩沖器102所提供的輸入圖像、所生成的差分運動向量的信息等評估每個預(yù)測圖像的成本函數(shù)值，并且選擇最佳模式。當(dāng)選擇了最佳幀間預(yù)測模式時，運動預(yù)測/補償單元115將采用該最佳模式所生成的預(yù)測圖像提供給預(yù)測圖像選擇單元116。
[0150]運動預(yù)測/補償單元115將指示所采用的幀間預(yù)測模式的信息、在對編碼數(shù)據(jù)進行解碼的情況下使用幀間預(yù)測模式執(zhí)行處理所需要的信息等提供給無損編碼單元106，并且使得這些信息被編碼。需要的信息的示例包括:所生成的差分運動向量的信息、指示作為預(yù)測運動向量信息的預(yù)測運動向量指標的標志等。
[0151]預(yù)測圖像選擇單元116選擇要被提供給計算單元103和計算單元110的預(yù)測圖像的供給源。例如，在幀間編碼的情況下，預(yù)測圖像選擇單元116選擇運動預(yù)測/補償單元115作為預(yù)測圖像的供給源，并且將從運動預(yù)測/補償單元115所提供的預(yù)測圖像提供給計算單元103和計算單元110。
[0152]基于在累積緩沖器107中所累積的編碼數(shù)據(jù)的編碼量，速率控制單元117控制在量化單元105中的量化操作的速率，使得不發(fā)生上溢或下溢。
[0153]運動向量編碼單元121將由運動預(yù)測/補償單元115所獲得的運動向量存儲在其中。運動向量編碼單元121預(yù)測目標區(qū)域的運動向量。換言之,運動向量編碼單元121生成被用于對運動向量進行編碼或解碼的預(yù)測運動向量。
[0154]具體地，在時間預(yù)測控制單元122的控制之下，運動向量編碼單元121使用時間上或空間上鄰近目標區(qū)域的鄰近區(qū)域的運動向量生成目標區(qū)域的預(yù)測運動向量(預(yù)測器)。運動向量編碼單元121將被識別為所生成的預(yù)測運動向量中的最佳預(yù)測運動向量的最佳預(yù)測運動向量提供給運動預(yù)測/補償單元115和時間預(yù)測控制單元122。
[0155]在此，作為預(yù)測運動向量的類型，存在時間預(yù)測運動向量(時間預(yù)測器)和空間預(yù)測運動向量(空間預(yù)測器)。時間預(yù)測運動向量是使用時間上鄰近目標區(qū)域的鄰近區(qū)域的運動向量所生成的預(yù)測運動向量?？臻g預(yù)測運動向量是使用空間上鄰近目標區(qū)域的鄰近區(qū)域的運動向量所生成的預(yù)測運動向量。
[0156]響應(yīng)于用戶的操作、經(jīng)由未在附圖中示出的操作輸入單元的輸入，時間預(yù)測控制單元122關(guān)于預(yù)測方向ListO和Listl中的每個設(shè)置在預(yù)測運動向量中的時間預(yù)測運動向量是否可用?；谠O(shè)置在每個預(yù)測方向上的時間預(yù)測運動向量是否可用，時間預(yù)測控制單元122控制運動向量編碼單元121對時間預(yù)測運動向量的使用(生成)。另外，時間預(yù)測控制單元122生成指示在每個預(yù)測方向上時間預(yù)測運動向量是否可用的標志，并且將該標志提供給無損編碼單元106。
[0157]將從時間預(yù)測控制單元122所提供的并且指示時間預(yù)測運動向量是否可用的標志設(shè)置為由無損編碼單元106 (所復(fù)用的)編碼數(shù)據(jù)的數(shù)據(jù)頭信息的一部分。
[0158]另外，在本實施例中，將假定運動向量的預(yù)測代表用于生成預(yù)測運動向量的處理以及運動向量的編碼代表用于生成運動預(yù)測向量并且使用所生成的預(yù)測運動向量獲得差分運動向量的處理，來進行說明。換言之，用于運動向量的編碼處理包括用于運動向量的預(yù)測處理。以相同的方式，將假定運動向量的解碼代表用于生成預(yù)測運動向量并且使用所生成的預(yù)測運動向量重構(gòu)運動向量的處理。換言之，用于運動向量的解碼處理包括用于運動向量的預(yù)測處理。
[0159]另外，以上提及的鄰近目標區(qū)域的鄰近區(qū)域也是位于目標區(qū)域周圍的鄰近區(qū)域，并且在下文中，將假定兩個詞意指同一區(qū)域而進行說明。
[0160][1/4像素精確度運動預(yù)測]
[0161]圖2是示出在AVC方法中所指定的、具有1/4像素精確度的運動預(yù)測/補償處理的情形的示例的圖。在圖2中，各個方塊指示像素。在這些像素中，A指示在幀存儲器112中所存儲的整數(shù)精確度像素的位置，b、c和d指示具有1/2像素精確度的位置，以及el、e2和e3指示具有1/4像素精確度的位置。
[0162]在下文中，在下面的表達式(I)中定義函數(shù)Clipl O。
[0163][數(shù)學(xué)表達式I]
【權(quán)利要求】
1.一種圖像處理裝置，包括: 接收單元，以在對圖像中的當(dāng)前區(qū)域的運動向量進行解碼中所使用的預(yù)測運動向量作為目標，接收關(guān)于每個預(yù)測方向的標志和編碼流，所述標志指示使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的時間預(yù)測向量是否可用； 預(yù)測運動向量生成單元，基于由所述接收單元所接收的標志所指示的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量，生成所述當(dāng)前區(qū)域的預(yù)測運動向量； 運動向量解碼單元，使用由所述預(yù)測運動向量生成單元所生成的預(yù)測運動向量，對所述當(dāng)前區(qū)域的運動向量進行解碼；以及 解碼單元，使用由所述運動向量解碼單元所解碼的運動向量，對所述接收單元所接收的編碼流進行解碼，并且生成所述圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中 所述接收單元接收關(guān)于每個預(yù)測方向的標志，所述標志指示所述時間預(yù)測向量是否可用并且被設(shè)置在畫面單位的參數(shù)中。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 所述時間預(yù)測向量被設(shè)置為關(guān)于所述預(yù)測方向中的一個預(yù)測方向可用，并且被設(shè)置為關(guān)于所述預(yù)測方向中的另一預(yù)測方向不可用。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中 在當(dāng)前畫面是其中存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是ListO方向；并且在所述當(dāng)前畫面是其`中不存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是Listl方向。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中 在參考畫面與當(dāng)前畫面在LsitO方向上的距離不同于參考畫面與所述當(dāng)前畫面在List I方向上的距離的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是關(guān)于在時間軸上接近所述當(dāng)前畫面的參考畫面的方向。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 在先進運動向量預(yù)測和合并模式中，獨立地生成關(guān)于每個預(yù)測方向的標志，所述標志指示所述時間預(yù)測向量是否可用。
7.一種圖像處理方法，其中 圖像處理裝置: 以在對圖像中的當(dāng)前區(qū)域的運動向量進行解碼中所使用的預(yù)測運動向量作為目標，接收關(guān)于每個預(yù)測方向的標志以及編碼流，所述標志指示使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的時間預(yù)測向量是否可用， 基于由所接收的標志所指示的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量，生成所述當(dāng)前區(qū)域的預(yù)測運動向量， 使用所生成的預(yù)測運動向量，對所述當(dāng)前區(qū)域的運動向量進行解碼，以及 使用所解碼的運動向量，對所接收的編碼流進行解碼并且生成所述圖像。
8.一種圖像處理裝置，包括: 時間預(yù)測控制單元，以在對圖像中的當(dāng)前區(qū)域的運動向量進行編碼中所使用的預(yù)測運動向量為目標，關(guān)于每個預(yù)測方向設(shè)置時間預(yù)測向量是否可用，所述時間預(yù)測向量是使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的； 預(yù)測運動向量生成單元，基于由所述時間預(yù)測控制單元所設(shè)置的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量，生成所述當(dāng)前區(qū)域的預(yù)測運動向量; 標志設(shè)置單元，設(shè)置關(guān)于每個預(yù)測方向的標志，所述標志指示由所述時間預(yù)測控制單元所設(shè)置的時間預(yù)測向量是否可用；以及 傳送單元，傳送由所述標志設(shè)置單元所設(shè)置的標志以及對所述圖像進行編碼所得到的編碼流。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中 所述標志設(shè)置單元在畫面單位的參數(shù)中設(shè)置關(guān)于每個預(yù)測方向的標志，所述標志指示由所述時間預(yù)測控制單元所設(shè)置的時間預(yù)測向量是否可用。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中 所述時間預(yù)測控制單元將所述時間預(yù)測向量設(shè)置為關(guān)于所述預(yù)測方向中的一個預(yù)測方向可用，并且將所述時間預(yù)測向量設(shè)置為關(guān)于所述預(yù)測方向中的另一預(yù)測方向不可用。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中 在當(dāng)前畫面是在其中存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是ListO方向；并且在所述當(dāng)前畫面是在其中不存在重排的畫面的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是Li stl方向。
12.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中 在參考畫面與當(dāng)前畫面在ListO方向上的距離不同于參考畫面與所述當(dāng)前畫面在Listl方向上的距離的情況下，所述預(yù)測方向中的所述一個預(yù)測方向是關(guān)于在時間軸上接近所述當(dāng)前畫面的參考畫面的方向。
13.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中 在先進運動向量預(yù)測和合并模式中，所述時間預(yù)測控制單元獨立地設(shè)置所述時間預(yù)測向量是否可用。
14.一種圖像處理方法，包括: 以在對圖像中的當(dāng)前區(qū)域的運動向量進行編碼中所使用的預(yù)測運動向量作為目標，關(guān)于每個預(yù)測方向設(shè)置時間預(yù)測向量是否可用，所述時間預(yù)測向量是使用時間上位于所述當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的運動向量所生成的； 基于所設(shè)置的時間預(yù)測向量是否可用，使用位于所述當(dāng)前區(qū)域周圍的鄰近區(qū)域的運動向量生成所述當(dāng)前區(qū)域的預(yù)測運動向量； 設(shè)置關(guān)于每個預(yù)測方向的標志，所述標志指示所設(shè)置的時間預(yù)測向量是否可用；以及 傳送所設(shè)置的標志以及對所述圖像進行編碼所得到的編碼流。
15.一種圖像處理裝置，包括: 接收單元，接收在對圖像進行編碼中所使用的參數(shù)的編碼數(shù)據(jù)、以及指示是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式的信息； 預(yù)測參數(shù)生成單元，依照由所述接收單元所接收的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)；以及 參數(shù)解碼單元，使用由所述預(yù)測參數(shù)生成單元所生成的所述預(yù)測參數(shù)，對由所述接收單元所接收的所述參數(shù)的編碼數(shù)據(jù)進行解碼，并且重構(gòu)所述參數(shù)。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中 所述模式是關(guān)于多個畫面、指定針對每個畫面是否要使用所述時間預(yù)測的模式。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中 所述模式基于由所述多個畫面所形成的層級結(jié)構(gòu)的層，對是否要使用所述時間預(yù)測進行分類。
18.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中 所述模式基于所述多個畫面的排列順序，對是否要使用所述時間預(yù)測進行分類。
19.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中， 所述參數(shù)是運動向量，并且所述預(yù)測參數(shù)是預(yù)測運動向量， 所述接收單元接收所述運動向量的編碼數(shù)據(jù)、以及指示是否要使用所述時間預(yù)測的模式的信息， 所述預(yù)測參數(shù)生成單元依照由所述接收單元所接收的所述模式，使用在所述運動向量的編碼數(shù)據(jù)中所指定的預(yù)測方法，生成所述預(yù)測運動向量，以及 所述參數(shù)解碼單元使用由所述預(yù)測參數(shù)生成單元所生成的所述預(yù)測運動向量，對由所述接收單元所接收的所述運動向量的編碼數(shù)據(jù)進行解碼，并且重構(gòu)所述運動向量。
20.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中 所述參數(shù)是之前一個處理的塊的量化參數(shù)與當(dāng)前塊的量化參數(shù)之間的差。
21.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中 所述參數(shù)是利用上下文的算術(shù)編碼的參數(shù)。
22.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中 所述接收單元還接收所述圖像的編碼數(shù)據(jù)，并且 所述圖像處理裝置還包括: 圖像解碼單元，使用由所述參數(shù)解碼單元所重構(gòu)的所述參數(shù)，對由所述接收單元所接收的所述圖像的編碼數(shù)據(jù)進行解碼。
23.一種用于圖像處理裝置的圖像處理方法，其中 所述圖像處理裝置: 接收在對圖像進行編碼時所示使用的參數(shù)的編碼數(shù)據(jù)、以及指示是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式的信息， 依照所接收的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)，以及使用所生成的所述預(yù)測參數(shù)、對所接收的所述參數(shù)的編碼數(shù)據(jù)進行解碼，并且重構(gòu)所述參數(shù)。
24.—種圖像處理裝置，包括: 設(shè)置單元，設(shè)置是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式； 預(yù)測參數(shù)生成單元，依照由所述設(shè)置單元所設(shè)置的所述模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)；參數(shù)編碼單元，使用由所述預(yù)測參數(shù)生成單元所生成的所述預(yù)測參數(shù)，對所述參數(shù)進行編碼；以及 傳送單元，傳送由所述參數(shù)編碼單元所生成的所述參數(shù)的編碼數(shù)據(jù)、以及指示由所述設(shè)置單元所設(shè)置的所述模式的信息。
25.根據(jù)權(quán)利要求24所述的圖像處理裝置，還包括: 參數(shù)生成單元，生成所述參數(shù)；以及 圖像編碼單元，使用由所述參數(shù)生成單元所生成的所述參數(shù)，對所述圖像進行編碼， 其中 所述設(shè)置單元設(shè)置是否要使用所述時間預(yù)測的模式， 所述參數(shù)編碼單元使用所述預(yù)測參數(shù)，對由所述參數(shù)生成單元所生成的所述參數(shù)進行編碼，以及 所述傳送單元傳送由所述圖像編碼單元所生成的所述圖像的編碼數(shù)據(jù)。
26.一種用于圖像處理裝置的圖像處理方法，其中 所述圖像處理裝置: 設(shè)置是否要使用利用時間上位于當(dāng)前區(qū)域周圍的時間鄰近區(qū)域的參數(shù)執(zhí)行預(yù)測的時間預(yù)測的模式， 依照所述所設(shè)置的模式，生成用作所述參數(shù)的預(yù)測值的預(yù)測參數(shù)， 使用所生成的預(yù)測參數(shù)對所述參數(shù)進行編碼，以及 傳送所生成的所述參數(shù)的編碼數(shù)據(jù)以及指示所設(shè)置的模式的信息。
【文檔編號】H04N19/129GK103891285SQ201280050005
【公開日】2014年6月25日 申請日期:2012年10月19日 優(yōu)先權(quán)日:2011年10月20日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司