本申請是申請日為2012年11月22日、申請?zhí)枮?01280003437.x、發(fā)明名稱為“圖像處理裝置以及圖像處理方法”的發(fā)明專利申請的分案。

本發(fā)明涉及，利用在圖片中包含的預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，進行與該圖片不同的圖片中包含的預(yù)測單元的預(yù)測圖像的生成的圖像處理裝置。

背景技術(shù)：

與進行預(yù)測圖像的生成的圖像處理裝置有關(guān)的技術(shù)有，專利文獻1、專利文獻2及非專利文獻1所示的技術(shù)。

(現(xiàn)有技術(shù)文獻)

(專利文獻)

專利文獻1：日本專利第4625096號公報

專利文獻2：國際公開第2010/131422號

(非專利文獻)

非專利文獻1：“workingdraft3ofhigh－efficiencyvideocoding”，[online]，jointcollaborativeteamonvideocoding(jct－vc)，2011年9月8日，[2011年9月22日檢索]，互聯(lián)網(wǎng)<url:http://phenix.it－sudparis.eu/jct/doc_end_user/documents/6_torino/wg11/jctvc－f803－v3.zip>

然而，在圖像處理裝置進行預(yù)測圖像的生成時，會有進行預(yù)測單元的信息的傳輸?shù)那闆r。會有因該傳輸，而發(fā)生大的處理負(fù)荷、或大的處理延遲的情況。

技術(shù)實現(xiàn)要素：

于是，本發(fā)明，提供能夠使因預(yù)測單元的信息的傳輸而引起的處理負(fù)荷以及處理延遲變小的圖像處理裝置。

本發(fā)明的實施方案之一涉及的圖像處理裝置，利用在圖片中包含的預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，進行與該圖片不同的圖片中包含的預(yù)測單元的預(yù)測圖像的生成，所述圖像處理裝置具備：第一存儲部，用于存儲在預(yù)測單元的預(yù)測圖像的生成中所利用的一個以上的預(yù)測參數(shù)；以及第二存儲部，用于存儲在至少與一個圖片對應(yīng)的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)；以與預(yù)測圖像的生成順序不同的順序，將所述預(yù)測參數(shù)從所述第一存儲部傳輸?shù)剿龅诙鎯Σ俊?/p>

而且，這樣的總括性或具體的形態(tài)，可以由系統(tǒng)、方法、集成電路、計算機程序或計算可讀取的cd－rom等的非暫時的記錄介質(zhì)實現(xiàn)，也可以由系統(tǒng)、裝置、方法、集成電路、計算機程序以及記錄介質(zhì)的任意的組合實現(xiàn)。

根據(jù)本發(fā)明，傳輸次數(shù)減少。因此，因預(yù)測單元的信息的傳輸而引起的處理負(fù)荷以及處理延遲減少。

附圖說明

圖1是示出實施例1涉及的圖像處理裝置的結(jié)構(gòu)的圖。

圖2是示出實施例1涉及的與運動補償部有關(guān)的結(jié)構(gòu)的圖。

圖3a是示出實施例1涉及的序列的例子的圖。

圖3b是示出實施例1涉及的圖片的例子的圖。

圖3c是示出實施例1涉及的編碼流的例子的圖。

圖4a是示出實施例1涉及的編碼單元和編碼單元層數(shù)據(jù)的結(jié)構(gòu)例的圖。

圖4b是示出實施例1涉及的編碼單元數(shù)據(jù)的結(jié)構(gòu)例的圖。

圖5a是示出實施例1涉及的預(yù)測單元的尺寸的例子的圖。

圖5b是示出實施例1涉及的變換單元的尺寸的例子的圖。

圖6是示出實施例1涉及的當(dāng)前預(yù)測單元以及對應(yīng)預(yù)測單元的關(guān)系的圖。

圖7是示出實施例1涉及的對應(yīng)預(yù)測單元的位置的圖。

圖8是示出實施例1涉及的圖像處理裝置的工作的流程圖。

圖9是示出實施例1涉及的對編碼單元進行解碼的處理的流程圖。

圖10是示出實施例1涉及的運動矢量計算處理的流程圖。

圖11是示出實施例1涉及的傳輸?shù)膮^(qū)域的例子的圖。

圖12是示出不利用實施例1涉及的技術(shù)時的運動矢量計算處理的時序圖。

圖13是示出利用實施例1涉及的技術(shù)時的運動矢量計算處理的時序圖。

圖14是示出實施例2涉及的傳輸?shù)膮^(qū)域的概念圖。

圖15是示出實施例2涉及的運動矢量計算處理的流程圖。

圖16是示出實施例2涉及的傳輸?shù)膮^(qū)域的例子的圖。

圖17是示出實施例3涉及的傳輸?shù)膮^(qū)域的概念圖。

圖18是示出實施例3涉及的運動矢量計算處理的流程圖。

圖19是示出實施例3涉及的傳輸?shù)膮^(qū)域的例子的圖。

圖20是示出實施例4涉及的傳輸?shù)母拍顖D。

圖21是示出實施例4涉及的運動矢量計算處理的流程圖。

圖22是示出實施例4涉及的傳輸?shù)睦拥膱D。

圖23是示出實施例5涉及的運動矢量計算處理的流程圖。

圖24是示出實施例5涉及的傳輸?shù)睦拥膱D。

圖25是示出實施例5涉及的傳輸?shù)膮^(qū)域的第一例的圖。

圖26是示出實施例5涉及的傳輸?shù)膮^(qū)域的第二例的圖。

圖27a是示出實施例6涉及的圖像處理裝置的結(jié)構(gòu)的圖。

圖27b是示出實施例6涉及的圖像處理裝置的工作的流程圖。

圖28a是示出實施例7涉及的圖像處理裝置的結(jié)構(gòu)的圖。

圖28b是示出實施例7涉及的圖像處理裝置的工作的流程圖。

圖29是實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容提供系統(tǒng)的整體結(jié)構(gòu)圖。

圖30是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。

圖31是示出電視機的結(jié)構(gòu)例的方框圖。

圖32是示出對作為光盤的記錄介質(zhì)進行信息的讀寫的信息再生/記錄部的結(jié)構(gòu)例的方框圖。

圖33是示出作為光盤的記錄介質(zhì)的構(gòu)造例的圖。

圖34是示出實現(xiàn)圖像解碼處理的集成電路的結(jié)構(gòu)例的結(jié)構(gòu)圖。

圖35是示出實現(xiàn)圖像解碼處理及圖像編碼處理的集成電路的結(jié)構(gòu)例的結(jié)構(gòu)圖。

具體實施方式

(成為本發(fā)明的基礎(chǔ)的見解)

本發(fā)明人，對于“背景技術(shù)”的欄中記載的進行預(yù)測圖像的生成的圖像處理裝置，發(fā)現(xiàn)了問題的存在。以下，進行詳細(xì)說明。

對圖像進行編碼的圖像編碼裝置，將構(gòu)成圖像的各個圖片分割為分別由16x16像素構(gòu)成的多個宏塊(macroblock，也簡稱為mb)。而且，圖像編碼裝置，以光柵掃描順序，對各個宏塊進行編碼。圖像編碼裝置，編碼并壓縮圖像，從而生成編碼流。

對圖像進行解碼的圖像處理裝置，以光柵掃描順序，按每個宏塊，對該編碼流進行解碼，再生原來的圖像的各個圖片。例如，專利文獻1及專利文獻2，按每個宏塊對圖像進行解碼的裝置。

并且，以往的圖像編碼方式之一有itu－th.264標(biāo)準(zhǔn)。對以h.264標(biāo)準(zhǔn)編碼后的圖像進行解碼的圖像處理裝置，首先，讀入編碼流。而且，圖像處理裝置，各種頭信息的解碼后，進行可變長解碼。圖像處理裝置，將通過可變長解碼而得到的系數(shù)信息逆量化，來進行逆頻率變換。據(jù)此，生成差分圖像。

接著，圖像處理裝置，按照通過可變長解碼而得到的宏塊類型，進行幀內(nèi)預(yù)測或運動補償。在此，運動補償是對最大16x16像素進行的。據(jù)此，圖像處理裝置，生成預(yù)測圖像。然后，圖像處理裝置，將預(yù)測圖像與差分圖像相加，從而進行重構(gòu)處理。而且，圖像處理裝置，對重構(gòu)圖像進行內(nèi)環(huán)(inloop)濾波處理，從而對解碼對象圖像進行解碼。

內(nèi)環(huán)濾波器是，在重構(gòu)圖像作為參考圖像被存放到幀存儲器之前適用的濾波器。對于內(nèi)環(huán)濾波器，會有利用去塊濾波器、取樣自適應(yīng)偏置濾波器、以及有源環(huán)路濾波器的情況。另一方面，顯示時適用的濾波器，被稱為外環(huán)(outloop)濾波器。

h.264標(biāo)準(zhǔn)涉及的圖像編碼裝置，如上所述，以由16x16像素構(gòu)成的宏塊為單位，對圖像進行編碼。但是，作為編碼的單位的16x16像素，并不一定是最佳的。一般，圖像的分辨率越高，相鄰塊間的相關(guān)性就越高。因此，在圖像的分辨率高的情況下，圖像編碼裝置，通過將編碼的單位變大，來能夠更提高壓縮效率。

近幾年，進行4k2k(3840x2160像素)等那樣的、超高精細(xì)的顯示器的開發(fā)。因此，可以預(yù)測為圖像的分辨率越來越高。h.264標(biāo)準(zhǔn)涉及的圖像編碼裝置，隨著圖像的高分辨率化進展，越來越難以高效率地編碼高分辨率的圖像。

另一方面，在提出了的作為下一代的圖像編碼標(biāo)準(zhǔn)的技術(shù)中，有解決這樣的問題的技術(shù)(非專利文獻1)。根據(jù)該技術(shù)，與以往的h.264標(biāo)準(zhǔn)對應(yīng)的編碼單位塊的尺寸成為可變。而且，該技術(shù)涉及的圖像編碼裝置，也能夠以比以往的16x16像素大的塊來對圖像進行編碼，能夠適當(dāng)?shù)貙Τ呔?xì)圖像進行編碼。

具體而言，在非專利文獻1中，定義了作為編碼的數(shù)據(jù)單位的編碼單元(cu：codingunit)。該編碼單元是，與以往的編碼標(biāo)準(zhǔn)的宏塊同樣，能夠切換幀內(nèi)預(yù)測、和進行運動補償?shù)膸g預(yù)測的數(shù)據(jù)單位，被規(guī)定為編碼的最基本的塊。

該編碼單元的尺寸是，8x8像素、16x16像素、32x32像素、64x64像素之中的任一個。最大的編碼單元，被稱為最大編碼單元(lcu：largestcodingunit)。

進而，定義了作為頻率變換的數(shù)據(jù)單位的變換單元(tu：transformunit，也被稱為頻率變換單元)。該變換單元被設(shè)定為，4x4像素、8x8像素、16x16像素、16x12像素、32x32像素等的4x4像素以上的各種矩形的尺寸。

并且，進一步，定義了作為幀內(nèi)預(yù)測或幀間預(yù)測的數(shù)據(jù)單位的預(yù)測單元(pu：predictionunit)。預(yù)測單元，在編碼單元的內(nèi)部被設(shè)定為，64x64像素、64x32像素、32x64像素、32x32像素、32x16像素、16像素x32像素、16x12像素等的4x4像素以上各種矩形的尺寸。預(yù)測單元，最大為64x64像素。并且，按每個預(yù)測單元進行預(yù)測。

圖像處理裝置，在進行預(yù)測單元的圖像的預(yù)測時，會有參考其他的預(yù)測單元的信息的情況。因此，圖像處理裝置，需要進行預(yù)測單元的信息的傳輸。因該傳輸，而處理負(fù)荷及處理延遲變大。以下，進行更具體說明。

運動補償是，對預(yù)測單元進行的。例如，圖像處理裝置，對作為解碼對象的預(yù)測單元的當(dāng)前預(yù)測單元，進行運動補償。此時，圖像處理裝置，計算當(dāng)前預(yù)測單元的運動補償所需要的運動矢量。對于當(dāng)前預(yù)測單元的運動矢量的計算，會有利用作為在時間上與當(dāng)前預(yù)測單元相鄰的預(yù)測單元的對應(yīng)預(yù)測單元的信息的情況。

在此情況下，圖像處理裝置，參考與包含當(dāng)前預(yù)測單元的圖片不同的圖片中包含的對應(yīng)預(yù)測單元的預(yù)測參數(shù)，計算當(dāng)前預(yù)測單元的運動矢量。預(yù)測參數(shù)是，在預(yù)測圖像的生成中所利用的參數(shù)，包含示出利用了幀內(nèi)預(yù)測以及運動補償(幀間預(yù)測)的哪一方的預(yù)測模式、運動矢量、以及參考圖片號等的信息。

并且，預(yù)測參數(shù)，會有被稱為運動矢量信息、或colpu信息的情況。并且，包含當(dāng)前預(yù)測單元的圖片，會有被稱為當(dāng)前圖片的情況。并且，與當(dāng)前圖片不同的圖片，會有被稱為co－located圖片、colpic、或?qū)?yīng)圖片的情況。并且，對應(yīng)圖片中包含的對應(yīng)預(yù)測單元，會有被稱為co－located宏塊或colpu的情況。

在非專利文獻1的情況下，圖像處理裝置，首先，參考作為第一對應(yīng)預(yù)測單元的預(yù)測參數(shù)的第一預(yù)測參數(shù)。第一對應(yīng)預(yù)測單元是，對應(yīng)圖片中包含的對應(yīng)預(yù)測單元，且與當(dāng)前預(yù)測單元的右下的位置對應(yīng)。

在不能利用第一預(yù)測參數(shù)的情況下，圖像處理裝置，參考作為第二對應(yīng)預(yù)測單元的預(yù)測參數(shù)的第二預(yù)測參數(shù)。第二對應(yīng)預(yù)測單元是，對應(yīng)圖片中包含的對應(yīng)預(yù)測單元，且與當(dāng)前預(yù)測單元的位置對應(yīng)。不能利用第一預(yù)測參數(shù)的情況有，第一對應(yīng)預(yù)測單元以幀內(nèi)預(yù)測被編碼的情況，或者，第一對應(yīng)預(yù)測單元為對應(yīng)圖片的外部的情況等。

在能夠利用第一預(yù)測參數(shù)的情況下，圖像處理裝置，通過利用第一預(yù)測參數(shù)進行非專利文獻1所示的計算，從而計算運動矢量。在不能利用第一預(yù)測參數(shù)、能夠利用第二預(yù)測參數(shù)的情況下，圖像處理裝置，通過利用第二預(yù)測參數(shù)進行非專利文獻1所示的計算，從而計算運動矢量。

在不能利用第一預(yù)測參數(shù)及第二預(yù)測參數(shù)這雙方的情況下，圖像處理裝置，對運動矢量的計算，不利用對應(yīng)預(yù)測單元的預(yù)測參數(shù)。

如上所述，在非專利文獻1的情況下，在當(dāng)前預(yù)測單元的預(yù)測圖像的生成時，首先，參考第一預(yù)測參數(shù)。在不能利用第一預(yù)測參數(shù)的情況下，參考第二預(yù)測參數(shù)。也就是說，優(yōu)先利用第一預(yù)測參數(shù)。據(jù)此，有效地利用右下的信息，編碼效率提高。

然而，在根據(jù)第一預(yù)測參數(shù)判斷第二預(yù)測參數(shù)的要否的處理中，頻繁發(fā)生向保存有這樣的預(yù)測參數(shù)的存儲部的通信。因此，因運動矢量計算處理而引起的負(fù)荷以及延遲變大。

專利文獻1涉及的解碼裝置，先行獲得在正在解碼的宏塊以后的宏塊的解碼中利用的信息。據(jù)此，用于獲得信息的傳輸時間被隱藏。但是，在非專利文獻1中，在預(yù)測圖像的生成中利用的信息，有選擇地被切換為第一預(yù)測參數(shù)以及第二預(yù)測參數(shù)的任一方。因此，預(yù)先獲得在預(yù)測圖像的生成中利用的信息是困難的。

在專利文獻2中，根據(jù)宏塊類型，先行判斷是否需要co－located宏塊的信息。而且，在不需要co－located宏塊的信息的情況下，不傳輸co－located宏塊的信息。據(jù)此，減少傳輸量。

但是，在非專利文獻1中，為了判斷第二預(yù)測參數(shù)的傳輸?shù)囊瘢枰谝活A(yù)測參數(shù)的傳輸。而且，根據(jù)判斷的結(jié)果，會有還需要第二預(yù)測參數(shù)的傳輸?shù)那闆r。因此，即使在利用專利文獻2技術(shù)的情況下，因傳輸處理而引起的處理負(fù)荷也不減少。

也就是說，即使在利用專利文獻1或?qū)＠墨I2所示的情況下，也頻繁發(fā)生向保存有預(yù)測參數(shù)的存儲部的通信。因此，處理負(fù)荷以及處理延遲變大。

為了解決這樣的問題，本發(fā)明的實施方案之一涉及的圖像處理裝置，利用在圖片中包含的預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，進行與該圖片不同的圖片中包含的預(yù)測單元的預(yù)測圖像的生成，所述圖像處理裝置具備：第一存儲部，用于存儲在至少與一個圖片對應(yīng)的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)；第二存儲部，用于存儲在所述多個預(yù)測單元中的兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)；以及傳輸部，將用于預(yù)測圖像的生成的所述兩個以上的預(yù)測參數(shù)從所述第一存儲部一起傳輸?shù)剿龅诙鎯Σ浚蛘?，將在預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ俊?/p>

據(jù)此，預(yù)測單元的信息的傳輸次數(shù)減少。因此，因預(yù)測單元的信息的傳輸而引起的處理負(fù)荷以及處理延遲減少。

例如，也可以是，所述傳輸部，將分別包含運動矢量的信息的所述兩個以上的預(yù)測參數(shù)一起傳輸。

據(jù)此，高效率地傳輸運動矢量的信息。因此，利用其他的預(yù)測單元的運動矢量時的處理負(fù)荷以及處理延遲減少。

并且，例如，也可以是，所述傳輸部，將用于預(yù)測圖像的生成的所述兩個以上的預(yù)測參數(shù)從所述第一存儲部一起傳輸?shù)剿龅诙鎯Σ俊?/p>

據(jù)此，高效率地傳輸用于預(yù)測圖像的生成的預(yù)測參數(shù)。因此，因用于預(yù)測圖像的生成的預(yù)測參數(shù)的傳輸而引起的處理負(fù)荷以及處理延遲減少。

并且，例如，也可以是，所述傳輸部，將在預(yù)測單元的預(yù)測圖像的生成中有可能利用的所述兩個以上的預(yù)測參數(shù)一起傳輸。

據(jù)此，能夠抑制預(yù)測參數(shù)的傳輸?shù)姆磸?fù)。因此，處理負(fù)荷以及處理延遲減少。

并且，例如，也可以是，所述傳輸部，將包含(i)在第二預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)、以及(ii)在第三預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)的所述兩個以上的預(yù)測參數(shù)一起傳輸，所述第二預(yù)測單元是與包含第一預(yù)測單元的第一圖片不同的第二圖片中包含的、與進行預(yù)測圖像的生成的所述第一預(yù)測單元的右下的位置對應(yīng)的預(yù)測單元，所述第三預(yù)測單元是所述第二圖片中包含的、與所述第一預(yù)測單元的位置對應(yīng)的預(yù)測單元。

據(jù)此，同時將與右下的位置對應(yīng)的預(yù)測參數(shù)、以及與同一位置對應(yīng)的預(yù)測參數(shù)一起傳輸。因此，傳輸次數(shù)減少。

并且，例如，也可以是，所述傳輸部，將包含在預(yù)測單元的預(yù)測圖像的生成中有可能利用的預(yù)測參數(shù)和在該預(yù)測單元的預(yù)測圖像的生成中沒有可能利用的預(yù)測參數(shù)的所述兩個以上的預(yù)測參數(shù)一起傳輸。

據(jù)此，以一次的傳輸，傳輸更多的預(yù)測參數(shù)。因此，能夠抑制預(yù)測參數(shù)的傳輸?shù)姆磸?fù)。因而，處理負(fù)荷以及處理延遲減少。

并且，例如，也可以是，所述傳輸部，將用于預(yù)先規(guī)定的最大編碼單元中包含的所有的預(yù)測單元的預(yù)測圖像的生成的所述兩個以上的預(yù)測參數(shù)一起傳輸。

據(jù)此，在最大編碼單元中包含的多個預(yù)測單元的預(yù)測圖像的生成中，能夠抑制傳輸?shù)姆磸?fù)。因而，處理負(fù)荷以及處理延遲減少。

并且，例如，也可以是，所述傳輸部，將在預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ俊?/p>

據(jù)此，高效率地傳輸在預(yù)測圖像的生成中所利用的預(yù)測參數(shù)。因此，因在預(yù)測圖像的生成中所利用的預(yù)測參數(shù)的傳輸而引起的處理負(fù)荷以及處理延遲減少。

并且，例如，也可以是，所述傳輸部，將在空間上彼此相鄰的所述兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)，從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ恐械倪B續(xù)的地址。

據(jù)此，將多個預(yù)測參數(shù)一起傳輸?shù)竭B續(xù)的地址。一起傳輸?shù)亩鄠€預(yù)測參數(shù)，與空間上相鄰的多個預(yù)測單元對應(yīng)。因此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與空間上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，例如，也可以是，所述傳輸部，將在空間上的水平方向上彼此相鄰的所述兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)，從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ恐械倪B續(xù)的地址。

據(jù)此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與水平方向上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，例如，也可以是，所述傳輸部，將在空間上的垂直方向上彼此相鄰的所述兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)，從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ恐械倪B續(xù)的地址。

據(jù)此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與垂直方向上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，例如，也可以是，所述傳輸部，將在預(yù)先規(guī)定的最大編碼單元中包含的所有的預(yù)測單元的預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)一起傳輸。

據(jù)此，在最大編碼單元中包含的多個預(yù)測單元的預(yù)測圖像的生成中，能夠抑制傳輸?shù)姆磸?fù)。因此，處理負(fù)荷以及處理延遲減少。

并且，例如，也可以是，所述傳輸部，將在處理順序上連續(xù)的所述兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)，從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ恐械倪B續(xù)的地址。

據(jù)此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與處理順序上連續(xù)的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，例如，也可以是，所述傳輸部，通過復(fù)制在預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，從而生成與該預(yù)測單元中包含的等間隔的多個坐標(biāo)位置對應(yīng)的多個預(yù)測參數(shù)，將生成后的所述多個預(yù)測參數(shù)分別與其他的預(yù)測參數(shù)作為所述兩個以上的預(yù)測參數(shù)，從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ俊?/p>

據(jù)此，以后，容易將與預(yù)測單元中包含的坐標(biāo)位置對應(yīng)的預(yù)測參數(shù)，作為用于預(yù)測圖像的生成的預(yù)測參數(shù)來傳輸。

并且，例如，也可以是，圖像處理裝置還具備預(yù)測圖像生成部，該預(yù)測圖像生成部，利用從所述第一存儲部傳輸?shù)剿龅诙鎯Σ康念A(yù)測參數(shù)進行預(yù)測單元的預(yù)測圖像的生成。

據(jù)此，利用傳輸?shù)念A(yù)測參數(shù)、即輸入的預(yù)測參數(shù)，進行適當(dāng)?shù)念A(yù)測。

并且，例如，也可以是，所述圖像處理裝置還具備預(yù)測圖像生成部，該預(yù)測圖像生成部，利用從所述第一存儲部一起傳輸?shù)剿龅诙鎯Σ康乃鰞蓚€以上的預(yù)測參數(shù)之中的一個預(yù)測參數(shù)進行預(yù)測單元的預(yù)測圖像的生成。

據(jù)此，即使在有選擇地利用多個預(yù)測參數(shù)中的一個的情況下，也由于將多個預(yù)測參數(shù)一起傳輸，因此能夠抑制傳輸?shù)姆磸?fù)。因此，處理負(fù)荷以及處理延遲減少。

而且，這樣的總括性或具體的形態(tài)，可以由系統(tǒng)、方法、集成電路、計算機程序或計算可讀取的cd－rom等的非暫時的記錄介質(zhì)實現(xiàn)，也可以由系統(tǒng)、裝置、方法、集成電路、計算機程序或記錄介質(zhì)的任意的組合實現(xiàn)。

以下，利用附圖詳細(xì)說明本發(fā)明的實施例。而且，以下說明的實施例，都示出總括性或具體的例子。以下的實施例所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置以及連接形態(tài)、步驟、步驟的順序等，是一個例子，而不是限定本發(fā)明的宗旨。并且，對于以下的實施例的構(gòu)成要素中的、示出最上位概念的獨立請求項中沒有記載的構(gòu)成要素，作為任意的構(gòu)成要素進行說明。

并且，64x64像素、以及32x32像素等的表現(xiàn)分別意味著，64像素x64像素、以及32像素x32像素等的尺寸。

并且，以下，塊、數(shù)據(jù)單位及編碼單元等的表現(xiàn)分別意味著，匯集的區(qū)域。會有他們分別意味著圖像區(qū)域的情況?；蛘?，會有他們分別意味著編碼流中的數(shù)據(jù)區(qū)域的情況。

并且，圖像也可以是，構(gòu)成靜止畫像或運動圖像的多個圖片、一個圖片、以及圖片的一部分等的任一個。

(實施例1)

(1－1.概要)

首先，說明本實施例涉及的圖像處理裝置的概要。本實施例涉及的圖像處理裝置，參照對應(yīng)預(yù)測單元的預(yù)測參數(shù)，計算當(dāng)前預(yù)測單元的運動矢量。此時，圖像處理裝置，投機獲得在當(dāng)前預(yù)測單元的預(yù)測圖像的生成中有可能利用的所有的預(yù)測參數(shù)。據(jù)此，用于獲得對應(yīng)預(yù)測單元的預(yù)測參數(shù)的存儲器訪問次數(shù)減少。因此，解碼處理整體成為高速化。

(1－2.結(jié)構(gòu))

接著，說明本實施例涉及的圖像處理裝置的結(jié)構(gòu)。

圖1是本實施例涉及的圖像處理裝置的結(jié)構(gòu)圖。本實施例涉及的圖像處理裝置具備，控制部501、幀存儲器502、重構(gòu)圖像存儲器509、可變長解碼部503、逆量化部504、逆頻率變換部505、運動補償部506、幀內(nèi)預(yù)測部507、重構(gòu)部508、內(nèi)環(huán)濾波器部510及運動矢量運算部511。

控制部501，控制圖像處理裝置整體。幀存儲器502是，用于存儲解碼后的圖像數(shù)據(jù)的存儲器。重構(gòu)圖像存儲器509是，用于存儲生成后的重構(gòu)圖像的一部分的存儲器?？勺冮L解碼部503，讀入編碼流，對可變長碼進行解碼。逆量化部504，進行逆量化。逆頻率變換部505，進行逆頻率變換。

運動矢量運算部511，根據(jù)預(yù)測運動矢量以及差分運動矢量等，計算運動矢量。運動矢量運算部511也可以，根據(jù)對應(yīng)預(yù)測單元的信息，計算運動矢量。而且，運動矢量運算部511，將運動矢量輸出到運動補償部506。運動補償部506，從幀存儲器502讀出參考圖像，進行運動補償，生成預(yù)測圖像。幀內(nèi)預(yù)測部507，從重構(gòu)圖像存儲器509讀出參考圖像，進行幀內(nèi)預(yù)測，生成預(yù)測圖像。

重構(gòu)部508，將差分圖像和預(yù)測圖像相加來生成重構(gòu)圖像，將重構(gòu)圖像的一部分存放到重構(gòu)圖像存儲器509。內(nèi)環(huán)濾波器部510，除去重構(gòu)圖像的塊聲，使重構(gòu)圖像成為高畫質(zhì)化。

圖2是本實施例涉及的運動補償部506的周邊的結(jié)構(gòu)圖。對于與圖1同樣的構(gòu)成要素分配相同的符號，省略說明。圖2中，除了圖1所示的構(gòu)成要素以外，還示出dma(directmemoryaccess：直接存儲器訪問)控制部512、參考圖像存儲部513、預(yù)測圖像存儲部514以及運動矢量存儲部515。他們，也可以被包含在運動補償部506中。并且，運動矢量存儲部515也可以被包含在運動矢量運算部511中。

dma控制部512，根據(jù)當(dāng)前預(yù)測單元的坐標(biāo)以及尺寸，從幀存儲器502向運動矢量存儲部515，傳輸對應(yīng)預(yù)測單元的預(yù)測參數(shù)。運動矢量存儲部515，存儲由dma控制部512傳輸?shù)念A(yù)測參數(shù)。dma控制部512，從運動矢量存儲部515向幀存儲器502，傳輸包含由運動矢量運算部511計算出的運動矢量的預(yù)測參數(shù)。

并且，dma控制部512，根據(jù)由運動矢量運算部511計算出的運動矢量，從幀存儲器502向參考圖像存儲部513傳輸參考圖像。在參考圖像存儲部513中，存儲由dma控制部512傳輸?shù)膮⒖紙D像。并且，在預(yù)測圖像存儲部514中，存儲由運動補償部506生成的預(yù)測圖像。

(1－3.工作)

接著，說明本實施例涉及的圖像處理裝置的工作。本實施例涉及的圖像處理裝置解碼的編碼流，由編碼單元、變換單元、和預(yù)測單元構(gòu)成。

編碼單元是，以64x64像素至8x8像素的尺寸設(shè)定的、能夠切換幀內(nèi)預(yù)測和幀間預(yù)測的數(shù)據(jù)單位。變換單元，在編碼單元的內(nèi)部的區(qū)域中，以64x64像素至4x4像素的尺寸設(shè)定。預(yù)測單元，在編碼單元的內(nèi)部的區(qū)域中，以64x64像素至4x4像素的尺寸設(shè)定，具有用于幀內(nèi)預(yù)測的預(yù)測模式、或者用于幀間預(yù)測的運動矢量。以下，利用圖3a至圖5b說明編碼流的結(jié)構(gòu)。

圖3a及圖3b示出，本實施例涉及的圖像處理裝置解碼的圖像的層次結(jié)構(gòu)。如圖3a，多個圖片的集合，被稱為序列。并且，如圖3b，各個圖片被分割為片，各個片還被分割為編碼單元。也會有圖片不被分割為片的情況。在本實施例中，最大編碼單元的尺寸為，64x64像素。

圖3c是示出本實施例涉及的編碼流的圖。圖3a以及圖3b所示的數(shù)據(jù)分層地被編碼，從而得到圖3c所示的編碼流。

圖3c所示的編碼流，由控制序列的序列頭、控制圖片的圖片頭、控制片的片頭、以及編碼單元層數(shù)據(jù)(cu層數(shù)據(jù))構(gòu)成。在h.264標(biāo)準(zhǔn)中，序列頭，也被稱為sps(sequenceparameterset：序列參數(shù)集)，圖片頭，也被稱為pps(pictureparameterset：圖片參數(shù)集)。

圖4a是示出本實施例涉及的編碼單元和編碼單元層數(shù)據(jù)的結(jié)構(gòu)例的圖。與編碼單元對應(yīng)的編碼單元層數(shù)據(jù)，由cu分割標(biāo)志、以及cu數(shù)據(jù)(編碼單元數(shù)據(jù))構(gòu)成。該cu分割標(biāo)志，在“1”的情況下，示出將編碼單元4分割，在“0”的情況下，示出不將編碼單元4分割。在圖4a中，64x64像素的編碼單元，不被分割。也就是說，cu分割標(biāo)志是“0”。

圖4b是示出本實施例涉及的cu數(shù)據(jù)的結(jié)構(gòu)例的圖。cu數(shù)據(jù)包含，cu類型、運動矢量或幀內(nèi)預(yù)測模式、以及系數(shù)。根據(jù)cu類型，決定預(yù)測單元的尺寸。

圖5a是示出能夠選擇的預(yù)測單元的尺寸的例子的圖。具體而言，示出64x64像素、32x64像素、64x32像素、32x32像素、16x32像素、32x16像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、以及4x4像素的預(yù)測單元。預(yù)測單元的尺寸是，從4x4像素以上的尺寸中能夠選擇的。并且，預(yù)測單元的形狀也可以是長方形。

而且，按每個預(yù)測單元，指定運動矢量或幀內(nèi)預(yù)測模式。在本實施例中，由于僅利用運動矢量，因此，在圖5b中僅示出運動矢量。并且，如圖5a，會有將正方形分割為1:3而得到的16x64像素的預(yù)測單元及48x64像素的預(yù)測單元被選擇的情況。

圖5b是示出能夠選擇的變換單元的尺寸的例子的圖。具體而言，示出32x32像素、16x32像素、32x16像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、以及4x4像素等的預(yù)測單元。如圖5b，會有將正方形分割為1:3而得到的8x32像素的變換單元及24x32像素的變換單元被選擇的情況。

圖6是示出本實施例涉及的當(dāng)前預(yù)測單元以及對應(yīng)預(yù)測單元的關(guān)系的圖。當(dāng)前預(yù)測單元是，解碼對象(預(yù)測對象)的預(yù)測單元。當(dāng)前預(yù)測單元，被包含在當(dāng)前圖片中。對應(yīng)圖片是，與當(dāng)前圖片不同的圖片。第一對應(yīng)預(yù)測單元是，對應(yīng)圖片中包含的預(yù)測單元，且與當(dāng)前預(yù)測單元的右下的位置對應(yīng)。第二對應(yīng)預(yù)測單元是，對應(yīng)圖片中包含的預(yù)測單元，且與當(dāng)前預(yù)測單元的位置對應(yīng)。

對于當(dāng)前預(yù)測單元的預(yù)測圖像的生成，相對于在第二對應(yīng)預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，優(yōu)先利用在第一對應(yīng)預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)。在不能利用在第一對應(yīng)預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)的情況下，對于當(dāng)前預(yù)測單元的預(yù)測圖像的生成，利用在第二對應(yīng)預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)。

圖7是示出本實施例涉及的對應(yīng)預(yù)測單元的位置的例子的圖。第一對應(yīng)預(yù)測單元，與當(dāng)前預(yù)測單元的右下的位置對應(yīng)。第二對應(yīng)預(yù)測單元，與當(dāng)前預(yù)測單元的位置對應(yīng)。更具體地說，第一對應(yīng)預(yù)測單元是，包含針對當(dāng)前預(yù)測單元的右下的坐標(biāo)位置，以16像素進行舍入處理而得到的位置的預(yù)測單元。第二對應(yīng)預(yù)測單元是，包含針對當(dāng)前預(yù)測單元的中央的坐標(biāo)位置，以16像素進行舍入處理而得到的位置的預(yù)測單元。

而且，對應(yīng)預(yù)測單元的位置，不僅限于根據(jù)所述的基準(zhǔn)決定的位置。也可以根據(jù)其他的基準(zhǔn)決定，對應(yīng)預(yù)測單元的位置。

圖8是示出編碼流中包含的1序列的解碼工作的流程圖。利用圖8示出的流程圖，說明圖1示出的圖像處理裝置的工作。圖像處理裝置，首先，對序列頭進行解碼(s901)。此時，可變長解碼部503，根據(jù)控制部501的控制，對編碼流進行解碼。接著，圖像處理裝置，同樣，對圖片頭進行解碼(s902)，對片頭進行解碼(s903)。

接著，圖像處理裝置，對編碼單元進行解碼(s904)。對于編碼單元的解碼，在后面進行詳細(xì)說明。圖像處理裝置，在編碼單元的解碼后，判斷解碼后的編碼單元是否為片的最后的編碼單元(s905)。而且，在解碼后的編碼單元不是片的最后的情況下(s905的“否”)，再次，圖像處理裝置，對下一個編碼單元進行解碼(s904)。

進而，圖像處理裝置，判斷包含解碼后的編碼單元的片是否為圖片的最后的片(s906)。而且，在片不是圖片的最后的情況下(s906的“否”)，圖像處理裝置，再次，對片頭進行解碼(s903)。

進而，圖像處理裝置，判斷包含解碼后的編碼單元的圖片是否為序列的最后的圖片(s907)。而且，在圖片不是序列的最后的情況下(s907的“否”)，圖像處理裝置，再次，對圖片頭進行解碼(s902)。圖像處理裝置，在序列的所有的圖片的解碼后，結(jié)束一連串的解碼工作。

圖9是示出一個編碼單元的解碼工作的流程圖。利用圖9示出的流程圖，說明圖8的編碼單元的解碼(s904)的工作。

首先，可變長解碼部503，針對輸入的編碼流中包含的處理對象的編碼單元，進行可變長解碼(s1001)。

在可變長解碼處理(s1001)中，可變長解碼部503，輸出編碼單元類型、幀內(nèi)預(yù)測模式、運動矢量及量化參數(shù)等的編碼信息。在本實施例中，被輸出的編碼信息中包含，編碼單元的尺寸、編碼單元的處理順序、預(yù)測單元的尺寸、變換單元的尺寸、以及變換單元的處理順序等。并且，可變長解碼部503，輸出與各個像素數(shù)據(jù)對應(yīng)的系數(shù)信息。

編碼信息，被輸出到控制部501，然后，被輸入到各個處理部。系數(shù)信息，被輸出到下一個逆量化部504。接著，逆量化部504，進行逆量化處理(s1002)。然后，逆頻率變換部505，進行逆頻率變換來生成差分圖像(s1003)。

接著，控制部501，判斷對處理對象的編碼單元利用幀間預(yù)測還是利用幀內(nèi)預(yù)測(s1004)。

在利用幀間預(yù)測的情況下(s1004的“是”)，控制部501，啟動運動矢量運算部511。運動矢量運算部511，進行運動矢量的計算(s1005)。而且，運動矢量運算部511，從幀存儲器502傳輸運動矢量所指示的參考圖像。接著，控制部501，啟動運動補償部506。而且，運動補償部506，生成1/2像素精度或1/4像素精度等的預(yù)測圖像(s1006)。

另一方面，在不利用幀間預(yù)測的情況下(s1004的“否”)，即，在利用幀內(nèi)預(yù)測的情況下，控制部501，啟動幀內(nèi)預(yù)測部507。幀內(nèi)預(yù)測部507，進行幀內(nèi)預(yù)測的處理，生成預(yù)測圖像(s1007)。

重構(gòu)部508，將由運動補償部506或幀內(nèi)預(yù)測部507輸出的預(yù)測圖像、與由逆頻率變換部505輸出的差分圖像相加，從而生成重構(gòu)圖像(s1008)。

生成后的重構(gòu)圖像，被輸入到內(nèi)環(huán)濾波器部510。同時，用于幀內(nèi)預(yù)測的部分，被存放到重構(gòu)圖像存儲器509。最后，內(nèi)環(huán)濾波器部510，對得到的重構(gòu)圖像，進行用于減少噪聲的內(nèi)環(huán)濾波處理。而且，內(nèi)環(huán)濾波器部510，向幀存儲器502存放結(jié)果(s1009)。以上，圖像處理裝置，結(jié)束編碼單元的解碼工作。

在圖9的例子中，所述的多個處理被分割為多個階段。而且，這樣的多個處理，構(gòu)成流水線處理。

圖10是示出本實施例涉及的運動矢量計算處理的流程圖。圖10中示出，運動矢量運算部511利用對應(yīng)預(yù)測單元的運動矢量，計算當(dāng)前預(yù)測單元的運動矢量的處理。

首先，運動矢量運算部511，根據(jù)當(dāng)前預(yù)測單元的坐標(biāo)以及尺寸，計算第一對應(yīng)預(yù)測單元的位置。而且，dma控制部512，根據(jù)第一對應(yīng)預(yù)測單元的位置，從幀存儲器502向運動矢量存儲部515，傳輸作為第一對應(yīng)預(yù)測單元的預(yù)測參數(shù)的第一預(yù)測參數(shù)(s1100)。據(jù)此，運動矢量運算部511，能夠獲得第一預(yù)測參數(shù)。

并且，同樣，運動矢量運算部511，根據(jù)當(dāng)前預(yù)測單元的坐標(biāo)以及尺寸，計算第二對應(yīng)預(yù)測單元的位置。而且，dma控制部512，根據(jù)第二對應(yīng)預(yù)測單元的位置，從幀存儲器502向運動矢量存儲部515，傳輸作為第二對應(yīng)預(yù)測單元的預(yù)測參數(shù)的第二預(yù)測參數(shù)(s1101)。據(jù)此，運動矢量運算部511，能夠獲得第二預(yù)測參數(shù)。

接著，運動矢量運算部511，判斷是否能夠利用傳輸?shù)竭\動矢量存儲部515的第一預(yù)測參數(shù)(s1102)。例如，運動矢量運算部511，通過判斷第一預(yù)測參數(shù)所示的預(yù)測模式是否為幀間預(yù)測，從而判斷是否能夠利用第一預(yù)測參數(shù)。

在能夠利用第一預(yù)測參數(shù)的情況下(s1102的“是”)，運動矢量運算部511，利用第一預(yù)測參數(shù)計算運動矢量(s1103)。

在不能利用第一預(yù)測參數(shù)的情況下(s1102的“否”)，運動矢量運算部511，判斷是否能夠利用傳輸?shù)竭\動矢量存儲部515的第二預(yù)測參數(shù)(s1104)。例如，運動矢量運算部511，通過判斷第二預(yù)測參數(shù)所示的預(yù)測模式是否為幀間預(yù)測，從而判斷是否能夠利用第二預(yù)測參數(shù)。

在能夠利用第二預(yù)測參數(shù)的情況下(s1104的“是”)，運動矢量運算部511，利用第二預(yù)測參數(shù)計算運動矢量(s1105)。在不能利用第二預(yù)測參數(shù)的情況下(s1104的“否”)，運動矢量運算部511，不根據(jù)對應(yīng)預(yù)測單元的預(yù)測參數(shù)計算運動矢量(s1106)。

圖11是示出通過圖10所示的處理來傳輸預(yù)測參的區(qū)域的例子的圖。圖11的上段示出，當(dāng)前圖片中包含的多個預(yù)測單元0至23。圖11的中段示出，對應(yīng)圖片中包含的多個預(yù)測單元0至47。

在該例子中，與當(dāng)前圖片的預(yù)測單元0對應(yīng)的第一對應(yīng)預(yù)測單元是，對應(yīng)圖片的預(yù)測單元40。并且，與當(dāng)前圖片的預(yù)測單元0對應(yīng)的第二對應(yīng)預(yù)測單元是，對應(yīng)圖片的預(yù)測單元0。因此，在預(yù)測當(dāng)前圖片的預(yù)測單元0的情況下，將對應(yīng)圖片的預(yù)測單元40的預(yù)測參數(shù)、和對應(yīng)圖片的預(yù)測單元0的預(yù)測參數(shù)一起傳輸。

并且，與當(dāng)前圖片的預(yù)測單元12對應(yīng)的第一對應(yīng)預(yù)測單元是，對應(yīng)圖片的預(yù)測單元13。并且，與當(dāng)前圖片的預(yù)測單元12對應(yīng)的第二對應(yīng)預(yù)測單元是，對應(yīng)圖片的預(yù)測單元3。因此，在預(yù)測當(dāng)前圖片的預(yù)測單元12的情況下，將對應(yīng)圖片的預(yù)測單元13的預(yù)測參數(shù)、和對應(yīng)圖片的預(yù)測單元3的預(yù)測參數(shù)一起傳輸。

根據(jù)以上的處理，圖像處理裝置，與是否能夠利用第一預(yù)測參數(shù)無關(guān)，而投機傳輸?shù)诙A(yù)測參數(shù)。據(jù)此，幀存儲器502的通信次數(shù)減少。據(jù)此，因存儲器訪問延遲而引起的處理延遲變小。

圖12示出不投機獲得預(yù)測參數(shù)的情況的例子。在圖12的上段，由于能夠利用第一預(yù)測參數(shù)，因此幀存儲器502的通信次數(shù)不增加。但是，在圖12的下段，由于不能利用第一預(yù)測參數(shù)，因此，需要另外指示，進行第二預(yù)測參數(shù)的傳輸。因此，幀存儲器502的通信次數(shù)增加。

圖13示出投機獲得預(yù)測參數(shù)的情況的例子。在圖13中，以一次的指示，將第一預(yù)測參數(shù)和第二預(yù)測參數(shù)一起傳輸。在圖13的上段，由于能夠利用第一預(yù)測參數(shù)，因此，利用被傳輸?shù)牡谝活A(yù)測參數(shù)、以及被傳輸?shù)牡诙A(yù)測參數(shù)之中的第一預(yù)測參數(shù)。在此情況下，幀存儲器502的通信次數(shù)不增加。

并且，在圖13的下段，由于不能利用第一預(yù)測參數(shù)，因此，利用被傳輸?shù)牡谝活A(yù)測參數(shù)、以及被傳輸?shù)牡诙A(yù)測參數(shù)之中的第二預(yù)測參數(shù)。在此情況下，幀存儲器502的通信次數(shù)也不增加。

如圖13，在投機獲得預(yù)測參數(shù)的情況下，向幀存儲器502的訪問次數(shù)減少。因此，因存儲器訪問延遲而引起的延遲時間小。與圖12的下段的情況相比，運動矢量的計算所需要的時間減少。

而且，在圖13例子中以一次傳輸?shù)臄?shù)據(jù)量，比圖12的例子大。因此，可以估計為數(shù)據(jù)被傳輸?shù)臅r間不減少。但是，因傳輸次數(shù)的削減，而包含因傳輸?shù)闹甘镜榷鸬拈_銷的整體的傳輸時間減少。傳輸次數(shù)的削減，特別有效于數(shù)據(jù)量比較小的預(yù)測參數(shù)的傳輸時間的削減。

(1－4.效果)

如此，本實施例涉及的圖像處理裝置，參考與對應(yīng)圖片中包含的多個對應(yīng)預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)，計算當(dāng)前圖片中包含的當(dāng)前預(yù)測單元的運動矢量。此時，投機傳輸多個預(yù)測參數(shù)。據(jù)此，向存儲器的訪問次數(shù)減少，解碼處理整體成為高速化。

(1－5.補充)

而且，在本實施例中，運動矢量的計算中參考的預(yù)測參數(shù)的數(shù)量是，兩個。但是，運動矢量的計算中參考的預(yù)測參數(shù)的數(shù)量也可以是，三個以上。

并且，在本實施例中，對應(yīng)圖片中的第一對應(yīng)預(yù)測單元的位置，與當(dāng)前預(yù)測單元的右下的位置對應(yīng)。并且，對應(yīng)圖片中的第二對應(yīng)預(yù)測單元的位置，與當(dāng)前預(yù)測單元的位置對應(yīng)。但是，各個對應(yīng)預(yù)測單元的位置，并不需要是該位置。各個對應(yīng)預(yù)測單元的位置也可以是，當(dāng)前預(yù)測單元的左下的位置、或者、當(dāng)前預(yù)測單元的下方的位置等的任何位置。

并且，對于各個處理部的結(jié)構(gòu)，其一部分或者全部，可以以由專用硬件的電路來實現(xiàn)，也可以以由處理器執(zhí)行的程序來實現(xiàn)。

并且，在本實施例中，幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514被示出為，存儲器或存儲部。但是，他們，只要是能夠存儲數(shù)據(jù)的存儲元件，就可以是存儲器、觸發(fā)器或寄存器等的任何結(jié)構(gòu)。進而，也可以將處理器的存儲區(qū)域的一部分、或高速緩存的一部分，作為幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514來利用。

并且，在本實施例中示出，作為圖像解碼裝置的圖像處理裝置。但是，圖像處理裝置，不僅限于圖像解碼裝置。以與解碼處理相反的次序執(zhí)行的圖像編碼裝置，同樣，也能夠進行預(yù)測參數(shù)的傳輸。

并且，本實施例，記載了運動補償?shù)睦印５牵瑘D像處理裝置，即使在幀內(nèi)預(yù)測的情況下，也通過執(zhí)行同樣的處理，能夠得到同樣的效果。而且，在此情況下，也可以替代運動矢量，而利用幀內(nèi)預(yù)測模式。當(dāng)然，也可以利用在預(yù)測圖像的生成中所利用的其他的信息。并且，在此情況下，也可以利用空間上不同的圖片、例如視點不同的圖片，以作為對應(yīng)圖片。當(dāng)然，也可以利用其他的圖片，以作為對應(yīng)圖片。

并且，本實施例所示的針對編碼單元、預(yù)測單元及變換單元的尺寸及形狀是例子，他們的尺寸及形狀，可以是任何尺寸及形狀。

(實施例2)

(2－1.概要)

首先，說明本實施例涉及的圖像處理裝置的概要。本實施例涉及的圖像處理裝置，參考對應(yīng)預(yù)測單元的預(yù)測參數(shù)，計算當(dāng)前預(yù)測單元的運動矢量。此時，圖像處理裝置，投機獲得包含在當(dāng)前預(yù)測單元的預(yù)測圖像的生成中沒有可能利用的預(yù)測參數(shù)的多個預(yù)測參數(shù)。據(jù)此，用于獲得對應(yīng)預(yù)測單元的預(yù)測參數(shù)的存儲器訪問次數(shù)減少。因此，解碼處理整體成為高速化。

并且，與實施例1相比，圖像處理裝置，投機獲得更多的預(yù)測參數(shù)。因此，存儲器訪問次數(shù)更減少。因此，與實施例1相比，解碼處理更成為高速化。

圖14示出由本實施例涉及的圖像處理裝置傳輸預(yù)測參數(shù)的區(qū)域。在本實施例中，傳輸?shù)膮^(qū)域中包含，第一對應(yīng)預(yù)測單元以及第二對應(yīng)預(yù)測單元。進而，其他的區(qū)域，也被包含在傳輸?shù)膮^(qū)域中。也就是說，不僅第一對應(yīng)預(yù)測單元的第一預(yù)測參數(shù)、以及第二對應(yīng)預(yù)測單元的第二預(yù)測參數(shù)，而將其他的預(yù)測參數(shù)也一起傳輸。

(2－2.結(jié)構(gòu))

圖1是本實施例涉及的圖像處理裝置的結(jié)構(gòu)圖。圖2是本實施例涉及的運動補償部506的周邊的結(jié)構(gòu)圖。對于本實施例涉及的圖像處理裝置的結(jié)構(gòu)，由于與實施例1全部相同，因此省略說明。

(2－3.工作)

在本實施例中，與實施例1同樣，利用圖3a至圖5b所示的編碼流的構(gòu)造。對于本實施例涉及的圖像處理裝置的工作流程，由于與圖8及圖9所示的實施例1的工作流程同樣，因此省略說明。

圖15是示出本實施例涉及的運動矢量運算部511的工作的流程圖。以下，對于本實施例涉及的運動矢量運算部511的工作，利用圖15進行說明。

首先，運動矢量運算部511，根據(jù)當(dāng)前預(yù)測單元的坐標(biāo)以及尺寸，計算第一對應(yīng)預(yù)測單元的位置。并且，運動矢量運算部511，同樣，計算第二對應(yīng)預(yù)測單元的位置。而且，運動矢量運算部511，判斷運動矢量存儲部515是否保持第一以及第二預(yù)測參數(shù)(s1200)。

在運動矢量存儲部515沒有保持需要的預(yù)測參數(shù)的情況下(s1200的“否”)，運動矢量運算部511，獲得至少包含第一以及第二預(yù)測參數(shù)的兩個以上的預(yù)測參數(shù)。此時，dma控制部512，將兩個以上的預(yù)測參數(shù)從幀存儲器502傳輸?shù)竭\動矢量存儲部515(s1201)。在運動矢量存儲部515已經(jīng)保持需要的預(yù)測參數(shù)的情況下(s1200的“是”)，不進行傳輸處理(s1201)。

而且，運動矢量運算部511也可以，除外運動矢量存儲部515保持的預(yù)測參數(shù)，傳輸兩個以上的預(yù)測參數(shù)。例如，在運動矢量存儲部515保持第二預(yù)測參數(shù)的情況下，運動矢量運算部511也可以，傳輸包含第一預(yù)測參數(shù)的兩個以上的預(yù)測參數(shù)。

接著，運動矢量運算部511，通過判斷運動矢量存儲部515的第一預(yù)測參數(shù)是否示出幀內(nèi)預(yù)測，從而判斷是否能夠利用第一預(yù)測參數(shù)。(s1202)。在能夠利用第一預(yù)測參數(shù)的情況下(s1202的“是”)，運動矢量運算部511，利用第一預(yù)測參數(shù)計算運動矢量(s1203)。

在不能利用第一預(yù)測參數(shù)的情況下(s1202的“否”)，運動矢量運算部511，通過判斷運動矢量存儲部515的第二預(yù)測參數(shù)是否示出幀內(nèi)預(yù)測，從而判斷是否能夠利用第二預(yù)測參數(shù)(s1204)。在能夠利用第二預(yù)測參數(shù)的情況下(s1204的“是”)，運動矢量運算部511，利用第二預(yù)測參數(shù)計算運動矢量(s1205)。

在不能利用第二預(yù)測參數(shù)的情況下(s1204的“否”)，運動矢量運算部511，不根據(jù)對應(yīng)預(yù)測單元的預(yù)測參數(shù)計算運動矢量(s1206)。

根據(jù)以上的處理，運動矢量運算部511，與是否能夠利用第一預(yù)測參數(shù)無關(guān)，而投機獲得第二預(yù)測參數(shù)。進而，運動矢量運算部511，也投機獲得其他的預(yù)測參數(shù)。據(jù)此，幀存儲器502的通信次數(shù)減少。并且，因存儲器訪問延遲而引起的處理延遲變小。

圖16示出本實施例中的投機傳輸預(yù)測參數(shù)的區(qū)域。而且，雖然圖16中沒有示出，但是，當(dāng)前圖片的多個預(yù)測單元的結(jié)構(gòu)，與圖11同樣。并且，圖16的對應(yīng)圖片的多個預(yù)測單元的結(jié)構(gòu)，與圖11同樣。

圖16所示的對應(yīng)圖片的圖(map)示出，坐標(biāo)位置與預(yù)測單元(其預(yù)測參數(shù))的對應(yīng)關(guān)系。例如，在幀存儲器502中，如對應(yīng)圖片的圖，坐標(biāo)位置與預(yù)測單元(其預(yù)測參數(shù))關(guān)聯(lián)。

圖像處理裝置，在對當(dāng)前圖片的預(yù)測單元12(參照圖11)進行處理時，傳輸對應(yīng)圖片的預(yù)測單元13的預(yù)測參數(shù)，以作為第一預(yù)測參數(shù)。并且，此時，圖像處理裝置，也一起投機傳輸對應(yīng)圖片的預(yù)測單元3的預(yù)測參數(shù)，以作為第二預(yù)測參數(shù)。

進而，圖像處理裝置，也一起投機傳輸對應(yīng)圖片的預(yù)測單元5、7、8以及22的預(yù)測參數(shù)(參照圖16)。據(jù)此，將作為當(dāng)前圖片的預(yù)測單元14的運動矢量的計算所需要的第一預(yù)測參數(shù)的對應(yīng)圖片的預(yù)測單元22的預(yù)測參數(shù)、以及作為第二預(yù)測參數(shù)的對應(yīng)圖片的預(yù)測單元5的預(yù)測參數(shù)也一起傳輸。

因此，幀存儲器502的通信次數(shù)減少。據(jù)此，因存儲器訪問延遲而引起的處理延遲變小。因此，運動矢量的計算所需要的時間減少。

(2－4.效果)

如此，圖像處理裝置，在利用對應(yīng)預(yù)測單元的預(yù)測參數(shù)計算運動矢量的情況下，投機傳輸包含在當(dāng)前預(yù)測單元的預(yù)測圖像的生成中沒有可能利用的預(yù)測參數(shù)的多個預(yù)測參數(shù)。據(jù)此，存儲器訪問次數(shù)減少，解碼處理整體成為高速化。

(2－5.補充)

而且，在本實施例中，運動矢量的計算中參考的預(yù)測參數(shù)的數(shù)量是，兩個。但是，運動矢量的計算中參考的預(yù)測參數(shù)的數(shù)量也可以是，三個以上。

并且，在本實施例中，對應(yīng)圖片中的第一對應(yīng)預(yù)測單元的位置，與當(dāng)前預(yù)測單元的右下的位置對應(yīng)。并且，對應(yīng)圖片中的第二對應(yīng)預(yù)測單元的位置，與當(dāng)前預(yù)測單元的位置對應(yīng)。但是，各個對應(yīng)預(yù)測單元的位置，并不需要是該位置。各個對應(yīng)預(yù)測單元的位置也可以是，當(dāng)前預(yù)測單元的左下的位置、或者、當(dāng)前預(yù)測單元的下方的位置等的任何位置。

并且，對于各個處理部的結(jié)構(gòu)，其一部分或者全部，可以以由專用硬件的電路來實現(xiàn)，也可以以由處理器執(zhí)行的程序來實現(xiàn)。

并且，在本實施例中，幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514被示出為，存儲器或存儲部。但是，他們，只要是能夠存儲數(shù)據(jù)的存儲元件，就可以是存儲器、觸發(fā)器或寄存器等的任何結(jié)構(gòu)。進而，也可以將處理器的存儲區(qū)域的一部分、或高速緩存的一部分，作為幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514來利用。

并且，在本實施例中示出，作為圖像解碼裝置的圖像處理裝置。但是，圖像處理裝置，不僅限于圖像解碼裝置。以與解碼處理相反的次序執(zhí)行的圖像編碼裝置，同樣，也能夠進行預(yù)測參數(shù)的傳輸。

并且，本實施例，記載了運動補償?shù)睦?。但是，圖像處理裝置，即使在幀內(nèi)預(yù)測的情況下，也通過執(zhí)行同樣的處理，能夠得到同樣的效果。而且，在此情況下，也可以替代運動矢量，而利用幀內(nèi)預(yù)測模式。當(dāng)然，也可以利用在預(yù)測圖像的生成中所利用的其他的信息。并且，在此情況下，也可以利用空間上不同的圖片、例如視點不同的圖片，以作為對應(yīng)圖片。當(dāng)然，也可以利用其他的圖片，以作為對應(yīng)圖片。

并且，本實施例所示的針對編碼單元、預(yù)測單元及變換單元的尺寸及形狀是例子，他們的尺寸及形狀，可以是任何尺寸及形狀。

(實施例3)

(3－1.概要)

首先，說明本實施例涉及的圖像處理裝置的概要。本實施例涉及的圖像處理裝置，參考對應(yīng)預(yù)測單元的預(yù)測參數(shù)，計算當(dāng)前預(yù)測單元的運動矢量。此時，圖像處理裝置，獲得包含當(dāng)前預(yù)測單元的最大編碼單元中包含的所有的預(yù)測單元的預(yù)測圖像的生成所需要的所有的預(yù)測參數(shù)。據(jù)此，用于獲得對應(yīng)預(yù)測單元的預(yù)測參數(shù)的存儲器訪問次數(shù)減少。因此，解碼處理整體成為高速化。

并且，與實施例1相比，圖像處理裝置，投機獲得更多的預(yù)測參數(shù)。因此，存儲器訪問次數(shù)更減少。因此，與實施例1相比，解碼處理更成為高速化。

圖17示出由本實施例涉及的圖像處理裝置傳輸預(yù)測參數(shù)的區(qū)域。在本實施例中，傳輸?shù)膮^(qū)域中包含，第一對應(yīng)預(yù)測單元以及第二對應(yīng)預(yù)測單元。進而，與最大編碼單元對應(yīng)的其他的區(qū)域，被包含在傳輸?shù)膮^(qū)域中。也就是說，不僅第一對應(yīng)預(yù)測單元的第一預(yù)測參數(shù)、以及第二對應(yīng)預(yù)測單元的第二預(yù)測參數(shù)，而將與最大編碼單元對應(yīng)的其他的預(yù)測參數(shù)也一起傳輸。

(3－2.結(jié)構(gòu))

圖1是本實施例涉及的圖像處理裝置的結(jié)構(gòu)的圖。圖2是本實施例涉及的運動補償部506的周邊的結(jié)構(gòu)圖。對于本實施例涉及的圖像處理裝置的結(jié)構(gòu)，由于與實施例1全部相同，因此省略說明。

(3－3.工作)

在本實施例中，與實施例1、2同樣，利用圖3a至圖5b所示的編碼流的構(gòu)造。對于本實施例涉及的圖像處理裝置的工作流程，由于與圖8及圖9所示的實施例1的工作流程同樣，因此省略說明。

圖18是示出本實施例涉及的運動矢量運算部511的工作的流程圖。以下，對于本實施例涉及的運動矢量運算部511的工作，利用圖18進行說明。

首先，運動矢量運算部511，根據(jù)包含當(dāng)前預(yù)測單元的最大編碼單元的坐標(biāo)以及尺寸，針對最大編碼單元中包含的所有的預(yù)測單元，計算第一以及第二對應(yīng)預(yù)測單元的位置。dma控制部512，從幀存儲器502向運動矢量存儲部515，傳輸與最大編碼單元中包含的所有的預(yù)測單元對應(yīng)的所有的第一以及第二預(yù)測參數(shù)(s1300)。

接著，運動矢量運算部511，針對當(dāng)前預(yù)測單元，通過判斷運動矢量存儲部515的第一預(yù)測參數(shù)是否示出幀內(nèi)預(yù)測，從而判斷是否能夠利用第一預(yù)測參數(shù)。(s1301)。在能夠利用第一預(yù)測參數(shù)的情況下(s1301的“是”)，運動矢量運算部511，利用第一預(yù)測參數(shù)計算運動矢量(s1302)。

在不能利用第二預(yù)測參數(shù)的情況下(s1301的“否”)，運動矢量運算部511，通過判斷運動矢量存儲部515的第二預(yù)測參數(shù)是否示出幀內(nèi)預(yù)測，從而判斷是否能夠利用第二預(yù)測參數(shù)(s1303)。在能夠利用第二預(yù)測參數(shù)的情況下(s1303的“是”)，運動矢量運算部511，利用第二預(yù)測參數(shù)計算運動矢量(s1304)。

在不能利用第二預(yù)測參數(shù)的情況下(s1303的“否”)，運動矢量運算部511，不根據(jù)對應(yīng)預(yù)測單元的預(yù)測參數(shù)計算運動矢量(s1305)。

在所述一連串的處理(s1301至s1305)完成之后，運動矢量運算部511，判斷針對包含當(dāng)前預(yù)測單元的最大編碼單元中包含的所有的預(yù)測單元的處理是否完成(s1306)。

而且，運動矢量運算部511，在針對所有的預(yù)測單元的處理沒有完成的情況下(s1306的“否”)，再次執(zhí)行一連串的處理(s1301至s1305)。在針對所有的預(yù)測單元的處理完成的情況下(s1306的“是”)，運動矢量運算部511，針對最大編碼單元中包含的所有的預(yù)測單元，結(jié)束運動矢量的計算。

根據(jù)以上的處理，運動矢量運算部511，投機獲得包含在當(dāng)前預(yù)測單元的最大編碼單元中包含的所有的預(yù)測單元的預(yù)測圖像的生成中有可能利用的所有的預(yù)測參數(shù)。據(jù)此，幀存儲器502的通信次數(shù)減少。并且，因存儲器訪問延遲而引起的處理延遲減少。

圖19示出投機傳輸預(yù)測參數(shù)的區(qū)域。而且，當(dāng)前圖片的多個預(yù)測單元的結(jié)構(gòu)，與圖11同樣。而且，圖19的粗邊線示出，最大編碼單元。并且，雖然圖19中沒有示出，但是，對應(yīng)圖片的多個預(yù)測單元的結(jié)構(gòu)，與圖16同樣。而且，與圖16同樣，像對應(yīng)圖片的圖那樣，坐標(biāo)位置與預(yù)測單元(其預(yù)測參數(shù))關(guān)聯(lián)。

本實施例涉及的圖像處理裝置，傳輸包含在當(dāng)前預(yù)測單元的最大編碼單元中包含的預(yù)測單元的預(yù)測圖像的生成中有可能利用的所有的預(yù)測參數(shù)。如圖19，圖像處理裝置，例如，在對當(dāng)前圖片的預(yù)測單元1進行處理時，投機傳輸與對應(yīng)圖片的預(yù)測單元1至8、13、22、40至42以及47對應(yīng)的多個預(yù)測參數(shù)。

據(jù)此，包含當(dāng)前圖片的預(yù)測單元1的最大編碼單元中包含的預(yù)測單元1至16的運動矢量的計算中有可能參考的所有的預(yù)測參數(shù)，由運動矢量存儲部515保持。因此，幀存儲器502的通信次數(shù)減少。并且，因存儲器訪問延遲而引起的處理延遲變小。因此，運動矢量計算所需要的時間減少。

(3－4.效果)

如此，圖像處理裝置，在利用對應(yīng)預(yù)測單元的預(yù)測參數(shù)計算運動矢量的情況下，投機傳輸包含在當(dāng)前預(yù)測單元的最大編碼單元中包含的預(yù)測單元的參考圖像的生成中有可能利用的所有的預(yù)測參數(shù)。據(jù)此，存儲器訪問次數(shù)減少，解碼處理整體成為高速化。

(3－5.補充)

而且，在本實施例中，運動矢量的計算中參考的預(yù)測參數(shù)的數(shù)量是，兩個。但是，運動矢量的計算中參考的預(yù)測參數(shù)的數(shù)量也可以是，三個以上。

并且，在本實施例中，對應(yīng)圖片中的第一對應(yīng)預(yù)測單元的位置，與當(dāng)前預(yù)測單元的右下的位置對應(yīng)。并且，對應(yīng)圖片中的第二對應(yīng)預(yù)測單元的位置，與當(dāng)前預(yù)測單元的位置對應(yīng)。但是，各個對應(yīng)預(yù)測單元的位置，并不需要是該位置。各個對應(yīng)預(yù)測單元的位置也可以是，當(dāng)前預(yù)測單元的左下的位置、或者、當(dāng)前預(yù)測單元的下方的位置等的任何位置。

并且，對于各個處理部的結(jié)構(gòu)，其一部分或者全部，可以以由專用硬件的電路來實現(xiàn)，也可以以由處理器執(zhí)行的程序來實現(xiàn)。

并且，在本實施例中，幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514被示出為，存儲器或存儲部。但是，他們，只要是能夠存儲數(shù)據(jù)的存儲元件，就可以是存儲器、觸發(fā)器或寄存器等的任何結(jié)構(gòu)。進而，也可以將處理器的存儲區(qū)域的一部分、或高速緩存的一部分，作為幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514來利用。

并且，在本實施例中示出，作為圖像解碼裝置的圖像處理裝置。但是，圖像處理裝置，不僅限于圖像解碼裝置。以與解碼處理相反的次序執(zhí)行的圖像編碼裝置，同樣，也能夠進行預(yù)測參數(shù)的傳輸。

并且，本實施例，記載了運動補償?shù)睦印５?，圖像處理裝置，即使在幀內(nèi)預(yù)測的情況下，也通過執(zhí)行同樣的處理，能夠得到同樣的效果。而且，在此情況下，也可以替代運動矢量，而利用幀內(nèi)預(yù)測模式。當(dāng)然，也可以利用在預(yù)測圖像的生成中所利用的其他的信息。并且，在此情況下，也可以利用空間上不同的圖片、例如視點不同的圖片，以作為對應(yīng)圖片。當(dāng)然，也可以利用其他的圖片，以作為對應(yīng)圖片。

并且，本實施例所示的針對編碼單元、預(yù)測單元及變換單元的尺寸及形狀是例子，他們的尺寸及形狀，可以是任何尺寸及形狀。

(實施例4)

(4－1.概要)

首先，說明本實施例涉及的圖像處理裝置的概要。本實施例涉及的圖像處理裝置，參考對應(yīng)預(yù)測單元的預(yù)測參數(shù)，計算當(dāng)前預(yù)測單元的運動矢量。此時，圖像處理裝置，將在空間上相鄰的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)一起傳輸(保存)。據(jù)此，存儲器訪問次數(shù)減少。因此，解碼處理整體成為高速化。

實施例4，與實施例1、實施例2、實施例3不同，保存預(yù)測參數(shù)時的存儲器訪問次數(shù)減少。據(jù)此，解碼處理整體成為高速化。并且，圖像處理裝置，與處理順序無關(guān)，而將與空間上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)保存到連續(xù)的地址。據(jù)此，圖像處理裝置，不利用與處理順序有關(guān)的信息，而能夠獲得預(yù)測參數(shù)。因此，參考預(yù)測參數(shù)時的運算量被削減。

圖20示出由本實施例涉及的圖像處理裝置傳輸預(yù)測參數(shù)的區(qū)域。在本實施例中，在當(dāng)前預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)被傳輸?shù)綆鎯ζ鳌４藭r，圖像處理裝置，將在當(dāng)前預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，與在其他的預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)一起傳輸?shù)綆鎯ζ鳌?/p>

(4－2.結(jié)構(gòu))

圖1是本實施例涉及的圖像處理裝置的結(jié)構(gòu)圖。圖2是本實施例涉及的運動補償部506的周邊的結(jié)構(gòu)圖。對于本實施例涉及的圖像處理裝置的結(jié)構(gòu)，由于與實施例1全部相同，因此省略說明。

(4－3.工作)

在本實施例中，與實施例1、2同樣，利用圖3a至圖5b所示的編碼流的構(gòu)造。對于本實施例涉及的圖像處理裝置的工作流程，由于與圖8及圖9所示的實施例1的工作流程同樣，因此省略說明。

圖21是示出本實施例涉及的運動矢量運算部511的工作的流程圖。本實施例涉及的運動矢量運算部511，計算運動矢量，將計算出的運動矢量保存到幀存儲器502。此時，更具體地說，運動矢量運算部511，將包含計算出的運動矢量的預(yù)測參數(shù)存放到運動矢量存儲部515。而且，運動矢量運算部511，由dma控制部512，從運動矢量存儲部515向幀存儲器502，傳輸預(yù)測參數(shù)。

以下，對于本實施例涉及的運動矢量運算部511的所述的工作，利用圖21進行詳細(xì)說明。而且，在此，將最大編碼單元的尺寸假設(shè)為，由坐標(biāo)(0，0)至坐標(biāo)(63，63)構(gòu)成的64x64像素。

首先，運動矢量運算部511，計算當(dāng)前預(yù)測單元的運動矢量(s1400)。接著，運動矢量運算部511，判斷針對最大編碼單元中包含的所有的預(yù)測單元的運動矢量的計算是否完成(s1401)。在針對最大編碼單元中包含的所有的預(yù)測單元的運動矢量的計算沒有完成的情況下(s1401的“否”)，運動矢量運算部511，計算沒有計算出運動矢量的預(yù)測單元的運動矢量(s1400)。

在針對最大編碼單元中包含的所有的預(yù)測單元的運動矢量的計算完成的情況下(s1401的“是”)，運動矢量運算部511，傳輸與最大編碼單元對應(yīng)的所有的預(yù)測參數(shù)(s1402至s1405)。此時，運動矢量運算部511，由dma控制部512，如下傳輸預(yù)測參數(shù)。

首先，dma控制部512，將最大編碼單元中與第一行的坐標(biāo)對應(yīng)的四個預(yù)測參數(shù)一起傳輸?shù)綆鎯ζ?02中的連續(xù)的地址(s1402)。具體而言，dma控制部512，傳輸最大編碼單元中的包含坐標(biāo)(0，0)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(16，0)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(32，0)的像素的預(yù)測單元的預(yù)測參數(shù)、以及包含坐標(biāo)(48，0)的像素的預(yù)測單元的預(yù)測參數(shù)。

接著，dma控制部512，將最大編碼單元中與第二行的坐標(biāo)對應(yīng)的四個預(yù)測參數(shù)一起傳輸?shù)綆鎯ζ?02中的連續(xù)的地址(s1403)。具體而言，dma控制部512，傳輸最大編碼單元中的包含坐標(biāo)(0，16)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(16，16)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(32，16)的像素的預(yù)測單元的預(yù)測參數(shù)、以及包含坐標(biāo)(48，16)的像素的預(yù)測單元的預(yù)測參數(shù)。

接著，dma控制部512，將最大編碼單元中與第三行的坐標(biāo)對應(yīng)的四個預(yù)測參數(shù)一起傳輸?shù)綆鎯ζ?02中的連續(xù)的地址(s1404)。具體而言，dma控制部512，傳輸最大編碼單元中的包含坐標(biāo)(0，32)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(16，32)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(32，32)的像素的預(yù)測單元的預(yù)測參數(shù)、以及包含坐標(biāo)(48，32)的像素的預(yù)測單元的預(yù)測參數(shù)。

接著，dma控制部512，將最大編碼單元中與第四行的坐標(biāo)對應(yīng)的四個預(yù)測參數(shù)一起傳輸?shù)綆鎯ζ?02中的連續(xù)的地址(s1405)。具體而言，dma控制部512，傳輸最大編碼單元中的包含坐標(biāo)(0，48)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(16，48)的像素的預(yù)測單元的預(yù)測參數(shù)、包含坐標(biāo)(32，48)的像素的預(yù)測單元的預(yù)測參數(shù)、以及包含坐標(biāo)(48，48)的像素的預(yù)測單元的預(yù)測參數(shù)。

dma控制部512，針對下一個最大編碼單元，也同樣，將與水平方向上排列的多個坐標(biāo)對應(yīng)的多個預(yù)測參數(shù)，保存到幀存儲器502中的連續(xù)的地址。

此時，dma控制部512，針對上一個最大編碼單元，在水平方向上連續(xù)，將下一個最大編碼單元的多個預(yù)測參數(shù)保存到幀存儲器502。例如，dma控制部512，以與上一個最大編碼單元的第一行對應(yīng)的四個預(yù)測參數(shù)、和與下一個最大編碼單元的第一行對應(yīng)的四個預(yù)測參數(shù)在幀存儲器502中連續(xù)的方式，來傳輸多個預(yù)測參數(shù)。

根據(jù)以上的處理，圖像處理裝置，將在空間上相鄰的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)一起保存。據(jù)此，在預(yù)測單元的運動矢量的保存中，存儲器訪問次數(shù)減少。因此，解碼處理整體成為高速化。

并且，圖像處理裝置，與處理順序無關(guān)，而將與空間上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)保存到幀存儲器502中的連續(xù)的地址。據(jù)此，圖像處理裝置，不利用與對應(yīng)圖片的處理順序有關(guān)的信息，而能夠獲得預(yù)測參數(shù)。

圖22是示出本實施例的預(yù)測參數(shù)的保存的例子的圖。圖22示出，與圖11同樣的對應(yīng)圖片被處理為當(dāng)前圖片時的工作。在圖22的例子中，在計算出被處理為當(dāng)前圖片的對應(yīng)圖片的第一個最大編碼單元中包含的預(yù)測單元0的運動矢量的情況下，判斷為計算出與第一個最大編碼單元對應(yīng)的所有的運動矢量。

而且，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，0)、(16，0)、(32，0)、(48，0)對應(yīng)的四個預(yù)測參數(shù)，傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。在圖22的例子中，這樣的四個預(yù)測參數(shù)，都是與預(yù)測單元0對應(yīng)的預(yù)測參數(shù)。

接著，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，16)、(16，16)、(32，16)、(48，16)對應(yīng)的四個預(yù)測參數(shù)，傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。在圖22的例子中，這樣的四個預(yù)測參數(shù)，都是與預(yù)測單元0對應(yīng)的預(yù)測參數(shù)。

接著，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，32)、(16，32)、(32，32)、(48，32)對應(yīng)的四個預(yù)測參數(shù)，傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。在圖22的例子中，這樣的四個預(yù)測參數(shù)，都是與預(yù)測單元0對應(yīng)的預(yù)測參數(shù)。

接著，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，48)、(16，48)、(32，48)、(48，48)對應(yīng)的四個預(yù)測參數(shù)，傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。在圖22的例子中，這樣的四個預(yù)測參數(shù)，都是與預(yù)測單元0對應(yīng)的預(yù)測參數(shù)。

進而，在圖22的例子中，在計算出對應(yīng)圖片的第二個最大編碼單元中包含的預(yù)測單元1至7的運動矢量的情況下，判斷為計算出與第二個最大編碼單元對應(yīng)的所有的運動矢量。

而且，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，0)、(16，0)、(32，0)、(48，0)對應(yīng)的四個預(yù)測參數(shù)傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。這樣的四個預(yù)測參數(shù)是，按順序，預(yù)測單元1的預(yù)測參數(shù)、預(yù)測單元1的預(yù)測參數(shù)、預(yù)測單元2的預(yù)測參數(shù)、以及預(yù)測單元3的預(yù)測參數(shù)。

dma控制部512，將這樣的四個預(yù)測參數(shù)，在第一個最大編碼單元內(nèi)的坐標(biāo)(0，0)、(16，0)、(32，0)、(48，0)所對應(yīng)的四個預(yù)測參數(shù)的地址后連續(xù)保存到幀存儲器502。

接著，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，16)、(16，16)、(32，16)、(48，16)對應(yīng)的四個預(yù)測參數(shù)，傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。這樣的四個預(yù)測參數(shù)是，按順序，預(yù)測單元1的預(yù)測參數(shù)、預(yù)測單元1的預(yù)測參數(shù)、預(yù)測單元4的預(yù)測參數(shù)、以及預(yù)測單元5的預(yù)測參數(shù)。

dma控制部512，將這樣的四個預(yù)測參數(shù)，在第一個最大編碼單元內(nèi)的坐標(biāo)(0，16)、(16，16)、(32，16)、(48，16)所對應(yīng)的四個預(yù)測參數(shù)的地址后連續(xù)保存到幀存儲器502。

接著，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，32)、(16，32)、(32，32)、(48，32)對應(yīng)的四個預(yù)測參數(shù)傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。這樣的四個預(yù)測參數(shù)是，按順序，預(yù)測單元6的預(yù)測參數(shù)、預(yù)測單元6的預(yù)測參數(shù)、預(yù)測單元7的預(yù)測參數(shù)、以及預(yù)測單元7的預(yù)測參數(shù)。

dma控制部512，將這樣的四個預(yù)測參數(shù)，在第一個最大編碼單元內(nèi)的坐標(biāo)(0，32)、(16，32)、(32，32)、(48，32)所對應(yīng)的四個預(yù)測參數(shù)的地址后連續(xù)保存到幀存儲器502。

接著，dma控制部512，將與最大編碼單元內(nèi)的坐標(biāo)(0，48)、(16，48)、(32，48)、(48，48)對應(yīng)的四個預(yù)測參數(shù)，傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。這樣的四個預(yù)測參數(shù)是，按順序，預(yù)測單元6的預(yù)測參數(shù)、預(yù)測單元6的預(yù)測參數(shù)、預(yù)測單元7的預(yù)測參數(shù)、以及預(yù)測單元7的預(yù)測參數(shù)。

dma控制部512，將這樣的四個預(yù)測參數(shù)，在第一個最大編碼單元內(nèi)的坐標(biāo)(0，48)、(16，48)、(32，48)、(48，48)所對應(yīng)的四個預(yù)測參數(shù)的地址后連續(xù)保存到幀存儲器502。

通過反復(fù)進行所述的次序，像圖22的下段所示的對應(yīng)圖片的圖那樣，與多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)由幀存儲器502保存。

據(jù)此，將與空間上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)，一起保存到連續(xù)的地址。因此，以后，容易獲得與空間上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)。并且，像圖22的下段那樣，復(fù)制與一個預(yù)測單元對應(yīng)的一個預(yù)測參數(shù)，生成與多個坐標(biāo)位置對應(yīng)的多個預(yù)測參數(shù)。據(jù)此，以后，按照坐標(biāo)位置，容易獲得預(yù)測參數(shù)。

并且，在圖22的例子中，按每個16x16像素保存多個預(yù)測參數(shù)。在如圖7進行舍入處理的情況下，按每個16x16像素保存一個預(yù)測參數(shù)即可。因此，也可以將與16x16像素內(nèi)的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)，集中為一個預(yù)測參數(shù)來傳輸。

(4－4.效果)

如此，圖像處理裝置，將在空間上相鄰的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)一起傳輸(保存)。據(jù)此，用于保存預(yù)測單元的預(yù)測參數(shù)的存儲器訪問次數(shù)減少。因此，解碼處理整體成為高速化。

并且，與處理順序無關(guān)，而將與空間上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)保存到連續(xù)的地址。據(jù)此，圖像處理裝置，不利用與對應(yīng)圖片的處理順序有關(guān)的信息，而能夠獲得預(yù)測參數(shù)。因此，參考預(yù)測參數(shù)時的運算量被削減。

(4－5.補充)

而且，在本實施例中，一起傳輸?shù)念A(yù)測參數(shù)的數(shù)量為四個。但是，對于一起傳輸?shù)念A(yù)測參數(shù)的數(shù)量，可以是兩個、也可以是三個、還可以是五個以上。

并且，本實施例涉及的圖像處理裝置，將在空間上的水平方向上相鄰的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)保存到連續(xù)的地址。但是，這樣的多個預(yù)測單元可以是，不僅限于水平方向，而水平方向上相鄰的多個預(yù)測單元。例如，這樣的多個預(yù)測單元也可以是，空間上的垂直方向上相鄰的多個預(yù)測單元。

并且，本實施例涉及的最大編碼單元的尺寸為64x64像素。但是，最大編碼單元的尺寸，不僅限于該尺寸，而可以是任何尺寸。例如，最大編碼單元的尺寸也可以是，32x32像素、16x16像素、或64x32像素。

并且，在本實施例中，與被保存的預(yù)測參數(shù)對應(yīng)的數(shù)據(jù)單位為，16x16像素。但是，保存的數(shù)據(jù)單位，不僅限于16x16像素?？梢允侨魏纬叽?。例如，保存的數(shù)據(jù)單位也可以是，8x8像素或4x4像素。

并且，對于各個處理部的結(jié)構(gòu)，其一部分或者全部，可以以由專用硬件的電路來實現(xiàn)，也可以以由處理器執(zhí)行的程序來實現(xiàn)。

并且，在本實施例中，幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514被示出為，存儲器或存儲部。但是，他們，只要是能夠存儲數(shù)據(jù)的存儲元件，就可以是存儲器、觸發(fā)器或寄存器等的任何結(jié)構(gòu)。進而，也可以將處理器的存儲區(qū)域的一部分、或高速緩存的一部分，作為幀存儲器502、運動矢量存儲部515、參考圖像存儲部513及預(yù)測圖像存儲部514來利用。

并且，在本實施例中示出，作為圖像解碼裝置的圖像處理裝置。但是，圖像處理裝置，不僅限于圖像解碼裝置。以與解碼處理相反的次序執(zhí)行的圖像編碼裝置，同樣，也能夠進行預(yù)測參數(shù)的傳輸。

并且，本實施例，記載了運動補償?shù)睦?。但是，圖像處理裝置，即使在幀內(nèi)預(yù)測的情況下，也通過執(zhí)行同樣的處理，能夠得到同樣的效果。而且，在此情況下，也可以替代運動矢量，而利用幀內(nèi)預(yù)測模式。當(dāng)然，也可以利用在預(yù)測圖像的生成中所利用的其他的信息。并且，在此情況下，也可以利用空間上不同的圖片、例如視點不同的圖片，以作為對應(yīng)圖片。當(dāng)然，也可以利用其他的圖片，以作為對應(yīng)圖片。

并且，本實施例所示的針對編碼單元、預(yù)測單元及變換單元的尺寸及形狀是例子，他們的尺寸及形狀，可以是任何尺寸及形狀。

(實施例5)

實施例5是，實施例4的變形例。本實施例涉及的圖像處理裝置，具備與實施例4同樣的構(gòu)成要素，將在多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)，從運動矢量存儲部515一起傳輸(保存)到幀存儲器502。

本實施例涉及的圖像處理裝置，將在最大編碼單元的所有的預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)一起傳輸。并且，本實施例涉及的圖像處理裝置，將在處理順序上連續(xù)的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)傳輸?shù)竭B續(xù)的地址。而且，該處理順序也可以是，例如，像圖片中包含的多個預(yù)測單元為預(yù)先規(guī)定的一定的大小時適用的處理順序那樣的、預(yù)先規(guī)定的處理順序。

圖23是示出本實施例涉及的運動矢量運算部511的工作的流程圖。在此，與實施例4同樣，將最大編碼單元的尺寸假設(shè)為，由坐標(biāo)(0，0)至坐標(biāo)(63，63)構(gòu)成的64x64像素。

首先，運動矢量運算部511，計算當(dāng)前預(yù)測單元的運動矢量(s1500)。接著，運動矢量運算部511，判斷針對最大編碼單元中包含的所有的預(yù)測單元的運動矢量的計算是否完成(s1501)。在針對最大編碼單元中包含的所有的預(yù)測單元的運動矢量的計算沒有完成的情況下(s1501的“否”)，運動矢量運算部511，計算沒有計算出運動矢量的預(yù)測單元的運動矢量(s1500)。

在針對最大編碼單元中包含的所有的預(yù)測單元的運動矢量的計算完成的情況下(s1501的“是”)，運動矢量運算部511，傳輸與最大編碼單元對應(yīng)的所有的預(yù)測參數(shù)(s1502)。此時，運動矢量運算部511，通過dma控制部512，將與處理順序上連續(xù)的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。

具體而言，dma控制部512，將與最大編碼單元中的16個坐標(biāo)對應(yīng)的16個預(yù)測參數(shù)一起傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。這樣的16個預(yù)測參數(shù)各自，按順序，與坐標(biāo)(0，0)、(16，,0)、(0，16)、(16，16)、(0，32)、(0，48)、(16，32)、(16，48)、(32，0)、(32，16)、(48，0)、(48，16)、(32，32)、(32，48)、(48，32)、(48，48)的預(yù)測單元對應(yīng)。

dma控制部512，針對下一個最大編碼單元，也同樣，將與處理順序上連續(xù)的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。

此時，dma控制部512，與上一個最大編碼單元連續(xù)，將下一個最大編碼單元的多個預(yù)測參數(shù)保存到幀存儲器502。例如，dma控制部512，以與上一個最大編碼單元的坐標(biāo)(48，48)對應(yīng)的預(yù)測參數(shù)、和與下一個最大編碼單元的坐標(biāo)(0，0)對應(yīng)的預(yù)測參數(shù)在幀存儲器502中連續(xù)的方式，來傳輸多個預(yù)測參數(shù)。

圖24是示出本實施例的預(yù)測參數(shù)的保存的例子的圖，與圖11同樣示出對應(yīng)圖片被處理為當(dāng)前圖片時的工作。在計算出圖24的對應(yīng)圖片的第一個最大編碼單元中包含的預(yù)測單元0的運動矢量的情況下，判斷為計算出與第一個最大編碼單元對應(yīng)的所有的運動矢量。

而且，dma控制部512，將與最大編碼單元內(nèi)的16個坐標(biāo)對應(yīng)的16個預(yù)測參數(shù)傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。在圖24的例子中，這樣的16個預(yù)測參數(shù)，都是與預(yù)測單元0對應(yīng)的預(yù)測參數(shù)。

進而，在計算出圖24的對應(yīng)圖片的第二個最大編碼單元中包含的預(yù)測單元1至7的運動矢量的情況下，判斷為計算出與第二個最大編碼單元對應(yīng)的所有的運動矢量。

而且，dma控制部512，將與最大編碼單元內(nèi)的16個坐標(biāo)對應(yīng)的16個預(yù)測參數(shù)傳輸?shù)綆鎯ζ?02中的連續(xù)的地址。在圖24的例子中，這樣的16個預(yù)測參數(shù)分別是，按順序，與預(yù)測單元1、1、1、1、2、3、4、5、6、6、6、6、7、7、7、7對應(yīng)的預(yù)測參數(shù)。

dma控制部512，將這樣的16個預(yù)測參數(shù)，與第一個最大編碼單元內(nèi)的坐標(biāo)(48，48)所對應(yīng)的預(yù)測參數(shù)的地址連續(xù)保存到幀存儲器502。

通過反復(fù)進行所述的次序，像圖24的下段所示的對應(yīng)圖片的圖那樣，與多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)由幀存儲器502保存。

而且，在本實施例中，按每個最大編碼單元，傳輸多個預(yù)測參數(shù)。但是，也可以按每個更細(xì)小的數(shù)據(jù)單位，傳輸多個預(yù)測參數(shù)。而且，如圖24的對應(yīng)圖片的圖所示，也可以將他們傳輸?shù)竭B續(xù)的地址。

圖25是示出本實施例涉及的傳輸?shù)膮^(qū)域的第一例的圖。圖25示出，與對應(yīng)圖片對應(yīng)的多個預(yù)測參數(shù)以圖23的次序被傳輸?shù)綆鎯ζ?02之后，在當(dāng)前圖片的預(yù)測單元的預(yù)測圖像的生成中從幀存儲器502傳輸?shù)亩鄠€預(yù)測參數(shù)。而且，當(dāng)前圖片以及對應(yīng)圖片的結(jié)構(gòu)，與圖19的例子同樣。

在圖25的例子中，圖像處理裝置，在處理當(dāng)前圖片的預(yù)測單元1時，投機傳輸與對應(yīng)圖片的預(yù)測單元1至14、22、40至44、47對應(yīng)的多個預(yù)測參數(shù)。預(yù)測單元1至14的處理順序是連續(xù)的。并且，預(yù)測單元40至44的處理順序是連續(xù)的。因此，這樣的預(yù)測參數(shù)，被保存在幀存儲器502中的連續(xù)的地址。因此，圖像處理裝置能夠，容易將這樣的預(yù)測參數(shù)從幀存儲器502一起傳輸。

而且，圖像處理裝置，也可以省略第二個最大編碼單元的處理中要傳輸?shù)亩鄠€預(yù)測參數(shù)中的、第一個最大編碼單元的處理中傳輸了的預(yù)測參數(shù)的傳輸。

圖26是示出本實施例涉及的傳輸?shù)膮^(qū)域的第二例的圖。圖26的例子，與圖25的例子大致同樣。在圖26的例子中，按每個最大編碼單元，從幀存儲器502傳輸與多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)。

在圖26的例子中，圖像處理裝置，在處理當(dāng)前圖片的預(yù)測單元1時，投機傳輸與對應(yīng)圖片的預(yù)測單元1至23、40至47對應(yīng)的多個預(yù)測參數(shù)。預(yù)測單元1至23的處理順序是連續(xù)的。并且，預(yù)測單元40至47的處理順序是連續(xù)的。因此，這樣的預(yù)測參數(shù)，被保存在幀存儲器502中的連續(xù)的地址。因此，圖像處理裝置能夠，容易將這樣的預(yù)測參數(shù)從幀存儲器502一起傳輸。

在圖26的例子中，圖像處理裝置，按每個最大編碼單元，從幀存儲器502向運動矢量存儲部515傳輸多個預(yù)測參數(shù)，按每個最大編碼單元，從運動矢量存儲部515向幀存儲器502傳輸多個預(yù)測參數(shù)。據(jù)此，傳輸次數(shù)減少，整體的處理成為高速化。

而且，與圖25的例子同樣，圖像處理裝置，也可以省略第二個最大編碼單元的處理中要傳輸?shù)亩鄠€預(yù)測參數(shù)中的、第一個最大編碼單元的處理中傳輸了的預(yù)測參數(shù)的傳輸。

如上所述，本實施例涉及的圖像處理裝置，將在最大編碼單元中包含的所有的預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)一起傳輸。據(jù)此，傳輸次數(shù)減少，整體的處理成為高速化。并且，本實施例涉及的圖像處理裝置，將在處理順序上連續(xù)的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)傳輸?shù)竭B續(xù)的地址。據(jù)此，以后，容易將多個預(yù)測參數(shù)一起獲得。

(實施例6)

本實施例涉及的圖像處理裝置具備，所述的多個實施例所示的圖像處理裝置涉及的特征構(gòu)成要素。

圖27a是示出本實施例涉及的圖像處理裝置的結(jié)構(gòu)圖。圖27a所示的圖像處理裝置100，利用在圖片中包含的預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，進行與該圖片不同的圖片中包含的預(yù)測單元的預(yù)測圖像的生成。并且，圖像處理裝置100具備兩個存儲部101、102、以及傳輸部110。

存儲部101是，用于存儲在至少與一個圖片對應(yīng)的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)的存儲部。存儲部101也可以，具有能夠存儲這樣的多個預(yù)測參數(shù)的容量。存儲部102是，用于存儲在多個預(yù)測單元中的兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)的存儲部。存儲部102也可以，具有能夠存儲這樣的兩個以上的預(yù)測參數(shù)的容量。

例如，存儲部101，與圖2的幀存儲器502對應(yīng)，存儲部102，與圖2的運動矢量存儲部515對應(yīng)。并且，例如，傳輸部110，與運動矢量運算部511以及dma控制部512對應(yīng)。

圖27b是示出圖27a所示的圖像處理裝置100的工作的流程圖。傳輸部110，將用于預(yù)測圖像的生成的兩個以上的預(yù)測參數(shù)從存儲部101一起傳輸?shù)酱鎯Σ?02，或者，將在預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)從存儲部102一起傳輸?shù)酱鎯Σ?01(s101)。

據(jù)此，預(yù)測單元的信息的傳輸次數(shù)減少。因此，因預(yù)測單元的信息的傳輸而引起的處理負(fù)荷以及處理延遲減少。

而且，傳輸部110也可以，將分別包含運動矢量的信息的兩個以上的預(yù)測參數(shù)一起傳輸。運動矢量的信息也可以是，示出沒有利用運動矢量的信息。通過將分別包含這樣的信息的兩個以上的預(yù)測參數(shù)一起傳輸，從而高效率地傳輸運動矢量的信息。因此，利用其他的預(yù)測單元的運動矢量時的處理負(fù)荷以及處理延遲減少。

例如，傳輸部110，將用于預(yù)測圖像的生成的兩個以上的預(yù)測參數(shù)從存儲部101一起傳輸?shù)酱鎯Σ?02。據(jù)此，高效率地傳輸用于預(yù)測圖像的生成的預(yù)測參數(shù)。因此，因用于預(yù)測圖像的生成的預(yù)測參數(shù)的傳輸而引起的處理負(fù)荷以及處理延遲減少。

并且，傳輸部110也可以，將在預(yù)測單元的預(yù)測圖像的生成中有可能利用的兩個以上的預(yù)測參數(shù)一起傳輸?shù)酱鎯Σ?02。據(jù)此，能夠抑制預(yù)測參數(shù)的傳輸?shù)姆磸?fù)。因此，處理負(fù)荷以及處理延遲減少。

并且，傳輸部110也可以，將包含第二預(yù)測單元的預(yù)測參數(shù)、以及第三預(yù)測單元的預(yù)測參數(shù)的兩個以上的預(yù)測參數(shù)一起傳輸?shù)酱鎯Σ?02。在此，第二預(yù)測單元是，與進行預(yù)測圖像的生成的第一預(yù)測單元的右下的位置對應(yīng)的預(yù)測單元，也是與包含第一預(yù)測單元的第一圖片不同的第二圖片中包含的預(yù)測單元。第三預(yù)測單元是，與第一預(yù)測單元的位置對應(yīng)的預(yù)測單元，也是第二圖片中包含的預(yù)測單元。

據(jù)此，同時將與右下的位置對應(yīng)的預(yù)測參數(shù)、以及與同一位置對應(yīng)的預(yù)測參數(shù)一起傳輸。因此，傳輸次數(shù)減少。

并且，傳輸部110也可以，將包含在預(yù)測單元的預(yù)測圖像的生成中有可能利用的預(yù)測參數(shù)、和在該預(yù)測單元的預(yù)測圖像的生成中沒有可能利用的預(yù)測參數(shù)的兩個以上的預(yù)測參數(shù)一起傳輸?shù)酱鎯Σ?02。據(jù)此，以一次的傳輸，傳輸更多的預(yù)測參數(shù)。因此，能夠抑制預(yù)測參數(shù)的傳輸?shù)姆磸?fù)。因而，處理負(fù)荷以及處理延遲減少。

并且，傳輸部110也可以，將用于預(yù)先規(guī)定的最大編碼單元中包含的所有的預(yù)測單元的預(yù)測圖像的生成的兩個以上的預(yù)測參數(shù)一起傳輸?shù)酱鎯Σ?02。據(jù)此，在最大編碼單元中包含的多個預(yù)測單元的預(yù)測圖像的生成中，能夠抑制傳輸?shù)姆磸?fù)。因而，處理負(fù)荷以及處理延遲減少。

并且，例如，傳輸部110，將在預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)從存儲部102一起傳輸?shù)酱鎯Σ?01。據(jù)此，高效率地傳輸在預(yù)測圖像的生成中所利用的預(yù)測參數(shù)。因此，因在預(yù)測圖像的生成中所利用的預(yù)測參數(shù)的傳輸而引起的處理負(fù)荷以及處理延遲減少。

并且，傳輸部110也可以，將在空間上彼此相鄰的兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)，從存儲部102一起傳輸?shù)酱鎯Σ?01中的連續(xù)的地址。

據(jù)此，將多個預(yù)測參數(shù)一起傳輸?shù)竭B續(xù)的地址。一起傳輸?shù)亩鄠€預(yù)測參數(shù)，與空間上相鄰的多個預(yù)測單元對應(yīng)。因此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與空間上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，傳輸部110也可以，將在空間上的水平方向上彼此相鄰的兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)，從存儲部102一起傳輸?shù)酱鎯Σ?01中的連續(xù)的地址。據(jù)此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與水平方向上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，傳輸部110也可以，將在空間上的垂直方向上彼此相鄰的兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)，從存儲部102一起傳輸?shù)酱鎯Σ?01中的連續(xù)的地址。據(jù)此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與垂直方向上相鄰的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，傳輸部110也可以，將在預(yù)先規(guī)定的最大編碼單元中包含的所有的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)一起傳輸?shù)酱鎯Σ?01。據(jù)此，在最大編碼單元中包含的多個預(yù)測單元的預(yù)測圖像的生成中，能夠抑制傳輸?shù)姆磸?fù)。因此，處理負(fù)荷以及處理延遲減少。

并且，傳輸部110也可以，將在處理順序上連續(xù)的兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)，從存儲部102一起傳輸存儲部101中的連續(xù)的地址。據(jù)此，以后，容易將作為用于預(yù)測圖像的生成的多個預(yù)測參數(shù)的、與處理順序上連續(xù)的多個預(yù)測單元對應(yīng)的多個預(yù)測參數(shù)一起傳輸。

并且，傳輸部110也可以，通過復(fù)制在預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，從而生成與該預(yù)測單元中包含的等間隔的多個坐標(biāo)位置對應(yīng)的多個預(yù)測參數(shù)。而且，傳輸部110也可以，將生成后的多個預(yù)測參數(shù)分別與其他的預(yù)測參數(shù)一起作為兩個以上的預(yù)測參數(shù)，從存儲部102一起傳輸?shù)酱鎯Σ?01。

據(jù)此，以后，容易將與預(yù)測單元中包含的坐標(biāo)位置對應(yīng)的預(yù)測參數(shù)，作為用于預(yù)測圖像的生成的預(yù)測參數(shù)來傳輸。

(實施例7)

在本實施例中，對圖27a所示的圖像處理裝置100，追加了新的構(gòu)成要素。

圖28a是示出本實施例涉及的圖像處理裝置的結(jié)構(gòu)的圖。在圖28a所示的圖像處理裝置200中，對圖27a所示的圖像處理裝置100的構(gòu)成要素，追加了預(yù)測圖像生成部220。例如，預(yù)測圖像生成部220，與圖2的運動矢量運算部511以及運動補償部506對應(yīng)。預(yù)測圖像生成部220也可以，與圖1的幀內(nèi)預(yù)測部507對應(yīng)。

圖28b是示出圖28a所示的圖像處理裝置200的工作的流程圖。預(yù)測圖像生成部220，利用從存儲部101傳輸?shù)酱鎯Σ?02的預(yù)測參數(shù)，進行預(yù)測單元的預(yù)測圖像的生成(s201)。據(jù)此，利用傳輸?shù)念A(yù)測參數(shù)、即輸入的預(yù)測參數(shù)，進行適當(dāng)?shù)念A(yù)測。

例如，傳輸部110，將用于預(yù)測圖像的生成的兩個以上的預(yù)測參數(shù)從存儲部101一起傳輸?shù)酱鎯Σ?02之后，預(yù)測圖像生成部220，利用從存儲部101傳輸?shù)酱鎯Σ?02的預(yù)測參數(shù)，進行預(yù)測單元的預(yù)測圖像的生成。

并且，例如，預(yù)測圖像生成部220，利用傳輸?shù)酱鎯Σ?02的預(yù)測參數(shù)進行預(yù)測單元的預(yù)測圖像的生成之后，傳輸部110，將在預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)，從存儲部102一起傳輸?shù)酱鎯Σ?01。

而且，預(yù)測圖像生成部220也可以，利用從存儲部101一起傳輸?shù)酱鎯Σ?02的兩個以上的預(yù)測參數(shù)中的一個，進行預(yù)測單元的預(yù)測圖像的生成。據(jù)此，即使在有選擇地利用多個預(yù)測參數(shù)中的一個的情況下，也由于將多個預(yù)測參數(shù)一起傳輸，因此能夠抑制傳輸?shù)姆磸?fù)。因此，處理負(fù)荷以及處理延遲減少。

而且，在所述各個實施例中，各個構(gòu)成要素，由專用的硬件構(gòu)成，或者，通過執(zhí)行適于各個構(gòu)成要素的軟件程序來實現(xiàn)。各個構(gòu)成要素也可以，通過cpu或處理器等的程序執(zhí)行部，讀出并執(zhí)行硬盤或半導(dǎo)體存儲器等的記錄介質(zhì)中記錄的軟件程序來實現(xiàn)。在此，實現(xiàn)所述各個實施例的圖像處理裝置等的軟件是，如下程序。

也就是說，該程序使計算機執(zhí)行圖像處理方法，利用在圖片中包含的預(yù)測單元的預(yù)測圖像的生成中所利用的預(yù)測參數(shù)，進行與該圖片不同的圖片中包含的預(yù)測單元的預(yù)測圖像的生成，所述圖像處理方法包括傳輸步驟，在所述傳輸步驟中，(i)將用于預(yù)測圖像的生成的兩個以上的預(yù)測參數(shù)，從第一存儲部一起傳輸?shù)降诙鎯Σ浚蛘撸?ii)將在預(yù)測圖像的生成中所利用的所述兩個以上的預(yù)測參數(shù)，從所述第二存儲部一起傳輸?shù)剿龅谝淮鎯Σ?，所述第一存儲部，用于存儲在至少與一個圖片對應(yīng)的多個預(yù)測單元的預(yù)測圖像的生成中所利用的多個預(yù)測參數(shù)，所述第二存儲部，用于存儲在所述多個預(yù)測單元中的兩個以上的預(yù)測單元的預(yù)測圖像的生成中所利用的兩個以上的預(yù)測參數(shù)。

并且，各個構(gòu)成要素也可以是電路。這樣的電路，可以以整體構(gòu)成一個電路，也可以是個別的電路。并且，這樣的電路各自，可以是通用的電路，也可以是專用的電路。

以上，對于本發(fā)明的一個或多個實施方案涉及的圖像處理裝置，根據(jù)實施例進行了說明，但是，本發(fā)明，不僅限于該實施例。只要不脫離本發(fā)明的宗旨，對本實施例施行本領(lǐng)域的技術(shù)人員想到的各種變形的形態(tài)、或組合不同的實施例中的構(gòu)成要素而構(gòu)成的形態(tài)，也包含在一個或多個實施方案的范圍內(nèi)。

例如，也可以特定的處理部要執(zhí)行的處理由其他的處理部執(zhí)行。并且，可以變更執(zhí)行處理的順序，也可以并行執(zhí)行多個處理。

并且，本發(fā)明，除了能夠以圖像處理裝置來實現(xiàn)以外，還能夠以將構(gòu)成圖像處理裝置的處理單元作為步驟的方法來實現(xiàn)。例如，這樣的步驟，由計算機執(zhí)行。而且，本發(fā)明，能夠以用于使計算機執(zhí)行這樣的方法中包含的步驟的程序來實現(xiàn)。進而，本發(fā)明，能夠以記錄有該程序的cd－rom等的非暫時的計算機可讀取的記錄介質(zhì)來實現(xiàn)。

并且，本發(fā)明涉及的圖像處理裝置及圖像處理方法，也能夠適用于圖像編碼裝置、圖像解碼裝置、圖像編碼方法及圖像解碼方法。

并且，圖像處理裝置中包含的多個構(gòu)成要素也可以，以作為集成電路的lsi(largescaleintegration：大規(guī)模集成電路)來實現(xiàn)?？梢詫⑦@樣的構(gòu)成要素個別單芯片化，也可以將它們單芯片化，使得包含一部分或全部。例如，也可以將存儲器以外的構(gòu)成要素單芯片化。在此，稱為lsi，但是根據(jù)集成度的不同，有時被稱為ic(integratedcircuit∶集成電路)、系統(tǒng)lsi、超lsi或特大lsi。

并且，對于集成電路化的方法，不僅限于lsi，也可以以專用電路或通用處理器來實現(xiàn)。也可以利用能夠編程的fpga(fieldprogrammablegatearray∶現(xiàn)場可編程門陣列)、或可重構(gòu)lsi內(nèi)部的電路單元的連接或設(shè)定的可重構(gòu)處理器。

進而，當(dāng)然，若因半導(dǎo)體技術(shù)的進步或?qū)С龅钠渌募夹g(shù)而出現(xiàn)代替lsi的集成電路化的技術(shù)，則可以利用其技術(shù)對圖像處理裝置中包含的構(gòu)成要素進行集成電路化。

(實施例8)

通過將用于實現(xiàn)在上述的各個實施例所示的圖像編碼方法以及圖像解碼方法的結(jié)構(gòu)的程序記錄到記錄介質(zhì)，從而可以將上述的各個實施例所示的處理在獨立的計算機系統(tǒng)簡單地實施。記錄介質(zhì)可以是磁盤、光盤、磁光盤、ic卡、半導(dǎo)體存儲器等，只要能夠記錄程序就可以。

并且，在此對在上述的各個實施例所示的圖像編碼方法以及圖像解碼方法的應(yīng)用實例以及利用這些應(yīng)用實例的系統(tǒng)進行說明。

圖29是示出實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容提供系統(tǒng)ex100的全體構(gòu)成圖。將通信服務(wù)的提供區(qū)域劃分為所希望的大小，在各單元內(nèi)分別設(shè)置有作為固定無線局的基站ex106至ex110。

在該內(nèi)容提供系統(tǒng)ex100中，計算機ex111、pda(個人數(shù)字助理：personaldigitalassistant)ex112、攝像機ex113、移動電話ex114、游戲機ex115等各種設(shè)備，通過電話網(wǎng)ex104、以及基站ex106～ex110相連接。并且，各個設(shè)備，通過互聯(lián)網(wǎng)服務(wù)提供商ex102，與互聯(lián)網(wǎng)ex101相連接。

然而，內(nèi)容提供系統(tǒng)ex100并非局限于圖29所示的構(gòu)成，也可以對任意的要素進行組合接續(xù)。并且，可以不通過作為固定無線局的基站ex106至ex110，而是各個設(shè)備直接與電話網(wǎng)ex104相連接。并且，也可以是各個設(shè)備通過近距離無線等而彼此直接連接。

攝像機ex113是數(shù)字?jǐn)z像機等能夠拍攝運動圖像的設(shè)備，攝像機ex116是數(shù)字照相機等能夠拍攝靜止圖像以及運動圖像的設(shè)備。并且，移動電話ex114可以以gsm(注冊商標(biāo))(globalsystemformobilecommunications：全球移動通訊系統(tǒng))方式、cdma(codedivisionmultipleaccess：碼分多址)方式、w－cdma(wideband－codedivisionmultipleaccess：寬帶碼分多址)方式、lte(longtermevolution：長期演進)方式、hspa(highspeedpacketaccess：高速分組接入)的移動電話，或phs(personalhandyphonesystem：個人手持式電話系統(tǒng))等任一個來構(gòu)成。

在內(nèi)容提供系統(tǒng)ex100中，攝像機ex113等通過基站ex109、電話網(wǎng)ex104與流播放服務(wù)器ex103連接，從而進行實況分發(fā)等。在實況分發(fā)中，針對用戶利用攝像機ex113拍攝的內(nèi)容(例如音樂實況的影像等)進行在上述各個實施例所說明的編碼處理，并發(fā)送到流播放服務(wù)器ex103。另外，流播放服務(wù)器ex103針對提出請求的客戶端，對被發(fā)送的內(nèi)容數(shù)據(jù)進行流的分發(fā)。作為客戶端，包括可以解碼上述的被編碼處理的數(shù)據(jù)的計算機ex111、pdaex112、攝像機ex113、移動電話ex114、以及游戲機ex115等。在接收了被分發(fā)的數(shù)據(jù)的各個設(shè)備，對接收的數(shù)據(jù)進行解碼處理并再生。

并且，拍攝的數(shù)據(jù)的編碼處理可以在攝像機ex113進行，也可以在進行數(shù)據(jù)的發(fā)送處理的流播放服務(wù)器ex103進行，也可以彼此分擔(dān)進行。同樣，被分發(fā)的數(shù)據(jù)的解碼處理可以由客戶端進行，也可以在流播放服務(wù)器ex103進行，也可以彼此分擔(dān)進行。并且，不僅限于攝像機ex113，由攝像機ex116拍攝的靜止圖像以及/或者運動圖像數(shù)據(jù)，也可以通過計算機ex111而發(fā)送到流播放服務(wù)器ex103。此時的編碼處理可以在攝像機ex116、計算機ex111以及流播放服務(wù)器ex103的任一個中進行，也可以彼此分擔(dān)進行。

并且，這些編碼處理以及解碼處理可以在一般的計算機ex111以及各個設(shè)備所具有的lsi(largescaleintegration：大規(guī)模集成電路)ex500中執(zhí)行。lsiex500可以由一個芯片構(gòu)成，也可以由多個芯片構(gòu)成。另外，也可以將圖像編碼用的軟件或圖像解碼用的軟件安裝到能夠計算機ex111等讀取的某種記錄介質(zhì)(cd－rom、軟盤、硬盤等)中，并利用該軟件來進行編碼處理以及解碼處理。而且，在移動電話ex114是附帶有相機的情況下，也可以發(fā)送該相機所獲得的運動圖像數(shù)據(jù)。此時的運動圖像數(shù)據(jù)是由移動電話ex114所具有的lsiex500進行編碼處理后的數(shù)據(jù)。

并且，流播放服務(wù)器ex103是多個服務(wù)器或多個計算機，也可以是對數(shù)據(jù)進行分散地處理、記錄、分發(fā)的裝置。

如以上所述，在內(nèi)容提供系統(tǒng)ex100中，客戶能夠端接收并再生被編碼的數(shù)據(jù)。在這樣的內(nèi)容提供系統(tǒng)ex100中，在客戶端能夠?qū)崟r地接收并解碼由用戶發(fā)送的信息并且能夠再生，這樣，即使是沒有特殊權(quán)利以及設(shè)備的用戶也能夠?qū)崿F(xiàn)個人播放。

而且，不僅限于內(nèi)容提供系統(tǒng)ex100的例子，如圖30示出，也可以在數(shù)字廣播用系統(tǒng)ex200中，組裝所述的各個實施例的圖像處理裝置。具體而言，在廣播電臺ex201，影像數(shù)據(jù)的比特流通過電波進行通信，或被傳送到衛(wèi)星ex202。該比特流是，由所述的各個實施例中說明的圖像編碼方法編碼后的編碼比特流。接受它的播放衛(wèi)星ex202，發(fā)出廣播用的電波，該電波由能夠接收衛(wèi)星廣播的家庭的天線ex204接收。接收的比特流，由電視機(接收機)ex300或機頂盒(stb)ex217等的裝置解碼并再生。

并且，在再生裝置ex212中也可以安裝所述的實施例中所示的圖像處理裝置，該再生裝置ex212對作為記錄介質(zhì)的cd以及dvd等記錄介質(zhì)ex214中所記錄的編碼比特流進行讀取并解碼。在此情況下，被再生的影像信號被顯示在監(jiān)視器ex213。

并且，在閱讀器/記錄器ex218中也可以安裝在上述的各個實施例中所示的圖像處理裝置，該閱讀器/記錄器ex218對dvd、bd等記錄介質(zhì)ex215中所記錄的編碼比特流進行讀取并解碼，或者將影像信號編碼并寫入到記錄介質(zhì)ex215中。在此情況下，被再生的影像信號被顯示在監(jiān)視器ex219，通過記錄有編碼比特流的記錄介質(zhì)ex215，其他的裝置以及系統(tǒng)能夠再生影像信號。并且，也可以將圖像處理裝置安裝到與有線電視用的電纜ex203或衛(wèi)星/地波廣播的天線ex204連接的機頂盒ex217內(nèi)，并在電視機的監(jiān)視器ex219上顯示。此時，可以不組裝到機頂盒，而是將圖像處理裝置組裝到電視機內(nèi)。

圖31示出了利用了上述的各個實施例所說明的圖像解碼方法的電視機(接收機)ex300。電視機ex300包括：調(diào)諧器ex301，通過接收上述廣播的天線ex204或電纜ex203等獲得或者輸出影像信息的比特流；調(diào)制/解調(diào)部ex302，解調(diào)接收的編碼數(shù)據(jù)，或者調(diào)制為要發(fā)送到外部的編碼數(shù)據(jù)；以及多路復(fù)用/分離部ex303，對解調(diào)的影像數(shù)據(jù)和聲音數(shù)據(jù)進行分離，或者對被編碼的影像數(shù)據(jù)和聲音數(shù)據(jù)進行多路復(fù)用。

并且，電視機ex300具有信號處理部ex306和輸出部ex309，所述信號處理部ex306具有分別對聲音信號和影像信號進行解碼或者對各個信息分別進行編碼的聲音信號處理部ex304和影像信號處理部ex305；所述輸出部ex309具有對被解碼的聲音信號進行輸出的揚聲器ex307，以及對被解碼的影像信號進行顯示的顯示器等顯示部ex308。進而，電視機ex300具有接口部ex317，該接口部ex317具有接受用戶操作的輸入的操作輸入部ex312等。進而，電視機ex300具有統(tǒng)括控制各個部的控制部ex310，以及向各個部提供電力的電源電路部ex311。

接口部ex317除可以具有操作輸入部ex312以外，還可以具有與閱讀器/記錄器ex218等外部設(shè)備連接的電橋ex313、用于安裝sd卡等記錄介質(zhì)ex216的插槽部ex314、用于與硬盤等外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。并且，記錄介質(zhì)ex216能夠通過存放的非易失性/易失性的半導(dǎo)體存儲器元件進行信息的電記錄。

電視機ex300的各個部通過同步總線相互連接。

首先，對電視機ex300通過天線ex204等從外部獲得的數(shù)據(jù)進行解碼并再生的構(gòu)成進行說明。電視機ex300接受來自遠(yuǎn)程控制器ex220等的用戶的操作，并根據(jù)具有cpu等的控制部ex310的控制，將在調(diào)制/解調(diào)部ex302解調(diào)的影像數(shù)據(jù)和聲音數(shù)據(jù)，在多路復(fù)用/分離部ex303進行分離。進而，電視機ex300將分離的聲音數(shù)據(jù)在聲音信號處理部ex304進行解碼，利用上述的各個實施例中說明的解碼方法，將分離的影像數(shù)據(jù)在影像信號處理部ex305進行解碼。解碼的聲音信號和影像信號分別從輸出部ex309被輸出到外部。在進行輸出時，為了使聲音信號和影像信號同步再生，而可以在緩沖器ex318、ex319等暫時蓄積這些信號。并且，電視機ex300可以不從廣播等讀出被編碼的編碼比特流，而是從磁性/光盤、sd卡等記錄介質(zhì)ex215、ex216中讀出被編碼的編碼比特流。

接著，將要說明的構(gòu)成是，電視機ex300對聲音信號以及影像信號進行編碼，并發(fā)送到外部或?qū)懭氲接涗浗橘|(zhì)等。電視機ex300接受來自遠(yuǎn)程控制器ex220等的用戶的操作，并根據(jù)控制部ex310的控制，在聲音信號處理部ex304對聲音信號進行編碼，并利用在上述的各個實施例中說明的編碼方法，在影像信號處理部ex305對影像信號進行編碼。被編碼的聲音信號和影像信號在多路復(fù)用/分離部ex303被多路復(fù)用，并被輸出到外部。在進行多路復(fù)用時，為了使聲音信號和影像信號同步，而可以將這些信號暫時蓄積到緩沖器ex320、ex321等。

另外，關(guān)于緩沖器ex318至ex321，可以如圖中所示那樣具備多個，也可以共享一個以上的緩沖器。而且，除圖中所示以外，例如可以在調(diào)制/解調(diào)部ex302以及多路復(fù)用/分離部ex303之間等，作為回避系統(tǒng)的上溢和下溢的緩沖材料，可以在緩沖器中蓄積數(shù)據(jù)。

并且，電視機ex300除具有獲得廣播以及來自記錄介質(zhì)等的聲音數(shù)據(jù)以及影像數(shù)據(jù)的構(gòu)成以外，還可以具有接受麥克風(fēng)以及攝像機的av輸入的構(gòu)成，對從這些獲得的數(shù)據(jù)進行編碼處理。并且，在此雖然對電視機ex300能夠進行上述的編碼處理、多路復(fù)用以及外部輸出的構(gòu)成進行了說明，不過也可以不能進行這樣的處理，而只能進行上述的接收、解碼處理、外部輸出的構(gòu)成。

并且，在閱讀器/記錄器ex218從記錄介質(zhì)中讀出或?qū)懭刖幋a比特流的情況下，上述的解碼處理或編碼處理也可以在電視機ex300以及閱讀器/記錄器ex218的某一個中進行，也可以是電視機ex300和閱讀器/記錄器ex218彼此分擔(dān)進行。

作為一個例子，圖32示出從光盤進行數(shù)據(jù)的讀取或?qū)懭氲那闆r下的信息再生/記錄部ex400的構(gòu)成。信息再生/記錄部ex400包括以下將要說明的要素ex401至ex407。

光學(xué)頭ex401將激光照射到作為光盤的記錄介質(zhì)ex215的記錄面并寫入信息，并且檢測來自記錄介質(zhì)ex215的記錄面的反射光并讀取信息。調(diào)制記錄部ex402對被內(nèi)藏于光學(xué)頭ex401的半導(dǎo)體激光進行電驅(qū)動，并按照記錄數(shù)據(jù)來進行激光的調(diào)制。再生解調(diào)部ex403對由被內(nèi)藏于光學(xué)頭ex401的光電探測器對來自記錄面的反射光進行電檢測而得到的再生信號進行放大，對被記錄在記錄介質(zhì)ex215的信號成分進行分離、解調(diào)，并再生必要的信息。緩沖器ex404對用于在記錄介質(zhì)ex215進行記錄的信息以及從記錄介質(zhì)ex215再生的信息進行暫時保持。盤式電機ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406在對盤式電機ex405的旋轉(zhuǎn)驅(qū)動進行控制的同時，將光學(xué)頭ex401移動到規(guī)定的信息光道，進行激光的光點的追蹤處理。

系統(tǒng)控制部ex407對信息再生/記錄部ex400進行整體控制。上述的讀出以及寫入處理可以通過以下的方法來實現(xiàn)，即：系統(tǒng)控制部ex407利用被保持在緩沖器ex404的各種信息，并且按照需要在進行新的信息的生成以及追加的同時，一邊使調(diào)制記錄部ex402、再生解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)工作，一邊通過光學(xué)頭ex401來進行信息的記錄再生。系統(tǒng)控制部ex407例如以微處理器構(gòu)成，通過執(zhí)行讀出以及寫入的程序來執(zhí)行這些處理。

以上，以光學(xué)頭ex401照射激光光點為例進行了說明，不過也可以是利用近場光學(xué)(near－fieldoptical)來進行高密度的記錄的構(gòu)成。

圖33是作為光盤的記錄介質(zhì)ex215的模式圖。在記錄介質(zhì)ex215的記錄面上，導(dǎo)槽(槽)被形成為螺旋狀，在信息光道ex230上預(yù)先被記錄有按照槽的形狀的變化示出盤上的絕對位置的地址信息。該地址信息包括用于確定記錄塊ex231的位置的信息，該記錄塊ex231是記錄數(shù)據(jù)的單位，進行記錄以及再生的裝置能夠通過再生信息光道ex230以及讀取地址信息，來確定記錄塊。并且，記錄介質(zhì)ex215包括：數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、以及外周區(qū)域ex234。用于記錄用戶數(shù)據(jù)的區(qū)域為數(shù)據(jù)記錄區(qū)域ex233，被配置在數(shù)據(jù)記錄區(qū)域ex233的內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234被用于用戶數(shù)據(jù)的記錄以外的特殊用途。

信息再生/記錄部ex400針對這種記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233，進行被編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或?qū)@些數(shù)據(jù)進行多路復(fù)用后的編碼數(shù)據(jù)的讀寫。

以上以具有一層結(jié)構(gòu)的dvd、bd等光盤為例進行了說明，但并非受此所限，也可以是多層結(jié)構(gòu)的能夠在表面以外進行記錄的光盤。并且，也可以在盤的同一位置上利用各種不同波長的顏色的光記錄信息，或者從各種角度記錄不同的信息的層等，具有進行多維的記錄/再生的結(jié)構(gòu)的光盤。

并且，在數(shù)字廣播用系統(tǒng)ex200，能夠在具有天線ex205的車輛ex210從衛(wèi)星ex202等接收數(shù)據(jù)，并且能夠在車輛ex210所具有的汽車導(dǎo)航系統(tǒng)ex211等顯示裝置再生運動圖像。并且，關(guān)于汽車導(dǎo)航系統(tǒng)ex211的構(gòu)成可以考慮到在圖31所示的構(gòu)成中添加gps接收部，同樣也可以考慮到添加計算機ex111以及移動電話ex114等。并且，上述移動電話ex114等終端與電視機ex300同樣，除可以考慮到是具有編碼器以及解碼器雙方的收發(fā)信型終端的形式以外，還可以考慮到是僅具有編碼器的發(fā)送終端，以及僅具有解碼器的接收終端的共三種安裝形式。

這樣，在上述的各個實施例所示的圖像編碼方法或圖像解碼方法能夠適用于上述的任一個設(shè)備或系統(tǒng)，這樣，能夠得到在上述的各個實施例中說明的效果。

而且，本發(fā)明不僅限于這些所述實施例，而可以在不脫離本發(fā)明的范圍的情況下進行各種變形或修改。

(實施例9)

在本實施例中，將實施例1所示的圖像處理裝置，實現(xiàn)為作為典型的半導(dǎo)體集成電路的lsi。圖34示出實現(xiàn)了的形態(tài)。在dram上實現(xiàn)幀存儲器502，在lsi上構(gòu)成其他的電路以及存儲器。也可以在dram上實現(xiàn)存放編碼流的比特流緩沖器。

可以將它們個別單芯片化，也可以將它們單芯片化，使得包含一部分或全部。在此，作為lsi，但也可以根據(jù)集成度不同被稱為ic、系統(tǒng)lsi、超lsi、特大lsi等。

并且，對于集成電路化的方法，不僅限于lsi，也可以以專用電路或通用處理器來實現(xiàn)。也可以利用在制造lsi后能夠編程的fpga(fieldprogrammablegatearray∶現(xiàn)場可編程門陣列)、或可重構(gòu)lsi內(nèi)部的電路單元的連接以及設(shè)定的可重構(gòu)處理器。

進而，當(dāng)然，若因半導(dǎo)體技術(shù)的進步或?qū)С龅钠渌募夹g(shù)而出現(xiàn)代替lsi的集成電路化的技術(shù)，則可以利用其技術(shù)對功能框進行集成化。存在生物技術(shù)的應(yīng)用等的可能性。

進而，將對本實施例的圖像處理裝置集成化后的半導(dǎo)體芯片與用于描繪圖像的顯示器組合，從而能夠構(gòu)成適于各種用途的描繪設(shè)備。作為移動電話、電視機、數(shù)字錄像機、數(shù)字?jǐn)z像機以及汽車導(dǎo)航等的信息描繪機構(gòu)，能夠利用本發(fā)明。作為顯示器，除電子束管(crt)以外，還有液晶顯示器、pdp(等離子顯示板)以及有機el等平面顯示器，并且也可以與以投影儀為代表的投射型顯示器等相組合。

并且，本實施例的lsi也可以，與具備蓄積編碼流的比特流緩沖器、以及蓄積圖像的幀存儲器等的dram(dynamicrandomaccessmemory：動態(tài)隨機存儲器)協(xié)調(diào)，來進行編碼處理或解碼處理。并且，本實施例的lsi也可以，不與dram協(xié)調(diào)，而與edram(embededdram)、sram(staticrandomaccessmemory：靜態(tài)隨機存儲器)、或硬盤等其他的存儲裝置協(xié)調(diào)。

(實施例10)

將所述各個實施例所示的圖像編碼裝置、圖像解碼裝置、圖像處理裝置、圖像編碼方法、圖像解碼方法及圖像處理方法，實現(xiàn)為作為典型的半導(dǎo)體集成電路的lsi。作為一個例子，圖35示出了被制成一個芯片的lsiex500的構(gòu)成。lsiex500包括以下將要說明的要素ex502至ex509，各個要素通過總線ex510連接。電源電路部ex505在電源為打開狀態(tài)的情況下，通過向各個部提供電力，從而啟動為能夠工作的狀態(tài)。

例如，在進行編碼處理的情況下，lsiex500，由av輸入/輸出ex509從麥克風(fēng)ex117及攝像機ex113等接受av信號的輸入。被輸入的av信號被暫時蓄積到sdram等的外部的存儲器ex511。蓄積的數(shù)據(jù)按照處理量以及處理速度被適當(dāng)?shù)胤譃槎啻蔚?，并被發(fā)送到信號處理部ex507。信號處理部ex507進行聲音信號的編碼以及/或影像信號的編碼。在此，影像信號的編碼處理是在上述的實施例中所說明的編碼處理。在信號處理部ex507還根據(jù)情況對被編碼的聲音數(shù)據(jù)以及被編碼的影像數(shù)據(jù)進行多路復(fù)用等處理，從流輸入/輸出ex504輸出到外部。該被輸出的比特流被發(fā)送到基站ex107，或者被寫入到記錄介質(zhì)ex215。

并且，例如在進行解碼處理的情況下，lsiex500根據(jù)微型計算機(微電腦)ex502的控制，將通過流輸入/輸出ex504從基站ex107得到的編碼數(shù)據(jù)或從記錄介質(zhì)ex215讀出而得到的編碼數(shù)據(jù)暫時蓄積到存儲器ex511。根據(jù)微型計算機ex502的控制，蓄積的數(shù)據(jù)按照處理量以及處理速度被適當(dāng)?shù)胤譃槎啻蔚?，并被發(fā)送到信號處理部ex507，信號處理部ex507進行聲音數(shù)據(jù)的解碼以及/或影像數(shù)據(jù)的解碼。在此，影像信號的解碼處理是在上述的各個實施例中所說明的解碼處理。進而，為了使被解碼的聲音信號和被解碼的影像信號同步再生，根據(jù)情況將各個信號暫時蓄積到存儲器ex511等即可。被解碼的輸出信號適當(dāng)?shù)亟?jīng)由存儲器ex511等，從av輸入/輸出ex509輸出到監(jiān)視器ex219等。被構(gòu)成為在訪問存儲器ex511時經(jīng)由存儲器控制器ex503。

另外，以上雖然對存儲器ex511作為lsiex500的外部構(gòu)成進行了說明，不過也可以被包括在lsiex500的內(nèi)部。并且，lsiex500可以被制成一個芯片，也可以是多個芯片。

而且，在此，作為lsi，但也可以根據(jù)集成度不同被稱為ic、系統(tǒng)lsi、超lsi、特大lsi等。

并且，對于集成電路化的方法，不僅限于lsi，也可以以專用電路或通用處理器來實現(xiàn)。也可以利用在制造lsi后能夠編程的fpga(fieldprogrammablegatearray∶現(xiàn)場可編程門陣列)、或可重構(gòu)lsi內(nèi)部的電路單元的連接以及設(shè)定的可重構(gòu)處理器。

進而，當(dāng)然，若因半導(dǎo)體技術(shù)的進步或?qū)С龅钠渌募夹g(shù)而出現(xiàn)代替lsi的集成電路化的技術(shù)，則可以利用其技術(shù)對功能框進行集成化。存在生物技術(shù)的應(yīng)用等的可能性。

本發(fā)明，能夠利用在各種各樣的用途上。例如，能夠利用于電視機、數(shù)字錄像機、汽車導(dǎo)航、移動電話、數(shù)字照相機、數(shù)字?jǐn)z像機等的高分辨率的信息顯示設(shè)備或攝像設(shè)備，利用價值高。

符號說明

100、200圖像處理裝置

101、102存儲部

110傳輸部

220預(yù)測圖像生成部

501、ex310控制部

502幀存儲器

503可變長解碼部

504逆量化部

505逆頻率變換部

506運動補償部

507幀內(nèi)預(yù)測部

508重構(gòu)部

509重構(gòu)圖像存儲器

510內(nèi)環(huán)濾波器部

511運動矢量運算部

512dma控制部

513參考圖像存儲部

514預(yù)測圖像存儲部

515運動矢量存儲部

ex100內(nèi)容提供系統(tǒng)

ex101互聯(lián)網(wǎng)

ex102互聯(lián)網(wǎng)服務(wù)提供商

ex103流播放服務(wù)器

ex104電話網(wǎng)

ex106、ex107、ex108、ex109、ex110基站

ex111計算機

ex112pda(personaldigitalassistant)

ex113、ex116攝像機

ex114移動電話

ex115游戲機

ex117麥克風(fēng)

ex200數(shù)字廣播用系統(tǒng)

ex201廣播電臺

ex202播放衛(wèi)星(衛(wèi)星)

ex203電纜

ex204、ex205天線

ex210車輛

ex211汽車導(dǎo)航系統(tǒng)(汽車導(dǎo)航)

ex212再生裝置

ex213、ex219監(jiān)視器

ex214、ex215、ex216記錄介質(zhì)

ex217機頂盒(stb)

ex218閱讀器/記錄器

ex220遠(yuǎn)程控制器

ex230信息光道

ex231記錄塊

ex232內(nèi)周區(qū)域

ex233數(shù)據(jù)記錄區(qū)域

ex234外周區(qū)域

ex300電視機(接收機)

ex301調(diào)諧器

ex302調(diào)制/解調(diào)部

ex303多路復(fù)用/分離部

ex304聲音信號處理部

ex305影像信號處理部

ex306、ex507信號處理部

ex307揚聲器

ex308顯示部

ex309輸出部

ex311、ex505電源電路部

ex312操作輸入部

ex313電橋

ex314插槽部

ex315驅(qū)動器

ex316調(diào)制解調(diào)器

ex317接口部

ex318、ex319、ex320、ex321、ex404緩沖器

ex400信息再生/記錄部

ex401光學(xué)頭

ex402調(diào)制記錄部

ex403再生解調(diào)部

ex405盤式電機

ex406伺服控制部

ex407系統(tǒng)控制部

ex500lsi

ex502微型計算機(微電腦)

ex503存儲器控制器

ex504流輸入/輸出

ex509av輸入/輸出

ex510總線

ex511存儲器