本申請(qǐng)是國家申請(qǐng)?zhí)枮?01280030904.8，進(jìn)入中國國家階段的日期為2013年12月23日，發(fā)明名稱為“圖像處理設(shè)備和圖像處理方法”的pct申請(qǐng)的分案申請(qǐng)。

本公開內(nèi)容涉及一種圖像處理設(shè)備和圖像處理方法。具體而言，本公開內(nèi)容涉及一種能夠提高編碼效率的圖像處理設(shè)備和圖像處理方法。

背景技術(shù)：

近年來，如下設(shè)備已經(jīng)在廣播站中的信息分發(fā)和普通家庭中的信息接收二者中變得普遍：該設(shè)備將圖像信息作為數(shù)字?jǐn)?shù)據(jù)來處理、在這樣的情況下目的在于以高效率發(fā)送和存儲(chǔ)信息、并且符合用于通過利用圖像信息特有的冗余度、使用正交變換、比如離散余弦變換并且使用運(yùn)動(dòng)補(bǔ)償來壓縮圖像信息的方案、比如mpeg(運(yùn)動(dòng)圖象專家組)。

具體而言，mpeg2(國際標(biāo)準(zhǔn)化組織和國際電工委員會(huì)(iso/iec)13818-2)被定義為通用圖像編碼方案并且在用于專業(yè)使用和消費(fèi)者使用的廣泛應(yīng)用中當(dāng)前廣泛用作為用于隔行掃描圖像和順序掃描圖像以及標(biāo)準(zhǔn)和高清晰度圖像的標(biāo)準(zhǔn)。例如通過運(yùn)用mpeg2壓縮方案，為具有720×480個(gè)像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像分配4至8mbps的編碼速率(比特率)，并且為具有1920×1088個(gè)像素的高分辨率的隔行掃描圖像分配18至22mbps的編碼速率(比特率)。作為結(jié)果，可以實(shí)現(xiàn)高壓縮比和良好圖像質(zhì)量。

mpeg2已經(jīng)主要既定用于適合于廣播的高圖像質(zhì)量編碼、但是未與用于實(shí)現(xiàn)比mpeg1的編碼速率(比特率)更低的編碼速率(比特率)(更高壓縮比)的編碼方案兼容。隨著移動(dòng)終端的普及，預(yù)計(jì)對(duì)于這樣的編碼方案的需求在將來增加。為了回應(yīng)這一點(diǎn)，已經(jīng)確認(rèn)mpeg4編碼方案的標(biāo)準(zhǔn)化。關(guān)于圖像編碼方案，在1998年12月確認(rèn)其規(guī)范為國際標(biāo)準(zhǔn)iso/iec14496-2。

此外，近年來，原先出于用于電視會(huì)議的視頻編碼的目的，稱為h.26l(itu-t(國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)q6/16vceg(視頻編碼專家組))的標(biāo)準(zhǔn)的規(guī)范的標(biāo)準(zhǔn)化已有進(jìn)步。已知h.26l實(shí)現(xiàn)更高編碼效率，但是它需要比常規(guī)編碼方案、比如mpeg2和mpeg4更大量的用于編碼和解碼的計(jì)算。另外，目前作為mpeg4的活動(dòng)的部分，進(jìn)行用于向h.26l中并入h.26l不支持的功能的標(biāo)準(zhǔn)化作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型以實(shí)現(xiàn)高編碼效率。

標(biāo)準(zhǔn)化時(shí)間表表明，它在2003年3月變成名義為h.264和mpeg-4部分10(下文稱為avc的高級(jí)視頻編碼)的國際標(biāo)準(zhǔn)。

然而將宏塊的尺寸設(shè)置成16×16個(gè)像素對(duì)于將變成下一代編碼方案的對(duì)象的、命名為uhd(超高清晰度；4000×2000個(gè)像素)的大圖像幀并非最優(yōu)。

因此，作為itu-t和iso/iec的聯(lián)合標(biāo)準(zhǔn)化組織的jctvc(聯(lián)合協(xié)作團(tuán)隊(duì)-視頻編碼)目前已經(jīng)開發(fā)稱為hevc(高效率視頻編碼)的編碼系統(tǒng)的標(biāo)準(zhǔn)化，用于與avc比較進(jìn)一步提高編碼效率(例如見非專利文獻(xiàn)1)。

在hevc編碼方案中，定義編碼單位(cu)為與avc方案中的宏塊相同的處理單位。不同于avc方案的宏塊，cu的尺寸未被固定成16×16個(gè)像素、但是在相應(yīng)序列中的圖像壓縮信息中被指明。

然而為了改進(jìn)使用在avc方案中定義的中值預(yù)測(cè)對(duì)運(yùn)動(dòng)矢量的編碼，已經(jīng)考慮一種允許使用“時(shí)間預(yù)測(cè)符”和“時(shí)空預(yù)測(cè)符”以及“空間預(yù)測(cè)符”作為用于預(yù)測(cè)運(yùn)動(dòng)矢量的候選的方法(例如見非專利文獻(xiàn)2)。

另外，提出一種其中發(fā)送merge_flag和merge_left_flag的稱為運(yùn)動(dòng)分區(qū)合并的方法，作為用于運(yùn)動(dòng)信息的編碼方案之一(例如見非專利文獻(xiàn)3)。

引用列表

非專利文獻(xiàn)

non-patentdocument1:thomaswiegand,woo-jinhan,benjaminbross,jens-rainerohm,garyj.sullivan,"workingdraft1ofhigh-efficiencyvideocoding",jctvc-c403,jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg113rdmeeting:guangzhou,cn,7-15october,2010

non-patentdocument2:joeljung,guillaumelaroche,"competition-basedschemeformotionvectorselectionandcoding,"vceg-ac06,itu-telecommunicationsstandardizationsectorstudygroup16question6,videocodingexpertsgroup(vceg)29thmeeting:klagenfurt,austria,17-18july,2006

non-patentdocument3:martinwinken,sebastianbosse,benjaminbross,philipphelle,tobiashinz,heinerkirchhoffer,haricharanlakshman,detlevmarpe,simonoudin,matthiaspreiss,heikoschwarz,mischasiekmann,karstensuehring,andthomaswiegand,"descriptionofvideocodingtechnologyproposedbyfraunhoferhhi,"jctvc-a116,april,2010

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的問題

然而這些技術(shù)舉例說明僅在相同視圖中的處理并且不能在多視圖編碼的情況下執(zhí)行視圖間矢量預(yù)測(cè)。因此，編碼效率可能減少。

本公開內(nèi)容是鑒于這些情形而產(chǎn)生的并且以抑制編碼效率減少為目標(biāo)。

對(duì)問題的解決方案

根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括：預(yù)測(cè)矢量候選設(shè)置單元，預(yù)測(cè)矢量候選設(shè)置單元在當(dāng)前塊的編碼矢量以及與當(dāng)前畫面不同時(shí)間的畫面的共同定位的塊的共同定位的矢量中的一方為參考在相同視圖下與當(dāng)前畫面不同時(shí)間的畫面的運(yùn)動(dòng)矢量、另一方為利用視圖方向上的相關(guān)性的視差矢量時(shí)，將共同定位的矢量從針對(duì)編碼矢量的預(yù)測(cè)矢量的候選中排除；預(yù)測(cè)矢量設(shè)置單元，預(yù)測(cè)矢量設(shè)置單元從通過預(yù)測(cè)矢量候選設(shè)置單元排除共同定位的矢量后的預(yù)測(cè)矢量的候選中設(shè)置針對(duì)編碼矢量的預(yù)測(cè)矢量；以及重建單元，重建單元將通過預(yù)測(cè)矢量設(shè)置單元設(shè)置的預(yù)測(cè)矢量與編碼矢量跟針對(duì)編碼矢量的預(yù)測(cè)矢量的差值亦即差值矢量相加，重建編碼矢量。

根據(jù)本公開內(nèi)容的一個(gè)方面，提供了一種圖像處理方法，其中，在當(dāng)前塊的編碼矢量以及與當(dāng)前畫面不同時(shí)間的畫面的共同定位的塊的共同定位的矢量中的一方為參考在相同視圖下與當(dāng)前畫面不同時(shí)間的畫面的運(yùn)動(dòng)矢量、另一方為利用視圖方向上的相關(guān)性的視差矢量時(shí)，將共同定位的矢量從針對(duì)編碼矢量的預(yù)測(cè)矢量的候選中排除，從排除共同定位的矢量后的預(yù)測(cè)矢量的候選中設(shè)置針對(duì)編碼矢量的預(yù)測(cè)矢量，以及將所設(shè)置的預(yù)測(cè)矢量與編碼矢量跟針對(duì)編碼矢量的預(yù)測(cè)矢量的差值亦即差值矢量相加，重建編碼矢量。

根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種記錄介質(zhì)，該記錄介質(zhì)能夠被記錄了使計(jì)算機(jī)作為如下單元來發(fā)揮功能的程序的計(jì)算機(jī)讀?。侯A(yù)測(cè)矢量候選設(shè)置單元，預(yù)測(cè)矢量候選設(shè)置單元在當(dāng)前塊的編碼矢量以及與當(dāng)前畫面不同時(shí)間的畫面的共同定位的塊的共同定位的矢量中的一方為參考在相同視圖下與當(dāng)前畫面不同時(shí)間的畫面的運(yùn)動(dòng)矢量、另一方為利用視圖方向上的相關(guān)性的視差矢量時(shí)，將共同定位的矢量從針對(duì)編碼矢量的預(yù)測(cè)矢量的候選中排除；預(yù)測(cè)矢量設(shè)置單元，預(yù)測(cè)矢量設(shè)置單元從通過預(yù)測(cè)矢量候選設(shè)置單元排除共同定位的矢量后的預(yù)測(cè)矢量的候選中設(shè)置針對(duì)編碼矢量的預(yù)測(cè)矢量；以及重建單元，重建單元將通過預(yù)測(cè)矢量設(shè)置單元設(shè)置的預(yù)測(cè)矢量與編碼矢量跟針對(duì)編碼矢量的預(yù)測(cè)矢量的差值亦即差值矢量相加，重建編碼矢量。

根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種程序，使計(jì)算機(jī)作為如下單元來發(fā)揮功能：預(yù)測(cè)矢量候選設(shè)置單元，預(yù)測(cè)矢量候選設(shè)置單元在當(dāng)前塊的編碼矢量以及與當(dāng)前畫面不同時(shí)間的畫面的共同定位的塊的共同定位的矢量中的一方為參考在相同視圖下與當(dāng)前畫面不同時(shí)間的畫面的運(yùn)動(dòng)矢量、另一方為利用視圖方向上的相關(guān)性的視差矢量時(shí)，將共同定位的矢量從針對(duì)編碼矢量的預(yù)測(cè)矢量的候選中排除；預(yù)測(cè)矢量設(shè)置單元，預(yù)測(cè)矢量設(shè)置單元從通過預(yù)測(cè)矢量候選設(shè)置單元排除共同定位的矢量后的預(yù)測(cè)矢量的候選中設(shè)置針對(duì)編碼矢量的預(yù)測(cè)矢量；以及重建單元，重建單元將通過預(yù)測(cè)矢量設(shè)置單元設(shè)置的預(yù)測(cè)矢量與編碼矢量跟針對(duì)編碼矢量的預(yù)測(cè)矢量的差值亦即差值矢量相加，重建編碼矢量。

根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括：預(yù)測(cè)矢量生成單元，預(yù)測(cè)矢量生成單元在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量；以及差值矢量生成單元，差值矢量生成單元生成當(dāng)前運(yùn)動(dòng)矢量與預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量之間的差值矢量。

根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括：預(yù)測(cè)矢量生成單元，預(yù)測(cè)矢量生成單元在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；以及差值矢量生成單元，差值矢量生成單元生成當(dāng)前視差矢量與預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量之間的差值矢量。

預(yù)測(cè)矢量生成單元可以使用在與當(dāng)前視圖相同的視圖的當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的視差矢量，生成當(dāng)前視差矢量的預(yù)測(cè)矢量。

預(yù)測(cè)矢量生成單元可以在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性相同時(shí)，設(shè)置共同定位的塊為可用。

矢量的特性是矢量的類型，并且預(yù)測(cè)矢量生成單元可以在當(dāng)前塊的矢量的特性是視差矢量并且共同定位的塊的矢量的特性是視差矢量時(shí)，設(shè)置共同定位的塊為可用。

預(yù)測(cè)運(yùn)動(dòng)矢量生成單元可以使用指示畫面的輸出順序的畫面順序計(jì)數(shù)poc，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。

預(yù)測(cè)運(yùn)動(dòng)矢量生成單元可以使用當(dāng)前畫面的poc、從當(dāng)前畫面參考的當(dāng)前參考畫面的poc、共同定位的畫面的poc和從共同定位的畫面參考的共同定位的參考畫面的poc，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。

預(yù)測(cè)運(yùn)動(dòng)矢量生成單元可以在當(dāng)前畫面的poc與從當(dāng)前畫面參考的當(dāng)前參考畫面的poc相同并且共同定位的畫面的poc與從共同定位的畫面參考的共同定位的參考畫面的poc相同時(shí)，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性是視差矢量。

預(yù)測(cè)矢量生成單元可以在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性不同時(shí)，設(shè)置共同定位的塊為不可用。

矢量的特性是參考畫面的類型，并且預(yù)測(cè)矢量生成單元可以在當(dāng)前塊的參考畫面的類型與共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用。

矢量的特性是參考畫面的類型，并且預(yù)測(cè)矢量生成單元可以在當(dāng)前塊的參考畫面的類型是長參考類型并且共同定位的塊的參考畫面的類型是長參考類型時(shí)，略過搜索參考索引的搜索處理。

預(yù)測(cè)矢量生成單元可以使用在與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面中包括的參考?jí)K的視差矢量，生成當(dāng)前視差矢量的預(yù)測(cè)矢量。

預(yù)測(cè)矢量生成單元可以基于在當(dāng)前畫面與在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考畫面之間的位置關(guān)系縮放參考視差矢量，以生成當(dāng)前視差矢量的預(yù)測(cè)矢量。

預(yù)測(cè)矢量生成單元可以在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量，并且差值矢量生成單元可以生成當(dāng)前運(yùn)動(dòng)矢量與預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量之間的差值矢量。

預(yù)測(cè)矢量生成單元可以使用在與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面中包括的參考?jí)K的運(yùn)動(dòng)矢量，生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量。

預(yù)測(cè)矢量生成單元可以使用在與當(dāng)前視圖相同的視圖的當(dāng)前畫面不同的時(shí)間的畫面中包括的參考?jí)K的運(yùn)動(dòng)矢量，生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量。

預(yù)測(cè)矢量生成單元可以基于當(dāng)前畫面與在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考畫面之間的位置關(guān)系來縮放參考運(yùn)動(dòng)矢量，以生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量。

預(yù)測(cè)矢量生成單元可以在移位與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面的像素的位置的狀態(tài)中，使用與位于當(dāng)前塊相同的位置的塊的矢量來生成預(yù)測(cè)矢量。

預(yù)測(cè)矢量生成單元可以根據(jù)當(dāng)前塊的鄰近區(qū)域的視差矢量，設(shè)置圖像的移位量。

預(yù)測(cè)矢量生成單元可以使用其中在y方向上的視差矢量的值不是零的鄰近塊的在x方向上的視差矢量，作為移位量。

預(yù)測(cè)矢量生成單元可以使用根據(jù)其中在y方向上的視差矢量的值不是零的多個(gè)鄰近塊的在x方向上的視差矢量計(jì)算的值，作為移位量。

預(yù)測(cè)矢量生成單元可以使用其中在y方向上的視差矢量的值不是零的多個(gè)鄰近塊的在x方向上的視差矢量的平均值或者中值，作為圖像的移位量。

預(yù)測(cè)矢量生成單元可以根據(jù)全局視差矢量設(shè)置圖像的移位量。

另外，根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種圖像處理設(shè)備的圖像處理方法，該圖像處理方法用于允許圖像處理設(shè)備執(zhí)行：在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；并且生成當(dāng)前視差矢量與所生成的預(yù)測(cè)矢量之間的差值矢量。

根據(jù)本公開內(nèi)容的另一方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括：預(yù)測(cè)矢量生成單元，預(yù)測(cè)矢量生成單元在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；以及算術(shù)單元，算術(shù)單元執(zhí)行將預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量和當(dāng)前視差矢量與預(yù)測(cè)矢量之間的差值矢量相加的運(yùn)算，以重建當(dāng)前視差矢量。

另外，根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種圖像處理設(shè)備的圖像處理方法，該圖像處理方法用于允許圖像處理設(shè)備執(zhí)行：在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；并且執(zhí)行將所生成的預(yù)測(cè)矢量和當(dāng)前視差矢量與預(yù)測(cè)矢量之間的差值矢量相加的運(yùn)算，以重建當(dāng)前視差矢量。

根據(jù)本公開內(nèi)容的又一方面，提供一種圖像處理設(shè)備，該圖像處理設(shè)備包括：預(yù)測(cè)矢量生成單元，預(yù)測(cè)矢量生成單元在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量；以及差值矢量生成單元，差值矢量生成單元生成當(dāng)前運(yùn)動(dòng)矢量與預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量之間的差值矢量。

另外，根據(jù)本公開內(nèi)容的一個(gè)方面，提供一種圖像處理設(shè)備的圖像處理方法，該圖像處理方法用于允許圖像處理設(shè)備執(zhí)行：在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量；并且生成當(dāng)前運(yùn)動(dòng)矢量與所生成的預(yù)測(cè)矢量之間的差值矢量。

在本公開內(nèi)容的一個(gè)方面中，在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；并且生成當(dāng)前視差矢量與生成的預(yù)測(cè)矢量之間的差值矢量。

根據(jù)本公開內(nèi)容的另一方面，在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；并且執(zhí)行將生成的預(yù)測(cè)矢量和當(dāng)前視差矢量與預(yù)測(cè)矢量之間的差值矢量相加以重建當(dāng)前視差矢量的運(yùn)算。

根據(jù)本公開內(nèi)容的又一方面，在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用；使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量；并且生成當(dāng)前運(yùn)動(dòng)矢量與生成的預(yù)測(cè)矢量之間的差值矢量。

發(fā)明的效果

根據(jù)本公開內(nèi)容，有可能處理圖像。具體而言，有可能抑制編碼效率降低。

附圖說明

圖1是用于描述預(yù)測(cè)單位類型的示例的圖。

圖2是用于描述用于合并模式時(shí)間相關(guān)性區(qū)域中的參考圖像索引確定的鄰近區(qū)域的示例的圖。

圖3是用于描述合并模式時(shí)間相關(guān)性區(qū)域中的參考圖像索引確定條件的示例的圖。

圖4是用于描述時(shí)間相關(guān)性區(qū)域確定方法的示例的圖。

圖5是用于描述方法的示例的圖，該方法確定包括時(shí)間相關(guān)性區(qū)域的圖像。

圖6是用于描述在當(dāng)前區(qū)域與時(shí)間相關(guān)性區(qū)域之間的位置關(guān)系的示例的圖。

圖7是圖示時(shí)間相關(guān)性區(qū)域的運(yùn)動(dòng)矢量的縮放的示例的圖。

圖8是圖示3視圖圖像的參考關(guān)系的示例的圖。

圖9是用于描述在關(guān)于當(dāng)前區(qū)域預(yù)測(cè)視差矢量時(shí)分配參考圖像的示例的圖。

圖10是用于描述在關(guān)于當(dāng)前區(qū)域預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)分配參考圖像的示例的圖。

圖11是圖示圖像編碼設(shè)備的主要配置示例的框圖。

圖12是圖示運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元的主要配置示例的框圖。

圖13是圖示時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元的主要配置示例的框圖。

圖14是用于描述方案選擇的示例的圖。

圖15是用于描述確定共同定位的矢量的可用性的方式的圖。

圖16是用于描述其中共同定位的矢量可用的示例的圖。

圖17是圖示序列參數(shù)集的語法的示例的圖。

圖18是圖示切片首部的語法的示例的圖。

圖19圖示預(yù)測(cè)單位的語法的示例的圖。

圖20是用于描述編碼處理的流程的示例的流程圖。

圖21是用于描述幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程圖的示例的流程圖。

圖22是用于描述合并模式處理的流程的示例的流程圖。

圖23是用于描述視差運(yùn)動(dòng)矢量預(yù)測(cè)處理的流程的示例的流程圖。

圖24是用于描述時(shí)間視差相關(guān)性預(yù)測(cè)處理的流程的示例的流程圖。

圖25是用于描述時(shí)間視差相關(guān)性預(yù)測(cè)處理的流程的示例的、從圖22繼續(xù)的流程圖。

圖26是用于描述時(shí)間視差相關(guān)性預(yù)測(cè)處理的流程的示例的、從圖23繼續(xù)的流程圖。

圖27是用于描述時(shí)間視差相關(guān)性預(yù)測(cè)處理的流程的示例的、從圖24繼續(xù)的流程圖。

圖28是用于描述方案1處理的流程的示例的流程圖。

圖29是用于描述方案3處理的流程的示例的流程圖。

圖30是用于描述方案4-2處理的流程的示例的流程圖。

圖31是圖示示例解碼設(shè)備的主要配置示例的框圖。

圖32是圖示運(yùn)動(dòng)視差補(bǔ)償單元的主要配置示例的框圖。

圖33是用于描述解碼處理的流程的示例的流程圖。

圖34是用于描述預(yù)測(cè)處理的流程的示例的流程圖。

圖35是用于描述運(yùn)動(dòng)視差補(bǔ)償處理的流程的示例的流程圖。

圖36是用于描述運(yùn)動(dòng)視差矢量生成處理的流程的示例的流程圖。

圖37是圖示圖像編碼設(shè)備的另一配置示例的框圖。

圖38是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的主要配置示例的框圖。

圖39是圖示矢量預(yù)測(cè)單元的主要配置示例的框圖。

圖40是圖示基于不同畫面的預(yù)測(cè)矢量生成單元的主要配置示例的框圖。

圖41是用于描述運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的流程的示例的流程圖。

圖42是用于描述矢量預(yù)測(cè)處理的流程的示例的流程圖。

圖43是用于描述預(yù)測(cè)矢量生成處理的流程的示例的流程圖。

圖44是用于描述基于不同畫面的預(yù)測(cè)矢量生成處理的流程的示例的流程圖。

圖45是用于描述移位量確定處理的流程的示例的流程圖。

圖46是圖示當(dāng)前塊和鄰近塊的布置的示例的圖。

圖47是圖示圖像解碼設(shè)備的另一配置示例的框圖。

圖48是圖示運(yùn)動(dòng)補(bǔ)償單元的主要配置示例的框圖。

圖49是圖示矢量解碼單元的主要配置示例的框圖。

圖50是圖示基于不同畫面的預(yù)測(cè)矢量生成單元的主要配置示例的框圖。

圖51是用于描述運(yùn)動(dòng)補(bǔ)償處理的流程的示例的流程圖。

圖52是用于描述矢量解碼處理的流程的示例的流程圖。

圖53是用于描述預(yù)測(cè)矢量生成處理的流程的示例的流程圖。

圖54是用于描述基于不同畫面的預(yù)測(cè)矢量生成處理的流程的示例的流程圖。

圖55是用于描述移位量確定處理的流程的示例的流程圖。

圖56是圖示生成預(yù)測(cè)矢量的方式的示例的圖。

圖57是用于描述視差和深度的圖。

圖58是用于描述預(yù)測(cè)矢量生成方法的示例的圖。

圖59是用于描述預(yù)測(cè)矢量生成處理的流程的示例的流程圖。

圖60是用于描述基于不同畫面的預(yù)測(cè)矢量生成處理的流程的示例的流程圖。

圖61是用于描述基于不同畫面的預(yù)測(cè)矢量生成處理的流程的示例的、從圖60繼續(xù)的流程圖。

圖62是用于描述用于固定背景應(yīng)用的參考圖像的方面的示例的圖。

圖63是用于描述用于立體應(yīng)用的參考圖像的方面的示例的圖。

圖64是用于比較參考圖像類型和矢量特性的示例的圖。

圖65是用于描述鄰近塊的示例的圖。

圖66是用于描述處理時(shí)間相關(guān)性塊和鄰近塊的示例的圖。

圖67是用于描述pu運(yùn)動(dòng)(視差)矢量和參考索引生成處理的流程的示例的流程圖。

圖68是用于描述合并(略過)模式處理的流程的示例的流程圖。

圖69是用于描述根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例的流程圖。

圖70是用于描述處理的流程的示例的流程圖，該處理確定存在用于時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。

圖71是用于描述amvp模式處理的流程的示例的流程圖。

圖72是用于描述根據(jù)空間鄰近塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例的流程圖。

圖73是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例的流程圖。

圖74是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例的、從圖73繼續(xù)的流程圖。

圖75是用于描述處理的流程的示例的流程圖，該處理確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。

圖76是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例的流程圖。

圖77是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例的、從圖76繼續(xù)的流程圖。

圖78是用于描述pu運(yùn)動(dòng)(視差)矢量和參考索引生成處理的流程的示例的流程圖。

圖79是用于描述合并(略過)模式處理的流程的示例的流程圖。

圖80是用于描述根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例的流程圖。

圖81是用于描述amvp模式處理的流程的示例的流程圖。

圖82是用于描述處理鄰近塊的示例的圖。

圖83是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的另一示例的流程圖。

圖84是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的另一示例的、從圖83繼續(xù)的流程圖。

圖85是用于描述處理的流程圖的示例的流程圖，該處理確定存在用于鄰近塊的候選運(yùn)動(dòng)(視差)矢量。

圖86是用于描述處理的流程的另一示例的流程圖，該處理用于確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。

圖87是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的另一示例的流程圖。

圖88是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的另一示例的、從圖87繼續(xù)的流程圖。

圖89是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的另一示例的、從圖88繼續(xù)的流程圖。

圖90是用于描述處理時(shí)間相關(guān)性塊和鄰近塊的又一示例的圖。

圖91是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的又一示例的流程圖。

圖92是用于描述根據(jù)在左側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的又一示例的、從圖91繼續(xù)的流程圖。

圖93是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的又一示例的流程圖。

圖94是用于描述根據(jù)在上側(cè)上的塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的又一示例的、從圖93繼續(xù)的流程圖。

圖95是圖示個(gè)人計(jì)算機(jī)的主要配置示例的框圖。

圖96是圖示電視裝置的示意配置的示例的框圖。

圖97是圖示移動(dòng)電話的示意配置的示例的框圖。

圖98是圖示記錄/再現(xiàn)裝置的示意配置的示例的框圖。

圖99是圖示成像裝置的示意配置的示例的框圖。

具體實(shí)施方式

下文將描述用于實(shí)現(xiàn)本公開內(nèi)容的方式(下文稱為實(shí)施例)。將按照以下順序給出描述：

1.第一實(shí)施例(圖像編碼設(shè)備)

2.第二實(shí)施例(圖像解碼設(shè)備)

3.第三實(shí)施例(圖像編碼設(shè)備)

4.第四實(shí)施例(圖像解碼設(shè)備)

5.第五實(shí)施例(圖像編碼設(shè)備和圖像解碼設(shè)備)

6.第六實(shí)施例(圖像編碼設(shè)備和圖像解碼設(shè)備)

7.第七實(shí)施例(計(jì)算機(jī))

8.第八實(shí)施例(應(yīng)用示例)

[1.第一實(shí)施例]

[運(yùn)動(dòng)預(yù)測(cè)]

在圖像編碼、比如avc(高級(jí)視頻編碼)或者h(yuǎn)evc(高效率視頻編碼)中，執(zhí)行使用在時(shí)間方向上(在幀之間)的相關(guān)性的運(yùn)動(dòng)預(yù)測(cè)。

avc定義分層塊、比如宏塊或者子宏塊為這樣的預(yù)測(cè)處理的處理單位，并且hevc定義編碼單位(cu)。

也稱為編碼樹塊(ctb)的cu是與在avc中的宏塊發(fā)揮相同作用的、基于畫面的圖像的部分區(qū)域。將宏塊的尺寸固定成16×16個(gè)像素，而cu的尺寸未被固定、但是在相應(yīng)序列中的圖像壓縮信息中被指明。

例如在輸出編碼數(shù)據(jù)中包括的序列參數(shù)集(sps)中定義cu的最大尺寸(lcu：最大編碼單位)和最小尺寸(scu：最小編碼單位)。

可以通過設(shè)置split_flag＝1將每個(gè)lcu拆分成更小尺寸的cu，該尺寸不小于scu的尺寸。在split_flag的值為“1”時(shí)，將具有2n×2n的尺寸的cu拆分成具有n×n的下一層尺寸的cu。

另外，將cu拆分成預(yù)測(cè)單位(pu)，這些pu是用作為幀內(nèi)或者幀間預(yù)測(cè)的處理單位的區(qū)域(基于畫面的圖像的部分區(qū)域)。另外，將cu拆分成變換單位(tu)，這些變換單位是用作為正交變換的處理單位的區(qū)域(基于畫面的圖像的部分區(qū)域)。當(dāng)前，hevc除了4×4和8×8正交變換之外還可以使用16×16和32×32正交變換。

在其中如在hevc中那樣定義cu并且以cu為單位執(zhí)行各種處理的編碼方案中，可以認(rèn)為在avc中的宏塊對(duì)應(yīng)于lcu。然而cu具有層結(jié)構(gòu)，一般將在最上層上的lcu的尺寸設(shè)置成例如比avc的宏塊的尺寸更大的128×128個(gè)像素。

在以下描述中，“區(qū)域”包括以上描述的所有各種類型的區(qū)域(例如宏塊、子宏塊、lcu、cu、scu、pu、tu等)(并且可以是區(qū)域中的任何區(qū)域)。“區(qū)域”可以自然地包括除了以上描述的單位之外的單位，并且適當(dāng)排除根據(jù)描述內(nèi)容而不可用的單位。

圖1圖示預(yù)測(cè)單位(pu)的配置示例，這些pu是用于cu的預(yù)測(cè)處理單位，這些cu是編碼處理單位。如圖1中所示，可以對(duì)于一個(gè)cu形成四個(gè)類型的pu。圖1中所示四個(gè)大方形指示cu，并且在大方形以內(nèi)的矩形或者方形指示pu。編號(hào)指示每個(gè)pu的索引、但是未指示圖像的內(nèi)容。

如圖1中所示，在左上角上的示例中，cu包括一個(gè)pu(2n×2n)。也就是說，在這一情況下，cu等效于pu。另外，在右上角上的示例中，cu被豎直拆分成兩個(gè)區(qū)域并且包括兩個(gè)水平長pu(2n×n)。另外，在左下角上的示例中，cu被水平劃分成兩個(gè)區(qū)域并且包括兩個(gè)豎直長pu(n×2n)。另外，在右下角上的示例中，cu被豎直和水平拆分成兩個(gè)區(qū)域(共計(jì)四個(gè)區(qū)域)并且包括四個(gè)方形pu(n×n)。根據(jù)圖像的內(nèi)容(預(yù)測(cè)結(jié)果的成本函數(shù)值)確定在這些圖案之中的待使用的圖案。

非專利文獻(xiàn)3提出一種作為運(yùn)動(dòng)信息編碼方案的稱為運(yùn)動(dòng)分區(qū)合并的方法(合并模式)。在這一方法中，發(fā)送兩個(gè)標(biāo)志、也就是mergeflag和mergeleftflag作為合并信息，該合并信息是關(guān)于合并模式的信息。mergeflag＝1指示作為處理目標(biāo)的當(dāng)前區(qū)域(也稱為目標(biāo)區(qū)域)x的運(yùn)動(dòng)信息與當(dāng)前區(qū)域相鄰的上鄰近區(qū)域t或者與當(dāng)前區(qū)域相鄰的左鄰近區(qū)域l的運(yùn)動(dòng)信息相同。在這一情況下，在合并信息中包括并且發(fā)送mergeleftflag。mergeflag＝0指示當(dāng)前區(qū)域x的運(yùn)動(dòng)信息不同于鄰近區(qū)域t和鄰近區(qū)域l中的任一鄰近區(qū)域的運(yùn)動(dòng)信息。在這一情況下，發(fā)送當(dāng)前區(qū)域x的運(yùn)動(dòng)信息。

在當(dāng)前區(qū)域x的運(yùn)動(dòng)信息與鄰近區(qū)域l的運(yùn)動(dòng)信息相同時(shí)，滿足mergeflag＝1和mergeleftflag＝1。在當(dāng)前區(qū)域x的運(yùn)動(dòng)信息與鄰近區(qū)域t的運(yùn)動(dòng)信息相同時(shí)，滿足mergeflag＝1和mergeleftflag＝0。

在這樣的合并模式中，時(shí)間鄰近區(qū)域(時(shí)間相關(guān)性區(qū)域)以及空間鄰近區(qū)域l和t視為用作將與當(dāng)前區(qū)域x合并的候選區(qū)域。

如圖2中所示，基于與作為待處理的目標(biāo)的當(dāng)前區(qū)域(當(dāng)前塊)相鄰的左鄰近區(qū)域a、上鄰近區(qū)域b、右上鄰近區(qū)域c的參考圖像索引，如在圖3中所示表中那樣確定參考圖像索引。

在圖3中所示表中，從左側(cè)起的第二至第四列分別指示鄰近區(qū)域a至c的參考圖像索引的狀態(tài)。從左側(cè)起的第一列是確定的參考圖像索引?！皒”、“y”和“z”指示可選自然數(shù)，并且“-1”指示不能參考鄰近區(qū)域。

在鄰近區(qū)域a至c之中有可以參考的僅一個(gè)區(qū)域時(shí)，使用該塊的參考圖像索引。另外，在鄰近區(qū)域a至c之中有可以參考的兩個(gè)區(qū)域時(shí)，使用最小參考圖像索引。另外，在不能參考所有鄰近區(qū)域a至c時(shí)，將參考圖像索引設(shè)置成0。

如圖4中所示確定在時(shí)間上位于作為處理目標(biāo)的當(dāng)前區(qū)域周圍的時(shí)間相關(guān)性區(qū)域。在圖4中，左區(qū)域指示作為待處理的目標(biāo)的當(dāng)前畫面(currpic)(也稱為目標(biāo)畫面)的部分區(qū)域，并且在區(qū)域之中的左上矩形是當(dāng)前區(qū)域(currpu)。另外，圖4中的右區(qū)域指示在時(shí)間上位于當(dāng)前畫面周圍的時(shí)間相關(guān)性畫面(colpic)的部分區(qū)域。在這一時(shí)間相關(guān)性畫面中，包括在與當(dāng)前區(qū)域的右下像素相同的位置的像素的區(qū)域是時(shí)間相關(guān)性區(qū)域(colpu)。在這一區(qū)域不可參考時(shí)，設(shè)置包括在與解碼區(qū)域的中心像素相同的位置的像素的區(qū)域作為時(shí)間相關(guān)性區(qū)域(colpu)。

另外，如圖5中所示確定時(shí)間相關(guān)性畫面。例如在當(dāng)前畫面是b畫面并且collocated_from_10_flag是“1”時(shí)，列表l1的參考圖像索引“0”指示的畫面用作時(shí)間相關(guān)性畫面。另外，在當(dāng)前畫面是p畫面或者b畫面并且collocated_from_10_flag是“0”時(shí)，列表l0的參考圖像索引“0”指示的畫面用作時(shí)間相關(guān)性畫面。

另外，根據(jù)在當(dāng)前畫面與時(shí)間相關(guān)性畫面之間的位置關(guān)系如圖6中所示設(shè)置跳躍標(biāo)志。例如，如在圖6的上側(cè)上所示，在參考圖像中的時(shí)間相關(guān)性畫面的時(shí)間位置跳過當(dāng)前畫面(當(dāng)前畫面存在于時(shí)間相關(guān)性畫面與參考圖像之間)，將跳躍標(biāo)志設(shè)置成“1”。

另外，在參考圖像中的時(shí)間相關(guān)性畫面的時(shí)間位置未跳過當(dāng)前畫面(當(dāng)前畫面未存在于時(shí)間相關(guān)性畫面與參考圖像之間)，將跳躍標(biāo)志設(shè)置成“0”。在跳躍標(biāo)志是“1”時(shí)，由于當(dāng)前區(qū)域變成在時(shí)間相關(guān)性區(qū)域與時(shí)間相關(guān)性區(qū)域的參考圖像之間的內(nèi)插，所以預(yù)測(cè)矢量的可靠性高。

另外，雖然在生成預(yù)測(cè)矢量pmv時(shí)使用時(shí)間相關(guān)性區(qū)域的運(yùn)動(dòng)矢量mvcol，但是在這一情況下，與圖7中所示示例相似地縮放時(shí)間相關(guān)性區(qū)域的運(yùn)動(dòng)矢量。也就是說，基于在當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的時(shí)間距離a和在時(shí)間相關(guān)性區(qū)域與時(shí)間相關(guān)性區(qū)域的參考圖像之間的時(shí)間距離b，如在以下表達(dá)式(1)和(2)中那樣執(zhí)行縮放。

如果a和b相同，則pmv＝mvcol…(1)

如果a和b不相同，則pmv＝mvcol×(a/b)…(2)

然而在多視圖圖像的情況下，圖像包括多個(gè)視圖，并且也執(zhí)行使用在視圖之間(在視差方向上)的相關(guān)性的視差預(yù)測(cè)。圖8圖示3視圖圖像的參考關(guān)系的示例。

圖8中所示3視圖圖像包括三個(gè)視圖0、1和2的圖像。在圖8中，poc指示時(shí)間的索引。另外，picnum指示解碼順序的索引。

視圖0稱為基本視圖并且使用時(shí)間預(yù)測(cè)來編碼，該時(shí)間預(yù)測(cè)使用時(shí)間相關(guān)性來執(zhí)行預(yù)測(cè)。視圖1稱為非基本視圖并且使用時(shí)間預(yù)測(cè)和視差預(yù)測(cè)來編碼。在視差預(yù)測(cè)中，可以參考編碼視圖0和視圖2。視圖2稱為非基本視圖并且使用時(shí)間預(yù)測(cè)和視差預(yù)測(cè)來編碼。在視差預(yù)測(cè)中，可以參考編碼視圖0。

然而如以上描述的那樣，常規(guī)預(yù)測(cè)矢量?jī)H涉及運(yùn)動(dòng)矢量，并且不考慮在跨越視圖的視差預(yù)測(cè)中生成的視差矢量的編碼(預(yù)測(cè))，該視差矢量指示在視圖之間相同或者最相似的部分圖像之間的位置關(guān)系。視差矢量是與時(shí)間預(yù)測(cè)的運(yùn)動(dòng)矢量對(duì)應(yīng)的信息并且用于時(shí)間預(yù)測(cè)，該時(shí)間預(yù)測(cè)使用相同時(shí)間的不同視圖的不同圖像來生成當(dāng)前區(qū)域的預(yù)測(cè)圖像。因此，不可能適當(dāng)預(yù)測(cè)視差矢量，并且編碼效率可能減少。

因此，在本技術(shù)中，如以下描述的那樣，執(zhí)行多視圖圖像的視差矢量和運(yùn)動(dòng)矢量(運(yùn)動(dòng)視差矢量)的預(yù)測(cè)。

例如與圖9中所示示例相似地執(zhí)行當(dāng)前區(qū)域的視差矢量(也稱為當(dāng)前視差矢量)的預(yù)測(cè)。在這一示例中，向列表1的參考圖像索引0分配相同視圖(view_id＝1)的參考圖像，并且向參考圖像索引1分配不同視圖(view_id＝2)的參考圖像。

在列表1的參考圖像索引0(refpiclist[0])用于時(shí)間相關(guān)性畫面時(shí)，在參考相同時(shí)間的不同視圖的視差矢量期間運(yùn)用在時(shí)間相關(guān)性畫面中包括的時(shí)間相關(guān)性區(qū)域(colpicb)的矢量作為預(yù)測(cè)矢量。

另外，在列表1的參考圖像索引1(refpiclist[1])用于視圖相關(guān)性畫面時(shí)，在參考相同時(shí)間的不同視圖的視差矢量期間運(yùn)用在視圖相關(guān)性畫面中包括的視圖相關(guān)性區(qū)域(colpica)的矢量作為預(yù)測(cè)矢量。

也就是說，在本技術(shù)中，為了預(yù)測(cè)當(dāng)前視差矢量，使用所有參考圖像索引作為用于相關(guān)性畫面的候選。另外，與當(dāng)前區(qū)域的矢量相似地確定每個(gè)相關(guān)性區(qū)域的矢量是否為視差矢量。

另外，與圖10中所示示例相似地執(zhí)行當(dāng)前區(qū)域的運(yùn)動(dòng)矢量(也稱為當(dāng)前運(yùn)動(dòng)矢量)的預(yù)測(cè)。在這一示例中，向列表1的參考圖像索引0分配相同視圖(view_id＝1)的參考圖像，并且向參考圖像索引1分配不同視圖(view_id＝2)的參考圖像。

在列表1的參考圖像索引0(refpiclist[0])用于時(shí)間相關(guān)性畫面時(shí)，在參考相同視圖的不同時(shí)間的運(yùn)動(dòng)矢量期間運(yùn)用在時(shí)間相關(guān)性畫面中包括的時(shí)間相關(guān)性區(qū)域(colpicb)的矢量作為預(yù)測(cè)矢量。

另外，在列表1的參考圖像索引1(refpiclist[1])用于視圖相關(guān)性畫面時(shí)，在參考相同視圖的不同時(shí)間的運(yùn)動(dòng)矢量期間運(yùn)用在視圖相關(guān)性畫面中包括的視圖相關(guān)性區(qū)域(colpica)的矢量作為預(yù)測(cè)矢量。

也就是說，在本技術(shù)中，為了預(yù)測(cè)當(dāng)前運(yùn)動(dòng)矢量，使用所有參考圖像索引作為用于相關(guān)性畫面的候選。另外，與當(dāng)前區(qū)域的矢量相似地確定每個(gè)相關(guān)性區(qū)域的矢量是否為運(yùn)動(dòng)矢量。

另外，執(zhí)行在視差矢量用作預(yù)測(cè)矢量時(shí)的縮放處理如下。也就是說，基于在當(dāng)前區(qū)域與其參考圖像之間的視圖間距離和在相關(guān)性區(qū)域與其參考圖像之間的視圖間距離縮放預(yù)測(cè)矢量。

在常規(guī)技術(shù)中，由于僅預(yù)測(cè)運(yùn)動(dòng)矢量，所以僅使用時(shí)間距離。然而在多視圖圖像的情況下，有必要預(yù)測(cè)視差矢量，因此本技術(shù)也使用視圖間距離。因而有可能提高編碼效率。

[圖像編碼設(shè)備]

圖11是圖示作為圖像處理設(shè)備的圖像編碼設(shè)備的主要配置示例的框圖。

圖11中所示圖像編碼設(shè)備100與編碼方案、比如avc或者h(yuǎn)evc相似地使用預(yù)測(cè)處理對(duì)圖像數(shù)據(jù)編碼。然而圖像編碼設(shè)備100對(duì)包括多個(gè)視圖圖像的多視圖圖像編碼。在以下描述中，將描述如下情況，在該情況下處理包括三個(gè)視圖圖像的3視圖圖像作為多視圖圖像的示例。然而實(shí)際上，圖像編碼設(shè)備100可以對(duì)包括可選數(shù)目的視圖點(diǎn)(視圖)的多視圖圖像編碼。

如圖11中所示，圖像編碼設(shè)備100包括a/d轉(zhuǎn)換器101、屏幕重新排列緩沖器102、算術(shù)單元103、正交變化單元104、量化單元105、無損編碼單元106和累積緩沖器107。另外，圖像編碼設(shè)備100包括逆量化單元108、逆正交變化單元109、算術(shù)單元110、循環(huán)濾波器111、解碼畫面緩沖器112、選擇器113、幀內(nèi)預(yù)測(cè)單元114、運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115、預(yù)測(cè)圖像選擇器116和解碼多視圖畫面緩沖器121。

a/d轉(zhuǎn)換器101對(duì)輸入圖像數(shù)據(jù)執(zhí)行a/d轉(zhuǎn)換并且向屏幕重新排列緩沖器102供應(yīng)轉(zhuǎn)換的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))，該屏幕重新排列緩沖器102存儲(chǔ)圖像數(shù)據(jù)。屏幕重新排列緩沖器102根據(jù)gop(畫面組)重新排列按照存儲(chǔ)的順序排列的圖像的幀、從而按照用于編碼以獲得如下圖像的順序重新排列幀、并且將圖像與圖像的視圖id和poc一起供應(yīng)到算術(shù)單元103，在該圖像中重新排列幀順序。

屏幕重新排列緩沖器102將其中重新排列幀順序的圖像與圖像的視圖id和poc一起供應(yīng)到幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)視差預(yù)測(cè)/壓縮單元115。視圖id是用于標(biāo)識(shí)視圖點(diǎn)的信息，并且poc是用于標(biāo)識(shí)時(shí)間的信息。

算術(shù)單元103從屏幕重新排列緩沖器102讀取的圖像減去經(jīng)由預(yù)測(cè)圖像選擇器116從幀內(nèi)預(yù)測(cè)單元114或者運(yùn)動(dòng)視差預(yù)測(cè)/壓縮單元115供應(yīng)的預(yù)測(cè)圖像，以獲得其差值信息并且向正交變化單元104輸出差值信息。

例如在受到幀內(nèi)編碼的圖像的情況下，算術(shù)單元103從屏幕重新排列緩沖器102讀取的圖像減去從幀內(nèi)預(yù)測(cè)單元114供應(yīng)的預(yù)測(cè)圖像。另外，例如在受到幀間編碼的圖像的情況下，算術(shù)單元103從屏幕重新排列緩沖器102讀取的圖像減去從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115供應(yīng)的預(yù)測(cè)圖像。

正交變換單元104關(guān)于從算術(shù)單元103供應(yīng)的差值信息執(zhí)行正交變換、比如離散余弦變換或者karhunen-loeve變換。正交變換方法是可選的。正交變換單元104向量化單元105供應(yīng)變換系數(shù)。

量化單元105量化從正交變換單元104供應(yīng)的變換系數(shù)。量化單元104基于關(guān)于目標(biāo)編碼速率的信息設(shè)置量化參數(shù)并且執(zhí)行量化。量化方法是可選的。量化單元105向無損編碼單元106供應(yīng)量化的變換系數(shù)。

無損編碼單元106根據(jù)可選編碼方案對(duì)量化單元105量化的變換系數(shù)編碼。另外，無損編碼單元106從幀內(nèi)預(yù)測(cè)單元114獲取包括指示幀內(nèi)預(yù)測(cè)模式的信息等的幀內(nèi)預(yù)測(cè)信息、并且從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115獲取包括指示幀間預(yù)測(cè)模式的信息、運(yùn)動(dòng)視差矢量信息等的幀間預(yù)測(cè)信息。另外，無損編碼單元106獲取在循環(huán)濾波器111中使用的濾波器系數(shù)等。

無損編碼單元106根據(jù)可選編碼方案對(duì)這些各種類型的信息編碼并且并入(復(fù)用)信息作為編碼數(shù)據(jù)的首部信息的部分。無損編碼單元106向累積緩沖器107供應(yīng)通過編碼而獲得的編碼數(shù)據(jù)，該累積緩沖器107累積編碼數(shù)據(jù)。

無損編碼單元106的編碼方案的示例包括可變長度編碼和算術(shù)編碼?？勺冮L度編碼的示例包括在h.264/avc方案中定義的上下文自適應(yīng)可變長度編碼(cavlc)。算術(shù)編碼的示例包括上下文自適應(yīng)二進(jìn)制算術(shù)編碼(cabac)。

累積緩沖器107暫時(shí)存儲(chǔ)從無損編碼單元106供應(yīng)的編碼數(shù)據(jù)。累積緩沖器107在后續(xù)級(jí)、例如在預(yù)定定時(shí)向記錄設(shè)備(記錄介質(zhì))(未圖示)、傳輸線等輸出其中存儲(chǔ)的編碼數(shù)據(jù)為比特流。也就是說，向解碼側(cè)供應(yīng)各種編碼信息項(xiàng)。

另外，也向逆量化單元108供應(yīng)在量化單元105中量化的變換系數(shù)。逆量化單元108根據(jù)與量化單元105的量化的對(duì)應(yīng)的方法對(duì)量化的變換系數(shù)執(zhí)行逆量化。逆量化方法是可選的，只要該方法對(duì)應(yīng)于量化單元105的量化處理。逆量化單元108向逆正交變換單元109供應(yīng)獲得的變換系數(shù)。

逆正交變換單元109根據(jù)與正交變換單元104的正交變換處理對(duì)應(yīng)的方法，對(duì)從逆量化單元108供應(yīng)的變換系數(shù)執(zhí)行逆正交變換。逆正交變換方法是可選的，只要該方法對(duì)應(yīng)于正交變換單元104的正交變換處理。向算術(shù)單元110供應(yīng)通過逆正交變換而獲得的輸出(局部重建差值信息)。

算術(shù)單元110將經(jīng)由預(yù)測(cè)圖像選擇器116從幀內(nèi)預(yù)測(cè)單元114或者運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115供應(yīng)的預(yù)測(cè)圖像與從逆正交變換單元109供應(yīng)的逆正交變換結(jié)果、也就是局部重建差值信息相加，以獲得局部重建圖像(下文稱為重建圖像)。向循環(huán)濾波器111或者解碼畫面緩沖器112供應(yīng)重建圖像。

循環(huán)濾波器111包括去塊化濾波器、自適應(yīng)循環(huán)濾波器等，并且關(guān)于從算術(shù)單元110供應(yīng)的解碼圖像適當(dāng)執(zhí)行濾波器處理。例如循環(huán)濾波器111通過對(duì)解碼圖像執(zhí)行去塊化濾波處理，去除解碼圖像的塊失真。另外，例如循環(huán)濾波器111通過使用維納濾波器對(duì)去塊化濾波結(jié)果(其中去除塊失真的解碼圖像)執(zhí)行循環(huán)濾波處理來提高圖像質(zhì)量。

循環(huán)濾波器111可以對(duì)解碼圖像執(zhí)行可選濾波處理。另外，循環(huán)濾波器111按照需要向無損編碼單元106供應(yīng)信息、比如用于濾波處理的濾波器系數(shù)，從而對(duì)信息編碼。

循環(huán)濾波器111向解碼畫面緩沖器112供應(yīng)濾波結(jié)果(下文稱為解碼圖像)。

解碼畫面緩沖器112存儲(chǔ)從算術(shù)單元110供應(yīng)的重建圖像和從循環(huán)濾波器111供應(yīng)的解碼圖像。另外，解碼畫面緩沖器112存儲(chǔ)圖像的視圖id和poc。

解碼畫面緩沖器112在預(yù)定定時(shí)或者基于來自外部單元、比如幀內(nèi)預(yù)測(cè)單元114的請(qǐng)求，經(jīng)由選擇器113向幀內(nèi)預(yù)測(cè)單元114供應(yīng)其中存儲(chǔ)的重建圖像(以及圖像的視圖id和poc)。另外，解碼畫面緩沖器112在預(yù)定定時(shí)或者基于來自外部單元、比如運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115的請(qǐng)求，經(jīng)由選擇器113向運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115供應(yīng)其中存儲(chǔ)的解碼圖像(以及圖像的視圖id和poc)。

選擇器113指示從解碼畫面緩沖器112輸出的圖像的供應(yīng)目的地。例如在幀內(nèi)預(yù)測(cè)的情況下，選擇器113從解碼畫面緩沖器112讀取未濾波的圖像(重建圖像)，并且向幀內(nèi)預(yù)測(cè)單元114供應(yīng)圖像作為鄰近像素。

另外，例如在幀間預(yù)測(cè)的情況下，選擇器113從解碼畫面緩沖器112讀取濾波圖像(解碼圖像)，并且向運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115供應(yīng)圖像作為參考圖像。

在從解碼畫面緩沖器112獲取位于處理目標(biāo)區(qū)域周圍的鄰近區(qū)域的圖像(鄰近圖像)時(shí)，幀內(nèi)預(yù)測(cè)單元114執(zhí)行幀內(nèi)預(yù)測(cè)(場(chǎng)內(nèi)預(yù)測(cè))，該幀內(nèi)預(yù)測(cè)(場(chǎng)內(nèi)預(yù)測(cè))基本上使用預(yù)測(cè)單位(pu)作為處理單位、使用鄰近圖像的像素值來生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元114在預(yù)先準(zhǔn)備的多個(gè)模式(幀內(nèi)預(yù)測(cè)模式)中執(zhí)行幀內(nèi)預(yù)測(cè)。

幀內(nèi)預(yù)測(cè)單元114在所有候選幀內(nèi)預(yù)測(cè)模式中生成預(yù)測(cè)圖像、使用從屏幕重新排列緩沖器102供應(yīng)的輸入圖像來評(píng)估相應(yīng)預(yù)測(cè)圖像的成本函數(shù)值并且選擇最優(yōu)模式。在選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式時(shí)，幀內(nèi)預(yù)測(cè)單元114向預(yù)測(cè)圖像選擇器116供應(yīng)在最優(yōu)模式中生成的預(yù)測(cè)圖像。

另外，幀內(nèi)預(yù)測(cè)單元114向無損編碼單元106適當(dāng)供應(yīng)包括關(guān)于幀內(nèi)預(yù)測(cè)的信息、比如最優(yōu)幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)信息，該無損編碼單元對(duì)幀內(nèi)預(yù)測(cè)信息編碼。

運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115基本上使用pu作為處理單位、使用從屏幕重新排列緩沖器102供應(yīng)的輸入圖像和從解碼畫面緩沖器112供應(yīng)的參考圖像來執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和視差預(yù)測(cè)(幀間預(yù)測(cè))、根據(jù)檢測(cè)的運(yùn)動(dòng)視差矢量執(zhí)行補(bǔ)償處理并且生成預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115在預(yù)先準(zhǔn)備的多個(gè)模式(幀間預(yù)測(cè)模式)中執(zhí)行這樣的幀間預(yù)測(cè)(幀間預(yù)測(cè))。

運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115在所有候選幀間預(yù)測(cè)模式中生成預(yù)測(cè)圖像、評(píng)估相應(yīng)預(yù)測(cè)圖像的成本函數(shù)值并且選擇最優(yōu)模式。在選擇最優(yōu)幀間預(yù)測(cè)模式時(shí)，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115向預(yù)測(cè)圖像選擇器116供應(yīng)在最優(yōu)模式中生成的預(yù)測(cè)圖像。

另外，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115向無損編碼單元106供應(yīng)包括關(guān)于幀間預(yù)測(cè)的信息、比如最優(yōu)幀間預(yù)測(cè)模式的幀間預(yù)測(cè)信息，該無損編碼單元對(duì)幀間預(yù)測(cè)信息編碼。

預(yù)測(cè)圖像選擇器116選擇向算術(shù)單元103和算術(shù)單元110供應(yīng)的預(yù)測(cè)圖像的供應(yīng)源。例如在幀內(nèi)編碼的情況下，預(yù)測(cè)圖像選擇器116選擇幀內(nèi)預(yù)測(cè)單元114作為預(yù)測(cè)圖像的供應(yīng)源，并且向算術(shù)單元103和算術(shù)單元110供應(yīng)從幀內(nèi)預(yù)測(cè)單元114供應(yīng)的預(yù)測(cè)圖像。另外，例如在幀間編碼的情況下，預(yù)測(cè)圖像選擇器116選擇運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115作為預(yù)測(cè)圖像的供應(yīng)源，并且向算術(shù)單元103和算術(shù)單元110供應(yīng)從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115供應(yīng)的預(yù)測(cè)圖像。

雖然解碼畫面緩沖器112僅存儲(chǔ)處理目標(biāo)視圖的圖像(以及圖像的視圖id和poc)，但是解碼多視圖畫面緩沖器121也存儲(chǔ)相應(yīng)視圖點(diǎn)(視圖)的圖像(以及圖像的視圖id和poc)。也就是說，解碼多視圖畫面緩沖器121獲取向解碼畫面緩沖器112供應(yīng)的解碼圖像(以及圖像的視圖id和poc)，并且與解碼畫面緩沖器112一起存儲(chǔ)解碼圖像(以及圖像的視圖id和poc)。

雖然解碼畫面緩沖器112在處理目標(biāo)視圖改變時(shí)擦除解碼圖像，但是解碼多視圖畫面緩沖器121按原樣存儲(chǔ)解碼圖像。此外，解碼多視圖畫面緩沖器121根據(jù)解碼畫面緩沖器112的請(qǐng)求等，向解碼畫面緩沖器112供應(yīng)存儲(chǔ)的解碼圖像(以及圖像的視圖id和poc)為“非處理目標(biāo)視圖的解碼圖像”。解碼畫面緩沖器112經(jīng)由選擇器113向運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115供應(yīng)從解碼多視圖畫面緩沖器121讀取的“非處理目標(biāo)視圖的解碼圖像”(以及圖像的視圖id和poc)。

[運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元]

圖12是圖示圖11的運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元的主要配置示例的框圖。

如圖12中所示，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115包括運(yùn)動(dòng)視差矢量搜索單元131、預(yù)測(cè)圖像生成單元132、編碼信息累積緩沖器133和選擇器134。另外，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115包括空間相關(guān)性預(yù)測(cè)矢量生成單元135、時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136、選擇器137、編碼成本計(jì)算單元138和模式確定單元139。

運(yùn)動(dòng)視差矢量搜索單元131從解碼畫面緩沖器112獲取解碼圖像像素值，并且從屏幕重新排列緩沖器102獲取原始圖像像素值。運(yùn)動(dòng)視差矢量搜索單元131使用這些值來確定作為處理目標(biāo)的當(dāng)前區(qū)域的參考圖像索引、在時(shí)間方向和視差方向上執(zhí)行運(yùn)動(dòng)搜索、并且生成當(dāng)前運(yùn)動(dòng)矢量和當(dāng)前視差矢量。

在以下描述中，在不必區(qū)分指示在時(shí)間方向上(也就是說，在幀(畫面)之間)的運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示在視差方向上(也就是說，在視圖之間)的運(yùn)動(dòng)的視差矢量或者指示兩個(gè)矢量時(shí)，矢量將稱為運(yùn)動(dòng)視差矢量。當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量也稱為當(dāng)前運(yùn)動(dòng)視差矢量。

運(yùn)動(dòng)視差矢量搜索單元131向預(yù)測(cè)圖像生成單元132和編碼成本計(jì)算單元138供應(yīng)參考圖像索引和運(yùn)動(dòng)視差矢量。

預(yù)測(cè)圖像生成單元131從運(yùn)動(dòng)視差矢量搜索單元131獲取參考圖像索引和運(yùn)動(dòng)視差矢量，并且從解碼畫面緩沖器112獲取解碼圖像像素值。預(yù)測(cè)圖像生成單元132使用這些值來生成當(dāng)前區(qū)域的預(yù)測(cè)圖像。預(yù)測(cè)圖像生成單元132向編碼成本函數(shù)計(jì)算單元138供應(yīng)預(yù)測(cè)圖像像素值。

編碼信息累積緩沖器133存儲(chǔ)指示在模式確定單元139作為最優(yōu)模式而選擇的模式的模式信息、以及模式的參考模式索引和運(yùn)動(dòng)視差矢量。編碼信息累積緩沖器133在預(yù)定定時(shí)或者根據(jù)來自外部單元的請(qǐng)求向選擇器134供應(yīng)存儲(chǔ)的信息。

選擇器134向空間相關(guān)性預(yù)測(cè)矢量生成單元135或者時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136供應(yīng)從編碼信息累積緩沖器133供應(yīng)的模式信息、參考圖像索引和運(yùn)動(dòng)視差矢量。

空間相關(guān)性預(yù)測(cè)矢量生成單元135和時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136生成作為處理目標(biāo)的當(dāng)前區(qū)域的運(yùn)動(dòng)矢量(當(dāng)前運(yùn)動(dòng)矢量)的預(yù)測(cè)值(預(yù)測(cè)矢量)。

空間相關(guān)性預(yù)測(cè)矢量生成單元135使用空間相關(guān)性來生成預(yù)測(cè)矢量(空間相關(guān)性預(yù)測(cè)矢量)。更具體而言，空間相關(guān)性預(yù)測(cè)矢量生成單元135經(jīng)由選擇器134從編碼信息累積緩沖器133獲?。宏P(guān)于與當(dāng)前區(qū)域相同的幀(當(dāng)前幀(也稱為目標(biāo)幀))的在空間上位于當(dāng)前區(qū)域周圍的鄰近區(qū)域(空間鄰近區(qū)域)的運(yùn)動(dòng)信息的信息(模式信息、參考圖像索引、運(yùn)動(dòng)視差矢量等)。

例如空間相關(guān)性預(yù)測(cè)矢量生成單元135使用多個(gè)空間鄰近區(qū)域的運(yùn)動(dòng)矢量(空間鄰近運(yùn)動(dòng)矢量)來執(zhí)行中值運(yùn)算，以生成空間相關(guān)性預(yù)測(cè)矢量。空間相關(guān)性預(yù)測(cè)矢量生成單元135向選擇器137供應(yīng)生成的空間相關(guān)性預(yù)測(cè)矢量。

時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136使用時(shí)間相關(guān)性或者視差相關(guān)性來生成預(yù)測(cè)矢量(時(shí)間視差相關(guān)性預(yù)測(cè)矢量(時(shí)間相關(guān)性預(yù)測(cè)矢量或者視差相關(guān)性預(yù)測(cè)矢量))。更具體而言，例如時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136經(jīng)由選擇器134從編碼信息累積緩沖器133獲?。宏P(guān)于在時(shí)間上位于當(dāng)前區(qū)域周圍的鄰近區(qū)域(時(shí)間鄰近區(qū)域)的運(yùn)動(dòng)信息的信息。時(shí)間鄰近區(qū)域指示與當(dāng)前區(qū)域相同的視圖(當(dāng)前視圖(也稱為目標(biāo)視圖))的位于與當(dāng)前幀不同的幀(畫面)的當(dāng)前區(qū)域?qū)?yīng)的位置的區(qū)域(或者其包圍區(qū)域)。

另外，例如時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136經(jīng)由選擇器134從編碼信息累積緩沖器133獲取：關(guān)于在視差上位于當(dāng)前區(qū)域周圍的鄰近區(qū)域(視差鄰近區(qū)域)的運(yùn)動(dòng)信息的信息。視差鄰近區(qū)域指示與當(dāng)前區(qū)域的視圖(當(dāng)前視圖)不同的視圖的位于與當(dāng)前幀相同的時(shí)間的幀(畫面)的當(dāng)前區(qū)域?qū)?yīng)的位置的區(qū)域(或者其包圍區(qū)域)。

例如時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136使用多個(gè)時(shí)間鄰近區(qū)域的運(yùn)動(dòng)矢量(時(shí)間鄰近運(yùn)動(dòng)矢量)來執(zhí)行中值運(yùn)算，以生成時(shí)間相關(guān)性預(yù)測(cè)矢量。另外，例如時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136使用多個(gè)視差鄰近區(qū)域的運(yùn)動(dòng)矢量(視差鄰近運(yùn)動(dòng)矢量)來執(zhí)行中值運(yùn)算，以生成視差相關(guān)性預(yù)測(cè)矢量。

時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136向選擇器137供應(yīng)以這一方式生成的時(shí)間視差相關(guān)性預(yù)測(cè)矢量。

空間相關(guān)性預(yù)測(cè)矢量生成單元135和時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136分別在每個(gè)幀間預(yù)測(cè)模式中生成預(yù)測(cè)矢量。

選擇器137向編碼成本函數(shù)計(jì)算單元138供應(yīng)：從空間相關(guān)性預(yù)測(cè)矢量生成單元135供應(yīng)的空間相關(guān)性預(yù)測(cè)矢量和從時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136供應(yīng)的時(shí)間視差相關(guān)性預(yù)測(cè)矢量。

編碼成本計(jì)算單元138使用從預(yù)測(cè)圖像生成單元132供應(yīng)的預(yù)測(cè)圖像像素值和從屏幕重新排列緩沖器102供應(yīng)的原始圖像像素值，在每個(gè)幀間預(yù)測(cè)模式中計(jì)算預(yù)測(cè)圖像與原始圖像之間的差值(例如差值圖像)。另外，編碼成本計(jì)算單元138使用差值圖像像素值，在每個(gè)幀間預(yù)測(cè)模式中計(jì)算成本函數(shù)值(也稱為編碼成本值)。

另外，編碼成本計(jì)算單元138在從選擇器137供應(yīng)的空間相關(guān)性預(yù)測(cè)矢量和時(shí)間視差相關(guān)性預(yù)測(cè)矢量之中，選擇與從運(yùn)動(dòng)視差矢量搜索單元131供應(yīng)的當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量更接近的預(yù)測(cè)矢量作為當(dāng)前區(qū)域的預(yù)測(cè)矢量。另外，編碼成本計(jì)算單元138生成差值運(yùn)動(dòng)視差矢量，該差值運(yùn)動(dòng)視差矢量是預(yù)測(cè)矢量與當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量之間的差值。編碼成本計(jì)算單元138在每個(gè)幀間預(yù)測(cè)模式中生成差值運(yùn)動(dòng)視差矢量。

編碼成本計(jì)算單元138向模式確定單元139供應(yīng)每個(gè)幀間預(yù)測(cè)模式的編碼成本值、預(yù)測(cè)圖像像素值和包括差值運(yùn)動(dòng)視差矢量的差值運(yùn)動(dòng)視差信息、以及包括預(yù)測(cè)矢量和參考圖像索引的預(yù)測(cè)信息。

模式確定單元139選擇其中最小化編碼成本值的幀間預(yù)測(cè)模式作為最優(yōu)模式。模式確定單元139向預(yù)測(cè)圖像選擇器116供應(yīng)作為最優(yōu)模式而選擇的幀間預(yù)測(cè)模式的預(yù)測(cè)圖像像素值。

在預(yù)測(cè)圖像選擇器116選擇幀間預(yù)測(cè)時(shí)，模式確定單元139向無損編碼單元106供應(yīng)關(guān)于作為最優(yōu)模式而選擇的幀間預(yù)測(cè)模式的信息的模式信息、在幀間預(yù)測(cè)模式中的差值運(yùn)動(dòng)視差信息和預(yù)測(cè)信息，其中無損編碼單元106對(duì)信息編碼。對(duì)這些信息項(xiàng)編碼并且向解碼側(cè)發(fā)送這些信息項(xiàng)。

另外，模式確定單元139向編碼信息累積緩沖器133供應(yīng)在作為最優(yōu)模式而選擇的幀間預(yù)測(cè)模式中的模式信息、差值模式視差信息和預(yù)測(cè)信息，其中編碼信息累積緩沖器133存儲(chǔ)信息。這些信息項(xiàng)在用于比當(dāng)前區(qū)域更晚處理的另一區(qū)域的處理中用作關(guān)于鄰近區(qū)域的信息。

[時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元]

圖13是圖示時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136的主要配置示例的框圖。

如圖13中所示，時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136包括當(dāng)前區(qū)域處理器(目標(biāo)區(qū)域處理器)151、相關(guān)性區(qū)域處理器152、li預(yù)測(cè)處理器153、l0預(yù)測(cè)處理器154、方案1處理器155、方案2處理器156、方案3處理器157、方案4處理器158和預(yù)測(cè)矢量生成單元159。

當(dāng)前區(qū)域處理器151執(zhí)行獲取關(guān)于當(dāng)前區(qū)域的信息的處理。當(dāng)前區(qū)域處理器151向范圍從相關(guān)性區(qū)域處理器152到l0預(yù)測(cè)處理器154的相應(yīng)單元供應(yīng)關(guān)于當(dāng)前區(qū)域的獲取的信息。相關(guān)性區(qū)域處理器152執(zhí)行獲取關(guān)于相關(guān)性區(qū)域的信息的處理。

相關(guān)性區(qū)域是為了使用與當(dāng)前區(qū)域的相關(guān)性而參考的區(qū)域。例如時(shí)間相關(guān)性區(qū)域是為了使用與當(dāng)前區(qū)域的時(shí)間相關(guān)性而參考的區(qū)域，并且是具有用于生成時(shí)間相關(guān)性預(yù)測(cè)矢量的運(yùn)動(dòng)矢量的時(shí)間鄰近區(qū)域。另外，視差相關(guān)性區(qū)域是為了使用與當(dāng)前區(qū)域的視差相關(guān)性而參考的區(qū)域，并且是具有用于生成視差相關(guān)性預(yù)測(cè)矢量的運(yùn)動(dòng)矢量的視差鄰近區(qū)域。相關(guān)性區(qū)域包括這些區(qū)域。

相關(guān)性區(qū)域處理器152向l1預(yù)測(cè)處理器153和l0預(yù)測(cè)處理器154供應(yīng)關(guān)于相關(guān)性區(qū)域的信息。

l1預(yù)測(cè)處理器153在l1方向上執(zhí)行預(yù)測(cè)處理。l1預(yù)測(cè)處理器153從屏幕重新排列緩沖器102和解碼畫面緩沖器112獲取必需信息。另外，l1預(yù)測(cè)處理器153獲取從當(dāng)前區(qū)域處理器151和相關(guān)性區(qū)域處理器152供應(yīng)的信息。l1預(yù)測(cè)處理器153使用這些信息項(xiàng)在l1方向上執(zhí)行預(yù)測(cè)處理。

準(zhǔn)備方案1至4的四種方法預(yù)備作為預(yù)測(cè)處理。l1預(yù)測(cè)處理器選擇方法中的任一方法，并且向在方案1處理器155至方案4處理器158之中選擇的與該方法對(duì)應(yīng)的處理器提供信息。

l0預(yù)測(cè)處理器154與l1預(yù)測(cè)處理器153相似地在l0方向上執(zhí)行預(yù)測(cè)處理。

方案1是如下方案，在該方案中，向列表1的參考圖像索引1分配的與當(dāng)前視圖不同的視圖的與當(dāng)前幀相同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是視差矢量時(shí)，運(yùn)用視差矢量(參考視差矢量)作為預(yù)測(cè)矢量。方案1處理器155執(zhí)行用于根據(jù)這樣的方案生成預(yù)測(cè)矢量的處理。方案1處理器155向預(yù)測(cè)矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。

方案2是如下方案，在該方案中，向列表1的參考圖像索引0分配的與當(dāng)前視圖相同的視圖的與當(dāng)前幀不同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是視差矢量時(shí)，運(yùn)用視差矢量(參考視差矢量)作為預(yù)測(cè)矢量。方案2處理器156執(zhí)行用于根據(jù)這樣的方案生成預(yù)測(cè)矢量的處理。方案2處理器156向預(yù)測(cè)矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。

方案3是如下方案，在該方案中，向列表1的參考圖像索引1分配的與當(dāng)前視圖相同的視圖的與當(dāng)前幀不同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是運(yùn)動(dòng)矢量時(shí)，運(yùn)用運(yùn)動(dòng)矢量(參考視差矢量)作為預(yù)測(cè)矢量。方案3處理器157執(zhí)行用于根據(jù)這樣的方案生成預(yù)測(cè)矢量的處理。方案3處理器157向預(yù)測(cè)矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。

方案4是如下方案，在該方案中，向列表1的參考圖像索引0分配的與當(dāng)前視圖相同的視圖的與當(dāng)前幀不同的時(shí)間的幀(參考圖像)用作相關(guān)性圖像，并且在相關(guān)性區(qū)域的矢量是運(yùn)動(dòng)矢量時(shí)，運(yùn)用運(yùn)動(dòng)矢量(參考視差矢量)作為預(yù)測(cè)矢量。方案4處理器158執(zhí)行用于根據(jù)這樣的方案生成預(yù)測(cè)矢量的處理。方案4處理器158向預(yù)測(cè)矢量生成單元159供應(yīng)通過該處理獲得的各種參數(shù)。

預(yù)測(cè)矢量生成單元159使用從方案1處理器155至方案4處理器158供應(yīng)的信息以及從解碼畫面緩沖器112獲取的參考圖像的視圖信息、時(shí)間信息等，生成時(shí)間視差相關(guān)性預(yù)測(cè)矢量。在這一情況下，預(yù)測(cè)矢量生成單元159使用從方案1處理器155至方案4處理器158供應(yīng)的信息來執(zhí)行縮放處理。在這一情況下，預(yù)測(cè)矢量生成單元159對(duì)于運(yùn)動(dòng)相關(guān)性預(yù)測(cè)矢量在時(shí)間方向上執(zhí)行縮放，并且對(duì)于視差相關(guān)性預(yù)測(cè)矢量在視差方向上執(zhí)行縮放。預(yù)測(cè)矢量生成單元159經(jīng)由選擇器137向編碼成本計(jì)算單元138供應(yīng)生成的時(shí)間視差相關(guān)性預(yù)測(cè)矢量。

通過這樣做，時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136可以生成視差相關(guān)性預(yù)測(cè)矢量以及運(yùn)動(dòng)相關(guān)性預(yù)測(cè)矢量。因此，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以生成具有高預(yù)測(cè)準(zhǔn)確度的預(yù)測(cè)矢量。因而圖像編碼設(shè)備100可以抑制編碼效率降低。

[方案選擇示例]

圖14圖示其中選擇每個(gè)方案的示例。如圖14中所示，選擇如下區(qū)域作為相關(guān)性區(qū)域，該區(qū)域與參考圖像的位置關(guān)系(參考圖像在時(shí)間方向上或者在視差預(yù)測(cè)中存在)與當(dāng)前區(qū)域(目標(biāo)區(qū)域)相同。也就是說，當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的位置關(guān)系和相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的位置關(guān)系相同。另外，基于當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的位置關(guān)系和當(dāng)前區(qū)域與相關(guān)性區(qū)域之間的位置關(guān)系確定方案。

在圖14的表中，從底部起的第一至第四行指示相應(yīng)圖像的位置關(guān)系的示例，并且a至e指示每行的視圖id或者poc的值的示例。也就是說，這里重要的不是值為多少、而是圖像的視圖id或者pic是否與其它圖像的視圖id或者poc相同。

在從底部起的第四行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有不同參考圖像和視圖id、但是具有相同poc。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是視差矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有不同視圖id并且具有相同poc。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的時(shí)間的、不同幀的視圖的圖像。因此，如在圖14的表中所示選擇方案1。方案1在如下區(qū)域中有效，在該區(qū)域中，在視圖點(diǎn)之間的視差變化恒定。

在從底部起的第三行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有不同參考圖像和視圖id、但是具有相同poc。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是視差矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同視圖id并且具有不同poc。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的視圖的、不同時(shí)間的幀的圖像。因此如在圖14的表中所示選擇方案2。方案2在時(shí)間運(yùn)動(dòng)改變小時(shí)有效。

在從底部起的第二行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有相同參考圖像和視圖id、但是具有不同poc。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是運(yùn)動(dòng)矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有不同視圖id并且具有相同poc。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的時(shí)間的、不同幀的視圖的圖像。如在圖14的表中所示選擇方案3。方案3在視圖點(diǎn)之間的視差數(shù)量改變小時(shí)有效。

在從底部起的第一行的示例中，當(dāng)前區(qū)域和相關(guān)性區(qū)域二者具有相同參考圖像和視圖id、但是具有不同poc。也就是說，當(dāng)前區(qū)域和相關(guān)性區(qū)域的矢量是運(yùn)動(dòng)矢量。另外，當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同視圖id和不同poc。也就是說，相關(guān)性區(qū)域是與當(dāng)前區(qū)域相同的視圖的、不同時(shí)間的幀的圖像。因此，如在圖14的表中所示選擇方案4。

也就是說，例如在3d圖像的左和右圖像中的任一圖像(例如左眼圖像)是基本視圖而另一圖像(例如右眼圖像)是依賴視圖、并且依賴視圖中、當(dāng)前區(qū)域的矢量(編碼矢量)的特性與相同視圖的不同時(shí)間的幀的相關(guān)性區(qū)域(共同定位的區(qū)域)的矢量(共同定位的矢量)的特性相同時(shí)，設(shè)置共同定位的塊為可用。換而言之，在依賴視圖中，在編碼矢量和共同定位的矢量的特性不相同時(shí)，設(shè)置共同定位的塊為不可用。自然地，這同樣可以應(yīng)用于基本視圖。

例如圖13的l1預(yù)測(cè)處理器153和l0預(yù)測(cè)處理器154執(zhí)行這樣的設(shè)置。

例如可以通過如圖15中所示比較當(dāng)前區(qū)域和共同定位的塊的poc與相應(yīng)參考圖像的poc，確定編碼矢量和共同定位的矢量的特性是否相同。例如圖13的l1預(yù)測(cè)處理器153和l0預(yù)測(cè)處理器154執(zhí)行這樣的比較。

例如在當(dāng)前區(qū)域的poc(currpoc)和當(dāng)前區(qū)域的參考圖像的poc(currrefpoc)不相同、并且共同定位的塊的poc(colpoc)和共同定位的塊的參考圖像的poc(colrefpoc)不相同((currpoc！＝currrefpoc)&&(colpoc?。絚olrefpoc))時(shí)，l1預(yù)測(cè)處理器153和l0預(yù)測(cè)處理器154確定編碼矢量和共同定位的塊二者是運(yùn)動(dòng)矢量(圖16的a)。

另外，例如在當(dāng)前區(qū)域的poc(currpoc)和當(dāng)前區(qū)域的參考圖像的poc(currrefpoc)相同并且共同定位的塊的poc(colpoc)和共同定位的塊的參考圖像的poc(colrefpoc)相同((currpoc＝currrefpoc)&&(colpoc＝colrefpoc))時(shí)，l1預(yù)測(cè)處理器153和l0預(yù)測(cè)處理器154確定編碼矢量和共同定位的塊二者是視差矢量(視圖間矢量)(圖16的b)。

l1預(yù)測(cè)處理器153和l0預(yù)測(cè)處理器154基于確定結(jié)果，如在圖15的下側(cè)上在表中所示設(shè)置共同定位的矢量的可用性。

例如在確定編碼矢量和共同定位的塊為運(yùn)動(dòng)矢量或者視差矢量(視圖間矢量)時(shí)，設(shè)置共同定位的矢量為可用(圖16的a或者圖16的b)。

反言之，在確定編碼矢量和共同定位的塊之一為運(yùn)動(dòng)矢量而另一個(gè)為視差矢量(視圖間矢量)時(shí)，設(shè)置共同定位的矢量為不可用。

[語法]

圖17圖示這一情況的序列參數(shù)集的語法的示例。如在從圖17的底部起的第十行至第三行上所示，在序列參數(shù)集中包括信息、比如視圖總數(shù)、用于標(biāo)識(shí)視圖的id、在列表l0中的視差預(yù)測(cè)數(shù)目、在列表0中的視差預(yù)測(cè)中參考的視圖的id、在列表l1中的視差預(yù)測(cè)數(shù)目和在列表l1中的視差預(yù)測(cè)中參考的視圖的id。這些信息項(xiàng)是多視圖圖像所必需的信息。換而言之，可以應(yīng)用本技術(shù)而未向序列參數(shù)集添加新語法。

圖18圖示這一情況的切片首部的語法的示例。如在從圖18的底部起的第八行上所示，在切片首部中包括用于標(biāo)識(shí)視圖的id。這一信息是多視圖圖像所必需的信息。換而言之，可以應(yīng)用本技術(shù)而未向切片首部添加新語法。

圖19圖示這一情況的預(yù)測(cè)單位的語法的示例。如圖19中所示，可以應(yīng)用本技術(shù)而未向預(yù)測(cè)單位添加新語法。然而由于應(yīng)用本技術(shù)與常規(guī)技術(shù)比較增加候選相關(guān)性區(qū)域數(shù)目，所以有必要擴(kuò)展語法的類型或者改變用于合并模式id和預(yù)測(cè)矢量id的處理的內(nèi)容。

[編碼處理的流程]

接著將描述具有這樣的配置的圖像編碼設(shè)備100執(zhí)行的相應(yīng)處理的流程。首先將參照?qǐng)D20的流程圖描述編碼處理的流程的示例。

在步驟s101中，a/d轉(zhuǎn)換器101對(duì)輸入圖像執(zhí)行a/d轉(zhuǎn)換。在步驟s102中，屏幕重新排列緩沖器102存儲(chǔ)a/d轉(zhuǎn)換的圖像并且重新排列相應(yīng)畫面，從而按照編碼順序重新排列按照顯示順序排列的畫面。

在步驟s103中，幀內(nèi)預(yù)測(cè)單元114執(zhí)行幀內(nèi)預(yù)測(cè)處理。在步驟s104中，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115執(zhí)行幀間預(yù)測(cè)處理。在步驟s105中，預(yù)測(cè)圖像選擇器116選擇通過幀內(nèi)預(yù)測(cè)而生成的預(yù)測(cè)圖像和通過幀間預(yù)測(cè)而生成的預(yù)測(cè)圖像中的任一預(yù)測(cè)圖像。

在步驟s106中，算術(shù)單元103計(jì)算通過步驟102的處理重新排列的圖像與通過步驟s105的處理選擇的預(yù)測(cè)圖像之間的差值(生成差值圖像)。生成的差值圖像具有比原始圖像更小的數(shù)據(jù)量。因此與在原樣對(duì)圖像編碼時(shí)比較有可能壓縮數(shù)據(jù)量。

在步驟s107中，正交變化單元104對(duì)通過步驟s106的處理生成的差值圖像執(zhí)行正交變換。具體而言，執(zhí)行正交變換、比如離散余弦變換或者karhunen-loeve變換，并且輸出正交變換系數(shù)。在步驟s108中，量化單元105量化通過步驟s107的處理獲得的正交變換系數(shù)。

用以下方式對(duì)通過步驟108的處理量化的差值圖像局部解碼。也就是說，在步驟s109中，逆量化單元108根據(jù)與量化單元105的特性對(duì)應(yīng)的特性，對(duì)通過步驟s108的處理生成的量化正交變換系數(shù)(也稱為量化系數(shù))執(zhí)行逆量化。在步驟s110中，逆正交變換單元109根據(jù)與正交變換單元104的特性對(duì)應(yīng)的特性，對(duì)通過步驟s109的處理獲得的正交變換系數(shù)執(zhí)行逆正交變換。以這一方式，重建差值圖像。

在步驟s111中，算術(shù)單元110將在步驟s105中選擇的預(yù)測(cè)圖像與在步驟s110中生成的差值圖像相加，以生成局部解碼圖像(重建圖像)。在步驟s112中，循環(huán)濾波器111關(guān)于通過步驟s111的處理獲得的重建圖像適當(dāng)執(zhí)行包括去塊化濾波處理或者自適應(yīng)循環(huán)濾波處理的循環(huán)濾波處理。

在步驟s113中，解碼畫面緩沖器112和解碼多視圖畫面緩沖器121存儲(chǔ)通過步驟s112的處理生成的解碼圖像和通過步驟s111的處理生成的重建圖像。

在步驟s114中，無損編碼單元106對(duì)通過步驟s108的處理量化的正交變換系數(shù)編碼。也就是說，關(guān)于差值圖像執(zhí)行無損編碼、比如可變長度編碼或者算術(shù)編碼。無損編碼單元106對(duì)關(guān)于預(yù)測(cè)的信息、關(guān)于量化的信息、關(guān)于濾波處理的信息等編碼并且向比特流添加編碼信息。

在步驟s115中，累積緩沖器107累積通過步驟s114的處理獲得的比特流。適當(dāng)讀取并且經(jīng)由傳輸線或者記錄介質(zhì)向解碼側(cè)發(fā)送在累積緩沖器107中累積的編碼數(shù)據(jù)。

在步驟s116中，量化單元105基于通過步驟s115的處理在累積緩沖器107中累積的編碼數(shù)據(jù)的編碼速率(出現(xiàn)編碼速率)，控制量化操作的速率，從而不上溢或者下溢出現(xiàn)。

在步驟s116的處理結(jié)束時(shí)，編碼處理結(jié)束。

[幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程]

接著將參照?qǐng)D21的流程圖描述在圖20的步驟s104中執(zhí)行的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的示例。

在步驟s131中，運(yùn)動(dòng)視差矢量搜索單元131關(guān)于處理目標(biāo)的幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)搜索，以生成作為處理目標(biāo)的當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量(運(yùn)動(dòng)矢量或者視差矢量)。在步驟s132中，預(yù)測(cè)圖像生成單元132使用在步驟s131中生成的運(yùn)動(dòng)視差矢量來執(zhí)行補(bǔ)償處理，以生成預(yù)測(cè)圖像。在步驟s133中，編碼成本計(jì)算單元138生成在步驟s132中生成的預(yù)測(cè)圖像與原始圖像(輸入圖像)之間的差值圖像。

在步驟s134中，編碼成本計(jì)算單元138使用空間相關(guān)性預(yù)測(cè)矢量生成單元135、時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136等來執(zhí)行合并模式處理。

在步驟s135中，編碼成本計(jì)算單元138比較在步驟s131中生成的當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量和通過步驟s134的處理生成的當(dāng)前區(qū)域的預(yù)測(cè)矢量，以確定合并模式是否將應(yīng)用于當(dāng)前區(qū)域。

在確定二者不相同并且將不應(yīng)用合并模式時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟s136的處理，并且使用空間相關(guān)性預(yù)測(cè)矢量生成單元135、時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136等來執(zhí)行視差運(yùn)動(dòng)矢量預(yù)測(cè)處理。在步驟s136的處理結(jié)束時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟s137的處理。

另外，在步驟s135中，在確定當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量和預(yù)測(cè)矢量相同并且合并模式將應(yīng)用于當(dāng)前區(qū)域時(shí)，編碼成本計(jì)算單元138略過步驟s136的處理并且繼續(xù)步驟s137。

在步驟s137中，編碼成本計(jì)算單元138確定是否已經(jīng)在所有幀間預(yù)測(cè)模式中執(zhí)行以上處理。在確定未處理的幀間預(yù)測(cè)模式存在時(shí)，流程返回到步驟s131，并且執(zhí)行控制，從而關(guān)于未處理的幀間預(yù)測(cè)模式反復(fù)地執(zhí)行后續(xù)處理。也就是說，在相應(yīng)幀間預(yù)測(cè)模式中執(zhí)行步驟s131至s137的處理。

在步驟s137中確定已經(jīng)在所有幀間預(yù)測(cè)模式中執(zhí)行處理時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟s138的處理。在步驟s138中，編碼成本計(jì)算單元138計(jì)算每個(gè)幀間預(yù)測(cè)模式的成本函數(shù)值。

在步驟s139中，模式確定單元139確定其中在步驟s138中計(jì)算的成本函數(shù)值(編碼成本值)最小的幀間預(yù)測(cè)模式為最優(yōu)模式(最優(yōu)幀間預(yù)測(cè)模式)。

在步驟s140中，預(yù)測(cè)圖像生成單元132在最優(yōu)幀間預(yù)測(cè)模式中生成預(yù)測(cè)圖像。向預(yù)測(cè)圖像選擇器116供應(yīng)預(yù)測(cè)圖像。

在步驟s141中，編碼信息累積緩沖器133在圖20的步驟s105中選擇幀間預(yù)測(cè)時(shí)，存儲(chǔ)最優(yōu)幀間預(yù)測(cè)模式的模式信息和運(yùn)動(dòng)信息(運(yùn)動(dòng)視差矢量、參考圖像索引等)。在選擇幀內(nèi)預(yù)測(cè)模式時(shí)，存儲(chǔ)零矢量作為運(yùn)動(dòng)視差矢量。在圖20的步驟s105中選擇幀間預(yù)測(cè)時(shí)，向無損編碼單元106供應(yīng)這些信息項(xiàng)，并且無損編碼單元106對(duì)這些信息項(xiàng)編碼，并且向解碼側(cè)發(fā)送編碼信息。

在步驟s141的處理結(jié)束時(shí)，編碼信息累積緩沖器133結(jié)束幀間運(yùn)動(dòng)預(yù)測(cè)處理，并且流程繼續(xù)圖20的流程圖。

[合并模式處理的流程]

接著將參照?qǐng)D22的流程圖描述在圖21的步驟s134中執(zhí)行的合并模式處理的流程的示例。

在合并模式處理開始時(shí)，在步驟s161中，空間相關(guān)性預(yù)測(cè)矢量生成單元135執(zhí)行空間相關(guān)性預(yù)測(cè)處理，該空間相關(guān)性預(yù)測(cè)處理使用與空間鄰近區(qū)域的相關(guān)性來生成空間相關(guān)性預(yù)測(cè)矢量。在步驟s162中，時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136執(zhí)行時(shí)間相關(guān)性預(yù)測(cè)處理，該時(shí)間相關(guān)性預(yù)測(cè)處理使用與空間鄰近區(qū)域或者視差鄰近區(qū)域的相關(guān)性來生成時(shí)間視差相關(guān)性預(yù)測(cè)矢量。

在步驟s163中，編碼成本計(jì)算單元138從在步驟s161中生成的空間相關(guān)性預(yù)測(cè)矢量和在步驟s162中生成的時(shí)間視差預(yù)測(cè)矢量去除重疊矢量。

在步驟s164中，編碼成本計(jì)算單元138確定矢量是否存在。在確定存在至少一個(gè)空間相關(guān)性預(yù)測(cè)矢量或者時(shí)間視差相關(guān)性預(yù)測(cè)矢量時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟s165的處理。

在步驟s165中，編碼成本計(jì)算單元138確定多個(gè)矢量是否存在。在確定多個(gè)矢量存在時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟s166的處理以獲取合并索引。在確定多個(gè)矢量不存在時(shí)，編碼成本計(jì)算單元138略過步驟s166的處理。

在與當(dāng)前區(qū)域的運(yùn)動(dòng)矢量相同的空間相關(guān)性預(yù)測(cè)矢量或者時(shí)間視差相關(guān)性預(yù)測(cè)矢量存在時(shí)，編碼成本計(jì)算單元138在步驟s167中獲取相同矢量作為預(yù)測(cè)矢量并且在步驟s168中獲取參考圖像索引。

在步驟s168的處理結(jié)束時(shí)，編碼成本計(jì)算單元138結(jié)束合并模式處理，并且流程返回到圖21的流程圖。

另外，在步驟s164中確定空間相關(guān)性預(yù)測(cè)矢量和時(shí)間視差相關(guān)性預(yù)測(cè)矢量均不存在時(shí)，編碼成本計(jì)算單元138繼續(xù)步驟s169的處理。

在步驟s169中，編碼成本計(jì)算單元138向預(yù)測(cè)矢量指派初始值(例如零矢量)。另外，在步驟s170中，編碼成本計(jì)算單元138向參考圖像索引指派初始值(例如0)。

在步驟s170的處理結(jié)束時(shí)，編碼成本計(jì)算單元138結(jié)束合并模式處理，并且流程返回到圖21的流程圖。

[視差運(yùn)動(dòng)矢量預(yù)測(cè)處理的流程]

接著將參照?qǐng)D23的流程圖描述在圖21的步驟s136中執(zhí)行的視差運(yùn)動(dòng)矢量預(yù)測(cè)處理的流程的示例。

在視差運(yùn)動(dòng)矢量預(yù)測(cè)處理開始時(shí)，在步驟s191中，空間相關(guān)性預(yù)測(cè)矢量生成單元135執(zhí)行空間相關(guān)性預(yù)測(cè)處理，以生成空間相關(guān)性預(yù)測(cè)矢量。在步驟s192中，時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136執(zhí)行時(shí)間視差相關(guān)性預(yù)測(cè)處理，以生成時(shí)間視差相關(guān)性預(yù)測(cè)矢量。

在步驟s193中，編碼成本計(jì)算單元138從在步驟s191中生成的空間相關(guān)性預(yù)測(cè)矢量和在步驟s192中生成的時(shí)間視差預(yù)測(cè)矢量去除重疊矢量。

編碼成本計(jì)算單元138選擇在剩余矢量之中的與當(dāng)前區(qū)域的運(yùn)動(dòng)矢量最接近的矢量、在步驟s194中創(chuàng)建指示矢量的預(yù)測(cè)矢量索引并且在步驟s195中使用該矢量作為預(yù)測(cè)矢量。在步驟s195的處理結(jié)束時(shí)，編碼成本計(jì)算單元138結(jié)束視差運(yùn)動(dòng)矢量預(yù)測(cè)處理，并且流程返回到圖21的流程圖。

[時(shí)間視差相關(guān)性預(yù)測(cè)處理的流程圖]

接著將參照?qǐng)D24至27的流程圖描述在圖22的步驟s162或者圖23的步驟s192中執(zhí)行的時(shí)間視差相關(guān)性預(yù)測(cè)處理的流程的示例。

在時(shí)間視差相關(guān)性預(yù)測(cè)處理開始時(shí)，當(dāng)前區(qū)域處理器151在圖24的步驟s211中獲取當(dāng)前區(qū)域的視圖id和poc。在步驟s212中，當(dāng)前區(qū)域處理器151確定當(dāng)前區(qū)域的參考索引。在步驟s213中，當(dāng)前區(qū)域處理器151獲取參考圖像的視圖id和poc。

在步驟s214中，相關(guān)性區(qū)域處理器152按照列表1的參考圖像索引的升序選擇相關(guān)性圖像。在步驟s215中，相關(guān)性區(qū)域處理器152確定是否已經(jīng)搜索所有參考圖像索引。在確定已經(jīng)搜索所有參考圖像索引時(shí)，時(shí)間視差相關(guān)性預(yù)測(cè)處理結(jié)束，并且流程返回到圖22或者圖23的流程圖。

另外，在步驟s215中確定未處理的參考圖像索引存在時(shí)，相關(guān)性區(qū)域處理器152繼續(xù)步驟s216的處理。在步驟s216中，相關(guān)性區(qū)域處理器152確定相關(guān)性區(qū)域，并且流程繼續(xù)圖25的流程圖。

在圖25的步驟s221中，相關(guān)性區(qū)域處理器152確定相關(guān)性區(qū)域是否為幀內(nèi)預(yù)測(cè)區(qū)域或者未參考另一區(qū)域的區(qū)域。在確定相關(guān)性區(qū)域是幀內(nèi)預(yù)測(cè)區(qū)域或者未參考另一區(qū)域的區(qū)域時(shí)，相關(guān)性區(qū)域處理器152繼續(xù)圖26的流程圖。

另外，在圖25的步驟s221中確定相關(guān)性區(qū)域是幀間預(yù)測(cè)區(qū)域和未參考另一區(qū)域的區(qū)域時(shí)，相關(guān)性區(qū)域處理器152繼續(xù)步驟s222的處理。

在步驟s222中，l1預(yù)測(cè)處理器153獲取相關(guān)性區(qū)域的視圖id和poc。在步驟s223中，l1預(yù)測(cè)處理器153獲取相關(guān)性區(qū)域的l1預(yù)測(cè)參考圖像的視圖id和poc。

在步驟s224中，l1預(yù)測(cè)處理器153確定當(dāng)前區(qū)域和相關(guān)性區(qū)域是否具有相同視圖id。在二者相同時(shí)，相關(guān)性區(qū)域是共同定位的塊。在確定當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同視圖id時(shí)，l1預(yù)測(cè)處理器153繼續(xù)步驟s225的處理以執(zhí)行方案4-2處理，從而根據(jù)方案4或者2生成預(yù)測(cè)矢量。在步驟s225的處理結(jié)束時(shí)，流程繼續(xù)圖26的流程圖。

另外，在圖25的步驟s224中確定當(dāng)前區(qū)域和相關(guān)性區(qū)域無相同視圖id時(shí)，l1預(yù)測(cè)處理器153繼續(xù)步驟s226的處理。

在步驟s226中，l1預(yù)測(cè)處理器153確定當(dāng)前區(qū)域和相關(guān)性區(qū)域是否具有相同poc。在確定當(dāng)前區(qū)域和相關(guān)性區(qū)域無相同poc時(shí)，l1預(yù)測(cè)處理器153繼續(xù)圖26的流程圖。

然而，在圖25的步驟s226中確定當(dāng)前區(qū)域和相關(guān)性區(qū)域具有相同poc時(shí)，l1預(yù)測(cè)處理器153繼續(xù)步驟s227的處理。

在步驟s227中，l1預(yù)測(cè)處理器153確定當(dāng)前區(qū)域的參考圖像和相關(guān)性區(qū)域的參考圖像是否具有相同poc。在確定當(dāng)前區(qū)域的參考圖像和相關(guān)性區(qū)域的參考圖像具有相同poc時(shí)，l1預(yù)測(cè)處理器153繼續(xù)步驟s228的處理以執(zhí)行方案1處理，從而根據(jù)方案1生成預(yù)測(cè)矢量。在步驟s228的處理結(jié)束時(shí)，l1預(yù)測(cè)處理器153繼續(xù)圖26的流程圖。

另外，在圖25的步驟s227中確定當(dāng)前區(qū)域的參考圖像和相關(guān)性區(qū)域的參考圖像無相同poc時(shí)，l1預(yù)測(cè)處理器153繼續(xù)步驟s229的處理以執(zhí)行方案3處理，從而根據(jù)方案3生成預(yù)測(cè)矢量。在步驟s229的處理結(jié)束時(shí)，l1預(yù)測(cè)處理器153繼續(xù)圖26的流程圖。

在圖26中，l0預(yù)測(cè)處理器154關(guān)于相關(guān)性區(qū)域的l0預(yù)測(cè)執(zhí)行與圖25的l1預(yù)測(cè)相同的處理。也就是說，l0預(yù)測(cè)處理器154執(zhí)行與圖25的步驟s222至s229的處理相同的步驟s231至s238的處理。

然而在圖26的情況下，相關(guān)性區(qū)域的參考圖像是l0預(yù)測(cè)參考圖像。另外，在步驟s234、s237或者s238的處理結(jié)束時(shí)，或者在步驟s235中確定當(dāng)前區(qū)域和相關(guān)性區(qū)域無相同poc時(shí)，l0預(yù)測(cè)處理器154繼續(xù)圖27的流程圖。

在圖27的步驟s241中，預(yù)測(cè)矢量生成單元159確定至少一個(gè)預(yù)測(cè)矢量候選是否存在。在確定無預(yù)測(cè)矢量候選存在時(shí)，預(yù)測(cè)矢量生成單元159返回到圖24的步驟s214的處理。

另外，在圖27的步驟s241中確定至少一個(gè)預(yù)測(cè)矢量候選存在時(shí)，預(yù)測(cè)矢量生成單元159繼續(xù)步驟s242的處理。在步驟s242中，預(yù)測(cè)矢量生成單元159確定是否僅l1的跳躍標(biāo)志是1或者是否l0或者l1的跳躍標(biāo)志相同，并且參考l1。

在確定僅l1的跳躍標(biāo)志是1或者l0和l1的跳躍標(biāo)志相同、并且參考l1時(shí)，預(yù)測(cè)矢量生成單元159繼續(xù)步驟s243的處理。

在步驟s243中，預(yù)測(cè)矢量生成單元159獲取l1參考矢量。在步驟s2444中，預(yù)測(cè)矢量生成單元159獲取l1參考的參考圖像索引，并且流程繼續(xù)步驟s247。

另外，在步驟s242中確定l1的跳躍標(biāo)志不是1或者l0的跳躍標(biāo)志是0、以及l(fā)0和l1的跳躍標(biāo)志不相同或者未參考l1時(shí)，預(yù)測(cè)矢量生成單元159繼續(xù)步驟s245的處理。

在步驟s245中，預(yù)測(cè)矢量生成單元159獲取l0參考矢量。在步驟s246中，預(yù)測(cè)矢量生成單元159獲取l0參考的參考圖像索引，并且流程繼續(xù)步驟s247。

在步驟s247中，預(yù)測(cè)矢量生成單元159使用獲取的l1參考矢量或者l0參考矢量作為預(yù)測(cè)矢量。在這一情況下，預(yù)測(cè)矢量生成單元159使用與在當(dāng)前區(qū)域或者相關(guān)性區(qū)域中的參考圖像的距離來縮放矢量，并且使用縮放結(jié)果作為預(yù)測(cè)矢量。

在步驟s247的處理結(jié)束時(shí)，預(yù)測(cè)矢量生成單元159返回到圖24的流程圖以結(jié)束時(shí)間視差相關(guān)性預(yù)測(cè)處理，并且流程返回到圖22或者圖23的流程圖。

[方案1處理的流程]

接著將參照?qǐng)D28的流程圖描述在圖25或者圖26中執(zhí)行的方案1處理的流程的示例。

在方案1處理開始時(shí)，在步驟s261中，方案1處理器155確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的poc是否相同。在確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的poc不相同時(shí)，方案1處理器155結(jié)束方案1處理，并且流程返回到圖25或者圖26的流程圖。

另外，在步驟s261中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像相同時(shí)，方案1處理器155繼續(xù)步驟s262的處理。

在步驟s262中，方案-1處理器155確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的poc是否相同。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的poc不相同時(shí)，方案-1處理器155結(jié)束方案1處理，并且流程返回到圖25或者圖26的流程圖。

另外，在步驟s262中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的poc相同時(shí)，方案-1處理器155繼續(xù)步驟s263的處理。

在步驟s263中，方案-1處理器155計(jì)算當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的視圖間距離1。在步驟s264中，方案-1處理器155計(jì)算相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的視圖間距離2。在步驟s265中，方案1處理器155確定參考圖像的跳躍標(biāo)志，并且流程返回到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(shù)(視圖間距離1、視圖間距離2和跳躍標(biāo)志)。

[方案3處理的流程]

接著將參照?qǐng)D29的流程圖描述在圖25或者圖26中執(zhí)行的方案3處理的流程的示例。

在方案3處理開始時(shí)，在步驟s271中，方案3處理器157確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖id是否相同。在當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖id不相同時(shí)，方案3處理器157結(jié)束方案3處理，并且流程返回到圖25或者圖26的流程圖。

另外，在步驟s271中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖id相同時(shí)，方案3處理器157繼續(xù)步驟s272的處理。

在步驟s272中，方案3處理器157確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖id是否相同。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖id不相同時(shí)，方案3處理器157結(jié)束方案3處理，并且流程返回到圖25或者圖26的流程圖。

另外，在步驟s272中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖id相同時(shí)，方案3處理器157繼續(xù)步驟s273的處理。

在步驟s273中，方案3處理器157計(jì)算當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的視圖間距離1。在步驟s274中，方案3處理器157計(jì)算相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的視圖間距離2。在步驟s275中，方案3處理器157確定參考圖像的跳躍標(biāo)志，并且流程返回到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(shù)(視圖間距離1、視圖間距離2和跳躍標(biāo)志)。

[方案4-2處理的流程]

接著將參照?qǐng)D30的流程圖描述在圖25或者圖26中執(zhí)行的方案4-2處理的流程的示例。

在方案4-2處理開始時(shí)，在步驟s281中，l1預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖id是否相同。在二者相同時(shí)，編碼矢量是運(yùn)動(dòng)矢量。在確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖id相同時(shí)，流程繼續(xù)步驟s282。

在步驟s282中，l1預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154確定相關(guān)性區(qū)域(共同定位的塊)和相關(guān)性區(qū)域的參考圖像的視圖id是否相同。在二者不相同時(shí)，共同定位的矢量是視差矢量。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖id不相同時(shí)，l1預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154結(jié)束方案4-2處理，并且流程返回到圖25或者圖26的流程圖。

也就是說，在這一情況下，由于編碼矢量是運(yùn)動(dòng)矢量并且共同定位的矢量是視差矢量，所以編碼矢量的特性與共同定位的矢量的特性不相同。因此，設(shè)置共同定位的塊不可用，并且方案4-2處理結(jié)束。

另外，在步驟s282中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的視圖id相同時(shí)，l1預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154繼續(xù)步驟s283的處理。在二者相同時(shí)，共同定位的矢量是運(yùn)動(dòng)矢量。也就是說，在這一情況下，編碼矢量和共同定位的矢量二者是運(yùn)動(dòng)矢量，并且兩個(gè)矢量的特性相同。因此，在這一情況下，設(shè)置共同定位的矢量為可用。

在步驟s283中，方案4處理器158計(jì)算當(dāng)前區(qū)域與當(dāng)前區(qū)域的參考圖像之間的視圖間距離1。在步驟s284中，方案4處理器158計(jì)算相關(guān)性區(qū)域與相關(guān)性區(qū)域的參考圖像之間的視圖間距離2。在步驟s285中，方案4處理器158確定參考圖像的跳躍標(biāo)志，并且流程反饋到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(shù)(視圖間距離1、視圖間距離2和跳躍標(biāo)志)。

另外，在步驟s281中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的視圖id不相同時(shí)，l1預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154繼續(xù)步驟s286的處理。

在步驟s286中，預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的poc是否相同。在確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的poc不相同時(shí)，預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154結(jié)束方案4-2處理，并且流程返回到圖25或者圖26的流程圖。

另外，在步驟s286中確定當(dāng)前區(qū)域和當(dāng)前區(qū)域的參考圖像的poc相同時(shí)，預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154繼續(xù)步驟s287的處理。在二者相同時(shí)，編碼矢量是視差矢量。

在步驟s287中，預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的poc是否相同。在二者不相同時(shí)，共同定位的矢量是運(yùn)動(dòng)矢量。在確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的poc不相同時(shí)，預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154結(jié)束方案4-2處理，并且流程返回到圖25或者圖26的流程圖。

也就是說，在這一情況下，由于編碼矢量是視差矢量并且共同定位的矢量是運(yùn)動(dòng)矢量時(shí)，編碼矢量的特性與共同定位的矢量的特性不相同。因此，設(shè)置共同定位的塊為不可用，并且方案4-2處理結(jié)束。

另外，在步驟s287中確定相關(guān)性區(qū)域和相關(guān)性區(qū)域的參考圖像的poc相同時(shí)，l1預(yù)測(cè)處理器153或者l0預(yù)測(cè)處理器154返回到步驟s283的處理。在二者相同時(shí)，共同定位的矢量是視差矢量。也就是說，在這一情況下，編碼矢量和共同定位的矢量是視差矢量，并且兩個(gè)矢量的特性相同。因此，在這一情況下，設(shè)置共同定位的矢量為可用。

在這一情況下，方案2處理器156與方案4處理器158相似地執(zhí)行步驟s283至s285的處理。在步驟s285的處理結(jié)束時(shí)，方案2處理器156結(jié)束方案4-2處理，并且流程返回到圖25或者圖26的流程圖。

通過以這一方式執(zhí)行相應(yīng)處理，時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136可以生成視差相關(guān)性預(yù)測(cè)矢量以及運(yùn)動(dòng)相關(guān)性預(yù)測(cè)矢量。因此，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以生成具有高預(yù)測(cè)準(zhǔn)確度的預(yù)測(cè)矢量。由于這一點(diǎn)，圖像編碼設(shè)備100可以抑制編碼效率降低。

[2.第二實(shí)施例]

[圖像解碼設(shè)備]

圖31是圖示作為圖像處理設(shè)備的圖像解碼設(shè)備的主要配置示例的框圖。圖31中所示圖像解碼設(shè)備300是與圖11的圖像編碼設(shè)備100對(duì)應(yīng)的設(shè)備。也就是說，圖像解碼設(shè)備300根據(jù)與圖像編碼設(shè)備100的編碼方法對(duì)應(yīng)的解碼方法，對(duì)通過圖像編碼設(shè)備100對(duì)多視圖圖像編碼而生成的編碼數(shù)據(jù)(比特流)解碼以獲得解碼多視圖圖像。

如圖31中所示，圖像解碼設(shè)備300包括累積緩沖器301、無損解碼單元302、逆量化單元303、逆正交變換單元304、算術(shù)單元305、循環(huán)濾波器306、屏幕重新排列緩沖器307和d/a轉(zhuǎn)換器308。另外，圖像解碼設(shè)備300包括解碼畫面緩沖器309、選擇器310、幀間預(yù)測(cè)單元311、運(yùn)動(dòng)視差補(bǔ)償單元312和選擇器313。

另外，圖像解碼設(shè)備300包括解碼多視圖畫面緩沖器321。

累積緩沖器301累積向它發(fā)送的編碼數(shù)據(jù)并且在預(yù)定定時(shí)向無損解碼單元302供應(yīng)編碼數(shù)據(jù)。無損解碼單元302根據(jù)與無損編碼單元106的編碼方案對(duì)應(yīng)的方案，對(duì)從累積緩沖器301供應(yīng)的由圖11的無損編碼單元106編碼的信息解碼。無損解碼單元302向逆量化單元303供應(yīng)通過解碼而獲得的差值圖像的量化系數(shù)數(shù)據(jù)。

另外，無損解碼單元302參考通過對(duì)編碼數(shù)據(jù)解碼而獲得的關(guān)于最優(yōu)預(yù)測(cè)模式的信息，以確定是否選擇幀內(nèi)預(yù)測(cè)模式或者幀間預(yù)測(cè)模式作為最優(yōu)預(yù)測(cè)模式。無損解碼單元302基于確定結(jié)果，向幀內(nèi)預(yù)測(cè)單元311或者運(yùn)動(dòng)視差補(bǔ)償單元312供應(yīng)關(guān)于最優(yōu)預(yù)測(cè)模式的信息。也就是說，例如在圖像編碼設(shè)備100選擇幀內(nèi)預(yù)測(cè)模式作為最優(yōu)預(yù)測(cè)模式時(shí)，向幀內(nèi)預(yù)測(cè)單元311供應(yīng)幀內(nèi)預(yù)測(cè)信息，該幀內(nèi)預(yù)測(cè)信息是關(guān)于最優(yōu)預(yù)測(cè)模式的信息等。另外，例如在圖像編碼設(shè)備100選擇幀間預(yù)測(cè)模式作為最優(yōu)預(yù)測(cè)模式時(shí)，向運(yùn)動(dòng)視差補(bǔ)償單元312供應(yīng)幀間預(yù)測(cè)信息，該幀間預(yù)測(cè)信息是關(guān)于最優(yōu)預(yù)測(cè)模式的信息等。

逆量化單元303根據(jù)與圖11的量化單元105的量化方案對(duì)應(yīng)的方案，對(duì)通過無損解碼單元302的解碼而獲得的量化系數(shù)數(shù)據(jù)執(zhí)行逆量化，并且向逆正交變換單元304供應(yīng)獲得的系數(shù)數(shù)據(jù)。逆正交變換單元304根據(jù)與圖11的正交變換單元104的正交變換方案對(duì)應(yīng)的方案，對(duì)從逆量化單元303供應(yīng)的系數(shù)數(shù)據(jù)執(zhí)行逆正交變換。逆正交變換單元304通過逆正交變換處理獲得與在圖像編碼設(shè)備100中受到正交變換之前的差值圖像對(duì)應(yīng)的差值圖像。

向算術(shù)單元305供應(yīng)通過逆正交變換而獲得的差值圖像。另外，經(jīng)由選擇器313向算術(shù)單元305供應(yīng)來自幀內(nèi)預(yù)測(cè)單元311或者運(yùn)動(dòng)視差補(bǔ)償單元312的預(yù)測(cè)圖像。

算術(shù)單元305將差值圖像與預(yù)測(cè)圖像相加，以獲得與圖像編碼設(shè)備100的算術(shù)單元103減去預(yù)測(cè)圖像之前的圖像對(duì)應(yīng)的重建圖像。算術(shù)單元305向循環(huán)濾波器306供應(yīng)重建圖像。

循環(huán)濾波器306關(guān)于供應(yīng)的重建圖像執(zhí)行包括去塊化濾波處理、自適應(yīng)循環(huán)濾波等的循環(huán)濾波處理以生成解碼圖像。例如循環(huán)濾波器306通過對(duì)重建圖像執(zhí)行去塊化濾波處理來去除塊失真。另外，例如循環(huán)濾波器306通過關(guān)于去塊化濾波處理結(jié)果(其中去除塊失真的重建圖像)使用維納濾波器執(zhí)行循環(huán)濾波處理來提高圖像質(zhì)量。

循環(huán)濾波器306執(zhí)行的濾波處理的類型是可選的，并且可以執(zhí)行除了以上描述的處理之外的濾波處理。另外，循環(huán)濾波器306可以使用從圖11的圖像編碼設(shè)備100供應(yīng)的濾波器系數(shù)來執(zhí)行濾波處理。

循環(huán)濾波器306向屏幕重新排列緩沖器307和解碼畫面緩沖器309供應(yīng)作為濾波處理結(jié)果的解碼圖像?？梢允÷匝h(huán)濾波器306的濾波處理。即，可以在解碼畫面緩沖器309中存儲(chǔ)算術(shù)單元305的輸出而未受到濾波處理。例如幀內(nèi)預(yù)測(cè)單元311使用在這一圖像中包括的像素的像素值作為鄰近像素的像素值。

屏幕重新排列緩沖器307重新排列供應(yīng)的解碼圖像。也就是說，按照原始顯示順序重新排列圖11的屏幕重新排列緩沖器102對(duì)于編碼順序而重新排列的幀順序。d/a轉(zhuǎn)換器308對(duì)從屏幕重新排列緩沖器307供應(yīng)的解碼圖像執(zhí)行d/a轉(zhuǎn)換、向顯示器(未示出)輸出轉(zhuǎn)換的圖像并且顯示圖像。

解碼畫面緩沖器309存儲(chǔ)供應(yīng)的重建圖像(以及圖像的視圖id和poc)和解碼圖像(以及圖像的視圖id和poc)。另外，解碼畫面緩沖器309在預(yù)定定時(shí)或者基于外部單元、比如幀內(nèi)預(yù)測(cè)單元311或者運(yùn)動(dòng)視差補(bǔ)償單元312的請(qǐng)求，經(jīng)由選擇器310向幀內(nèi)預(yù)測(cè)單元311和運(yùn)動(dòng)視差補(bǔ)償單元312供應(yīng)存儲(chǔ)的重建圖像(以及圖像的視圖id和poc)和解碼圖像(以及圖像的視圖id和poc)。

幀內(nèi)預(yù)測(cè)單元311執(zhí)行與圖11的幀內(nèi)預(yù)測(cè)單元114基本上相同的處理。然而幀內(nèi)預(yù)測(cè)單元311僅關(guān)于如下區(qū)域執(zhí)行幀內(nèi)預(yù)測(cè)，在編碼期間在該區(qū)域中通過幀內(nèi)預(yù)測(cè)來生成預(yù)測(cè)圖像。

運(yùn)動(dòng)視差補(bǔ)償單元312基于從無損解碼單元302供應(yīng)的幀間預(yù)測(cè)信息，執(zhí)行運(yùn)動(dòng)視差補(bǔ)償以生成預(yù)測(cè)圖像。運(yùn)動(dòng)視差補(bǔ)償單元312基于從無損解碼單元302供應(yīng)的幀間預(yù)測(cè)信息，僅關(guān)于如下區(qū)域執(zhí)行運(yùn)動(dòng)視差補(bǔ)償，在編碼期間在該區(qū)域中執(zhí)行幀間預(yù)測(cè)。

運(yùn)動(dòng)視差補(bǔ)償單元312對(duì)于預(yù)測(cè)處理單位的每個(gè)區(qū)域，經(jīng)由選擇器313向算術(shù)單元305供應(yīng)生成的預(yù)測(cè)圖像。

選擇器313向算術(shù)單元305供應(yīng)從幀內(nèi)預(yù)測(cè)單元311供應(yīng)的預(yù)測(cè)圖像或者從運(yùn)動(dòng)視差補(bǔ)償單元312供應(yīng)的預(yù)測(cè)圖像。

雖然解碼畫面緩沖器309僅存儲(chǔ)處理目標(biāo)視圖的圖像(以及圖像的視圖id和poc)，但是解碼多視圖畫面緩沖器321也存儲(chǔ)相應(yīng)視圖點(diǎn)(視圖)的圖像(以及圖像的視圖id和poc)。也就是說，解碼多視圖畫面緩沖器321獲取向解碼畫面緩沖器309供應(yīng)的解碼圖像(以及圖像的視圖id和poc)，并且與解碼畫面緩沖器309一起存儲(chǔ)解碼圖像(以及圖像的視圖id和poc)。

雖然解碼畫面緩沖器309在處理目標(biāo)視圖改變時(shí)擦除解碼圖像，但是解碼多視圖畫面緩沖器321原樣存儲(chǔ)解碼圖像。另外，解碼多視圖畫面緩沖器321根據(jù)解碼畫面緩沖器309的請(qǐng)求等，向解碼畫面緩沖器309供應(yīng)存儲(chǔ)的解碼圖像(以及圖像的視圖id和poc)作為“非處理目標(biāo)視圖的解碼圖像”。解碼畫面緩沖器309經(jīng)由選擇器310，向運(yùn)動(dòng)視差補(bǔ)償單元312供應(yīng)從解碼多視圖畫面緩沖器321讀取的“非處理目標(biāo)視圖的解碼圖像(以及圖像的視圖id和poc)”。

[運(yùn)動(dòng)視差補(bǔ)償單元]

圖32是圖示運(yùn)動(dòng)視差補(bǔ)償單元312的主要配置示例的框圖。

如圖32中所示，運(yùn)動(dòng)視差補(bǔ)償單元312包括編碼信息累積緩沖器331、空間相關(guān)性預(yù)測(cè)矢量生成單元332、時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333、選擇器334、算術(shù)單元335和預(yù)測(cè)圖像生成單元336。

編碼信息累積緩沖器331獲取在無損解碼單元302中獲得的模式信息、差值運(yùn)動(dòng)視差信息和預(yù)測(cè)信息。另外，編碼信息累積緩沖器331存儲(chǔ)在預(yù)測(cè)圖像生成單元336中使用的解碼運(yùn)動(dòng)視差矢量。運(yùn)動(dòng)視差矢量在用于另一區(qū)域的處理中用作鄰近區(qū)域的運(yùn)動(dòng)視差矢量。

編碼信息累積緩沖器331向與在預(yù)測(cè)信息中指明的預(yù)測(cè)矢量的類型(空間相關(guān)性預(yù)測(cè)矢量或者時(shí)間視差相關(guān)性預(yù)測(cè)矢量)對(duì)應(yīng)的、空間相關(guān)性預(yù)測(cè)矢量生成單元332和時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333之一供應(yīng)鄰近區(qū)域的模式信息或者解碼運(yùn)動(dòng)視差矢量。

另外，編碼信息累積緩沖器331向算術(shù)單元335供應(yīng)在差值運(yùn)動(dòng)視差信息中包括的差值運(yùn)動(dòng)視差矢量。另外，編碼信息累積緩沖器331向預(yù)測(cè)圖像生成單元336供應(yīng)在預(yù)測(cè)信息中包括的參考圖像索引。

空間相關(guān)性預(yù)測(cè)矢量生成單元332基于從編碼信息累積緩沖器331供應(yīng)的信息生成空間相關(guān)性預(yù)測(cè)矢量。生成方法與空間相關(guān)性預(yù)測(cè)矢量生成單元135的生成方法相同。然而由于預(yù)先確定最優(yōu)幀間預(yù)測(cè)模式，所以空間相關(guān)性預(yù)測(cè)矢量生成單元332可以僅在該模式中生成空間相關(guān)性預(yù)測(cè)矢量?？臻g相關(guān)性預(yù)測(cè)矢量生成單元332經(jīng)由選擇器334向算術(shù)單元335供應(yīng)生成的空間相關(guān)性預(yù)測(cè)矢量。

時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333基于從編碼信息累積緩沖器331供應(yīng)的信息等、從無損解碼單元302供應(yīng)的當(dāng)前區(qū)域的視圖id和poc等的信息、以及從解碼畫面緩沖器309供應(yīng)的參考圖像的視圖id和poc等的信息，生成時(shí)間視差相關(guān)性預(yù)測(cè)矢量。生成方法與時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136的生成方法相同。然而由于預(yù)先確定最優(yōu)幀間預(yù)測(cè)模式，所以時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333可以僅在該模式中生成時(shí)間視差相關(guān)性預(yù)測(cè)矢量。時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333經(jīng)由選擇器334，向算術(shù)單元335供應(yīng)生成的時(shí)間視差相關(guān)性預(yù)測(cè)矢量。

在從空間相關(guān)性預(yù)測(cè)矢量生成單元332供應(yīng)空間相關(guān)性預(yù)測(cè)矢量時(shí)，選擇器334向算術(shù)單元335供應(yīng)矢量。另外，從時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333供應(yīng)時(shí)間視差相關(guān)性預(yù)測(cè)矢量，選擇器334向算術(shù)單元335供應(yīng)該矢量。

算術(shù)單元335將從編碼信息累積緩沖器331供應(yīng)的差值運(yùn)動(dòng)視差矢量與從選擇器334供應(yīng)的空間相關(guān)性預(yù)測(cè)矢量或者時(shí)間視差相關(guān)性預(yù)測(cè)矢量相加，以重建當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量。算術(shù)單元335向預(yù)測(cè)圖像生成單元336供應(yīng)當(dāng)前區(qū)域的重建運(yùn)動(dòng)視差矢量。

預(yù)測(cè)圖像生成單元336使用從算術(shù)單元335供應(yīng)的當(dāng)前區(qū)域的重建運(yùn)動(dòng)視差矢量、從編碼信息累積緩沖器331供應(yīng)的參考圖像索引、從解碼畫面緩沖器309供應(yīng)的鄰近圖像的像素值來生成預(yù)測(cè)圖像，這些鄰近圖像是鄰近區(qū)域的圖像。預(yù)測(cè)圖像生成單元336向選擇器313供應(yīng)生成的預(yù)測(cè)圖像像素值。

通過這樣做，時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333可以與時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136相似地生成視差相關(guān)性預(yù)測(cè)矢量以及運(yùn)動(dòng)相關(guān)性預(yù)測(cè)矢量。因此，運(yùn)動(dòng)視差補(bǔ)償單元312即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以重建視差相關(guān)性預(yù)測(cè)矢量。也就是說，圖像解碼設(shè)備300可以提高編碼效率，因?yàn)閳D像解碼設(shè)備300可以對(duì)圖像編碼設(shè)備100生成的編碼數(shù)據(jù)正確解碼。

[解碼處理的流程]

接著將描述具有這樣的配置的圖像解碼設(shè)備300執(zhí)行的相應(yīng)處理的流程。首先將參照?qǐng)D33的流程圖描述解碼處理的流程。

在解碼處理開始時(shí)，在步驟s301中，累積緩沖器301累積向它發(fā)送的比特流。在步驟s302中，無損解碼單元302對(duì)從累積緩沖器301供應(yīng)的比特流(編碼差值圖像信息)解碼。在這一情況下，也解碼除了在比特流中包括的差值圖像信息之外的各種類型的信息、比如幀內(nèi)預(yù)測(cè)信息或者幀間預(yù)測(cè)信息。

在步驟s303中，逆量化單元303對(duì)通過步驟s302的處理獲得的量化正交變換系數(shù)執(zhí)行逆量化。在步驟s304中，逆正交變換單元304對(duì)已經(jīng)在步驟s303中受到逆量化的正交變換系數(shù)執(zhí)行逆正交變換。

在步驟s305中，幀內(nèi)預(yù)測(cè)單元311或者運(yùn)動(dòng)視差補(bǔ)償單元312使用供應(yīng)的信息來執(zhí)行預(yù)測(cè)處理。在步驟s306中，算術(shù)單元305將在步驟s305中生成的預(yù)測(cè)圖像與在步驟s304中通過逆正交變換而獲得的差值圖像信息相加。以這一方式，生成重建圖像。

在步驟s307中，循環(huán)濾波器306關(guān)于在步驟s306中獲得的重建圖像，適當(dāng)執(zhí)行包括去塊化濾波處理、自適應(yīng)循環(huán)濾波處理等的循環(huán)濾波處理。

在步驟s308中，屏幕重新排列緩沖器307重新排列在步驟s307中通過濾波處理生成的解碼圖像。也就是說，按照原始顯示順序重新排列圖像編碼設(shè)備100的屏幕重新排列緩沖器102對(duì)于編碼而重新排列的幀順序。

在步驟s309中，d/a轉(zhuǎn)換器308對(duì)其中重新排列幀順序的解碼圖像執(zhí)行d/a轉(zhuǎn)換。向顯示器(未圖示)輸出并且顯示解碼圖像。

在步驟s310中，解碼畫面緩沖器309存儲(chǔ)在步驟s307中通過濾波處理獲得的解碼圖像。這一解碼圖像在幀間預(yù)測(cè)處理中用作參考圖像。

在步驟s310的處理結(jié)束時(shí)，解碼處理結(jié)束。

[預(yù)測(cè)處理的流程]

接著將參照?qǐng)D34的流程圖描述在圖33的步驟s305中執(zhí)行的預(yù)測(cè)處理的流程的示例。

在預(yù)測(cè)處理開始時(shí)，在步驟s331中，無損解碼單元302確定處理目標(biāo)的當(dāng)前區(qū)域是否已經(jīng)在編碼期間受到幀內(nèi)預(yù)測(cè)。在確定當(dāng)前區(qū)域已經(jīng)受到幀內(nèi)預(yù)測(cè)時(shí)，無損解碼單元302繼續(xù)步驟s332的處理。

在這一情況下，幀內(nèi)預(yù)測(cè)單元311在步驟s332中從無損解碼單元302獲取幀內(nèi)預(yù)測(cè)模式信息，并且在步驟s333中通過幀內(nèi)預(yù)測(cè)來生成預(yù)測(cè)圖像。在生成預(yù)測(cè)圖像時(shí)，幀內(nèi)預(yù)測(cè)單元311結(jié)束預(yù)測(cè)處理，并且流程返回到圖33的流程圖。

另外，在步驟s331中確定當(dāng)前區(qū)域是已經(jīng)受到幀間預(yù)測(cè)的區(qū)域時(shí)，無損解碼單元302繼續(xù)步驟s334的處理。在步驟s334中，運(yùn)動(dòng)視差補(bǔ)償單元312執(zhí)行運(yùn)動(dòng)視差補(bǔ)償處理。在運(yùn)動(dòng)視差補(bǔ)償處理結(jié)束時(shí)，運(yùn)動(dòng)視差補(bǔ)償單元312結(jié)束預(yù)測(cè)處理，并且流程返回到圖33的流程圖。

[運(yùn)動(dòng)視差補(bǔ)償處理的流程]

接著將參照?qǐng)D35的流程圖描述在圖34的步驟s334中執(zhí)行的運(yùn)動(dòng)視差補(bǔ)償處理的流程的示例。

在運(yùn)動(dòng)視差補(bǔ)償處理開始時(shí)，在步驟s351中，編碼信息累積緩沖器331存儲(chǔ)在步驟s351中解碼的模式信息、運(yùn)動(dòng)視差信息和預(yù)測(cè)信息。

在步驟s352中，空間相關(guān)性預(yù)測(cè)矢量生成單元332、時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333、選擇器334和算術(shù)單元335執(zhí)行運(yùn)動(dòng)視差矢量生成處理，以重建當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量。

在重建運(yùn)動(dòng)視差矢量時(shí)，在步驟s353中，預(yù)測(cè)圖像生成單元336使用運(yùn)動(dòng)視差矢量來生成預(yù)測(cè)圖像。

在生成預(yù)測(cè)圖像時(shí)，預(yù)測(cè)圖像生成單元336結(jié)束運(yùn)動(dòng)視差補(bǔ)償處理，并且流程返回到圖34的流程圖。

[運(yùn)動(dòng)視差矢量生成處理的流程]

接著將參照?qǐng)D36的流程圖描述在圖35的步驟s352中執(zhí)行的運(yùn)動(dòng)視差矢量生成處理的流程的示例。

在運(yùn)動(dòng)視差矢量生成處理開始時(shí)，在步驟s371中，編碼信息累積緩沖器331根據(jù)預(yù)測(cè)信息確定這一模式是否為略過模式。在確定這一模式是略過模式時(shí)，編碼信息累積緩沖器331繼續(xù)步驟s372的處理。在步驟s372中，空間相關(guān)性預(yù)測(cè)矢量生成單元332到算術(shù)單元335執(zhí)行合并模式處理，以在合并模式中重建運(yùn)動(dòng)視差矢量。在合并模式處理中，執(zhí)行與參照?qǐng)D22的流程圖描述的處理相同的處理。在合并模式處理結(jié)束時(shí)，算術(shù)單元335結(jié)束運(yùn)動(dòng)視差矢量生成處理，并且流程返回到圖35的流程圖。

另外，在圖36的步驟s371中確定它不是略過模式時(shí)，編碼信息累積緩沖器331繼續(xù)步驟s373的處理。在步驟s373中，編碼信息累積緩沖器331根據(jù)預(yù)測(cè)信息確定這一模式是否為合并模式。在確定這一模式是合并模式時(shí)，編碼信息累積緩沖器331返回到步驟s372的處理，以執(zhí)行合并模式處理。

另外，在步驟s373中確定這一模式不是合并模式時(shí)，編碼信息累積緩沖器331繼續(xù)步驟s374的處理。

在步驟s374中，編碼信息累積緩沖器331獲取參考圖像的索引。在步驟s375中，編碼信息累積緩沖器331獲取差值運(yùn)動(dòng)視差矢量。

在步驟s376中，空間相關(guān)性預(yù)測(cè)矢量生成單元332或者時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333執(zhí)行視差運(yùn)動(dòng)矢量預(yù)測(cè)處理。以與參照?qǐng)D23的流程圖描述的方式相同的方式，執(zhí)行這一視差運(yùn)動(dòng)矢量預(yù)測(cè)處理。然而在這一情況下，由于預(yù)先確定預(yù)測(cè)方法，所以執(zhí)行空間相關(guān)性預(yù)測(cè)處理和時(shí)間視差相關(guān)性預(yù)測(cè)處理中的任一相關(guān)性預(yù)測(cè)處理(預(yù)測(cè)信息指明的相關(guān)性預(yù)測(cè)處理)。

在步驟s377中，算術(shù)單元335將在步驟s376中重建的預(yù)測(cè)矢量與差值運(yùn)動(dòng)視差矢量相加，以重建運(yùn)動(dòng)視差矢量。

在步驟s377的處理結(jié)束時(shí)，算術(shù)單元335結(jié)束運(yùn)動(dòng)視差矢量生成處理，并且流程返回到圖35的流程圖。

通過以上述方式執(zhí)行相應(yīng)處理，時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元333可以與時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元136相似地生成視差相關(guān)性預(yù)測(cè)矢量以及運(yùn)動(dòng)相關(guān)性預(yù)測(cè)矢量。因此，運(yùn)動(dòng)視差補(bǔ)償單元312即使在當(dāng)前區(qū)域的矢量是視差矢量時(shí)仍然可以重建視差相關(guān)性預(yù)測(cè)矢量。也就是說，圖像解碼設(shè)備300可以提高編碼效率，因?yàn)閳D像解碼設(shè)備300可以對(duì)圖像編碼設(shè)備100生成的編碼數(shù)據(jù)正確解碼。

[3.第三實(shí)施例]

[要點(diǎn)]

在多視圖圖像的情況下，在視圖之間偏移圖像的位置，從而視差出現(xiàn)。因此，在選擇在視圖方向上的塊時(shí)，即使選擇(參考)在相同位置的塊，預(yù)測(cè)圖像的預(yù)測(cè)準(zhǔn)確度仍然可能降低，并且存在不可能創(chuàng)建適當(dāng)預(yù)測(cè)矢量的可能性。

因此，在選擇在視圖方向上的塊以便生成預(yù)測(cè)矢量時(shí)，選擇在移位的位置的塊。也就是說，在移位與當(dāng)前區(qū)域相同的時(shí)間的圖像的位置的狀態(tài)中，使用位于與當(dāng)前區(qū)域相同的位置的這樣的區(qū)域的矢量來生成預(yù)測(cè)矢量。

根據(jù)鄰近塊的視差矢量按照預(yù)定順序計(jì)算移位量。通過在編碼側(cè)設(shè)備和解碼側(cè)設(shè)備二者中使用相同順序，可以在編碼側(cè)和解碼側(cè)二者中執(zhí)行相同預(yù)測(cè)。

可以顯式地指明用于計(jì)算移位量的鄰近塊，并且可以從編碼側(cè)向解碼側(cè)發(fā)送其信息。另外，可以從編碼側(cè)向解碼側(cè)發(fā)送關(guān)于移位量計(jì)算方法的信息。

通過這樣做，圖像編碼設(shè)備和圖像解碼設(shè)備可以根據(jù)在視圖之間對(duì)準(zhǔn)的塊生成預(yù)測(cè)矢量。因此有可能提高預(yù)測(cè)圖像的預(yù)測(cè)準(zhǔn)確度并且提高編碼效率。

以下將具體描述這一點(diǎn)。

[圖像編碼設(shè)備]

圖37是圖示本技術(shù)應(yīng)用于的圖像編碼設(shè)備的另一配置示例的框圖。

圖37中所示圖像編碼設(shè)備400是與以上描述的圖像編碼設(shè)備100基本上相同的設(shè)備。然而圖像編碼設(shè)備400根據(jù)在視圖之間對(duì)準(zhǔn)的塊生成預(yù)測(cè)矢量。

如圖37中所示，圖像編碼設(shè)備400包括運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元415和基本視圖編碼器421。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元412使用從解碼畫面緩沖器112獲取的解碼圖像和從基本視圖編碼器421獲取的基本視圖的運(yùn)動(dòng)信息，生成參考在視圖方向上的塊的預(yù)測(cè)矢量。

基本視圖編碼器421對(duì)基本視圖編碼?；疽晥D編碼器421向解碼畫面緩沖器112供應(yīng)基本視圖的解碼圖像，該解碼畫面緩沖器存儲(chǔ)解碼圖像。解碼畫面緩沖器112也存儲(chǔ)從循環(huán)濾波器111供應(yīng)的非基本視圖的解碼圖像。

基本視圖編碼器421向運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元412供應(yīng)基本視圖的運(yùn)動(dòng)信息。

[運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元]

圖38是圖示圖37的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元412的主要配置示例的框圖。

如圖38中所示，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元412包括幀間模式生成單元431、參考索引確定單元432、矢量預(yù)測(cè)單元433、矢量預(yù)測(cè)單元434和模式確定單元435。在相應(yīng)處理單元之間交換圖38中所示信息。

在幀間預(yù)測(cè)模式的情況下，矢量預(yù)測(cè)單元433生成預(yù)測(cè)矢量以生成其預(yù)測(cè)圖像。在略過模式、合并模式等的情況下，矢量預(yù)測(cè)單元434生成預(yù)測(cè)矢量以生成其預(yù)測(cè)圖像。向模式確定單元435供應(yīng)在這些矢量預(yù)測(cè)單元中生成的預(yù)測(cè)矢量和預(yù)測(cè)圖像。

模式確定單元435基于這些信息項(xiàng)確定模式，并且向無損編碼單元106供應(yīng)指示選擇的模式和模式的預(yù)測(cè)矢量的信息。另外，向預(yù)測(cè)圖像選擇器116供應(yīng)選擇的模式的預(yù)測(cè)圖像。

[矢量預(yù)測(cè)單元]

圖39是圖示矢量預(yù)測(cè)單元433的主要配置示例的框圖。

如圖39中所示，矢量預(yù)測(cè)單元433包括運(yùn)動(dòng)/視差矢量搜索單元451、預(yù)測(cè)圖像生成單元452、矢量成本計(jì)算單元453、矢量確定單元454、矢量信息累積緩沖器455、基于鄰近塊的預(yù)測(cè)矢量生成單元456、基于不同畫面的預(yù)測(cè)矢量生成單元457和選擇器458。在相應(yīng)處理單元之間交換圖39中所示信息。

基于不同畫面的預(yù)測(cè)矢量生成單元457生成參考不同畫面的預(yù)測(cè)矢量。也就是說，基于不同畫面的預(yù)測(cè)矢量生成單元457參考在時(shí)間方向和視圖方向上的不同畫面以生成預(yù)測(cè)矢量。在生成參考在視圖方向上的不同畫面的預(yù)測(cè)矢量時(shí)，基于不同畫面的預(yù)測(cè)矢量生成單元457從基本視圖編碼器421獲取基本視圖的運(yùn)動(dòng)信息，并且使用運(yùn)動(dòng)信息來生成預(yù)測(cè)矢量。

經(jīng)由選擇器458向矢量成本計(jì)算單元453供應(yīng)基于不同畫面的預(yù)測(cè)矢量生成單元457生成的預(yù)測(cè)矢量，并且計(jì)算用于模式確定的成本函數(shù)值。

[基于不同畫面的預(yù)測(cè)矢量生成單元]

圖40是圖示基于不同畫面的預(yù)測(cè)矢量生成單元457的主要配置示例的框圖。

如圖40中所示，基于不同畫面的預(yù)測(cè)矢量生成單元457包括視差矢量確定單元471、視圖間參考矢量生成單元472和視圖內(nèi)參考矢量生成單元473。

視差矢量確定單元471根據(jù)鄰近塊的視差矢量計(jì)算參考圖像的移位量。移位量計(jì)算方法是可選的。例如可以選擇并且可以使用鄰近塊的視差矢量中的任一視差矢量作為移位量。另外，例如鄰近塊的視差矢量的平均值或者中值可以用作移位量。

視差矢量確定單元471向視圖間參考矢量生成單元472供應(yīng)以這一方式獲得的移位量作為視差矢量。

視圖間參考矢量生成單元472生成參考在視圖方向上的不同畫面的預(yù)測(cè)矢量。

視圖間參考矢量生成單元472使用由視差矢量確定單元471選擇的視差矢量(移位量)、從基本視圖編碼器421供應(yīng)的基本視圖的運(yùn)動(dòng)矢量(也包括非基本視圖的情況下的視差矢量)、和從矢量信息累積緩沖器455讀取的信息、比如參考圖像索引或者視圖間相同時(shí)間的運(yùn)動(dòng)/視差矢量，通過考慮視差矢量來生成預(yù)測(cè)矢量。

也就是說，視圖間參考矢量生成單元472使用由視差矢量確定單元471計(jì)算的移位量，對(duì)準(zhǔn)(移位)參考的視圖的圖像。另外，視圖間參考矢量生成單元472根據(jù)對(duì)準(zhǔn)的塊生成預(yù)測(cè)矢量。

視圖間參考矢量生成單元472經(jīng)由選擇器458(在圖40中未圖示)向矢量成本計(jì)算單元453供應(yīng)生成的預(yù)測(cè)矢量。

視圖內(nèi)參考矢量生成單元473生成參考在時(shí)間方向上的不同畫面的預(yù)測(cè)矢量。

通過這樣做，視圖間參考矢量生成單元472可以創(chuàng)建具有高預(yù)測(cè)準(zhǔn)確度的適當(dāng)預(yù)測(cè)矢量。以這一方式，圖像編碼設(shè)備400可以提高編碼效率。

[運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的流程]

將參照?qǐng)D41的流程圖描述運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的流程的示例。

在運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理開始時(shí)，在步驟s401中，幀間模式生成單元431選擇幀間預(yù)測(cè)模式、略過模式、合并模式等中的任何模式，并且生成幀間模式，該幀間模式是指明選擇的模式的信息。

在步驟s402中，幀間模式生成單元431確定生成的幀間模式是幀間預(yù)測(cè)模式。

在幀間模式是幀間預(yù)測(cè)模式時(shí)，幀間模式生成單元431在步驟s403中確定參考圖像，并且矢量預(yù)測(cè)單元433在步驟s404中執(zhí)行矢量預(yù)測(cè)處理。

另外，在幀間模式不是幀間預(yù)測(cè)模式時(shí)，在步驟s404中，矢量預(yù)測(cè)單元434執(zhí)行矢量預(yù)測(cè)處理。

在步驟s405中，模式確定單元435基于在步驟s404中確定的預(yù)測(cè)矢量等確定模式。在步驟s401的處理中使用這一模式。

在步驟s405中，無損編碼單元106對(duì)在步驟s405中確定的模式的信息編碼。

[矢量預(yù)測(cè)處理的流程]

將參照?qǐng)D42的流程圖描述矢量預(yù)測(cè)單元433在圖41的步驟s404中執(zhí)行的矢量預(yù)測(cè)處理的流程的示例。

在矢量預(yù)測(cè)處理開始時(shí)，運(yùn)動(dòng)/視差矢量搜索單元451在步驟s421中搜索矢量。

在步驟s422中，預(yù)測(cè)圖像生成單元452生成預(yù)測(cè)圖像。

在步驟s423中，矢量成本計(jì)算單元453生成殘差圖像。

在步驟s424中，基于鄰近塊的預(yù)測(cè)矢量生成單元456和基于不同畫面的預(yù)測(cè)矢量生成單元457根據(jù)編碼矢量生成預(yù)測(cè)矢量。

在步驟s425中，矢量成本計(jì)算單元453計(jì)算矢量的殘差。

在步驟s426中，矢量確定單元454確定具有最小成本的預(yù)測(cè)矢量。在步驟s424的處理上反應(yīng)這一處理結(jié)果。

在步驟s427中，矢量信息累積緩沖器455累積矢量信息，并且流程返回到圖41的流程圖。

[預(yù)測(cè)矢量生成處理的流程]

接著將參照?qǐng)D43的流程圖描述在圖42的步驟s424中執(zhí)行的預(yù)測(cè)矢量生成處理的流程的示例。

在預(yù)測(cè)矢量生成處理開始時(shí)，在步驟s441中，選擇器458確定將參考哪個(gè)塊。

在確定將參考畫面的鄰近塊時(shí)，在步驟s442中，基于鄰近塊的預(yù)測(cè)矢量生成單元456將鄰近塊的編碼矢量設(shè)置成預(yù)測(cè)矢量，并且流程返回到圖42的流程圖。

另外，在步驟s441中確定將參考不同畫面的塊時(shí)，選擇器458繼續(xù)步驟s443的處理以確定畫面將被參考的視圖。

在確定將參考不同視圖的畫面時(shí)，在步驟s444中，基于不同畫面的預(yù)測(cè)矢量生成單元457根據(jù)在視圖方向上擴(kuò)展的編碼、共同定位的塊生成視圖方向的預(yù)測(cè)矢量，并且流程返回到圖42的流程圖。

另外，在步驟s443中確定將參考相同視圖的畫面時(shí)，在步驟s445中，基于不同畫面的預(yù)測(cè)矢量生成單元457根據(jù)編碼、共同定位的塊生成時(shí)間方向的預(yù)測(cè)矢量，并且流程返回到圖42的流程圖。

[基于不同畫面的預(yù)測(cè)矢量生成處理的流程]

接著將參照?qǐng)D44的流程圖描述在圖43的步驟s444中執(zhí)行的基于不同畫面的預(yù)測(cè)矢量生成處理的流程的示例。

在基于不同畫面的預(yù)測(cè)矢量生成處理開始時(shí)，在步驟s461中，視差矢量確定單元471根據(jù)鄰近塊的視差矢量確定移位矢量。

在步驟s462中，視圖間參考矢量生成單元472選擇在移位的位置的共同定位的塊。

在步驟s463中，視圖間參考矢量生成單元472根據(jù)共同定位的塊生成預(yù)測(cè)矢量，并且流程返回到圖43的流程圖。

[移位量確定處理的流程]

接著將參照?qǐng)D45的流程圖描述在圖44的步驟s461中執(zhí)行的移位量確定處理的流程的示例。

在步驟s481中，視差矢量確定單元471確定是否有多個(gè)塊，在這些塊中，鄰近塊的視差矢量的y方向矢量的值不是零。

鄰近塊是位于處理目標(biāo)的當(dāng)前塊(當(dāng)前塊)附近(包括“相鄰”)的塊。例如，如圖46中所示，在當(dāng)前塊(curr)的左側(cè)相鄰的塊(左)、在當(dāng)前塊以上相鄰的塊(上)和與當(dāng)前塊的右上角相鄰的塊(右上)用作鄰近塊。自然地，可以在鄰近塊中包括除了這些塊之外的塊，并且這些塊中的部分或者所有塊可以未用作鄰近塊。

鄰近塊的位置可以對(duì)于所有塊相同并且可以從塊到塊不同。例如在與屏幕末端相鄰的塊或者切片邊界用作當(dāng)前塊時(shí)，可以設(shè)置鄰近塊的部分為不可用。

在步驟s481中確定無其中y方向矢量的值為非零的多個(gè)塊時(shí)，視差矢量確定單元471繼續(xù)步驟s482的處理，以使用目標(biāo)在x方向上的視差矢量作為移位量，并且流程返回到圖44的流程圖。

另外，在步驟s481中確定有其中y方向矢量的值不為零的多個(gè)塊時(shí)，視差矢量確定單元471繼續(xù)步驟s483的處理，以設(shè)置目標(biāo)在x方向上的視差矢量的平均值作為移位量，并且流程返回到圖44的流程圖。

通過以上述方式執(zhí)行處理，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元415可以創(chuàng)建具有高預(yù)測(cè)準(zhǔn)確度的適當(dāng)預(yù)測(cè)矢量。以這一方式，圖像編碼設(shè)備400可以提高編碼效率。

[4.第四實(shí)施例]

[圖像解碼設(shè)備]

圖47是圖示本技術(shù)應(yīng)用于的圖像解碼設(shè)備的另一配置示例的框圖。

圖47中所示圖像解碼設(shè)備500與以上描述的圖像解碼設(shè)備300基本上相同。然而圖像解碼設(shè)備500與圖像編碼設(shè)備400相似地根據(jù)在視圖之間對(duì)準(zhǔn)的塊生成預(yù)測(cè)矢量。

如圖47中所示，圖像解碼設(shè)備500包括運(yùn)動(dòng)補(bǔ)償單元512和基本視圖解碼器521。

運(yùn)動(dòng)補(bǔ)償單元512使用從解碼畫面緩沖器309獲取的解碼圖像和從基本視圖解碼器521獲取的基本視圖的運(yùn)動(dòng)信息，生成參考在視圖方向上的塊的預(yù)測(cè)矢量。

基本視圖解碼器521對(duì)基本視圖編碼。基本視圖解碼器521向解碼畫面緩沖器309供應(yīng)基本視圖的解碼圖像，該解碼畫面緩沖器存儲(chǔ)解碼圖像。解碼畫面緩沖器309也存儲(chǔ)從循環(huán)濾波器306供應(yīng)的非基本視圖的解碼圖像。

基本視圖解碼器521向運(yùn)動(dòng)補(bǔ)償單元512供應(yīng)基本視圖的運(yùn)動(dòng)信息。

[運(yùn)動(dòng)補(bǔ)償單元]

圖48是圖示圖47的運(yùn)動(dòng)補(bǔ)償單元512的主要配置示例的框圖。

如圖48中所示，運(yùn)動(dòng)補(bǔ)償單元512包括模式確定單元531、參考索引確定單元532、矢量解碼單元533和矢量解碼單元534。在相應(yīng)處理單元之間交換圖48中所示信息。

在幀間預(yù)測(cè)模式的情況下，矢量解碼單元533對(duì)從圖像編碼設(shè)備400發(fā)送的殘差矢量解碼以生成預(yù)測(cè)矢量。另外，矢量解碼單元533使用預(yù)測(cè)矢量來生成預(yù)測(cè)圖像。向預(yù)測(cè)圖像選擇器313供應(yīng)預(yù)測(cè)圖像。

在略過模式或者合并模式的情況下，矢量解碼單元534對(duì)從圖像編碼設(shè)備400發(fā)送的殘差矢量解碼以生成預(yù)測(cè)矢量。另外，矢量解碼單元534使用預(yù)測(cè)矢量來生成預(yù)測(cè)圖像。向預(yù)測(cè)圖像選擇器313供應(yīng)預(yù)測(cè)圖像。

[矢量解碼單元]

圖49是圖示矢量解碼單元533的主要配置示例的框圖。

如圖49中所示，矢量解碼單元533包括選擇器551、基于鄰近塊的預(yù)測(cè)矢量生成單元552、基于不同畫面的預(yù)測(cè)矢量生成單元553、選擇器554、算術(shù)單元555、預(yù)測(cè)圖像生成單元556和矢量信息累積緩沖器557。在相應(yīng)處理單元之間交換圖49中所示信息。

選擇器551根據(jù)幀間模式，向基于鄰近塊的預(yù)測(cè)矢量生成單元552(在略過模式、合并模式等的情況下)或者向基于不同畫面的預(yù)測(cè)矢量生成單元553(在幀間預(yù)測(cè)模式的情況下)供應(yīng)從無損解碼單元302供應(yīng)的矢量索引。

被供應(yīng)矢量索引的基于鄰近塊的預(yù)測(cè)矢量生成單元552使用從矢量信息累積緩沖器557獲取的矢量信息，根據(jù)在當(dāng)前畫面中的鄰近塊生成預(yù)測(cè)矢量。

被供應(yīng)矢量索引的基于不同畫面的預(yù)測(cè)矢量生成單元553使用從矢量信息累積緩沖器557獲取的矢量信息，根據(jù)在當(dāng)前視圖中的不同畫面生成預(yù)測(cè)矢量。另外，基于不同畫面的預(yù)測(cè)矢量生成單元553使用從矢量信息累積緩沖器557獲取的矢量信息或者從基本視圖解碼器521供應(yīng)的基本視圖的運(yùn)動(dòng)矢量，根據(jù)不同視圖的不同畫面生成預(yù)測(cè)矢量。

基于不同畫面的預(yù)測(cè)矢量生成單元553是與基于不同畫面的預(yù)測(cè)矢量生成單元457的視差矢量確定單元471相同的處理單元，并且根據(jù)相同方法生成預(yù)測(cè)矢量。

選擇器554向算術(shù)單元555供應(yīng)：基于鄰近塊的預(yù)測(cè)矢量生成單元552生成的預(yù)測(cè)矢量或者基于不同畫面的預(yù)測(cè)矢量生成單元553生成的預(yù)測(cè)矢量。

算術(shù)單元555將從無損解碼單元302供應(yīng)的運(yùn)動(dòng)/視差矢量的差值(殘差矢量)與預(yù)測(cè)矢量相加，以生成當(dāng)前區(qū)域的運(yùn)動(dòng)/視差矢量。算術(shù)單元555向預(yù)測(cè)圖像生成單元556供應(yīng)運(yùn)動(dòng)/視差矢量。另外，算術(shù)單元555向矢量信息累積緩沖器557供應(yīng)運(yùn)動(dòng)/視差矢量，該矢量信息累積緩沖器存儲(chǔ)運(yùn)動(dòng)/視差矢量。

預(yù)測(cè)圖像生成單元556使用從算術(shù)單元555供應(yīng)的當(dāng)前區(qū)域的運(yùn)動(dòng)/視差矢量、從無損解碼單元302供應(yīng)的參考圖像索引和從解碼畫面緩沖器309供應(yīng)的解碼圖像像素值，生成預(yù)測(cè)圖像。預(yù)測(cè)圖像生成單元556向預(yù)測(cè)圖像選擇器313供應(yīng)生成的預(yù)測(cè)圖像像素值。

[基于不同畫面的預(yù)測(cè)矢量生成單元]

圖50是圖示基于不同畫面的預(yù)測(cè)矢量生成單元553的主要配置示例的框圖。

如圖50中所示，基于不同畫面的預(yù)測(cè)矢量生成單元553包括視差矢量確定單元571、視圖間參考矢量生成單元572和視圖內(nèi)參考矢量生成單元573。

視差矢量確定單元571、視圖間參考矢量生成單元572和視圖內(nèi)參考矢量生成單元573是分別與基于不同畫面的預(yù)測(cè)矢量生成單元457的視差矢量確定單元471、視圖間參考矢量生成單元472和視圖內(nèi)參考矢量生成單元473相同的處理單元并且執(zhí)行相同處理。

也就是說，視差矢量確定單元571根據(jù)與視差矢量確定單元471相同的方法計(jì)算參考目標(biāo)的視圖的圖像的移位量，并且移位圖像。

因此，基于不同畫面的預(yù)測(cè)矢量生成單元553可以對(duì)殘差矢量正確解碼，以生成與基于不同畫面的預(yù)測(cè)矢量生成單元457生成的預(yù)測(cè)矢量相同的具有高預(yù)測(cè)準(zhǔn)確度的適當(dāng)預(yù)測(cè)矢量。也就是說，矢量解碼單元533可以生成與矢量預(yù)測(cè)單元433生成的預(yù)測(cè)圖像相同的預(yù)測(cè)圖像。因此，圖像解碼設(shè)備500可以提高編碼效率，因?yàn)閳D像解碼設(shè)備500可以對(duì)圖像編碼設(shè)備400生成的編碼數(shù)據(jù)正確解碼。

未限制視差矢量確定單元571的移位量計(jì)算方法，只要它與視差矢量確定單元471相同，但是該方法是可選的。例如可以選擇鄰近塊的視差矢量中的任何視差矢量，并且選擇的視差矢量可以用作移位量。另外，鄰近塊的視差矢量的平均值或者中值可以用作移位量。

[運(yùn)動(dòng)補(bǔ)償處理的流程]

將參照?qǐng)D51的流程圖描述運(yùn)動(dòng)補(bǔ)償處理的流程的示例。

在運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理開始時(shí)，模式確定單元531在步驟s501中對(duì)幀間模式解碼，并且在步驟s502中確定幀間模式是否為幀間預(yù)測(cè)模式。

在幀間模式是幀間預(yù)測(cè)模式時(shí)，矢量解碼單元533在步驟s503中確定參考圖像，并且在步驟s504中執(zhí)行矢量解碼處理以對(duì)殘差矢量解碼以生成預(yù)測(cè)圖像。

另外，在幀間模式不是幀間預(yù)測(cè)模式時(shí)，矢量解碼單元534在步驟s504中執(zhí)行矢量解碼處理以對(duì)殘差矢量解碼以生成預(yù)測(cè)圖像。

[矢量解碼處理的流程]

將參照?qǐng)D52的流程圖描述矢量解碼單元533在圖51的步驟s504中執(zhí)行的矢量解碼處理的流程的示例。

在矢量解碼處理開始時(shí)，在步驟s521中，無損解碼單元302對(duì)殘差矢量(差值矢量)解碼。

在步驟s522中，無損解碼單元302對(duì)參考圖像索引解碼。

在步驟s523中，無損解碼單元302對(duì)矢量索引解碼。

在步驟s524中，基于鄰近塊的預(yù)測(cè)矢量生成單元552和基于不同畫面的預(yù)測(cè)矢量生成單元553根據(jù)編碼矢量生成預(yù)測(cè)矢量。算術(shù)單元555將預(yù)測(cè)矢量與殘差矢量相加，以生成當(dāng)前區(qū)域的運(yùn)動(dòng)/視差矢量。

在步驟s525中，預(yù)測(cè)圖像生成單元556使用在步驟s524中生成的運(yùn)動(dòng)/視差矢量來生成預(yù)測(cè)圖像。

在步驟s526中，矢量信息累積緩沖器455累積矢量信息，并且流程返回到圖51的流程圖。

[預(yù)測(cè)矢量生成處理的流程]

接著將參照?qǐng)D53的流程圖描述在圖52的步驟s524中執(zhí)行的預(yù)測(cè)矢量生成處理的流程的示例。

在預(yù)測(cè)矢量生成處理開始時(shí)，在步驟s541中，選擇器554確定將參考的塊。

在確定將參考當(dāng)前畫面的鄰近塊時(shí)，在步驟s542中，基于鄰近塊的預(yù)測(cè)矢量生成單元552使用鄰近塊的編碼矢量作為預(yù)測(cè)矢量，并且流程返回到圖52的流程圖。

另外，在步驟s541中確定將參考不同畫面的塊時(shí)，選擇器554繼續(xù)步驟s543的處理以確定畫面將被參考的視圖。

在確定將參考不同視圖的畫面時(shí)，在步驟s544中，基于不同畫面的預(yù)測(cè)矢量生成單元553根據(jù)在視圖方向上擴(kuò)展的編碼、共同定位的塊生成視圖方向的預(yù)測(cè)矢量，并且流程返回到圖52的流程圖。

另外，在步驟s543中確定將參考相同視圖的畫面時(shí)，在步驟s545中，基于不同畫面的預(yù)測(cè)矢量生成單元553根據(jù)編碼、共同定位的塊生成時(shí)間方向的預(yù)測(cè)矢量，并且流程返回到圖52的流程圖。

[基于不同畫面的預(yù)測(cè)矢量生成處理的流程]

接著將參照?qǐng)D54的流程圖描述在圖53的步驟s544中執(zhí)行的基于不同畫面的預(yù)測(cè)矢量生成處理的流程的示例。

在基于不同畫面的預(yù)測(cè)矢量生成處理開始時(shí)，在步驟s561中，視差矢量確定單元571根據(jù)鄰近塊的視差矢量確定移位量。

在步驟s562中，視圖間參考矢量生成單元572選擇在移位的位置的共同定位的塊。

在步驟s563中，視圖間參考矢量生成單元572根據(jù)共同定位的塊生成預(yù)測(cè)矢量，并且流程返回到圖53的流程圖。

也就是說，在與圖44的流程圖相同的流程中執(zhí)行處理。

[移位量確定處理的流程]

接著將參照?qǐng)D55的流程圖描述在圖54的步驟s561中執(zhí)行的移位量確定處理的流程的示例。

在步驟s581中，視差矢量確定單元571確定是否有多個(gè)塊，在這些塊中，鄰近塊的視差矢量的y方向矢量的值為非零。

在步驟s581中確定無其中y方向矢量的值為非零的多個(gè)塊時(shí)，視差矢量確定單元571繼續(xù)步驟s582的處理以使用目標(biāo)在x方向上的視差矢量作為移位量，并且流程返回到圖54的流程圖。

另外，在步驟s581中確定有其中y方向矢量的值為非零的多個(gè)塊時(shí)，視差矢量確定單元571繼續(xù)步驟s583的處理以使用目標(biāo)在x方向上的視差矢量的平均值作為移位量，并且流程返回到圖54的流程圖。

也就是說在與圖45的流程圖相同的流程中執(zhí)行處理。這對(duì)于鄰近塊同樣成立。

通過以上述方式執(zhí)行處理，運(yùn)動(dòng)補(bǔ)償單元512可以創(chuàng)建具有高預(yù)測(cè)準(zhǔn)確度的適當(dāng)預(yù)測(cè)矢量。以這一方式，圖像解碼設(shè)備500可以提高編碼效率。

如以上描述的那樣，可以從圖像編碼設(shè)備400向圖像解碼設(shè)備500發(fā)送信息、比如用于計(jì)算移位量的鄰近塊和移位量計(jì)算方法。

[5.第五實(shí)施例]

[預(yù)測(cè)矢量]

如在第三和第四實(shí)施例中描述的那樣，可以在選擇視圖方向的塊時(shí)選擇在移位的位置的塊，以便生成預(yù)測(cè)矢量。

可以使用共同定位的塊的矢量(共同定位的塊)或者全局視差矢量來生成用于預(yù)測(cè)矢量的候選，該共同定位的塊是與當(dāng)前區(qū)域相同的視圖的、屬于不同時(shí)間的畫面的、在相同位置的塊。

例如，如圖56中所示，3d圖像的右和左圖像中的任一圖像(例如左眼圖像)用作基本視圖，并且另一圖像(例如右眼圖像)用作依賴視圖。

在預(yù)測(cè)依賴視圖的當(dāng)前畫面601的當(dāng)前區(qū)域611的矢量(編碼矢量)621時(shí)，可以例如使用與當(dāng)前區(qū)域相同的視圖的、如下共同定位的畫面602的、在與當(dāng)前區(qū)域相同的位置的共同定位的塊612的運(yùn)動(dòng)矢量(共同定位的矢量)622或者全局視差矢量(未圖示)來獲得預(yù)測(cè)矢量，該共同定位的畫面是不同時(shí)間的畫面。

例如在如下位置的塊613的矢量623可以用作編碼矢量(mv)621的預(yù)測(cè)矢量(pmv)，該位置是從與當(dāng)前畫面601相同的時(shí)間的基本視圖的畫面603的當(dāng)前區(qū)域11相同的位置通過共同定位的塊622或者全局視差矢量(矢量631)移位的。另外，共同定位的塊622或者全局視差矢量可以用作編碼矢量(mv)621的預(yù)測(cè)矢量。

通過在編碼側(cè)設(shè)備和解碼側(cè)設(shè)備二者中使用相同順序，可以在編碼側(cè)和解碼側(cè)二者中執(zhí)行相同預(yù)測(cè)。

可以顯式地指明指示將使用共同定位的塊和全局視差矢量之一的信息、關(guān)于共同定位的塊或者全局視差矢量的信息等，并且可以從編碼側(cè)向解碼側(cè)發(fā)送其信息。另外，可以從編碼側(cè)向解碼側(cè)發(fā)送關(guān)于移位量計(jì)算方法的信息。

通過這樣做，圖像編碼設(shè)備和圖像解碼設(shè)備可以根據(jù)在視圖之間相似地對(duì)準(zhǔn)的塊生成預(yù)測(cè)矢量。因此，有可能提高預(yù)測(cè)圖像的預(yù)測(cè)準(zhǔn)確度并且提高編碼效率。

[全局視差矢量]

接著將描述全局視差矢量。全局視差矢量是(對(duì)于每個(gè)預(yù)定單位、如比如畫面、切片、lcu或者cu)全局的有代表性的視差矢量。例如對(duì)于每個(gè)畫面生成的全局視差矢量指示在視圖之間的視差量。生成全局視差矢量的方法是可選的。

在以下引用中公開全局視差矢量的具體示例：junghaknam,hyominchoi,sunmiyoo,woonglim,donggyusim,"3d-hevc-ce3resultonkwu'sadvancedmotionanddisparitypredictionmethodbasedonglobaldisparity,"internationalorganisationforstandardisationorganisationinternationaledenormalisationiso/iecjtc1/sc29/wg11codingofmovingpicturesandaudio,iso/iecjtc1/sc29/wg11mpeg2011/m23620,february2012,sanjose,ca。

圖57是用于描述視差和深度的圖。

如圖57中所示，在對(duì)象m的彩色圖像由設(shè)置于位置c1的相機(jī)c1和設(shè)置于位置c2的相繼c2捕獲時(shí)，深度z由以下表達(dá)式(1)定義，該深度是在對(duì)象m在深度方向上與相機(jī)c1(相機(jī)c2)的距離。

z＝(l/d)×f…(1)

“l(fā)”是在位置c1與c2之間在水平方向上的距離(下文稱為相機(jī)間距離)。另外，“d”是通過從對(duì)象m在相機(jī)c1捕獲的彩色圖像上的位置距彩色圖像的中心在水平方向上的距離u1減去對(duì)象m在相機(jī)c2捕獲的彩色圖像上的位置距彩色圖像的中心在水平方向上的距離u2而獲得的值(也就是視差(差距))。另外，“f”是相機(jī)c1的焦距，并且在表達(dá)式(1)中，假設(shè)相機(jī)c1和c2的焦距相同。

也就是說，視差d由以下表達(dá)式(2)定義。

[數(shù)學(xué)公式1]

如表達(dá)式(1)或者(2)中所示，可以唯一轉(zhuǎn)換視差d和深度z。因此，在本說明書中，指示相機(jī)c1和c2捕獲的2視圖彩色圖像的視差d的圖像以及指示深度z的圖像將共同稱為深度圖像(視差圖像)。

深度圖像(視差圖像)可以是指示視差d或者深度z的圖像?？梢赃\(yùn)用視差d的正規(guī)化值、深度z的倒數(shù)1/z的正規(guī)化值等、而不是視差d或者深度z本身作為深度圖像(視差圖像)的像素值。

可以通過以下表達(dá)式(3)獲得深度z。

[數(shù)學(xué)公式2]

在表達(dá)式(3)中，zfar是深度z的最大值，并且znear是深度z的最小值?？梢詫?duì)于一個(gè)屏幕單位設(shè)置或者可以對(duì)于多個(gè)屏幕單位設(shè)置最大值z(mì)far和最小值z(mì)near。

如以上描述的那樣，在本說明書中，通過考慮可以唯一轉(zhuǎn)換視差d和深度z的事實(shí)，像素值為視差d的正規(guī)化值i的圖像和像素值為深度z的倒數(shù)1/z的正規(guī)化值y的圖像將共同稱為深度圖像(視差圖像)。在這一示例中，雖然深度圖像(視差圖像)的色彩格式是yuv420或者yuv400，但是可以使用另一色彩格式。

在聚焦于值i或者y本身而不是深度圖像(視差圖像)的像素值的信息時(shí)，使用值i或者y作為深度信息(視差信息)。另外，對(duì)值i或者y進(jìn)行映射的映射用作深度映射(視差映射)。

[生成預(yù)測(cè)矢量]

例如如在圖58中所示表中那樣根據(jù)與編碼矢量和共同定位的矢量二者的特性對(duì)應(yīng)的方法生成預(yù)測(cè)矢量。

例如如在從圖58的表的底部起的第六行上所示，在編碼矢量和共同定位的矢量是運(yùn)動(dòng)矢量時(shí)，共同定位的矢量用作預(yù)測(cè)矢量候選。

另外，例如如在從圖58的表的底部起的第二行上所示，在編碼矢量和共同定位的矢量二者是視差矢量(視圖間矢量)時(shí)，共同定位的矢量用作預(yù)測(cè)矢量候選。

對(duì)照而言，例如如在從圖58的表的底部起的第五行上所示，在編碼矢量是運(yùn)動(dòng)矢量并且共同定位的矢量是視差矢量(視圖間矢量)時(shí)，通過共同定位的矢量移位的塊的基本視圖的運(yùn)動(dòng)矢量用作預(yù)測(cè)矢量候選。

另外，例如如在從圖58的表的底部起的第四行上所示，在編碼矢量是運(yùn)動(dòng)矢量并且共同定位的塊是幀內(nèi)模式時(shí)，通過全局視差矢量移位的塊的基本視圖的運(yùn)動(dòng)矢量用作預(yù)測(cè)矢量候選。

另外，例如如在從圖58的表的底部起的第三行上所示，在編碼矢量是視差矢量(視圖間矢量)并且共同定位的矢量是運(yùn)動(dòng)矢量時(shí)，全局視差矢量用作預(yù)測(cè)矢量候選。

另外，例如如在從圖58的表的底部起的第一行上所示，在編碼矢量是視差矢量(視圖間矢量)并且共同定位的塊是幀內(nèi)模式時(shí)，全局視差矢量用作預(yù)測(cè)矢量候選。

通過增加用于生成用于預(yù)測(cè)矢量的候選的方法數(shù)目，有可能提高預(yù)測(cè)矢量的預(yù)測(cè)準(zhǔn)確度并且提高編碼效率。

[圖像編碼設(shè)備]

在這一情況下，圖像編碼設(shè)備的配置示例與圖35至38上所示圖像編碼設(shè)備400的配置示例相同，并且將不提供其描述。

[處理的流程]

另外，以與參照?qǐng)D39的流程圖描述的方式相同的方式執(zhí)行這一情況的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。另外，以與參照?qǐng)D40的流程圖描述的方式相同的方式執(zhí)行這一情況的矢量預(yù)測(cè)處理。因此將不提供這些處理的描述。

將參照?qǐng)D59的流程圖描述這一情況的預(yù)測(cè)矢量生成處理的流程的示例。

在預(yù)測(cè)矢量生成處理開始時(shí)，在步驟s601中，選擇器458確定將參考哪個(gè)塊。

在確定將參考鄰近塊時(shí)，流程繼續(xù)步驟s602。在步驟s602中，基于鄰近塊的預(yù)測(cè)矢量生成單元456使用鄰近塊的編碼矢量作為預(yù)測(cè)矢量。在步驟s602的處理結(jié)束時(shí)，預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖40的流程圖。

另外，在步驟s601中確定選擇不同畫面的塊作為參考目的地時(shí)，流程繼續(xù)步驟s603。在步驟s603中，基于不同的畫面的預(yù)測(cè)矢量生成單元457使用不同時(shí)間/視圖的塊的編碼矢量作為預(yù)測(cè)矢量。在步驟s603的處理結(jié)束時(shí)，預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖40的流程圖。

接著將參照?qǐng)D60和61的流程圖描述在圖59的步驟s603中執(zhí)行的基于不同畫面的預(yù)測(cè)矢量生成處理的流程的示例。

在基于不同畫面的預(yù)測(cè)矢量生成處理開始時(shí)，在步驟s621中，視差矢量確定單元471確定編碼矢量是否為運(yùn)動(dòng)矢量。在確定編碼矢量是運(yùn)動(dòng)矢量時(shí)，流程繼續(xù)步驟s622。

在步驟s622中，視差矢量確定單元471確定共同定位的塊的模式。在確定共同定位的塊的模式是運(yùn)動(dòng)矢量時(shí)，流程繼續(xù)步驟s623。

在步驟s623中，視圖內(nèi)參考矢量生成單元473設(shè)置共同定位的矢量作為預(yù)測(cè)矢量。在步驟s623的處理結(jié)束時(shí)，基于不同畫面的預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖59的流程圖。

另外，在步驟s622中確定共同定位的塊的模式是幀內(nèi)預(yù)測(cè)時(shí)，流程繼續(xù)步驟s624。

在步驟s624中，視圖間參考矢量生成單元472獲得全局視差矢量，并且設(shè)置通過全局視差矢量移位的基本視圖的塊的矢量作為預(yù)測(cè)矢量。在步驟s624的處理結(jié)束時(shí)，基于不同畫面的預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖59的流程圖。

另外，在步驟s622中確定共同定位的塊的模式是視差矢量時(shí)，流程繼續(xù)步驟s625。

在步驟s625中，視圖間參考矢量生成單元472設(shè)置通過共同定位的矢量移位的基本視圖的塊的矢量作為預(yù)測(cè)矢量。在步驟s625的處理結(jié)束時(shí)，基于不同畫面的預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖59的流程圖。

另外，在步驟s621中確定編碼矢量是視差矢量時(shí)，流程繼續(xù)圖61的流程圖。

在圖61的步驟s631中，視差矢量確定單元471確定共同定位的塊的模式。在確定共同定位的塊的模式是視差矢量時(shí)，流程繼續(xù)步驟s632。

在步驟s632中，視圖內(nèi)參考矢量生成單元473設(shè)置共同定位的矢量作為預(yù)測(cè)矢量。在步驟s632的處理結(jié)束時(shí)，基于不同畫面的預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖59的流程圖。

另外，在步驟s631中確定共同定位的塊的模式是運(yùn)動(dòng)矢量時(shí)，流程繼續(xù)步驟s634。在步驟s634中，視圖間參考矢量生成單元472設(shè)置全局視差矢量作為預(yù)測(cè)矢量。在步驟s634的處理結(jié)束時(shí)，基于不同畫面的預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖59的流程圖。

另外，在步驟s631中確定共同定位的塊的模式是幀內(nèi)預(yù)測(cè)時(shí)，流程繼續(xù)步驟s635。在步驟s635中，視圖間參考矢量生成單元472設(shè)置全局視差矢量作為預(yù)測(cè)矢量。在步驟s635的處理結(jié)束時(shí)，基于不同畫面的預(yù)測(cè)矢量生成處理結(jié)束，并且流程返回到圖59的流程圖。

通過以上述方式執(zhí)行相應(yīng)處理，這一情況的圖像編碼設(shè)備可以使用共同定位的塊和全局視差矢量來生成預(yù)測(cè)矢量。由于這一點(diǎn)，圖像編碼設(shè)備可以提高預(yù)測(cè)矢量的預(yù)測(cè)準(zhǔn)確度并且提高編碼效率。

[圖像解碼設(shè)備]

接著將描述與這一情況的圖像編碼設(shè)備對(duì)應(yīng)的圖像解碼設(shè)備。與圖像編碼設(shè)備的情況相似地，這一情況的圖像解碼設(shè)備的配置示例與圖45至48中所示圖像解碼設(shè)備50的配置示例相同，并且將不提供其描述。

[處理的流程]

接著將描述這一情況的圖像解碼設(shè)備執(zhí)行的各種處理的流程。在這一情況下，圖像解碼設(shè)備執(zhí)行與圖像編碼設(shè)備基本上相同的處理。也就是說，以與參照?qǐng)D49的流程圖描述的方式相同的方式執(zhí)行運(yùn)動(dòng)補(bǔ)償處理。另外，以與參照?qǐng)D50的流程圖描述的方式相同的方式執(zhí)行矢量解碼處理。

以與參照?qǐng)D59的流程圖描述的(也就是圖像編碼設(shè)備執(zhí)行的)方式相同的方式執(zhí)行預(yù)測(cè)矢量生成處理。

然而在這一情況下，選擇器551執(zhí)行步驟s601的處理。另外，在步驟s602中，基于鄰近塊的預(yù)測(cè)矢量生成單元552使用鄰近塊的解碼矢量作為預(yù)測(cè)矢量。另外，在步驟s603中，基于不同畫面的預(yù)測(cè)矢量生成單元553使用不同時(shí)間/視圖的塊的解碼矢量作為預(yù)測(cè)矢量。

另外，以與參照?qǐng)D60和61的流程圖描述的(也就是圖像編碼設(shè)備執(zhí)行的)方式相同的方式執(zhí)行基于不同畫面的預(yù)測(cè)矢量生成處理。

然而在這一情況下，視差矢量確定單元571執(zhí)行步驟s621、s622和s631的處理，視圖內(nèi)參考矢量生成單元573執(zhí)行步驟s623和s632的處理，并且視圖間參考矢量生成單元572執(zhí)行步驟s624、s625、s634和s635的處理。

通過以這一方式執(zhí)行相應(yīng)處理，這一情況的圖像解碼設(shè)備可以與圖像編碼設(shè)備相似地、使用共同定位的塊和全局視差矢量來生成預(yù)測(cè)矢量。由于這一點(diǎn)，圖像解碼設(shè)備可以提高預(yù)測(cè)矢量的預(yù)測(cè)準(zhǔn)確度并且提高編碼效率。

[6.第六實(shí)施例]

[參考圖像類型]

例如在hevc的情況下，參考圖像具有短參考畫面和長參考畫面這兩個(gè)類型。由于短參考畫面是在時(shí)間上在編碼畫面附近的畫面，所以對(duì)預(yù)測(cè)矢量執(zhí)行基于時(shí)間距離的縮放處理。對(duì)照而言，由于長參考畫面是在時(shí)間上距編碼畫面遠(yuǎn)離的畫面，所以對(duì)預(yù)測(cè)矢量的縮放無意義、因此未被執(zhí)行。

通過根據(jù)圖像的運(yùn)動(dòng)等適當(dāng)使用這些參考畫面，有可能進(jìn)一步降低編碼速率。

雖然編碼矢量和預(yù)測(cè)矢量的參考畫面的類型(短參考畫面或者長參考畫面)不同，但是設(shè)置預(yù)測(cè)矢量為可用。

在編碼矢量和預(yù)測(cè)矢量的參考畫面的類型不同時(shí)，預(yù)計(jì)這些矢量的相關(guān)性低。因此有可能的是：如果在矢量候選列表中包括矢量則編碼效率降低。例如有可能的是：具有更高相關(guān)性的矢量朝著候選列表的后部降級(jí)并且用于指明矢量的索引的編碼速率增加。另外，例如有可能的是：具有更高相關(guān)性的矢量朝著候選列表的后部降級(jí)、從候選列表被排除并且不能被指明。

因此，在編碼矢量和預(yù)測(cè)矢量的參考畫面的類型(短參考畫面或者長參考畫面)不同時(shí)，設(shè)置預(yù)測(cè)矢量為不可用。

由于參考短參考畫面的矢量的特性不同于參考長參考畫面的矢量的特性，所以預(yù)計(jì)相關(guān)性低。因此，通過在這一情況下從候選矢量排除數(shù)量，有可能提高編碼效率。

例如圖62是用于描述固定背景應(yīng)用的參考圖像的方面的示例的圖。在移動(dòng)物體存在于靜止圖像的背景圖像的前側(cè)上這樣的移動(dòng)圖像(固定背景應(yīng)用)的情況下，由于作為固定區(qū)域的背景(具體為遮擋區(qū)域)參考長參考畫面，所以運(yùn)動(dòng)矢量往往為0。對(duì)照而言，由于在前側(cè)上的移動(dòng)物體參考短參考畫面，所以運(yùn)動(dòng)矢量出現(xiàn)。如果參考畫面的類型以這一方式不同，則運(yùn)動(dòng)矢量的相關(guān)性低(圖64的a)。因此，如以上描述的那樣，在編碼矢量和預(yù)測(cè)矢量的參考畫面的類型不同時(shí)，通過從候選矢量排除矢量，有可能提高編碼效率。

另外，例如圖63是用于描述立體應(yīng)用的參考圖像的方面的示例的圖。在為立體視圖準(zhǔn)備用于左眼的圖像(左眼圖像)和用于右眼的圖像(右眼圖像)這樣的移動(dòng)圖像(立體應(yīng)用)的情況下，在對(duì)依賴視圖(在這一示例中為右眼圖像)編碼時(shí)，指明基本視圖(在這一示例中為左眼圖像)為長參考畫面，并且指明依賴視圖的編碼畫面為短參考畫面。

在參考依賴視圖時(shí)，可以執(zhí)行縮放，因?yàn)閰⒖寄康牡睾蛥⒖荚吹膸琲d不同。然而在參考基本視圖時(shí)，參考目的地和參考源的幀id相同。因此，在縮放期間，分母可能變成0并且縮放困難。因此，在hevc等中，指明基本視圖為其中未執(zhí)行縮放的長參考畫面。

因此，在立體應(yīng)用的情況下，參考長參考畫面的矢量變成視差矢量，并且參考短參考畫面的矢量變成運(yùn)動(dòng)矢量。因此，運(yùn)動(dòng)(視差)矢量的相關(guān)性在畫面類型之間低(圖64的b)。因此，如以上描述的那樣，在編碼矢量和預(yù)測(cè)矢量的參考畫面的類型不同時(shí)，通過從候選矢量排除矢量，可以提高編碼效率。

在以下描述中，處理目標(biāo)的塊(cu、pu等)稱為編碼塊(或者當(dāng)前塊)。另外，在時(shí)間上在編碼塊附近的塊(也就是說在時(shí)間上在其中存在編碼塊的畫面(當(dāng)前畫面)附近的畫面的共同定位的塊)稱為時(shí)間相關(guān)性塊。另外，在空間上在編碼塊附近的塊(也就是說，在當(dāng)前畫面中的與編碼塊相鄰的塊或者定位于編碼塊附近的塊)稱為鄰近塊。

圖65圖示鄰近塊的示例。在位置a0和a1的塊是編碼塊(當(dāng)前塊)的鄰近塊并且也稱為左塊。另外，在位置b0、b1和b2的塊是編碼塊(當(dāng)前塊)的鄰近塊并且也稱為上塊。

[運(yùn)動(dòng)(視差)矢量的處理的概述]

圖66是用于描述處理時(shí)間相關(guān)性塊和鄰近塊的示例的圖。在矢量預(yù)測(cè)中，如在圖66的a中所示表中那樣，確定是否將在候選矢量中包括時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量和是否將執(zhí)行縮放。

也就是說，例如在編碼塊的參考圖像的類型與時(shí)間相關(guān)性塊的參考圖像的類型相同時(shí)(也就是說，在兩個(gè)參考圖像是短參考圖像或者長參考圖像時(shí))，時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量用作候選。在兩個(gè)參考圖像的類型不相同時(shí)，從候選排除矢量。另外，在編碼塊的參考圖像和時(shí)間相關(guān)性塊的參考圖像二者是短參考圖像時(shí)，執(zhí)行時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放。在兩個(gè)參考圖像是長參考圖像時(shí)，未執(zhí)行時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放。

另外，在矢量預(yù)測(cè)中，如在圖66的b中所示表中那樣，確定是否將在候選矢量中包括鄰近塊的運(yùn)動(dòng)(視差)矢量和是否將執(zhí)行縮放。也就是說，這與時(shí)間相關(guān)性塊的情況相同。

也就是說，例如在編碼塊的參考圖像的類型與鄰近塊的參考圖像的類型相同時(shí)(也就是說，在兩個(gè)參考圖像是短參考圖像或者長參考圖像時(shí))，鄰近塊的運(yùn)動(dòng)(視差)矢量用作候選。在兩個(gè)參考圖像的類型不相同時(shí)，從候選排除矢量。另外，在編碼塊的參考圖像和鄰近塊的參考圖像是短參考圖像時(shí)，執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。在兩個(gè)參考圖像是長參考圖像時(shí)，未執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。

[在編碼期間的處理的流程]

以下將描述在用于實(shí)現(xiàn)這樣的控制的編碼期間的處理的流程的示例。這樣的控制可以由在第三實(shí)施例中描述的圖像編碼設(shè)備400(圖37)實(shí)現(xiàn)。

以與參照?qǐng)D20的流程圖描述的方式(第一實(shí)施例)相同的方式執(zhí)行圖像編碼設(shè)備400的編碼處理。

將參照?qǐng)D67的流程圖描述作為與在圖20的步驟s104中執(zhí)行的幀間運(yùn)動(dòng)預(yù)測(cè)處理對(duì)應(yīng)的處理、而由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元415執(zhí)行的pu運(yùn)動(dòng)(視差)矢量和參考索引生成處理的流程的示例。

在步驟s701中，幀間模式生成單元431(圖38)生成幀間模式。在步驟s702中，幀間模式生成單元431確定幀間模式是否為合并(略過)模式。

在確定幀間模式是合并(略過)模式時(shí)，流程繼續(xù)步驟s703。在步驟s703中，參考索引確定單元432和矢量預(yù)測(cè)單元434執(zhí)行合并(略過)模式的處理，以生成運(yùn)動(dòng)(視差)矢量和參考矢量。在步驟s703的處理結(jié)束時(shí)，流程繼續(xù)步驟s707。

另外，在步驟s702中確定幀間模式不是合并(略過)模式時(shí)，處理繼續(xù)步驟s704。在步驟s704中，矢量預(yù)測(cè)單元433獲取殘差運(yùn)動(dòng)(視差)矢量和參考索引。在步驟s705中，矢量預(yù)測(cè)單元433執(zhí)行amvp模式的處理以生成預(yù)測(cè)運(yùn)動(dòng)(視差)矢量。在步驟s706中，模式確定單元435將殘差運(yùn)動(dòng)(視差)矢量與預(yù)測(cè)運(yùn)動(dòng)(視差)矢量相加。

在步驟s707中，模式確定單元435在處理所有模式之前返回到步驟s701，并且在已經(jīng)處理所有模式時(shí)確定最優(yōu)模式。

在步驟s708中，無損編碼單元106對(duì)選擇的信息編碼。在步驟s708的處理結(jié)束時(shí)，流程返回到圖20的流程圖。

接著將參照?qǐng)D68的流程圖描述在圖67的步驟s703中執(zhí)行的合并(略過)模式處理的流程圖的示例。

在處理開始時(shí)，在步驟s711中，參考索引確定單元432根據(jù)空間鄰近塊創(chuàng)建候選模式(視差)矢量和參考索引。

在步驟s712中，參考索引確定單元432生成用于時(shí)間相關(guān)性塊的參考索引。

在步驟s713中，矢量預(yù)測(cè)單元434根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(dòng)(視差)矢量。

在步驟s714中，矢量預(yù)測(cè)單元434生成運(yùn)動(dòng)(視差)矢量和參考索引的候選列表。這一列表的元素?cái)?shù)目稱為y。

在步驟s715中，矢量預(yù)測(cè)單元434設(shè)置候選列表的最大數(shù)目x。

在步驟s716中，矢量預(yù)測(cè)單元434確定列表的元素?cái)?shù)目y是否小于候選列表的最大數(shù)目x(y<x)。在確定列表的元素?cái)?shù)目y小于候選列表的最大數(shù)目(x)(y<x)時(shí)，流程繼續(xù)步驟s717。

在步驟s717中，矢量預(yù)測(cè)單元434組合候選列表的相應(yīng)元素以生成新運(yùn)動(dòng)(視差)矢量和新參考索引。

在步驟s718中，矢量預(yù)測(cè)單元434更新候選列表。列表的元素?cái)?shù)目在這一情況下稱為y’。

在步驟s719中，矢量預(yù)測(cè)單元434確定列表的元素?cái)?shù)目y’是否小于候選列表的最大數(shù)目x(y’<x)。在確定列表的元素?cái)?shù)目y’小于候選列表的最大數(shù)目x(y’<x)時(shí)，流程繼續(xù)步驟s720。

在步驟s720中，矢量預(yù)測(cè)單元434生成新零運(yùn)動(dòng)(視差)矢量和新零參考索引。在步驟s720的處理結(jié)束時(shí)，流程繼續(xù)步驟s721。

另外，在步驟s716中確定列表的元素?cái)?shù)目y大于候選列表的最大數(shù)目x(并非y<x)時(shí)，流程繼續(xù)步驟s721。另外，在步驟s719中確定列表的元素?cái)?shù)目y’大于候選列表的最大數(shù)目x(并非y’<x)時(shí)，流程繼續(xù)步驟s721。

在步驟s721中，矢量預(yù)測(cè)單元434生成候選列表的元素索引。

在步驟s722中，矢量預(yù)測(cè)單元434獲取元素索引指示的運(yùn)動(dòng)(視差)矢量和參考索引。在步驟s722的處理結(jié)束時(shí)，流程返回到圖67的流程圖。

接著將參照?qǐng)D69的流程圖描述在圖68的步驟s713中執(zhí)行的、根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。

在處理開始時(shí)，在步驟s731中，矢量預(yù)測(cè)單元434生成指明時(shí)間相關(guān)性畫面的索引。

在步驟s732中，矢量預(yù)測(cè)單元434確定時(shí)間相關(guān)性畫面。

在步驟s733中，矢量預(yù)測(cè)單元434選擇在時(shí)間相關(guān)性畫面中存在的編碼pu(編碼塊)的右下塊。

在步驟s734中，矢量預(yù)測(cè)單元434確定右下塊是否為幀內(nèi)模式或者不可用。在確定右下塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s735。

在步驟s735中，矢量預(yù)測(cè)單元434選擇在時(shí)間相關(guān)性畫面中存在的編碼pu的中心塊。

在步驟s736中，矢量預(yù)測(cè)單元434確定中心塊是否為幀內(nèi)模式或者不可用。在確定中心塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s737。

在步驟s737中，矢量預(yù)測(cè)單元434從候選排除時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量。在步驟s737的處理結(jié)束時(shí)，流程返回到圖68的流程圖。

另外，在步驟s734中確定右下塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s738。相似地，在確定中心塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s738。

在步驟s738中，矢量預(yù)測(cè)單元434確定時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量和參考索引。

在步驟s739中，矢量預(yù)測(cè)單元434確定存在用于時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。

在步驟s740中，矢量預(yù)測(cè)單元434基于步驟s739的確定結(jié)果，確定是否將從候選排除時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量。

在確定將從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程返回到步驟s737。另外，在步驟s740中確定將不從候選排除(將在候選中包括)運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s741。

在步驟s741中，矢量預(yù)測(cè)單元434基于步驟s739的確定結(jié)果，確定縮放對(duì)于時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量是否為必需。

在確定縮放為必需時(shí)，流程繼續(xù)步驟s742。在步驟s742中，矢量預(yù)測(cè)單元434對(duì)于時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量執(zhí)行縮放處理。在步驟s742的處理結(jié)束時(shí)，流程返回到圖68的流程圖。

另外，在步驟s741中確定縮放不是必需時(shí)，流程返回到圖68的流程圖。

接著將參照?qǐng)D70的流程圖描述在圖69的步驟s739中執(zhí)行的處理的流程的示例，該處理確定存在用于時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。

在處理開始時(shí)，在步驟s751中，矢量預(yù)測(cè)單元434確定編碼塊的參考圖像是短參考圖像或者長參考圖像。

在步驟s752中，矢量預(yù)測(cè)單元434確定時(shí)間相關(guān)性塊的參考圖像是短參考圖像或者長參考圖像。

在步驟s753中，矢量預(yù)測(cè)單元434基于步驟s751的確定結(jié)果，確定編碼塊的參考圖像是否為長參考圖像。

在確定編碼塊的參考圖像是長參考圖像時(shí)，流程繼續(xù)步驟s754。在步驟s754中，矢量預(yù)測(cè)單元434基于步驟s752的確定結(jié)果，確定時(shí)間相關(guān)性塊的參考圖像是否為長參考圖像。

在確定時(shí)間相關(guān)性塊的參考圖像是長參考圖像時(shí)，流程繼續(xù)步驟s755。在這一情況下，編碼塊和時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量是長參考圖像。因此，在步驟s755中，矢量預(yù)測(cè)單元434向候選中包括時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量，并且設(shè)置縮放為不是必需。在步驟s755的處理結(jié)束時(shí)，流程返回到圖69的流程圖。

另外，在圖70的步驟s754中確定時(shí)間相關(guān)性塊的參考圖像是短參考圖像時(shí)，流程繼續(xù)步驟s756。在這一情況下，編碼塊和時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的類型不相同。因此，在步驟s756中，矢量預(yù)測(cè)單元434設(shè)置從候選排除時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量。在步驟s756的處理結(jié)束時(shí)，流程返回到圖69的流程圖。

另外，在圖70的步驟s753中確定編碼塊的參考圖像是短參考圖像時(shí)，流程繼續(xù)步驟s757。在步驟s757中，矢量預(yù)測(cè)單元434基于步驟s752的確定結(jié)果，確定時(shí)間相關(guān)性塊的參考圖像是否為長參考圖像。

在確定時(shí)間相關(guān)性塊的參考圖像是長參考圖像時(shí)，流程返回到步驟s756。也就是說，在這一情況下，在編碼塊和時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的類型不相同時(shí)，設(shè)置從候選排除時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量。

另外，在步驟s757中確定時(shí)間相關(guān)性塊的參考圖像是短參考圖像時(shí)，流程繼續(xù)步驟s758。在這一情況下，編碼塊和時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量是短參考圖像。因此，在步驟s758中，矢量預(yù)測(cè)單元434向候選中包括時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量，并且設(shè)置縮放為必需。在步驟s758的處理結(jié)束時(shí)，流程返回到圖69的流程圖。

接著將參照?qǐng)D71的流程圖描述在圖67的步驟s705中執(zhí)行的amvp模式處理的流程的示例。

在處理開始時(shí)，在步驟s761中，矢量預(yù)測(cè)單元433(圖38)根據(jù)空間鄰近塊生成候選運(yùn)動(dòng)(視差)矢量。

在步驟s762中，矢量預(yù)測(cè)單元433生成運(yùn)動(dòng)(視差)矢量的候選列表。這一候選列表的元素?cái)?shù)目稱為a。

在步驟s763中，矢量預(yù)測(cè)單元433確定候選列表的元素?cái)?shù)目a是否小于2(a<2)。

在確定候選列表的元素?cái)?shù)目a小于2(a<2)時(shí)，流程繼續(xù)步驟s764。在步驟s764中，矢量預(yù)測(cè)單元433根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(dòng)(視差)矢量。這一處理與參照?qǐng)D69的流程圖描述的處理相同，并且將不提供其描述。

在步驟s765中，矢量預(yù)測(cè)單元433生成運(yùn)動(dòng)(視差)矢量和參考索引的候選列表。這一候選列表的元素?cái)?shù)目稱為a’。

在步驟s766中，矢量預(yù)測(cè)單元433確定候選列表的元素?cái)?shù)目a’是否小于2(a’<2)。

在確定候選列表的元素?cái)?shù)目a’小于2(a’<2)時(shí)，流程繼續(xù)步驟s767。在步驟s767中，矢量預(yù)測(cè)單元433生成新的零運(yùn)動(dòng)(視差)矢量和新的零參考索引。在步驟s767的處理結(jié)束時(shí)，流程繼續(xù)步驟s768。

另外，在步驟s763中確定候選列表的元素?cái)?shù)目a大于2(不是a<2)時(shí)，流程繼續(xù)步驟s768。另外，在步驟s766中確定候選列表的元素?cái)?shù)目a’大于2(不是a<2)時(shí)，流程繼續(xù)步驟s768。

在步驟s768中，矢量預(yù)測(cè)單元433生成候選列表的元素索引(標(biāo)志)。

在步驟s769中，矢量預(yù)測(cè)單元433獲取元素索引指示的運(yùn)動(dòng)(視差)矢量。在步驟s769的處理結(jié)束時(shí)，流程返回到圖67的流程圖。

接著將參照?qǐng)D72的流程圖描述在圖71的步驟s761中執(zhí)行的、根據(jù)空間相鄰塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。

在處理開始時(shí)，矢量預(yù)測(cè)單元433在步驟s771中、根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量。

在步驟s772中，矢量預(yù)測(cè)單元433根據(jù)上塊生成候選運(yùn)動(dòng)(視差)矢量。

在步驟s722的處理結(jié)束時(shí)，流程返回到圖71的流程圖。

接著將參照?qǐng)D73和74的流程圖描述在圖72的步驟s711中執(zhí)行的、根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。

在處理開始時(shí)，矢量預(yù)測(cè)單元433在步驟s781中、選擇在位置a0的塊。

在步驟s782中，矢量預(yù)測(cè)單元433確定在位置a0的塊是否為幀內(nèi)模式或者不可用。

在確定在位置a0的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s783。在步驟s783中，矢量預(yù)測(cè)單元433確定在位置a0的塊是否參考與編碼塊相同的參考圖像。

在確定在位置a0的塊參考與編碼塊相同的參考圖像時(shí)，流程繼續(xù)步驟s784。在步驟s784中，矢量預(yù)測(cè)單元433使用在位置a0的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s784的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖73的步驟s782中確定在位置a0的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s785。另外，在步驟s783中確定在位置a0的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)步驟s785。

在步驟s785中，矢量預(yù)測(cè)單元433選擇在位置a1的塊。

在步驟s786中，矢量預(yù)測(cè)單元433確定在位置a1的塊是否為幀內(nèi)模式或者不可用。

在確定在位置a1的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s787。在步驟s787中，矢量預(yù)測(cè)單元433確定在位置a1的塊是否參考與編碼塊相同的參考圖像。

在確定在位置a1的塊參考與編碼塊相同的參考圖像時(shí)，流程繼續(xù)步驟s788。在步驟s788中，矢量預(yù)測(cè)單元433使用在位置a1的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s788的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖73的步驟s786中確定在位置a1的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)圖74的步驟s791。另外，在圖73的步驟s787中確定在位置a1的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)圖74的步驟s791。

在圖74的步驟s791中，矢量預(yù)測(cè)單元433選擇在位置a0的塊。

在步驟s792中，矢量預(yù)測(cè)單元433確定在位置a0的塊是否為幀內(nèi)模式或者不可用。

在確定在位置a0的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s793。在步驟s793中，矢量預(yù)測(cè)單元433使用在位置a0的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s793的處理結(jié)束時(shí)，流程繼續(xù)步驟s797。

另外，在圖7的步驟s792中確定在位置a0的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s794。

在步驟s794中，矢量預(yù)測(cè)單元433選擇在位置a1的塊。

在步驟s795中，矢量預(yù)測(cè)單元433確定在位置a1的塊是否為幀內(nèi)模式或者不可用。

在確定在位置a0的塊是幀內(nèi)模式或者不可用時(shí)，流程返回到圖72的流程圖。

另外，在圖74的步驟s795中確定在位置a1的塊不是幀內(nèi)模式或者不可用時(shí)，流程返回到步驟s796。在步驟s796中，矢量預(yù)測(cè)單元433使用在位置a1的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s796的處理結(jié)束時(shí)，流程繼續(xù)步驟s797。

在步驟s797中，矢量預(yù)測(cè)單元433確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。

在步驟s798中，矢量預(yù)測(cè)單元433基于步驟s797的確定結(jié)果，確定是否將從候選排除鄰近塊的運(yùn)動(dòng)(視差)矢量。

在確定將從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s799。在步驟s799中，矢量預(yù)測(cè)單元433從候選去除左塊的運(yùn)動(dòng)(視差)矢量。在步驟s799的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖74的步驟s798中確定將不從候選排除(將在候選中包括)運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s800。

在步驟s800中，矢量預(yù)測(cè)單元433基于步驟s797的確定結(jié)果，確定縮放對(duì)于鄰近塊的運(yùn)動(dòng)(視差)矢量是否為必需。

在確定縮放為必需時(shí)，流程繼續(xù)步驟s801。在步驟s801中，矢量預(yù)測(cè)單元433對(duì)于鄰近塊的運(yùn)動(dòng)(視差)矢量執(zhí)行縮放處理。在步驟s801的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖74的步驟s800中確定縮放不是必需時(shí)，流程返回到圖72的流程圖。

接著將參照?qǐng)D75的流程圖描述在圖74的步驟s797中執(zhí)行的處理的流程圖的示例，該處理確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。

在處理開始時(shí)，在步驟s811中，矢量預(yù)測(cè)單元433確定編碼塊的參考圖像是短參考圖像或者長參考圖像。

在步驟s812中，矢量預(yù)測(cè)單元433確定鄰近塊的參考圖像是短參考圖像或者長參考圖像。

在步驟s813中，矢量預(yù)測(cè)單元433基于步驟s811的確定結(jié)果，確定編碼塊的參考圖像是否為長參考圖像。

在確定編碼塊的參考圖像是長參考圖像時(shí)，流程繼續(xù)步驟s814。在步驟s814中，矢量單元433基于步驟s812的確定結(jié)果，確定鄰近塊的參考圖像是否為長參考圖像。

在確定鄰近塊的參考圖像是長參考圖像時(shí)，流程繼續(xù)步驟s815。在這一情況下，編碼塊和鄰近塊的運(yùn)動(dòng)(視差)矢量是長參考圖像。因此，在步驟s815中，矢量預(yù)測(cè)單元433向候選中包括鄰近塊的運(yùn)動(dòng)(視差)矢量并且設(shè)置縮放為非必需。在步驟s815的處理結(jié)束時(shí)，流程返回到圖74的流程圖。

另外，在圖75的步驟s814中確定鄰近塊的參考圖像是短參考圖像時(shí)，流程繼續(xù)步驟s816。在這一情況下，編碼塊和鄰近塊的運(yùn)動(dòng)(視差)矢量的類型不相同。因此，在步驟s816中，矢量預(yù)測(cè)單元433設(shè)置從候選排除鄰近塊的運(yùn)動(dòng)(視差)矢量。在步驟s816的處理結(jié)束時(shí)，流程返回到圖74的流程圖。

另外，在圖75的步驟s813中確定編碼塊的參考圖像是短參考圖像時(shí)，流程繼續(xù)步驟s817。在步驟s817中，矢量預(yù)測(cè)單元433基于步驟s812的確定結(jié)果，確定鄰近塊的參考圖像是否為長參考圖像。

在確定鄰近塊的參考圖像是長參考圖像時(shí)，流程返回到步驟s816。也就是說，在這一情況下，由于編碼塊和鄰近塊的運(yùn)動(dòng)(視差)矢量的類型不相同時(shí)，因此設(shè)置從候選排除鄰近塊的運(yùn)動(dòng)(視差)矢量。

另外，在步驟s817中確定鄰近塊的參考圖像是短參考圖像時(shí)，流程繼續(xù)步驟s818。在這一情況下，編碼塊和鄰近塊的運(yùn)動(dòng)(視差)矢量是短參考圖像。因此，在步驟s818中，矢量預(yù)測(cè)單元433向候選中包括鄰近塊的運(yùn)動(dòng)(視差)矢量并且設(shè)置縮放為必需。在步驟s818的處理結(jié)束時(shí)，流程返回到圖74的流程圖。

接著將參照?qǐng)D76和77的流程圖描述在圖72的步驟s772中執(zhí)行的、根據(jù)上塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。

在處理開始時(shí)，矢量預(yù)測(cè)單元433在步驟s821中選擇在位置b0的塊。

在步驟s822中，矢量預(yù)測(cè)單元433確定在位置b0的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b0的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s823。在步驟s823中，矢量預(yù)測(cè)單元433確定在位置b0的塊是否參考與編碼塊相同的參考圖像。

在確定在位置b0的塊參考與編碼塊相同的參考圖像時(shí)，流程繼續(xù)步驟s824。在步驟s824中，矢量預(yù)測(cè)單元433使用在位置b0的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s824的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖76的步驟s822中確定在位置b0的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s825。另外，在步驟s823中確定在位置b0的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)步驟s825。

在步驟s825中，矢量預(yù)測(cè)單元433選擇在位置b1的塊。

在步驟s826中，矢量預(yù)測(cè)單元433確定在位置b1的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b1的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s827。在步驟s827中，矢量預(yù)測(cè)單元433確定在位置b1的塊是否參考與編碼塊相同的參考圖像。

在確定在位置b1的塊參考與編碼塊相同的參考圖像時(shí)，流程繼續(xù)步驟s828。在步驟s828中，矢量預(yù)測(cè)單元433使用在位置b1的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s828的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖76的步驟s826確定在位置b1的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s829。另外，在步驟s827中確定在位置b1的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)步驟s829。

在步驟s829中，矢量預(yù)測(cè)單元433選擇在位置b2的塊。

在步驟s830中，矢量預(yù)測(cè)單元433確定在位置b2的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b2的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s831。在步驟s831中，矢量預(yù)測(cè)單元433確定在位置b2的塊是否參考與編碼塊相同的參考圖像。

在確定在位置b2的塊參考與編碼塊相同的參考圖像時(shí)，流程繼續(xù)步驟s832。在步驟s832中，矢量預(yù)測(cè)單元433使用在位置b2的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s832的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖76的步驟s830中確定在位置b2的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)圖77的步驟s841。另外，在圖76的步驟s831中確定在位置b2的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)圖77的步驟s841。

在圖77的步驟s841中，矢量預(yù)測(cè)單元433確定是否根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量。

在步驟s842中，矢量預(yù)測(cè)單元433選擇在位置b0的塊。

在步驟s843中，矢量預(yù)測(cè)單元433確定在位置b0的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b0的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s844。在步驟s844中，矢量預(yù)測(cè)單元433使用在位置b0的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s844的處理結(jié)束時(shí)，流程繼續(xù)步驟s851。

另外，在步驟s843中確定在位置b0的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s845。

在步驟s845中，矢量預(yù)測(cè)單元433選擇在位置b1的塊。

在步驟s846中，矢量預(yù)測(cè)單元433確定在位置b1的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b1的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s847。在步驟s847中，矢量預(yù)測(cè)單元433使用在位置b1的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s847的處理結(jié)束時(shí)，流程繼續(xù)步驟s851。

另外，在步驟s846中確定在位置b1的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s848。

在步驟s848中，矢量預(yù)測(cè)單元433選擇在位置b2的塊。

在步驟s849中，矢量預(yù)測(cè)單元433確定在位置b2的塊是否為幀內(nèi)模式或者不可用。

在步驟s849中確定在位置b2的塊是幀內(nèi)模式或者不可用時(shí)，流程返回到圖72的流程圖。

另外，在確定在位置b2的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s850。在步驟s850中，矢量預(yù)測(cè)單元433使用在位置b2的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s850的處理結(jié)束時(shí)，流程繼續(xù)步驟s851。

在步驟s851中，矢量預(yù)測(cè)單元433確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選。由于以與參照?qǐng)D75的流程圖描述的方式相同的方式執(zhí)行這一處理，所以將不提供其描述。在這一情況下，在圖75的流程圖的處理結(jié)束時(shí)，流程返回到圖77的流程圖而不是圖74的流程圖。

在步驟s852中，矢量預(yù)測(cè)單元433基于步驟s851的確定結(jié)果，確定是否將從候選排除鄰近塊的運(yùn)動(dòng)(視差)矢量。

在確定將從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s853。在步驟s853中，矢量預(yù)測(cè)單元433從候選排除上塊的運(yùn)動(dòng)(視差)矢量。在步驟s853的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖77的步驟s852中確定將不從候選排除(將在候選中包括)運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s854。

在步驟s854中，矢量預(yù)測(cè)單元433基于步驟s851的確定結(jié)果，確定縮放對(duì)于鄰近塊的運(yùn)動(dòng)(視差)矢量是否為必需。

在確定縮放為必需時(shí)，流程繼續(xù)步驟s855。在步驟s855中，矢量預(yù)測(cè)單元433對(duì)于鄰近塊的運(yùn)動(dòng)(視差)矢量執(zhí)行縮放處理。在步驟s855的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖77的步驟s854中確定縮放不是必需時(shí)，流程返回到圖72的流程圖。

通過以上述方式執(zhí)行相應(yīng)處理，圖像編碼設(shè)備400可以抑制編碼效率降低。

[在解碼期間的處理的流程]

為了對(duì)以上述方式通過編碼而獲得的編碼數(shù)據(jù)正確解碼，可以在解碼側(cè)上執(zhí)行與編碼側(cè)相同的方法的預(yù)測(cè)。也就是說，在解碼側(cè)上，在編碼矢量和預(yù)測(cè)矢量的參考畫面的類型(短參考畫面或者長參考畫面)不同時(shí)，設(shè)置預(yù)測(cè)矢量不可用。

也就是說，例如在編碼塊的參考圖像的類型與時(shí)間相關(guān)性塊的參考圖像的類型相同時(shí)(也就是說，在兩個(gè)參考圖像是短參考圖像或者長參考圖像時(shí))，時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量用作候選。在兩個(gè)參考圖像的類型不相同時(shí)，從候選排除矢量。另外，在編碼塊的參考圖像和時(shí)間相關(guān)性塊的參考圖像二者是短參考圖像時(shí)，執(zhí)行時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放。在兩個(gè)參考圖像是長參考圖像時(shí)，未執(zhí)行時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放。

另外，例如在編碼塊的參考圖像的類型與鄰近塊的參考圖像的類型相同時(shí)(也就是說，在兩個(gè)參考圖像是短參考圖像或者長參考圖像時(shí))，鄰近塊的運(yùn)動(dòng)(視差)矢量用作候選。在兩個(gè)參考圖像的類型不相同時(shí)，從候選排除矢量。另外，在編碼塊的參考圖像和鄰近塊的參考圖像是短參考圖像時(shí)，執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。在兩個(gè)參考圖像是長參考圖像時(shí)，未執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。

通過這樣做，有可能抑制解碼效率降低。

以下將描述在用于實(shí)現(xiàn)這樣的控制的編碼期間的處理的流程的示例。這樣的控制可以由在第四實(shí)施例中描述的圖像解碼設(shè)備500(圖47)實(shí)現(xiàn)。

以與參照?qǐng)D33的流程圖描述的方式(第二實(shí)施例)相同的方式執(zhí)行圖像解碼設(shè)備500的解碼處理。另外，以與參照?qǐng)D34的流程圖描述的方式相同的方式執(zhí)行圖33的步驟s305的預(yù)測(cè)處理。

將參照?qǐng)D78描述作為與在圖34的步驟s334中執(zhí)行的運(yùn)動(dòng)視差補(bǔ)償處理對(duì)應(yīng)的處理的、由運(yùn)動(dòng)補(bǔ)償單元512執(zhí)行的pu運(yùn)動(dòng)(視差)矢量和參考索引生成處理的流程的示例。

以與在編碼側(cè)上的處理(圖67)的方式基本上相同的方式執(zhí)行這一處理。然而由于在編碼側(cè)上確定預(yù)測(cè)模式，所以在解碼側(cè)上的設(shè)備可以執(zhí)行僅所用預(yù)測(cè)模式的處理。

在處理開始時(shí)，在步驟s861中，無損解碼單元302對(duì)從編碼側(cè)供應(yīng)的預(yù)測(cè)模式解碼。

在步驟s862中，模式確定單元531確定預(yù)測(cè)模式是否為合并(略過)模式。

在確定預(yù)測(cè)模式是合并(略過)模式時(shí)，流程繼續(xù)步驟s863。在步驟s863中，參考索引確定單元532和矢量解碼單元534執(zhí)行合并(略過)模式的處理，以生成運(yùn)動(dòng)(視差)矢量和參考索引。在步驟s863的處理結(jié)束時(shí)，流程返回到圖34的流程圖。

另外，在圖78的步驟s862中確定預(yù)測(cè)模式不是合并(略過)模式時(shí)，流程繼續(xù)步驟s863。在步驟s864中，矢量解碼單元533獲取殘差運(yùn)動(dòng)(視差)矢量和參考索引。在步驟s865中，矢量解碼單元533執(zhí)行amvp模式的處理，以生成預(yù)測(cè)模式(視差)矢量。在步驟s866中，矢量解碼單元533將殘差運(yùn)動(dòng)(視差)矢量與預(yù)測(cè)運(yùn)動(dòng)(視差)矢量相加。在步驟s866的處理結(jié)束時(shí)，流程返回到圖34的流程圖。

接著將參照?qǐng)D79的流程圖描述在圖78的步驟s863中執(zhí)行的合并(略過)模式處理的流程的示例。以與在編碼側(cè)上的處理(圖68)基本上相同的方式執(zhí)行這一處理。

以與圖68的步驟s711至s714的相應(yīng)處理相同的方式執(zhí)行步驟s871至s874的相應(yīng)處理。然而步驟s871和s872的處理由參考索引確定單元532執(zhí)行，并且步驟s873和s874的處理由矢量解碼單元534執(zhí)行。

在步驟s875中，矢量解碼單元534對(duì)候選列表的最大值x解碼。

以與圖68的步驟s716至s720的處理相同的方式執(zhí)行步驟s876至s880的處理。然而這些處理由矢量解碼單元534執(zhí)行。

在步驟s881中，矢量解碼單元534對(duì)候選列表的元素索引解碼。在步驟s882中，矢量解碼單元534獲取元素索引指示的運(yùn)動(dòng)(視差)矢量和參考索引。在步驟s822的處理結(jié)束時(shí)，流程返回到圖78的流程圖。

接著將參照?qǐng)D80的流程圖描述在圖79的步驟s873中執(zhí)行的、根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。以與在編碼側(cè)上的處理(圖69)基本上相同的方式執(zhí)行這一處理。

在處理開始時(shí)，矢量解碼單元534在步驟s891中對(duì)指示時(shí)間相關(guān)性畫面的索引解碼。

以與圖69的步驟s732至s742的處理相同的方式執(zhí)行步驟s892至s902的處理。然而這些處理由矢量解碼單元534執(zhí)行。

以與參照?qǐng)D70的流程圖描述的方式相同的方式執(zhí)行在圖80的步驟s899中執(zhí)行的處理，該處理確定存在用于時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量的縮放處理和存在候選，并且將不提供其描述。然而在這一情況下，處理由矢量解碼單元534執(zhí)行，并且在圖70的流程圖的處理結(jié)束時(shí)，流程返回到圖80的流程圖。

接著將參照?qǐng)D81的流程圖描述在圖78的步驟s865中執(zhí)行的amvp模式處理的流程的示例。以與在解碼側(cè)上的處理(圖71)基本上相同的方式執(zhí)行這一處理。以與圖71的步驟s761至s767的處理相同的方式執(zhí)行步驟s911至s917的處理。然而這些處理由矢量解碼單元533執(zhí)行。

在步驟s918中，矢量解碼單元533對(duì)候選列表的元素索引(標(biāo)志)解碼。在步驟s919中，矢量解碼單元533獲取元素索引指示的運(yùn)動(dòng)(視差)矢量。在步驟s919的處理結(jié)束時(shí)，流程返回到圖78的流程圖。

以與參照?qǐng)D72至77的流程圖描述的方式相同的方式執(zhí)行在圖81的步驟s911中執(zhí)行的、根據(jù)空間鄰近塊生成候選運(yùn)動(dòng)(視差)矢量的處理，并且將不提供其描述。然而在這一情況下，處理由矢量解碼單元533執(zhí)行，并且在圖72的流程圖的處理結(jié)束時(shí)，流程返回到圖81的處理。

另外，以與參照?qǐng)D80的流程圖描述的方式相同的方式執(zhí)行在圖81的步驟s914中執(zhí)行的、根據(jù)時(shí)間相關(guān)性塊生成候選運(yùn)動(dòng)(視差)矢量的處理，并且將不提供其描述。然而在這一情況下，處理由矢量解碼單元533執(zhí)行，并且在圖80的流程圖的處理結(jié)束時(shí)，流程返回到圖81的流程圖。

通過以上述方式執(zhí)行處理，圖像解碼設(shè)備500可以對(duì)編碼數(shù)據(jù)正確解碼并且抑制編碼效率降低。

[運(yùn)動(dòng)(視差)矢量的處理的概述]

在以上示例中，在amvp模式中根據(jù)鄰近塊生成運(yùn)動(dòng)(視差)矢量時(shí)，例如對(duì)于左鄰近塊按照位置a0和a1的順序檢索運(yùn)動(dòng)(視差)矢量，并且處理在發(fā)現(xiàn)運(yùn)動(dòng)(視差)矢量時(shí)結(jié)束。相似地，例如對(duì)于上鄰近塊按照位置b0、b1和b2的順序檢索運(yùn)動(dòng)(視差)矢量，并且處理在發(fā)現(xiàn)運(yùn)動(dòng)(視差)矢量時(shí)結(jié)束。例如在這一情況下，由于可以在此后確定運(yùn)動(dòng)(視差)矢量是否可以用作候選，所以即使在某個(gè)位置發(fā)現(xiàn)的運(yùn)動(dòng)(視差)矢量不能用作候選，仍然未執(zhí)行檢索在后續(xù)位置的運(yùn)動(dòng)(視差)矢量。

用于根據(jù)鄰近塊生成運(yùn)動(dòng)(視差)矢量的方法不限于此。例如可以確定在所有位置a0和a1或者位置b0、b1和b2的運(yùn)動(dòng)(視差)矢量是否不能用作候選。也就是說，對(duì)于在相應(yīng)位置的鄰近塊確定存在候選，并且在結(jié)束時(shí)共同地確定存在縮放處理。

通過這樣做，有可能確定是否將在候選中包括在相應(yīng)位置的運(yùn)動(dòng)(視差)矢量，但是處理變得比以上描述的示例更復(fù)雜。也就是說，有可能檢索更適當(dāng)候選并且進(jìn)一步提高編碼效率。

圖82是用于描述處理鄰近塊的示例的圖。在矢量預(yù)測(cè)中，首先如在圖82的a中所示表中那樣確定是否將在候選矢量中包括在每個(gè)位置的鄰近塊的運(yùn)動(dòng)(視差)矢量。

也就是說，例如在編碼塊的參考圖像和鄰近塊的參考圖像的類型相同時(shí)(也就是說，在兩個(gè)參考圖像是短參考圖像或者長參考圖像時(shí))，時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量用作候選。在兩個(gè)參考圖像的類型不相同時(shí)，從候選排除矢量。

在選擇候選之后，如在圖82的b中所示表中那樣確定是否將對(duì)候選矢量執(zhí)行縮放。

也就是說，例如在編碼塊的參考圖像和鄰近塊的參考圖像二者是短參考圖像時(shí)，執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。在其它情況下，未執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。

[在編碼處理期間的處理的流程]

將參照?qǐng)D83和84的流程圖描述這一情況的、根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。由于以與這一情況的處理相同的方式執(zhí)行參照?qǐng)D67至72的流程圖描述的處理，所以將不提供這些處理的描述。

以與圖73的步驟s781至788的處理相同的方式執(zhí)行圖83的步驟s921至s928的處理。在步驟s924或者s928的處理結(jié)束時(shí)，根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理結(jié)束，并且流程返回到圖72的流程圖。另外，在步驟s926中確定在位置a1的塊是幀內(nèi)模式或者不可用時(shí)，或者在步驟s927中確定在位置a1的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)圖84的步驟s931。

在圖84的步驟s931中，矢量預(yù)測(cè)單元433選擇在位置a0的塊。

在步驟s932中，矢量預(yù)測(cè)單元433確定在位置a0的塊是否是幀內(nèi)模式或者不可用。

在確定在位置a0的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s933。在步驟s933中，矢量預(yù)測(cè)單元433確定存在在位置a0的塊的候選運(yùn)動(dòng)(視差)矢量。

在步驟s934中，矢量預(yù)測(cè)單元433基于步驟s933的確定結(jié)果，確定是否將包括候選。

在確定將包括候選時(shí)，流程繼續(xù)步驟s935。在步驟s935中，矢量預(yù)測(cè)單元433使用在位置a0的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s935的處理結(jié)束時(shí)，流程繼續(xù)步驟s943。

另外，在步驟s934中確定將不包括候選時(shí)，流程繼續(xù)步驟s936。在步驟s936中，矢量預(yù)測(cè)單元433從候選排除在位置a0的塊的運(yùn)動(dòng)(視差)矢量。

在步驟s936的處理結(jié)束時(shí)，流程繼續(xù)步驟s937。另外，在步驟s932中確定在位置a0的塊不是幀內(nèi)模式也不可用時(shí)，流程繼續(xù)步驟s937。

在步驟s937中，矢量預(yù)測(cè)單元433選擇在位置a1的塊。

在步驟s938中，矢量預(yù)測(cè)單元433確定在位置a1的塊是否為幀內(nèi)模式或者不可用。在確定在位置a1的塊是幀內(nèi)模式或者不可用時(shí)，根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理結(jié)束，流程返回到圖72的流程圖。

另外，在圖84的步驟s938中確定在位置a1的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s939。在步驟s939中，矢量預(yù)測(cè)單元433確定存在在位置a1的塊的候選運(yùn)動(dòng)(視差)矢量。

在步驟s940中，矢量預(yù)測(cè)單元433基于步驟s939的確定結(jié)果，確定是否是否將包括候選。

在確定將包括候選時(shí)，流程繼續(xù)步驟s941。在步驟s941中，矢量預(yù)測(cè)單元433使用在位置a1的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s941的處理結(jié)束時(shí)，流程繼續(xù)步驟s943。

另外，在步驟s940中確定將不包括候選時(shí)，流程繼續(xù)步驟s942。在步驟s942中，矢量預(yù)測(cè)單元433從候選排除在位置a1的塊的運(yùn)動(dòng)(視差)矢量。在步驟s942的處理結(jié)束時(shí)，根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理結(jié)束，流程返回到圖72的流程圖。

在圖84的步驟s943中，矢量預(yù)測(cè)單元433確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理。

在步驟s944中，矢量預(yù)測(cè)單元433基于步驟s943的確定結(jié)果，確定縮放對(duì)于鄰近塊的運(yùn)動(dòng)(視差)矢量是否為必需。

在確定縮放為必需時(shí)，流程繼續(xù)步驟s945。在步驟s945中，矢量預(yù)測(cè)單元433對(duì)鄰近塊的運(yùn)動(dòng)(視差)矢量執(zhí)行縮放處理。在步驟s945的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖84的步驟s944中確定縮放不是必需時(shí)，流程返回到圖72的流程圖。

接著將參照?qǐng)D85的流程圖描述在圖84的步驟s933和s939中執(zhí)行的處理的流程的示例，該處理確定存在鄰近塊的候選運(yùn)動(dòng)(視差)矢量。

以與圖75的步驟s811至s814和s817的處理相同的方式執(zhí)行圖85的步驟s951至s954和s957的處理。

在步驟s953中確定編碼塊的參考圖像是長參考圖像、并且在步驟s954中確定鄰近塊的參考圖像是長參考圖像時(shí)，矢量預(yù)測(cè)單元433在步驟s955中設(shè)置將在候選中包括鄰近塊(在位置a0或者a1的塊)的運(yùn)動(dòng)(視差)矢量。

另外，在步驟s953中確定編碼塊的參考圖像是長參考圖像、并且在步驟s954中確定鄰近塊的參考圖像是短參考圖像時(shí)，或者在步驟s953中確定編碼塊的參考圖像是短參考圖像、并且在步驟s957中確定鄰近塊的參考圖像是長參考圖像時(shí)，由于編碼塊和鄰近塊的參考圖像的類型不同，矢量預(yù)測(cè)單元433在步驟s956中設(shè)置從候選排除鄰近塊(在位置a0或者a1的塊)的運(yùn)動(dòng)(視差)矢量。

另外，在步驟s953中確定編碼塊的參考圖像是短參考圖像、并且在步驟s957中確定鄰近塊的參考圖像是短參考圖像時(shí)，矢量預(yù)測(cè)單元433在步驟s958中、設(shè)置在候選中包括鄰近塊(在位置a0或者a1的塊)的運(yùn)動(dòng)(視差)矢量。

在步驟s955、s956或者s958的處理結(jié)束時(shí)，流程返回到圖84的流程圖。

接著將參照?qǐng)D86的流程圖描述在圖84的步驟s943中執(zhí)行的處理的流程的示例，該處理確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理。

以與圖75的步驟s811至s813和s817的處理相同的方式執(zhí)行圖86的步驟s961至s963和s965的處理。

在步驟s963中確定編碼塊的參考圖像是長參考圖像時(shí)、或者在步驟s963中確定編碼塊的參考圖像是短參考圖像并且在步驟s965中確定鄰近塊的參考圖像是長參考圖像時(shí)，流程繼續(xù)步驟s964。也就是說，在確定編碼塊的參考圖像和鄰近塊的參考圖像中的至少一個(gè)參考圖像是長參考圖像時(shí)，流程繼續(xù)步驟s964。

在步驟s964中，矢量預(yù)測(cè)單元433設(shè)置縮放不是必需。在步驟s964的處理結(jié)束時(shí)，流程返回到圖84的流程圖。

另外，在圖86的步驟s963中確定編碼塊的參考圖像是短參考圖像、并且在步驟s965中確定鄰近塊的參考圖像是短參考圖像時(shí)(也就是說，在確定編碼塊和鄰近塊的參考圖像二者是短參考圖像)，流程繼續(xù)步驟s966。

在步驟s966中，矢量預(yù)測(cè)單元433設(shè)置縮放為必需。在步驟s966的處理結(jié)束時(shí)，流程返回到圖84的流程圖。

接著將參照?qǐng)D87至89的流程圖描述根據(jù)上塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。

以與圖76的步驟s821至s832的處理相同的方式執(zhí)行圖87的步驟s971至s982的處理。在步驟s974、s978或者s982的處理結(jié)束時(shí)，流程繼續(xù)圖89的步驟s1017。另外，在步驟s980中確定在位置b2的塊是幀內(nèi)模式或者不可用時(shí)、或者在步驟s981中確定在位置b2的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)圖88的步驟s991。

在圖88的步驟s991中，矢量預(yù)測(cè)單元433確定是否根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量。

在步驟s992中，矢量預(yù)測(cè)單元433選擇在位置b0的塊。

在步驟s993中，矢量預(yù)測(cè)單元433確定在位置b0的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b0的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s994。在步驟s994中，矢量預(yù)測(cè)單元433確定存在在位置b0的塊的候選運(yùn)動(dòng)(視差)矢量。由于以與參照?qǐng)D85的流程圖描述的方式相同的方式執(zhí)行這一處理，所以將不提供其描述。

在步驟s995中，矢量預(yù)測(cè)單元433基于步驟s994的確定結(jié)果，確定是否將排除候選。

在將從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s996。在步驟s996中，矢量預(yù)測(cè)單元433從候選排除在位置b0的塊的運(yùn)動(dòng)(視差)矢量。在步驟s996的處理結(jié)束時(shí)，流程繼續(xù)步驟s998。

另外，在步驟s995中確定將不從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s997。在步驟s997中，矢量預(yù)測(cè)單元433使用在位置b0的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s997的處理結(jié)束時(shí)，流程繼續(xù)圖89的步驟s1017。

另外，在步驟s993中確定在位置b0的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s998。

在步驟s998中，矢量預(yù)測(cè)單元433選擇在位置b1的塊。

在步驟s999中，矢量預(yù)測(cè)單元433確定在位置b1的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b1的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s1000。在步驟s1000中，矢量預(yù)測(cè)單元433確定存在在位置b1的塊的候選運(yùn)動(dòng)(視差)矢量。由于以與關(guān)于圖85的流程圖描述的方式相同的方式執(zhí)行這一處理，所以將不提供其描述。

在步驟s1001中，矢量預(yù)測(cè)單元433基于步驟s1000的確定結(jié)果，確定是否將排除候選。

在將從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s1002。在步驟s1002中，矢量預(yù)測(cè)單元433從候選排除在位置b1的塊的運(yùn)動(dòng)(視差)矢量。在步驟s1002的處理結(jié)束時(shí)，流程繼續(xù)圖89的步驟s1011。

另外，在圖88的步驟s1001中確定將不從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s1003。在步驟s1003中，矢量預(yù)測(cè)單元433使用在位置b1的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s1003的處理結(jié)束時(shí)，流程繼續(xù)圖89的步驟s1017。

另外，在步驟s999中確定在位置b1的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)圖89的步驟s1011。

在圖89的步驟s1011中，矢量預(yù)測(cè)單元433選擇在位置b2的塊。

在步驟s1012中，矢量預(yù)測(cè)單元433確定在位置b2的塊是否為幀內(nèi)模式或者不可用。

在確定在位置b2的塊不是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)步驟s1013。在步驟s1013中，矢量預(yù)測(cè)單元433確定存在在位置b2的塊的候選運(yùn)動(dòng)(視差)矢量。由于以與參照?qǐng)D85的流程圖描述的方式相同的方式執(zhí)行這一處理，所以將不提供其描述。

在步驟s1014中，矢量預(yù)測(cè)單元433基于步驟s1013的確定結(jié)果，確定是否將排除候選。

在將從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s1015。在步驟s1015中，矢量預(yù)測(cè)單元433從候選排除在位置b2的塊的運(yùn)動(dòng)(視差)矢量。在步驟s1015的處理結(jié)束時(shí)，流程繼續(xù)步驟s1017。

另外，在步驟s1014中確定將不從候選排除運(yùn)動(dòng)(視差)矢量時(shí)，流程繼續(xù)步驟s1016。在步驟s1016中，矢量預(yù)測(cè)單元433使用在位置b2的塊的運(yùn)動(dòng)(視差)矢量作為候選。在步驟s1016的處理結(jié)束時(shí)，流程繼續(xù)步驟s1017。

在步驟s1017中，矢量預(yù)測(cè)單元433確定存在用于鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放處理。由于以與參照?qǐng)D86的流程圖描述的方式相同的方式執(zhí)行這一處理，所以將不提供其描述。

在步驟s1018中，矢量預(yù)測(cè)單元433基于步驟s1017的確定結(jié)果，確定縮放對(duì)于鄰近塊的運(yùn)動(dòng)(視差)矢量是否為必需。

在確定縮放為必需時(shí)，流程繼續(xù)步驟s1019。在步驟s1019中，矢量預(yù)測(cè)單元433對(duì)鄰近塊的運(yùn)動(dòng)(視差)矢量執(zhí)行縮放處理。在步驟s1019的處理結(jié)束時(shí)，流程返回到圖72的流程圖。

另外，在圖89的步驟s1018中確定縮放不是必需時(shí)，流程返回到圖72的流程圖。

通過以上述方式執(zhí)行相應(yīng)處理，圖像編碼設(shè)備400可以抑制編碼效率降低。

由于圖像解碼設(shè)備500以與以上描述的圖像編碼設(shè)備400相同的方式執(zhí)行這些處理，所以將不提供其描述。由于這一點(diǎn)，圖像解碼設(shè)備500可以對(duì)編碼數(shù)據(jù)正確解碼并且抑制編碼效率降低。

[運(yùn)動(dòng)(視差)矢量的處理的概述]

在上文中，已經(jīng)參照?qǐng)D66至81描述第一示例，并且已經(jīng)參照?qǐng)D82至89描述第二示例。

除了這些示例之外，例如在第一示例中，在編碼塊的參考圖像和鄰近塊的參考圖像二者是長參考圖像時(shí)，鄰近塊的運(yùn)動(dòng)(視差)矢量可以僅在編碼塊和鄰近塊參考相同參考圖像時(shí)用作候選。在編碼塊和鄰近塊參考不同參考圖像時(shí)，可以從候選排除鄰近塊的運(yùn)動(dòng)(視差)矢量，并且可以不提供檢索處理。

如以上描述的那樣，長參考圖像應(yīng)用于如背景圖像的固定區(qū)域和不同視圖的圖像。因此，即使在編碼塊的參考圖像和鄰近塊的參考圖像是這樣的長參考圖像時(shí)，但是如果參考圖像是不同圖像，則預(yù)計(jì)參考圖像具有低相關(guān)性。也就是說，預(yù)計(jì)在編碼塊和鄰近塊的運(yùn)動(dòng)(視差)矢量之間的相關(guān)性低。

因此，通過從候選矢量排除其中預(yù)計(jì)這樣的相關(guān)性低的圖案(其中編碼塊和鄰近塊的參考圖像二者是長參考圖像并且兩個(gè)圖像是不同圖像的情況)，有可能進(jìn)一步抑制編碼效率降低。另外，通過不提供確定存在候選和存在縮放的處理，有可能降低處理負(fù)荷。

圖90是用于描述處置時(shí)間相關(guān)性塊和鄰近塊的另一示例的圖。在矢量預(yù)測(cè)中，如在圖90的a中所示表中那樣確定是否將向候選矢量中包括時(shí)間相關(guān)性塊的運(yùn)動(dòng)(視差)矢量和是否將執(zhí)行縮放。

也就是說，這與圖66的a的情況相同。

另外，在矢量預(yù)測(cè)中，如在圖90的b中所示表中那樣確定是否將在候選矢量中包括鄰近塊的運(yùn)動(dòng)(視差)矢量和是否將執(zhí)行縮放。

也就是說，例如在編碼塊和鄰近塊的參考圖像二者是長參考圖像時(shí)，鄰近塊的運(yùn)動(dòng)(視差)矢量?jī)H在參考圖像相同時(shí)用作候選。另外，在這些參考圖像不同時(shí)，從候選排除鄰近塊的運(yùn)動(dòng)(視差)矢量，并且不提供確定存在候選和存在縮放的處理。

在編碼塊的參考圖像和鄰近塊的參考圖像二者是短參考圖像時(shí)，執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。在兩個(gè)參考圖像是長參考圖像時(shí)，不執(zhí)行鄰近塊的運(yùn)動(dòng)(視差)矢量的縮放。

[在編碼期間的處理的流程]

將參照?qǐng)D91和92的流程圖描述這一情況的、根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。由于以與這一情況的處理相同的方式執(zhí)行參照?qǐng)D67至72的流程圖描述的處理，所以將不提供這些處理的描述。

以與圖73的步驟s781至s788的處理基本上相同的方式執(zhí)行圖91的步驟s1031至s1038的處理。在步驟s1034或者s1038的處理結(jié)束時(shí)，根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理結(jié)束，并且流程返回到圖72的流程圖。另外，在步驟s1035中確定在位置a1的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)圖92的步驟s1041。

然而在圖91的步驟s1037中確定在位置a1的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)步驟s1039。

在步驟s1039中，矢量預(yù)測(cè)單元433確定編碼塊和鄰近塊的參考圖像二者是否為長參考圖像。

在確定編碼塊和鄰近塊的兩個(gè)參考圖像二者是長參考圖像時(shí)，根據(jù)左塊生成候選運(yùn)動(dòng)(視差)矢量的處理結(jié)束，并且流程返回到圖72的流程圖。

另外，在確定編碼塊和鄰近塊的參考圖像中的至少一個(gè)參考圖像是短參考圖像時(shí)，流程繼續(xù)圖92的步驟s1041。

以與圖74的步驟s791至s799的處理相同的方式執(zhí)行圖92的步驟s1041至s1051的處理。

也就是說，在確定編碼塊和鄰近塊的參考圖像二者是長參考圖像時(shí)，不提供圖92的流程圖的所有處理。因此有可能降低處理負(fù)荷。

接著將參照?qǐng)D93和94的流程圖描述這一情況的、根據(jù)上塊生成候選運(yùn)動(dòng)(視差)矢量的處理的流程的示例。

以與圖76的步驟s821至s832的處理基本上相同的方式執(zhí)行圖93的步驟s1071至s1082的處理。在步驟s1074、s1078或者s1082的處理結(jié)束時(shí)，根據(jù)上塊生成候選運(yùn)動(dòng)(視差)矢量的處理結(jié)束，并且流程返回到圖72的流程圖。另外，在步驟s1080中確定在位置b2的塊是幀內(nèi)模式或者不可用時(shí)，流程繼續(xù)圖94的步驟s1091。

然而在圖93的步驟s1081中確定在位置b2的塊參考與編碼塊的參考圖像不同的參考圖像時(shí)，流程繼續(xù)步驟s1083。

在步驟s1083中，矢量預(yù)測(cè)單元433確定編碼塊和鄰近塊的參考圖像二者是否是長參考圖像。

在確定編碼塊和鄰近塊的參考圖像二者是長參考圖像時(shí)，根據(jù)上塊生成候選運(yùn)動(dòng)(視差)矢量的處理結(jié)束，流程返回到圖72的流程圖。

另外，在確定編碼塊和鄰近塊的參考圖像中的至少一個(gè)參考圖像是短參考圖像時(shí)，流程繼續(xù)圖94的步驟s1091。

以與圖77的步驟s841至s855的處理相同的方式執(zhí)行圖94的步驟s1091至s1105的處理。

也就是說，在確定編碼塊和鄰近塊的參考圖像二者是長參考圖像時(shí)，不提供圖94的流程圖的所有處理。因此有可能降低處理負(fù)荷。

系列處理可以應(yīng)用于多視圖圖像編碼和解碼(多視圖編碼器和解碼器)。也就是說，可以在執(zhí)行多視圖編碼和解碼時(shí)提高編碼效率。系列處理可以應(yīng)用于層圖像編碼(空間可縮放性)和層圖像解碼(多層編碼器和解碼器)。也就是說，可以在執(zhí)行層圖像編碼和解碼時(shí)提高編碼效率。

另外，系列處理可以應(yīng)用于單視圖圖像(1視圖)的所謂2d圖像。

本技術(shù)可以應(yīng)用于如下圖像信息編碼設(shè)備和圖像解碼設(shè)備：在經(jīng)由網(wǎng)絡(luò)介質(zhì)、比如衛(wèi)星廣播、線纜tv、因特網(wǎng)或者蜂窩電話接收已經(jīng)如在mpeg、h.26x等的情況下那樣通過比如離散余弦變換的正交變換和運(yùn)動(dòng)補(bǔ)償而壓縮的圖像信息(比特流)時(shí)使用該圖像信息編碼設(shè)備和圖像解碼設(shè)備。另外，本技術(shù)可以應(yīng)用于在存儲(chǔ)介質(zhì)、比如光盤或者磁盤或者閃存上處理圖像信息(比特流)時(shí)使用的圖像編碼設(shè)備和圖像解碼設(shè)備。另外，本技術(shù)可以應(yīng)用于在圖像編碼設(shè)備、圖像解碼設(shè)備等中包括的運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償設(shè)備。

[7.第七實(shí)施例]

[計(jì)算機(jī)]

以上描述的系列處理可以不僅由硬件而且由軟件執(zhí)行。在系列處理由軟件執(zhí)行時(shí)，在軟件中包括的程序安裝于計(jì)算機(jī)中。這里，計(jì)算機(jī)可以是向?qū)Ｓ糜布蛘咄ㄓ脗€(gè)人計(jì)算機(jī)中集成的計(jì)算機(jī)，該計(jì)算機(jī)可以通過在計(jì)算機(jī)中安裝各種程序來執(zhí)行各種功能。

在圖95中，個(gè)人計(jì)算機(jī)700的cpu(中央處理單元)701根據(jù)rom(只讀存儲(chǔ)器)702中存儲(chǔ)的程序或者從存儲(chǔ)單元713向ram(隨機(jī)存取存儲(chǔ)器)703中加載的程序來執(zhí)行各種處理。為了cpu701執(zhí)行各種處理而必需的數(shù)據(jù)也適當(dāng)存儲(chǔ)于ram703中。

cpu701、rom702和ram703經(jīng)由總線704相互連接。輸入/輸出接口710也連接到總線704。

由鍵盤、鼠標(biāo)等形成的輸入單元711、由crt(陰極射線管)和lcd(液晶顯示器)形成的顯示器、揚(yáng)聲器等形成的輸出單元712、由硬盤等形成的存儲(chǔ)單元713、以及由調(diào)制解調(diào)器等形成的通信單元714連接到輸入/輸出接口710。通信單元714經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。

驅(qū)動(dòng)器715按照需要連接到輸入/輸出接口710，可去除介質(zhì)721、比如磁盤、光盤、光磁盤和半導(dǎo)體存儲(chǔ)器適當(dāng)裝配于驅(qū)動(dòng)器上，并且按照需要在存儲(chǔ)單元713上安裝從介質(zhì)讀取的計(jì)算機(jī)程序。

在系列處理由軟件執(zhí)行時(shí)，經(jīng)由網(wǎng)絡(luò)或者記錄介質(zhì)安裝在軟件中包括的程序。

例如如圖95中所示，記錄介質(zhì)不僅由如下可去除介質(zhì)721而且由如下rom702和在如下存儲(chǔ)單元713中包括的硬盤組成，該可去除介質(zhì)包括磁盤(包括軟盤)、光盤(包括cd-rom(光盤-只讀存儲(chǔ)器)和dvd(數(shù)字萬用盤))、光磁盤(包括md(迷你盤))和半導(dǎo)體存儲(chǔ)器，在該可去除介質(zhì)中記錄程序，向用戶分發(fā)該可去除介質(zhì)用于與裝置主體分離地分發(fā)程序，在該rom中記錄程序，在預(yù)先嵌入于裝置主體中的狀態(tài)中向用戶分發(fā)該存儲(chǔ)單元。

計(jì)算機(jī)執(zhí)行的程序可以是根據(jù)在本說明書中描述的處理以時(shí)序方式執(zhí)行處理的程序、并且可以是并行方式或者在必需時(shí)間、比如響應(yīng)于調(diào)用來執(zhí)行處理的程序。

這里在本說明書中，描述在記錄介質(zhì)中記錄的程序的步驟不僅包括根據(jù)描述的過程以時(shí)序方式執(zhí)行的處理、而且包括并行和/或單獨(dú)執(zhí)行的處理、即使未總是以時(shí)序方式執(zhí)行它。

在本說明書中，術(shù)語“系統(tǒng)”用來意味著作為整體的包括多個(gè)設(shè)備(裝置)的裝置。

在以上描述中，可以將描述為一個(gè)裝置(或者處理器)的配置拆分成多個(gè)裝置(或者處理器)。備選地，可以向單個(gè)裝置(或者處理器)中集成描述為多個(gè)裝置(或者處理器)的配置。另外，可以在每個(gè)裝置(或者每個(gè)處理器)的以上描述的配置中包括除了以上討論的配置之外的配置。如果作為整體的系統(tǒng)的配置和操作基本上相同，則可以向另一裝置(或者另一處理器)的配置添加裝置(或者處理器)的配置的部分。本公開內(nèi)容的實(shí)施例不限于以上描述的實(shí)施例，但是可以在未脫離本公開內(nèi)容的主旨的范圍內(nèi)進(jìn)行各種修改。

[8.第八實(shí)施例]

根據(jù)以上描述的實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備可以應(yīng)用于各種電子裝置、比如在線纜廣播(比如衛(wèi)星廣播或者有線電視)上或者在因特網(wǎng)上分發(fā)信號(hào)、并且通過蜂窩通信向終端分發(fā)信號(hào)的發(fā)送器或者接收器、在介質(zhì)、比如光盤、磁盤或者閃存上記錄圖像的記錄介質(zhì)、或者從這些存儲(chǔ)介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備。以下將描述四個(gè)應(yīng)用示例。

[第一應(yīng)用示例：電視裝置]

圖96圖示以上描述的實(shí)施例應(yīng)用于的電視裝置的示意配置的示例。電視裝置900包括天線901、調(diào)諧器902、去復(fù)用器903、解碼器904、視頻信號(hào)處理器905、顯示單元906、音頻信號(hào)處理器907、揚(yáng)聲器908、外部接口909、控制單元910、用戶接口911和總線912。

調(diào)諧器902從經(jīng)由天線901接收的廣播信號(hào)提取所需頻道的信號(hào)并且解調(diào)提取的信號(hào)。然后，調(diào)諧器902向去復(fù)用器903輸出通過解調(diào)而獲得的編碼比特流。也就是說，調(diào)諧器902用作電視裝置900中的發(fā)送裝置，該發(fā)送裝置接收其中對(duì)圖像編碼的編碼流。

復(fù)用器903從編碼比特流分離待觀看的節(jié)目的視頻流和音頻流，并且向解碼器904輸出每個(gè)分離的流。另外，復(fù)用器903從編碼比特流提取輔助數(shù)據(jù)、比如epg(電子節(jié)目指南)，并且向控制單元910供應(yīng)提取的數(shù)據(jù)。去復(fù)用器903可以在編碼比特流被加擾時(shí)解擾。

解碼器904對(duì)從去復(fù)用器903輸入的視頻流和音頻流解碼。然后，解碼器904向視頻信號(hào)處理器905輸出通過解碼處理生成的視頻數(shù)據(jù)。另外，解碼器904向音頻信號(hào)處理器907輸出通過解碼處理生成的音頻數(shù)據(jù)。

視頻信號(hào)處理器905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)、并且允許顯示單元906顯示視頻。視頻信號(hào)處理器905也可以允許顯示單元906顯示經(jīng)由網(wǎng)絡(luò)供應(yīng)的應(yīng)用屏幕。視頻信號(hào)處理器905也可以根據(jù)設(shè)置，對(duì)視頻數(shù)據(jù)執(zhí)行附加處理、例如比如噪聲去除。另外，視頻信號(hào)處理器905可以生成gui(圖形用戶界面)圖像、例如比如菜單、按鈕和光標(biāo)，并且在輸出圖像上疊加生成的圖像。

顯示單元906由從視頻信號(hào)處理器905供應(yīng)的驅(qū)動(dòng)器信號(hào)驅(qū)動(dòng)，以在顯示設(shè)備(例如液晶顯示器、等離子體顯示器、oeld(有機(jī)電致發(fā)光顯示器(有機(jī)el顯示器))等)的視頻屏幕上顯示視頻或者圖像。

音頻信號(hào)處理器907對(duì)從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行再現(xiàn)處理、比如d/a轉(zhuǎn)換和放大，并且允許揚(yáng)聲器908輸出音頻。音頻信號(hào)處理器907也可以對(duì)音頻數(shù)據(jù)執(zhí)行附加處理、比如噪聲去除。

外部接口909是用于連接電視裝置900和外部設(shè)備或者網(wǎng)絡(luò)的接口。例如經(jīng)由外部接口909接收的視頻流或者音頻流可以由解碼器904解碼。也就是說，外部接口909也用作電視裝置900中的發(fā)送裝置，該發(fā)送裝置接收其中對(duì)圖像編碼的編碼流。

控制單元910包括處理器如cpu以及存儲(chǔ)器如ram和rom。存儲(chǔ)器存儲(chǔ)cpu執(zhí)行程序、程序數(shù)據(jù)、epg數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)獲得的數(shù)據(jù)等。在存儲(chǔ)器中存儲(chǔ)的程序例如在電視裝置900啟動(dòng)時(shí)由cpu讀取以執(zhí)行。cpu通過執(zhí)行程序例如根據(jù)從用戶接口911輸入的操作信號(hào)、控制電視裝置900的操作。

用戶接口911連接到控制單元910。用戶接口911例如包括用于用戶操作電視裝置900的按鈕和開關(guān)、遙控信號(hào)的接收器等。用戶接口911檢測(cè)用戶經(jīng)由部件輸入的操作以生成操作信號(hào)、并且向控制單元910輸出生成的操作信號(hào)。

總線912相互連接調(diào)諧器902、去復(fù)用器903、解碼器904、視頻信號(hào)處理器905、音頻信號(hào)處理器907、外部接口909和控制單元910。

在以這一方式配置的電視裝置900中，解碼器904具有根據(jù)以上描述的實(shí)施例的圖像解碼裝置50的功能。因此，在電視裝置900中對(duì)圖像解碼時(shí)，可以抑制編碼效率降低。

[第二應(yīng)用示例：移動(dòng)電話]

圖97圖示以上描述的實(shí)施例應(yīng)用于的移動(dòng)電話的示意配置的示例。移動(dòng)電話920包括天線921、通信單元922、音頻編碼解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)單元926、圖像處理器927、復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932和總線933。

天線921連接到通信單元922。揚(yáng)聲器924和麥克風(fēng)925連接到音頻編碼解碼器923。操作單元932連接到控制單元931?？偩€933相互連接通信單元922、音頻編碼解碼器923、相機(jī)單元926、圖像處理器927、復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931。

移動(dòng)電話920在包括音頻通信模式、數(shù)據(jù)通信模式、成像模式和電視-電話模式的各種操作模式中，執(zhí)行操作、比如發(fā)送/接收音頻信號(hào)、發(fā)送/接收電子郵件或者圖像數(shù)據(jù)、圖像拍攝和記錄數(shù)據(jù)。

在音頻通信模式中，向音頻編碼解碼器923供應(yīng)麥克風(fēng)925生成的模擬音頻信號(hào)。音頻編碼解碼器923將模擬音頻信號(hào)轉(zhuǎn)換成音頻數(shù)據(jù)，并且轉(zhuǎn)換的音頻數(shù)據(jù)進(jìn)行a/d轉(zhuǎn)換以壓縮。然后，音頻編碼解碼器923向通信單元922輸出壓縮的音頻數(shù)據(jù)。通信單元922對(duì)音頻數(shù)據(jù)編碼和調(diào)制以生成發(fā)送信號(hào)。然后，通信單元922經(jīng)由天線921向基站(未圖示)發(fā)送生成的發(fā)送信號(hào)。另外，通信單元922放大經(jīng)由天線921接收的無線信號(hào)，并且向無線信號(hào)應(yīng)用頻率轉(zhuǎn)換以獲得接收信號(hào)。然后，通信單元922通過解調(diào)和解碼接收信號(hào)來生成音頻數(shù)據(jù)，并且向音頻編碼解碼器923輸出生成的音頻數(shù)據(jù)。音頻編碼解碼器923擴(kuò)展音頻數(shù)據(jù)并且d/a轉(zhuǎn)換音頻數(shù)據(jù)以生成模擬音頻信號(hào)。然后，音頻編碼解碼器923向揚(yáng)聲器924供應(yīng)生成的音頻信號(hào)以輸出音頻。

例如在數(shù)據(jù)通信模式中，控制單元931根據(jù)用戶經(jīng)由操作單元932的操作，生成組成電子郵件的字符數(shù)據(jù)。另外，控制單元931允許顯示單元930顯示字符?？刂茊卧?31根據(jù)經(jīng)由操作單元932來自用戶的傳輸指令生成電子郵件數(shù)據(jù)，以向通信單元922輸出生成的電子郵件數(shù)據(jù)。通信單元922對(duì)電子郵件數(shù)據(jù)編碼和調(diào)制以生成發(fā)送信號(hào)。然后，通信單元922經(jīng)由天線921向基站(未圖示)發(fā)送生成的發(fā)送信號(hào)。另外，通信單元922放大經(jīng)由天線921接收的無線信號(hào)，并且向接收信號(hào)應(yīng)用頻率轉(zhuǎn)換以獲得接收信號(hào)。然后，通信單元922解調(diào)和解碼接收信號(hào)以恢復(fù)電子郵件數(shù)據(jù)，并且向控制單元931輸出恢復(fù)的電子郵件數(shù)據(jù)?？刂茊卧?31允許顯示單元930顯示電子郵件數(shù)據(jù)的內(nèi)容，并且允許記錄/再現(xiàn)單元929的存儲(chǔ)介質(zhì)存儲(chǔ)電子郵件數(shù)據(jù)。

記錄/再現(xiàn)單元929包括任意可讀/可寫存儲(chǔ)介質(zhì)。例如存儲(chǔ)介質(zhì)可以是內(nèi)置存儲(chǔ)介質(zhì)、比如ram和閃存，并且可以是外部裝配的存儲(chǔ)介質(zhì)、比如硬盤、磁盤、光磁盤、光盤、usb(未分配的空間位圖)存儲(chǔ)器和記憶卡。

例如在成像模式中，相機(jī)單元926拍攝物體的圖像以生成圖像數(shù)據(jù)，并且向圖像處理器927輸出生成的圖像數(shù)據(jù)。圖像處理器927對(duì)從相機(jī)單元926輸入的圖像數(shù)據(jù)編碼，并且在記錄/再現(xiàn)單元929的存儲(chǔ)介質(zhì)中存儲(chǔ)編碼流。

另外，例如在電視-電話模式中，復(fù)用/分離單元928復(fù)用圖像處理器927編碼的視頻流和從音頻編碼解碼器923輸入的音頻流，并且向通信單元922輸出復(fù)用流。通信單元922對(duì)流編碼和調(diào)制以生成發(fā)送信號(hào)。然后，通信單元922經(jīng)由天線向基站(未示出)發(fā)送生成的發(fā)送信號(hào)。另外，通信單元922放大經(jīng)由天線921接收的無線信號(hào)，并且向無線信號(hào)應(yīng)用頻率轉(zhuǎn)換以獲得接收信號(hào)。發(fā)送信號(hào)和接收信號(hào)可以包括編碼比特流。然后，通信單元922通過解調(diào)和解碼接收信號(hào)來恢復(fù)流，并且向復(fù)用/分離單元928輸出恢復(fù)流。復(fù)用/分離單元928從輸入流分離視頻流和音頻流，并且分別向圖像處理器927和音頻編碼解碼器923輸出視頻流和音頻流。圖像處理器927對(duì)視頻流解碼以生成視頻數(shù)據(jù)。向顯示單元930供應(yīng)視頻數(shù)據(jù)，并且顯示單元930顯示系列圖像。音頻編碼解碼器923擴(kuò)展音頻流并且d/a轉(zhuǎn)換音頻流以生成模擬音頻信號(hào)。然后，音頻編碼解碼器923向揚(yáng)聲器924供應(yīng)生成的音頻信號(hào)以輸出音頻。

在以這一方式配置的移動(dòng)電話920中，圖像處理器927具有根據(jù)以上描述的實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備50的功能。因此，在移動(dòng)電話920中對(duì)圖像編碼和解碼時(shí)，可以抑制編碼效率降低。

[第三應(yīng)用示例：記錄/再現(xiàn)裝置]

圖98圖示以上描述的實(shí)施例應(yīng)用于的記錄/再現(xiàn)裝置的示意配置的示例。記錄/再現(xiàn)裝置940例如對(duì)接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并且在記錄介質(zhì)上記錄編碼數(shù)據(jù)。另外，記錄/再現(xiàn)裝置940例如可以對(duì)從另一裝置獲得的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并且在記錄介質(zhì)上記錄編碼數(shù)據(jù)。另外，記錄/再現(xiàn)裝置940根據(jù)用戶的指令，通過監(jiān)視器和揚(yáng)聲器再現(xiàn)在記錄介質(zhì)上記錄的數(shù)據(jù)。在這一情況下，記錄/再現(xiàn)裝置940對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼。

記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口942、編碼器943、hdd(硬盤驅(qū)動(dòng)器)944、盤驅(qū)動(dòng)器945、選擇器946、解碼器947、osd(屏上顯示器)948、控制單元949和用戶接口950。

調(diào)諧器941從經(jīng)由天線(未圖示)接收的廣播信號(hào)提取所需頻道的信號(hào)并且解調(diào)提取的信號(hào)。然后，調(diào)諧器941向選擇器946輸出通過解調(diào)而獲得的編碼比特流。也就是說，調(diào)諧器941用作記錄/再現(xiàn)裝置940中的發(fā)送裝置。

外部接口942是用于連接記錄/再現(xiàn)裝置940和外部設(shè)備或者網(wǎng)絡(luò)的接口。外部接口942可以例如是ieee1394接口、網(wǎng)絡(luò)接口、usb接口、閃存接口等。例如向編碼器943輸入經(jīng)由外部接口942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)。也就是說，外部接口942用作記錄/再現(xiàn)裝置940中的發(fā)送裝置。

在從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時(shí)編碼器943對(duì)視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼。然后，編碼器943向選擇器946輸出編碼比特流。

hdd944在內(nèi)部硬盤上記錄其中壓縮內(nèi)容數(shù)據(jù)、比如視頻和音頻的編碼比特流、各種程序和其它數(shù)據(jù)。hdd944在再現(xiàn)視頻和音頻時(shí)從硬盤讀取數(shù)據(jù)。

盤驅(qū)動(dòng)器945在裝配的記錄介質(zhì)上記錄和從裝配的記錄介質(zhì)讀取數(shù)據(jù)。在盤驅(qū)動(dòng)器945上裝配的記錄介質(zhì)可以例如是dvd盤(dvd-視頻、dvd-ram、dvd-r、dvd-rw、dvd+r、dvd+rw等)、藍(lán)光(注冊(cè)商標(biāo))盤等。

在記錄視頻和音頻時(shí)，選擇器946選擇從調(diào)諧器941或者編碼器943輸入的編碼比特流，并且向hdd944或者盤驅(qū)動(dòng)器945輸出選擇的編碼比特流。另外，在再現(xiàn)視頻和音頻時(shí)，選擇器946向解碼器947輸出從hdd944或者盤驅(qū)動(dòng)器945輸入的編碼比特流。

解碼器947對(duì)編碼比特流解碼以生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器947向osd948輸出生成的視頻數(shù)據(jù)。另外，解碼器904向外部揚(yáng)聲器輸出生成的音頻數(shù)據(jù)。

osd948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)以顯示視頻。osd948也在顯示的視頻上疊加gui圖像、例如比如菜單、按鈕和光標(biāo)。

控制單元949包括處理器如cpu以及存儲(chǔ)器如ram和rom。存儲(chǔ)器存儲(chǔ)cpu執(zhí)行的程序、程序數(shù)據(jù)等。在存儲(chǔ)器中存儲(chǔ)的程序例如在記錄/再現(xiàn)裝置940啟動(dòng)時(shí)由cpu讀取以執(zhí)行。cpu通過執(zhí)行程序、例如根據(jù)從用戶接口950輸入的操作信號(hào)、控制記錄/再現(xiàn)裝置940的操作。

用戶接口950連接到控制單元949。用戶接口950例如包括用于用戶操作記錄/再現(xiàn)裝置940的按鈕和開關(guān)、以及遙控信號(hào)的接收器。用戶接口950檢測(cè)用戶經(jīng)由部件的操作以生成操作信號(hào)，并且向控制單元949輸出生成的操作信號(hào)。

在以這一方式配置的記錄/再現(xiàn)裝置940中，編碼器943具有根據(jù)以上描述的實(shí)施例的圖像編碼設(shè)備10的功能。另外，解碼器947具有根據(jù)以上描述的實(shí)施例的圖像解碼設(shè)備50的功能。因此，在記錄/再現(xiàn)裝置940中對(duì)圖像編碼和解碼時(shí)，可以抑制編碼效率降低。

[第四應(yīng)用示例：成像裝置]

圖99圖示以上描述的實(shí)施例應(yīng)用于的成像裝置的示意配置的示例。成像裝置960對(duì)物體成像以生成圖像、對(duì)圖像數(shù)據(jù)編碼并且在記錄介質(zhì)上記錄編碼數(shù)據(jù)。

成像裝置960包括光盤961、成像單元962、信號(hào)處理器963、圖像處理器964、顯示單元965、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、osd969、控制單元970、用戶接口917和總線972。

光學(xué)塊961連接到成像單元962。成像單元962連接到信號(hào)處理器963。顯示單元965連接到圖像處理器964。用戶接口971連接到控制單元970?？偩€972相互連接圖像處理器964、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、osd969和控制單元970。

光盤961包括聚焦透鏡、振動(dòng)膜機(jī)制等。光學(xué)塊961在成像單元862的成像表面上形成對(duì)象的光學(xué)圖像。成像單元962包括成像傳感器、比如ccd(電荷耦合器件)和cmos(互補(bǔ)金屬氧化物半導(dǎo)體)，并且通過光電轉(zhuǎn)換將在成像表面上形成的光學(xué)圖像轉(zhuǎn)換成圖像信號(hào)作為電信號(hào)。然后，成像單元962向信號(hào)處理器963輸出圖像信號(hào)。

信號(hào)處理器963對(duì)從成像單元962輸入的圖像信號(hào)執(zhí)行各種相機(jī)信號(hào)處理、比如拐點(diǎn)校正、伽馬校正和色校正。信號(hào)處理器963向圖像處理器964輸出在相機(jī)信號(hào)處理之后的圖像流數(shù)據(jù)。

圖像處理器964對(duì)從信號(hào)處理器963輸入的圖像數(shù)據(jù)編碼以生成編碼數(shù)據(jù)。然后，圖像處理器964向外部接口966或者介質(zhì)驅(qū)動(dòng)器968輸出生成的編碼數(shù)據(jù)。另外，圖像處理器964對(duì)從外部接口966或者介質(zhì)驅(qū)動(dòng)器968輸入的編碼數(shù)據(jù)解碼以生成圖像數(shù)據(jù)。然后，圖像處理器964向顯示單元965輸出生成的圖像數(shù)據(jù)。圖像處理器964也可以向顯示單元965輸出從信號(hào)處理器963輸入的圖像數(shù)據(jù)以顯示圖像。圖像處理器964也可以在向顯示單元965輸出的圖像上疊加從osd969獲得的用于顯示的數(shù)據(jù)。

osd969生成gui圖像、如比如菜單、按鈕和光標(biāo)，并且向圖像處理器964輸出生成的圖像。

外部接口966例如被配置為usb輸入/輸出端子。外部接口966例如在打印圖像時(shí)連接成像裝置960和打印機(jī)。另外，驅(qū)動(dòng)器按照需要連接到外部接口966。可去除介質(zhì)、比如磁盤和光盤例如裝配于驅(qū)動(dòng)器上，并且從可去除介質(zhì)讀取的程序可以安裝于成像裝置960上。另外，外部接口966可以被配置為連接到網(wǎng)絡(luò)、比如lan和因特網(wǎng)的網(wǎng)絡(luò)接口。也就是說，外部接口966用作成像裝置960中的發(fā)送裝置。

在介質(zhì)驅(qū)動(dòng)器968上裝配的記錄介質(zhì)可以是任意可讀/可寫可去除介質(zhì)、如比如磁盤、光磁盤、光盤和半導(dǎo)體存儲(chǔ)器。另外，記錄介質(zhì)可以固定地裝配于介質(zhì)驅(qū)動(dòng)器968上以形成非便攜存儲(chǔ)單元、如比如內(nèi)置硬盤驅(qū)動(dòng)器或者ssd(固態(tài)驅(qū)動(dòng)器)。

控制單元970包括處理器如cpu以及存儲(chǔ)器如ram和rom。存儲(chǔ)器存儲(chǔ)cpu執(zhí)行的程序和程序數(shù)據(jù)。在存儲(chǔ)器中存儲(chǔ)的程序例如在成像裝置960啟動(dòng)時(shí)由cpu讀取執(zhí)行。cpu例如通過執(zhí)行程序、根據(jù)從用戶接口971輸入的操作信號(hào)、控制成像裝置960的操作。

用戶接口971連接到控制單元970。用戶接口971例如包括用于用戶操作成像裝置960的按鈕、開關(guān)等。用戶接口971檢測(cè)用戶經(jīng)由部件的操作以生成操作信號(hào)，并且向控制單元970輸出生成的操作信號(hào)。

在以這一方式配置的成像裝置960中，圖像處理器964具有根據(jù)以上描述的實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備50的功能。因此，在成像裝置960中對(duì)圖像編碼和解碼時(shí)，可以抑制編碼效率降低。

在本說明書中，已經(jīng)描述如下示例，在該示例中，向首部中復(fù)用并且從編碼側(cè)向解碼側(cè)發(fā)送各種類型的信息、比如閾值。然而發(fā)送這些信息項(xiàng)的方法不限于這一示例。例如可以發(fā)送或者記錄這些信息項(xiàng)為與編碼比特流關(guān)聯(lián)的單獨(dú)數(shù)據(jù)、而不是向編碼比特流中復(fù)用。這里，術(shù)語“關(guān)聯(lián)”意味著在比特流中包括的圖像(或者圖像的部分、比如切片和塊)、和與圖像對(duì)應(yīng)的信息可以在解碼時(shí)相互鏈接。也就是說，可以在傳輸線上發(fā)送除了圖像(或者比特流)的信息之外的信息。另外，信息可以記錄于除了圖像(或者比特流)的記錄介質(zhì)之外的另一記錄介質(zhì)(或者相同記錄介質(zhì)的另一記錄區(qū)域)上、另外，信息和圖像(或者比特流)可以按照可選單位、例如比如多個(gè)幀、一幀或者幀的部分相互關(guān)聯(lián)。

盡管已經(jīng)參照附圖具體描述本公開內(nèi)容的優(yōu)選實(shí)施例，但是本公開內(nèi)容不限于實(shí)施例。本領(lǐng)域技術(shù)人員將容易理解：可以在未脫離如在權(quán)利要求中描述的技術(shù)精神實(shí)質(zhì)時(shí)在實(shí)施例中進(jìn)行的各種修改和改變。因而，所有這樣的修改和改變旨在于包含于如在權(quán)利要求中限定的本公開內(nèi)容的范圍內(nèi)。

本技術(shù)可以包括以下構(gòu)成：

(1)一種圖像處理設(shè)備，包括：

預(yù)測(cè)矢量生成單元，預(yù)測(cè)矢量生成單元在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；以及

差值矢量生成單元，差值矢量生成單元生成當(dāng)前視差矢量與預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量之間的差值矢量。

(2)根據(jù)(1)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元使用在與當(dāng)前視圖相同的視圖的當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的視差矢量，生成當(dāng)前視差矢量的預(yù)測(cè)矢量。

(3)根據(jù)(2)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性相同時(shí)，設(shè)置共同定位的塊為可用。

(4)根據(jù)(3)的圖像處理設(shè)備，其中：

矢量的特性是矢量的類型，并且

預(yù)測(cè)矢量生成單元在當(dāng)前塊的矢量的特性是視差矢量并且共同定位的塊的矢量的特性是視差矢量時(shí)，設(shè)置共同定位的塊為可用。

(5)根據(jù)(3)或者(4)的圖像處理設(shè)備，其中：

預(yù)測(cè)運(yùn)動(dòng)矢量生成單元使用指示畫面的輸出順序的畫面順序計(jì)數(shù)poc，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。

(6)根據(jù)(5)的圖像處理設(shè)備，其中：

預(yù)測(cè)運(yùn)動(dòng)矢量生成單元使用當(dāng)前畫面的poc、從當(dāng)前畫面參考的當(dāng)前參考畫面的poc、共同定位的畫面的poc和從共同定位的畫面參考的共同定位的參考畫面的poc，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性。

(7)根據(jù)(6)的圖像處理設(shè)備，其中：

預(yù)測(cè)運(yùn)動(dòng)矢量生成單元在當(dāng)前畫面的poc與從當(dāng)前畫面參考的當(dāng)前參考畫面的poc相同、并且共同定位的畫面的poc與從共同定位的畫面參考的共同定位的參考畫面的poc相同時(shí)，確定當(dāng)前塊的矢量的特性和共同定位的塊的矢量的特性是視差矢量。

(8)根據(jù)(2)至(7)中的任一項(xiàng)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元在當(dāng)前塊的矢量的特性與共同定位的塊的矢量的特性不同時(shí)，設(shè)置共同定位的塊為不可用。

(9)根據(jù)(8)的圖像處理設(shè)備，其中：

矢量的特性是參考畫面的類型，并且

預(yù)測(cè)矢量生成單元在當(dāng)前塊的參考畫面的類型與共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用。

(10)根據(jù)(8)或者(9)的圖像處理設(shè)備，其中：

矢量的特性是參考畫面的類型，并且

預(yù)測(cè)矢量生成單元在當(dāng)前塊的參考畫面的類型是長參考類型并且共同定位的塊的參考畫面的類型是長參考類型時(shí)，略過搜索參考索引的搜索處理。

(11)根據(jù)(1)至(10)中的任一項(xiàng)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元使用在與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面中包括的參考?jí)K的視差矢量，生成當(dāng)前視差矢量的預(yù)測(cè)矢量。

(12)根據(jù)(1)至(11)中的任一的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元基于在當(dāng)前畫面與在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考畫面之間的位置關(guān)系縮放參考視差矢量，以生成當(dāng)前視差矢量的預(yù)測(cè)矢量。

(13)根據(jù)(1)至(12)中的任一的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量，并且

差值矢量生成單元生成當(dāng)前運(yùn)動(dòng)矢量與預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量之間的差值矢量。

(14)根據(jù)(13)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元使用在與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面中包括的參考?jí)K的運(yùn)動(dòng)矢量，生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量。

(15)根據(jù)(13)或者(14)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元使用在與當(dāng)前視圖相同的視圖的當(dāng)前畫面不同的時(shí)間的畫面中包括的參考?jí)K的運(yùn)動(dòng)矢量，生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量。

(16)根據(jù)(15)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元基于當(dāng)前畫面與在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考畫面之間的位置關(guān)系來縮放參考運(yùn)動(dòng)矢量，以生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量。

(17)根據(jù)(1)至(16)中的任一項(xiàng)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元在移位與當(dāng)前視圖不同的視圖的當(dāng)前畫面相同的時(shí)間的畫面的像素的位置的狀態(tài)中，使用與位于當(dāng)前塊相同的位置的塊的矢量來生成預(yù)測(cè)矢量。

(18)根據(jù)(17)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元根據(jù)當(dāng)前塊的鄰近區(qū)域的視差矢量，設(shè)置圖像的移位量。

(19)根據(jù)(18)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元使用其中在y方向上的視差矢量的值不是零的鄰近塊的在x方向上的視差矢量，作為移位量。

(20)根據(jù)(18)或者(19)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元使用根據(jù)其中在y方向上的視差矢量的值不是零的多個(gè)鄰近塊的在x方向上的視差矢量計(jì)算的值，作為移位量。

(21)根據(jù)(20)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元使用其中在y方向上的視差矢量的值不是零的多個(gè)鄰近塊的在x方向上的視差矢量的平均值或者中值，作為圖像的移位量。

(22)根據(jù)(17)至(21)中的任一項(xiàng)的圖像處理設(shè)備，其中：

預(yù)測(cè)矢量生成單元根據(jù)全局視差矢量設(shè)置圖像的移位量。

(23)一種圖像處理設(shè)備的圖像處理方法，用于允許圖像處理設(shè)備執(zhí)行：

在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量編碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；并且

生成當(dāng)前視差矢量與所生成的預(yù)測(cè)矢量之間的差值矢量。

(24)一種圖像處理設(shè)備，包括：

預(yù)測(cè)矢量生成單元，預(yù)測(cè)矢量生成單元在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；以及

算術(shù)單元，算術(shù)單元執(zhí)行將預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量和當(dāng)前視差矢量與預(yù)測(cè)矢量之間的差值矢量相加的運(yùn)算，以重建當(dāng)前視差矢量。

(25)一種圖像處理設(shè)備的圖像處理方法，用于允許圖像處理設(shè)備執(zhí)行：

在對(duì)在使用在視差方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前視差矢量解碼時(shí)，使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考視差矢量來生成當(dāng)前視差矢量的預(yù)測(cè)矢量；并且

執(zhí)行將所生成的預(yù)測(cè)矢量和當(dāng)前視差矢量與預(yù)測(cè)矢量之間的差值矢量相加的運(yùn)算，以重建當(dāng)前視差矢量。

(26)一種圖像處理設(shè)備，包括：

預(yù)測(cè)矢量生成單元，預(yù)測(cè)矢量生成單元在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量；以及

差值矢量生成單元，差值矢量生成單元生成當(dāng)前運(yùn)動(dòng)矢量與預(yù)測(cè)矢量生成單元生成的預(yù)測(cè)矢量之間的差值矢量。

(27)一種圖像處理設(shè)備的圖像處理方法，用于允許圖像處理設(shè)備執(zhí)行：

在對(duì)在使用在時(shí)間方向上的相關(guān)性的預(yù)測(cè)中使用的當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量編碼時(shí)，在當(dāng)前塊的參考畫面的類型和在與當(dāng)前畫面不同的時(shí)間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時(shí)，設(shè)置共同定位的塊為不可用，并且使用在生成預(yù)測(cè)運(yùn)動(dòng)矢量時(shí)參考的參考運(yùn)動(dòng)矢量來生成當(dāng)前運(yùn)動(dòng)矢量的預(yù)測(cè)矢量；并且

生成當(dāng)前運(yùn)動(dòng)矢量與所生成的預(yù)測(cè)矢量之間的差值矢量。

附圖標(biāo)記列表

100圖像編碼設(shè)備

115運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元

121多視圖解碼畫面緩沖器

131運(yùn)動(dòng)視差矢量搜索單元

132預(yù)測(cè)圖像生成單元

133編碼信息累積緩沖器

134選擇器

135空間相關(guān)性預(yù)測(cè)矢量生成單元

136時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元

137選擇器

138編碼成本計(jì)算單元

139模式確定單元

151當(dāng)前區(qū)域處理器

152相關(guān)性區(qū)域處理器

153l1預(yù)測(cè)處理器

154l0預(yù)測(cè)處理器

155方案1處理器

156方案2處理器

157方案3處理器

158方案4處理器

159預(yù)測(cè)矢量生成單元

300圖像解碼設(shè)備

312運(yùn)動(dòng)視差補(bǔ)償單元

321解碼多視圖畫面緩沖器

331編碼信息累積緩沖器

332空間相關(guān)性預(yù)測(cè)矢量生成單元

333時(shí)間視差相關(guān)性預(yù)測(cè)矢量生成單元

334選擇器

335算術(shù)單元

336預(yù)測(cè)圖像生成單元

400圖像編碼設(shè)備

415模式預(yù)測(cè)/補(bǔ)償單元

421基本視圖編碼器

433,434矢量預(yù)測(cè)單元

457基于不同畫面的預(yù)測(cè)矢量生成單元

471視差矢量確定單元

472視圖間參考矢量生成單元

473視圖內(nèi)參考矢量生成單元

500圖像解碼設(shè)備

512運(yùn)動(dòng)補(bǔ)償單元

521基本視圖解碼器

533,534矢量解碼單元

553基于不同畫面的預(yù)測(cè)矢量生成單元

571視差矢量確定單元

572視圖間參考矢量生成單元

573視圖內(nèi)參考矢量生成單元