圖像處理設(shè)備及方法
【專利摘要】本發(fā)明涉及一種圖像處理設(shè)備以及方法，其可以提高多視點(diǎn)編碼的編碼效率。參考圖像索引分配器把在預(yù)測(cè)目標(biāo)圖像時(shí)所參考的參考圖像索引交替分配給可以在視點(diǎn)方向上參考的參考圖像以及可以在時(shí)間方向上參考的參考圖像。在分配中，參考圖像索引分配器參考累積在解碼圖片緩存器中的時(shí)間信息和視點(diǎn)信息，以及例如來自語法處理單元的序列參數(shù)組和片段頭部等的信息。本發(fā)明可用于例如圖像處理設(shè)備。
【專利說明】圖像處理設(shè)備及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理設(shè)備及方法，更特別地涉及一種能提高多視點(diǎn)編碼的編碼效 率的圖像處理設(shè)備及方法。
【背景技術(shù)】
[0002]近幾年，通過使用編碼格式而對(duì)圖像應(yīng)用壓縮編碼的設(shè)備得到廣泛傳播。該編碼 格式將圖像數(shù)據(jù)作為數(shù)字進(jìn)行處理，為了實(shí)現(xiàn)高效的信息傳輸、存儲(chǔ)，在進(jìn)行處理時(shí)利用圖 像信息的固有的冗長性通過離散余弦變換等正交變換和運(yùn)動(dòng)補(bǔ)償?shù)葋磉M(jìn)行壓縮。這種編碼 格式的示例包括MPEG (動(dòng)態(tài)圖像專家組)等。
[0003]特別地，MPEG2 (IS0/IEC13818-2)被定義為一種通用目標(biāo)的圖像編碼標(biāo)準(zhǔn)，并且 是一種包括了交織掃描圖像和按序掃描圖像、標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)。例 如，MPEG2目前被廣泛用于例如專業(yè)人士和普通消費(fèi)者。通過使用MPEG2壓縮方法，例如，4 至8Mbps的比特率被賦給720X480像素的標(biāo)準(zhǔn)分辨率交織圖像。通過使用MPEG2壓縮方 法，例如，18至22Mbps的比特率被賦給1920X 1088像素的高分辨率交織圖像。因此，高壓 縮率和優(yōu)越的圖像質(zhì)量能夠得以實(shí)現(xiàn)。
[0004]MPEG2主要用于適于廣播用途的高質(zhì)量圖像編碼，但不能應(yīng)付比MPEGl (也即具有 更高壓縮率的編碼格式)的比特率更低的碼量(比特率)的編碼格式。隨著移動(dòng)終端變得流 行，今后對(duì)這種編碼方法的需求有望增加，為了滿足這種需求，MPEG4編碼方法實(shí)現(xiàn)了標(biāo)準(zhǔn) 化。關(guān)于圖像編碼格式，IS0/IEC14496-2標(biāo)準(zhǔn)在1998年12月被認(rèn)定為國際標(biāo)準(zhǔn)。
[0005]對(duì)于標(biāo)準(zhǔn)化日程，2003年3月，H.264以及MPEG-4第10部分(高級(jí)視頻碼，以下用 H.AVC代替)成為國際標(biāo)準(zhǔn)。
[0006]另外，作為H.264/AVC的延伸，F(xiàn)RExt (保真度范圍延伸)在2005年2月被標(biāo)準(zhǔn)化。 FRExt包括操作所需的編碼工具，例如RGB，4:2:2和4:4:4，以及MPEG-2中規(guī)定的8X8DCT 和量化矩陣。從而，一種能使得包含膠片噪音的電影優(yōu)質(zhì)地呈現(xiàn)出來的編碼方法可使用 H.264/AVC來實(shí)現(xiàn)，并且這種編碼方法目前被廣泛用于例如藍(lán)光光碟(注冊(cè)商標(biāo))。
[0007]然而，最近對(duì)于較高壓縮編碼的需求增加，例如，為了壓縮具有大約4000X2000 個(gè)像素的分辨率的壓縮圖像(該分辨率是高清(H1-Vision)圖像的四倍)，或者在如今傳播 容量有限的互聯(lián)網(wǎng)上發(fā)布高清圖像，對(duì)于以更高壓縮率而進(jìn)行的編碼有了更多的需求。因 此，上述的ITU-T下的VCEG (視頻碼專家組)仍在繼續(xù)對(duì)于提高編碼效率進(jìn)行研究(見非專 利文獻(xiàn)I)。
[0008]目前，為了進(jìn)一步提高H.264/AVC的編碼效率，由ITU-T和IS0/IEC構(gòu)成的聯(lián)合標(biāo) 準(zhǔn)體聯(lián)合合作團(tuán)隊(duì)-視頻碼(JCTVC)在叫做高效視頻碼(HEVC)的編碼格式的標(biāo)準(zhǔn)化進(jìn)程中 取得進(jìn)展。與ffiVC相關(guān)的非專利文獻(xiàn)2已經(jīng)作為初稿發(fā)布。
[0009]順便指出，在H.264/AVC中，當(dāng)為了解碼B圖片而分配參考圖像索引時(shí)，參考圖像 索引被以降序圖片順序計(jì)數(shù)(P0C，其為表示圖片輸出順序的信息)分配給列表L0。參考圖 像索引以POC升序分配給列表LI。[0010]另外，當(dāng)為了解碼P圖片而分配參考圖像索引時(shí)，參考圖像索引以降序分配。
[0011]引用清單
[0012]非專利文獻(xiàn)
[0013]非專利文獻(xiàn)1:“ITU_T推薦用于視聽類的H.264高級(jí)視頻碼”，2010年3月
[0014]非專利文獻(xiàn)2:Thomas ffiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm,以及Gary J.SulIivian, “WD3:Working Draft3of High-Efficiency Video Coding，，， JCTVc-E603, 2011 年 3 月

【發(fā)明內(nèi)容】

[0015]本發(fā)明解決的問題
[0016]然而，上述的H.264/AVC中分配參考圖像索引的方法主要在相同視點(diǎn)內(nèi)處理。因 此，在多視點(diǎn)編碼的情況下，在將參考圖像索引分配給時(shí)間方向的所有參考圖像之后，參考 圖像索引被分配給視點(diǎn)方向的參考圖像。當(dāng)被分配的參考圖像索引無效率并且需要改變參 考圖像索引時(shí)，改變指令被傳送。
[0017]這樣，在多視點(diǎn)編碼的情況下，分配參考圖像索引的方法效率很低。
[0018]本發(fā)明就是針對(duì)上述情況而做出的，并且能夠提高多視點(diǎn)編碼的編碼效率。
[0019]解決問題的手段
[0020]本發(fā)明的一個(gè)方面的一種圖像處理設(shè)備包括:解碼器，構(gòu)造為解碼比特流以產(chǎn)生 圖像；索引分配單元，構(gòu)造為將在預(yù)測(cè)由解碼器產(chǎn)生的圖像時(shí)所參考的參考圖像索引交替 分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；以及預(yù)測(cè)器，構(gòu)造為參考由索引 分配單元所分配的參考圖像索引的參考圖像以預(yù)測(cè)解碼器所產(chǎn)生的圖像。
[0021]索引分配單元可以重復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方 向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理。
[0022]在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分配單元可以將 參考圖像索引分配給時(shí)間方向的可參考圖像。
[0023]索引分配單元可以重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方 向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理
[0024]在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分配單元可以將 參考圖像索引分配給時(shí)間方向的可參考圖像。
[0025]索引分配單元可以從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式，并 分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中，在參考圖像索引被分配給時(shí)間方向的可 參考圖像后，參考圖像索引被分配給視點(diǎn)方向的可參考圖像，在視點(diǎn)方向優(yōu)先模式中，在參 考圖像索引被分配給視點(diǎn)方向的可參考圖像后，參考圖像索引被分配給時(shí)間方向的可參考 圖像。
[0026]索引分配單元可以從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式來 分配參考圖像索引，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中重復(fù)將參考圖像索 引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參 考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先模式中，重復(fù)將參考圖像索引按 照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像以及分配給時(shí)間方向的可參考圖像的處理。
[0027]索引分配單元可以根據(jù)識(shí)別出使用了時(shí)間方向優(yōu)先模式還是視點(diǎn)方向優(yōu)先模式 的模式識(shí)別信息來分配參考圖像索引。
[0028]索引分配單元可以基于序列參數(shù)集的視點(diǎn)參考信息來將參考圖像索引分配給視 點(diǎn)方向上的可參考圖像。
[0029]在P圖片的情況下基于解碼順序，在B圖片的情況下基于圖片順序計(jì)數(shù)(P0C)，索 引分配單元可以將參考圖像索引分配給時(shí)間方向上的可參考圖像。
[0030]索引分配單元可以從時(shí)間方向優(yōu)先交替模式和視點(diǎn)方向優(yōu)先交替模式中選擇模 式來分配參考圖像索引，在時(shí)間方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引分配給時(shí)間 方向的可參考圖像作為開始，并且將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn) 方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理， 在視點(diǎn)方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引分配給視點(diǎn)方向的可參考圖像作為開 始，并且將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序 分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
[0031]索引分配單元可以根據(jù)識(shí)別出使用了時(shí)間方向優(yōu)先模式還是視點(diǎn)方向優(yōu)先模式 的模式識(shí)別信息來分配參考圖像索引。
[0032]本發(fā)明的一個(gè)方面一種圖像處理方法，其中圖像處理設(shè)備:解碼比特流以產(chǎn)生圖 像；將在預(yù)測(cè)產(chǎn)生的圖像時(shí)所參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí) 間方向的可參考圖像；以及參考所分配的參考圖像索引的參考圖像，并預(yù)測(cè)產(chǎn)生的圖像。
[0033]本發(fā)明的另一方面的一種圖像處理設(shè)備包括:索引分配單元，構(gòu)造為將在預(yù)測(cè)圖 像時(shí)參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；預(yù) 測(cè)器，構(gòu)造為參考由索引分配單元所分配的參考圖像索引的參考圖像以預(yù)測(cè)圖像；以及編 碼器，構(gòu)造為將預(yù)測(cè)器所預(yù)測(cè)的圖像進(jìn)行編碼以產(chǎn)生比特流。
[0034]索引分配單元可以重復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方 向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理。
[0035]在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分配單元可以將 參考圖像索引分配給時(shí)間方向的可參考圖像。
[0036]索引分配單元可以重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方 向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
[0037]在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分配單元可以將 參考圖像索引分配給時(shí)間方向的可參考圖像。
[0038]索引分配單元可以從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式，并 分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中，在參考圖像索引被分配給時(shí)間方向的可 參考圖像后，參考圖像索引被分配給視點(diǎn)方向的可參考圖像，在視點(diǎn)方向優(yōu)先模式中，在參 考圖像索引被分配給視點(diǎn)方向的可參考圖像后，參考圖像索引被分配給時(shí)間方向的可參考 圖像。
[0039]索引分配單元可以從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式，并 分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中，重復(fù)將參考圖像索引按照先時(shí)間方向的 可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先模式中，重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參 考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參 考圖像的處理。
[0040]還可以包括傳輸單元，其構(gòu)造為傳輸識(shí)別出使用了時(shí)間方向優(yōu)先模式還是視點(diǎn)方 向優(yōu)先模式的模式識(shí)別信息以及由編碼器產(chǎn)生的比特流。
[0041]基于序列參數(shù)組的視點(diǎn)參考信息，索引分配單元可將參考圖像索引分配給視點(diǎn)方 向的可參考圖像。
[0042]在P圖片的情況下基于解碼順序，在B圖片的情況下基于圖片順序計(jì)數(shù)(P0C)，索 引分配單元可將參考圖像索引分配給時(shí)間方向的可參考圖像。
[0043]索引分配單元可以從時(shí)間方向優(yōu)先交替模式和視點(diǎn)方向優(yōu)先交替模式中選擇模 式，并分配參考圖像索引，在時(shí)間方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引分配給時(shí)間 方向的可參考圖像作為開始，并且將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn) 方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理， 在視點(diǎn)方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引的分配給視點(diǎn)方向的可參考圖像作為 開始，并且將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順 序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
[0044]還可以包括傳輸單元，構(gòu)造為傳輸識(shí)別出使用了時(shí)間方向優(yōu)先交替模式還是視點(diǎn) 方向優(yōu)先交替模式的模式識(shí)別信息，還可包括由編碼器產(chǎn)生的比特流。
[0045]本發(fā)明的另一方面的一種圖像處理方法，其中圖像處理設(shè)備:將在預(yù)測(cè)圖像時(shí)參 考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；參考所分 配的參考圖像索引的參考圖像以預(yù)測(cè)圖像；以及編碼由預(yù)測(cè)器預(yù)測(cè)的圖像以產(chǎn)生比特流。
[0046]本發(fā)明的一個(gè)方面中，比特流被解碼，且產(chǎn)生圖像。進(jìn)一步，在預(yù)測(cè)產(chǎn)生的圖像時(shí) 參考的參考圖像的索引被交替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像，分 配的索引的參考圖像被參考，并且所產(chǎn)生的圖像被預(yù)測(cè)。
[0047]本發(fā)明的另一個(gè)方面中，在預(yù)測(cè)產(chǎn)生的圖像時(shí)參考的參考圖像的索引被交替分配 給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像。然后，分配的索引的參考圖像被參考， 并且圖像被預(yù)測(cè)，預(yù)測(cè)的圖像被編碼，并產(chǎn)生比特流。
[0048]應(yīng)注意，上述圖像處理設(shè)備可以是獨(dú)立的設(shè)備或者可以是構(gòu)造成單一圖像編碼設(shè) 備或圖像解碼設(shè)備的內(nèi)部塊。
[0049]發(fā)明的效果
[0050]根據(jù)本發(fā)明的一個(gè)方面，圖像可被解碼。特別地，編碼效率能夠得到提高。
[0051]根據(jù)本發(fā)明的另一個(gè)方面，圖像可被編碼。特別地，編碼效率能夠得到提高。
【專利附圖】

【附圖說明】
[0052]圖1是示出了圖像編碼設(shè)備的典型示例結(jié)構(gòu)的框圖。
[0053]圖2是解釋分配參考圖像索引的傳統(tǒng)方法的示例的圖。
[0054]圖3是示出了在三視點(diǎn)圖像的情況下視點(diǎn)之間的參考關(guān)系的示例的示意圖。
[0055]圖4是示出了在三視點(diǎn)圖像的情況下分配參考圖像索引的方法的示例的示意圖。
[0056]圖5是示出了序列參數(shù)組的語法的示例的示意圖。[0057]圖6是示出了片段頭部的語法的示例的圖。
[0058]圖7是解釋了編碼過程的流程的示例的流程圖。
[0059]圖8是解釋參考圖像索引分配過程的流程的示例的流程圖。
[0060]圖9是示出了圖像解碼設(shè)備的典型示例結(jié)構(gòu)的框圖。
[0061]圖10是解釋了編碼處理的流程的不例的流程圖。
[0062]圖11是解釋了參考圖像索引分配過程的流程的示例的流程圖。
[0063]圖12是示出了時(shí)間第一(時(shí)間方向優(yōu)先)模式的示例的圖。
[0064]圖13是示出了視點(diǎn)第一(視點(diǎn)方向優(yōu)先)模式的示例的示意圖。
[0065]圖14是示出了時(shí)間第一鋸齒形(時(shí)間方向優(yōu)先交替)模式的示例的示意圖。
[0066]圖15是不出了視點(diǎn)第一(視點(diǎn)方向優(yōu)先交替)模式的不例的圖。
[0067]圖16是示出了序列參數(shù)組的語法的示例的圖。
[0068]圖17是示出了分配模式和假設(shè)場(chǎng)景的示例的圖。
[0069]圖18是示出了圖像編碼設(shè)備的另一種典型示例結(jié)構(gòu)的框圖。
[0070]圖19是示出了圖像解碼設(shè)備的另一種典型示例結(jié)構(gòu)的框圖。
[0071]圖20是示出了計(jì)算機(jī)的典型示例結(jié)構(gòu)的框圖。
[0072]圖21是示出了電視裝置的示例結(jié)構(gòu)的一個(gè)示例的框圖。
[0073]圖22是示出了移動(dòng)電話設(shè)備的示例結(jié)構(gòu)的一個(gè)示例的框圖。
[0074]圖23是示出了記錄/再現(xiàn)設(shè)備的示例結(jié)構(gòu)的一個(gè)示例的框圖。
[0075]圖24是示出了圖像裝置的示例結(jié)構(gòu)的一個(gè)示例的框圖。
【具體實(shí)施方式】
[0076]如下是實(shí)施本發(fā)明的方式的說明(以下簡(jiǎn)稱實(shí)施例)。將按照以下順序進(jìn)行解釋。
[0077]1.第一實(shí)施例(圖像編碼設(shè)備)
[0078]2.第二實(shí)施例(圖像解碼設(shè)備)
[0079]3.第三實(shí)施例(默認(rèn)分配模式的四種類型的示例)
[0080]4.第四實(shí)施例(圖像編碼設(shè)備)
[0081]5.第五實(shí)施例(圖像解碼設(shè)備)
[0082]6.第六實(shí)施例(計(jì)算機(jī))
[0083]7.修改例
[0084]〈1.第一實(shí)施例>
[0085][圖像編碼設(shè)備的示例結(jié)構(gòu)]
[0086]圖1示出了作為本發(fā)明所應(yīng)用的圖像處理設(shè)備的圖像編碼設(shè)備的一個(gè)實(shí)施例的 結(jié)構(gòu)。
[0087]圖1所示的圖像編碼設(shè)備100使用預(yù)測(cè)處理來編碼圖像數(shù)據(jù)。編碼格式的示例包 括H.264和MPEG (移動(dòng)圖像專家組)4第10部分(AVC (高級(jí)視頻碼))(以下簡(jiǎn)稱H.264/ AVC)系統(tǒng)，以及HEVC (高效視頻碼)系統(tǒng)。
[0088]在圖1所示的實(shí)施例中，圖像編碼設(shè)備100包括模/數(shù)(A/D)轉(zhuǎn)換器101、幀重排 緩存器102、算法運(yùn)算單元103、正交變換器104、量化器105、無損編碼器106以及累積緩存 器107。此外，圖像編碼設(shè)備100還包括逆向量化器108、逆向正交變換器109、算法運(yùn)算單元110、去塊濾波器111、解碼圖片緩存器112、選擇器113、幀內(nèi)預(yù)測(cè)器114、運(yùn)動(dòng)估計(jì)器/補(bǔ) 償器115、選擇器116和速率控制器117。
[0089]圖像編碼設(shè)備100還包括語法處理單元121和參考圖像索引分配單元122。
[0090]該A/D轉(zhuǎn)換器101為輸入圖像數(shù)據(jù)實(shí)施A/D轉(zhuǎn)換，將所得圖像數(shù)據(jù)輸出并存儲(chǔ)在 幀重排緩存器102中。
[0091]幀重排緩存器102根據(jù)GOP (圖像組)結(jié)構(gòu)而將所存儲(chǔ)的、以播放順序排列的圖像 幀重新安排為以編碼順序排列。幀重排緩存器102將具有重新排列的幀順序的圖像提供給 語法處理單元121。
[0092]語法處理單元121按序?qū)膸嘏啪彺嫫?02中讀出的圖像數(shù)據(jù)進(jìn)行確認(rèn)，并在 圖像數(shù)據(jù)中插入頭部信息。頭部信息包括序列參數(shù)組(SPS)、圖像參數(shù)組(PPS)等。另外， 語法處理單元121在片段的開始加上片段頭部(SH)。
[0093]語法處理單元121將被插入了頭部信息等的圖像提供給算法運(yùn)算單元103、幀內(nèi) 預(yù)測(cè)器114和運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115中。另外，語法操作單元121將頭部信息以及例如 片段頭部等的信息提供給參考圖像索引分配單元122。
[0094]算法運(yùn)算單元103從由語法處理單元121提供的圖像上減去預(yù)測(cè)圖像，并將其差 分信息輸出到正交變換器104，該預(yù)測(cè)圖像由幀內(nèi)預(yù)測(cè)器114或運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115通 過選擇器116提供。
[0095]例如，當(dāng)對(duì)圖像實(shí)施幀內(nèi)編碼時(shí)，算法運(yùn)算單元103從語法處理單元121提供的圖 像上減去由幀內(nèi)預(yù)測(cè)器114提供的預(yù)測(cè)圖像。進(jìn)一步的，例如，當(dāng)對(duì)圖像實(shí)施幀間編碼時(shí)， 算法運(yùn)算單元103從語法處理單元121提供的圖像上減去由運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115提供 的預(yù)測(cè)圖像。
[0096]正交變換器104對(duì)由算法運(yùn)算單元103提供的差分信息執(zhí)行正交變換，例如，離散 余弦變換或Karhunen-Loeve變換，并將變換系數(shù)提供給量化器105。
[0097]量化器105將從正交變換器104輸出的變換系數(shù)進(jìn)行量化。量化器105將量化變 換系數(shù)提供給無損編碼器106。
[0098]無損編碼器106對(duì)量化的變換系數(shù)執(zhí)行無損編碼，例如變長編碼或算法編碼。
[0099]無損編碼器106從幀內(nèi)預(yù)測(cè)器114獲取指示幀內(nèi)預(yù)測(cè)模式等的信息，并從運(yùn)動(dòng)估 計(jì)器/補(bǔ)償器115獲取指示幀間預(yù)測(cè)模式、運(yùn)動(dòng)矢量信息等。
[0100]無損編碼器106對(duì)量化的變換系數(shù)進(jìn)行編碼，還使得幀內(nèi)預(yù)測(cè)模式信息、幀間預(yù) 測(cè)模式信息、運(yùn)動(dòng)矢量信息以及量化參數(shù)作為編碼數(shù)據(jù)的頭部信息的一部分(多路復(fù)用信 息)被包含在其中。無損編碼器106將通過編碼所獲得的編碼后的數(shù)據(jù)提供并儲(chǔ)存在累積 緩存器107中。
[0101]例如，在無損編碼器106中執(zhí)行無損編碼處理，例如變長編碼或算法編碼。變長編 碼的示例包括上下文的自適應(yīng)變長碼(CAVLC)。算法編碼的一個(gè)例子包括上下文的自適應(yīng) 二進(jìn)制算法碼(CABAC)。
[0102]累積緩存器107暫時(shí)存儲(chǔ)由無損編碼器106提供的編碼后的數(shù)據(jù)，并將編碼后的 數(shù)據(jù)作為編碼圖像輸出給后續(xù)步驟中的錄制設(shè)備(未示出)和傳輸路徑等。
[0103]由量化器105所量化的變換系數(shù)也被提供給逆向量化器108。該逆向量化器108 通過對(duì)應(yīng)于量化器105執(zhí)行的量化的方法將量化的變換系數(shù)進(jìn)行逆向量化。逆向量化器108將所得的變換系數(shù)提供給逆向正交變換器109。
[0104]逆向正交變換器109采用對(duì)應(yīng)于正交變換器104執(zhí)行的正交變換處理的方法對(duì)所 提供的變換系數(shù)執(zhí)行逆向正交變換。向逆向正交變換(恢復(fù)的差分信息)的輸出被提供給算 法運(yùn)算單元110。
[0105]算法運(yùn)算單元110將由幀內(nèi)預(yù)測(cè)器114或運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115通過選擇器116 提供的預(yù)測(cè)圖像與由逆向正交變換器109所提供的逆向正交變換結(jié)果(也即恢復(fù)的差分信 息)相加而獲取本地解碼圖像(被解碼的圖像)。
[0106]例如，當(dāng)差分信息對(duì)應(yīng)于施加幀內(nèi)編碼的圖像時(shí)，算法運(yùn)算單元110將幀內(nèi)預(yù)測(cè) 器114提供的預(yù)測(cè)圖像與差分信息相加。進(jìn)一步，例如，當(dāng)差分信息對(duì)應(yīng)于施加幀間編碼的 圖像時(shí)，算法運(yùn)算單元110將運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115提供的預(yù)測(cè)圖像與差分信息相加。
[0107]相加結(jié)果被提供給去塊濾波器111和解碼圖片存儲(chǔ)器112。
[0108]去塊濾波器111通過合適地執(zhí)行去塊濾波處理而從解碼圖像上移除塊失真。去塊 濾波器111將濾波結(jié)果提供給解碼圖片存儲(chǔ)器112。
[0109]在預(yù)定的時(shí)機(jī)，解碼圖片存儲(chǔ)器112通過選擇器113輸出所累積的參考圖像至幀 內(nèi)預(yù)測(cè)器114或運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115。
[0110]例如，當(dāng)對(duì)圖像施加幀內(nèi)編碼時(shí)，解碼圖片存儲(chǔ)器112通過選擇器113將參考圖像 提供給幀內(nèi)預(yù)測(cè)器114。進(jìn)一步，例如，當(dāng)對(duì)圖像施加幀間編碼時(shí)，解碼圖片存儲(chǔ)器112通過 選擇器113將參考圖像提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115。
[0111]當(dāng)解碼圖片存儲(chǔ)器112所提供的參考圖像是待執(zhí)行幀內(nèi)解碼的圖像時(shí)，選擇器 113將該參考圖像提供給幀內(nèi)預(yù)測(cè)器114。進(jìn)一步，當(dāng)解碼圖片存儲(chǔ)器112所提供的參考圖 像是施加幀間解碼的圖像時(shí)，選擇器113將該參考圖像提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115。
[0112]幀內(nèi)預(yù)測(cè)器114通過使用由語法處理單元121提供的輸入圖像幀內(nèi)的像素值執(zhí)行 幀內(nèi)預(yù)測(cè)(幀內(nèi)預(yù)測(cè))以產(chǎn)生預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)器114以多種的模式(幀內(nèi)預(yù)測(cè)模式)執(zhí) 行幀內(nèi)預(yù)測(cè)。
[0113]幀內(nèi)預(yù)測(cè)器114產(chǎn)生所有幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)圖像，評(píng)估預(yù)測(cè)圖像，并選擇最佳 模式。在選擇了最佳幀內(nèi)預(yù)測(cè)模式之后，幀內(nèi)預(yù)測(cè)器114把以最佳預(yù)測(cè)模式所產(chǎn)生的預(yù)測(cè) 圖像通過選擇器116提供給算法運(yùn)算單元113以及算法運(yùn)算單元110。
[0114]另外，如上所述的，幀內(nèi)預(yù)測(cè)器114還把信息，例如，指示出所采用的幀內(nèi)預(yù)測(cè)模 式的幀內(nèi)預(yù)測(cè)模式信息合適地提供給無損編碼器106。
[0115]通過使用由語法處理單元121提供的輸入圖像以及通過選擇器113由解碼圖片緩 存器112提供的參考圖像，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115對(duì)待執(zhí)行幀間編碼的圖像執(zhí)行運(yùn)動(dòng)差 別預(yù)測(cè)。此時(shí)，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115使用由參考圖像索引分配單元122分配的參考圖 像索引的參考圖像。根據(jù)探測(cè)到的運(yùn)動(dòng)矢量和差別矢量，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115執(zhí)行運(yùn) 動(dòng)補(bǔ)償處理，從而產(chǎn)生預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。
[0116]運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115以所有備選的幀間預(yù)測(cè)模式執(zhí)行幀間預(yù)測(cè)處理，以產(chǎn)生 預(yù)測(cè)圖像。運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115通過選擇器116將產(chǎn)生的預(yù)測(cè)圖像提供給算法運(yùn)算單 元103和算法運(yùn)算單元110。
[0117]進(jìn)一步，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115將指示出所采用的幀間預(yù)測(cè)模式的幀間預(yù)測(cè)模 式信息以及指示出計(jì)算所得的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量信息提供給無損編碼器106。[0118]當(dāng)對(duì)圖像施加幀內(nèi)編碼時(shí)，選擇器116將幀內(nèi)預(yù)測(cè)器114的輸出提供給算法運(yùn)算 單元103和算法運(yùn)算單元110，并且當(dāng)對(duì)圖像施加幀間編碼時(shí)，選擇器116將運(yùn)動(dòng)估計(jì)器/ 補(bǔ)償器115的輸出提供給算法運(yùn)算單元103和算法運(yùn)算單元110。
[0119]基于在累積緩存器107中積累的壓縮圖像，速率控制器117控制量化器105的量 化處理速率，從而不會(huì)導(dǎo)致溢位或不足。
[0120]參考圖像索引分配單元122可替換地將參考圖像的索引分配給視點(diǎn)方向上的可 參考圖像和時(shí)間方向上的可參考圖像，其中，參考圖像是當(dāng)預(yù)測(cè)待處理的圖像時(shí)，由運(yùn)動(dòng)估 計(jì)器/補(bǔ)償器115參考的。在分配中，頭部信息(例如頭部信息)和來自語法處理單元121 的序列參數(shù)組作為圖像的信息而被參考。另外，作為參考圖像的信息，可從參考圖像的頭部 信息中獲得的參考圖像的時(shí)間信息和視點(diǎn)信息被累積在解碼圖片緩存器112中。
[0121]參考圖像索引分配單元122將分配的參考圖像索引提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器 115。
[0122][分配參考圖像索引的方法]
[0123]在H.264/AVC和HEVC中，分配在相同的視點(diǎn)中的參考圖像索引的方法在下文中介紹。
[0124]當(dāng)解碼圖像時(shí)，參考圖像索引可被分配給被解碼的圖像。
[0125]參考圖像的索引可被分配給在解碼圖片緩存器112中的可參考圖像。參考圖像索 引的最大值可通過作為頭部信息被傳送中而被改變。
[0126]當(dāng)解碼圖像是P圖片時(shí)，相對(duì)于列表L0，較小的參考圖像索引被分配給在可參考 圖像中在解碼順序上更接近的可參考圖像。
[0127]當(dāng)解碼圖像是B圖片時(shí)，較小的參考圖像索引被分配給在可參考圖像中以POC(圖 片順序計(jì)數(shù)，其為指示在向前方向上輸出圖像的順序的信息)降序排列的可參考圖像，并且 之后，相對(duì)于列表L0，較小的參考圖像索引被分配給在可參考圖像中在向后方向上以POC 升序排列的可參考圖像。另外，較小的參考圖像索引被分配給在可參考圖像中在向后方向 上以POC升序排列的可參考圖像，并且現(xiàn)在，相對(duì)于列表LI，較小的參考圖像索引被分配給 在可參考圖像中在向前方向上以POC降序排列的可參考圖像。
[0128]圖2是示出了分配參考圖像索引的傳統(tǒng)方法的示例的示意圖。在圖2所示的例子 中，PicNum代表解碼順序的索引，POC代表時(shí)間索引(圖片的輸出順序)，并且方形表示圖片。
[0129]應(yīng)注意，圖2的例子是在相同的視點(diǎn)(View_id=0)內(nèi)的例子。圖2的例子從最上 面開始示出以POC順序排列的圖片，以解碼順序排列的圖片以及以解碼順序排列的、在解 碼圖片中用到的分配有參考圖像索引的參考圖像。進(jìn)一步，在圖2所示的例子中，作為參考 圖像索引，相對(duì)于列表LO示出ref_idx_10=0至2,相對(duì)于列表LI示出ref_idx_ll=0至2。
[0130]在下文中，從左邊開始的解碼順序進(jìn)行說明。I_vi0是POC (輸出順序)的第0個(gè)， 代表view_id=0的I圖片，并且也是PicNum(解碼順序)的第0個(gè)。由于Since I_vi0是 I圖片，所以圖像沒有被參考，如帶有0的箭頭所示。
[0131]P_vi0在POC (輸出順序)中是第八個(gè)，代表view_id=0的P圖片，并且在PicNum (解碼順序)中是第一個(gè)。P_vi0是P圖片，且迄今為止僅I_vi0已被解碼。因此，如帶有I 的箭頭所示的，列表LO的參考圖像索引ref_idx_10=0被分配給I_vi0。
[0132]在POC (輸出順序)中是第四個(gè)的B4_vi0代表view_id=0的B圖片，并且且在PicNum (解碼順序)中是第二個(gè)。B4_vi0是B圖片，且僅I_viO和P_viO已被解碼。因此， 如帶有2的箭頭所示的，列表LO的參考圖像索引ref_idx_10=0被分配給I_vi0且ref_ idx_10=l被分配給？_￥；10。另外,列表LI的參考圖像索引ref_idx_ll=0被分配給P_vi0 且 ref_idx_ll=l 被分配給 I_vi0。
[0133]在POC (輸出順序)中是第二個(gè)的B2_vi0代表view_id=0的B圖片，且在PicNum (解碼順序)中是第三個(gè)。B2_vi0是B圖片，且I_vi0、P_vi0和B4_vi0已被解碼。因此， 如帶有3的箭頭所示的,列表LO的參考圖像索引ref_idx_10=0被分配給I_vi0,ref_idx_ 10=1被分配給134_￥；10,16；1^_1(11_10=2被分配給？_￥；10。另外,列表LI的參考圖像索引ref_ idx_ll=01 被分配給 P_vi0, ref_idx_ll=l 被分配給 B4_vi0 且 ref_idx_ll=2 被分配給 1_ vi0o
[0134]在POC (輸出順序)中是第六個(gè)的B6_vi0代表view_id=0的B圖片，且在PicNum (解碼順序)中是第四個(gè)。B6_vi0是B圖片，且I_vi0、P_vi0、B4_vi0和B2_vi0已被解碼。 因此，如帶有4的箭頭所示的，列表LO的參考圖像索引ref_idx_10=0被分配給B2_vi0, ref_idx_10=l被分配給B4_vi0,且ref_idx_10=2被分配給I_vi0。另外，作為列表LI的參考圖像索引的ref_idx_ll=0被分配給P_viO,ref_idx_ll=l被分配給B4_vi0且ref_idx_ 11=2被分配給B2_vi0。
[0135]在POC (輸出順序)中是第一個(gè)的Bl_vi0代表view_id=0的B圖片，且在PicNum (解碼順序)中是第五個(gè)。Bl_vi0是B圖片，且I_vi0、P_vi0、B4_vi0、B2_vi0和B6_vi0已被解碼。因此，如帶有5的箭頭所示的，作為列表LO的參考圖像索引的ref_idX_10=0被分配給 I_vi0, ref_idx_10=l 被分配給 B2_vi0 且 ref_idx_10=2 被分配給 B4_vi0。另外，作為列表LI的參考圖像索引的ref_idx_ll=0被分配給B2_vi0,ref_idx_ll=l被分配給B4_ viO,且 ref_idx_ll=2 被分配給 B6_vi0。
[0136]在POC (輸出順序)中是第三個(gè)的B3_vi0代表view_id=0的B圖片，且在PicNum (解碼順序)中是第六個(gè)。B3_vi0 是 B 圖片，且 I_viO、P_viO、B4_viO、B2_viO、B6_viO 和 Bl_ viO已被解碼。因此，如帶有6的箭頭所示的，作為對(duì)列表LO的參考圖像索引的ref_idx_ 10=0 被分配給 B2_vi0, ref_idx_10=l 被分配給 Bl_vi0 且 ref_idx_10=2 被分配給 I_vi0。 另外，作為對(duì)列表LI的參考圖像索引ref_idx_ll=0被分配給B4_vi0, ref_idx_ll=l被分配給 B6_vi0,且 ref_idx_ll=2 被分配給 P_vi0。
[0137]在POC (輸出順序)中是第五個(gè)的B5_vi0代表view_id=0的B圖片，且在PicNum (解碼順序)中是第七個(gè)。B5_vi0 是 B 圖片，且 I_viO、P_viO、B4_viO、B2_viO、B6_viO、Bl_ viO和B3_vi0已被解碼。因此，如帶有7的箭頭所示的，作為對(duì)列表LO的參`考圖像索引的 ref_idx_10=0 被分配給 B4_vi0, ref_idx_10=l 被分配給 B3_vi0 且 ref_idx_10=2 被分配給B2_vi0。另外,作為對(duì)列表LI的參考圖像索引的ref_idx_ll=0被分配給B6_vi0, ref_ idx_ll=l 被分配給 P_vi0,且 ref_idx_ll=2 被分配給 B4_vi0。
[0138]在POC (輸出順序)中是第七個(gè)的B7_vi0代表view_id=0的B圖片，且在PicNum (解碼順序)中是第八個(gè)。B7_vi0 是 B 圖片，且 I_viO、P_viO、B4_viO、B2_viO、B6_viO、Bl_ viO、B3_viO和B5_vi0已被解碼。因此，如帶有8的箭頭所示的，作為對(duì)列表LO的參考圖像索引的 ref_idx_10=0 被分配給 B6_vi0, ref_idx_10=l 被分配給 B5_vi0 且 ref_idx_10=2 被分配給B4_vi0。另外，作為對(duì)列表LI的參考圖像索引的ref_idx_ll=0被分配給P_vi0,ref_idx_ll=l 被分配給 B6_vi0,且 ref_idx_ll=2 被分配給 B5_vi0。
[0139]然而，上述分配參考圖像索引的方法是在相同視點(diǎn)的情況下進(jìn)行的。相反的，在多 視點(diǎn)編碼的情況下，在a 264/AV和HEVC中，當(dāng)索引被分配給所有的時(shí)間方向上的參考圖像 之后，參考圖像索引被分配給視點(diǎn)方向上的參考圖像。然后，如果因?yàn)榉峙淞藚⒖紙D像索引 的編碼效率而需要改變參考圖像索引時(shí)，在每個(gè)情況下都傳送改變指令，并且傳送本身將 導(dǎo)致編碼效率的下降。
[0140]以下描述在多視點(diǎn)情況下為了提高編碼效率而分配參考圖像索引的默認(rèn)方法。
[0141]圖3是示出了在三視點(diǎn)圖像的情況下視點(diǎn)之間的參考關(guān)系的示意圖。圖3中的例 子示出了從左邊開始以POC升序(也即，以升序排列的時(shí)間信息)排列的I圖片、B2圖片、BI 圖片、B2圖片、BO圖片、B2圖片、BI圖片、B2圖片和P圖片。PicNum的索引也在POC索引 的上方示出。
[0142]另夕卜，從上面開始也示出了視點(diǎn)0 (View_id_0)、視點(diǎn)I (View_id_l)和視點(diǎn) 2 (View_id_2)具有相同的時(shí)間信息和不同的差別信息。
[0143]圖3的例子示出了視點(diǎn)O、視點(diǎn)2和視點(diǎn)I以這種順序進(jìn)行解碼。
[0144]視點(diǎn)0被稱為基視點(diǎn)，其圖像可以使用時(shí)間預(yù)測(cè)來編碼。視點(diǎn)I和視點(diǎn)2被稱為 非基視點(diǎn)，其圖像可使用時(shí)間預(yù)測(cè)和差別預(yù)測(cè)來編碼。
[0145]在差別預(yù)測(cè)中，視點(diǎn)I的圖像可參考視點(diǎn)0和視點(diǎn)2的編碼圖像，如箭頭所示。因 此，其中的視點(diǎn)I在POC中是第八個(gè)的P圖片是時(shí)間預(yù)測(cè)的P圖片，但在差別預(yù)測(cè)中稱為B 圖片。
[0146]在差別預(yù)測(cè)中，視點(diǎn)2的圖像可參考視點(diǎn)0的編碼圖像，如箭頭所示。
[0147]在圖3的三視點(diǎn)圖像中，解碼如下進(jìn)行，首先，基視點(diǎn)的圖像被解碼，其他視點(diǎn)的 圖像被全部解碼，并且然后，開始下一時(shí)間(PicNum)的基視點(diǎn)圖像的解碼。
[0148]這里，通常有這樣的情況:在參考圖像中，具有高參考率的參考圖像通常是時(shí)間上 最接近要被預(yù)測(cè)的圖像的參考圖像，并且與預(yù)測(cè)圖像相同時(shí)間的圖像并具有不同視角的圖 像。
[0149]根據(jù)前述，在圖像解碼設(shè)備100中，相對(duì)于三視點(diǎn)圖像，如下的參考圖像索引的分 配默認(rèn)執(zhí)行。
[0150]參考圖像索引分配單元122參考解碼圖像的時(shí)間信息和視點(diǎn)信息以及參考圖像 的時(shí)間信息和視點(diǎn)信息，并且執(zhí)行參考圖像索引至可參考圖像的分配。此處，時(shí)間信息是 POC和PicNum。視點(diǎn)信息是視點(diǎn)ID和下文所述的序列參數(shù)的視點(diǎn)參考信息。
[0151]參考圖像索引分配單元122按序?qū)碜韵嗤朁c(diǎn)的較小的參考圖像分配給不同 的視點(diǎn)，并且將較小的參考圖像索引分配給與被解碼圖像的時(shí)間較近的參考圖像。
[0152]作為分配的方法，參考圖像索引分配單元122交替將參考圖像索引分配給相同視 點(diǎn)、不同時(shí)間的參考圖像以及相同時(shí)間、不同視點(diǎn)的參考圖像。應(yīng)注意，參考圖像索引可以 連續(xù)的分配給相同時(shí)間的多個(gè)視點(diǎn)。
[0153]當(dāng)解碼視點(diǎn)I的圖像時(shí)，參考圖像索引分配單元122將同一時(shí)間的視點(diǎn)0和視點(diǎn) 2的圖像和過去時(shí)間的所有視點(diǎn)的圖像都作為可參考圖像。
[0154]另外，當(dāng)解碼視點(diǎn)I的圖像時(shí)，參考圖像索引分配單元122將同一時(shí)間的視點(diǎn)I和 視點(diǎn)0的圖像作為相對(duì)于列表LO的參考圖像，將同一時(shí)間的視點(diǎn)I和視點(diǎn)2的圖像作為相對(duì)于列表LI的參考圖像。然后，在任一情況下，參考圖像索引被交替地分配給相同視點(diǎn)、不 同時(shí)間的參考圖像以及相同時(shí)間、不同視點(diǎn)的參考圖像。應(yīng)注意，一個(gè)視點(diǎn)中參考圖像的順 序相對(duì)于列表LO是向前方向的POC升序,并且相對(duì)于LI是向后方向的POC降序。在P圖 片的情況下，順序是降序。
[0155]例如，相對(duì)于列表L0，參考圖像索引分配單元122首先將參考圖像索引=0分配給 相同視點(diǎn)(視點(diǎn)I)的、且在過去的時(shí)間中具有最近的時(shí)間距離的參考圖像。接下來，參考圖 像索引分配單元122將參考圖像索引=1分配給視點(diǎn)0的、相同時(shí)間的參考圖像。另外，參 考圖像索引分配單元122將參考圖像索引=2分配給相同視點(diǎn)(視點(diǎn)I)的、且具有下一個(gè)最 近的時(shí)間距離的參考圖像。然后，參考圖像索引分配單元122將參考圖像索引=3分配給相 同視點(diǎn)0的、且具有下一個(gè)最近的時(shí)間距離的參考圖像。這種重復(fù)對(duì)于參考圖像索引=4以 及后續(xù)的索引按需執(zhí)行。
[0156]另外，相對(duì)于列表LI，參考圖像索引分配單元122首先將參考圖像索引=0分配給 相同視點(diǎn)(視點(diǎn)I)的、且在過去的時(shí)間中具有最近的時(shí)間距離的參考圖像。接下來，參考圖 像索引分配單元122將參考圖像索引=1分配給視點(diǎn)2的、相同時(shí)間的參考圖像。另外，參 考圖像索引分配單元122將參考圖像索引=2分配給相同視點(diǎn)(視點(diǎn)I)的、且具有下一個(gè)最 近的時(shí)間距離的參考圖像。然后，參考圖像索引分配單元122將參考圖像索引=3分配給相 同視點(diǎn)2的、且具有下一個(gè)最近的時(shí)間距離的參考圖像。這種重復(fù)對(duì)于參考圖像索引=4以 及后續(xù)的索引按需執(zhí)行。
[0157]應(yīng)注意，下文中，相同視點(diǎn)和不同時(shí)間的參考圖像也將稱為時(shí)間方向上的可參考 圖像，相同時(shí)間、不同視點(diǎn)的參考圖像也將稱為視點(diǎn)方向上的可參考圖像。
[0158]基于上述三視點(diǎn)圖像情況下的分配參考圖像索引的方法，將描述圖4的例子。
[0159]圖4是示出了通過參考圖像索引分配單元122進(jìn)行分配參考圖像索引的方法的示 意圖。在圖4的例子中，PicNum代表解碼順序的索引，POC代表時(shí)間的索引(圖片的輸出順 序)，方塊代表圖片。
[0160]應(yīng)注意，圖4的例子是視點(diǎn)0(View_id_0)、視點(diǎn)l(View_id_l)和視點(diǎn)2(View_ id_2)的三視點(diǎn)圖片的例子，并且三視點(diǎn)的解碼順序按照視點(diǎn)O、視點(diǎn)2和視點(diǎn)I進(jìn)行。
[0161]在圖4的例子中，從上邊開始，示出了按照POC順序安排的三視點(diǎn)圖片，按照解碼 順序安排的三視點(diǎn)圖片以及在解碼視點(diǎn)I的圖片(解碼順序)時(shí)使用的參考圖像索引被分配 的參考圖片。另外，在圖4所不的例子中，作為參考圖像索引，相對(duì)于列表LO不出ref_idx_ 10=0至3,相對(duì)于列表LI示出ref_idx_ll=0至3。
[0162]下文中，視點(diǎn)I的解碼圖像的例子用具有白色字的黑色方塊來示出，下面以從左 開始的解碼順序進(jìn)行描述。在POC (輸出順序)中是第0個(gè)的I_vil代表view_id=l的I圖 片，并且在PicNum(decoding order)中是第0個(gè)。因?yàn)镮_vil是I圖片，圖像沒有被參考， 如帶有0的箭頭所示。
[0163]在POC (輸出順序)中是第八個(gè)的P_vil代表view_id=l的P圖片，且在PicNum (解碼順序)中是第一個(gè)。P_vil是P圖片，且I_vi0、I_vi2、I_viU PviO和P_vi2已被解 碼。應(yīng)注意，參考圖3，如上所述的，P_vil在視點(diǎn)中是B圖片。
[0164]因此，如帶有I的箭頭所示的，列表LO的參考圖像索引ref_idX_10=0被分配給作 為相同視點(diǎn)的I_vil,ref_idx_10=2被分配給作為不同視點(diǎn)的P_vi0。另外,作為對(duì)列表LI的參考圖像索引的ref_idx_10=0被分配給作為相同視點(diǎn)的I_vil,ref_idx_10=2被分配給作為不同視點(diǎn)的？_^2。
[0165]在POC (輸出順序)中是第四個(gè)的B4_vil代表view_id=l的B圖片,且在PicNum (解碼順序)中是第二個(gè)。B4_vil 是 B 圖片，且僅 I_viO、I_vi2、I_vil、PviO、P_vi2、P_vil、 B4_vi0和B4_vi2已被解碼。
[0166]因此，如帶有2的箭頭所示的，作為對(duì)列表LO的參考圖像索引的ref_idx_10=0被分配給作為相同視點(diǎn)的I_vi I,且ref_idx_l0=I被分配給作為不同視點(diǎn)的B4_vi0。接下來， ref_idx_10=2被分配給作為相同視點(diǎn)的P_vil,且ref_idx_10=3被分配給作為不同視點(diǎn)的 I—viO。
[0167]另外，作為列表LI的參考圖像索引的ref_idx_ll=0被分配給作為相同視點(diǎn)的P_ vil,且ref_idx_10=l被分配給作為不同視點(diǎn)的B4_vi2。接下來，ref_idx_10=2被分配給作為相同視點(diǎn)的I_vil,且ref_idx_10=3被分配給作為不同視點(diǎn)的P_vi2。
[0168]在POC (輸出順序)中是第二個(gè)的B2_vil代表view_id=l的B圖片，且在PicNum (解碼順序)中是第三個(gè)。B2_vil 是 B 圖片，且 I_vi0、I_vi2、I_vil、PviO、P_vi2、P_vil、 B4_viO、B4_vi2、B4_vil、B2_viO 和 B2_vi2 已被解碼。
[0169]因此，如帶有3的箭頭所示的，作為對(duì)列表LO的參考圖像索引ref_idX_10=0被分配給作為相同視點(diǎn)的I_vil,ref_idx_10=l被分配給作為不同視點(diǎn)的B2_vi0。接下來，ref_ idx_10=2被分配給作為相同視點(diǎn)的B4_vil,參考圖像索引ref_idx_10=3被分配給作為不同視點(diǎn)的I_vi0。
[0170]另外，作為列表LI的參考圖像索引的ref_idx_l I =0被分配給作為相同視點(diǎn)的B4_ vil,且ref_idx_10=l被分配給作為不同視點(diǎn)的B2_vi2。接下來，ref_idx_10=2被分配給作為相同視點(diǎn)的P_vil,且ref_idx_10=3被分配給作為不同視點(diǎn)的B4_vi2。
[0171]在POC (輸出順序)中是第六個(gè)的B6_vil代表view_id=l的B圖片，且在PicNum (解碼順序)中是第四個(gè)。B6_vil 是 B 圖片，且 I_vi0、I_vi2、I_vil、PviO、P_vi2、P_vil、 B4_vi0、B4_vi 2、B4_vi 1、B2_vi0、B2_vi 2、B2_vi 1、B6_vi0 和 B6_vi 2 已`被解碼。
[0172]因此，如帶有4的箭頭所示的，作為對(duì)列表LO的參考圖像索引的ref_idx_10=0被分配給作為相同視點(diǎn)的B4_vil,ref_idx_10=l被分配給作為不同視點(diǎn)的B6_vi0。接下來， ref_idx_10=2被分配給作為相同視點(diǎn)的B2_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的 B4_vi0。
[0173]另外，作為對(duì)列表LI的參考圖像索引的ref_idx_ll=0被分配給作為相同視點(diǎn)的 P_vil, ref_idx_10=l被分配給作為不同視點(diǎn)的B6_vi2。接下來，ref_idx_10=2被分配給作為相同視點(diǎn)的B4_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的P_vi2。
[0174]在POC (輸出順序)中是第一個(gè)的Bl_vil代表view_id=l的B圖片，且在PicNum (解碼順序)中是第五個(gè)。Bl_vil 是 B 圖片，且 I_vi0、I_vi2、I_vil、PviO、P_vi2、P_vil、 B4_vi0、B4_vi2、B4_vil、B2_vi0、B2_vi2、B2_vil、B6_vi0、B6_vi2、B6_viUBl_viO 和 Bl_ vi2已被解碼。
[0175]因此，如帶有5的箭頭所示的，作為對(duì)列表LO的參考圖像索引的ref_idx_10=0被分配給作為相同視點(diǎn)的I_vil, ref_idx_10=l被分配給作為不同視點(diǎn)的Bl_vi0。接下來， ref_idx_10=2被分配給作為相同視點(diǎn)的B2_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的I—viO。
[0176]另外，作為對(duì)列表LI的參考圖像索引的ref_idx_ll=0被分配給作為相同視點(diǎn)的 B2_viI,ref_idx_10=l被分配給作為不同視點(diǎn)的Bl_vi2。接下來,ref_idx_10=2被分配給 作為相同視點(diǎn)的B4_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的B2_vi2。
[0177]在POC (輸出順序)中是第三個(gè)的B3_vil代表view_id=l的B圖片，且在PicNum (解碼順序)中是第六個(gè)。B3_vil 是 B 圖片，且 I_vi0、I_vi2、I_vil、PviO、P_vi2、P_vil、 B4_vi0、B4_vi2、B4_vil、B2_vi0、B2_vi2、B2_vil、B6_vi0、B6_vi2、B6_vil、Bl_vi0、Bl_vi2、 Bl_vil、B3_viO 和 B3_vi2 已被解碼。
[0178]因此，如帶有6的箭頭所示的，作為對(duì)列表LO的參考圖像索引的ref_idx_10=0被 分配給作為相同視點(diǎn)的B2_vil,ref_idx_10=l被分配給作為不同視點(diǎn)的B3_vi0。接下來， ref_idx_10=2被分配給作為相同視點(diǎn)的Bl_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的 B2—viO。
[0179]另外，作為對(duì)列表LI的參考圖像索引的ref_idx_ll=0被分配給作為相同視點(diǎn)的 B4_viI,ref_idx_10=l被分配給作為不同視點(diǎn)的B3_vi2。接下來,ref_idx_10=2被分配給 作為相同視點(diǎn)的B6_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的B4_vi2。
[0180]在POC (輸出順序)中是第五個(gè)的B5_vil代表view_id=l的B圖片，且在PicNum (解碼順序)中是第七個(gè)。B5_vil 是 B 圖片，且 I_vi0、I_vi2、I_vil、P_vi0、P_vi2、P_vil、 B4_vi0、B4_vi2、B4_vil、B2_vi0、B2_vi2、B2_vil、B6_vi2、B6_vil、Bl_vi0、Bl_vi2、Bl_vil、 B3_viO、B3_vi2、B3_vil、B5_viO 和 B5_vi2 已被解碼。
[0181]因此，如帶有7的箭頭所示的，作為對(duì)列表LO的參考圖像索引的ref_idX_10=0被 分配給作為相同視點(diǎn)的B4_vil,ref_idx_10=l被分配給作為不同視點(diǎn)的B5_vi0。接下來， ref_idx_10=2被分配給作為相同視點(diǎn)的B3_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的 B4_vi0。
[0182]另外，作為對(duì)列表LI的參考圖像索引的ref_idx_ll=0被分配給作為相同視點(diǎn)的 B6_viI,ref_idx_10=l被分配給作為不同視點(diǎn)的B5_vi2。接下來,ref_idx_10=2被分配給 P_vil。接下來，ref_idx_12=0被分配給作為相同視點(diǎn)的P_vil,ref_idx_10=3被分配給作 為不同視點(diǎn)的B6_vi2。
[0183]在POC (輸出順序)中是第七個(gè)的B7_vil代表view_id=l的B圖片，且在PicNum (解碼順序)中是第八個(gè)。B7_vil 是 B 圖片，且 I_vi0、I_vi2、I_vil、PviO、P_vi2、P_vil、 B4_vi0、B4_vi2、B4_vil、B2_vi0、B2_vi2、B2_vil、B6_vi0、B6_vi2、B6_vil、Bl_vi0、Bl_vi2、 Bl_vi 1、B3_vi0、B3_vi2、B3_vi 1、B5_vi0、B5_vi2、B5_vi 1、B7_vi0 和 B7_vi2 已被解碼。
[0184]因此，如帶有8的箭頭所示的，作為對(duì)列表LO的參考圖像索引的ref_idx_10=0被 分配給作為相同視點(diǎn)的B6_vil,ref_idx_10=l被分配給作為不同視點(diǎn)的B7_vi0。接下來， ref_idx_10=2被分配給作為相同視點(diǎn)的B5_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的 B6—vi0o
[0185]另外，作為對(duì)列表LI的參考圖像索引的ref_idx_ll=0被分配給作為相同視點(diǎn)的 P_vil, ref_idx_10=l被分配給作為不同視點(diǎn)的B7_vi2。接下來，ref_idx_10=2被分配給 作為相同視點(diǎn)的B6_vil, ref_idx_10=3被分配給作為不同視點(diǎn)的P_vi2。
[0186]如上所述的，參考圖像索引交替分配給時(shí)間方向上的可參考圖像和視點(diǎn)方向上的可參考圖像。因此，較小的參考圖像索引被分配給具有更高參考率的參考圖像。結(jié)果，編碼 效率得到提高。
[0187]也即，較小的參考圖像索引對(duì)應(yīng)較小的編碼量。因此，較小的索引被分配給具有更 聞參考率的參考圖像，進(jìn)而使得整體編碼量很小。
[0188]另外，參考圖像索引可以通過傳送參考圖像索引的改變指令而自由地改變。此時(shí)， 需要編碼改變指令信息。
[0189]同時(shí)，通過使用上述默認(rèn)的分配參考圖像索引，有更多的機(jī)會(huì)適當(dāng)?shù)胤峙鋮⒖紙D 像索引，并且更少的機(jī)會(huì)傳送改變指令。因此，編碼效率能夠進(jìn)一步提高。
[0190]圖5是示出了序列參數(shù)組的語法的例子。圖中各行的左端是為了說明而采用的行號(hào)。
[0191]在圖5所示的例子中，max_num_ref_frames設(shè)在第21行。 max_num_ref_frames 是在該流中參考圖像的最大值(數(shù)量)。借此，參考圖像索引分配單元122識(shí)別可分配的參 考圖像的數(shù)量。
[0192]視點(diǎn)參考信息寫在第31至38行。例如，視點(diǎn)參考信息由視點(diǎn)的總數(shù)、視點(diǎn)的標(biāo)識(shí) 符、列表LO中差別預(yù)測(cè)的數(shù)量、列表LO中的參考視點(diǎn)的標(biāo)識(shí)符、列表LI中的差別預(yù)測(cè)的數(shù) 量以及列表LI中參考視點(diǎn)的標(biāo)識(shí)符構(gòu)造成。
[0193]具體的，num_views設(shè)置在第31行。num_views是包括在該流中的視點(diǎn)的總數(shù)。
[0194]view_id[i]設(shè)置在第33行。view_id[i]是區(qū)別視點(diǎn)的標(biāo)識(shí)符。
[0195]num_ref_views_10[i]設(shè)置在第 34 行。num_ref_views_10[i]是列表 LO 中差別 預(yù)測(cè)的數(shù)量。例如，當(dāng)“num_ref_views_10[i] ”是2時(shí),其表示在列表LO中有兩個(gè)視點(diǎn)可參考。
[0196]ref_view_id_10 [i] [j]設(shè)置在第 35 行。ref_view_id_10 [i] [j]是列表 LO 中差別 預(yù)測(cè)所參考的視點(diǎn)的標(biāo)識(shí)符。例如，即使有三個(gè)視點(diǎn)，當(dāng)“num_ref_views_10[i] ”是2時(shí)， "ref_view_id_10[i] [j] ”仍設(shè)置為識(shí)別在三個(gè)視點(diǎn)中哪兩個(gè)由列表LO參考。
[0197]num_ref_views_ll [i]設(shè)置在第 36 行。num_ref_views_ll [i]是列表 LI 中差別 預(yù)測(cè)的數(shù)量。例如，當(dāng)“num_ref_views_ll [i] ”是2時(shí),表示在列表LI中僅兩個(gè)視點(diǎn)可參 考。
[0198]ref_view_id_ll [i] [j]設(shè)置在第 37 行。ref_view_id_ll [i] [j]是列表 LI 中差 別預(yù)測(cè)中所參考的視點(diǎn)的標(biāo)識(shí)符。例如，即使有三個(gè)視點(diǎn)，當(dāng)“num_ref_views_ll [i] ”是2 時(shí)，“ref_VieW_id_ll[i] [j]”設(shè)置為識(shí)別在三個(gè)視點(diǎn)中哪兩個(gè)由列表LI參考。
[0199]圖6是示出了片段頭部的語法的例子的示意圖。圖中各行的左端是為了說明而采 用的行號(hào)。
[0200]在圖6所示的例子中，slice_type設(shè)置在第5行。slice_type指示出片段中哪個(gè) 是I片段、P片段和B片段。
[0201]view_id設(shè)置在第8行。view_id是識(shí)別視點(diǎn)的ID。借此，參考圖像索引分配單元 122可以識(shí)別視點(diǎn)。
[0202]pic_order_cnt_lsb 設(shè)置在第 12 行。pic_order_cnt_lsb 是時(shí)間信息(也即,POC: 圖片順序量)。
[0203]num_ref_idx_active_override_flag 設(shè)置在第 14 行。 num_ref_idx_active_override_flag是指示出是否參考圖像索引的有效數(shù)量由默認(rèn)改變的標(biāo)識(shí)。當(dāng)該標(biāo)識(shí)是I 時(shí)，在第16和17行中的設(shè)置變得有效。應(yīng)注意，參考圖像索引的默認(rèn)有效數(shù)量設(shè)置在圖片 參數(shù)組(未示出)中，并且當(dāng)該標(biāo)識(shí)是O時(shí)，默認(rèn)值變得有效。
[0204]num_ref_idx_10_active_minusl 設(shè)置在第 16 行。num_ref_idx_10_active_ minusl指示出當(dāng)?shù)?5行的標(biāo)識(shí)是I時(shí),列表LO中的參考圖像索引的有效數(shù)量。
[0205]num_ref_idx_ll_active_minusl 設(shè)置在第 17 行。 num_ref_idx_ll_active_ minusl指示出第5行的片段類型是B片段，并指示出當(dāng)?shù)?5行的標(biāo)識(shí)是I時(shí)，列表LI中的 參考圖像索引的有效數(shù)量。
[0206][編碼處理流程]
[0207]接下來描述上述圖像編碼設(shè)備100執(zhí)行的每個(gè)處理中的流程。首先參考圖7所示 的流程圖，描述了編碼處理中的一個(gè)示例流程。
[0208]在步驟SlOl中，A/D轉(zhuǎn)換器101對(duì)輸入圖像執(zhí)行A/D轉(zhuǎn)換。在步驟S102中，幀重 排緩存器102存儲(chǔ)由A/D轉(zhuǎn)換所得的圖像，并把每個(gè)圖像由播放順序排列為編碼順序。
[0209]在步驟S103中，語法處理單元121依序確認(rèn)從幀重排緩存器102中讀出的圖像數(shù) 據(jù)，并將頭部信息插入在圖像的數(shù)據(jù)中。語法處理單元121將插入了頭部信息等的圖像提 供給算法運(yùn)算單元103、幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115。另外，語法處理單 元121將例如序列參數(shù)組和片段頭部等信息提供給參考圖像索引分配單元122。
[0210]在步驟S104中，算法運(yùn)算單元103計(jì)算由語法處理單元121提供的圖像與預(yù)測(cè) 圖像之間的差分。預(yù)測(cè)圖像通過選擇器116在執(zhí)行幀間預(yù)測(cè)時(shí)由運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115 提供給算法運(yùn)算單元103，并且在執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)由幀內(nèi)預(yù)測(cè)器114提供給算法運(yùn)算單元 103。
[0211]差分?jǐn)?shù)據(jù)的數(shù)據(jù)量小于原始圖像數(shù)據(jù)的量。因此，可以使得數(shù)據(jù)量小于對(duì)圖像直 接編碼的情況。
[0212]在步驟S105中，正交變換器104對(duì)由步驟S104中的處理所產(chǎn)生的差分信息執(zhí)行 正交變換。特別地，執(zhí)行例如離散余弦變換或Karhunen-Loeve變換等正交變換，并輸出變 換系數(shù)。
[0213]在步驟S106中，量化器105對(duì)由步驟S105中的處理獲取的正交變換系數(shù)進(jìn)行量 化。
[0214]由步驟S106中的處理量化了的差分信息按以下方式進(jìn)行本地解碼。在步驟S107 中，通過使用與量化器105的特征相對(duì)應(yīng)的特征，逆向量化器108將由步驟S106中的處理 所產(chǎn)生的量化后的正交變換系數(shù)(還被稱作量化后的系數(shù))進(jìn)行逆向量化。
[0215]在步驟S108中，通過使用與正交變換器104的特征相對(duì)應(yīng)的特征，逆向正交變換 器109對(duì)由步驟S107中的處理獲取的正交變換系數(shù)執(zhí)行逆向正交變換。
[0216]在步驟S109中，算法運(yùn)算單元110將預(yù)測(cè)圖像與本地解碼差分信息相加，并產(chǎn)生 本地解碼圖像(對(duì)應(yīng)于輸入至算法運(yùn)算單元103的圖像)。
[0217]在步驟SllO中，去塊濾波器111對(duì)由步驟S109中的處理所產(chǎn)生的圖像執(zhí)行去塊 濾波處理。因此，塊失真被移除。
[0218]在步驟Slll中，解碼圖片緩存器112存儲(chǔ)已經(jīng)由步驟SllO的處理移除了塊失真 的圖像。應(yīng)當(dāng)注意的是，未經(jīng)過由去塊濾波器111執(zhí)行的濾波處理的圖像由算法運(yùn)算單元110提供給解碼圖片緩存器112，且存儲(chǔ)在解碼圖片緩存器112中。
[0219]在步驟S112中，幀內(nèi)預(yù)測(cè)器114以幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)處理。
[0220]在步驟S113中，參考圖像分配單元122執(zhí)行參考圖像索引的分配過程。將參考圖 8來詳細(xì)描述參考圖像索引的分配過程。參考圖像分配單元122將分配的參考圖像索引提 供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115。
[0221]在步驟SI 14中，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115執(zhí)行幀間運(yùn)動(dòng)差別預(yù)測(cè)過程，其通過使 用由步驟S113的處理分配的參考圖像索引的參考圖像，以幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)差別預(yù) 測(cè)或運(yùn)動(dòng)差別補(bǔ)償。
[0222]在步驟SI 15中，基于從幀內(nèi)預(yù)測(cè)器114和運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115輸出的成本函 數(shù)值，選擇器116確定最佳預(yù)測(cè)模式。也即，選擇器116選擇由幀內(nèi)預(yù)測(cè)器114產(chǎn)生的預(yù)測(cè) 圖像或者由運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115產(chǎn)生的預(yù)測(cè)圖像。
[0223]進(jìn)一步的，指示哪幅預(yù)測(cè)圖像已被選擇的選擇信息被提供給幀內(nèi)預(yù)測(cè)器114或運(yùn) 動(dòng)估計(jì)器/補(bǔ)償器115中其預(yù)測(cè)圖像已經(jīng)被選擇的那個(gè)。當(dāng)最佳幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)圖像 被選擇時(shí)，幀內(nèi)預(yù)測(cè)器114將指示出最佳幀內(nèi)預(yù)測(cè)模式的信息(即幀內(nèi)預(yù)測(cè)模式信息)提供 給無損編碼器106。
[0224]當(dāng)最佳幀間預(yù)測(cè)模式的預(yù)測(cè)圖像被選擇時(shí)，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115將指示最佳 幀間預(yù)測(cè)模式的信息以及根據(jù)最佳幀間預(yù)測(cè)模式的信息按照需要提供給無損編碼器106。 根據(jù)最佳幀間預(yù)測(cè)模式的信息的例子可以包括運(yùn)動(dòng)矢量信息、標(biāo)識(shí)信息、和參考幀信息等。
[0225]在步驟S116中，無損編碼器106對(duì)由步驟S106中的處理量化的變換系數(shù)進(jìn)行編 碼。也即，無損編碼(例如變長編碼或算法編碼)被施加到差分圖像(在幀間預(yù)測(cè)的情況下， 是次差分圖像)。
[0226]無損編碼器106還將由步驟S115中的處理選擇的預(yù)測(cè)圖像的預(yù)測(cè)模式進(jìn)行編碼 與通過編碼差分圖像而獲得的編碼數(shù)據(jù)相加。也即，無損編碼器106還將由幀內(nèi)預(yù)測(cè)器114 提供的幀內(nèi)預(yù)測(cè)模式信息或者由運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115提供的根據(jù)最佳幀間預(yù)測(cè)模式的 信息等與編碼數(shù)據(jù)相加。
[0227]在步驟SI 17中，累積緩存器107累積由無損編碼器106輸出的編碼數(shù)據(jù)。在累積 緩存器107累積的編碼數(shù)據(jù)被按照需要讀取，并通過傳輸路徑被傳送至解碼側(cè)。
[0228]在步驟S118中，基于由步驟S115中的處理在累積緩存器107中累積的壓縮圖像， 速率控制器117控制量化器105的量化處理速率，以防止溢位或不足。
[0229]在步驟SI 18完成后，編碼處理結(jié)束。
[0230][參考圖像索引分配流程]
[0231]接下來參考圖8中的流程圖來描述圖7的步驟S113中執(zhí)行的參考圖像索引分配 過程的流程的示例。應(yīng)注意，該過程僅在解碼圖像(即，待預(yù)測(cè)的圖像)是P圖片或B圖片的 情況下執(zhí)行。
[0232]在上述圖7的步驟S103中，語法處理單元121將解碼圖像的例如序列參數(shù)組和片 段頭部等信息提供給參考圖像索引分配單元122。
[0233]在步驟S131中，參考圖像索引分配單元122接收解碼圖像的視點(diǎn)參考信息。該視 點(diǎn)參考信息被寫在來自于語法處理單元121的序列參數(shù)上，如參考圖5所述的。通過獲得 視點(diǎn)參考信息，參考圖像索引分配單元122能識(shí)別將要在列表LO和LI中參考的視點(diǎn)的數(shù)量和標(biāo)識(shí)符。
[0234]在步驟S132中，參考圖像索引分配單元122接收參考圖像的最大值。該參考圖像 的最大值設(shè)置在參考圖5描述的序列參數(shù)的max_num_ref_frames中。
[0235]在步驟S133中，參考圖像索引分配單元122判斷解碼圖像的圖片類型是否是P圖 片。解碼圖像的圖片類型寫在上述參考圖6的片段頭部sliCe_type中。在步驟S133中， 當(dāng)判斷為解碼的圖像類型是P圖片時(shí)，處理過程繼續(xù)至步驟S134。
[0236]應(yīng)注意，在下面的過程中，參考來自解碼圖片緩存器122中的參考圖像的時(shí)間信 息和視點(diǎn)信息。
[0237]在步驟S134中，參考圖像索引分配單元122將列表LO的參考圖像索引分配給沒 被分配參考圖像索引且在解碼順序上最接近的相同視點(diǎn)的參考圖像。
[0238]在步驟S135中，參考圖像索引分配單元122將列表LO的參考圖像索引分配給沒 被分配參考圖像索引且具有雖小于但最接近解碼圖像的視點(diǎn)的ID的相同時(shí)間的參考圖像。
[0239]在步驟S136中，參考圖像索引分配單元122判斷是否已經(jīng)完成將參考圖像索引分 配至同一時(shí)間的所有視點(diǎn)的參考圖像。在步驟S136中，當(dāng)判斷為還沒有完成將參考圖像索 引分配至同一時(shí)間的所有視點(diǎn)的參考圖像時(shí)，處理返回步驟S135，并重復(fù)后續(xù)步驟。
[0240]在步驟S136中，當(dāng)判斷為已經(jīng)完成將參考圖像索引分配至同一時(shí)間的所有視點(diǎn) 的參考圖像時(shí)，處理繼續(xù)進(jìn)行至步驟S137。在步驟S137中，參考圖像索引分配單元122判 斷參考圖像的索引是否小于步驟S132中接收的參考圖像的最大值(數(shù)量)。
[0241]在步驟S137中，當(dāng)判斷為參考圖像的索引小于參考圖像的最大值時(shí)，處理返回步 驟S134并重復(fù)后續(xù)步驟。在步驟S137中，當(dāng)判斷為參考圖像的索引是大于參考圖像的最 大值，則沒有待分配索引的參考圖像，并且因此，參考圖像索引分配處理終止，并且處理返 回圖7的步驟S133。
[0242]同時(shí)，在步驟S133，當(dāng)判斷為解碼圖像的圖片類型是B圖片，處理繼續(xù)進(jìn)行至步驟 S138。
[0243]在步驟S138中，參考圖像索引分配單元122將列表LO的一個(gè)參考圖像索引分配 給沒有被分配參考圖像索引且具有在解碼順序上最接近的相同視點(diǎn)的參考圖像。
[0244]在步驟S139中，參考圖像索引分配單元122將列表LO的一個(gè)參考圖像索引分配 給沒有被分配參考圖像索引且具有雖ID小于但最接近解碼圖像的視點(diǎn)的參考圖像。
[0245]在步驟S140中，參考圖像索引分配單元122判斷是否已經(jīng)完成將參考圖像索引分 配到同一時(shí)間所有視點(diǎn)的參考圖像。在步驟S140中，當(dāng)判斷為還沒有完成將參考圖像索引 分配到同一時(shí)間所有視點(diǎn)的參考圖像時(shí)，處理回到步驟S139，并重復(fù)后續(xù)流程。
[0246]在步驟S140中，當(dāng)判斷為已經(jīng)完成將參考圖像索引分配到同一時(shí)間所有視點(diǎn)的 參考圖像時(shí)，處理進(jìn)行至步驟S141。在步驟S141中，參考圖像索引分配單元122將列表LI 的一個(gè)參考圖像索引分配給未被分配參考圖像索引且在解碼順序上最接近的相同視點(diǎn)的 參考圖像。
[0247]在步驟S142中，參考圖像索引分配單元122將列表LI的一個(gè)參考圖像索引分配 給未被分配參考圖像索引且具有雖小于但最接近解碼圖像的視點(diǎn)的ID的相同時(shí)間的參考 圖像。[0248]在步驟S143中，參考圖像索引分配單元122判斷是否已經(jīng)完成將參考圖像索引分 配到相同時(shí)間所有視點(diǎn)的參考圖像。在步驟S143中，當(dāng)判斷為還沒有完成將參考圖像索引 分配到相同時(shí)間所有視點(diǎn)的參考圖像時(shí)，處理回到步驟S142，并重復(fù)后續(xù)流程。
[0249]在步驟S143中，當(dāng)確定了將參考圖像索引分配到相同時(shí)間所有視點(diǎn)的參考圖像 已完成時(shí)，處理往下進(jìn)行至步驟S144。在步驟S144中，參考圖像索引分配單元122判斷參 考圖像的索引是否小于在步驟S132中接收到的參考圖像的最大值(數(shù)量)。
[0250]在步驟S144中，當(dāng)判斷為參考圖像的索引小于參考圖像的最大值時(shí)，處理回到步 驟S138，并重復(fù)后續(xù)流程。在步驟S144中，當(dāng)判斷為參考圖像的索引是參考圖像的最大值 或更大時(shí)，沒有需要分配索引的參考圖像。因此，參考圖像索引分配過程終止，流程回到圖 7的步驟SI 13中。
[0251]應(yīng)注意，當(dāng)參考圖像的索引在步驟S137和S144中在達(dá)到參考圖像的最大值之前 參考圖像的索引為片段頭部設(shè)置的默認(rèn)有效數(shù)或在達(dá)到參考圖像的最大值之前設(shè)置的圖 片參數(shù)時(shí)，現(xiàn)在的流程也終止。
[0252]如上所述，參考圖像索引被交替的分配給時(shí)間方向的參考圖像和視點(diǎn)方向的參考 圖像。因此，較小的參考圖像索引被分配給具有更高參考率的參考圖像。因此，編碼效率能 夠得到提聞。
[0253]應(yīng)注意，在圖8的例子中描述了一個(gè)示例，其中，索引被分配給相同時(shí)間的所有視 點(diǎn)的參考圖像，然后索引被分配給下一個(gè)最近的解碼順序的參考圖像。也即，上述描述了 一個(gè)示例，其中，連續(xù)的索引被分配給相同時(shí)間所有視點(diǎn)的參考圖像，但分配不限于上述例 子。例如，索引可以一個(gè)接一個(gè)的交替分配給在時(shí)間方向和視點(diǎn)方向的參考圖像。
[0254]可替換的，連續(xù)的索引可以僅分配給圖5的序列參數(shù)組的視點(diǎn)參考信息所指示的 數(shù)量的視點(diǎn)。
[0255]也即，列表LO和列表LI的差別預(yù)測(cè)的數(shù)量在序列參數(shù)組的視點(diǎn)參考信息中設(shè)在 “ num_r e f_v i ew s_10 ”和“ num_r e f_v i ews_11 ”中。進(jìn)一步的,差別預(yù)測(cè)中參考的視點(diǎn)的標(biāo)識(shí) 符設(shè)在“ref_view_id_lI”和“ref_view_id_10”中。因此，當(dāng)索引被分配給視點(diǎn)方向上的 參考圖像時(shí)，連續(xù)的索引僅分配給基于參考信息的視點(diǎn)參考信息中所設(shè)置的視點(diǎn)。
[0256]進(jìn)一步的，當(dāng)索引被交替分配給時(shí)間方向和視點(diǎn)方向的參考圖像時(shí)，索引的分配 可以基于視點(diǎn)參考信息而確定。
[0257]可以認(rèn)為，由視點(diǎn)參考信息所指示的視點(diǎn)在圖像中有相對(duì)好的相關(guān)性，而視點(diǎn)參 考信息所未指示的視點(diǎn)在圖像中有相對(duì)低的相關(guān)性。因此，編碼效率可以通過使用索引的 分配信息來進(jìn)一步得到提高，在未被視點(diǎn)參考信息所指示的視點(diǎn)沒有用作待分配的視點(diǎn)的 位置的情況下，被視點(diǎn)參考信息所指示的視點(diǎn)被優(yōu)先分配。
[0258]進(jìn)一步的，在圖8的例子中，索引首先已經(jīng)在時(shí)間方向上被分配給參考圖像。然 而，索引可以首先在視點(diǎn)方向上分配給參考圖像，然后可以在時(shí)間方向上分配。此外，將參 考圖像索引首先在視點(diǎn)方向上分配給所有的參考圖像，然后將參考圖像索引在時(shí)間方向上 分配給參考圖像是可能的。此外，視點(diǎn)方向上的參考圖像可以限制在由視點(diǎn)參考信息所指 示的視點(diǎn)上。
[0259]進(jìn)一步的，按照類似于圖8的順序交替分配索引給時(shí)間方向上的參考圖像以及在 視點(diǎn)方向上的參考圖像的模式是時(shí)間方向優(yōu)先模式。相反的，交替將索引分配至視點(diǎn)方向上的參考圖像和時(shí)間方向上的參考圖像的模式是視點(diǎn)方向優(yōu)先模式。
[0260]可以構(gòu)造為將這兩種模式提前設(shè)定，并且指示出兩種模式中選擇了哪種的一個(gè)比 特模式標(biāo)識(shí)符被傳送給解碼側(cè)，索引的分配根據(jù)解碼側(cè)的標(biāo)識(shí)符來執(zhí)行。這種模式標(biāo)識(shí)符 可以為例如每個(gè)片段傳送。
[0261]例如，良好的模式是取決于圖像而不同的，例如，靜止的圖像或移動(dòng)的圖像。因此， 通過傳輸這種模式選擇標(biāo)識(shí)符，編碼效率相對(duì)于例如由圖像傳送改變指令的情況得到了提聞。
[0262]〈2.第二實(shí)施例>
[0263][圖像解碼設(shè)備]
[0264]圖9示出了應(yīng)用本發(fā)明的作為圖像處理設(shè)備的圖像解碼設(shè)備的一個(gè)實(shí)施例的結(jié) 構(gòu)。圖9所示的圖像解碼設(shè)備200是一個(gè)對(duì)應(yīng)于圖1所示的圖像編碼設(shè)備100的解碼設(shè)備。
[0265]由圖像編碼設(shè)備100所編碼的編碼數(shù)據(jù)通過預(yù)定的傳輸路徑被傳輸至對(duì)應(yīng)于圖 像編碼設(shè)備100的圖像解碼設(shè)備200,然后被解碼。
[0266]如圖9所示的，圖像解碼設(shè)備200包括累積緩存器201、無損解碼器202、逆向量化 器203、逆向正交變換器204、算法運(yùn)算單元205、去塊濾波器206、幀重排緩存器207以及D/ A轉(zhuǎn)換器208。圖像解碼設(shè)備200還包括解碼圖片緩存器209、選擇器210、幀內(nèi)預(yù)測(cè)器211、 運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212和選擇器213。
[0267]此外，圖像解碼設(shè)備200包括語法處理單元221和參考圖像索引分配單元222。
[0268]累積緩存器201累積傳輸?shù)木幋a數(shù)據(jù)。該編碼數(shù)據(jù)已由圖像編碼設(shè)備100編碼。 在預(yù)定的時(shí)間，語法處理單元221從累積緩存器201中讀出的編碼數(shù)據(jù)中獲得序列參數(shù)組、 圖片參數(shù)組、片段頭部等，并將所得的頭部信息與編碼信息提供給無損解碼器202。另外，語 法處理單元221將所獲得的的頭部信息等提供給參考圖像索引分配單元222。
[0269]以對(duì)應(yīng)于圖1所示的無損編碼器106所使用的編碼格式的格式，無損解碼器202 對(duì)從語法處理單元221讀取的編碼數(shù)據(jù)進(jìn)行解碼。逆向量化器203對(duì)通過由無所解碼器 202以與圖1的量化器105的量化格式相對(duì)應(yīng)的格式解碼而獲得的系數(shù)數(shù)據(jù)(量化系數(shù))進(jìn) 行逆向量化。也即，通過與圖1中逆向量化器108使用的由圖像編碼設(shè)備100所提供的量 化參數(shù)相似的方法，逆向量化器203執(zhí)行量化系數(shù)的逆向量化。
[0270]逆向量化器203將逆向量化系數(shù)數(shù)據(jù)，即正交變換系數(shù)，提供給逆向量化變換單 元204。以使用對(duì)應(yīng)于圖1所示的正交變換器104所用的正交變換格式的格式，逆向正交變 換器204將正交變換系數(shù)進(jìn)行逆向正交變換，并獲取對(duì)應(yīng)于圖像編碼設(shè)備100執(zhí)行正交變 換之前的殘余誤差數(shù)據(jù)的解碼的殘余誤差數(shù)據(jù)。
[0271 ] 通過逆向正交變換而得到的解碼的殘余數(shù)據(jù)被提供給算法運(yùn)算單元205。另外，來 自幀內(nèi)預(yù)測(cè)器205或運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212的預(yù)測(cè)圖像也通過選擇器213被提供給算法 運(yùn)算單元205。
[0272]算法運(yùn)算單元205將解碼的殘余數(shù)據(jù)與預(yù)測(cè)圖像相加，得到與圖像編碼設(shè)備100 的算法運(yùn)算單元103執(zhí)行預(yù)測(cè)圖像相減之前的圖像數(shù)據(jù)相對(duì)應(yīng)的解碼圖像數(shù)據(jù)。算法運(yùn)算 單元205將解碼的圖像數(shù)據(jù)提供給去塊濾波器206。
[0273]去塊濾波器206通過適當(dāng)?shù)貓?zhí)行去塊濾波處理而從解碼圖像上移除塊失真。去塊 濾波器206將濾波處理結(jié)果提供給幀重排緩存器207。[0274]幀重排緩存器207執(zhí)行圖像重排。特別地，由圖1中的幀重排緩存器102重排成 編碼順序的幀序列被重排成原始的播放順序。D/A轉(zhuǎn)換器208對(duì)由幀重排緩存器207所提 供的圖像執(zhí)行D/A轉(zhuǎn)換，并將轉(zhuǎn)換后的圖像輸出至顯示器(未示出)來顯示圖像。
[0275]進(jìn)一步的，去塊濾波器206的輸出被提供給解碼圖片緩存器209。
[0276]解碼圖像存儲(chǔ)器209、選擇器210、幀內(nèi)預(yù)測(cè)器211、運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212以及 選擇器213分別相當(dāng)于圖像編碼設(shè)備100的解碼圖片緩存器112、選擇器113、幀內(nèi)預(yù)測(cè)器 114、運(yùn)動(dòng)估計(jì)器/補(bǔ)償器115以及選擇器116。
[0277]選擇器210讀取來自解碼圖片緩存器209的待幀間處理的圖像和待參考的圖像， 并將這些圖像提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212。選擇器210還讀取來自解碼圖片緩存器209 的待幀內(nèi)處理的圖像，并將該圖像提供給幀內(nèi)預(yù)測(cè)器211。
[0278]無損解碼器202將通過解碼頭部信息所獲得、指示出幀內(nèi)預(yù)測(cè)模式等的信息，在 合適的時(shí)候，提供給幀內(nèi)預(yù)測(cè)器211。基于該信息，幀內(nèi)預(yù)測(cè)器211從解碼圖片緩存器209 獲得的參考圖像產(chǎn)生預(yù)測(cè)圖像，并將產(chǎn)生的預(yù)測(cè)圖像提供給選擇器213。
[0279]通過解碼頭部信息(預(yù)測(cè)模式信息、運(yùn)動(dòng)矢量信息、差別矢量信息、參考幀信息、各 種參數(shù)等)所得到的信息從無損解碼器202被提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212。另外，由參 考圖像索引分配單元222所分配的參考圖像索引被提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212。
[0280]基于無損解碼器202所提供的信息以及由參考圖像索引分配單元222分配的參考 圖像索引，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212從解碼圖片緩存器209獲取的參考圖像產(chǎn)生預(yù)測(cè)圖像。 運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212將產(chǎn)生的圖像提供給選擇器213。
[0281]選擇器213對(duì)運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212或幀內(nèi)預(yù)測(cè)器211所產(chǎn)生的預(yù)測(cè)圖像進(jìn)行 選擇，并將所選擇的預(yù)測(cè)圖像提供給算法運(yùn)算單元205。
[0282]參考圖像索引分配單元222的結(jié)構(gòu)與圖像編碼設(shè)備100的參考圖像索引分配單元 122的結(jié)構(gòu)基本相同。當(dāng)預(yù)測(cè)待處理的圖像時(shí)，參考圖像索引分配單元222交替將由運(yùn)動(dòng)估 計(jì)器/補(bǔ)償器212所參考的參考圖像的索引分配給視點(diǎn)方向上的可參考圖像和在時(shí)間方向 上的可參考圖像。在分配中，頭部信息，例如來自語法處理單元221的序列參數(shù)組和片段頭 部作為待處理的圖像信息而被參考。另外，從累積在解碼圖片緩存器209中的參考圖像的 頭部信息所得到的參考圖像時(shí)間信息和視點(diǎn)信息也作為參考圖像的信息而被參考。
[0283]參考圖像索引分配單元222將分配的參考圖像索引提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器 212。
[0284][解碼處理流程]
[0285]接下來描述上述圖像解碼設(shè)備200執(zhí)行的每個(gè)處理的流程。首先參考圖10中的 流程圖，描述解碼處理中的一個(gè)示例流程。
[0286]當(dāng)解碼處理開始時(shí)，在步驟S201中，累積緩存器201累積傳輸?shù)木幋a數(shù)據(jù)。在步 驟S202中，語法處理單元221在預(yù)定的時(shí)間從累積緩存器201中讀出的編碼數(shù)據(jù)中獲得頭 部信息。語法處理單元221將獲得的頭部信息和編碼數(shù)據(jù)提供給無損解碼器202。另外，語 法處理單元221將獲得的頭部信息等提供給參考圖像索引分配單元222。
[0287]在步驟S203中，無損解碼器202對(duì)由語法處理單元221提供的編碼數(shù)據(jù)進(jìn)行解 碼。特別地，圖1中由無損編碼器106編碼的I圖片，P圖片，B圖片被解碼。
[0288]此處，從頭部信息中獲得運(yùn)動(dòng)矢量信息、差別矢量信息、參考幀信息、預(yù)測(cè)模式信息(幀內(nèi)預(yù)測(cè)模式或幀間預(yù)測(cè)模式)以及例如標(biāo)識(shí)符和量化參數(shù)的信息。
[0289]在預(yù)測(cè)模式信息是幀內(nèi)預(yù)測(cè)模式信息時(shí)，預(yù)測(cè)模式信息被提供給幀內(nèi)預(yù)測(cè)器211。 在預(yù)測(cè)模式信息是幀間預(yù)測(cè)模式信息時(shí)，與預(yù)測(cè)模式信息對(duì)應(yīng)的運(yùn)動(dòng)矢量信息被提供給運(yùn) 動(dòng)估計(jì)器/補(bǔ)償器212。
[0290]在步驟S204中，逆向量化器203對(duì)通過無損解碼器202解碼而獲得量化的正交變 換系數(shù)進(jìn)行逆向量化。在步驟S205中，通過與圖1所示的正交變換器104所使用的方法相 對(duì)應(yīng)的方法，逆向正交變換器204對(duì)通過逆向量化器203所執(zhí)行的逆向量化而獲得的正交 變換系數(shù)執(zhí)行逆向正交變換。結(jié)果，對(duì)應(yīng)于圖1所示的正交變換器104的輸入(或算法運(yùn)算 單元103的輸出)的差分信息被解碼。
[0291]在步驟S206中，算法運(yùn)算單元205將預(yù)測(cè)圖像與由步驟S205的處理獲取的差分 信息相加。以這種方式，原始圖像數(shù)據(jù)被解碼。
[0292]在步驟S207中，去塊濾波器206對(duì)由步驟S206的處理獲取的解碼圖像適當(dāng)?shù)貓?zhí) 行濾波。結(jié)果，塊失真能夠從解碼圖像上合適地移除。
[0293]在步驟S208中，解碼圖片緩存器209存儲(chǔ)經(jīng)濾波的解碼圖像。
[0294]在步驟S209中，參數(shù)圖像索引分配單元222執(zhí)行參考圖像索引的分配過程。參考 圖像索引分配過程的細(xì)節(jié)將參考圖11進(jìn)行描述。參考圖像索引分配單元222將分配的參 考圖像索引提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212。
[0295]在步驟S210中，幀內(nèi)預(yù)測(cè)器211和運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212根據(jù)從無損解碼器 202提供的預(yù)測(cè)模式信息來各自執(zhí)行圖像的預(yù)測(cè)處理。
[0296]也即，在從無損解碼器202提供幀內(nèi)預(yù)測(cè)模式信息的情況下，幀內(nèi)預(yù)測(cè)器211執(zhí)行 幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。進(jìn)一步，在無損解碼器202提供幀間預(yù)測(cè)模式信息的情況 下，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器212通過使用由步驟S209的處理分配的參考圖像索引的參考圖 像，以執(zhí)行幀間預(yù)測(cè)模式的運(yùn)動(dòng)差別預(yù)測(cè)補(bǔ)償處理。
[0297]在步驟S211中，選擇器213選擇預(yù)測(cè)圖像。也即，由幀內(nèi)預(yù)測(cè)器211或由運(yùn)動(dòng)估 計(jì)器/補(bǔ)償器212產(chǎn)生的預(yù)測(cè)圖像被提供給選擇器213。選擇器213選擇從哪一側(cè)提供預(yù) 測(cè)圖像，并將預(yù)測(cè)圖像提供給算法運(yùn)算單元205。該預(yù)測(cè)圖像由步驟S205的處理與差分信 息相加。
[0298]在步驟S212中，幀重排緩存器207對(duì)解碼圖像數(shù)據(jù)的幀進(jìn)行重排。也即，解碼圖 像數(shù)據(jù)的為了圖像編碼設(shè)備100 (圖1)的幀重排緩存器102解碼而重排的幀的順序被重新 安排為原始播放順序。
[0299]在步驟S213中，D/A轉(zhuǎn)換器208在其幀已經(jīng)在幀重排緩存器207中重排的解碼圖 像數(shù)據(jù)上執(zhí)行D/A轉(zhuǎn)換。解碼圖像被輸出至顯示器(未示出)，并因此而顯示圖像。當(dāng)步驟 S213中的過程結(jié)束時(shí)，解碼過程終止。
[0300][參考圖像索引分配的處理流程]
[0301]接下來，參考圖11的流程圖來描述圖10中在步驟S209所執(zhí)行的參考圖像索引分 配過程的示例。應(yīng)注意，該過程僅在解碼圖像是P圖片或B圖片的情況下執(zhí)行。進(jìn)一步的， 圖11的參考圖像索引分配與圖8的參考圖像索引分配過程基本類似。圖8的處理的效果 和條件也可應(yīng)用于圖11的處理，為了防止重復(fù)以下將不再描述這些效果和條件。
[0302]在圖10的步驟S202中，語法處理單元221將例如解碼圖像的序列參數(shù)組和片段頭部等信息提供給參考圖像索引分配單元222。
[0303]在步驟S231中，參考圖像索引分配單元222接收視點(diǎn)參考信息。該視點(diǎn)參考信息 被寫在來自于語法處理單元221的序列參數(shù)上，如參考圖5所述的。通過獲得視點(diǎn)參考信 息，參考圖像索引分配單元222能識(shí)別將要在列表LO和LI中參考的視點(diǎn)的數(shù)量和標(biāo)識(shí)符。
[0304]在步驟S232中，參考圖像索引分配單元222接收參考圖像的最大值。該參考圖像 的最大值設(shè)置在參考圖5描述的序列參數(shù)的max_num_ref_frames中。
[0305]在步驟S233中，參考圖像索引分配單元222判斷解碼圖像的圖片類型是否是P圖 片。解碼圖像的圖片類型寫在上述參考圖6的片段頭部sliCe_type中。在步驟S233中， 當(dāng)判斷為解碼的圖像類型是P圖片時(shí)，處理過程繼續(xù)至步驟S234。
[0306]應(yīng)注意，在下面的過程中，參考來自解碼圖片緩存器209中的參考圖像的時(shí)間信 息和視點(diǎn)信息。
[0307]在步驟S234中，參考圖像索引分配單元222將列表LO的一個(gè)參考圖像索引分配 給沒被分配參考圖像索引且在解碼順序上最接近的相同視點(diǎn)的參考圖像。
[0308]在步驟S235中，參考圖像索引分配單元222將列表LO的一個(gè)參考圖像索引分配 給沒被分配參考圖像索引且具有雖小于但最接近解碼圖像的視點(diǎn)的ID的相同時(shí)間的參考 圖像。
[0309]在步驟S236中，參考圖像索引分配單元222判斷是否已經(jīng)完成將參考圖像索引分 配至同一時(shí)間的所有視點(diǎn)的參考圖像。在步驟S236中，當(dāng)判斷為還沒有完成將參考圖像索 引分配至同一時(shí)間的所有視點(diǎn)的參考圖像時(shí)，處理返回步驟S235，并重復(fù)后續(xù)步驟。
[0310]在步驟S236中，當(dāng)判斷為已經(jīng)完成將參考圖像索引分配至同一時(shí)間的所有視點(diǎn) 的參考圖像時(shí)，處理繼續(xù)進(jìn)行至步驟S237。在步驟S237中，參考圖像索引分配單元222判 斷參考圖像的索引是否小于步驟S232中接收的參考圖像的最大值(數(shù)量)。
[0311]在步驟S237中，當(dāng)判斷為參考圖像的索引小于參考圖像的最大值時(shí)，處理返回步 驟S234并重復(fù)后續(xù)步驟。在步驟S237中，當(dāng)判斷為參考圖像的索引是大于參考圖像的最 大值，那么就沒有待分配索引的參考圖像，因此，參考圖像索引分配處理終止，并且處理返 回圖10的步驟S209。
[0312]同時(shí)，在步驟S233，當(dāng)判斷為解碼圖像的圖片類型是B圖片，處理繼續(xù)進(jìn)行至步驟 S238。
[0313]在步驟S238中，參考圖像索引分配單元222將列表LO的一個(gè)參考圖像索引分配 給沒有被分配參考圖像索引且具有在解碼順序上最接近的相同視點(diǎn)的參考圖像。
[0314]在步驟S239中，參考圖像索引分配單元222將列表LO的一個(gè)參考圖像索引分配 給沒有被分配參考圖像索引、且其ID小于但與解碼圖像的視點(diǎn)最近的參考圖像。
[0315]在步驟S240中，參考圖像索引分配單元222判斷是否已經(jīng)完成將參考圖像索引分 配到同一時(shí)間所有視點(diǎn)的參考圖像。在步驟S240中，當(dāng)判斷為還沒有完成將參考圖像索引 分配到同一時(shí)間所有視點(diǎn)的參考圖像時(shí)，處理回到步驟S239，并重復(fù)后續(xù)流程。
[0316]在步驟S240中，當(dāng)判斷為已經(jīng)完成將參考圖像索引分配到同一時(shí)間所有視點(diǎn)的 參考圖像時(shí)，處理進(jìn)行至步驟S241。在步驟S241中，參考圖像索引分配單元222將列表LI 的一個(gè)參考圖像索引分配給未被分配參考圖像索引且在解碼順序上最接近的相同視點(diǎn)的 參考圖像。[0317]在步驟S242中，參考圖像索引分配單元222將列表LI的一個(gè)參考圖像索引分配 給未被分配參考圖像索引且具有雖小于但最接近解碼圖像的視點(diǎn)的ID的相同時(shí)間的參考 圖像。
[0318]在步驟S243中，參考圖像索引分配單元222判斷是否已經(jīng)完成將參考圖像索引分 配到相同時(shí)間所有視點(diǎn)的參考圖像。在步驟S243中，當(dāng)判斷為還沒有完成將參考圖像索引 分配到相同時(shí)間所有視點(diǎn)的參考圖像時(shí)，處理回到步驟S242，并重復(fù)后續(xù)流程。
[0319]在步驟S243中，當(dāng)確定了將參考圖像索引分配到相同時(shí)間所有視點(diǎn)的參考圖像 已完成時(shí)，處理往下進(jìn)行至步驟S244。在步驟S244中，參考圖像索引分配單元222判斷參 考圖像的索引是否小于在步驟S232中接收到的參考圖像的最大值(數(shù)量)。
[0320]在步驟S244中，當(dāng)判斷為參考圖像的索引小于參考圖像的最大值時(shí)，處理回到步 驟S238，并重復(fù)后續(xù)流程。在步驟S244中，當(dāng)判斷為參考圖像的索引是參考圖像的最大值 或更大時(shí)，沒有需要分配索引的參考圖像。因此，參考圖像索引分配過程終止，流程回到圖 10的步驟S209中。
[0321]如上所述，參考圖像索引交替的分配給時(shí)間方向和視點(diǎn)方向的參考圖像。因此，較 小的參考圖像索引被分配給具有更高參考率的參考圖像。因此，編碼效率能夠得到提高。
[0322]應(yīng)注意，在上文中描述了 一個(gè)示例，其中，時(shí)間方向優(yōu)先的模式和視點(diǎn)方向優(yōu)先的 模式的兩種類型被提前設(shè)定，且指示出兩種模式中哪個(gè)被選擇的一個(gè)比特類型標(biāo)識(shí)符被傳 送給解碼側(cè)。然而，模式的類型并不局限于這兩種類型。例如，如下所述的，分配模式(方法) 的四種類型可提前準(zhǔn)備，編碼側(cè)可以指定四種類型中的一種作為默認(rèn)方法。
[0323]<3.第三實(shí)施例>
[0324][分配模式的四種類型]
[0325]接下來參考圖12至15來描述可被指定為默認(rèn)類型的分配模式的四種類型。在圖 12至15的例子中，中間的B圖片代表待編碼的圖片。在該圖片右和左方向上的待編碼圖片 代表相同視點(diǎn)但不同時(shí)間的參考圖像(時(shí)間方向上的參考圖像XPOC表示時(shí)間的索引(圖片 的輸出順序)，并指示出時(shí)間以從A到E的順序前進(jìn)。
[0326]另外，在該圖片的上和下方向上的待編碼圖片代表相同時(shí)間但不同視點(diǎn)的參考圖 像(視點(diǎn)方向的參考圖像)。較小的視點(diǎn)ID按照ViewID=V至Z的順序分配。
[0327]另外，粗實(shí)線箭頭表示列表LO的索引的分配順序，粗虛線箭頭表示列表LI的索引 的分配順序。應(yīng)注意，在圖12至15的例子中，對(duì)于相對(duì)于列表LO的時(shí)間方向上的參考圖 像來說，較小的參考圖像索引被分配給在可參考圖像中向前方向上的以POC降序排列的參 考圖像。相對(duì)于列表LI，較小的參考圖像索引被分配在可參考圖像中向后方向上的以POC 升序排列的參考圖像。
[0328]圖12的例子不出了時(shí)間第一(時(shí)間方向優(yōu)先)模式。時(shí)間第一模式是一種如圖12 的例子所示的模式，其中索引被分配給相同視點(diǎn)但不同時(shí)間(時(shí)間方向的可參考圖片)的參 考圖片，然后索引被分配給相同時(shí)間但不同視點(diǎn)(在視點(diǎn)方向的可參考圖片)的參考圖片。
[0329]例如，如粗實(shí)線箭頭所示的，相對(duì)于列表L0，refPiCList0[0]的索引被分配給B圖 片，其中，ViewID是X，POC是B，refPicListO[I]的索引被分配給B圖片，其中，ViewID是 X，P0C是A。接著，refPicListO[2]的索引被分配配給B圖片，其中，ViewID是W，POC是C， refPicListO[3]的索引被分配配給B圖片，其中，ViewID是V，POC是C。[0330]另外,如粗虛線箭頭所示,相對(duì)于列表LI, refPicListl [0]的索引被分配給B圖 片，其中，ViewID是X，POC是D，refPicListl [I]的索引被分配給B圖片，其中，ViewID是 X，P0C是E。接著，refPicListl [2]的索引被分配配給B圖片，其中，ViewID是Y，P0C是C， refPicListl [3]的索引被分配配給B圖片，其中，ViewID是Z，POC是C。
[0331]圖13的例子不出了視點(diǎn)第一(視點(diǎn)方向優(yōu)先)模式。時(shí)間第一模式是一種如圖13 的例子所示的模式，其中索引被分配給相同時(shí)間但不同視點(diǎn)(視點(diǎn)方向的可參考圖片)的參 考圖片，然后索引被分配給相同視點(diǎn)但不同時(shí)間(在時(shí)間方向的可參考圖片)的參考圖片。
[0332]例如，如粗實(shí)線箭頭所示的，相對(duì)于列表L0，refPiCList0[0]的索引被分配給B圖 片，其中，ViewID是W，POC是C，refPicListO [I]的索引被分配給B圖片，其中，ViewID是 V，P0C是C。接著，refPicListO[2]的索引被分配配給B圖片，其中，ViewID是X，P0C是B， refPicListO [3]的索引被分配配給B圖片，其中，ViewID是X，POC是A。
[0333]另外，如粗虛線箭頭所示,相對(duì)于列表LI, refPicListl [0]的索引被分配給B圖 片，其中，ViewID是Y，POC是C，refPicListl [I]的索引被分配給B圖片，其中，ViewID是 Z，P0C是C。接著，refPicListl [2]的索引被分配配給B圖片，其中，ViewID是X，P0C是D， refPicListl [3]的索引被分配配給B圖片，其中，ViewID是X，POC是E。
[0334]圖14的例子不出了時(shí)間第一鋸齒形(時(shí)間方向優(yōu)先交替模式)模式。時(shí)時(shí)間第一 鋸齒形模式是一種如圖14的例子所示模式，其中，索引被交替分配給相同視點(diǎn)但不同時(shí)間 (時(shí)間方向的可參考圖片)的參考圖片，以及相同時(shí)間但不同視點(diǎn)(在視點(diǎn)方向的可參考圖 片)的參考圖片。應(yīng)注意，在被稱為時(shí)間方向優(yōu)先的時(shí)間第一鋸齒形模式中，索引的分配開 始于相同視點(diǎn)但不同時(shí)間的參考圖像。
[0335]例如，如粗實(shí)線箭頭所示的，相對(duì)于列表L0，refPiCList0[0]的索引被分配給B圖 片，其中，ViewID是X，P0C是B，然后，refPicListO [I]的索引被分配給B圖片，其中，ViewID 是W，P0C是C。接著，refPicListO [2]的索引被分配配給B圖片，其中，ViewID是X，P0C是 A，refPicListO[3]的索引被分配配給B圖片，其中，ViewID是V，POC是C。
[0336]另外，如粗虛線箭頭所示,相對(duì)于列表LI, refPicListl [0]的索引被分配給B圖 片，其中，ViewID是X，P0C是D，然后，refPicListl [I]的索引被分配給B圖片，其中，ViewID 是Y，P0C是C。接著，refPicListl [2]的索引被分配配給B圖片，其中，ViewID是X，P0C是 E，refPicListl [3]的索引被分配配給B圖片，其中，ViewID是Z，POC是C。
[0337]圖15的例子不出了視點(diǎn)第一鋸齒形模式(視點(diǎn)方向優(yōu)先交替模式)。視點(diǎn)第一模式 是一種模式，如圖13的例子所示，其索引被分配給相同時(shí)間但不同視點(diǎn)(視點(diǎn)方向的可參 考圖片)的參考圖片，然后索引被分配給相同視點(diǎn)但不同時(shí)間(在時(shí)間方向的可參考圖片) 的參考圖片。
[0338]例如，如粗實(shí)線箭頭所示的，相對(duì)于列表L0，refPiCList0[0]的索引被分配給B圖 片，其中，ViewID是W，POC是C，然后，refPicListO [I]的索引被分配給B圖片，其中，ViewID 是X，P0C是B。接著，refPicListO[2]的索引被分配配給B圖片，其中，ViewID是V，P0C是 C，然后，refPicListO [3]的索引被分配配給B圖片，其中，ViewID是X，POC是A。
[0339]另外，如粗虛線箭頭所示,相對(duì)于列表LI, refPicListl [0]的索引被分配給B圖 片，其中，ViewID是Y，POC是C，refPicListl [I]的索引被分配給B圖片，其中，ViewID是 X，P0C是D。接著，refPicListl [2]的索引被分配配給B圖片，其中，ViewID是Z，P0C是C，refPicListl [3]的索引被分配配給B圖片，其中，ViewID是X，POC是E。
[0340]上述分配模式的四種類型在圖像編碼設(shè)備100的下述語法中指定。例如，模式由 語法處理單元121指定(相加)。
[0341][序列參數(shù)組的語法示例]
[0342]圖16是示出了序列參數(shù)組(SPS)的語法示例的示意圖。圖中各行的左端是為了 說明而采用的行號(hào)。
[0343]在圖16 的例子中，default_reference_picture_index_pattern_idc 設(shè)置在第 13 行。default_reference_picture_index_pattern_idc 是模式 ID,其指不出在序列中哪個(gè) 分配模式被指定為默認(rèn)參數(shù)圖片索引。
[0344]default_reference_picture_index_pattern_idc 選擇下面方式中參考圖片索引 的初始化過程。
[0345]例如，當(dāng)default_reference_picture_index_pattern_idc=0 時(shí)，默認(rèn)參考圖片 索引被分配給相同視點(diǎn)的圖片，之后分配給不同視點(diǎn)的圖片。也即，當(dāng)defaUlt_referenCe_ picture_index_pattern_idc=0時(shí),參考圖13所述的時(shí)間第一模式被指定為序列的默認(rèn)分 配模式。
[0346]當(dāng)default_reference_picture_index_pattern_idc=l 時(shí)，默認(rèn)參考圖片索引 被分配給相同視點(diǎn)的圖片，之后分配給不同視點(diǎn)的圖片。也即，當(dāng)default_reference_ picture_index_pattern_idc=l時(shí),參考圖14所述的視點(diǎn)第一模式被指定為序列的默認(rèn)分 配模式。
[0347]當(dāng)default_reference_picture_index_pattern_idc=2 時(shí)，默認(rèn)參考圖片索引被 交替地分配給相同視點(diǎn)的圖片和不同視點(diǎn)的圖片，并且分配的順序開始于相同視點(diǎn)的圖 片。也即，當(dāng) default_reference_picture_index_pattern_idc=2 時(shí)，參考圖 15 所述的時(shí) 間第一鋸齒形模式被指定為序列的默認(rèn)分配模式。
[0348]當(dāng)default_reference_picture_index_pattern_idc=3 時(shí)，默認(rèn)參考圖片索引被 交替地分配給相同視點(diǎn)的圖片和不同視點(diǎn)的圖片，分配的順序開始于不同視點(diǎn)的圖片。也 即，當(dāng) default_reference_picture_index_pattern_idc=3 時(shí)，參考圖 15 所述的視點(diǎn)第一 鋸齒形模式被指定為序列的默認(rèn)分配模式。
[0349]在上述說明書中，描述了一個(gè)示例，其中默認(rèn)分配模式在之前的序列參數(shù)組的每 個(gè)序列中確定且被指定。相反的，上述的模式ID在作為例如現(xiàn)存的NAL單元的圖片參數(shù)組 (PPS)中提供，并且默認(rèn)分配模式可以按照每個(gè)場(chǎng)景的變化或淡出的開始和結(jié)束來切換，如 下所述。
[0350][分配模式和假設(shè)場(chǎng)景的示例]
[0351]圖17示出了表，其表示出分配模式的四種類型，以及哪種模式被設(shè)定為所假設(shè)的 哪種場(chǎng)景的默認(rèn)模式。
[0352]例如，當(dāng)假設(shè)場(chǎng)景是其時(shí)間相關(guān)性顯著高于視點(diǎn)間的相關(guān)性的場(chǎng)景時(shí)，在編碼側(cè)， 0被寫入圖片參數(shù)組的模式ID中并且時(shí)間第一模式被設(shè)定為默認(rèn)分配模式。
[0353]例如，當(dāng)假設(shè)場(chǎng)景是其視點(diǎn)間的相關(guān)性顯著高于時(shí)間相關(guān)性的場(chǎng)景時(shí)，在編碼側(cè)， I被寫入圖片參數(shù)組的模式ID中，視點(diǎn)第一模式被設(shè)定為默認(rèn)分配模式。
[0354]例如，當(dāng)假設(shè)場(chǎng)景是其時(shí)間相關(guān)性約為視點(diǎn)間的相關(guān)性，但時(shí)間相關(guān)性相對(duì)高于視點(diǎn)間的相關(guān)性的場(chǎng)景時(shí)，在編碼側(cè)執(zhí)行如下的設(shè)置。也即，2被寫入圖片參數(shù)組的模式ID 中，時(shí)間第一鋸齒形模式被設(shè)定為默認(rèn)分配模式。
[0355]例如，當(dāng)假設(shè)場(chǎng)景是其時(shí)間相關(guān)性約為關(guān)于視點(diǎn)間的相關(guān)性，但視點(diǎn)間的相關(guān)性 相對(duì)高于時(shí)間相關(guān)性的場(chǎng)景時(shí)，在編碼側(cè)執(zhí)行如下的設(shè)置。也即，3被寫入圖片參數(shù)組的模 式ID中,視點(diǎn)第一鋸齒形模式被設(shè)定為默認(rèn)分配模式。
[0356]通過這樣做，當(dāng)圖像解碼設(shè)備200接收到其模式ID剛被設(shè)定的圖片參數(shù)組時(shí)，默 認(rèn)分配模式被切換。相應(yīng)的，默認(rèn)分配模式可以根據(jù)每個(gè)場(chǎng)景的變化來切換，在場(chǎng)景的變化 中，場(chǎng)景立即變化或者在淡出(其中亮度逐漸變化)的開始或結(jié)束。結(jié)果，較小的參考圖像索 引可被分配給具有更高參考率的參考圖像，因而編碼效率可以進(jìn)一步得到提高。
[0357]應(yīng)注意，在上述說明書，已描述為模式ID在作為現(xiàn)存的NAL單元的圖片參數(shù)組 (PPS)中提供。然而，其并不局限于PPS，并且模式ID可以提供給其他NAL單元，只要NAL 單元適于多個(gè)圖片。例如，模式ID可以提供給作為新的NAL單元的適應(yīng)性參數(shù)組(APS)。
[0358]進(jìn)一步的，假設(shè)相比于通過為上述的每個(gè)序列參數(shù)傳送模式ID，比特量通過為多 個(gè)圖片中的每個(gè)傳送參數(shù)組中的模式ID而增加。因此，當(dāng)比特量的增加不變成負(fù)擔(dān)時(shí)，需 要為多個(gè)圖片中的每個(gè)傳送圖片參數(shù)組中的模式ID。
[0359]應(yīng)注意，在上述說明中，已經(jīng)描述了其中默認(rèn)的分配模式從模式的四種類型中選 擇的示例。然而，模式的幾種類型(例如，兩種類型)可以從模式的四種類型中選擇，作為默 認(rèn)分配模式的備選。進(jìn)一步，備選模式的數(shù)量不限于四種模式，可以是幾種模式。
[0360]另外，在上述說明中描述了模式標(biāo)識(shí)符的例子和模式ID的例子。然而，模式標(biāo)識(shí) 符和模式ID是識(shí)別模式的模式識(shí)別信息的例子，模式識(shí)別信息包括模式標(biāo)識(shí)符和模式ID。
[0361]應(yīng)注意，本發(fā)明可應(yīng)用于下述HEVC系統(tǒng)的圖像編碼設(shè)備和圖像解碼設(shè)備。
[0362]〈4.第四實(shí)施例〉
[0363][圖像編碼設(shè)備的示例結(jié)構(gòu)]
[0364]圖18示出了本發(fā)明所應(yīng)用的作為圖像處理設(shè)備的圖像編碼設(shè)備的另一個(gè)實(shí)施例 的結(jié)構(gòu)。
[0365]圖18所示的圖像編碼設(shè)備311通過HEVC系統(tǒng)的預(yù)測(cè)處理來編碼圖像數(shù)據(jù)。
[0366]在圖1所示的實(shí)施例中，圖像編碼設(shè)備311包括模/數(shù)(A/D)轉(zhuǎn)換器321，幀重排 緩存器322、算法運(yùn)算單元323、正交變換器324、量化器325、無損編碼器326以及累積緩存 器327。圖像編碼設(shè)備311還包括逆向量化器328、逆向正交變換器329、算法運(yùn)算單元330、 去塊濾波器331、幀存儲(chǔ)器332、選擇器333、幀內(nèi)預(yù)測(cè)器334、運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335、預(yù)測(cè) 圖像選擇器336和速率控制器337。
[0367]另外，圖像編碼設(shè)備311在去塊濾波器331和幀存儲(chǔ)器332之間還包括適應(yīng)性偏 移濾波器341和適應(yīng)性循環(huán)濾波器342。
[0368]該A/D轉(zhuǎn)換器321為輸入圖像數(shù)據(jù)實(shí)施A/D轉(zhuǎn)換，將所得圖像數(shù)據(jù)輸出并存儲(chǔ)在 幀重排緩存器322中。
[0369]幀重排緩存器322根據(jù)GOP (圖像組)結(jié)構(gòu)而將所存儲(chǔ)的、以播放順序排列的圖像 幀重新安排為以編碼順序排列。幀重排緩存器322將具有重新排列的幀順序的圖像提供給 算法運(yùn)算單元323。另外，幀重排緩存器322將重新排列的圖像提供給幀內(nèi)預(yù)測(cè)器334和運(yùn) 動(dòng)估計(jì)器/補(bǔ)償器335。[0370]算法運(yùn)算單元323從由幀重排緩存器322提供的圖像上減去預(yù)測(cè)圖像，該預(yù)測(cè)圖 像由幀內(nèi)預(yù)測(cè)器334或運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335通過預(yù)測(cè)圖像選擇器336提供，并將所得 到的差分信息輸出到正交變換器324。
[0371]例如，當(dāng)對(duì)圖像實(shí)施幀內(nèi)編碼時(shí)，算法運(yùn)算單元323從幀重排緩存器322讀取的圖 像上減去由幀內(nèi)預(yù)測(cè)器324提供的預(yù)測(cè)圖像。進(jìn)一步的，例如，當(dāng)對(duì)圖像實(shí)施幀間編碼時(shí)， 算法運(yùn)算單元323從幀重排緩存器322讀取的圖像上減去由運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335提供 的預(yù)測(cè)圖像。
[0372]正交變換器324在由算法運(yùn)算單元323提供的差分信息上執(zhí)行正交變換處理，例 如，離散余弦變換或Karhunen-Loeve變換，并將變換系數(shù)提供給量化器325。
[0373]量化器325將從正交變換器324輸出的變換系數(shù)進(jìn)行量化。量化器325將量化變 換系數(shù)提供給無損編碼器326。
[0374]無損編碼器326對(duì)量化的變換系數(shù)執(zhí)行無損編碼，例如變長編碼或算法編碼。
[0375]無損編碼器326從幀內(nèi)預(yù)測(cè)器334獲取指示幀內(nèi)預(yù)測(cè)模式及類似的信息，并從運(yùn) 動(dòng)估計(jì)器/補(bǔ)償器335獲取指示幀間預(yù)測(cè)模式、運(yùn)動(dòng)矢量信息及類似的信息。
[0376]無損編碼器326對(duì)量化的變換系數(shù)進(jìn)行編碼，并對(duì)獲得的參數(shù)(語法元素)編碼，還 使得幀內(nèi)預(yù)測(cè)模式信息、幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)矢量信息以及量化參數(shù)作為編碼數(shù)據(jù)的 頭部信息的一部分(多路復(fù)用信息)被包含在其中。無損編碼器326將通過編碼所獲得的編 碼后的數(shù)據(jù)提供并儲(chǔ)存在累積緩存器327中。
[0377]例如，在無損編碼器326中執(zhí)行無損編碼處理，例如變長編碼或算法編碼。變長編 碼可以是例如上下文的自適應(yīng)變長碼(CAVLC)。算法編碼的一個(gè)例子包括上下文的自適應(yīng) 二進(jìn)制算法碼(CABAC)。
[0378]累積緩存器327暫時(shí)存儲(chǔ)由無損編碼器326提供的編碼流(數(shù)據(jù))，并將編碼后的 數(shù)據(jù)作為編碼圖像在預(yù)定的時(shí)間輸出給后續(xù)步驟中的記錄設(shè)備(未示出)或傳輸路徑等。也 即，累積緩存器327也作為傳輸編碼流的傳輸單元。
[0379]由量化器325所量化的變換系數(shù)也被提供給逆向量化器328。該逆向量化器328 通過對(duì)應(yīng)于量化器325執(zhí)行的量化的方法將量化的變換系數(shù)進(jìn)行逆向量化。逆向量化器 328將所得的變換系數(shù)提供給逆向正交變換器329。
[0380]逆向正交變換器329采用對(duì)應(yīng)于正交變換器324執(zhí)行的正交變換處理的方法對(duì)所 提供的變換系數(shù)執(zhí)行逆向正交變換。向逆向正交變換(恢復(fù)的差分信息)的輸出被提供給算 法運(yùn)算單元330。
[0381]算法運(yùn)算單元330將由幀內(nèi)預(yù)測(cè)器334或運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335通過預(yù)測(cè)圖像 選擇器336提供的預(yù)測(cè)圖像與逆向正交變換結(jié)果(也即由逆向正交變換器329所提供的恢 復(fù)的差分信息)相加而獲取本地解碼圖像(被解碼的圖像)。
[0382]例如，當(dāng)差分信息對(duì)應(yīng)于待施加幀內(nèi)編碼的圖像時(shí)，算法運(yùn)算單元330將幀內(nèi)預(yù) 測(cè)器334提供的預(yù)測(cè)圖像與差分信息相加。進(jìn)一步，例如，當(dāng)差分信息對(duì)應(yīng)于待幀間編碼的 圖像時(shí)，算法運(yùn)算單元330將運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335提供的預(yù)測(cè)圖像與差分信息相加。
[0383]作為相加結(jié)果的解碼圖像被提供給去塊濾波器331和幀存儲(chǔ)器332。
[0384]去塊濾波器331通過合適地執(zhí)行去塊濾波處理而從解碼圖像上移除塊失真。去塊 濾波器331將濾波結(jié)果提供給適應(yīng)性偏移濾波器341。[0385]適應(yīng)性偏移濾波器341執(zhí)行偏移濾波過程(樣本適應(yīng)性偏移:SA0)，相對(duì)于由去塊 濾波器331所濾波的圖像，該過程主要移除振鈴。
[0386]偏移濾波器共有9種類型，包括兩種類型的帶偏移，六種類型的邊緣偏移，以及無 偏移。適應(yīng)性偏移濾波器341在去塊濾波器331濾波后的圖像上通過使用四叉樹結(jié)構(gòu)來實(shí) 施濾波步驟，其中，偏移的類型由每個(gè)劃分區(qū)域和每個(gè)劃分區(qū)域的偏移值來確定。
[0387]應(yīng)注意，圖像編碼設(shè)備311中，每個(gè)劃分區(qū)域的四叉樹結(jié)構(gòu)和偏移值由適應(yīng)性偏 移濾波器341來計(jì)算并使用。每個(gè)劃分區(qū)域的計(jì)算的四叉樹結(jié)構(gòu)和偏移值由無損解碼器 362進(jìn)行解碼，并傳送至下述圖19的圖像解碼設(shè)備351
[0388]在濾波處理之后，適應(yīng)性偏移濾波器341將圖像提供給適應(yīng)性循環(huán)濾波器342。
[0389]適應(yīng)性循環(huán)濾波器342在IXU單元內(nèi)執(zhí)行適應(yīng)性循環(huán)濾波(ALF)，作為ALF處理的 單元。經(jīng)濾波的圖像被提供給幀存儲(chǔ)器332。在適應(yīng)性偏移濾波器342中使用二維Wiener 濾波器作為濾波器。也可以使用除Wiener濾波器之外的其他濾波器。
[0390]適應(yīng)性循環(huán)濾波器342通過使用濾波器系數(shù)為每個(gè)IXU在由適應(yīng)性偏移濾波器 341所濾波的圖像上實(shí)施濾波處理，并將濾波處理結(jié)果提供給幀存儲(chǔ)器332。
[0391]應(yīng)注意，在圖像編碼設(shè)備311中，濾波器系數(shù)由適應(yīng)性循環(huán)濾波器342計(jì)算并使 用，從而為每個(gè)LCU將濾波器系數(shù)和來自幀重排緩存器312的原始圖像之間的殘余最小化。 計(jì)算的濾波器系數(shù)由無損編碼器326進(jìn)行編碼，并傳送給如下所述的圖19的圖像解碼設(shè)備 351。在本說明書中描述了為每個(gè)LUC執(zhí)行處理的例子。然而，適應(yīng)性循環(huán)濾波器342的過 程的單元不局限于該例子。
[0392]幀存儲(chǔ)器332在預(yù)定的時(shí)間將累積的參考圖像輸出至幀內(nèi)預(yù)測(cè)器334或運(yùn)動(dòng)估計(jì) 器/補(bǔ)償器335。
[0393]例如，當(dāng)對(duì)圖像執(zhí)行幀內(nèi)編碼時(shí)，幀存儲(chǔ)器332通過選擇器333將參考圖像提供給 幀內(nèi)預(yù)測(cè)器334。進(jìn)一步，例如，當(dāng)對(duì)圖像執(zhí)行幀間編碼時(shí)，幀存儲(chǔ)器332通過選擇器333將 參考圖像提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335。
[0394]在幀存儲(chǔ)器332所提供的參考圖像是待執(zhí)行幀內(nèi)編碼的圖像的情況下，選擇器 333將該參考圖像提供給幀內(nèi)預(yù)測(cè)器334。進(jìn)一步，當(dāng)解碼圖片存儲(chǔ)器332所提供的參考圖 像是待執(zhí)行幀間編碼的圖像時(shí)，選擇器333將該參考圖像提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335。
[0395]幀內(nèi)預(yù)測(cè)器334通過使用幀內(nèi)的像素值執(zhí)行內(nèi)預(yù)測(cè)(幀內(nèi)預(yù)測(cè))以產(chǎn)生一預(yù)測(cè)圖 像。幀內(nèi)預(yù)測(cè)器334以多種模式(幀內(nèi)預(yù)測(cè)模式)執(zhí)行幀內(nèi)預(yù)測(cè)。
[0396]幀內(nèi)預(yù)測(cè)器334在所有幀內(nèi)預(yù)測(cè)模式中產(chǎn)生預(yù)測(cè)圖像，評(píng)估預(yù)測(cè)圖像，并選擇最 佳模式。在選擇了最佳預(yù)測(cè)模式之后，幀內(nèi)預(yù)測(cè)器334把以最佳預(yù)測(cè)模式所產(chǎn)生的預(yù)測(cè)圖 像通過預(yù)測(cè)圖像選擇器336提供給算法運(yùn)算單元323以及算法運(yùn)算單元330。
[0397]另外，如上所述的，幀內(nèi)預(yù)測(cè)器334還把參數(shù)(例如，指示出所采用的幀內(nèi)預(yù)測(cè)模 式的幀內(nèi)預(yù)測(cè)模式信息)合適地提供給無損編碼器326。
[0398]通過使用由幀重排緩存器322提供的輸入圖像以及通過選擇器333由幀存儲(chǔ)器 332提供的參考圖像，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335對(duì)待執(zhí)行幀間編碼的圖像執(zhí)行運(yùn)動(dòng)估計(jì)。另 夕卜，根據(jù)由運(yùn)動(dòng)估計(jì)器探測(cè)到的運(yùn)動(dòng)矢量，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335執(zhí)行運(yùn)動(dòng)補(bǔ)償處理，以 產(chǎn)生預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。
[0399]運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335執(zhí)行所有備選的幀間預(yù)測(cè)模式的幀間預(yù)測(cè)處理，以產(chǎn)生預(yù)測(cè)圖像。運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335通過預(yù)測(cè)圖像選擇器336將產(chǎn)生的預(yù)測(cè)圖像提供給算 法運(yùn)算單元323和算法運(yùn)算單元330。
[0400]進(jìn)一步，運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335將指示出所采用的幀間預(yù)測(cè)模式的幀間預(yù)測(cè)模 式信息以及指示出計(jì)算所得的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量信息提供給無損編碼器326。
[0401]當(dāng)對(duì)圖像執(zhí)行幀內(nèi)編碼時(shí)，預(yù)測(cè)圖像選擇器336將幀內(nèi)預(yù)測(cè)器334的輸出提供給 算法運(yùn)算單元323和算法運(yùn)算單元330，并且當(dāng)對(duì)圖像執(zhí)行幀間編碼時(shí)，預(yù)測(cè)圖像選擇器 336將運(yùn)動(dòng)估計(jì)器/補(bǔ)償器335的輸出提供給算法運(yùn)算單元323和算法運(yùn)算單元330。
[0402]基于在累積緩存器327中積累的壓縮圖像，速率控制器337控制量化器325的量 化處理速率，從而不會(huì)導(dǎo)致溢位或不足。
[0403]<5.第五實(shí)施例>
[0404][圖像解碼設(shè)備的示例結(jié)構(gòu)]
[0405]圖19示出了應(yīng)用本發(fā)明的作為圖像處理設(shè)備的圖像解碼設(shè)備的一個(gè)實(shí)施例的結(jié) 構(gòu)。圖19所示的圖像解碼設(shè)備351是一個(gè)對(duì)應(yīng)于圖18所示的圖像編碼設(shè)備311的解碼設(shè) 備，并在HEVC系統(tǒng)中對(duì)來自圖像編碼設(shè)備311的編碼數(shù)據(jù)進(jìn)行解碼。
[0406]由圖像編碼設(shè)備311所編碼的數(shù)據(jù)通過預(yù)定的傳輸路徑被傳輸至對(duì)應(yīng)于圖像編 碼設(shè)備311的圖像解碼設(shè)備351，然后進(jìn)行解碼。
[0407]如圖19所示的，圖像解碼設(shè)備351包括累積緩存器361、無損解碼器362、逆向量 化器363、逆向正交變換器364、算法運(yùn)算單元365、去塊濾波器366、幀重排緩存器367以及 D/A轉(zhuǎn)換器368。圖像解碼設(shè)備351還包括幀存儲(chǔ)器369、選擇器370、幀內(nèi)預(yù)測(cè)器371、運(yùn)動(dòng) 估計(jì)器/補(bǔ)償器372和選擇器373。
[0408]進(jìn)一步，圖像解碼設(shè)備351在去塊濾波器366、幀重排緩存器367和幀存儲(chǔ)器369 之間還包括包括適應(yīng)性偏移濾波器381和適應(yīng)性循環(huán)濾波器382。
[0409]累積緩存器361也作為接收傳輸?shù)木幋a數(shù)據(jù)的接收單元。累積緩存器361接收并 累積傳輸?shù)木幋a數(shù)據(jù)。編碼數(shù)據(jù)由圖像編碼設(shè)備311編碼。在預(yù)定的時(shí)間，無損解碼器362 用對(duì)應(yīng)于圖18的無損解碼器326的編碼格式的格式將從累積緩存器361中讀出的編碼數(shù) 據(jù)進(jìn)行解碼。
[0410]無損解碼器362將參數(shù)(例如指示出解碼幀內(nèi)預(yù)測(cè)模式的信息)提供給幀內(nèi)預(yù)測(cè)器 371，并將參數(shù)(例如指示出幀間預(yù)測(cè)模式和運(yùn)動(dòng)矢量信息的信息)提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償 器372。另外，無損解碼器362將解碼的適應(yīng)性循環(huán)濾波器參數(shù)(濾波器系數(shù)等)提供給適 應(yīng)性循環(huán)濾波器382。無損解碼器362將解碼適應(yīng)性偏移參數(shù)(四叉樹結(jié)構(gòu)和每個(gè)劃分區(qū)域 的偏移值)提供給適應(yīng)性偏移濾波器381。
[0411]逆向量化器363將由無損解碼器362采用對(duì)應(yīng)于圖18的量化器325的量化格式 的格式進(jìn)行解碼而獲得的系數(shù)數(shù)據(jù)(量化系數(shù))進(jìn)行逆向量化。也即，通過使用與圖18的逆 向量化器328所使用的由圖像編碼設(shè)備311提供的量化參數(shù)相類似的方法，逆向量化器363 對(duì)量化系數(shù)進(jìn)行逆向量化。
[0412]逆向量化器363將逆向量化的系數(shù)數(shù)據(jù)，也即，正交變換數(shù)據(jù)提供給逆向正交變 換器364。逆向正交變換器364使用對(duì)應(yīng)于圖18的正交變換器324的正交變換格式的格式 對(duì)正交變換系數(shù)進(jìn)行逆向量化變換，來獲得對(duì)應(yīng)于在圖像編碼裝置311中受到正交變換之 前的殘余數(shù)據(jù)的解碼的殘余數(shù)據(jù)。[0413]通過逆向正交變換而得到的解碼的殘余誤差數(shù)據(jù)被提供給算法運(yùn)算單元365。另 夕卜，來自幀內(nèi)預(yù)測(cè)器371或運(yùn)動(dòng)估計(jì)器/補(bǔ)償器372的預(yù)測(cè)圖像也通過選擇器373被提供 給算法運(yùn)算單元365。
[0414]算法運(yùn)算單元365將解碼的殘余誤差數(shù)據(jù)與預(yù)測(cè)圖像相加，以獲得與圖像編碼設(shè) 備311的算法運(yùn)算單元323執(zhí)行預(yù)測(cè)圖像相減之前的圖像數(shù)據(jù)相對(duì)應(yīng)的解碼圖像數(shù)據(jù)。算 法運(yùn)算單元365將解碼的圖像數(shù)據(jù)提供給去塊濾波器366。
[0415]去塊濾波器366通過執(zhí)行去塊濾波處理而從解碼圖像上移除塊失真。去塊濾波器 366將濾波處理結(jié)果提供給適應(yīng)性偏移濾波器381。
[0416]適應(yīng)性偏移濾波器381執(zhí)行偏移濾波器去塊(SAO)過程，相對(duì)于由去塊濾波器366 所濾波的圖像，該過程其主要移除振鈴。
[0417]適應(yīng)性偏移濾波器381在由去塊濾波器366所濾波的圖像上使用每個(gè)劃分區(qū)域 的四叉樹結(jié)構(gòu)(其中，在每個(gè)劃分區(qū)域中確定偏移濾波器的類型)和偏移值來實(shí)施濾波器處 理。適應(yīng)性偏移濾波器381將濾波的圖像提供給適應(yīng)性循環(huán)濾波器382。
[0418]應(yīng)注意，每個(gè)分開的區(qū)域的四叉樹結(jié)構(gòu)和偏移值由圖像編碼設(shè)備311的適應(yīng)性偏 移濾波器341來計(jì)算并編碼，并且被傳送。然后，每個(gè)劃分區(qū)域的由圖像編碼設(shè)備311編碼 的四叉樹結(jié)構(gòu)和偏移值由圖像解碼設(shè)備351接收，并由無損解碼器362進(jìn)行解碼，并由適應(yīng) 性偏移濾波器381使用。
[0419]適應(yīng)性循環(huán)濾波器382構(gòu)造為與圖18的適應(yīng)性循環(huán)濾波器342相類似的結(jié)構(gòu)，并 執(zhí)行IXU單元的適應(yīng)性循環(huán)濾波器(ALF)處理，IXU單元是作為ALF過程的單元的最大的編 碼器。適應(yīng)性循環(huán)濾波器382使用每個(gè)IXU的濾波器系數(shù)，相對(duì)于由適應(yīng)性偏移濾波器381 濾波的圖像執(zhí)行濾波處理，并將濾波處理結(jié)果提供給幀存儲(chǔ)器369和幀重排緩存器367。
[0420]應(yīng)注意，在圖像編碼設(shè)備351中，濾波器系數(shù)由每個(gè)IXU中的圖像編碼設(shè)備311的 適應(yīng)性循環(huán)濾波器342計(jì)算，且編碼并傳輸?shù)膱D像被無損解碼器進(jìn)行解碼并使用。
[0421]幀重排緩存器367執(zhí)行圖像重排。特別地，由圖18中的幀重排緩存器322重排為 編碼順序的幀被重新排列成原始播放順序。D/A轉(zhuǎn)換器368在由幀重排緩存器提供的圖像 上執(zhí)行D/A轉(zhuǎn)換，并將轉(zhuǎn)換后的圖像輸出至顯示器(未示出)以顯示圖像。
[0422]適應(yīng)性循環(huán)濾波器382的輸出進(jìn)一步提供給幀存儲(chǔ)器369。
[0423]幀存儲(chǔ)器369、選擇器370、幀內(nèi)預(yù)測(cè)器371、運(yùn)動(dòng)估計(jì)器/補(bǔ)償372以及選擇器373 分別對(duì)應(yīng)于圖像編碼設(shè)備311的幀存儲(chǔ)器332、選擇器333、幀內(nèi)預(yù)測(cè)器334、運(yùn)動(dòng)估計(jì)器/ 補(bǔ)償335以及預(yù)測(cè)圖像選擇器336。
[0424]選擇器370從幀存儲(chǔ)器369中讀出待受到幀間處理的圖像和待參考的圖像，并將 圖像提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償372。另外，選擇器370從幀存儲(chǔ)器369中讀出用于幀內(nèi)預(yù)測(cè) 的圖像，并將圖像提供給幀內(nèi)預(yù)測(cè)器371。
[0425]在需要的時(shí)候，無損解碼器362將由解碼頭部信息所獲得的的指示出幀內(nèi)預(yù)測(cè)模 式等的信息提供給幀內(nèi)預(yù)測(cè)器371?；谠撔畔?，幀內(nèi)預(yù)測(cè)器371在從幀存儲(chǔ)器396獲得的 參考圖像中產(chǎn)生預(yù)測(cè)圖像，并將產(chǎn)生的預(yù)測(cè)圖像提供給選擇器373。
[0426]從頭部信息被解碼而獲得的信息(預(yù)測(cè)模式信息、運(yùn)動(dòng)矢量信息、參考幀信息、標(biāo) 識(shí)符、各種參數(shù)等)從無損解碼器362被提供給運(yùn)動(dòng)估計(jì)器/補(bǔ)償372。
[0427]基于由無損解碼器362提供的信息，運(yùn)動(dòng)估計(jì)器/補(bǔ)償372在從幀存儲(chǔ)器369獲得的參考圖像產(chǎn)生預(yù)測(cè)圖像，并將產(chǎn)生的預(yù)測(cè)圖像提供給選擇器373。
[0428]選擇器373選擇由運(yùn)動(dòng)估計(jì)器/補(bǔ)償372或幀內(nèi)預(yù)測(cè)器371所產(chǎn)生的預(yù)測(cè)圖像， 并將預(yù)測(cè)圖像提供剛給算法運(yùn)算單元365。
[0429]應(yīng)注意，在上述說明中，H.264/AVC格式或HEVC格式被用作編碼格式的基礎(chǔ)。然 而，本說明書并不局限于這種格式，可以應(yīng)用其他可以實(shí)施運(yùn)動(dòng)差別預(yù)測(cè)和補(bǔ)償?shù)木幋a格 式/解碼格式。
[0430]本發(fā)明能夠用于圖像編碼設(shè)備和圖像解碼設(shè)備，在通過正交變換(例如離散余弦 正交和運(yùn)動(dòng)補(bǔ)償)進(jìn)行壓縮的圖像信息(比特流)通過網(wǎng)絡(luò)媒介(例如衛(wèi)星廣播，有線電視， 互聯(lián)網(wǎng)或移動(dòng)電話設(shè)備)與例如MPEG或H.26x 一樣被接收時(shí)，使用這些設(shè)備。本發(fā)明還可 以用于圖像編碼設(shè)備和圖像解碼設(shè)備，當(dāng)壓縮圖像信息在存儲(chǔ)介質(zhì)(例如光學(xué)或磁盤或閃 存上)處理的情況下使用這些設(shè)備。進(jìn)一步的，本發(fā)明可以用于包括這些圖像編碼設(shè)備和圖 像解碼設(shè)備的運(yùn)動(dòng)估計(jì)器/補(bǔ)償設(shè)備中。
[0431]〈6.第六實(shí)施例〉
[0432][計(jì)算機(jī)]
[0433]上述的一系列處理可通過硬件執(zhí)行，也可以通過軟件執(zhí)行。當(dāng)這些處理由軟件執(zhí) 行時(shí)，構(gòu)成軟件的程序安裝在計(jì)算機(jī)中。應(yīng)注意，計(jì)算機(jī)的例子包括嵌入專用硬件的計(jì)算 機(jī)，通過安裝各種軟件而能執(zhí)行各種功能的通用目的個(gè)人計(jì)算機(jī)等。
[0434]在圖20中，個(gè)人計(jì)算機(jī)501的CPU (中央處理單元)501根據(jù)存儲(chǔ)在ROM (只讀存 儲(chǔ)器)502中的程序或者由存儲(chǔ)單元513安裝在RAM (隨機(jī)存取存儲(chǔ)器)503中的程序執(zhí)行 各種處理。CPU501為了執(zhí)行各種處理等所必須的數(shù)據(jù)也存儲(chǔ)在RAM503的所需位置中。
[0435]CPU501、R0M502和RAM503通過總線504相互連接。輸入/輸出接口 510也連接 至總線504。
[0436]輸入/輸出接口 510具有以下連接在其上的部件:輸入單元511，包括鍵盤，鼠標(biāo) 等；輸出單元512，包括顯示器(例如CRT (陰極射線管)或LCD (液晶顯示器)以及揚(yáng)聲器； 存儲(chǔ)單元513，包括硬盤等；以及通訊單元514，包括調(diào)制解調(diào)器等。通訊單元514通過網(wǎng)絡(luò) (包括互聯(lián)網(wǎng))執(zhí)行通訊。
[0437]驅(qū)動(dòng)器515也在需要的情況下連接至輸入/輸出接口 510，可移動(dòng)介質(zhì)512 (例如 磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器)按需安裝在驅(qū)動(dòng)器上。從可移動(dòng)盤上讀取的計(jì)算機(jī)程 序安裝在存儲(chǔ)單元513所需的位置。
[0438]在上述處理由硬件執(zhí)行的情況下，構(gòu)成軟件的程序通過網(wǎng)絡(luò)或記錄介質(zhì)來安裝。
[0439]如圖20所示，記錄介質(zhì)的例子包括獨(dú)立于該設(shè)備而將程序傳送給用戶的可移動(dòng) 介質(zhì)521，例如，其上記錄有程序的磁盤(包括軟盤)、光盤(包括⑶-ROM (壓縮盤-只讀存儲(chǔ) 器))或DVD (數(shù)字式激光視盤)、磁光盤(包括MD (迷你光盤))或半導(dǎo)體存儲(chǔ)器?？商鎿Q的， 記錄介質(zhì)可以由其上記錄有程序的R0M502構(gòu)成或者包括在存儲(chǔ)單元513中的硬盤構(gòu)成。這 種記錄介質(zhì)在傳送給用戶之前就提前組裝進(jìn)設(shè)備。
[0440]由計(jì)算機(jī)執(zhí)行的程序可以是與本發(fā)明所述的順序一致的時(shí)間順序而執(zhí)行處理的 程序，或者是并行執(zhí)行命令的程序，或者是在需要的時(shí)候，例如當(dāng)有命令時(shí)執(zhí)行處理的程序。
[0441]在本發(fā)明中，描述記錄在記錄介質(zhì)上的程序的步驟不僅包括按照與所公開的順序一致的時(shí)間順序執(zhí)行的處理，還包括如果不一定要按時(shí)間順序時(shí)并行執(zhí)行的處理或彼此獨(dú)
立的處理。
[0442]在本發(fā)明中，“系統(tǒng)”指的是由兩個(gè)或更多設(shè)備(裝置)構(gòu)成的整個(gè)裝置。
[0443]另外，在上述的例子中，作為一個(gè)設(shè)備(或一個(gè)處理單元)的任何結(jié)構(gòu)都可以分成 兩個(gè)或更多的設(shè)備(或處理單元)。相反的，作為兩個(gè)或更多的設(shè)備(或處理單元)的任何結(jié) 構(gòu)可以組合構(gòu)成一個(gè)設(shè)備(或處理單元)。當(dāng)然也有可能將除了上述結(jié)構(gòu)之外的結(jié)構(gòu)與任何 設(shè)備(或任何的處理單元)的結(jié)構(gòu)相加。進(jìn)一步的，只要整個(gè)系統(tǒng)的結(jié)構(gòu)和處理保持實(shí)質(zhì)上 相同，設(shè)備(或處理單元)的部分結(jié)構(gòu)可以并入其他設(shè)備(或處理單元)的結(jié)構(gòu)中。也即，目 前的方法的實(shí)施方式不局限于上述的實(shí)施例，可以不脫離該方法的范圍而做各種改進(jìn)。
[0444]根據(jù)上述實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備能用在各種電子裝置中，包括: 衛(wèi)星廣播的傳送器和接收器；有線廣播(例如，有線電視)、借由因特網(wǎng)的傳送、由蜂窩通信 系統(tǒng)至終端的傳送等；將圖像記錄在介質(zhì)上的記錄裝置，例如光盤，磁盤或閃存；或從那些 存儲(chǔ)介質(zhì)再現(xiàn)圖像的再現(xiàn)裝置。下面將描述四種示例應(yīng)用。
[0445]<7.修改例 >
[0446][第一種應(yīng)用:電視接收器]
[0447]圖21示意性的示出了應(yīng)用上述實(shí)施例的電視裝置的示例結(jié)構(gòu)。電視裝置900包 括天線901、調(diào)諧器902、多路分用器903、解碼器904、視頻信號(hào)處理器905、顯示單元906、 音頻信號(hào)處理器907、揚(yáng)聲器908、外部接口 909、控制器910、用戶接口 911和總線912。
[0448]調(diào)諧器902從天線901接收的廣播信號(hào)中提取所需的頻道信號(hào)，并解調(diào)所提取的 信號(hào)。調(diào)諧器902然后將解調(diào)所獲得的編碼比特流輸出至多路分用器903。也即，調(diào)諧器 902在電視裝置900中作為接收由編碼圖像構(gòu)成的編碼流的傳輸裝置。
[0449]多路分用器903將待觀看的節(jié)目的視頻流和音頻流與編碼比特流分離，并輸出各 個(gè)經(jīng)分離的流至解碼器904。多路分用器903還從編碼比特流中提取輔助數(shù)據(jù)，例如EPG (電子節(jié)目指南)，并將提取的數(shù)據(jù)提供給控制器910。在編碼的比特流被擾頻的情況下，多 路分用器903可以執(zhí)行解擾。
[0450]解碼器904將來自多路分用器903的視頻流和音頻流進(jìn)行解碼。解碼器904然后 輸出由解碼處理產(chǎn)生的視頻數(shù)據(jù)至視頻信號(hào)處理器905。解碼器904還將由解碼處理產(chǎn)生 的視頻數(shù)據(jù)輸出至音頻信號(hào)處理器907。
[0451]視頻信號(hào)處理器905再現(xiàn)由解碼器904輸入的視頻數(shù)據(jù)，并使得顯示單元906顯 示視頻圖像。視頻信號(hào)處理器905也可以在顯示單元906上顯示由網(wǎng)絡(luò)提供的應(yīng)用屏幕。 此外，視頻信號(hào)處理器905可以執(zhí)行附加處理，例如根據(jù)設(shè)置對(duì)視頻數(shù)據(jù)降噪。視頻信號(hào)處 理器905還可以產(chǎn)生⑶I (圖形用戶界面)圖像，例如菜單和按鈕或光標(biāo)，并在輸出圖像上 附加產(chǎn)生的圖像。
[0452]顯示單元906由來自視頻信號(hào)處理器905的驅(qū)動(dòng)信號(hào)進(jìn)行驅(qū)動(dòng)，并顯示視頻圖像 或在顯示設(shè)備(例如液晶顯示器、等離子顯示器或OELD (有機(jī)電致發(fā)光顯示))的視頻屏幕 上的圖像。
[0453]音頻信號(hào)處理器907執(zhí)行再現(xiàn)處理，例如D/A轉(zhuǎn)換，以及放大由解碼器904輸入的 音頻數(shù)據(jù)，并從揚(yáng)聲器908輸出聲音。另外，音頻信號(hào)處理器907可以執(zhí)行附加處理,例如 對(duì)音頻數(shù)據(jù)降噪。[0454]外部接口 909是連接電視裝置900與外部設(shè)備或網(wǎng)絡(luò)的接口。例如，由外部接口 909接收的視頻流或音頻流可由解碼器904進(jìn)行解碼。也即，外部接口 909還在電視裝置 900中作為接收由編碼圖像構(gòu)成的編碼流的傳輸方式。
[0455]控制器910包括處理器(例如CPU)以及存儲(chǔ)器(例如RAM或ROM)。存儲(chǔ)器存儲(chǔ)將 由CPU執(zhí)行的程序，程序數(shù)據(jù)，EPG數(shù)據(jù)，通過網(wǎng)絡(luò)獲得的數(shù)據(jù)等。存儲(chǔ)器中存儲(chǔ)的程序在 例如電視裝置900激活的時(shí)候由CPU讀取，然后執(zhí)行。通過執(zhí)行程序，根據(jù)由用戶接口 911 所輸入的操作信號(hào)，CPU控制電視設(shè)備900的操作。
[0456]用戶接口 911連接至控制器910。用戶接口 911包括按鈕和開關(guān)，以便用戶操作電 視裝置900，以及接收單元來接收例如遠(yuǎn)程控制信號(hào)。用戶接口 911通過探測(cè)用戶通過這些 部件的操作來產(chǎn)生操作信號(hào)，并輸出產(chǎn)生的操作信號(hào)至控制器910。
[0457]總線912將調(diào)諧器902、多路分用器903、解碼器904、視頻信號(hào)處理器905、音頻信 號(hào)處理器907、外部接口 909和控制器910相互連接。
[0458]在具有上述結(jié)構(gòu)的電視裝置900中，解碼器904具有根據(jù)上述實(shí)施例的圖像解碼 設(shè)備的功能。因此，當(dāng)圖像在電視裝置900中解碼時(shí)，多視點(diǎn)編碼中的編碼效率可得到提聞。
[0459][第二種應(yīng)用:移動(dòng)電話設(shè)備]
[0460]圖22示意性的示出了應(yīng)用上述實(shí)施例的移動(dòng)電話設(shè)備的示例結(jié)構(gòu)。移動(dòng)電話設(shè) 備920包括天線921、通信單元922、音頻編碼解碼器923、揚(yáng)聲器924、耳機(jī)925、相機(jī)單元 926、圖像處理器927、多路分用器928、記錄/再現(xiàn)單元929、顯示單元930、控制器931、操作 單元932以及總線933。
[0461]天線921連接到通信單元922。揚(yáng)聲器924和耳機(jī)925連接至音頻編碼解碼器 923。操作單元932連接至控制器931?？偩€933使得通信單元922、音頻編碼解碼器923、 相機(jī)單元926、圖像處理器927、多路分用器928、顯示單元930和控制器931互相連接。
[0462]移動(dòng)電話設(shè)備920以各種處理模式(包括音頻通信模式、數(shù)據(jù)通信模式、圖像模式 和視頻電話模式)執(zhí)行處理，例如傳輸和接收音頻信號(hào)的處理、傳輸和接收電子郵件或圖像 數(shù)據(jù)、圖像處理和數(shù)據(jù)記錄。
[0463]在語音呼叫模式中，由耳機(jī)925產(chǎn)生的模擬音頻信號(hào)被提供給音頻編碼解碼器 923。音頻編碼解碼器923將模擬音頻信號(hào)轉(zhuǎn)換成音頻數(shù)據(jù)，并在轉(zhuǎn)換后的音頻數(shù)據(jù)上執(zhí)行 壓縮和A/D轉(zhuǎn)換。音頻編碼解碼器923輸出壓縮音頻數(shù)據(jù)至通信單元922。通信單元922 將音頻數(shù)據(jù)編碼并調(diào)制，產(chǎn)生傳輸信號(hào)。通信單元922將產(chǎn)生的傳輸信號(hào)通過天線921傳 送至基站(未示出)。通信單元922還對(duì)通過天線921所接收的廣播信號(hào)執(zhí)行放大和頻率轉(zhuǎn) 換，并獲得接收信號(hào)。通信單元922通過對(duì)接收信號(hào)進(jìn)行解調(diào)和解碼產(chǎn)生音頻數(shù)據(jù)，并將產(chǎn) 生的音頻數(shù)據(jù)輸出至音頻編碼解碼器923。音頻編碼解碼器923對(duì)音頻數(shù)據(jù)執(zhí)行解壓和D/ A轉(zhuǎn)換，并產(chǎn)生模擬音頻信號(hào)。音頻編碼解碼器923然后將產(chǎn)生的音頻信號(hào)輸出至揚(yáng)聲器 924以輸出聲音。
[0464]在數(shù)據(jù)通信模式中，控制器931根據(jù)用戶通過操作單元932的操作而產(chǎn)生組成電 子郵件的文本數(shù)據(jù)?？刂破?31也在顯示單元930上顯示文本?？刂破?31還響應(yīng)于用戶 通過操作單元932的傳輸指令產(chǎn)生電子郵件數(shù)據(jù)，并將產(chǎn)生的電子郵件數(shù)據(jù)輸出至通信單 元922。通信單元922將電子郵件數(shù)據(jù)進(jìn)行編碼和調(diào)制，以產(chǎn)生傳輸信號(hào)。通信單元922將產(chǎn)生的傳輸信號(hào)通過天線921傳輸至基站(未示出)。通信單元922還對(duì)由天線921接收的 廣播信號(hào)執(zhí)行放大和頻率轉(zhuǎn)換，并獲得接收信號(hào)。通信單元922然后通過將接收信號(hào)解調(diào) 和解碼來存儲(chǔ)電子郵件數(shù)據(jù)，并將存儲(chǔ)的電子郵件數(shù)據(jù)輸出至控制器931?？刂破?31使得 顯示單元930顯示電子郵件的內(nèi)容，并將電子郵件數(shù)據(jù)存儲(chǔ)在記錄/再現(xiàn)單元929的存儲(chǔ) 介質(zhì)中。
[0465]記錄/再現(xiàn)單元929包括可讀/可寫存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是內(nèi)部存儲(chǔ) 介質(zhì)，例如RAM或閃存，或可以是外部安裝類型的存儲(chǔ)介質(zhì)，例如硬盤、磁盤、磁光盤、光盤、 USB (未分配的空間位圖)存儲(chǔ)器或存儲(chǔ)卡。
[0466]在成像模式中，相機(jī)單元926通過捕捉物體的圖像來產(chǎn)生圖像數(shù)據(jù)，并將產(chǎn)生的 圖像數(shù)據(jù)輸出至例如圖像處理器927。圖像處理器927對(duì)由相機(jī)單元926輸入的圖像數(shù)據(jù) 編碼，并將編碼流存儲(chǔ)在記錄/再現(xiàn)單元929的存儲(chǔ)介質(zhì)中。
[0467]在視頻電話模式中，多路分用器928將由圖像處理器927編碼的視頻流以及音頻 編碼解碼器923輸入的音頻流進(jìn)行多路復(fù)用，并將多路復(fù)用的流輸出至通信單元922。通信 單元922對(duì)流進(jìn)行編碼和調(diào)制以產(chǎn)生一個(gè)傳輸信號(hào)。通信單元922將產(chǎn)生的傳輸信號(hào)通過 天線921傳輸至基站(未示出)。通信單元922還對(duì)由天線921接收的廣播信號(hào)執(zhí)行放大和 頻率轉(zhuǎn)換，并獲得接收信號(hào)。傳輸信號(hào)和接收信號(hào)均包括編碼的比特流。通信單元922通 過將接收信號(hào)解調(diào)和解碼來存儲(chǔ)流，并將存儲(chǔ)的流輸出至多路分用器928。多路分用器928 將輸入流與視頻和音頻流分開，并將視頻流輸出至圖像處理器927，將音頻流輸出至音頻編 碼解碼器923。圖像處理器927對(duì)視頻流解碼產(chǎn)生視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供給顯示單元 930，由顯示單元930顯示一系列圖像。音頻編碼解碼器923對(duì)音頻流執(zhí)行解壓縮和D/A轉(zhuǎn) 換，以產(chǎn)生模擬音頻信號(hào)。音頻編碼解碼器923記錄/再現(xiàn)單元929然后將產(chǎn)生的視頻信 號(hào)輸出至揚(yáng)聲器924以輸出聲音。
[0468]在具有上述結(jié)構(gòu)的可移動(dòng)電話設(shè)備920中，圖像處理器927具有根據(jù)上述實(shí)施例 的圖像編碼設(shè)備和圖像解碼設(shè)備的功能。因此，當(dāng)圖像在可移動(dòng)電話設(shè)備920中被編碼和 解碼時(shí)，多視點(diǎn)編碼中的編碼效率可得到提高。
[0469][第三種應(yīng)用:記錄/再現(xiàn)裝置]
[0470]圖23示意性的示出了應(yīng)用上述實(shí)施例的記錄/再現(xiàn)裝置的示例結(jié)構(gòu)。記錄/再 現(xiàn)裝置940對(duì)接收的例如廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并在記錄介質(zhì)上記錄 編碼數(shù)據(jù)。記錄/再現(xiàn)裝置940還可以對(duì)例如來自其他裝置獲取的音頻和視頻數(shù)據(jù)進(jìn)行編 碼，并在記錄介質(zhì)上記錄音頻和視頻數(shù)據(jù)。記錄/再現(xiàn)裝置940還響應(yīng)于來自于例如用戶 的指令，在監(jiān)視器上或通過揚(yáng)聲器再現(xiàn)記錄在記錄介質(zhì)上的數(shù)據(jù)。通過這樣做，記錄/再現(xiàn) 裝置940對(duì)音頻和視頻數(shù)據(jù)解碼。
[0471]記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口 942、編碼器943、HDD (硬盤驅(qū)動(dòng) 器)944、光盤驅(qū)動(dòng)器945、選擇器946、解碼器947、OSD (屏上顯示)948、控制器949以及用 戶接口 950。
[0472]調(diào)諧器941從通過天線(未示出)接收的廣播信號(hào)中提取所需的頻道信號(hào)，并解調(diào) 所提取的信號(hào)。調(diào)諧器941將解調(diào)所獲得的編碼比特流輸出至選擇器946。也即，調(diào)諧器 941在記錄/再現(xiàn)裝置940中作為傳輸方式。
[0473]外部接口 942是記錄/再現(xiàn)裝置940與外部設(shè)備或網(wǎng)絡(luò)的接口。外部接口 942可以是例如IEEE1394接口、網(wǎng)絡(luò)接口、USB接口或閃存接口。例如，由外部接口 942接收的視 頻數(shù)據(jù)和音頻數(shù)據(jù)可輸入至編碼器943。也即，外部接口 942還在記錄/再現(xiàn)裝置940中作 為傳輸方式。
[0474]當(dāng)從外部接口 942所輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)沒有被編碼的情況下，編碼器 943對(duì)視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼。編碼器943然后將經(jīng)編碼的比特流輸出至選擇器
946。
[0475]HDD944將由壓縮內(nèi)容數(shù)據(jù)(例如視頻圖像和聲音)、各種程序及其他數(shù)據(jù)構(gòu)成的編 碼比特流記錄在內(nèi)部硬盤上。HDD944從硬盤上讀取這些數(shù)據(jù)，以進(jìn)行視頻和音頻的再現(xiàn)。
[0476]盤驅(qū)動(dòng)器945記錄數(shù)據(jù)，并其上所安裝的記錄介質(zhì)上讀取數(shù)據(jù)。安裝在盤驅(qū)動(dòng)器 945上的記錄介質(zhì)可以是例如DVD盤(例如DVD視頻盤、DVD-RAM、DVD-R、DVD-RW、DVD+R或 DVD+RW)或藍(lán)光(商標(biāo)名)盤。
[0477]當(dāng)記錄視頻圖像和聲音時(shí)，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編 碼的比特流，并將所選擇的編碼比特流輸出至HDD944或盤驅(qū)動(dòng)器945。當(dāng)再現(xiàn)視頻圖像和 聲音時(shí)，選擇器946選擇從HDD944或盤驅(qū)動(dòng)器945輸入的編碼的比特流，并輸出至解碼器
947。
[0478]解碼器947對(duì)編碼比特流進(jìn)行解碼，以產(chǎn)生視頻數(shù)據(jù)和音頻數(shù)據(jù)。解碼器947將 產(chǎn)生的視頻數(shù)據(jù)輸出至0SD948。解碼器904還將產(chǎn)生的音頻數(shù)據(jù)輸出至外部揚(yáng)聲器。
[0479]0SD948再現(xiàn)由解碼器947輸入的視頻數(shù)據(jù)，并播放視頻圖像。0SD948還可以在待 顯示的視頻圖像上添加⑶I，例如，菜單和按鈕或光標(biāo)。
[0480]控制器949包括處理器，例如CPU，以及存儲(chǔ)器，例如RAM或ROM。存儲(chǔ)器存儲(chǔ)將由 CPU執(zhí)行的程序、程序數(shù)據(jù)等。存儲(chǔ)器中存儲(chǔ)的程序在例如記錄/再現(xiàn)裝置940例如激活 的時(shí)候由CPU讀取，然后執(zhí)行。通過執(zhí)行程序，根據(jù)由用戶接口 950所輸入的操作信號(hào)，CPU 控制記錄/再現(xiàn)裝置940的操作。
[0481]用戶接口 950連接至控制器949。用戶接口 950包括按鈕和開關(guān)，以便用戶操作記 錄/再現(xiàn)裝置940，以及接收單元來接收例如遠(yuǎn)程控制信號(hào)。用戶接口 950通過探測(cè)用戶通 過這些部件的操作來產(chǎn)生操作信號(hào)，并輸出產(chǎn)生的操作信號(hào)至控制器949。
[0482]在具有上述結(jié)構(gòu)的記錄/再現(xiàn)裝置940中，編碼器943具有根據(jù)上述實(shí)施例的圖 像編碼設(shè)備的功能，且解碼器947具有根據(jù)上述實(shí)施例的圖像解碼設(shè)備的功能。因此，當(dāng)圖 像在記錄/再現(xiàn)裝置940中被編碼和解碼時(shí)，多視點(diǎn)編碼中的編碼效率可得到提高。
[0483][第四種應(yīng)用:成像裝置]
[0484]圖24示意性的示出了應(yīng)用上述實(shí)施例的成像裝置的示例結(jié)構(gòu)。成像裝置960通 過對(duì)物體成像而產(chǎn)生圖像，編碼圖像，并將圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)介質(zhì)中。
[0485]成像裝置960包括光學(xué)塊961、成像單元962、信號(hào)處理器963、圖像處理器964、顯 示單元965、外部接口 966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、0SD969、控制器970、用戶接口 971 和總線972。
[0486]光學(xué)塊961連接至成像單元962。成像單元962連接至信號(hào)處理器963。顯示單 元965連接至圖像處理器964。用戶接口 971連接至控制器970?？偩€972將圖像處理器 964、外部接口 966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、0SD969、控制器970相互連接。
[0487]光學(xué)塊961包括聚焦透鏡和光圈等。光學(xué)塊961在成像單元962的成像表面上形成物體的光學(xué)圖像。成像單元962包括圖像傳感器，例如CXD (電荷耦合元件)或CMOS (互 補(bǔ)金屬氧化物半導(dǎo)體)，并通過光電轉(zhuǎn)換將形成在成像表面的光學(xué)圖像轉(zhuǎn)換成圖像信號(hào)作 為電信號(hào)。成像單元962將圖像信號(hào)輸出給信號(hào)處理器963。
[0488]信號(hào)處理器963在由成像單兀962輸入的圖像信號(hào)上執(zhí)行各種相機(jī)信號(hào)處理,例 如拐點(diǎn)校正、gamma校正和顏色校正。信號(hào)處理器963輸出圖像數(shù)據(jù)至圖像處理器964進(jìn) 行相機(jī)信號(hào)處理。
[0489]圖像處理器964對(duì)信號(hào)處理器963所輸入的圖像數(shù)據(jù)進(jìn)行編碼，以產(chǎn)生編碼數(shù)據(jù)。 圖像處理器964將產(chǎn)生的編碼數(shù)據(jù)輸出至外部接口 966或介質(zhì)驅(qū)動(dòng)器968。圖像處理器964 還將由外部接口 966或介質(zhì)驅(qū)動(dòng)器968輸入的編碼數(shù)據(jù)進(jìn)行解碼，并產(chǎn)生圖像數(shù)據(jù)。圖像 處理器964將產(chǎn)生的圖像數(shù)據(jù)輸出至顯示單元965?？商鎿Q的，圖像處理器964可以將來自 信號(hào)處理器963的圖像數(shù)據(jù)輸出至顯示單元965以顯示圖像。圖像處理器964還可以在待 輸出至顯示單元965的圖像上添加從0SD969獲取的顯示數(shù)據(jù)。
[0490]0SD969產(chǎn)生⑶I的圖像，例如，菜單、按鈕或光標(biāo)，并將產(chǎn)生的圖像輸出至圖像處 理器964。
[0491]外部接口 966由例如USB輸入/輸出端口構(gòu)成。例如，當(dāng)打印圖像時(shí)，外部接口 966將成像裝置960連接至打印機(jī)。此外，如果需要，驅(qū)動(dòng)器也連接至外部接口 966?？梢?動(dòng)介質(zhì)，例如磁盤或光盤安裝在驅(qū)動(dòng)器上，從而從可移動(dòng)介質(zhì)中讀取的程序能安裝在成像 裝置960上。進(jìn)一步的，外部接口 966可以是網(wǎng)絡(luò)接口以連接至網(wǎng)絡(luò)，例如LAN或因特網(wǎng)。 也即，外部接口 966在成像裝置960上用作傳輸方式。
[0492]安裝在介質(zhì)驅(qū)動(dòng)器968上的記錄介質(zhì)可以是可讀/可寫的可移動(dòng)介質(zhì)，例如，磁 盤、磁光盤、光盤或半導(dǎo)體存儲(chǔ)器。另外，記錄介質(zhì)可以固定在介質(zhì)驅(qū)動(dòng)器968上以形成不 可移動(dòng)存儲(chǔ)單元，例如，內(nèi)部硬盤驅(qū)動(dòng)器或SSD (固態(tài)驅(qū)動(dòng)器)。
[0493]控制器970包括處理器，例如CPU，以及存儲(chǔ)器，例如RAM或ROM。存儲(chǔ)器存儲(chǔ)將由 (PU執(zhí)行的程序，程序數(shù)據(jù)等。存儲(chǔ)器中存儲(chǔ)的程序在例如成像裝置960激活的時(shí)候由CPU 讀取，然后執(zhí)行。通過執(zhí)行程序，根據(jù)由用戶接口 971所輸入的操作信號(hào)，CPU控制成像裝 置960的處理。
[0494]用戶接口 971連接至控制器970。例如，用戶接口 971包括按鈕和開關(guān)，以便用戶 操作成像裝置960。用戶接口 971通過探測(cè)用戶通過這些部件的操作來產(chǎn)生操作信號(hào)，并輸 出產(chǎn)生的操作信號(hào)至控制器970。
[0495]在具有上述結(jié)構(gòu)的成像裝置960中，圖像處理器964具有根據(jù)上述實(shí)施例的圖像 編碼設(shè)備和圖像解碼設(shè)備的功能。因此，當(dāng)圖像在成像裝置960中被編碼和解碼時(shí)，塊失真 可被更合適的移除，且能實(shí)現(xiàn)解碼圖像更高的主觀圖像質(zhì)量。
[0496]如上所述的，在本說明書中，已經(jīng)描述了其中諸如模式識(shí)別信息(例如模式標(biāo)識(shí)或 模式ID)被多路復(fù)用到編碼流，并從編碼側(cè)傳送至解碼側(cè)。然而，傳輸信息的方法并不局限 于上述示例。信息可以不與編碼比特流一起多路復(fù)用，而可以作為與解碼比特流相關(guān)聯(lián)的 獨(dú)立數(shù)據(jù)被傳輸或記錄。注意，術(shù)語“關(guān)聯(lián)”指的是將包含在比特流中的圖像(或部分圖像， 例如，片段或塊)與對(duì)應(yīng)于解碼時(shí)的圖像的信息進(jìn)行鏈接。也即，信息可通過與圖像(或比特 流)不同的傳輸路徑傳輸。并且，信息可記錄在與圖像(或比特流)不同的記錄介質(zhì)(或相同 記錄介質(zhì)的不同記錄區(qū)域)上。進(jìn)一步的，信息的每個(gè)部分可以與圖像(或比特流)的多個(gè)幀、一幀或部分幀相關(guān)聯(lián)。
[0497]雖然本發(fā)明已結(jié)合附圖描述了優(yōu)選實(shí)施例，但本發(fā)明并不局限于這些例子。對(duì)于 本領(lǐng)域的技術(shù)人員來說，在此處所聲明的技術(shù)精神范圍內(nèi)作出各種改變或變型是顯而易見 的，且這些改變或變型自然被認(rèn)為是落在了本發(fā)明的技術(shù)范圍之內(nèi)。
[0498]本技術(shù)還可以具有如下結(jié)構(gòu)。
[0499]( I) 一種圖像處理設(shè)備包括:
[0500]解碼器，構(gòu)造為解碼比特流以產(chǎn)生圖像；
[0501]索引分配單元，構(gòu)造為將在預(yù)測(cè)由解碼器產(chǎn)生的圖像時(shí)所參考的參考圖像索引交 替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；以及
[0502]預(yù)測(cè)器，構(gòu)造為參考由索引分配單元所分配的參考圖像索引的參考圖像以預(yù)測(cè)解 碼器所產(chǎn)生的圖像。
[0503](2)根據(jù)(I)所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按照 先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像 和視點(diǎn)方向的可參考圖像的處理。
[0504](3)根據(jù)(2)所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的所 有可參考圖像之后，索引分配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
[0505](4)根據(jù)(I)所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按照 先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像 和時(shí)間方向的可參考圖像的處理。
[0506](5)根據(jù)(4)所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的所 有可參考圖像之后，索引分配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
[0507](6)根據(jù)(I)所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和視 點(diǎn)方向優(yōu)先模式中選擇一種模式，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中，在參 考圖像索引被分配給時(shí)間方向的可參考圖像后，參考圖像索引被分配給視點(diǎn)方向的可參考 圖像，在視點(diǎn)方向優(yōu)先模式中，在參考圖像索引被分配給視點(diǎn)方向的可參考圖像后，參考圖 像索引被分配給時(shí)間方向的可參考圖像。
[0508](7)根據(jù)(6)所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和視 點(diǎn)方向優(yōu)先模式中選擇一種模式來分配參考圖像索引，并分配參考圖像索引，其中在時(shí)間 方向優(yōu)先模式中重復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考 圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu) 先模式中，重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像 的順序分配給視點(diǎn)方向的可參考圖像以及分配給時(shí)間方向的可參考圖像的處理。
[0509](8)根據(jù)(6)所述的圖像處理設(shè)備，其中，索引分配單元根據(jù)識(shí)別出使用了時(shí)間方 向優(yōu)先模式還是視點(diǎn)方向優(yōu)先模式的模式識(shí)別信息來分配參考圖像索引。
[0510](9)根據(jù)(I)至(8)中任一所述的圖像處理設(shè)備，其中，索引分配單元基于序列參 數(shù)集的視點(diǎn)參考信息來將參考圖像索引分配給視點(diǎn)方向上的可參考圖像。
[0511](10)根據(jù)(I)至(9)任一所述的圖像處理設(shè)備，其中，在P圖片的情況下基于解碼 順序，在B圖片的情況下基于圖片順序計(jì)數(shù)(P0C)，索引分配單元將參考圖像索引分配給時(shí) 間方向上的可參考圖像。[0512](11)根據(jù)(I)所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先交替模式 和視點(diǎn)方向優(yōu)先交替模式中選擇模式來分配參考圖像索引，在時(shí)間方向優(yōu)先交替模式中， 重復(fù)以將參考圖像索引分配給時(shí)間方向的可參考圖像作為開始，并且將參考圖像索引按照 先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像 和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引分 配給視點(diǎn)方向的可參考圖像作為開始，并且將參考圖像索引按照先視點(diǎn)方向的可參考圖 像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖 像的處理。
[0513](12)根據(jù)(11)所述的圖像處理設(shè)備，其中，索引分配單元根據(jù)識(shí)別出使用了時(shí)間 方向優(yōu)先交替模式還是視點(diǎn)方向優(yōu)先交替模式的模式識(shí)別信息來分配參考圖像索引。
[0514](13) 一種圖像處理方法，其中圖像處理設(shè)備:
[0515]解碼比特流以產(chǎn)生圖像；
[0516]將在預(yù)測(cè)產(chǎn)生的圖像時(shí)所參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖 像和時(shí)間方向的可參考圖像；以及
[0517]參考所分配的參考圖像索引的參考圖像，并預(yù)測(cè)產(chǎn)生的圖像。
[0518](14) 一種圖像處理設(shè)備包括:
[0519]索引分配單元，構(gòu)造為將在預(yù)測(cè)圖像時(shí)參考的參考圖像索引交替分配給視點(diǎn)方向 的可參考圖像和時(shí)間方向的可參考圖像；
[0520]預(yù)測(cè)器，構(gòu)造為參考由索引分配單元所分配的參考圖像索引的參考圖像以預(yù)測(cè)圖 像；以及
[0521]編碼器，構(gòu)造為將預(yù)測(cè)器所預(yù)測(cè)的圖像進(jìn)行編碼以產(chǎn)生比特流。
[0522](15)根據(jù)(14)所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按 照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖 像和視點(diǎn)方向的可參考圖像的處理。
[0523](16)根據(jù)(15)所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的 所有可參考圖像之后，索引分配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
[0524](17)根據(jù)(14)所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按 照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖 像和時(shí)間方向的可參考圖像的處理。
[0525](18)根據(jù)(17)所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的 所有可參考圖像之后，索引分配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
[0526](19)根據(jù)(14)所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和 視點(diǎn)方向優(yōu)先模式中選擇一種模式，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中，在 參考圖像索引被分配給時(shí)間方向的可參考圖像后，參考圖像索引被分配給視點(diǎn)方向的可參 考圖像，在視點(diǎn)方向優(yōu)先模式中，在參考圖像索引被分配給視點(diǎn)方向的可參考圖像后，參考 圖像索引被分配給時(shí)間方向的可參考圖像。
[0527](20)根據(jù)(19)所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和 視點(diǎn)方向優(yōu)先模式中選擇一種模式，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中，重 復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先模式中，重復(fù)將 參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn) 方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
[0528](21)根據(jù)(19)所述的圖像處理設(shè)備，進(jìn)一步包括傳輸單元，構(gòu)造為傳輸識(shí)別出使 用了時(shí)間方向優(yōu)先模式還是視點(diǎn)方向優(yōu)先模式的模式識(shí)別信息以及由編碼器產(chǎn)生的比特流。
[0529](22)根據(jù)(14)至(21)任一所述的圖像處理設(shè)備，其中，基于序列參數(shù)組的視點(diǎn)參 考信息，索引分配單元將參考圖像索引分配給視點(diǎn)方向的可參考圖像。
[0530](23)根據(jù)(14)至(22)所述的圖像處理設(shè)備，其中，在P圖片的情況下基于解碼順 序，在B圖片的情況下基于圖片順序計(jì)數(shù)(P0C)，索引分配單元將參考圖像索引分配給時(shí)間 方向的可參考圖像。
[0531](24)根據(jù)(14)所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先交替模 式和視點(diǎn)方向優(yōu)先交替模式中選擇模式，并分配參考圖像索引，在時(shí)間方向優(yōu)先交替模式 中，重復(fù)以將參考圖像索引分配給時(shí)間方向的可參考圖像作為開始，并且將參考圖像索引 按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考 圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先交替模式中，重復(fù)以將參考圖像索 引的分配給視點(diǎn)方向的可參考圖像作為開始，并且將參考圖像索引按照先視點(diǎn)方向的可參 考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參 考圖像的處理。
[0532](25)根據(jù)(24)所述的圖像處理設(shè)備，進(jìn)一步包括傳輸單元，構(gòu)造為傳輸識(shí)別出使 用了時(shí)間方向優(yōu)先交替模式還是視點(diǎn)方向優(yōu)先交替模式的模式識(shí)別信息以及由編碼器產(chǎn) 生的比特流。
[0533](26) 一種圖像處理方法，其中圖像處理設(shè)備:
[0534]將在預(yù)測(cè)圖像時(shí)參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí)間 方向的可參考圖像；
[0535]參考所分配的參考圖像索引的參考圖像以預(yù)測(cè)圖像；以及
[0536]編碼由預(yù)測(cè)器預(yù)測(cè)的圖像以產(chǎn)生比特流。
[0537]參考符號(hào)列表
[0538]100圖像編碼設(shè)備
[0539]106無損編碼器
[0540]115運(yùn)動(dòng)估計(jì)器/補(bǔ)償器
[0541]121語法處理單元
[0542]122參考圖像索引分配單元
[0543]200圖像解碼設(shè)備
[0544]202無損解碼器
[0545]212運(yùn)動(dòng)估計(jì)器/補(bǔ)償器
[0546]221語法處理單元
[0547]222參考圖像索引分配單元
[0548]311圖像編碼設(shè)備[0549] 351圖像解碼設(shè)備
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括:解碼器，構(gòu)造為解碼比特流以產(chǎn)生圖像；索引分配單元，構(gòu)造為將在預(yù)測(cè)由解碼器產(chǎn)生的圖像時(shí)所參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；以及預(yù)測(cè)器，構(gòu)造為參考由索引分配單元所分配的參考圖像索引的參考圖像以預(yù)測(cè)解碼器所產(chǎn)生的圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分 配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中，在參考圖像索引被分配給時(shí)間方向的可參考圖像后，參考圖像索引被分配給視點(diǎn)方向的可參考圖像，在視點(diǎn)方向優(yōu)先模式中，在參考圖像索引被分配給視點(diǎn)方向的可參考圖像后，參考圖像索引被分配給時(shí)間方向的可參考圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式來分配參考圖像索引，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中重復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先模式中，重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像以及分配給時(shí)間方向的可參考圖像的處理。
8.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，索引分配單元根據(jù)識(shí)別出使用了時(shí)間方向優(yōu)先模式還是視點(diǎn)方向優(yōu)先模式的模式識(shí)別信息來分配參考圖像索引。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，索引分配單元基于序列參數(shù)集的視點(diǎn)參考信息來將參考圖像索引分配給視點(diǎn)方向上的可參考圖像。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，在P圖片的情況下基于解碼順序，在B 圖片的情況下基于圖片順序計(jì)數(shù)(POC)，索引分配單元將參考圖像索引分配給時(shí)間方向上的可參考圖像。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先交替模式和視點(diǎn)方向優(yōu)先交替模式中選擇模式來分配參考圖像索引，在時(shí)間方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引分配給時(shí)間方向的可參考圖像作為開始，并且將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引分配給視點(diǎn)方向的可參考圖像作為開始，并且將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，索引分配單元根據(jù)識(shí)別出使用了時(shí)間方向優(yōu)先交替模式還是視點(diǎn)方向優(yōu)先交替模式的模式識(shí)別信息來分配參考圖像索引。
13.一種圖像處理方法，其中圖像處理設(shè)備:解碼比特流以產(chǎn)生圖像；將在預(yù)測(cè)產(chǎn)生的圖像時(shí)所參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；以及參考所分配的參考圖像索引的參考圖像，并預(yù)測(cè)產(chǎn)生的圖像。
14.一種圖像處理設(shè)備包括:索引分配單元，構(gòu)造為將在預(yù)測(cè)圖像時(shí)參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；預(yù)測(cè)器，構(gòu)造為參考由索引分配單元所分配的參考圖像索引的參考圖像以預(yù)測(cè)圖像；以及編碼器，構(gòu)造為將預(yù)測(cè)器所預(yù)測(cè)的圖像進(jìn)行編碼以產(chǎn)生比特流。
15.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理。
16.根據(jù)權(quán)利要求15所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分配單元將參考圖像索引分配給時(shí) 間方向的可參考圖像。
17.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中，索引分配單元重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
18.根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，其中，在將參考圖像索引分配給視點(diǎn)方向的所有可參考圖像之后，索引分配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
19.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中， 在參考圖像索引被分配給時(shí)間方向的可參考圖像后，參考圖像索引被分配給視點(diǎn)方向的可參考圖像，在視點(diǎn)方向優(yōu)先模式中，在參考圖像索引被分配給視點(diǎn)方向的可參考圖像后，參考圖像索引被分配給時(shí)間方向的可參考圖像。
20.根據(jù)權(quán)利要求19所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先模式和視點(diǎn)方向優(yōu)先模式中選擇一種模式，并分配參考圖像索引，其中在時(shí)間方向優(yōu)先模式中， 重復(fù)將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先模式中，重復(fù)將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
21.根據(jù)權(quán)利要求19所述的圖像處理設(shè)備，進(jìn)一步包括傳輸單元，構(gòu)造為傳輸識(shí)別出使用了時(shí)間方向優(yōu)先模式還是視點(diǎn)方向優(yōu)先模式的模式識(shí)別信息以及由編碼器產(chǎn)生的比特流。
22.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中，基于序列參數(shù)組的視點(diǎn)參考信息，索引分配單元將參考圖像索引分配給視點(diǎn)方向的可參考圖像。
23.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中，在P圖片的情況下基于解碼順序，在 B圖片的情況下基于圖片順序計(jì)數(shù)(POC)，索引分配單元將參考圖像索引分配給時(shí)間方向的可參考圖像。
24.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中，索引分配單元從時(shí)間方向優(yōu)先交替模式和視點(diǎn)方向優(yōu)先交替模式中選擇模式，并分配參考圖像索引，在時(shí)間方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引分配給時(shí)間方向的可參考圖像作為開始，并且將參考圖像索引按照先時(shí)間方向的可參考圖像、后視點(diǎn)方向的可參考圖像的順序分配給時(shí)間方向的可參考圖像和視點(diǎn)方向的可參考圖像的處理，在視點(diǎn)方向優(yōu)先交替模式中，重復(fù)以將參考圖像索引的分配給視點(diǎn)方向的可參考圖像作為開始，并且將參考圖像索引按照先視點(diǎn)方向的可參考圖像、后時(shí)間方向的可參考圖像的順序分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像的處理。
25.根據(jù)權(quán)利要求24所述的圖像處理設(shè)備，進(jìn)一步包括傳輸單元，構(gòu)造為傳輸識(shí)別出使用了時(shí)間方向優(yōu)先交替模式還是視點(diǎn)方向優(yōu)先交替模式的模式識(shí)別信息以及由編碼器產(chǎn)生的比特流。
26.一種圖像處理方法，其中圖像處理設(shè)備:將在預(yù)測(cè)圖像時(shí)參考的參考圖像索引交替分配給視點(diǎn)方向的可參考圖像和時(shí)間方向的可參考圖像；參考所分配的參考圖像索引的參考圖像以預(yù)測(cè)圖像；以及編碼由預(yù)測(cè)器預(yù)測(cè)的圖像以產(chǎn)生比特流。
【文檔編號(hào)】H04N19/625GK103563364SQ201280026261
【公開日】2014年2月5日 申請(qǐng)日期:2012年5月30日 優(yōu)先權(quán)日:2011年6月7日
【發(fā)明者】高橋良知, 服部忍 申請(qǐng)人:索尼公司