圖像編碼裝置制造方法
【專(zhuān)利摘要】本發(fā)明提供圖像編碼裝置。本發(fā)明在不降低預(yù)測(cè)編碼的預(yù)測(cè)性能的情況下，顯著減少用于編碼延遲和數(shù)據(jù)延遲的緩沖器的數(shù)量。為此，參照右側(cè)相鄰照相機(jī)的同一時(shí)間的幀，并且相對(duì)于參照源圖像將參照目的地圖像的編碼定時(shí)延遲以幾個(gè)塊的編碼時(shí)間。
【專(zhuān)利說(shuō)明】圖像編碼裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于對(duì)在多個(gè)視點(diǎn)獲得的圖像進(jìn)行編碼的圖像編碼裝置。
【背景技術(shù)】
[0002]近年來(lái)，由雙鏡頭照相機(jī)捕獲的三維視頻內(nèi)容已開(kāi)始普及。作為對(duì)捕獲的多視點(diǎn)視頻進(jìn)行壓縮編碼的技術(shù)，已知有札264多視圖編碼(下文中稱(chēng)為H.264MVC)。H.264MVC是遵守H.264的編碼方法的擴(kuò)展，并且用作藍(lán)光盤(pán)(Blu-ray Disc)的3D標(biāo)準(zhǔn)。在H.264MVC中，除了使用在不同時(shí)間于同一視點(diǎn)捕獲的幀之間的預(yù)測(cè)進(jìn)行“幀間預(yù)測(cè)編碼”之外，還能夠使用在同一時(shí)間的不同視點(diǎn)之間的預(yù)測(cè)進(jìn)行“視點(diǎn)間預(yù)測(cè)編碼”。為了進(jìn)行視點(diǎn)間預(yù)測(cè)編碼，需要完成對(duì)作為參照源的視點(diǎn)處的參照?qǐng)D像的局部解碼。由于局部解碼處理需要一定時(shí)間，因此當(dāng)進(jìn)行視點(diǎn)間預(yù)測(cè)編碼時(shí)，出現(xiàn)延遲。
[0003]日本專(zhuān)利特開(kāi)2009-505607號(hào)公報(bào)公開(kāi)了如下的方法，即使用各種單位使照相機(jī)在各個(gè)視點(diǎn)獲得的圖像交錯(cuò)(interleaving)，并且將這些圖像作為一個(gè)圖像流進(jìn)行編碼。
[0004]日本專(zhuān)利特開(kāi)2008-182669號(hào)公報(bào)公開(kāi)了如下的技術(shù)，即基于相鄰幀與補(bǔ)償幀之間的相關(guān)性，而采用具有最小代碼量的圖片-照相機(jī)預(yù)測(cè)結(jié)構(gòu)，以使得多視點(diǎn)視頻編碼中
的信息量最小化。
[0005]日本專(zhuān)利特開(kāi)2008-182669號(hào)公報(bào)還公開(kāi)了如下的方法，即當(dāng)對(duì)各個(gè)視點(diǎn)處的圖像進(jìn)行并行解碼時(shí)，計(jì)算視點(diǎn)之間必需的解碼開(kāi)始時(shí)間差作為延遲時(shí)間，并通知給解碼側(cè)，以在無(wú)故障的情況下對(duì)參照區(qū)域進(jìn)行參照。
[0006]為了在對(duì)多視點(diǎn)圖像進(jìn)行實(shí)時(shí)編碼時(shí)，以高精度從作為視點(diǎn)間預(yù)測(cè)參照源的圖像中搜索參照位置矢量，需要足夠?qū)挼膮⒄諈^(qū)域。為此，需要把要編碼的圖像數(shù)據(jù)延遲一幀或者幾十行，這導(dǎo)致編碼延遲和成本的增加。
[0007]為了減少用于臨時(shí)保存視點(diǎn)間預(yù)測(cè)的參照區(qū)域的圖像的緩沖器的數(shù)量，并且縮短由于該處理而產(chǎn)生的延遲時(shí)間，而對(duì)該參照區(qū)域進(jìn)行限制，由此使壓縮編碼的效率顯著降低。
[0008]針對(duì)該問(wèn)題，日本專(zhuān)利特開(kāi)2008-182669號(hào)公報(bào)優(yōu)先著重于減少代碼量，而未考慮縮短編碼延遲。此外，日本專(zhuān)利特開(kāi)2008-182669號(hào)公報(bào)試圖通過(guò)向解碼側(cè)通知不導(dǎo)致故障的最短延遲，來(lái)防止不必要的延遲，但是未提供使用視點(diǎn)之間的視頻的相關(guān)性來(lái)減小延遲量的布置。

【發(fā)明內(nèi)容】

[0009]本發(fā)明是為克服傳統(tǒng)缺點(diǎn)而做出的。
[0010]本發(fā)明提供一種用于對(duì)多視點(diǎn)圖像進(jìn)行編碼的圖像編碼裝置，該圖像編碼裝置包括:N個(gè)編碼器，其以由多個(gè)像素構(gòu)成的塊為單位，從捕獲的幀的左上位置開(kāi)始向右下方向進(jìn)行光柵掃描，并且生成各個(gè)塊的編碼數(shù)據(jù)；以及N個(gè)圖像捕獲單元的一維陣列，所述N個(gè)圖像捕獲單元分別對(duì)應(yīng)于所述N個(gè)編碼器，并且被布置為使得所述一維陣列的方向?qū)?yīng)于所述光柵掃描中的一行，其中，如果沿所述一維陣列的方向從右端到左端依次將所述N個(gè)圖像捕獲單元定義為第一、第二、…和第N圖像捕獲單元，并且所述N個(gè)編碼器被定義為第一、第二、…和第N編碼器，以分別對(duì)應(yīng)于所述第一、第二、…和第N圖像捕獲單元，則第i(i>l)編碼器包括:參照單元，其在視點(diǎn)間預(yù)測(cè)中，參照由位于第i圖像捕獲單元的右側(cè)的至少一個(gè)圖像捕獲單元在同一時(shí)間獲得的幀；以及延遲單元，其將來(lái)自所述第i圖像捕獲單元的幀延遲以視點(diǎn)間預(yù)測(cè)所需的時(shí)間。
[0011]根據(jù)本發(fā)明，能夠在不降低預(yù)測(cè)編碼的預(yù)測(cè)性能的情況下， 顯著減少用于編碼延遲和數(shù)據(jù)延遲的緩沖器的數(shù)量。
[0012]通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0013]圖1是示出照相機(jī)在兩個(gè)視點(diǎn)獲得的無(wú)限遠(yuǎn)距離處的被攝體的圖像相同的情況的圖；
[0014]圖2是示出被劃分為作為編碼單位的塊的、無(wú)限遠(yuǎn)距離處的虛擬區(qū)域的圖；
[0015]圖3A和3B是各自示出同一位置處的塊的編碼定時(shí)之間的關(guān)系的圖；
[0016]圖4A和4B是各自示出被攝體朝向照相機(jī)的移動(dòng)與在圖像上的移動(dòng)方向之間的關(guān)系的圖；
[0017]圖5是示出根據(jù)本發(fā)明的第一實(shí)施例的多視點(diǎn)圖像編碼裝置的結(jié)構(gòu)的框圖；
[0018]圖6是示出附近物體造成干擾、從而在遠(yuǎn)距離處產(chǎn)生照相機(jī)的盲點(diǎn)的情況的圖；以及
[0019]圖7是示出根據(jù)本發(fā)明的第二實(shí)施例的多視點(diǎn)圖像編碼裝置的結(jié)構(gòu)的框圖?！揪唧w實(shí)施方式】
[0020]下面，將參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。
[0021]使用一個(gè)視點(diǎn)的一般運(yùn)動(dòng)圖像編碼包括三種預(yù)測(cè)模式，即所謂的1、P和B預(yù)測(cè)模式。在這些模式中，B模式預(yù)測(cè)參照在時(shí)間上未來(lái)的幀，這導(dǎo)致幾幀的長(zhǎng)編碼延遲。
[0022]本實(shí)施例的目的在于通過(guò)小的延遲對(duì)多視點(diǎn)圖像進(jìn)行編碼。因此，假設(shè)完全不使用B模式預(yù)測(cè)，而僅使用I模式預(yù)測(cè)和P模式預(yù)測(cè)，來(lái)對(duì)基準(zhǔn)視點(diǎn)處的圖像進(jìn)行編碼。把通常的P模式預(yù)測(cè)稱(chēng)為視點(diǎn)內(nèi)P模式預(yù)測(cè)，并且把在一個(gè)方向上參照同一時(shí)間不同視點(diǎn)處的幀的預(yù)測(cè)模式，稱(chēng)為視點(diǎn)間P模式預(yù)測(cè)。為了減小編碼延遲，使用視點(diǎn)間P模式預(yù)測(cè)、視點(diǎn)內(nèi)P模式預(yù)測(cè)和I模式預(yù)測(cè)，對(duì)根據(jù)本發(fā)明的多視點(diǎn)圖像編碼裝置中的基準(zhǔn)視點(diǎn)之外的視點(diǎn)處的圖像進(jìn)行預(yù)測(cè)編碼。
[0023]若要進(jìn)行多視點(diǎn)圖像的捕獲和編碼，存在兩個(gè)在單視點(diǎn)圖像捕獲中不會(huì)出現(xiàn)的問(wèn)題。一個(gè)問(wèn)題是將多個(gè)視點(diǎn)中的哪一個(gè)設(shè)置為基準(zhǔn)視點(diǎn)。另一個(gè)問(wèn)題是作為參照源的視點(diǎn)與作為參照目的地的視點(diǎn)之間的關(guān)系。著眼于這兩點(diǎn)，下面將描述兩個(gè)實(shí)施例。
[0024][第一實(shí)施例]
[0025]第一實(shí)施例的目的在于縮短編碼延遲。將相對(duì)于被攝體布置在最右側(cè)位置的照相機(jī)設(shè)置為基準(zhǔn)視點(diǎn)處的圖像捕獲裝置，并且當(dāng)對(duì)兩個(gè)相鄰照相機(jī)中的左側(cè)照相機(jī)的圖像進(jìn)行編碼時(shí)，參照右側(cè)照相機(jī)的編碼圖像。假設(shè)以由多個(gè)像素形成的一個(gè)塊為單位，按照光柵掃描順序?qū)D像進(jìn)行編碼。
[0026]下面，將參照?qǐng)D1，描述參照兩個(gè)相鄰照相機(jī)中的右側(cè)照相機(jī)的圖像之所以合理的原因。假設(shè)這兩個(gè)照相機(jī)被布置為相對(duì)于無(wú)限遠(yuǎn)距離處的被攝體具有相同的構(gòu)圖和視角。換句話說(shuō)，照相機(jī)被布置為使得照相機(jī)的中心軸彼此平行，從而以相同的視角對(duì)單個(gè)被攝體進(jìn)行捕獲。
[0027]將右側(cè)照相機(jī)稱(chēng)為第一照相機(jī)，將左側(cè)照相機(jī)稱(chēng)為第二照相機(jī)，將用于對(duì)照相機(jī)的圖像進(jìn)行編碼的編碼器分別稱(chēng)為第一和第二編碼器。假設(shè)照相機(jī)在上述布置下，以相同視角分別對(duì)無(wú)限遠(yuǎn)距離處的虛擬被攝體進(jìn)行捕獲(圖2)，并且按塊對(duì)捕獲的圖像內(nèi)的區(qū)域21進(jìn)行編碼。
[0028]如果第一和第二照相機(jī)對(duì)無(wú)限遠(yuǎn)距離處的圖像捕獲目標(biāo)進(jìn)行捕獲，則獲得的圖像完全相同。因此，如果第一和第二編碼器同時(shí)開(kāi)始進(jìn)行編碼，則如圖3A所示，第一和第二編碼器以幾乎相同的定時(shí)對(duì)區(qū)域21內(nèi)的塊(n+1)進(jìn)行編碼。在這種情況下，無(wú)法參照在對(duì)第二編碼器要編碼的塊進(jìn)行預(yù)測(cè)處理時(shí)有效的塊(區(qū)域)。
[0029]為了解決該問(wèn)題，將第二編碼器的編碼定時(shí)延遲，直到第一編碼器對(duì)關(guān)注像素塊進(jìn)行局部解碼，并將局部解碼后的像素塊傳輸給第二編碼器，然后第二編碼器能夠參照解碼數(shù)據(jù)為止。圖3B示出了該時(shí)序圖。如果第一編碼器能夠以圖3B所示的定時(shí)進(jìn)行局部解碼，并且傳輸解碼數(shù)據(jù)，則僅需要將編碼定時(shí)延遲兩個(gè)塊的編碼時(shí)間。
[0030]在延遲時(shí)間內(nèi)，第二編碼器需要保持額外的數(shù)據(jù)，這需要額外的緩沖器容量。然而，該容量?jī)H對(duì)應(yīng)于兩個(gè)塊。這使得第二編碼器能夠參照與要編碼的塊的位置相同的位置處的第一編碼器的局部解碼塊數(shù)據(jù)，由此使得能夠在圖像的整個(gè)區(qū)域中進(jìn)行有效的視點(diǎn)間預(yù)測(cè)。
[0031]上面說(shuō)明了無(wú)限遠(yuǎn)距離處的虛擬被攝體。
[0032]當(dāng)然，到被攝體的實(shí)際距離比無(wú)限遠(yuǎn)距離短。當(dāng)被攝體靠近照相機(jī)時(shí)，被攝體在各個(gè)視點(diǎn)處的圖像中的位置沿相反方向移動(dòng)。
[0033]更具體來(lái)說(shuō)，如圖4A所示，當(dāng)被攝體靠近這兩個(gè)照相機(jī)時(shí)，被攝體在第一照相機(jī)的捕獲的圖像上沿向左方向移動(dòng)，而在第二照相機(jī)的捕獲的圖像上沿向右方向移動(dòng)。另一方面，如圖4B所示，如果即使當(dāng)被攝體靠近這兩個(gè)照相機(jī)時(shí)，被攝體第一照相機(jī)的捕獲的圖像上也不移動(dòng)，而是固定在原位，則被攝體在第二照相機(jī)的捕獲的圖像上沿向右方向大幅移動(dòng)。
[0034]對(duì)于像素塊預(yù)測(cè)，這種關(guān)系很方便。這是因?yàn)椋诘奖粩z體的距離越短時(shí)，在右側(cè)相鄰照相機(jī)側(cè)，先行對(duì)視點(diǎn)間預(yù)測(cè)要參照的區(qū)域進(jìn)行編碼。其原因是，要編碼的塊按照光柵掃描順序改變。
[0035]當(dāng)如上所述對(duì)無(wú)限遠(yuǎn)距離處的被攝體進(jìn)行視點(diǎn)間預(yù)測(cè)、并且參照被攝體時(shí)，施加最嚴(yán)格的條件。因此，如果將第二編碼器的編碼開(kāi)始定時(shí)的延遲時(shí)間設(shè)置為使得能夠在這種情況下參照被攝體，則在其他情況下不會(huì)出現(xiàn)問(wèn)題。
[0036]上面描述了相鄰照相機(jī)之間的參照關(guān)系和編碼器的操作定時(shí)。如果對(duì)三個(gè)或更多個(gè)照相機(jī)水平地布置成一列的多視點(diǎn)圖像捕獲系統(tǒng)應(yīng)用該參照關(guān)系，則自然地把相對(duì)于被攝體布置在最右側(cè)位置(從被攝體側(cè)觀察時(shí)為最左側(cè)位置)的照相機(jī)用作基準(zhǔn)視點(diǎn)。
[0037]考慮上面的描述，圖5示出了三個(gè)照相機(jī)水平地布置成一列的多視點(diǎn)圖像編碼裝置的結(jié)構(gòu)，下面將說(shuō)明構(gòu)成要素及其操作。
[0038]參照?qǐng)D5，附圖標(biāo)記501、502和503分別表示用于捕獲要編碼的多視點(diǎn)圖像的第一、第二和第三照相機(jī)。第一照相機(jī)501用作基準(zhǔn)視點(diǎn)。如圖5所示，第二照相機(jī)502在第一照相機(jī)501左側(cè)。第三照相機(jī)503在第二照相機(jī)502左側(cè)。
[0039]附圖標(biāo)記511、512和513表示輸入緩沖器，這些輸入緩沖器各自用于臨時(shí)保持圖像數(shù)據(jù)，以形成適合用于按照光柵掃描順序?qū)南鄳?yīng)照相機(jī)發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼的塊數(shù)據(jù)；521、522和523表示各自用于對(duì)來(lái)自相應(yīng)照相機(jī)的圖像進(jìn)行編碼的第一、第二和第三編碼器；531和532表示各自用于臨時(shí)存儲(chǔ)視點(diǎn)間預(yù)測(cè)的參照區(qū)域的圖像數(shù)據(jù)的參照緩沖器；并且541、542和543表不各自用于存儲(chǔ)從三個(gè)編碼器中的相應(yīng)一者輸出的代碼的輸出緩沖器。
[0040]附圖標(biāo)記550表示用于控制三個(gè)編碼單元的操作定時(shí)并且控制整個(gè)編碼裝置的控制單元。
[0041]第一至第三照相機(jī)彼此同步地同時(shí)捕獲圖像。同時(shí)捕獲的三個(gè)幀具有稍微不同的視點(diǎn)，但是提供三個(gè)靜止圖像。分別向輸入緩沖器511至513，發(fā)送由各個(gè)照相機(jī)捕獲的圖像的數(shù)據(jù)。
[0042]當(dāng)輸入緩沖器511累積了足夠形成8X8或者16X16的像素塊的數(shù)據(jù)時(shí)，輸入緩沖器511提取塊數(shù)據(jù)，并且將塊數(shù)據(jù)發(fā)送給第一編碼器521。在接收到塊數(shù)據(jù)時(shí)，第一編碼器521進(jìn)行I模式預(yù)測(cè)或者視點(diǎn)內(nèi)P模式預(yù)測(cè)，以對(duì)塊數(shù)據(jù)進(jìn)行編碼。然后，生成的編碼數(shù)據(jù)被發(fā)送至輸出緩沖器541，并被臨時(shí)存儲(chǔ)在輸出緩沖器541中。
[0043]另一方面，由于在同一編碼器中的I或P模式預(yù)測(cè)中，參照由第一編碼器521編碼后的塊，因此，局部解碼圖像被保持一個(gè)幀的時(shí)間段。同時(shí)，局部解碼圖像還被傳輸給參照緩沖器531，并被存儲(chǔ)在參照緩沖器531中，使得第二編碼器522能夠在視點(diǎn)間P模式預(yù)測(cè)中參照該圖像。
[0044]如圖3B的時(shí)序圖所示，為了在視點(diǎn)間預(yù)測(cè)中參照?qǐng)D像內(nèi)的同一位置處的塊數(shù)據(jù)，要參照該圖像的編碼器需要等待大約兩個(gè)塊的編碼時(shí)間。
[0045]在第一編碼器進(jìn)行編碼之后經(jīng)過(guò)兩個(gè)塊的編碼時(shí)間時(shí)，第二編碼器522開(kāi)始進(jìn)行編碼。此外，把從輸入緩沖器512到第二編碼器的塊數(shù)據(jù)的傳輸?shù)拈_(kāi)始，也延遲以編碼時(shí)間。
[0046]在第二編碼器進(jìn)行編碼之后經(jīng)過(guò)兩個(gè)塊的編碼時(shí)間時(shí)，第三編碼器523開(kāi)始進(jìn)行編碼。類(lèi)似地，把從輸入緩沖器513到第三編碼器的塊數(shù)據(jù)的傳輸?shù)拈_(kāi)始，也延遲以編碼時(shí)間。
[0047]由第二編碼器局部解碼的圖像數(shù)據(jù)被傳輸給參照緩沖器532，并被存儲(chǔ)在參照緩沖器532中，使得第三編碼器能夠在視點(diǎn)間P模式預(yù)測(cè)中參照該圖像數(shù)據(jù)。與由第一編碼器生成的編碼數(shù)據(jù)類(lèi)似地，由第二和第三編碼器生成的編碼數(shù)據(jù)分別被發(fā)送給輸出緩沖器542和543，并被臨時(shí)存儲(chǔ)在輸出緩沖器542和543中。
[0048]存儲(chǔ)在輸出緩沖器541至543中的編碼數(shù)據(jù)可以被傳輸?shù)狡渌恢貌⒈唤獯a，或者可以被記錄在存儲(chǔ)介質(zhì)中并被保存長(zhǎng)的時(shí)間段。
[0049]控制單元550控制上述第一至第三編碼器521至523的編碼定時(shí)，并且還控制緩沖器511至513、531、532以及541至543的輸入/輸出定時(shí)。[0050]如上所述，根據(jù)第一實(shí)施例，如果針對(duì)各個(gè)視點(diǎn)按照光柵掃描順序?qū)ο袼貕K進(jìn)行編碼，則通過(guò)在視點(diǎn)間預(yù)測(cè)中、參照通過(guò)針對(duì)被攝體對(duì)右側(cè)相鄰照相機(jī)的捕獲的圖像進(jìn)行編碼/解碼而獲得的圖像，能夠?qū)崿F(xiàn)具有小的延遲并且不降低預(yù)測(cè)編碼的預(yù)測(cè)性能的多視點(diǎn)圖像編碼裝置。
[0051][第二實(shí)施例]
[0052]在第二實(shí)施例中，提供了多個(gè)視點(diǎn)間P模式預(yù)測(cè)參照源。
[0053]更具體來(lái)說(shuō)，把上述第一實(shí)施例中的作為視點(diǎn)間P模式預(yù)測(cè)參照源的右側(cè)相鄰照相機(jī)的捕獲的圖像，設(shè)置為第一視點(diǎn)間P模式預(yù)測(cè)參照源，并且把在右側(cè)相距兩個(gè)照相機(jī)的照相機(jī)的捕獲的圖像，設(shè)置為第二視點(diǎn)間P模式預(yù)測(cè)參照源。
[0054]即使在如圖6所示的、在第一實(shí)施例中難以進(jìn)行有效的視點(diǎn)間預(yù)測(cè)的狀態(tài)下，通過(guò)將視點(diǎn)間P模式預(yù)測(cè)參照源的數(shù)量增加為兩個(gè)，也能夠進(jìn)行有效的視點(diǎn)間預(yù)測(cè)。下面，將參照?qǐng)D6進(jìn)行描述。
[0055]參照?qǐng)D6，附近物體61在距離M處的被攝體上產(chǎn)生作為第二照相機(jī)的盲點(diǎn)的區(qū)域62，但是第一和第三照相機(jī)能夠?qū)^(qū)域62進(jìn)行捕獲。
[0056]如果第三照相機(jī)的第三編碼器對(duì)區(qū)域62進(jìn)行編碼，則參照右側(cè)相鄰的第二照相機(jī)的捕獲的圖像是無(wú)用的。然而，通過(guò)參照由相距兩個(gè)照相機(jī)的第一照相機(jī)捕獲并且由第一編碼器編碼的圖像，能夠減小編碼塊的預(yù)測(cè)殘差，由此實(shí)現(xiàn)高效的編碼。
[0057]類(lèi)似地，同一附近物體61產(chǎn)生作為第三照相機(jī)的盲點(diǎn)的區(qū)域63，但是第二和第四照相機(jī)能夠?qū)^(qū)域63進(jìn)行捕獲。
[0058]在由第四編碼器對(duì)區(qū)域63進(jìn)行編碼的情況下，通過(guò)參照由相距兩個(gè)照相機(jī)的第二照相機(jī)捕獲并且由第二編碼器編碼的圖像，能夠?qū)崿F(xiàn)高效的預(yù)測(cè)/編碼。第二實(shí)施例產(chǎn)生這些改善效果。
[0059]請(qǐng)注意，圖6僅在水平方向上示出了附近物體61以及區(qū)域62和63。它們實(shí)際上
分別具有一定高度，并且在二維上延伸。
[0060]圖7示出了作為第二實(shí)施例的示例的多視點(diǎn)圖像編碼裝置。除了照相機(jī)的數(shù)量從三個(gè)增加到四個(gè)、并且兩個(gè)左側(cè)照相機(jī)的編碼器的視點(diǎn)間預(yù)測(cè)參照源的數(shù)量增加到兩個(gè)之夕卜，結(jié)構(gòu)和操作定時(shí)與在第一實(shí)施例中相同。在下文中將主要描述不同點(diǎn)。
[0061]用與圖5中相同的附圖標(biāo)記，來(lái)表示具有與圖5所示的根據(jù)第一實(shí)施例的多視點(diǎn)圖像編碼裝置的構(gòu)成要素完全相同的功能的構(gòu)成要素。更具體來(lái)說(shuō)，具有以5開(kāi)頭的附圖標(biāo)記的構(gòu)成要素與第一實(shí)施例中的相同。下面，將說(shuō)明在圖7中新增加的構(gòu)成要素，以及具有與圖5所示的構(gòu)成要素稍微不同的功能的構(gòu)成要素。
[0062]附圖標(biāo)記704表示第四照相機(jī)；714表示用于臨時(shí)保持第四照相機(jī)的圖像數(shù)據(jù)的輸入緩沖器；723表示視點(diǎn)間預(yù)測(cè)參照源的數(shù)量增加到兩個(gè)的第三編碼器；724表示用于對(duì)第四照相機(jī)捕獲的圖像進(jìn)行編碼的第四編碼器；731、732和733表示各自用于臨時(shí)存儲(chǔ)視點(diǎn)間預(yù)測(cè)參照區(qū)域的圖像數(shù)據(jù)的參照緩沖器；744表示用于存儲(chǔ)從第四編碼器輸出的各個(gè)代碼的輸出緩沖器；并且750表示用于控制四個(gè)編碼器521、522、723和724以及整個(gè)編碼裝置的控制單元。
[0063]圖7所示的結(jié)構(gòu)的顯著特征是配設(shè)了參照緩沖器731和732，以在視點(diǎn)間預(yù)測(cè)中使用兩個(gè)右側(cè)照相機(jī)的圖像。如果從圖7中省略這兩個(gè)參照緩沖器，則照相機(jī)的數(shù)量簡(jiǎn)單地從第一實(shí)施例中的三個(gè)增加到四個(gè)。
[0064]上面的描述完全表現(xiàn)了圖7和5之間的不同點(diǎn)，因此不需要對(duì)圖7所示的結(jié)構(gòu)做進(jìn)一步的說(shuō)明。僅需要描述在第三和第四編碼器中的、在可選擇視點(diǎn)間預(yù)測(cè)操作之間進(jìn)行切換的方法。
[0065]根據(jù)第一實(shí)施例的視點(diǎn)間預(yù)測(cè)是基于對(duì)如下圖像的參照，所述圖像是通過(guò)對(duì)右側(cè)相鄰照相機(jī)的同一時(shí)間的幀的圖像進(jìn)行編碼/局部解碼而獲得的圖像。這同樣適用于第二實(shí)施例。
[0066]如果通過(guò)與在運(yùn)動(dòng)矢量搜索中通常進(jìn)行的預(yù)測(cè)誤差評(píng)價(jià)類(lèi)似的評(píng)價(jià)方法，能夠在第一參照?qǐng)D像(參照幀)中找到預(yù)測(cè)誤差小于設(shè)置值的區(qū)域，則使用找到的區(qū)域進(jìn)行預(yù)測(cè)。如果不能找到這種區(qū)域(預(yù)測(cè)誤差等于或大于設(shè)置值)，則進(jìn)行到具有第二最高優(yōu)先級(jí)的第二參照?qǐng)D像、即右側(cè)的第二照相機(jī)的圖像的切換，由此搜索這種區(qū)域。如果在第二參照?qǐng)D像內(nèi)無(wú)法找到預(yù)測(cè)誤差小于設(shè)置值的區(qū)域，則處理轉(zhuǎn)變到參照同一視點(diǎn)處的在前幀的視點(diǎn)內(nèi)P模式預(yù)測(cè)。以這種方式，進(jìn)行了從視點(diǎn)間預(yù)測(cè)到視點(diǎn)內(nèi)預(yù)測(cè)的切換。
[0067]作為另一選擇，由于相鄰塊的圖像之間的相關(guān)性相對(duì)較高，因此，如果緊接在要編碼的塊上方的塊的參照源和在要編碼的塊左側(cè)的塊的參照源都是第二參照?qǐng)D像，則從第二參照?qǐng)D像開(kāi)始進(jìn)行預(yù)測(cè)是高效的。如果在第二參照?qǐng)D像中，沒(méi)有找到預(yù)測(cè)誤差小于設(shè)置值的區(qū)域，則可以通過(guò)返回到上述第一參照?qǐng)D像來(lái)進(jìn)行預(yù)測(cè)。
[0068]第二視點(diǎn)間P模式預(yù)測(cè)參照源不限于在右側(cè)相距兩個(gè)照相機(jī)的照相機(jī)，并且，本領(lǐng)域技術(shù)人員能夠容易地?cái)U(kuò)展到相距三個(gè)或更多個(gè)照相機(jī)的照相機(jī)。另外，能夠?qū)⒁朁c(diǎn)間預(yù)測(cè)參照源的數(shù)量增加到三個(gè)或更多個(gè)。
[0069]如上所述，根據(jù)第一或第二實(shí)施例的多視點(diǎn)圖像編碼裝置通過(guò)將視點(diǎn)間預(yù)測(cè)參照源、設(shè)置為通過(guò)對(duì)右側(cè)相鄰照相機(jī)的捕獲的圖像進(jìn)行編碼而獲得的圖像，能夠?qū)崿F(xiàn)具有小的延遲并且不降低預(yù)測(cè)編碼的預(yù)測(cè)性能的編碼。
[0070]請(qǐng)注意，雖然作為圖像捕獲單元的照相機(jī)的數(shù)量在第一實(shí)施例中是三個(gè)，在第二實(shí)施例中是四個(gè)，但是這些數(shù)量?jī)H僅是示例。也就是說(shuō)，如果用N個(gè)圖像捕獲單元一般化地表示照相機(jī)，則僅需要提供以下結(jié)構(gòu)。也就是說(shuō)，提供
[0071]一種用于對(duì)多視點(diǎn)圖像進(jìn)行編碼的圖像編碼裝置，該圖像編碼裝置包括:
[0072]N個(gè)編碼單元，其用于以由多個(gè)像素構(gòu)成的塊為單位，從捕獲的幀的左上位置開(kāi)始向右下方向進(jìn)行光柵掃描，并且生成各個(gè)塊的編碼數(shù)據(jù)；以及
[0073]N個(gè)圖像捕獲單元的一維陣列，所述N個(gè)圖像捕獲單元分別對(duì)應(yīng)于所述N個(gè)編碼單兀，并且被布置為使得所述一維陣列的方向?qū)?yīng)于所述光柵掃描中的一行，
[0074]其中，如果沿所述一維陣列的方向從右端到左端依次將所述N個(gè)圖像捕獲單元定義為第一、第二、…和第N圖像捕獲單元，并且
[0075]所述N個(gè)編碼單元被定義為第一、第二、...和第N編碼單元，以分別對(duì)應(yīng)于所述第一、第二、...和第N圖像捕獲單元，則
[0076]第i (i>l)編碼單元包括:
[0077]用于在視點(diǎn)間預(yù)測(cè)中、參照由位于第i圖像捕獲單元的右側(cè)的至少一個(gè)圖像捕獲單元在同一時(shí)間獲得的幀的單元；以及
[0078]延遲單元，用于將來(lái)自所述第i圖像捕獲單元的幀延遲以視點(diǎn)間預(yù)測(cè)所需的時(shí)間。
[0079]其他實(shí)施例
[0080]本發(fā)明的各方面還能夠通過(guò)讀出并執(zhí)行記錄在存儲(chǔ)裝置上的用于執(zhí)行上述實(shí)施例的功能的程序的系統(tǒng)或設(shè)備的計(jì)算機(jī)(或諸如CPU或MPU的裝置)、以及由系統(tǒng)或設(shè)備的計(jì)算機(jī)例如讀出并執(zhí)行記錄在存儲(chǔ)裝置上的用于執(zhí)行上述實(shí)施例的功能的程序來(lái)執(zhí)行步驟的方法來(lái)實(shí)現(xiàn)。鑒于此，例如經(jīng)由網(wǎng)絡(luò)或者從用作存儲(chǔ)裝置的各種類(lèi)型的記錄介質(zhì)(例如計(jì)算機(jī)可讀介質(zhì))向計(jì)算機(jī)提供程序。
[0081]雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了說(shuō)明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開(kāi)的示例性實(shí)施例。所附權(quán)利要求的范圍符合最寬的解釋?zhuān)允蛊浜w所有這種變型、等同結(jié)構(gòu)及功能。
【權(quán)利要求】
1.一種用于對(duì)多視點(diǎn)圖像進(jìn)行編碼的圖像編碼裝置，該圖像編碼裝置包括: N個(gè)編碼器，其以由多個(gè)像素構(gòu)成的塊為單位，從捕獲的幀的左上位置開(kāi)始向右下方向進(jìn)行光柵掃描，并且生成各個(gè)塊的編碼數(shù)據(jù)；以及 N個(gè)圖像捕獲單元的一維陣列，所述N個(gè)圖像捕獲單元分別對(duì)應(yīng)于所述N個(gè)編碼器，并且被布置為使得所述一維陣列的方向?qū)?yīng)于所述光柵掃描中的一行， 其中，如果沿所述一維陣列的方向從右端到左端依次將所述N個(gè)圖像捕獲單元定義為第一、第二、...和第N圖像捕獲單元，并且 所述N個(gè)編碼器被定義為第一、第二、...和第N編碼器，以分別對(duì)應(yīng)于所述第一、第二、...和第N圖像捕獲單元，則第i編碼器包括: 參照單元，其在視點(diǎn)間預(yù)測(cè)中，參照由位于第i圖像捕獲單元的右側(cè)的至少一個(gè)圖像捕獲單元在同一時(shí)間獲得的幀；以及 延遲單元，其將來(lái)自所述第i圖像捕獲單元的幀延遲以視點(diǎn)間預(yù)測(cè)所需的時(shí)間， 其中，i>l。
2.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其中，所述第i編碼器執(zhí)行以下操作: 優(yōu)先對(duì)由與位于所述第i圖像捕獲單元的右側(cè)的第(i_l)圖像捕獲單元相對(duì)應(yīng)的第(i_l)編碼器編碼的編碼圖像進(jìn)行編碼；以及 如果預(yù)測(cè)誤差不小于預(yù)先設(shè)置的值，則將來(lái)自位于右側(cè)的第(i_2)圖像捕獲單元的幀的編碼圖像和由所述第i圖像捕獲單元捕獲的在前幀的編碼圖像中的一者作為參照源進(jìn)行編碼。
3.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其中，所述第i編碼器執(zhí)行以下操作: 如果在來(lái)自所述第(1-2)圖像捕獲單元的所述幀內(nèi)找到的運(yùn)動(dòng)矢量的誤差小于所述預(yù)先設(shè)置的值，則基于來(lái)自所述第(1-2)圖像捕獲單元的所述幀的視點(diǎn)間預(yù)測(cè)來(lái)進(jìn)行編碼；以及 如果在來(lái)自所述第(1-2)圖像捕獲單元的所述幀內(nèi)找到的所述運(yùn)動(dòng)矢量的所述誤差不小于所述值，則基于視點(diǎn)內(nèi)預(yù)測(cè)進(jìn)行編碼，在所述視點(diǎn)內(nèi)預(yù)測(cè)中，使用由所述第i圖像捕獲單元捕獲的所述在前幀的編碼圖像作為參照源來(lái)進(jìn)行編碼。
【文檔編號(hào)】H04N19/503GK103491378SQ201310226398
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2013年6月7日 優(yōu)先權(quán)日:2012年6月7日
【發(fā)明者】中山忠義 申請(qǐng)人:佳能株式會(huì)社