本發(fā)明總體上涉及圖像處理領(lǐng)域，并且更具體地涉及對(duì)積分圖像以及積分圖像序列的編碼和解碼。

本發(fā)明可以尤其但不排他地應(yīng)用于當(dāng)今avc和hevc視頻編碼器及其擴(kuò)展(mvc、3d-avc、mv-hevc、3d-hevc等)中所采用的視頻編碼，并且應(yīng)用于相應(yīng)視頻解碼。

背景技術(shù)：

積分成像是包括突出表示圖像的技術(shù)。尤其因?yàn)槠涮岢隽丝傄暡疃皇菍?duì)圖像的立體可視化，所以在發(fā)展3d電視方面，其被認(rèn)為特別有前景。

積分圖像常規(guī)地包括不同的基本圖像，所述基本圖像也被稱為微圖像，所述微圖像中的每個(gè)微圖像都表示三維場(chǎng)景中的不同視角。借助于包括視頻相機(jī)和布置在三維場(chǎng)景和視頻相機(jī)之間的透鏡陣列的圖像捕獲設(shè)備來(lái)采集積分圖像。

因此，對(duì)積分圖像進(jìn)行壓縮相當(dāng)于對(duì)構(gòu)成所述積分圖像的微圖像中的所有微圖像進(jìn)行壓縮。

不管這種技術(shù)的吸引力如何，都難以實(shí)際實(shí)施積分成像系統(tǒng)。例如，如果一些應(yīng)用強(qiáng)加積分圖像的高分辨率和大量視點(diǎn)，則有必要不僅增大構(gòu)成該積分圖像的每個(gè)微圖像的大小而且增大其微圖像的數(shù)量。這導(dǎo)致大大增大以此方式構(gòu)造的積分圖像的大小。因此，如果必須對(duì)積分圖像進(jìn)行編碼，則存在要壓縮的大量信息，并且就對(duì)積分圖像的壓縮而言，性能很差。

總體上提出了用于對(duì)積分圖像進(jìn)行壓縮的兩種不同編碼方法。

第一種編碼方法包括將二維(2d)編碼應(yīng)用于這種積分圖像。為此，對(duì)常規(guī)2d編解碼器的特性進(jìn)行修改以便與積分圖像的特定結(jié)構(gòu)相匹配。根據(jù)第一示例，在文檔“compressionof3dintegralimagesusing3dwavelettransform(使用3d小波變換來(lái)壓縮3d積分圖像)”(journalofdisplaytechnologies(《顯示技術(shù)雜志》)，2011年11月，aggoun(阿布頓))和wo2013156718a1中，提出了通過(guò)將離散小波變換dwt應(yīng)用于積分圖像來(lái)對(duì)積分圖像進(jìn)行編碼，隨后是對(duì)在該變換之后獲得的系數(shù)進(jìn)行編碼。根據(jù)第二示例，在文檔“newhevcpredictionmodesfor3dholoscopicvideocoding(用于3d全息成像器視頻編碼的新hevc預(yù)測(cè)模式)”(icip2012，2012年10月，conti(康堤)、nunes(努內(nèi)斯)、soares(索爾斯))中，提出了用于通過(guò)2d視頻編碼器的模式對(duì)積分圖像進(jìn)行編碼的新預(yù)測(cè)模式。

以上種類的第一種方法的主要缺點(diǎn)在于積分圖像的分辨率非常高，難以解碼的事實(shí)。第一種方法必須對(duì)大量信息進(jìn)行壓縮，這導(dǎo)致很差的性能。

第二種方法包括將積分圖像分解成多個(gè)視圖，所述多個(gè)視圖中的每個(gè)視圖表示來(lái)自特定可視化角位置的3d場(chǎng)景。與所討論的視圖相關(guān)聯(lián)的每個(gè)像素或像素區(qū)域登記與由場(chǎng)景中透視的物體在同一方向上反射的光線相關(guān)的信息。然后，將3d編碼應(yīng)用于以此方式獲得的視圖。例如，在文檔“3dholoscopicvideocodingusingmvc(使用mvc的3d全息成像器視頻編碼)”(eurocon2011，dick(迪克)、almeida(阿爾梅達(dá))、soares(索爾斯)、nunes(努內(nèi)斯))和“efficientcompressionmethodforintegralimagesusingmulti-viewvideocoding(用于積分圖像的使用多視圖視頻編碼的有效壓縮方法)”(icip2011，2011年9月比利時(shí)布魯塞爾，s.shi(石s.)、p.gioia(焦亞p.)、和g.madec(馬岱克g.))中，積分圖像的視圖系列可以被考慮為場(chǎng)景的多視圖圖像(多視圖視頻)，并且由于這一點(diǎn)而可以將積分圖像序列分解成多視圖視頻序列。所述視圖序列因此可以使用如mvc(源于英文“multi-viewcoding(多視圖編碼)”)技術(shù)來(lái)進(jìn)行壓縮。

此第二種編碼方法的缺點(diǎn)是實(shí)際應(yīng)用將限制強(qiáng)加于有待通過(guò)mvc技術(shù)來(lái)編碼的視圖的數(shù)量。此外，為了完整地重構(gòu)積分圖像，需要視圖的高分辨率，或者需要大量視圖，因?yàn)檫@些視圖必須包含所有包含于后來(lái)在解碼器處重構(gòu)的積分圖像中的角度信息。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)目的是彌補(bǔ)以上所提及的現(xiàn)有技術(shù)的缺點(diǎn)。

為此，本發(fā)明的一個(gè)目的涉及一種對(duì)由圖像捕獲設(shè)備捕獲的至少一個(gè)當(dāng)前積分圖像進(jìn)行編碼的方法，所述方法包括以下步驟：

-根據(jù)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的至少一個(gè)圖像捕獲參數(shù)將所述當(dāng)前積分圖像分解成表示場(chǎng)景的給定視角的至少一個(gè)視圖，

-對(duì)所述至少一個(gè)視圖進(jìn)行編碼，

-對(duì)所述至少一個(gè)視圖進(jìn)行解碼，

-通過(guò)應(yīng)用對(duì)所述積分圖像的所述分解的逆分解從所述至少一個(gè)解碼視圖中并且根據(jù)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的所述至少一個(gè)圖像捕獲參數(shù)重組所述當(dāng)前積分圖像，

-通過(guò)將所述至少一個(gè)當(dāng)前積分圖像與所述重組積分圖像進(jìn)行比較來(lái)確定殘差積分圖像，

-對(duì)與所述殘差積分圖像相關(guān)聯(lián)的數(shù)據(jù)以及與所述圖像捕獲設(shè)備相關(guān)聯(lián)的所述至少一個(gè)圖像捕獲參數(shù)進(jìn)行編碼。

相應(yīng)地，即使在分解當(dāng)前積分圖像之后獲得的一個(gè)或多個(gè)視圖具有很低的分辨率，這使得有可能對(duì)更小量的角度信息進(jìn)行編碼，但是當(dāng)前積分圖像的在這種3d編碼之后丟失的數(shù)據(jù)被引入到所確定的殘差積分圖像中，并且所述殘差積分圖像的像素值通常很低，并且因此對(duì)其進(jìn)行編碼的費(fèi)用相對(duì)很低。

因此，就待編碼的數(shù)據(jù)的量而言，相比以上所描述的現(xiàn)有技術(shù)編碼方法，根據(jù)本發(fā)明對(duì)積分圖像進(jìn)行的編碼的費(fèi)用低得多。

如本身已知的，對(duì)積分圖像的進(jìn)行重組需要知道與圖像捕獲設(shè)備相關(guān)聯(lián)的至少一個(gè)圖像捕獲參數(shù)，如例如，構(gòu)成積分圖像的微圖像的分辨率和微圖像的數(shù)量。

下文中所提及的各種實(shí)施例和特征可以被獨(dú)立地或彼此組合地添加至以上所定義的編碼方法的特征中。

根據(jù)一個(gè)特定實(shí)施例，所述編碼方法包括：

-生成第一數(shù)據(jù)信號(hào)的步驟，所述數(shù)據(jù)信號(hào)包含來(lái)自對(duì)所述至少一個(gè)視圖的所述編碼的數(shù)據(jù)，以及

-生成第二數(shù)據(jù)信號(hào)的步驟，所述第二數(shù)據(jù)信號(hào)包含與所述編碼殘差積分圖像相關(guān)聯(lián)的數(shù)據(jù)，

與所述圖像捕獲設(shè)備相關(guān)聯(lián)的所述至少一個(gè)圖像捕獲參數(shù)包含在或者所述第一信號(hào)中或者在所述第二信號(hào)中或者在待生成的另一個(gè)數(shù)據(jù)信號(hào)中。

考慮到從根據(jù)本發(fā)明的編碼方法中獲得的更小量的編碼數(shù)據(jù)，這種特征有利地使得有可能大大減小用信號(hào)發(fā)送針對(duì)解碼器的這種編碼數(shù)據(jù)的費(fèi)用。

根據(jù)另一個(gè)特定實(shí)施例，所述當(dāng)前積分圖像的待編碼視圖的數(shù)量和位置被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)的數(shù)量和位置。

這種特征使得有可能使用單個(gè)視圖、兩個(gè)視圖、三個(gè)視圖等來(lái)測(cè)試按照根據(jù)本發(fā)明的編碼方法對(duì)當(dāng)前積分圖像進(jìn)行編碼的多種可能性，并且然后，根據(jù)編碼背景，有可能選擇這樣的編碼，所述編碼表示有可能獲得的待編碼的更小量數(shù)據(jù)與重組積分圖像的高質(zhì)量渲染之間的最佳折衷。

根據(jù)另一個(gè)特定實(shí)施例，所述當(dāng)前積分圖像的所述視圖的數(shù)量和位置被選擇為使與所述殘差積分圖像相關(guān)聯(lián)的數(shù)據(jù)的量最小化的數(shù)量和位置。

這種特征使得有可能使用單個(gè)視圖、兩個(gè)視圖、三個(gè)視圖等來(lái)測(cè)試按照根據(jù)本發(fā)明的編碼方法對(duì)當(dāng)前積分圖像進(jìn)行編碼的多種可能性，并且然后，有可能選擇這樣的編碼，針對(duì)所述編碼的所確定的殘差積分圖像的像素最接近預(yù)定值，例如，零。

根據(jù)另一個(gè)特定實(shí)施例，存在對(duì)有待在編碼所述至少一個(gè)視圖的所述步驟期間應(yīng)用的第一量化參數(shù)的值的選擇以及對(duì)有待在編碼與所述殘差積分圖像相關(guān)聯(lián)的所述數(shù)據(jù)的所述步驟期間應(yīng)用的第二量化參數(shù)的值的選擇，所述值被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)。

這種特征使得有可能對(duì)多個(gè)不同量化步驟進(jìn)行測(cè)試(當(dāng)對(duì)所述至少一個(gè)視圖和與殘差積分圖像相關(guān)聯(lián)的數(shù)據(jù)進(jìn)行編碼時(shí))，并且根據(jù)編碼背景，有可能達(dá)到將用于對(duì)所述數(shù)據(jù)進(jìn)行編碼的更大或更小嚴(yán)重性(即，更高或更低量化步驟大小)與對(duì)重組積分圖像的更高或更低渲染質(zhì)量之間的折衷。

相應(yīng)地，根據(jù)編碼背景，將反而將這種折衷應(yīng)用于對(duì)所述至少一個(gè)視圖進(jìn)行編碼的步驟或者反而應(yīng)用于對(duì)與殘差積分圖像相關(guān)聯(lián)的數(shù)據(jù)進(jìn)行編碼的步驟。

根據(jù)另一個(gè)特定實(shí)施例，根據(jù)本發(fā)明的編碼方法進(jìn)一步包括圖像變換步驟，所述圖像變換步驟被應(yīng)用如下：

-在將所述當(dāng)前積分圖像分解成所述至少一個(gè)視圖的所述步驟與對(duì)所述至少一個(gè)視圖進(jìn)行編碼的所述步驟之間，和/或

-在對(duì)所述至少一個(gè)視圖進(jìn)行解碼的所述步驟與重組所述當(dāng)前積分圖像的所述步驟之間，和/或

-在重組所述當(dāng)前積分圖像的所述步驟與確定所述殘差積分圖像的所述步驟之間。

這種變換的優(yōu)點(diǎn)是減小殘差積分圖像的待編碼的數(shù)據(jù)的量。這暗示獲得最像原始積分圖像的重組積分圖像以及因此使有效重組成為可能。

這種圖像變換例如包括濾波、圖像平滑或甚至使得有可能對(duì)通過(guò)將當(dāng)前積分圖像分解成至少一個(gè)視圖所引起的信息損失進(jìn)行補(bǔ)償?shù)膸缀螆D像變換(展開(kāi)、侵蝕、旋轉(zhuǎn)、對(duì)稱等)。

根據(jù)另一個(gè)特定實(shí)施例，使用被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)或被選擇為使與所述殘差積分圖像相關(guān)聯(lián)的數(shù)據(jù)的量最小化的變換參數(shù)來(lái)實(shí)施前述圖像變換步驟。

本發(fā)明還涉及一種用于對(duì)由圖像捕獲設(shè)備捕獲的至少一個(gè)當(dāng)前積分圖像進(jìn)行編碼的設(shè)備，所述設(shè)備包括：

-第一處理模塊，所述第一處理模塊用于根據(jù)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的至少一個(gè)圖像捕獲參數(shù)將所述當(dāng)前積分圖像分解成表示場(chǎng)景的給定視角的至少一個(gè)視圖，

-第一編碼模塊，所述第一編碼模塊用于對(duì)所述至少一個(gè)視圖進(jìn)行編碼，

-解碼模塊，所述解碼模塊用于對(duì)所述至少一個(gè)視圖進(jìn)行編碼，

-第二處理模塊，所述第二處理模塊用于通過(guò)應(yīng)用對(duì)所述積分圖像的所述分解的逆分解從所述解碼視圖中并且根據(jù)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的所述至少一個(gè)圖像捕獲參數(shù)重組所述當(dāng)前積分圖像，

-計(jì)算模塊，所述計(jì)算模塊用于通過(guò)將所述至少一個(gè)當(dāng)前積分圖像與所述重組積分圖像進(jìn)行比較來(lái)確定殘差積分圖像，

-第二編碼模塊，所述第二編碼模塊用于對(duì)與所述殘差積分圖像相關(guān)聯(lián)的數(shù)據(jù)以及與所述圖像捕獲設(shè)備相關(guān)聯(lián)的所述至少一個(gè)圖像捕獲參數(shù)進(jìn)行編碼。

這種編碼設(shè)備尤其能夠?qū)嵤┣笆鼍幋a方法。

本發(fā)明還涉及一種對(duì)表示至少一個(gè)當(dāng)前積分圖像的數(shù)據(jù)信號(hào)進(jìn)行解碼的方法，所述至少一個(gè)當(dāng)前積分圖像由圖像捕獲設(shè)備采集并且之前已經(jīng)被編碼，所述方法包括以下步驟：

-在所述數(shù)據(jù)信號(hào)中標(biāo)識(shí)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的至少一個(gè)圖像捕獲參數(shù)，

-根據(jù)已經(jīng)被標(biāo)識(shí)的所述至少一個(gè)圖像捕獲參數(shù)對(duì)所述當(dāng)前積分圖像的至少一個(gè)視圖進(jìn)行解碼，所述至少一個(gè)視圖表示場(chǎng)景的給定視角，

-從所述至少一個(gè)解碼視圖中并且根據(jù)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的所述至少一個(gè)圖像捕獲參數(shù)將積分圖像重組為所述當(dāng)前積分圖像的預(yù)測(cè)子，

-對(duì)表示所述至少一個(gè)當(dāng)前積分圖像與所述重組積分圖像之間的差異的編碼數(shù)據(jù)進(jìn)行解碼，

-從所述重組積分圖像以及表示所述差異的解碼數(shù)據(jù)中重構(gòu)所述當(dāng)前積分圖像。

考慮到從根據(jù)本發(fā)明的編碼方法中得到的減小的編碼數(shù)據(jù)量以及因此用信號(hào)將編碼數(shù)據(jù)發(fā)送至解碼器的減少的費(fèi)用，這種特征有利地使得有可能以證明令人滿意的積分圖像重構(gòu)質(zhì)量對(duì)比現(xiàn)有技術(shù)中更少量數(shù)據(jù)進(jìn)行解碼。這種情況的結(jié)果是更有效的解碼。

下文中所提及的各種實(shí)施例或特征可以被獨(dú)立地或彼此組合地添加至以上所定義的解碼方法的特征中。

根據(jù)一個(gè)特定實(shí)施例，使用所述待解碼的當(dāng)前積分圖像中的所述至少一個(gè)解碼視圖的位置參數(shù)來(lái)實(shí)施重組所述當(dāng)前積分圖像的所述步驟，這種位置參數(shù)是預(yù)定的或者從所述數(shù)據(jù)信號(hào)中讀取的。

如果所述至少一個(gè)視圖的位置參數(shù)是預(yù)定的，則此信息在編碼時(shí)和在解碼時(shí)都是已知的。此特征的優(yōu)點(diǎn)是優(yōu)化對(duì)編碼費(fèi)用的減少以及避免在數(shù)據(jù)信號(hào)中指示位置參數(shù)，這使得有可能優(yōu)化信令費(fèi)用。

如果在數(shù)據(jù)信號(hào)中標(biāo)識(shí)了所述至少一個(gè)視圖的位置參數(shù)，則這意味著已經(jīng)在編碼階段必然以最佳方式選擇了這種信息，這使得有可能優(yōu)化就對(duì)當(dāng)前積分圖像進(jìn)行解碼而言的性能。

根據(jù)另一個(gè)特定實(shí)施例：

-對(duì)所述至少一個(gè)視圖進(jìn)行解碼的所述步驟包括基于第一量化參數(shù)執(zhí)行去量化步驟，所述第一量化參數(shù)的值在所述數(shù)據(jù)信號(hào)中被標(biāo)識(shí)，

-對(duì)表示所述至少一個(gè)當(dāng)前積分圖像與所述重組積分圖像之間的差異的所述編碼數(shù)據(jù)進(jìn)行解碼的所述步驟包括基于第二量化參數(shù)執(zhí)行去量化步驟，所述第二量化參數(shù)的值在所述數(shù)據(jù)信號(hào)中被標(biāo)識(shí)。

根據(jù)另一個(gè)特定實(shí)施例，所述解碼方法進(jìn)一步包括基于預(yù)定的或在所述數(shù)據(jù)信號(hào)中讀取的變換參數(shù)來(lái)進(jìn)行圖像變換的步驟，這種變換步驟被應(yīng)用如下：

-在對(duì)所述至少一個(gè)視圖進(jìn)行解碼的所述步驟與將所述當(dāng)前積分圖像重組為所述當(dāng)前積分圖像的預(yù)測(cè)子的所述步驟之間，和/或

-在將所述當(dāng)前積分圖像重組為所述當(dāng)前積分圖像的預(yù)測(cè)子的所述步驟與重構(gòu)所述當(dāng)前積分圖像的所述步驟之間。

本發(fā)明還涉及一種用于對(duì)表示至少一個(gè)當(dāng)前積分圖像的數(shù)據(jù)信號(hào)進(jìn)行解碼的設(shè)備，所述至少一個(gè)當(dāng)前積分圖像由圖像捕獲設(shè)備采集并且之前已經(jīng)被編碼，所述解碼設(shè)備包括：

-分析模塊，所述分析模塊用于在所述數(shù)據(jù)信號(hào)中標(biāo)識(shí)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的至少一個(gè)圖像捕獲參數(shù)，

-第一解碼模塊，所述第一解碼模塊用于基于已經(jīng)被標(biāo)識(shí)的所述至少一個(gè)圖像捕獲參數(shù)對(duì)所述當(dāng)前積分圖像的至少一個(gè)視圖進(jìn)行解碼，所述至少一個(gè)視圖表示場(chǎng)景的給定視角，

-處理模塊，所述處理模塊用于從所述解碼視圖中并且根據(jù)與所述圖像捕獲設(shè)備相關(guān)聯(lián)的所述至少一個(gè)圖像捕獲參數(shù)將積分圖像重組為所述當(dāng)前積分圖像的預(yù)測(cè)子，

-第二解碼模塊，所述第二解碼模塊用于對(duì)表示所述至少一個(gè)當(dāng)前積分圖像與所述重組積分圖像之間的差異的編碼數(shù)據(jù)進(jìn)行解碼，

-重構(gòu)模塊，所述重構(gòu)模塊用于從所述重組積分圖像以及表示所述差異的解碼數(shù)據(jù)中重構(gòu)所述當(dāng)前積分圖像。

本發(fā)明還涉及一種包括指令的計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上執(zhí)行時(shí)，所述指令用于執(zhí)行根據(jù)本發(fā)明的編碼方法和解碼方法中的任一者。

此程序可以使用任何編程語(yǔ)言并且可以采取源代碼、目標(biāo)代碼、或在源代碼與目標(biāo)代碼之間的中間代碼的形式，比如，部分編譯的形式或任何其他令人期望的形式。

本發(fā)明還涉及一種其上存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，如上所述，此程序包括用于執(zhí)行根據(jù)本發(fā)明的編碼方法或解碼方法的指令。

本發(fā)明還涉及一種其上存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，如上所述，此程序包括用于執(zhí)行根據(jù)本發(fā)明的編碼方法或解碼方法的指令。

所述存儲(chǔ)介質(zhì)可以是能夠存儲(chǔ)程序的任何實(shí)體或設(shè)備。例如，所述介質(zhì)可以包括如rom(例如，cdrom或微電子電路rom)等存儲(chǔ)裝置、或磁性存儲(chǔ)裝置(例如，usb密鑰或硬盤)。

此外，所述存儲(chǔ)介質(zhì)可以是如電信號(hào)或光信號(hào)等可傳輸介質(zhì)，所述信號(hào)可以經(jīng)由電纜或光纜、通過(guò)無(wú)線電或通過(guò)其他方式被路由。根據(jù)本發(fā)明的程序可以具體在互聯(lián)網(wǎng)類型的網(wǎng)絡(luò)上下載。

可替代地，所述存儲(chǔ)介質(zhì)可以是所述程序所并入的集成電路，所述電路被適配為用于執(zhí)行或用于執(zhí)行前述編碼方法或解碼方法。

附圖說(shuō)明

在參照附圖閱讀對(duì)優(yōu)選實(shí)施例的描述之后，其他特征和優(yōu)點(diǎn)將變得明顯，在附圖中：

-圖1表示根據(jù)本發(fā)明的一個(gè)實(shí)施例的編碼方法的步驟，

-圖2表示根據(jù)本發(fā)明的編碼設(shè)備的一個(gè)實(shí)施例，

-圖3a表示積分圖像的一個(gè)示例，

-圖3b表示借助于圖像捕獲設(shè)備來(lái)進(jìn)行的積分圖像獲取的一個(gè)示例，

-圖4a表示將積分圖像分解成單個(gè)視圖的示例，

-圖4b表示將單個(gè)圖像分解成多個(gè)視圖的示例，

-圖5表示根據(jù)本發(fā)明的解碼設(shè)備的一個(gè)實(shí)施例，

-圖6表示根據(jù)本發(fā)明的解碼步驟的主要步驟。

具體實(shí)施方式

編碼部分的具體實(shí)施方式

現(xiàn)在將對(duì)本發(fā)明的一個(gè)實(shí)施例進(jìn)行描述，在所述實(shí)施例中，根據(jù)本發(fā)明的編碼方法用于根據(jù)二進(jìn)制信號(hào)對(duì)積分圖像或積分圖像序列進(jìn)行編碼，所述二進(jìn)制信號(hào)接近于通過(guò)在符合任何當(dāng)前或未來(lái)視頻編碼標(biāo)準(zhǔn)中的編碼器中采用的編碼而產(chǎn)生的二進(jìn)制信號(hào)。

在此實(shí)施例中，例如在軟件或硬件中通過(guò)對(duì)這種編碼器進(jìn)行修改來(lái)實(shí)施根據(jù)本發(fā)明的編碼方法。采用包括如圖1中所示出的步驟c1至步驟c8的算法的形式來(lái)表示根據(jù)本發(fā)明的編碼方法。

根據(jù)本發(fā)明的實(shí)施例，在如圖2中所表示的編碼設(shè)備或編碼器co中實(shí)施根據(jù)本發(fā)明的編碼方法。

如圖2中所示出的，這種編碼器包括存儲(chǔ)器mem_co，所述存儲(chǔ)器包括緩沖存儲(chǔ)器tamp_co；處理器單元ut_co，所述處理器單元包括例如微處理器μp并且由實(shí)施根據(jù)本發(fā)明的編碼方法的計(jì)算機(jī)程序pg_co控制。在初始化時(shí)間，在處理器單元ut_co的處理器執(zhí)行計(jì)算機(jī)程序pg_co的代碼指令之前，所述代碼指令例如被加載到ram(未示出)中。

如圖1中所表示的編碼方法應(yīng)用于任何當(dāng)前積分圖像iij，所述當(dāng)前積分圖像是固定的或者是待編碼的積分圖像ii1、…、iij、…、iim(1≤j≤m)序列的一部分。

如圖3a中所表示的，當(dāng)前積分圖像iij包括不同的基本圖像，所述基本圖像也被稱為微圖像mi1、mi2、…、min。為了簡(jiǎn)單起見(jiàn)，所表示的微圖像全部具有相同的尺寸和相同的分辨率。不言而喻，本發(fā)明還適用于具有不同尺寸和對(duì)應(yīng)不同分辨率的微圖像。

如圖3b中所表示的，當(dāng)前積分圖像iij常規(guī)地借助于圖像捕獲設(shè)備來(lái)采集，所述圖像捕獲設(shè)備包括視頻相機(jī)(未示出)和布置在三維場(chǎng)景sc與視頻相機(jī)之間的透鏡陣列rl。

透鏡陣列rl包括多個(gè)微透鏡，所述多個(gè)微透鏡中僅三個(gè)微透鏡ml1、ml2、ml3在圖3b中表示。在所表示的示例中，微透鏡全部完全相同。然后，在布置于前述微透鏡的焦平面中的屏幕(未示出)上重現(xiàn)積分圖像iij。以本身已知的方式，積分圖像iij的每個(gè)微圖像包含多個(gè)不同顏色的像素，這些像素中的每個(gè)像素表示場(chǎng)景sc的給定視角。在所表示的示例中，每個(gè)微圖像具有與微透鏡相同的大小，并且因此，僅表示了三個(gè)微圖像mi1、mi2和mi3，所述三個(gè)微圖像分別與三個(gè)微透鏡ml1、l2、ml3具有對(duì)應(yīng)關(guān)系。在所表示的示例中，每個(gè)微圖像例如包括不同顏色的五個(gè)像素。給定微圖像mii(1≤i≤n)包含五個(gè)像素pi,1、pi,2、pi,3、pi,4、pi,5。

在獲取積分圖像iij期間，來(lái)自場(chǎng)景sc的光線穿過(guò)每個(gè)微透鏡ml1、ml2、ml3并且然后在所述微透鏡的焦平面中撞擊傳感器的每個(gè)單元的像素?？紤]到透鏡陣列rl的特定構(gòu)型和構(gòu)成屏幕的像素的矩陣，光線：

-以第一入射角撞擊像素p1,1、p2,1、p3,1，

-以第二入射角撞擊像素p1,2、p2,2、p3,2，

-以第三入射角撞擊像素p1,3、p2,3、p3,3，

-以第四入射角撞擊像素p1,4、p2,4、p3,4，

-以第五入射角撞擊像素p1,5、p2,5、p3,5。

以本身已知的方式，每個(gè)入射角與特定可視化角度相對(duì)應(yīng)，根據(jù)所述特定可視化角度，觀察者有可能將場(chǎng)景sc可視化。這些角度的值包含在有關(guān)微透鏡的特征角度范圍內(nèi)。與例如微透鏡ml2的角度范圍相對(duì)應(yīng)的一個(gè)這種角度范圍通過(guò)展示的方式在圖3b中以粗實(shí)線表示。

根據(jù)需要的編碼背景，圖像捕獲設(shè)備被配置成用于對(duì)構(gòu)成所述圖像捕獲設(shè)備的許多微透鏡以及它們的分辨率進(jìn)行適配。相應(yīng)地，通過(guò)這種圖像捕獲設(shè)備采集的積分圖像由給定數(shù)量的微圖像和這些微圖像中的每個(gè)微圖像的給定分辨率表征，這兩個(gè)數(shù)量構(gòu)成與圖像捕獲設(shè)備相關(guān)聯(lián)的參數(shù)。

在圖1中所表示的步驟c1期間，基于構(gòu)成當(dāng)前積分圖像iij的所述多個(gè)微圖像和其分辨率將當(dāng)前積分圖像iij分解成至少一個(gè)視圖vu。

步驟c1由如圖2中所表示的處理軟件模塊mdcv_co實(shí)施。

根據(jù)第一示例，如果當(dāng)前積分圖像iij的微圖像中的每個(gè)微圖像包含不同顏色的k個(gè)像素，則將當(dāng)前積分圖像iij分解成：

-包含微圖像mi1的第一像素、微圖像mi2的第一像素、…、微圖像min的第一像素的視圖，和/或

-包含微圖像mi1的第二像素、微圖像mi2的第二像素、…、微圖像min的第二像素的視圖，

-…，和/或

-包含微圖像mi1的第k像素、微圖像mi2的第k像素、…、微圖像min的第k像素的視圖。

根據(jù)第二示例，如果當(dāng)前積分圖像iij的微圖像中的每個(gè)微圖像包含不同顏色的k個(gè)像素，則將當(dāng)前積分圖像iij分解成：

-包含微圖像mi1的第一四個(gè)像素、微圖像mi2的第一四個(gè)像素、…、微圖像min的第一四個(gè)像素的視圖，對(duì)于所討論的微圖像，這些第一四個(gè)像素例如由該微圖像的第一行的第一像素和第二像素連同該微圖像的第二行的第一像素和第二像素組成，和/或

-包含微圖像mi1的第二四個(gè)像素、微圖像mi2的第二四個(gè)像素、…、微圖像min的第二四個(gè)像素的視圖，對(duì)于所討論的微圖像，這些第二四個(gè)像素例如由該微圖像的第一行的第三像素和第四像素連同該微圖像的第二行的第三像素和第四像素組成，

-…，和/或

-包含微圖像mi1的最后四個(gè)像素、微圖像mi2的最后四個(gè)像素、…、微圖像min的最后四個(gè)像素的視圖，對(duì)于所討論的微圖像，這些最后四個(gè)像素例如由該微圖像的倒數(shù)第二行的倒數(shù)第二個(gè)像素和最后一個(gè)像素連同該微圖像的最后一行的倒數(shù)第二個(gè)像素和最后一個(gè)像素組成。

根據(jù)圖4a中所表示的實(shí)施例，當(dāng)前積分圖像iij例如被分解成包含例如在微圖像mi1的中心處的像素、在微圖像mi2的中心處的像素、…、在min的中心處的像素的單個(gè)視圖v1。在圖4a中，通過(guò)“xc”來(lái)表示每個(gè)微圖像的中央像素。

根據(jù)圖4b中所表示的另一個(gè)實(shí)施例，當(dāng)前積分圖像iij例如被分解成三個(gè)視圖v1、v2、v3：

-視圖v1為如圖4a中所表示的視圖；

-視圖v2包含例如微圖像mi1的中央像素左側(cè)的像素、微圖像mi2的中央像素左側(cè)的像素、…、微圖像min的中央像素左側(cè)的像素；在圖4b中，通過(guò)“xg”來(lái)表示每個(gè)微圖像的中央像素左側(cè)的像素；

-視圖v3包含例如微圖像mi1的中央像素右側(cè)的像素、微圖像mi2的中央像素右側(cè)的像素、…、微圖像min的中央像素右側(cè)的像素；在圖4b中，通過(guò)“xd”來(lái)表示每個(gè)微圖像的中央像素右側(cè)的像素。

在圖1中所表示的步驟c2期間對(duì)所述至少一個(gè)視圖vu進(jìn)行編碼。

這種步驟c2由如圖2中所表示的視圖編碼軟件模塊mcv_co實(shí)施，所述模塊由處理器單元ut_co的微處理器μp控制。

這種視圖編碼模塊mcv_co常規(guī)地包括：

-預(yù)測(cè)模塊pred1_co，

-殘差數(shù)據(jù)計(jì)算模塊cal1_co，

-類型為dct(源于英文“discretecosinetransform(離散余弦變換)”)、dst(源于英文“discretesinetransform(離散正弦變換)”)、dwt(源于英文“discretewavelettransform(離散小波變換)”)的變換模塊mt1_co，

-量化模塊mq1_co，

-例如類型為cabac(源于英文“contextadaptivebinaryarithmeticcoder(上下文自適應(yīng)二進(jìn)制算術(shù)編碼器)”)的熵編碼模塊mce1_co或本身已知的哈夫曼編碼器。

以本身已知的方式，在步驟c2中，通過(guò)已知幀內(nèi)預(yù)測(cè)和/或幀間預(yù)測(cè)技術(shù)來(lái)執(zhí)行對(duì)所述視圖vu的預(yù)測(cè)的子步驟c21。為此，視圖vu被劃分成像素組，例如，被劃分成像素塊，根據(jù)從多個(gè)預(yù)定預(yù)測(cè)模式中選擇的預(yù)測(cè)模式相對(duì)于至少一個(gè)預(yù)測(cè)子塊預(yù)測(cè)每個(gè)塊。例如，在幀內(nèi)預(yù)測(cè)模式下的hevc編碼的情況下，存在三十五個(gè)預(yù)定預(yù)測(cè)模式。

這種預(yù)測(cè)子塊是已經(jīng)被編碼或已經(jīng)被編碼然后被解碼或者不被解碼的像素塊。這種預(yù)測(cè)子塊預(yù)先存儲(chǔ)在如圖2中所表示的編碼器co的緩沖存儲(chǔ)器tamp_co中。

對(duì)于視圖vu的所討論的塊，在所述預(yù)定預(yù)測(cè)模式之間的競(jìng)爭(zhēng)之后例如通過(guò)將本領(lǐng)域的技術(shù)人員所熟知的失真比特率標(biāo)準(zhǔn)最小化來(lái)獲得最優(yōu)預(yù)測(cè)子塊。最優(yōu)預(yù)測(cè)子塊被考慮為所討論的塊的近似物。

在子步驟c21之后獲得預(yù)測(cè)視圖vpu。

這種子步驟c21由圖2中所表示的預(yù)測(cè)模塊pred1_co實(shí)施。

編碼步驟c2還包括子步驟c22，在所述子步驟期間，計(jì)算視圖vu的每個(gè)塊與在子步驟c21期間選擇的每個(gè)對(duì)應(yīng)的相應(yīng)最優(yōu)預(yù)測(cè)子塊之間的差異。

然后，在子步驟c22之后獲得多個(gè)殘差數(shù)據(jù)塊，那些殘差塊構(gòu)成殘差視圖vru。

這種子步驟c22由圖2中所表示的計(jì)算模塊cal1_co實(shí)施。

編碼步驟c2還包括子步驟c23，在所述子步驟中，根據(jù)標(biāo)準(zhǔn)直接變換操作(如例如，dct、dst或dwt型變換)來(lái)變換每個(gè)殘差數(shù)據(jù)塊以便產(chǎn)生構(gòu)成參考vtu所指定的經(jīng)變換的視圖vu的多個(gè)經(jīng)變換的塊。這種操作由如圖2中所表示的模塊mt1_co實(shí)現(xiàn)。

編碼步驟c2還包括子步驟c24，在所述子步驟中，根據(jù)標(biāo)準(zhǔn)量化操作(如例如，標(biāo)量量化或向量量化)對(duì)每個(gè)經(jīng)變換的塊進(jìn)行量化。然后，在此子步驟之后獲得量化系數(shù)的集合vqu。這種子步驟c24借助于如圖2中所表示的量化模塊mq1_co實(shí)現(xiàn)。

這種量化子步驟借助于預(yù)定量化步驟qp1實(shí)施。稍后將在本說(shuō)明書(shū)中描述如何確定此參數(shù)。

編碼步驟c2還包括子步驟c25，在所述子步驟中，按預(yù)定順序(比如，具體地，“光柵掃描”順序)對(duì)系數(shù)的集合vqu進(jìn)行編碼。在優(yōu)選實(shí)施例中，所實(shí)現(xiàn)的編碼是哈夫曼或算術(shù)型熵編碼。然后，子步驟c25包括：

-讀取預(yù)定符號(hào)集合中與視圖vu的每個(gè)量化數(shù)據(jù)塊相關(guān)聯(lián)的一個(gè)或多個(gè)符號(hào)，

-將如位等數(shù)字信息與已經(jīng)讀取的一個(gè)或多個(gè)符號(hào)相關(guān)聯(lián)。

這種熵編碼子步驟c25由圖2中所表示的熵編碼模塊mce1_co實(shí)施。

在子步驟c25期間還對(duì)量化步驟qp1的值進(jìn)行熵編碼。

在對(duì)視圖vu進(jìn)行編碼的步驟c2之后，在圖1中所表示的步驟c3期間，生成包含與視圖vu相關(guān)聯(lián)的熵編碼數(shù)據(jù)中的所有熵編碼數(shù)據(jù)的數(shù)據(jù)信號(hào)f1。然后，經(jīng)由通信網(wǎng)絡(luò)(未示出)向遠(yuǎn)程終端傳輸這種信號(hào)。后者終端包括圖5中所表示的解碼器do。

產(chǎn)生這種流的步驟c3由如圖2中所表示的數(shù)據(jù)流生成模塊mgf1實(shí)施。

以本身已知的方式，信號(hào)f1包含在預(yù)測(cè)子步驟c21期間使用的信息。這種信息尤其包括預(yù)測(cè)類型(幀間或幀內(nèi))和所選擇的預(yù)測(cè)模式(在適用情況下)、視圖vu的塊的分割類型(如果已經(jīng)對(duì)所述視圖進(jìn)行細(xì)分)、參考視圖的索引、以及所使用的位移向量(如果已經(jīng)選擇幀間預(yù)測(cè)模式)。在流f1中傳輸這種信息之前，對(duì)這種信息進(jìn)行熵編碼。

具體地，信號(hào)f1還包含量化步驟qp1的熵編碼值。

根據(jù)本發(fā)明，在圖1中所表示的步驟c4期間對(duì)所述至少一個(gè)視圖vu進(jìn)行解碼。

這種步驟c4由如圖2中所示出的視圖解碼軟件模塊mdv_co實(shí)施，所述視圖解碼軟件模塊由處理器單元ut_co的微處理器μp控制。

這種視圖編碼模塊mdv_co常規(guī)地包括：

-例如類型為cabac(源于英文“contextadaptivebinaryarithmeticcoder(上下文自適應(yīng)二進(jìn)制算術(shù)編碼器)”)的熵解碼模塊mde1_co或本身已知的哈夫曼解碼器，

-去量化模塊mq1^-1_co，

-類型為dct^-1(源于英文“discretecosinetransform(離散余弦變換)”)、dst^-1(源于英文“discretesinetransform(離散正弦變換)”)、dwt^-1(源于英文“discretewavelettransform(離散小波變換)”)的逆變換模塊mt1^-1_co，

-逆預(yù)測(cè)模塊pred1^-1_co，

-視圖重構(gòu)計(jì)算模塊cal1^-1_co。

步驟c4包括根據(jù)預(yù)定順序(比如，具體地，“光柵掃描”順序)對(duì)與視圖vu相關(guān)聯(lián)的熵編碼數(shù)據(jù)進(jìn)行熵編碼的子步驟c41。在優(yōu)選實(shí)施例中，所實(shí)現(xiàn)的解碼是哈夫曼或算術(shù)型熵解碼。然后，子步驟c41包括：

-讀取預(yù)定符號(hào)集合中與視圖vu的每個(gè)量化塊相關(guān)聯(lián)的一個(gè)或多個(gè)符號(hào)，

-將如位等數(shù)字信息與已經(jīng)讀取的一個(gè)或多個(gè)符號(hào)相關(guān)聯(lián)。

在前述子步驟c41之后，獲得了與在前述步驟c25期間被編碼的量化數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的多個(gè)數(shù)字信息項(xiàng)。

這種熵解碼子步驟c41由圖2中所表示的熵解碼模塊mde1_co實(shí)施。

在前述子步驟c41期間，還對(duì)用于在圖1的子步驟c21中預(yù)測(cè)視圖vu的每個(gè)塊的每個(gè)最優(yōu)預(yù)測(cè)子塊的索引進(jìn)行解碼。在此操作之后，因此以這種方式對(duì)存儲(chǔ)在圖2的編碼器co的緩沖存儲(chǔ)器tamp_co中的每個(gè)相應(yīng)預(yù)測(cè)子塊進(jìn)行標(biāo)識(shí)。這種類型的預(yù)測(cè)子塊例如是可能已經(jīng)被解碼的并且根據(jù)在對(duì)視圖vu進(jìn)行編碼時(shí)所選擇的預(yù)測(cè)模式來(lái)獲得的像素塊。

編碼步驟c4還包括子步驟c42，在所述子步驟期間，根據(jù)標(biāo)準(zhǔn)去量化操作對(duì)在子步驟c41之后獲得的數(shù)字信息進(jìn)行去量化，所述標(biāo)準(zhǔn)去量化操作是在子步驟c24中實(shí)施的量化的逆操作。然后，在此子步驟之后獲得去量化系數(shù)的集合vdqu。這種子步驟c42借助于如圖2中所表示的去量化模塊mq1^-1_co實(shí)現(xiàn)。

編碼步驟c4還包括子步驟c43，在所述子步驟期間，對(duì)類型為dct^-1、dst^-1或dwt^-1的量化系數(shù)的集合vdqu進(jìn)行變換。這種變換是在子步驟c23中實(shí)現(xiàn)的變換的逆操作。在此子步驟之后，獲得了構(gòu)成參考vdru指定的解碼殘差視圖vu的多個(gè)解碼殘差數(shù)據(jù)塊。這種操作由圖2中所表示的模塊mt1^-1_co實(shí)現(xiàn)。

編碼步驟c4還包括通過(guò)選擇由在前述子步驟c21之后獲得的最優(yōu)預(yù)測(cè)子塊組成的最優(yōu)預(yù)測(cè)視圖來(lái)預(yù)測(cè)待解碼的所述視圖vu的子步驟c44。

這種子步驟c44由圖2中所表示的預(yù)測(cè)模塊pred1^-1_co實(shí)施。

編碼步驟c4還包括計(jì)算子步驟c45，在所述子步驟期間，通過(guò)向在子步驟c43之后獲得的解碼殘差視圖vdru的解碼殘差塊中的每個(gè)解碼殘差塊添加在前述子步驟c41中標(biāo)識(shí)的對(duì)應(yīng)的相應(yīng)預(yù)測(cè)子塊中的每個(gè)預(yù)測(cè)子塊來(lái)構(gòu)建解碼視圖vdu。

這種子步驟c45由圖2中所表示的計(jì)算模塊cal1^-1_co實(shí)施。

根據(jù)本發(fā)明，在圖1中所表示的步驟c5期間，在所述至少一個(gè)解碼視圖vdu的基礎(chǔ)上重組當(dāng)前積分圖像iij。這種步驟包括：考慮到所述至少一個(gè)視圖vu的分辨率以及其在當(dāng)前積分圖像iij中的位置，將逆分解應(yīng)用于在前述步驟c1中實(shí)現(xiàn)的對(duì)積分圖像的所述分解。

步驟c5通過(guò)如圖2中所表示的視圖重組軟件模塊mdcv^-1_co實(shí)施。

根據(jù)第一示例，如果當(dāng)前積分圖像iij的微圖像中的每個(gè)微圖像包含不同顏色的k個(gè)像素，則將當(dāng)前積分圖像ii重組j重組成：

-包含微圖像mi1的第一像素、微圖像mi2的第一像素、…、微圖像min的第一像素的視圖，和/或

-包含微圖像mi1的第二像素、微圖像mi2的第二像素、…、微圖像min的第二像素的視圖，

-…，和/或

-包含微圖像mi1的第k像素、微圖像mi2的第k像素、…、微圖像min的第k像素的視圖。

根據(jù)第二示例，如果當(dāng)前積分圖像iij的微圖像中的每個(gè)微圖像包含不同顏色的k個(gè)像素，則將當(dāng)前積分圖像iij重組成：

-包含微圖像mi1的第一四個(gè)像素、微圖像mi2的第一四個(gè)像素、…、微圖像min的第一四個(gè)像素的視圖，對(duì)于所討論的微圖像，這些第一四個(gè)像素例如由該微圖像的第一行的第一像素和第二像素以及該微圖像的第二行的第一像素和第二像素組成，和/或

-包含微圖像mi1的第二四個(gè)像素、微圖像mi2的第二四個(gè)像素、…、微圖像min的第二四個(gè)像素的視圖，對(duì)于所討論的微圖像，這些第二四個(gè)像素例如由該微圖像的第一行的第三像素和第四像素以及該微圖像的第二行的第三像素和第四像素組成，

-…，和/或

-包含微圖像mi1的最后四個(gè)像素、微圖像mi2的最后四個(gè)像素、…、微圖像min的最后四個(gè)像素的視圖，對(duì)于所討論的微圖像，這些最后四個(gè)像素例如由該微圖像的倒數(shù)第二行的倒數(shù)第二個(gè)像素和最后一個(gè)像素以及該微圖像的最后一行的倒數(shù)第二個(gè)像素和最后一個(gè)像素組成。

根據(jù)圖4a中所表示的實(shí)施例，當(dāng)前重組積分圖像ii重組j由單個(gè)視圖v1組成，所述單個(gè)視圖包含在微圖像mi1的中心處的像素、在微圖像mi2的中心處的像素、…、在min的中心處的像素。

根據(jù)圖4b中所表示的另一個(gè)實(shí)施例，當(dāng)前重組積分圖像ii重組j由三個(gè)視圖v1、v2、v3組成：

-視圖v1為如圖4a中所表示的視圖；

-視圖v2包含例如微圖像mi1的中央像素左側(cè)的像素、微圖像mi2的中央像素左側(cè)的像素、…、微圖像min的中央像素左側(cè)的像素，

-視圖v3包含例如微圖像mi1的中央像素右側(cè)的像素、微圖像mi2的中央像素右側(cè)的像素、…、微圖像min的中央像素右側(cè)的像素。

根據(jù)本發(fā)明，在圖1中所表示的步驟c6期間，計(jì)算當(dāng)前積分圖像iij與在步驟c5中獲得的重組積分圖像ii重組j之間的差異。

然后，在步驟c6之后獲得當(dāng)前殘差積分圖像ii殘差j。

這種步驟c6由圖2中所表示的計(jì)算模塊cal2_co實(shí)施。

然后，這種當(dāng)前殘差積分圖像ii殘差j被認(rèn)為是在圖1中所表示的步驟c7期間經(jīng)歷二維(2d)編碼的2d圖像。根據(jù)本發(fā)明，可以應(yīng)用任何類型的2d編碼。

這種步驟c7由如圖2中所表示的圖像編碼軟件模塊mdci實(shí)施，所述模塊由處理器單元ut_co的微處理器μp控制。

這種二維圖像編碼模塊mdci可以包括例如：

-預(yù)測(cè)模塊pred2_co，

-殘差數(shù)據(jù)計(jì)算模塊cal3_co，

-類型為dct(源于英文“discretecosinetransform(離散余弦變換)”)、dst(源于英文“discretesinetransform(離散正弦變換)”)、dwt(源于英文“discretewavelettransform(離散小波變換)”)的變換模塊mt2_co，

-量化模塊mq2_co，

-例如類型為cabac(源于英文“contextadaptivebinaryarithmeticcoder(上下文自適應(yīng)二進(jìn)制算術(shù)編碼器)”)的熵編碼模塊mce2_co或本身已知的哈夫曼編碼器。

步驟c7包括使用幀內(nèi)和/或幀間預(yù)測(cè)技術(shù)來(lái)預(yù)測(cè)所述殘差積分圖像ii殘差j的子步驟c71。為此，殘差積分圖像ii殘差j被細(xì)分成像素組，例如，被細(xì)分成像素塊，根據(jù)從多個(gè)預(yù)定預(yù)測(cè)模式中選擇的預(yù)測(cè)模式相對(duì)于至少一個(gè)預(yù)測(cè)子塊預(yù)測(cè)每個(gè)塊。例如，在幀內(nèi)預(yù)測(cè)模式下的hevc編碼的情況下，存在三十五個(gè)預(yù)定預(yù)測(cè)模式。

這種預(yù)測(cè)子塊是已經(jīng)被編碼或已經(jīng)被編碼然后被解碼的像素塊。這種預(yù)測(cè)子塊預(yù)先存儲(chǔ)在如圖2中所表示的編碼器co的緩沖存儲(chǔ)器tamp_co中。

對(duì)于殘差積分圖像ii殘差j的所討論的塊，在所述預(yù)定預(yù)測(cè)模式之間的競(jìng)爭(zhēng)之后例如通過(guò)將本領(lǐng)域的技術(shù)人員所熟知的失真比特率標(biāo)準(zhǔn)最小化來(lái)獲得最優(yōu)預(yù)測(cè)子塊。最優(yōu)預(yù)測(cè)子塊被考慮為所討論的塊的近似物。

在子步驟c71之后獲得預(yù)測(cè)殘差積分圖像ii預(yù)測(cè)殘差j。

這種子步驟c71由圖2中所表示的預(yù)測(cè)模塊pred2_co實(shí)施。

編碼步驟c7還包括子步驟c72，在所述子步驟期間，計(jì)算殘差積分圖像ii殘差j的每個(gè)塊與在子步驟c71期間選擇的每個(gè)對(duì)應(yīng)的相應(yīng)最優(yōu)預(yù)測(cè)子塊之間的差異。

然后，在子步驟c72之后獲得多個(gè)殘差數(shù)據(jù)塊，這些殘差塊構(gòu)成殘差積分圖像ii參考?xì)埐頹。

這種子步驟c72由圖2中所表示的計(jì)算模塊cal3_co實(shí)施。

編碼步驟c7還包括子步驟c73，在所述子步驟中，根據(jù)標(biāo)準(zhǔn)直接變換操作(如例如，類型為dct、dst或dwt的變換)來(lái)變換在子步驟c72中獲得的每個(gè)殘差數(shù)據(jù)塊以便產(chǎn)生構(gòu)成參考ii變換殘差j所指定的經(jīng)變換的殘差積分圖像的多個(gè)經(jīng)變換的塊。這種操作由如圖2中所表示的模塊mt2_co實(shí)現(xiàn)。

編碼步驟c7還包括子步驟c74，在所述子步驟期間，根據(jù)標(biāo)準(zhǔn)量化操作(如例如，標(biāo)量量化或向量量化)對(duì)在子步驟c73中獲得的每個(gè)經(jīng)變換的塊進(jìn)行量化。然后，在此子步驟之后獲得量化系數(shù)的集合ii量化殘差u。這種子步驟c74借助于如圖2中所表示的量化模塊mq2_co實(shí)現(xiàn)。

而且，這種量化子步驟借助于預(yù)定量化步驟qp2實(shí)施。稍后將在本說(shuō)明書(shū)中描述如何確定此參數(shù)。

編碼步驟c7還包括子步驟c75，在所述子步驟期間，根據(jù)預(yù)定順序(比如，具體地，“光柵掃描”順序)對(duì)系數(shù)的集合ii量化殘差u進(jìn)行編碼。在優(yōu)選實(shí)施例中，所實(shí)現(xiàn)的編碼是哈夫曼或算術(shù)型熵編碼。然后，子步驟c75包括：

-讀取預(yù)定符號(hào)集合中與當(dāng)前殘差積分圖像ii殘差j的每個(gè)量化數(shù)據(jù)塊相關(guān)聯(lián)的一個(gè)或多個(gè)符號(hào)，

-將如位等數(shù)字信息與已經(jīng)讀取的一個(gè)或多個(gè)符號(hào)相關(guān)聯(lián)。

這種熵編碼子步驟c75由圖2中所表示的熵編碼模塊mce2_co實(shí)施。

在子步驟c75期間還對(duì)量化步驟qp2的值進(jìn)行熵編碼。

在對(duì)殘差積分圖像ii殘差j進(jìn)行編碼的步驟c7之后，在圖1中所表示的步驟c8期間，生成包含與當(dāng)前殘差積分圖像ii殘差j相關(guān)聯(lián)的熵編碼數(shù)據(jù)中的所有熵編碼數(shù)據(jù)的數(shù)據(jù)信號(hào)f2。然后，經(jīng)由通信網(wǎng)絡(luò)(未示出)向包括圖5中所表示的解碼器do的遠(yuǎn)程終端傳輸這種信號(hào)f2。

產(chǎn)生這種流的步驟c8由如圖2中所表示的數(shù)據(jù)流生成模塊mgf2實(shí)施。

以本身已知的方式，信號(hào)f2包含在預(yù)測(cè)子步驟c71期間使用的信息。這種信息尤其包括預(yù)測(cè)類型(幀間或幀內(nèi))和所選擇的預(yù)測(cè)模式(在適當(dāng)情況下)、殘差積分圖像ii殘差j的塊的分割類型(如果已經(jīng)對(duì)所述殘差積分圖像進(jìn)行細(xì)分)、參考積分圖像的索引、以及所使用的位移向量(當(dāng)已經(jīng)選擇幀間預(yù)測(cè)模式時(shí))。在流f2中傳輸這種信息之前，對(duì)這種信息進(jìn)行熵編碼。

具體地，信號(hào)f2還包含量化步驟qp2的熵編碼值。

在圖1和圖2中所表示的實(shí)施例中，對(duì)數(shù)據(jù)信號(hào)f1和f2進(jìn)行多路復(fù)用以便形成向解碼器do傳輸?shù)膯蝹€(gè)信號(hào)。

可替代地，可以向解碼器do單獨(dú)傳輸數(shù)據(jù)信號(hào)f1和f2。

就其本身而言，在熵編碼子步驟c25期間或者在熵編碼子步驟c75期間對(duì)當(dāng)前積分圖像iij的在圖1和圖2中以p分辨率表示的微圖像分辨率參數(shù)進(jìn)行熵編碼。因此，將微圖像分辨率參數(shù)插入到數(shù)據(jù)信號(hào)f1中或者數(shù)據(jù)信號(hào)f2中或者可以向解碼器do單獨(dú)傳輸?shù)幕蛘呖梢耘c數(shù)據(jù)信號(hào)f1和f2一起被多路復(fù)用的另一個(gè)數(shù)據(jù)信號(hào)(未示出)中。

在分解成至少一個(gè)視圖vu的步驟c1之前，視圖的數(shù)量和它們的位置被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)的數(shù)量和位置。例如，通過(guò)例如在編碼步驟c2中和在編碼步驟c7中應(yīng)用的將本領(lǐng)域的技術(shù)人員熟知的失真比特率標(biāo)準(zhǔn)最小化來(lái)選擇視圖的數(shù)量和位置。

根據(jù)第二實(shí)施例，視圖的數(shù)量和位置被選擇為使與在圖1的步驟c6之后獲得的殘差積分圖像ii殘差j相關(guān)聯(lián)的數(shù)據(jù)的量最小化的數(shù)量和位置。

根據(jù)所需要的編碼背景，可以向解碼器do傳輸已經(jīng)以這種方式選擇的視圖的數(shù)量和位置。

在量化子步驟c24中使用的量化步驟qp1的值和在量化子步驟c74中使用的量化步驟qp2的值被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)。

根據(jù)一個(gè)實(shí)施例，通過(guò)例如在編碼步驟c2中和在編碼步驟c7中應(yīng)用的將本領(lǐng)域的技術(shù)人員熟知的失真比特率標(biāo)準(zhǔn)最小化來(lái)選擇量化步驟qp1和qp2中每個(gè)步驟。

在以上剛剛已經(jīng)描述的實(shí)施例的變體中，如在圖1中所示出的，還存在以下各項(xiàng)：

-緊隨步驟c1之后的對(duì)分解成至少所述視圖vu的當(dāng)前積分圖像iij進(jìn)行變換的步驟ci1，和/或

-緊隨對(duì)所述至少一個(gè)視圖進(jìn)行解碼的步驟c4之后的對(duì)在子步驟c45之后獲得的所述重構(gòu)視圖vdu進(jìn)行變換的步驟ci2，和/或

-緊隨重組當(dāng)前積分圖像的步驟c5之后的對(duì)重組的當(dāng)前積分圖像ii重組j進(jìn)行變換的步驟ci3。

這種變換和這些變換的目的是減小在圖1的步驟c6之后獲得的殘差積分圖像ii殘差j中待編碼的數(shù)據(jù)的量。這種目的暗示獲得最像原始積分圖像iij的重組圖像和因此實(shí)現(xiàn)有效重組。

在優(yōu)選變體中，因?yàn)樗鲎儞Q步驟ci2使得有可能獲得對(duì)當(dāng)前積分圖像iij的最有效重組，所以僅應(yīng)用所述變換步驟。

所述變換步驟是可選的，它們?cè)趫D1中以虛線表示。

變換步驟ci1、ci2和ci3由如在圖2中以虛線表示的對(duì)應(yīng)變換軟件模塊tr1_co、tr2_co和tr3_co實(shí)施。

變換步驟ci1、ci2和ci3中的每個(gè)變換步驟使用相應(yīng)變換參數(shù)p變換1、p變換2、p變換3。

根據(jù)第一實(shí)施例，變換參數(shù)p變換1、p變換2、p變換3被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)的變換參數(shù)。例如，通過(guò)例如在編碼步驟c2中和在編碼步驟c7中應(yīng)用的將本領(lǐng)域的技術(shù)人員熟知的失真比特率標(biāo)準(zhǔn)最小化來(lái)選擇后者。

根據(jù)第二實(shí)施例，變換參數(shù)p變換1、p變換2、p變換3被選擇為使與在圖1的步驟c6之后獲得的殘差積分圖像ii殘差j相關(guān)聯(lián)的數(shù)據(jù)的量最小化的變換參數(shù)。

根據(jù)所需要的編碼背景，可以向解碼器do傳輸變換參數(shù)p變換1、p變換2、p變換3。

變換的一個(gè)可能的示例是平滑。與這種變換相關(guān)聯(lián)的參數(shù)與應(yīng)用于圖像的平滑濾波器的像素的大小相對(duì)應(yīng)。

因?yàn)榉纸獬梢晥D導(dǎo)致信息丟失(即，包含于在分解步驟c1期間未提取的視圖中的信息的丟失)，所以在逆分解步驟c5期間，引入錯(cuò)誤信息來(lái)替換這種丟失的信息。然后，重組積分圖像ii重組j包含不與當(dāng)前原始積分圖像iij的細(xì)節(jié)相對(duì)應(yīng)的細(xì)節(jié)。

其結(jié)果是：

-當(dāng)前原始積分圖像iij的細(xì)節(jié)在相減步驟c6期間未被補(bǔ)償/取消并且保持在殘差積分圖像ii殘差j中，

-重組積分圖像ii重組j的與錯(cuò)誤(并且因此，無(wú)用的)信息相對(duì)應(yīng)的細(xì)節(jié)變得被添加到殘差積分圖像ii殘差j中。

對(duì)重組積分圖像ii重組j(和/或所述至少一個(gè)視圖vu和/或所述至少一個(gè)重構(gòu)視圖vdu)進(jìn)行平滑使得有可能對(duì)這些細(xì)節(jié)區(qū)域進(jìn)行平滑并且因此對(duì)殘差積分圖像ii殘差j進(jìn)行平滑，這使得對(duì)后者進(jìn)行編碼的費(fèi)用更少。

在這種平滑的變體中，幾何變換(展開(kāi)、侵蝕、旋轉(zhuǎn)、對(duì)稱等)可以應(yīng)用于所述至少一個(gè)視圖vu和/或所述至少一個(gè)重構(gòu)視圖vdu和/或重組積分圖像ii重組j。

解碼部分的具體實(shí)施方式

現(xiàn)在將對(duì)根據(jù)本發(fā)明的解碼方法的一個(gè)實(shí)施例進(jìn)行描述，在所述實(shí)施例中，在軟件或硬件中通過(guò)對(duì)初始符合任何當(dāng)前或未來(lái)視頻解碼標(biāo)準(zhǔn)的解碼器的修改來(lái)實(shí)施所述解碼方法。

根據(jù)本發(fā)明的解碼方法采用包括如在圖6中所表示的步驟d1至步驟d5的算法的形式來(lái)表示。

如在圖5中所示出的，根據(jù)本發(fā)明的此實(shí)施例的解碼器do包括存儲(chǔ)器mem_do，所述存儲(chǔ)器包括緩沖存儲(chǔ)器tamp_do；處理單元ut_do，所述處理器單元包括例如微處理器μp并且由實(shí)施根據(jù)本發(fā)明的解碼方法的計(jì)算機(jī)程序pg_do控制。在初始化時(shí)間，在處理器單元ut_do的處理器執(zhí)行計(jì)算機(jī)程序pg_do的代碼指令之前，所述代碼指令例如被加載到ram中。

如圖6中所表示的解碼方法應(yīng)用于待解碼的任何當(dāng)前積分圖像iij，所述當(dāng)前積分圖像是靜止的或者形成待解碼的積分圖像ii1、…、iij、…、iim(1≤j≤m)序列的一部分。

為此，在解碼器處所接收的數(shù)據(jù)信號(hào)f(如在圖1的編碼方法之后傳遞的)中標(biāo)識(shí)表示待解碼的當(dāng)前積分圖像iij的信息。

參照?qǐng)D6，在步驟d1a)期間，在構(gòu)成數(shù)據(jù)信號(hào)f的所述信號(hào)f1中標(biāo)識(shí)以下各項(xiàng)：

-已經(jīng)被編碼的當(dāng)前積分圖像iij的微圖像的分辨率參數(shù)p分辨率(如果該參數(shù)被插入到信號(hào)f1中)，

-如在圖1的編碼子步驟c25之后根據(jù)前述光柵掃描順序被熵編碼的與視圖vu相關(guān)聯(lián)的數(shù)據(jù)中的所有數(shù)據(jù)，

-量化步驟qp1，

-所述至少一個(gè)視圖vu的數(shù)量和位置(如果這些參數(shù)在信號(hào)f1中傳輸)，

-圖像變換參數(shù)p變換1(如果該參數(shù)在信號(hào)f1中傳輸)，

-構(gòu)成在圖1中所表示的編碼方法的預(yù)測(cè)子步驟c21之后獲得的預(yù)測(cè)視圖vpu的每個(gè)預(yù)測(cè)子塊的標(biāo)識(shí)信息，這種信息例如由這些預(yù)測(cè)子塊中的每個(gè)預(yù)測(cè)子塊的索引組成，

-與預(yù)測(cè)相關(guān)的其他信息，所述信息尤其包括預(yù)測(cè)類型(幀間或幀內(nèi))和所選擇的預(yù)測(cè)模式(在適當(dāng)情況下)、視圖vu的塊的分割類型(如果已經(jīng)對(duì)所述視圖進(jìn)行細(xì)分)、參考視圖的索引、以及所使用的位移向量(如果已經(jīng)選擇幀間預(yù)測(cè)模式)。

參照?qǐng)D6，與對(duì)標(biāo)識(shí)步驟d1a)的實(shí)施并行地，在步驟d1b)期間，在也構(gòu)成數(shù)據(jù)信號(hào)f的所述信號(hào)f2中標(biāo)識(shí)以下各項(xiàng)：

-被編碼的當(dāng)前積分圖像iij的微圖像的分辨率參數(shù)p分辨率(如果該參數(shù)被插入到信號(hào)f2中)，

-如在圖1的編碼子步驟c75之后根據(jù)前述光柵掃描順序被熵編碼的與當(dāng)前殘差積分圖像ii殘差j相關(guān)聯(lián)的數(shù)據(jù)中的所有數(shù)據(jù)，

-量化步驟qp2，

-圖像變換參數(shù)或參數(shù)p變換2、p變換3(如果那些參數(shù)在信號(hào)f中傳輸)，

-構(gòu)成在圖1中所表示的編碼方法的預(yù)測(cè)子步驟c71之后獲得的預(yù)測(cè)殘差積分圖像ii預(yù)測(cè)殘差j的每個(gè)預(yù)測(cè)子塊的標(biāo)識(shí)信息，這種信息例如包括這些預(yù)測(cè)子塊中的每個(gè)預(yù)測(cè)子塊的索引，

-與預(yù)測(cè)相關(guān)的其他信息，所述信息尤其包括預(yù)測(cè)類型(幀間或幀內(nèi))和所選擇的預(yù)測(cè)模式(在適用情況下)、殘差積分圖像ii殘差j的塊的分割類型(如果已經(jīng)對(duì)所述殘差積分圖像進(jìn)行細(xì)分)、參考積分圖像的索引、以及所使用的位移向量(如果選擇了幀間預(yù)測(cè)模式)。

標(biāo)識(shí)步驟d1a)和d1b)由如圖5中所表示的信號(hào)分析模塊mi_do實(shí)施，所述模塊由處理器單元ut_do的微處理器μp控制。

根據(jù)本發(fā)明，在步驟d1a)之后，在圖6中所表示的步驟d2期間，所述至少一個(gè)熵編碼視圖vu被解碼。

這種步驟d2由如圖5中所表示的視圖解碼軟件模塊mdv_do實(shí)施，所述模塊由處理器單元ut_do的微處理器μp控制。

這種視圖解碼模塊mdv_do常規(guī)地包括：

-例如類型為cabac(源于英文“contextadaptivebinaryarithmeticcoder(上下文自適應(yīng)二進(jìn)制算術(shù)編碼器)”)的熵解碼模塊mde1_do或本身已知的哈夫曼解碼器，

-去量化模塊mq1^-1_do，

-類型為dct^-1(源于英文“discretecosinetransform(離散余弦變換)”)、dst^-1(源于英文“discretesinetransform(離散正弦變換)”)、dwt^-1(源于英文“discretewavelettransform(離散小波變換)”)的逆變換模塊mt1^-1_do，

-逆預(yù)測(cè)模塊pred1^-1_do，

-視圖重構(gòu)計(jì)算模塊cal1^-1_do。

解碼步驟d2包括以預(yù)定順序(比如，具體地，“光柵掃描”順序)對(duì)與視圖vu相關(guān)聯(lián)的熵編碼數(shù)據(jù)進(jìn)行熵解碼的子步驟d21。在優(yōu)選實(shí)施例中，所實(shí)現(xiàn)的解碼是哈夫曼或算術(shù)型熵解碼。然后，子步驟d21包括：

-讀取預(yù)定符號(hào)集合中與視圖vu的每個(gè)量化塊相關(guān)聯(lián)的一個(gè)或多個(gè)符號(hào)，

-將如位等數(shù)字信息與已經(jīng)讀取的一個(gè)或多個(gè)符號(hào)相關(guān)聯(lián)。

在前述子步驟d21之后，獲得了與在圖1的熵編碼步驟c25期間被編碼的量化數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的多個(gè)數(shù)字信息項(xiàng)。

這種熵解碼子步驟d21由圖5中所表示的熵解碼模塊mde1_do實(shí)施。

在前述子步驟d21期間，還對(duì)用于在圖1的子步驟c21期間預(yù)測(cè)視圖vu的每個(gè)塊的每個(gè)最優(yōu)預(yù)測(cè)子塊的索引進(jìn)行解碼。在此操作之后，因此以這種方式對(duì)存儲(chǔ)在圖5的解碼器do的緩沖存儲(chǔ)器tamp_do中的每個(gè)相應(yīng)預(yù)測(cè)子塊進(jìn)行標(biāo)識(shí)。這種預(yù)測(cè)子塊例如是可能已經(jīng)被解碼的并且根據(jù)在對(duì)視圖vu進(jìn)行編碼時(shí)所選擇的預(yù)測(cè)模式來(lái)獲得的像素塊。

解碼步驟d2還包括子步驟d22，在所述子步驟期間，使用量化參數(shù)qp1的熵解碼值，根據(jù)標(biāo)準(zhǔn)去量化操作對(duì)在子步驟d21之后獲得的數(shù)字信息進(jìn)行去量化，所述標(biāo)準(zhǔn)去量化操作是在圖1的量化子步驟c24期間實(shí)施的量化的逆操作。然后，在子步驟d22之后獲得去量化系數(shù)的集合vdqu。這種子步驟d22借助于如圖5中所表示的量化模塊mq1^-1_do實(shí)現(xiàn)。

解碼步驟d2還包括子步驟d23，在所述子步驟期間，對(duì)類型為dct^-1、dst^-1或dwt^-1的量化系數(shù)集合vdqu進(jìn)行變換。這種變換是在圖1的子步驟c23中實(shí)現(xiàn)的變換的逆操作。在子步驟d23之后，獲得了構(gòu)成參考vdru指定的解碼殘差視圖vu的多個(gè)解碼殘差數(shù)據(jù)塊。這種操作由圖5中所表示的模塊mt1^-1_do實(shí)現(xiàn)。

解碼步驟d2還包括通過(guò)選擇由在前述子步驟d21之后獲得的最優(yōu)預(yù)測(cè)子塊組成的最優(yōu)預(yù)測(cè)視圖來(lái)預(yù)測(cè)待解碼的所述視圖vu的子步驟d24。

這種子步驟d24由圖5中所表示的預(yù)測(cè)模塊pred1^-1_do實(shí)施。

解碼步驟d2還包括計(jì)算子步驟d25，在所述子步驟期間，通過(guò)向在子步驟d23之后獲得的解碼殘差視圖vdru的解碼殘差塊中的每個(gè)解碼殘差塊添加在前述子步驟d21中標(biāo)識(shí)的對(duì)應(yīng)的相應(yīng)預(yù)測(cè)子塊中的每個(gè)預(yù)測(cè)子塊來(lái)構(gòu)建解碼視圖vdu。

這種子步驟d25由圖5中所表示的計(jì)算模塊cal1^-1_do實(shí)施。

根據(jù)本發(fā)明，在圖6中所表示的步驟d3期間，從所述至少一個(gè)解碼視圖vdu中重組當(dāng)前積分圖像iij。這種步驟包括：考慮到在步驟d21中進(jìn)行熵解碼的分辨率參數(shù)p分辨率的值以及在當(dāng)前積分圖像iij中的所述至少一個(gè)視圖的位置，應(yīng)用對(duì)在圖1的編碼步驟c1中實(shí)現(xiàn)的積分圖像的所述分解的逆分解。在步驟d3之后，獲得了在圖6中以iid重組j表示的解碼重組積分圖像。

步驟d3由如圖5中所表示的視圖重組軟件模塊mdcv^-1_do實(shí)施，所述模塊由處理單元ut_do的微處理器μp控制。

在步驟d3期間：

-或者如果圖2的編碼器co在信號(hào)f1中傳輸視圖的數(shù)量和它們的位置，則在數(shù)據(jù)信號(hào)f1中對(duì)視圖的數(shù)量和它們的位置進(jìn)行熵解碼，

-或者視圖的數(shù)量和它們的位置從圖5的解碼器do中已知。

如果視圖的數(shù)量和它們的位置從解碼器do中已知，則：

-根據(jù)第一實(shí)施例，在編碼期間，這些參數(shù)被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)的參數(shù)；例如，通過(guò)例如在圖1的編碼步驟c2和編碼步驟c7中應(yīng)用的將本領(lǐng)域的技術(shù)人員熟知的失真比特率標(biāo)準(zhǔn)最小化來(lái)選擇視圖的數(shù)量和位置，

-根據(jù)第二實(shí)施例，這些參數(shù)被選擇為使與在圖1的步驟c6之后獲得的殘差積分圖像ii殘差j相關(guān)聯(lián)的數(shù)據(jù)的量最小化的參數(shù)。

如圖4a和圖4b的示例中所表示的，待解碼的積分圖像iij然后被重組成一個(gè)或多個(gè)視圖。

根據(jù)本發(fā)明，在步驟d1b)之后，在圖6中所表示的步驟d4期間，對(duì)在圖1中所表示的步驟c4期間被編碼的當(dāng)前殘差積分圖像ii殘差j進(jìn)行二維解碼。所實(shí)現(xiàn)的2d解碼的類型符合在圖1的步驟c7中使用的2d編碼的類型。

這種步驟d4由如圖5中所表示的圖像解碼軟件模塊mddi實(shí)施，所述模塊由處理器單元ut_do的微處理器μp控制。

以圖2中所表示的模塊mdci相應(yīng)的方式，解碼模塊mddi可以包括例如：

-例如類型為cabac(源于英文“contextadaptivebinaryarithmeticcoder(上下文自適應(yīng)二進(jìn)制算術(shù)編碼器)”)的熵解碼模塊mde2_do或本身已知的哈夫曼解碼器，

-去量化模塊mq2^-1_do，

-類型為dct(源于英文“discretecosinetransform(離散余弦變換)”)、dst(源于英文“discretesinetransform(離散正弦變換)”)、dwt(源于英文“discretewavelettransform(離散小波變換)”)的逆變換模塊mt2^-1_do，

-逆預(yù)測(cè)模塊pred2^-1_do，

-積分圖像重構(gòu)計(jì)算模塊cal2^-1_do。

解碼步驟d4包括對(duì)與如在圖1的子步驟c75之后獲得的當(dāng)前殘差積分圖像ii殘差j相關(guān)聯(lián)的熵編碼數(shù)據(jù)進(jìn)行熵解碼的子步驟d41。這種子步驟d41根據(jù)預(yù)定順序(比如，具體地，“光柵掃描”順序)實(shí)現(xiàn)。在優(yōu)選實(shí)施例中，所實(shí)現(xiàn)的解碼是哈夫曼或算術(shù)型熵解碼。然后，子步驟d41包括：

-讀取預(yù)定符號(hào)集合中與當(dāng)前殘差積分圖像ii殘差j的每個(gè)量化塊相關(guān)聯(lián)的一個(gè)或多個(gè)符號(hào)，

-將如位等數(shù)字信息與已經(jīng)讀取的一個(gè)或多個(gè)符號(hào)相關(guān)聯(lián)。

在前述子步驟d41之后，獲得了與在圖1的熵編碼步驟c75期間被編碼的量化數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的多個(gè)數(shù)字信息項(xiàng)。

這種熵解碼子步驟d41由圖5中所表示的熵解碼模塊mde2_do實(shí)施。

在前述子步驟d41期間，還對(duì)用于在圖1的子步驟c71期間預(yù)測(cè)當(dāng)前殘差積分圖像ii殘差j的每個(gè)塊的每個(gè)最優(yōu)預(yù)測(cè)子塊的索引進(jìn)行解碼。在此操作之后，因此以這種方式對(duì)存儲(chǔ)在圖5的解碼器do的緩沖存儲(chǔ)器tamp_do中的每個(gè)相應(yīng)預(yù)測(cè)子塊進(jìn)行標(biāo)識(shí)。這種的預(yù)測(cè)子塊例如是可能已經(jīng)被解碼的并且根據(jù)在對(duì)當(dāng)前殘差積分圖像ii殘差j進(jìn)行編碼時(shí)所選擇的預(yù)測(cè)模式來(lái)獲得的像素塊。

解碼步驟d4還包括子步驟d42，在所述子步驟期間，使用熵解碼量化參數(shù)qp2的值，根據(jù)標(biāo)準(zhǔn)去量化操作對(duì)在子步驟d41之后獲得的數(shù)字信息進(jìn)行去量化，所述標(biāo)準(zhǔn)去量化操作是在圖1的量化子步驟c74期間實(shí)施的量化的逆操作。然后，在子步驟d42之后獲得去量化系數(shù)的集合iid量化殘差j。這種子步驟d42借助于如圖5中所表示的量化模塊mq2^-1_do實(shí)施。

解碼步驟d4還包括子步驟d43，在所述子步驟期間，實(shí)現(xiàn)了對(duì)類型為dct^-1、dst^-1或dwt^-1的量化系數(shù)的集合iid量化殘差j的變換。這種變換是在圖1的子步驟c73中實(shí)現(xiàn)的變換的逆操作。在子步驟d43之后，獲得了構(gòu)成參考iid參考?xì)埐頹指定的解碼殘差積分圖像的多個(gè)解碼殘差數(shù)據(jù)塊。這種操作由圖5中所表示的模塊mt2^-1_do實(shí)現(xiàn)。

解碼步驟d4還包括通過(guò)選擇由在前述子步驟d41之后獲得的最優(yōu)預(yù)測(cè)子塊組成的最優(yōu)預(yù)測(cè)殘差積分圖像來(lái)預(yù)測(cè)待解碼的所述殘差積分圖像ii殘差j的子步驟d44。

這種子步驟d44由圖5中所表示的預(yù)測(cè)模塊pred2^-1_do實(shí)施。

解碼步驟d4還包括計(jì)算子步驟d45，在所述子步驟期間，通過(guò)向在子步驟d43之后獲得的解碼殘差積分圖像iid參考?xì)埐頹的解碼殘差塊中的每個(gè)解碼殘差塊添加在前述子步驟d41中標(biāo)識(shí)的對(duì)應(yīng)的相應(yīng)預(yù)測(cè)子塊中的每個(gè)預(yù)測(cè)子塊來(lái)構(gòu)建解碼殘差積分圖像iid殘差j。

這種子步驟d45由圖5中所表示的計(jì)算模塊cal2^-1_do實(shí)施。

根據(jù)本發(fā)明，在圖6中所表示的步驟d5期間，計(jì)算了在前述步驟d3之后獲得的解碼重組積分圖像iid重組j與在子步驟d45之后獲得的解碼殘差積分圖像iid殘差j之和。

然后，在步驟d5之后獲得當(dāng)前解碼積分圖像iidj。

這種步驟d5由圖5中所表示的計(jì)算軟件模塊cal3^-1_do實(shí)施。

在以上剛剛已經(jīng)描述的實(shí)施例的變體中，如在圖6中所示出的，還執(zhí)行以下各項(xiàng)：

-緊隨對(duì)所述至少一個(gè)視圖進(jìn)行解碼的步驟d2的對(duì)所述重構(gòu)視圖vdu進(jìn)行變換的步驟di1和/或di2，所述變換是在編碼期間實(shí)現(xiàn)的對(duì)應(yīng)變換步驟ci1和/或ci2的逆變換，和/或

-緊隨重組當(dāng)前解碼積分圖像的步驟d3的對(duì)當(dāng)前解碼積分圖像iid重組j進(jìn)行變換的步驟di3，所述變換是在編碼期間實(shí)現(xiàn)的變換步驟ci3的逆變換。

在優(yōu)選變體中，因?yàn)樗鲎儞Q步驟di2使得有可能實(shí)現(xiàn)對(duì)當(dāng)前解碼積分圖像的最有效重組，所以僅使用變換參數(shù)p變換2來(lái)應(yīng)用所述變換步驟di2。

所述變換步驟是可選的，它們?cè)趫D6中以虛線表示。

變換步驟di1、di2和di3由如在圖5中以虛線表示的對(duì)應(yīng)變換軟件模塊tr1_do、tr2_do和tr3_do實(shí)施。

變換步驟di1、di2和di3中的每個(gè)變換步驟使用相應(yīng)變換參數(shù)p變換1、p變換2、p變換3。

在這些步驟di1、di2、di3中的每個(gè)步驟期間：

-或者如果圖2的編碼器co在信號(hào)f1和f2中傳輸一個(gè)或多個(gè)參數(shù)p變換1、p變換2、p變換3，則在步驟d21期間或在步驟d41期間對(duì)所述一個(gè)或多個(gè)參數(shù)進(jìn)行熵解碼，

-或者所述一個(gè)或多個(gè)參數(shù)p變換1、p變換2、p變換3對(duì)圖5的解碼器do是已知的。

當(dāng)所述一個(gè)或多個(gè)參數(shù)p變換1、p變換2、p變換3對(duì)解碼器do是已知時(shí)，

-根據(jù)第一實(shí)施例，在編碼期間，這些參數(shù)被選擇為優(yōu)化預(yù)定編碼性能標(biāo)準(zhǔn)的參數(shù)。例如，通過(guò)例如在圖1的編碼步驟c2和編碼步驟c7中應(yīng)用的將本領(lǐng)域的技術(shù)人員熟知的失真比特率標(biāo)準(zhǔn)最小化來(lái)選擇所述一個(gè)或多個(gè)參數(shù)p變換1、p變換2、p變換3，

-根據(jù)第二實(shí)施例，所述一個(gè)或多個(gè)參數(shù)p變換1、p變換2、p變換3被選擇為使與在圖1的步驟c6之后獲得的殘差積分圖像ii殘差j相關(guān)聯(lián)的數(shù)據(jù)的量最小化的參數(shù)。

不言而喻，已經(jīng)僅以非限制性和說(shuō)明性示例的方式描述了以上已經(jīng)描述的實(shí)施例，并且在不背離本發(fā)明的范圍的情況下，本領(lǐng)域的技術(shù)人員可以容易地進(jìn)行許多修改。