專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置和圖像處理方法，更具體地講，涉及一種被構(gòu)造成能夠產(chǎn)生高質(zhì)量視點合成圖像的圖像處理裝置和圖像處理方法。
背景技術(shù)：
已有產(chǎn)生任意視點的圖像的視點合成(view synthesis)技術(shù)。該視點合成技術(shù)是一種從深度圖像(深度信息)和N個視點的2D圖像產(chǎn)生M (>N)個視點的2D圖像的技術(shù)。將參照圖I描述視點合成技術(shù)的概要。如圖I所示，利用視點合成技術(shù)，輸入由2D圖像和深度圖像構(gòu)成的輸入圖像I。然后，利用輸入圖像I進(jìn)行視點合成，產(chǎn)生視點合成圖像2，所述視點合成圖像2為比輸入圖像 I的相機位置更靠內(nèi)和靠外的視點的2D圖像。在圖I中的示例中，從兩個視點的輸入圖像I產(chǎn)生六個視點的視點合成圖像2。兩個視點的輸入圖像I和六個視點的視點合成圖像2產(chǎn)生總共八個視點的圖像。在實際應(yīng)用中，視點合成技術(shù)與壓縮技術(shù)結(jié)合使用。將視點合成技術(shù)與壓縮技術(shù)結(jié)合的方式的示例性構(gòu)造示出在圖2中。在圖2中的系統(tǒng)中，N個視點的2D圖像11和N個視點的深度圖像12被輸入到多視點視頻編碼裝置13中。多視點視頻編碼裝置13以高級視頻編碼(AVC)格式或多視點視頻編碼(MVC)格式對N個視點的2D圖像11和N個視點的深度圖像12進(jìn)行編碼，并將它們提供給多視點視頻解碼裝置14。多視點視頻解碼裝置14取得從多視點視頻編碼裝置13提供的編碼的N個視點的2D圖像11和N個視點的深度圖像12，以與AVC格式或MVC格式對應(yīng)的格式對它們進(jìn)行解碼，并將它們提供給視點合成裝置15。視點合成裝置15使用作為多視點視頻解碼裝置14解碼的結(jié)果而獲得的N個視點的2D圖像11和深度圖像12，以產(chǎn)生(M-N)個視點的視點合成圖像。視點合成裝置15輸出由N個視點的2D圖像11和(M-N)個視點的視點合成圖像構(gòu)成的M個視點的2D圖像，作為M個視點的重建2D圖像16。同時，例如，在專利文獻(xiàn)I中描述了對多視點的圖像數(shù)據(jù)進(jìn)行編碼和解碼的方法。引用列表專利文獻(xiàn)專利文獻(xiàn)I :第2008-182669號日本未審查專利申請公報

發(fā)明內(nèi)容
技術(shù)問題利用圖2中的系統(tǒng)，由于從少數(shù)視點的圖像產(chǎn)生多數(shù)視點的圖像，所以在視點合成圖像中出現(xiàn)大量的丟失信息。具體地講，在產(chǎn)生比輸入圖像的相機位置更靠外的視點的圖像的情況下，關(guān)于遮擋區(qū)域的信息完全丟失。在現(xiàn)有技術(shù)中，使用周圍的畫面內(nèi)信息(in-picture information)來插值出這種遮擋區(qū)域。然而,畫面內(nèi)插值能力存在限制,并且視點合成圖像的質(zhì)量不夠高。根據(jù)這種情況設(shè)計了本發(fā)明，并且本發(fā)明被構(gòu)造成能夠產(chǎn)生高質(zhì)量視點合成圖像。問題的解決方案根據(jù)本發(fā)明的第一方面的圖像處理裝置是這樣一種圖像處理裝置，該圖像處理裝置設(shè)置有接收裝置，接收殘差信息，所述殘差信息為使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置的2D圖像之間的差；編碼裝置，對基準(zhǔn)2D圖像進(jìn)行編碼以產(chǎn)生編碼流；和發(fā)送裝置，發(fā)送接收裝置接收的殘差信息、所述深 度信息以及編碼裝置產(chǎn)生的編碼流。根據(jù)本發(fā)明第一方面的圖像處理方法對應(yīng)于根據(jù)本發(fā)明第一方面的圖像處理裝置。在本發(fā)明的第一方面中，接收殘差信息，所述殘差信息為使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置處的2D圖像之間的誤差。基準(zhǔn)2D圖像被編碼以廣生編碼流。殘差彳目息、深度彳目息和編碼流被發(fā)送。根據(jù)本發(fā)明第二方面的圖像處理裝置是這樣一種圖像處理裝置，該圖像處理裝置設(shè)置有接收裝置，接收殘差信息和深度信息，所述殘差信息為使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置的2D圖像之間的誤差；解碼裝置，對作為對基準(zhǔn)2D圖像進(jìn)行編碼的結(jié)果而獲得的編碼流進(jìn)行解碼；產(chǎn)生裝置，使用解碼裝置解碼的基準(zhǔn)2D圖像和接收裝置接收的深度信息來產(chǎn)生視點合成圖像；和殘差信息補償裝置，將接收裝置接收的殘差信息添加到產(chǎn)生裝置產(chǎn)生的視點合成圖像中。根據(jù)本發(fā)明第二方面的圖像處理方法對應(yīng)于根據(jù)本發(fā)明第二方面的圖像處理裝置。在本發(fā)明的第二方面中，接收殘差信息和深度信息，所述殘差信息為使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置的2D圖像之間的誤差。作為對基準(zhǔn)2D圖像進(jìn)行編碼而獲得的編碼流被解碼，并且使用解碼的基準(zhǔn)2D圖像和接收的深度信息產(chǎn)生視點合成圖像。接收的殘差信息被添加到產(chǎn)生的視點合成圖像中。本發(fā)明的有益效果根據(jù)本發(fā)明的第一方面，能夠發(fā)送用于產(chǎn)生高質(zhì)量視點合成圖像的信息。根據(jù)本發(fā)明的第二方面，能夠產(chǎn)生高質(zhì)量視點合成圖像。


圖I是示出視點合成技術(shù)的概要的示圖。圖2是示出現(xiàn)有技術(shù)的系統(tǒng)的示例性構(gòu)造的框圖。圖3是示出本發(fā)明的概要的示圖。圖4是示出本發(fā)明的概要的示圖。圖5是示出應(yīng)用了本發(fā)明的系統(tǒng)的實施例的示例性構(gòu)造的框圖。
圖6是示出圖5中的系統(tǒng)的處理的流程圖。
具體實施例方式[本發(fā)明的概要]圖3和圖4是示出了本發(fā)明的概要的示圖。這里，圖3和圖4是示出從兩個視點的圖像產(chǎn)生八個視點的圖像的情況的示圖。如圖3所示，在本發(fā)明中，不僅對輸入圖像I編碼，還對殘差信息編碼，該殘差信息是關(guān)于視點合成圖像2與位于視點合成圖像2的視點合成位置的相機獲取的2D圖像31之間的誤差的信息。該殘差信息是包括從合成圖像丟失的丟失信息的有用信息。然后，當(dāng)進(jìn)行視點合成時，使用輸入圖像I來產(chǎn)生視點合成圖像2，并且通過殘差信息補償視點合成圖像2以產(chǎn)生最終視點合成圖像41，如圖4中所示。 按照這種方式，在本發(fā)明中，將殘差信息添加到視點合成圖像2中，從而能夠補償丟失信息并產(chǎn)生高質(zhì)量的視點合成圖像41。[系統(tǒng)的實施例的示例性構(gòu)造]圖5是示出應(yīng)用了本發(fā)明的系統(tǒng)的實施例的示例性構(gòu)造的框圖。要注意，在圖5中，對與圖2中的兀件相同的兀件使用相同的符號，由于對這些相同元件的描述將是重復(fù)的，所以根據(jù)需要省略或減少對這些相同元件的描述。在圖5中的系統(tǒng)中，輸入N個視點的2D圖像11 (基準(zhǔn)2D圖像)、N個視點的深度圖像12和位于視點合成位置的(M-N)個視點的2D圖像101。(M-N)個視點的2D圖像101是由位于視點合成位置的相機成像的并且被用以獲取殘差信息。為了使用殘差信息獲取裝置103獲取殘差信息，與圖I中的視點合成裝置15類似，視點合成裝置102使用N個視點的2D圖像11和N個視點的深度圖像12來產(chǎn)生(M-N)個視點的視點合成圖像，并且將產(chǎn)生的(M-N)個視點的視點合成圖像提供給殘差信息獲取裝置103。殘差信息獲取裝置103計算從視點合成裝置102提供的(M-N)個視點的視點合成圖像與位于視點合成位置的(M-N)個視點的2D圖像101之間的誤差，并將計算的結(jié)果作為殘差信息。殘差信息獲取裝置103將殘差信息提供給多視點視頻編碼裝置104。多視點視頻編碼裝置104以AVC格式或MVC格式對N個視點的2D圖像11、N個視點的深度圖像12和從殘差信息獲取裝置103提供的殘差信息進(jìn)行編碼。然后，多視點視頻編碼裝置104將作為編碼結(jié)果而獲得的編碼流提供給多視點視頻解碼裝置105。多視點視頻解碼裝置105以與AVC格式或MVC格式對應(yīng)的格式對從多視點視頻編碼裝置104提供的編碼流進(jìn)行解碼，并獲得N個視點的2D圖像11、N個視點的深度圖像12和殘差信息。多視點視頻解碼裝置105將N個視點的2D圖像11和N個視點的深度圖像12提供給視點合成裝置15，并將殘差信息提供給殘差信息補償裝置106。殘差信息補償裝置106將從多視點視頻解碼裝置105提供的殘差信息添加到視點合成裝置15產(chǎn)生的(M-N)個視點的視點合成圖像中，并補償(M-N)個視點的視點合成圖像中的丟失信息。殘差信息補償裝置106輸出經(jīng)補償?shù)?M-N)個視點的視點合成圖像和從視點合成裝置15提供的N個視點的2D圖像11，作為M個視點的重建2D圖像107。例如，M個視點的重建2D圖像107被用于顯示立體圖像，用戶不使用眼鏡就能夠觀看立體圖像。
[系統(tǒng)的處理的描述]圖6是示出圖5中的系統(tǒng)的處理的流程圖。在圖6中的步驟SI I，視點合成裝置102使用N個視點的2D圖像11和N個視點的深度圖像12來進(jìn)行(M-N)個視點的視點合成，并產(chǎn)生(M-N)個視點的視點合成圖像。然后，視點合成裝置102將(M-N)個視點的視點合成圖像提供給殘差信息獲取裝置103。在步驟S12，殘差信息獲取裝置103計算從視點合成裝置102提供的(M-N)個視點的視點合成圖像與位于視點合成位置的(M-N)個視點的2D圖像101之間的殘差信息。殘差信息獲取裝置103將殘差信息提供給多視點視頻編碼裝置104。在步驟S13，多視點視頻編碼裝置104以AVC格式或MVC格式對N個視點的2D圖像11、N個視點的深度圖像12和從殘差信息獲取裝置103提供的殘差信息進(jìn)行編碼。然后，多視點視頻編碼裝置104將作為結(jié)果而獲得的編碼流提供給多視點視頻解碼裝置105。
在步驟S14，多視點視頻解碼裝置105以與AVC格式或MVC格式對應(yīng)的格式對編碼流進(jìn)行解碼，編碼流為從多視點視頻編碼裝置104提供的編碼的N個視點的2D圖像11、N個視點的深度圖像12和殘差信息。隨后，多視點視頻解碼裝置105將作為結(jié)果而獲得的N個視點的2D圖像11、N個視點的深度圖像12和殘差信息提供給視點合成裝置15，并將殘差信息提供給殘差信息補償裝置106。在步驟S15，視點合成裝置15使用從多視點視頻解碼裝置105提供的N個視點的2D圖像11和N個視點的深度圖像12以進(jìn)行(M-N)個視點的視點合成并產(chǎn)生(M-N)個視點的視點合成圖像。然后，視點合成裝置102將(M-N)個視點的視點合成圖像和N個視點的2D圖像11提供給殘差信息獲取裝置103。在步驟S16，殘差信息補償裝置106將從多視點視頻解碼裝置105提供的殘差信息添加到視點合成裝置15產(chǎn)生的(M-N)個視點的視點合成圖像，并補償(M-N)個視點的視點合成圖像中的丟失信息。在步驟S16，殘差信息補償裝置106輸出經(jīng)補償?shù)?M-N)個視點的視點合成圖像和從多視點視頻解碼裝置105提供的N個視點的2D圖像11，作為M個視點的重建2D圖像107。然后，該處理結(jié)束。盡管在前面的描述中N個視點的2D圖像11、N個視點的深度圖像12和殘差信息均被編碼，但是除了 N個視點的2D圖像11之外的信息也可以不被編碼。另外，可以進(jìn)行配置以使得多視點視頻編碼裝置104還包括指示對于每個視點合成圖像是否存在殘差信息的殘差存在信息，并把該信息與N個視點的2D圖像11、N個視點的深度圖像12和殘差信息一起發(fā)送到多視點視頻解碼裝置105。此外，還可以進(jìn)行配置以使得與N個視點的2D圖像11和N個視點的深度圖像12一起被發(fā)送到多視點視頻解碼裝置105的殘差信息僅為相對于位于比N個視點的2D圖像11的視點更靠外的視點合成位置處的視點合成圖像的殘差信息(在圖3中的示例中，左側(cè)的視點的輸入圖像I的左側(cè)的兩個視點的視點合成圖像2，右側(cè)的視點的輸入圖像I的右側(cè)的兩個視點的視點合成圖像2)。類似地，被發(fā)送的殘差信息可僅為相對于位于比N個視點的2D圖像11的視點更靠內(nèi)的視點合成位置處的視點合成圖像的殘差信息(在圖3中的示例中，兩個視點的輸入圖像I的視點之間的兩個視點的視點合成圖像2)。在說明書中需要注意的是，術(shù)語“系統(tǒng)”表示由多個裝置構(gòu)成的裝置總體。
另外，本發(fā)明的實施例不限于前面的實施例，并且在不脫離本發(fā)明的主題的范圍內(nèi)可以有各種變型。附圖標(biāo)記說明15視點合成裝置
104多視點視頻編碼裝置105多視點視頻解碼裝置106殘差信息補償裝置
權(quán)利要求
1.一種圖像處理裝置，包括 接收裝置，接收殘差信息，所述殘差信息是使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置的2D圖像之間的誤差； 編碼裝置，對基準(zhǔn)2D圖像進(jìn)行編碼以產(chǎn)生編碼流；和 發(fā)送裝置，發(fā)送接收裝置接收的殘差信息、所述深度信息以及編碼裝置產(chǎn)生的編碼流。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 編碼裝置通過對接收裝置接收的殘差信息進(jìn)行編碼來產(chǎn)生殘差流；并且 發(fā)送裝置發(fā)送編碼裝置產(chǎn)生的殘差流、所述深度信息和所述編碼流。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 編碼裝置通過對所述深度信息進(jìn)行編碼來產(chǎn)生深度流，并且 發(fā)送裝置發(fā)送所述殘差信息、編碼裝置產(chǎn)生的深度流和所述編碼流。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括 計算裝置，通過計算所述視點合成圖像與位于所述視點合成圖像的視點合成位置的2D圖像之間的誤差來計算所述殘差信息。
5.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 基準(zhǔn)2D圖像的視點數(shù)量為N，并且 視點合成圖像的視點數(shù)量為從M減去N而得到的值，其中，M大于N。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中 基準(zhǔn)2D圖像的視點數(shù)量為2，并且 視點合成圖像的視點數(shù)量為6。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 接收裝置還接收殘差存在信息，該殘差存在信息指示對于所述視點合成圖像是否存在殘差信息，并且 發(fā)送裝置還發(fā)送接收裝置接收的殘差存在信息。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 殘差信息為外側(cè)視點合成圖像與位于該外側(cè)視點合成圖像的視點合成位置處的2D圖像之間的誤差，所述外側(cè)視點合成圖像是比基準(zhǔn)2D圖像的視點更靠外的視點合成位置處的視點合成圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中 接收裝置接收外側(cè)殘差存在信息，該外側(cè)殘差存在信息指示在所述外側(cè)視點合成圖像與位于所述外側(cè)視點合成圖像的視點合成位置處的2D圖像之間是否存在誤差，并且發(fā)送裝置還發(fā)送接收裝置接收的外側(cè)殘差存在信息。
10.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 殘差信息為內(nèi)側(cè)視點合成圖像與位于該內(nèi)側(cè)視點合成圖像的視點合成位置處的2D圖像之間的誤差，所述內(nèi)側(cè)視點合成圖像是比基準(zhǔn)2D圖像的視點更靠內(nèi)的視點合成位置處的視點合成圖像。
11.一種圖像處理方法,包括 接收步驟，其中圖像處理裝置接收殘差信息，所述殘差信息為使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置處的2D圖像之間的誤差; 編碼步驟，其中圖像處理裝置對基準(zhǔn)2D圖像進(jìn)行編碼以產(chǎn)生編碼流；和發(fā)送步驟，其中圖像處理裝置發(fā)送在接收步驟接收的殘差信息、所述深度信息和在編碼步驟產(chǎn)生的編碼流。
12.—種圖像處理裝置，包括 接收裝置，接收殘差信息和深度信息，所述殘差信息為使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置處的2D圖像之間的誤差；解碼裝置，對作為對基準(zhǔn)2D圖像進(jìn)行編碼的結(jié)果而獲得的編碼流進(jìn)行解碼； 產(chǎn)生裝置，使用解碼裝置解碼的基準(zhǔn)2D圖像和接收裝置接收的深度信息來產(chǎn)生視點合成圖像；和 殘差信息補償裝置，將接收裝置接收的殘差信息添加到產(chǎn)生裝置產(chǎn)生的視點合成圖像中。
13.一種圖像處理方法，包括 接收步驟，其中圖像處理裝置接收殘差信息和深度信息，所述殘差信息為使用基準(zhǔn)2D圖像和深度信息產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置處的2D圖像之間的誤差； 解碼步驟，其中圖像處理裝置對作為對基準(zhǔn)2D圖像進(jìn)行編碼的結(jié)果而獲得的編碼流進(jìn)行解碼； 產(chǎn)生步驟，其中圖像處理裝置使用在解碼步驟中解碼的基準(zhǔn)2D圖像和在接收步驟中接收的深度信息來產(chǎn)生視點合成圖像；和 殘差信息補償步驟，其中圖像處理裝置將在接收步驟中接收的殘差信息添加到在產(chǎn)生步驟中產(chǎn)生的視點合成圖像中。
全文摘要
公開了一種能夠產(chǎn)生高質(zhì)量的視點合成圖像的圖像處理裝置。還公開了一種圖像處理方法。多視點視頻解碼裝置(105)接收作為對殘差信息、N個視點的2D圖像(11)和N個視點的深度圖像(12)編碼的結(jié)果而獲得的編碼流并對編碼流進(jìn)行解碼，殘差信息為使用N個視點的2D圖像(11)和N個視點的深度圖像(12)產(chǎn)生的視點合成圖像與位于所述視點合成圖像的視點合成位置處的(M-N)個視點的2D圖像(101)之間的差。視點合成裝置(15)使用多視點視頻解碼裝置(105)解碼的N個視點的2D圖像(11)和深度圖像(12)來產(chǎn)生視點合成圖像。殘差信息補償裝置(106)將殘差信息添加到產(chǎn)生的視點合成圖像。本公開例如可應(yīng)用于執(zhí)行視點合成的系統(tǒng)。
文檔編號H04N13/00GK102934450SQ201180022628
公開日2013年2月13日 申請日期2011年4月25日 優(yōu)先權(quán)日2010年5月13日
發(fā)明者高橋良知, 米滿潤 申請人:索尼公司