專利名稱：作為到視頻序列的附加通道的深度代碼化的制作方法
技術(shù)領(lǐng)域：
本申請涉及諸如3D視頻圖像的視頻圖像中的深度代碼化。
背景技術(shù)：
3D再次變?yōu)槲说募夹g(shù)，并且這次，其獲得來自內(nèi)容提供商的支持。還具有3D能力的大多數(shù)新動畫電影和很多影片將被發(fā)布并且可以廣泛遍及全國在3D電影院中觀看。而且，存在對體育事件的實時廣播的多種測試，例如NBA和NFL比賽。為了使3D在平 面屏幕中被察覺到，使用了立體影像，其模仿人類視覺系統(tǒng)并且分別顯示由到左眼和右眼的立體攝像機(jī)捕捉的左眼視圖和右眼視圖。因此，其要求2D序列所要求的帶寬的兩倍。3DTV (3DTV)或3D視頻(3DV)是使用立體影像將3D感知遞送至觀看者的應(yīng)用。然而，因為僅在3DTV中遞送用于每只眼睛的兩個視圖，所以用戶不能改變由內(nèi)容提供商固定的視點。自由視點TV(FTV)是另一種3D應(yīng)用，其使用戶能夠?qū)Ш酵ㄟ^不同視點并且選擇他們想要的觀看那一個。為了使多個視點可用，多視圖視頻序列被傳送至用戶。實際上，如果鄰近視圖之間的距離滿足用于立體影像的條件，則3DTV所要求的立體序列可以被認(rèn)為是多視圖視頻序列的子集。因為數(shù)據(jù)的量根據(jù)視圖的數(shù)目線性地增加，所以多視圖視頻圖像需要被有效地壓縮以用于廣泛使用。作為減少多視圖視頻序列的比特率的努力，JVT —直致力于多視圖視頻代碼化(MVC)并且將其落定為對H. 264/AVC的修改。在MVC中，使用用于較高代碼化效率的時間和交叉視圖相關(guān)性，對多視圖視頻序列進(jìn)行編碼，同時增加在時間上以及跨過視圖兩者的幀之間的依賴性。因此，當(dāng)用戶想要觀看特定視圖時，應(yīng)當(dāng)根據(jù)依賴性來解碼不必要的視圖。而且，當(dāng)存在由相機(jī)視差導(dǎo)致的幾何失真并且鄰近視圖之間的相關(guān)性很小時，MVC的壓縮效率是不令人滿意的。
發(fā)明內(nèi)容
根據(jù)本發(fā)明的原理，本發(fā)明的裝置可以包括編碼器，該編碼器被配置成通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合編碼來對視頻數(shù)據(jù)編碼。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包括以下中的一個RGBD、YUVD、或YCbCrD。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包含在以下至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。該裝置可以進(jìn)一步包括深度格式單元，該深度格式單元被配置成識別視頻數(shù)據(jù)的深度格式。當(dāng)深度格式被設(shè)置為0時，編碼器可以選擇將視頻數(shù)據(jù)編碼為不包括深度數(shù)據(jù)的多個二維圖像，或者當(dāng)深度格式被設(shè)置為預(yù)定級別時，編碼器可以選擇將視頻數(shù)據(jù)編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。編碼器可以進(jìn)一步包括代碼化成本計算器，該代碼化成本計算器確定所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合的聯(lián)合編碼和所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合的單獨(dú)編碼的代碼化成本，并且基于所述代碼化成本來在聯(lián)合編碼和單獨(dú)編碼之間確定編碼模式。當(dāng)編碼成本小于對視圖數(shù)據(jù)和深度數(shù)據(jù)單獨(dú)編碼的編碼成本時，編碼器可以將視頻數(shù)據(jù)編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的聯(lián)合編碼。視頻數(shù)據(jù)可以是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。根據(jù)本發(fā)明的原理，對視頻數(shù)據(jù)編碼的方法可以包括在編碼器處通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合編碼來對視頻數(shù)據(jù)編碼。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包括以下中的一個RGBD、YUVD、或YCbCrD。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。該方法可以進(jìn)一步包括識別視頻數(shù)據(jù)的深度格式。當(dāng)深度格式被設(shè)置為0時，視頻數(shù)據(jù)可以被編碼為不包括深度數(shù)據(jù)的多個二維圖像。當(dāng)深度格式被設(shè)置為預(yù)定級別時，視頻數(shù)據(jù)可以被編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。該方法可以進(jìn)一步包括確定對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合聯(lián)合編碼和對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合單獨(dú)編碼的代碼化成本，以及基于所述代碼化成本來在聯(lián)合編碼和單獨(dú)編碼之間確定編碼模式。當(dāng)編碼成本小于對視圖數(shù)據(jù)和深度數(shù)據(jù)單獨(dú)編碼的編碼成本時，視頻數(shù)據(jù)可以被編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的聯(lián)合編碼。視頻數(shù)據(jù) 可以是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。根據(jù)本發(fā)明的原理，承載用于編碼器對視頻數(shù)據(jù)編碼的指令的非暫時性計算機(jī)可讀介質(zhì)可以包括用于執(zhí)行以下步驟的指令通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合編碼來對視頻數(shù)據(jù)編碼。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包括以下中的一個RGBD、YUVD、或YCbCrD0視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。指令可以進(jìn)一步包括識別視頻數(shù)據(jù)的深度格式。當(dāng)深度格式被設(shè)置為0時，視頻數(shù)據(jù)可以被編碼為不包括深度數(shù)據(jù)的多個二維圖像。當(dāng)深度格式被設(shè)置為預(yù)定級別時，視頻數(shù)據(jù)可以被編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。指令可以進(jìn)一步包括確定對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合聯(lián)合編碼和對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合單獨(dú)編碼的代碼化成本，以及基于所述代碼化成本來在聯(lián)合編碼和單獨(dú)編碼之間確定編碼模式。當(dāng)編碼成本小于對視圖數(shù)據(jù)和深度數(shù)據(jù)單獨(dú)編碼的編碼成本時，視頻數(shù)據(jù)可以被編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的聯(lián)合編碼。視頻數(shù)據(jù)可以是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。根據(jù)本發(fā)明的原理，用于對視頻數(shù)據(jù)解碼的裝置包括解碼器，該解碼器被配置成通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼來對視頻數(shù)據(jù)解碼。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包括以下中的一個RGBD、YUVD、或YCbCrD。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包含在以下至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。該裝置可以進(jìn)一步包括深度格式單元，該深度格式單元被配置成識別視頻數(shù)據(jù)的深度格式。當(dāng)深度格式被設(shè)置為0時，解碼器可以選擇將視頻數(shù)據(jù)解碼為不包括深度數(shù)據(jù)的多個二維圖像。當(dāng)深度格式被設(shè)置為預(yù)定級別時，解碼器可以選擇將視頻數(shù)據(jù)解碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。當(dāng)所述組合集合被聯(lián)合編碼時，所述解碼器可以對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合選擇性地聯(lián)合解碼，或者當(dāng)所述組合集合被單獨(dú)編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼。視頻數(shù)據(jù)可以是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。根據(jù)本發(fā)明的原理，對視頻數(shù)據(jù)解碼的方法包括在解碼器處通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼來對視頻數(shù)據(jù)解碼。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包括以下中的一個RGBD、YUVD、或YCbCrD。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。該方法可以進(jìn)一步包括識別視圖數(shù)據(jù)的深度格式。當(dāng)深度格式被設(shè)置為0時，視圖數(shù)據(jù)可以被編碼為不包括深度數(shù)據(jù)的多個二維圖像。當(dāng)深度格式被設(shè)置為預(yù)定級別時，視頻數(shù)據(jù)可以被解碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。該方法可以進(jìn)一步包括當(dāng)所述組合集合被聯(lián)合編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合選擇性地聯(lián)合解碼，或者當(dāng)所述組合集合被單獨(dú)編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼。視頻數(shù)據(jù)可以是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。根據(jù)本發(fā)明的原理，可以承載用于解碼器對視頻數(shù)據(jù)解碼的非暫時性計算機(jī)可讀介質(zhì)包括用于執(zhí)行以下步驟的指令通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合編碼來對視頻數(shù)據(jù)解碼。視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合可以包括以下中的一個RGBD、YUVD、或 YCbCrD0視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。指令可以進(jìn)一步包括識別視頻數(shù)據(jù)的深度格式。當(dāng)深度格式被設(shè)置為0時，視頻數(shù)據(jù)可以被解碼為不包括深度數(shù)據(jù)的多個二維圖像。當(dāng)深度格式被設(shè)置為預(yù)定級別時，視頻數(shù)據(jù)可以被解碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。指令可以進(jìn)一步包括當(dāng)所述組合集合被聯(lián)合編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合選擇性地聯(lián)合解碼，或者當(dāng)所述組合集合被單獨(dú)編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼。視頻數(shù)據(jù)可以是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。本發(fā)明允許深度參數(shù)與視圖信息聯(lián)合的3D編碼。本發(fā)明允許與2D的兼容性并且可以基于在與視圖聯(lián)合或單獨(dú)地對深度編碼的RD成本來提供優(yōu)化編碼。而且，根據(jù)視頻格式的新定義，我們提供3D視頻信號的自適應(yīng)代碼化方法。在3D信號的自適應(yīng)代碼化中的YCbCrD的組合代碼化期間，我們從開始就將深度看做是視頻分量，在幀間預(yù)測中，除了運(yùn)動矢量之外，塊模式和參考索引在視圖和深度之間共享。在幀內(nèi)預(yù)測中，也可以共享幀內(nèi)預(yù)測模式。注意，可以通過與視圖一起考慮深度信息來進(jìn)一步優(yōu)化組合代碼化的代碼化結(jié)果。在視圖和深度的單獨(dú)代碼化中，深度獨(dú)立于視圖被代碼化。還可以具有對深度幀內(nèi)代碼化，而對視圖幀間代碼化。
圖I圖示了端到端3D/FTV系統(tǒng)。圖2圖示了用于深度估計的方法。圖3A-圖3D圖示了多種形式的采樣視頻圖像。圖4圖示了根據(jù)本發(fā)明的原理的編碼器和解碼器布置。圖5圖示了根據(jù)本發(fā)明的原理的在組合代碼化和單獨(dú)代碼化之間的每個宏塊中的RD最優(yōu)化(RDO)的流程圖。圖6圖示了根據(jù)本發(fā)明的原理的用于3D視頻的自適應(yīng)代碼化的流程圖。
圖7A-圖7D圖示了視圖和深度的PSNR的采樣圖像和圖表。圖8A和圖8B圖示了在時間0和時間I的Lovebird (恩愛夫妻)1、視圖2的深度。圖9A和圖9B示出了用于Lovebirdl和Pantomime (啞劇)的合成視圖的RD曲線。圖IOA和圖IOB圖示了來自圖3的Lovebirds的亮度和深度。圖IlA和圖IlB圖不了包括Lovebird2和Pantomime的其他米樣圖像。
具體實施例方式為了簡單和說明目的，本發(fā)明通過主要參考其示例性實施例來描述。在以下描述中，闡述大量具體細(xì)節(jié)，以提供對本發(fā)明的透徹理解。然而，對本領(lǐng)域普通技術(shù)人員將顯而易見的是，可以在沒有這些具體細(xì)節(jié)的限制的情況下實施本發(fā)明。在其他實例中，不詳細(xì)地描述眾所周知的方法和結(jié)構(gòu)，以避免不必要地模糊本發(fā)明。 圖I示出用于端到端3D/FTV系統(tǒng)的示例性示意圖。如圖I中所示，由多個相機(jī)2捕捉景色或?qū)ο驣的多個視圖。由多個相機(jī)2捕捉的視圖被校正或調(diào)整，并且在由傳送器3傳送之前被發(fā)送至處理器和存儲系統(tǒng)7。處理器可以包括編碼器，其將圖像數(shù)據(jù)編碼為指定格式。在編碼器處，多個視圖可用，其可以用于更有效地和正確地估計深度。如圖I中所示，用戶側(cè)通常包括接收器6，其接收從傳送器3傳送和編碼的圖像。所接收到的數(shù)據(jù)被提供至通常包括解碼器的處理器/緩沖器。解碼以及另外處理后的圖像數(shù)據(jù)被提供至顯示器5用于用戶觀看。MPEG開始搜索用于多視圖視頻序列代碼化的新標(biāo)準(zhǔn)。在MPEG活動中，利用深度信息來改進(jìn)整體代碼化效率。代替發(fā)送所有多視圖視頻序列，子采樣視圖，2或3關(guān)鍵視圖與對應(yīng)深度信息一起被發(fā)送，并且中間視圖使用關(guān)鍵視圖和深度被合成。假設(shè)在編碼器處進(jìn)行壓縮之前，深度被估計(如果不被捕捉)，并且在解碼器處的解壓縮之后，中間視圖被合成。注意，在本方案中，不是所有捕捉的視圖都被壓縮和傳送。為了定義合適的參考技術(shù)，在MPEG中已經(jīng)建立四個探索實驗(EE1-EE4)。EEl從鄰近視圖探索深度估計，并且EE2探索視圖合成技術(shù)，其使用從EEl估計的深度來合成中間視圖。EE3基于分層深度視頻(LDV)表示來搜索用于生成中間視圖的技術(shù)。EE4探索深度圖代碼化如何影響合成視圖的質(zhì)量。在圖2中，描述了用于深度估計的EEl和用于視圖合成的EE2。對于多視圖序列，例如，從視圖I至5，如圖2中的行21中所示，可以選擇任何兩個視圖來估計它們之間的深度。例如，視圖I和視圖5被用于估計深度2和深度4，如行23中所示。然后，視圖2、深度2、視圖4和深度4可以被編碼并且傳送至用戶，并且可以使用深度2和深度4將視圖2和視圖4之間的中間視圖與對應(yīng)相機(jī)參數(shù)合成。在圖2中，視圖3被合成，如行25中所示，并且與原始視圖3相比較。在0. Stankiewicz, K. Wegner 和 K. Klimaszewski, “Results of3DV/FTVExploration Experiments, described in w 10173，，，IS0/IECJTC1/SC29/WG1IMPEGDocument M16026, Lausanne, Switzerland, Feb. 2009 中，觀察到，合成視圖的質(zhì)量更多取決于編碼視圖的質(zhì)量而不是編碼深度的質(zhì)量。在S. Tao, Y. Chen, M. Hannuksela和H. Li，“Depth Map Coding Quality Analysis for View Synthesis, ，，IS0/IECJTC1/SC29/WGlIMPEG Document M16050, Lausanne, Switzerland, Feb. 2009 中，根據(jù)以不同比特率編碼的深度來合成視圖。它們提供比率和失真(R-D)曲線，其中，比率以Kbps為單位被示出以用于深度代碼化，并且失真以PSNR被示出以用于合成視圖。從Tao等人的文中可以看出，合成視圖的質(zhì)量在用于深度的比特率的大多數(shù)范圍內(nèi)不明顯地改變。在C. Cheng，Y.Huo 和 Y.Liu, “3DV EE44results on Dog sequence,，，ISO/IEC JTC1/SC29/WG IlMPEGDocument M16047, Lausanne, Switzerland, Feb. 2009 中，多視圖視頻代碼化(MVC)被用于對立體視圖和深度編碼，并且當(dāng)a 264/AVC被用于獨(dú)立地對每個視圖編碼時與代碼化結(jié)果相比較。MVC示出與由H. 264/AVC的同時聯(lián)播相比少5%的代碼化增益。對于深度壓縮，在B. Zhu. G. Jiang, M. Yu. P. An和 Z. Zhang,“Depth Map Compression for View Synthesis inFTV,，，ISO/IEC JTC1/SC29/WG11MPEG Document M16021, Lausanne, Switzerland, Feb.2009中，深度被分段并且不同區(qū)域被定義為邊緣(A)、運(yùn)動(B)、移動對象(C)和背景(D)的內(nèi)部。根據(jù)區(qū)域類型，應(yīng)用了不同的塊模式，其在深度壓縮中得到較少編碼復(fù)雜性和改進(jìn)的代碼化效率。在2D視頻捕捉期間，3D空間中的景色或?qū)ο蟊煌队暗较鄼C(jī)的圖像平面中，其中，像素強(qiáng)度表示對象的紋理。在深度圖中，像素強(qiáng)度表示對應(yīng)3D對象到/從圖像平面的距離。因此，視圖和深度都被捕捉(或被估計用于深度)用于相同景色或?qū)ο?，因此它們共?br>
對象的邊緣或周線。圖3a示出原始視圖0,圖3b-圖3d示出序列Lovebirds的對應(yīng)Cb、Cr和深度，Lovebirds 來自 ETRI/MPEG 韓國論壇“Call for Proposals on Multi-view VideoCoding,，，ISO/IEC JTCI/SC29/WG1IMPEG Document N7327, Poznan, Poland, Jul. 2005,通過引用將其合并于此。圖IlA和圖IlB示出了其他視圖，包括Lovebird 2視圖7和Pantomime視圖37。參考圖3b-圖3d,根據(jù)Cb/Cr與深度的比較，可以看出，Cb/Cr和深度都共享對象邊界。例如，因為顏色通道共享對象邊界的信息，所以基于用于視差(深度)估計的顏色來將圖像分段，G. Um, T. Kim, N. Hur 和 J. Kim, "Segment-based DisparityEstimation using Foreground Separation, 〃IS0/IEC JTC1/SC29/WG IIMPEG DocumentM15191, Antelya, Trukey, Jan. 2008。根據(jù)0. Stankiewicz等人、Tao等人、Cheng等人和Zhu等人,可以得出，深度的質(zhì)量不顯著改變合成視圖的質(zhì)量。然而，這些貢獻(xiàn)中的所有結(jié)果都使用用于深度估計和視圖合成的MPEG參考軟件來獲得，其通常不是最新水平技術(shù)。所估計的深度通常甚至對于相同光滑對象也是不同的，并且容易觀測到時間不一致性。因此，不能推斷，合成視圖的質(zhì)量不取決于深度的質(zhì)量。而且，考慮到視圖合成中的對象邊界周圍的I個像素錯誤可能導(dǎo)致不同合成結(jié)果，在MPEG活動中當(dāng)前假設(shè)的8比特深度質(zhì)量可能不足夠。然而，通過所有這些不確定性，深度應(yīng)當(dāng)被編碼并且與用于3D服務(wù)的視圖一起被傳送，并且需要定義有效和靈活的代碼化方案。注意，可以利用視圖和深度之間的相關(guān)性，就像在從單色到彩色的過渡期間利用亮度和色度之間的相關(guān)性一樣，我們提供新的靈活深度格式和代碼化方案，其是反向兼容的并且適用于新3D服務(wù)的不同目標(biāo)?？梢酝ㄟ^上述技術(shù)或另一種合適方法來執(zhí)行深度數(shù)據(jù)的確定。我們將深度看作對于常規(guī)2D視頻格式的附加分量，作出新3D視頻格式。因此，例如，將RGB或YCbCr格式擴(kuò)展到RGBD或YCbCrD以包括深度。在H. 264/AVC中，可以通過chroma_format_idc標(biāo)記來選擇用于單色或彩色的格式。類似地,我們可以使用depth_format」dc標(biāo)記來指定信號是2D的還是3D的。表I示出了如何使用chroma_format_idc和depth_format_idc來發(fā)信號2D/3D和單色/彩色的視頻格式。表I.通過 depth_format_idc 和 chroma_format_idc 定義的不同視頻格式
權(quán)利要求
1.一種用于對視頻數(shù)據(jù)編碼的裝置，包括 編碼器，所述編碼器被配置成通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合編碼來對所述視頻數(shù)據(jù)編碼。
2.根據(jù)權(quán)利要求I所述的裝置，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包括以下中的一個RGBD、YUVD、或 YCbCrD。
3.根據(jù)權(quán)利要求2所述的裝置，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下的至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。
4.根據(jù)權(quán)利要求I所述的裝置，進(jìn)一步包括深度格式單元，所述深度格式單元被配置成識別所述視頻數(shù)據(jù)的深度格式。
5.根據(jù)權(quán)利要求4所述的裝置，其中，當(dāng)所述深度格式被設(shè)置為O時，所述編碼器選擇將所述視頻數(shù)據(jù)編碼為不包括深度數(shù)據(jù)的多個二維圖像。
6.根據(jù)權(quán)利要求4所述的裝置，其中，當(dāng)所述深度格式被設(shè)置為預(yù)定級別時，所述編碼器選擇將所述視頻數(shù)據(jù)編碼為所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。
7.根據(jù)權(quán)利要求I所述的裝置，其中，所述編碼器進(jìn)一步包括代碼化成本計算器，所述代碼化成本計算器確定對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合的聯(lián)合編碼以及對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合的單獨(dú)編碼的代碼化成本，并且基于所述代碼化成本來在聯(lián)合編碼和單獨(dú)編碼之間確定編碼模式。
8.根據(jù)權(quán)利要求7所述的裝置，其中，當(dāng)所述編碼成本小于對所述視圖數(shù)據(jù)和深度數(shù)據(jù)單獨(dú)編碼的編碼成本時，所述編碼器將所述視頻數(shù)據(jù)編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的聯(lián)合編碼。
9.根據(jù)權(quán)利要求I所述的裝置，其中，所述視頻數(shù)據(jù)是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。
10.一種對視頻數(shù)據(jù)編碼的方法，包括 在編碼器處通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合編碼來對所述視頻數(shù)據(jù)編碼。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包括以下中的一個RGBD、YUVD、或 YCbCrD。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下的至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。
13.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括識別所述視頻數(shù)據(jù)的深度格式。
14.根據(jù)權(quán)利要求13所述的方法，其中，當(dāng)所述深度格式被設(shè)置為O時，所述視頻數(shù)據(jù)被編碼為不包括深度數(shù)據(jù)的多個二維圖像。
15.根據(jù)權(quán)利要求13所述的方法，其中，當(dāng)所述深度格式被設(shè)置為預(yù)定級別時，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合被編碼。
16.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括確定對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合聯(lián)合編碼以及對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合單獨(dú)編碼的代碼化成本，以及基于所述代碼化成本在聯(lián)合編碼和單獨(dú)編碼之間確定編碼模式。
17.根據(jù)權(quán)利要求16所述的方法，其中，當(dāng)所述編碼成本小于對所述視圖數(shù)據(jù)和深度數(shù)據(jù)單獨(dú)編碼的編碼成本時，所述視頻數(shù)據(jù)被編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的聯(lián)合編碼。
18.根據(jù)權(quán)利要求10所述的方法，其中，所述視頻數(shù)據(jù)是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。
19.一種承載用于編碼器對視頻數(shù)據(jù)編碼的指令的非暫時性計算機(jī)可讀介質(zhì)，包括用于執(zhí)行以下步驟的指令 通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集 合編碼來對所述視頻數(shù)據(jù)編碼。
20.根據(jù)權(quán)利要求19所述的計算機(jī)可讀介質(zhì)，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包括以下中的一個RGBD、YUVD、或YCbCrD。
21.根據(jù)權(quán)利要求20所述的計算機(jī)可讀介質(zhì)，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下的至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。
22.根據(jù)權(quán)利要求19所述的計算機(jī)可讀介質(zhì)，進(jìn)一步包括識別所述視頻數(shù)據(jù)的深度格式。
23.根據(jù)權(quán)利要求22所述的計算機(jī)可讀介質(zhì)，其中，當(dāng)所述深度格式被設(shè)置為O時，所述視頻數(shù)據(jù)被編碼為不包括深度數(shù)據(jù)的多個二維圖像。
24.根據(jù)權(quán)利要求22所述的計算機(jī)可讀介質(zhì)，其中，當(dāng)所述深度格式被設(shè)置為預(yù)定級別時，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合被聯(lián)合編碼。
25.根據(jù)權(quán)利要求19所述的計算機(jī)可讀介質(zhì)，進(jìn)一步包括確定對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合聯(lián)合編碼以及對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合單獨(dú)編碼的代碼化成本，以及基于所述代碼化成本來在聯(lián)合編碼和單獨(dú)編碼之間確定編碼模式。
26.根據(jù)權(quán)利要求25所述的計算機(jī)可讀介質(zhì)，其中，當(dāng)所述編碼成本小于對所述視圖數(shù)據(jù)和深度數(shù)據(jù)單獨(dú)編碼的編碼成本時，所述視頻數(shù)據(jù)被編碼為視圖數(shù)據(jù)和深度數(shù)據(jù)的聯(lián)合編碼。
27.根據(jù)權(quán)利要求19所述的計算機(jī)可讀介質(zhì)，其中，所述視頻數(shù)據(jù)是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。
28.一種用于對視頻數(shù)據(jù)解碼的裝置，包括 解碼器，所述解碼器被配置成通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼來對所述視頻數(shù)據(jù)解碼。
29.根據(jù)權(quán)利要求28所述的裝置，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包括以下中的一個RGBD、YUVD、或 YCbCrD。
30.根據(jù)權(quán)利要求29所述的裝置，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下的至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。
31.根據(jù)權(quán)利要求28所述的裝置，進(jìn)一步包括深度格式單元，所述深度格式單元被配置成識別所述視頻數(shù)據(jù)的深度格式。
32.根據(jù)權(quán)利要求31所述的裝置，其中，當(dāng)所述深度格式被設(shè)置為O時，所述解碼器選擇將所述視頻數(shù)據(jù)解碼為不包括深度數(shù)據(jù)的多個二維圖像。
33.根據(jù)權(quán)利要求31所述的裝置，其中，當(dāng)所述深度格式被設(shè)置為預(yù)定級別時，所述解碼器選擇將所述視頻數(shù)據(jù)解碼為所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合。
34.根據(jù)權(quán)利要求28所述的裝置，其中，當(dāng)所述組合集合被聯(lián)合編碼時，所述解碼器對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合選擇性地聯(lián)合解碼，或者當(dāng)所述組合集合被單獨(dú)編碼時，所述解碼器對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼。
35.根據(jù)權(quán)利要求28所述的裝置，其中，所述視頻數(shù)據(jù)是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。
36.一種對視頻數(shù)據(jù)解碼的方法，包括 在解碼器處通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼來對所述視頻數(shù)據(jù)解碼。
37.根據(jù)權(quán)利要求36所述的方法，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包括以 下中的一個RGBD、YUVD、或 YCbCrD。
38.根據(jù)權(quán)利要求37所述的方法，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下的至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。
39.根據(jù)權(quán)利要求36所述的方法，進(jìn)一步包括識別所述視頻數(shù)據(jù)的深度格式。
40.根據(jù)權(quán)利要求39所述的方法，其中，當(dāng)所述深度格式被設(shè)置為O時，所述視頻數(shù)據(jù)被解碼為不包括深度數(shù)據(jù)的多個二維圖像。
41.根據(jù)權(quán)利要求39所述的方法，其中，當(dāng)所述深度格式被設(shè)置為預(yù)定級別時，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合被聯(lián)合解碼。
42.根據(jù)權(quán)利要求36所述的方法，進(jìn)一步包括當(dāng)所述組合集合被聯(lián)合編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合選擇性地聯(lián)合解碼，或者當(dāng)所述組合集合被單獨(dú)編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼。
43.根據(jù)權(quán)利要求36所述的方法，其中，所述視頻數(shù)據(jù)是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。
44.一種承載用于解碼器對視頻數(shù)據(jù)解碼的指令的非暫時性計算機(jī)可讀介質(zhì)，包括用于執(zhí)行以下步驟的指令 通過對視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合編碼來對所述視頻數(shù)據(jù)解碼。
45.根據(jù)權(quán)利要求44所述的計算機(jī)可讀介質(zhì)，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包括以下中的一個RGBD、YUVD、或YCbCrD。
46.根據(jù)權(quán)利要求45所述的計算機(jī)可讀介質(zhì)，其中，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合包含在以下的至少一個中圖片組、圖片、片段、塊組、宏塊、或子宏塊。
47.根據(jù)權(quán)利要求44所述的計算機(jī)可讀介質(zhì)，進(jìn)一步包括識別所述視頻數(shù)據(jù)的深度格式。
48.根據(jù)權(quán)利要求47所述的計算機(jī)可讀介質(zhì)，其中，當(dāng)所述深度格式被設(shè)置為O時，所述視頻數(shù)據(jù)被解碼為不包括深度數(shù)據(jù)的多個二維圖像。
49.根據(jù)權(quán)利要求47所述的計算機(jī)可讀介質(zhì)，其中，當(dāng)所述深度格式被設(shè)置為預(yù)定級別時，所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合被聯(lián)合解碼。
50.根據(jù)權(quán)利要求44所述的計算機(jī)可讀介質(zhì),進(jìn)一步包括當(dāng)所述組合集合被聯(lián)合編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合選擇性地聯(lián)合解碼，或者當(dāng)所述組合集合被單獨(dú)編碼時，對所述視圖數(shù)據(jù)和深度數(shù)據(jù)的組合集合解碼。
51.根據(jù)權(quán)利要求44所述的計算機(jī)可讀介質(zhì)，其中，所述視頻數(shù)據(jù)是以下中的一個具有深度的多視圖、沒有深度的多視圖、具有深度的單視圖、沒有深度的單視圖。
全文摘要
一種3D視頻代碼化裝置和方法，其選擇性地對來自多個視頻源的視頻數(shù)據(jù)代碼化以包括深度信息。代碼化可以通過將深度信息與諸如RGB、YCrCb、或YUV的視圖信息相組合，并且與如RGBD、RCrCbD、或YUVD的視圖信息一起代碼化來執(zhí)行。裝置可以基于深度格式標(biāo)記對深度信息選擇性地代碼化，以不包括深度信息(例如，2D格式)或包括深度信息作為色度通道。深度信息可以基于代碼化成本或比率失真估計被單獨(dú)地代碼化或與YCrCb一起代碼化，以對視頻信息進(jìn)行編碼來獲得最高質(zhì)量。
文檔編號H04N13/00GK102792699SQ201080052987
公開日2012年11月21日 申請日期2010年11月23日 優(yōu)先權(quán)日2009年11月23日
發(fā)明者杰伊·胡恩·金, 王利民 申請人:通用儀表公司