譯碼多視圖視頻加深度內(nèi)容的制作方法
【專利摘要】本發(fā)明描述用于對(duì)3D視頻塊單元進(jìn)行譯碼的技術(shù)。在一個(gè)實(shí)例中，視頻編碼器經(jīng)配置以：接收來自圖像的至少一部分的一個(gè)或一個(gè)以上紋理分量，所述圖像表示三維視頻數(shù)據(jù)的視圖；接收所述圖像的至少所述部分的深度圖分量；對(duì)塊單元進(jìn)行譯碼，所述塊單元指示所述圖像的一部分的所述一個(gè)或一個(gè)以上紋理分量和所述深度圖分量的像素。所述譯碼包括：接收視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的紋理數(shù)據(jù)；接收對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及囊封所述視圖的所述時(shí)間實(shí)例的視圖分量中的所述紋理數(shù)據(jù)和所述深度數(shù)據(jù)，使得所述紋理數(shù)據(jù)和所述深度數(shù)據(jù)被囊封于共同位流內(nèi)。
【專利說明】譯碼多視圖視頻加深度內(nèi)容
[0001]本申請(qǐng)案涉及2011年3月10日申請(qǐng)的第61/451，333號(hào)美國(guó)臨時(shí)申請(qǐng)案和2011年5月18日申請(qǐng)的第61/487，587號(hào)美國(guó)臨時(shí)申請(qǐng)案，所述申請(qǐng)案中的每一者的全文特此以引用的方式并入。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及視頻譯碼的領(lǐng)域，具體來說是3維視頻內(nèi)容譯碼。
【背景技術(shù)】
[0003]數(shù)字視頻能力可并入到廣泛范圍的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播系統(tǒng)、例如無線電電話手持機(jī)等無線通信裝置、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、視頻游戲裝置、視頻游戲控制臺(tái)等等。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如，MPEG-2、MPEG-4或H.264/MPEG-4第10部分(高級(jí)視頻譯碼(AVC))，以更有效率地發(fā)射和接收數(shù)字視頻。視頻壓縮技術(shù)執(zhí)行空間預(yù)測(cè)和時(shí)間預(yù)測(cè)，以減少或移除視頻序列中所固有的冗余。
[0004]視頻壓縮技術(shù)執(zhí)行空間預(yù)測(cè)和/或時(shí)間預(yù)測(cè)，以減少或移除視頻序列中所固有的冗余。對(duì)于基于塊的視頻譯碼，可將視頻幀或片段分割成若干宏塊。可進(jìn)一步分割每一宏塊。使用關(guān)于相鄰宏塊的空間預(yù)測(cè)來對(duì)經(jīng)幀內(nèi)譯碼的(I)幀或片段中的宏塊進(jìn)行編碼。經(jīng)幀間譯碼的(P或B)幀或片段中的宏塊可使用關(guān)于同一幀或片段中的相鄰宏塊的空間預(yù)測(cè)或關(guān)于其它參考幀的時(shí)間預(yù)測(cè)。
[0005]在已對(duì)視頻數(shù)據(jù)進(jìn)行編碼之后，視頻數(shù)據(jù)可包化以供發(fā)射或存儲(chǔ)。視頻數(shù)據(jù)可編譯成符合多種標(biāo)準(zhǔn)中的任一者的視頻文件，所述標(biāo)準(zhǔn)例如國(guó)際標(biāo)準(zhǔn)化組織(ISO)基礎(chǔ)媒體文件格式及其擴(kuò)展，例如AVC。
[0006]已致力于開發(fā)基于H.264/AVC的新視頻譯碼標(biāo)準(zhǔn)。一個(gè)此種標(biāo)準(zhǔn)是可分級(jí)視頻譯碼(SVC)標(biāo)準(zhǔn)，其是H.264/AVC的可分級(jí)擴(kuò)展。另一標(biāo)準(zhǔn)是多視圖視頻譯碼(MVC)，其已變成H.264/AVC的多視圖擴(kuò)展。MVC的聯(lián)合草案是描述在2008年7月德國(guó)漢諾威第28屆JVT會(huì)議上提出的JVT-AB204 “多視圖視頻譯碼的聯(lián)合草案8.0”中，所述草案的獲得地址是 http://wftp3.1tu.1nt/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip。AVC標(biāo)準(zhǔn)的版本是描述在2009年2月瑞士日內(nèi)瓦第30屆JVT會(huì)議上提出的JVT-AD007，“對(duì)ITU-T Rec.H.264|IS0/IEC 14496-10高級(jí)視頻譯碼的編輯草案修訂-為ITU-T SG16AAP 同意準(zhǔn)備(綜合形式)(Editors' draft revision to ITU-T Rec.H.264 | IS0/IEC14496-lOAdvanced Video Coding-1n preparation for ITU-T SG 16 AAP Consent(inintegrated form)) ” 中，所述修訂的獲得地址是 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip。此文檔整合了 AVC 規(guī)范中的 SVC 以及 MVC。

【發(fā)明內(nèi)容】

[0007]一般來說，本發(fā)明描述用于支持包含紋理和深度信息的視頻數(shù)據(jù)的譯碼的技術(shù)。紋理信息指代用于呈現(xiàn)二維圖片的信息，例如亮度(輝度)和色度(顏色)信息。深度信息可包含可用于形成三維視頻的信息，例如深度圖(例如，在逐像素基礎(chǔ)上的深度值)或視差圖(例如，在逐像素基礎(chǔ)上的水平視差)。
[0008]一般來說，本發(fā)明描述用于支持三維(3D)視頻呈現(xiàn)的技術(shù)。具體來說，本發(fā)明的技術(shù)涉及對(duì)具有紋理和深度分量的3D視頻內(nèi)容進(jìn)行譯碼和解碼。本發(fā)明還提出用于視頻數(shù)據(jù)的發(fā)信號(hào)技術(shù)。深度分量可來自圖像的深度圖。在3D圖像呈現(xiàn)中，深度圖包含深度分量，且可用于從提供的檢視視角產(chǎn)生虛擬視圖。所述發(fā)信號(hào)技術(shù)可包含用信號(hào)發(fā)出紋理和深度視圖分量、深度視圖分量的預(yù)測(cè)相依性、視圖分量?jī)?nèi)的深度視圖分量與其對(duì)應(yīng)紋理視圖分量的相依性，以及紋理視圖分量是否可取決于用于(例如)視圖合成預(yù)測(cè)的其它時(shí)刻的深度視圖分量。所述發(fā)信號(hào)還可包含提供與每一視圖相關(guān)聯(lián)的相機(jī)參數(shù)。經(jīng)譯碼塊單元(在本發(fā)明中也被簡(jiǎn)稱作“經(jīng)譯碼塊”)可對(duì)應(yīng)于ITU-T H.264/AVC(高級(jí)視頻譯碼)中的宏塊或高效率視頻譯碼01EVC)的譯碼單元。
[0009]在本發(fā)明的一個(gè)實(shí)例中，視圖分量的紋理NAL和深度NAL可以按照連續(xù)方式(例如，VCL NAL單元譯碼次序)組織。在一些實(shí)例中，可利用發(fā)信號(hào)技術(shù)，其可包含(例如)用新NAL單元類型或在NAL單元標(biāo)頭中指示NAL單元是否屬于深度視圖分量，從紋理視圖分量預(yù)測(cè)對(duì)應(yīng)深度視圖分量。在其它實(shí)例中，可用信號(hào)發(fā)出與相機(jī)和深度內(nèi)容有關(guān)的參數(shù)。舉例來說，所述參數(shù)可包含共同的內(nèi)在相機(jī)參數(shù)和外在相機(jī)參數(shù)、從經(jīng)量化深度值到真實(shí)世界深度值的映射、不同的外在相機(jī)參數(shù)(例如，每一視圖的平移)等等。
[0010]在一個(gè)實(shí)例中，本發(fā)明是針對(duì)一種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法，所述方法包括:接收紋理視圖分量，所述紋理視圖分量包括在視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)；接收深度視圖分量，所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及囊封在所述視圖的所述時(shí)間實(shí)例內(nèi)的視圖分量中的所述紋理視圖分量和所述深度視圖分量，使得所述紋理視圖分量和所述深度視圖分量囊封于共同位流中。
[0011]在另一實(shí)例中，本發(fā)明是針對(duì)一種用于處理視頻數(shù)據(jù)的裝置，所述裝置包括視頻譯碼器，所述視頻譯碼器經(jīng)配置以:接收紋理視圖分量，所述紋理視圖分量包括在視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)；接收深度視圖分量，所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及囊封在所述視圖的所述時(shí)間實(shí)例內(nèi)的視圖分量中的紋理視圖分量和所述深度視圖分量，使得所述紋理視圖分量和所述深度視圖分量囊封于共同位流中。
[0012]在又一實(shí)例中，本發(fā)明是針對(duì)一種用于處理視頻數(shù)據(jù)的裝置，所述裝置包括:用于接收紋理視圖分量的裝置，所述紋理視圖分量包括在視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)；用于接收深度視圖分量的裝置，所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及用于囊封在所述視圖的所述時(shí)間實(shí)例內(nèi)的視圖分量中的所述紋理視圖分量和所述深度視圖分量以使得所述紋理視圖分量和所述深度視圖分量囊封于共同位流中的裝置。
[0013]本發(fā)明中所描述的技術(shù)可以用硬件、軟件、固件或其任一組合來實(shí)施。如果以軟件來實(shí)施，那么可在處理器中執(zhí)行軟件，所述處理器可指代一種或一種以上處理器，例如微處理器、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或數(shù)字信號(hào)處理器(DSP)或其它等效集成或離散邏輯電路?？稍谧畛鯇ㄖ噶钜詧?zhí)行所述技術(shù)的軟件存儲(chǔ)于計(jì)算機(jī)可讀媒體中且由處理器加載并執(zhí)行。
[0014]因此，本發(fā)明也是針對(duì)一種包括計(jì)算機(jī)可讀存儲(chǔ)媒體的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可讀存儲(chǔ)媒體上存儲(chǔ)有指令，所述指令在執(zhí)行時(shí)致使視頻編碼裝置的處理器:接收紋理視圖分量，所述紋理視圖分量包括在視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)；接收深度視圖分量，所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及囊封在所述視圖的所述時(shí)間實(shí)例內(nèi)的視圖分量中的紋理視圖分量和所述深度視圖分量，使得所述紋理視圖分量和所述深度視圖分量囊封于共同位流中。
[0015]在另一實(shí)例中，本發(fā)明是針對(duì)一種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法，所述方法包括:接收共同位流，所述共同位流囊封了在視頻數(shù)據(jù)的所述視圖的時(shí)間實(shí)例內(nèi)的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括在視圖的所述時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及將在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理視圖分量與所述深度視圖分量分離。
[0016]在又一實(shí)例中，本發(fā)明是針對(duì)一種用于處理視頻數(shù)據(jù)的裝置，所述裝置包括視頻譯碼器，所述視頻譯碼器經(jīng)配置以:接收共同位流，所述共同位流囊封了在視頻數(shù)據(jù)的所述視圖的時(shí)間實(shí)例內(nèi)的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括在視圖的所述時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及將在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理視圖分量與所述深度視圖分量分離。
[0017]在另一實(shí)例中，本發(fā)明是針對(duì)用于處理視頻數(shù)據(jù)的裝置，所述裝置包括:用于接收共同位流的裝置，所述共同位流囊封了在視頻數(shù)據(jù)的所述視圖的時(shí)間實(shí)例內(nèi)的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括在視圖的所述時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及用于將在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理視圖分量與所述深度視圖分量分離的裝置。
[0018]在又一實(shí)例中，本發(fā)明是針對(duì)包括計(jì)算機(jī)可讀存儲(chǔ)媒體的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可讀存儲(chǔ)媒體上存儲(chǔ)有指令，所述指令在執(zhí)行時(shí)致使視頻解碼裝置的處理器:接收共同位流，所述共同位流囊封了在視頻數(shù)據(jù)的所述視圖的時(shí)間實(shí)例內(nèi)的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括在視圖的所述時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及將在視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例內(nèi)的所述紋理視圖分量與所述深度視圖分量分離。
[0019]在隨附圖式以及下文描述中闡述了本發(fā)明的一個(gè)或一個(gè)以上方面的細(xì)節(jié)。從描述和圖式，以及從權(quán)利要求書將明白本發(fā)明中所描述的技術(shù)的其它特征、目的和優(yōu)勢(shì)。
【專利附圖】

【附圖說明】
[0020]圖1是說明可用以實(shí)施本發(fā)明的技術(shù)中的一者或一者以上的視頻編碼和解碼系統(tǒng)的一個(gè)實(shí)例的框圖。
[0021]圖2是進(jìn)一步詳細(xì)說明圖1的視頻編碼器的實(shí)例的框圖。
[0022]圖3A是說明可用于本發(fā)明的技術(shù)中的一者或一者以上的實(shí)施中的位流結(jié)構(gòu)的實(shí)例的概念圖。
[0023]圖3B是說明可包含于圖3A的位流結(jié)構(gòu)中的視圖的實(shí)例的概念圖。
[0024]圖4A是說明實(shí)例MVC預(yù)測(cè)模式的概念圖。
[0025]圖4B是說明用于兩個(gè)視圖的多視圖視頻譯碼(MVC)兼容多視圖視頻加深度(MVD)譯碼的概念圖。
[0026]圖4C是說明用于三個(gè)或三個(gè)以上視圖的MVC兼容MVD譯碼的概念圖。
[0027]圖4D是說明用于多個(gè)視圖的MVC兼容MVD譯碼的概念圖。
[0028]圖5是說明與本發(fā)明一致的視頻編碼器的實(shí)例操作的流程圖。
[0029]圖6是進(jìn)一步詳細(xì)說明圖1的視頻解碼器的實(shí)例的框圖。
[0030]圖7是說明與本發(fā)明一致的視頻解碼器的實(shí)例操作的流程圖。
【具體實(shí)施方式】
[0031]本發(fā)明描述用于支持包含紋理和深度信息的視頻數(shù)據(jù)的譯碼的技術(shù)。紋理信息指代用于呈現(xiàn)二維(2D)圖片的信息，例如亮度(輝度)和色度(顏色)信息。深度信息可包含可用于形成3D視頻的信息，例如深度圖(例如，在逐像素基礎(chǔ)上的深度值)或視差圖(例如，在逐像素基礎(chǔ)上的水平視差)。
[0032]所描述的技術(shù)涉及三維(3D)視頻內(nèi)容的譯碼。具體來說，這些技術(shù)是針對(duì)提供MVC位流的一個(gè)或一個(gè)以上視圖的深度分量或紋理分量。舉例來說,3D視頻內(nèi)容可表示為多視圖視頻加深度(MVD)數(shù)據(jù)。也就是說，可應(yīng)用這些技術(shù)來對(duì)類似于多視圖視頻譯碼(MVC)位流的位流進(jìn)行編碼，其中所述MVC位流中的任一或所有視圖可進(jìn)一步包含深度信息，例如深度視圖分量。
[0033]基于深度估計(jì)和虛擬視圖合成的視頻轉(zhuǎn)換可用以產(chǎn)生3D圖像，例如3D視頻應(yīng)用。具體來說，場(chǎng)景的虛擬視圖可用以產(chǎn)生所述場(chǎng)景的3D視圖?；趫?chǎng)景的現(xiàn)有視圖產(chǎn)生所述場(chǎng)景的虛擬視圖按照慣例是通過在合成虛擬視圖之前估計(jì)對(duì)象深度值來實(shí)現(xiàn)。深度估計(jì)是從立體像對(duì)或單像內(nèi)容估計(jì)對(duì)象與相機(jī)平面之間的絕對(duì)或相對(duì)距離的過程。深度信息可包含可用于形成三維視頻的信息，例如深度圖(例如，在逐像素基礎(chǔ)上的深度值)或視差圖(例如，在逐像素基礎(chǔ)上的水平視差)。
[0034]通常由灰度級(jí)圖像深度圖表示的所估計(jì)深度信息可用以使用基于深度圖像的呈現(xiàn)(DIBR)技術(shù)產(chǎn)生任意角度的虛擬視圖。與傳統(tǒng)三維電視(3DTV)系統(tǒng)(其中多視圖序列面臨著有效率視圖間壓縮的挑戰(zhàn))相比較，基于深度圖的系統(tǒng)可通過發(fā)射可有效率地進(jìn)行編碼的僅一個(gè)或少數(shù)視圖以及深度圖來減少帶寬的使用。用于基于深度圖的轉(zhuǎn)換中的深度圖可以是在其用于視頻合成中之前可由終端用戶控制(例如，通過按比例調(diào)整)?？僧a(chǎn)生具有不同量的感知深度的定制虛擬視圖。而且，深度的估計(jì)可使用單像視頻來執(zhí)行，其中僅單視圖2D內(nèi)容為可用的。
[0035]MVC為ITU-T H.264編碼標(biāo)準(zhǔn)的擴(kuò)展，其支持場(chǎng)景的兩個(gè)或兩個(gè)以上視圖的編碼。還提出了 HEVC的MVC擴(kuò)展。當(dāng)捕獲原始視頻數(shù)據(jù)時(shí)，兩個(gè)或兩個(gè)以上相機(jī)可在拍攝場(chǎng)景期間為活動(dòng)的，且相機(jī)中的每一者可從不同視角產(chǎn)生相應(yīng)視圖的數(shù)據(jù)。根據(jù)MVC，視圖中的每一者可經(jīng)編碼，且視圖可使用其它經(jīng)譯碼視圖的圖片作為參考圖片(視圖間預(yù)測(cè))以及使用同一視圖的其它圖片作為參考圖片(時(shí)間預(yù)測(cè))來編碼，如圖4A中所說明。
[0036]由兩個(gè)或兩個(gè)以上相機(jī)捕獲的不同視圖可用以支持3D視頻數(shù)據(jù)?？墒褂貌煌癯潭鹊墓馔瑫r(shí)顯示兩個(gè)視圖，且檢視者可佩戴無源、偏振眼鏡，使得檢視者的眼睛中的每一者接收視圖中的相應(yīng)者?；蛘撸瑱z視者可佩戴獨(dú)立地遮閉每一眼睛的有源眼鏡，且顯示器可與眼鏡同步地在每一眼睛的圖像之間快速交替。一些顯示器能夠顯示多達(dá)八個(gè)或甚至更多的視圖，使得用戶可從各個(gè)角度觀察顯示器，以從各個(gè)視角檢視所述場(chǎng)景。
[0037]所述技術(shù)涉及針對(duì)同一視圖對(duì)共同位流中的紋理和深度信息兩者進(jìn)行譯碼。視頻解碼器可從經(jīng)編碼視圖的紋理和深度信息產(chǎn)生一個(gè)或一個(gè)以上額外視圖。因此，例如，根據(jù)本發(fā)明的技術(shù)的編碼器可(例如)對(duì)包含每一視圖的紋理和深度信息的四個(gè)視圖進(jìn)行編碼，而非對(duì)整組八個(gè)視圖進(jìn)行編碼。在本發(fā)明中，術(shù)語“譯碼”可指編碼和/或解碼中的任一者或兩者。
[0038]更具體來說，本發(fā)明的技術(shù)是針對(duì)支持同一位流內(nèi)的同一視圖的紋理和深度信息的譯碼。用于對(duì)紋理和深度信息進(jìn)行譯碼的現(xiàn)有技術(shù)是針對(duì)在單獨(dú)位流中提供紋理和深度信息。
[0039]在本發(fā)明的一個(gè)方面中，紋理和深度信息可被譯碼為同一位流的單獨(dú)分量，此可允許兩個(gè)分量容易地彼此分離。結(jié)果，當(dāng)位流轉(zhuǎn)發(fā)到顯示裝置時(shí)，可根據(jù)顯示裝置的能力來調(diào)整位流。舉例來說，包含兩個(gè)分量的位流可轉(zhuǎn)發(fā)到兼容3D功能的(3D-ready)裝置，而位流可經(jīng)濾波且轉(zhuǎn)發(fā)到兼容2D功能的裝置而不包含深度信息分量。
[0040]更確切地說，本發(fā)明提出提供用于視頻數(shù)據(jù)的視圖的數(shù)據(jù)，使得視圖的視圖分量包含紋理和深度信息兩者。視圖分量為包含特定視圖的在共同時(shí)間實(shí)例內(nèi)的所有數(shù)據(jù)的數(shù)據(jù)單元。視頻譯碼層(VCL)處的網(wǎng)絡(luò)抽象層(NAL)單元(也被稱作VCL NAL單元)可包含經(jīng)譯碼視頻數(shù)據(jù)(例如，紋理或深度數(shù)據(jù))的片段或幀。本發(fā)明的技術(shù)提出將在共同時(shí)間實(shí)例內(nèi)的紋理和深度VCL NAL單元視為屬于共同視圖分量。
[0041]根據(jù)本發(fā)明的技術(shù)，通過在同一視圖分量中提供在共同時(shí)間實(shí)例內(nèi)的紋理和深度VCL NAL單元，用于紋理信息的某譯碼數(shù)據(jù)可重新用于對(duì)深度信息進(jìn)行譯碼。舉例來說，可使用位移向量從對(duì)應(yīng)紋理信息預(yù)測(cè)出VCL NAL單元的深度圖。與常規(guī)MVC—樣，視圖間預(yù)測(cè)也可用于相對(duì)于其它視圖的紋理信息對(duì)視圖的紋理信息進(jìn)行譯碼。
[0042]另外，本發(fā)明提供用于用信號(hào)發(fā)出用于所提供的視圖的相機(jī)參數(shù)且使用所述相機(jī)參數(shù)進(jìn)行視圖合成預(yù)測(cè)的技術(shù)。使用相機(jī)參數(shù)，視頻解碼器可使用(例如)基于深度圖像的呈現(xiàn)(DIBR)從參考視圖和對(duì)應(yīng)深度圖合成虛擬視圖。經(jīng)合成虛擬視圖可用作用于對(duì)另一視圖進(jìn)行編碼的預(yù)測(cè)。在一個(gè)實(shí)例中，參考視圖可為深度圖自身。以此方式，相機(jī)參數(shù)和一個(gè)參考深度圖可足以合成虛擬的當(dāng)前深度圖。
[0043]可應(yīng)用本文中所描述的技術(shù)以對(duì)紋理和深度分量進(jìn)行編碼且將其一起囊封到單個(gè)位流中。與在單個(gè)時(shí)刻時(shí)的單個(gè)視圖相關(guān)聯(lián)的紋理和深度分量可一起被編碼且與視頻數(shù)據(jù)單元(例如，視頻幀或片段)相關(guān)聯(lián)。根據(jù)本發(fā)明的技術(shù)，視頻編碼器可重新使用與視圖的紋理分量相關(guān)聯(lián)的預(yù)測(cè)數(shù)據(jù)來對(duì)視圖的深度分量進(jìn)行譯碼。以此方式，編碼器可使用兩個(gè)分量或兩個(gè)視圖之間的預(yù)測(cè)相依性或?qū)τ诤铣梢晥D的預(yù)測(cè)相依性來對(duì)紋理和深度分量進(jìn)行編碼，且用信號(hào)發(fā)出將可用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的預(yù)測(cè)相依性。另外，本發(fā)明可提供用于相對(duì)于其它視圖的紋理信息對(duì)視圖的紋理信息進(jìn)行譯碼的視圖間預(yù)測(cè)的技術(shù)。下文可更詳細(xì)描述本發(fā)明的這些及其它技術(shù)。
[0044]圖1是說明可用以實(shí)施本發(fā)明的技術(shù)中的一者或一者以上的視頻編碼和解碼系統(tǒng)10的一個(gè)實(shí)例的框圖。如圖1所示，系統(tǒng)10包含源裝置12，其經(jīng)由通信信道15將經(jīng)編碼視頻發(fā)射到目的地裝置16。源裝置12和目的地裝置16可包括廣泛多種裝置中的任一者。在一些情況下，源裝置12與目的地裝置16中的任一者或兩者可包括無線通信裝置，例如無線手持機(jī)、所謂的蜂窩式或衛(wèi)星無線電電話，或可在通信信道15上(在此情況下，通信信道15為無線的)傳送視頻信息的任何無線裝置。然而，涉及對(duì)包含紋理和深度信息兩者的視頻數(shù)據(jù)進(jìn)行譯碼的本發(fā)明的技術(shù)不一定限于無線應(yīng)用或設(shè)置。所述技術(shù)還可用于廣泛范圍的其它設(shè)置和裝置，包含經(jīng)由物理導(dǎo)線、光纖或其它物理或無線媒體通信的裝置。舉例來說，經(jīng)編碼視頻可存儲(chǔ)于存儲(chǔ)裝置上以由目的地裝置16隨后進(jìn)行檢索、解碼和顯示。此夕卜，編碼或解碼技術(shù)還可應(yīng)用于未必與任何其它裝置通信的獨(dú)立裝置中。
[0045]在圖1的實(shí)例中，源裝置12可包含視頻源20、深度處理單元21、視頻編碼器22、調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)23和發(fā)射器24。目的地裝置16可包含接收器26、調(diào)制解調(diào)器27、視頻解碼器28和顯示裝置30。根據(jù)本發(fā)明，源裝置12的視頻編碼器22可經(jīng)配置以應(yīng)用本發(fā)明的技術(shù)中的一者或一者以上，作為視頻編碼過程的部分。類似地，目的地裝置16的視頻解碼器28可經(jīng)配置以應(yīng)用本發(fā)明的技術(shù)中的一者或一者以上，作為視頻解碼過程的部分。
[0046]視頻編碼器22還可應(yīng)用變換、量化和熵譯碼過程以進(jìn)一步減少與殘余塊的傳送相關(guān)聯(lián)的位速率。變換技術(shù)可包括離散余弦變換(DCT)或概念上類似的過程?；蛘撸墒褂眯〔ㄗ儞Q、整數(shù)變換或其它類型的變換。在DCT過程中，作為一實(shí)例，可將一組像素值轉(zhuǎn)換成變換系數(shù)，所述變換系數(shù)可表示頻域中的像素值的能量。視頻編碼器22還可量化所述變換系數(shù)，這可大體涉及減少與對(duì)應(yīng)變換系數(shù)相關(guān)聯(lián)的位的數(shù)目的過程。熵譯碼可包含共同地壓縮數(shù)據(jù)以供輸出到位流的一個(gè)或一個(gè)以上過程，其中經(jīng)壓縮數(shù)據(jù)可包含例如譯碼模式序列、運(yùn)動(dòng)信息、經(jīng)譯碼塊模式，和經(jīng)量化變換系數(shù)。熵譯碼的實(shí)例包含但不限于上下文自適應(yīng)可變長(zhǎng)度譯碼(CAVLC)和上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)。
[0047]經(jīng)譯碼視頻塊可由可用以建立或識(shí)別預(yù)測(cè)塊的預(yù)測(cè)信息和可應(yīng)用到預(yù)測(cè)塊以重新建立原始?jí)K的殘余數(shù)據(jù)塊來表示。預(yù)測(cè)信息可包括用以識(shí)別預(yù)測(cè)數(shù)據(jù)塊的一個(gè)或一個(gè)以上運(yùn)動(dòng)向量。使用運(yùn)動(dòng)向量，視頻解碼器28可重建構(gòu)用以對(duì)殘余塊進(jìn)行譯碼的預(yù)測(cè)塊。因此，給定一組殘余塊和一組運(yùn)動(dòng)向量(和可能的一些額外語法)，視頻解碼器28可重建構(gòu)原先被編碼的視頻幀。基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膸g譯碼可實(shí)現(xiàn)相對(duì)高的量的壓縮而沒有過多數(shù)據(jù)損失，因?yàn)檫B續(xù)視頻幀或其它類型的經(jīng)譯碼單元通常類似。經(jīng)編碼視頻序列可包括殘余數(shù)據(jù)塊、運(yùn)動(dòng)向量(當(dāng)經(jīng)幀間預(yù)測(cè)編碼時(shí))、用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式的指示、關(guān)于深度和紋理分量的信息以及可能的其它數(shù)據(jù)，例如語法元素類型。
[0048]視頻編碼器22還可利用幀內(nèi)預(yù)測(cè)技術(shù)來相對(duì)于共同幀或片段的相鄰視頻塊來對(duì)視頻塊進(jìn)行編碼。以此方式，視頻編碼器22可在空間上預(yù)測(cè)所述塊。視頻編碼器22可配置有多種幀內(nèi)預(yù)測(cè)模式，其大體對(duì)應(yīng)于各種空間預(yù)測(cè)方向。與運(yùn)動(dòng)估計(jì)一樣，視頻編碼器22可經(jīng)配置以基于塊的亮度分量來選擇幀內(nèi)預(yù)測(cè)模式，接著重新使用所述幀內(nèi)預(yù)測(cè)模式來對(duì)塊的色度分量進(jìn)行編碼。此外，根據(jù)本發(fā)明的技術(shù)，視頻編碼器22可重新使用在對(duì)視圖的包括亮度和色度分量的紋理分量進(jìn)行編碼的過程中所使用的預(yù)測(cè)關(guān)系，來對(duì)視圖的深度分量進(jìn)行編碼。另外，根據(jù)本發(fā)明的技術(shù)，視頻編碼器22可相對(duì)于其它視圖的紋理分量對(duì)視圖的紋理分量進(jìn)行編碼，且可相對(duì)于其它視圖的深度分量對(duì)視圖的深度分量進(jìn)行編碼。在一些實(shí)例中，視頻編碼器22可相對(duì)于合成視圖的紋理數(shù)據(jù)對(duì)深度分量進(jìn)行編碼。
[0049]本發(fā)明的技術(shù)可簡(jiǎn)化MVD中的紋理和深度分量的譯碼過程，且可通過將與一個(gè)視圖相關(guān)聯(lián)的紋理和深度分量囊封于同一位流中來提高位流效率。這些技術(shù)還可包含提供用于視圖內(nèi)預(yù)測(cè)、視圖間預(yù)測(cè)和視圖合成預(yù)測(cè)的信息。在視圖內(nèi)預(yù)測(cè)中，可用信號(hào)發(fā)出關(guān)于從紋理到深度的運(yùn)動(dòng)預(yù)測(cè)的信息。在視圖間預(yù)測(cè)中，可用信號(hào)發(fā)出關(guān)于從一個(gè)視圖到另一個(gè)視圖的預(yù)測(cè)的信息。視圖合成預(yù)測(cè)可允許從包含紋理和深度分量的參考視圖合成虛擬視圖。
[0050]圖1的所說明系統(tǒng)10僅為一個(gè)實(shí)例?？捎芍С诸A(yù)測(cè)性編碼的任何編碼裝置或由支持預(yù)測(cè)性解碼的任何解碼裝置來執(zhí)行本發(fā)明的各種技術(shù)。源裝置12和目的地裝置16僅為此些譯碼裝置的實(shí)例，其中源裝置12產(chǎn)生用于發(fā)射到目的地裝置16的經(jīng)譯碼視頻數(shù)據(jù)。在一些情況下，裝置12與16可以按照大體上對(duì)稱的方式操作，使得裝置12和16中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)10可支持視頻裝置12與16之間的單向或雙向視頻傳輸，例如用于視頻流式傳輸、視頻播放、視頻廣播或視頻電話。
[0051]源裝置12的視頻源20可包含例如攝像機(jī)等視頻捕獲裝置、含有先前捕獲的視頻的視頻存檔，或來自視頻內(nèi)容提供者的視頻饋送。作為另一替代方案，視頻源20可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或?qū)崟r(shí)視頻、存檔視頻和/或計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源20為攝像機(jī)，那么源裝置12和目的地裝置16可形成所謂的相機(jī)電話或視頻電話，或經(jīng)配置以操縱視頻數(shù)據(jù)的其它移動(dòng)裝置，例如平板計(jì)算裝置。在每一種情況下，都可由視頻編碼器22來對(duì)經(jīng)捕獲的、經(jīng)預(yù)先捕獲的或計(jì)算機(jī)產(chǎn)生的視頻進(jìn)行編碼。視頻源20捕獲視圖2，且將其提供到深度處理單元21。
[0052]視頻源20將視圖2提供到深度處理單元21，以便計(jì)算視圖2中的對(duì)象的深度圖像。深度處理單元21可經(jīng)配置以自動(dòng)計(jì)算視圖2的圖像中的對(duì)象的深度值。舉例來說，深度處理單元21可基于紋理信息計(jì)算對(duì)象的深度值，所述紋理信息可包含亮度和色度信息。在一些實(shí)例中，深度處理單元21可經(jīng)配置以從用戶接收深度信息。在一些實(shí)例中，視頻源20可捕獲在不同視角下的場(chǎng)景的兩個(gè)或兩個(gè)以上視圖，且接著基于所述兩個(gè)或兩個(gè)以上視圖中的對(duì)象之間的視差來計(jì)算場(chǎng)景中的對(duì)象的深度信息。在各種實(shí)例中，視頻源20可包括標(biāo)準(zhǔn)二維相機(jī)、提供場(chǎng)景的立體視圖的兩個(gè)或兩個(gè)以上相機(jī)系統(tǒng)、捕獲場(chǎng)景的多個(gè)視圖的相機(jī)陣列或捕獲一個(gè)視圖加深度信息的相機(jī)。
[0053]深度處理單元21可將紋理分量4和深度信息6傳遞到視頻編碼器22。深度處理單元21還可將視圖2傳遞到視頻編碼器22。深度信息6可包括用于視圖2的深度圖圖像。深度圖可包括與待顯示的區(qū)(例如，塊、片段或幀)相關(guān)聯(lián)的像素的每一區(qū)域的深度值的圖。像素區(qū)域可為單個(gè)像素或一個(gè)或一個(gè)以上像素的群組。在深度圖的一些實(shí)例中每一像素具有一個(gè)深度分量。在其它實(shí)例中，每一像素可存在多個(gè)深度分量。
[0054]在一些實(shí)例中，對(duì)深度圖進(jìn)行估計(jì)。當(dāng)存在一個(gè)以上視圖時(shí)，在一個(gè)以上視圖可用時(shí)，可使用立體匹配來估計(jì)深度圖。然而，在2D到3D的轉(zhuǎn)換中，可能更難以估計(jì)深度。不過，通過各種方法估計(jì)出的深度圖可用于依據(jù)基于深度圖像的呈現(xiàn)(DIBR)的3D呈現(xiàn)。
[0055]盡管視頻源20可提供場(chǎng)景的多個(gè)視圖，但深度處理單元21可基于多個(gè)視圖來計(jì)算深度信息，且源裝置12通常可針對(duì)場(chǎng)景的每一視圖發(fā)射一個(gè)視圖加深度信息。在本發(fā)明的一個(gè)實(shí)例中，可發(fā)射與不同視圖相關(guān)聯(lián)的參數(shù)(例如，相機(jī)參數(shù))，且隨后由解碼器使用所述參數(shù)來使用參考視圖和對(duì)應(yīng)深度圖合成虛擬視圖。舉例來說，相機(jī)參數(shù)可包含內(nèi)在參數(shù)(例如，在水平方向上的焦距和主點(diǎn)偏移)和外在參數(shù)(例如，每一視圖的真實(shí)世界水平相機(jī)位置)。通常，多視圖序列中的每一視圖將共享相同內(nèi)在參數(shù)。因此，這些參數(shù)可針對(duì)序列用信號(hào)發(fā)出一次，使得用信號(hào)發(fā)出的內(nèi)在參數(shù)適用于序列中的所有視圖。以此方式，對(duì)于每一序列，某些相機(jī)參數(shù)可用信號(hào)發(fā)出且傳送一次，因此減少經(jīng)編碼和發(fā)射的信息量。在一個(gè)實(shí)例中，相機(jī)參數(shù)可在序列級(jí)用信號(hào)發(fā)出。
[0056]在一個(gè)實(shí)例中，每一深度圖圖像可使用8位像素來表示。對(duì)于深度圖圖像的每一8位像素，到經(jīng)量化8位深度值的真實(shí)世界z值映射可用于(例如)DIBR，其可為解碼循環(huán)的部分。在序列級(jí)或圖片級(jí)，可用信號(hào)發(fā)出或假設(shè)從8位深度值映射到真實(shí)世界z值的函數(shù)。在此實(shí)例中，可用信號(hào)發(fā)出默認(rèn)的深度到z值轉(zhuǎn)換函數(shù)，例如，指定所述函數(shù)為從深度值到z值的反比例函數(shù)的指示。此外，當(dāng)確定了函數(shù)時(shí)，也可在(例如)序列參數(shù)集中用信號(hào)發(fā)出深度范圍。在利用深度值與z值之間的更復(fù)雜轉(zhuǎn)換的實(shí)例中，可用信號(hào)發(fā)出含有深度值到真實(shí)世界z值(256個(gè)浮點(diǎn)數(shù))的表。
[0057]當(dāng)視圖2為數(shù)字靜態(tài)圖片時(shí)，視頻編碼器22可經(jīng)配置以將視圖2編碼為例如聯(lián)合影像專家群組(JPEG)圖像。當(dāng)視圖2為視頻數(shù)據(jù)的幀時(shí)，視頻編碼器22可經(jīng)配置以根據(jù)例如以下的視頻譯碼標(biāo)準(zhǔn)來對(duì)第一視圖50進(jìn)行編碼:動(dòng)畫專家群組(MPEG)、國(guó)際標(biāo)準(zhǔn)化組織(ISO)/國(guó)際電工委員會(huì)(IEC)MPEG-1 VisuaUISO/IEC MPEG-2 Visual、IS0/IEC MPEG-4Visual、國(guó)際電訊聯(lián)盟(ITU)H.261、ITU-T H.262、ITU-T H.263、ITU-T H.264/MPEG-4、H.264高級(jí)視頻譯碼(AVC)、即將出現(xiàn)的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)(也稱作H.265)，或其它視頻編碼標(biāo)準(zhǔn)。視頻編碼器22可針對(duì)每一視圖對(duì)紋理數(shù)據(jù)和深度數(shù)據(jù)(例如，紋理片段和深度片段)進(jìn)行編碼。視頻編碼器22可形成用于紋理片段和深度片段的網(wǎng)絡(luò)抽象層(NAL)單元，且將在特定時(shí)間實(shí)例處的特定視圖的NAL單元囊封為視圖分量。以此方式，經(jīng)譯碼位流8可包含經(jīng)編碼圖像數(shù)據(jù)或紋理信息4以及深度信息6。視頻編碼器22將經(jīng)譯碼位流8傳遞到發(fā)射器24。經(jīng)譯碼位流8可包含經(jīng)譯碼紋理信息4、深度信息6，且可連同例如預(yù)測(cè)相依性和相機(jī)參數(shù)等用信號(hào)發(fā)出的信息一起發(fā)射。
[0058]經(jīng)譯碼位流8可包含紋理信息4和深度信息6。紋理分量4可包含視頻信息的亮度(Iuma)和色度(chroma)分量。亮度分量通常描述明度，而色度分量通常描述顏色的色調(diào)。深度處理單元21可從視頻2的深度圖提取深度信息6。視頻編碼器22可對(duì)紋理分量4和深度信息6進(jìn)行編碼，且將其囊封到單個(gè)位流(具體來說，經(jīng)譯碼位流8)中。同樣，視頻編碼器22可對(duì)位流進(jìn)行編碼，使得紋理分量的運(yùn)動(dòng)預(yù)測(cè)相依性用以對(duì)深度分量進(jìn)行編碼。以此方式，深度分量可從紋理分量預(yù)測(cè)出。另外，根據(jù)本發(fā)明的技術(shù)，視頻編碼器22可用信號(hào)發(fā)出與特定視圖相關(guān)聯(lián)的相機(jī)參數(shù)，例如在水平方向上的焦距和主點(diǎn)偏移以及每一視圖的真實(shí)世界水平相機(jī)位置。
[0059]以此方式，目的地裝置16可使用特定視圖的紋理和深度信息合成視圖，(例如)以實(shí)現(xiàn)特定視點(diǎn)處的合成視圖，以實(shí)現(xiàn)特定3D呈現(xiàn)效果(例如，產(chǎn)生相對(duì)較多或較少的深度)。舉例來說，為了產(chǎn)生相對(duì)較多的感知深度，目的地裝置16可合成具有相對(duì)遠(yuǎn)離經(jīng)譯碼視圖的相機(jī)位置的相機(jī)位置的視圖，而為了產(chǎn)生相對(duì)較少的感知深度，目的地裝置16可合成具有相對(duì)靠近于經(jīng)譯碼視圖的相機(jī)位置的相機(jī)位置的視圖。以此方式，目的地裝置16可經(jīng)配置以使用相機(jī)參數(shù)(例如，位流的經(jīng)譯碼視圖的真實(shí)世界相機(jī)位置)以合成視圖，所述合成視圖用以在與位流的視圖一起顯示時(shí)產(chǎn)生三維效果。
[0060]經(jīng)譯碼位流8可由調(diào)制解調(diào)器23根據(jù)例如碼分多址(CDMA)或另一通信標(biāo)準(zhǔn)等通信標(biāo)準(zhǔn)來調(diào)制，且經(jīng)由發(fā)射器24和通信信道15發(fā)射到目的地裝置16。調(diào)制解調(diào)器23可包含各種混頻器、濾波器、放大器或經(jīng)設(shè)計(jì)以用于信號(hào)調(diào)制的其它組件。發(fā)射器24可包含經(jīng)設(shè)計(jì)以用于發(fā)射數(shù)據(jù)的電路，包含放大器、濾波器和一個(gè)或一個(gè)以上天線。在一些實(shí)例中，并非經(jīng)由通信信道發(fā)射，而是源裝置12將經(jīng)編碼視頻數(shù)據(jù)(例如，經(jīng)譯碼位流8)存儲(chǔ)到存儲(chǔ)媒體上，所述存儲(chǔ)媒體例如數(shù)字視頻光盤(DVD)、藍(lán)光光盤、閃存驅(qū)動(dòng)器或其類似者。
[0061]目的地裝置16的接收器26經(jīng)由通信信道15接收信息，且調(diào)制解調(diào)器27解調(diào)所述信息。與發(fā)射器24相似，接收器26可包含經(jīng)設(shè)計(jì)以用于接收數(shù)據(jù)的電路，包含放大器、濾波器和一個(gè)或一個(gè)以上天線。在一些情況下，發(fā)射器24和/或接收器26可并入于包含接收和發(fā)射電路兩者的單一收發(fā)器組件內(nèi)。調(diào)制解調(diào)器27可包含各種混頻器、濾波器、放大器或經(jīng)設(shè)計(jì)以用于信號(hào)解調(diào)的其它組件。在一些情況下，調(diào)制解調(diào)器23和27可包含用于執(zhí)行調(diào)制和解調(diào)兩者的組件。
[0062]術(shù)語“譯碼器”在本文中用以指代執(zhí)行視頻編碼或視頻解碼的專用計(jì)算機(jī)裝置或設(shè)備。術(shù)語“譯碼器”通常是指任何視頻編碼器、視頻解碼器，或組合式編碼器/解碼器(編解碼器(codec))。術(shù)語“譯碼”指代編碼或解碼。術(shù)語“經(jīng)譯碼視頻數(shù)據(jù)”可指視頻數(shù)據(jù)的任何可獨(dú)立解碼的單元，例如塊、整個(gè)幀、幀的片段、視頻數(shù)據(jù)的塊，或根據(jù)所使用的譯碼技術(shù)而定義的另一可獨(dú)立解碼單元。
[0063]顯示裝置30向用戶顯示經(jīng)解碼的視頻數(shù)據(jù)，且可包括多種一個(gè)或一個(gè)以上顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示器(IXD)、等離子體顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。在一些實(shí)例中，顯示裝置30對(duì)應(yīng)于能夠進(jìn)行三維播放的裝置。舉例來說，顯示裝置30可包括立體顯示器，其結(jié)合檢視者佩戴的眼鏡來使用。眼鏡可包括有源眼鏡，在所述情況下，顯示裝置30與有源眼鏡的鏡片的交替快門開閉(shuttering)同步地在不同視圖的圖像之間快速交替?；蛘撸坨R可包括無源眼鏡，在所述情況下，顯示裝置30同時(shí)顯示來自不同視圖的圖像，且無源眼鏡可包含偏振鏡片，所述偏振鏡片通常在正交方向上發(fā)生偏振以在不同視圖之間進(jìn)行過濾。
[0064]在圖1的實(shí)例中，通信信道15可包括任何無線或有線通信媒體，例如，射頻(RF)頻譜或一個(gè)或一個(gè)以上物理傳輸線或者無線和有線媒體的任何組合。通信信道15可形成基于包的網(wǎng)絡(luò)的部分，所述基于包的網(wǎng)絡(luò)例如局域網(wǎng)、廣域網(wǎng)、或例如因特網(wǎng)等全球網(wǎng)絡(luò)。通信信道15大體上表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到目的地裝置16的任何合適的通信媒體或不同通信媒體的集合。通信信道15可包含路由器、交換機(jī)、基站，或可用于促進(jìn)從源裝置12到目的地裝置16的通信的任何其它設(shè)備。
[0065]視頻編碼器22和視頻解碼器28可根據(jù)視頻壓縮標(biāo)準(zhǔn)(例如，ITU-T H.264標(biāo)準(zhǔn)，或者被描述為MPEG-4第10部分，高級(jí)視頻譯碼(AVC))而操作?？捎梢曨l編碼器22和視頻解碼器28使用的基于ITU H.264/AVC標(biāo)準(zhǔn)的額外視頻壓縮標(biāo)準(zhǔn)包含可分級(jí)視頻譯碼(SVC)標(biāo)準(zhǔn)，其為ITU H.264/AVC標(biāo)準(zhǔn)的可分級(jí)擴(kuò)展。視頻編碼器22和視頻解碼器28的操作可以依據(jù)的另一標(biāo)準(zhǔn)包含多視圖視頻譯碼(MVC)標(biāo)準(zhǔn)，其為ITU H.264/AVC標(biāo)準(zhǔn)的多視圖擴(kuò)展。然而，本發(fā)明的技術(shù)不限于任何特定視頻譯碼標(biāo)準(zhǔn)。
[0066]在一些方面中，視頻編碼器22和視頻解碼器28可各自與音頻編碼器和解碼器集成，且可包含適當(dāng)?shù)亩嗦窂?fù)用器-多路分用器(MUX-DEMUX)單元或其它硬件和軟件，以處理對(duì)共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻與視頻兩者的編碼。如果適用，MUX-DEMUX單元可符合ITU H.223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)等其它協(xié)議。
[0067]視頻編碼器22和視頻解碼器28各自可實(shí)施為一個(gè)或一個(gè)以上微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當(dāng)本發(fā)明的技術(shù)中的任一者或全部以軟件實(shí)施時(shí)，實(shí)施裝置可進(jìn)一步包含用于存儲(chǔ)和/或執(zhí)行軟件的指令的硬件，例如用于存儲(chǔ)指令的存儲(chǔ)器和用于執(zhí)行指令的一個(gè)或一個(gè)以上處理單元。視頻編碼器22和視頻解碼器28中的每一者可包含在一個(gè)或一個(gè)以上編碼器或解碼器中，其任一者可作為提供編碼和解碼能力的組合式編解碼器的部分集成在相應(yīng)移動(dòng)裝置、訂戶裝置、廣播裝置、服務(wù)器或其類似者中。
[0068]視頻序列通常包含也被稱作視頻圖片的一系列視頻幀。視頻編碼器22對(duì)個(gè)別視頻幀內(nèi)的視頻塊操作以便對(duì)視頻數(shù)據(jù)進(jìn)行編碼。所述視頻塊可具有固定的或變化的大小，且可根據(jù)指定的譯碼標(biāo)準(zhǔn)而大小不同。每一視頻幀包含一系列一個(gè)或一個(gè)以上片段。在ITU-T H.264標(biāo)準(zhǔn)中，例如,每一片段可包含一系列宏塊,其可布置成子塊。H.264標(biāo)準(zhǔn)支持用于二維(2D)視頻編碼的各種塊大小(例如，對(duì)于亮度分量的16乘16、8乘8或4乘以4，以及對(duì)于色度分量的8X8)的幀內(nèi)預(yù)測(cè)，以及各種塊大小(例如,對(duì)于亮度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4以及對(duì)于色度分量的對(duì)應(yīng)的按比例調(diào)整的大小)的幀間預(yù)測(cè)。視頻塊可包括像素?cái)?shù)據(jù)塊或(例如)在例如離散余弦變換(DCT)等變換過程或概念上類似的變換過程之后的變換系數(shù)塊。這些技術(shù)可擴(kuò)展到包含兩個(gè)分量(紋理和深度)的3D視頻流。
[0069]較小的視頻塊可提供較佳的分辨率，且可用于包含高細(xì)節(jié)級(jí)別的視頻幀的位置。一般來說，宏塊和各種子塊可被視為視頻塊。另外，視頻數(shù)據(jù)片段可被視為一系列視頻塊，例如宏塊和/或子塊。每一片段可為視頻幀的可獨(dú)立解碼單元?；蛘撸瑤陨砜蔀榭山獯a單元，或可將幀的其它部分定義為可解碼單元。
[0070]ITU-T H.264標(biāo)準(zhǔn)的2D視頻數(shù)據(jù)單元(例如，幀或片段)可通過除了所述視頻幀或片段的紋理分量4之外還對(duì)來自深度圖或視差圖的深度信息6進(jìn)行編碼而擴(kuò)展到3D。視差映射(也被稱作虛擬位移映射或偏移映射)基于像素位置處的檢視角度和高度圖的函數(shù)使像素位置處的紋理分量發(fā)生位移。視頻編碼器22可將深度信息編碼為單色視頻。視圖的此單色視頻經(jīng)編碼深度信息可經(jīng)編碼且連同相同視圖的紋理分量一起囊封于視頻單元(例如，位流)中。根據(jù)本發(fā)明的技術(shù)，視頻數(shù)據(jù)的視圖的視圖分量可包含經(jīng)譯碼且一起囊封于同一位流中的紋理和深度分量?jī)烧摺Ｒ晥D分量為包含特定視圖(例如，特定相機(jī)或視頻捕獲元件)的在共同時(shí)間實(shí)例內(nèi)的所有數(shù)據(jù)的數(shù)據(jù)單元。
[0071]為了對(duì)視頻塊(例如，組成經(jīng)譯碼位流8的分量的視頻塊)進(jìn)行編碼，視頻編碼器22執(zhí)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)以產(chǎn)生一個(gè)或一個(gè)以上預(yù)測(cè)塊。視頻編碼器22可產(chǎn)生紋理分量數(shù)據(jù)單元(例如，幀或片段)和深度分量數(shù)據(jù)單元的預(yù)測(cè)塊。另外，視頻編碼器22可執(zhí)行視圖內(nèi)或視圖間預(yù)測(cè)以產(chǎn)生視圖的一個(gè)或一個(gè)以上預(yù)測(cè)塊，其中視圖內(nèi)預(yù)測(cè)可利用同一視圖內(nèi)的分量之間的相依性，且視圖間預(yù)測(cè)可利用不同視圖的分量之間的相依性。
[0072]視頻編碼器22從待編碼的原始視頻塊減去預(yù)測(cè)塊以產(chǎn)生殘余塊。因此，殘余塊可表示經(jīng)譯碼的塊與預(yù)測(cè)塊之間的逐像素差異。視頻編碼器22可對(duì)殘余塊執(zhí)行變換以產(chǎn)生變換系數(shù)塊。在基于幀內(nèi)或幀間的預(yù)測(cè)性譯碼和變換技術(shù)之后，視頻編碼器22可將變換系數(shù)量化。量化一般指代將系數(shù)量化以可能地減少用于表示系數(shù)的數(shù)據(jù)量的過程。在量化之后，可根據(jù)熵譯碼方法來執(zhí)行熵譯碼，例如，上下文自適應(yīng)可變長(zhǎng)度譯碼(CAVLC)或上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)。下文關(guān)于圖2描述由視頻編碼器22執(zhí)行的編碼過程的額外細(xì)節(jié)。
[0073]目前正在努力開發(fā)當(dāng)前被稱作高效率視頻譯碼(HEVC)的新的視頻譯碼標(biāo)準(zhǔn)。即將到來的標(biāo)準(zhǔn)也被稱作H.265。所述標(biāo)準(zhǔn)化努力是基于視頻譯碼裝置的模型，其被稱作HEVC測(cè)試模型(腿)。HM假設(shè)了視頻譯碼裝置優(yōu)于根據(jù)(例如)ITU-T H.264/AVC的裝置的若干能力。舉例來說，盡管H.264提供九個(gè)幀內(nèi)預(yù)測(cè)編碼模式，但HM提供多達(dá)34個(gè)幀內(nèi)預(yù)測(cè)編碼模式。ffivc可經(jīng)擴(kuò)展以支持如本文中所描述的兩分量視頻單元。
[0074]HM將視頻數(shù)據(jù)塊稱為譯碼單元(CU)。位流內(nèi)的語法數(shù)據(jù)可界定最大譯碼單元(LCU)，其在像素?cái)?shù)目方面為最大的譯碼單元。一般來說，CU具有與H.264的宏塊類似的用途，只是CU不具有大小區(qū)別。兩分量(即，紋理和深度分量)經(jīng)譯碼塊可為根據(jù)HM標(biāo)準(zhǔn)的CU。因此，CU可分裂成子CU。一般來說，本發(fā)明中對(duì)CU的引用可指圖片的最大譯碼單元(IXU)或IXU的子⑶。IXU可分裂成子⑶，且每一子⑶可分裂成子⑶。位流的語法數(shù)據(jù)可界定LCU可被分裂的最大次數(shù)(稱為CU深度)。因此，位流還可界定最小譯碼單元(SCU)。本發(fā)明還使用術(shù)語“塊”來指CU、預(yù)測(cè)單元(PU)或變換單元(TU)中的任一者。
[0075]IXU可與四叉樹數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。一般來說，四叉樹數(shù)據(jù)結(jié)構(gòu)中的每一⑶包含一個(gè)節(jié)點(diǎn)，其中根節(jié)點(diǎn)對(duì)應(yīng)于IXU。如果⑶分裂成四個(gè)子⑶，那么對(duì)應(yīng)于⑶的節(jié)點(diǎn)包含四個(gè)葉節(jié)點(diǎn)，所述葉節(jié)點(diǎn)中的每一者對(duì)應(yīng)于子CU中的一者。四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點(diǎn)可提供用于對(duì)應(yīng)CU的語法數(shù)據(jù)。舉例來說，四叉樹中的節(jié)點(diǎn)可包含分裂旗標(biāo)，其指示對(duì)應(yīng)于節(jié)點(diǎn)的CU是否分裂成子CU。用于CU的語法元素可以遞歸地定義，且可取決于CU是否分裂成子CU。
[0076]不分裂的⑶可包含一個(gè)或一個(gè)以上預(yù)測(cè)單元(PU)。一般來說，PU表示所有或一部分的對(duì)應(yīng)CU，且包含用于檢索PU的參考樣本的數(shù)據(jù)。舉例來說，當(dāng)是以幀內(nèi)模式編碼時(shí)，PU可包含描述所述PU的幀內(nèi)預(yù)測(cè)模式的數(shù)據(jù)。作為另一實(shí)例，當(dāng)是以幀間模式編碼時(shí)，PU可包含界定所述PU的運(yùn)動(dòng)向量的數(shù)據(jù)。界定運(yùn)動(dòng)向量的數(shù)據(jù)可描述(例如)運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運(yùn)動(dòng)向量指向的參考幀，和/或用于運(yùn)動(dòng)向量的參考列表(例如，列表0或列表I)。運(yùn)動(dòng)向量還可被視為對(duì)于紋理分量4和深度信息6具有不同分辨率。界定
的⑶的數(shù)據(jù)還可描述(例如)⑶到一個(gè)或一個(gè)以上I3U的分割。在⑶是未經(jīng)譯碼、經(jīng)幀內(nèi)預(yù)測(cè)模式編碼還是經(jīng)幀間預(yù)測(cè)模式編碼之間，分割模式可不同。
[0077]具有一個(gè)或一個(gè)以上I3U的⑶還可包含一個(gè)或一個(gè)以上變換單元(TU)。在使用PU進(jìn)行預(yù)測(cè)之后，視頻編碼器22可計(jì)算對(duì)應(yīng)于的CU部分的殘余值?？蓪?duì)殘余值進(jìn)行變換、掃描和量化。TU未必限于PU的大小。因此,TU可大于或小于相同CU的對(duì)應(yīng)PU。在一些實(shí)例中，TU的最大大小可對(duì)應(yīng)于對(duì)應(yīng)CU的大小。
[0078]如上文所述，幀內(nèi)預(yù)測(cè)包含從同一圖片的先前經(jīng)譯碼⑶預(yù)測(cè)圖片的當(dāng)前⑶的W。更具體來說，視頻編碼器22可使用特定幀內(nèi)預(yù)測(cè)模式來對(duì)圖片的當(dāng)前CU進(jìn)行幀內(nèi)預(yù)測(cè)。HM編碼器可經(jīng)配置以具有多達(dá)34個(gè)幀內(nèi)預(yù)測(cè)模式。因此，為了支持方向幀內(nèi)預(yù)測(cè)模式與方向變換之間的一對(duì)一映射，HM編碼器和解碼器將需要為每一所支持變換大小存儲(chǔ)66個(gè)矩陣。此外,支持所有34個(gè)幀內(nèi)預(yù)測(cè)模式的塊大小可為相對(duì)大的塊，例如32X32像素、64X64像素或甚至更大。
[0079]在對(duì)紋理和深度分量中的每一者進(jìn)行編碼之后，視頻編碼器22可確定一視圖的紋理和深度分量之間和/或不同視圖的紋理和深度分量之間的任何預(yù)測(cè)相依性。源裝置12可通過將紋理和深度分量囊封到對(duì)應(yīng)于視圖的同一時(shí)間實(shí)例的相應(yīng)VCL NAL單元中來實(shí)施本發(fā)明的技術(shù)，所述VCL NAL單元可被視為共同視圖分量。本發(fā)明的技術(shù)可用于在位流(例如，經(jīng)譯碼位流8)中對(duì)視圖的紋理數(shù)據(jù)和深度圖數(shù)據(jù)進(jìn)行連續(xù)譯碼。為了將視圖分量的紋理和深度圖信息分離，視頻編碼器22可在位流中添加定界符，例如指示視圖分量的紋理信息的結(jié)束以及深度信息的開始的NAL單元定界符。另外，視頻編碼器22可在位流內(nèi)用信號(hào)發(fā)出視圖內(nèi)和視圖間預(yù)測(cè)相依性以及與視圖合成預(yù)測(cè)相關(guān)聯(lián)的參數(shù)。
[0080]根據(jù)本發(fā)明的另一方面，視頻編碼器22可在視頻數(shù)據(jù)中用信號(hào)發(fā)出相機(jī)參數(shù)，且可進(jìn)一步描述深度值到真實(shí)世界z值的映射。視頻數(shù)據(jù)還可描述深度圖視圖與紋理視圖的預(yù)測(cè)關(guān)系。視頻編碼器22可在序列級(jí)(例如，在序列參數(shù)集(SPS)數(shù)據(jù)結(jié)構(gòu)中)、圖片級(jí)(例如，在圖片參數(shù)集(PPS)數(shù)據(jù)結(jié)構(gòu)或幀標(biāo)頭中)、片段級(jí)(例如，在片段標(biāo)頭中)或塊級(jí)(例如，在塊標(biāo)頭中)用信號(hào)發(fā)出這些額外參數(shù)和信息。
[0081]在目的地裝置16中，視頻解碼器28接收經(jīng)編碼視頻數(shù)據(jù)(例如，經(jīng)譯碼位流8)。視頻解碼器28可使用指示NAL單元是否包含紋理或深度信息的旗標(biāo)將紋理NAL單元(例如，紋理分量)與深度NAL單元(例如，深度分量)區(qū)分，如下文所論述。在對(duì)深度分量進(jìn)行解碼之后，目的地裝置16可使用一個(gè)2D視圖(即，紋理信息)且舍棄其它視圖和深度信息；使用一個(gè)2D視圖及其對(duì)應(yīng)深度信息來合成虛擬視圖以進(jìn)行3D播放；使用兩個(gè)或兩個(gè)以上2D視圖以進(jìn)行3D播放；或使用多個(gè)視圖及其深度信息以產(chǎn)生多個(gè)虛擬視圖以進(jìn)行多視圖播放。確定如何播放內(nèi)容可取決于若干因素，例如顯示裝置30的裝置類型和顯示裝置30所支持的視頻格式。
[0082]在將經(jīng)譯碼位流8的紋理和深度分量分離之后，視頻解碼器28根據(jù)熵譯碼方法(例如CAVLC或CABAC)對(duì)所接收視頻數(shù)據(jù)(例如，對(duì)應(yīng)于分量中的每一者的經(jīng)譯碼塊)進(jìn)行熵解碼，以獲得經(jīng)量化系數(shù)。視頻解碼器28應(yīng)用反量化(解量化)和反變換功能以重建構(gòu)像素域中的殘余塊。視頻解碼器28還基于包含于經(jīng)編碼視頻數(shù)據(jù)中的控制信息或語法信息(例如，譯碼模式、運(yùn)動(dòng)向量、界定濾波器系數(shù)的語法等)產(chǎn)生預(yù)測(cè)塊。視頻解碼器28可計(jì)算預(yù)測(cè)塊與經(jīng)重建構(gòu)殘余塊的和以產(chǎn)生經(jīng)重建構(gòu)視頻塊以供顯示。下文關(guān)于圖7描述由視頻解碼器28執(zhí)行的實(shí)例解碼過程的額外細(xì)節(jié)。
[0083]如本文中所描述，紋理信息可包括三個(gè)分量，例如，Y可表示亮度，Cb和Cr可表示三維YCbCr顏色空間的色度的兩個(gè)不同值(例如，藍(lán)和紅色調(diào))，且D可表示深度信息。在一些實(shí)例中，每一像素位置可實(shí)際上界定像素的紋理的一個(gè)像素值和像素位置的深度的一個(gè)像素值。舉例來說，紋理值可包括表示亮度和色度分量的兩個(gè)或兩個(gè)以上值。另外，深度和紋理分量可具有不同分辨率。深度分量和紋理分量?jī)烧呖煞指畛上鄳?yīng)的像素塊，所述像素塊中的每一者可經(jīng)個(gè)別地譯碼。
[0084]在一些實(shí)例中，視頻編碼器22和視頻解碼器28可在運(yùn)動(dòng)補(bǔ)償期間使用一種或一種以上內(nèi)插濾波技術(shù)。即，視頻編碼器22和/或視頻解碼器28可將內(nèi)插濾波器應(yīng)用于包括全整數(shù)像素位置的集合的濾波器支持。
[0085]如上文所述，目的地裝置16的視頻解碼器28可接收經(jīng)譯碼位流8，經(jīng)譯碼位流8可包含紋理和深度分量以及額外信息，所述額外信息包含預(yù)測(cè)相依性和關(guān)于與紋理和深度分量相關(guān)聯(lián)的視圖的信息。另外，可針對(duì)視圖用信號(hào)發(fā)出相機(jī)參數(shù)。視頻解碼器28可基于經(jīng)譯碼位流8的分量以及包含視圖信息和相機(jī)參數(shù)的一個(gè)或一個(gè)以上額外信息呈現(xiàn)視頻數(shù)據(jù)以進(jìn)行3D播放。根據(jù)本發(fā)明的技術(shù)，且如下文更詳細(xì)論述，可利用一個(gè)或一個(gè)以上視圖的所包含的信息，從一個(gè)或一個(gè)以上其它視圖的紋理分量預(yù)測(cè)一個(gè)視圖的紋理分量，且基于同一視圖的紋理分量和/或一個(gè)或一個(gè)以上其它視圖的深度分量預(yù)測(cè)一個(gè)視圖的深度分量。
[0086]圖2是進(jìn)一步詳細(xì)說明圖1的視頻編碼器22的實(shí)例的框圖。視頻編碼器22可對(duì)與對(duì)應(yīng)于由視頻源提供的不同視圖的圖像相關(guān)聯(lián)的塊單元進(jìn)行編碼，其中每一視圖可包括紋理分量和深度分量。視頻編碼器22為專用視頻計(jì)算機(jī)裝置或設(shè)備(本文中被稱作“譯碼器”)的一個(gè)實(shí)例。如圖2中所示，視頻編碼器22對(duì)應(yīng)于源裝置12的視頻編碼器22。然而，在其它實(shí)例中，視頻編碼器22可對(duì)應(yīng)于不同裝置。在其它實(shí)例中，其它單元(例如，其它編碼器/解碼器(CODECS))還可執(zhí)行與由視頻編碼器22執(zhí)行的技術(shù)類似的技術(shù)。
[0087]視頻編碼器22可執(zhí)行視頻幀內(nèi)的塊的幀內(nèi)譯碼和幀間譯碼，但為便于說明，在圖2中未展示幀內(nèi)譯碼分量。幀內(nèi)譯碼依賴于空間預(yù)測(cè)以減少或移除給定視頻幀內(nèi)的視頻中的空間冗余。幀間譯碼依賴于時(shí)間預(yù)測(cè)以減少或移除視頻序列的相鄰幀內(nèi)的視頻中的時(shí)間冗余。幀內(nèi)模式(I模式)可指基于空間的壓縮模式。例如預(yù)測(cè)(P模式)或雙向(B模式)等幀間模式可指基于時(shí)間的壓縮模式。然而，為了簡(jiǎn)潔以及便于說明，例如空間預(yù)測(cè)單元等幀內(nèi)譯碼單元未在圖2中說明。
[0088]如圖2中所示，視頻編碼器22接收與待編碼的視頻幀的紋理和深度分量相關(guān)聯(lián)的視頻塊，其中視頻幀可對(duì)應(yīng)于特定時(shí)間時(shí)的多個(gè)視圖中的一者。舉例來說，視頻編碼器22可接收紋理分量4和深度分量6。在圖2的實(shí)例中，視頻編碼器22包含預(yù)測(cè)譯碼單元(MCU) 32、存儲(chǔ)器34、加法器48、變換單元38、量化單元40和熵譯碼單元46。為了視頻塊重建構(gòu)，視頻編碼器22還包含反量化單元42、反變換單元44、加法器51和解塊單元43。解塊單元43可為解塊濾波器，所述解塊濾波器可對(duì)塊邊界進(jìn)行濾波以從經(jīng)重建構(gòu)視頻移除成塊假影。如果包含于視頻編碼器22中，那么解塊單元43通常將對(duì)加法器51的輸出進(jìn)行濾波。在一個(gè)實(shí)例中，如圖2中所示，就HEVC而言，變換單元38可為功能塊，而不是“TU”。解塊單元43可確定一個(gè)或一個(gè)以上紋理分量的解塊信息。解塊單元43還可確定深度圖分量的解塊信息。在一些實(shí)例中，一個(gè)或一個(gè)以上紋理分量的解塊信息可不同于深度圖分量的解塊信息。
[0089]在一些實(shí)例中，視頻編碼器22可包含視圖合成單元，用于合成虛擬視圖以用于在對(duì)其它視圖的數(shù)據(jù)進(jìn)行編碼時(shí)參考。視圖合成單元出于清楚起見未展示于圖2的說明中，但當(dāng)提供時(shí)，一般將檢索來自存儲(chǔ)器34的數(shù)據(jù)(例如，特定視圖分量的紋理和深度信息)，使用所檢索的數(shù)據(jù)合成包含紋理信息的視圖分量，以及將合成的視圖分量存儲(chǔ)到存儲(chǔ)器34以便在對(duì)其它視圖的視頻數(shù)據(jù)進(jìn)行譯碼時(shí)用作參考。
[0090]預(yù)測(cè)單元32接收包括紋理分量4或深度信息6的視頻塊(在圖2中標(biāo)記為“視頻塊”)。預(yù)測(cè)單元32可包含運(yùn)動(dòng)估計(jì)(ME)單元35和運(yùn)動(dòng)補(bǔ)償(MC)單元37。預(yù)測(cè)單元32可預(yù)測(cè)深度分量塊中的深度信息和紋理分量塊中的紋理信息。一個(gè)或一個(gè)以上內(nèi)插濾波器39 (本文中被稱作“濾波器39”)可包含于預(yù)測(cè)單元32中，且可由ME單元35和MC單元37中的一者或兩者調(diào)用以執(zhí)行作為運(yùn)動(dòng)估計(jì)和/或運(yùn)動(dòng)補(bǔ)償?shù)牟糠值膬?nèi)插。內(nèi)插濾波器39可實(shí)際上表示多個(gè)不同濾波器以促進(jìn)眾多不同類型的內(nèi)插和內(nèi)插型濾波。因此，預(yù)測(cè)單元32可包含多個(gè)內(nèi)插濾波器或類內(nèi)插濾波器。預(yù)測(cè)單元32可使用來自同一視圖和/或與共同時(shí)間實(shí)例相關(guān)聯(lián)的其它視圖的深度和/或紋理信息來預(yù)測(cè)深度和/或紋理信息。預(yù)測(cè)單元32還可執(zhí)行視圖合成預(yù)測(cè)，其可提供允許相對(duì)于合成視圖的數(shù)據(jù)對(duì)視圖的塊進(jìn)行預(yù)測(cè)的預(yù)測(cè)信息。
[0091]在編碼過程期間，視頻編碼器22接收待譯碼的視頻塊(在圖2中標(biāo)記為“視頻塊”)，且預(yù)測(cè)單元32執(zhí)行幀間預(yù)測(cè)譯碼以產(chǎn)生預(yù)測(cè)塊(在圖2中標(biāo)記為“預(yù)測(cè)塊”)。待譯碼的視頻塊和預(yù)測(cè)塊各自可對(duì)應(yīng)于紋理分量4和深度分量6。具體來說，ME單元35可執(zhí)行運(yùn)動(dòng)估計(jì)以識(shí)別存儲(chǔ)器34中的預(yù)測(cè)塊，且MC單元37可執(zhí)行運(yùn)動(dòng)補(bǔ)償以產(chǎn)生預(yù)測(cè)塊。ME單元35和MC單元37可分別使用對(duì)應(yīng)于來自同一視圖或與共同時(shí)間實(shí)例相關(guān)聯(lián)的其它視圖的紋理和/或深度分量的塊，來執(zhí)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。ME單元35可實(shí)際上在執(zhí)行視圖間預(yù)測(cè)時(shí)產(chǎn)生“位移向量”，其概念上類似于運(yùn)動(dòng)向量，但一般來說預(yù)測(cè)歸因于相應(yīng)視圖的相機(jī)的水平位置的差異造成的特定塊的水平偏移，而不是隨時(shí)間的流逝對(duì)象的運(yùn)動(dòng)。MC單元37因此也可被稱作“運(yùn)動(dòng)/位移補(bǔ)償單元”。以此方式，ME單元35和MC單元37可作出可用于紋理和深度分量的視圖間和視圖內(nèi)預(yù)測(cè)中的確定。
[0092]運(yùn)動(dòng)估計(jì)通常被視為產(chǎn)生對(duì)視頻塊的運(yùn)動(dòng)進(jìn)行估計(jì)的運(yùn)動(dòng)向量的過程。舉例來說，運(yùn)動(dòng)向量可指示預(yù)測(cè)或參考幀(或其它經(jīng)譯碼單元，例如片段)內(nèi)的預(yù)測(cè)塊相對(duì)于當(dāng)前幀(或其它經(jīng)譯碼單元)內(nèi)待譯碼的塊的位移。運(yùn)動(dòng)向量可具有全整數(shù)或分段整數(shù)像素精度。舉例來說，運(yùn)動(dòng)向量的水平分量和垂直分量?jī)烧呖删哂邢鄳?yīng)全整數(shù)分量和分段整數(shù)分量。參考幀(或幀的部分)可在時(shí)間上位于當(dāng)前視頻塊所屬于的視頻幀(或視頻幀的部分)之前或之后。運(yùn)動(dòng)補(bǔ)償通常被視為從存儲(chǔ)器34提取或產(chǎn)生預(yù)測(cè)塊的過程，所述過程可包含基于由運(yùn)動(dòng)估計(jì)確定的運(yùn)動(dòng)向量?jī)?nèi)插或以其它方式產(chǎn)生預(yù)測(cè)性數(shù)據(jù)。
[0093]ME單元35通過比較視頻塊與一個(gè)或一個(gè)以上參考幀(例如，先前和/或后續(xù)的幀或來自同一時(shí)間實(shí)例時(shí)的其它視圖的幀)的參考?jí)K來計(jì)算待譯碼的視頻塊的至少一個(gè)運(yùn)動(dòng)向量。參考幀的數(shù)據(jù)(例如，紋理和/或深度分量)可存儲(chǔ)于存儲(chǔ)器34中。ME單元35可執(zhí)行具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)估計(jì)，其有時(shí)被稱作分?jǐn)?shù)像素、分?jǐn)?shù)像元、分段整數(shù)或子像素運(yùn)動(dòng)估計(jì)。在分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)中，ME單元35可計(jì)算運(yùn)動(dòng)向量，其指示到除了整數(shù)像素位置之外的位置的位移。因此，運(yùn)動(dòng)向量可具有分?jǐn)?shù)像素精度，例如，二分之一像素精度、四分之一像素精度、八分之一像素精度或其它分?jǐn)?shù)像素精度。以此方式，分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)允許預(yù)測(cè)單元32以高于整數(shù)像素(或全像素)位置的精度對(duì)運(yùn)動(dòng)進(jìn)行估計(jì)，且因此預(yù)測(cè)單元32可產(chǎn)生更精確的預(yù)測(cè)塊。
[0094]ME單元35可在運(yùn)動(dòng)估計(jì)過程期間調(diào)用濾波器39以用于任何必要的內(nèi)插。在一些實(shí)例中，存儲(chǔ)器34可存儲(chǔ)分段整數(shù)像素的經(jīng)內(nèi)插值，所述值可由(例如)求和器51使用濾波器39來計(jì)算。舉例來說，求和器51可將濾波器39應(yīng)用于待存儲(chǔ)于存儲(chǔ)器34中的經(jīng)重建構(gòu)塊。
[0095]為了執(zhí)行分?jǐn)?shù)像素運(yùn)動(dòng)補(bǔ)償，MC單元37可執(zhí)行內(nèi)插(有時(shí)被稱作內(nèi)插濾波)以便產(chǎn)生在子像素分辨率下的數(shù)據(jù)(在本文中被稱作子像素或分?jǐn)?shù)像素值)。MC單元37可調(diào)用濾波器39以用于此內(nèi)插。以此方式，預(yù)測(cè)單元32可計(jì)算參考?jí)K的分段整數(shù)像素位置的值，所述值接著可用以產(chǎn)生3D塊單元的深度和紋理分量中的每一者的視頻數(shù)據(jù)的預(yù)測(cè)塊。在一個(gè)實(shí)例中，可針對(duì)3D塊單元的紋理分量產(chǎn)生預(yù)測(cè)塊，且可利用3D塊單元的預(yù)測(cè)塊或紋理分量產(chǎn)生對(duì)應(yīng)于同一視圖或與共同時(shí)間實(shí)例相關(guān)聯(lián)的其它視圖的同一 3D塊單元的深度分量。
[0096]一旦待譯碼的視頻塊的運(yùn)動(dòng)向量由ME單元35計(jì)算出，MC單元37即產(chǎn)生與所述運(yùn)動(dòng)向量相關(guān)聯(lián)的預(yù)測(cè)視頻塊。MC單元37可基于由MC單元35確定的運(yùn)動(dòng)向量從存儲(chǔ)器34提取預(yù)測(cè)塊。在具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)向量的情況下，MC單元37可對(duì)來自存儲(chǔ)器34的數(shù)據(jù)進(jìn)行濾波以將此數(shù)據(jù)內(nèi)插到子像素分辨率，例如在此過程內(nèi)調(diào)用濾波器39。
[0097]在一些情況下，對(duì)應(yīng)于用以將此數(shù)據(jù)內(nèi)插到子像素分辨率的濾波器系數(shù)的全整數(shù)像素位置可指示為用于包含在經(jīng)譯碼位流中的到熵譯碼單元46的一個(gè)或一個(gè)以上內(nèi)插語法元素。類似地，用以產(chǎn)生子像素預(yù)測(cè)數(shù)據(jù)的內(nèi)插濾波技術(shù)或模式還可指示為用于包含在經(jīng)譯碼位流中的到熵譯碼單元46的一個(gè)或一個(gè)以上內(nèi)插語法元素。
[0098]一旦預(yù)測(cè)單元32已產(chǎn)生預(yù)測(cè)塊，視頻編碼器22即通過從正譯碼的原始視頻塊減去預(yù)測(cè)塊而形成殘余視頻塊(在圖2中標(biāo)記為“殘余塊”)。此減法可發(fā)生在原始視頻塊中的紋理分量與紋理預(yù)測(cè)塊中的紋理分量之間，以及針對(duì)原始視頻塊中的深度信息或深度預(yù)測(cè)塊中的深度信息的深度圖。加法器48表示執(zhí)行此減法運(yùn)算的組件。
[0099]變換單元38將例如離散余弦變換(DCT)或概念上類似的變換等變換應(yīng)用到殘余塊，從而產(chǎn)生包括殘余變換塊系數(shù)的視頻塊。應(yīng)理解，變換單元38表示視頻編碼器22的組件，其將變換應(yīng)用到視頻數(shù)據(jù)塊的殘余系數(shù)，這與由HEVC界定的CU的TU相反。舉例來說，變換單元38可執(zhí)行概念上類似于DCT的其它變換，例如由H.264標(biāo)準(zhǔn)界定的變換。舉例來說，此些變換可包含方向變換(例如，卡-洛定理變換)、小波變換、整數(shù)變換、子帶變換或其它類型的變換。在任何情況下，變換單元38將變換應(yīng)用于殘余塊，從而產(chǎn)生殘余變換系數(shù)的塊。變換單元38可將同一類型的變換應(yīng)用于對(duì)應(yīng)殘余塊中的紋理分量和深度分量?jī)烧摺⒋嬖谟糜诿恳患y理和深度分量的單獨(dú)殘余塊。變換可將殘余信息從像素域轉(zhuǎn)換到頻域。
[0100]量化單元40對(duì)殘余變換系數(shù)進(jìn)行量化以進(jìn)一步減小位速率。量化過程可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。量化單元40可對(duì)深度圖像譯碼殘余進(jìn)行量化。在量化之后，熵譯碼單元46對(duì)經(jīng)量化變換系數(shù)進(jìn)行熵譯碼。舉例來說，熵譯碼單元46可執(zhí)行CAVLC, CABAC或另一熵譯碼方法。
[0101]熵譯碼單元46還可對(duì)一個(gè)或一個(gè)以上運(yùn)動(dòng)向量進(jìn)行譯碼，且支持從預(yù)測(cè)單元32或視頻編碼器22的另一組件(例如，量化單元40)獲得的信息。一個(gè)或一個(gè)以上預(yù)測(cè)語法元素可包含譯碼模式、一個(gè)或一個(gè)以上運(yùn)動(dòng)向量的數(shù)據(jù)(例如，水平和垂直分量、參考列表識(shí)別符、列表索引和/或運(yùn)動(dòng)向量分辨率信令信息)、所使用的內(nèi)插技術(shù)的指示、一組濾波器系數(shù)、深度圖像的相對(duì)于亮度分量的分辨率的分辨率的指示、用于深度圖像譯碼殘余的量化矩陣、用于深度圖像的解塊信息或與預(yù)測(cè)塊的產(chǎn)生相關(guān)聯(lián)的其它信息。可在序列級(jí)或在圖片級(jí)提供這些預(yù)測(cè)語法元素。根據(jù)本發(fā)明的技術(shù)，熵譯碼單元46還可對(duì)關(guān)于視圖內(nèi)和視圖間預(yù)測(cè)相依性的信息和與視圖合成預(yù)測(cè)相關(guān)聯(lián)的參數(shù)進(jìn)行譯碼。
[0102]一個(gè)或一個(gè)以上語法元素還可包含紋理分量與深度分量之間的量化參數(shù)(QP)差異?？稍谄渭?jí)用信號(hào)發(fā)出QP差異。還可在經(jīng)譯碼塊單元級(jí)用信號(hào)發(fā)出其它語法元素，包含深度信息的經(jīng)譯碼塊模式、深度信息的增量QP、運(yùn)動(dòng)向量差異或與預(yù)測(cè)塊的產(chǎn)生相關(guān)聯(lián)的其它信息。運(yùn)動(dòng)向量差異可用信號(hào)發(fā)出為目標(biāo)運(yùn)動(dòng)向量與紋理分量的運(yùn)動(dòng)向量之間的增量值，或目標(biāo)運(yùn)動(dòng)向量(即，正譯碼的塊的運(yùn)動(dòng)向量)與來自所述塊的相鄰運(yùn)動(dòng)向量的預(yù)測(cè)子(例如，⑶的PU)之間的增量值。
[0103]根據(jù)本發(fā)明的技術(shù)，在由熵譯碼單元46進(jìn)行熵譯碼之后，視圖的紋理分量和深度分量可囊封到對(duì)應(yīng)于視圖的同一時(shí)間實(shí)例的VCL NAL單元中。熵譯碼單元46可將NAL單元標(biāo)頭添加到紋理或深度信息的相應(yīng)片段和幀，以將深度或紋理信息囊封于相應(yīng)NAL單元內(nèi)。視頻編碼器22還可在位流中添加NAL單元定界符，其指示視圖的紋理數(shù)據(jù)的結(jié)束和深度信息的開始?；蛘撸曨l編碼器22可設(shè)定包含于NAL單元標(biāo)頭中的深度旗標(biāo)的值，以指示NAL單元是否包含紋理或深度信息。
[0104]另外，本發(fā)明的技術(shù)可在位流內(nèi)提供關(guān)于視圖內(nèi)和視圖間預(yù)測(cè)相依性和與視圖合成預(yù)測(cè)相關(guān)聯(lián)的參數(shù)的信號(hào)。即，視頻編碼器22可提供指示用于供紋理分量和深度分量參考的特定元素的信息。囊封視圖的紋理和深度分量的經(jīng)譯碼位流接著可發(fā)射到另一裝置或經(jīng)存檔(例如，在存儲(chǔ)器34中)以供稍后發(fā)射或檢索。
[0105]反量化單元42和反變換單元44分別應(yīng)用反量化和反變換以在像素域中重建構(gòu)殘余塊，例如以供稍后用作參考?jí)K。經(jīng)重建構(gòu)殘余塊(在圖2中標(biāo)記為“經(jīng)重建構(gòu)殘余塊”)可表示被提供到變換單元38的殘余塊的經(jīng)重建構(gòu)版本。經(jīng)重建構(gòu)殘余塊可歸因于由量化和反量化操作引起的細(xì)節(jié)損失而不同于由求和器48產(chǎn)生的殘余塊。求和器51將經(jīng)重建構(gòu)的殘余塊加到由預(yù)測(cè)單元32產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)塊上，以產(chǎn)生經(jīng)重建構(gòu)視頻塊供存儲(chǔ)在存儲(chǔ)器34中。經(jīng)重建構(gòu)視頻塊可由預(yù)測(cè)單元32用作參考?jí)K，所述參考?jí)K可用以隨后對(duì)后續(xù)視頻幀或后續(xù)經(jīng)譯碼單元中的塊單元進(jìn)行譯碼。
[0106]以此方式，視頻編碼器22表示經(jīng)配置以進(jìn)行如下操作的視頻編碼器的實(shí)例:接收在視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)；接收對(duì)應(yīng)于在視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例內(nèi)的紋理數(shù)據(jù)的深度數(shù)據(jù)；以及囊封在視圖的時(shí)間實(shí)例內(nèi)的視圖分量中的紋理數(shù)據(jù)和深度數(shù)據(jù)，使得紋理數(shù)據(jù)和深度數(shù)據(jù)囊封于共同位流內(nèi)。視頻編碼器22還可用信號(hào)發(fā)出關(guān)于預(yù)測(cè)相依性的信息和用以捕獲視頻數(shù)據(jù)的視圖的紋理數(shù)據(jù)的相機(jī)的相機(jī)參數(shù)，所述預(yù)測(cè)相依性例如幀內(nèi)預(yù)測(cè)(例如，從同一視圖的其它深度信息預(yù)測(cè)深度信息)、時(shí)間或視圖間預(yù)測(cè)(例如，從不同視圖分量的深度信息或從不同視圖分量的紋理信息預(yù)測(cè)深度信息)。
[0107]圖3A到3B是說明可用于本發(fā)明的技術(shù)中的一者或一者以上的實(shí)施中的位流結(jié)構(gòu)的元素的實(shí)例的概念圖。位流可用以在(例如)圖1的源裝置12與目的地裝置16之間傳送兩分量MVD塊單元和語法元素。位流可符合譯碼標(biāo)準(zhǔn)ITU H.264/AVC，且具體來說，遵照MVC位流結(jié)構(gòu)。即，在一些實(shí)例中，位流可符合H.264/AVC的MVC擴(kuò)展。在其它實(shí)例中，位流可符合HEVC的多視圖擴(kuò)展或另一標(biāo)準(zhǔn)的多視圖擴(kuò)展。在又其它實(shí)例中，可使用其它譯碼標(biāo)準(zhǔn)。[0108]典型MVC位流次序(解碼次序)布置為時(shí)間優(yōu)先譯碼。每一存取單元經(jīng)界定以含有在一個(gè)輸出時(shí)間實(shí)例內(nèi)的所有視圖的經(jīng)譯碼圖片。存取單元的解碼次序可或可不與輸出或顯示次序相同。通常，MVC預(yù)測(cè)可包含每一視圖內(nèi)的圖片間預(yù)測(cè)和視圖間預(yù)測(cè)兩者。在MVC中，視圖間預(yù)測(cè)可由視差運(yùn)動(dòng)補(bǔ)償支持，所述視差運(yùn)動(dòng)補(bǔ)償使用H.264/AVC運(yùn)動(dòng)補(bǔ)償?shù)恼Z法，但允許不同視圖中的圖片用作參考圖片。
[0109]兩個(gè)視圖的譯碼由MVC支持。MVC的一個(gè)優(yōu)點(diǎn)為MVC編碼器可將兩個(gè)以上視圖當(dāng)作3D視頻輸入，且MVC解碼器可將兩個(gè)視圖解碼成多視圖表示。因此，具有MVC解碼器的呈現(xiàn)器可將3D視頻內(nèi)容視為具有多個(gè)視圖。先前，MVC并未處理深度圖輸入，類似于具有SEI消息(立體信息或空間交錯(cuò)圖片)的H.264/AVC。
[0110]在H.264/AVC標(biāo)準(zhǔn)中，網(wǎng)絡(luò)抽象層(NAL)單元經(jīng)界定以提供“網(wǎng)絡(luò)友好”視頻表示尋址應(yīng)用，例如視頻電話、存儲(chǔ)或流式傳輸視頻。NAL單元可分類為視頻譯碼層(VCL)NAL單元和非VCL NAL單元。VCL單元可含有核心壓縮引擎，且包括塊、宏塊(MB)和片段級(jí)。其它NAL單元為非VCL NAL單元。
[0111]對(duì)于2D視頻編碼，每一 NAL單元可含有一個(gè)字節(jié)的NAL單元標(biāo)頭和變化大小的有效負(fù)載?？墒褂梦鍌€(gè)位來指定NAL單元類型。三個(gè)位可用于nal_ref_idC，其指示NAL單元在由其它圖片(NAL單元)參考方面的重要程度。舉例來說，設(shè)定nal_ref_idC等于O意謂NAL單元未用于幀間預(yù)測(cè)。因?yàn)镠.264/AVC可經(jīng)擴(kuò)展以包含3D視頻編碼(例如，可分級(jí)視頻譯碼(SVC)標(biāo)準(zhǔn))，所以NAL標(biāo)頭可類似于2D情形的NAL標(biāo)頭。舉例來說，NAL單元標(biāo)頭中的一個(gè)或一個(gè)以上位可用以識(shí)別NAL單元為四分量NAL單元。
[0112]NAL單元標(biāo)頭還可用于MVC NAL單元。然而，在MVC中，可保留NAL單元標(biāo)頭結(jié)構(gòu)，除了前綴NAL單元和MVC經(jīng)譯碼片段NAL單元之外。MVC經(jīng)譯碼片段NAL單元可包括四個(gè)字節(jié)的標(biāo)頭和NAL單元有效負(fù)載，所述NAL單元有效負(fù)載可包含塊單元，例如圖1的經(jīng)譯碼塊8。MVC NAL單兀標(biāo)頭中的語法兀素可包含priority_id、temporal_id> anchor_pic_flag、view_id、non_idr_flag和inter_view_flag。在其它實(shí)例中，其它語法元素可包含在MVC NAL單元標(biāo)頭中。
[0113]語法元素anchor_pic_flag可指示圖片是錨圖片還是非錨圖片。錨圖片和按輸出次序(即，顯示次序)在其之后的所有圖片可正確地解碼而無需按解碼次序(即，位流次序)解碼先前圖片，且因此可用作隨機(jī)存取點(diǎn)。錨圖片和非錨圖片可具有不同相依性，所述兩個(gè)相依性均可在序列參數(shù)集中用信號(hào)發(fā)出。
[0114]MVC中所定義的位流結(jié)構(gòu)的特征在于兩個(gè)語法元素:view_id和temporal_id。語法元素view_id可指示每一視圖的識(shí)別符。NAL單元標(biāo)頭中的此識(shí)別符使得能夠在解碼器處容易識(shí)別NAL單元，且快速存取經(jīng)解碼視圖以供顯示。語法元素temporal_id可指示時(shí)間可擴(kuò)展性層級(jí)，或間接地指示巾貞速率。舉例來說，具有較小的最大temporal_id值的包含NAL單元的操作點(diǎn)的幀速率可低于具有較大的最大temporal_id值的操作點(diǎn)。具有較高temporal_id值的經(jīng)譯碼圖片通常取決于視圖內(nèi)的具有較低temporal_id值的經(jīng)譯碼圖片，但可不取決于具有較高temporal_id的任何經(jīng)譯碼圖片。
[0115]NAL單元標(biāo)頭中的語法元素view_id和temporal_id可用于位流提取和適配兩者。語法元素priority_id可主要用于簡(jiǎn)單的單路徑位流適配過程。語法元素inter_view_flag可指示此NAL單元是否將用于對(duì)不同視圖中的另一 NAL單元進(jìn)行視圖間預(yù)測(cè)。[0116]MVC還可使用序列參數(shù)集(SPS)且包含SPS MVC擴(kuò)展。在H.264/AVC中，參數(shù)集用于發(fā)信號(hào)。參數(shù)集可含有序列參數(shù)集中的序列級(jí)標(biāo)頭信息和圖片參數(shù)集(PPS)中的很少改變的圖片級(jí)標(biāo)頭信息。就參數(shù)集來說，此很少改變的信息不需要針對(duì)每一序列或圖片重復(fù)，因此譯碼效率得以提高。此外，參數(shù)集的使用使得能夠帶外發(fā)射標(biāo)頭信息，從而避免對(duì)用于錯(cuò)誤恢復(fù)的冗余發(fā)射的需要。在帶外發(fā)射的一些實(shí)例中，參數(shù)集NAL單元可在不同于其它NAL單元的信道上發(fā)射。在MVC中，視頻相依性可在SPS MVC擴(kuò)展中用信號(hào)發(fā)出。所有視圖間預(yù)測(cè)可在由SPS MVC擴(kuò)展指定的范圍內(nèi)進(jìn)行。
[0117]在3D視頻編碼技術(shù)中，可需要以高效率對(duì)MVD內(nèi)容的紋理和深度進(jìn)行聯(lián)合譯碼。然而，為了有效地實(shí)現(xiàn)對(duì)紋理和深度分量進(jìn)行聯(lián)合譯碼，可需要滿足某些要求。舉例來說，可為較佳的是，全局地管理深度和紋理的經(jīng)譯碼圖片和經(jīng)解碼圖片。因此，可需要利用與用于視圖內(nèi)的紋理的NAL單元相異的用于深度圖的NAL單元。還可能需要格式與某些標(biāo)準(zhǔn)(例如，H.264/AVC和MVC)兼容。此外，在同一視圖的深度圖和紋理之間以及在不同視圖之間可存在相關(guān)性，可利用所述相關(guān)性來提高譯碼效率。
[0118]如本文中所描述，可將技術(shù)添加到現(xiàn)有標(biāo)準(zhǔn)(例如，MVC)，以便支持3D視頻。多視圖視頻加深度(MVD)可添加到MVC以用于3D視頻處理。3D視頻編碼技術(shù)可將更多靈活性和可擴(kuò)展性提供給現(xiàn)有視頻標(biāo)準(zhǔn)，(例如)用于平穩(wěn)地改變視角或基于裝置或用戶偏好的具體說明向后或向前調(diào)整會(huì)聚或深度感知。譯碼標(biāo)準(zhǔn)還可經(jīng)擴(kuò)展以利用深度圖以產(chǎn)生3D視頻中的虛擬視圖。
[0119]本發(fā)明的技術(shù)可提供3D視頻譯碼的框架。舉例來說，可任選地針對(duì)紋理和深度管理經(jīng)譯碼圖像和經(jīng)解碼圖像。本發(fā)明的技術(shù)還可提供與MVC立體規(guī)范兼容的結(jié)構(gòu)(例如，其中存在兩個(gè)視圖)。所述技術(shù)還可提供在位流中用信號(hào)發(fā)出預(yù)測(cè)相依性(例如，一個(gè)視圖的紋理和深度分量之間或在不同視圖的紋理分量之間)和有益于譯碼的參數(shù)(例如，針對(duì)每一視圖的相機(jī)參數(shù))。根據(jù)本發(fā)明的技術(shù)，可在位流中在紋理視圖分量與深度視圖分量之間添加NAL單元定界符。舉例來說，定界符可指示視圖分量的紋理數(shù)據(jù)(例如，紋理視圖分量)的結(jié)束和深度信息(例如，深度視圖分量)的開始、深度信息的結(jié)束或紋理數(shù)據(jù)的開始。此定界符可用于(例如)MPEG-2TS或其它系統(tǒng)中。在一個(gè)實(shí)例中，定界符可具有不同于NAL單元定界符的NAL單元類型，所述NAL單元定界符用以將視圖分量與MVC中的不同視圖分離。
[0120]圖3A是說明可用于本發(fā)明的技術(shù)中的一者或一者以上的實(shí)施中的位流結(jié)構(gòu)70的實(shí)例的概念圖。在圖3A中，根據(jù)本發(fā)明的技術(shù)，位流70在經(jīng)擴(kuò)展以包含MVD之后符合MVC標(biāo)準(zhǔn)。在其它實(shí)例中，位流70可符合其它視頻編碼標(biāo)準(zhǔn)。
[0121]位流70可包括關(guān)于塊單元的發(fā)信號(hào)的額外信息。舉例來說，位流70可包含不同分量之間的預(yù)測(cè)相依性(例如，深度信息6相對(duì)于一個(gè)或一個(gè)以上紋理分量4)的指示。在其它實(shí)例中，位流70可包含與不同視圖相關(guān)聯(lián)的紋理分量之間的預(yù)測(cè)相依性的指示。在其它實(shí)例中，位流70可用信號(hào)發(fā)出與位流中所指示的紋理和深度分量相關(guān)聯(lián)的視圖的相機(jī)參數(shù)。
[0122]如圖3A中所示，位流70包括多個(gè)存取單元72-1到72_N。存取單元包括一組視圖分量(下文出于方便起見稱作視圖)，例如視圖74-1到74-M。一般來說，存取單元包含在共同時(shí)間實(shí)例內(nèi)的所有數(shù)據(jù)，例如每一視圖的一個(gè)視圖分量的數(shù)據(jù)。在一些實(shí)例中，每一存取單元72-1到72-N包括相同數(shù)目的視圖74-1到74_M(被稱作視圖74)。對(duì)每一存取單元進(jìn)行解碼可產(chǎn)生每一視圖一個(gè)經(jīng)解碼圖片。存取單元72-1到72-N可含有可用以呈現(xiàn)3D視頻播放的經(jīng)編碼視頻數(shù)據(jù)。根據(jù)本發(fā)明的技術(shù)，存取單元的視圖分量可包含紋理和深
度分量。
[0123]圖3B是說明可包含于圖3A的位流70的結(jié)構(gòu)中的視圖分量74-M的實(shí)例的概念圖。存取單元中的每一視圖分量(例如，存取單元72-1中的視圖分量74-1)含有一組視頻編解碼器層(VCL)NAL單元76-1到76-3。視圖分量74-M包括呈特定形式且按特定次序的NAL單元76-1到76-3。通常，視圖分量按相同次序布置于每一存取單元中，使得每一存取單元中的第k個(gè)視圖分量對(duì)應(yīng)于同一視圖。在其它實(shí)例中，視圖分量74-M包括其它數(shù)目的NAL單元，所述NAL單元中的一些可包括紋理信息，而另一些可包括深度信息。根據(jù)本發(fā)明的技術(shù)，NAL單元76-1到76-3可包含信息(例如，旗標(biāo))，其指示NAL單元是否包含紋理或深度信息。另外，可利用NAL單元定界符來指示紋理信息NAL單元所停止之處和深度信息NAL單元所開始之處。
[0124]在一個(gè)實(shí)例中，在實(shí)施NAL單元過程中，可使用NAL單元標(biāo)頭擴(kuò)展，其中旗標(biāo)可添加到NAL單元標(biāo)頭中，以指示當(dāng)前NAL單元是否含有視圖的深度圖或紋理的VCLNAL單元?；蛘撸商砑有碌腘AL單元類型以指示NAL單元是否為對(duì)應(yīng)于深度圖片段的VCL NAL單元?？稍谏疃葓D的VCL NAL單元中添加一個(gè)位，以指示此VCL NAL單元是否用以預(yù)測(cè)視圖的紋理的任何經(jīng)譯碼圖片。inter_view_flag的語意可經(jīng)擴(kuò)展以提供所要指示，且如果未如此，那么深度圖的VCL NAL單元中的inter_view_flag指示此NAL單元用以預(yù)測(cè)另一視圖的深度圖。在一個(gè)實(shí)例中，前綴NAL 單元可含有NAL單元標(biāo)頭基礎(chǔ)視圖擴(kuò)展nal_unit_header_mvc_extension O ,其經(jīng)定義如下:
[0125]
【權(quán)利要求】
1.一種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法，所述方法包括: 接收紋理視圖分量，所述紋理視圖分量包括視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的紋理數(shù)據(jù)； 接收深度視圖分量，所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及 囊封所述視圖的所述時(shí)間實(shí)例的視圖分量中的所述紋理視圖分量和所述深度視圖分量，使得所述紋理視圖分量和所述深度視圖分量被囊封于共同位流中。
2.根據(jù)權(quán)利要求1所述的方法，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
3.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 形成所述共同位流以包含所述視圖分量的所述紋理視圖分量，其后連續(xù)地跟著所述視圖分量的所述深度視圖分量；以及 形成定界符網(wǎng)絡(luò)抽象層NAL單兀， 其中囊封包括在所述共同位流的存取單元中在所述紋理視圖分量與所述深度視圖分量之間提供所述定界符NAL單元。
4.根據(jù)權(quán)利要求1所述的方法，其中囊封包括: 將所述深度視圖分量囊封為具有不同于用以囊封所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元。
5.根據(jù)權(quán)利要求1所述`的方法，其進(jìn)一步包括在所述位流中用信號(hào)發(fā)出與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)，其中用信號(hào)發(fā)出所述相機(jī)參數(shù)包括: 確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上； 確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)； 確定視圖特定相機(jī)參數(shù)，所述視圖特定相機(jī)參數(shù)包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置；以及 形成序列級(jí)數(shù)據(jù)結(jié)構(gòu)，所述序列級(jí)數(shù)據(jù)結(jié)構(gòu)包含指示所述內(nèi)在相機(jī)參數(shù)、所述外在相機(jī)參數(shù)和所述視圖特定相機(jī)參數(shù)的值。
6.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括用信號(hào)發(fā)出表示從真實(shí)世界深度(z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(Z)值的范圍的數(shù)據(jù)，以及用以用信號(hào)發(fā)出所述真實(shí)世界深度(Z)值的查找表的指示。
7.根據(jù)權(quán)利要求6所述的方法，其中用信號(hào)發(fā)出表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括形成包括獨(dú)特NAL單元類型值和表示所述轉(zhuǎn)換的所述數(shù)據(jù)的NAL單元,所述方法進(jìn)一步包括在共同流中在一個(gè)或一個(gè)以上存取單元中用信號(hào)發(fā)出視圖參數(shù)集，其中所述視圖參數(shù)集包含指示所述真實(shí)世界深度(z)值的所述范圍的信息。
8.一種用于處理視頻數(shù)據(jù)的裝置，所述裝置包括視頻譯碼器，所述視頻譯碼器經(jīng)配置以:接收紋理視圖分量，所述紋理視圖分量包括視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的紋理數(shù)據(jù)；接收深度視圖分量，所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及囊封在所述視圖的所述時(shí)間實(shí)例的視圖分量中的所述紋理視圖分量和所述深度視圖分量，使得所述紋理視圖分量和所述深度視圖分量被囊封于共同位流中。
9.根據(jù)權(quán)利要求8所述的裝置，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
10.根據(jù)權(quán)利要求8所述的裝置，其中所述視頻譯碼器經(jīng)進(jìn)一步配置以: 形成所述共同位流以包含所述視圖分量的所述紋理視圖分量，其后連續(xù)地跟著所述視圖分量的所述深度視圖分量；以及 形成定界符網(wǎng)絡(luò)抽象層NAL單兀， 其中囊封包括在所述共同位流的存取單元中在所述紋理視圖分量與所述深度視圖分量之間提供所述定界符NAL單元。
11.根據(jù)權(quán)利要求8所述的裝置，其中為了進(jìn)行囊封，所述視頻譯碼器經(jīng)進(jìn)一步配置以: 將所述深度視圖分量囊封為具有不同于用以囊封所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元。
12.根據(jù)權(quán)利要求8所述的裝置，其中所述視頻譯碼器經(jīng)進(jìn)一步配置以在所述位流中用信號(hào)發(fā)出與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)，其中為了用信號(hào)發(fā)出所述相機(jī)參數(shù)，所述視頻譯碼器經(jīng)配置以: 確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上； 確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)； 確定視圖特定相機(jī)參數(shù)，所述視圖特定相機(jī)參數(shù)包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置；以及 形成序列級(jí)數(shù)據(jù)結(jié)構(gòu)，所述序列級(jí)數(shù)據(jù)結(jié)構(gòu)包含指示所述內(nèi)在相機(jī)參數(shù)、所述外在相機(jī)參數(shù)和所述視圖特定相機(jī)參數(shù)的值。
13.根據(jù)權(quán)利要求8所述的裝置，進(jìn)一步其中所述視頻譯碼器經(jīng)進(jìn)一步配置以用信號(hào)發(fā)出表示從真實(shí)世界深度(Z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(Z)值的范圍的數(shù)據(jù)，以及用以用信號(hào)發(fā)出所述真實(shí)世界深度(Z)值的查找表的指示。
14.根據(jù)權(quán)利要求13所述的裝置，其中為了用信號(hào)發(fā)出表示所述轉(zhuǎn)換的所述數(shù)據(jù)，所述視頻譯碼器經(jīng)配置以形成包括獨(dú)特NAL單元類型值和表示所述轉(zhuǎn)換的所述數(shù)據(jù)的NAL單元，且在共同流中在一個(gè)或一個(gè)以上存取單元中用信號(hào)發(fā)出視圖參數(shù)集，其中所述視圖參數(shù)集包含指示所述真實(shí)世界深度(z)值的所述范圍的信息。
15.一種包括計(jì)算機(jī)可讀存儲(chǔ)媒體的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可讀存儲(chǔ)媒體上存儲(chǔ)有指令，所述指令在執(zhí)行時(shí)致使視頻編碼裝置的處理器: 接收紋理視圖分量，所述紋理視圖分量包括視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的紋理數(shù)據(jù)；接收深度視圖分量，所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及 囊封所述視圖的所述時(shí)間實(shí)例的視圖分量中的所述紋理視圖分量和所述深度視圖分量，使得所述紋理視圖分量和所述深度視圖分量被囊封于共同位流中。
16.根據(jù)權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
17.根據(jù)權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括致使所述處理器進(jìn)行以下操作的指令: 形成所述共同位流以包含所述視圖分量的所述紋理視圖分量，其后連續(xù)地跟著所述視圖分量的所述深度視圖分量；以及 形成定界符網(wǎng)絡(luò)抽象層NAL單兀， 其中囊封包括在所述共同位流的存取單元中在所述紋理視圖分量與所述深度視圖分量之間提供所述定界符NAL單元。
18.根據(jù)權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其中進(jìn)行囊封的所述指令包括致使所述處理器進(jìn)行以下操作的指令: 將所述深度視圖分量囊封為具有不同于用以囊封所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元。
19.根據(jù)權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括致使所述處理器在所述位流中用信號(hào)發(fā)出與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)的指令，其中用信號(hào)發(fā)出所述相機(jī)參數(shù)的所述`指令包括致使所述處理器進(jìn)行以下操作的指令: 確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上； 確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)； 確定視圖特定相機(jī)參數(shù)，所述視圖特定相機(jī)參數(shù)包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置；以及 形成序列級(jí)數(shù)據(jù)結(jié)構(gòu)，所述序列級(jí)數(shù)據(jù)結(jié)構(gòu)包含指示所述內(nèi)在相機(jī)參數(shù)、所述外在相機(jī)參數(shù)和所述視圖特定相機(jī)參數(shù)的值。
20.根據(jù)權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括致使所述處理器用信號(hào)發(fā)出表示從真實(shí)世界深度(Z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)的指令，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(Z)值的范圍的數(shù)據(jù)，以及用以用信號(hào)發(fā)出所述真實(shí)世界深度(Z)值的查找表的指示。
21.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)程序產(chǎn)品，其中致使所述處理器用信號(hào)發(fā)出表示所述轉(zhuǎn)換的所述數(shù)據(jù)的所述指令包括致使所述處理器形成包括獨(dú)特NAL單元類型值和表示所述轉(zhuǎn)換的所述數(shù)據(jù)的NAL單元且在共同流中在一個(gè)或一個(gè)以上存取單元中用信號(hào)發(fā)出視圖參數(shù)集的指令，其中所述視圖參數(shù)集包含指示所述真實(shí)世界深度(z)值的所述范圍的信息。
22.一種用于處理視頻數(shù)據(jù)的裝置，其包括: 用于接收紋理視圖分量的裝置，所述紋理視圖分量包括視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的紋理數(shù)據(jù)； 用于接收深度視圖分量的裝置，所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及 用于囊封所述視圖的所述時(shí)間實(shí)例的視圖分量中的所述紋理視圖分量和所述深度視圖分量以使得所述紋理視圖分量和所述深度視圖分量被囊封于共同位流中的裝置。
23.根據(jù)權(quán)利要求22所述的裝置，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
24.根據(jù)權(quán)利要求22所述的裝置，其進(jìn)一步包括: 用于形成所述共同位流以包含所述視圖分量的所述紋理視圖分量，其后連續(xù)地跟著所述視圖分量的所述深度視圖分量的裝置；以及 用于形成定界符網(wǎng)絡(luò)抽象層NAL單元的裝置， 其中囊封包括在所述共同位流的存取單元中在所述紋理視圖分量與所述深度視圖分量之間提供所述定界符NAL單元。
25.根據(jù)權(quán)利要求22所述的裝置，其中所述用于囊封的裝置包括: 用于將所述深度視圖分量囊封為具有不同于用以囊封所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元的裝置。`
26.根據(jù)權(quán)利要求22所述的裝置，其進(jìn)一步包括用于在所述位流中用信號(hào)發(fā)出與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)的裝置，其中所述用于用信號(hào)發(fā)出所述相機(jī)參數(shù)的裝置包括: 用于確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)的裝置，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上； 用于確定由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)的裝置； 用于確定視圖特定相機(jī)參數(shù)的裝置，所述視圖特定相機(jī)參數(shù)包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置；以及 用于形成序列級(jí)數(shù)據(jù)結(jié)構(gòu)的裝置，所述序列級(jí)數(shù)據(jù)結(jié)構(gòu)包含指示所述內(nèi)在相機(jī)參數(shù)、所述外在相機(jī)參數(shù)和所述視圖特定相機(jī)參數(shù)的值。
27.根據(jù)權(quán)利要求22所述的裝置，其進(jìn)一步包括用于用信號(hào)發(fā)出表示從真實(shí)世界深度(z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)的裝置，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(Z)值的范圍的數(shù)據(jù)，以及用以用信號(hào)發(fā)出所述真實(shí)世界深度(Z)值的查找表的指示。
28.根據(jù)權(quán)利要求27所述的裝置，其中所述用于用信號(hào)發(fā)出表示所述轉(zhuǎn)換的所述數(shù)據(jù)的裝置包括用于形成包括獨(dú)特NAL單元類型值和表示所述轉(zhuǎn)換的所述數(shù)據(jù)的NAL單元的裝置，以及用于在共同流中在一個(gè)或一個(gè)以上存取單元中用信號(hào)發(fā)出視圖參數(shù)集的裝置，其中所述視圖參數(shù)集包含指示所述真實(shí)世界深度(z)值的所述范圍的信息。
29.—種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法，所述方法包括: 接收共同位流，所述共同位流囊封了視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括視圖的所述時(shí)間實(shí)例的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及 將視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理視圖分量與所述深度視圖分量分離。
30.根據(jù)權(quán)利要求29所述的方法，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
31.根據(jù)權(quán)利要求29所述的方法，其中所述共同位流包含在所述共同位流中的所述紋理視圖分量與所述深度視圖分量之間的定界符NAL單元。
32.根據(jù)權(quán)利要求29所述的方法，其中所述深度視圖分量被囊封為具有不同于用以囊封所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元。
33.根據(jù)權(quán)利要求29所述的方法，其進(jìn)一步包括獲得在所述位流中用信號(hào)發(fā)出的與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)，其中所述位流囊封了包含指示以下各者的值的SPS數(shù)據(jù)結(jié)構(gòu):由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上；由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)；以及包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置的視圖特定相機(jī)參數(shù)。
34.根據(jù)權(quán)利要求29所述的方法，其進(jìn)一步包括獲得用信號(hào)發(fā)出的表示從真實(shí)世界深度(z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(z)值的范圍的數(shù)據(jù)，以及用以用信號(hào)發(fā)出所述真實(shí)世界深度(z)值的查找表的指示。
35.一種用于處理視頻數(shù)據(jù)的裝置，所述裝置包括視頻譯碼器，所述視頻譯碼器經(jīng)配置以:接收共同位流，所述共同位流囊封了視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括視圖的所述時(shí)間實(shí)例的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及將視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理視圖分量與所述深度視圖分量分離。
36.根據(jù)權(quán)利要求35所述的裝置，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
37.根據(jù)權(quán)利要求35所述的裝置，其中所述共同位流包含在所述共同位流中的所述紋理視圖分量與所述深度視圖分量之間的定界符NAL單元。
38.根據(jù)權(quán)利要求35所述的裝置，其中所述深度視圖分量被囊封為具有不同于用以囊封所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元。
39.根據(jù)權(quán)利要求35所述的裝置，其中所述視頻譯碼器經(jīng)進(jìn)一步配置以獲得在所述位流中用信號(hào)發(fā)出的與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)，其中所述位流囊封了包含指示以下各者的值的SPS數(shù)據(jù)結(jié)構(gòu):由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上；由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)；以及包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置的視圖特定相機(jī)參數(shù)。
40.根據(jù)權(quán)利要求35所述的裝置，其中所述視頻譯碼器經(jīng)進(jìn)一步配置以獲得用信號(hào)發(fā)出的表示從真實(shí)世界深度(z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(Z)值的范圍的數(shù)據(jù)，以及用以用信號(hào)發(fā)出所述真實(shí)世界深度(Z)值的查找表的指示。
41.一種包括計(jì)算機(jī)可讀存儲(chǔ)媒體的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可讀存儲(chǔ)媒體上存儲(chǔ)有指令，所述指令在執(zhí)行時(shí)致使視頻解碼裝置的處理器: 接收共同位流，所述共同位流囊封了視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括視圖的所述時(shí)間實(shí)例的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及 將視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理視圖分量與所述深度視圖分量分離。
42.根據(jù)權(quán)利要求41所述的計(jì)算機(jī)程序產(chǎn)品，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
43.根據(jù)權(quán)利要求41所述的計(jì)算機(jī)程序產(chǎn)品，其中所述共同位流包含在所述共同位流中的所述紋理視圖分量與所述深度視圖分量之間的定界符NAL單元。
44.根據(jù)權(quán)利要求41所述的計(jì)算機(jī)程序產(chǎn)品，其中所述深度視圖分量被囊封為具有不同于用以囊封所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元。
45.根據(jù)權(quán)利要求41所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括致使所述處理器獲得在所述位流中用信號(hào)發(fā)出的與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)的指令，其中所述位流囊封了包含指示以下各者的值的SPS數(shù)據(jù)結(jié)構(gòu):由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上；由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)；以及包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置的視圖特定相機(jī)參數(shù)。
46.根據(jù)權(quán)利要求41所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括致使所述處理器獲得用信號(hào)發(fā)出的表示從真實(shí)世界深度(z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)的指令，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(z)值的范圍的數(shù)據(jù)，以及用以用信號(hào)發(fā)出所述真實(shí)世界深度(z)值的查找表的指示。
47.一種用于處理視頻數(shù)據(jù)的裝置，其包括:用于接收共同位流的裝置，所述共同位流囊封了視頻數(shù)據(jù)的視圖的時(shí)間實(shí)例的視圖分量中的紋理視圖分量和深度視圖分量，其中所述紋理視圖分量包括視圖的所述時(shí)間實(shí)例的紋理數(shù)據(jù)，且所述深度視圖分量包括對(duì)應(yīng)于視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理數(shù)據(jù)的深度數(shù)據(jù)；以及 用于將視頻數(shù)據(jù)的所述視圖的所述時(shí)間實(shí)例的所述紋理視圖分量與所述深度視圖分量分離的裝置。
48.根據(jù)權(quán)利要求47所述的裝置，其中所述紋理數(shù)據(jù)包括紋理數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段，且其中所述深度數(shù)據(jù)包括深度數(shù)據(jù)的經(jīng)譯碼幀的經(jīng)譯碼片段。
49.根據(jù)權(quán)利要求47所述的裝置，其中所述共同位流包含在所述共同位流中的所述紋理視圖分量與所述深度視圖分量之間的定界符NAL單元。
50.根據(jù)權(quán)利要求47所述的裝置，其中深度數(shù)據(jù)被囊封為具有不同于用以囊封所述紋理數(shù)據(jù)的網(wǎng)絡(luò)抽象層NAL單元類型的NAL單元類型的NAL單元。
51.根據(jù)權(quán)利要求47所述的裝置，其進(jìn)一步包括用于獲得在所述位流中用信號(hào)發(fā)出的與視頻數(shù)據(jù)的視圖有關(guān)的一個(gè)或一個(gè)以上相機(jī)的相機(jī)參數(shù)的裝置，其中所述位流囊封了包含指示以下各者的值的SPS數(shù)據(jù)結(jié)構(gòu):由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的內(nèi)在相機(jī)參數(shù)，所述內(nèi)在相機(jī)參數(shù)包括焦距和主點(diǎn)偏移中的一者或一者以上；由對(duì)應(yīng)于所述一個(gè)或一個(gè)以上相機(jī)的所述視圖共享的外在相機(jī)參數(shù)；以及包含所述一個(gè)或一個(gè)以上相機(jī)的真實(shí)世界水平位置的視圖特定相機(jī)參數(shù)。
52.根據(jù)權(quán)利要求47所述的裝置，其進(jìn)一步包括用于獲得用信號(hào)發(fā)出的表示從真實(shí)世界深度(Z)值到在所述深度數(shù)據(jù)中表示為經(jīng)譯碼幀的深度值的轉(zhuǎn)換的數(shù)據(jù)的裝置，其中表示所述轉(zhuǎn)換的所述數(shù)據(jù)包括表示以下各者中的至少一者的數(shù)據(jù):用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的線性函數(shù)的指示、用于將所述真實(shí)世界深度(Z)值轉(zhuǎn)換到所述深度視圖分量的深度值的逆線性函數(shù)的指示、表示所述真實(shí)世界深度(Z)值的范圍的數(shù)據(jù)，以及用`以用信號(hào)發(fā)出所述真實(shí)世界深度(Z)值的查找表的指示。
【文檔編號(hào)】H04N13/00GK103493483SQ201280018874
【公開日】2014年1月1日 申請(qǐng)日期:2012年3月8日 優(yōu)先權(quán)日:2011年3月10日
【發(fā)明者】陳盈, 張 榮, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司