三維視頻編解碼器中的深度圖的切片標頭預測的制作方法
【專利摘要】在一個實例中，視頻譯碼器經(jīng)配置以對第一切片進行譯碼，其中所述第一切片包括紋理切片和對應的深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的完整語法元素。所述視頻譯碼器進一步經(jīng)配置以從所述第一切片的所述切片標頭確定第二切片的共同語法元素。所述視頻譯碼器還經(jīng)配置以在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行譯碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
【專利說明】三維視頻編解碼器中的深度圖的切片標頭預測
[0001]本申請案主張2011年7月22日申請的第61/510，738號美國臨時申請案、2011年8月11日申請的第61/522，584號美國臨時申請案、2011年11月26日申請的第61/563，772號美國臨時申請案以及2012年4月13日申請的第61/624，031號美國臨時申請案的權(quán)益，所述申請案中的每一者以全文引用的方式并入本文中。
【技術領域】
[0002]本發(fā)明涉及視頻譯碼領域，例如，對三維視頻數(shù)據(jù)進行譯碼。
【背景技術】
[0003]數(shù)字視頻能力可并入到大范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、例如無線電電話手持機等無線通信裝置、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝置、視頻游戲裝置、視頻游戲控制臺等。數(shù)字視頻裝置實施若干視頻壓縮技術，例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分、高級視頻譯碼(AVC)，從而更高效地發(fā)射和接收數(shù)字視頻。視頻壓縮技術執(zhí)行空間預測和時間預測以減少或移除視頻序列中所固有的冗余。
[0004]視頻壓縮技術執(zhí)行空間預測和/或時間預測以減少或移除視頻序列中固有的冗余。對于基于塊的視頻譯碼，可將一視頻幀或切片分割成若干宏塊?？蛇M一步分割每一宏塊。使用關于相鄰宏塊的空間預測編碼經(jīng)幀內(nèi)譯碼的(I)幀或切片中的宏塊。經(jīng)幀間譯碼的(P或B)幀或切片中的宏塊可使用關于同一幀或切片中的相鄰宏塊的空間預測或關于其它參考幀的時間預測。
[0005]在已將視頻數(shù)據(jù)編碼之后，可將所述視頻數(shù)據(jù)包化以用于發(fā)射或存儲。可將所述視頻數(shù)據(jù)組配為符合多種標準中的任一者的視頻文件，例如國際標準化組織(ISO)基礎媒體文件格式及其擴展形式，例如AVC。
[0006]已經(jīng)作出努力開發(fā)基于H.264/AVC的新視頻譯碼標準。一種此類標準是可縮放視頻譯碼(SVC)標準，其為對H.264/AVC的可縮放擴展。另一標準是多視圖視頻譯碼(MVC)，其已變?yōu)閷.264/AVC的多視圖擴展。在2008年7月德國的漢諾威的第28屆JVT會議的JVT-AB204 “多視圖視頻譯碼聯(lián)合草案8.0 (Joint Draft 8.0 on MultiviewVideo Coding) ” 中描述了 MVC 的聯(lián)合草案，這在 http://wftp3.1tu.1nt/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip 處可以獲得。在 2009 年 2 月瑞 士的日內(nèi)瓦的第 30 屆 JVT 會議的 JVT-AD007 “對 ITU-T Rec.H.264 | IS0/IEC 14496-10 高級視頻譯碼的編輯者的草案修訂-為ITU-T SG 16 AAP達成一致做準備(以整合形式)(Editors' draft revision to ITU-T Rec.Η.2641IS0/IEC 14496-10 Advanced VideoCoding-1n preparation for ITU-T SG 16 AAP Consent (in integrated form))，，中描述了 AVC 標準的版本，這在 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip處可以獲得。此文獻將SVC和MVC整合于AVC規(guī)格中。
【發(fā)明內(nèi)容】

[0007]一般來說，本發(fā)明描述用于支持三維(3D)視頻再現(xiàn)的技術。具體來說，本發(fā)明的技術涉及對3D視頻內(nèi)容進行譯碼和解碼。本發(fā)明還提出用于視頻數(shù)據(jù)的經(jīng)譯碼塊單元的信令技術。舉例來說，本發(fā)明提出將包含于紋理視圖分量的切片標頭中的語法元素再用于對應的深度視圖分量。另外，本發(fā)明提出將深度視圖分量的切片標頭信息中的語法元素再用于紋理視圖分量。
[0008]在3D編解碼器中，特定時刻中的視頻解碼的每一視圖的視圖分量可包含紋理視圖分量和深度視圖分量。紋理視圖分量可包含明度⑴分量和色度(Cb和Cr)分量。明度(亮度)和色度(色彩)分量在本文統(tǒng)稱為“紋理”分量。深度視圖分量可來自圖像的深度圖。在3D圖像再現(xiàn)中，深度圖包含表示例如用于對應的紋理分量的深度值深度分量。深度視圖分量可用于從所提供的觀看角度產(chǎn)生虛擬視圖。
[0009]深度分量和紋理分量的語法元素可與經(jīng)譯碼塊單元一起用信號發(fā)送。經(jīng)譯碼塊單元(在本發(fā)明中還被簡稱為“經(jīng)譯碼塊”)可對應于ITU-T H.264/AVC(高級視頻譯碼)中的宏塊或高效率視頻譯碼(HEVC)的譯碼單元。
[0010]在一方面中，一種解碼方法包含接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素。所述方法進一步包含接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。所述方法進一步包括:對第一切片進行解碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的完整語法元素；以及從所述第一切片的所述切片標頭確定第二切片的共同語法元素。所述方法可進一步包含在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0011]在另一方面中，一種用于對數(shù)據(jù)進行解碼的裝置包含視頻解碼器，所述視頻解碼器經(jīng)配置以:接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素；接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元；對第一切片進行解碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的完整語法元素；從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及在對所述第一切片進行解碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0012]在另一方面中，一種計算機程序產(chǎn)品包括計算機可讀存儲媒體，所述計算機可讀存儲媒體在其上存儲有指令，所述指令在被執(zhí)行時致使視頻解碼裝置的處理器:接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素。所述指令進一步致使所述視頻解碼裝置的所述處理器:接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。所述指令進一步致使所述視頻解碼裝置的所述處理器:對第一切片進行解碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素；以及從所述第一切片的所述切片標頭確定第二切片的共同語法元素。所述指令進一步致使所述視頻解碼裝置的所述處理器:在對所述第一切片進行解碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0013]在另一方面中，提供一種裝置，所述裝置包括用于接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片的裝置，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素。所述裝置進一步包括用于接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片的裝置，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。所述裝置進一步包括用于對第一切片進行解碼的裝置，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素。所述裝置進一步包括用于在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼的裝置，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0014]在一個方面中，一種編碼方法包含接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素。所述方法進一步包含接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。所述方法進一步包括:對第一切片進行編碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素；以及從所述第一切片的所述切片標頭確定第二切片的共同語法元素。所述方法可進一步包含在對所述第一切片進行編碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0015]在另一方面中，一種用于對數(shù)據(jù)進行編碼的裝置包含視頻編碼器，所述視頻編碼器經(jīng)配置以:接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素；接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。所述視頻編碼器進一步經(jīng)配置以對第一切片進行編碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素；從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及在對所述第一切片進行編碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0016]在另一方面中，一種計算機程序產(chǎn)品包括計算機可讀存儲媒體，所述計算機可讀存儲媒體在其上存儲有指令，所述指令在被執(zhí)行時致使視頻編碼裝置的處理器:接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素。所述指令進一步致使所述視頻編碼裝置的所述處理器:接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。所述指令進一步致使所述視頻編碼裝置的所述處理器:對第一切片進行編碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素；以及從所述第一切片的所述切片標頭確定第二切片的共同語法元素。所述指令進一步致使所述視頻編碼裝置的所述處理器:在對所述第一切片進行解碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0017]在另一方面中，提供一種裝置，所述裝置包括用于接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片的裝置，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示紋理切片的特性的語法元素。所述裝置進一步包括用于接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片的裝置，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。所述裝置進一步包括用于對第一切片進行解碼的裝置，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素。所述裝置進一步包括用于從所述第一切片的所述切片標頭確定第二切片的共同語法元素的裝置。所述裝置進一步包括用于在對所述第一切片進行編碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼的裝置，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0018]本發(fā)明中所描述的技術的各方面可以硬件、軟件、固件，或其任何組合來實施。如果以軟件來實施，則可在例如微處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或數(shù)字信號處理器(DSP)或其它等效集成或離散邏輯電路等可涉及一個或一個以上處理器的處理器中執(zhí)行軟件?？勺畛鯇ㄓ靡詧?zhí)行所述技術的指令的軟件存儲于計算機可讀媒體中且在處理器中加載并執(zhí)行。
[0019]因此，本發(fā)明還預期包括用以致使處理器執(zhí)行本發(fā)明中所描述的多種技術中的任一者的指令的計算機可讀媒體。在一些情況下，所述計算機可讀媒體可形成計算機程序產(chǎn)品的一部分，可將所述計算機程序產(chǎn)品出售給制造商和/或用于裝置中。所述計算機程序產(chǎn)品可包含計算機可讀媒體，且在一些情況下，還可包含封裝材料。
[0020]本發(fā)明還可適用于攜載信息的電磁信號。舉例來說，電磁信號可包括與用于內(nèi)插參考樣本的子整數(shù)像素的值的全像素支持相關的信息。在一些實例中，可從或通過實施本文中所描述的技術的裝置來產(chǎn)生或傳輸信號。在其它實例中，本發(fā)明可適用于可在實施本文中所描述的技術的裝置處接收的信號。
[0021]本發(fā)明的一個或一個以上方面的細節(jié)在附圖及以下描述中陳述。從描述和圖式并從權(quán)利要求書將明白本發(fā)明中所描述的技術的其它特征、目的和優(yōu)點。
【專利附圖】

【附圖說明】
[0022]圖1是說明根據(jù)本發(fā)明的技術的視頻編碼和解碼系統(tǒng)的一個實例的框圖。
[0023]圖2是進一步詳細地說明根據(jù)本發(fā)明的技術的圖1的視頻編碼器的一實例的框圖。
[0024]圖3是根據(jù)本發(fā)明的技術的用于多視圖視頻譯碼的MVC預測結(jié)構(gòu)的一個實例的圖。
[0025]圖4是說明根據(jù)本發(fā)明的技術的視頻編碼器的實例性操作的流程圖。[0026]圖5是進一步詳細地說明根據(jù)本發(fā)明的技術的圖1的視頻解碼器的一實例的框圖。
[0027]圖6是說明根據(jù)本發(fā)明的技術的視頻解碼器的實例性操作的流程圖。
【具體實施方式】
[0028]本發(fā)明描述在視頻編碼或解碼過程的至少幀間預測階段期間編碼器可應用且解碼器可使用的信令技術。所描述的技術涉及三維(“3D”)視頻內(nèi)容的譯碼?？蓪⑺?D視頻內(nèi)容例如表示為多視圖視頻加深度(“MVD”)經(jīng)譯碼塊。也就是說，可應用這些技術對類似于多視圖視頻譯碼(MVC)位流的位流進行編碼或解碼，其中MVC位流的任何或所有視圖可進一步包含深度信息。
[0029]更具體來說，根據(jù)本發(fā)明的一些技術涉及接收至少一個具有紋理視圖分量和深度視圖分量的二維圖像。一些紋理視圖分量和深度視圖分量可一起被編碼為單個經(jīng)譯碼塊或單獨的塊?？蓪D像分解為若干圖像切片?？稍谇衅瑯祟^中用信號發(fā)送用于對紋理視圖分量進行譯碼的語法元素。可從紋理視圖分量的對應于深度視圖分量的語法元素來預測深度視圖分量的一些語法元素。本發(fā)明的技術涉及對用于基于二維視頻數(shù)據(jù)的所估計的深度圖數(shù)據(jù)從二維視頻數(shù)據(jù)再現(xiàn)三維視頻數(shù)據(jù)的數(shù)據(jù)的編碼、解碼和信令。在一些實例中，使用與用于對深度信息進行編碼的技術不同的技術對紋理視圖分量進行編碼。在本發(fā)明中，術語“譯碼”可指編碼和解碼中的任一者或兩者。
[0030]基于深度估計和虛擬視圖合成的視頻轉(zhuǎn)換用于產(chǎn)生3D圖像，例如用于3D視頻應用。具體來說，可使用場景的虛擬視圖來產(chǎn)生場景的3D視圖。常規(guī)上通過在合成場景的虛擬視圖之前估計對象深度值而實現(xiàn)基于場景的現(xiàn)有視圖產(chǎn)生所述虛擬視圖。深度估計是從立體對或單視場內(nèi)容估計對象與相機平面之間的絕對或相對距離的過程。如本文中所使用，深度信息包含有用于形成三維視頻的信息，例如深度圖(例如，基于每個像素的深度值)或取景視差圖(例如，基于每個像素的水平視差)。
[0031]所估計的深度信息(通用通過灰度級圖表示)可用于使用基于深度圖像的再現(xiàn)(DIBR)技術來產(chǎn)生任意角度的虛擬視圖。與其中多視圖序列面臨著高效的視圖間壓縮的挑戰(zhàn)的傳統(tǒng)三維電視(3DTV)系統(tǒng)相比，基于深度圖的系統(tǒng)可通過傳輸可被高效編碼的僅一個或數(shù)個視圖以及深度圖而減少帶寬的使用。在將深度圖用于視圖合成中之前，用于基于深度圖的轉(zhuǎn)換中的深度圖可為可由終端用戶控制的(例如，通過縮放)?？僧a(chǎn)生具有不同量的感知深度的自定義虛擬視圖。而且，可使用單視場視頻來執(zhí)行對深度的估計，其中僅一個視圖2D內(nèi)容可用。
[0032]可應用本文中所描述的技術從存儲于同一視圖的位于同一地點的紋理視圖分量的切片標頭中的語法元素來預測深度視圖分量的語法元素。舉例來說，深度切片和紋理切片所共同的語法元素的值可包含于紋理視圖分量的切片標頭中，而不包含于相關聯(lián)的深度視圖分量的切片中。也就是說，視頻編碼器或解碼器可對紋理視圖分量的切片標頭中的不存在于深度視圖分量的切片標頭中的深度切片和紋理切片所共同的語法元素進行譯碼。舉例來說，可為紋理視圖分量的切片標頭中的第一語法元素提供第一值。深度視圖分量的切片標頭也共享第一語法元素，從而意味著所述第一語法元素對于紋理切片標頭和深度切片標頭來說是共同的。深度視圖分量的第一語法元素具有第二值。然而，深度視圖分量的切片標頭不包含所述第一語法元素。根據(jù)本文中所描述的技術，可從所述第一值預測所述第
一語法元素的第二值。
[0033]在一些實例中，僅針對深度視圖分量的切片標頭用信號發(fā)送切片的圖片參數(shù)集(PPS) id和增量量化參數(shù)(QP)。在其它實例中，除了 PPS識別和增量QP之外，用信號發(fā)送參考圖片列表建構(gòu)的進一步信息。從紋理視圖分量的切片標頭繼承或確定其它語法元素。在一些實例中，將共同語法元素的值設定為與對應的語法元素相同。也就是說，將深度視圖分量的切片標頭的其它語法元素設定為等于對應的紋理視圖分量的切片標頭中的對應值。
[0034]在其它實例中，進一步用信號發(fā)送經(jīng)譯碼塊(宏塊或譯碼單元)的開始位置。也就是說，深度信息的切片的切片標頭用信號發(fā)送切片的第一塊(例如，第一宏塊或CU)的位置，而不用信號發(fā)送用于所述切片標頭的其它語法數(shù)據(jù)(其可確定為等于包含對應的紋理信息的切片的對應語法數(shù)據(jù))。當不用信號發(fā)送切片的開始位置時，在一些實例中可推斷其為O?？蛇M一步用信號發(fā)送深度視圖分量的frame_num和POC值。使用旗標來指示用于深度視圖分量的一個或一個以上環(huán)路濾波器參數(shù)是否與針對紋理視圖分量用信號發(fā)送的一個或一個以上環(huán)路濾波器參數(shù)相同。
[0035]基于塊的幀間譯碼是依賴于時間預測來減少或移除視頻序列的連續(xù)經(jīng)譯碼單元的視頻塊之間的時間冗余的譯碼技術。經(jīng)譯碼單元可包括視頻幀、視頻幀的切片、圖片群組，或經(jīng)編碼視頻塊的另一經(jīng)定義單元。對于幀間譯碼，視頻編碼器執(zhí)行運動估計和運動補償以估計一個或一個以上鄰近的經(jīng)譯碼單元的視頻塊之間的運動。通過使用用于運動估計的技術，視頻編碼器產(chǎn)生運動向量，所述運動向量指示視頻塊相對于一個或一個以上參考幀或其它經(jīng)譯碼單元中的對應預測視頻塊的移位。通過使用用于運動補償?shù)募夹g，視頻編碼器使用運動向量從一個或一個以上參考幀或其它經(jīng)譯碼單元產(chǎn)生預測視頻塊。在運動補償之后，視頻編碼器通過從正被譯碼的原始視頻塊減去預測視頻塊來計算殘余視頻塊。
[0036]參考視圖分量(RVC)可包含多個紋理或深度切片。在其中參考視圖分量包括多個切片的一些實例中，在確定當前切片的語法元素時可使用位于同一地點的切片。或者，可使用RVC中的第一切片來確定當前切片的語法元素。在其它實例中,可使用RVC中的另一切片來確定當前切片的共同語法元素。
[0037]圖1是說明根據(jù)本發(fā)明的技術的視頻編碼和解碼系統(tǒng)10的一個實例的框圖。如圖1的實例中所示，系統(tǒng)10包含源裝置12，源裝置12經(jīng)由鏈路15將經(jīng)編碼的視頻發(fā)射到目的地裝置14。鏈路16可包括能夠?qū)⒔?jīng)編碼的視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任何類型的媒體或裝置。在一個實例中，鏈路16包括用以使得源裝置12能夠?qū)崟r地將經(jīng)編碼的視頻數(shù)據(jù)直接發(fā)射到目的地裝置14的通信媒體。可根據(jù)例如無線通信協(xié)議等通信標準來調(diào)制經(jīng)編碼的視頻數(shù)據(jù)，且將其發(fā)射到目的地裝置14。所述通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一條或一條以上物理傳輸線。通信媒體可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡的基于包的網(wǎng)絡的部分。通信媒體可包含可用于促進從源裝置12到目的地裝置14的通信的路由器、交換器、基站或任何其它設備。
[0038]源裝置12及目的地裝置14可包括各種各樣的裝置中的任一者。在一些實例中，源裝置12和目的地裝置14可包括無線通信裝置，例如無線手持機、所謂的蜂窩式或衛(wèi)星無線電電話，或可在鏈路15上(在此情況下，鏈路15是無線的)傳送視頻信息的任何無線裝置。然而，涉及對包含紋理信息和深度信息兩者的視頻數(shù)據(jù)的塊進行譯碼的本發(fā)明的技術不一定受限于無線應用或環(huán)境。所述技術還可用于廣泛范圍的其它環(huán)境和裝置，包含經(jīng)由物理電線、光纖或其它物理或無線媒體進行通信的裝置。另外，所述編碼或解碼技術還可應用于不一定與任何其它裝置進行通信的獨立裝置中。舉例來說，視頻解碼器28可駐留于數(shù)字媒體播放器或其它裝置中，且經(jīng)由流式傳輸、下載或存儲媒體接收經(jīng)編碼的視頻數(shù)據(jù)。因此，出于對實例性實施方案的說明的目的來提供源裝置12和目的地裝置14彼此通信的描繪，且不應視為對本發(fā)明中所描述的技術進行限制，所述技術可通常適用于多種環(huán)境、應用或?qū)嵤┓桨钢械囊曨l譯碼。
[0039]在圖1的實例中，源裝置12包含視頻源20、深度處理單元21、視頻編碼器22和輸出接口 24。目的地裝置14包含輸入接口 26、視頻解碼器28和顯示裝置30。根據(jù)本發(fā)明，源裝置12的視頻編碼器22可經(jīng)配置以應用本發(fā)明的技術中的一者或一者以上以作為視頻編碼過程的部分。類似地，目的地裝置14的視頻解碼器28可經(jīng)配置以應用本發(fā)明的技術中的一者或一者以上以作為視頻解碼過程的部分。
[0040]視頻編碼器22還可應用變換、量化和熵譯碼過程以進一步減小與殘余塊的通信相關聯(lián)的位率。變換技術可包括離散余弦變換(DCT)或概念上類似的過程?；蛘?，可使用小波變換、整數(shù)變換，或其它類型的變換。在DCT過程中，作為一實例，將一組像素值轉(zhuǎn)換為表示頻域中的像素值的能量的變換系數(shù)。視頻編碼器22還可量化變換系數(shù)，其可一般涉及減少與對應的變換系數(shù)相關聯(lián)的位數(shù)目的過程。熵譯碼可包含共同地壓縮數(shù)據(jù)以供輸出到位流的一個或一個以上過程，其中經(jīng)壓縮的數(shù)據(jù)可包含(例如)譯碼模式、運動信息、經(jīng)譯碼塊模式和經(jīng)量化變換系數(shù)的序列。熵譯碼的實例包含(但不限于)上下文自適應可變長度譯碼(CAVLC)和上下文自適應二進制算術譯碼(CABAC)。
[0041]經(jīng)譯碼視頻塊可由可用于創(chuàng)建或識別預測塊的預測信息以及可應用于預測塊以重新創(chuàng)建原始塊的殘余數(shù)據(jù)塊表示。所述預測信息可包括用于識別預測數(shù)據(jù)塊的一個或一個以上運動向量。通過使用所述運動向量，視頻解碼器28可能夠重構(gòu)曾用于對殘余塊進行譯碼的預測塊。因此，給定一組殘余塊和一組運動向量(以及可能一些額外語法)，視頻解碼器28可重構(gòu)曾最初被編碼的視頻幀?；趲g譯碼的運動估計和運動補償可在不具有過多的數(shù)據(jù)損失的情況下實現(xiàn)相對高的壓縮量，因為連續(xù)的視頻幀或其它類型的經(jīng)譯碼單元常常是類似的。經(jīng)編碼視頻序列可包括殘余數(shù)據(jù)塊、運動向量(當被幀間預測編碼時)、用于幀內(nèi)預測的幀內(nèi)預測模式的指示，以及語法元素。
[0042]視頻編碼器22還可利用幀內(nèi)預測技術相對于共同幀或切片的相鄰視頻塊而對視頻塊進行編碼。以此方式，視頻編碼器22在空間上預測塊。視頻編碼器22可用多種幀內(nèi)預測模式進行配置，所述多種幀內(nèi)預測模式一般對應于各種空間預測方向。與運動估計一樣，視頻編碼器22可經(jīng)配置以基于塊的明度分量來選擇幀內(nèi)預測模式，隨后再用所述幀內(nèi)預測模式對塊的深度分量進行編碼。另外，根據(jù)本發(fā)明的技術，視頻編碼器22可再用幀內(nèi)預測模式對塊的深度分量進行編碼。
[0043]通過再用運動和幀內(nèi)預測模式信息對塊的深度分量進行編碼，這些技術可簡化編碼深度圖的過程。另外，本文中所描述的技術可提高位流效率。也就是說，所述位流僅需要指示一次處于紋理視圖分量的切片標頭中的一些語法元素，而不是用信號發(fā)送深度視圖分量的切片的切片標頭中的額外的語法元素。
[0044]任選地，紋理視圖分量可以相同方式再用其對應的深度視圖分量。[0045]再者，圖1的所說明的系統(tǒng)10僅是一個實例?？赏ㄟ^支持基于塊的預測編碼的任何編碼裝置，或通過支持基于塊的預測解碼的任何解碼裝置來執(zhí)行本發(fā)明的各種技術。源裝置12及目的地裝置14僅為此些譯碼裝置的實例，其中源裝置12產(chǎn)生用于發(fā)射到目的地裝置14的經(jīng)譯碼視頻數(shù)據(jù)。在一些情況下，裝置12和16可以大體上對稱的方式操作，以使得裝置12和16中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)10可支持視頻裝置12和16之間的單向或雙向視頻發(fā)射，例如用于視頻流式傳輸、視頻回放、視頻廣播或視頻電話。
[0046]源裝置12的視頻源20包含視頻俘獲裝置，例如攝像機、含有先前所俘獲的視頻的視頻存檔，或來自視頻內(nèi)容提供者的視頻饋入?；蛘?，視頻源20可產(chǎn)生基于計算機圖形的數(shù)據(jù)作為源視頻，或直播視頻(live video)、經(jīng)存檔視頻和/或計算機產(chǎn)生的視頻的組合。在一些情況下，如果視頻源20是攝像機，那么源裝置12和目的地裝置14可形成所謂的相機電話或視頻電話，或經(jīng)配置以操縱視頻數(shù)據(jù)的其它移動裝置，例如平板計算裝置。在每一情況下，視頻編碼器22可對所俘獲、預俘獲或計算機產(chǎn)生的視頻進行編碼。視頻源20俘獲視圖且將視圖提供給深度處理單元21。
[0047]視頻源20將視圖2提供給深度處理單元21以用于計算視圖2中的對象的深度圖像。在一些實例中，視圖2包括一個以上視圖?？舍槍τ梢曨l源20俘獲的視圖2中的對象來確定深度圖像。深度處理單元21經(jīng)配置以自動計算視圖2的圖像中的對象的深度值。舉例來說，深度處理單元21基于明度信息來計算對象的深度值。在一些實例中，深度處理單元21經(jīng)配置以從用戶接收深度信息。在一些實例中，視頻源20可以不同角度俘獲場景的兩個視圖，且基于兩個視圖中的對象之間的視差來計算場景中的對象的深度信息。在各種實例中，視頻源20可包括標準的二維相機、提供場景的立體視圖的二相機系統(tǒng)、俘獲場景的多個視圖的相機陣列，或俘獲一個視圖加深度信息的相機。
[0048]深度處理單元21將紋理視圖分量4和深度視圖分量6提供給視頻編碼器22。深度處理單元21還可將視圖2直接提供給視頻解碼器22。深度信息6包括視圖2的深度圖圖像。深度圖可包括與將顯示的區(qū)域(例如，塊、切片或幀)相關聯(lián)的每一像素區(qū)的深度值的圖。像素區(qū)包含單個像素或一個或一個以上像素的群組。深度圖的一些實例針對每個像素具有一個深度分量。在其它實例中，每個像素存在多個深度分量?？梢詫嵸|(zhì)上類似于紋理數(shù)據(jù)的方式，例如相對于其它先前經(jīng)譯碼深度數(shù)據(jù)而使用幀內(nèi)預測或幀間預測，來對深度圖進行譯碼。在其它實例中，以不同于紋理數(shù)據(jù)被譯碼的方式對深度圖進行譯碼。
[0049]在一些實例中可估計深度圖。當一個以上視圖存在時，可使用立體匹配來估計深度圖。然而，在2D到3D的轉(zhuǎn)換中，估計深度可更困難。盡管如此，可使用通過各種方法估計的深度圖來用于根據(jù)基于深度圖像的再現(xiàn)(DIBR)的3D再現(xiàn)。
[0050]雖然視頻源20可提供場景的多個視圖，且深度處理單元21可基于所述多個視圖來計算深度信息，但源裝置12可一般針對場景的每一視圖發(fā)射一個視圖加深度信息。
[0051]當視圖2是數(shù)字靜態(tài)圖片時，視頻編碼器22可經(jīng)配置以將視圖2編碼為(例如)聯(lián)合照片專家組(JPEG)圖像。當視圖2是視頻數(shù)據(jù)幀時，視頻編碼器22經(jīng)配置以根據(jù)視頻譯碼標準對第一視圖50進行編碼，所述視頻譯碼標準例如為運動圖片專家組(MPEG)、國際標準化組織(ISO) /國際電工委員會(IEC)MPEG-1視覺、IS0/IEC MPEG-2視覺、IS0/IECMPEG-4視覺、國際電信聯(lián)盟(ITU)H.261,ITU-T H.262,ITU-T H.263,ITU-T H.264/MPEG-4、H.264高級視頻譯碼(AVC)、即將到來的高效率視頻譯碼(HEVC)標準(還被稱作H.265)，或其它視頻編碼標準。視頻編碼器22可包含深度信息6以及經(jīng)編碼的圖像以形成經(jīng)譯碼塊8，所述經(jīng)譯碼塊包含經(jīng)編碼的圖像數(shù)據(jù)以及深度信息6。視頻編碼器22將經(jīng)譯碼塊8傳遞到輸出接口 24?？山?jīng)由鏈路15在包含信令信息以及經(jīng)譯碼塊8的位流中將經(jīng)譯碼塊8傳遞到輸入接口 26。
[0052]經(jīng)編碼視頻信息包含紋理分量4以及深度信息6。紋理分量4可包含視頻信息的明度(Iuma)和色度(chroma)分量。明度分量一般描述亮度，而色度分量一般描述色調(diào)。深度處理單元21從視圖2的深度圖提取深度信息6。視頻編碼器22可將紋理視圖分量4和深度視圖分量6編碼為經(jīng)編碼視頻數(shù)據(jù)的單個經(jīng)譯碼塊8。同樣，視頻編碼器22可對塊進行編碼以便將明度分量的運動或幀內(nèi)預測模式信息再用于色度分量和深度分量。用于紋理視圖分量的語法元素可用于預測深度視圖分量的類似語法元素。
[0053]在一些實例中，可不使用視圖間預測技術對深度圖視圖分量進行編碼，甚至在使用視圖間預測技術對對應的紋理視圖分量進行編碼時也如此。舉例來說，當使用視圖間預測來預測對應的紋理視圖分量時，可使用視圖內(nèi)預測來預測深度圖視圖分量。舉例來說，對紋理視圖分量進行視圖間預測會從與對應于所述紋理視圖分量的視圖不同的視圖的數(shù)據(jù)中預測紋理視圖信息。相比而言，對深度視圖信息進行視圖內(nèi)預測會從與對應于所述深度視圖信息的視圖相同的視圖的數(shù)據(jù)中預測深度信息。
[0054]盡管使用不同地預測技術，但可從對應的紋理視圖分量的切片標頭中的對應的語法元素來預測深度圖視圖分量的一些語法元素。然而，深度圖視圖分量的切片標頭信息可含有與參考圖片列表建構(gòu)相關的信息。也就是說，可在深度圖視圖分量的切片標頭中用信號發(fā)送與參考圖片列表建構(gòu)相關的信息。舉例來說，可在深度圖視圖分量的切片標頭中用信號發(fā)送所使用的參考圖片的數(shù)目以及使用哪些參考圖片來預測深度圖視圖分量的指示。還可在對應的紋理視圖分量的切片標頭中用信號發(fā)送類似的信息。
[0055]在一些實例中，源裝置12包含根據(jù)例如碼分多址(CDMA)或另一通信標準等通信標準來調(diào)制經(jīng)譯碼塊8的調(diào)制解調(diào)器。調(diào)制解調(diào)器可包含各種混頻器、濾波器、放大器或經(jīng)設計以用于信號調(diào)制的其它組件。輸出接口 24可包含經(jīng)設計以用于發(fā)射數(shù)據(jù)的電路，包含放大器、濾波器及一個或一個以上天線。經(jīng)由輸出接口 24和鏈路15將經(jīng)譯碼塊8發(fā)射到目的地裝置14。在一些實例中，不經(jīng)由通信信道進行發(fā)射，源裝置12將包含具有紋理分量和深度分量的塊的經(jīng)編碼視頻數(shù)據(jù)存儲到存儲裝置32中，所述存儲裝置例如為數(shù)字視頻光盤(DVD)、藍光光盤、快閃驅(qū)動器等。
[0056]目的地裝置14的輸入接口 26經(jīng)由鏈路15接收信息。在一些實例中，目的地裝置14包含將信息解調(diào)的調(diào)制解調(diào)器。與輸出接口 24類似，輸入接口 26可包含經(jīng)設計以用于接收數(shù)據(jù)的電路，包含放大器、濾波器及一個或一個以上天線。在一些實例中，輸出接口 24和/或輸入接口 26可并入包含接收和發(fā)射電路的單個收發(fā)器組件內(nèi)。調(diào)制解調(diào)器可包含各種混頻器、濾波器、放大器或經(jīng)設計以用于信號解調(diào)的其它組件。在一些實例中，調(diào)制解調(diào)器可包含用于執(zhí)行調(diào)制和解調(diào)兩者的組件。
[0057]而且，由視頻編碼器22執(zhí)行的視頻編碼過程可在可包含運動估計和運動補償?shù)膸g預測編碼以及幀內(nèi)預測編碼期間實施本文中所描述的技術中的一者或一者以上。由視頻解碼器28執(zhí)行的視頻解碼過程還可在解碼過程的運動補償階段期間執(zhí)行此些技術。
[0058]術語“譯碼器”在本文中用于指代執(zhí)行視頻編碼或視頻解碼的專用計算機裝置或設備。術語“譯碼器”一般指代任何視頻編碼器、視頻解碼器，或組合式編碼器/解碼器(編解碼器)。術語“譯碼”指代編碼或解碼。術語“經(jīng)譯碼塊”、“經(jīng)譯碼塊單元”或“經(jīng)譯碼單元”可指代視頻幀的任何可獨立解碼的單元，例如完整的幀、幀的切片、視頻數(shù)據(jù)塊，或根據(jù)所使用的譯碼技術界定的另一可獨立解碼的單元。
[0059]顯示裝置30向用戶顯示經(jīng)解碼的視頻數(shù)據(jù)，且可包括多種一個或一個以上顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示器(IXD)、等離子體顯示器、有機發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。在一些實例中，顯示裝置30對應于能夠進行三維回放的裝置。舉例來說，顯示裝置30可包括立體顯示器，所述立體顯示器與觀看者佩戴的眼睛佩戴物結(jié)合使用。所述眼睛佩戴物可包括主動式眼鏡，在此情況下，顯示裝置30與主動式眼鏡的鏡片的交替快門同步地在不同視圖的圖像之間快速交替?；蛘?，所述眼睛佩戴物可包括被動式眼鏡，在此情況下，顯示裝置30同時顯示來自不同視圖的圖像，且被動式眼鏡可包含偏光鏡片，所述偏光鏡片一般在正交方向上偏光以在不同視圖之間進行濾波。
[0060]在圖1的實例中，鏈路15可包括任一無線或有線通信媒體，例如，射頻(RF)頻譜或一個或一個以上物理傳輸線、或無線和有線媒體的任一組合。鏈路15可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡的基于包的網(wǎng)絡的部分。鏈路15—般表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到目的地裝置14的任何合適的通信媒體或不同通信媒體的集合。鏈路15可包含可用于促進從源裝置12到目的地裝置14的通信的路由器、交換器、基站或任何其它設備。
[0061]視頻編碼器22和視頻解碼器28可根據(jù)例如ITU-T H.264標準(或者被描述為MPEG-4第10部分，高級視頻譯碼(AVC))的視頻壓縮標準而操作?？捎梢曨l編碼器22和視頻解碼器28使用的基于ITU H.264/AVC標準的額外視頻壓縮標準包含可縮放視頻譯碼(SVC)標準，其為對ITU H.264/AVC標準的可縮放擴展。視頻編碼器22和視頻解碼器28可根據(jù)其而操作的另一標準包含多視圖視頻譯碼(MVC)標準，其為對ITU H.264/AVC標準的多視圖擴展。然而，本發(fā)明的技術不限于任何特定視頻譯碼標準。
[0062]在一些方面中，視頻編碼器22及視頻解碼器28可各自與音頻編碼器及解碼器集成，且可包含適當?shù)腗UX-DEMUX單元或其它硬件及軟件，以處置對共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻與視頻兩者的編碼。如果適用，MUX-DEMUX單元可遵照ITU H.223多路復用器協(xié)議或例如用戶數(shù)據(jù)報協(xié)議(UDP)等其它協(xié)議。
[0063]視頻編碼器22及視頻解碼器28各自可經(jīng)實施為一個或一個以上微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當以軟件實施本發(fā)明的技術中的任一者或全部時，實施裝置可進一步包含用于存儲和/或執(zhí)行用于軟件的指令的硬件，例如用于存儲指令的存儲器以及用于執(zhí)行指令的一個或一個以上處理單元。視頻編碼器22和視頻解碼器28中的每一者可包含在一個或一個以上編碼器或解碼器中，其任一者可作為提供編碼和解碼能力的組合式編解碼器的部分集成在相應的移動裝置、訂戶裝置、廣播裝置、服務器等中。
[0064]視頻序列通常包含一連串視頻幀(還被稱作視頻圖片)。視頻編碼器22對個別視頻幀內(nèi)的視頻塊進行操作以便編碼視頻數(shù)據(jù)。所述視頻塊可具有固定的或變化的大小，且可根據(jù)指定的譯碼標準而大小不同。每一視頻幀包含一連串一個或一個以上切片。在ITU-TH.264標準中，舉例來說，每一切片包含一連串宏塊，所述宏塊可布置到子塊中。ITU-TH.264標準支持:以用于二維(2D)視頻編碼的各種塊大小進行的幀內(nèi)預測，例如，針對明度分量的16乘16、8乘8或4乘4以及針對色度分量的8乘8 ;以及以各種塊大小進行的幀間預測，例如，針對明度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4以及針對色度分量的對應經(jīng)縮放大小。視頻塊可包括像素數(shù)據(jù)塊，或例如在例如離散余弦變換(DCT)或概念上類似的變換過程等變換過程之后的變換系數(shù)塊。這些技術可擴展到3D視頻。
[0065]較小的視頻塊可提供較佳的分辨率，且可用于包含較高細節(jié)水平的視頻幀的定位。一般來說，宏塊和各種子塊可被視為視頻塊。另外，可將切片視為一連串視頻塊，例如若干宏塊和/或若干子塊。每一切片可為視頻幀的可獨立解碼單元?；蛘?，幀自身可為可解碼單元，或可將幀的其它部分定義為可解碼單元。
[0066]通過將來自深度圖或取景視差圖的深度信息連同用于那個視頻幀或切片的相關聯(lián)的明度和色度分量(即，紋理分量)進行編碼，ITU-T H.264的2D宏塊可擴展到3D。取景視差映射(還被稱作虛擬位移映射或偏移映射)基于在一像素位置處的視圖角度和高度圖的函數(shù)來移位所述像素位置處的紋理視圖分量。視頻編碼器22可將深度信息編碼為單色視頻。
[0067]為了編碼視頻塊(例如，經(jīng)譯碼塊)，視頻編碼器22執(zhí)行幀內(nèi)預測或幀間預測以產(chǎn)生一個或一個以上預測塊。視頻編碼器22從將被編碼的原始視頻塊減去預測塊以產(chǎn)生殘余塊。因此，殘余塊可表示正被譯碼的塊與預測塊之間的逐像素差。視頻編碼器22可對殘余塊執(zhí)行變換以產(chǎn)生變換系數(shù)塊。在基于幀內(nèi)或幀間的預測譯碼和變換技術之后，視頻編碼器22可量化變換系數(shù)。量化一般指代其中將系數(shù)量化以可能地減少用于表示系數(shù)的數(shù)據(jù)量的過程。在量化之后，可根據(jù)例如上下文自適應可變長度譯碼(CAVLC)或上下文自適應二進制算術譯碼(CABAC)等熵譯碼方法來執(zhí)行熵譯碼。下文關于圖2來描述由視頻編碼器22執(zhí)行的編碼過程的額外細節(jié)。
[0068]當前正在努力開發(fā)新的視頻譯碼標準(當前被稱作高效視頻譯碼(HEVC))。即將到來的標準還被稱作H.265。標準化工作是基于被稱作HEVC測試模型(HM)的視頻譯碼裝置模型。HM假設優(yōu)于根據(jù)(例如)ITU-T H.264/AVC的裝置的視頻譯碼裝置的若干能力。舉例來說，盡管H.264提供九種幀內(nèi)預測編碼模式，但HM提供多達三十三種幀內(nèi)預測編碼模式。HEVC可經(jīng)擴展以支持如本文中所描述的切片標頭信息技術。
[0069]HM將視頻數(shù)據(jù)塊稱作譯碼單元(CU)。位流內(nèi)的語法數(shù)據(jù)可定義最大譯碼單元(LCU)，其為在像素數(shù)目方面的最大譯碼單元。一般來說，CU具有與H.264的宏塊類似的目的，只不過⑶不具有大小區(qū)別。根據(jù)HM標準，經(jīng)譯碼塊可為⑶。因此，⑶可被分裂為若干子CU。一般來說，在本發(fā)明中對CU的參考可涉及圖片的最大譯碼單元(LCU)或LCU的子CU。LCU可被分裂成若干子CU，且每一子CU可被分裂成若干子CU。位流的語法數(shù)據(jù)可定義LCU可被分裂的最大倍數(shù)，被稱作CU深度。因此，位流還可定義最小譯碼單元(SCU)。本發(fā)明還使用術語“塊”來指代CU、預測單元(PU)或變換單元(TU)中的任一者。
[0070]IXU可與四叉樹數(shù)據(jù)結(jié)構(gòu)相關聯(lián)。一般來說，四叉樹數(shù)據(jù)結(jié)構(gòu)每個⑶包含一個節(jié)點，其中根節(jié)點對應于LCU。如果將CU分裂為四個子CU，那么對應于CU的節(jié)點包含四個葉節(jié)點，所述四個葉節(jié)點中的每一者對應于子CU中的一者。所述四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點可提供對應CU的語法數(shù)據(jù)。舉例來說，四叉樹中的節(jié)點可包含分裂旗標，從而指示對應于所述節(jié)點的CU是否被分裂為子CU。可遞歸地定義CU的語法元素，且所述語法元素可取決于CU是否被分裂為子CU。
[0071]未分裂的⑶可包含一個或一個以上預測單元(PU)。一般來說，I3U表示對應⑶的全部或一部分，且包含用于檢索PU的參考樣本的數(shù)據(jù)。舉例來說，在對進行幀內(nèi)模式編碼時，可包含描述的幀內(nèi)預測模式的數(shù)據(jù)。作為另一實例，在對進行幀間模式編碼時，PU可包含界定PU的運動向量的數(shù)據(jù)。界定運動向量的數(shù)據(jù)可描述(例如)運動向量的水平分量、運動向量的垂直分量、運動向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運動向量指向的參考幀，和/或運動向量的參考列表(例如，列表O或列表I)。還可將運動向量處理為具有用于紋理視圖分量和深度視圖分量的不同分辨率。界定PU的CU的數(shù)據(jù)還可描述(例如)將CU分割為一個或一個以上ro。分割模式在CU未被譯碼、被幀內(nèi)預測模式編碼還是被幀間預測模式編碼之間可不同。
[0072]具有一個或一個以上I3U的⑶還可包含一個或一個以上變換單元(TU)。在使用PU進行預測之后，視頻編碼器22可計算CU的對應于的部分的殘余值?？勺儞Q、掃描和量化所述殘余值。TU不一定受限于PU的大小。因此，TU可比同一⑶的對應PU更大或更小。在一些實例中，TU的最大大小可對應于對應CU的大小。
[0073]如上文所述，幀內(nèi)預測包含從一圖片的先前經(jīng)譯碼⑶來預測同一圖片的當前⑶的PU。更具體來說，視頻編碼器22可使用特定幀內(nèi)預測模式來對圖片的當前CU進行幀內(nèi)預測。HM編碼器可被配置有多達三十三種幀內(nèi)預測模式。因此，為了支持方向性幀內(nèi)預測模式與方向性變換之間的一對一映射，HM編碼器和解碼器將需要針對每一所支持的變換大小來存儲66個矩陣。此外，針對其而支持所有三十三種幀內(nèi)預測模式的塊大小可為相對大的塊，例如32X32像素、64 X 64像素，或更大。
[0074]在目的地裝置14中，視頻解碼器28接收經(jīng)編碼視頻數(shù)據(jù)8。視頻解碼器28根據(jù)例如CAVLC或CABAC等熵譯碼方法對例如經(jīng)譯碼塊等所接收的經(jīng)編碼視頻數(shù)據(jù)8進行熵解碼，以獲得經(jīng)量化系數(shù)。視頻解碼器28應用反量化(解量化)和反變換功能以在像素域中重構(gòu)殘余塊。視頻解碼器28還基于經(jīng)編碼視頻數(shù)據(jù)中所包含的控制信息或語法信息(例如，譯碼模式、運動向量、界定濾波器系數(shù)的語法等)而產(chǎn)生預測塊。視頻解碼器28計算預測塊與經(jīng)重構(gòu)的殘余塊的總和以產(chǎn)生用于顯示的經(jīng)重構(gòu)視頻塊。下文關于圖5來描述由視頻解碼器28執(zhí)行的實例性解碼過程的額外細節(jié)。
[0075]如本文中所描述，Y可表示明度，Cb和Cr可表示三維YCbCr色彩空間(例如，藍色和紅色色調(diào))的色度的兩個不同值，且D可表示深度信息。在一些實例中，每一像素位置可實際上界定用于三維色彩空間的三個像素值以及用于像素位置的深度的一個像素值。在其它實例中，每個色度分量可存在不同數(shù)目的明度分量。舉例來說，每個深度分量可存在四個明度分量。另外，深度分量和紋理分量可具有不同的分辨率。在此實例中，在紋理視圖分量(例如，明度分量)與深度視圖分量之間可能不是一對一的關系。然而，本發(fā)明的技術可為了簡單起見而涉及關于一個維度的預測。在關于一個維度上的像素值來描述技術的程度上，類似技術可擴展到其它維度。具體來說，根據(jù)本發(fā)明的一個方面，視頻編碼器22和/或視頻解碼器28可獲得像素塊，其中像素塊包含紋理視圖分量和深度視圖分量。
[0076]在一些實例中，視頻編碼器22和視頻解碼器28可在運動補償期間使用一種或一種以上內(nèi)插濾波技術。也就是說，視頻編碼器22和/或視頻解碼器28可應用內(nèi)插濾波器來對包括多組全整數(shù)像素位置的支持進行濾波。
[0077]目的地裝置14的視頻解碼器28連同包含與紋理視圖分量相關的語法信息的額外信息一起接收一個或一個以上經(jīng)譯碼塊以作為經(jīng)編碼視頻位流的部分。視頻編碼器28可基于經(jīng)譯碼塊8和語法元素來再現(xiàn)視頻數(shù)據(jù)以供3D回放。根據(jù)本發(fā)明的技術，且如下文更詳細地論述，針對紋理視圖分量4用信號發(fā)送的語法元素可用于預測深度視圖分量6的語法元素?？稍诩y理視圖分量4的切片標頭中用信號發(fā)送語法元素?？蓮募y理視圖分量4的相關語法元素來確定深度視圖分量6的對應語法元素。
[0078]可在深度視圖分量6的切片標頭中用信號發(fā)送深度視圖分量6的一些語法元素，例如深度圖分量與切片的一個或一個以上紋理分量中的一者之間的量化參數(shù)差。屬性還可為切片層級中的旗標，所述旗標指示用于深度視圖分量的環(huán)路濾波器參數(shù)是否與針對紋理視圖分量用信號發(fā)送的環(huán)路濾波器參數(shù)相同。在其它實例中，除了切片層級(例如，在切片標頭中)之外，還可在序列層級(例如，在序列參數(shù)集(SPS)數(shù)據(jù)結(jié)構(gòu)中)、圖片層級(例如，在圖片參數(shù)集(PPS)數(shù)據(jù)結(jié)構(gòu)或幀標頭中)或塊層級(例如，在塊標頭中)處用信號發(fā)送語法元素。
[0079]圖2是進一步詳細地說明圖1的視頻編碼器22的一實例的方框圖。與本發(fā)明的技術一致地，視頻編碼器22對用信號發(fā)送可用于預測深度視圖分量的語法元素的紋理視圖分量的語法元素的塊單元進行編碼。視頻編碼器22是在本文被稱作“譯碼器”的專用視頻計算機裝置或設備的一個實例。如圖2中所示，視頻編碼器22對應于源裝置12的視頻編碼器22。然而，在一個實例中，視頻編碼器22可對應于不同的裝置。在進一步的實例中，其它單元(例如，其它編碼器/解碼器(CODEC))也可執(zhí)行與由視頻編碼器22執(zhí)行的技術類似的技術。
[0080]視頻編碼器22可執(zhí)行對視頻幀內(nèi)的塊的幀內(nèi)譯碼或幀間譯碼中的至少一者，但為了便于說明，在圖2中未展示幀內(nèi)譯碼組件。幀內(nèi)譯碼依賴于空間預測以減少或移除給定視頻幀內(nèi)的視頻中的空間冗余。幀間譯碼依賴于時間預測以減少或移除視頻序列的鄰近幀內(nèi)的視頻中的時間冗余。幀內(nèi)模式(I模式)可指代基于空間的壓縮模式。例如預測(P模式)或雙向(B模式)等幀間模式可指代基于時間的壓縮模式。本發(fā)明的技術在幀間譯碼和幀內(nèi)譯碼期間適用。然而，為了說明的簡明和便利，在圖2中未說明例如空間預測單元等幀內(nèi)譯碼單元。
[0081]如圖2中所示，視頻編碼器22接收待編碼視頻幀內(nèi)的視頻塊。在一個實例中，視頻編碼器22接收紋理視圖分量4和深度視圖分量6。在另一實例中，視頻編碼器從視頻源20接收視圖2。
[0082]在圖2的實例中，視頻編碼器22包含預測處理單元32、預測譯碼單元(MCU)、多視圖視頻加深度(MVD)單元33、存儲器34、第一加法器48、變換處理單元38、量化單元40和熵譯碼單元46。為了視頻塊重構(gòu)，視頻編碼器22還包含反量化單元42、反變換處理單元
44、第二加法器51和解塊單元43。解塊單元43是對塊邊界進行濾波以從經(jīng)重構(gòu)的視頻移除成塊性假影的解塊濾波器。如果包含于視頻編碼器22中，那么解塊單元43將通常對第二加法器51的輸出進行濾波。解塊單元43可確定一個或一個以上紋理視圖分量的解塊信息。解塊單元43還可確定深度圖分量的解塊信息。在一些實例中，一個或一個以上紋理分量的解塊信息可不同于深度圖分量的解塊信息。在一個實例中，如圖2中所示，變換處理單元38表示與依據(jù)HEVC的“TU”相對的功能塊。
[0083]多視圖視頻加深度(MVD)單元33接收包括紋理分量和深度信息(例如，紋理視圖分量4和深度視圖分量6)的一個或一個以上視頻塊(圖2中標記為“視頻塊”)。MVD單元33向視頻編碼器22提供對塊單元中的深度分量進行編碼的功能性。MVD單元33以使得預測處理單元32能夠處理深度信息的格式向預測處理單元32組合地或單獨地提供紋理視圖分量和深度視圖分量。MVD單兀33還可向變換處理單兀38用信號通知深度視圖分量與視頻塊包含在一起。在其它實例中，視頻編碼器22的每一單元(例如，預測處理單元32、變換處理單元38、量化單元40、熵譯碼單元46等)包括用以處理除了紋理視圖分量之外的深度信息的功能性。
[0084]一般來說，視頻編碼器22以類似于色度信息的方式對深度信息進行編碼，原因在于運動補償單元37經(jīng)配置以在計算一塊的深度分量的預測值時會再用針對同一塊的明度分量所計算的運動向量。類似地，視頻編碼器22的幀內(nèi)預測單元可經(jīng)配置以在使用幀內(nèi)預測編碼深度視圖分量時使用針對明度分量(即，基于對明度分量的分析)所選擇的幀內(nèi)預測模式。
[0085]預測處理單元32包含運動估計(ME)單元35和運動補償(MC)單元37。預測處理單元32預測像素位置的深度信息以及紋理分量。一個或一個以上內(nèi)插濾波器39 (在本文被稱作“濾波器39”)可包含于預測處理單元32中且可由ME單元35和MC單元37中的一者或兩者調(diào)用來執(zhí)行內(nèi)插以作為運動估計和/或運動補償?shù)牟糠?。?nèi)插濾波器39可實際上表示用以促進眾多不同類型的內(nèi)插和內(nèi)插類型的濾波的多個不同濾波器。因此，預測處理單元32可包含多個內(nèi)插或類內(nèi)插濾波器。
[0086]在編碼過程期間，視頻編碼器22接收將被譯碼的視頻塊(圖2中標記為“視頻塊”)，且預測處理單元32執(zhí)行幀間預測譯碼以產(chǎn)生預測塊(圖2中標記為“預測塊”)。預測塊包含紋理視圖分量和深度視圖信息兩者。具體來說，ME單元35可執(zhí)行運動估計來識別存儲器34中的預測塊，且MC單元37可執(zhí)行運動補償來產(chǎn)生預測塊。
[0087]運動估計通常被視為產(chǎn)生估計視頻塊的運動的運動向量的過程。運動向量(例如)可指示預測或參考幀(或其它經(jīng)譯碼單元，例如切片)內(nèi)的預測塊相對于當前幀(或其它經(jīng)譯碼單元)內(nèi)將被譯碼的塊的位移。運動向量可具有全整數(shù)或子整數(shù)像素精度。舉例來說，運動向量的水平分量和垂直分量兩者可具有相應的全整數(shù)分量和子整數(shù)分量。參考幀(或幀的部分)可在時間上位于當前視頻塊所屬的視頻幀(或視頻幀的部分)之前或之后。運動補償通常被視為從存儲器34獲取預測塊或產(chǎn)生預測塊的過程，所述過程可包含基于由運動估計確定的運動向量來內(nèi)插或以其它方式產(chǎn)生預測數(shù)據(jù)。
[0088]ME單元35通過將視頻塊與一個或一個以上參考幀(例如，前一和/或后一幀)的參考塊進行比較來計算將被譯碼的視頻塊的至少一個運動向量。參考幀的數(shù)據(jù)可存儲于存儲器34中。ME單元35可執(zhí)行具有分數(shù)像素精度的運動估計，其有時被稱作分數(shù)像素(fractional pixel)、分數(shù)像素(fractional pel)、子整數(shù)或子像素運動估計。在分數(shù)像素運動估計中，ME單元35計算指示到除了整數(shù)像素位置之外的位置的位移的運動向量。因此，運動向量可具有分數(shù)像素精度，例如，二分之一像素精度、四分之一像素精度、八分之一像素精度，或其它分數(shù)像素精度。以此方式，分數(shù)像素運動估計允許預測處理單元32估計具有比整數(shù)像素(或全像素)位置高的精度的運動，且因此，預測處理單元32產(chǎn)生更準確的預測塊。分數(shù)像素運動估計允許預測處理單元32以第一分辨率預測深度信息，且以第二分辨率預測紋理分量。舉例來說，將紋理分量預測為全像素精度，而將深度信息預測為二分之一像素精度。在其它實例中，可使用運動向量的其它分辨率來用于深度信息和紋理分量。
[0089]ME單元35可調(diào)用一個或一個以上濾波器39來用于運動估計過程期間的任何必要的內(nèi)插。在一些實例中，存儲器34可存儲子整數(shù)像素的經(jīng)內(nèi)插值，所述經(jīng)內(nèi)插值可由(例如)求和器51使用濾波器39來計算。舉例來說，求和器51可將濾波器39應用于將存儲于存儲器34中的經(jīng)重構(gòu)塊。
[0090]一旦預測處理單元32已產(chǎn)生預測塊，視頻編碼器22便通過從正被譯碼的原始視頻塊減去預測塊來形成殘余視頻塊(圖2中標記為“殘余塊”)。此減法可發(fā)生在原始視頻塊中的紋理分量與預測塊中的紋理分量之間，以及針對原始視頻塊中的深度信息或來自預測塊中的深度信息的深度圖而發(fā)生。加法器48表示執(zhí)行此減法運算的組件。
[0091]變換處理單元38可對殘余塊應用變換(例如，離散余弦變換(DCT)或概念上類似的變換)，從而產(chǎn)生包括殘余變換塊系數(shù)的視頻塊。應理解，變換處理單元38表示將變換應用于視頻數(shù)據(jù)塊的殘余系數(shù)(與如由HEVC定義的CU的TU形成對比)的視頻編碼器22的組件。變換處理單元38可例如執(zhí)行概念上類似于DCT的其它變換，例如由H.264標準定義的變換。此些變換包含(例如)方向性變換(例如，卡胡南-羅孚(Karhunen-Loeve)法則變換)，小波變換、整數(shù)變換、子帶變換，或其它類型的變換。在任何情況下，變換處理單元38對殘余塊應用所述變換，從而產(chǎn)生殘余變換系數(shù)塊。變換處理單元38可將相同類型的變換應用于對應的殘余塊中的紋理分量和深度信息兩者。將存在每一紋理和深度分量的單獨殘余塊。所述變換將殘余信息從像素域轉(zhuǎn)換為頻域。
[0092]量化單元40量化殘余變換系數(shù)以進一步減小位率。量化過程可減小與系數(shù)中的一些或全部相關聯(lián)的位深度。量化單元40可量化深度圖像譯碼殘余值。在量化之后，熵譯碼單元46對經(jīng)量化變換系數(shù)進行熵譯碼。舉例來說，熵譯碼單元46可執(zhí)行CAVLC、CABAC或另一熵譯碼方法。
[0093]熵譯碼單元46還可對從預測處理單元32或視頻編碼器22的其它組件(例如，量化單元40)獲得的一個或一個以上運動向量和支持信息進行譯碼。一個或一個以上預測語法元素可包含譯碼模式、一個或一個以上運動向量的數(shù)據(jù)(例如，水平分量和垂直分量、參考列表識別符、列表索引，和/或運動向量分辨率信令信息)、所使用的內(nèi)插技術的指示、一組濾波器系數(shù)、深度圖像與明度分量的分辨率的相對分辨率的指示、深度圖像譯碼殘余值的量化矩陣、深度圖像的解塊信息，或與預測塊的產(chǎn)生相關聯(lián)的其它信息?？稍谛蛄袑蛹壷谢蛟趫D片層級中提供這些預測語法元素。
[0094]所述一個或一個以上語法元素還可包含明度分量與深度分量之間的量化參數(shù)(QP)差。所述QP差可在切片層級處用信號發(fā)送，且可包含于紋理視圖分量的切片標頭中。還可在經(jīng)譯碼塊單元層級處用信號發(fā)送其它語法元素，包含深度視圖分量的經(jīng)譯碼塊模式、深度視圖分量的增量QP、運動向量差，或與預測塊的產(chǎn)生相關聯(lián)的其它信息?？蓪⑦\動向量差作為目標運動向量與紋理分量的運動向量之間的增量值，或作為目標運動向量(即，正被譯碼的塊的運動向量)與來自塊(例如，CU的PU)的相鄰運動向量的預測符之間的增量值而用信號發(fā)送。在熵譯碼單元46進行的熵譯碼之后，可將經(jīng)編碼視頻和語法元素發(fā)射到另一裝置或加以存檔(例如，存檔在存儲器34中)以用于稍后發(fā)射或檢索。
[0095]反量化單元42和反變換處理單元44分別應用反量化和反變換，以在像素域中重構(gòu)殘余塊，(例如)以用于稍后用作參考塊。經(jīng)重構(gòu)殘余塊(在圖2中標記為“經(jīng)重構(gòu)殘余塊”)可表示提供給變換處理單元38的殘余塊的經(jīng)重構(gòu)版本。歸因于量化和反量化操作而導致的細節(jié)的損失，經(jīng)重構(gòu)殘余塊可能不同于由求和器48產(chǎn)生的殘余塊。求和器51將所述經(jīng)重構(gòu)的殘余塊與由預測處理單元32產(chǎn)生的經(jīng)運動補償?shù)念A測塊相加，以產(chǎn)生用于存儲在存儲器34中的經(jīng)重構(gòu)視頻塊?？捎深A測處理單元32將所述經(jīng)重構(gòu)視頻塊用作參考塊，所述參考塊可用于隨后對后續(xù)視頻幀或后續(xù)經(jīng)譯碼單元中的塊單元進行譯碼。
[0096]以此方式，視頻編碼器22表示視頻編碼器的實例，其經(jīng)配置以:接收包括指示圖像的視圖的視圖分量的經(jīng)譯碼塊單元，其中所述視圖分量包括一個或一個以上紋理視圖分量和深度視圖分量；產(chǎn)生包含紋理語法元素的一個或一個以上紋理視圖分量的紋理切片標頭，其中可從紋理切片標頭中的紋理語法元素來確定深度視圖分量的深度語法元素。
[0097]在一些情況下，可將關于對紋理視圖分量和深度視圖分量的譯碼的信息指示為包含于經(jīng)譯碼位流中的一個或一個以上語法元素。在一些實例中，深度切片標頭包括包含以下各者中的至少一者的語法元素:開始宏塊的位置、切片類型、將使用的圖片參數(shù)集(PPS)、切片的初始QP與在PPS中用信號發(fā)送的QP之間的增量QP、參考圖片的次序(表示為frame_num)，以及當前圖片(POC)的顯示次序。深度切片標頭還可包括以下各者中的至少一者:參考圖片列表建構(gòu)和相關的語法元素、存儲器管理控制操作和相關的語法元素，以及經(jīng)加權(quán)的預測和相關的語法元素。
[0098]圖3是用于多視圖視頻譯碼的MVC(MVC)預測結(jié)構(gòu)的一個實例的圖。MVC是H.264/AVC的擴展。MVC預測結(jié)構(gòu)包含每一視圖內(nèi)的圖片間預測以及視圖間預測兩者。在圖3中，預測由箭頭指示，其中指向?qū)ο笫褂脤χ笇ο髞碛糜陬A測參考。圖3的MVC預測結(jié)構(gòu)可與時間優(yōu)先解碼次序布置結(jié)合使用。在時間優(yōu)先解碼次序中，可將每一存取單元界定成含有一個輸出時刻處的所有視圖的經(jīng)譯碼圖片。存取單元的解碼次序可不等同于輸出或顯示次序。
[0099]在MVC中，視圖間預測受到視差運動補償支持，所述視差運動補償使用H.264/AVC運動補償?shù)恼Z法，但允許將不同視圖中的圖片作為參考圖片。對兩個視圖的譯碼也可受到MVC支持。MVC編碼器可將兩個以上視圖用作3D視頻輸入，且MVC解碼器可解碼多視圖表示。具有MVC解碼器的再現(xiàn)器可解碼具有多個視圖的3D視頻內(nèi)容。
[0100]相同存取單元(即，具有相同時刻)中的圖片可在MVC中被視圖間預測。當對非基礎視圖中的一者中的圖片進行譯碼時，如果圖片處于不同視圖中但具有相同時刻，那么可將所述圖片添加到參考圖片中?？蓪⒁晥D間預測參考圖片置于參考圖片列表的任何位置中，正如任何幀間預測參考圖片一樣。
[0101]在MVC中，可如同另一視圖中的視圖分量是幀間預測參考一般實現(xiàn)視圖間預測?？稍谛蛄袇?shù)集(SPS)MVC擴展中用信號發(fā)送潛在的視圖間參考。可通過參考圖片列表建構(gòu)過程來修改潛在的視圖間參考，所述參考圖片列表建構(gòu)過程實現(xiàn)對幀間預測或視圖間預測參考的靈活排序。
[0102]相比而言，在HEVC中，切片標頭遵循與H.264/AVC中的設計原理類似的設計原理。另外，HEVC切片標頭可含有當前HEVC規(guī)格中的自適應環(huán)路濾波器(ALF)參數(shù)語法。在一些實例中，深度切片標頭包括一個或一個以上自適應環(huán)路濾波器參數(shù)。
[0103]在3DV編解碼器中，特定時刻中的每一視圖的視圖分量可包含紋理視圖分量和深度視圖分量。切片結(jié)構(gòu)可用于錯誤彈性目的，即，提供錯誤彈性。然而，僅當準確地接收到對應的紋理視圖分量時，深度視圖分量可能才有意義。通過包含深度視圖分量的所有語法元素，深度視圖分量的NAL單元的切片標頭可能相對大。可通過從紋理視圖分量的紋理切片標頭中的語法元素中預測一些語法元素來減少深度切片標頭的大小。
[0104]可使用位流在(例如)圖1的源裝置12與目的地裝置14之間傳遞多視圖視頻加深度塊單元和語法元素。所述位流可遵照譯碼標準ITU H.264/AVC，且具體來說，遵循多視圖視頻譯碼(MVC)位流結(jié)構(gòu)。也就是說，在一些實例中，所述位流符合H.264/AVC的MVC擴展。在其它實例中，所述位流符合HEVC的多視圖擴展或另一標準的多視圖擴展。在又其它實例中，使用其它譯碼標準。
[0105]典型的MVC位流次序(解碼次序)布置是時間優(yōu)先譯碼。將每一存取單元界定為含有一個輸出時刻的所有視圖的經(jīng)譯碼圖片。存取單元的解碼次序可等同于或可不等同于輸出或顯示次序。通常，MVC預測可包含每一視圖內(nèi)的圖片間預測以及視圖間預測兩者。在MVC中，視圖間預測可受到視差運動補償支持，所述視差運動補償使用H.264/AVC運動補償?shù)恼Z法，但允許將不同視圖中的圖片用作參考圖片。
[0106]對兩個視圖的譯碼受到MVC支持。MVC的一個優(yōu)點是，MVC編碼器可將兩個以上視圖用作3D視頻輸入，且MVC解碼器可將兩個視圖解碼為多視圖表示。因此，具有MVC解碼器的再現(xiàn)器可將3D視頻內(nèi)容視為具有多個視圖。先前，MVC未處理具有補充性增強信息(SEI)消息(立體信息或空間交錯圖片)的深度圖輸入，類似于H.264/AVC。
[0107]在H.264/AVC標準中，將網(wǎng)絡抽象層(NAL)單元界定為提供“網(wǎng)絡友好的”視頻表示，從而解決了例如視頻電話、存儲或流式傳輸視頻等應用?？蓪AL單元歸類為視頻譯碼層(VCL) NAL單元和非VCL NAL單元。VCL單元可含有核心壓縮引擎且包括塊、宏塊(MB)和切片層級。其它NAL單元是非VCL NAL單元。
[0108]在2D視頻編碼實例中，每一 NAL單元含有一個字節(jié)的NAL單元標頭和不同大小的有效負載。使用五個位來指定NAL單元類型。三個位用于nal_ref_idC，其指示在被其它圖片(NAL單元)參考方面NAL單元有多重要。舉例來說，將nal_ref_idc設定為等于O意味著NAL單元不用于幀間預測。隨著H.264/AVC擴展到包含3D視頻編碼，例如可縮放視頻譯碼(SVC)標準，NAL標頭可類似于2D情形的NAL標頭。舉例來說，使用NAL單元標頭中的一個或一個以上位來識別NAL單元是四分量NAL單元。
[0109]NAL單元標頭還可用于MVC NAL單元。然而，在MVC中，可保留NAL單元標頭結(jié)構(gòu)，除了前綴NAL單元和經(jīng)MVC譯碼的切片NAL單元之外。經(jīng)MVC譯碼的切片NAL單元可包括四字節(jié)標頭和NAL單元有效負載，所述NAL單元有效負載可包含例如圖1的經(jīng)譯碼塊8等塊單兀。MVC NAL單兀標頭中的語法兀素可包含priority_id、temporal_id、anchor_pic_flag、view_id、non_idr_flag以及inter_view_flag。在其它實例中，其它語法元素包含于MVC NAL單元標頭中。
[0110]語法元素anch0r_pic_flag可指示圖片是錨圖片還是非錨圖片。錨圖片以及以輸出次序(顯示次序)在其后面的所有圖片可被正確解碼，而不需要以解碼次序(即，位流次序)對先前圖片進行解碼，且因此可用作隨機存取點。錨圖片和非錨圖片可具有不同的相依性，可在序列參數(shù)集中用信號發(fā)送以上兩者。
[0111]MVC中所界定的位流結(jié)構(gòu)可通過兩個語法元素來表征:view_id和temporal—id。語法元素view_id可指示每一視圖的識別符。NAL單元中的此識別符使得能夠容易地在解碼器處識別NAL單元且快速地存取經(jīng)解碼的視圖以進行顯示。語法元素temporalid可指示時間可縮放性分層結(jié)構(gòu)，或間接地指示幀速率。舉例來說，包含具有較小的最大temporal_id值的NAL單元的操作點可具有比具有較大的最大temporal_id值的操作點低的幀速率。具有較高的temporal_id值的經(jīng)譯碼圖片通常取決于視圖內(nèi)的具有較低的temporal_id值的經(jīng)譯碼圖片,但可不取決于具有較高temporal_id的任何經(jīng)譯碼圖片。
[0112]NAL單元標頭中的語法元素view_id和temporal_id可用于位流提取和調(diào)適兩者。語法元素priority_id可主要用于簡單的一路徑位流調(diào)適過程。語法元素inter_view_flag可指示此NAL單元是否將用于視圖間預測不同視圖中的另一 NAL單元。
[0113]MVC還可使用序列參數(shù)集(SPS)且包含SPS MVC擴展。參數(shù)集用于H.264/AVC中的信令。序列參數(shù)集包括序列層級的標頭信息。圖片參數(shù)集(PPS)包括不頻繁變化的圖片層級的標頭信息。通過參數(shù)集，未始終針對每一序列或圖片來重復此不頻繁變化的信息，因此譯碼效率得到提高。此外，參數(shù)集的使用實現(xiàn)了對標頭信息的帶外發(fā)射，從而避免需要冗余發(fā)射來用于錯誤彈性。在帶外發(fā)射的一些實例中，在與其它NAL單元不同的信道上發(fā)射參數(shù)集NAL單元。在MVC中，可在SPS MVC擴展中用信號發(fā)送視圖相依性?？稍谟蒘PS MVC擴展指定的范圍內(nèi)進行所有視圖間預測。
[0114]在一些先前的3D視頻編碼技術中，以一種方式對內(nèi)容進行譯碼，使得在一個或一個以上NAL單元中對色彩分量(例如，在YCbCr色彩空間中)進行譯碼，而在一個或一個以上單獨的NAL單元中對深度圖像進行譯碼。然而，當沒有單個NAL單元含有存取單元的紋理和深度圖像的經(jīng)譯碼樣本時，可出現(xiàn)若干問題。舉例來說，在3D視頻解碼器中，預期在對每一幀的紋理和深度圖像兩者進行解碼之后，激活基于深度圖和紋理的視圖再現(xiàn)以產(chǎn)生虛擬視圖。如果以連續(xù)方式對存取單元的深度圖像的NAL單元和紋理的NAL單元進行譯碼，視圖再現(xiàn)可直到對整個存取單元進行解碼時才開始。這可導致再現(xiàn)3D視頻所花費的時間的增加。
[0115]此外，紋理圖像和相關聯(lián)的深度圖圖像可共享編解碼器中的各個層級中的一些信息，所述層級例如為序列層級、圖片層級、切片層級和塊層級。當共享或預測此信息時，將所述信息譯碼到兩個NAL單元中可產(chǎn)生額外的實施負擔。因此，編碼器可必須針對一幀執(zhí)行兩次運動估計，一次用于紋理且還有一次用于深度圖。類似地，解碼器可需要針對一幀執(zhí)行兩次運動補償。
[0116]如本文中所描述，將若干技術添加到現(xiàn)有標準，例如WC,以便支持3D視頻?？蓪⒍嘁晥D視頻加深度(MVD)添加到MVC以用于3D視頻處理。3D視頻編碼技術可向現(xiàn)有的視頻標準提供更多的靈活性和可擴展性，例如，以用于流暢地改變視圖角度，或向后或向前調(diào)整收斂或深度感知，所述向后或向前調(diào)整收斂或深度感知可例如基于裝置的規(guī)格或用戶偏好。還可擴展譯碼標準以利用深度圖來產(chǎn)生3D視頻中的虛擬視圖。
[0117]圖4是說明根據(jù)本發(fā)明的技術的視頻譯碼器的實例性操作的流程圖。在一些實例中，視頻譯碼器是視頻編碼器，例如圖1和2中所示的視頻編碼器22。在其它實例中，視頻譯碼器是視頻解碼器，例如圖1和5中所示的視頻解碼器28。視頻譯碼器接收包括紋理切片標頭的紋理切片，所述紋理切片標頭包括表示紋理切片的特性的語法元素(102)。舉例來說，視頻譯碼器接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素。所述方法進一步包含接收包括深度切片標頭的深度切片，所述深度切片標頭包括表示深度切片的特性的語法元素
(104)。舉例來說，視頻譯碼器接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示深度切片的特性的語法元素。在一些實例中，所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元。
[0118]所述裝置進一步包括對第一切片進行譯碼，其中所述第一切片包括紋理切片和深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素(106)。舉例來說，視頻編碼器22對第一切片進行編碼，其中所述第一切片包括紋理切片和深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素。在一個實例中，所述切片標頭包括用于對相關聯(lián)的切片進行譯碼的所有語法元素。在另一實例中，視頻解碼器28對第一切片進行解碼，其中所述第一切片包括紋理切片和深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素。
[0119]所述方法進一步包括從所述第一切片的所述切片標頭確定第二切片的共同語法元素(108)。此外，所述方法包括在對所述第一切片進行譯碼之后至少部分基于所確定的共同語法元素對所述第二切片進行譯碼，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭(110)。舉例來說，視頻編碼器22在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。類似地，視頻解碼器28可在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
[0120]在其它實例中，所述方法進一步包括在序列參數(shù)集中用信號發(fā)送在所述第二切片的所述切片標頭中明確用信號發(fā)送哪些語法元素的指示。
[0121]在其它實例中，在深度視圖分量的切片標頭中確定并用信號發(fā)送至少一個深度語法元素。所述至少一個深度語法元素可包含圖片參數(shù)集識別符、切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差、經(jīng)譯碼塊單元的開始位置，參考圖片的次序，或深度視圖分量的當前圖片的顯示次序。舉例來說，第二切片的切片標頭至少包括相關圖片參數(shù)集的識別的用信號發(fā)送的語法元素。在另一實例中，第二切片的切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。在另一實例中，第二切片的切片標頭至少包括經(jīng)譯碼塊的開始位置的用信號發(fā)送的語法元素。此外，第二切片的切片標頭包括所述第二切片的幀編號和圖片次序計數(shù)中的至少一者。在另一實例中，第二切片的切片標頭包括與參考圖片列表建構(gòu)、用于每一列表的有效參考幀的數(shù)目、參考圖片列表修改語法表以及預測權(quán)重表相關的語法元素中的至少一者。
[0122]當未在紋理切片標頭或深度切片標頭中用信號發(fā)送經(jīng)譯碼塊的開始位置時，可將所述經(jīng)譯碼塊的開始位置確定為零?？捎眯盘柊l(fā)送至少一個紋理視圖分量的環(huán)路濾波器參數(shù)，且用信號發(fā)送指示用于深度視圖分量的環(huán)路濾波器參數(shù)與用于至少一個紋理視圖分量的環(huán)路濾波器參數(shù)相同的旗標集。舉例來說，第二切片的切片標頭包括與用于所述第二切片的解塊濾波器參數(shù)或自適應環(huán)路濾波參數(shù)相關的語法元素中的至少一者。
[0123]在另一實例中，使用視圖間預測對表示紋理信息的視頻數(shù)據(jù)的一個或一個以上塊進行編碼，而使用視圖內(nèi)預測對幀的對應部分的深度值進行編碼。具有紋理視圖分量和深度視圖分量的視頻幀可對應于第一視圖。對表示紋理信息的一個或一個以上視頻數(shù)據(jù)塊進行編碼可包含相對于第二視圖的數(shù)據(jù)來預測表示紋理信息的視頻數(shù)據(jù)塊中的至少一者的至少一部分，其中所述第二視圖不同于所述第一視圖。對表示幀的部分的深度值的深度信息進行編碼進一步包括相對于第一視圖的數(shù)據(jù)來預測表示深度值的深度信息的至少一部分。所述深度切片標頭可進一步用信號發(fā)送表示深度圖視圖分量的參考圖片列表建構(gòu)的語法元素。
[0124]表I展示序列參數(shù)集(SPS)MVC擴展。視圖間參考可在SPS中用信號發(fā)送且可通過參考圖片列表建構(gòu)過程進行修改，所述參考圖片列表建構(gòu)過程實現(xiàn)對幀間預測或視圖間預測參考的靈活排序。
[0125]
【權(quán)利要求】
1.一種處理視頻數(shù)據(jù)的方法，所述方法包括: 接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素； 接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元； 對第一切片進行解碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素； 從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及 在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
2.根據(jù)權(quán)利要求1所述的方法，其中所述第二切片的所述切片標頭至少包括相關圖片參數(shù)集的識別的用信號發(fā)送的語法元素。
3.根據(jù)權(quán)利要求1所述的方法，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。
4.根據(jù)權(quán)利要求1所述的方法，其中所述第二切片的所述切片標頭至少包括所述經(jīng)譯碼塊的開始位置的用信號發(fā)送的語法元素。
5.根據(jù)權(quán)利要求1所述的方法，其中所述第二切片的所述切片標頭包括所述第二切片的幀編號和圖片次序計數(shù)中的至少一者。
6.根據(jù)權(quán)利要求1所述的方法，其中所述第二切片的所述切片標頭包括與參考圖片列表建構(gòu)、用于每一列表的有效參考幀的數(shù)目、參考圖片列表修改語法表以及預測權(quán)重表相關的所述語法元素中的至少一者。
7.根據(jù)權(quán)利要求1所述的方法，其中所述第一切片包括所述紋理切片且所述第二切片包括所述深度切片，所述方法進一步包括: 當未在所述紋理切片標頭或所述深度切片標頭中用信號發(fā)送所述深度視圖分量的開始位置時，將所述深度切片的開始位置確定為零。
8.根據(jù)權(quán)利要求1所述的方法，其中所述第二切片的所述切片標頭包括與用于所述第二切片的解塊濾波器參數(shù)或自適應環(huán)路濾波參數(shù)相關的所述語法元素中的至少一者。
9.根據(jù)權(quán)利要求1所述的方法，其進一步包括: 在序列參數(shù)集中用信號發(fā)送在所述第二切片的所述切片標頭中明確用信號發(fā)送哪些語法元素的指示。
10.一種用于對數(shù)據(jù)進行解碼的裝置，其包括視頻解碼器，所述視頻解碼器經(jīng)配置以:接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素；接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元；對第一切片進行解碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素；從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及在對所述第一切片進行解碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
11.根據(jù)權(quán)利要求10所述的裝置，其中所述第二切片的所述切片標頭至少包括相關圖片參數(shù)集的識別的用信號發(fā)送的語法元素。
12.根據(jù)權(quán)利要求10所述的裝置，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。
13.根據(jù)權(quán)利要求10所述的裝置，其中所述第二切片的所述切片標頭至少包括所述經(jīng)譯碼塊的開始位置的用信號發(fā)送的語法元素。
14.根據(jù)權(quán)利要求10所述的裝置，其中所述第二切片的所述切片標頭包括所述第二切片的幀編號和圖片次序計數(shù)中的至少一者。
15.根據(jù)權(quán)利要求10所述的裝置，其中所述第二切片的所述切片標頭包括與參考圖片列表建構(gòu)、用于每一列表的有效參考幀的數(shù)目、參考圖片列表修改語法表以及預測權(quán)重表相關的所述語法元素中的至少一者。
16.根據(jù)權(quán)利要求10所述的裝置，其中所述第一切片包括所述紋理切片且所述第二切片包括所述深度切片，其中所述視頻解碼器進一步經(jīng)配置以當未在所述紋理切片標頭或所述深度切片標頭中用信號發(fā)送所述深度視圖分量的開始位置時，將所述深度切片的開始位置確定為零。
17.根據(jù)權(quán)利要求10所述的裝置，其中所述第二切片的所述切片標頭包括與用于所述第二切片的解塊濾波器參數(shù)或自適應環(huán)路濾波參數(shù)相關的所述語法元素中的至少一者。
18.根據(jù)權(quán)利要求10所述的裝置，其中視頻譯碼器進一步經(jīng)配置以在序列參數(shù)集中用信號發(fā)送在所述第二切片的所述切片標頭中明確用信號發(fā)送哪些語法元素的指示。
19.一種計算機程序產(chǎn)品，其包括其上存儲有指令的計算機可讀存儲媒體，所述指令在被執(zhí)行時致使視頻解碼裝置的處理器: 接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素； 接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元； 對第一切片進行解碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素； 從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及 在對所述第一切片進行解碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
20.根據(jù)權(quán)利要求19所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭至少包括相關圖片參數(shù)集的識別的用信號發(fā)送的語法元素。
21.根據(jù)權(quán)利要求19所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。
22.根據(jù)權(quán)利要求19所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭至少包括所述經(jīng)譯碼塊的開始位置的用信號發(fā)送的語法元素。
23.根據(jù)權(quán)利要求19所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭包括所述第二切片的幀編號和圖片次序計數(shù)中的至少一者。
24.根據(jù)權(quán)利要求19所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭包括與參考圖片列表建構(gòu)、用于每一列表的有效參考幀的數(shù)目、參考圖片列表修改語法表以及預測權(quán)重表相關的所述語法元素中的至少一者。
25.根據(jù)權(quán)利要求19所述的計算機可讀存儲媒體，其中所述第一切片包括所述紋理切片且所述第二切片包括所述深度切片，所述指令進一步致使視頻解碼裝置的處理器: 當未在所述紋理切片標頭或所述深度切片標頭中用信號發(fā)送所述深度視圖分量的開始位置時，將所述深度切片的開始位置確定為零。
26.一種用于處理視頻數(shù)據(jù)的裝置，其包括: 用于接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片的裝置，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素； 用于接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片的裝置，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元； 用于對第一切片進行解碼的裝置，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素； 用于從所述第一切片的所述切片標頭確定第二切片的共同語法元素的裝置；以及 用于在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行解碼的裝置，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
27.根據(jù)權(quán)利要求26所述的裝置，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。
28.—種對視頻數(shù)據(jù)進行編碼的方法，所述方法包括: 接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素； 接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元； 對第一切片進行編碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素； 從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及 在對所述第一切片進行編碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
29.根據(jù)權(quán)利要求28所述的方法，其中所述第二切片的所述切片標頭至少包括相關圖片參數(shù)集的識別的用信號發(fā)送的語法元素。
30.根據(jù)權(quán)利要求28所述的方法，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。
31.根據(jù)權(quán)利要求28所述的方法，其中所述第二切片的所述切片標頭至少包括所述經(jīng)譯碼塊的開始位置的用信號發(fā)送的語法元素。
32.根據(jù)權(quán)利要求28所述的方法，其中所述第二切片的所述切片標頭包括所述第二切片的幀編號和圖片次序計數(shù)中的至少一者。
33.根據(jù)權(quán)利要求28所述的方法，其中所述第二切片的所述切片標頭包括與參考圖片列表建構(gòu)、用于每一列表的有效參考幀的數(shù)目、參考圖片列表修改語法表以及預測權(quán)重表相關的所述語法元素中的至少一者。
34.根據(jù)權(quán)利要求28所述的方法，其中所述第一切片包括所述紋理切片且所述第二切片包括所述深度切片，所述方法進一步包括: 當未在所述紋理切片標頭或所述深度切片標頭中用信號發(fā)送所述深度視圖分量的開始位置時，將所述深度切片的開始位置確定為零。
35.根據(jù)權(quán)利要求28所述的方法，其中所述第二切片的所述切片標頭包括與用于所述第二切片的解塊濾波器參數(shù)或自適應環(huán)路濾波參數(shù)相關的所述語法元素中的至少一者。
36.根據(jù)權(quán)利要求28所述的方法，其進一步包括: 在序列參數(shù)集中用信號發(fā)送在所述第二切片的所述切片標頭中明確用信號發(fā)送哪些語法元素的指示。
37.一種用于對數(shù)據(jù)進行編碼的裝置，其包括視頻編碼器，所述視頻編碼器經(jīng)配置以:接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素；接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元；對第一切片進行編碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素；從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及在對所述第一切片進行編碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
38.根據(jù)權(quán)利要求37所述的裝置，其中所述第二切片的所述切片標頭至少包括相關圖片參數(shù)集的識別的用信號發(fā)送的語法元素。
39.根據(jù)權(quán)利要求37所述的裝置，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。
40.根據(jù)權(quán)利要求37所述的裝置，其中所述第二切片的所述切片標頭至少包括所述經(jīng)譯碼塊的開始位置的用信號發(fā)送的語法元素。
41.根據(jù)權(quán)利要求37所述的裝置，其中所述第二切片的所述切片標頭包括所述第二切片的幀編號和圖片次序計數(shù)中的至少一者。
42.根據(jù)權(quán)利要求37所述的裝置，其中所述第二切片的所述切片標頭包括與參考圖片列表建構(gòu)、用于每一列表的有效參考幀的數(shù)目、參考圖片列表修改語法表以及預測權(quán)重表相關的所述語法元素中的至少一者。
43.根據(jù)權(quán)利要求37所述的裝置，其中所述第一切片包括所述紋理切片且所述第二切片包括所述深度切片，且其中所述視頻編碼器進一步經(jīng)配置以: 當未在所述紋理切片標頭或所述深度切片標頭中用信號發(fā)送所述深度視圖分量的開始位置時，將所述深度切片的開始位置確定為零。
44.根據(jù)權(quán)利要求37所述的裝置，其中所述第二切片的所述切片標頭包括與用于所述第二切片的解塊濾波器參數(shù)或自適應環(huán)路濾波參數(shù)相關的所述語法元素中的至少一者。
45.根據(jù)權(quán)利要求37所述的裝置，其中所述視頻編碼器進一步經(jīng)配置以: 在序列參數(shù)集中用信號發(fā)送在所述第二切片的所述切片標頭中明確用信號發(fā)送哪些語法元素的指示。
46.一種計算機程序產(chǎn)品，其包括其上存儲有指令的計算機可讀存儲媒體，所述指令在被執(zhí)行時致使視頻編碼裝置的處理器: 接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素； 接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元； 對第一切片進行譯碼，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素； 從所述第一切片的所述切片標頭確定第二切片的共同語法元素；以及 在對所述第一切片進行譯碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行譯碼，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了與所述第一切片共同的語法元素的值的語法元素的切片標頭。
47.根據(jù)權(quán)利要求46所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭至少包括相關圖片參數(shù)集的識別的用信號發(fā)送的語法元素。
48.根據(jù)權(quán)利要求46所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元素。
49.根據(jù)權(quán)利要求46所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭至少包括所述經(jīng)譯碼塊的開始位置的用信號發(fā)送的語法元素。
50.根據(jù)權(quán)利要求46所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭包括所述第二切片的幀編號和圖片次序計數(shù)中的至少一者。
51.根據(jù)權(quán)利要求46所述的計算機可讀存儲媒體，其中所述第二切片的所述切片標頭包括與參考圖片列表建構(gòu)、用于每一列表的有效參考幀的數(shù)目、參考圖片列表修改語法表以及預測權(quán)重表相關的所述語法元素中的至少一者。
52.根據(jù)權(quán)利要求46所述的計算機可讀存儲媒體，其中所述第一切片包括所述紋理切片且所述第二切片包括所述深度切片，所述指令進一步致使視頻編碼裝置的處理器: 當未在所述紋理切片標頭或所述深度切片標頭中用信號發(fā)送所述深度視圖分量的開始位置時，將所述深度切片的開始位置確定為零。
53.一種用于處理視頻數(shù)據(jù)的裝置，其包括: 用于接收與表示紋理信息的視頻數(shù)據(jù)的一個或一個以上經(jīng)譯碼塊相關聯(lián)的紋理視圖分量的紋理切片的裝置，所述紋理切片包括經(jīng)編碼的一個或一個以上塊以及紋理切片標頭，所述紋理切片標頭包括表示所述紋理切片的特性的語法元素； 用于接收與對應于所述紋理視圖分量的深度信息的一個或一個以上經(jīng)譯碼塊相關聯(lián)的深度視圖分量的深度切片的裝置，其中所述深度切片包括深度信息的所述一個或一個以上經(jīng)譯碼塊以及深度切片標頭，所述深度切片標頭包括表示所述深度切片的特性的語法元素，且其中所述深度視圖分量和所述紋理視圖分量兩者都屬于視圖和存取單元； 用于對第一切片進行編碼的裝置，其中所述第一切片包括所述紋理切片和所述深度切片中的一者，其中所述第一切片具有切片標頭，所述切片標頭包括表示所述第一切片的特性的語法元素； 用于從所述第一切片的所述切片標頭確定第二切片的共同語法元素的裝置；以及用于在對所述第一切片進行編碼之后至少部分基于所述所確定的共同語法元素對所述第二切片進行編碼的裝置，其中所述第二切片包括所述紋理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性的語法元素、不重復與所述第一切片共同的語法元素的值的切片標頭。
54.根據(jù)權(quán)利要求53所述的裝置，其中所述第二切片的所述切片標頭至少包括所述第二切片的量化參數(shù)與在圖片參數(shù)集中用信號發(fā)送的量化參數(shù)之間的量化參數(shù)差的用信號發(fā)送的語法元 素。
【文檔編號】H04N19/61GK103703778SQ201280036090
【公開日】2014年4月2日 申請日期:2012年7月20日 優(yōu)先權(quán)日:2011年7月22日
【發(fā)明者】陳盈, 馬爾塔·卡切維奇 申請人:高通股份有限公司