專利名稱：三維視頻的參考畫面列表的制作方法
技術(shù)領(lǐng)域：
描述有關(guān)于編解碼系統(tǒng)的實(shí)現(xiàn)方式。各種特定的實(shí)現(xiàn)方式涉及三維(3D)視頻編解碼方案。
背景技術(shù)：
為了方便新的視頻應(yīng)用，諸如三維電視(3DTV)和自由視點(diǎn)視頻(free-viewpoint video, FVV)，可以利用包括常規(guī)的2D視頻和深度圖二者的3D視頻(3DV)數(shù)據(jù)格式使得可以在用戶端呈現(xiàn)附加的視圖。這種3DV格式的示例包括包含二維的QD)視頻及其對(duì)應(yīng)的深度圖的2D加深度QD+Z)，以及包含2D+Z和遮擋(occlusion)視頻加遮擋深度的分層的深度視頻(LDV)。這種3DV格式的其它示例包括多視圖加深度(MVD)和視差增強(qiáng)的立體 (DES)。MVD是2D+Z的擴(kuò)展，這是由于其包括來自不同視點(diǎn)的多個(gè)2D+Z。繼而，DES由來自兩個(gè)不同視點(diǎn)的兩個(gè)LDV組成。另一示例3DV格式是層深度視頻加右視圖(LDV+R)，其由左視圖的一個(gè)LDV和右視圖的2D視頻組成。怎樣在所有這些格式中傳遞(編碼和傳輸)數(shù)據(jù)是具有挑戰(zhàn)的問題，這是由于在用戶端共同使用不同的分量(component)來解碼3DV內(nèi)容。

發(fā)明內(nèi)容
根據(jù)一個(gè)總的方面，對(duì)畫面的層間(inter-layer)參考確定優(yōu)先級(jí)。相對(duì)于該畫面的一個(gè)或更多其它參考確定該優(yōu)先級(jí)。在畫面的基于所述優(yōu)先級(jí)排序的參考列表中包括該層間參考。在附圖和以下描述中提出一個(gè)或更多實(shí)現(xiàn)方式的細(xì)節(jié)。即使以一個(gè)特定方式來描述，但應(yīng)清楚可以以各種方式來配置或體現(xiàn)所述實(shí)現(xiàn)方式。例如，實(shí)現(xiàn)方式可以被執(zhí)行為方法，或者被體現(xiàn)為裝置，諸如，例如被配置為執(zhí)行一組操作的裝置，或者存儲(chǔ)用于執(zhí)行一組操作的指令的裝置，或者在信號(hào)中體現(xiàn)。在連同附圖和權(quán)利要求書考慮的以下詳細(xì)描述中， 其它方面和特征將變得明顯。


圖1是深度圖的示例。
圖2是示出LDV格式的四個(gè)分量的示例。圖3是3DV編碼器的實(shí)現(xiàn)方式的框圖/流程圖。圖4是3DV解碼器的實(shí)現(xiàn)方式的框圖/流程圖。圖5是3DV層編碼器的實(shí)現(xiàn)方式的框圖/流程圖。圖6是3DV層解碼器的實(shí)現(xiàn)方式的框圖/流程圖。圖7是視頻傳輸系統(tǒng)的實(shí)現(xiàn)方式的框圖/流程圖。圖8是視頻接收系統(tǒng)的實(shí)現(xiàn)方式的框圖/流程圖。圖9是視頻處理裝置的實(shí)現(xiàn)方式的框圖/流程圖。圖10是3DV編碼結(jié)構(gòu)的示例的圖。圖11是網(wǎng)絡(luò)抽象層(NAL)單元流的第一示例的框圖/流程圖。圖12是NAL單元流的第二示例的框圖/流程圖。圖13是解碼3DV內(nèi)容的方法的示例的流程圖。圖14是編碼3DV內(nèi)容的方法的示例的流程圖。圖15是圖示層間依賴性結(jié)構(gòu)的示例的框圖。圖16是構(gòu)建用于編碼處理的參考畫面列表的方法的示例的流程圖。圖17是構(gòu)建用于解碼處理的參考畫面列表的方法的示例的流程圖。圖18是編碼3DV內(nèi)容的擴(kuò)展的序列參數(shù)集的NAL單元的方法的示例的流程圖。圖19是解碼3DV內(nèi)容的擴(kuò)展的序列參數(shù)集的NAL單元的方法的示例的流程圖。圖20是編碼具有擴(kuò)展的序列參數(shù)集的方法的示例的流程圖。圖21是解碼具有擴(kuò)展的序列參數(shù)集的方法的示例的流程圖。圖22是編碼3DV內(nèi)容的層間依賴性結(jié)構(gòu)的序列參數(shù)子集的第一方法的示例的框圖/流程圖。圖23是解碼3DV內(nèi)容的層間依賴性結(jié)構(gòu)的序列參數(shù)子集的第一方法的示例的框圖/流程圖。圖M是編碼3DV內(nèi)容的層間依賴性結(jié)構(gòu)的序列參數(shù)子集的第二方法的示例的框圖/流程圖。圖25是解碼3DV內(nèi)容的層間依賴性結(jié)構(gòu)的序列參數(shù)子集的第二方法的示例的框圖/流程圖。圖沈是編碼3DV內(nèi)容的方法的示例的流程圖。圖27是解碼3DV內(nèi)容的方法的示例的流程圖。圖28是構(gòu)建編解碼操作的參考畫面列表的方法的示例的流程圖。圖四是可以在圖觀的方法中實(shí)現(xiàn)的用于處理2D視頻層畫面的方法的示例的流程圖。圖30是編碼3DV內(nèi)容并且傳遞層間依賴性結(jié)構(gòu)的方法的示例的流程圖。圖31是解碼3DV內(nèi)容并且傳遞層間依賴性結(jié)構(gòu)的方法的示例的流程圖。圖32是NAL單元流的示例的框圖/流程圖。圖33是通過采用層間依賴性結(jié)構(gòu)來管理網(wǎng)絡(luò)業(yè)務(wù)量的系統(tǒng)的示例的框圖/流程圖。圖34是通過采用層間依賴性結(jié)構(gòu)來管理網(wǎng)絡(luò)業(yè)務(wù)量的方法的示例的流程圖。
具體實(shí)施例方式如在本領(lǐng)域中所理解的，3D視頻(3DV)的基本原則是典型地向用戶的每只眼睛提供場景或者對(duì)象的不同的視圖使得用戶能夠感知到場景或者對(duì)象的深度。另外，為了增強(qiáng)用戶體驗(yàn)，可以呈現(xiàn)除了正在被傳輸?shù)囊晥D之外的虛擬視圖，例如來調(diào)整不同的感知深度范圍的基線(baseline)距離。為了實(shí)現(xiàn)這些目標(biāo)中的一個(gè)或者多個(gè)，如上注意到， 3D視頻(3DV)表示格式可以包括各種層，諸如視頻、深度，以及或許更多的補(bǔ)充信息，諸如 2D+Z (MVD)和LDV(DES)。為了更好地說明3DV內(nèi)容的深度和其它補(bǔ)充信息的概念，參照?qǐng)D 1和圖2來進(jìn)行。圖1提供了對(duì)應(yīng)于常規(guī)的視頻的深度圖100的示例。另外，圖2包括LDV格式中的四個(gè)分量的示例2D視頻202加上深度(Z) 204以及同一場景的遮擋視頻206和伴隨的遮擋深度208。對(duì)上述的數(shù)據(jù)格式進(jìn)行編碼和傳輸在許多方面中是具有挑戰(zhàn)的。例如，除了編碼效率之外，還應(yīng)該最好提供諸如同步和向后兼容性(用于常規(guī)的單視覺(m0n0SC0piC)2D 視頻)之類的功能使得傳統(tǒng)的高級(jí)視頻編碼(AVC)/多視圖編碼(MVC)解碼器可以從比特流中提取可觀看的視頻?？梢越鉀Q這些問題中的至少一些的一種解決方案是進(jìn)行聯(lián)播(simulcast)，其中獨(dú)立地編碼并傳輸每個(gè)視圖和/或?qū)印＿@種方法可以使用多個(gè)編碼器和解碼器來分別編碼和解碼單獨(dú)的視圖/層，并且在系統(tǒng)級(jí)別或者應(yīng)用級(jí)別上將視圖/層同步到可觀看的圖像。例如，移動(dòng)畫面專家組(MPEG)-C部分3(國際標(biāo)準(zhǔn)化組織(ISO)/國際電工委員會(huì) (IEC) 23002-3)規(guī)定了用于2D+Z的系統(tǒng)框架。典型的實(shí)現(xiàn)方式在系統(tǒng)級(jí)別上使用視頻和深度之間的同步?？梢允褂萌魏维F(xiàn)有的視頻編碼標(biāo)準(zhǔn)來編碼視頻和深度。然而，在典型的實(shí)現(xiàn)方式中，視頻和深度的編碼被解耦。由此，聯(lián)播的成本被典型地乘以所傳輸?shù)囊晥D和/ 或?qū)拥臄?shù)量。此外，因?yàn)閱为?dú)地編碼不同視圖和/或?qū)?，典型地不以任何方式利用視圖和/ 或?qū)又g的任何冗余性而實(shí)現(xiàn)更高的編碼效率。相反，除了 AVC/MVC系統(tǒng)的向后兼容性之外，在此描述的一個(gè)或更多實(shí)現(xiàn)方式可以允許層間編碼以利用層之間的冗余性，并且由此實(shí)現(xiàn)更高的編碼效率。具體地，一個(gè)或更多實(shí)現(xiàn)方式提供了在編碼級(jí)別上對(duì)視圖和/或?qū)舆M(jìn)行同步的手段以便獲得這些益處中的至少一些。例如，在這里描述的至少一個(gè)實(shí)現(xiàn)方式中，提出了 AVC的NAL單元設(shè)計(jì)上的新的3DV前綴網(wǎng)絡(luò)抽象層(NAL)單元和新的3DV NAL單元首標(biāo)擴(kuò)展以高效地使得能夠進(jìn)行層間編碼和視圖/層的同步。高級(jí)語法發(fā)信號(hào)通知可以怎樣從諸如AVC和可分級(jí)視頻編碼 (SVC)/MVC比特流之類的比特流中提取3DV分量。由此，該方法具有的優(yōu)點(diǎn)在于，不需要在系統(tǒng)級(jí)別上對(duì)不同3DV分量之間進(jìn)行同步，這是由于可以在編碼的比特流中耦合3DV分量 (諸如SVC層，或者M(jìn)VC視圖)。另一潛在的益處在于，當(dāng)以此方式進(jìn)行編碼時(shí)，可以移除層間或者視圖間(inter-view)的冗余性。另外，新的NAL單元設(shè)計(jì)可以與MVC兼容并且還可以允許與任何將來的封裝編碼技術(shù)兼容以實(shí)現(xiàn)增強(qiáng)的壓縮效率。如在以下在此討論的，為了使得能夠在編碼級(jí)別而不是系統(tǒng)級(jí)別上對(duì)不同視圖/ 層同步，一個(gè)或更多實(shí)現(xiàn)方式將3DV NAL單元設(shè)計(jì)與3DV視圖標(biāo)識(shí)符(ID)和3DV層ID相關(guān)聯(lián)。另外，為了更好地利用視圖間/層間冗余性，與利用交織方法的AVC相比較，采用視圖間/層間預(yù)測來提供更高的編碼效率。此外，3DV補(bǔ)充層的NAL單元設(shè)計(jì)可以實(shí)現(xiàn)完全的向后兼容性，同時(shí)使得能夠開發(fā)新的編碼模式/工具而不影響2D視圖層與MVC/AVC的兼容性。各種實(shí)施例針對(duì)參考列表的配置以允許通過采用多參考預(yù)測來編碼和解碼包括 3DV內(nèi)容的比特流。例如，對(duì)于3DV編碼結(jié)構(gòu)，可以存在至少三種可能的參考畫面類型，例如包括時(shí)間參考畫面、視圖間參考畫面，以及來自不同3DV層的參考畫面。來自不同3DV層的參考畫面可以包括，例如，用于深度層的參考的2D視頻層。在本申請(qǐng)中描述的至少一個(gè)實(shí)施例提供了怎樣在參考畫面列表中布置三種類型的參考畫面的構(gòu)思和實(shí)現(xiàn)方式。例如， 當(dāng)以預(yù)測模式編碼宏塊(MB)時(shí)，編碼器可以發(fā)信號(hào)通知哪個(gè)畫面或者哪些畫面用作可得到的多個(gè)參考畫面中的參考。這里，列表中的索引可以指示使用哪個(gè)參考畫面。如以下在此進(jìn)一步討論的，一個(gè)或更多實(shí)施例可以在列表中提供一個(gè)或更多層間參考畫面以便使得能夠進(jìn)行層間預(yù)測。如以上注意的，一個(gè)或更多實(shí)施例提供許多優(yōu)點(diǎn)，其中之一是與MVC的潛在的兼容性。也就是，當(dāng)根據(jù)這些實(shí)施例之一的3DV比特流被饋入傳統(tǒng)的MVC解碼器時(shí)，可以解碼并輸出2D視頻(例如，以下被指定為層0)。為了進(jìn)一步有助于與MVC的兼容性，同時(shí)允許使用各種層的3DV內(nèi)容的高效編碼，各種實(shí)施例附加地針對(duì)序列參數(shù)集(SPS)的構(gòu)建和信令。如本領(lǐng)域普通技術(shù)人員所理解的，SPS可以指定畫面序列的畫面之間共享的公共屬性。這樣的公共屬性可以包括，例如，畫面大小、可選的采用的編碼模式，以及宏塊到碼片組的映射，它們中的每一個(gè)可以在序列中的畫面之間可選地共享。對(duì)于至少一個(gè)實(shí)施例，采用 SPS的擴(kuò)展來發(fā)信號(hào)通知用于編碼和解碼3DV內(nèi)容的新的序列參數(shù)。此外，可以利用單獨(dú)且新的NAL單元類型用于擴(kuò)展的SPS。擴(kuò)展的SPS可以用于諸如路由器之類的網(wǎng)絡(luò)設(shè)備以適配于3DV內(nèi)容的流傳輸?shù)谋忍芈?，如以下在此進(jìn)一步討論的。在詳細(xì)地討論實(shí)施例之前，提供對(duì)采用的術(shù)語的一些討論以便于理解所描述的構(gòu) )思ο術(shù)語的“2D視頻”在此通常用于指代傳統(tǒng)的視頻信號(hào)?！吧疃取睂釉诖送ǔＳ糜谥复甘緢鼍皩?duì)象的距離信息的數(shù)據(jù)?！吧疃葓D”是深度層的典型示例?！罢趽跻曨l”層在此通常用于指代從某個(gè)視點(diǎn)遮擋的視頻信息。遮擋視頻層典型地包括2D視頻層的背景信息?！罢趽跎疃取睂釉诖送ǔＳ糜谥复鷱哪硞€(gè)視點(diǎn)遮擋的深度信息。遮擋深度層典型地包括深度層的背景信息?！巴该鳌睂油ǔＳ糜谥复靡灾甘旧疃炔贿B續(xù)性或者深度邊界的畫面。典型的透明層具有二進(jìn)制信息，其中大于特定閾值的兩個(gè)值中之一指示深度關(guān)于鄰近深度值具有不連續(xù)性的位置?！?D視圖”在此被定義為來自于一個(gè)視圖位置的數(shù)據(jù)集，其與MVC中使用的“視圖” 不同。例如，3DV視圖可以包括比MVC視圖更多的數(shù)據(jù)。對(duì)于2D+Z格式，3DV視圖可以包括兩個(gè)層2D視頻加上其深度圖。對(duì)于LDV格式，3DV視圖可以包括四個(gè)層2D視圖、深度圖、 遮擋視頻，以及遮擋深度圖。另外，透明圖可以是3DV視圖中除其它之外的另一層的數(shù)據(jù)類型。
“3DV層”被定義為3DV視圖的層之一。3DV層的示例例如是2D視圖或者視頻、深度、遮擋視頻、遮擋深度，以及透明圖。除了 2D視圖或者視頻之外的層還被定義為“3DV補(bǔ)充層”。在一個(gè)或更多實(shí)施例中，3DV解碼器可以被配置為識(shí)別層并且使用3dv_layer_id將該層與其它進(jìn)行區(qū)分。在一個(gè)實(shí)施例中，如在表1中定義3dV_layer_id。然而，應(yīng)注意，如本領(lǐng)域普通技術(shù)人員在考慮到這里提供的教導(dǎo)時(shí)所理解的，可以以其它方式定義并識(shí)別層。表1-3DV 層
權(quán)利要求
1.一種方法，包括確定畫面的層間參考相對(duì)于該畫面的一個(gè)或者多個(gè)其它參考的優(yōu)先級(jí)；以及在該畫面的基于該優(yōu)先級(jí)排序的參考列表中包含所述層間參考。
2.根據(jù)權(quán)利要求1所述的方法，還包括基于該畫面的依賴性信息確定所述畫面的層間參考。
3.根據(jù)權(quán)利要求1所述的方法，還包括在涉及該畫面的編解碼操作中使用該層間參考。
4.根據(jù)權(quán)利要求3所述的方法，其中編解碼操作包括至少部分地基于所述層間參考編碼該畫面。
5.根據(jù)權(quán)利要求3所述的方法，其中編解碼操作包括至少部分地基于所述層間參考解碼該畫面。
6.根據(jù)權(quán)利要求2所述的方法，其中從接收的語法元素中訪問畫面的依賴性信息。
7.根據(jù)權(quán)利要求1所述的方法，其中所述包含還包括在排序列表中包含時(shí)間上的參考或者視圖間參考中的至少一個(gè)。
8.根據(jù)權(quán)利要求4所述的方法，其中編碼的畫面以及一個(gè)或更多其它畫面描述在給定時(shí)間用于給定視圖的三維(3D)信息，并且所述方法還包括編碼所述一個(gè)或更多其它畫面；生成指示怎樣將編碼的畫面和一個(gè)或更多其它編碼的畫面裝入支持3D處理的結(jié)構(gòu)中的語法元素，所述結(jié)構(gòu)定義畫面的內(nèi)容類型；以及生成包含所述編碼的畫面、一個(gè)或更多其它編碼的畫面，以及所述語法元素的比特流； 語法元素的包含在編碼的比特流級(jí)別上提供結(jié)構(gòu)中的所述編碼的畫面和編碼的一個(gè)或更多其它畫面之間的關(guān)系的指示。
9.根據(jù)權(quán)利要求5所述的方法，其中所述畫面以及一個(gè)或更多其它畫面描述在給定時(shí)間用于給定視圖的三維(3D)信息，并且所述方法還包括從比特流中訪問所述畫面的編碼和所述一個(gè)或更多其它畫面的編碼，多個(gè)畫面描述在給定的時(shí)間用于給定視圖的不同的三維(3D)信息；從所述比特流中訪問語法元素，所述語法元素為所述畫面以及所述一個(gè)或更多其它畫面指示怎樣將所述畫面和所述一個(gè)或更多其它畫面裝入支持3D處理的結(jié)構(gòu)中，所述結(jié)構(gòu)提供所述畫面和所述一個(gè)或更多其它畫面之間的定義關(guān)系； 解碼一個(gè)或更多其它編碼的畫面；以及以指示解碼的畫面和一個(gè)或更多其它解碼的畫面之間的定義關(guān)系的輸出格式提供解碼的畫面和解碼的一個(gè)或更多畫面。
10.根據(jù)權(quán)利要求4所述的方法，還包括 生成包含所述編碼的畫面的比特流。
11.根據(jù)權(quán)利要求1所述的方法，其中所述畫面和所述層間參考是與包含二維OD)視頻畫面、深度畫面、遮擋視頻畫面、遮擋深度畫面，或者透明畫面的集合不同的畫面。
12.根據(jù)權(quán)利要求1所述的方法，其中所述畫面是遮擋視頻畫面并且所述層間參考是二維QD)視頻畫面。
13.根據(jù)權(quán)利要求12所述的方法，其中所述包含還包括在遮擋視頻畫面的排序的參考列表的開始處包含所述層間參考。
14.根據(jù)權(quán)利要求1所述的方法，其中所述畫面是遮擋深度畫面并且所述層間參考是深度畫面。
15.根據(jù)權(quán)利要求14所述的方法，其中所述包含還包括在遮擋深度畫面的排序的參考列表的開始處包含所述層間參考。
16.根據(jù)權(quán)利要求1所述的方法，其中所述畫面是透明畫面并且所述層間參考是二維 (2D)視頻畫面。
17.根據(jù)權(quán)利要求16所述的方法，其中所述包含步驟還包括在透明畫面的排序的參考列表的結(jié)尾處包含所述層間參考。
18.根據(jù)權(quán)利要求1所述的方法，其中所述畫面是深度畫面并且所述層間參考是二維 (2D)視頻畫面，以及其中所述包含步驟還包括在深度畫面的排序的參考列表的結(jié)尾處包含所述層間參考。
19.根據(jù)權(quán)利要求1所述的方法，其中所述畫面包含被彼此單獨(dú)編碼的多個(gè)部分，以及所述層間參考的優(yōu)先級(jí)基于多頻繁地將所述層間參考用作畫面的部分的參考。
20.根據(jù)權(quán)利要求2所述的方法，其中層間參考的確定還包括確定所述畫面是否是二維OD)視頻畫面，并且如果所述畫面是2D視頻畫面，則在畫面的排序的參考列表中排除任何深度畫面作為層間參考。
21.根據(jù)權(quán)利要求1所述的方法，其中在一個(gè)或更多編碼器或解碼器中執(zhí)行確定優(yōu)先級(jí)和包含層間參考。
22.一種裝置，包括用于確定畫面的層間參考相對(duì)于該畫面的一個(gè)或者多個(gè)其它參考的優(yōu)先級(jí)的部件；以及用于在該畫面的基于該優(yōu)先級(jí)排序的參考列表中包含所述層間參考的部件。
23.一種處理器可讀的介質(zhì)，在其上存儲(chǔ)用于促使處理器至少執(zhí)行以下步驟的指令 確定畫面的層間參考相對(duì)于該畫面的一個(gè)或者多個(gè)其它參考的優(yōu)先級(jí)；以及在該畫面的基于該優(yōu)先級(jí)排序的參考列表中包含所述層間參考。
24.一種裝置，包括被配置為至少執(zhí)行以下步驟的處理器確定畫面的層間參考相對(duì)于該畫面的一個(gè)或者多個(gè)其它參考的優(yōu)先級(jí)；以及在該畫面的基于該優(yōu)先級(jí)排序的參考列表中包含所述層間參考。
25.一種裝置，包括三維視頻(3DV)參考緩沖器，被配置為確定畫面的層間參考相對(duì)于該畫面的一個(gè)或者多個(gè)其它參考的優(yōu)先級(jí)以及配置為在該畫面的基于該優(yōu)先級(jí)排序的參考列表中包含所述層間參考。
26.根據(jù)權(quán)利要求25所述的裝置，還包括一個(gè)或更多編碼器，被配置為在涉及該畫面的編解碼操作中使用該層間參考，以及其中3DV參考緩沖器還被配置為基于該畫面的依賴性信息確定所述畫面的層間參考。
全文摘要
若干實(shí)現(xiàn)方式涉及編碼3DV內(nèi)容的參考畫面列表的構(gòu)建。本發(fā)明的一或多個(gè)示范性實(shí)施例包括依據(jù)優(yōu)化的層間依賴性結(jié)構(gòu)來構(gòu)建參考畫面列表。另外，可以依據(jù)參考畫面相對(duì)于構(gòu)建參考畫面列表的畫面具有的冗余程度使參考畫面列表具有優(yōu)先級(jí)。在一個(gè)實(shí)施方式中，對(duì)于畫面的層間參考確定優(yōu)先級(jí)。相對(duì)于該畫面的一個(gè)或更多其它參考確定該優(yōu)先級(jí)。在畫面的基于所述優(yōu)先級(jí)排序的參考列表中包括該層間參考。
文檔編號(hào)H04N7/26GK102461171SQ201080029616
公開日2012年5月16日 申請(qǐng)日期2010年4月30日 優(yōu)先權(quán)日2009年5月1日
發(fā)明者田棟, 賴旺霖 申請(qǐng)人:湯姆森特許公司