用于多視圖視頻譯碼mvc兼容三維視頻譯碼3dvc的深度分量去除的制作方法
【專利摘要】一股來說，本發(fā)明描述用于單獨(dú)譯碼視頻數(shù)據(jù)的深度和紋理分量的技術(shù)。一種經(jīng)配置以譯碼視頻數(shù)據(jù)的視頻譯碼裝置可執(zhí)行所述技術(shù)。所述視頻譯碼裝置可包括經(jīng)解碼圖片緩沖器和處理器，所述處理器經(jīng)配置以：將深度分量存儲(chǔ)在所述經(jīng)解碼圖片緩沖器中；分析視圖依賴性以確定所述深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除，以用于處理包括由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)。
【專利說明】用于多視圖視頻譯碼MVC兼容三維視頻譯碼3DVC的深度分量去除
[0001]本發(fā)明主張2011年11月30日申請(qǐng)的第61/565，376號(hào)美國臨時(shí)申請(qǐng)案、2011年12月I日申請(qǐng)的第61/565，938號(hào)美國臨時(shí)申請(qǐng)案、2011年12月22日申請(qǐng)的第61/579，631號(hào)美國臨時(shí)申請(qǐng)案以及2012年I月6日申請(qǐng)的第61/584，009號(hào)美國臨時(shí)申請(qǐng)案的優(yōu)先權(quán)，上述申請(qǐng)案中的每一者的內(nèi)容特此以全文引用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及視頻譯碼，且更明確地說，涉及三維視頻譯碼(3DVC)。

【背景技術(shù)】
[0003]數(shù)字視頻能力可并入到較寬范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、e書籍閱讀器、數(shù)字相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無線電電話、所謂的“智能電話”、視頻電話會(huì)議裝置、視頻流式發(fā)射裝置等。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第 10 部分，高級(jí)視頻譯碼(AVC)界定的標(biāo)準(zhǔn)，或目前正在開發(fā)的高效視頻譯碼(HEVC)標(biāo)準(zhǔn)或此些標(biāo)準(zhǔn)的擴(kuò)展中所描述的那些技術(shù)。視頻裝置可通過實(shí)施此些視頻壓縮技術(shù)來更高效地發(fā)射、接收、編碼、解碼且/或存儲(chǔ)數(shù)字視頻信息。
[0004]視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測和/或時(shí)間(圖片間)預(yù)測以減少或去除視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，可將視頻片(即，圖片或圖片的一部分)分割為視頻塊，其也可稱為樹塊、譯碼單元(CU)和/或譯碼節(jié)點(diǎn)。相對(duì)于圖片中的相鄰塊中的參考樣本，使用空間預(yù)測來編碼同一圖片的經(jīng)幀內(nèi)譯碼(I)片中的視頻塊。圖片的經(jīng)幀間譯碼(P或B)片中的視頻塊可相對(duì)于同一圖片中的相鄰塊中的參考樣本使用空間預(yù)測，或相對(duì)于其它參考圖片中的參考樣本使用時(shí)間預(yù)測。
[0005]空間或時(shí)間預(yù)測得出待譯碼的塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始?jí)K與預(yù)測性塊之間的像素差。根據(jù)指向形成所述預(yù)測性塊的參考樣本塊的運(yùn)動(dòng)向量以及指示經(jīng)譯碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)來編碼經(jīng)幀間譯碼的塊。根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來編碼經(jīng)幀內(nèi)譯碼的塊。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而得出接著可量化的殘余變換系數(shù)。可掃描經(jīng)量化的變換系數(shù)(最初布置成二維陣列)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼來實(shí)現(xiàn)更多的壓縮。


【發(fā)明內(nèi)容】

[0006]一股來說，本發(fā)明描述用于三維視頻譯碼(3DVC)的技術(shù)。更明確地說，本發(fā)明描述用于使用H.264/高級(jí)視頻譯碼(AVC)標(biāo)準(zhǔn)的3DVC擴(kuò)展來執(zhí)行3DVC的技術(shù)。所述3DVC擴(kuò)展界定用于用深度數(shù)據(jù)來編碼視頻數(shù)據(jù)的多個(gè)視圖的視頻譯碼技術(shù)。每一視圖對(duì)應(yīng)于一不同視角或角度，以此視角或角度捕獲共同場景的對(duì)應(yīng)視頻數(shù)據(jù)。在3DVC的上下文中，每一視圖可含有紋理視圖和深度視圖。一個(gè)時(shí)刻中視圖的經(jīng)譯碼表示為視圖分量。視圖分量可含有深度視圖分量和紋理視圖分量。本發(fā)明的技術(shù)通常涉及在譯碼多視圖視頻數(shù)據(jù)加深度數(shù)據(jù)時(shí)，啟用用于3DVC的視圖的紋理分量和深度分量兩者的處置。所述技術(shù)可促進(jìn)3DVC與MVC的兼容性。
[0007]在一個(gè)實(shí)例中，一種譯碼包含包括深度分量和紋理分量的視圖分量的視頻數(shù)據(jù)的方法包括:為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集；以及基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量。
[0008]在另一實(shí)例中，一種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置包括處理器，其經(jīng)配置以:為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集；以及基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量。
[0009]在另一實(shí)例中，一種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置包括:用于為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集的裝置；以及用于基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量的
>J-U ρ?α裝直。
[0010]在另一實(shí)例中，一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上面存儲(chǔ)有指令，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的一個(gè)或一個(gè)以上處理器:為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集；以及基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量。
[0011]在另一實(shí)例中，描述一種處理包含包括深度分量和紋理分量的視圖分量的視頻數(shù)據(jù)的方法。所述方法包括:確定在處理所述視頻數(shù)據(jù)的所述視圖分量時(shí)應(yīng)用的補(bǔ)充增強(qiáng)信息消息；以及確定除補(bǔ)充增強(qiáng)信息消息之外，應(yīng)用于視圖分量的深度分量的嵌套式補(bǔ)充增強(qiáng)信息消息。
[0012]在另一實(shí)例中，描述一種用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置。所述裝置包括處理器，其經(jīng)配置以:確定在處理所述視頻數(shù)據(jù)的所述視圖分量時(shí)應(yīng)用的補(bǔ)充增強(qiáng)信息消息；以及確定除補(bǔ)充增強(qiáng)信息消息之外，在處理所述視圖分量的所述深度分量時(shí)應(yīng)用的嵌套式補(bǔ)充增強(qiáng)信息消息。
[0013]在另一實(shí)例中，描述一種用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置。所述裝置包括:用于確定在處理所述視頻數(shù)據(jù)的所述視圖分量時(shí)應(yīng)用的補(bǔ)充增強(qiáng)信息消息的裝置；以及用于確定除補(bǔ)充增強(qiáng)信息消息之外在處理所述視圖分量的所述深度分量時(shí)應(yīng)用的嵌套式補(bǔ)充增強(qiáng)信息消息的裝置。
[0014]在另一實(shí)例中，一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上面存儲(chǔ)有指令，所述指令在被執(zhí)行時(shí)致使用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置的一個(gè)或一個(gè)以上處理器:確定在處理所述視頻數(shù)據(jù)的所述視圖分量時(shí)應(yīng)用的補(bǔ)充增強(qiáng)信息消息，其中所述視圖分量包含深度分量和紋理分量兩者；以及確定除補(bǔ)充增強(qiáng)信息消息之夕卜，在處理所述視圖分量的所述深度分量時(shí)應(yīng)用的嵌套式補(bǔ)充增強(qiáng)信息消息。
[0015]在另一實(shí)例中，一種用于視頻譯碼的方法包括:將深度分量存儲(chǔ)在經(jīng)解碼圖片緩沖器中；分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定深度分量不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除。
[0016]在另一實(shí)例中，一種經(jīng)配置以譯碼視頻數(shù)據(jù)的視頻譯碼裝置包括經(jīng)解碼圖片緩沖器和處理器，所述處理器經(jīng)配置以:將深度分量存儲(chǔ)在經(jīng)解碼圖片緩沖器中；分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定深度分量不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除。
[0017]在另一實(shí)例中，一種用于譯碼視頻數(shù)據(jù)的視頻譯碼裝置包括:用于將深度分量存儲(chǔ)在經(jīng)解碼圖片緩沖器中的裝置；用于分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測的裝置；以及用于響應(yīng)于確定深度分量不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除的裝置。
[0018]在另一實(shí)例中，一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上面存儲(chǔ)有指令，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的一個(gè)或一個(gè)以上處理器:將深度分量存儲(chǔ)在經(jīng)解碼圖片緩沖器中；分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定深度分量不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除。
[0019]在另一實(shí)例中，一種處理包含包括一個(gè)或一個(gè)以上深度分量和一個(gè)或一個(gè)以上紋理分量的視圖分量的視頻數(shù)據(jù)的方法，所述方法包括:確定描述所述深度分量的特性的第一序列等級(jí)信息；以及確定描述所述視頻數(shù)據(jù)的操作點(diǎn)的特性的第二序列等級(jí)信息。
[0020]在另一實(shí)例中，描述一種用于處理包含包括一個(gè)或一個(gè)以上深度分量和一個(gè)或一個(gè)以上紋理分量的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置。所述視頻譯碼裝置包括一個(gè)或一個(gè)以上處理器，其經(jīng)配置以確定描述深度分量的特性的第一序列等級(jí)信息，且確定描述視頻數(shù)據(jù)的操作點(diǎn)的特性的第二序列等級(jí)信息。
[0021 ] 在另一實(shí)例中，描述一種用于處理包含包括一個(gè)或一個(gè)以上深度分量和一個(gè)或一個(gè)以上紋理分量的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置。所述視頻譯碼裝置包括:用于確定描述深度分量的特性的第一序列等級(jí)信息的裝置；以及用于確定描述視頻數(shù)據(jù)的操作點(diǎn)的特性的第二序列等級(jí)信息的裝置。
[0022]在另一實(shí)例中，一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上面存儲(chǔ)有指令，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的一個(gè)或一個(gè)以上處理器:確定描述視頻數(shù)據(jù)的一個(gè)或一個(gè)以上深度分量的特性的第一序列等級(jí)信息，其中所述視頻數(shù)據(jù)包含包括一個(gè)或一個(gè)以上深度分量和一個(gè)或一個(gè)以上紋理分量的視圖分量；且確定描述視頻數(shù)據(jù)的操作點(diǎn)的特性的第二序列等級(jí)信息。
[0023]在附圖及下文描述中陳述本發(fā)明的一個(gè)或一個(gè)以上方面的細(xì)節(jié)。將從描述和圖式且從所附權(quán)利要求書明白本發(fā)明中所描述的技術(shù)的其它特征、目標(biāo)和優(yōu)點(diǎn)。

【專利附圖】

【附圖說明】
[0024]圖1是說明可利用本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)的框圖。
[0025]圖2是更詳細(xì)地說明圖1的實(shí)例中所示的視頻編碼器的框圖。
[0026]圖3是更詳細(xì)地說明圖1的實(shí)例中所示的視頻解碼器的框圖。
[0027]圖4是更詳細(xì)地說明圖1的實(shí)例中所示的包封單元的框圖。
[0028]圖5是說明實(shí)例多視圖視頻譯碼(MVC)預(yù)測模式的概念圖。
[0029]圖6是說明根據(jù)本發(fā)明中所描述的技術(shù)的各個(gè)方面的視頻譯碼裝置在實(shí)施MVC兼容3DVC的參數(shù)集激活中的操作的流程圖。
[0030]圖7是說明根據(jù)本發(fā)明中所描述的技術(shù)的處理多視圖視頻數(shù)據(jù)以產(chǎn)生用于MVC兼容3DVC的嵌套式補(bǔ)充增強(qiáng)信息(SEI)消息的實(shí)例操作的流程圖。
[0031]圖8是說明根據(jù)本發(fā)明中所描述的技術(shù)的視頻譯碼裝置在單獨(dú)地將紋理和深度分量從經(jīng)解碼圖片緩沖器去除以用于MVC兼容3DVC中的實(shí)例操作的流程圖。
[0032]圖9是說明根據(jù)本發(fā)明中所描述的技術(shù)的視頻譯碼裝置在確定用于MVC兼容3DVC的序列等級(jí)信息中的實(shí)例操作的流程圖。

【具體實(shí)施方式】
[0033]根據(jù)某些視頻譯碼系統(tǒng)，可使用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償來減少視頻序列中的時(shí)間冗余，以便實(shí)現(xiàn)數(shù)據(jù)壓縮。在此情況下，可產(chǎn)生運(yùn)動(dòng)向量，其識(shí)別預(yù)測性視頻數(shù)據(jù)塊，例如來自另一視頻圖片或片的塊，其可用來預(yù)測正譯碼的當(dāng)前視頻塊的值。將預(yù)測性視頻塊的值從當(dāng)前視頻塊的值減去，以產(chǎn)生殘余數(shù)據(jù)塊。將運(yùn)動(dòng)信息(例如，運(yùn)動(dòng)向量、運(yùn)動(dòng)向量索引、預(yù)測方向或其它信息)連同殘余數(shù)據(jù)一起從視頻編碼器傳送到視頻解碼器。解碼器可定位相同預(yù)測性塊(基于運(yùn)動(dòng)向量)，且通過將殘余數(shù)據(jù)與預(yù)測性塊的數(shù)據(jù)組合來重構(gòu)經(jīng)編碼視頻塊。
[0034]多視圖視頻譯碼(MVC)是用于譯碼視頻數(shù)據(jù)的多個(gè)視圖的視頻譯碼過程。一股來說，每一視圖對(duì)應(yīng)于一不同視角或角度，以此視角或角度捕獲共同場景的對(duì)應(yīng)視頻數(shù)據(jù)?？墒褂肕VC加深度譯碼來執(zhí)行三維視頻譯碼(3DVC)。對(duì)ITU-T H.264/AVC標(biāo)準(zhǔn)的3DVC擴(kuò)展目前正在開發(fā)。對(duì)H.264/AVC標(biāo)準(zhǔn)進(jìn)行修正以添加3DVC擴(kuò)展的工作草案在2011年11月在瑞士日內(nèi)瓦進(jìn)行的“關(guān)于對(duì)包含深度圖的MVC擴(kuò)展的工作草案(WD on MVC Extens1nsfor Inclus1n of Depth Maps) ”IS0/IEC/JTC1/SC29/WG11/N12351 ( “3DVC TO”)中描述。3DVC擴(kuò)展(也稱為用于包含深度圖的MVC擴(kuò)展)界定用于譯碼視圖以支持3D視頻數(shù)據(jù)的顯示的技術(shù))。
[0035]舉例來說，在3D視頻中，可使用光的不同偏振同時(shí)或幾乎同時(shí)顯示兩個(gè)視圖(例如，人類觀看者的左眼和右眼視圖)，且觀看者可佩戴被動(dòng)偏振眼鏡，使得觀看者的每只眼睛接收所述視圖中的相應(yīng)一者?；蛘撸^看者可佩戴獨(dú)立地遮蔽每只眼睛的主動(dòng)眼鏡，且顯示器可與眼鏡同步在每只眼睛的圖像之間快速地交替。
[0036]雖然可個(gè)別地譯碼每一視圖(例如，左眼和右眼視圖)，但在3DVC中，使用所述視圖的深度分量從其它視圖重構(gòu)所述視圖中的一者。出于此原因，這種形式的3DVC也可稱為多視圖視頻譯碼加深度(MVC+D)。為了說明，可將視圖的特定圖片(其中視圖的此特定圖片可稱為視圖的“視圖分量”)的深度圖計(jì)算為左眼視圖與右眼視圖之間的差。編碼器可例如將左眼視圖編碼為視頻分量的所謂的“紋理分量”，且可將深度圖編碼為視圖分量的所謂的“深度分量”。
[0037]解碼器可接著解碼視圖分量的紋理分量和視圖分量的深度分量，且使用深度分量從紋理分量(其表示左眼視圖)重構(gòu)右眼視圖。與獨(dú)立地作為3DVC數(shù)據(jù)的單獨(dú)視圖來編碼左眼視圖和右眼視圖兩者相比，通過以此方式僅編碼一個(gè)視圖和對(duì)應(yīng)的深度圖，3DVC可較高效地編碼左眼和右眼視圖。
[0038]當(dāng)編碼視圖的紋理和深度分量時(shí)，視頻編碼器通常將紋理和深度分量處置或以其它方式處理為視圖分量，而不提供藉此區(qū)分紋理與深度分量的任何方式。就是說，3DVC用以處置或譯碼視圖分量，而不提供藉此個(gè)別地從同一視圖分量的深度分量單獨(dú)地處理紋理分量的方式。3DVC中差別的此缺乏可導(dǎo)致較小的譯碼效率和/或經(jīng)重構(gòu)視頻數(shù)據(jù)的較低質(zhì)量。
[0039]舉例來說，當(dāng)前可要求深度分量以與對(duì)應(yīng)的紋理分量相同的分辨率指定，以便適應(yīng)此視圖分量的聯(lián)合處置。然而，較高分辨率深度分量(與紋理分量的分辨率相比)可導(dǎo)致三維(3D)視頻重放，因?yàn)檩^好、較沉浸式3D視頻可產(chǎn)生觀看者的視覺系統(tǒng)預(yù)期的較佳模仿。此外，較低分辨率深度分量(與紋理分量的分辨率相比)在某些例子中可提供相同或類似的沉浸式3D體驗(yàn)，但在譯碼時(shí)消耗較少的位，且藉此增加譯碼效率。因?yàn)槲茨軉⒂蒙疃群图y理分量的單獨(dú)處置，3DVC可降低譯碼效率且/或提供所重構(gòu)視頻數(shù)據(jù)的較低質(zhì)量(通常，依據(jù)觀看體驗(yàn))。
[0040]本發(fā)明的技術(shù)通常涉及在處理或譯碼3DVC視頻數(shù)據(jù)時(shí)，啟用視圖的紋理分量和深度分量的單獨(dú)或獨(dú)立處置。舉例來說，本發(fā)明提出用信號(hào)通知序列參數(shù)集(SPS)中的深度圖序列的圖片大小。這些信令技術(shù)可在視頻編碼和/或解碼過程期間由編碼器應(yīng)用且由解碼器使用。所描述的技術(shù)與視頻內(nèi)容的圖片的譯碼有關(guān)。根據(jù)本發(fā)明的技術(shù)，經(jīng)編碼圖片可具有單位大小，例如選定高度和寬度的塊，其可作為序列參數(shù)集中的語法元素用信號(hào)通知。可在序列參數(shù)集中用信號(hào)通知紋理視圖序列和深度圖序列的語法元素。
[0041]更具體地說，所述技術(shù)涉及在深度圖序列具有與對(duì)應(yīng)的紋理視圖序列不同的分辨率時(shí)，用信號(hào)通知語法信息。3DVC可包含用每一視圖的深度圖序列來譯碼多個(gè)視圖。這些深度圖序列可具有與紋理視圖序列不同的分辨率。在此情況下，當(dāng)紋理和深度網(wǎng)絡(luò)抽象層(NAL)單元簡單地一起多路復(fù)用時(shí)，深度視圖分量和紋理視圖分量無法共享同一序列參數(shù)集(SPS)。在當(dāng)前SPS MVC擴(kuò)展中，指示不同等級(jí)(有或沒有深度)可為不可能的。在AVC設(shè)計(jì)原理中，激活一個(gè)以上序列參數(shù)集(其含有圖片大小)可為不可能的。因此，具有兩個(gè)不同圖片大小可能導(dǎo)致激活多個(gè)序列參數(shù)集。
[0042]當(dāng)3DVC序列包含具有與對(duì)應(yīng)的紋理視圖不同的空間分辨率的深度圖時(shí)，本發(fā)明的技術(shù)可用以基于AVC和MVC立體聲指示3DVC序列。通過啟用此單獨(dú)處理，本發(fā)明中所描述的技術(shù)的各個(gè)方面可促進(jìn)位節(jié)省(或換句話說，多視圖視頻數(shù)據(jù)的較高效譯碼)和/或經(jīng)重構(gòu)視頻數(shù)據(jù)的較佳質(zhì)量(其再次可依據(jù)感覺到的觀看體驗(yàn)來測量)。
[0043]應(yīng)將以下描述理解為在3DVC的上下文中，其中將對(duì)MVC的參考理解為如其涉及3DVC擴(kuò)展中的MVC加深度譯碼那樣對(duì)MVC的參考。就是說，在給定MVC為H.264的擴(kuò)展，且3DVC為H.264的利用MVC的進(jìn)一步擴(kuò)展的情況下，3DVC并入有或以其它方式可被視為“繼承”MVC的所有方面。3DVC可以本文所述的方式擴(kuò)展或另外在適當(dāng)?shù)那闆r下添加到WC,以提供還包含支持3DVC的那些視頻解碼器的深度圖的MVC順應(yīng)位流。換句話說，在一些實(shí)例，所述技術(shù)可用于產(chǎn)生與MVC反向兼容的3DVC位流(或，換句話說，能夠由不支持3DVC但確實(shí)支持MVC的視頻解碼器解碼)。雖然以下技術(shù)各自在3DVC的上下文中描述，但在一些例子中，這些技術(shù)可擴(kuò)展到譯碼具有紋理視圖分量和深度視圖分量的3D視頻數(shù)據(jù)的其它方式。
[0044]圖1是說明可利用用于多視圖譯碼中的運(yùn)動(dòng)向量預(yù)測的實(shí)例視頻編碼和解碼系統(tǒng)10的框圖。如圖1中所示，系統(tǒng)10包含源裝置12，其提供稍后時(shí)間將由目的地裝置14解碼的經(jīng)編碼視頻數(shù)據(jù)。明確地說，源裝置12經(jīng)由計(jì)算機(jī)可讀媒體16向目的地裝置14提供視頻數(shù)據(jù)。源裝置12和目的地裝置14可包括各種各樣的裝置中的任一者，包含桌上型計(jì)算機(jī)、筆記本型(即，膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、平板觸摸計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī)(例如所謂的“智能”電話)、所謂的“智能”板、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、視頻流式發(fā)射裝置等。在一些情況下，源裝置12和目的地裝置14可為無線通信而配備。
[0045]目的地裝置14可經(jīng)由計(jì)算機(jī)可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計(jì)算機(jī)可讀媒體16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12傳送到目的地裝置14的任何類型的媒體或裝置。在一個(gè)實(shí)例中，計(jì)算機(jī)可讀媒體16可包括通信媒體，以使源裝置12能夠?qū)崟r(shí)或近實(shí)時(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。
[0046]可根據(jù)通信標(biāo)準(zhǔn)(例如，無線通信協(xié)議)來調(diào)制經(jīng)編碼視頻數(shù)據(jù)，且將其發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一個(gè)或一個(gè)以上物理傳輸線。通信媒體可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)等全局網(wǎng)絡(luò)的基于包的網(wǎng)絡(luò)的部分。通信媒體可包含可用于促進(jìn)從源裝置12到目的地裝置14的通信的路由器、交換器、基站或任何其它設(shè)備。
[0047]在一些實(shí)例中，可將經(jīng)編碼數(shù)據(jù)從源裝置24的發(fā)射器24輸出到存儲(chǔ)裝置。類似地，可通過目的地裝置14的接收器26從存儲(chǔ)裝置存取經(jīng)編碼數(shù)據(jù)。所述存儲(chǔ)裝置可包含多種分布式或本地存取數(shù)據(jù)存儲(chǔ)媒體中的任一者，例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲(chǔ)器、易失性或非易失性存儲(chǔ)器，或用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的任何其它合適數(shù)字存儲(chǔ)媒體。在另一實(shí)例中，存儲(chǔ)裝置可對(duì)應(yīng)于可存儲(chǔ)源裝置12所產(chǎn)生的經(jīng)編碼視頻的文件服務(wù)器或另一中間存儲(chǔ)裝置。
[0048]目的地裝置14可經(jīng)由流式發(fā)射或下載從存儲(chǔ)裝置存取所存儲(chǔ)的視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)且將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類型的服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接存儲(chǔ)(NAS)裝置，或本地磁盤驅(qū)動(dòng)器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。這可包含無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等)，或兩者的組合，其適合存取存儲(chǔ)在文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置的發(fā)射可為流式發(fā)射、下載發(fā)射或其組合。
[0049]本發(fā)明的技術(shù)不一定限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于支持多種多媒體應(yīng)用(例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)流式視頻發(fā)射，例如經(jīng)由HTTP的動(dòng)態(tài)自適應(yīng)流式發(fā)射(DASH))中的任一者的視頻譯碼，編碼到數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻、解碼存儲(chǔ)在數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻，或其它應(yīng)用。在一些實(shí)例中，源裝置10可經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或視頻電話等應(yīng)用。
[0050]在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20、包封單元21和輸出接口 22。目的地裝置14包含輸入接口 28、去包封單元29、視頻解碼器30和顯示裝置32。在一些實(shí)例中，源裝置12和目的地裝置14可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源18 (例如外部相機(jī))接收視頻數(shù)據(jù)。同樣地，目的地裝置14可與外部顯示裝置介接，而不是包含集成顯示裝置32。
[0051]圖1所說明的系統(tǒng)10僅為一個(gè)實(shí)例。用于多視圖譯碼(包含3DVC)中的運(yùn)動(dòng)向量預(yù)測的技術(shù)可由任何數(shù)字視頻編碼和/或解碼裝置執(zhí)行。盡管通常本發(fā)明的技術(shù)由視頻編碼裝置執(zhí)行，但所述技術(shù)還可由視頻編碼器/解碼器(通常稱為“CODEC”)執(zhí)行。此外，本發(fā)明的技術(shù)還可由視頻預(yù)處理器執(zhí)行。源裝置12及目的地裝置14僅為此些譯碼裝置的實(shí)例，其中源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)以供發(fā)射到目的地裝置14。在一些實(shí)例中，裝置12、14可以大體上對(duì)稱的方式操作，使得裝置12、14中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)1可支持視頻裝置12、14之間的單向或雙向視頻發(fā)射，例如用于視頻流式發(fā)射、視頻重放、視頻廣播或視頻電話。
[0052]源裝置12的視頻源18可包含視頻捕獲裝置，例如視頻相機(jī)、含有先前捕獲的視頻的視頻檔案，和/或用以接收來自視頻內(nèi)容提供者的視頻的視頻饋送接口。作為另一替代方案，視頻源18可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或直播視頻(live video)、存檔視頻與計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源18為視頻相機(jī)，那么源裝置12和目的地裝置14可形成所謂的相機(jī)電話或視頻電話。然而，如上文所提到，本發(fā)明中所描述的技術(shù)一股可適用于視頻譯碼，且可應(yīng)用于無線和/或有線應(yīng)用。在每一情況下，可由視頻編碼器20來編碼所捕獲的、所預(yù)先捕獲的或計(jì)算機(jī)產(chǎn)生的視頻。經(jīng)編碼的視頻信息可接著由輸出接口 22輸出到計(jì)算機(jī)可讀媒體16上。
[0053]視頻源24可通常將場景的多個(gè)視圖提供到視頻編碼器28。視頻源24還可提供指示所述視圖的相機(jī)視角的位置的信息。視頻源24可將此信息提供給視頻編碼器28，或可將信息直接提供給包封單元21。
[0054]包封單元21可使用指示所述視圖的相機(jī)視角的相對(duì)位置的信息，以將視圖識(shí)別符指派給多媒體內(nèi)容的視圖。包封單元21可形成多媒體內(nèi)容的一個(gè)或一個(gè)以上表示，其中所述表示中的每一者可包含一個(gè)或一個(gè)以上視圖。在一些實(shí)例中，視頻編碼器20可以不同方式編碼每一視圖，例如以不同幀速率、不同位速率、不同分辨率或其它此類差。因此，包封單元21可形成具有各種特性(例如，位速率、幀速率、分辨率等)的各種表示。
[0055]所述表示中的每一者可對(duì)應(yīng)于可由目的地裝置14接收的相應(yīng)位流。包封單元21可提供用于包含在每一表示中(例如，多媒體內(nèi)容的媒體呈現(xiàn)描述(MPD)數(shù)據(jù)結(jié)構(gòu)內(nèi))的視圖的視圖識(shí)別符(view_id)的范圍的指示。舉例來說，包封單元21可提供表示的視圖的最大視圖識(shí)別符和最小視圖識(shí)別符的指示。MPD可進(jìn)一步提供目標(biāo)用于多媒體內(nèi)容的多個(gè)表示中的每一者的輸出的視圖的最大數(shù)目的指示。在一些實(shí)例中，MH)或其數(shù)據(jù)可存儲(chǔ)在表示的清單中。
[0056]計(jì)算機(jī)可讀媒體16可包含瞬時(shí)媒體，例如無線廣播或有線網(wǎng)絡(luò)傳輸，或存儲(chǔ)媒體(即，非暫時(shí)性存儲(chǔ)媒體)，例如硬盤、快閃驅(qū)動(dòng)器、壓縮光盤、數(shù)字視頻光盤、藍(lán)光光盤，或其它計(jì)算機(jī)可讀媒體。在一些實(shí)例中，網(wǎng)絡(luò)服務(wù)器(未圖示)可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)，且例如經(jīng)由網(wǎng)絡(luò)傳輸將經(jīng)編碼視頻數(shù)據(jù)提供給目的地裝置14。類似地，媒體生產(chǎn)設(shè)施(例如，光盤沖壓設(shè)施)的計(jì)算裝置可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)，且產(chǎn)生含有所述經(jīng)編碼視頻數(shù)據(jù)的光盤。因此，在各種實(shí)例中，可將計(jì)算機(jī)可讀媒體16理解為包含各種形式的一個(gè)或一個(gè)以上計(jì)算機(jī)可讀媒體。
[0057]目的地裝置14的輸入接口28從計(jì)算機(jī)可讀媒體16接收信息。計(jì)算機(jī)可讀媒體16的信息可包含由視頻編碼器20界定的語法信息，其還可由視頻解碼器30使用，所述語法信息包含描述塊和其它經(jīng)譯碼單元(例如，G0P)的特性和/或處理的語法元素。目的地裝置14的去包封單元29可表示對(duì)來自位流(或在MVC的上下文中稱為“操作點(diǎn)”的位流的子集)的SEI消息去包封的單元。去包封單元29可以包封單元29所執(zhí)行的操作相反的次序執(zhí)行操作，以對(duì)來自經(jīng)包封的經(jīng)編碼位流的數(shù)據(jù)(例如SEI消息)進(jìn)行去包封。顯示裝置32向用戶顯示經(jīng)解碼的視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示器(LCD)、等離子體顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。
[0058]視頻編碼器20和視頻解碼器30各自可實(shí)施為多種合適編碼器或解碼器電路中的任一者(如適用)，例如一個(gè)或一個(gè)以上微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯電路、軟件、硬件、固件或其任何組合。視頻編碼器20和視頻解碼器30中的每一者可包含在一個(gè)或一個(gè)以上編碼器或解碼器中，其中的任一者可集成為組合式視頻編碼器/解碼器(CODEC)的部分。包含視頻編碼器20和/或視頻解碼器30的裝置可包括集成電路、微處理器和/或無線通信裝置，例如蜂窩式電話。
[0059]盡管圖1中未展示，但在一些方面中，視頻編碼器20和視頻解碼器30可各自與音頻編碼器和解碼器集成，且可包含適當(dāng)?shù)亩嗦窂?fù)用器-多路分用器(MUX-DEMUX)單元或其它硬件及軟件，以處置對(duì)共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻與視頻兩者的編碼。如果適用，MUX-DEMUX單元可符合ITU H.223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)等其它協(xié)議。
[0060]在圖1中所示的實(shí)例中，系統(tǒng)10還包含具有路由器36的服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34。在一些實(shí)例中，如上文所述，源裝置12可經(jīng)由多種無線和/或有線發(fā)射或存儲(chǔ)媒體，與服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34通信。此外，雖然在圖1的實(shí)例中單獨(dú)展示，但在一些實(shí)例中，源裝置12和服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34包括相同裝置。服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34可存儲(chǔ)經(jīng)譯碼視頻數(shù)據(jù)(來自源裝置12的視頻編碼器20)的一個(gè)或一個(gè)以上版本，且可使此經(jīng)譯碼視頻數(shù)據(jù)可用于供目的地裝置14和視頻解碼器30存取。在一些實(shí)例中，路由器36可負(fù)責(zé)以所請(qǐng)求的格式將經(jīng)譯碼視頻數(shù)據(jù)提供到目的地裝置14。
[0061]視頻編碼器20和視頻解碼器30可根據(jù)視頻譯碼標(biāo)準(zhǔn)來操作，例如目前在開發(fā)的高效視頻譯碼(HEVC)標(biāo)準(zhǔn)，且可符合HEVC測試模型(HM)。或者，視頻編碼器20和視頻解碼器30可根據(jù)其它專有或行業(yè)標(biāo)準(zhǔn)來操作，例如ITU-T H.264標(biāo)準(zhǔn)，或者稱為MPEG4，部分10，高級(jí)視頻譯碼(AVC)，或此些標(biāo)準(zhǔn)的擴(kuò)展，包含H.264的MVC擴(kuò)展和/或3DVC擴(kuò)展。然而，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻壓縮標(biāo)準(zhǔn)的其它實(shí)例包含MPEG-2和ITU-TH.263。
[0062]ITU-T H.264/MPEG-4 (AVC)標(biāo)準(zhǔn)是由 ITU-T 視頻譯碼專家組(Video CodingExperts Group, VCEG)連同IS0/IEC動(dòng)畫專家組(MPEG)制定以作為被稱為聯(lián)合視頻小組(Joint Video Team7JVT)的集體伙伴關(guān)系的產(chǎn)品。在一些方面中，本發(fā)明中所描述的技術(shù)可應(yīng)用于通常符合H.264標(biāo)準(zhǔn)的裝置。ITU-T研究組在2005年3月在ITU-T建議H.264“用于通用視聽服務(wù)的高級(jí)視頻譯碼(Advanced Video Coding for generic aud1visualservices) ”中描述了 Η.264標(biāo)準(zhǔn)，其在本文中可被稱作H.264標(biāo)準(zhǔn)或H.264規(guī)范或H.264/AVC標(biāo)準(zhǔn)或規(guī)范。H.264/AVC包含可縮放視頻譯碼(SVC)擴(kuò)展和MVC擴(kuò)展。另外，存在進(jìn)一步開發(fā)以提供3DVC擴(kuò)展，其利用包含深度圖的MVC。聯(lián)合視頻小組(JVT)繼續(xù)從事于H.264/MPEG-4AVC的擴(kuò)展。雖然在3DVC的上下文內(nèi)描述，但本發(fā)明中所描述的技術(shù)可相對(duì)于能夠編碼和解碼涉及紋理和深度分量兩者的3D視頻的其它視頻譯碼算法來實(shí)施。
[0063]視頻編碼器20可例如在圖片標(biāo)頭、塊標(biāo)頭、片標(biāo)頭或GOP標(biāo)頭中將語法數(shù)據(jù)(例如，基于塊的語法數(shù)據(jù)、基于圖片的語法數(shù)據(jù)以及基于GOP的語法數(shù)據(jù))發(fā)送到視頻解碼器30。GOP語法數(shù)據(jù)可描述相應(yīng)GOP中的圖片的數(shù)目，且圖片語法數(shù)據(jù)可指示用以編碼對(duì)應(yīng)圖片的編碼/預(yù)測模式。
[0064]在一些實(shí)例中，視頻編碼器20可產(chǎn)生且視頻解碼器30可接收某些參數(shù)集，其可在解碼視頻數(shù)據(jù)時(shí)使用。舉例來說，參數(shù)集可含有序列等級(jí)標(biāo)頭信息(在序列參數(shù)集(SPS)中)，以及很少改變的圖片等級(jí)標(biāo)頭信息(在圖片參數(shù)集(PPS)中)。對(duì)于參數(shù)集(例如，PPS和SPS)，無需針對(duì)每一序列(例如，圖片序列)或圖片重復(fù)很少改變的信息；因此可改進(jìn)譯碼效率。此外，參數(shù)集合的使用可實(shí)現(xiàn)重要標(biāo)頭信息的帶外發(fā)射，從而不需要冗余發(fā)射來進(jìn)行誤差恢復(fù)。在帶外發(fā)射實(shí)例中，可在與其它NAL單元(例如補(bǔ)充增強(qiáng)信息(SEI)NAL單元)不同的信道上發(fā)射參數(shù)集NAL單元。
[0065]SEI NAL單元(稱為SEI消息)可含有對(duì)解碼來自視頻譯碼層(VCL)NAL單元的經(jīng)譯碼圖片樣本來說不必要的信息，但可輔助與解碼、顯示、誤差恢復(fù)和其它目的有關(guān)的過程。SEI消息可包含在非VCL NAL單元中。SEI消息可包含在一些標(biāo)準(zhǔn)規(guī)范的標(biāo)準(zhǔn)部分中，且因此對(duì)于符合標(biāo)準(zhǔn)的解碼器實(shí)施方案來說，不總是強(qiáng)制性的。SEI消息可為序列級(jí)SEI消息或圖片級(jí)SEI消息。一些序列級(jí)信息可包含于SEI消息中，例如SVC的實(shí)例中的可縮放性信息SEI消息，以及MVC中的視圖可縮放性信息SEI消息。視圖可縮放性信息SEI消息還可提供用于H.264的3DVC擴(kuò)展的序列等級(jí)信息。包封單元21可形成這些SEI消息，且將這些SEI消息提供給服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34，以用于(作為一個(gè)實(shí)例)協(xié)商經(jīng)編碼視頻數(shù)據(jù)的遞送。
[0066]包封單元30可形成NAL單元，其包括識(shí)別NAL所屬的程序的標(biāo)頭、以及有效負(fù)載(例如，音頻數(shù)據(jù)、視頻數(shù)據(jù)或描述NAL單元所對(duì)應(yīng)的輸送或程序流的數(shù)據(jù))。舉例來說，在H.264/AVC中，NAL單元包含I字節(jié)標(biāo)頭以及不同大小的有效負(fù)載。在一個(gè)實(shí)例中，NAL單元標(biāo)頭包括 pr1rity_id 元素、temporal_id 元素、anchor_pic_flag 元素、view_id 元素、non_idr_flag元素和inter_view_flag元素。在常規(guī)MVC中，保持由H.264界定的NAL單元，除了前綴NAL單元和MVC經(jīng)譯碼片NAL單元，其包含4字節(jié)MVC NAL單元標(biāo)頭和NAL單元有效負(fù)載。
[0067]在一些實(shí)例中，視頻編碼器20可使用MVC加深度信息來編碼符合H.264的3DVC擴(kuò)展的3DVC位流。2010年3月的“用于一般視聽服務(wù)的高級(jí)視頻譯碼(Advanced videocoding for generic aud1visual services)，，ITU-T 建議 H.264 中描述 MVC 的最新聯(lián)合草案，而上文描述的2011年11月在瑞士日內(nèi)瓦進(jìn)行的“關(guān)于用于包含深度圖的MVC擴(kuò)展的工作草案(WD on MVC Extens1ns for Inclus1n of Depth Maps)，，IS0/IEC/JTC1/SC29/WG11/N12351中描述3DVC的工作草案。并且，本發(fā)明內(nèi)對(duì)MVC的參考應(yīng)理解為對(duì)3DVC的上下文內(nèi)的MVC加深度的參考。就是說，本發(fā)明中將MVC稱為其在3DVC并入有或“建立”MVC的意義上與3DVC有關(guān)。
[0068]在H.264的3DVC擴(kuò)展中，視圖包含紋理和深度。視圖的紋理部分稱為紋理視圖，且視圖的深度部分稱為深度視圖。一個(gè)存取單元中的視圖的紋理部分(即，存取單元中的紋理視圖)稱為紋理視圖分量。一個(gè)存取單元中的視圖的深度部分(即，存取單元中的深度視圖)稱為深度視圖分量。術(shù)語視圖分量為一個(gè)存取單元中的視圖，且共同指代同一存取單元中的紋理視圖分量和深度視圖分量兩者。
[0069]在H.264/AVC的擴(kuò)展中，可在NAL單元標(biāo)頭擴(kuò)展中添加語法元素，以將NAL單元標(biāo)頭從一個(gè)字節(jié)擴(kuò)展到四個(gè)字節(jié)，以在多個(gè)維度中描述VCL NAL單元的特性。因此，MVC擴(kuò)展中的VCL NAL單元可包含比H.264/AVC標(biāo)準(zhǔn)中的NAL單元標(biāo)頭長的NAL單元標(biāo)頭。在本發(fā)明中，可將H.264/AVC的MVC擴(kuò)展稱為“MVC/AVC”。
[0070]MVC/AVC NAL單元可含有一字節(jié)NAL單元標(biāo)頭，其包含NAL單元類型，以及MVC/AVCNAL單元標(biāo)頭擴(kuò)展。作為一個(gè)實(shí)例，MVC/AVC NAL單元標(biāo)頭擴(kuò)展可包含下表中的語法元素:
[0071]NAL單元標(biāo)頭擴(kuò)展語法
[0072]
nal—unit—header—extens1n() {_C_描述符
reserved—zero—Mt_全部 u(l)_
idr—flag_全部 u(l)_
pr1rity—id?部 u(6)
view Jd令部 u(10)
IemporaLiiI八部 u(3)
anchor—pie—flag_—令部 u(l)_
inter—view—flag_全部 u(l)_
raserved_one_Wt企部 e(l)
I
[0073]
[0074]在上表中，idr_flag元素可指示NAL單元是否屬于瞬時(shí)解碼器刷新(IDR)或視圖1DR(V-1DR)，其可用作閉合GOP隨機(jī)存取點(diǎn)。舉例來說，IDR圖片和在顯示次序和位流次序兩者中在IDR圖片之后的所有圖片可適當(dāng)?shù)亟獯a，而不以位流次序或顯示次序解碼先前圖片。
[0075]可結(jié)合根據(jù)視頻解碼器30和/或顯示裝置32的改變的網(wǎng)絡(luò)條件和/或能力而改變位流的位流適應(yīng)過程(例如，單遍次適應(yīng)過程)使用pr1rity_id元素?？墒褂胿iew_id元素來指示NAL單元所屬的視圖的視圖識(shí)別符，其可在MVC解碼器內(nèi)使用，例如用于視圖間預(yù)測，且可在解碼器外使用，例如用于渲染。在一些例子中，可將View_id設(shè)定為等于預(yù)定義相機(jī)id，且可相對(duì)較大?？墒褂胻emporaljd元素來指示當(dāng)前NAL單元的時(shí)間等級(jí)，其可對(duì)應(yīng)于特定幀速率。
[0076]可使用anchor_pic_flag元素來指示NAL單元是否屬于可用作開放GOP隨機(jī)存取點(diǎn)的錨圖片。舉例來說，錨圖片以及在顯示次序中在所述錨圖片之后的所有圖片可適當(dāng)?shù)亟獯a，而不解碼解碼次序(即，位流次序)中的先前圖片，且因此可用作隨機(jī)存取點(diǎn)。錨圖片和非錨圖片可具有不同的視圖依賴性，其兩者均可在SPS中用信號(hào)通知。
[0077]就是說，如本文所述，視圖依賴性可通常指代當(dāng)前正譯碼的視圖所取決于的視圖。換句話說，視圖依賴性可陳述可從中預(yù)測當(dāng)前正譯碼的視圖的視圖。根據(jù)一些實(shí)例，可在SPS MVC擴(kuò)展中用信號(hào)通知視圖依賴性。在此些實(shí)例中，可在SPS MVC擴(kuò)展所指定的范圍內(nèi)進(jìn)行所有視圖間預(yù)測?？墒褂胕nter_View_flag元素來指示NAL單元是否用于其它視圖中的NAL單元的視圖間預(yù)測。
[0078]為了傳達(dá)MVC位流的基礎(chǔ)視圖的NAL單元標(biāo)頭信息(其可為四字節(jié)的)，可在MVC中界定前綴NAL單元。在MVC的上下文中，基礎(chǔ)視圖存取單元可包含特定視圖的當(dāng)前時(shí)刻的VCL NAL單元，以及用于基礎(chǔ)視圖存取單元的前綴NAL單元，其可僅含有NAL單元標(biāo)頭。如果解碼(例如，解碼單個(gè)視圖)不需要前綴NAL單元，那么解碼器可忽略和/或丟棄前綴NAL單元。
[0079]相對(duì)于SPS MVC/AVC擴(kuò)展，MVC SPS可指示可用于視圖間預(yù)測的目的的視圖。舉例來說，潛在視圖間參考可在SPS MVC/AVC擴(kuò)展中用信號(hào)通知，且可通過參考圖片列表構(gòu)造過程來修改，其實(shí)現(xiàn)幀間預(yù)測或視圖間預(yù)測參考的靈活排序。下文的表中陳述實(shí)例MVC/AVCSPS:
[0080]實(shí)例MVC SPS
[0081]

【權(quán)利要求】
1.一種用于視頻譯碼的方法，所述方法包括: 將深度分量存儲(chǔ)在經(jīng)解碼圖片緩沖器中， 分析視圖依賴性以確定所述深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除。
2.根據(jù)權(quán)利要求1所述的方法， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中去除所述深度分量包括響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除，而不去除所述紋理分量。
3.根據(jù)權(quán)利要求1所述的方法，其中所述深度分量不屬于目標(biāo)輸出視圖，且是非參考圖片或標(biāo)記為“不用于參考”的圖片。
4.根據(jù)權(quán)利要求1所述的方法， 其中在子集序列參數(shù)集的視頻譯碼序列參數(shù)集擴(kuò)展中用信號(hào)通知所述視圖依賴性，且其中所述子集序列參數(shù)集含有三維視頻簡檔，且在分析所述視圖依賴性時(shí)被激活為活動(dòng)視圖視頻譯碼序列參數(shù)集。
5.根據(jù)權(quán)利要求1所述的方法， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中所述方法進(jìn)一步包括確定用于不同于所述紋理分量的所述深度分量的一個(gè)或一個(gè)以上參考圖片。
6.根據(jù)權(quán)利要求1所述的方法， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中所述方法進(jìn)一步包括: 用視頻解碼器來確定所述深度分量和所述紋理分量屬于待輸出以供顯示的目標(biāo)輸出視圖；以及 用所述視頻解碼器同時(shí)輸出所述深度分量和所述紋理分量。
7.根據(jù)權(quán)利要求1所述的方法，其中所述深度分量與所述紋理分量具有不同分辨率。
8.根據(jù)權(quán)利要求1所述的方法，其中所述視圖數(shù)據(jù)符合對(duì)H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的三維視頻譯碼擴(kuò)展，且與對(duì)所述H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的多視圖視頻譯碼擴(kuò)展反向兼容。
9.一種經(jīng)配置以譯碼視頻數(shù)據(jù)的視頻譯碼裝置，所述視頻譯碼裝置包括: 經(jīng)解碼圖片緩沖器；以及 處理器，其經(jīng)配置以:將深度分量存儲(chǔ)在所述經(jīng)解碼圖片緩沖器中，分析視圖依賴性以確定所述深度分量是否用于視圖間預(yù)測，且響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除。
10.根據(jù)權(quán)利要求9所述的視頻譯碼裝置， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以在去除所述深度分量時(shí)，響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除，而不去除所述紋理分量。
11.根據(jù)權(quán)利要求9所述的視頻譯碼裝置，其中所述深度分量不屬于目標(biāo)輸出視圖，且是非參考圖片或標(biāo)記為“不用于參考”的圖片。
12.根據(jù)權(quán)利要求9所述的視頻譯碼裝置， 其中在子集序列參數(shù)集的視頻譯碼序列參數(shù)集擴(kuò)展中用信號(hào)通知所述視圖依賴性，且其中所述子集序列參數(shù)集含有三維視頻簡檔，且在分析所述視圖依賴性時(shí)被激活為活動(dòng)視圖視頻譯碼序列參數(shù)集。
13.根據(jù)權(quán)利要求9所述的視頻譯碼裝置， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以確定用于不同于所述紋理分量的所述深度分量的一個(gè)或一個(gè)以上參考圖片。
14.根據(jù)權(quán)利要求9所述的視頻譯碼裝置， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)， 其中所述視頻譯碼裝置包括視頻解碼器，且 其中所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以確定所述深度分量和所述紋理分量屬于待輸出以供顯示的目標(biāo)輸出視圖，且同時(shí)輸出所述深度分量和所述紋理分量。
15.根據(jù)權(quán)利要求9所述的視頻譯碼裝置，其中所述深度分量與所述紋理分量具有不同分辨率。
16.根據(jù)權(quán)利要求9所述的視頻譯碼裝置，其中所述視圖數(shù)據(jù)符合對(duì)H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的三維視頻譯碼擴(kuò)展，且與對(duì)所述H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的多視圖視頻譯碼擴(kuò)展反向兼容。
17.一種用于譯碼視頻數(shù)據(jù)的視頻譯碼裝置，所述視頻譯碼裝置包括: 用于將深度分量存儲(chǔ)在經(jīng)解碼圖片緩沖器中的裝置； 用于分析視圖依賴性以確定所述深度分量是否用于視圖間預(yù)測的裝置；以及用于響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除的裝置。
18.根據(jù)權(quán)利要求17所述的視頻譯碼裝置， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中所述用于去除所述深度分量的裝置包括用于響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除而不去除所述紋理分量的裝置。
19.根據(jù)權(quán)利要求17所述的視頻譯碼裝置，其中所述深度分量不屬于目標(biāo)輸出視圖，且是非參考圖片或標(biāo)記為“不用于參考”的圖片。
20.根據(jù)權(quán)利要求17所述的視頻譯碼裝置， 其中在子集序列參數(shù)集的視頻譯碼序列參數(shù)集擴(kuò)展中用信號(hào)通知所述視圖依賴性，且其中所述子集序列參數(shù)集含有三維視頻簡檔，且在分析所述視圖依賴性時(shí)被激活為活動(dòng)視圖視頻譯碼序列參數(shù)集。
21.根據(jù)權(quán)利要求17所述的視頻譯碼裝置， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中所述視頻譯碼裝置進(jìn)一步包括用于確定用于不同于所述紋理分量的所述深度分量的一個(gè)或一個(gè)以上參考圖片的裝置。
22.根據(jù)權(quán)利要求17所述的視頻譯碼裝置， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)， 其中所述視頻譯碼裝置包括視頻解碼器，且 其中所述視頻解碼器進(jìn)一步包括: 用于確定所述深度分量和所述紋理分量屬于待輸出以供顯示的目標(biāo)輸出視圖的裝置；以及 用于同時(shí)輸出所述深度分量和所述紋理分量的裝置。
23.根據(jù)權(quán)利要求17所述的視頻譯碼裝置，其中所述深度分量與所述紋理分量具有不同分辨率。
24.根據(jù)權(quán)利要求17所述的視頻譯碼裝置，其中所述視圖數(shù)據(jù)符合對(duì)H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的三維視頻譯碼擴(kuò)展，且與對(duì)所述H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的多視圖視頻譯碼擴(kuò)展反向兼容。
25.—種上面存儲(chǔ)有指令的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的一個(gè)或一個(gè)以上處理器: 將深度分量存儲(chǔ)在經(jīng)解碼圖片緩沖器中； 分析視圖依賴性以確定所述深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除。
26.根據(jù)權(quán)利要求25所述的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器去除所述深度分量的所述指令包括在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器響應(yīng)于確定所述深度分量不用于視圖間預(yù)測而將所述深度分量從所述經(jīng)解碼圖片緩沖器去除而不去除所述紋理分量的指令。
27.根據(jù)權(quán)利要求25所述的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述深度分量不屬于目標(biāo)輸出視圖，且是非參考圖片或標(biāo)記為“不用于參考”的圖片。
28.根據(jù)權(quán)利要求25所述的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體， 其中在子集序列參數(shù)集的視頻譯碼序列參數(shù)集擴(kuò)展中用信號(hào)通知所述視圖依賴性，且其中所述子集序列參數(shù)集含有三維視頻簡檔，且在分析所述視圖依賴性時(shí)被激活為活動(dòng)視圖視頻譯碼序列參數(shù)集。
29.根據(jù)權(quán)利要求25所述的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)，且 其中所述非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上進(jìn)一步存儲(chǔ)有在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器確定用于不同于所述紋理分量的所述深度分量的一個(gè)或一個(gè)以上參考圖片的指令。
30.根據(jù)權(quán)利要求25所述的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體， 其中所述深度分量與視頻數(shù)據(jù)的視圖的視圖分量相關(guān)聯(lián)， 其中紋理分量也與所述視圖分量相關(guān)聯(lián)， 其中所述視頻譯碼裝置包括視頻解碼器，且 其中所述非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上進(jìn)一步存儲(chǔ)有在被執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 確定所述深度分量和所述紋理分量屬于待輸出以供顯示的目標(biāo)輸出視圖；以及 同時(shí)輸出所述深度分量和所述紋理分量。
31.根據(jù)權(quán)利要求25所述的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述深度分量與所述紋理分量具有不同分辨率。
32.根據(jù)權(quán)利要求25所述的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述視圖數(shù)據(jù)符合對(duì)H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的三維視頻譯碼擴(kuò)展，且與對(duì)所述H.264/高級(jí)視頻譯碼標(biāo)準(zhǔn)的多視圖視頻譯碼擴(kuò)展反向兼容。
【文檔編號(hào)】H04N19/423GK104137550SQ201280059048
【公開日】2014年11月5日 申請(qǐng)日期:2012年11月30日 優(yōu)先權(quán)日:2011年11月30日
【發(fā)明者】陳英, 王益魁 申請(qǐng)人:高通股份有限公司