分層視頻編碼的等級(jí)信令的制作方法
【專(zhuān)利摘要】公開(kāi)了確定分層比特流中的等級(jí)id以使相同等級(jí)id可用于可分級(jí)比特流的所有層的技術(shù)。還公開(kāi)了信令可指示比用于分層比特流的等級(jí)id更低的計(jì)算要求的子比特流的等級(jí)id的技術(shù)。
【專(zhuān)利說(shuō)明】分層視頻編碼的等級(jí)信令
[0001]說(shuō)明
[0002]相關(guān)申請(qǐng)的交叉引用
[0003]本申請(qǐng)要求2012 年 4 月 6 日提交的題為 “Level signaling for layered videocoding (分層視頻編碼的等級(jí)信令)”的美國(guó)序列號(hào)N0.61/621，093的優(yōu)先權(quán)，該文獻(xiàn)的公開(kāi)通過(guò)引用全部結(jié)合至此。

【技術(shù)領(lǐng)域】
[0004]所公開(kāi)的主題涉及視頻編碼，更特定地，涉及與分層比特流中的等級(jí)或要求的解碼器容量的其它指示的信令關(guān)聯(lián)的信息表示。

【背景技術(shù)】
[0005]視頻編碼是指其中一系列未經(jīng)壓縮的圖像被轉(zhuǎn)換成壓縮的視頻比特流的技術(shù)。視頻解碼是指相反過(guò)程。存在許多標(biāo)準(zhǔn)指定了圖像和視頻解碼操作的技術(shù)，例如ITU-T Rec.H.264 “用于通用視聽(tīng)服務(wù)的先進(jìn)視頻編碼”03/2010，可從瑞士 CH-1211日內(nèi)瓦20，Placede Nat1n 的國(guó)際電信聯(lián)盟(ITU)或 http://www.1tu.1nt/rec/T-REC~H.264 獲得,并通過(guò)引用全部結(jié)合至此，或者高效率視頻編碼(HEVC) (B.B1ss等人(“高效率視頻編碼(HEVC)文本規(guī)范草案 9，，，可從 http://phenix.1nt-evry.fr/jct doc_end_user/documents/11_Shanghai/wgl l/JCTVC-Kl 003-v 13.zip 獲得)，2012 年 12 月，它在下文中被稱(chēng)為“WD9”，該文獻(xiàn)通過(guò)引用全部結(jié)合至此)。
[0006]分層視頻編碼，也被稱(chēng)為可分級(jí)視頻編碼，是指其中視頻比特流可被分成兩個(gè)或更多個(gè)子比特流(被稱(chēng)為層)的視頻編碼技術(shù)。各層可形成層階級(jí)，藉此基層可被獨(dú)立地編碼，而增強(qiáng)層可與基層和/或較低的增強(qiáng)層結(jié)合地被編碼。
[0007]一些視頻解碼標(biāo)準(zhǔn)，例如H.264或HEVC,利用概況等級(jí)系統(tǒng)(profile levelsystem)以在比特流中發(fā)信息通知解碼器必須具備以解碼比特流的能力。概況(profile)一般指視頻編碼標(biāo)準(zhǔn)中指定的編碼技術(shù)(也稱(chēng)“工具”)的選擇，而等級(jí)一般指每秒解碼特定數(shù)量的像素、塊、宏塊、樹(shù)塊、編碼單元、或類(lèi)似單元的要求。因此，等級(jí)可表達(dá)解碼器在特定幀速率下解碼高達(dá)給定的(未編碼)圖像尺寸的比特流的能力。在應(yīng)用標(biāo)準(zhǔn)中，概況和等級(jí)可在諸如H.264或HEVC之類(lèi)的視頻編碼標(biāo)準(zhǔn)中被指定，或者可由標(biāo)準(zhǔn)過(guò)程之外的賣(mài)方(vendor)同意。
[0008]H.264在其附錄G中包括對(duì)支持分層編碼的擴(kuò)展，被稱(chēng)為可分級(jí)視頻編碼或SVC。附錄H包括多視圖擴(kuò)展，在下文中稱(chēng)其為多視圖視頻編碼或MVC。沒(méi)有能用的附錄G或H的H.264被稱(chēng)為AVC。
[0009]在SVC中，可對(duì)多個(gè)空間、質(zhì)量、或時(shí)間層編碼，并可依賴(lài)于另一個(gè)層對(duì)一個(gè)層進(jìn)行編碼?；鶎营?dú)立于任何其它層，并向后兼容AVC。SVC可對(duì)相互編碼的宏塊使用單環(huán)解碼，并對(duì)內(nèi)編碼的宏塊使用多環(huán)解碼。
[0010]在MVC中，可對(duì)多個(gè)視圖進(jìn)行編碼，并可依賴(lài)于另一視圖對(duì)一視圖進(jìn)行編碼?；晥D獨(dú)立于任何其它視圖，并向后兼容AVC。MVC使用多環(huán)解碼，其中如果視圖A是對(duì)視圖B的引用，則必須對(duì)視圖A和視圖B兩者進(jìn)行解碼以輸出視圖B。
[0011]H.264包括序列參數(shù)集，它包含與視頻序列中所有編碼圖像有關(guān)的信息。在序列參數(shù)集中的是概況和等級(jí)指示符的句法要素。類(lèi)似地，在SVC和MVC中，子集序列參數(shù)集具有用于概況和等級(jí)指示符的句法要素。子集序列參數(shù)集被用于非基層或視圖，而序列參數(shù)集被用于基層或視圖。
[0012]SVC和MVC擴(kuò)展提供對(duì)目標(biāo)層表示或視圖表示的子比特流提取的機(jī)制，它們的輸出是包括與目標(biāo)層表示本身相關(guān)聯(lián)的NAL單元的有效編碼的視頻比特流以及具有目標(biāo)依存性_id、質(zhì)量_id、時(shí)間_id和優(yōu)先級(jí)_id的更低值或相等值的所有層。
[0013]在H.264中，在每個(gè)編碼的片報(bào)頭部?jī)?nèi)存在圖像參數(shù)集id句法要素，它被稱(chēng)為圖像參數(shù)集(PPS)。PPS包含對(duì)整個(gè)編碼圖像保持恒定、但在兩個(gè)圖像之間變化的參數(shù)。PPS中的一個(gè)句法要素是對(duì)序列參數(shù)集id的索引，這稱(chēng)為序列參數(shù)集(SPS)。在SVC中相同層或MVC中相同視圖中的所有編碼的片，在編碼的視頻序列中，是指同一 SPS或子集序列參數(shù)集。
[0014]序列參數(shù)集可包含關(guān)于圖像分辨率、視頻可用信息等的信息以及概況和等級(jí)指示符。允許MVC中的一個(gè)以上的視圖引用同一序列參數(shù)集。類(lèi)似地，允許一個(gè)以上SVC層引用同一序列參數(shù)集。
[0015]H.264通過(guò)其概況和等級(jí)指示符對(duì)順應(yīng)(compliant)編碼的比特流施加多種限制。概況和等級(jí)指示符可指定一致點(diǎn)，并且在比特流中的概況和等級(jí)信息的存在可允許解碼器或媒體感知網(wǎng)絡(luò)元素(MANE)確定它是否有能力解碼或以其它方式處理特定比特流。概況一般指定這組支持的編碼工具，而等級(jí)一般指定影響計(jì)算要求的約束。
[0016]參照等級(jí)，H.264提供將每個(gè)可允許的等級(jí)id值映射至參數(shù)上的約束(諸如最大圖像尺寸、比特率、以及宏塊吞吐量)的表。特定地，宏塊吞吐量限制約束了每秒最大數(shù)量宏塊或MaxMBPS。在宏塊的尺寸為16 X 16個(gè)采樣時(shí)，MaxMBPS緊密地關(guān)聯(lián)于每秒像素率，此外MaxMBPS計(jì)算考慮每個(gè)編碼的圖像必須包含整數(shù)數(shù)量的宏塊，并因此垂直和水平分辨率必須被圓整至最近的宏塊尺寸。
[0017]對(duì)于包括那些用作SVC基層或MVC基視圖的(單層/視圖)AVC概況，假設(shè)最大MB吞吐量被限制以使等級(jí)極限MaxMBPS〉= PicSizelnMbs^FrameRate?注意，標(biāo)準(zhǔn)文檔中的等級(jí)極限的約束條件的描述不假設(shè)固定的幀速率，并被表達(dá)為對(duì)幀之間的最小輸出時(shí)間的限制。前述方程是H.264描述(它允許可變的幀速率)的簡(jiǎn)化(假設(shè)固定的幀速率)。
[0018]對(duì)于與其中多個(gè)可分級(jí)層或視圖將被解碼的SVC和MVC相關(guān)聯(lián)的概況，基于層或視圖的數(shù)量，每秒最大MB吞吐量的解釋被修正，如下文所述。
[0019]在SVC擴(kuò)展中，在非基層的子集序列參數(shù)集中，等級(jí)極限表達(dá)約束:最大MB吞吐量MaxMBPS> = svcPicSizelnMbs*FrameRate,其中 svcPicSizelnMbs 的值基于層的數(shù)量、和有效層及其參考層的圖像尺寸，同樣在固定幀速率的假設(shè)下。
[0020]參見(jiàn)圖1，示出一種層階級(jí)，其具有基層(101)、使用基層(101)作為它們的參考層的兩個(gè)空間或SNR增強(qiáng)層(102)和(103)、以及使用基層(101)和增強(qiáng)層(102)作為其參考層的第三空間或SNR增強(qiáng)層(104)。根據(jù)H.264，每個(gè)層(101)到(104)具有關(guān)聯(lián)的等級(jí)(分別為105-108)，它被編碼為序列參數(shù)集中的等級(jí)id字段。與基層(101)關(guān)聯(lián)的等級(jí)(105)可指示通過(guò)引用H.264中指定的等級(jí)表所表達(dá)的孤立基層的計(jì)算要求。特定地，根據(jù)
H.264，可由編碼器如此選擇基層(101)的編碼的等級(jí)id，以使得與該等級(jí)關(guān)聯(lián)的所有編碼參數(shù)(例如:最大圖像尺寸、每秒宏塊吞吐量等等)大于或等于根據(jù)該等級(jí)解碼比特流的要求。
[0021]根據(jù)H.264，增強(qiáng)層(102-104)的等級(jí)(106-108)可被解碼以使與編碼等級(jí)關(guān)聯(lián)的計(jì)算要求大于結(jié)合地解碼所研究的增強(qiáng)層(102-104)以及其所有參考層的計(jì)算要求。例如，增強(qiáng)層(104)的等級(jí)指示符(108)被選擇為使得對(duì)于通過(guò)等級(jí)指示符(108)指示的所有計(jì)算要求而言，相應(yīng)計(jì)算復(fù)雜性大于組合地解碼所有層(104)及其參考層(102)和(101)所需的計(jì)算復(fù)雜性。在圖1中，這由圍繞著層(101)、(102)和(104)的虛線(xiàn)(110)表示。類(lèi)似地，在增強(qiáng)層(103)的序列參數(shù)集內(nèi)編碼的等級(jí)指示器(107)可被選擇為使組合地解碼增強(qiáng)層(103)和基層(101)的計(jì)算要求低于等級(jí)指示符(107)中指示的計(jì)算要求。這是通過(guò)在層(101)、(103)周?chē)拈g斷線(xiàn)(111)表示的。
[0022]在MVC擴(kuò)展中，在對(duì)于非基視圖的子集序列參數(shù)集中，等級(jí)極限表示最大MB吞吐量的約束MaxMBPS〉= (Num Views/2) *PicSizelnMbs*FrameRate,其中 Num Views 是指解碼目標(biāo)輸出視圖所需的視圖數(shù)，同樣在固定幀速率的假設(shè)下。
[0023]在MVC中，由于MB吞吐量基線(xiàn)基于視圖數(shù)，其SPS參數(shù)值相同(例如，具有相同的圖像分辨率和VUI數(shù)據(jù))的多視圖層對(duì)于它們的等級(jí)指示符值可不同。如果它們不同，它們可指向不同的SPS id，因?yàn)樵贖.264中，每個(gè)SPS可僅包含單個(gè)等級(jí)指示符。替代物(alternative),是指(referring to)具有足夠高以指示足以解碼所有視圖(即便例如僅解碼基視圖)的計(jì)算資源的等級(jí)指示符的相同SPS，可能是成問(wèn)題的。例如，如果正在編碼比基視圖必需還更高的等級(jí)指示符，由于等級(jí)指示符指示比單視圖解碼所需的更高等級(jí)(以容納多視圖)，該基視圖(其巧合地可能與適于非多視圖解碼的AVC比特流完全一致)潛在地可能沒(méi)有在具有充分計(jì)算資源的設(shè)備上被解碼。
[0024]對(duì)于SVC和MVC兩者，出于一些原因，每個(gè)層或視圖的一個(gè)SPS可能是低效的。為了描述這些原因，對(duì)H.264的參數(shù)集引用機(jī)制簡(jiǎn)單地予以描述。參見(jiàn)圖2，其示出片報(bào)頭部、PPS、和SPS之間的關(guān)系。片報(bào)頭部(201)可包含可變長(zhǎng)度(擴(kuò)展-Golomb)編碼的字段(202)，該字段指示將使用的PPS (203)。對(duì)具有IDO的PPS (203)，字段(202)長(zhǎng)度為I比特。對(duì)于值I或2，字段長(zhǎng)度為3比特。對(duì)于3和更大的值，其長(zhǎng)度至少為5比特。在PPS中，可存在指示SPS(205)的指示(204)。^ SPS(205)內(nèi)，可存在自引用(206)(在其轉(zhuǎn)換過(guò)程中可被用于標(biāo)識(shí)SPS)。注意，視頻流可包含許多SPS和PPS,并且在每圖像或每視頻序列基礎(chǔ)上，編碼器可通過(guò)對(duì)片報(bào)頭部(201)中的適宜PPS ID(202)編碼而切換它們。
[0025]對(duì)于第一個(gè)原因，在H.264中，可能需要在比特流中包括多個(gè)SPS (207)(或發(fā)送它們至帶外)，這些SPS僅由等級(jí)指示符(208)區(qū)別。然而，SPS的許多其它句法要素也可必需與標(biāo)準(zhǔn)一致。這可導(dǎo)致潛在地許多SPS句法要素的冗余發(fā)送(其結(jié)果對(duì)編碼效率有影響)，以允許對(duì)不同層或視圖信令不同的等級(jí)。其次，SPS沒(méi)有被從片報(bào)頭部(或其它編碼的圖像高等級(jí)句法要素)被引用，而是通過(guò)間接的一個(gè)等級(jí):片報(bào)頭部引用PPS，而PPS引用SPS。為了參照適宜的SPS，應(yīng)當(dāng)存在包括對(duì)相應(yīng)SPS的參照的至少一個(gè)PPS。PPS進(jìn)而可僅通過(guò)PPS ID與其它PPS(209)區(qū)別，PPS ID可以是不同的，因?yàn)槿缜八鲂枰煌腜PS信令不同的等級(jí)。作為結(jié)果，可能不僅需要如前所述包含潛在很多冗余值的多個(gè)SPS，而且還需要具有很多冗余參數(shù)的許多PPS。第三，為了信令片報(bào)頭部中的不同PPS，當(dāng)需要信令更多不同PPS ID時(shí)，用于信令PPS ID (202)的(可變長(zhǎng)度)碼字的平均長(zhǎng)度可以更長(zhǎng)。第四，PPS中涉及(refer to) SPS (204)的碼字也是可變長(zhǎng)度編碼的并且當(dāng)需要很多SPS時(shí)可以更長(zhǎng)。且第五，這同樣分別適用于SPS(205) PPS(203)內(nèi)的自引用(206) (210)。
[0026]SVC包括可分級(jí)性(scalability)信息SEI消息(SSEI消息)。根據(jù)H.264或HEVC，解碼器不要求解碼并基本作用于所有SEI消息(包括SSEI消息)，盡管在SEI消息上不編碼和作用可能消極地影響用戶(hù)體驗(yàn)。然而，對(duì)于諸如資源管理之類(lèi)的機(jī)制，解碼器可使用比特流中發(fā)現(xiàn)的SSEI消息中可用的信息，并可依賴(lài)于包含在正確的SEI消息中的值。SSEI消息提供尤其是關(guān)于出現(xiàn)在編碼的視頻序列中的層數(shù)的信息。對(duì)于那些層中的每一個(gè)，SSEI消息可直接或間接地提供層id值對(duì)優(yōu)先級(jí)、依存性、質(zhì)量、和時(shí)間id值的映射，這些值可組合地描述該層在層階級(jí)中的位置，以及描述每個(gè)層的很多其它參數(shù)。該附加參數(shù)中的一些即便在SEI消息中也是任選的，包括概況和等級(jí)信息以及平均比特率。SSEI消息中的概況和等級(jí)信息可指示與由層id值標(biāo)識(shí)的目標(biāo)層表示相關(guān)聯(lián)的子比特流的解碼能力?？梢韵嗤绞浇忉尩燃?jí)極限，就像序列參數(shù)集中包含相同的等級(jí)指示符值那樣。同時(shí)，當(dāng)被以此方式使用時(shí)，SSEI包括足夠的信息以允許解碼器獲得每個(gè)可分級(jí)層的概況和等級(jí)信息，PPS和SPS的前述潛在冗余副本在解碼器處可能是必要的(對(duì)編碼效率具有結(jié)果的消極影響)以與H.264 一致。
[0027]類(lèi)似地，在MVC中，視圖可分級(jí)性信息SEI消息提供關(guān)于編碼的視頻序列中存在的視圖數(shù)的信息，并任選地提供與目標(biāo)圖表示關(guān)聯(lián)的子比特流的概況和等級(jí)信息。
[0028]類(lèi)似于H.264，HEVC在序列參數(shù)集中具有概況和等級(jí)指示符句法要素。等級(jí)極限直接地基于像素率(相比H.264的MB率)，但在其它方面功能是相稱(chēng)的。表1示出根據(jù)HEVC對(duì)于等級(jí)的最大像素率和圖像尺寸。同樣假設(shè)固定幀速率，對(duì)像素吞吐量具有限制，以使等級(jí)極限像素吞吐量MaxLumaPR〉= PicSizeLuma*FrameRate (幀速率)，其中 PicSizeLuma 指像素中的圖像的亮度分量:表1
[0029]

【權(quán)利要求】
1.一種用于確定解碼視頻的能力的方法，所述視頻包括參考層和引用所述參考層的增強(qiáng)層，所述方法包括: 解碼所述參考層的至少一個(gè)等級(jí)指示符； 解碼所述增強(qiáng)層的至少一個(gè)等級(jí)指示符； 對(duì)于所述參考層的至少一個(gè)等級(jí)指示符，確定用于所述參考層的解碼的至少一個(gè)計(jì)算要求， 對(duì)所述增強(qiáng)層的至少一個(gè)等級(jí)指示符，確定用于所述增強(qiáng)層的解碼的至少一個(gè)計(jì)算要求，結(jié)合用于所述參考層的解碼的至少一個(gè)計(jì)算要求與用于所述增強(qiáng)層的解碼的至少一個(gè)計(jì)算要求來(lái)生成組合；以及 將所述組合與預(yù)定能力相比較； 其中如果所述組合小于所述預(yù)定能力，則所述視頻可被解碼。
2.如權(quán)利要求1所述的方法，其特征在于，所述結(jié)合包括求和，且所述組合包括和。
3.如權(quán)利要求1所述的方法，其特征在于，所述參考層包括基層。
4.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算要求包括每秒的像素?cái)?shù)量。
5.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算要求包括每圖像的像素?cái)?shù)量。
6.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算要求包括比特率。
7.如權(quán)利要求1所述的方法，其特征在于，所述結(jié)合包括使用媒體知曉網(wǎng)絡(luò)要素(MANE)。
8.如權(quán)利要求7所述的方法，其特征在于，還包括在確定所得和超出所述預(yù)定能力后丟棄所述增強(qiáng)層。
9.如權(quán)利要求8所述的方法，其特征在于，所述預(yù)定能力包括耦合至所述MANE的解碼器的能力。
10.如權(quán)利要求8所述的方法，其特征在于，所述預(yù)定能力包括所述MANE和解碼器之間的網(wǎng)絡(luò)鏈路的能力。
11.如權(quán)利要求1所述的方法，其特征在于，還包括在確定所得和超出所述預(yù)定能力之后丟棄所述增強(qiáng)層。
12.如權(quán)利要求1所述的方法，其特征在于，所述等級(jí)標(biāo)識(shí)符被編碼在序列參數(shù)集中。
13.一種用于確定解碼視頻的能力的系統(tǒng)，所述視頻包括參考層和引用所述參考層的增強(qiáng)層，所述系統(tǒng)包括: 解碼設(shè)備，其被配置成: 解碼所述參考層的至少一個(gè)等級(jí)指示符，解碼所述增強(qiáng)層的至少一個(gè)等級(jí)指示符，對(duì)于所述參考層中的至少一個(gè)等級(jí)指示符來(lái)確定解碼所述參考層的至少一個(gè)計(jì)算要求； 對(duì)于所述增強(qiáng)層的至少一個(gè)等級(jí)指示符，確定來(lái)解碼所述增強(qiáng)層的至少一個(gè)計(jì)算要求； 結(jié)合來(lái)解碼所述參考層的至少一個(gè)計(jì)算要求和來(lái)解碼所述增強(qiáng)層的至少一個(gè)計(jì)算要求以生成組合；以及 將所述組合與預(yù)定能力相比較； 其中如果所述組合小于所述預(yù)定能力，則所述視頻可被解碼。
14.一種用于確定解碼包括至少一個(gè)層和一個(gè)時(shí)間子層的視頻比特流的時(shí)間子層的能力的方法，所述方法包括: 解碼與所述層相關(guān)聯(lián)的概況id、等級(jí)id、和層級(jí)id中的至少一個(gè)； 解碼與所述時(shí)間子層相關(guān)聯(lián)的概況id、等級(jí)id、和層級(jí)id中的至少一個(gè)；以及如果與所述時(shí)間子層相關(guān)聯(lián)的所述概況id、等級(jí)id、和層級(jí)id中的至少一個(gè)指示所述時(shí)間子層的比特流復(fù)雜度比由所述層的概況id、等級(jí)id、或?qū)蛹?jí)id指示的比特流復(fù)雜度更低，則將時(shí)間子層確定為可解碼的。
15.如權(quán)利要求14所述的方法，其特征在于，子層的概況id、等級(jí)id、和層級(jí)id中的至少一個(gè)被編碼在補(bǔ)充增強(qiáng)信息(SEI)消息。
16.一種用于確定解碼包括至少一個(gè)層和一個(gè)時(shí)間子層的視頻比特流中的時(shí)間子層的能力的系統(tǒng)，所述系統(tǒng)包括: 解碼設(shè)備，其被配置成: 解碼與所述層相關(guān)聯(lián)的概況id、等級(jí)id、和層級(jí)id中的至少一個(gè)； 解碼與所述時(shí)間子層相關(guān)聯(lián)的概況id、等級(jí)id、和層級(jí)id中的至少一個(gè)；以及如果與所述時(shí)間子層相關(guān)聯(lián)的所述概況id、等級(jí)id、和層級(jí)id中的至少一個(gè)指示所述時(shí)間子層的比特流復(fù)雜度比由所述層的概況id、等級(jí)id、或?qū)蛹?jí)id指示的比特流復(fù)雜度更低，則將時(shí)間子層確定為可解碼的。
17.一種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，其包括一組可執(zhí)行指令以引導(dǎo)處理器執(zhí)行如權(quán)利要求1-12或14-15中一項(xiàng)所述的方法。
【文檔編號(hào)】H04N5/93GK104205813SQ201380018332
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2013年3月25日 優(yōu)先權(quán)日:2012年4月6日
【發(fā)明者】J·博伊斯, D·洪, J·翁坎普, S·溫格 申請(qǐng)人:維德約股份有限公司