向經(jīng)編碼視頻的子層提供共同參數(shù)集的制作方法
【專利說明】向經(jīng)編碼視頻的子層提供共同參數(shù)集
[0001]對相關(guān)申請的交叉引用
[0002]本申請要求于2012年10月9日提交的、題為“Remapping Banned Picture Typewhen Disallowing Sub-Layers (當(dāng)不允許子層時重新繪制被禁止的圖像類型)”的美國臨時專利申請N0.61/711，721的權(quán)益，并且還要求題為“Processing of Pictures in CodedVideo Streams (處理經(jīng)編碼視頻流中的圖像)”的美國臨時專利申請N0.61/712，831的權(quán)益，二者的全部內(nèi)容被通過引用結(jié)合于此。
技術(shù)領(lǐng)域
[0003]本公開一般地涉及用信號表示是經(jīng)編碼視頻序列(CVS)中的多個子層中的每一個均具有各自相應(yīng)的子層參數(shù)集還是共同的子層參數(shù)集可被應(yīng)用于多個子層。
【背景技術(shù)】
[0004]在提供視頻程序的系統(tǒng)(比如，用戶電視網(wǎng)絡(luò)、互聯(lián)網(wǎng)或數(shù)字視頻播放器)中，能夠提供視頻服務(wù)或視頻回放的設(shè)備包括輸入并處理數(shù)字視頻信號以向最終用戶提供具有各等級的可用性和/或功能性的數(shù)字視頻回放所必需的硬件和軟件。該設(shè)備包括以下能力:接收或輸入壓縮格式的數(shù)字視頻信號，其中這樣的壓縮可根據(jù)視頻編碼規(guī)范；對接收或輸入的數(shù)字視頻信號進(jìn)行解壓縮；以及輸出經(jīng)解壓縮的視頻信號。壓縮形式的數(shù)字視頻信號在這里指的是包含連續(xù)的經(jīng)編碼視頻序列的位流(bitstream)。
[0005]經(jīng)數(shù)字經(jīng)編碼視頻流可由諸如機(jī)頂盒和電視之類的設(shè)備通過某種類型的傳輸信道來接收。在輸出經(jīng)數(shù)字經(jīng)編碼視頻流的過程中，可能需要判定是經(jīng)編碼視頻序列(CVS)中的多個子層中的每一個均具有各自相應(yīng)的子層參數(shù)集還是共同的子層參數(shù)集可被應(yīng)用于多個子層。
【附圖說明】
[0006]參考附圖能夠更好地理解本公開的很多方面。附圖中的組件不必按比例繪制，而是重點在于清楚地示出本公開的原則。
[0007]圖1是示出了本公開的實施例可在其中實現(xiàn)的示例性環(huán)境的高層次框圖。
[0008]圖2A-2B是圖1所描述的接收器和相關(guān)設(shè)備的實施例的框圖，本公開的實施例可在其中實現(xiàn)。
[0009]圖3是示出了本公開的實施例的流程圖。
[0010]圖4是示出了本公開的實施例的流程圖。

【發(fā)明內(nèi)容】

[0011]本公開的實施例描述了用于生成、接收和/或處理包括至少第一經(jīng)編碼視頻流(CVS)的位流的方法和系統(tǒng)，第一 CVS包括第一標(biāo)志，該第一標(biāo)志指示是在經(jīng)編碼視頻序列中的多個子層中的每一個具有各自相應(yīng)的子層參數(shù)集還是共同的子層參數(shù)集與多個子層相對應(yīng)，其中每個子層與各自的時間標(biāo)識符值相對應(yīng)。
【具體實施方式】
[0012]在提供視頻程序的系統(tǒng)(例如，用戶電視網(wǎng)絡(luò)、互聯(lián)網(wǎng)或數(shù)字視頻播放器)中，能夠提供視頻服務(wù)或視頻回放的設(shè)備包括輸入并處理數(shù)字視頻信號以向終端用戶提供具有各等級的可用性和/或功能性的數(shù)字視頻回放所必需的硬件和軟件。該設(shè)備包括以下能力:接收或輸入壓縮格式的數(shù)字視頻信號，其中該壓縮可根據(jù)視頻編碼規(guī)范；對接收或輸入的數(shù)字視頻信號進(jìn)行解壓縮；以及輸出經(jīng)解壓縮的視頻信號。壓縮形式的數(shù)字視頻信號在這里指的是包含連貫的經(jīng)編碼視頻序列的位流。
[0013]HEVC規(guī)范(也稱為Rec.“ITU-T H.265”) (2013年4月發(fā)布)，被通過引用結(jié)合于此。在本公開的一些實施例中，位流可在接收器(例如，下面將詳細(xì)描述的接收器200)處被接收。位流可包括連續(xù)的CVS。位流中的每個CVS具有相應(yīng)的序列參數(shù)集(SPS)，其包括視頻可用性信息(VUI)。其他網(wǎng)絡(luò)設(shè)備(例如，拼接器或數(shù)字程序插入器)可用其他CVS替換位流的部分。
[0014]視頻編碼標(biāo)準(zhǔn)可從NAL單元頭部中導(dǎo)出時間標(biāo)識符，其指示分層時間預(yù)測結(jié)構(gòu)中的等級。這被引入以在不需要解析除了 NAL單元頭部之外的位流的其他部分的情況下獲得時間可擴(kuò)展性。
[0015]在某些情況下，解碼的時間子層的數(shù)量可在一個CVS的解碼過程中進(jìn)行調(diào)整。在位流中子層轉(zhuǎn)換可開始解碼一些更高時間層的點的位置可由某些類型的圖像的存在來指示，作為非限制性示例，在HEVC中，這些圖像能夠?qū)?yīng)于時間子層訪問(TSA)圖像和逐步TSA(STSA)圖像。在這樣的圖像的位置處，可以從解碼第一時間子層轉(zhuǎn)換到解碼第二時間子層O
[0016]對應(yīng)于CVS的子層參數(shù)可由諸如對應(yīng)于該CVS的序列參數(shù)集(SPS)之類的參數(shù)集來提供。該SPS可被提供在位流中相應(yīng)的CVS的RAP圖像之前。
[0017]在一些實施例中，SPS可包括提供整個CVS的一致點而不是每個連續(xù)子層各自的一致點的標(biāo)志。
[0018]作為非限制性示例，該標(biāo)志可被表示為“sps_sub_layer_ordering info _present_flag(SPS子層排序信息存在標(biāo)志)”以促進(jìn)對本方法的描述，但是應(yīng)該理解的是在替代的實施例中，其命名可以不同。具體地，為了便于說明，sps_sub_layerorderinginfo_present_flag這里用諸如“第一標(biāo)志”之類的名稱來表示以促進(jìn)本方法的描述，但是應(yīng)該理解的是在替換實施例中，該標(biāo)志的命名可以不同。該第一標(biāo)志可針對每個經(jīng)編碼視頻序列來用信號表示。
[0019]第一標(biāo)志可用信號表不是CVS中的多個子層中的每一個均具有各自相應(yīng)的子層參數(shù)集還是共同的子層參數(shù)集可被應(yīng)用到多個子層。例如，子層參數(shù)集可包括解碼器圖像緩沖器(DPB)中的最大幀緩沖器數(shù)、最大重新排序圖像數(shù)和最大延遲增加量。每個子層可對應(yīng)于各自的時間標(biāo)識符值，該時間標(biāo)識符值是從NAL單元頭部中提供的數(shù)據(jù)字段的值中導(dǎo)出的。在本公開的描述中，時間id (temporal id)、時間_id(temporal_id)和時間標(biāo)識應(yīng)被解釋為是相同的。
[0020]位流中的每個經(jīng)編碼圖像對應(yīng)于包括一個或多個NAL單元的訪問單元。至少一個NAL單元可對應(yīng)于經(jīng)編碼圖像的分片(或經(jīng)編碼分片)。每個NAL單元包括包含NAL單元類型的頭部。多個NAL單元類型可分別對應(yīng)于不同的分片類型。一些NAL單元類型可對應(yīng)于不同于編碼分片的信息。經(jīng)編碼圖像可包括一個或多個經(jīng)編碼分片。當(dāng)經(jīng)編碼分片對應(yīng)于完全圖像分辨率時，對應(yīng)于經(jīng)編碼圖像的訪問單元可只包含一個經(jīng)編碼分片。
[0021]RAP圖像是內(nèi)部經(jīng)編碼圖像(即，只包括經(jīng)編碼的內(nèi)部分片)。多個單元類型分別對應(yīng)于多個類型的RAP圖像。一些內(nèi)部圖像可能不是RAP圖像。開始CVS的RAP圖像的NAL單元類型標(biāo)識對應(yīng)于該RAP圖像的RAP圖像的類型。
[0022]NAL單元頭部可包括對應(yīng)于“nuh_temporal_id_plus I (nuh時間id加I) ”的數(shù)據(jù)字段。nuh_temporal_id_plus I的值減I可指定對應(yīng)于NAL單元的時間標(biāo)識符。因此，變量“Temporalld” 可被被指定為:TemporalId = nuh_temporal_id_plus 1-1 ο
[0023]位流包括一個或多個連續(xù)的CVS。CVS中的每個AU對應(yīng)于相應(yīng)的經(jīng)編碼圖像。CVS中的每個AU具有一個或多個NAL單元。一些NAL單元對應(yīng)于經(jīng)編碼分片數(shù)據(jù)，而其他NAL單元不對應(yīng)于經(jīng)編碼分片數(shù)據(jù)，而是可對應(yīng)于例如參數(shù)集。對應(yīng)于經(jīng)編碼分片數(shù)據(jù)的NAL單元被稱為視頻編碼層(VCL)NAL單元，而其他NAL單元被稱為非VCL NAL單元。
[0024]NAL單元可相應(yīng)地對應(yīng)于其凈負(fù)荷中的某種類型的信息，并且標(biāo)識NAL單元的頭部中的這樣的信息，以使得該凈負(fù)荷是可識別的。AU的時間id可被稱為對應(yīng)于該圖像的時間id。圖像可認(rèn)為屬于與從NAL單元頭部中提供的數(shù)據(jù)字段值中導(dǎo)出的相應(yīng)的時間id值相對應(yīng)的子層，其中該數(shù)據(jù)字段對應(yīng)于時間id信息。
[0025]在本公開的一些實施例中，攜帶第一標(biāo)志的參數(shù)集是序列參數(shù)集(SPS)。通過提供在對應(yīng)于每個CVS的SPS的相應(yīng)數(shù)據(jù)字段中的第一標(biāo)志的值來將第一標(biāo)志提供給位流中的每個CVS。當(dāng)?shù)谝粯?biāo)志等于SPS中的第一值時，使用(或參考)該SPS的CVS的所有子層具有共同的子層參數(shù)集。當(dāng)?shù)谝粯?biāo)志等于SPS中的第二值(所述第二值與第一值不同)時，使用(或參考)該SPS的CVS的每個子層具有各自的子層參數(shù)集。
[0026]在替代實施例中，當(dāng)SPS中提供的第一標(biāo)志等于第一值時，只有一個子層參數(shù)集被提供于SPS中。此外，當(dāng)SPS中提供的第一標(biāo)志不等于第一值時，一個或多個子層參數(shù)集被提供于SPS中。在后者的情況下，SPS中提供的一個或多個子層參數(shù)集中的每一個對應(yīng)于各自的子層，每個子層由各自相應(yīng)的時間id來標(biāo)識。
[0027]每個時間id對應(yīng)于CVS中各自的子層。在一些實施例中，每個相應(yīng)的時間id或時間層可對應(yīng)于CVS中相應(yīng)的子層或時間子層。每個連續(xù)的時間id值對應(yīng)于具有相同時間id值的連續(xù)的時間子層。
[0028]對應(yīng)于參考圖像的時間id值