本發(fā)明涉及用于指示壓縮視頻比特流中的比特流子集的方法和設備,以及用于從壓縮視頻比特流中提取視頻分組的方法和設備。本發(fā)明還涉及計算機程序和計算機程序產品。
背景技術:H.264,也稱為MPEG-4/高級視頻編碼(AVC),是當前現(xiàn)有視頻編碼標準。它是一種混合編解碼器,利用消除每個視頻幀內以及幀間的冗余的優(yōu)點。編碼過程的輸出是視頻編碼層(VCL)數(shù)據(jù),VCL數(shù)據(jù)被進一步封裝入網(wǎng)絡抽象層(NAL)單元,然后進行傳輸和存儲。除了視頻數(shù)據(jù)之外,NAL單元中可以承載的其他數(shù)據(jù)包括參數(shù)集,如序列參數(shù)集(SPS)和畫面參數(shù)集(PPS),承載解碼VCL數(shù)據(jù)所必需的數(shù)據(jù),如視頻分辨率或所需解碼器能力);或補充增強信息(SEI),承載可用于解碼器或網(wǎng)絡單元但不是解碼VCL數(shù)據(jù)所必需的信息。NAL被設計為針對多種系統(tǒng)實現(xiàn)VCL的簡單、有效和靈活的使用,以傳輸和存儲視頻數(shù)據(jù),如通過實時傳輸協(xié)議(RTP)或超文本傳輸協(xié)議(HTTP)的傳輸或在ISO文件格式中的存儲。NAL單元概念要提供針對網(wǎng)絡(即傳輸和存儲系統(tǒng))的手段,以通過將比特流分為邏輯單元來訪問、組合和操縱壓縮比特流。例如,與一個壓縮畫面相對應的單元增加有高級信息,向網(wǎng)絡指示是否可以使用編碼畫面作為隨機訪問點來開始解碼壓縮視頻。NAL是H.264/AVC視頻的最小功能單元。NAL單元可以再分為NAL單元首部和NAL單元凈荷。NAL單元首部由網(wǎng)絡可以用于管理壓縮比特流的標識符的集合組成。例如,為了在有限帶寬情況下降低視頻的傳輸比特率,可以基于NAL單元首部中承載的信息,丟棄一些NAL單元,以最小化丟棄視頻數(shù)據(jù)所導致的質量退化。該過程表示為“比特流稀釋”。盡管傳統(tǒng)視頻服務以單一表示來提供視頻,即使用固定攝像機位置和空間分辨率,但是多分辨率和多視圖視頻表示近來已經(jīng)變得重要。多分辨率表示以多個不同空間分辨率來表示視頻,以服務具有不同顯示分辨率的目標設備。多視圖表示表示來自不同攝像機視角的內容,一種特定情況是立體視頻情況,其中利用類似于人眼的具有一定距離的兩個攝像機來捕捉場景。使用合適的顯示技術,可以向觀看者提供深度的感知。多分辨率和多視圖視頻表示通常稱為層級或分層表示,其中基本層表示視頻的基本質量,連續(xù)增強層將表示向更高質量修正??煽s放視頻編碼(SVC)和多視圖視頻編碼(MVC)分別是可以用于壓縮多分辨率和多視圖視頻表示的視頻編碼標準,其中,通過消除不同層之間的冗余信息來實現(xiàn)高壓縮效率。SVC和MVC基于AVC標準,并包括在AVC的較晚版本中作為附錄G和H,因此共享大多數(shù)AVC結構。SVC和MVC比特流固有的層級依賴性需要NAL單元首部中的附加信息字段,如解碼依賴性和視圖標識符。然而,為了保持與現(xiàn)有AVC實現(xiàn)的兼容性,基本AVCNAL單元首部未改變。而是通過引入兩種新類型的NAL單元,即前綴NAL單元(類型14)和編碼片擴展NAL單元(類型20),來并入額外信息,如依賴性和視圖標識符,兩種新類型的NAL單元在AVC中定義為“未使用”從而被不支持規(guī)范的附錄G或H的AVC解碼器所忽略。前綴NAL單元可以與VCLAVCNAL單元相關聯(lián),VCLAVCNAL單元應在比特流中緊隨前綴NAL單元之后,傳遞與基本層相關的附加信息。AVC解碼器將忽略前綴NAL單元,從而可以解碼基本層。編碼片擴展NAL單元僅用于SVC或MVC增強層。它表示與基本層或其他增強層相關的增強信息。除了如前綴NAL單元中傳遞依賴性和視圖標識符之外,編碼片擴展NAL單元由SVC或MVCNAL單元首部以及對應的VCL數(shù)據(jù)組成。因此,它是前綴NAL單元和VCLAVCNAL單元的組合。SVC和MVC增強層NAL單元將被AVC解碼器所忽略。以類似方式定義AVC的SVC和MVC擴展。它們的使用是互斥的,即標準中定義的語法和語義部分沖突,并且不允許同時使用SVC和MVC元素。將來自SVC和MVC的特征組合將需要改變標準,尤其是NAL單元首部的定義。HEVC是當前正在標準化中的下一代視頻編碼標準。HEVC旨在與AVC相比實質上改進編碼,尤其是對于高分辨率視頻序列。在高級語法設計方面,最直接的方法是采用AVC高級語法的概念,具體為AVCNAL單元概念。然而,這可能具有以下問題。根據(jù)現(xiàn)有技術,SVC和MVC是以后向兼容方式根據(jù)AVC構建的。新的NAL單元類型20是利用可以用于任何增強層的首部擴展來設計的。為了解決傳統(tǒng)AVC解碼器問題,保持原NAL單元(類型1、類型5和其他類型),并且針對每個普通AVCVCLNAL單元(類型1和類型5)使用前綴NAL單元關聯(lián)方法。盡管該方法可以原則上用于HEVC及其后續(xù)擴展,但是其具有與其相關聯(lián)的以下問題。-引入新特征或功能需要定義新的NAL單元類型,例如編碼片擴展NAL單元。這可能是不利的,因為NAL單元類型的最大數(shù)目典型是受限的,例如受限于NAL單元類型字段的定義長度。-為了考慮傳統(tǒng)解碼器,必須利用具有前綴NAL單元的傳統(tǒng)NAL單元來創(chuàng)建基本層,這導致應當設計第二新NAL單元類型,從而進一步增加NAL單元類型的數(shù)目。-基本層和增強層的信令不統(tǒng)一,需要針對每個層通過網(wǎng)絡進行特殊處理,導致復雜實現(xiàn)。使用前綴NAL單元是不自然的,僅提供了必要的首部信息與對應的VCL數(shù)據(jù)之間的較弱聯(lián)系。如果例如NAL單元之一在傳輸中丟失,則該聯(lián)系容易破壞。-在將來擴展的情況下,前綴NAL單元的嵌套復雜。-通過附加NAL單元首部來擴展高級接口,每次擴展NAL單元首部時,要基于NAL單元首部中傳遞的信息來處理NAL單元的網(wǎng)絡功能必須更新。與當前現(xiàn)有AVC概念相關聯(lián)的其他問題涉及分層表示。當前在SVC和MVC中,與層屬性相關的所有標記,如view_id、dependency_id和quality_id僅僅被放入NAL單元首部,而沒有任何智能選擇或分類。這需要接收比特流的客戶端具有關于標記定義的詳細知識,例如,如果客戶端想要刪減或操縱比特流?;旧?,客戶端需要完全理解每個標記的含義以及其如何相關??赡苋菀撞扇″e誤的動作,例如當需要從多視圖比特流中提取一個視圖時,如果其所依賴的視圖未被包括,或者在客戶端僅考慮view_id標記的情況下選擇低質量版本。即使具有來自SEI元素的某種輔助,仍可能出現(xiàn)以下情況:網(wǎng)絡要找到并理解從分層比特流中提取特定視頻表示所需的所有必要信息是非常復雜的。此外,隨著越來越多應用和標準覆蓋3D,新的數(shù)據(jù)元素,如深度圖和遮擋圖,將與紋理一起傳輸,允許在接收端更靈活地呈現(xiàn)輸出視圖。由于這些元素與(多視圖或可縮放)“紋理”視頻一起形成分層表示,可能期望在相同比特流中傳輸全部。可以備選地通過更高系統(tǒng)級的信令來實現(xiàn)這種不同數(shù)據(jù)元素的捆綁,如傳輸協(xié)議或文件格式。然而,由于這種高級協(xié)議的軟件和硬件實現(xiàn)通常與視頻解壓縮的實現(xiàn)分離,如果在比特流級不支持,則不同數(shù)據(jù)元素的精確時間同步(如紋理與深度的同步)可能非常復雜。注意,不同視頻數(shù)據(jù)元素(如紋理和深度)的同步必須比視頻和音頻的同步更嚴密得多,因為不同視頻元素必須幀對齊。此外,視頻元素(如紋理和深度)可能一起壓縮,例如通過重用其間的運動信息(“運動向量”),這需要比特流級的嚴密耦合。HEVC開發(fā)的初始焦點在于單視頻。然而,向可縮放編碼和/或多視圖編碼的后續(xù)擴展是可能的。還可能使用類似于AVC中的NAL單元概念的分組化概念。因此,以下盡管所提出的方法主要適用于如HEVC的未來視頻編碼標準,但是在與AVC中定義的相同意義上使用術語“NAL”單元。此外,如SPS、PPS和SEI的其他AVC概念預期要用于HEVC,因此以下使用其AVC術語,盡管在HEVC或任何其他未來視頻編碼標準中它們可能有不同名稱。
技術實現(xiàn)要素:本發(fā)明的目的是提供上述技術和現(xiàn)有技術的改進備選。更具體地,本發(fā)明的目的是提供一種針對未來視頻編碼標準的改進通用語法,便于分層視頻表示。這些和其他目的是通過獨立權利要求定義的本發(fā)明的不同方面來實現(xiàn)的。從屬權利要求中表征了本發(fā)明的實施例。為了描述本發(fā)明,假定視頻信號編碼為壓縮視頻比特流,通過網(wǎng)絡(例如局域網(wǎng)、移動電話網(wǎng)絡或因特網(wǎng))傳輸,并在客戶端(例如電視機、計算機、視頻播放器或移動電話)處解碼。網(wǎng)絡可以包括多個網(wǎng)絡單元,如路由器和交換機。根據(jù)本發(fā)明的第一方面,提供了一種指示壓縮視頻比特流中的比特流子集的方法。所述壓縮視頻比特流包括多個(即至少兩個)比特流子集。所述方法包括:接收壓縮視頻比特流;將視頻比特流劃分為視頻分組;以及利用多個子集標識符中的單一子集標識符來標記每個視頻分組。每個視頻分組包括視頻數(shù)據(jù)或補充信息中的任一個。所述多個子集標識符中每個子集標識符與所述多個比特流子集中的對應比特流子集相關聯(lián)。根據(jù)本發(fā)明的第二方面,提供了一種計算機程序。所述計算機程序包括計算機程序代碼。所述計算機程序代碼適于被執(zhí)行以實現(xiàn)根據(jù)本發(fā)明第一方面的方法。根據(jù)本發(fā)明的第三方面,提供了一種計算機程序產品。所述計算機程序產品包括計算機可讀介質。所述計算機可讀介質中實現(xiàn)有根據(jù)本發(fā)明第二方面的計算機程序。根據(jù)本發(fā)明的第四方面,提供了一種從壓縮視頻比特流中提取視頻分組的方法。所述壓縮視頻比特流被劃分為視頻分組。所述壓縮視頻比特流包括多個比特流子集。每個視頻分組包括視頻數(shù)據(jù)或補充信息中的任一個。每個視頻分組還包括多個子集標識符中的單一子集標識符。每個子集標識符與所述多個比特流子集中的對應比特流子集相關聯(lián)。所述方法包括:提供至少一個相關子集標識符;以及從壓縮視頻比特流接收視頻分組。所述方法還包括:針對每個接收的視頻分組,檢查視頻分組的子集標識符;以及從壓縮視頻比特流中提取視頻分組。所述視頻分組是在所提取的子集標識符與所述至少一個相關子集標識符之一匹配的條件下從壓縮視頻比特流中提取的。根據(jù)本發(fā)明的第五方面,提供了另一種計算機程序。所述計算機程序包括計算機程序代碼。所述計算機程序代碼適于被執(zhí)行以實現(xiàn)根據(jù)本發(fā)明第四方面的方法。根據(jù)本發(fā)明的第六方面,提供了一種計算機程序產品。所述計算機程序產品包括計算機可讀介質。所述計算機可讀介質中實現(xiàn)有根據(jù)本發(fā)明第五方面的計算機程序。根據(jù)本發(fā)明的第七方面,提供了一種指示壓縮視頻比特流中的比特流子集的比特流標記器。所述壓縮視頻比特流包括多個比特流子集。所述比特流標記器包括:接收單元;分組化單元;以及標記單元。接收單元被配置為接收壓縮視頻比特流。分組化單元被配置為將壓縮視頻比特流劃分為視頻分組。每個視頻分組包括視頻數(shù)據(jù)或補充信息中的任一個。標記單元被配置為利用多個子集標識符中的單一子集標識符來標記每個視頻分組。每個子集標識符與所述多個比特流子集中的對應比特流子集相關聯(lián)。根據(jù)本發(fā)明的第八方面,提供了一種從壓縮視頻比特流中提取視頻分組的比特流提取器。所述壓縮視頻比特流被劃分為視頻分組。所述壓縮視頻比特流包括多個比特流子集。每個視頻分組包括視頻數(shù)據(jù)或補充信息中的任一個。每個視頻分組還包括多個子集標識符中的單一子集標識符。每個子集標識符與所述多個比特流子集中的對應比特流子集相關聯(lián)。所述比特流提取器包括:子集選擇單元;接收單元;以及提取單元。子集選擇單元被配置為提供至少一個相關子集標識符。接收單元被配置為從壓縮視頻比特流接收視頻分組。提取單元被配置為:針對每個接收的視頻分組,檢查視頻分組的子集標識符,并從壓縮視頻比特流中提取視頻分組。所述視頻分組是在所提取的子集標識符與所述至少一個相關子集標識符之一匹配的條件下從壓縮視頻比特流中提取的。本發(fā)明利用以下理解:可以推廣現(xiàn)有視頻編碼標準的分層比特流概念,以允許標識不同比特流子集,其中每個比特流子集表示具有與其相關聯(lián)的特定屬性的層。例如,每個比特流子集可以表示承載視頻數(shù)據(jù)的VCL層(如紋理基本視圖層、深度圖高質量層、時間遮擋圖層)或承載非視頻數(shù)據(jù)(即補充信息,例如參數(shù)集)的非VCL層。這是通過將每一層(即比特流子集)與流標識符(stream_id)相關聯(lián)來實現(xiàn)的,流標識符繼而與描述層的屬性的參數(shù)(如特定視圖標識符(view_id)、依賴性標識符(dependency_id)等等)相關聯(lián)。stream_id在NAL單元首部中信號通知。通過將特定層的所有不同屬性合成為單一標識符(stream_id),簡化了在網(wǎng)絡中以及在客戶端側解釋和標識視頻分組的過程。所建議的語法允許針對網(wǎng)絡友好的高級視頻比特流信令的干凈和可擴展的系統(tǒng)設計,尤其適于分層表示從而與未來視頻編解碼器和應用兼容。根據(jù)本發(fā)明實施例的視頻比特流信令有利在于:減輕了現(xiàn)有視頻編碼標準(尤其是上述AVCNAL單元概念)固有的問題。更具體地,新功能確實不需要定義新NAL單元類型或更新NAL單元首部語法。由于將層的屬性濃縮為單一stream_id,處理視頻比特流的網(wǎng)絡單元和客戶端不需要具有在NAL單元首部中使用的所有信息單元(即標識符、指示符、參數(shù)或標記)的詳細知識。而是有相關stream_id的知識就足矣。最終,分層視頻比特流的信令,即復用為一個壓縮視頻比特流的多個比特流子集,有利在于:與依靠高級信令的方案相比,更容易實現(xiàn)精確的時間同步。此外,視頻表示的相關層之間的冗余可以用于壓縮視頻信號。盡管已經(jīng)指出利用單一子集標識符來標記壓縮視頻比特流中的每個視頻分組,但是可以想到本發(fā)明的以下實施例:僅利用單一子集標識符來標記壓縮視頻比特流中包括的所有視頻分組的子集。根據(jù)本發(fā)明的實施例,所述方法還包括:提供至少一個子集定義。每個子集定義描述所述多個比特流子集中的對應比特流子集的屬性。利用子集定義來定義相關聯(lián)比特流子集的屬性有利在于:可以顯式地向網(wǎng)絡單元和客戶端提供對應視頻層的屬性。根據(jù)本發(fā)明的實施例,所述至少一個子集定義是作為壓縮視頻比特流中的視頻分組來提供的。視頻分組可以承載多個子集定義,每個子集定義對應于不同的比特流子集。包括一個或多個子集定義的視頻分組可以承載在參數(shù)流集合(StPS)中。這有利在于,可以將描述其相關聯(lián)比特流子集的屬性(即視頻或參數(shù)層)的子集定義與視頻信號一起提供給網(wǎng)絡單元和客戶端。每個子集定義包括與以下至少一項相關的信息:temporal_id、view_id、quality_id、priority_id、或子集中承載的數(shù)據(jù)的類型。還可以認識到,一個或多個比特流子集可以預留用于信號通知子集定義或其他參數(shù)。這種預留的比特流子集可以與網(wǎng)絡單元和客戶端已知的預定義stream_id(例如stream_id=0)相關聯(lián)。根據(jù)本發(fā)明的實施例,所述多個子集標識符中的每個子集標識符是數(shù)值。每個子集標識符的值對應于其相關聯(lián)比特流子集的相對優(yōu)先級。換言之,每個比特流子集的子集標識符stream_id指示特定比特流子集承載的視頻數(shù)據(jù)的重要性。使用這種信息,需要丟棄分組(例如由于有限帶寬)的網(wǎng)絡單元或客戶端可以丟棄具有高stream_id(指示低相關度)的分組,并保持具有低stream_id(指示高相關度)的分組。根據(jù)本發(fā)明的實施例,所述方法還包括:提供至少一個視頻表示定義。每個視頻表示定義包括至少一個相關子集標識符。與所述至少一個相關子集標識符相關聯(lián)的比特流子集形成可解碼視頻表示。換言之,每個視頻表示組合多個stream_id及其相關聯(lián)比特流子集以形成可解碼視頻。這不同于標識可能不能獨立解碼的單一比特流子集的子集定義。視頻表示可以例如包括所有紋理信息,或針對基本視圖的紋理和深度圖信息。這有利在于:可以向網(wǎng)絡單元或客戶端提供關于要處理哪些比特流子集的信息,以成功解碼特定視頻表示。根據(jù)本發(fā)明的實施例,所述至少一個視頻表示定義是作為壓縮視頻比特流中的視頻分組提供的。這有利在于:與視頻表示相關的信息,即需要處理以形成可解碼視頻的stream_id的列表,可以與視頻數(shù)據(jù)一起信號通知,即復用。視頻分組可以承載多個視頻表示定義,每個視頻表示定義與具有特定特性(即屬性)的不同可解碼視頻表示相對應。包括一個或多個視頻表示定義的視頻分組可以在預留用于該目的的比特流子集(稱為表示參數(shù)集(RPS))中承載。RPS可以與預定義stream_id(例如stream_id=0)相關聯(lián)。還可以認識到,視頻表示可以與指示視頻表示的相對優(yōu)先級的數(shù)值相關聯(lián)。根據(jù)本發(fā)明的實施例,所述方法還包括:針對每個接收的視頻分組,轉發(fā)或解碼所提取的視頻分組,或丟棄接收的視頻分組。在所提取的子集標識符與所述至少一個相關子集標識符中的任一個均不匹配的條件下丟棄接收的視頻分組。換言之,如果與接收的視頻分組相關聯(lián)的stream_id匹配相關stream_id的列表,則處理(即轉發(fā)或解碼)接收的視頻分組;否則丟棄接收的視頻分組。這有利在于:網(wǎng)絡單元或客戶端可以根據(jù)接收的視頻分組是否相關來處理接收的視頻分組。例如,客戶端可以被配置為僅處理特定比特流子集,例如一起形成可解碼視頻(即視頻表示)的一組子集。此外,網(wǎng)絡單元可以被配置為丟棄被認為相對不相關的比特流子集,例如在有限帶寬情況下丟棄高質量增強層。根據(jù)本發(fā)明的實施例,所述方法還包括:提供子集定義。子集定義描述所述多個比特流子集中對應的比特流子集的屬性。所述方法還包括:使用與對應比特流相關聯(lián)的子集標識符作為所述至少一個相關子集標識符。使用子集定義中包括的stream_id有利在于:允許網(wǎng)絡單元和客戶端選擇視頻分組以根據(jù)子集定義所指定的進行處理。根據(jù)本發(fā)明的實施例,所述方法還包括:從多個子集定義中選擇子集定義。子集定義是根據(jù)對應比特流子集的至少一個屬性來選擇的。這有利在于:如果提供多個子集定義,則網(wǎng)絡單元或客戶端可以選擇具有特定屬性的比特流子集進行處理。例如,客戶端可以選擇包括特定指示符(例如特定temporal_id、view_id、quality_id、priority_id或指示子集中承載的特定數(shù)據(jù)類型)的子集定義。根據(jù)本發(fā)明的實施例,所述方法還包括:從壓縮視頻比特流中的視頻分組接收子集定義。這有利在于:網(wǎng)絡單元和客戶端可以將子集定義(描述其相關聯(lián)比特流子集的屬性,即視頻或參數(shù)層)與視頻數(shù)據(jù)一起接收。根據(jù)本發(fā)明的實施例,所述方法還包括:從壓縮視頻比特流中的視頻分組接收視頻表示定義。這有利在于:可以將與視頻表示相關的信息(即需要處理以形成可解碼視頻的多個stream_id)與視頻數(shù)據(jù)一起接收。盡管已經(jīng)參照根據(jù)本發(fā)明第一和第四方面的方法的實施例描述了一些情況下本發(fā)明的優(yōu)點,對應理由適用于根據(jù)本發(fā)明第二和第五方面的計算機程序、根據(jù)本發(fā)明第三和第六方面的計算機程序產品、以及根據(jù)本發(fā)明第七和第八方面的設備的實施例。在研究以下具體公開、附圖和所附權利要求時,本發(fā)明的其他目的、特征和優(yōu)點將變得顯而易見。本領域技術人員認識到,可以將本發(fā)明的不同特征組合以創(chuàng)建不同于以下所描述的實施例。附圖說明參照附圖,通過以下對本發(fā)明實施例的示意性和非限制性的具體描述,將更好地理解本發(fā)明的上述以及附加目的、特征和優(yōu)點,附圖中:圖1示出了用于編碼、傳輸和解碼視頻信號的系統(tǒng)。圖2示意了根據(jù)本發(fā)明實施例的比特流子集、子集定義和視頻表示定義的概念。圖3示意了根據(jù)本發(fā)明實施例提出的語法。圖4示出了根據(jù)本發(fā)明實施例的指示壓縮視頻比特流中的比特流子集的方法。圖5示出了根據(jù)本發(fā)明實施例的從壓縮視頻比特流中提取視頻分組的方法。圖6示出了根據(jù)本發(fā)明實施例的比特流標記器。圖7示出了根據(jù)本發(fā)明實施例的比特流提取器。圖8示出了根據(jù)本發(fā)明實施例的執(zhí)行計算機程序代碼的視頻處理設備。所有附圖是示意性的,不一定按比例,一般僅示出說明本發(fā)明所必需的部分,其中,可以省略或僅僅提出其他部分。具體實施方式為了說明本發(fā)明,圖1中示出了用于編碼、傳輸和解碼視頻信號的系統(tǒng)100。系統(tǒng)100包括:視頻編碼設備110、傳輸網(wǎng)絡120、以及視頻解碼設備130。典型地,視頻編碼設備110從一個或多個源接收視頻信號,并被配置為壓縮視頻信號以及將得到的比特流再分為視頻分組,例如NAL單元。然后,得到的視頻分組通過傳輸網(wǎng)絡120傳輸至解碼設備130。傳輸網(wǎng)絡120典型地包括多個互連節(jié)點(即網(wǎng)絡單元)121-123,被配置為將視頻分組從編碼設備110傳輸至解碼設備130。網(wǎng)絡單元121-123可以是例如交換機、路由器或適于處理視頻分組的任何其他類型的網(wǎng)絡節(jié)點。傳輸網(wǎng)絡120可以例如是局域網(wǎng)、移動電話網(wǎng)絡或因特網(wǎng)。解碼設備130被配置為從傳輸網(wǎng)絡120接收視頻分組,并對接收的壓縮視頻比特流進行解碼。此外,解碼設備130可以被配置為向觀看者顯示解碼視頻。解碼設備130可以例如是視頻播放器、電視機、計算機或移動電話。以下參照圖2來描述本發(fā)明的實施例,圖2示意了流標識符、子集定義以及視頻表示的概念。在圖2中,示出了壓縮視頻比特流210的一部分。該部分包括6個視頻分組,即NAL單元211-216,其中每個可以包括視頻數(shù)據(jù)或補充信息,如參數(shù)。此外,每個NAL單元211-216包括標記stream_id,用于將每個NAL單元211-216與壓縮視頻比特流的對應比特流子集相關聯(lián)。例如,對于圖2中示例的壓縮視頻比特流210,NAL單元211、213和216標記有stream_id=0,即其與第一比特流子集相關聯(lián)。此外,NAL單元212和214標記有stream_id=1,即其與不同于第一比特流子集的第二比特流子集相關聯(lián)。最后,NAL單元215標記有stream_id=2,即其與不同于第一和第二比特流子集的第三比特流子集相關聯(lián)。通過壓縮視頻比特流中承載的每個NAL單元中包括的標識符stream_id,針對每個NAL單元指示該NAL單元所屬的比特流子集。由于壓縮視頻比特流中承載的每個比特流子集表示壓縮視頻信號的特定層,例如紋理基本視圖層、深度圖高質量層、參數(shù)集層、時間層、遮擋圖層或任何其他類型的視頻或補充層,每個NAL單元與對應層相關聯(lián)。按照這種方式,與特定層相關聯(lián)的所有參數(shù),例如描述層表示哪個視圖、層包含哪個視頻質量或層間的依賴性的參數(shù),被濃縮入單一流標識符stream_id。使用單一標識符來描述參數(shù)集合引入了一定程度的間接性,允許NAL單元傳輸通過的網(wǎng)絡單元或解碼NAL單元的客戶端對NAL單元進行簡化處理。每層(即比特流子集)的屬性可以是預定義的并對視頻信號的編碼、傳輸、解碼中涉及的所有實體是已知的。例如,參照圖1,解碼設備130可以被配置為僅解碼屬于通過傳輸網(wǎng)絡120從編碼設備110接收的一個或幾個不同比特流子集(或層)的視頻分組。例如,以下將是這種情況:stream_id=0是基本層,而stream_id=1和stream_id=2是用于提供改進視頻質量的增強層,并且解碼設備130只能顯示低質量視頻信號。此外,網(wǎng)絡單元121-123可以被配置為,如果可用帶寬有限,則僅轉發(fā)屬于3個比特流子集中的一個或兩個的視頻分組。進一步參照圖2,描述多層視頻比特流中包括的視頻層的改進處理。根據(jù)本發(fā)明的實施例,每層(即比特流子集)的屬性通過子集定義221-223提供給視頻信號的編碼、傳輸和解碼中涉及的實體。對于每一層,提供對應的子集定義221-223,子集定義包括描述層的屬性的信息(即參數(shù))。例如,子集定義221描述第一比特流子集的屬性,如stream_id=0所指示。對應地,子集定義222描述第二比特流子集的屬性,即stream_id=1;子集定義223描述第三比特流子集的屬性,即stream_id=2。每個子集定義221-223中包括的參數(shù),即texture_flag、depth_flag、occlusion_flag和view_id,指示比特流子集是否是紋理層、深度圖層、被遮擋紋理層以及其屬于哪個視圖。對于圖2中示例的子集定義221-223,所有層屬于相同視圖,具有view_id=0。子集定義221描述的第一層包含視圖的紋理,子集定義222描述的第二層包含視圖的深度圖;子集定義223描述的第三層包含視圖的被遮擋紋理。進一步參照圖2,描述根據(jù)本發(fā)明實施例的視頻表示的概念。視頻表示用于將一個或多個層(即比特流子集)組合在一起以形成可解碼視頻。這種組合機制可以用于向處理壓縮視頻比特流中涉及的網(wǎng)絡單元和客戶端提供關于比特流子集的信息。這是通過向網(wǎng)絡單元和客戶端提供視頻表示定義中包括的集成信息來實現(xiàn)的。為此,視頻表示可以例如包括比特流中的所有紋理信息,或針對基本視圖的紋理和深度圖信息。想要從壓縮視頻比特流中提取特定視頻表示(例如解碼視頻信號并向觀看者顯示視頻)的網(wǎng)絡單元或客戶端將標識相關視頻表示,并隨后提取作為該視頻表示的部分的所有比特流子集。根據(jù)本發(fā)明實施例的視頻表示(如圖2所示的視頻表示定義231-233)標記有視頻表示標識符representation_id,以便于網(wǎng)絡單元和客戶端標識視頻表示。此外,每個視頻表示包括指示能夠解碼視頻信號從而呈現(xiàn)有用視頻所需的比特流子集的stream_id的列表。例如,表示定義231定義的第一視頻表示標記有representation_id=0,并包括單一比特流子集標識符stream_id=0。因此,給定具有stream_id=0的比特流子集的定義221,第一表示是單2D視頻序列,即紋理信息的單一視圖。此外,表示定義232定義的第二視頻表示標記有representation_id=1,并包括兩個比特流子集標識符stream_id=0和stream_id=1的列表。因此,給定子集定義221和222,第二視頻表示允許呈現(xiàn)3D視頻序列,因為其還包括由具有stream_id=1的層承載的深度圖。然而,由于第二視頻表示不包含任何被遮擋紋理信息,所程序的3D視頻具有有限質量。這一問題是通過第三視頻表示來解決的。第三視頻表示允許呈現(xiàn)包括被遮擋紋理信息的3D視頻序列。為此,視頻表示定義233包括3個比特流子集標識符stream_id=0、stream_id=1和stream_id=2的列表??梢哉J識到,分層比特流、子集定義和視頻表示的概念不僅限于一個視圖,如上所述。而是子集定義可以例如用于描述表示具有不同攝像機角度的不同視圖(例如view_id=0和view_id=1)的層或承載不同視頻質量的視頻信號的層的屬性。視頻表示的概念允許處理視頻比特流中涉及的網(wǎng)絡單元和客戶端對多層視頻比特流的簡化處理。想要轉發(fā)特定視頻表示的網(wǎng)絡單元或想要解碼特定視頻表示的客戶端可以簡單地標識對應的表示定義,從表示定義中讀取所需比特流子集標識符的列表,并從壓縮視頻比特流中提取屬于所需比特流子集的視頻分組。與標識比特流子集的已知方法(如使用多個標識符(例如temporal_id、priority_id、quality_id、dependency_id等等)的SVCNAL單元首部擴展)相比,所提出的方法僅使用單一標識符,從而允許硬件和軟件的更簡單實現(xiàn)。具體地,單一標識符stream_id不具有任何預定義含義(不同于例如dependency_id),但是其含義是通過輔助手段(例如子集定義)來指示的。由于這種間接性,如果在后續(xù)階段引入新的功能,則所提出的概念容易擴展,因為可以在子集定義中信號通知與這種功能相關的信息,而無需改變NAL單元首部。具體地,根據(jù)本發(fā)明實施例的NAL單元首部具有固定長度,無論是否使用擴展,這使得對NAL單元首部的解析比已知方案更簡單得多。參照圖3,以下闡述本發(fā)明的實施例的更詳細描述,尤其與所提出的語法相關。子集標識符stream_id在NAL單元首部中承載。NAL單元首部可以或者可以不包含其他標識符(如NAL單元類型、output_flag或其他)。NAL單元首部310的示例在圖3中示意,其中,forbidden_zero_bit應等于0,nal_unit_type指定NAL單元中包含的類型數(shù)據(jù),output_flag信號通知當前NAL單元的解碼內容是否預期用于屏幕輸出。通過利用相同stream_id來標記不同NAL單元,它們被標記為屬于相同比特流子集,即相同層。典型地,屬于相同比特流子集的所有NAL單元共享一個或多個特定屬性,例如:-子集中的所有NAL單元是參數(shù)集;-子集中的所有NAL單元是幀內編碼畫面;-子集中的所有NAL單元指示所謂“封閉畫面組(GOP)”隨機接入點的開始(AVC中的即時解碼器刷新(IDR)畫面);-子集中的所有NAL單元指示所謂“開放GOP”隨機接入點的開始(允許開始解碼的幀內畫面)-子集中的所有NAL單元承載表示基本質量的視頻幀;-子集中的所有NAL單元承載時間細化信息;-子集中的所有NAL單元承載空間細化信息(在空間可縮放性情況下);-子集中的所有NAL單元承載與多視圖編碼中的特定攝像機視圖相對應的信息;或-子集中的所有NAL單元承載與特定視頻流或例如深度圖流相關的信息。注意,對于給定子集,多個這些屬性可以同時有效。一些子集的屬性以及相關聯(lián)stream_id可以是預定義的。例如,stream_id=0可以指示僅包含承載參數(shù)集(SPS、PPS、StPS或RPS)的NAL單元的子集。備選地,SPS、PPS、StPS和PPS可以具有預定義但是不同的stream_id??梢酝ㄟ^子集定義顯式提供與子集的屬性相關的信息。子集定義可以例如包括如temproal_id、quality_id之類的參數(shù)。圖3中示出了示例子集定義320。根據(jù)本發(fā)明實施例的子集定義(如子集定義320)的語法可以包括依賴于例如NAL單元類型或其他屬性的條件字段。子集定義320示例了僅當引用的NAL單元包含VCL數(shù)據(jù)而不包含非VCL數(shù)據(jù)時可以使用的語法元素(注意,在本公開中,該示例中的NAL單元類型是根據(jù)AVC規(guī)范)。在子集定義320中,stream_id標識作為比特流的子集的分層流,stream_type描述所指定的流的類型,version_id指定描述流所根據(jù)的規(guī)范的版本。標記view_id、temporal_id、quality_id和dependency_id中的每一個標識對應層的屬性。更具體地,view_id指示攝像機視圖,temporal_id指示時間細化層(例如在30Hz幀率基礎上的60Hz細化),quality_id指示壓縮視頻的信號保真度,dependency_id指示空間可縮放性情況下的空間細化層。子集定義本身可以在比特流中承載,例如以專用NAL單元的形式,即StPS。這種專用NAL單元可以由專用NAL單元類型指示。它還可以是專用子集(由承載參數(shù)集的的NAL單元的NAL單元首部中的特定stream_id所指示的參數(shù)集的比特流子集)的一部分。承載這些流參數(shù)集NAL單元的子集可以具有預定義stream_id,如stream_id=0。StPS可以包括與時間增強(temporal_id)、質量增強(quality_id)、空間增強(dependency_id)、優(yōu)先級(priority_id)或如在用于SVC和MVC的NAL單元擴展首部中承載的任何信令相關的參數(shù)。它還可以包含與相關聯(lián)NAL單元中承載的數(shù)據(jù)類型相關的信息,即其是否包含參數(shù)集、SEI消息、幀內畫面、錨畫面等等。它還可以承載與壓縮數(shù)據(jù)所表示的內容相關的高級信息,例如相關聯(lián)NAL單元是否表示紋理數(shù)據(jù)、深度信息、遮擋信息等等。根據(jù)本發(fā)明實施例的流參數(shù)集語法(如圖3中示例的子集定義320)可以以可擴展方式定義。為此,它可以包括由規(guī)范的特定版本(例如版本N)所定義的語法元素。在規(guī)范的后續(xù)更新(例如版本N+1)中,可以包括附加語法元素。在這種情況下,符合規(guī)范的版本N的接收設備將只能解釋版本N語法元素,而符合版本N+1的接收設備將還能夠解釋附加語法元素。在這種情況下,StPS可以具有可變長度,并且如果需要,可以在規(guī)范的新版本中擴展。如果版本N接收設備接收包括符合版本N以及符合版本N+1的另外參數(shù)的版本N+1StPS,則其可以讀取版本N語法元素并忽略版本N+1語法元素。備選地,版本N接收設備可以在其發(fā)現(xiàn)其不能解釋的語法元素(由于其不符合版本N)時決定丟棄與該StPS相關聯(lián)的NAL單元。可以例如通過單獨的標記來信號通知設備行為,即是忽略未知語法或丟棄相關聯(lián)NAL單元。流參數(shù)集語法還可以包括版本標識符,以指示其符合的規(guī)范版本。例如,版本標識符可以表示為數(shù)值,其中增加的數(shù)值指示增加的版本號。如果版本N接收設備接收具有小于或等于N的版本號的StPS,則其能夠解釋語法。如果版本N接收設備接收具有大于N的版本號的StPS,則其不能解釋語法,至少不能解釋具有大于N的版本號的版本專有的部分。在該情況下,它可以丟棄與該StPS相關聯(lián)的NAL單元。備選地,它可以解碼與該StPS相關聯(lián)的NAL單元,而不解釋StPS本身。該行為可以通過附加標記來控制。如子集定義320中所指示的,可以通過參數(shù)stream_id來提供流參數(shù)集與子集中包括的NAL單元的關聯(lián),使得流參數(shù)集(即包括子集定義的NAL單元)以及相關聯(lián)NAL單元標記有相同的stream_id。備選地,StPS可以指示比特掩蔽字段,如M=“1111111100000000”(十進制65280)和值字段,例如V=“1010101000000000”(十進制43520),具有與如“stream_id&M=V”(其中“&”是按位“與”運算)的條件匹配的stream_id的所有NAL單元與StPS相關聯(lián)。將多個stream_id與相同StPS相關聯(lián)具有以下優(yōu)點:需要較少的StPS分組來承載與子集的屬性相關的參數(shù)。按照這種方式,對于與多個不同stream_id相對應的多個比特流子集有效的信息可以在單一StPS中承載。僅對于這些子集中的一個或一些有效的附加信息可以在單獨的StPS中承載。stream_id可以是數(shù)值,并且可以定義為使得具有較低stream_id的NAL單元承載較多重要數(shù)據(jù),如參數(shù)集或幀內幀,而具有較高stream_id的NAL單元承載較少重要數(shù)據(jù),如SEI或時間增強數(shù)據(jù)。使用這種優(yōu)先級信息,需要丟棄分組(例如由于帶寬限制)的網(wǎng)絡節(jié)點可以丟棄具有高stream_id值的分組,并保持具有低stream_id值的分組。與使用多個參數(shù)(如SVC和MVC中的temproal_id、dependency_id等等)相比,stream_id概念的優(yōu)點在于,在新編解碼器功能出現(xiàn)時,其不需要引入新字段,因為其使用一定程度的間接性。此外,如果stream_id表示其相關聯(lián)比特流子集的相對優(yōu)先級,則在一些情況下甚至不需要分析該指示,進一步簡化了NAL單元的解析和分派。通過在視頻表示中提供stream_id的列表,可以標識壓縮視頻比特流中可以獨立于比特流的其他部分來解碼的部分。相關聯(lián)比特流子集形成可解碼視頻,即不具有對表示之外的NAL單元的畫面間或視圖間依賴性。這不同于不能獨立解碼的單一stream_id標識的比特流子集,例如在其僅包含時間增強信息的情況下。視頻表示可以與特定屬性(如內容類型,例如紋理、深度或遮擋信息)相關聯(lián)。視頻表示的定義(即所需stream_id的列表)和表示的附加屬性可以在比特流中單獨的視頻分組(即RPS)中提供。存在至少兩種提供表示參數(shù)集的方式。一種是在一個NAL單元中提供剛好一個RPS。作為備選,根據(jù)本發(fā)明實施例,可以在單一NAL單元中提供多個RPS,如NAL單元330所示。在視頻表示定義330中,num_representations是該NAL單元中指定的表示的數(shù)目,representation_id標識視頻表示,representation_priority_id定義表示的優(yōu)先級,representation_type是視頻表示的類型。視頻表示的類型可以例如是以下任一:-僅具有紋理的單視場視頻,-僅具有紋理的立體視頻和立體應用,-具有紋理和深度信息的單視場視頻,可以使用視圖合成產生一些自動立體/立體效果,-具有紋理和深度信息的立體視頻,可以使用視圖合成來產生良好自動立體效果,-具有紋理、深度和去遮擋信息的單視場視頻,可以使用視圖合成來產生良好的自動立體/立體效果,以及-SPS和PPS,使用無損信道預先帶外傳輸至網(wǎng)絡單元和客戶端。還參照視頻表示定義330,num_streams信號通知該表示中包含的所需流的數(shù)目,每個stream_id指定所需流??蛇x地,承載RPS信息的NAL單元可以標記有預定義stream_id,例如stream_id=0。如表示定義330中指示的,RPS定義的屬性之一可以是優(yōu)先級指示符representation_priority_id,指示當前表示相對于其他視頻表示的優(yōu)先級值?;诒硎径xRPS和子集定義StPS,可以以簡單的方式應用動態(tài)流傳輸方法。例如,服務器可以提供具有分別由quality_id=0,1和2標識的3個比特流子集(即層)的視頻比特流。這些流被選擇性地組合為3具有低、中和高質量的3個視頻表示,其中低質量表示包含具有quality_id=0的子集,中質量表示包含具有quality_id=1和quality_id=2的兩個子集,第三表示包含所有3個子集??蛻舳丝梢蚤_始下載第一流(具有最低質量但是最小大小)以得到短緩沖時間。在播放視頻一段時間之后,如果客戶端檢測到網(wǎng)絡帶寬可用,則客戶端可以切換至中或高質量表示。當網(wǎng)絡中發(fā)生擁塞時,客戶端可以降級至較低質量等級。在子集定義中定義quality_id和其他參數(shù)便于選擇所需比特流子集。為此,可以簡單地利用關于stream_id的規(guī)則來指示客戶端,而無需如同SVCNAL單元首部的情況一樣解析和解釋多個標識符。注意,取代信號通知quality_id,可以備選地信號通知bandwidth_id,以指示所需比特率,因為帶寬典型地具有與質量的正相關。根據(jù)本發(fā)明實施例,網(wǎng)絡單元(如接收或轉發(fā)分組的視頻分組接收機或視頻分組轉發(fā)器)或接收和解碼視頻分組的解碼設備可以如下解釋stream_id。假定向網(wǎng)絡或解碼設備提供被認為與接收、轉發(fā)或解碼操作相關的stream_id的列表。在接收到視頻分組時,檢查stream_id。根據(jù)stream_id的值,接收/轉發(fā)/解碼(即從比特流中提取)視頻分組,或丟棄視頻分組。即,如果視頻分組中的stream_id與相關stream_id之一匹配,則進一步處理該分組。否則,丟棄該分組并且不進一步處理。相關stream_id的列表可以包含預定義stream_id。例如,它可以包含stream_id=0,stream_id=0指示相關聯(lián)比特流子集包含參數(shù)集。按照這種方式,接收/轉發(fā)/解碼設備將接收所有參數(shù)集。然后它可以例如解釋StPS或RPS中的一個或一些,并相應更新相關stream_id的列表。為此,接收設備可以接收所有StPS,并檢查StPS語法的特定屬性。如果檢測到具有給定屬性(例如視頻數(shù)據(jù)的類型(如紋理數(shù)據(jù)))的StPS,則從比特流中提取具有相關聯(lián)stream_id的視頻分組。如此,可以基于StPS中承載的參數(shù)(如temporal_id、view_id、quality_id、數(shù)據(jù)類型等等)來選擇StPS和相關聯(lián)stream_id。還可以基于相關聯(lián)StPS中承載的版本標識符來確定子集的相關性。如果接收設備符合StPS中指示的版本標識符,則其可以提取相關聯(lián)NAL單元。否則可以丟棄它們。還可以通過檢查被認為相關的表示定義來獲得相關流標識符的列表。在這種情況下,從表示定義中提取流標識符的列表,并用作相關流標識符。接收設備可以接收所有RPS,并檢查RPS語法的特定屬性,例如優(yōu)先級、視頻內容的類型或視頻的分辨率。如果檢測到具有給定屬性的PRS,則所有相關聯(lián)stream_id被認為是相關的并從比特流中提取。備選地,接收/轉發(fā)/解碼設備可以基于相應NAL單元的屬性來決定是否提取或丟棄分組。具體地,如果根據(jù)比特流子集的相對優(yōu)先級來定義stream_id,則接收/轉發(fā)/解碼設備可以提取具有“較低”stream_id的分組,即包括較多重要數(shù)據(jù)的分組,并丟棄具有“較高”stream_id的分組,即包括較少重要數(shù)據(jù)的分組??梢曰陂撝祦頉Q定stream_id是“低”還是“高”。該方法可以用于在帶寬限制情況下網(wǎng)絡單元中的包丟棄或比特流稀釋。為了更進一步說明本發(fā)明,以下給出示例。該示例涉及立體視頻的情況,即分別具有view_id=0和view_id=1的兩個視圖并伴有深度數(shù)據(jù)。假定紋理和深度視頻提供由不同temporal_id指示的時間可縮放性,其中temporal_id=0指示時間基本質量(例如30Hz幀率),temporal_id=1具有時間增強信息(例如將30Hz幀率增強至60Hz)。使用若干個比特流子集將承載與可用視圖和時間分辨率的紋理和深度相關的數(shù)據(jù)的NAL單元復用至相同比特流。使用根據(jù)本發(fā)明實施例的比特流子集和視頻表示的概念,可以唯一標識它們。下表提供了子集定義的示例:stream_id內容1紋理:SPSPPS2紋理:view_id=0,temporal_id=03紋理:view_id=0,temporal_id=14紋理:view_id=1,temporal_id=05紋理:view_id=1,temporal_id=16深度圖:SPSPPS7深度:view_id=0,temporal_id=08深度:view_id=0,temporal_id=19深度:view_id=1,temporal_id=010深度:view_id=1,temporal_id=1存在具有stream_id=1-5,與紋理數(shù)據(jù)view_id=0和view_id=1相對應的5個子集,以及具有stream_id=6-10,與深度數(shù)據(jù)相對應的5個另外子集。具有stream_id=1和stream_id=6的子集分別指示承載序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)(即非VCL數(shù)據(jù))的子集。其余stream_id指示承載VCL數(shù)據(jù)的子集。此外,下表示意了對應表示定義的示例:representation_id內容0紋理參數(shù)集:11深度參數(shù)集:62紋理基本層快速轉發(fā):1,23紋理基本層:1,2,34紋理2視圖:1,2,3,4,55所有基本層快速轉發(fā):1,2,6,76所有基本層:1,2,3,6,7,8這里,具有representation_id=0的表示包括具有stream_id=1的NAL單元(對于紋理部分而言僅是SPS和PPS)。作為另一示例,具有representation_id=3的表示包括stream_id=1、2和3,表示具有view_id=0、僅包括紋理信息的單一視圖視頻。作為另一示例,representation_id=7對應于完整比特流。在接收到表示定義之后,接收或轉發(fā)設備可以根據(jù)信號通知的屬性,決定給定應用的最合適的表示,從而獲得相關stream_id的列表。然后,可以通過檢查輸入的NAL單元的NAL單元首部,容易地提取與這些stream_id相關聯(lián)的NAL單元。以下,參照圖4來描述指示壓縮視頻比特流中的比特流子集的方法的實施例。該方法的實施例可以例如在參照圖1描述的發(fā)送設備(如編碼設備110)中執(zhí)行。具體地,該方法的實施例可以在從視頻編碼器接收壓縮視頻比特流的比特流標記設備(即比特流標記器)中執(zhí)行。為此,該方法的實施例可以在視頻編碼器中實現(xiàn)。比特流標記器將比特流再分為視頻分組,每個視頻分組包含壓縮視頻數(shù)據(jù),例如視頻幀、補充信息或一般地NAL單元。然后,根據(jù)本發(fā)明的實施例,使用NAL單元首部中的語法元素stream_id,以單一子集標識符來標記每個視頻分組??蛇x地,視頻編碼器可以向比特流標記器提供分組化的視頻比特流,在這種情況下,比特流標記器將不必將比特流再分為分組。此外,根據(jù)本發(fā)明的實施例,可以由視頻編碼器而不是在單獨的比特流標記器中執(zhí)行標記過程。圖4中示意了指示壓縮視頻比特流中的比特流子集的方法的實施例410。方法410包括:從視頻編碼器接收411壓縮視頻比特流;將壓縮視頻比特流劃分412為視頻分組;以及利用多個子集標識符中的單一子集標識符來標記413每個視頻分組,其中所述多個子集標識符中每個子集標識符與所述多個比特流子集中的對應比特流子集相關聯(lián)??蛇x地,方法410還可以包括:提供414至少一個子集定義,其中每個子集定義描述所述多個比特流子集中的對應比特流子集的屬性。所述子集定義可以作為壓縮視頻比特流中的視頻分組來提供并傳輸至網(wǎng)絡單元和客戶端。除了步驟414中提供的子集定義,方法410還可以包括:提供415至少一個視頻表示定義,其中每個視頻表示定義包括至少一個相關子集標識符,與所述至少一個相關子集標識符相關聯(lián)的所有比特流子集形成可解碼視頻表示。所述至少一個視頻表示定義可以作為壓縮視頻比特流中的視頻分組來提供并傳輸至網(wǎng)絡單元和客戶端。以下,參照圖5來描述從劃分為視頻分組的壓縮視頻比特流中提取視頻分組的方法的實施例。該方法的實施例可以例如在參照圖1描述的接收設備(如網(wǎng)絡單元121-123或解碼設備130)中執(zhí)行。具體地,該方法的實施例可以在接收劃分為視頻分組的壓縮視頻比特流的比特流提取設備(即比特流提取器)中執(zhí)行。為此,該方法的實施例可以在視頻解碼器中或被配置為路由視頻分組的網(wǎng)絡單元中實現(xiàn)。圖5中示意了從劃分為視頻分組的壓縮視頻比特流中提取視頻分組的方法的實施例510。方法510包括:提供511至少一個相關子集標識符;從壓縮視頻比特流接收512視頻分組;以及針對每個513接收的視頻分組,檢查514視頻分組的子集標識符;以及在所提取的子集標識符與所述至少一個相關子集標識符之一匹配的條件515下,從壓縮視頻比特流中提取516視頻分組。可選地,方法510還可以包括:轉發(fā)或解碼517所提取的視頻分組,以及在所提取的子集標識符與所述至少一個相關子集標識符中的任一個均不匹配的條件515下丟棄518接收的視頻分組。更進一步,方法510還包括:提供519子集定義,子集定義描述所述多個比特流子集中對應的比特流子集的屬性。與對應比特流相關聯(lián)的子集標識符用作步驟511中的所述至少一個相關子集標識符??蛇x地,在步驟519,可以根據(jù)對應比特流子集的至少一個屬性,從多個子集定義中選擇子集定義??梢詮膲嚎s視頻比特流中的視頻分組接收子集定義。更進一步,方法510可以包括:提供520視頻表示定義,視頻表示定義包括所述至少一個相關子集標識符,其中,與所述至少一個相關子集標識符相關聯(lián)的比特流子集形成可解碼視頻表示??梢詮膲嚎s視頻比特流中的視頻分組接收視頻表示定義。以下參照圖6,描述根據(jù)本發(fā)明實施例的用于指示壓縮視頻比特流中的比特流子集的比特流標記器。例如,比特流標記器的實施例可以位于參照圖1描述的編碼設備110中。具體地,比特流標記器的實施例可以實現(xiàn)在視頻編碼器中。比特流標記器620從視頻編碼器610接收壓縮視頻比特流602,視頻編碼器610被配置為對視頻源信號601進行編碼。比特流標記器620將比特流602再分為視頻分組,每個視頻分組包含壓縮視頻數(shù)據(jù),例如視頻幀、補充信息、或一般地,NAL單元。如上所述,使用NAL單元首部中的語法元素stream_id,以單一子集標識符來標記每個視頻分組。比特流標記器620將分組化和標記后的比特流603發(fā)送至傳輸網(wǎng)絡,如網(wǎng)絡120,并最終發(fā)送至端到端網(wǎng)絡中的客戶端或對等端,如解碼設備130(參照圖1所述)。為此,比特流標記器620包括:接收單元621,用于接收壓縮視頻比特流;分組化單元622,用于被配置為將壓縮視頻比特流劃分為視頻分組;以及標記單元623,用于利用單一子集標識符stream_id來標記每個視頻分組。此外,可選地,比特流標記器620可以包括:子集定義單元624,用于提供至少一個子集定義。所述子集定義可以作為壓縮視頻比特流中的視頻分組來提供。更進一步,可選地,比特流標記器620可以包括:視頻表示定義單元625,用于提供至少一個視頻表示定義。視頻表示定義可以作為壓縮視頻比特流中的視頻分組來提供。接收單元621、分組化單元622、標記單元623、子集定義單元624和視頻表示定義單元625可以通過電路、集成電路(IC)、專用集成電路(ASIC)、在一個或多個處理器上運行的計算機程序模塊、或其組合來實現(xiàn)。單元621-625可以實現(xiàn)為單獨的單元,或者組合實現(xiàn)。可以認識到,視頻編碼器610可以向比特流標記器620提供分組化的視頻比特流602,在這種情況下,比特流標記器620將不必將比特流602再分為分組。此外,如上所述的根據(jù)本發(fā)明的實施例的標記過程可以由視頻編碼器610執(zhí)行而不是在單獨的比特流標記器中執(zhí)行。此外,現(xiàn)有視頻編碼器可以被配置為,通過利用計算機程序的實施例來更新現(xiàn)有視頻編碼器的軟件,來執(zhí)行根據(jù)本發(fā)明實施例的比特流標記。以下參照圖7,描述根據(jù)本發(fā)明實施例從壓縮視頻比特流中提取視頻分組的比特流提取器。例如,比特流提取器的實施例可以位于參照圖1描述的解碼設備130或網(wǎng)絡單元121-123中。具體地,比特流提取器的實施例可以實現(xiàn)在視頻解碼器或被配置為路由視頻分組的網(wǎng)絡單元中。比特流提取器710接收壓縮視頻比特流701,視頻分組(即NAL單元)與多個比特流子集相關聯(lián)。視頻比特流701可以例如從傳輸網(wǎng)絡(如參照圖1描述的網(wǎng)絡120)接收。比特流提取器710標識比特流701中包括的相關NAL單元,并提取它們用于進一步處理。為此,比特流提取器710包括:子集選擇單元711,用于提供至少一個相關子集標識符;接收單元712,用于從視頻比特流701接收視頻分組;以及提取單元713,用于針對每個接收的視頻分組,檢查視頻分組的子集標識符,并在所提取的子集標識符與所述至少一個相關子集標識符之一匹配的條件下,從視頻比特流701中提取視頻分組??蛇x地,提取單元713還可以被配置為:針對每個接收的視頻分組,轉發(fā)或解碼所提取的視頻分組,以及丟棄704視頻分組。如果轉發(fā)視頻分組,則其可以例如發(fā)送702至視頻解碼器720,視頻解碼器720解碼視頻信號并輸出解碼的視頻信號703以進行進一步處理,如向觀看者顯示。在所提取的子集標識符與所述至少一個相關子集標識符中的任一個均不匹配的條件下,丟棄704接收的視頻分組??蛇x地,比特流提取器710還包括:子集定義單元714,用于提供子集定義。子集定義單元714可以被配置為,根據(jù)對應比特流子集的至少一個屬性,從多個子集定義中選擇子集定義。子集定義單元714還可以被配置為,從壓縮視頻比特流中的視頻分組接收子集定義。比特流提取器(如比特流提取器710)的實施例還可以包括:視頻表示定義單元715,用于提供視頻表示定義。視頻表示定義單元715還可以被配置為從壓縮視頻比特流中的視頻分組接收視頻表示定義。子集選擇單元711、接收單元712、提取單元713、子集定義單元714和視頻表示單元715可以通過電路、C、ASIC、在一個或多個處理器上運行的計算機程序模塊、或其組合來實現(xiàn)。單元711-715可以實現(xiàn)為單獨的單元,或者組合實現(xiàn)??梢哉J識到,可以由視頻解碼器720執(zhí)行而不是在單獨的比特流提取器中執(zhí)行從視頻比特流中提取比特流子集(即視頻分組)的過程。此外,現(xiàn)有視頻解碼器可以被配置為,通過利用計算機程序的實施例來更新現(xiàn)有視頻解碼器的軟件,來執(zhí)行根據(jù)本發(fā)明實施例的比特流提取。參照圖8,示意了根據(jù)本發(fā)明實施例的計算機程序和計算機程序產品。圖8示出了視頻處理設備800,用于處理視頻比特流801并示出處理后的視頻比特流802。視頻處理設備800包括處理器803和存儲介質804。存儲介質804可以是包括計算機程序805的計算機程序產品。備選地,計算機程序805可以通過合適的計算機程序產品(如軟盤或記憶棒)傳送至存儲介質804。作為另一備選,計算機程序805可以通過網(wǎng)絡下載至存儲介質804。處理器803被配置為從存儲介質804加載計算機程序805,并執(zhí)行計算機程序805中包括的計算機程序代碼,以實現(xiàn)根據(jù)本發(fā)明第一或第四方面的方法的實施例。例如,在執(zhí)行計算機程序805時,處理器803可以適于實現(xiàn)指示壓縮視頻比特流中的比特流子集的方法的實施例。備選地,在執(zhí)行計算機程序805時,處理器803可以適于實現(xiàn)從壓縮視頻比特流中提取視頻分組的方法的實施例。處理器803可以是通用處理器、視頻處理器或任何其他類型的電路,被配置為在執(zhí)行計算機程序805時,實現(xiàn)根據(jù)本發(fā)明第一或第四方面的方法的實施例。處理設備800可以例如包括在移動電話、平板、用戶設備(UE)、個人計算機、視頻播放器/記錄器、多媒體播放器、媒體流傳輸服務器、機頂盒、電視機或具有計算能力的任何其他類型的設備。此外,上述本發(fā)明的所有實施例可以以軟件、硬件、或其組合實現(xiàn)在視頻編碼器或解碼器中。編碼器和/或解碼器還可以實現(xiàn)在作為或屬于發(fā)送設備與接收設備之間的通信網(wǎng)絡中的網(wǎng)絡節(jié)點的網(wǎng)絡設備中。這種網(wǎng)絡設備可以是用于將根據(jù)一個視頻編碼標準的視頻轉換為另一視頻編碼標準的設備,例如在已經(jīng)確定接收設備只能或相對于從發(fā)送設備發(fā)送的視頻編碼標準優(yōu)選另一視頻編碼標準的情況下。盡管已經(jīng)公開了視頻編碼器和/或解碼器作為物理上分離的設備,但是其可以包括在如一個或多個ASIC的專用電路中,本發(fā)明覆蓋以下設備的實施例:其中編碼器和/或解碼器的一些部分實現(xiàn)為在一個或多個通用處理器上運行的計算機程序模塊。本領域技術人員認識到,本發(fā)明不限于上述實施例。相反,在所附權利要求的范圍內,許多修改和變型是可能的。例如,所提出的分層流信號通知概念原理上可以應用于所有類型的媒體,包括音頻、字幕、圖形等等。此外,客戶端或網(wǎng)絡單元可以有利地通過可靠的傳輸信道來獲取StPS和RPS,而如HTTP和RTP的傳輸協(xié)議可以用于傳輸包含視頻數(shù)據(jù)的比特流子集的其余部分。最終,還可以認識到,除了單一子集標識符stream_id之外,NAL單元首部可以包括另外的信息元素。