專利名稱：聚合媒體數(shù)據(jù)單元的向后兼容特性的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及視頻傳輸和存儲(chǔ)。更具體地，本發(fā)明涉及提供信息來幫助單元決定應(yīng)當(dāng)轉(zhuǎn)發(fā)或處理哪些編碼數(shù)據(jù)單元。

背景技術(shù)：
該部分旨在提供在權(quán)利要求中所記載的本發(fā)明的背景或上下文。在此的描述可以包括可推行的概念，但不一定是先前已經(jīng)構(gòu)想或推行的概念。因此，除非在此另外指示，在該部分中所描述的內(nèi)容對(duì)于本申請(qǐng)的說明書和權(quán)利要求書來說不是現(xiàn)有技術(shù)，并且也不認(rèn)為被包括在該部分中便是現(xiàn)有技術(shù)。
也被稱為H.264/AVC的高級(jí)視頻編碼(AVC)是由ITU-T視頻編碼專家組(VCEG)和ISO/IEC運(yùn)動(dòng)圖像專家組(MPEG)的聯(lián)合視頻組(JVT)開發(fā)的視頻編碼標(biāo)準(zhǔn)。AVC包括視頻編碼層(VCL)和網(wǎng)絡(luò)抽象層(NAL)的概念。VCL含有編解碼器機(jī)制的信號(hào)處理功能性，諸如變換、量化、運(yùn)動(dòng)補(bǔ)償預(yù)測，以及環(huán)路濾波器。編碼圖像由一個(gè)或多個(gè)片段組成。NAL將VCL所生成的每個(gè)片段封裝成一個(gè)或多個(gè)NAL單元。NAL單元包括NAL單元報(bào)頭和NAL單元有效載荷。NAL單元報(bào)頭除其它以外還含有NAL單元類型，其指示NAL單元是否含有編碼片段、編碼片段數(shù)據(jù)分區(qū)、序列或圖像參數(shù)設(shè)置，等等。NAL單元流僅僅是多個(gè)NAL單元的級(jí)聯(lián)。根據(jù)H.264/AVC或其擴(kuò)展(例如SVC)的編碼比特流是NAL單元流，或者是通過將起始代碼作為NAL單元流中每個(gè)NAL單元的前綴的字節(jié)流。
可擴(kuò)縮的視頻編碼(SVC)提供了可擴(kuò)縮的視頻比特流?？蓴U(kuò)縮的視頻比特流含有不可擴(kuò)縮的基礎(chǔ)層以及一個(gè)或多個(gè)增強(qiáng)層。增強(qiáng)層可以增強(qiáng)時(shí)間分辨率(即，幀速率)、空間分辨率或由較低層或其部分所表示的視頻內(nèi)容的質(zhì)量。在AVC的SVC擴(kuò)展中，繼承了VCL和NAL概念。
多視圖視頻編碼(MVC)是AVC的另一擴(kuò)展。MVC編碼器采用了從多個(gè)照相機(jī)捕獲的相同場景的輸入視頻序列(被稱為不同的視圖)，并且輸出含有所有編碼視圖的單個(gè)比特流。MVC也繼承了VCL和NAL概念。
實(shí)時(shí)傳輸協(xié)議(RTP)廣泛用于諸如音頻和視頻這樣的定時(shí)媒體的實(shí)時(shí)傳輸。在RTP傳輸中，媒體數(shù)據(jù)被封裝成多個(gè)RTP分組。在IETF請(qǐng)求注解(RFC)3984中規(guī)定了用于AVC視頻的RTP傳輸?shù)腞TP有效載荷格式，其可從www.rfc-editor.org/rfc/rfc3984.txt中獲得，并且通過引用的方式將其內(nèi)容合并于此。對(duì)于使用RTP的AVC視頻傳輸，每個(gè)RTP分組含有一個(gè)或多個(gè)NAL單元。
IETF RFC 3984規(guī)定了若干分組化模式，其中之一是交織模式。如果正在使用交織分組化模式，那么可以將來自不止一個(gè)訪問單元(access unit)的NAL單元分組化成一個(gè)RTP分組。RFC 3984還規(guī)定了解碼順序號(hào)(DON)的概念，其指示在RTP流中傳送的NAL單元的解碼順序。
在SVC RTP有效載荷格式草案中，draft-wenger-avt-rtp-svc-03中的因特網(wǎng)草案(從http://www.tools.ietf.org/html/draft-wenger-avt-rtp-svc-03可獲得)，規(guī)定了被稱為有效載荷內(nèi)容可擴(kuò)縮性信息(PACSI)NAL單元的新的NAL單元類型。PACSI NAL單元(如果存在的話)是聚合分組中的第一個(gè)NAL單元，并且它在其它類型的分組中并不存在。PACSI NAL單元指示了在有效載荷中對(duì)于所有剩余NAL單元共有的可擴(kuò)縮性特性，因而使得媒體感知網(wǎng)絡(luò)元件(MANE)更容易決定是否轉(zhuǎn)發(fā)/處理/丟棄聚合分組。發(fā)送機(jī)可以創(chuàng)建PACSI NAL單元。接收機(jī)可以忽略PACSI NAL單元或?qū)⑺鼈冇米魇沟媚軌蜻M(jìn)行高效聚合分組處理的暗示。當(dāng)聚合分組的第一聚合單元含有PACSI NAL單元時(shí)，在同一分組中存在至少一個(gè)附加聚合單元。在聚合分組中根據(jù)剩余NAL單元來設(shè)置RTP報(bào)頭字段。當(dāng)在多時(shí)間聚合分組中包括PACSI NAL單元時(shí)，設(shè)置PACSI NAL單元的解碼順序號(hào)，以便指示PACSI NAL單元是在聚合分組內(nèi)的NAL單元之中按照解碼順序的第一個(gè)NAL單元，或者PACSI NAL單元具有與聚合分組內(nèi)的剩余NAL單元之中按照解碼順序的第一個(gè)NAL單元相同的解碼順序號(hào)。
關(guān)于應(yīng)當(dāng)傳送和/或處理哪些NAL單元的決定通常需要用于若干不同的目的。例如，在例如多方視頻會(huì)議的多點(diǎn)實(shí)時(shí)通信系統(tǒng)中，發(fā)送機(jī)可能不知道所有接收機(jī)的能力，例如，當(dāng)接收機(jī)的數(shù)目很大時(shí)或者當(dāng)接收機(jī)可以在不通知發(fā)送機(jī)的情況下加入多點(diǎn)會(huì)話時(shí)。如果可能的話，不應(yīng)當(dāng)根據(jù)最弱接收機(jī)的能力來限制發(fā)送機(jī)，因?yàn)檫@限制了可以提供給其它接收機(jī)的體驗(yàn)的質(zhì)量。因此，如果諸如多媒體會(huì)議中的多點(diǎn)控制單元(MCU)這樣的中間體(middlebox)可以根據(jù)接收機(jī)能力來高效地調(diào)節(jié)所轉(zhuǎn)發(fā)的流，那么將是有益的。
應(yīng)當(dāng)做出這樣的決定的另一情形涉及當(dāng)在設(shè)備中或利用軟件(其能夠分別解碼僅是流的子集，諸如H.264/AVC相容基礎(chǔ)層，或者SVC或MVC比特流的視圖)來回放文件的時(shí)候。因此，只有NAL單元的子集需要處理。媒體播放器要回放的視頻數(shù)據(jù)可以具有根據(jù)文件格式容器的格式或者具有RTP流的格式。在這兩種情況中的任何情況下，都期望易于訪問有助于決定媒體播放器將要處理哪些NAL單元的所有信息。
被稱為MPEG文檔N8663的SVC文件格式草案標(biāo)準(zhǔn)支持將多個(gè)NAL單元聚合成一個(gè)聚合體NAL單元。期望這也在未來的MVC文件格式下得到支持。聚合體NAL單元既可以通過將NAL單元包括在它們之內(nèi)來進(jìn)行聚合(在由它們的長度所指示的大小之內(nèi))，又可以通過在它們后面的參考NAL單元來進(jìn)行聚合(在由它們之內(nèi)的additional_bytes(附加_字節(jié))字段所指示的區(qū)域之內(nèi))。當(dāng)由AVC文件閱讀器來掃描流時(shí)，只有所包括的NAL單元被看作處在聚合體“之內(nèi)”。這允許例如AVC文件閱讀器跳過不需要的SVC或MVC NAL單元的整個(gè)集合。SVC NAL單元指的是這樣的SVC特定NAL單元，即，AVC規(guī)范為該SVC特定NAL單元保留了NAL單元類型值。MVC NAL單元指的是這樣的MVC特定NAL單元，即，AVC規(guī)范為該MVC特定NAL單元保留了NAL單元類型值。類似地，如果AVC NAL單元通過參考而被聚合，則AVC閱讀器將不跳過它們，并且對(duì)于該閱讀器來說它們保持處于流內(nèi)(in-stream)。該聚合機(jī)制在訪問用于決定媒體播放器要處理哪些NAL單元所需要的信息方面添加了復(fù)雜度。
應(yīng)當(dāng)做出這樣的決定的又一情形涉及當(dāng)接收可擴(kuò)縮或多視圖流的終端用戶決定分別切換他或她想要解碼和呈遞的層或視圖的時(shí)候。例如，經(jīng)由會(huì)話標(biāo)識(shí)協(xié)議(SIP)或?qū)崟r(shí)流式協(xié)議(RTSP)來傳送相應(yīng)的請(qǐng)求。作為響應(yīng)，諸如服務(wù)器或中間體這樣的請(qǐng)求接受者應(yīng)當(dāng)選擇被轉(zhuǎn)發(fā)的層或視圖。由于層間和視圖間預(yù)測，可能不期望在所傳送的層或視圖中的即時(shí)改變，這是因?yàn)?1)所得到的流可能不是與標(biāo)準(zhǔn)相容的，因?yàn)樵诮獯a器中可能不存在一些層間和視圖間參考；(2)一些所傳送的數(shù)據(jù)可能是不可解碼的并且因此對(duì)于接收機(jī)來說沒有用；以及(3)不可解碼的數(shù)據(jù)浪費(fèi)信道中的比特率，并且可能造成擁塞和分組丟失并且增加傳輸延遲。因此，傳送方應(yīng)當(dāng)對(duì)來自下一可能的層切換或視圖切換位置的請(qǐng)求做出響應(yīng)。
另外，要注意，冗余圖像提供了一種機(jī)制，該機(jī)制用于在損壞了相應(yīng)的基本編碼圖像時(shí)，系統(tǒng)從傳輸差錯(cuò)中進(jìn)行恢復(fù)。然而，傳輸冗余圖像不是必要的，如果無法正確地解碼冗余圖像本身，則相應(yīng)的基本編碼圖像可被正確地解碼，或者在接收機(jī)中不支持冗余圖像的解碼。因此，發(fā)送機(jī)或中間體在若干情況下可以省略對(duì)冗余圖像或其部分的傳輸。第一種這樣的情況涉及當(dāng)沒有正確地解碼用于冗余圖像的參考圖像的時(shí)候。這可以例如從RTP/AVPF的通用NACK反饋或具有反饋的RTP音頻可視簡檔(RTP/AVPF)的片段丟失指示反饋來推斷。第二種情況是當(dāng)冗余圖像在到達(dá)中間體時(shí)它不是完整的時(shí)候，即，在發(fā)送機(jī)與中間體之間的信道中丟失了冗余圖像的片段。這可以例如基于輸入分組的RTP序列號(hào)以及丟失分組的先前和后續(xù)RTP分組的內(nèi)容而在中間體中推斷出來。第三種情況是當(dāng)可靠通信協(xié)議用于傳輸?shù)臅r(shí)候，當(dāng)存在足夠的時(shí)間用于對(duì)損壞的基本編碼圖像進(jìn)行選擇性重傳的時(shí)候，或者當(dāng)檢測到網(wǎng)絡(luò)狀況是無損失的時(shí)候。第四種這樣的情況是例如當(dāng)接收機(jī)隱含地經(jīng)由所支持的簡檔或明確地利用redundant-pic-cap MIME/SDP參數(shù)來發(fā)信號(hào)通知不支持任何冗余圖像的時(shí)候。
在可以做出關(guān)于應(yīng)當(dāng)傳送和/或處理哪些NAL單元的決定的又一情形涉及當(dāng)要求比特率調(diào)整以便根據(jù)瓶頸鏈路的吞吐量來修整所傳送的比特率(用于避免擁塞或用于調(diào)節(jié)網(wǎng)絡(luò)或客戶機(jī)緩沖器)的時(shí)候。在這種情況下，發(fā)送機(jī)或中間體應(yīng)當(dāng)做出關(guān)于沒有傳送哪些NAL單元的復(fù)雜決定。媒體感知網(wǎng)關(guān)或RTP混合器(例如，它可以是多點(diǎn)會(huì)議單元、在電路交換與分組交換視頻電話之間的網(wǎng)關(guān)、PoC服務(wù)器、在DVB-H系統(tǒng)中的IP封裝器，或者將廣播傳輸在本地轉(zhuǎn)發(fā)到家庭無線網(wǎng)絡(luò)的機(jī)頂盒)的一個(gè)功能是根據(jù)主導(dǎo)的下行鏈路網(wǎng)絡(luò)狀況來控制所轉(zhuǎn)發(fā)的流的比特率。所期望的是在不過度處理輸入數(shù)據(jù)的情況下(即，通過簡單丟棄分組或簡易標(biāo)識(shí)的分組部分)來控制轉(zhuǎn)發(fā)數(shù)據(jù)速率。
當(dāng)使用H.264/AVC和SVC RTP有效載荷格式的非交織和交織分組化模式時(shí)，在分組中所含的NAL單元的一些共有特性僅在檢查每個(gè)所含NAL單元時(shí)被標(biāo)識(shí)出來。該檢查可能要求對(duì)NAL單元的部分解碼。例如，子序列信息SEI消息應(yīng)當(dāng)被解碼，以便找到時(shí)間級(jí)別切換點(diǎn)(temporal levelswitching points)，并且片段報(bào)頭必須被解碼以便弄清楚編碼片段是否屬于基本編碼圖像或冗余編碼圖像。
中間體通常應(yīng)當(dāng)丟棄整個(gè)圖像或圖像序列，從而使得所得到的流保持有效。H.264/AVC RTP有效載荷規(guī)范的交織分組化模式允許將任何訪問單元的任何NAL單元實(shí)際上封裝到相同的RTP有效載荷(被稱為聚合分組)中。特別地，不要求將整個(gè)編碼圖像封裝在一個(gè)RTP有效載荷中，而是可以將編碼圖像的NAL單元分成多個(gè)RTP分組。雖然該自由權(quán)有助于很多應(yīng)用，但是它造成在中間體操作中的下列難題。首先，給定聚合分組，在解析該聚合分組中所含的每個(gè)NAL單元的報(bào)頭之前，并不知道它的NAL單元屬于哪些圖像。因而，當(dāng)應(yīng)用了交織分組化模式時(shí)，應(yīng)當(dāng)解析每個(gè)聚合單元報(bào)頭和NAL單元報(bào)頭以便將它們映射到正確的圖像。當(dāng)出現(xiàn)冗余圖像時(shí)，進(jìn)一步要求解析成片段報(bào)頭。其次，在沒有出現(xiàn)相同訪問單元的一些其它NAL單元的情況下，可能不能夠標(biāo)識(shí)出NAL單元的特性。例如，為了弄清楚編碼片段是否是可以隨機(jī)訪問的訪問單元的一部分，必須首先接收并解碼用于該訪問單元的恢復(fù)點(diǎn)SEI消息。
因此，需要在傳輸分組或文件格式聚合NAL單元中提供可易于訪問的信息，基于此，網(wǎng)絡(luò)中間體或媒體播放器可以決定將要傳送和/或處理哪些編碼數(shù)據(jù)單元。2007年1月11日提交并且通過引用的方式合并于此的美國專利申請(qǐng)No.11/622,430公開了一種用于SVC文件格式和用于RTP有效載荷格式的間接聚合體NAL單元，以指示在該間接聚合體NAL單元之后的特定NAL單元的可擴(kuò)縮特性。然而，并沒有考慮超出用于SVC的可擴(kuò)縮性信息之外的特性，包括在傳輸分組中所含的編碼數(shù)據(jù)單元是否是(1)冗余圖像的部分；(2)時(shí)間層切換點(diǎn)的部分；(3)視圖隨機(jī)訪問點(diǎn)的部分；(4)不作為瞬時(shí)解碼刷新(IDR)圖像的隨機(jī)訪問點(diǎn)的部分；以及(5)由視圖標(biāo)識(shí)符所標(biāo)識(shí)的特定視圖的圖像的部分。


發(fā)明內(nèi)容
本發(fā)明的各種實(shí)施例提供了一種用于傳送信息的系統(tǒng)和方法，該信息有助于網(wǎng)絡(luò)中間體或媒體播放器以易于訪問的方式?jīng)Q定在RTP有效載荷或文件格式數(shù)據(jù)單元中轉(zhuǎn)發(fā)或處理哪些編碼數(shù)據(jù)單元。在本發(fā)明的各種實(shí)施例中，該機(jī)制可以用于提供對(duì)于諸如冗余編碼圖像、時(shí)間級(jí)別切換點(diǎn)、逐漸解碼刷新訪問點(diǎn)、視圖標(biāo)識(shí)符以及視圖隨機(jī)訪問點(diǎn)這樣的項(xiàng)目的指示。然后，中間體和/或接收機(jī)可以使用該信息來確定是否需要處理和/或傳送特定的編碼數(shù)據(jù)單元。另外，也可以提供對(duì)于諸如用于非分層單視圖比特流的隨機(jī)訪問點(diǎn)這樣的項(xiàng)目的指示以及圖像類型指示。
各種實(shí)施例提供了一種用于對(duì)視頻序列的編碼表示進(jìn)行分組化的方法、計(jì)算機(jī)程序產(chǎn)品和裝置，其中多個(gè)數(shù)據(jù)單元被分組化成第一分組。所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，并且所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息。第二數(shù)據(jù)單元被放置在第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前。
各種實(shí)施例提供了一種用于處理視頻序列的分組化比特流表示的方法、計(jì)算機(jī)程序產(chǎn)品和裝置。從第一分組中讀取多個(gè)數(shù)據(jù)單元，其中所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，并且所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息。第二數(shù)據(jù)單元被放置在第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前。然后，基于第二數(shù)據(jù)單元中所含的信息來處理所述多個(gè)數(shù)據(jù)單元。
當(dāng)結(jié)合附圖時(shí)，根據(jù)下面的詳細(xì)描述，本發(fā)明的這些以及其它優(yōu)點(diǎn)和特征連同其組織和操作的方式將變得顯而易見，其中，貫穿下述若干附圖，相同的元件具有相同的標(biāo)記。



圖1示出了用于與本發(fā)明一起使用的通用多媒體通信系統(tǒng)； 圖2是可以在本發(fā)明的實(shí)現(xiàn)中使用的電子設(shè)備的立體圖；以及 圖3是圖2的電子設(shè)備的設(shè)備電路的示意表示。

具體實(shí)施例方式 本發(fā)明的各種實(shí)施例提供了一種用于傳送信息的系統(tǒng)和方法，該信息有助于網(wǎng)絡(luò)中間體或媒體播放器以易于訪問的方式?jīng)Q定在RTP有效載荷內(nèi)或在文件格式數(shù)據(jù)單元中轉(zhuǎn)發(fā)或處理哪些編碼數(shù)據(jù)單元。在本發(fā)明的各種實(shí)施例中，該機(jī)制可以用于提供對(duì)于至少下列項(xiàng)目的指示 冗余編碼圖像的指示。該指示可以附帶有對(duì)聚合冗余編碼片段進(jìn)行解碼所需要的參考圖像的列表以及對(duì)于聚合冗余編碼片段的空間覆蓋范圍的指示。存在這樣的時(shí)間，即，在這些時(shí)間處將聚合和表征僅一個(gè)冗余編碼圖像的片段。
時(shí)間級(jí)別切換點(diǎn)的指示。從時(shí)間級(jí)別切換點(diǎn)開始，如果在該時(shí)間級(jí)別切換點(diǎn)之前僅解碼了較低時(shí)間級(jí)別的圖像，則解碼器可以正確地解碼具有相同時(shí)間級(jí)別的所有隨后的編碼圖像。該指示可以附帶有通過例如為了使得能夠切換時(shí)間級(jí)別而應(yīng)當(dāng)被正確解碼的frame_num的值所指示的參考圖像的列表。注意到，通常可以在任何點(diǎn)降低解碼/轉(zhuǎn)發(fā)時(shí)間級(jí)別的數(shù)目。
逐漸解碼刷新訪問點(diǎn)的指示。如果解碼器從這樣的點(diǎn)開始解碼，那么將通過很多連續(xù)圖像來逐漸校正圖像內(nèi)容。在某些實(shí)施例中，該指示應(yīng)當(dāng)附帶有對(duì)這樣的圖像或分組的計(jì)數(shù)，即，為了獲得內(nèi)容正確的圖像，需要對(duì)該圖像或分組進(jìn)行解碼。
視圖的指示。該指示用信號(hào)通知聚合NAL單元所屬的視圖(例如，就視圖ID而言)。
視圖隨機(jī)訪問圖像的指示。由于視圖間預(yù)測，因此不可能在任意點(diǎn)開始對(duì)視圖進(jìn)行解碼。該指示因此被用于用信號(hào)通知解碼器可以從該位置開始解碼。該指示可以附帶有對(duì)這樣的圖像或分組的計(jì)數(shù)，即，為了獲得內(nèi)容正確的圖像，需要對(duì)該圖像或分組進(jìn)行解碼。在2006年10月16日提交的美國臨時(shí)專利申請(qǐng)No.60/852,223中討論了不同類型的視圖隨機(jī)訪問點(diǎn)，并且通過引用的方式將其合并于此。
在本發(fā)明的各種實(shí)施例中，將美國專利申請(qǐng)No.11/622,430中所討論的間接NAL單元聚合機(jī)制用作傳送以上指示的機(jī)制。另外，該相同的聚合機(jī)制也可以同樣用于其它指示。例如，該機(jī)制也可以用于非分層單視圖比特流的隨機(jī)訪問點(diǎn)指示(開啟和閉合的圖像組(GOP))以及圖像類型指示(例如，幀內(nèi)圖像、非參考圖像)。
下面是本發(fā)明的各種實(shí)施例的一個(gè)實(shí)現(xiàn)，具體關(guān)于SVC和MVC的RTP有效載荷格式。在該實(shí)現(xiàn)中，擴(kuò)展了在美國專利申請(qǐng)No.11/622,430中所討論的有效載荷內(nèi)容可擴(kuò)縮性信息(PACSI)NAL單元，以便含有附加類型信息。PACSI NAL單元的報(bào)頭保持不變。可選地，PACSI NAL單元報(bào)頭可以被修改成與即將到來的MVC NAL單元報(bào)頭相匹配，尤其是在即將到來的MVC NAL單元報(bào)頭是SVC NAL單元報(bào)頭的超集的情況下。MVC NAL單元報(bào)頭的當(dāng)前草案按照nal_unit_header_svc_mvc_extension語法結(jié)構(gòu)在2006年10月JVT會(huì)議的草案輸出中可獲得(從http://ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U209.zip中可獲得，并且通過引用的方式合并于此)。可選地，另外的NAL單元類型(諸如值31)可以用于指示在此所描述的信息。
下面是在聯(lián)合用于SVC和MVC的示例性RTP有效載荷格式的上下文中PACSI NAL單元的例子。
PACSI NAL單元由1個(gè)字節(jié)的NAL單元報(bào)頭、1個(gè)字節(jié)的內(nèi)容信息(CI)報(bào)頭以及長度變化的CI有效載荷組成。1個(gè)字節(jié)的NAL單元報(bào)頭含有如下所規(guī)定的F、NRI和類型(Type)字段。

在PACSI NAL單元中字段的值被設(shè)置如下。如果在有效載荷中在至少一個(gè)剩余NAL單元中的F比特等于1，則F比特被設(shè)置成1。否則，F(xiàn)比特被設(shè)置成0。NRI字段被設(shè)置成在有效載荷中所有剩余NAL單元之中的NRI字段的最高值。類型字段被設(shè)置成30。
CI報(bào)頭含有標(biāo)志，以便如下指示不同類型的內(nèi)容信息的出現(xiàn) 0 1 2 3 4 5 6 7
等于1的S比特指示出現(xiàn)了在draft-wenger-avt-rtp-rtp-svc-03(在www.tools.ietf.org/html/draft-wenger-avt-rtp-svc-03處可獲得，并且通過引用的方式合并于此)中的因特網(wǎng)草案所同樣指定的內(nèi)容可擴(kuò)縮性信息并且復(fù)制在下面
當(dāng)M比特等于1時(shí)，下面的多視圖內(nèi)容信息出現(xiàn)在CI有效載荷中
R比特被保留。TL(時(shí)間級(jí)別)被設(shè)置成在RTP有效載荷中的剩余NAL單元之中TL字段的最低值。VL(視圖級(jí)別)被設(shè)置成在RTP有效載荷中的剩余NAL單元之中VL字段的最低值。
A(anchor_pic_flag)被設(shè)置成在RTP有效載荷中的剩余NAL單元之中A字段的最高值。因此，等于1的A比特值指示RTP有效載荷含有與錨點(diǎn)圖像(anchor picture)相關(guān)聯(lián)的至少一個(gè)NAL單元。等于0的A比特值指示RTP有效載荷不含與錨點(diǎn)圖像相關(guān)聯(lián)的任何NAL單元。
num_views指示了隨后的view_id語法元素的數(shù)目。num_views被設(shè)置成這樣的值，即，該值指示在RTP有效載荷中的剩余NAL單元之中view_id的不同值的數(shù)目。
view_id的每個(gè)值指示了出現(xiàn)在RTP有效載荷中的剩余NAL單元之中的view_id。view_id的值不應(yīng)當(dāng)在CI有效載荷中重復(fù)。當(dāng)前，在MVC規(guī)范中，view_id的值是10比特的無符號(hào)整數(shù)，它們被轉(zhuǎn)換成用于CI有效載荷的16比特的無符號(hào)整數(shù)。
在本發(fā)明的一個(gè)實(shí)施例中，沒有出現(xiàn)num_views字段，并且只有view_id的一個(gè)值被包括在多視圖內(nèi)容信息中。因此，要求RTP分組(其包括PACSINAL單元)含有僅來自一個(gè)視圖的編碼數(shù)據(jù)。
CI報(bào)頭的R比特指示出現(xiàn)冗余編碼圖像信息。當(dāng)R比特等于1時(shí)，RTP有效載荷并不含有用于基本編碼圖像的任何NAL單元。沒有出現(xiàn)與R比特相對(duì)應(yīng)的任何CI有效載荷。
CI報(bào)頭的A比特指示出現(xiàn)如下的隨機(jī)訪問點(diǎn)。當(dāng)A比特等于1、S比特等于0并且M比特等于0時(shí)，RTP有效載荷含有屬于與恢復(fù)點(diǎn)SEI消息相關(guān)聯(lián)的幀內(nèi)圖像或IDR圖像的NAL單元，并且recovery_frame_cnt語法元素的值等于0。當(dāng)A比特和S比特等于1時(shí)，RTP有效載荷含有屬于SVC的IDR圖像的NAL單元。當(dāng)A比特和M比特等于1時(shí)，RTP有效載荷含有屬于MVC的視圖隨機(jī)訪問圖像(IDR圖像或錨點(diǎn)圖像)的NAL單元。
CI報(bào)頭的T比特指示出現(xiàn)時(shí)間級(jí)別切換點(diǎn)。當(dāng)T比特等于1時(shí)，S比特或M比特也必須等于1。當(dāng)T比特等于1時(shí)，在CI有效載荷中出現(xiàn)了下面的時(shí)間級(jí)別信息
TLT語法元素指示了在以下情況下可以切換到的時(shí)間級(jí)別從該點(diǎn)開始對(duì)含有等于或低于TLT的時(shí)間級(jí)別的所有分組進(jìn)行解碼(當(dāng)在先前(至少自從按照傳輸順序?qū)τ跁r(shí)間級(jí)別(TLT-1)的先前時(shí)間級(jí)別切換點(diǎn)以來)解碼了時(shí)間級(jí)別(TLT-1)時(shí))?？蛇x地，可以包括多個(gè)TLT值，以便指示在與以上相同情況下可以切換到的多個(gè)temporal_level(時(shí)間級(jí)別)值。
保留字段的比特被保留。在CI報(bào)頭中的Res字段的比特也被保留。當(dāng)在CI報(bào)頭中不止一個(gè)非保留比特被設(shè)置成1時(shí)，CI有效載荷語法結(jié)構(gòu)按照相應(yīng)比特在CI報(bào)頭中出現(xiàn)的順序而出現(xiàn)。
下面是本發(fā)明的各種實(shí)施例的另一實(shí)現(xiàn)，具體針對(duì)SVC的RTP有效載荷格式。在該實(shí)現(xiàn)中，通過如下添加不止一個(gè)八比特組(octet)來擴(kuò)展在美國專利申請(qǐng)No.11/622,430中所討論的有效載荷內(nèi)容可擴(kuò)縮性信息(PACSI)NAL單元。

如果含有目標(biāo)NAL單元的所有編碼圖像都是錨點(diǎn)圖像，則R字段被設(shè)置成1。否則，比特R被設(shè)置成0。目標(biāo)NAL單元是包含在聚合分組中但卻沒有包括在PACSI NAL單元中的這樣的NAL單元，它們處于在聚合分組中的PACSI NAL單元之后的第一個(gè)NAL單元所屬的訪問單元內(nèi)。錨點(diǎn)圖像是這樣的圖像，即如果從該圖像開始對(duì)層進(jìn)行解碼，則可以正確地解碼該層的(按照輸出順序)所有隨后的圖像。注意到，錨點(diǎn)圖像是針對(duì)錨點(diǎn)圖像所屬的層的隨機(jī)訪問點(diǎn)。然而，如果在錨點(diǎn)圖像處進(jìn)行隨機(jī)訪問，則按照解碼順序在該錨點(diǎn)圖像之后但是按照輸出順序在該錨點(diǎn)圖像之前的一些圖像可以指的是更早的圖像，因此這些圖像可能沒有被正確地解碼。
如果含有目標(biāo)NAL單元的所有編碼圖像(如上所定義的)是時(shí)間可擴(kuò)縮的層切換點(diǎn)，則T字段被設(shè)置成1。否則，比特T被設(shè)置成0。對(duì)于時(shí)間可擴(kuò)縮的層切換點(diǎn)，按照解碼順序在切換點(diǎn)處或之后具有相同的temporal_level值的所有編碼圖像并非指的是按照解碼順序在切換點(diǎn)之前的具有相同的temporal_level值的任何編碼圖像。
如果含有目標(biāo)NAL單元的所有編碼圖像(如上所定義的)是冗余圖像，則D字段被設(shè)置成1。否則，D字段被設(shè)置成0。如果在含有目標(biāo)NAL單元的所有編碼圖像(如上所定義的)之中具有最大的dependency_id(依賴_id)值的圖像是幀內(nèi)編碼圖像，即，該編碼圖像并非指的是在相同層中按照解碼順序的任何更早的編碼圖像，則I字段被設(shè)置成1。 RES字段被設(shè)置成0。
進(jìn)一步地，可能并不在PACSI NAL單元中傳送用于這些指示的字段，而是將它們直接添加到在RTP分組中的任何NAL單元之前的有效載荷結(jié)構(gòu)中。
對(duì)于SVC和MVC文件格式，可以通過聚合體NAL單元內(nèi)的附加字段來傳送指示。在不同的實(shí)施例中，所建議的聚合體NAL單元的附加字段及其語義類似于在上述不同實(shí)施例中的PACSI NAL單元的語義的字段。
圖1示出了與本發(fā)明一起使用的通用多媒體通信系統(tǒng)。如圖1所示，數(shù)據(jù)源100提供按照模擬、未壓縮數(shù)字或壓縮數(shù)字格式或這些格式的任何組合的源信號(hào)。編碼器110將源信號(hào)編碼成編碼媒體比特流。編碼器110能夠編碼不止一個(gè)媒體類型，諸如音頻和視頻，或者可以要求不止一個(gè)編碼器110來編碼不同媒體類型的源信號(hào)。編碼器110還可以獲得合成產(chǎn)生的輸入，諸如圖形和文本，或者它能夠產(chǎn)生合成媒體的編碼比特流。在下面，考慮了僅對(duì)一種媒體類型的一個(gè)編碼媒體比特流的處理，以便簡化描述。然而，應(yīng)當(dāng)注意到，通常實(shí)時(shí)廣播服務(wù)包括若干流(通常是至少一個(gè)音頻、視頻和文本字幕流)。還應(yīng)當(dāng)注意到，系統(tǒng)可以包括很多編碼器，但在下面僅考慮了一個(gè)編碼器110，以便不失一般性地簡化描述。
應(yīng)當(dāng)理解，盡管在此含有的文本和例子可以具體地描述編碼過程，然而，本領(lǐng)域的技術(shù)人員將很容易理解相同的概念和原理還適用于對(duì)應(yīng)的解碼過程，并且反之亦然。
編碼媒體比特流被傳送到存儲(chǔ)器120。存儲(chǔ)器120可以包括任何類型的大容量存儲(chǔ)器以存儲(chǔ)編碼媒體比特流。在存儲(chǔ)器120中的編碼媒體比特流的格式可以是元素自持(elementary selfcontained)的比特流格式，或者一個(gè)或多個(gè)編碼媒體比特流可以被封裝到容器文件中。一些系統(tǒng)操作“實(shí)況(live)”，即省略存儲(chǔ)器，并且將編碼媒體比特流從編碼器110直接傳送到發(fā)送機(jī)130。然后，編碼媒體比特流基于需要而被傳送到發(fā)送機(jī)130(也被稱為服務(wù)器)。在傳輸中使用的格式可以是元素自持的比特流格式、分組流格式，或者一個(gè)或多個(gè)編碼媒體比特流可以被封裝到容器文件中。編碼器110、存儲(chǔ)器120和發(fā)送機(jī)130可以駐留在相同的物理設(shè)備中，或者它們可以被包括在分離的設(shè)備中。編碼器110和發(fā)送機(jī)130可以在實(shí)況的情況下操作實(shí)時(shí)內(nèi)容，在這種情況下，編碼媒體比特流通常并不永久被存儲(chǔ)，而是在內(nèi)容編碼器110中和/或在發(fā)送機(jī)130中緩沖一小段時(shí)間，以便消除處理延遲、傳送延遲和編碼媒體比特率中的變化。
發(fā)送機(jī)130使用通信協(xié)議棧來發(fā)送編碼媒體比特流。該?？梢园ǖ幌抻趯?shí)時(shí)傳輸協(xié)議(RTP)、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)，以及因特網(wǎng)協(xié)議(IP)。當(dāng)通信協(xié)議棧是面向分組的時(shí)，發(fā)送機(jī)130將編碼媒體比特流封裝到分組中。例如，當(dāng)使用RTP時(shí)，發(fā)送機(jī)130根據(jù)RTP有效載荷格式將編碼媒體比特流封裝到RTP分組中。通常，每個(gè)媒體類型具有專用的RTP有效載荷格式。應(yīng)當(dāng)再次注意到，系統(tǒng)可以含有不止一個(gè)發(fā)送機(jī)130，但是出于簡化起見，下面的描述僅考慮了一個(gè)發(fā)送機(jī)130。
發(fā)送機(jī)130可以通過通信網(wǎng)絡(luò)連接到網(wǎng)關(guān)140或可以不通過通信網(wǎng)絡(luò)連接到網(wǎng)關(guān)140。網(wǎng)關(guān)140可以執(zhí)行不同類型的功能，諸如將根據(jù)一個(gè)通信協(xié)議棧的分組流轉(zhuǎn)換成另一通信協(xié)議棧、融合和叉開數(shù)據(jù)流，以及根據(jù)下行鏈路和/或接收機(jī)能力來操縱數(shù)據(jù)流(諸如根據(jù)主導(dǎo)的下行鏈路網(wǎng)絡(luò)狀況來控制轉(zhuǎn)發(fā)流的比特率)。網(wǎng)關(guān)140的例子包括多點(diǎn)會(huì)議控制單元(MCU)、在電路交換與分組交換視頻電話之間的網(wǎng)關(guān)、基于蜂窩的一鍵通(PoC)服務(wù)器、在手持?jǐn)?shù)字視頻廣播(DVB-H)系統(tǒng)中的IP封裝器，或者將廣播傳輸在本地轉(zhuǎn)發(fā)到家庭無線網(wǎng)絡(luò)的機(jī)頂盒。當(dāng)使用了RTP時(shí)，網(wǎng)關(guān)140被稱為RTP混合器并且充當(dāng)RTP連接的端點(diǎn)。
系統(tǒng)包括一個(gè)或多個(gè)接收機(jī)150，接收機(jī)150通常能夠?qū)鬏斝盘?hào)接收、解調(diào)和解封裝成編碼媒體比特流。編解碼器媒體比特流通常進(jìn)一步由解碼器160來處理，解碼器160的輸出是一個(gè)或多個(gè)未壓縮的媒體流。最后，呈遞器170可以利用例如揚(yáng)聲器或顯示器來再現(xiàn)未壓縮的媒體流。接收機(jī)150、解碼器160和呈遞器170可以駐留在相同的物理設(shè)備中或者它們可以被包括在分離的設(shè)備中。
應(yīng)當(dāng)注意，將要解碼的比特流可以從位于實(shí)際上任何類型的網(wǎng)絡(luò)內(nèi)的遠(yuǎn)程設(shè)備來接收。另外，可以從本地硬件或軟件接收比特流。
就比特率而言的可擴(kuò)縮性、解碼復(fù)雜度以及圖像大小是用于異構(gòu)和易于出錯(cuò)環(huán)境的期望屬性。期望該屬性以便對(duì)抗諸如與比特率、顯示分辨率、網(wǎng)絡(luò)吞吐量以及在接收設(shè)備中的計(jì)算能力有關(guān)的約束這樣的限制。
本發(fā)明的通信設(shè)備可以使用各種傳送技術(shù)來通信，包括但不限于碼分多址(CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)、通用移動(dòng)電信系統(tǒng)(UMTS)、時(shí)分多址(TDMA)、頻分多址(FDMA)、傳輸控制協(xié)議/因特網(wǎng)協(xié)議(TCP/IP)、短消息傳遞服務(wù)(SMS)、多媒體消息傳遞服務(wù)(MMS)、電子郵件、即時(shí)消息傳遞服務(wù)(IMS)、藍(lán)牙、IEEE 802.11，等等。通信設(shè)備可以使用各種介質(zhì)來通信，包括但不限于無線電、紅外、激光、線纜連接，等等。
圖2和圖3示出了在其中可以實(shí)現(xiàn)本發(fā)明的一個(gè)代表性電子設(shè)備50。然而，應(yīng)當(dāng)理解，本發(fā)明并不旨在局限于一個(gè)特定類型的設(shè)備。圖2和圖3的電子設(shè)備50包括外殼30、液晶顯示器形式的顯示器32、鍵板34、擴(kuò)音器36、耳機(jī)38、電池40、紅外端口42、天線44、根據(jù)本發(fā)明的一個(gè)實(shí)施例的UICC形式的智能卡46、讀卡器48、無線電接口電路52、編解碼器電路54、控制器56和存儲(chǔ)器58。單獨(dú)的電路和元件全都是本領(lǐng)域的公知類型，例如，在諾基亞系列的移動(dòng)電話中。
在方法步驟或過程的一般上下文中描述了文中所描述的各種實(shí)施例，它們可以通過體現(xiàn)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品在一個(gè)實(shí)施例中實(shí)現(xiàn)，該計(jì)算機(jī)程序產(chǎn)品包括在聯(lián)網(wǎng)環(huán)境中由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可讀指令，諸如程序代碼。計(jì)算機(jī)可讀介質(zhì)可以包括可裝卸和非可裝卸的存儲(chǔ)設(shè)備，包括但不限于只讀存儲(chǔ)器(ROM)、隨機(jī)訪問存儲(chǔ)器(RAM)、光盤(CD)、數(shù)字多用途光盤(DVD)等。通常，程序模塊可以包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等。與數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)的計(jì)算機(jī)可執(zhí)行指令以及程序模塊表示用于執(zhí)行文中所公開的方法的步驟的程序代碼的例子。這樣的可執(zhí)行指令或相關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)的特定序列表示用于實(shí)現(xiàn)在這樣的步驟或過程中所描述的功能的相應(yīng)動(dòng)作的例子。
本發(fā)明的實(shí)施例可以以軟件、硬件、應(yīng)用邏輯或者軟件、硬件和應(yīng)用邏輯的組合來實(shí)現(xiàn)。軟件、應(yīng)用邏輯和/或硬件可以駐留在例如芯片組、移動(dòng)設(shè)備、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)或服務(wù)器上。各種實(shí)施例的軟件和Web實(shí)現(xiàn)可以利用具有基于規(guī)則的邏輯和其它邏輯的標(biāo)準(zhǔn)編程技術(shù)來實(shí)現(xiàn)，以便完成各種數(shù)據(jù)庫搜索步驟或過程、相關(guān)步驟或過程、比較步驟或過程以及判定步驟或過程。各種實(shí)施例還可以完全或部分地在網(wǎng)絡(luò)元件或模塊中實(shí)現(xiàn)。應(yīng)當(dāng)注意，如在此或在下面的權(quán)利要求書中所使用的措辭“組件”和“模塊”旨在涵蓋使用一行或多行軟件代碼的實(shí)現(xiàn)和/或硬件實(shí)現(xiàn)和/或用于接收手動(dòng)輸入的設(shè)備。
已經(jīng)出于說明和描述的目的提供了對(duì)實(shí)施例的前述描述。前述描述并不旨在將本發(fā)明的實(shí)施例窮盡或限制成所公開的確切形式，并且鑒于以上教導(dǎo)，修改和變化是可能的，或者可以從各種實(shí)施例的實(shí)施中獲取。選擇和描述在此討論的實(shí)施例是為了解釋各種實(shí)施例的原理和性質(zhì)及其實(shí)際應(yīng)用，以便使得本領(lǐng)域技術(shù)人員能夠利用在各種實(shí)施例中并且具有適于特定預(yù)期使用的各種修改的本發(fā)明。在此所描述的實(shí)施例的特征可以被組合在所有可能的方法、裝置、模塊、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品的組合中。
權(quán)利要求
1.一種用于對(duì)視頻序列的編碼表示進(jìn)行分組化的方法，其包括
將多個(gè)數(shù)據(jù)單元分組化成第一分組，
其中，所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，其中，所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息，并且其中，第二數(shù)據(jù)單元被放置在第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述第一分組包括實(shí)時(shí)傳輸協(xié)議分組。
3.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括在所述第二數(shù)據(jù)單元中提供指示，其指示了所有所述多個(gè)數(shù)據(jù)單元共有的特性。
4.根據(jù)權(quán)利要求3所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的冗余編碼圖像的指示。
5.根據(jù)權(quán)利要求3所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的時(shí)間級(jí)別切換點(diǎn)的指示。
6.根據(jù)權(quán)利要求3所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的逐漸解碼訪問點(diǎn)的指示。
7.根據(jù)權(quán)利要求3所述的方法，其中所述指示包括所述多個(gè)數(shù)據(jù)單元所屬的視圖的指示。
8.根據(jù)權(quán)利要求3所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的視圖隨機(jī)訪問圖像的指示。
9.一種體現(xiàn)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品，其包括用于實(shí)現(xiàn)權(quán)利要求1的過程的計(jì)算機(jī)代碼。
10.一種裝置，其包括
處理器；以及
存儲(chǔ)器單元，所述存儲(chǔ)器單元在通信上連接到所述處理器并且包括
用于將多個(gè)數(shù)據(jù)單元分組化成第一分組的計(jì)算機(jī)代碼，
其中，所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，其中，所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息，并且其中，第二數(shù)據(jù)單元被放置在第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前。
11.根據(jù)權(quán)利要求10所述的裝置，其中，所述第一分組包括實(shí)時(shí)傳輸協(xié)議分組。
12.根據(jù)權(quán)利要求10所述的裝置，其中所述存儲(chǔ)器單元進(jìn)一步包括用于在所述第二數(shù)據(jù)單元中提供指示的計(jì)算機(jī)代碼，所述指示指示了所有所述多個(gè)數(shù)據(jù)單元共有的特性。
13.根據(jù)權(quán)利要求12所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的冗余編碼圖像的指示。
14.根據(jù)權(quán)利要求12所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的時(shí)間級(jí)別切換點(diǎn)的指示。
15.根據(jù)權(quán)利要求12所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的逐漸解碼訪問點(diǎn)的指示。
16.根據(jù)權(quán)利要求12所述的裝置，其中所述指示包括所述多個(gè)數(shù)據(jù)單元所屬的視圖的指示。
17.根據(jù)權(quán)利要求12所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的視圖隨機(jī)訪問圖像的指示。
18.一種處理視頻序列的分組化比特流表示的方法，其包括
從第一分組中讀取多個(gè)數(shù)據(jù)單元，其中，所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，其中，所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息，并且其中，所述第二數(shù)據(jù)單元被放置在所述第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前；以及
基于所述第二數(shù)據(jù)單元中所含的信息來處理所述多個(gè)數(shù)據(jù)單元。
19.根據(jù)權(quán)利要求18所述的方法，其中，所述第一分組包括實(shí)時(shí)傳輸協(xié)議分組。
20.根據(jù)權(quán)利要求18所述的方法，其中，所述第二數(shù)據(jù)單元包括指示了所有所述多個(gè)數(shù)據(jù)單元共有的特性的指示。
21.根據(jù)權(quán)利要求20所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的冗余編碼圖像的指示。
22.根據(jù)權(quán)利要求20所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的時(shí)間級(jí)別切換點(diǎn)的指示。
23.根據(jù)權(quán)利要求20所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的逐漸解碼訪問點(diǎn)的指示。
24.根據(jù)權(quán)利要求20所述的方法，其中所述指示包括所述多個(gè)數(shù)據(jù)單元所屬的視圖的指示。
25.根據(jù)權(quán)利要求20所述的方法，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的視圖隨機(jī)訪問圖像的指示。
26.一種體現(xiàn)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品，其包括用于實(shí)現(xiàn)權(quán)利要求18的過程的計(jì)算機(jī)代碼。
27.一種裝置，其包括
處理器；以及
存儲(chǔ)器單元，所述存儲(chǔ)器單元在通信上連接到處理器并且包括
用于從第一分組中讀取多個(gè)數(shù)據(jù)單元的計(jì)算機(jī)代碼，其中，所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，其中，所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息，并且其中，所述第二數(shù)據(jù)單元被放置在所述第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前；以及
用于基于所述第二數(shù)據(jù)單元中所含的信息來處理所述多個(gè)數(shù)據(jù)單元的計(jì)算機(jī)代碼。
28.根據(jù)權(quán)利要求27所述的裝置，其中，所述第一分組包括實(shí)時(shí)傳輸協(xié)議分組。
29.根據(jù)權(quán)利要求27所述的裝置，其中，所述第二數(shù)據(jù)單元包括指示了所有所述多個(gè)數(shù)據(jù)單元共有的特性的指示。
30.根據(jù)權(quán)利要求29所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的冗余編碼圖像的指示。
31.根據(jù)權(quán)利要求29所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的時(shí)間級(jí)別切換點(diǎn)的指示。
32.根據(jù)權(quán)利要求29所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的逐漸解碼訪問點(diǎn)的指示。
33.根據(jù)權(quán)利要求29所述的裝置，其中所述指示包括所述多個(gè)數(shù)據(jù)單元所屬的視圖的指示。
34.根據(jù)權(quán)利要求29所述的裝置，其中所述指示包括在所述多個(gè)數(shù)據(jù)單元內(nèi)的視圖隨機(jī)訪問圖像的指示。
35.一種設(shè)備，其包括
用于將多個(gè)數(shù)據(jù)單元分組化成第一分組的裝置，
其中，所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，其中，所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息，并且其中，第二數(shù)據(jù)單元被放置在第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前。
36.一種設(shè)備，其包括
用于從第一分組中讀取多個(gè)數(shù)據(jù)單元的裝置，其中，所述多個(gè)數(shù)據(jù)單元的第一數(shù)據(jù)單元包括至少一部分編碼比特流，其中，所述多個(gè)數(shù)據(jù)單元的第二數(shù)據(jù)單元包括總結(jié)了編碼視頻的所述部分的內(nèi)容的信息，并且其中，所述第二數(shù)據(jù)單元被放置在所述第一分組中的所述多個(gè)數(shù)據(jù)單元的任何其它數(shù)據(jù)單元之前；以及
用于基于所述第二數(shù)據(jù)單元中所含的信息來處理所述多個(gè)數(shù)據(jù)單元的裝置。
全文摘要
一種用于傳送信息的系統(tǒng)和方法，該信息有助于網(wǎng)絡(luò)中間體或媒體播放器以易于訪問的方式?jīng)Q定將要在RTP有效載荷或文件格式數(shù)據(jù)單元內(nèi)轉(zhuǎn)發(fā)或處理哪些編碼數(shù)據(jù)單元。該機(jī)制可以用于提供對(duì)諸如冗余編碼圖像、時(shí)間級(jí)別切換點(diǎn)、逐漸解碼刷新訪問點(diǎn)、視圖標(biāo)識(shí)符以及視圖隨機(jī)訪問點(diǎn)這樣的項(xiàng)目的指示。然后，中間體和/或接收機(jī)可以使用該信息來確定是否需要處理和/或傳送特定的編碼數(shù)據(jù)單元。
文檔編號(hào)H04N7/26GK101611612SQ200880004918
公開日2009年12月23日 申請(qǐng)日期2008年2月22日 優(yōu)先權(quán)日2007年2月23日
發(fā)明者M·漢努卡塞拉, Y-K·王 申請(qǐng)人:諾基亞公司