專利名稱：：用于可伸縮多媒體的自適應(yīng)路徑的通用指示的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明總體上涉及可伸縮視頻編碼領(lǐng)域。更具體地，本發(fā)明涉及通用地指示用于可伸縮多媒體的自適應(yīng)路徑。
背景技術(shù)：
：本部分旨在對(duì)權(quán)利要求中細(xì)述的本發(fā)明提供背景或上下文。此處的描述可以包括能夠被探究的概念，卻不必須是那些之前已經(jīng)想到或者探究的概念。因此，除了在此明確指出外，本部分提及的內(nèi)容對(duì)于本申請(qǐng)的說(shuō)明書(shū)和權(quán)利要求書(shū)而言不是現(xiàn)有技術(shù)，并且并不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)其為現(xiàn)有技術(shù)。多媒體應(yīng)用包括本地播放、流式傳輸或點(diǎn)播、會(huì)話式和廣播/多播服務(wù)。多媒體應(yīng)用中涉及的技術(shù)例如包括媒體編碼、存儲(chǔ)和傳輸。媒體類型包括語(yǔ)音、音頻、圖像、視頻、圖形和時(shí)間文本。已經(jīng)針對(duì)不同技術(shù)制定了不同標(biāo)準(zhǔn)。存在很多視頻編碼標(biāo)準(zhǔn)，包括ITU-TH.261、ISO/IECMPEG-lVisual、ITU-TH.262或者ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual和ITU-TH.264或者ISO/IECMPEG-4AVC。H.264/AVC是ITU-T視頻編碼專家組(VCEG)和ISO/IECMPEG的聯(lián)合視頻組(JVT)的工作成果。還存在針對(duì)視頻編碼的專用解決方案(例如，基于Microsoft的WindowsMediaVideo第9版本的VC-1,也公知為SMPTE標(biāo)準(zhǔn)421M)，和國(guó)家標(biāo)準(zhǔn)化倡議(例如，中國(guó)的音頻和視頻編碼標(biāo)準(zhǔn)工作組的AVS編解碼器)。這些標(biāo)準(zhǔn)的某些已經(jīng)制定了可伸縮擴(kuò)展，例如，MPEG-2Visual和MPEG-4Visual。對(duì)于H.264/AVC,目前正在開(kāi)發(fā)可伸縮纟見(jiàn)頻編碼擴(kuò)展SVC，有時(shí)也稱作SVC標(biāo)準(zhǔn)。在JVT-T201中描述了SVC的最新草案，即，2006年7月在奧地利的Klagenfurt舉行的第20屆JVT會(huì)議上的"JointDraft7ofSVCAmendment"，其可從http:〃ftp3.itu.ch/av-arch/jvt-site/2006—07—Klagenfurt/JVT國(guó)T201.zip獲^曰付。SVC可以提供可伸縮視頻比特流?？缮炜s視頻比特流的一部分可以以降級(jí)的播放視覺(jué)質(zhì)量來(lái)提取和解碼?？缮炜s視頻比特流包含不可伸縮的基本層和一個(gè)或多個(gè)增強(qiáng)層。增強(qiáng)層可以增強(qiáng)時(shí)間分辨率(即，幀速率)、空間分辨率，或者簡(jiǎn)單地增強(qiáng)較低層或其部分所表示的視頻內(nèi)容的質(zhì)量。在某些情況下，可以在某個(gè)定位之后，甚至在任意位置處，截?cái)嘣鰪?qiáng)層的數(shù)據(jù)，并且每個(gè)截?cái)辔恢每梢园ū硎局饾u增強(qiáng)的視覺(jué)質(zhì)量的某些附加數(shù)據(jù)。這種可伸縮性被稱為精細(xì)粒度(顆粒度)可伸縮性(FGS)。與FGS相反，未提供精細(xì)粒度可伸縮性的質(zhì)量增強(qiáng)層所提供的可伸縮性稱為粗粒度可伸縮性(CGS)。基本層也可以設(shè)計(jì)成是FGS可伸縮的。最新SVC規(guī)范中用于提供時(shí)間可伸縮性的機(jī)制稱為"分層(hierarchical)B圖片，，編碼結(jié)構(gòu)。此特征完全由高級(jí)視頻編碼(AVC)支持，而信令部分可以通過(guò)使用子序列相關(guān)的補(bǔ)充增強(qiáng)信息(SEI)消息執(zhí)行。最新SVC規(guī)范中用于提供時(shí)間可伸縮性的機(jī)制稱為"分層(hierarchical)B圖片，，編碼結(jié)構(gòu)。此特征完全由AVC支持，而信令部分可以通過(guò)使用子序列相關(guān)的補(bǔ)充增強(qiáng)信息(SEI)消息執(zhí)行。對(duì)于提供空間和CGS可伸縮性的機(jī)制，與較早標(biāo)準(zhǔn)中使用的編碼技術(shù)類似的傳統(tǒng)分層編碼技術(shù)和某些新的層間預(yù)測(cè)方法一起使用?？梢許皮層間預(yù)測(cè)的數(shù)據(jù)包括內(nèi)部紋理(intratexture)、運(yùn)動(dòng)和殘差數(shù)據(jù)。單循環(huán)解碼由受約束的內(nèi)部紋理預(yù)測(cè)模式支持，由此，層間內(nèi)部紋理預(yù)測(cè)可以應(yīng)用至這樣的宏塊(MB),其中，基本層的相應(yīng)塊位于內(nèi)部MB中。同時(shí)，基本層中那些內(nèi)部MB使用受約束的內(nèi)部預(yù)測(cè)。在單循環(huán)解碼中，解碼器僅需要為播放所需的可伸縮6層(稱為，所需的層)執(zhí)行運(yùn)動(dòng)補(bǔ)償和完全圖片重建。由于此原因，極大地降低了解碼復(fù)雜性。除了所需的層之外的所有層都不需要完全解碼，因?yàn)橹亟ㄋ璧膶硬⒉恍枰从糜趯娱g預(yù)測(cè)(層間內(nèi)部紋理預(yù)測(cè)、層間運(yùn)動(dòng)預(yù)測(cè)或者層間殘差預(yù)測(cè))的MB的數(shù)據(jù)的全部或部分。空間可伸縮性已經(jīng)通用化為支持基本層成為增強(qiáng)層的裁剪和縮放版本。量化和熵編碼模塊被調(diào)整以提供FGS能力。編碼模式被稱為逐步細(xì)化，其中通過(guò)重復(fù)遞減量化步長(zhǎng)大小和對(duì)子位面(sub-bitplane)編碼應(yīng)用同族"循環(huán)"熵編碼來(lái)對(duì)變換系數(shù)的連續(xù)細(xì)化進(jìn)4于編碼。當(dāng)前草案SVC標(biāo)準(zhǔn)中的可伸縮層結(jié)構(gòu)的特征在于三個(gè)變量，稱為temporal—level(時(shí)間級(jí))、depenency一id(相關(guān)性id)和quality—level(質(zhì)量級(jí))，它們?cè)诒忍亓髦杏眯盘?hào)通知，并且可以根據(jù)規(guī)范而導(dǎo)出。temporal—level用于指示時(shí)間層層級(jí)或幀速率。包括較小temporaljevel^i的圖片的層比包4舌4交大temporal—level的圖片的層的幀速率要小。depenencyjd用于指示層間相關(guān)性層級(jí)。在任何時(shí)間定位處，較小depenencyjd值的圖片可以用于針對(duì)具有較大depenency_id值的圖片編碼的層間預(yù)測(cè)。quality—level用于指示FGS層層級(jí)。在任何時(shí)間定位處和具有相同depenency—id值的情況下，具有quality—level值等于QL的FGS圖片使用quality—level值等于QL-1的FGS圖片或基本質(zhì)量圖片(即，當(dāng)QL-1=0時(shí)，是非FGS圖片)，用于層間預(yù)測(cè)。在包括至少兩個(gè)CGS或空間可伸縮層的可伸縮視頻的單循環(huán)解碼中，較低層中已編碼圖片的僅一部分用于對(duì)較高層中相應(yīng)已編碼圖片的預(yù)測(cè)(即，層間預(yù)測(cè))。因此，如果發(fā)送器知道接收器中播放所需的可伸縮層，則可以通過(guò)忽略并不用于層間預(yù)測(cè)且并不位于播放所需的任何可伸縮層中的那些部分，而減小用于傳輸?shù)谋忍厮俾?。?yīng)當(dāng)注意的是，在不同客戶端可能希望用于播放的不同層的多播或廣播的情況下，那些層被稱為所需的層。SVC的比特流格式包括SVC的每個(gè)網(wǎng)絡(luò)抽象層(NAL)單元報(bào)頭中simple_priority_id(簡(jiǎn)單優(yōu)先級(jí)id)的信令。這支持用于SVC比特流的一個(gè)自適應(yīng)路徑的信令。另外，SVC比特流的自適應(yīng)可以沿著dependency—id、quality—level和temporal—level或這些與simple_priority—id的4壬4可組合來(lái)實(shí)現(xiàn)。然而，simple_priority—id<又能夠表示去往自適應(yīng)路徑的SVC比特流的一個(gè)分區(qū)。其他自適應(yīng)分區(qū)可以基于不同優(yōu)化標(biāo)準(zhǔn)而同樣進(jìn)行良好的計(jì)算，但并不存在將這些自適應(yīng)分區(qū)與SVC比特流關(guān)聯(lián)的方法。文件格式是多媒體內(nèi)容制作、操縱、傳輸和消費(fèi)的鏈中重要的元素。在編碼格式和文件格式之間存在不同。編碼格式涉及將內(nèi)容信息編碼成比特流的特定編碼算法的動(dòng)作。文件格式表示以這樣的方式對(duì)生成的比特流進(jìn)行組織，該方式即使其能夠針對(duì)本地解碼和播放被訪問(wèn)、作為文件傳送，或流式傳輸，所有這些都利用各種存儲(chǔ)和傳輸架構(gòu)。另外，文件格式可以促進(jìn)媒體的交換和編輯。例如，很多流式傳輸應(yīng)用需要服務(wù)器上的預(yù)編碼比特流伴隨有協(xié)助服務(wù)器將媒體流式傳輸至客戶端的元數(shù)據(jù)(存儲(chǔ)在"索引軌道(hint-track)，，中)。索引軌道元數(shù)據(jù)的示例包括時(shí)控信息、同步點(diǎn)的指示和分包(packetization)提示。此信息用于降低服務(wù)器的操作負(fù)載，以及最大化最終用戶體驗(yàn)?？捎妹襟w文件格式標(biāo)準(zhǔn)包括ISO基本媒體文件格式(ISO/IEC14496-12)、MPEG-4文件格式(ISO/IEC14496-14)、AVC文件格式(ISO/IEC14496-15)和3GPP文件才各式(3GPPTS26.244)。還存在MPEG中的計(jì)劃，該計(jì)劃用于開(kāi)發(fā)SVC文件格式，這將成為對(duì)AVC文件格式的修正。MPEG-4、AVC、3GPP和SVC文件格式都是ISO基本媒體文件格式的派生物，即，它們共享同樣的基礎(chǔ)語(yǔ)法結(jié)構(gòu)。因此，它們大部分彼此兼容。ISO基本媒體文件格式是面向?qū)ο蟮奈募袷?，其中?shù)據(jù)被封裝在稱為"包(box)"的結(jié)構(gòu)中。在ISO基本媒體文件格式的所有派生文件格式中，媒體數(shù)據(jù)存儲(chǔ)在媒體數(shù)據(jù)包MDAT中，并且元數(shù)據(jù)8存儲(chǔ)在電影包MOOV中。媒體數(shù)據(jù)包括實(shí)際的媒體采樣。其例如可以包括交織的、時(shí)間排序的視頻和音頻幀。每個(gè)媒體在MOOV包中具有其自己的元數(shù)據(jù)包TRAK，其對(duì)媒體內(nèi)容屬性進(jìn)行描述。MOOV包中另外的包可以包括關(guān)于文件屬性、文件內(nèi)容等的信息。SVC文件格式正在成為AVC文件格式的擴(kuò)展。SVC文件格式有效地處理可伸縮視頻流的存儲(chǔ)、提取和伸縮性提供。包含可伸縮比特流的文件大小應(yīng)當(dāng)盡可能小，但同時(shí)仍舊允許屬于不同層的NAL單元的輕型(lightweight)提取。這需要避免媒體數(shù)據(jù)多個(gè)表示的冗余存儲(chǔ)，并需要元數(shù)據(jù)的高效表示。存在用于組織SVC文件的兩個(gè)主要機(jī)制。第一，可以使用分組概念(即，ISO基本媒體文件格式中的采樣組結(jié)構(gòu))來(lái)指示圖片與可伸縮層的關(guān)系。第二，可以定義參考比特流子集的若干軌道，每個(gè)軌道對(duì)應(yīng)于形成播放點(diǎn)的可伸縮層的特定組合。圖1描繪了如何將SVC媒體數(shù)據(jù)存儲(chǔ)在文件中。每個(gè)訪問(wèn)單元包括一個(gè)采樣。多個(gè)采樣形成組塊(chunk)。實(shí)際內(nèi)容通常包括很多組塊。文件閱讀器通常一次讀取并處理一個(gè)組塊。如果播放所需的分層結(jié)構(gòu)不需要訪問(wèn)單元的所有(用于時(shí)間可伸縮性)和/或每個(gè)需要的訪問(wèn)單元中的所有圖片(用于其他類型的可伸縮性)，則可以丟棄不希望的訪問(wèn)單元和/或圖片。在圖片級(jí)執(zhí)行丟棄操作是最高效的。然而，由于每個(gè)采樣包括一個(gè)訪問(wèn)單元，所以采樣級(jí)分組并不是最優(yōu)的。另一方面，如果每個(gè)圖片被定義為一個(gè)采樣，則將打破這樣的定義，即，每個(gè)采樣是對(duì)應(yīng)于ISO基本媒體文件格式中某個(gè)呈現(xiàn)時(shí)間的媒體數(shù)據(jù)。在最新起草的SVC文件格式中，單詞"層級(jí)(tier)，，用于描述層(layer)。每個(gè)NAL單元與組ID相關(guān)聯(lián)，并且多個(gè)組ID值被映射到由層級(jí)ID標(biāo)識(shí)的層級(jí)。這樣，針對(duì)層級(jí)ID,可以找到相關(guān)聯(lián)的NAL單元。每個(gè)層級(jí)的可伸縮性信息，包括，比特速率、空間分辨率、幀速率等在數(shù)據(jù)結(jié)構(gòu)ScalableTierEntry()中用信號(hào)通知。在ISO基本媒體文件格式修正1中引入的時(shí)控元數(shù)據(jù)軌道包含描述相關(guān)聯(lián)的媒體或索引軌道的采樣?？梢砸?guī)定用于時(shí)控(timed)元數(shù)據(jù)軌道的不同采樣格式，并且可以從對(duì)特定采樣入口語(yǔ)法的參考(由四字符碼標(biāo)識(shí))識(shí)別出在時(shí)控元數(shù)據(jù)軌道中使用的格式。時(shí)控元數(shù)據(jù)軌道的采樣與時(shí)間戳相關(guān)聯(lián)，并且因此與所參考的軌道中相應(yīng)時(shí)間戳的采樣相關(guān)聯(lián)。ISO基本媒體文件格式的修正2草案包含擴(kuò)展ISO基本媒體文件格式的三個(gè)主要特征。第一，其規(guī)定了這樣的結(jié)構(gòu)該結(jié)構(gòu)有助于通過(guò)諸如ALC和FLUTE的文件遞送協(xié)議對(duì)存儲(chǔ)在ISO基本媒體文件的元包中的文件進(jìn)行遞送。具體地，該修正提供了這樣的功能，即存儲(chǔ)預(yù)先計(jì)算的文件的FEC編碼，以及利用促進(jìn)將文件封裝成ALC/FLUTE分組的服務(wù)器指令來(lái)定義索引軌道。第二，修正2規(guī)定了這樣的方法，其提供關(guān)于可伸縮流和備選流之間(假定它們共享公共的帶寬資源)目標(biāo)比例的時(shí)間依賴信息。此信息稱為組合的速率伸縮信息。第三，該修正還規(guī)定了如何將附加的元包(其將備選信息和/或補(bǔ)充信息攜帶至元包)包括在文件中。草案ISO基本媒體文件格式修正2中的組合速率伸縮信息是基于兩個(gè)基本假設(shè)1.假設(shè)組合媒體(例如，音頻和視頻)應(yīng)當(dāng)通過(guò)其進(jìn)行傳送的信道的總比特速率被限制于某個(gè)常數(shù)，或者是時(shí)間的分段(piece-wise)常數(shù)函數(shù)。然而，除了指示用于某個(gè)總比特速率的最優(yōu)音頻-視頻比特速率份額(share)之外，某些應(yīng)用可能受益于穩(wěn)定的音頻-視覺(jué)質(zhì)量或體驗(yàn)的自適應(yīng)路徑的指示。例如，如果在廣播應(yīng)用中使用統(tǒng)計(jì)的多路復(fù)用，則允許單獨(dú)的音頻視覺(jué)服務(wù)的比特速率變化，以便維持穩(wěn)定的質(zhì)量。同時(shí)，用于多路復(fù)用的所有音頻視覺(jué)(audiovisual)服務(wù)上的總比特速率應(yīng)當(dāng)保持不變。傳統(tǒng)上，不能指示用于維護(hù)穩(wěn)定質(zhì)量的速率份額信息。2.僅給出了軌道之間的目標(biāo)比特速率份額。然而，并未給出關(guān)于如何通過(guò)自適應(yīng)來(lái)獲得指示的目標(biāo)比特速率份額的提示或"食譜(cookbook)"指令。因此，由于存在對(duì)可伸縮媒體進(jìn)行調(diào)整(例如，幀速率伸縮或質(zhì)量伸縮)的多種可能性，所以不同實(shí)現(xiàn)中的自適應(yīng)結(jié)果可能非常不同。因此，削弱了草案ISO基本媒體文件格式修正2的組合速率伸縮信息的價(jià)值。如上所述，SVC利用單循環(huán)解碼，即，僅針對(duì)最高解碼層對(duì)參考圖片進(jìn)行解碼。因此，不可能實(shí)現(xiàn)在任意定位處的層之間的切換，因?yàn)閷⒁袚Q至的層的參考圖片并未被解碼?？梢詮腟VCNAL單元報(bào)頭推斷出層切換點(diǎn)的存在，但是在傳統(tǒng)系統(tǒng)中并不存在指示SVC文件格式結(jié)構(gòu)中切換點(diǎn)的機(jī)制。此外，如果移除了高于某個(gè)閾值simple_priority_id的SVCNAL單元，則已編碼的視頻序列保持有效。然而，如果simple_priority—id在已編碼的視頻序列的中間(即,IDR訪問(wèn)單元之間)發(fā)生了改變，則不能保證流的有效性。
發(fā)明內(nèi)容本發(fā)明提供了用于與可伸縮媒體編碼系統(tǒng)和方法一起使用的文件格式結(jié)構(gòu)，其中速率份額操作包指示在文件中哪些用于已編碼的媒體的自適應(yīng)操作點(diǎn)可用。速率份額操作包可以包括用于每個(gè)自適應(yīng)操作點(diǎn)的自適應(yīng)結(jié)果的特征。另外，速率份額操作包可以包括標(biāo)識(shí)符，該標(biāo)識(shí)符指示在生成每個(gè)自適應(yīng)操作點(diǎn)時(shí)使用哪個(gè)算法。內(nèi)容來(lái)選擇期待的自適應(yīng)操作點(diǎn)單元的約束和能力如何與自適應(yīng)操作點(diǎn)的特征或者期待的算法(利用該期待的算法計(jì)算出自適應(yīng)操作點(diǎn))的特征匹配?？梢蕴峁┧俾史蓊~信息，使得其可以用于在媒體流中維持穩(wěn)定的音頻視覺(jué)質(zhì)量。另外，例如從幀速率伸縮和質(zhì)量伸縮方面看來(lái)，作為可伸縮媒體的自適應(yīng)結(jié)果的媒體更加可靠。通過(guò)下述結(jié)合附圖的具體描述，本發(fā)明的這些和其他優(yōu)點(diǎn)與特征，連同其組織和操作方式都將變得明顯，其中貫穿下述若干附圖，相同附圖標(biāo)記表示相同元素。ii圖1是示出了如何將SVC媒體數(shù)據(jù)存儲(chǔ)在文件中的圖示；圖2示出了用于與本發(fā)明一起使用的通用多媒體通信系統(tǒng)；圖3是可以在本發(fā)明的實(shí)現(xiàn)中使用的移動(dòng)電話的透^L圖4是圖2的移動(dòng)電話的電話電路的示意圖示；圖5示出了指示作為時(shí)間函數(shù)的音頻/視頻速率份額的圖示；以及圖6示出了指示作為可用比特速率的函數(shù)的音頻速率份額的圖示。具體實(shí)施例方式本發(fā)明提供了文件格式結(jié)構(gòu)，在此稱為"速率份額操作包"，用于指示在文件中用于已編碼媒體的哪些自適應(yīng)操作點(diǎn)可用。圖1示出了用于與本發(fā)明一起使用的通用多媒體通信系統(tǒng)。如圖l所示，數(shù)據(jù)源100以模擬、未壓縮數(shù)字式、或壓縮數(shù)字格式或這些格式的任意組合提供源信號(hào)。編碼器110將源信號(hào)編碼成已編碼媒體比特流。編碼器110能夠?qū)Χ嘤谝粋€(gè)的媒體類型(諸如，音頻和視頻)進(jìn)行編碼，或者可能需要多于一個(gè)的編碼器iio以對(duì)源信號(hào)的不同媒體類型進(jìn)行編碼。編碼器110還可以得到合成產(chǎn)生的輸入，諸如圖形和文本，或者其能夠產(chǎn)生合成媒體的已編碼比特流。在下文中，僅考慮對(duì)一個(gè)媒體類型的一個(gè)已編碼媒體比特流進(jìn)行處理，以便簡(jiǎn)化描述。然而，應(yīng)當(dāng)注意的是，通常實(shí)時(shí)廣^"服務(wù)包括若干比特流(通常，至少一個(gè)音頻、視頻和文本字幕流)。還應(yīng)當(dāng)注意的是，系統(tǒng)可以包括很多編碼器，但是在下文中，不失一般性地，僅考慮一個(gè)編碼器110,以簡(jiǎn)化描述。已編碼媒體比特流式傳輸至存儲(chǔ)設(shè)備120。存儲(chǔ)設(shè)備120可以包括任何類型的海量存儲(chǔ)器，以存儲(chǔ)已編碼的媒體比特流。存儲(chǔ)設(shè)備120中已編碼媒體比特流的格式可以是基本自給的(elementaryself-contained)比特流沖各式，或者一個(gè)或多個(gè)已編碼比特流可以封裝至容器文件中。某些系統(tǒng)"直播"操作，即，省略存儲(chǔ)設(shè)備，而直接將已編碼媒體比特流從編碼器110傳輸至發(fā)送器130。已編碼媒體比特流隨后傳輸至發(fā)送器130，根據(jù)需要，也稱為服務(wù)器。在傳輸中使用的格式可以是基本自給的比特流格式、分組流格式，或者一個(gè)或多個(gè)已編碼媒體比特流可以封裝至容器文件中。編碼器110、存儲(chǔ)設(shè)備120和發(fā)送器130可以位于同一物理設(shè)備中，或者它們可以包括在單獨(dú)的設(shè)備中。編碼器IIO和發(fā)送器130可以利用直播實(shí)時(shí)內(nèi)容進(jìn)行操作，在該情況下，已編碼媒體比特流通常不會(huì)永久存儲(chǔ)，而是在內(nèi)容編碼器110和/或發(fā)送器130中緩沖一小段時(shí)間，以平滑處理延遲、傳輸延遲和已編碼媒體比特速率的變化。發(fā)送器130使用通信協(xié)議棧來(lái)發(fā)送已編碼媒體比特流。?？梢园ǖ幌抻趯?shí)時(shí)傳輸協(xié)議(RTP)、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)和互聯(lián)網(wǎng)協(xié)議(IP)。當(dāng)通信協(xié)議是面向分組的時(shí)候，發(fā)送器130將已編碼媒體流封裝至分組中。例如，當(dāng)使用RTP時(shí)，發(fā)送器130根據(jù)RTP凈荷格式將已編碼媒體比特流封裝至RTP分組中。通常，每個(gè)媒體類型具有專用RTP凈荷格式。再次需要注意，系統(tǒng)可以包含多于一個(gè)的發(fā)送器130，但是為了簡(jiǎn)化，以下描述僅考慮一個(gè)發(fā)送器130。發(fā)送器130可以或可以不通過(guò)通信網(wǎng)絡(luò)連接至網(wǎng)關(guān)140。網(wǎng)關(guān)140可以執(zhí)行不同類型的功能，諸如將根據(jù)一個(gè)通信協(xié)議棧的分組流轉(zhuǎn)譯成另一通信協(xié)議棧、合并以及分流數(shù)據(jù)流，以及根據(jù)下行鏈路和/或接收機(jī)的能力操縱數(shù)據(jù)流，諸如控制根據(jù)流行的下行鏈路網(wǎng)絡(luò)條件控制轉(zhuǎn)發(fā)的比特流的比特速率。網(wǎng)關(guān)140的示例包括多點(diǎn)會(huì)議控制單元(MCU)、電^各交換和分組交換視頻電話之間的網(wǎng)關(guān)、一鍵通話(PoC)服務(wù)器、手持?jǐn)?shù)字視頻廣播(DVB-H)系統(tǒng)的IP封裝器，或者將本地廣播傳輸轉(zhuǎn)發(fā)到家庭無(wú)線網(wǎng)絡(luò)的機(jī)頂盒。當(dāng)使用RTP時(shí)，網(wǎng)關(guān)140被稱為RTP混合器，并且作為RTP連接的端點(diǎn)。系統(tǒng)包括一個(gè)或者多個(gè)接收機(jī)150,其通常能夠接收、解調(diào)已傳輸?shù)男盘?hào)，以及將其解封裝為已編碼的媒體比特流。已編解碼的媒體比特流通常進(jìn)一步由解碼器160處理，其輸出是一個(gè)或者多個(gè)未壓縮的媒體流。最后，重現(xiàn)器170可以例如通過(guò)揚(yáng)聲器或者顯示器重現(xiàn)未壓縮的媒體流。接收機(jī)150、解碼器160和重現(xiàn)器170可以處于同一物理設(shè)備中，或者它們可以被包含在單獨(dú)的設(shè)備中。根據(jù)比特速率、解碼復(fù)雜度和圖片大小的可伸縮性是異質(zhì)(heterogeneous)的和易出錯(cuò)的環(huán)境中期待的性質(zhì)。期待此性質(zhì)，以便應(yīng)對(duì)諸如比特速率、顯示器分辨率、網(wǎng)絡(luò)吞吐量和接收設(shè)備中計(jì)算功率上的約束之類的限制。本發(fā)明的通信設(shè)備可以使用各種傳輸技術(shù)進(jìn)行通信，其中所述的各種傳輸技術(shù)包括但不限于，碼分多址(CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)、通用移動(dòng)通信系統(tǒng)(UMTS)、時(shí)分多址(TDMA)、頻分多址(FDMA)、傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議(TCP/IP)、短消息傳遞服務(wù)(SMS)、多媒體消息傳遞服務(wù)(MMS)、電子郵件、即時(shí)消息傳遞服務(wù)(IMS)、藍(lán)牙、IEEE802.il等。通信設(shè)備可以使用各種媒體進(jìn)行通信，其中各種媒體包括但不限于無(wú)線電、紅外、激光、線纜連接等。圖2和圖3示出了本發(fā)明可以在其中實(shí)現(xiàn)的一個(gè)代表性移動(dòng)電話12。然而，應(yīng)當(dāng)理解的是，本發(fā)明不旨在限于一種特定類型的移動(dòng)電話12或其他電子設(shè)備。圖2和圖3中描繪的某些或全部特征可以并入圖1中所示設(shè)備的任一或全部。圖2和圖3的移動(dòng)電話12包括外殼30、液晶顯示器形式的顯示器32、小鍵盤(pán)34、麥克風(fēng)36、耳機(jī)38、電池40、紅外端口42、天線44、根據(jù)本發(fā)明一個(gè)實(shí)施例的通用UICC形式的智能卡46、讀卡器48、無(wú)線接口電路52、編解碼器電路54、控制器56以及存儲(chǔ)器58。單獨(dú)的電3各和元件可以是本領(lǐng)域y〉知的所有類型，例如Nokia范圍內(nèi)的移動(dòng)電話系列。當(dāng)通過(guò)具有受約束帶寬的信道遞送可伸縮媒體流的組合時(shí)，需要提供用于指示如何從聯(lián)合遞送的所有媒體動(dòng)態(tài)地執(zhí)行提取數(shù)據(jù)部分的規(guī)定。因此，包含一個(gè)或多個(gè)可伸縮媒體流的文件被修改以便也保持速率份額信息。速率份額信息的目的是向服務(wù)器通知如何在任意時(shí)間的實(shí)例處從每個(gè)可伸縮媒體流提取媒體。這支持服務(wù)器處的受控或推薦的伸縮媒體的方式，從而支持初步媒體流的生成。可以通過(guò)將媒體的部分(即，時(shí)間范圍)與規(guī)定目標(biāo)速率份額值的速率份額信息記錄相關(guān)聯(lián)，而將時(shí)控速率份額信息添加至存儲(chǔ)在媒體軌道中的可伸縮媒體流中。目標(biāo)速率份額值指示應(yīng)當(dāng)分配給所述媒體的可用比特速率的目標(biāo)百分比。在此最簡(jiǎn)單的場(chǎng)景中，針對(duì)每個(gè)媒體和時(shí)間范圍，僅指定一個(gè)目標(biāo)速率份額值，如圖4所示。然而，為了適應(yīng)隨可用比特速率改變的速率份額值，可以少見(jiàn)定多于一個(gè)的操作范圍。例如，可以指示音頻流部分在較低可用比特速率處需要較高的可用比特速率百分比(比視頻)。這可以通過(guò)規(guī)定兩個(gè)操作點(diǎn)來(lái)完成，如圖5所示。圖5中的每個(gè)操作點(diǎn)規(guī)定目標(biāo)速率份額。對(duì)于更復(fù)雜的情況，還可以規(guī)定更多的操作點(diǎn)。另外，第一操作點(diǎn)和最后一個(gè)操作點(diǎn)分別針對(duì)較低的可用比特速率和較高的比特速率而規(guī)定在那些點(diǎn)處的目標(biāo)速率份額。兩個(gè)操作點(diǎn)之間的目標(biāo)速率份額被規(guī)定在那些操作點(diǎn)的目標(biāo)速率份額之間的范圍內(nèi)。例如可以利用線性插值(interpolation)來(lái)估計(jì)兩個(gè)操作點(diǎn)之間的目標(biāo)速率份額。如上所述，本發(fā)明提供了一種文件格式結(jié)構(gòu)，在此稱為"速率份額操作包，，，用于指示在文件中用于已編碼媒體的哪些自適應(yīng)操作點(diǎn)可用。自適應(yīng)操作點(diǎn)通過(guò)選擇處理一個(gè)或多個(gè)已編碼媒體比特流的哪些部分，失見(jiàn)定了如何對(duì)包括一個(gè)或多個(gè)已編碼々某體比特流的已編碼多媒體剪輯進(jìn)行伸縮。對(duì)一個(gè)或多個(gè)已編碼媒體比特流的處理可以包括以下的一個(gè)或多個(gè)組成傳輸分組、傳輸，以及對(duì)伸縮的媒體比特流進(jìn)行解碼。另外，速率份額操作包可以包括用于每個(gè)自適應(yīng)操作點(diǎn)的自適應(yīng)結(jié)果的特征，諸如，自適應(yīng)是否導(dǎo)致了在所有相關(guān)聯(lián)的軌道間共享的期待的總比特速率，或者自適應(yīng)是否在每個(gè)相關(guān)聯(lián)的軌道中導(dǎo)致了穩(wěn)定的質(zhì)量。而且，速率份額操作包還可以包括標(biāo)識(shí)符，其標(biāo)識(shí)使用哪個(gè)算法來(lái)生成每個(gè)自適應(yīng)操作點(diǎn)。自適應(yīng)操作點(diǎn)還對(duì)應(yīng)于15與該自適應(yīng)操作點(diǎn)相關(guān)聯(lián)的每個(gè)軌道中的自適應(yīng)路徑。例如，就自適應(yīng)路徑可達(dá)到的最小和最大比特速率、用于自適應(yīng)(諸如，圖片的空間自適應(yīng))的坐標(biāo)軸、圖片的質(zhì)量自適應(yīng)、圖片速率自適應(yīng)或其任何組合方面而言，自適應(yīng)#:作點(diǎn)和特定自適應(yīng)路徑的特征可以是速率份額操作包。以下以速率份額操作包的形式給出本發(fā)明的實(shí)施方式，其中該形式遵從ISO基本媒體文件格式中的偽代碼符號(hào)。電影包('moov，)包含以下所定義的零個(gè)或一個(gè)速率4分額操作包('歸p，)。aligned(8)classRateShare鄰erationBoxextendsFullBox('rsop',version=0,0》{unsignedint(15》。perationjpoint一cauiit'-for("1;ioperation_point—count;i"》{unsignedint(32》operation—description;unsignedirit(32)tx:ack一countfor(j=l;j<=track—comat'-{iut(32)track—id''unsignedint(15)adaptation』ath一id;unsignedint(:Ureserved,'unsignedint《32》rate—adaptation—algorithm;unsignedint〖32}num—constan仁s—in—adaptsition_path.;￡or(lc=l.;k<=num一coiis仁aiits一in—acia:ptaticm_path〖k++》unsignedint(32丁constant—listjif((。peration一desciriptionSt1)1》{unsignedint《32)minimum—bitrate;unsignedintU2》majciraunt—bitrate;速率^分額操:作包中語(yǔ)法元素的語(yǔ)義如下operation_point—count是給出操作點(diǎn)數(shù)量的整數(shù)。operatioi^description指示此操作點(diǎn)的速率自適應(yīng)沖喿作的輸出特征。用于operation—description的下述標(biāo)志規(guī)定為0x1所有相關(guān)聯(lián)軌道的累積輸出比特速率固定為可用的比特速率。0x2每個(gè)相關(guān)聯(lián)的軌道的主觀質(zhì)量在整個(gè)軌道的持續(xù)時(shí)間內(nèi)保持類似。trackcount指示與此操作點(diǎn)相關(guān)聯(lián)的軌道數(shù)量。如果trackcount等于1,則為此操作點(diǎn)用信號(hào)通知的信息規(guī)定了包含在單個(gè)已標(biāo)識(shí)軌道中的單個(gè)媒體類型的自適應(yīng)規(guī)則。如果track—count大于1，所有指示的軌道包含相同媒體類型，則為此操作點(diǎn)用信號(hào)通知的信息仍然描述包含在多個(gè)已標(biāo)識(shí)軌道中的單個(gè)媒體類型的自適應(yīng)規(guī)則。track—id指示與操作點(diǎn)相關(guān)聯(lián)的軌道的track—ID。如果track—id不表示包含通用可伸縮媒體元數(shù)據(jù)的時(shí)控元數(shù)據(jù)軌道，則adaptation_path—id應(yīng)當(dāng)為0。否則，adaptation_path—id指示應(yīng)當(dāng)在jt匕操作點(diǎn)中使用哪個(gè)自適應(yīng)路徑。等于0的rate—adaptation—algorithm指示不應(yīng)為任何相關(guān)聯(lián)的軌道進(jìn)行自適應(yīng)，而是應(yīng)當(dāng)如下處理相關(guān)聯(lián)的軌道的所有采樣。如果相關(guān)聯(lián)的軌道是索引軌道，則應(yīng)當(dāng)生成對(duì)應(yīng)于所有提示采樣的分組。如果相關(guān)聯(lián)的軌道是SVC媒體軌道，則包括潛在提取器NAL單元的所有采樣應(yīng)當(dāng)被解析。對(duì)于任何其他軌道，應(yīng)當(dāng)正常解析所有采樣。此處理的輸出應(yīng)當(dāng)遵從此包中指示的操作點(diǎn)的特征。等于1的rate—adaptation—algorithm指示應(yīng)當(dāng)4吏用未知的自適應(yīng)算法來(lái)獲耳又速率份額采樣分組指示的目標(biāo)速率份額。rate—adaptation—algorithm的其他值并未在此規(guī)定中規(guī)定，但是其指示用于在參考的通用可伸縮媒體元數(shù)據(jù)軌道中獲得自適應(yīng)路徑的算法。num—constants—in—operation_points少見(jiàn)定在此自適應(yīng)路徑中保持常!i的特征的數(shù)量。constant—list是四字符代碼，其暗含地指向規(guī)定了此自適應(yīng)路徑的常數(shù)特征的包或結(jié)構(gòu)。四字符代碼包括為SVC的軌道選擇包規(guī)定的那些。常數(shù)列表使得能夠根據(jù)設(shè)備和/或軟件的能力選擇適當(dāng)?shù)牟僮鼽c(diǎn)，其中設(shè)備和/或軟件播放文件或接收根據(jù)包括在文件中的索引軌道組成的分組流。minimumj)itrate是非零值(以千比特/每秒為單位)，其指示此操作點(diǎn)應(yīng)當(dāng)應(yīng)用的最低累積比特速率。maximum—bitrate是非零值(以千比特/每秒為單位)，其指示此操作點(diǎn)應(yīng)當(dāng)應(yīng)用的最高累積比特速率。17如上所述，目標(biāo)速率份額指示應(yīng)當(dāng)分配給所關(guān)注(inquestion)媒體的可用比特速率的目標(biāo)百分比。針對(duì)此分配，最大比特速率和最小比特速率用于規(guī)定邊界。最大比特速率給出了用于指定的媒體和時(shí)間范圍的可用比特速率的上限。備選地，其可以用于為針對(duì)該媒體具有優(yōu)先級(jí)的已分配比特速率的上閾值。最小比特速率指示被認(rèn)為有用的下閾值。例如，如果分配的比特速率低于此最小比特速率值，則建議服務(wù)器根本不要向媒體分配任何比特速率。比特速率隨后可以被給予其他媒體流，或者備選流(如果可用的話)。用于速率份額信息的采樣分組機(jī)制可以用于指示軌道之間的目標(biāo)比特速率份額。并未規(guī)定使軌道限制(thin)為目標(biāo)比特速率的算法。如果操作點(diǎn)中的track—id表示的并不是包含通用可伸縮媒體元數(shù)據(jù)的時(shí)控元數(shù)據(jù)軌道，則該軌道可以包含此段中規(guī)定的采樣分組。采樣分組機(jī)制定義的速率份額信息應(yīng)用于媒體采樣的持續(xù)期間。然而，由于相同的速率份額信息可能應(yīng)用于軌道的很多連續(xù)采樣，并且可能僅在兩個(gè)或三個(gè)不同記錄之間變化，所以可以通過(guò)使用采樣分組將速率份額信息高效地存儲(chǔ)在軌道中。軌道的每個(gè)采樣可以與多個(gè)采樣組描述的(零個(gè)或)一個(gè)相關(guān)聯(lián)，每個(gè)釆樣組描述定義了速率份額信息的記錄。采樣組描述包含相關(guān)聯(lián)的采樣所屬的操作點(diǎn)的標(biāo)識(shí)/r亇付。處理具有速率份額操作包的設(shè)備、軟件程序、組件或任何其他適當(dāng)單元可以選擇所需的自適應(yīng)操作點(diǎn)。該選擇是基于以下做出的設(shè)備和潛在接收單元的約束和能力如何與自適應(yīng)操作點(diǎn)的特征或者利用其計(jì)算自適應(yīng)操作點(diǎn)的所需算法的特征相匹配。下面描述用于選擇自適應(yīng)操作點(diǎn)的示例性系統(tǒng)。流式傳輸服務(wù)器訪問(wèn)包含速率份額操作包的文件。該文件包含不可伸縮的音頻比特流和可伸縮的視頻比特流，該視頻比特流在質(zhì)量和時(shí)間上是可伸縮的。在速率份額操作包中指示兩個(gè)自適應(yīng)操作點(diǎn)，其目標(biāo)都在于在音頻和視頻之間共享總比特速率。每個(gè)自適應(yīng)操作點(diǎn)表示一對(duì)索引軌道(hinttrack),即，用于音頻的索引軌道和用于視頻的另一索引軌道。速率份額操作包指示在第一自適應(yīng)操作點(diǎn)中，視頻在時(shí)間上進(jìn)行伸縮，而在第二操作點(diǎn)中使用質(zhì)量方面的伸縮。在接收者和服務(wù)器之間建立一對(duì)一(即，單播)流式傳輸會(huì)話。從服務(wù)器向接收者通知時(shí)間選項(xiàng)和質(zhì)量方面的選項(xiàng)。接收者單元可以包括用戶接口開(kāi)關(guān)以選擇用戶的偏好，即，是幀速率(時(shí)間伸縮)優(yōu)先還是畫(huà)面逼真度(質(zhì)量伸縮)優(yōu)先?；谟脩舻倪x擇，接收者單元向服務(wù)器指示應(yīng)當(dāng)使用哪個(gè)自適應(yīng)路徑。服務(wù)器隨后基于接收者指示的自適應(yīng)路徑和適當(dāng)索引軌道創(chuàng)建分組。自適應(yīng)路徑是利用文件格式結(jié)構(gòu)來(lái)發(fā)信號(hào)通知的，該文件格式結(jié)構(gòu)稱為通用可伸縮媒體元數(shù)據(jù)軌道。通用可伸縮媒體元數(shù)據(jù)軌道與一個(gè)已編碼媒體比特流(媒體軌道)或包含用以從已編碼媒體比特流形成傳輸分組的結(jié)構(gòu)的索引軌道相關(guān)聯(lián)。換言之，通用可伸縮媒體元數(shù)據(jù)軌道包含"食譜，，指令，該指令可以用于將參考的軌道限制為期待的比特速率或質(zhì)量。對(duì)通用可伸縮媒體元數(shù)據(jù)軌道的解碼會(huì)導(dǎo)致調(diào)整的采樣。如果從通用可伸縮媒體元數(shù)據(jù)軌道參考的軌道是索引軌道，則調(diào)整的采樣是有效的分組凈荷。如果參考的軌道是媒體軌道，則調(diào)整的采樣是有效的媒體采樣，諸如視頻或已編碼的音頻幀的已編碼圖片或訪問(wèn)單元。在下文中提供通用可伸縮媒體元數(shù)據(jù)軌道的實(shí)施方式。通用可伸縮媒體元數(shù)據(jù)軌道是時(shí)控元數(shù)據(jù)軌道，其利用々某體包中的'元，handlerjype標(biāo)識(shí)。時(shí)控元數(shù)據(jù)軌道通過(guò)將通用可伸縮媒體元數(shù)據(jù)報(bào)頭包包括在媒體信息包中而進(jìn)一步以通用可伸縮媒體元數(shù)據(jù)軌道為特征。通用可伸縮媒體元數(shù)據(jù)報(bào)頭包包含涉及下述軌道的一般信息aligned(8)classGeneiricScadableMediaMetadatalleaderBoxextendsFullBox(、gshd',version=0'1》{unsignedint(15》n咖—adaptation_pathsjiMsignedint(l)reserved/■for(i=;L'-i"num—aciaptatioi\_pat]isjri++》《unsignedint《Is〗adaptationjatn—id;unsignedint(l》truncationJlag;，》num—adaptation_paths指示軌道提供了多少自適應(yīng)路徑。adaptationjathjd表示特征在于速率份額操作包的自適應(yīng)路徑，并標(biāo)識(shí)自適應(yīng)路徑。等于1的truncation_flag指示某些采樣中利用此自適應(yīng)^各徑標(biāo)識(shí)符標(biāo)記的某些部分可以;故截?cái)?。等于o的truncation_flag指示在任何采樣中沒(méi)有利用此自適應(yīng)路徑標(biāo)識(shí)符標(biāo)記的部分可以被截?cái)?。以下?guī)定通用可伸縮元數(shù)據(jù)軌道的采樣條目classGenericScalableMediaMetadataSampleEtitry(》extendsffetadataSampleEntry《、gs麵、》{unsignedirit《2》log2—numjp在rts—mimis一onejunsignedint《2》log2—rwmjpaths一tni加s—o歐unsignedint(2)log2—offset—minus—one;unsignedint(2)1og2一size—minusone;采樣入口的字段用于規(guī)定在用于軌道的采樣結(jié)構(gòu)中使用的語(yǔ)法元素的大小(分別對(duì)應(yīng)于字段的值O、1、2和3的8、16、24或32位)。通用可伸縮媒體元數(shù)據(jù)軌道中的采樣使用以下結(jié)構(gòu)aligned(S)generic—scalable—media—raetadata—sample(sampleSize){unsignedint((lSg2—nutn_parts—minus—one+1)*8}num_parts;forU-l,'i<=numjpartszi++》{聰signedint《(log2—rxum_pat:hs—raimis—one+1)*8-Urrura—paths—wholejpart;一unsignedint(i)tj:uneatable_part—fla,'for{j=lj《=nurajpaths—whole_part,'j++》{unsignedint(15)path—id—whole_part,'unsignedint(1)reserved;、if(nuni_paths—wholejpart>0){unsigned:i^t((Log2—offset—minus—one+l)*8，offset_whole_part,unsignedint((log2—size—minus,~one+l》*8)num—bytes一whale—part;■if(truncatablejpart:—flag-=1){unsignedint(《log2—num—paths腦roinus—one十i)num_j>artiticmigs;unsignedint(i〗reserved,'for〖k=l''k《snu微jartitionings;3c++){unsignedint((log2—rmm_paths—roinus_one+l》*8-l〗n加jpaths.urisignedint(l)reseirved'-for(iti=l;m"mjm_j>ath5;m++){unsignedint(15)path—id;unsignedint(l)reserv暨djunsignedint(8}num一sabpar13■for《m-l,'m《-num—subparts;+){unsignedint((log2—offset一minus—one+l》*8)offset;unsignedint((1og2二size—minus—cme+l〗*8)nutn一bytes;unsignedint(7)reserved-unsignedint<l}fi:eejtruncation—flag;通用可伸縮媒體采樣條目包含以下的值k)g2—加mjMrts—mtaus—one，1og2—n謹(jǐn)jMthsjBi加s—one,log2_path—id—minus—one,log2offset——minus—one,andlog2—size—minus—one元數(shù)據(jù)采樣在時(shí)間上(在解碼時(shí)間)與所參考的媒體或索引軌道中的采樣對(duì)齊。每個(gè)元數(shù)據(jù)采樣(也稱為自適應(yīng)采樣)與相應(yīng)的調(diào)整采樣相關(guān)聯(lián)，該相應(yīng)的調(diào)整采樣是按照以下從初始的調(diào)整的采樣導(dǎo)出的。聯(lián)的索引采樣導(dǎo)出:當(dāng)相關(guān)聯(lián)的軌道是媒體;九道時(shí)，從相關(guān)聯(lián)的媒體采樣導(dǎo)出初始的調(diào)整采樣。如果媒體采樣并不包含svc文件格式中規(guī)定的聚合器或提取器NAL單元，則初始的調(diào)整媒體采樣與媒體采樣相同。否則，提取器NAL單元參考的數(shù)據(jù)替代提取器NAL單元被插入初始的調(diào)整采樣，用于聚合器NAL單元的報(bào)頭被移除，以及初始的調(diào)整媒體采樣的任何剩余部分按照現(xiàn)在的樣子包含媒體采21樣的數(shù)據(jù)。當(dāng)相關(guān)聯(lián)的軌道是索引軌道時(shí)，初始的調(diào)整采樣是從相關(guān)聯(lián)的提示采樣導(dǎo)出的。初始的調(diào)整采樣與使用采樣的凈荷構(gòu)建器生成的分組凈荷相同。自適應(yīng)采樣針對(duì)每個(gè)自適應(yīng)路徑包含信息，其中初始的調(diào)整采樣的部分包括在調(diào)整的采樣中。部分的指示可以利用初始的調(diào)整采樣內(nèi)的字節(jié)范圍列表來(lái)指示。字節(jié)范圍的使用使得該方案忽視媒體采樣或分組凈荷的語(yǔ)法并因此適用于任何編碼或分組凈荷才各式。如果字節(jié)范圍從指示的范圍的開(kāi)始可以自由地截?cái)喑扇魏伍L(zhǎng)度的話，那么自適應(yīng)采樣還可以就每個(gè)指示的字節(jié)范圍包含指示。針對(duì)通用可伸縮媒體元數(shù)據(jù)給出的采樣結(jié)構(gòu)將初始的調(diào)整采樣的指示字節(jié)范圍映射到調(diào)整的采樣。不同的字節(jié)范圍可以針對(duì)不同的自適應(yīng)路徑而指示。還可以指示某個(gè)字節(jié)范圍是否可自由截?cái)?，即，從其開(kāi)始處開(kāi)始的字節(jié)范圍的任何數(shù)量字節(jié)可以包括在調(diào)整的采樣中。用于通用可伸縮媒體元數(shù)據(jù)軌道的語(yǔ)義如下num_parts指示初始的調(diào)整采樣中的部分的數(shù)量。沒(méi)有給出部分的明確定義，但是，通常部分是初始的調(diào)整采樣內(nèi)對(duì)應(yīng)于預(yù)測(cè)參考的單位(諸如，可伸縮視頻中的已編碼圖片)的字節(jié)范圍。num_paths—whole_part指示其中包括整個(gè)部分的自適應(yīng)路徑的數(shù)量。等于0的truncatable_part—flag指示該部分不能截取。等于1的truncatable_part—flag指示部分的至少一個(gè)子部分可以截取。path—id—whole_part指示引入到速率份額操作包中的用于部分的自適應(yīng)路徑標(biāo)識(shí)符。offset—whole_part指示初始的調(diào)整采樣從該部分開(kāi)始處偏移的字節(jié)。初始的調(diào)整采樣的第一字節(jié)偏移的值為0。num—bytes—whole_part指示包括在部分中的字節(jié)數(shù)量。num_partitionings指示部分被分成子部分的劃分的數(shù)量。將部分拆分成子部分的每個(gè)唯一方式是劃分。例如，如果部分對(duì)應(yīng)于精細(xì)粒度可伸縮圖片，并且存在指定的兩個(gè)自適應(yīng)路徑(分別允許圖片的總大小在50%-100%和80%-100%范圍內(nèi)進(jìn)行比特速率伸縮)，則將存在針對(duì)部分的兩個(gè)劃分。在第一劃分中，對(duì)應(yīng)于圖片大小的50%的字節(jié)范圍的子部分將利用等于0的free—truncation—flag來(lái)指示，而圖片的剩余子部分將利用等于1的free—truncation—flag來(lái)標(biāo)記。用于第二劃分的子部分將類似指示。num_paths指示共享部分到子部分的相同劃分的自適應(yīng)路徑數(shù)量。path—id指示速率份額操作包中引入的、為劃分規(guī)定的用于子部分的自適應(yīng)^各徑標(biāo)識(shí)符。num一subparts指示子部分的數(shù)量。沒(méi)有給出子部分的明確定義，但是其是例如對(duì)應(yīng)于精細(xì)粒度可伸縮已編碼片的片數(shù)據(jù)和片報(bào)頭的部分內(nèi)的字節(jié)范圍。offset指示子部分從其開(kāi)始的初始的調(diào)整采樣的字節(jié)偏移。初始的調(diào)整采樣的第一字節(jié)偏移的值為0。num—bytes指示包括在子部分中的字節(jié)數(shù)量。等于0的free—truncation—flag指示子部分不應(yīng)當(dāng)4皮截取。等于1的free—truncation一flag指示通過(guò)從子部分的末端開(kāi)始去除釆樣而將子部分截取。調(diào)整的采樣如下創(chuàng)建。讓currPathId等于用于期待的自適應(yīng)路徑的標(biāo)識(shí)符。對(duì)于包含用于期待的自適應(yīng)路徑的數(shù)據(jù)的采樣(由速率共享信息采樣組指示的)，執(zhí)行下述過(guò)程。對(duì)于每個(gè)指示的部分，path—id—whole_part的列表首先與currPathld進(jìn)行比較。如果path—id—whole__part的j直等于currPathld,貝寸offset—whole_part和num—bytes—whole_part的值指示的整個(gè)部分包括在調(diào)整的采樣中。如果不存在等于currPathld的path—id—whole_part的值和等于1的truncatable_part—flag,則直到找到等于currPathld的path—id的值之前，都執(zhí)4亍指示的劃分成子部分的循環(huán)。隨后，offset和num—bytes的值指示的每個(gè)子部分包括在調(diào)整的采樣中。如果需要調(diào)整的采樣的進(jìn)一步截?cái)喾夏硞€(gè)比特預(yù)算，例如，free—truncation—flag等于1的那些子部分被截?cái)喑善诖拈L(zhǎng)度。調(diào)整的采樣形成調(diào)整的軌道。如果參考的軌道是索引軌道，則調(diào)整的采樣是有效的分組凈荷。如果參考的軌道是媒體軌道，則調(diào)整的采樣是有效的媒體采樣。應(yīng)當(dāng)注意的是，視頻編碼中的已編碼采樣通常是已編碼的圖片或訪問(wèn)單元。音頻中的已編碼采樣通常是已編碼的音頻幀。另外如上所述，無(wú)法保證流的有效性，如果simple_priority—id閾值在已編碼視頻序列的中間(即，IDR訪問(wèn)單元之間)改變的話。對(duì)于在本發(fā)明中建議的自適應(yīng)路徑，同樣如此。為了指示自適應(yīng)路徑之間的有效切換點(diǎn)，用于自適應(yīng)路徑切換點(diǎn)的采樣分組機(jī)制用于指示哪些可以用于從一個(gè)自適應(yīng)路徑切換到另一個(gè)的調(diào)整采樣。對(duì)于此采樣分組機(jī)制的需求來(lái)自于這樣的事實(shí)，即，SVC利用單循環(huán)解碼，即，僅針對(duì)最高解碼層解碼參考圖片。因此，層之間的切換并不是在任意定位都是可以的，因?yàn)樵谀承┒ㄎ惶?，將要切換至的層的參考圖片并未解碼。此采樣分組機(jī)制因此可以用于指示層切換點(diǎn)，或者更一般地，指示自適應(yīng)路徑之間的切換點(diǎn)。如果存在自適應(yīng)路徑切換采樣組描述，則軌道的每個(gè)采樣被映射至以下描述的一個(gè)自適應(yīng)路徑切換點(diǎn)入口?？梢詫⒂糜诜纸M類型'tpsw，的零個(gè)或一個(gè)采樣-到-組(sample-to-group)包('sbgp，)包含在通用伸縮元數(shù)據(jù)軌道的采樣表格包('stbl，)中。自適應(yīng)路徑切換點(diǎn)采樣組入口定義如下classMaptationPathSw.itiiPointEntry(》extendsSampleGroup'Descripti加Eiit:iy(:ftpsw'》自適應(yīng)路徑切換點(diǎn)采樣組入口的語(yǔ)義如下num_refresh指示當(dāng)任何自適應(yīng)路徑之前在生成調(diào)整采樣中使用過(guò)時(shí)，可以在此采樣處切換至的自適應(yīng)路徑的數(shù)量。refresh—adaptation_path—id指示用于那些自適應(yīng)路徑的標(biāo)識(shí)符，其中那些自適應(yīng)路徑是當(dāng)任何自適應(yīng)路徑之前在生成調(diào)整采樣中使用過(guò)時(shí)，可以切換至的自適應(yīng)路徑。在方法步驟的通常背景下對(duì)本發(fā)明進(jìn)行了描述，在一個(gè)實(shí)施例中，這些方法步驟可以通過(guò)程序產(chǎn)品來(lái)實(shí)現(xiàn)，該計(jì)算機(jī)程序產(chǎn)品包括在網(wǎng)絡(luò)環(huán)境中由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令，諸如程序代碼。通常，程序模塊包括例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等，用于執(zhí)行具體任務(wù)或者實(shí)現(xiàn)特定的抽象數(shù)據(jù)類型。計(jì)算機(jī)可執(zhí)行指令、相關(guān)數(shù)據(jù)結(jié)構(gòu)和程序模塊代表了用于執(zhí)行此處公開(kāi)的方法的步驟的程序代碼的示例。這種可執(zhí)行指令或者相關(guān)數(shù)據(jù)結(jié)構(gòu)的特定序列代表了用于實(shí)現(xiàn)在這種步驟中描述的功能的對(duì)應(yīng)動(dòng)作的示例。本發(fā)明的軟件和web實(shí)現(xiàn)能夠利用標(biāo)準(zhǔn)編程技術(shù)來(lái)完成，利用基于規(guī)則的邏輯或者其他邏輯來(lái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)搜索步驟、相關(guān)步驟、比較步驟和決策步驟。還應(yīng)當(dāng)注意的是，此處以及權(quán)利要求書(shū)中使用的詞語(yǔ)"組件"和"模塊"意在包括使用一行或者更多行軟件代碼的實(shí)現(xiàn)和/或硬件實(shí)現(xiàn)和/或用于接收手動(dòng)輸入的設(shè)備。出于示例和描述的目的，已經(jīng)給出了本發(fā)明實(shí)施的前述說(shuō)明。前述說(shuō)明并非是窮舉性的，也并非要將本發(fā)明限制到所公開(kāi)的確切形式，根據(jù)上述教導(dǎo)還可能存在各種變形和修改，或者是可能從本發(fā)明的實(shí)踐中得到各種變形和修改。選擇和描述這些實(shí)施例是為了說(shuō)明本發(fā)明的原理及其實(shí)際應(yīng)用，以使得本領(lǐng)域的技術(shù)人員能夠以明權(quán)利要求1.一種生成包括可伸縮媒體比特流和相關(guān)聯(lián)數(shù)據(jù)的文件的方法，包括生成涉及包括在所述相關(guān)聯(lián)數(shù)據(jù)中的自適應(yīng)操作點(diǎn)的信息。2.根據(jù)權(quán)利要求1所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示在所述文件中存在的所述自適應(yīng)操作點(diǎn)的數(shù)量的元素。3.根據(jù)權(quán)利要求1所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示所述自適應(yīng)操作點(diǎn)的每一個(gè)產(chǎn)生的輸出特征的operation—description(操作_描述)變量。4.根據(jù)權(quán)利要求1所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示與所述自適應(yīng)操作點(diǎn)的每一個(gè)相關(guān)聯(lián)的自適應(yīng)路徑的元素。5.根據(jù)權(quán)利要求1所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括用于生成所述自適應(yīng)操作點(diǎn)的每一個(gè)的算法的指示。6.—種計(jì)算機(jī)程序產(chǎn)品，具體化在計(jì)算機(jī)可讀介質(zhì)上，用于生成包括可伸縮媒體比特流和相關(guān)聯(lián)數(shù)據(jù)的文件，包括用于生成涉及包括在所述相關(guān)聯(lián)數(shù)據(jù)中的自適應(yīng)操作點(diǎn)的信息的計(jì)算機(jī)代碼。7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示在所述文件中存在的所述自適應(yīng)操作點(diǎn)的數(shù)量的元素。8.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示所述自適應(yīng)操作點(diǎn)的每一個(gè)產(chǎn)生的輸出特征的operation—description(才乘作—描述)變量。9.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示與所述自適應(yīng)操作點(diǎn)的每一個(gè)相關(guān)聯(lián)的自適應(yīng)^各徑的元素。10.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括用于生成所述自適應(yīng)操作點(diǎn)的每一個(gè)的算法的指示。11.一種設(shè)備生成器，被配置用于生成包括可伸縮媒體比特流和相關(guān)聯(lián)數(shù)據(jù)的文件，包括處理器；以及存儲(chǔ)器單元，其可操作地連接至所述處理器，并且包括用于生成涉及包括在所述相關(guān)聯(lián)數(shù)據(jù)中的自適應(yīng)操作點(diǎn)的信息的計(jì)算機(jī)代碼。12.根據(jù)權(quán)利要求11所述的設(shè)備，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示在所述文件中存在的所述自適應(yīng)操作點(diǎn)的數(shù)量的元素。13.根據(jù)權(quán)利要求11所述的設(shè)備，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示所述自適應(yīng)操作點(diǎn)的每一個(gè)產(chǎn)生的輸出特征的operation—description(操作—描述)變量。14.根據(jù)權(quán)利要求11所述的設(shè)備，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示與所述自適應(yīng)操作點(diǎn)的每一個(gè)相關(guān)聯(lián)的自適應(yīng)路徑的元素。15.根據(jù)權(quán)利要求11所述的設(shè)備，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括用于生成所述自適應(yīng)操作點(diǎn)的每一個(gè)的算法的指示。16.—種用于對(duì)包括可伸縮媒體比特流和相關(guān)聯(lián)數(shù)據(jù)的文件進(jìn)行解析的方法，包括從所述相關(guān)聯(lián)數(shù)據(jù)解析出涉及自適應(yīng)操作點(diǎn)的信息；基于關(guān)于自適應(yīng)操作點(diǎn)的所述信息來(lái)選擇自適應(yīng)操作點(diǎn)；以及根據(jù)所述自適應(yīng)操作點(diǎn)對(duì)所述文件進(jìn)行解析。17.根據(jù)權(quán)利要求16所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示在所述文件中存在的所述自適應(yīng)操作點(diǎn)的數(shù)量的元素。18.根據(jù)權(quán)利要求16所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示所述自適應(yīng)操作點(diǎn)的每一個(gè)產(chǎn)生的輸出特征的operation—description(操作—描述)變量。19.根據(jù)權(quán)利要求16所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示與所述自適應(yīng)操作點(diǎn)的每一個(gè)相關(guān)聯(lián)的自適應(yīng)路徑的元素。20.根據(jù)權(quán)利要求16所述的方法，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括用于生成所述自適應(yīng)操作點(diǎn)的每一個(gè)的算法的指示。21.—種計(jì)算機(jī)程序產(chǎn)品，具體化在計(jì)算機(jī)可讀介質(zhì)上，用于對(duì)包括可伸縮媒體比特流和相關(guān)聯(lián)數(shù)據(jù)的文件進(jìn)行解析，包括用于從所述相關(guān)聯(lián)數(shù)據(jù)解析出涉及自適應(yīng)操作點(diǎn)的信息的計(jì)算機(jī)代碼；用于基于關(guān)于自適應(yīng)操作點(diǎn)的所述信息來(lái)選擇自適應(yīng)操作點(diǎn)的計(jì)算機(jī)代碼；以及用于根據(jù)所述自適應(yīng)操作點(diǎn)對(duì)所述文件進(jìn)行解析的計(jì)算機(jī)代碼。22.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示在所述文件中存在的所述自適應(yīng)操作點(diǎn)的數(shù)量的元素。23.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示所述自適應(yīng)操作點(diǎn)的每一個(gè)產(chǎn)生的豐敘出特4正的operation—description(才乘4乍—4翁述)變量。24.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括指示與所述自適應(yīng)操作點(diǎn)的每一個(gè)相關(guān)聯(lián)的自適應(yīng)路徑的元素。25.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中涉及所述自適應(yīng)操作點(diǎn)的所述信息包括用于生成所述自適應(yīng)操作點(diǎn)的每一個(gè)的算法的指示。全文摘要一種用于與可伸縮視頻編碼系統(tǒng)和方法一起使用的文件格式結(jié)構(gòu)，其中速率份額操作包指示在文件中哪個(gè)針對(duì)已編碼媒體的自適應(yīng)操作點(diǎn)是可用的。速率份額操作包可以包括用于每個(gè)自適應(yīng)操作點(diǎn)的自適應(yīng)結(jié)果的特征。另外，速率份額操作包可以包括指示在生成每個(gè)自適應(yīng)操作點(diǎn)中使用的算法的標(biāo)識(shí)符。文檔編號(hào)H04N7/52GK101601305SQ200780047577公開(kāi)日2009年12月9日申請(qǐng)日期2007年10月17日優(yōu)先權(quán)日2006年10月20日發(fā)明者M(jìn)·安尼克塞拉,王業(yè)奎申請(qǐng)人:諾基亞公司