專利名稱：用于支持mp4中的avc的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及以多媒體文件格式存儲和檢索視聽內(nèi)容，具體而言涉及與ISO媒體文件格式相兼容的文件格式。
版權(quán)標(biāo)記/許可這篇專利文件的一部分公開包含了受版權(quán)保護(hù)的材料。版權(quán)所有者不反對專利文件或?qū)＠_的任何人進(jìn)行傳真復(fù)制，因?yàn)樵趯＠c商標(biāo)局內(nèi)它已經(jīng)在專利文件或記錄當(dāng)中出版了，但是無論如何在別的方面卻保留所有的版權(quán)權(quán)利。下列標(biāo)記適用于如下所述的軟件和數(shù)據(jù)，并且在圖中附此標(biāo)記Copyright2001，Sony Electronics，Inc.，版權(quán)所有。
背景技術(shù)：
隨著對網(wǎng)絡(luò)、多媒體、數(shù)據(jù)庫及其它數(shù)字容量需要的快速增長，已經(jīng)演進(jìn)出許多多媒體編碼和存儲方案。其中一個(gè)眾所周知的用于編碼和存儲視聽數(shù)據(jù)的文件格式就是由蘋果計(jì)算機(jī)公司開發(fā)的QuickTime文件格式。把QuickTime文件格式用作為創(chuàng)建國際標(biāo)準(zhǔn)化組織(ISO)多媒體文件格式的起點(diǎn)，ISO/IEC 14496-12，信息技術(shù)—視聽對象編碼——第12部分ISO媒體文件格式(又名ISO文件格式)，所述QuickTime文件格式又依次被用作為以下兩種標(biāo)準(zhǔn)文件格式的模板(1)用于由活動(dòng)圖像專家組開發(fā)的MPEG-4文件格式，通常所說的MP4(ISO/IEC 14496-14，信息技術(shù)——視聽對象編碼——第14部分MP4文件格式)；和(2)由聯(lián)合圖像專家組(JPEG)開發(fā)的JPEG 2000(ISO/IEC 15444-1)的文件格式。
ISO媒體文件格式由稱為框(也稱為原子或?qū)ο?的面向?qū)ο蟮慕Y(jié)構(gòu)組成。兩個(gè)重要的頂層框包含媒體數(shù)據(jù)或元數(shù)據(jù)。大多數(shù)框都描述了元數(shù)據(jù)的層次，所述元數(shù)據(jù)提供了關(guān)于實(shí)際媒體數(shù)據(jù)的說明性的、結(jié)構(gòu)上的和時(shí)間上的信息。這個(gè)框的集合是包含在通稱為電影框的框中。媒體數(shù)據(jù)本身可以位于媒體數(shù)據(jù)框之中或之外。將每個(gè)媒體數(shù)據(jù)流稱為軌道(又名基本流或簡單稱為流)。
最初的元數(shù)據(jù)是電影對象。電影框包括軌道框，所述軌道框描述臨時(shí)顯示的媒體數(shù)據(jù)。對應(yīng)軌道的媒體數(shù)據(jù)可以具有各種類型(例如，視頻數(shù)據(jù)、音頻數(shù)據(jù)、二進(jìn)制格式屏幕表示(BIFS)等等)。每個(gè)軌道都進(jìn)一步劃分為采樣(又名訪問單元或畫面)。采樣代表在特定時(shí)間點(diǎn)處的媒體數(shù)據(jù)的單元。采樣元數(shù)據(jù)是包含在一組采樣框中的。每個(gè)軌道框都包含采樣表框元數(shù)據(jù)框，其包含為它的媒體數(shù)據(jù)等提供每個(gè)采樣的時(shí)間、其字節(jié)大小及其位置(文件的外部或內(nèi)部)等等的框。采樣是最小的數(shù)據(jù)實(shí)體，它能夠表示時(shí)間、位置及其它元數(shù)據(jù)信息。
最近，MPEG視頻組與國際電信聯(lián)盟(ITU)的視頻編碼專家組(VCEG)作為聯(lián)合視頻組(JVT)一起開始工作，以開發(fā)稱為ITURecommendation H.264或MPEG-4-Part 10的新視頻編碼/解碼(編解碼器)標(biāo)準(zhǔn)，高級視頻編解碼器(AVC)或JVT編解碼器。在此，可互換地使用這些術(shù)語及其縮寫，比如像H.264、JVT和AVC。
JVT編解碼器設(shè)計(jì)區(qū)分了兩種不同的概念層視頻編碼層(VCL)和網(wǎng)絡(luò)抽象層(NAL)。VCL包含編解碼器中有關(guān)編碼的部分，比如像運(yùn)動(dòng)補(bǔ)償、系數(shù)變換編碼和熵編碼。VCL的輸出是時(shí)間片(slice)，每個(gè)時(shí)間片都包含一系列的宏塊以及相關(guān)聯(lián)的首部信息。NAL從用于VCL數(shù)據(jù)的運(yùn)輸層的細(xì)節(jié)中抽象化出VCL。它為時(shí)間片層上的信息定義了一般的且運(yùn)輸獨(dú)立的表示。NAL定義視頻編解碼器本身與外界之間的接口。在內(nèi)部，NAL使用NAL分組。NAL分組包括表明凈載荷類型的類型字段外加凈載荷中的比特集。單個(gè)時(shí)間片內(nèi)的數(shù)據(jù)可以進(jìn)一步分成不同的數(shù)據(jù)分區(qū)。
在許多現(xiàn)有的視頻編碼格式中，編碼的數(shù)據(jù)流包括各類包含控制解碼過程的參數(shù)的首部。例如，MPEG-2視頻標(biāo)準(zhǔn)包括序列首部、增強(qiáng)式畫面組(GOP)和對應(yīng)于那些項(xiàng)的視頻數(shù)據(jù)前面的畫面首部。在JVT中，把解碼VCL數(shù)據(jù)所需的信息集合成參數(shù)集。給每個(gè)參數(shù)集一個(gè)標(biāo)識符，該標(biāo)識符隨后被用作為來自時(shí)間片的引用。可以在流外部(帶外)發(fā)送參數(shù)集，而不是在流內(nèi)部(帶內(nèi))發(fā)送所述參數(shù)集。
現(xiàn)有的文件格式?jīng)]有提供用于存儲與已編碼的媒體數(shù)據(jù)相關(guān)聯(lián)的參數(shù)集的工具；它們也沒有提供用于有效地將媒體數(shù)據(jù)(即，采樣或子采樣)鏈接到參數(shù)集以便能夠有效地檢索和發(fā)送參數(shù)集的裝置。
在ISO媒體文件格式中，在不解析媒體數(shù)據(jù)的情況下能夠被訪問的最小單位是采樣，即AVC中的整個(gè)畫面。在許多編碼格式中，能夠把采樣進(jìn)一步分成更小的單元，稱為子采樣(也稱為采樣片段或訪問單元片段)。就AVC來說，子采樣相當(dāng)于時(shí)間片。然而，現(xiàn)有的文件格式不支持對采樣的子部分的訪問。對于需要靈活地將存儲在文件中的數(shù)據(jù)形成用于流送(streaming)的系統(tǒng)而言，這種缺乏對子采樣的訪問，阻礙了用于流送的JVT媒體數(shù)據(jù)的靈活分組化。
現(xiàn)有的存儲格式的另一個(gè)限制與響應(yīng)于當(dāng)流送媒體數(shù)據(jù)時(shí)改變網(wǎng)絡(luò)條件而在已存儲的流和不同帶寬之間進(jìn)行切換有關(guān)。在典型的流送情形中，其中一個(gè)關(guān)鍵要求就是響應(yīng)于改變網(wǎng)絡(luò)條件來縮放壓縮數(shù)據(jù)的比特率。典型情況下，這是通過對具有為典型的網(wǎng)絡(luò)條件而設(shè)置的不同帶寬和質(zhì)量的多個(gè)流進(jìn)行編碼并將它們存儲在一個(gè)或多個(gè)文件中來實(shí)現(xiàn)的。然后，服務(wù)器能夠響應(yīng)于網(wǎng)絡(luò)條件而在這些預(yù)先編碼的流當(dāng)中進(jìn)行切換。在現(xiàn)有的文件格式中，僅可以在不依賴于用來重構(gòu)的早先采樣的那些采樣上進(jìn)行流之間的切換。這類采樣稱為I幀。目前，在依賴于用來重構(gòu)的早先采樣的那些采樣(即，依賴于用于參考的多個(gè)采樣的P幀或B幀)上，沒有為流之間的切換提供支持。
AVC標(biāo)準(zhǔn)提供通稱切換畫面(稱為SI畫面和SP畫面)的工具，以實(shí)現(xiàn)流之間的高效切換、隨機(jī)訪問和錯(cuò)誤恢復(fù)力以及其它的特征。切換畫面是一種特殊類型的畫面，這種畫面的重構(gòu)值剛好等于它應(yīng)當(dāng)切換成的畫面的值。切換畫面能夠使用不同于那些用于預(yù)測它們匹配的畫面的參考畫面，由此比使用I幀提供了更高效的編碼。為了有效地使用文件中存儲的切換畫面，必須知道哪些組畫面是等同的，并且必須知道哪些畫面被用于預(yù)測。現(xiàn)有的文件格式?jīng)]有提供這種信息，因此必須通過解析編碼的流來提取這些信息，這將是低效而緩慢的。
因此，需要增強(qiáng)存儲方法以便解決通過出現(xiàn)視頻編碼標(biāo)準(zhǔn)而提供的新能力，并且解決那些存儲方法的現(xiàn)有限制。
發(fā)明概述創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的采樣編組的采樣組元數(shù)據(jù)。此外，所述編組是以采樣的相互依賴性為基礎(chǔ)的。此外，形成與所述多媒體相關(guān)聯(lián)的文件。這個(gè)文件包括參數(shù)組元數(shù)據(jù)和與多媒體數(shù)據(jù)有關(guān)的其它信息。
附圖簡述本發(fā)明是在附圖中按照舉例的方式而非限制的方式加以說明的，并且在圖中相同的附圖標(biāo)記指代相似的元件，在圖中

圖1是編碼系統(tǒng)的一個(gè)實(shí)施例的框圖；圖2是解碼系統(tǒng)的一個(gè)實(shí)施例的框圖；圖3是適用于實(shí)踐本發(fā)明的計(jì)算機(jī)環(huán)境的框圖；圖4是用于在編碼系統(tǒng)上存儲子采樣元數(shù)據(jù)的方法的流程圖；圖5是用于在解碼系統(tǒng)上使用子采樣元數(shù)據(jù)的方法的流程圖；圖6舉例說明了具有子采樣的擴(kuò)展的MP4媒體流模型；圖7A-7K舉例說明了用于存儲子采樣元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)；圖8是用于在編碼系統(tǒng)上存儲參數(shù)集元數(shù)據(jù)的方法的流程圖；圖9是用于在解碼系統(tǒng)上使用參數(shù)集元數(shù)據(jù)的方法的流程圖；圖10A-10E舉例說明了用于存儲參數(shù)集元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)；圖11舉例說明了示例性的增強(qiáng)式畫面組(GOP)；圖12是用于在編碼系統(tǒng)上存儲序列元數(shù)據(jù)的流程圖；圖13是用于在解碼系統(tǒng)上使用序列元數(shù)據(jù)的方法的流程圖；圖14A-14E舉例說明了用于存儲序列元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)；圖15A和15B舉例說明了用于比特流切換的切換采樣集的使用；圖15C是用于確定在其上執(zhí)行兩個(gè)比特流之間的切換的點(diǎn)的方法的一個(gè)實(shí)施例的流程圖；圖16是用于在編碼系統(tǒng)上存儲切換采樣元數(shù)據(jù)的方法的流程圖17是用于在解碼系統(tǒng)上使用切換采樣元數(shù)據(jù)的方法的流程圖；圖18舉例說明了用于存儲切換采樣元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)；圖19A和19B舉例說明了用以簡化到比特流中的隨機(jī)訪問入口點(diǎn)的切換采樣集的使用；圖19C是用于確定采樣的隨機(jī)訪問點(diǎn)的方法的一個(gè)實(shí)施例的流程圖；圖20A和20B舉例說明了用以簡化錯(cuò)誤恢復(fù)的切換采樣集的使用；和圖20C是當(dāng)發(fā)送采樣時(shí)用于簡化錯(cuò)誤恢復(fù)的方法的一個(gè)實(shí)施例的流程圖。
發(fā)明詳述在下文對本發(fā)明實(shí)施例的詳細(xì)說明中，參照了附圖，在這些圖中相同的附圖標(biāo)記表示相似的元件，并且在這些圖中通過舉例說明的方式示出了具體實(shí)施例，在這些具體實(shí)施例當(dāng)中可以實(shí)施本發(fā)明。足夠詳細(xì)地描述了這些實(shí)施例，以使得本領(lǐng)域的技術(shù)人員能夠?qū)嵤┍景l(fā)明，且將要理解的是，也可以采用其它實(shí)施例，并且在不背離本發(fā)明范圍的情況下可以作出邏輯的、機(jī)械的、電的、功能性的及其它的改變。因此，不應(yīng)把下列詳細(xì)說明視作為限制意義，而應(yīng)當(dāng)僅僅由所附的權(quán)利要求來限定本發(fā)明的范圍。
概觀從本發(fā)明的操作概觀開始起，圖1舉例說明了編碼系統(tǒng)100的一個(gè)實(shí)施例。編碼系統(tǒng)100包括媒體編碼器104、元數(shù)據(jù)生成器106和文件創(chuàng)建器108。媒體編碼器104接收可能包含視頻數(shù)據(jù)(例如，從自然源視頻場景中創(chuàng)建的視頻對象及其它外部視頻對象)、音頻數(shù)據(jù)(例如，從自然源音頻場景中創(chuàng)建的音頻對象及其它外部音頻對象)、合成對象或上述的任意組合的媒體數(shù)據(jù)。媒體編碼器104可以由許多單獨(dú)的編碼器組成或包括子編碼器，以處理各種類型的媒體數(shù)據(jù)。媒體編碼器104對媒體數(shù)據(jù)進(jìn)行編碼并將其傳遞到元數(shù)據(jù)生成器106。元數(shù)據(jù)生成器106根據(jù)媒體文件格式來生成提供關(guān)于媒體數(shù)據(jù)的信息的元數(shù)據(jù)。媒體文件格式可能來源于ISO媒體文件格式(或任何其變型，比如MPEG-4、JPEG 2000等)、QuickTime或任何其它的媒體文件格式，并且還包括一些附加的數(shù)據(jù)結(jié)構(gòu)。在一個(gè)實(shí)施例中，定義附加的數(shù)據(jù)結(jié)構(gòu)以存儲與媒體數(shù)據(jù)內(nèi)的子采樣有關(guān)的元數(shù)據(jù)。在另一個(gè)實(shí)施例中，定義附加數(shù)據(jù)結(jié)構(gòu)以存儲把部分媒體數(shù)據(jù)(例如，采樣或子采樣)鏈接到相應(yīng)的參數(shù)集的元數(shù)據(jù)，所述參數(shù)集包含了傳統(tǒng)上一直存儲在媒體數(shù)據(jù)中的解碼信息。在又一個(gè)實(shí)施例中，定義附加數(shù)據(jù)結(jié)構(gòu)以存儲與元數(shù)據(jù)內(nèi)的各種采樣組有關(guān)的元數(shù)據(jù)，所述元數(shù)據(jù)是根據(jù)媒體數(shù)據(jù)中采樣的相互依賴性而創(chuàng)建的。在又一個(gè)實(shí)施例中，定義附加數(shù)據(jù)結(jié)構(gòu)以存儲與切換采樣集有關(guān)的元數(shù)據(jù)，所述采樣集與媒體數(shù)據(jù)相關(guān)聯(lián)。切換采樣集指的是這樣一組采樣，它們具有相同解碼值但可以依賴于不同采樣。在其它的實(shí)施例中，以正在使用的文件格式來定義附加數(shù)據(jù)結(jié)構(gòu)的各種組合。這些附加數(shù)據(jù)結(jié)構(gòu)及其功能將在下面更詳細(xì)地描述。
文件創(chuàng)建器108在文件中存儲元數(shù)據(jù)，所述文件的結(jié)構(gòu)是按媒體文件格式定義的。在一個(gè)實(shí)施例中，所述文件既包含已編碼的媒體數(shù)據(jù)也包含與那個(gè)媒體數(shù)據(jù)有關(guān)的元數(shù)據(jù)。作為選擇，已編碼的媒體數(shù)據(jù)是部分地或全部地包含在獨(dú)立的文件中的，并且按元數(shù)據(jù)文件中所含的引用(例如，經(jīng)由URL)而鏈接于元數(shù)據(jù)。文件創(chuàng)建器108所創(chuàng)建的文件在用于存儲或發(fā)送的信道110上是可用的。
圖2舉例說明了解碼系統(tǒng)200的一個(gè)實(shí)施例。解碼系統(tǒng)200包括元數(shù)據(jù)提取器204、媒體數(shù)據(jù)流處理器206、媒體解碼器210、合成器212和再現(xiàn)器。解碼系統(tǒng)200可以駐留在客戶端設(shè)備上，并且用于本地重放。作為選擇，解碼系統(tǒng)200可以用來流送數(shù)據(jù)，并且具有彼此在網(wǎng)絡(luò)(例如，因特網(wǎng))208上相互通信的服務(wù)器部分和客戶端部分。服務(wù)器部分可以包括元數(shù)據(jù)提取器204和媒體數(shù)據(jù)流處理器206?？蛻舳瞬糠挚梢园襟w解碼器210、合成器212和再現(xiàn)器214。
元數(shù)據(jù)提取器204負(fù)責(zé)從存儲在數(shù)據(jù)庫216中的文件當(dāng)中提取元數(shù)據(jù)或者在網(wǎng)絡(luò)上(從編碼系統(tǒng)100中)接收元數(shù)據(jù)。所述文件可以包括也可以不包括與正在提取的元數(shù)據(jù)相關(guān)聯(lián)的媒體數(shù)據(jù)。從文件中提取的元數(shù)據(jù)包括上述的一個(gè)或多個(gè)附加數(shù)據(jù)結(jié)構(gòu)。
把提取出的元數(shù)據(jù)傳遞到媒體數(shù)據(jù)流處理器206，所述媒體數(shù)據(jù)流處理器206還接收相關(guān)聯(lián)的已編碼媒體數(shù)據(jù)。媒體數(shù)據(jù)流處理器206利用該元數(shù)據(jù)來形成將要發(fā)送到媒體解碼器210的媒體數(shù)據(jù)流。在一個(gè)實(shí)施例中，媒體數(shù)據(jù)流處理器206利用與子采樣有關(guān)的元數(shù)據(jù)來定位媒體數(shù)據(jù)中的子采樣(例如，以供分組化)。在另一個(gè)實(shí)施例中，媒體數(shù)據(jù)流處理器206利用與參數(shù)集有關(guān)的元數(shù)據(jù)來把部分媒體數(shù)據(jù)鏈接到其相對應(yīng)的參數(shù)集上。在又一個(gè)實(shí)施例中，媒體數(shù)據(jù)流處理器206利用定義元數(shù)據(jù)內(nèi)的各種采樣組的元數(shù)據(jù)來訪問一定組中的采樣(例如，用于通過丟棄包含如下采樣的組來縮放比例，響應(yīng)于傳輸條件，沒有其它采樣依賴于所述采樣以降低發(fā)送的比特率)。在又一個(gè)實(shí)施例中，媒體數(shù)據(jù)流處理器206利用定義切換采樣集的元數(shù)據(jù)來定位與應(yīng)當(dāng)切換成到采樣具有相同解碼值的切換采樣，但是不依賴于這個(gè)結(jié)果采樣將要依賴的那些采樣(例如，以便允許在P幀或B幀上切換成具有不同比特率的流)。
一旦形成媒體數(shù)據(jù)流，就直接地(例如，本地重放)或在網(wǎng)絡(luò)208上(例如，用于流送數(shù)據(jù))將它發(fā)送給媒體解碼器210以供進(jìn)行解碼。合成器212接收媒體解碼器210的輸出，并且由再現(xiàn)器214把繼而將在用戶顯示設(shè)備上再現(xiàn)的場景合成起來。
圖3的下列說明意在提供適于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)硬件及其它操作組件的概觀，而不是意在限制可適用的環(huán)境。圖3舉例說明了適于用作為圖1的元數(shù)據(jù)生成器106和/或文件創(chuàng)建器108或者圖2的元數(shù)據(jù)提取器204和/或媒體數(shù)據(jù)流處理器206的計(jì)算機(jī)系統(tǒng)的一個(gè)實(shí)施例。
計(jì)算機(jī)系統(tǒng)340包括耦合于系統(tǒng)總線365的處理器350、存儲器355和輸入/輸出能力360。將存儲器355配置成能存儲指令，當(dāng)由處理器350執(zhí)行所述指令時(shí)，執(zhí)行這里所述的方法。輸入/輸出360也涵蓋了各種類型的計(jì)算機(jī)可讀媒體，包括可由處理器350訪問的任意類型的存儲裝置。本領(lǐng)域技術(shù)人員將立刻認(rèn)識到的是，術(shù)語“計(jì)算機(jī)可讀介質(zhì)/媒體”還涵蓋對數(shù)據(jù)信號進(jìn)行編碼的載波。還應(yīng)當(dāng)認(rèn)識到，系統(tǒng)340受存儲器355中所執(zhí)行的操作系統(tǒng)軟件的控制。輸入/輸出及相關(guān)媒體360存儲用于本發(fā)明的操作系統(tǒng)和方法的計(jì)算機(jī)可執(zhí)行指令。圖1和2中所示的元數(shù)據(jù)生成器106、文件創(chuàng)建器108、元數(shù)據(jù)提取器204和媒體數(shù)據(jù)流處理器206中的每一個(gè)都可以是耦合于處理器350的獨(dú)立的組件，或者可以用處理器350所執(zhí)行計(jì)算機(jī)可執(zhí)行指令加以具體化。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)340可以是ISP(因特網(wǎng)服務(wù)提供商)的一部分或者經(jīng)輸入/輸出360耦合于ISP，以便在因特網(wǎng)上發(fā)送或接收媒體數(shù)據(jù)。顯而易見的是，本發(fā)明不限于因特網(wǎng)訪問和基于Web的因特網(wǎng)站點(diǎn)；還意在包括直接耦合的網(wǎng)絡(luò)和專用網(wǎng)絡(luò)。
將會認(rèn)識到的是，計(jì)算機(jī)系統(tǒng)340只是許多可能的具有不同結(jié)構(gòu)的計(jì)算機(jī)系統(tǒng)的一個(gè)示例。典型的計(jì)算機(jī)系統(tǒng)將通常至少包括處理器、存儲器以及將存儲器耦合到處理器的總線。本領(lǐng)域技術(shù)人員將立刻認(rèn)識到的是，本發(fā)明能夠利用其它的計(jì)算機(jī)系統(tǒng)配置加以實(shí)施，包括多處理器系統(tǒng)、微型計(jì)算機(jī)、大型計(jì)算機(jī)等。本發(fā)明還可以在分布式計(jì)算環(huán)境中加以實(shí)施，在所述分布計(jì)算環(huán)境中由經(jīng)通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理裝置來執(zhí)行任務(wù)。
子采樣可訪問性圖4和5舉例說明了分別由編碼系統(tǒng)100和200解碼系統(tǒng)執(zhí)行的、用于存儲和檢索子采樣元數(shù)據(jù)的過程。該過程可以由如下處理邏輯來執(zhí)行，所述處理邏輯可以包括硬件(例如，電路、專用邏輯等)、軟件(比如，在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)或上述兩者的結(jié)合。對于軟件實(shí)現(xiàn)的過程來講，流程圖的說明使本領(lǐng)域技術(shù)人員能夠開發(fā)此類包含指令的程序，以便在適當(dāng)配置的計(jì)算機(jī)(執(zhí)行來自于計(jì)算機(jī)可讀媒體的指令的計(jì)算機(jī)的處理器，包括存儲器)上執(zhí)行該過程。計(jì)算機(jī)可執(zhí)行指令可以用計(jì)算機(jī)程序設(shè)計(jì)語言來編寫，或者可以用固件邏輯來具體化。如果用程序設(shè)計(jì)語言編寫符合公認(rèn)的標(biāo)準(zhǔn)，那么就能夠在各種硬件平臺和到各種操作系統(tǒng)的接口上執(zhí)行這類指令。另外，本發(fā)明的實(shí)施例并不是參照任何特定的程序設(shè)計(jì)語言而加以描述的。將會認(rèn)識到的是，各種程序設(shè)計(jì)語言都可以用來實(shí)現(xiàn)這里所述的教導(dǎo)。此外，談到當(dāng)采取動(dòng)作或產(chǎn)生結(jié)果時(shí)處于一種形式或另一種形式(例如，程序、方法、過程、應(yīng)用、模塊、邏輯等)的軟件，這都是本領(lǐng)域中常見的。這類表達(dá)只是一種表述由計(jì)算機(jī)執(zhí)行軟件令計(jì)算機(jī)的處理器執(zhí)行動(dòng)作或產(chǎn)生結(jié)果的簡捷方式。將會認(rèn)識到的是，在不背離本發(fā)明范圍的情況下，可以將更多或更少的操作并入到圖4和5中舉例說明的過程中，而且這里所描述和所示出的塊的布局方案并未暗示特定的順序。
圖4是用于在編碼系統(tǒng)100上創(chuàng)建子采樣元數(shù)據(jù)的方法400的一個(gè)實(shí)施例的流程圖。最初，方法400始于如下處理邏輯，所述處理邏輯接收具有已編碼的媒體數(shù)據(jù)的文件(處理塊402)。接下來，處理邏輯提取標(biāo)識媒體數(shù)據(jù)中的子采樣的邊界的信息(處理塊404)。依據(jù)正在使用的文件格式，能將時(shí)間屬性附加到其上的數(shù)據(jù)流的最小單位稱為采樣(如ISO媒體文件格式或QuickTime定義的)、訪問單元(如MPEG-4定義的)或畫面(如JVT定義的)等等。子采樣代表采樣層下的數(shù)據(jù)流的連續(xù)部分。子采樣的定義取決于編碼格式，但是一般而言，子采樣是有意義的采樣子單元，可以將所述子單元作為單獨(dú)實(shí)體或作為子單元組合來進(jìn)行編碼，以便獲得采樣的部分重構(gòu)。子采樣還可以稱為訪問單元片段。往往，子采樣代表采樣的數(shù)據(jù)流的劃分，以便在相同個(gè)采樣中每個(gè)子采樣都具有對其它子采樣的極小依賴性或者沒有依賴性。例如，在JVT中，子采樣是NAL分組。同樣，對于MPEG-4視頻而言，子采樣將是視頻分組。
在一個(gè)實(shí)施例中，編碼系統(tǒng)100在上述JVT所定義的網(wǎng)絡(luò)抽象層上進(jìn)行操作。JVT媒體數(shù)據(jù)流由一系列NAL分組組成，其中每個(gè)NAL分組(也稱為NAL單元)都包含首部部分和凈載荷部分。其中一種類型的NAL分組用于包含每個(gè)時(shí)間片的已編碼的VCL數(shù)據(jù)，或者包含時(shí)間片的單個(gè)數(shù)據(jù)分區(qū)(partition)。另外，NAL分組可以是包含補(bǔ)充增強(qiáng)信息(SEI)消息的信息分組。SEI消息代表將在對相應(yīng)時(shí)間片進(jìn)行解碼時(shí)使用的任選數(shù)據(jù)。在JVT中，子采樣可能是具有首部和凈載荷兩者的完整NAL分組。
在處理塊406中，處理邏輯創(chuàng)建定義媒體數(shù)據(jù)中的子采樣的子采樣元數(shù)據(jù)。在一個(gè)實(shí)施例中，把子采樣元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)(例如，一組框)。預(yù)定的數(shù)據(jù)結(jié)構(gòu)組可以包括包含關(guān)于每個(gè)子采樣的大小的信息的數(shù)據(jù)結(jié)構(gòu)、包含關(guān)于每個(gè)采樣中的子采樣總數(shù)的信息的數(shù)據(jù)結(jié)構(gòu)、包含描述每個(gè)子采樣的信息(例如，把什么定義為子采樣)的數(shù)據(jù)結(jié)構(gòu)、或包含與子采樣有關(guān)的數(shù)據(jù)的任何其它數(shù)據(jù)結(jié)構(gòu)。
接下來，在一個(gè)實(shí)施例中，處理邏輯判斷任一數(shù)據(jù)結(jié)構(gòu)是否包含數(shù)據(jù)的重復(fù)序列(判斷框408)。如果是肯定的判斷，則處理邏輯就把數(shù)據(jù)的每個(gè)重復(fù)序列轉(zhuǎn)換成對序列出現(xiàn)和重復(fù)序列出現(xiàn)次數(shù)的引用(處理塊410)。
而后，在處理塊412中，處理邏輯利用特定的媒體文件格式(例如，JVT文件格式)將子采樣元數(shù)據(jù)歸入到與媒體數(shù)據(jù)相關(guān)聯(lián)的文件當(dāng)中。依據(jù)媒體文件格式，可以把子采樣元數(shù)據(jù)與采樣元數(shù)據(jù)存儲在一起(例如，可以把子采樣數(shù)據(jù)結(jié)構(gòu)歸入到包含采樣數(shù)據(jù)結(jié)構(gòu)的采樣表框中)，或者獨(dú)立于采樣元數(shù)據(jù)將其存儲起來。
圖5是用于在解碼系統(tǒng)200上使用子采樣元數(shù)據(jù)的方法500的一個(gè)實(shí)施例的流程圖。最初，方法500始于如下處理邏輯，所述處理邏輯接收與已編碼的媒體數(shù)據(jù)相關(guān)聯(lián)的文件(處理塊502)。可以從數(shù)據(jù)庫(本地的或外部的)、編碼系統(tǒng)100中或者從網(wǎng)絡(luò)上的任何其它裝置那里接收所述文件。所述文件包括定義媒體數(shù)據(jù)中的子采樣的子采樣元數(shù)據(jù)。
接下來，處理邏輯從文件中提取子采樣元數(shù)據(jù)(處理塊504)。正如上面所論述的那樣，子采樣元數(shù)據(jù)可以存儲在一組數(shù)據(jù)結(jié)構(gòu)中(例如，一組框)。
此外，在處理塊506中，處理邏輯利用提取出的元數(shù)據(jù)來標(biāo)識已編碼的媒體數(shù)據(jù)中的子采樣(存儲在相同文件中或者存儲在不同文件中)，并且把各種子采樣組合成將要發(fā)送給媒體解碼器的分組，由此實(shí)現(xiàn)了用于流送的媒體數(shù)據(jù)的靈活分組化(例如，支持錯(cuò)誤恢復(fù)力、可縮放性等等)。
現(xiàn)在，將參照擴(kuò)展的ISO媒體文件格式(稱為擴(kuò)展的MP4)來描述示例性的子采樣元數(shù)據(jù)結(jié)構(gòu)。將對本領(lǐng)域熟練技術(shù)人員顯而易見的是，其它的媒體文件格式也易于被擴(kuò)展以并入類似的用于存儲子采樣元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)中。
圖6舉例說明了具有子采樣的擴(kuò)展的MP4媒體流模型。用電影602來代表顯示數(shù)據(jù)(例如，包含同步音頻和視頻的顯示)。所述電影602包括一組軌道604。每個(gè)軌道604都代表一個(gè)媒體數(shù)據(jù)流。每個(gè)軌道604都被分成采樣606。每個(gè)采樣606都代表在特定時(shí)點(diǎn)上的媒體數(shù)據(jù)的單元。采樣606還被分成子采樣608。在JVT標(biāo)準(zhǔn)中，子采樣608可以代表NAL分組或單元，比如，畫面的單個(gè)時(shí)間片、具有多個(gè)數(shù)據(jù)分區(qū)的時(shí)間片的一個(gè)數(shù)據(jù)分區(qū)、帶內(nèi)參數(shù)集、或SEI信息分組。作為選擇，子采樣606可以代表采樣的任何其它的結(jié)構(gòu)元素，比如，代表媒體中的空間或時(shí)間區(qū)域的已編碼數(shù)據(jù)。在一個(gè)實(shí)施例中，能夠把根據(jù)一些結(jié)構(gòu)或語義準(zhǔn)則的已編碼媒體數(shù)據(jù)的任何分區(qū)都當(dāng)作子采樣對待。
圖7A-7L舉例說明了用于存儲子采樣元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)。
參照圖7A，擴(kuò)展含有按ISO媒體文件格式定義的采樣元數(shù)據(jù)框的采樣表框700，以便包含諸如子采樣大小框702、子采樣描述關(guān)聯(lián)框704、子采樣-采樣框706和子采樣描述框708之類的子采樣訪問框。在一個(gè)實(shí)施例中，子采樣訪問框的使用是任意的。
參照圖7B，例如，可以把采樣710分成諸如時(shí)間片712之類的時(shí)間片、諸如分區(qū)714之類的數(shù)據(jù)分區(qū)和諸如ROI 716之類的感興趣區(qū)域(ROI)。這些示例中的每一個(gè)都代表不同種類的采樣到子采樣的劃分。單個(gè)采樣內(nèi)的子采樣可以具有不同的大小。
子采樣大小框718包含規(guī)定子采樣大小框718的版本的版本字段、規(guī)定缺省子采樣大小的子采樣大小字段、用于提供軌道中的子采樣數(shù)目的子采樣計(jì)數(shù)字段和規(guī)定每個(gè)子采樣大小的條目大小字段。如果將子采樣大小字段設(shè)置成0，那么子采樣就具有存儲在子采樣大小表720中的不同大小。如果不將子采樣大小字段設(shè)置為0，那么它就規(guī)定表明子采樣大小表720為空的恒定子采樣大小。表720可以具有32位的固定大小或用于表示子采樣大小的可變長字段。如果字段是長度變化的，那么子采樣表就包含表明子采樣大小字段字節(jié)長度的字段。
參照圖7C，子采樣-采樣框722包括規(guī)定子采樣-采樣框722的版本的版本字段和提供表723中的條目數(shù)目的條目計(jì)數(shù)字段。子采樣-采樣表中的每個(gè)條目都包含提供共享相同數(shù)目的子采樣-每采樣的那些采樣的流送過程中的第一采樣的索引的第一采樣字段，和提供采樣的流送過程內(nèi)每個(gè)采樣中的子采樣數(shù)目的子采樣-每采樣字段。
通過計(jì)算多少采樣正在流送，用適當(dāng)子采樣-每采樣乘上這個(gè)數(shù)值，并且再把所有流送的結(jié)果加起來，就能利用表723來找出軌道中的子采樣的總數(shù)。
參照圖7D，子采樣描述關(guān)聯(lián)框724包括規(guī)定子采樣描述關(guān)聯(lián)框724的版本的版本字段、表明正在描述的子采樣(例如，NAL分組、感興趣區(qū)域等)類型的描述類型標(biāo)識符和提供表726中的條目數(shù)目的條目計(jì)數(shù)字段。表726中的每個(gè)條目都包括表明子采樣描述ID的子采樣描述類型標(biāo)識符字段，和給出在共享相同子采樣描述ID的那些子采樣的流送過程中的第一子采樣的索引的第一子采樣字段。
子采樣描述類型標(biāo)識符控制子采樣描述ID字段的使用。也就是說，取決于描述類型標(biāo)識符中規(guī)定的類型，子采樣描述ID字段本身可以規(guī)定直接對ID本身內(nèi)部的子采樣描述進(jìn)行編碼的描述ID，或者子采樣描述ID字段可以充當(dāng)?shù)讲煌?即，如下所述的子采樣描述表)的索引？例如，如果描述類型標(biāo)識符表示JVT描述，則子采樣描述ID標(biāo)識符字段就可以包括規(guī)定JVT子采樣的特性的代碼。在這種情況下，子采樣描述ID標(biāo)識符字段可以是32位字段，具有用作為位屏蔽的最低有效的8位以表示子采樣內(nèi)的預(yù)定數(shù)據(jù)分區(qū)的存在，還具有用以表示NAL分組類型或用于將來擴(kuò)展的高階的24位。
參照圖7E，子采樣描述框728包括規(guī)定子采樣描述框728的版本的版本字段；提供表730中的條目數(shù)目的條目計(jì)數(shù)字段；提供子采樣描述字段的描述類型的描述類型標(biāo)識符字段，所述子采樣描述字段提供了關(guān)于子采樣的特性的信息；和包含一個(gè)或多個(gè)子采樣描述條目730的表。子采樣描述類型標(biāo)識描述性信息涉及到的類型，并且對應(yīng)于子采樣描述關(guān)聯(lián)表724中的相同字段。表730中的每個(gè)條目都包含具有關(guān)于子采樣的特性的信息的子采樣描述條目，所述子采樣與這個(gè)描述條目相關(guān)聯(lián)。描述條目的信息和格式取決于描述類型字段。例如，當(dāng)描述類型是參數(shù)集時(shí)，那么每個(gè)描述條目都將包含該參數(shù)集的值。
描述性信息可以涉及參數(shù)集信息、與ROI有關(guān)的信息或刻畫子采樣特性所需的任何其它信息。對于參數(shù)集來講，子采樣描述關(guān)聯(lián)表724表明與每個(gè)子采樣相關(guān)聯(lián)的參數(shù)集。在這種情況下子采樣描述ID對應(yīng)于參數(shù)集標(biāo)識符。同樣，如下述那樣，子采樣能夠表示不同的感興趣區(qū)域。把子采樣定義為一個(gè)或多個(gè)已編碼的宏塊，然后利用子采樣描述關(guān)聯(lián)表來表示已編碼宏塊到不同區(qū)域的圖像幀或圖像的劃分。例如，幀中的已編碼宏塊能夠被分成具有兩個(gè)子采樣描述ID(例如，子采樣描述ID 1和2)的前景宏塊和背景宏塊，以分別表明給前景區(qū)域和背景區(qū)域的賦值。
圖7F舉例說明了不同類型的子采樣。子采樣可以表示不帶分區(qū)的時(shí)間片732、具有多個(gè)數(shù)據(jù)分區(qū)的時(shí)間片734、時(shí)間片內(nèi)的首部736、時(shí)間片中間的數(shù)據(jù)分區(qū)738、時(shí)間片末尾的數(shù)據(jù)分區(qū)740、SEI信息分組742等等。這些子采樣類型中的每一種都可以與圖7G所示出的8位屏蔽744的特定值相關(guān)聯(lián)。正如上面所論述的那樣，8位屏蔽可以形成32位子采樣描述ID字段的8個(gè)最低有效位。圖7H舉例說明了具有等于“jvtd的描述類型標(biāo)識符的子采樣描述關(guān)聯(lián)框724。表726包括存儲圖7G中的舉例說明的值的32位子采樣描述ID標(biāo)識符字段。
圖7H-7K舉例說明了子采樣描述關(guān)聯(lián)表中的數(shù)據(jù)壓縮。
參照圖7I，未壓縮的表726包括重復(fù)序列748的子采樣描述ID的序列750。在已壓縮的表746中，重復(fù)的序列750已經(jīng)被壓縮成對序列748的引用以及這個(gè)序列出現(xiàn)的次數(shù)。
在圖7J中舉例說明的一個(gè)實(shí)施例中，能夠通過把序列出現(xiàn)的最高有效位用作為序列標(biāo)志754的游程，把它的下一個(gè)23位用作為出現(xiàn)索引756，且把它的最低有效位用作為出現(xiàn)長度758，來在子采樣描述ID標(biāo)識符字段中對序列出現(xiàn)進(jìn)行編碼。如果將標(biāo)志754設(shè)置成1，那么就表示這個(gè)條目是重復(fù)的序列出現(xiàn)。否則，這個(gè)條目是就子采樣描述ID。發(fā)生索引756是序列第一次發(fā)生的子采樣描述關(guān)聯(lián)框724中的索引，而長度758表示重復(fù)的序列出現(xiàn)的長度。
在圖7K中舉例說明的另一個(gè)實(shí)施例中，使用重復(fù)序列出現(xiàn)表760來表示重復(fù)的序列出現(xiàn)。將子采樣描述ID字段的最高有效位用作為序列標(biāo)志762的游程，表明所述條目是否是子采樣描述ID，或者用作為重復(fù)序列出現(xiàn)表760中的條目序列索引，所述重復(fù)序列出現(xiàn)表760是子采樣描述關(guān)聯(lián)框724的一部分。重復(fù)序列出現(xiàn)表760包括規(guī)定重復(fù)序列中第一項(xiàng)的子采樣描述關(guān)聯(lián)框724中的索引的發(fā)生索引字段，和規(guī)定重復(fù)序列的長度的長度字段。
參數(shù)集在某些媒體格式中，諸如像JVT，將“首部”信息包含媒體數(shù)據(jù)的適當(dāng)解碼所需的臨界控制值從已編碼的數(shù)據(jù)的剩余部分中分離出來/去耦合，并且將其存儲在參數(shù)集當(dāng)中。然后，已編碼的數(shù)據(jù)能夠使用諸如唯一標(biāo)識符之類的機(jī)制來指代必要的參數(shù)集，而不是將流中的這些控制值與已編碼的數(shù)據(jù)混合在一起。這種方法使得高層編碼參數(shù)的發(fā)送與已編碼的數(shù)據(jù)去耦合。同時(shí)，也通過將控制值的共用集共享為參數(shù)集而減少了冗余。
為了支持使用參數(shù)集的已存儲媒體流的有效傳輸，發(fā)送器或播放器必須能快速地將已編碼數(shù)據(jù)鏈接于相應(yīng)的參數(shù)，以便了解參數(shù)集必須被發(fā)送或訪問的時(shí)間和地點(diǎn)。本發(fā)明的一個(gè)實(shí)施例通過存儲把參數(shù)集與相應(yīng)的部分媒體數(shù)據(jù)之間的關(guān)聯(lián)性指定為媒體文件格式中的參數(shù)集元數(shù)據(jù)的數(shù)據(jù)，而提供了這種能力。
圖8和9舉例說明了分別由編碼系統(tǒng)100和解碼系統(tǒng)200執(zhí)行的用于存儲和檢索參數(shù)集元數(shù)據(jù)的過程。所述過程可以由如下處理邏輯來執(zhí)行，所述處理邏輯可以包括硬件(例如，電路、專用邏輯等)、軟件(比如運(yùn)行在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上的)或者上述兩者的結(jié)合。
圖8是用于在編碼系統(tǒng)100創(chuàng)建參數(shù)集元數(shù)據(jù)的方法800的一個(gè)實(shí)施例的流程圖。最初，方法800始于如下處理邏輯，所述處理邏輯接收具有已編碼的媒體數(shù)據(jù)的文件(處理塊802)。所述文件包括規(guī)定如何對部分媒體數(shù)據(jù)進(jìn)行解碼的編碼參數(shù)集。接下來，處理邏輯檢查稱為參數(shù)集的編碼參數(shù)集與相對應(yīng)的部分媒體數(shù)據(jù)之間的關(guān)系(處理塊804)，并利用媒體數(shù)據(jù)部分來創(chuàng)建定義參數(shù)集及其關(guān)聯(lián)的參數(shù)集元數(shù)據(jù)(處理塊806)。所述媒體數(shù)據(jù)部分可以用采樣或子采樣來表示。
在一個(gè)實(shí)施例中，將參數(shù)集元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)(例如，一組框)。該預(yù)定的數(shù)據(jù)結(jié)構(gòu)組可以包括包含關(guān)于參數(shù)集的描述性信息的數(shù)據(jù)結(jié)構(gòu)，和包含定義采樣與相應(yīng)參數(shù)集之間的關(guān)聯(lián)的信息的數(shù)據(jù)結(jié)構(gòu)。在一個(gè)實(shí)施例中，該預(yù)定的數(shù)據(jù)結(jié)構(gòu)組還包括包含定義子采樣與對應(yīng)參數(shù)集之間的關(guān)聯(lián)的信息的數(shù)據(jù)結(jié)構(gòu)。包含子采樣與參數(shù)集之間關(guān)聯(lián)的信息的數(shù)據(jù)結(jié)構(gòu)可以或可以不必重載(override)包含采樣與參數(shù)集之間關(guān)聯(lián)的信息的數(shù)據(jù)結(jié)構(gòu)。
接下來，在一個(gè)實(shí)施例中，處理邏輯判斷任何參數(shù)集數(shù)據(jù)結(jié)構(gòu)是否包含數(shù)據(jù)的重復(fù)序列(判斷框808)。如果這一判斷是肯定的，那么處理邏輯就把數(shù)據(jù)的每個(gè)重復(fù)序列轉(zhuǎn)換成對序列出現(xiàn)的引用和序列出現(xiàn)的次數(shù)(處理塊810)。
然后，在處理塊812中，處理邏輯利用特定的媒體文件格式(例如，JVT文件格式)將參數(shù)集元數(shù)據(jù)歸入到與媒體數(shù)據(jù)相關(guān)聯(lián)的文件中。取決于媒體文件格式，可以將參數(shù)集元數(shù)據(jù)與軌道元數(shù)據(jù)和/或采樣元數(shù)據(jù)存儲在一起(例如，可以將包含關(guān)于參數(shù)集的描述性信息的數(shù)據(jù)結(jié)構(gòu)歸入到軌道框中，且可以將包含關(guān)聯(lián)信息的數(shù)據(jù)結(jié)構(gòu)歸入到采樣表框中)，或者獨(dú)立于軌道元數(shù)據(jù)和/或采樣元數(shù)據(jù)而存儲所述參數(shù)集元數(shù)據(jù)。
圖9是用于在解碼系統(tǒng)200上使用參數(shù)集元數(shù)據(jù)的方法900的一個(gè)實(shí)施例的流程圖。最初，方法900始于如下處理邏輯，所述處理邏輯接收與已編碼的媒體數(shù)據(jù)相關(guān)聯(lián)的文件(處理塊902)?？梢詮臄?shù)據(jù)庫(本地的或外部的)、編碼系統(tǒng)100中接收所述文件，或者從網(wǎng)絡(luò)上的任何其它裝置那里接收所述文件。所述文件包括定義媒體數(shù)據(jù)的參數(shù)集以及參數(shù)集與相對應(yīng)的部分媒體數(shù)據(jù)(例如，相對應(yīng)的采樣或子采樣)之間的關(guān)聯(lián)的參數(shù)集元數(shù)據(jù)。
接下來，處理邏輯從文件中提取參數(shù)集元數(shù)據(jù)(處理塊904)。正如上面所論述的那樣，參數(shù)集元數(shù)據(jù)可以存儲在一組數(shù)據(jù)結(jié)構(gòu)(例如，一組框)中。
此外，在處理塊906中，處理邏輯利用提取出的元數(shù)據(jù)來判斷哪個(gè)參數(shù)集與特定的媒體數(shù)據(jù)部分相關(guān)聯(lián)(例如，采樣或子采樣)。然后，可以使用這一信息來控制媒體數(shù)據(jù)部分以及相應(yīng)參數(shù)集的傳輸時(shí)間。也就是說，必須在包含采樣或子采樣的分組前面或者與包含采樣或子采樣的分組一起發(fā)送將被用來對特定采樣或子采樣進(jìn)行解碼的參數(shù)集。
因此，參數(shù)集元數(shù)據(jù)的使用實(shí)現(xiàn)了參數(shù)集在更可靠的信道上的獨(dú)立發(fā)送，減少了錯(cuò)誤幾率或令媒體流的一部分丟失的數(shù)據(jù)損失幾率。
現(xiàn)在，將參照擴(kuò)展的ISO媒體文件格式(稱為擴(kuò)展的ISO)來描述示例性的參數(shù)集元數(shù)據(jù)結(jié)構(gòu)。然而，應(yīng)當(dāng)指出的是，其它的媒體文件格式也可以被擴(kuò)展，以便并入用于存儲參數(shù)集元數(shù)據(jù)的各種數(shù)據(jù)結(jié)構(gòu)。
圖10A-10E舉例說明了用于存儲參數(shù)集元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)。
參照圖10A，擴(kuò)展包含按ISO文件格式定義的軌道元數(shù)據(jù)框的軌道框1002，以便包括參數(shù)集描述框1004。另外，擴(kuò)展包含按ISO文件格式定義的采樣元數(shù)據(jù)框的采樣表框1006，以便包括采樣到參數(shù)集框1008。在一個(gè)實(shí)施例中，采樣表框1006包括子采樣到參數(shù)集框，該子采樣到本參數(shù)集框可以重載如下面將更詳細(xì)論述的采樣到參數(shù)集框1008。
在一個(gè)實(shí)施例中，參數(shù)集元數(shù)據(jù)框1004和1008是強(qiáng)制性的。在另一個(gè)實(shí)施例中，只有參數(shù)集描述框1004是強(qiáng)制性的。在又一個(gè)實(shí)施例中，所有參數(shù)集元數(shù)據(jù)框都是任意的。
參照圖10B，參數(shù)集描述框1010包含規(guī)定參數(shù)集描述框1010的版本的版本字段、用以提供表1012中的條目數(shù)目的參數(shù)集描述計(jì)數(shù)字段和包含對應(yīng)參數(shù)集本身的條目的參數(shù)集條目字段。
可以從采樣層或子采樣層那里引用參數(shù)集。參照圖10C，采樣到參數(shù)集框1014提供了從采樣層對參數(shù)集的引用。采樣到參數(shù)集框1014包括規(guī)定采樣到參數(shù)集框1014的版本的版本字段、規(guī)定缺省參數(shù)設(shè)置ID的缺省參數(shù)設(shè)置ID字段、提供表1016中的條目數(shù)目的條目計(jì)數(shù)字段。表1016中的每個(gè)條目都包含提供共享相同參數(shù)集的那些采樣的游程中第一采樣的索引的第一采樣字段，和指定到參數(shù)集描述框1010的索引的參數(shù)集索引。如果缺省參數(shù)設(shè)置ID等于0，那么采樣就具有存儲在表1016中的不同參數(shù)集。否則，使用恒定參數(shù)設(shè)置并且無數(shù)組跟隨。
在一個(gè)實(shí)施例中，通過把每個(gè)重復(fù)序列轉(zhuǎn)換成初始序列到的引用和這個(gè)序列出現(xiàn)的次數(shù)，來壓縮表1016中的數(shù)據(jù)，正如上面結(jié)合子采樣描述關(guān)聯(lián)表更詳細(xì)論述的那樣。
可以通過定義參數(shù)集與子采樣之間的關(guān)聯(lián)，來從子采樣層引用參數(shù)集。在一個(gè)實(shí)施例中，參數(shù)集與子采樣之間的關(guān)聯(lián)是利用上述的子采樣描述關(guān)聯(lián)框來定義的。圖10D舉例說明了具有引用參數(shù)集的描述類型標(biāo)識符(例如，描述類型標(biāo)識符等于“解析”)的子采樣描述關(guān)聯(lián)框1018。根據(jù)這個(gè)描述類型標(biāo)識符，表1020中的子采樣描述ID表明參數(shù)集描述框1010中的索引。
在一個(gè)實(shí)施例中，當(dāng)具有引用參數(shù)集的描述類型標(biāo)識符的子采樣描述關(guān)聯(lián)框1018存在時(shí)，它重載采樣到參數(shù)集框1014。
參數(shù)集可以在創(chuàng)建參數(shù)集時(shí)與使用參數(shù)集來對相對應(yīng)的部分媒體數(shù)據(jù)進(jìn)行解碼時(shí)之間變化。如果這類變化發(fā)生的話，解碼系統(tǒng)200就接收規(guī)定對參數(shù)集的改變的參數(shù)更新分組。參數(shù)集元數(shù)據(jù)包括標(biāo)識更新前后的參數(shù)集狀態(tài)的數(shù)據(jù)。
參照圖10E，參數(shù)集描述框1010包括在t0時(shí)創(chuàng)建的初始參數(shù)設(shè)置1022的條目、和響應(yīng)于在時(shí)間t1時(shí)接收的參數(shù)更新分組1026而創(chuàng)建的更新參數(shù)設(shè)置1024的條目。子采樣描述關(guān)聯(lián)框1018把兩個(gè)參數(shù)集與相對應(yīng)的子采樣關(guān)聯(lián)起來。
采樣組雖然軌道內(nèi)的采樣可能具有編組成如下序列的采樣的各種邏輯編組(分區(qū))，其中所述序列表示媒體數(shù)據(jù)中的高層結(jié)構(gòu)，但是現(xiàn)有的文件格式未提供用于表示和存儲這類編組的便利機(jī)制。例如，高級的編碼格式(諸如JVT)根據(jù)單個(gè)軌道內(nèi)采樣的相互依賴性而將這些采樣編組成組群。當(dāng)網(wǎng)絡(luò)條件需要時(shí)，這些組群(這里稱為序列或采樣組)可以用來標(biāo)識可任意處理的采樣鏈，由此支持時(shí)間的可縮放性。對定義文件格式中的采樣組的元數(shù)據(jù)進(jìn)行存儲，使媒體的發(fā)送器能夠容易而有效地實(shí)現(xiàn)上述特征。
采樣組的一個(gè)示例是這樣的一組采樣，它們的幀間依賴性允許獨(dú)立于其它采樣而對它們進(jìn)行解碼。在JVT中，這類采樣組稱為增強(qiáng)式畫面組(增強(qiáng)式GOP)。在增強(qiáng)式GOP中，可以把采樣分成子序列。每個(gè)子序列都包括這樣的一組采樣，它們相互依賴并且可以把它們作為單元來處理。另外，可以把增強(qiáng)式GOP的采樣分層地構(gòu)造成層，以便僅僅從較低層中的采樣預(yù)測較高層中的采樣，由此允許在不影響解碼其它采樣的能力的情況下處理最高層的采樣。包括不依賴于任何其它層中的采樣的那些采樣的最低層稱為基層。非基層的任何其它層都稱為增強(qiáng)層。
圖11舉例說明了示例性的增強(qiáng)式GOP，在其中采樣被分成兩層一基層1102和增強(qiáng)層1104，以及兩個(gè)子序列1106和1108。兩個(gè)子序列1106和1108中的每一個(gè)能夠被彼此獨(dú)立地丟棄。
圖12和13舉例說明了分別由編碼系統(tǒng)100和解碼系統(tǒng)200執(zhí)行的用于存儲和檢索采樣組元數(shù)據(jù)的過程。所述過程可以由如下處理邏輯，所述處理邏輯可以包括硬件(例如，電路、專用邏輯等)、軟件(比如運(yùn)行在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上的)或者上述兩者的結(jié)合。
圖12是用于在編碼系統(tǒng)100上創(chuàng)建采樣組元數(shù)據(jù)的方法1200的一個(gè)實(shí)施例的流程圖。最初，方法1200始于如下處理邏輯，所述處理邏輯接收具有已編碼媒體數(shù)據(jù)的文件(處理塊1202)。媒體數(shù)據(jù)的軌道內(nèi)的采樣具有一定的相互依賴性。例如，所述軌道可以包括不依賴于任何其它采樣的I幀、依賴于單個(gè)在前采樣的P幀、以及依賴于兩個(gè)在前采樣的B幀，還包含I幀、P幀和B幀的任意組合。根據(jù)它們的相互依賴性，能夠把軌道中的采樣邏輯上組合成采樣組(例如，增強(qiáng)式GOP、層、子序列等等)。
接下來，處理邏輯檢查媒體數(shù)據(jù)以便標(biāo)識每個(gè)軌道中的采樣組(處理塊1204)，并創(chuàng)建描述所述采樣組的采樣組元數(shù)據(jù)，并且定義將在每個(gè)采樣組中包含哪些采樣(處理塊1206)。在一個(gè)實(shí)施例中，把采樣組元數(shù)據(jù)編組成一組預(yù)定數(shù)據(jù)結(jié)構(gòu)(例如，一組框)。預(yù)定的數(shù)據(jù)結(jié)構(gòu)組可以包括包含關(guān)于每個(gè)采樣組的描述性信息的數(shù)據(jù)結(jié)構(gòu)和包含標(biāo)識每個(gè)采樣組中所含的信息的數(shù)據(jù)結(jié)構(gòu)。
接下來，在一個(gè)實(shí)施例中，處理邏輯判斷任何采樣分組數(shù)據(jù)結(jié)構(gòu)是否包含數(shù)據(jù)的重復(fù)序列(判斷框1208)。如果這個(gè)判斷是肯定的，則處理邏輯就把數(shù)據(jù)的每個(gè)重復(fù)序列轉(zhuǎn)換成到序列出現(xiàn)的引用和序列出現(xiàn)的次數(shù)(處理塊1210)。
然后，在處理塊1212上，處理邏輯利用特定的媒體文件格式(例如，JVT文件格式)將采樣組元數(shù)據(jù)歸入到與媒體數(shù)據(jù)相關(guān)聯(lián)的文件中。取決于媒體文件格式，可以將采樣組元數(shù)據(jù)與采樣元數(shù)據(jù)(例如，可以把采樣分組數(shù)據(jù)結(jié)構(gòu)包含到采樣表框中)存儲在一起，或者獨(dú)立于采樣元數(shù)據(jù)將所述采樣組元數(shù)據(jù)存儲起來。
圖13是用于在解碼系統(tǒng)200上使用采樣組元數(shù)據(jù)的方法1300的一個(gè)實(shí)施例的流程圖。最初，方法1300始于如下處理邏輯，所述處理邏輯接收與已編碼的媒體數(shù)據(jù)相關(guān)聯(lián)的文件(處理塊1302)?？梢詮臄?shù)據(jù)庫(本地的或外部的)、編碼系統(tǒng)100中或者從網(wǎng)絡(luò)上的任何其它裝置那里接收所述文件。所述文件包括定義媒體數(shù)據(jù)中的采樣組的采樣組元數(shù)據(jù)。
接下來，處理邏輯從文件中提取采樣組元數(shù)據(jù)(處理塊1304)。正如上面所論述的那樣，可以在數(shù)據(jù)結(jié)構(gòu)組(例如，一組框)中存儲采樣組元數(shù)據(jù)。
此外，在處理塊1306上，處理邏輯利用提取出的采樣組元數(shù)據(jù)來標(biāo)識采樣鏈，可以在不影響解碼其它采樣的能力的情況下處理所述采樣鏈。在一個(gè)實(shí)施例中，這個(gè)信息可以用來訪問特定采樣組中的采樣，并用來判斷響應(yīng)于網(wǎng)絡(luò)能力方面的變化能丟棄哪些采樣。在其它實(shí)施例中，利用采樣組元數(shù)據(jù)來過濾采樣，以便僅僅處理或再現(xiàn)軌道中的一部分采樣。
因此，采樣組元數(shù)據(jù)方便了對采樣的選擇性訪問和可縮放性。
現(xiàn)在，將參照擴(kuò)展的ISO媒體文件格式(稱為擴(kuò)展的MP4)來描述示例性采樣組元數(shù)據(jù)結(jié)構(gòu)。然而，應(yīng)當(dāng)指出的是，其它媒體文件格式也可以被擴(kuò)展，以便并入用于存儲采樣組元數(shù)據(jù)的各種數(shù)據(jù)結(jié)構(gòu)。
圖14A-14E舉例說明了用于存儲采樣組元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)。
參照圖14A，擴(kuò)展包含按MP4定義的采樣元數(shù)據(jù)框的采樣表框1400，以便包含采樣組框1402和采樣組描述框1404。在一個(gè)實(shí)施例中，采樣組元數(shù)據(jù)框1402和1404是任意的。
參照圖14B，使用采樣組框1406來找出特定采樣組中所含的一組采樣。允許采樣組框1406的多個(gè)實(shí)例，以便對應(yīng)于采樣組的不同類型(例如，增強(qiáng)式GOP、子序列、層、參數(shù)集等)。采樣組框1406包含規(guī)定采樣組框1406版本的版本字段、用以提供表1408中的條目數(shù)目的條目計(jì)數(shù)字段、用以標(biāo)識采樣組類型的采樣組標(biāo)識符字段、提供相同采樣組中所含的那些采樣的流送過程中的第一采樣的索引的第一采樣字段、和規(guī)定到采樣組描述框的索引的采樣組描述索引。
參照圖14C，采樣組描述框1410提供了關(guān)于采樣組的特性的信息。采樣組描述框1410包含規(guī)定采樣組描述框1410的版本的版本字段、用以提供表1412中的條目數(shù)目的條目計(jì)數(shù)字段、用以標(biāo)識采樣組類型的采樣組標(biāo)識符字段、和用以提供采樣組描述符的采樣組描述字段。
參照圖14D，舉例說明了層(“l(fā)ayr”)采樣組類型的采樣組框1416的使用。根據(jù)采樣的相互依賴性將采樣1至11分成三層。在第0層(基層)中，采樣(采樣1、6和11)都只彼此依賴，而不是依賴于任何其它層中的采樣。在第1層中，采樣(采樣2、5、7、10)依賴于較低層(即，第0層)中的采樣和此第1層內(nèi)的采樣。在第2層中，采樣(采樣3、4、8、9)依賴于較低層(第0和1層)中的采樣和此第2層內(nèi)的采樣。因此，能夠在不影響對來自于較低的第0和1層的采樣解碼的能力的情況下安排第2層的采樣。
采樣組框1416中的數(shù)據(jù)說明了采樣與所述層之間的上述關(guān)聯(lián)。如圖所示，這個(gè)數(shù)據(jù)包括重復(fù)的層模式1414，可以通過把每個(gè)重復(fù)的層模式轉(zhuǎn)換成對初始層模式的引用和這個(gè)模式出現(xiàn)的次數(shù)，來壓縮所述重復(fù)的層模式，正如上面詳細(xì)論述的那樣。
參照圖14E，舉例說明了子序列(“sseq”)采樣組類型的采樣組框1418的使用。根據(jù)采樣的相互依賴性將采樣1至11分成四個(gè)子序列。除在第0層上的子序列0之外，每個(gè)子序列都包括無其它的子序列依賴于它的采樣。因此，必要時(shí)可以把子序列中的采樣作為單元來安排。
采樣組框1418中的數(shù)據(jù)說明了采樣與子序列之間的關(guān)聯(lián)性。這個(gè)數(shù)據(jù)允許在相對應(yīng)的子序列的起始處隨機(jī)訪問采樣。
流切換在典型的流送的情形下，其中一個(gè)關(guān)鍵要求就是響應(yīng)于改變網(wǎng)絡(luò)條件而縮放壓縮數(shù)據(jù)的比特率。實(shí)現(xiàn)這個(gè)的簡單方法就是對具有用于典型網(wǎng)絡(luò)條件的不同比特率和質(zhì)量設(shè)置的多個(gè)流進(jìn)行編碼。然后，能夠響應(yīng)于網(wǎng)絡(luò)條件而在這些預(yù)先編碼的流當(dāng)中切換服務(wù)器。
JVT標(biāo)準(zhǔn)提供了稱為切換畫面的新型畫面，在不需要兩個(gè)畫面都使用用于預(yù)測的相同幀的情況下，所述切換畫面允許一個(gè)畫面同等地重構(gòu)另一個(gè)。具體來講，JVT提供了兩種類型的切換畫面類似于I幀的SI畫面，獨(dú)立于任何其它畫面而對其進(jìn)行編碼；和SP畫面，參照其它畫面來對其進(jìn)行編碼。響應(yīng)于改變傳送條件，可以使用切換畫面來實(shí)現(xiàn)在具有不同的比特率和質(zhì)量設(shè)置的流當(dāng)中進(jìn)行切換，以便提供錯(cuò)誤恢復(fù)力，并且實(shí)現(xiàn)像快速進(jìn)帶和倒帶一樣的變速桿模式(trick mode)。
然而，為了當(dāng)實(shí)現(xiàn)流切換、錯(cuò)誤恢復(fù)力、變速桿模式及其它特征時(shí)有效地使用JVT切換畫面，播放器必須知道所存儲的媒體數(shù)據(jù)中的哪些采樣具有可選的表示并且它們的依賴物是什么?，F(xiàn)有的文件格式?jīng)]有提供這種能力。
本發(fā)明的一個(gè)實(shí)施例通過定義切換采樣集而解決了上述限制。切換采樣集表示這樣的一組采樣，它們的解碼值相等，但是它們可以使用不同的參考采樣。參考采樣是用于預(yù)測另一個(gè)采樣的值的采樣。切換采樣集的每個(gè)成員稱為切換采樣。圖15A舉例說明了用于比特流切換的切換采樣集的使用。
參照圖15A，流1和流2是兩個(gè)具有不同質(zhì)量和比特率參數(shù)的相同內(nèi)容的編碼。采樣S12是不出現(xiàn)在每一個(gè)流中的SP畫面，它用于實(shí)現(xiàn)從流1到流2的切換(切換是方向性特性)。采樣S12和S2是包含在切換采樣集中的。S1和S12兩者都是根據(jù)軌道1中的采樣P12預(yù)測的，而S2是根據(jù)軌道2中的采樣P22預(yù)測的。盡管采樣S12和S2使用不同的參考采樣，但是它們的解碼值是相等的。因此，通過切換采樣S12能夠?qū)崿F(xiàn)從流1到流2的切換(在流1中的采樣1處和流2中的S2處)。
圖16和17舉例說明了分別由編碼系統(tǒng)100和解碼系統(tǒng)200執(zhí)行的用于存儲和檢索切換采樣元數(shù)據(jù)的過程。所述過程可以由如下處理邏輯來執(zhí)行，所述處理邏輯可以包括硬件(例如，電路、專用邏輯等)、軟件(比如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)上執(zhí)行的)或上述兩者的結(jié)合。
圖16是用于在編碼系統(tǒng)100上創(chuàng)建切換采樣元數(shù)據(jù)的方法1600的一個(gè)實(shí)施例的流程圖。最初，方法1600始于如下處理邏輯，所述處理邏輯接收具有已編碼的媒體數(shù)據(jù)的文件(處理塊1602)。所述文件包括用于媒體數(shù)據(jù)的一個(gè)或多個(gè)可選的編碼(例如，用于典型網(wǎng)絡(luò)條件的不同帶寬和質(zhì)量設(shè)置)。所述可選的編碼包括一個(gè)或多個(gè)切換畫面。這類畫面可以包含在可選的媒體數(shù)據(jù)流之內(nèi)，或者作為實(shí)現(xiàn)比如錯(cuò)誤恢復(fù)力或變速桿模式之類的特定特征的獨(dú)立實(shí)體。用于創(chuàng)建這些軌道和切換畫面的方法并不是本發(fā)明指定的，而是各種可能性都對于本領(lǐng)域熟練技術(shù)人員而言將是顯而易見的。例如，每對包含可選編碼的軌道之間的切換采樣的定期(例如，每一秒)設(shè)置。
接下來，當(dāng)使用不同的參考采樣時(shí)，處理邏輯檢查文件以創(chuàng)建切換采樣集(處理塊1604)，所述切換采樣集包括那些具有相同解碼值的采樣，并且創(chuàng)建定義媒體數(shù)據(jù)的切換采樣集的切換采樣元數(shù)據(jù)并描述切換采樣集內(nèi)的采樣(處理塊1606)。在一個(gè)實(shí)施例中，把切換采樣元數(shù)據(jù)編組成預(yù)定的數(shù)據(jù)結(jié)構(gòu)，比如包含一組嵌套表的表框。
接下來，在一個(gè)實(shí)施例中，處理邏輯判斷切換采樣元數(shù)據(jù)結(jié)構(gòu)是否包含數(shù)據(jù)的重復(fù)序列(判斷框1608)。如果這一判斷是肯定的，則處理邏輯就把數(shù)據(jù)的每個(gè)重復(fù)序列轉(zhuǎn)換成到序列出現(xiàn)的引用和序列出現(xiàn)的次數(shù)(處理塊1610)。
然后，在處理塊1612中，處理邏輯利用特定的媒體文件格式(例如，JVT文件格式)將切換采樣元數(shù)據(jù)包含到與媒體數(shù)據(jù)相關(guān)聯(lián)的文件中。在一個(gè)實(shí)施例中，切換采樣元數(shù)據(jù)可以存儲在為流切換而標(biāo)明的獨(dú)立軌道中。在另一個(gè)實(shí)施例中，將切換采樣元數(shù)據(jù)與采樣元數(shù)據(jù)一起存儲起來(例如，可以把序列數(shù)據(jù)結(jié)構(gòu)包含在采樣表框中)。
圖17是用于在解碼系統(tǒng)200上使用切換采樣元數(shù)據(jù)的方法1700的一個(gè)實(shí)施例的流程圖。最初，方法1700始于如下處理邏輯，所述處理邏輯接收與已編碼的媒體數(shù)據(jù)相關(guān)聯(lián)的文件(處理塊1702)。可以從數(shù)據(jù)庫(本地的或外部的)、編碼系統(tǒng)100中接收所述文件，或者從網(wǎng)絡(luò)上的任何其它裝置那里接收所述文件。所述文件包括定義與媒體數(shù)據(jù)相關(guān)聯(lián)的切換采樣集的切換采樣元數(shù)據(jù)。
接下來，處理邏輯從文件中提取切換采樣元數(shù)據(jù)(處理塊1704)。正如上面所論述的那樣，切換采樣元數(shù)據(jù)可以存儲在諸如包含一組嵌套表的表框之類的數(shù)據(jù)結(jié)構(gòu)中。
此外，在處理塊1706中，處理邏輯利用提取出的元數(shù)據(jù)來找出包含特定采樣的切換采樣集，并從所述切換采樣集中選擇可選的采樣。響應(yīng)于改變網(wǎng)絡(luò)條件，可以使用作為和初始采樣具有相同解碼值的可選采樣來在兩個(gè)不同編碼的比特流之間進(jìn)行切換，以便提供到比特流中的隨機(jī)訪問入口點(diǎn)，從而便于錯(cuò)誤恢復(fù)等等。
現(xiàn)在，將參照擴(kuò)展的ISO媒體文件格式(稱為擴(kuò)展的MP4)來描述示例性切換采樣元數(shù)據(jù)結(jié)構(gòu)。然而，應(yīng)當(dāng)指出的是，其它媒體文件格式也能被擴(kuò)展，以便并入用于存儲切換采樣元數(shù)據(jù)的各種數(shù)據(jù)結(jié)構(gòu)。
圖18舉例說明了用于存儲切換采樣元數(shù)據(jù)的示例性數(shù)據(jù)結(jié)構(gòu)。所述示例性數(shù)據(jù)結(jié)構(gòu)是包括一組嵌套表的切換采樣表框的形式。表1802中的每個(gè)條目都標(biāo)識一個(gè)切換采樣集。每個(gè)切換采樣集都由一組切換采樣組成，所述切換采樣組的重構(gòu)客觀上是等同的(或感性上是等同的)，但是能夠根據(jù)可以或可以不必作為切換采樣而處于相同軌道(流)中的不同參考采樣來預(yù)測所述切換采樣組。表1802中的每個(gè)條目都鏈接于相對應(yīng)的表1804。表1804標(biāo)識了切換采樣集中所含的每個(gè)切換采樣。表1804中的每個(gè)條目還都鏈接于相對應(yīng)的表1806，該表定義了切換采樣的位置(即，它的軌道號和采樣號)，所述軌道包含切換采樣所使用的參考采樣、切換采樣所使用的參考采樣的總數(shù)以及切換采樣所使用的每個(gè)參考采樣。
正如圖15A中舉例說明的那樣，在一個(gè)實(shí)施例中，可以使用切換采樣元數(shù)據(jù)來在相同內(nèi)容的不同編碼版本之間進(jìn)行切換。在MP4中，把每個(gè)可選的編碼存為獨(dú)立的MP4軌道，并且軌道首部中的“可選組”表明它是特定內(nèi)容的可選編碼。
圖15B舉例說明了根據(jù)圖15A的、包含定義切換采樣集1502的元數(shù)據(jù)的表，所述切換采樣集1502由采樣S2和S12組成。
圖15C是用于判斷如下點(diǎn)的方法1510的一個(gè)實(shí)施例的流程圖，其中在所述點(diǎn)處將執(zhí)行兩個(gè)比特流之間的切換。假定將要從流1到流2執(zhí)行切換，方法1510始于搜索切換采樣元數(shù)據(jù)，以找出所有包含具有流1的參考軌道的切換采樣和具有流2的切換采樣軌道的切換采樣的切換采樣集(處理塊1512)。接下來，評估得到的切換采樣集，以選擇其中具有流1的參考軌道的切換采樣的所有參考采樣都可用的切換采樣集(處理塊1514)。例如，如果具有流1的參考軌道的切換采樣是P幀，那么在切換之前要求一個(gè)采樣是可用的。此外，利用所選的切換采樣集中的采樣來確定切換點(diǎn)(處理塊1516)。也就是說，切換點(diǎn)被認(rèn)定為是將經(jīng)由具有流1的參考軌道的切換采樣而緊接在具有流1的參考軌道的切換采樣的最高參考采樣之后，且直到緊跟具有流2的切換采樣軌道的切換采樣的采樣那里。
在另一個(gè)實(shí)施例，可以使用切換采樣元數(shù)據(jù)來便于隨機(jī)訪問到比特流中的入口點(diǎn)，正如在圖19A-19C中舉例說明的那樣。
參照圖19A和19B，切換采樣1902由采樣S2和S12組成。S2是根據(jù)P22預(yù)測的P幀，并且在普通的流重放期間使用所述S2。S12用作為隨機(jī)訪問點(diǎn)(用于編接)。一旦S12被解碼，流重放就繼續(xù)進(jìn)行P24的解碼，就好似P24是在S2之后被解碼一樣。
圖19C是用于確定采樣(例如，軌道T上的采樣S)的隨機(jī)訪問點(diǎn)的方法1910的一個(gè)實(shí)施例的流程圖。方法1910始于搜索切換采樣元數(shù)據(jù)以找出包含具有切換采樣軌道T的切換采樣的所有切換采樣集(處理塊1912)。接下來，評估得到的切換采樣集，以便選擇這樣的切換采樣集，在所述切換采樣集中，具有切換采樣軌道T的切換采樣在解碼順序上是在采樣S之前的最鄰近的采樣(處理塊1914)。此外，從所選的切換采樣集中選出除具有切換采樣軌道T的切換采樣之外的切換采樣(采樣SS)，以作為到采樣S的隨機(jī)訪問點(diǎn)(處理塊1916)。在流重放期間，對采樣SS進(jìn)行解碼(繼之以對在對應(yīng)采樣SS的條目中指定的任何參考采樣進(jìn)行解碼)，而不是對采樣S進(jìn)行解碼。
在又一個(gè)實(shí)施例中，可以使用切換采樣元數(shù)據(jù)來便于錯(cuò)誤恢復(fù)，正如圖20A-20C中所舉例說明的那樣。
參照圖20A和20B，切換采樣2002由采樣S2、S12和S22組成。采樣S2是根據(jù)采樣P4預(yù)測的。采樣S12是根據(jù)采樣S1預(yù)測的。如果在采樣P2和P4之間發(fā)生錯(cuò)誤，那么就可以對切換采樣S12進(jìn)行解碼，而不是對采樣S2進(jìn)行解碼。那么，流送照常繼續(xù)采樣P6。如果錯(cuò)誤也影響了采樣S1，則就可以對切換采樣S22進(jìn)行解碼而不是對采樣S2進(jìn)行解碼，然后流送將照常繼續(xù)采樣P6。
圖20c是用于當(dāng)發(fā)送采樣(例如，采樣S)時(shí)便于錯(cuò)誤恢復(fù)的方法2010的一個(gè)實(shí)施例的流程圖。方法2010始于搜索切換采樣元數(shù)據(jù)以找出包含等于采樣S或在按解碼順序上緊隨采樣S的切換采樣的所有切換采樣集(處理塊2012)。接下來，評估得到的切換采樣集以選擇具有切換采樣SS的切換采樣集，所述切換采樣SS最接近于采樣S并且(經(jīng)由反饋或其它信息源)已知它的參考采樣將是正確的(處理塊2014)。此外，發(fā)送切換采樣SS而不是發(fā)送采樣S(處理塊2016)。
已經(jīng)描述了視聽元數(shù)據(jù)的存儲和檢索。盡管這里已經(jīng)舉例說明并描述了特定的實(shí)施例，但是本領(lǐng)域普通技術(shù)人員將會認(rèn)識到的是，適于實(shí)現(xiàn)相同目的的任何布局方案都可以代替這里所示的特定實(shí)施例。本申請是用來涵蓋本發(fā)明的任何修改或變形。
權(quán)利要求
1.一種方法，包括創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；以及形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括所述采樣組元數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
3.如權(quán)利要求1所述的方法，其中創(chuàng)建采樣組元數(shù)據(jù)包括接收具有已編碼的多媒體數(shù)據(jù)的文件；檢查多媒體數(shù)據(jù)以標(biāo)識多媒體數(shù)據(jù)的每個(gè)軌道中的多個(gè)采樣組；以及標(biāo)識多個(gè)采樣組中的每一個(gè)中所含的采樣。
4.如權(quán)利要求1所述的方法，其中創(chuàng)建采樣組元數(shù)據(jù)包括把采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)。
5.如權(quán)利要求4所述的方法，其中創(chuàng)建采樣組元數(shù)據(jù)進(jìn)一步包括把預(yù)定數(shù)據(jù)結(jié)構(gòu)組內(nèi)的數(shù)據(jù)的每個(gè)重復(fù)序列轉(zhuǎn)換成對序列出現(xiàn)的引用和發(fā)生的次數(shù)。
6.如權(quán)利要求4所述的方法，其中預(yù)定的數(shù)據(jù)結(jié)構(gòu)組包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
7.如權(quán)利要求1所述的方法，進(jìn)一步包括將與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件發(fā)送到解碼系統(tǒng)；在解碼系統(tǒng)上接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件；以及在解碼系統(tǒng)上，從與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件中提取采樣組元數(shù)據(jù)，所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣。
8.一種方法，包括接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；以及從文件中提取采樣組元數(shù)據(jù)，所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣。
9.如權(quán)利要求8所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
10.如權(quán)利要求8所述的方法，進(jìn)一步包括響應(yīng)于網(wǎng)絡(luò)能力方面的變化，找出能在不影響多媒體數(shù)據(jù)的剩余采樣的解碼的情況下處理的一個(gè)或多個(gè)采樣。
11.如權(quán)利要求8所述的方法，進(jìn)一步包括根據(jù)提取出的采樣組元數(shù)據(jù)過濾多個(gè)采樣，以減少將要再現(xiàn)的采樣數(shù)目。
12.如權(quán)利要求8所述的方法，其中將提取出的采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)。
13.如權(quán)利要求12所述的方法，其中所述預(yù)定的數(shù)據(jù)結(jié)構(gòu)組包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
14.一種方法，包括創(chuàng)建定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)；創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；創(chuàng)建定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；以及形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括子采樣元數(shù)據(jù)、采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)。
15.如權(quán)利要求14所述的方法，其中創(chuàng)建子采樣元數(shù)據(jù)包括把子采樣元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于子采樣大小的信息；第二數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于每個(gè)采樣中的子采樣數(shù)目的信息；和第三數(shù)據(jù)結(jié)構(gòu)，其包含描述每個(gè)子采樣的信息。
16.如權(quán)利要求14所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
17.如權(quán)利要求14所述的方法，其中創(chuàng)建采樣組元數(shù)據(jù)包括把采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
18.如權(quán)利要求14所述的方法，其中當(dāng)使用不同的參考采樣時(shí)，多個(gè)切換采樣集中的每一個(gè)都包含具有相同解碼值的采樣。
19.如權(quán)利要求14所述的方法，其中創(chuàng)建切換采樣元數(shù)據(jù)包括把切換采樣元數(shù)據(jù)編組成表示為包含一組嵌套表的表框的預(yù)定數(shù)據(jù)結(jié)構(gòu)。
20.一種方法，包括接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)、定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)、和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；以及從文件中提取子采樣元數(shù)據(jù)、采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)，所提取出的子采樣元數(shù)據(jù)隨后被用于訪問多個(gè)子采樣中的任一個(gè)，所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣，并且所提取出的切換采樣元數(shù)據(jù)隨后被用于找出特定采樣的代替物。
21.如權(quán)利要求20所述的方法，其中將提取出的子采樣元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于子采樣大小的信息；第二數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于每個(gè)采樣中的子采樣數(shù)目的信息；和第三數(shù)據(jù)結(jié)構(gòu)，其包含描述每個(gè)子采樣的信息。
22.如權(quán)利要求20所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
23.如權(quán)利要求20所述的方法，其中將提取出的采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
24.如權(quán)利要求20所述的方法，其中當(dāng)使用不同的參考采樣時(shí)，多個(gè)切換采樣集中的每一個(gè)都包含具有相同解碼值的采樣。
25.如權(quán)利要求20所述的方法，其中將提取出的切換采樣元數(shù)據(jù)編組成表示為包含一組嵌套表的表框的預(yù)定數(shù)據(jù)結(jié)構(gòu)。
26.一種方法，包括創(chuàng)建定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)；創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；以及形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括子采樣元數(shù)據(jù)和采樣組元數(shù)據(jù)。
27.如權(quán)利要求26所述的方法，其中創(chuàng)建子采樣元數(shù)據(jù)包括把子采樣元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于子采樣大小的信息；第二數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于每個(gè)采樣中的子采樣數(shù)目的信息；和第三數(shù)據(jù)結(jié)構(gòu)，其包含描述每個(gè)子采樣的信息。
28.如權(quán)利要求26所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
29.如權(quán)利要求26所述的方法，其中創(chuàng)建采樣組元數(shù)據(jù)包括把采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
30.一種方法，包括接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)、和定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；以及從文件中提取子采樣元數(shù)據(jù)和采樣組元數(shù)據(jù)，所提取出的子采樣元數(shù)據(jù)隨后被用于訪問多個(gè)子采樣中的任一個(gè)，而所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣。
31.如權(quán)利要求30所述的方法，其中將提取出的子采樣元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于子采樣大小的信息；第二數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于每個(gè)采樣中的子采樣數(shù)目的信息；和第三數(shù)據(jù)結(jié)構(gòu)，其包含描述每個(gè)子采樣的信息。
32.如權(quán)利要求30所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
33.如權(quán)利要求30所述的方法，其中將提取出的采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
34.一種方法，包括創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；創(chuàng)建定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；以及形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)。
35.如權(quán)利要求34所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
36.如權(quán)利要求34所述的方法，其中創(chuàng)建采樣組元數(shù)據(jù)包括把采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
37.如權(quán)利要求34所述的方法，其中當(dāng)使用不同的參考采樣時(shí)，多個(gè)切換采樣集中的每一個(gè)都包含具有相同解碼值的采樣。
38.如權(quán)利要求34所述的方法，其中創(chuàng)建切換采樣元數(shù)據(jù)包括把切換采樣元數(shù)據(jù)編組成表示為包含一組嵌套表的表框的預(yù)定數(shù)據(jù)結(jié)構(gòu)。
39.一種方法，包括接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)、和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；以及從文件中提取采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)，所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣，而所提取出的切換采樣元數(shù)據(jù)隨后被用于找出特定采樣的代替物。
40.如權(quán)利要求39所述的方法，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
41.如權(quán)利要求39所述的方法，其中將提取出的采樣組元數(shù)據(jù)編組成一組預(yù)定的數(shù)據(jù)結(jié)構(gòu)，包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
42.如權(quán)利要求39所述的方法，其中當(dāng)使用不同的參考采樣時(shí)，多個(gè)切換采樣集中的每一個(gè)都包含具有相同解碼值的采樣。
43.如權(quán)利要求39所述的方法，其中將提取出的切換采樣元數(shù)據(jù)編組成表示為包含一組嵌套表的表框的預(yù)定數(shù)據(jù)結(jié)構(gòu)。
44.一種用于存儲由在數(shù)據(jù)處理系統(tǒng)上執(zhí)行的應(yīng)用程序來訪問的數(shù)據(jù)的存儲器，所述存儲器包括存儲在所述存儲器中的多個(gè)數(shù)據(jù)結(jié)構(gòu)，所述多個(gè)數(shù)據(jù)結(jié)構(gòu)都駐留在與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件中，并且包括定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)，所述應(yīng)用程序使用所述采樣組元數(shù)據(jù)來標(biāo)識能在將來的處理過程中處理的采樣。
45.如權(quán)利要求44所述的存儲器，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
46.如權(quán)利要求44所述的存儲器，其中包括采樣組元數(shù)據(jù)的所述文件還包括相關(guān)聯(lián)的多媒體數(shù)據(jù)。
47.如權(quán)利要求44所述的存儲器，其中包含采樣組元數(shù)據(jù)的文件包括對如下文件的引用，所述文件包含相關(guān)聯(lián)的多媒體數(shù)據(jù)。
48.如權(quán)利要求44所述的存儲器，其中多個(gè)數(shù)據(jù)結(jié)構(gòu)包括第一數(shù)據(jù)結(jié)構(gòu)，其包含關(guān)于多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣組的描述性信息；和第二數(shù)據(jù)結(jié)構(gòu)，其包含標(biāo)識多個(gè)采樣組的每一個(gè)中的采樣的信息。
49.一種用于存儲由在數(shù)據(jù)處理系統(tǒng)上執(zhí)行的應(yīng)用程序來訪問的數(shù)據(jù)的存儲器，所述存儲器包括存儲在所述存儲器中的多個(gè)數(shù)據(jù)結(jié)構(gòu)，所述多個(gè)數(shù)據(jù)結(jié)構(gòu)都駐留在所述應(yīng)用程序所使用的文件中，所述文件與多媒體數(shù)據(jù)相關(guān)聯(lián)，并且包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)，定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)，和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)。
50.一種用于存儲由在數(shù)據(jù)處理系統(tǒng)上執(zhí)行的應(yīng)用程序來訪問的數(shù)據(jù)的存儲器，所述存儲器包括存儲在所述存儲器中的多個(gè)數(shù)據(jù)結(jié)構(gòu)，所述多個(gè)數(shù)據(jù)結(jié)構(gòu)都駐留在所述應(yīng)用程序所使用的文件中，所述文件與多媒體數(shù)據(jù)相關(guān)聯(lián)，并且包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)，和定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)。
51.一種用于存儲由在數(shù)據(jù)處理系統(tǒng)上執(zhí)行的應(yīng)用程序來訪問的數(shù)據(jù)的存儲器，所述存儲器包括存儲在所述存儲器中的多個(gè)數(shù)據(jù)結(jié)構(gòu)，所述多個(gè)數(shù)據(jù)結(jié)構(gòu)都駐留在所述應(yīng)用程序所使用的文件中，所述文件與多媒體數(shù)據(jù)相關(guān)聯(lián)，并且包括定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)，和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)。
52.一種設(shè)備，包括元數(shù)據(jù)生成器，用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；和文件創(chuàng)建器，用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括采樣組元數(shù)據(jù)。
53.如權(quán)利要求52所述的設(shè)備，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
54.如權(quán)利要求52所述的設(shè)備，其中所述元數(shù)據(jù)生成器用于通過接收具有已編碼的多媒體數(shù)據(jù)的文件、檢查多媒體數(shù)據(jù)以標(biāo)識多媒體數(shù)據(jù)的每個(gè)軌道中的多個(gè)采樣組以及標(biāo)識多個(gè)采樣組的每一個(gè)中所含的采樣來創(chuàng)建采樣組元數(shù)據(jù)。
55.如權(quán)利要求52所述的設(shè)備，進(jìn)一步包括元數(shù)據(jù)提取器，用于在解碼系統(tǒng)上接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，并且用于從與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件中提取采樣組元數(shù)據(jù)；和媒體數(shù)據(jù)流處理器，用于使用提取出的采樣組元數(shù)據(jù)以標(biāo)識能在將來的處理過程中處理的采樣。
56.一種設(shè)備，包括元數(shù)據(jù)提取器，用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)，并且用于從文件中提取采樣組元數(shù)據(jù)；和媒體數(shù)據(jù)流處理器，用于使用提取出的采樣組元數(shù)據(jù)以標(biāo)識能在將來的處理過程中處理的采樣。
57.如權(quán)利要求56所述的設(shè)備，其中所述編組是以多個(gè)采樣的相互依賴性為基礎(chǔ)的。
58.如權(quán)利要求56所述的設(shè)備，其中媒體數(shù)據(jù)流處理器進(jìn)一步用于響應(yīng)于網(wǎng)絡(luò)能力方面的變化來找出能在不影響剩余的多媒體數(shù)據(jù)的采樣的解碼的情況下處理的一個(gè)或多個(gè)采樣。
59.如權(quán)利要求56所述的設(shè)備，其中媒體數(shù)據(jù)流處理器進(jìn)一步用于根據(jù)提取出的采樣組元數(shù)據(jù)來過濾多個(gè)采樣，以減少將要再現(xiàn)的采樣數(shù)目。
60.一種設(shè)備，包括元數(shù)據(jù)生成器，用于創(chuàng)建定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)，用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)，以及用于創(chuàng)建定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；和文件創(chuàng)建器，用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括子采樣元數(shù)據(jù)、采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)。
61.一種設(shè)備，包括元數(shù)據(jù)提取器，用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)、定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)，并且用于從文件中提取子采樣元數(shù)據(jù)、采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)；和媒體數(shù)據(jù)流處理器，用于使用提取出的子采樣元數(shù)據(jù)以訪問多個(gè)子采樣中的任一個(gè)，用于使用提取出的采樣組元數(shù)據(jù)以標(biāo)識能在將來的處理過程中處理的采樣，并且用于使用提取出的切換采樣元數(shù)據(jù)以找出特定采樣的代替物。
62.一種設(shè)備，包括元數(shù)據(jù)生成器，用于創(chuàng)建定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)，并且用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；和文件創(chuàng)建器，用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括子采樣元數(shù)據(jù)和采樣組元數(shù)據(jù)。
63.一種設(shè)備，包括元數(shù)據(jù)提取器，用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)和定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)，并且用于從文件中提取子采樣元數(shù)據(jù)和采樣組元數(shù)據(jù)；和媒體數(shù)據(jù)流處理器，用于使用提取出的子采樣元數(shù)據(jù)以訪問多個(gè)子采樣中的任一個(gè)，并且用于使用提取出的采樣組元數(shù)據(jù)以標(biāo)識能在將來的處理過程中處理的采樣。
64.一種設(shè)備，包括元數(shù)據(jù)生成器，用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)，并且用于創(chuàng)建定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；和文件創(chuàng)建器，用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)。
65.一種設(shè)備，包括元數(shù)據(jù)提取器，用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件，所述文件包括定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)，并且用于從文件中提取采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)；和媒體數(shù)據(jù)流處理器，用于使用提取出的采樣組元數(shù)據(jù)以標(biāo)識能在將來的處理過程中處理的采樣，并且用于使用提取出的切換采樣元數(shù)據(jù)以找出特定采樣的代替物。
66.一種設(shè)備，包括用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)的裝置；和用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述包括采樣組元數(shù)據(jù)。
67.一種設(shè)備，包括用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述文件包括定義多媒體數(shù)據(jù)數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；和用于從文件中提取采樣組元數(shù)據(jù)的裝置，所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣。
68.一種設(shè)備，包括用于創(chuàng)建定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)的裝置；用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)的裝置；用于創(chuàng)建定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)的裝置；和用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述文件包括子采樣元數(shù)據(jù)、采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)。
69.一種設(shè)備，包括用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述文件包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)、定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)、和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；和用于從文件中提取子采樣元數(shù)據(jù)、采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)的裝置，所提取出的子采樣元數(shù)據(jù)隨后被用于訪問多個(gè)子采樣中的任一個(gè)，所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣，并且所提取出的切換采樣元數(shù)據(jù)隨后被用于找出特定采樣的代替物。
70.一種設(shè)備，包括用于創(chuàng)建定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)的裝置；用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)的裝置；和用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述文件包括子采樣元數(shù)據(jù)和采樣組元數(shù)據(jù)。
71.一種設(shè)備，包括用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述文件包括定義多媒體數(shù)據(jù)的每個(gè)采樣內(nèi)的多個(gè)子采樣的子采樣元數(shù)據(jù)和定義多媒體內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)；和用于從文件中提取子采樣元數(shù)據(jù)和采樣組元數(shù)據(jù)的裝置，所提取出的子采樣元數(shù)據(jù)隨后被用于訪問多個(gè)子采樣中的任一個(gè)，而所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣。
72.一種設(shè)備，包括用于創(chuàng)建定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)的裝置；用于創(chuàng)建定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)的裝置；和用于形成與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述文件包括采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)。
73.一種設(shè)備，包括用于接收與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件的裝置，所述文件包括定義多媒體數(shù)據(jù)內(nèi)的多個(gè)采樣的編組的采樣組元數(shù)據(jù)和定義與多媒體數(shù)據(jù)相關(guān)聯(lián)的多個(gè)切換采樣集的切換采樣元數(shù)據(jù)；和用于從文件中提取采樣組元數(shù)據(jù)和切換采樣元數(shù)據(jù)的裝置，所提取出的采樣組元數(shù)據(jù)隨后被用于標(biāo)識能在將來的處理過程中處理的采樣，而所提取出的切換采樣元數(shù)據(jù)隨后被用于找出特定采樣的代替物。
全文摘要
創(chuàng)建了定義多媒體數(shù)據(jù)內(nèi)的采樣組的采樣組元數(shù)據(jù)。所述這些組都是以采樣的相互依賴性為基礎(chǔ)的。此外，形成了與多媒體數(shù)據(jù)相關(guān)聯(lián)的文件。所述文件包括采樣組元數(shù)據(jù)以及與多媒體數(shù)據(jù)有關(guān)的其它信息。
文檔編號H04N7/24GK1650628SQ03809347
公開日2005年8月3日 申請日期2003年2月24日 優(yōu)先權(quán)日2002年2月25日
發(fā)明者M·Z·維沙拉姆, A·塔巴塔拜, T·瓦爾克 申請人:索尼電子有限公司