專利名稱：一種適用于流媒體服務(wù)的音頻視頻封裝方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻視頻封裝領(lǐng)域，具體來講是一種適用于流媒體服務(wù)的音頻視頻封 裝方法。
背景技術(shù)：
媒體文件通常由音頻和視頻兩部分組成，將已經(jīng)編碼壓縮好的音頻和視頻按照一 定的格式放入一個(gè)文件中，就是音頻視頻的一種封裝方法，這種格式叫封裝格式。流媒體 是指在互連網(wǎng)絡(luò)中使用流式技術(shù)傳輸媒體文件，播放器在點(diǎn)播該媒體之前不用下載整個(gè)文 件，而是一邊收媒體流一邊播放。目前互聯(lián)網(wǎng)上常見的媒體文件封裝格式有TS(Transport Stream,傳輸流)、 MP4 (MPEG-4 Part 14)、FLV (Flash Video, Flash視頻)等。然而，媒體文件播放的各個(gè)階 段，如正常播放、快進(jìn)快退播放、跳轉(zhuǎn)播放，都需要音頻視頻編碼元數(shù)據(jù)；這些數(shù)據(jù)在不同 的封裝格式中存放的位置不同。上述這些封裝格式都會(huì)反復(fù)、零碎的從磁盤中讀取音頻視 頻元數(shù)據(jù)，因此增加了流媒體服務(wù)器對磁盤吞吐能力的開銷，進(jìn)而影響服務(wù)器的網(wǎng)絡(luò)吞吐 能力，無法滿足高并發(fā)流媒體服務(wù)器的需求。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的在于提供一種適用于流媒體服務(wù)的音 頻視頻封裝方法，能夠適應(yīng)任何媒體文件格式的封裝，將音頻視頻編碼元數(shù)據(jù)集中存放，確 保生成的元信息文件最小，提升磁盤性能，提高網(wǎng)絡(luò)吞吐能力，從而滿足高并發(fā)的流媒體服 務(wù)需求。為達(dá)到以上目的，本發(fā)明采取的技術(shù)方案是一種適用于流媒體服務(wù)的音頻視頻 封裝方法，包括如下步驟S1.為媒體文件建立單獨(dú)的元信息文件，元信息文件包括頭部和 元信息文件體；S2.將媒體文件的頭部去掉，將所述頭部的媒體屬性移至元信息文件的頭 部；S3.對媒體文件的音頻幀和視頻幀進(jìn)行解析，將幀類型、圖像組的起始時(shí)間戳和起始幀 編號(hào)、音頻幀和視頻幀的起始邊界記錄在元信息文件體中；或僅對媒體文件的視頻幀進(jìn)行 解析，將幀類型、圖像組的起始時(shí)間戳和起始幀編號(hào)、視頻幀的起始邊界記錄在元信息文件 體中；S4.形成新媒體文件，對音頻和視頻未按解碼時(shí)間戳排序的媒體文件，將音頻幀和視 頻幀以幀為粒度，按解碼時(shí)間戳遞增的順序，對音頻幀和視頻幀進(jìn)行交錯(cuò)排列，形成重組后 的新媒體文件；對音頻和視頻已經(jīng)按照解碼時(shí)間戳排序的媒體文件，直接設(shè)置為新媒體文 件。在上述技術(shù)方案的基礎(chǔ)上，所述音頻視頻封裝后包括元信息文件和新媒體文件。在上述技術(shù)方案的基礎(chǔ)上，所述媒體文件為MP4封裝格式、傳輸流封裝格式或 Flash視頻封裝格式。在上述技術(shù)方案的基礎(chǔ)上，所述媒體文件為MP4封裝格式時(shí)，從中讀取音頻編碼 格式、視頻編碼格式以及相關(guān)屬性，并存入元信息文件的頭部?！?009〕 在上述技術(shù)方案的基礎(chǔ)上，所述媒體文件為即4封裝格式時(shí)，從即4文件的媒體數(shù) 據(jù)盒子讀取幀的類別、類型以及顯示時(shí)間戳，將這些屬性存入元信息文件體內(nèi)。
〔0010〕 在上述技術(shù)方案的基礎(chǔ)上，從所述即4文件的媒體數(shù)據(jù)盒子讀取每個(gè)編碼視頻序 列的起始字節(jié)偏移，以及該編碼視頻序列中第一個(gè)幀的解碼時(shí)間戳，并將這些屬性存入元 信息文件體內(nèi)。
〔001在上述技術(shù)方案的基礎(chǔ)上，從所述即4文件的媒體數(shù)據(jù)盒子分別讀取音頻幀和視 頻幀，以及兩者各自的解碼時(shí)間戳，分別計(jì)算每個(gè)音頻幀與第一個(gè)音頻幀的解碼時(shí)間戳差 值，每個(gè)視頻幀與第一個(gè)視頻幀的解碼時(shí)間戳差值，按照所得出的解碼時(shí)間戳差值升序，將 音頻幀和視頻幀交錯(cuò)排序，并存儲(chǔ)在新媒體文件中。
〔0012〕 在上述技術(shù)方案的基礎(chǔ)上，所述媒體文件為傳輸流封裝格式時(shí)，利用節(jié)目關(guān)聯(lián)表 和節(jié)目映射表，節(jié)讀取音頻編碼格式、視頻編碼格式以及相關(guān)屬性，并存入元信息文件的頭 部。
〔0013〕 在上述技術(shù)方案的基礎(chǔ)上，從所述傳輸流封裝格式中讀取幀的類別、類型以及解 碼時(shí)間戳，并根據(jù)解碼時(shí)間戳計(jì)算每兩個(gè)相鄰視頻幀的時(shí)間間隔，并將這些屬性存入元信 息文件體內(nèi)。
〔0014〕 在上述技術(shù)方案的基礎(chǔ)上，所述媒體文件為？1狀11視頻封裝格式時(shí)，利用其元數(shù) 據(jù)讀取音頻編碼格式、視頻的編碼格式以及相關(guān)屬性，并存入元信息文件頭部。
〔0015〕 在上述技術(shù)方案的基礎(chǔ)上，從所述？1狀11視頻封裝格式中讀取幀的類別、類型顯 示時(shí)間戳和解碼時(shí)間戳，并根據(jù)解碼時(shí)間戳每兩個(gè)相鄰視頻幀的時(shí)間間隔，并將這些屬性 存入元信息文件體內(nèi)。
〔0016〕 在上述技術(shù)方案的基礎(chǔ)上，所述相關(guān)屬性至少包括視頻的分辨率、寬高比、時(shí)間單 元、框架級別10參數(shù)、序列參數(shù)集和圖像參數(shù)、高級音頻編碼的通道數(shù)、配置參數(shù)。
〔0017〕 本發(fā)明的有益效果在于通過所述音頻視頻封裝方法，提供了一種統(tǒng)一的音視頻 封裝格式，各種標(biāo)準(zhǔn)媒體封裝格式均可以轉(zhuǎn)換成此種格式，適合于對媒體文件進(jìn)行流化，可 充分利用磁盤吞吐能力和網(wǎng)絡(luò)吞吐能力，生成的元信息文件最小，并能夠快速的按地址和 按時(shí)間定位音頻和視頻。


〔0018〕 圖1為本發(fā)明適用于流媒體服務(wù)的音頻視頻封裝方法的流程圖。
具體實(shí)施例方式
〔0019〕 以下結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)說明。
〔0020〕 如圖1所示，本發(fā)明流媒體服務(wù)的音頻視頻封裝方法，包括如下步驟
〔0021〕 81.為媒體文件建立單獨(dú)的元信息文件，元信息文件包括頭部和元信息文件體，且 所述媒體文件可以包括腿^4封裝格式、傳輸流〉封裝格式或？IV(打狀!！卩丨如。，
視頻)封裝格式等。
〔0022〕 82^將媒體文件的頭部去掉，將所述頭部的媒體屬性移至元信息文件的頭部。 〔0023〕 83^對媒體文件的音頻幀和視頻幀進(jìn)行解析，將幀類型、圖像組的起始時(shí)間戳和起 始幀編號(hào)、音頻幀和視頻幀的起始邊界記錄在元信息文件體中；或僅對媒體文件的視頻幀進(jìn)行解析，將幀類型、圖像組的起始時(shí)間戳和起始幀編號(hào)、視頻幀的起始邊界記錄在元信息 文件體中；S4.形成新媒體文件，對音頻和視頻未按解碼時(shí)間戳排序的媒體文件,將音頻幀和 視頻幀以幀為粒度，按解碼時(shí)間戳遞增的順序，對音頻幀和視頻幀進(jìn)行交錯(cuò)排列，形成重組 后的新媒體文件；對音頻和視頻已經(jīng)按照解碼時(shí)間戳排序的媒體文件，直接設(shè)置為新媒體 文件。其中，所述音頻視頻封裝后包括元信息文件和新媒體文件。下面通過具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。實(shí)施例1 :所述媒體文件為一部MP4封裝格式的影片，視頻編碼格式為H. 264，音頻編碼格式 為AAC (Advanced Audio Coding，高級音頻編碼)，其中的視頻幀序列為V1，V2，V3，V4，V5， V6, V7, V8, V9, V10, VII，V12 ;音頻幀序列為A1, A2，A3，A4，A5，A6。其具體步驟為S101.為媒體文件建立單獨(dú)的元信息文件，元信息文件包括頭部和元信息文件體。S102.從MP4封裝格式的moov (Movie Box,節(jié)目盒子)讀取音頻編碼格式、視頻編 碼格式以及相關(guān)屬性，并存入元信息文件的頭部；所述相關(guān)屬性可以為H. 264視頻的分辨 率、寬高比、時(shí)間單元、profile-level_id(框架級別ID)參數(shù)、sprop-parameter-sets (序 列參數(shù)集和圖像參數(shù))、AAC、音頻的通道數(shù)、配置參數(shù)等。這種做法可通過少量的磁盤讀寫 操作，讀寫元信息文件的頭部，從而充分利用磁盤讀寫能力。S103.從MP4文件的mdat (Media Data Box,媒體數(shù)據(jù)盒子)讀取巾貞的類別、類型 以及PTS (Presentation Time Stamp,顯示時(shí)間戳)，其中巾貞的類別為音頻或視頻,類型為I 幀或非I幀；并將上述屬性存入元信息文件體內(nèi)。在播放過程中，對磁盤進(jìn)行順序讀，便可 讀取元信息文件體。S104.從MP4文件的mdat節(jié)讀取每個(gè)編碼視頻序列的起始字節(jié)偏移，以及該編碼 視頻序列中第一個(gè)巾貞的DTS(Decoding Time Stamp,解碼時(shí)間戳)，將這些屬性存入元信息 文件體內(nèi)。這樣一來，在快進(jìn)播放、快退播放、跳轉(zhuǎn)播放時(shí)，只需要少量的讀取元信息文件 體，便可以定位到接下來需要播放的音視頻幀，節(jié)省了對磁盤的讀操作。S105.從所述MP4文件的mdat節(jié)分別讀取音頻幀和視頻幀，以及兩者各自的DTS， 分別計(jì)算每個(gè)音頻幀與第一個(gè)音頻幀的DTS差值，每個(gè)視頻幀與第一個(gè)視頻幀的DTS差值， 按照所得出的DTS差值升序，將音頻幀和視頻幀交錯(cuò)排序，并存儲(chǔ)在新媒體文件中。在播放 過程中，對磁盤進(jìn)行順序讀，便可讀取音頻幀和視頻幀。這個(gè)過程效率非常高，因?yàn)榇疟P順 序讀寫的性能往往比隨機(jī)讀寫的性能高一個(gè)數(shù)量級。實(shí)施例2 所述媒體文件為TS封裝格式，其具體步驟如下S201.為媒體文件建立單獨(dú)的元信息文件，元信息文件包括頭部和元信息文件體。S202.利用 TS 文件的 PAT (Program Association Table,節(jié)目關(guān)聯(lián)表)和 PMT 表 (Program Mapping Table,節(jié)目映射表)，讀取音頻的編碼格式、視頻的編碼格式以及相關(guān) 屬性，將這些屬性存入元信息文件的頭部。所述相關(guān)屬性包括H. 264視頻的分辨率、寬高 t匕、時(shí)間單元、profile-level-id (框架級別ID)參數(shù)、sprop-parameter-sets (序列參數(shù)集 和圖像參數(shù))、AAC、音頻的通道數(shù)、配置參數(shù)等。其作用是充分利用磁盤讀寫能力，通過少量的磁盤讀寫操作，讀寫元信息文件的頭部。S203.從TS文件中讀取幀的類別、類型以及DTS，其中幀的類別為音頻或視頻，類 型為I幀或非I巾貞，并根據(jù)DTS計(jì)算每兩個(gè)相鄰視頻幀的時(shí)間間隔，并將這些屬性存入元信 息文件體內(nèi)。由于TS文件與MP4文件不同，TS文件內(nèi)部已經(jīng)按照DTS進(jìn)行排序，因此原媒體文 件可直接作為新文件來使用。實(shí)施例3 所述媒體文件為FLV封裝格式，其具體步驟如下S301.為媒體文件建立單獨(dú)的元信息文件，元信息文件包括頭部和元信息文件體。S302.利用FLV文件的onMetaData (元數(shù)據(jù))節(jié)讀取音頻的編碼格式、視 頻的編碼格式以及相關(guān)屬性，將這些屬性存入元信息文件的頭部。所述相關(guān)屬性包 括H. 264視頻的分辨率、寬高比、時(shí)間單元、profile-level-id(框架級別ID)參數(shù)、 sprop-parameter-sets (序列參數(shù)集和圖像參數(shù))、AAC、音頻的通道數(shù)、配置參數(shù)等。S303.從FLV文件中讀取幀的類別、類型以及PTS和DTS，并根據(jù)DTS計(jì)算每兩個(gè) 相鄰視頻幀的時(shí)間間隔，將這些屬性存入元信息文件體內(nèi)；其中幀的類別為音頻或視頻，類 型為I幀或非I幀。本實(shí)施例中FLV文件內(nèi)部已經(jīng)按照DTS進(jìn)行排序，因此原媒體文件可直接作為新 文件來使用。本發(fā)明不局限于上述實(shí)施方式，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離 本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也視為本發(fā)明的保護(hù) 范圍之內(nèi)。本說明書中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。
權(quán)利要求
1.一種適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于，包括如下步驟 51.為媒體文件建立單獨(dú)的元信息文件，元信息文件包括頭部和元信息文件體； 52.將媒體文件的頭部去掉，將所述頭部的媒體屬性移至元信息文件的頭部； 53.對媒體文件的音頻幀和視頻幀進(jìn)行解析，將幀類型、圖像組的起始時(shí)間戳和起始幀編號(hào)、音頻幀和視頻幀的起始邊界記錄在元信息文件體中；或僅對媒體文件的視頻幀進(jìn)行解析，將幀類型、圖像組的起始時(shí)間戳和起始幀編號(hào)、視頻幀的起始邊界記錄在元信息文件體中； 54.形成新媒體文件，對音頻和視頻未按解碼時(shí)間戳排序的媒體文件，將音頻幀和視頻幀以幀為粒度，按解碼時(shí)間戳遞增的順序，對音頻幀和視頻幀進(jìn)行交錯(cuò)排列，形成重組后的新媒體文件；對音頻和視頻已經(jīng)按照解碼時(shí)間戳排序的媒體文件，直接設(shè)置為新媒體文件。
2.如權(quán)利要求I所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于所述音頻視頻封裝后包括元信息文件和新媒體文件。
3.如權(quán)利要求I所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于所述媒體文件為MP4封裝格式、傳輸流封裝格式或Flash視頻封裝格式。
4.如權(quán)利要求3所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于所述媒體文件為MP4封裝格式時(shí)，從中讀取音頻編碼格式、視頻編碼格式以及相關(guān)屬性，并存入元信息文件的頭部。
5.如權(quán)利要求4所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于所述媒體文件為MP4封裝格式時(shí)，從MP4文件的媒體數(shù)據(jù)盒子讀取幀的類別、類型以及顯示時(shí)間戳，將這些屬性存入元信息文件體內(nèi)。
6.如權(quán)利要求5所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于從所述MP4文件的媒體數(shù)據(jù)盒子讀取每個(gè)編碼視頻序列的起始字節(jié)偏移，以及該編碼視頻序列中第一個(gè)幀的解碼時(shí)間戳，并將這些屬性存入元信息文件體內(nèi)。
7.如權(quán)利要求6所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于從所述MP4文件的媒體數(shù)據(jù)盒子分別讀取音頻幀和視頻幀，以及兩者各自的解碼時(shí)間戳，分別計(jì)算每個(gè)音頻幀與第一個(gè)音頻幀的解碼時(shí)間戳差值，每個(gè)視頻幀與第一個(gè)視頻幀的解碼時(shí)間戳差值，按照所得出的解碼時(shí)間戳差值升序，將音頻幀和視頻幀交錯(cuò)排序，并存儲(chǔ)在新媒體文件中。
8.如權(quán)利要求3所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于所述媒體文件為傳輸流封裝格式時(shí)，利用節(jié)目關(guān)聯(lián)表和節(jié)目映射表，節(jié)讀取音頻編碼格式、視頻編碼格式以及相關(guān)屬性，并存入元信息文件的頭部。
9.如權(quán)利要求8所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于從所述傳輸流封裝格式中讀取幀的類別、類型以及解碼時(shí)間戳，并根據(jù)解碼時(shí)間戳計(jì)算每兩個(gè)相鄰視頻幀的時(shí)間間隔，并將這些屬性存入元信息文件體內(nèi)。
10.如權(quán)利要求3所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于所述媒體文件為Flash視頻封裝格式時(shí)，利用其元數(shù)據(jù)讀取音頻編碼格式、視頻的編碼格式以及相關(guān)屬性，并存入元信息文件頭部。
11.如權(quán)利要求10所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于從所述Flash視頻封裝格式中讀取幀的類別、類型顯示時(shí)間戳和解碼時(shí)間戳，并根據(jù)解碼時(shí)間戳每兩個(gè)相鄰視頻幀的時(shí)間間隔，并將這些屬性存入元信息文件體內(nèi)。
12.如權(quán)利要求4、8或10所述的適用于流媒體服務(wù)的音頻視頻封裝方法，其特征在于所述相關(guān)屬性至少包括視頻的分辨率、寬高比、時(shí)間單元、框架級別ID參數(shù)、序列參數(shù)集和圖像參數(shù)、高級音頻編碼的通道數(shù)、配置參數(shù)。
全文摘要
一種適用于流媒體服務(wù)的音頻視頻封裝方法，涉及音頻視頻封裝領(lǐng)域，包括如下步驟S1.為媒體文件建立單獨(dú)的元信息文件；S2.將媒體文件的頭部去掉，將頭部的媒體屬性移至元信息文件的頭部；S3.對媒體文件的音頻幀和視頻幀、視頻幀進(jìn)行解析，將幀類型、圖像組的起始時(shí)間戳和起始幀編號(hào)、音頻幀和或視頻幀的起始邊界記錄在元信息文件體中；S4.形成新媒體文件，對音頻和視頻未按解碼時(shí)間戳排序的媒體文件，將音頻幀和視頻幀以幀為粒度，按解碼時(shí)間戳遞增的順序，對音頻幀和視頻幀進(jìn)行交錯(cuò)排列。本方法能夠適應(yīng)任何媒體文件格式的封裝，確保生成的元信息文件最小，提升磁盤性能，提高網(wǎng)絡(luò)吞吐能力，從而滿足高并發(fā)的流媒體服務(wù)需求。
文檔編號(hào)H04N21/236GK102665103SQ20121010711
公開日2012年9月12日 申請日期2012年4月13日 優(yōu)先權(quán)日2012年4月13日
發(fā)明者馮軍, 盧國燦 申請人:烽火通信科技股份有限公司