音視頻數(shù)據(jù)的解碼方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種音視頻數(shù)據(jù)的解碼方法及裝置，該音視頻數(shù)據(jù)的解碼方法包括：解碼端接收首個數(shù)據(jù)包，并解析所述首個數(shù)據(jù)包的頭信息獲得索引信息；將所述索引信息進(jìn)行保存，并創(chuàng)建輔助索引信息，所述輔助索引信息用于定位數(shù)據(jù)包開始解碼的位置；接收所述首個數(shù)據(jù)包的后續(xù)數(shù)據(jù)包，并對所述后續(xù)數(shù)據(jù)包解碼。本發(fā)明通過保存首個數(shù)據(jù)包的頭信息中的索引信息，并創(chuàng)建輔助索引信息，而后解碼端通過使用經(jīng)過本發(fā)明改進(jìn)后的索引信息對數(shù)據(jù)包進(jìn)行解碼從而降低了大流量MP4音視頻文件解碼時分包重組帶來的空間和時間的開銷，可以實(shí)時解碼并對音視頻監(jiān)管和內(nèi)容分析提供了可靠的保證。
【專利說明】音視頻數(shù)據(jù)的解碼方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體來說，涉及一種音視頻數(shù)據(jù)的解碼方法及裝置。

【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的飛速發(fā)展，基于網(wǎng)絡(luò)的音視頻傳輸流量也越來越大，網(wǎng)絡(luò)音視頻流已深入到了人們的日常生活，給我們的生活帶來了很多方便和變化，不斷出現(xiàn)龐大的、不同內(nèi)容的圖像信息庫，也似乎給我們帶來了不少的困擾，網(wǎng)上大量不良圖像對廣大青年人的有很多毒害；為了凈化網(wǎng)絡(luò)，維護(hù)社會和諧安定，迫切需要對網(wǎng)絡(luò)上的音視頻內(nèi)容進(jìn)行監(jiān)管。
[0003]由于其自身的特點(diǎn)，MP4音視頻文件格式作為一種容器可以封裝多種音視頻編碼格式，如H264、H263、vfp6等，MP4封裝格式的音視頻文件尤其是高分辨率的高清和標(biāo)清視頻在網(wǎng)絡(luò)音視頻流中的所占的比重也越來越大，相應(yīng)的一個完整的高清或是標(biāo)清視頻的文件大小也越來越大，如一部高清MP4電影文件的大小達(dá)到上G的容量，在如今是很常見的情況。針對較大的高清音視頻文件，尤其是網(wǎng)絡(luò)流中比重日益增大的高清MP4音視頻文件，如何實(shí)現(xiàn)對其的實(shí)時解碼，保證音視頻內(nèi)容分析的及時性和高效性，對音視頻流量的監(jiān)管就提出了更高的要求。
[0004]由于網(wǎng)絡(luò)傳輸效率和實(shí)時編解碼的要求，針對高清MP4音視頻文件的傳輸方法一般是將其分割成若干數(shù)據(jù)包，即將大音視頻文件拆分，送至解碼端后再重組數(shù)據(jù)包，然后進(jìn)行完整解碼。這就要求解碼端有足夠的內(nèi)存或其他形式的存儲空間將數(shù)據(jù)包進(jìn)行重組，另一方面由于網(wǎng)絡(luò)延遲或其他可能的原因，在等待數(shù)據(jù)的重組會有較長的時耗，從而影響內(nèi)容分析的及時性和實(shí)時解碼的高效性。
[0005]針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。


【發(fā)明內(nèi)容】

[0006]針對相關(guān)技術(shù)中的問題，本發(fā)明提出一種，音視頻數(shù)據(jù)的解碼方法及裝置。
[0007]本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0008]根據(jù)本發(fā)明的一個方面，提供了一種音視頻數(shù)據(jù)的解碼方法。
[0009]該解碼方法包括:
[0010]解碼端接收首個數(shù)據(jù)包，并解析所述首個數(shù)據(jù)包的頭信息獲得索引信息；
[0011]將所述索引信息進(jìn)行保存，并創(chuàng)建輔助索引信息，所述輔助索引信息用于定位數(shù)據(jù)包開始解碼的位置；
[0012]接收所述首個數(shù)據(jù)包的后續(xù)數(shù)據(jù)包，并對所述后續(xù)數(shù)據(jù)包解碼。
[0013]其中，所述索引信息包括以下至少之一:
[0014]STCO、STSC、STSS、STSZ、STTS。
[0015]其中，所述輔助索引信息包括以下至少之一:
[0016]CHKENS'SAMENS0
[0017]此外，使用動態(tài)分配的方法保存所述索引信息。
[0018]其中，對所述后續(xù)數(shù)據(jù)包解碼包括:
[0019]獲取當(dāng)前數(shù)據(jù)包的第一個完整sample的位置信息；
[0020]獲取所述當(dāng)前數(shù)據(jù)包的第一個完整關(guān)鍵幀的位置信息。
[0021]根據(jù)本發(fā)明的另一方面還提供了一種音視頻數(shù)據(jù)的解碼裝置，包括:
[0022]解析模塊，用于解碼端接收首個數(shù)據(jù)包，并解析所述首個數(shù)據(jù)包的頭信息獲得索引信息；
[0023]保存模塊，用于保存所述索引信息；
[0024]創(chuàng)建模塊，用于創(chuàng)建輔助索引信息，所述輔助索引信息用于定位數(shù)據(jù)包開始解碼的位置；
[0025]解碼模塊，用于接收所述首個數(shù)據(jù)包的后續(xù)數(shù)據(jù)包，并對所述后續(xù)數(shù)據(jù)包解碼。
[0026]其中，所述索引信息包括以下至少之一:
[0027]STCO、STSC、STSS、STSZ、STTS。
[0028]其中，所述輔助索引信息包括以下至少之一:
[0029]CHKENS'SAMENS0
[0030]其中，所述保存模塊進(jìn)一步用于，使用動態(tài)分配的方法保存所述索引信息。
[0031]其中，所述解碼模塊進(jìn)一步包括:
[0032]第一獲取單元，用于獲取當(dāng)前數(shù)據(jù)包的第一個完整sample的位置信息；
[0033]第二獲取單元，用于獲取所述當(dāng)前數(shù)據(jù)包的第一個完整關(guān)鍵幀的位置信息。
[0034]本發(fā)明通過保存首個數(shù)據(jù)包的頭信息中的索引信息，并創(chuàng)建輔助索引信息，而后解碼端通過使用經(jīng)過本發(fā)明改進(jìn)后的索引信息對數(shù)據(jù)包進(jìn)行解碼從而降低了大流量MP4音視頻文件解碼時分包重組帶來的空間和時間的開銷，可以實(shí)時解碼并對音視頻監(jiān)管和內(nèi)容分析提供了可靠的保證。

【專利附圖】

【附圖說明】
[0035]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0036]圖1是根據(jù)本發(fā)明實(shí)施例的音視頻數(shù)據(jù)的解碼方法的流程圖；
[0037]圖2是根據(jù)本發(fā)明實(shí)施例的音視頻數(shù)據(jù)的解碼方法的示意性流程圖；
[0038]圖3是根據(jù)本發(fā)明實(shí)施例的音視頻數(shù)據(jù)的解碼裝置的框圖。

【具體實(shí)施方式】
[0039]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0040]根據(jù)本發(fā)明的實(shí)施例，提供了一種音視頻數(shù)據(jù)的解碼方法。
[0041]如圖1所示，根據(jù)本發(fā)明實(shí)施例的音視頻數(shù)據(jù)的解碼方法包括:
[0042]步驟S101，解碼端接收首個數(shù)據(jù)包，并解析首個數(shù)據(jù)包的頭信息獲得索引信息；
[0043]步驟S103，將索引信息進(jìn)行保存，并創(chuàng)建輔助索引信息，輔助索引信息用于定位數(shù)據(jù)包開始解碼的位置；
[0044]步驟S105，接收首個數(shù)據(jù)包的后續(xù)數(shù)據(jù)包，并對后續(xù)數(shù)據(jù)包解碼。
[0045]其中，索引信息包括以下至少之一:
[0046]STCO、STSC、STSS、STSZ、STTS。
[0047]其中，輔助索引信息包括以下至少之一:
[0048]CHKENS'SAMENS0
[0049]此外，本發(fā)明在保存索引信息時采用動態(tài)分配的方法保存索引信息。
[0050]其中，對后續(xù)數(shù)據(jù)包解碼進(jìn)一步包括:
[0051]獲取當(dāng)前數(shù)據(jù)包的第一個完整sample的位置信息；
[0052]獲取當(dāng)前數(shù)據(jù)包的第一個完整關(guān)鍵幀的位置信息。
[0053]為了更清楚的了解本發(fā)明的技術(shù)方案，下面依據(jù)IS0/IEC14496-14標(biāo)準(zhǔn)將MP4的編碼格式作簡要的介紹。MP4文件中的所有數(shù)據(jù)都裝在box (QuickTime中為atom)中，也就是說MP4文件由若干個box組成，每個box有類型和長度，可以將box理解為一個數(shù)據(jù)對象塊。box中可以包含另一個box。一個MP4文件首先會有且只有一個“ftyp”類型的box，作為MP4格式的標(biāo)志并包含關(guān)于文件的一些信息?？梢园堰@些box稱為索引。下面是一些概念及說明:
[0054]1、track:表示一些sample的集合，對于媒體數(shù)據(jù)來說，track表示一個視頻或音頻序列；
[0055]2、sample:video sample即為一幀視頻，或一組連續(xù)視頻幀，aud1 sample即為一段連續(xù)的壓縮音頻，它們統(tǒng)稱sample ；
[0056]3、chunk:一個track的幾個sample組成的單元；
[0057]4、entry: 一個由幾個chunk組成的單元；
[0058]5、關(guān)鍵幀:對于壓縮媒體數(shù)據(jù)，關(guān)鍵幀是一系列壓縮序列的開始幀，其解壓縮時不依賴以前的幀，而后續(xù)幀的解壓縮將依賴于這個關(guān)鍵幀。
[0059]前面提及的MP4的頭信息是由多個索引組成的，在這些索引中最重要的有STC0、STSC、STSS、STSZ、STTS這五個，它們分別有如下功能:
[0060]l、Chunk Offset Box (stco):
[0061]“stco”定義了每個thunk在媒體流中的位置，它是相對整個MP4音視頻文件而言。
[0062]2、Sample To Chunk Box (stsc):
[0063]用chunk組織sample可以方便優(yōu)化數(shù)據(jù)獲取，一個thunk包含一個或多個sample?！皊tsc”中用一個表描述了 sample與chunk的映射關(guān)系，查看這張表就可以找到包含指定sample的thunk，從而找到這個sample。
[0064]3、Sync Sample Box (stss):
[0065]“stss”確定MP4中的關(guān)鍵幀?！皊tss”可以非常緊湊的標(biāo)記媒體內(nèi)的隨機(jī)存取點(diǎn)，它包含一個sample序號表，表內(nèi)的每一項(xiàng)嚴(yán)格按照sample的序號排列，說明了媒體中的哪一個sample是關(guān)鍵幀。如果此表不存在，說明每一個sample都是一個關(guān)鍵幀，是一個隨機(jī)存取點(diǎn)。
[0066]4、Sample Size Box (stsz):
[0067]“stsz”定義了每個sample的大小，包含了媒體中全部sample的數(shù)目和一張給出每個sample大小的表。
[0068]5、Time To Sample Box (stts):
[0069]“stts”存儲了 sample的durat1n，描述了 sample時序的映射方法，我們通過它可以找到任何時間的sample?！皊tts”可以包含一個壓縮的表來映射時間和sample序號，用其他的表來提供每個sample的長度和指針。表中每個條目提供了在同一個時間偏移量里面連續(xù)的sample序號，以及samples的偏移量。遞增這些偏移量，就可以建立一個完整的 time to sample 表。
[0070]在實(shí)現(xiàn)本發(fā)明的過程中，解碼端在收到第一個數(shù)據(jù)包后對MP4完整的頭信息進(jìn)行處理，即將很多個重要索引通過動態(tài)分配的方法保存下來，在收到后續(xù)的數(shù)據(jù)包后再將這些索引恢復(fù)。由于網(wǎng)絡(luò)音視頻監(jiān)管和內(nèi)容分析的特殊性，后續(xù)的數(shù)據(jù)包需要從其第一個I幀開始解碼。另MP4的索引都是針對整個MP4音視頻文件的，所以在針對后續(xù)數(shù)據(jù)包解碼時，索引恢復(fù)后則增加了一些輔助索引，并需要對這些輔助索引進(jìn)行調(diào)整，以滿足可以很快的定位當(dāng)前數(shù)據(jù)包真正開始的解碼位置。
[0071]下面將以一具體的實(shí)施例對本發(fā)明的技術(shù)方案作出詳細(xì)說明，如圖2示出了本發(fā)明實(shí)施例的音視頻數(shù)據(jù)的解碼方法的示意圖，其步驟如下:
[0072](I)解碼端接收第一個數(shù)據(jù)包。
[0073](2)解析MP4的頭信息，主要包括索引STCO、STSC、STSS、STSZ、STTS，并將這些索引使用動態(tài)分配的方法保存，同時增加輔助索引CHKENS、SAMENS。
[0074](3)通過輔助索引CHKENS、SAMENS建立由sample到chunk，再到entry的映射關(guān)系。至此MP4頭信息保存完畢。
[0075](4)解碼端接收后續(xù)的數(shù)據(jù)包，并為收到的數(shù)據(jù)包創(chuàng)建新的流信息。
[0076](5)獲取當(dāng)前解碼數(shù)據(jù)包第一個完整sample的位置。
[0077](6)獲取當(dāng)前解碼數(shù)據(jù)包第一個完整關(guān)鍵幀的位置。
[0078](7)針對當(dāng)前解碼數(shù)據(jù)包調(diào)整、重建新的頭信息，以及解碼所需的必要信息。
[0079](8)解碼當(dāng)前數(shù)據(jù)包。
[0080]綜上，本發(fā)明的實(shí)現(xiàn)思路是針對較大流量的高清MP4音視頻文件分割的若干數(shù)據(jù)包，在解碼端收到一個數(shù)據(jù)包就解碼一個數(shù)據(jù)包，而不是等待接收到所有的數(shù)據(jù)包重組后再進(jìn)行完整解碼。由針對MP4封裝格式的國際編碼標(biāo)準(zhǔn)IS0/IEC14496-14文件可知MP4的解碼依據(jù)一些相關(guān)的頭信息，這些頭信息是有多個索引組成的，足以描述整個視頻文件的音視頻基本信息。只要獲取某個MP4音視頻文件完整的頭信息就可以對該MP4音視頻文件進(jìn)行解碼。同樣，如果在解碼端收到的第一個數(shù)據(jù)包包含某個MP4音視頻文件完整的頭信息，就可以對接收到的第一個數(shù)據(jù)包進(jìn)行正確解碼，而不必等待后續(xù)包的到來重組；并且，如果把頭信息完整的保存下來，后續(xù)的數(shù)據(jù)包不論按何種順序在解碼端被接收，都可以被正確解碼。當(dāng)然可以把第一個數(shù)據(jù)完整的保存下來，后續(xù)包來后重新解析頭信息，但這樣存儲的空間開銷就會變大，解碼后續(xù)包的時耗也會變大，所以只需保存頭信息。
[0081]根據(jù)本發(fā)明的實(shí)施例，還提供了一種音視頻數(shù)據(jù)的解碼裝置。
[0082]如圖3所示，根據(jù)本發(fā)明實(shí)施例的音視頻數(shù)據(jù)的解碼裝置包括:
[0083]解析模塊31，用于解碼端接收首個數(shù)據(jù)包，并解析首個數(shù)據(jù)包的頭信息獲得索引信息；
[0084]保存模塊32，用于保存索引信息；
[0085]創(chuàng)建模塊33，用于創(chuàng)建輔助索引信息，輔助索引信息用于定位數(shù)據(jù)包開始解碼的位置；
[0086]解碼模塊34，用于接收首個數(shù)據(jù)包的后續(xù)數(shù)據(jù)包，并對后續(xù)數(shù)據(jù)包解碼。
[0087]其中，索引信息包括以下至少之一:
[0088]STCO、STSC、STSS、STSZ、STTS。
[0089]其中，輔助索引信息包括以下至少之一:
[0090]CHKENS'SAMENS0
[0091]其中，保存模塊32進(jìn)一步用于，使用動態(tài)分配的方法保存索引信息。
[0092]其中，解碼模塊34進(jìn)一步包括:
[0093]第一獲取單元(未示出)，用于獲取當(dāng)前數(shù)據(jù)包的第一個完整sample的位置信息;
[0094]第二獲取單元(未示出)，用于獲取當(dāng)前數(shù)據(jù)包的第一個完整關(guān)鍵幀的位置信息。
[0095]綜上所述，借助于本發(fā)明的上述技術(shù)方案，本發(fā)明通過保存首個數(shù)據(jù)包的頭信息中的索引信息，并創(chuàng)建輔助索引信息，而后解碼端通過使用經(jīng)過本發(fā)明改進(jìn)后的索引信息對數(shù)據(jù)包進(jìn)行解碼從而降低了大流量MP4音視頻文件解碼時分包重組帶來的空間和時間的開銷，可以實(shí)時解碼并對音視頻監(jiān)管和內(nèi)容分析提供了可靠的保證。
[0096]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種音視頻數(shù)據(jù)的解碼方法，其特征在于，包括: 解碼端接收首個數(shù)據(jù)包，并解析所述首個數(shù)據(jù)包的頭信息獲得索引信息； 將所述索引信息進(jìn)行保存，并創(chuàng)建輔助索引信息，所述輔助索引信息用于定位數(shù)據(jù)包開始解碼的位置； 接收所述首個數(shù)據(jù)包的后續(xù)數(shù)據(jù)包，并對所述后續(xù)數(shù)據(jù)包解碼。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述索引信息包括以下至少之一:
STCO、STSC、STSS、STSZ、STTSo
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輔助索引信息包括以下至少之一: CHKENS、SAMENSo
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，使用動態(tài)分配的方法保存所述索引信息。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述后續(xù)數(shù)據(jù)包解碼包括: 獲取當(dāng)前數(shù)據(jù)包的第一個完整sample的位置信息； 獲取所述當(dāng)前數(shù)據(jù)包的第一個完整關(guān)鍵幀的位置信息。
6.一種音視頻數(shù)據(jù)的解碼裝置，其特征在于，包括: 解析模塊，用于解碼端接收首個數(shù)據(jù)包，并解析所述首個數(shù)據(jù)包的頭信息獲得索引信息; 保存模塊，用于保存所述索引信息； 創(chuàng)建模塊，用于創(chuàng)建輔助索引信息，所述輔助索引信息用于定位數(shù)據(jù)包開始解碼的位置； 解碼模塊，用于接收所述首個數(shù)據(jù)包的后續(xù)數(shù)據(jù)包，并對所述后續(xù)數(shù)據(jù)包解碼。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述索引信息包括以下至少之一:
STCO、STSC、STSS、STSZ、STTSo
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述輔助索引信息包括以下至少之一: CHKENS、SAMENSo
9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述保存模塊進(jìn)一步用于，使用動態(tài)分配的方法保存所述索引信息。
10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述解碼模塊進(jìn)一步包括: 第一獲取單元，用于獲取當(dāng)前數(shù)據(jù)包的第一個完整sample的位置信息； 第二獲取單元，用于獲取所述當(dāng)前數(shù)據(jù)包的第一個完整關(guān)鍵幀的位置信息。
【文檔編號】H04N21/2343GK104506966SQ201410759497
【公開日】2015年4月8日 申請日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】何丁丁 申請人:曙光信息產(chǎn)業(yè)(北京)有限公司