一種流媒體數(shù)據(jù)傳輸方法及裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及流媒體傳輸領域，尤其涉及一種流媒體數(shù)據(jù)傳輸方法及裝置。
【背景技術】
[0002]隨著計算機技術和無線通信技術的發(fā)展，數(shù)字多媒體進入產(chǎn)業(yè)化階段，各種多媒體應用平臺也在產(chǎn)業(yè)化過程中逐漸走向成熟。無線局域網(wǎng)(WLAN)、藍牙(Bluetooth)以及第三代移動通信(3G)技術已能夠提供基本的帶寬來滿足各種多媒體以及實時視頻傳輸應用的需求；同時，嵌入式系統(tǒng)的計算能力也使得在移動設備上實現(xiàn)實時多媒體信息處理逐步成為現(xiàn)實。對國內(nèi)外，實時流媒體傳輸主要應用于視頻會議、多屏幕共享等領域。相比于其他的多媒體業(yè)務，流媒體數(shù)據(jù)傳輸對于實時性、網(wǎng)絡帶寬、容錯性、媒體同步、播放平滑性等方面均有嚴格要求。
[0003]一方面，流媒體對網(wǎng)絡可用帶寬的要求較高，而當前的Internet (互聯(lián)網(wǎng))并沒有為流媒體預留出足夠的帶寬，而且，現(xiàn)有的路由器一般采用的是存儲轉發(fā)、隊列被動丟棄的發(fā)送數(shù)據(jù)的方式，當網(wǎng)絡可用帶寬小于實時流媒體所要求的最小帶寬時，這種發(fā)送數(shù)據(jù)的方式容易導致流媒體數(shù)據(jù)包在路由器上大量擁塞，這種情況下，路由器會按照丟包策略，將流媒體數(shù)據(jù)包中的一部分丟棄，從而對流媒體的播放質(zhì)量造成很大的影響。
[0004]另一方面，流媒體對于延遲的要求也顯著高于一般數(shù)據(jù)。如實時語音的延遲不能高于250ms，實時視頻則不能大于ls，由于流媒體數(shù)據(jù)和一般數(shù)據(jù)一樣，都需要通過路由器的存儲、排隊、轉發(fā)等過程，當網(wǎng)絡出現(xiàn)擁塞時，路由器不能將流媒體數(shù)據(jù)及時輸出，流媒體數(shù)據(jù)僅在路由器上的延遲往往就會超過流媒體所要求的最小延遲，延遲到達接收端的媒體數(shù)據(jù)包在播放時會造成停頓、抖動等較差的播放效果。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提供一種流媒體傳輸方法及裝置，用以減少流媒體傳輸時的延遲現(xiàn)象。
[0006]本發(fā)明實施例提供一種流媒體傳輸方法，該方法包括:
[0007]當判斷待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時，獲取所述視頻流數(shù)據(jù)中的圖像序列的全部編碼幀；
[0008]根據(jù)每個編碼幀的類型和/或當前網(wǎng)絡時延狀態(tài)，確定出重要編碼幀；
[0009]優(yōu)先向接收端發(fā)送確定出的重要編碼幀。
[0010]本發(fā)明實施例還提供一種流媒體數(shù)據(jù)傳輸裝置，該裝置包括:
[0011]獲取單元，用于當判斷待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時，獲取所述視頻流數(shù)據(jù)中的圖像序列的全部編碼幀；
[0012]確定單元，用于根據(jù)每個編碼幀的類型和/或當前網(wǎng)絡時延狀態(tài)，確定出重要編碼幀；
[0013]發(fā)送單元，用于優(yōu)先向接收端發(fā)送確定出的重要編碼幀。
[0014]從上述技術方案可以看出，當待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時，根據(jù)每個編碼幀的類型和/或當前網(wǎng)絡時延狀態(tài)，在全部編碼幀中選擇部分重要編碼幀進行優(yōu)先傳輸，而現(xiàn)有技術需要傳輸視頻流數(shù)據(jù)的全部編碼幀。當網(wǎng)絡擁塞時，相比現(xiàn)有技術，本發(fā)明實施例僅需傳輸部分編碼幀，只要保證接收端能夠根據(jù)這部分編碼幀中包含的圖像信息進行基本完整的播放即可，由于待傳輸?shù)木幋a幀的數(shù)量降低了，從而減少了視頻流數(shù)據(jù)傳輸時的時延現(xiàn)象，提高了傳輸效率，而且保證接收端能夠流暢播放流媒體文件。
【附圖說明】
[0015]為了更清楚地說明本發(fā)明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域的普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0016]圖1為本發(fā)明實施例提供的流媒體傳輸方法的流程示意圖；
[0017]圖2為本發(fā)明實施例提供的一種發(fā)送端的結構示意圖；
[0018]圖3為本發(fā)明實施例提供的一種發(fā)送端向接收端傳輸流媒體數(shù)據(jù)的流程示意圖；
[0019]圖4為本發(fā)明實施例提供的流媒體數(shù)據(jù)傳輸裝置的結構示意圖。
【具體實施方式】
[0020]為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。
[0021]本發(fā)明實施例可以應用于通過Internet網(wǎng)絡傳輸各種類型的流媒體數(shù)據(jù)的應用場景，本發(fā)明實施例尤其可以適用于基于時間重要性和內(nèi)容重要性進行實時流媒體傳輸?shù)膽脠鼍?。在本發(fā)明實施例中，流媒體數(shù)據(jù)的發(fā)送端可以為各種具有音頻和視頻編碼能力的設備，流媒體數(shù)據(jù)的接收端可以為各種具有音頻和視頻解碼能力的設備。
[0022]本發(fā)明實施例針對現(xiàn)有技術中當網(wǎng)絡擁塞時，流媒體數(shù)據(jù)大量延遲的現(xiàn)象，使流媒體數(shù)據(jù)能夠適應現(xiàn)有Internet網(wǎng)絡傳輸?shù)奶攸c，提高端到端的流媒體服務質(zhì)量。本發(fā)明實施例提供了一種實時流媒體數(shù)據(jù)的傳輸算法，可以根據(jù)實時流媒體數(shù)據(jù)所承載的音視頻的時間重要性和內(nèi)容要重要性的高低，有選擇的發(fā)送實時流媒體數(shù)據(jù)的內(nèi)容，減少實時流媒體數(shù)據(jù)端到端的延時，控制無線網(wǎng)絡網(wǎng)絡擁塞，增強觀看效果。
[0023]圖1示出了本發(fā)明實施例提供的流媒體傳輸方法的流程示意圖，如圖1所示，該方法可以包括:
[0024]步驟11:當判斷待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時，獲取視頻流數(shù)據(jù)中的圖像序列的全部編碼幀。
[0025]步驟12:根據(jù)每個編碼幀的類型和/或當前網(wǎng)絡時延狀態(tài)，確定出重要編碼幀。
[0026]步驟13:優(yōu)先向接收端發(fā)送確定出的重要編碼幀。
[0027]可選的，重要編碼幀用于表征該圖像序列中的圖像信息。
[0028]可選的，在上述步驟12中，圖像序列由一個幀內(nèi)編碼幀和若干個前向預測編碼幀組成；將圖像序列中的幀內(nèi)編碼幀確定為重要編碼幀；將圖像序列中的若干個前向預測編碼幀中符合當前網(wǎng)絡傳輸時延要求的前向預測編碼幀確定為重要編碼幀。
[0029]可選的，在上述步驟12中，確定前向預測編碼幀的采樣時間；并將前向預測編碼幀的采樣時間與當前時間的差值作為該前向預測編碼幀的采樣時間差；判斷采樣時間差是否小于當前網(wǎng)絡時延，若是，則將該前向預測編碼幀確定為重要編碼幀。
[0030]可選的，在上述步驟13之后，還包括:確定是否需要將全部編碼幀中除重要編碼幀以外的編碼幀發(fā)送給接收端，若需要，則將除重要編碼幀以外的編碼幀發(fā)送給接收端；否貝1J，丟棄除重要編碼幀以外的編碼幀。
[0031]可選的，在上述步驟11之前，還包括:根據(jù)待傳輸流媒體數(shù)據(jù)的標識信息，確定待傳輸流媒體數(shù)據(jù)的類型；若待傳輸流媒體數(shù)據(jù)的類型為音頻流數(shù)據(jù)，則將音頻流數(shù)據(jù)的全部編碼幀發(fā)送給接收端。
[0032]下面對本發(fā)明實施例進行詳細描述。
[0033]目前的實時流媒體傳輸方案中，大多采用H.264 (H.264是新一代數(shù)字視頻壓縮格式)標準進行視頻編碼。在H.264標準中，圖像以圖像序列為單位進行組織，一個圖像序列是一段圖像編碼后的數(shù)據(jù)流，以I幀(幀內(nèi)編碼幀)開始，到下一個I幀結束。一個圖像序列的第一個圖像叫做IDR圖像(Instantaneous Decoding Refresh，立即刷新圖像)，IDR圖像都是I幀圖像。H.264中引入IDR圖像是為了解碼的重同步，當解碼器解碼到IDR圖像時，立即將參考幀隊列清空，將已解碼的數(shù)據(jù)全部輸出或拋棄，重新查找參數(shù)集，開始一個新的序列。這樣，如果前一個序列出現(xiàn)重大錯誤，在這里可以獲得重新同步的機會。IDR圖像之后的圖像永遠不會使用IDR之前的圖像的數(shù)據(jù)來解碼。
[0034]在H.264中，I幀為幀內(nèi)編碼幀，I幀屬于關鍵幀，可以為某一幀畫面的完整保留；解碼時只需要本幀數(shù)據(jù)就可以完成。I幀是一個全幀壓縮編碼幀，它將全幀圖像信息進行類似JPEG(國際圖像壓縮標準)標準的幀內(nèi)壓縮編碼方法，解碼時僅用I幀的數(shù)據(jù)就可重構完整圖像，I幀描述了圖像背景和運動主體的詳情，I幀不需要參考其他畫面而生成，I幀是P幀(前向預測編碼幀)和B幀(后向預測編碼幀)的參考幀(其質(zhì)量直接影響到同組中以后各幀的質(zhì)量)，I幀是幀組GOP (Group of Pictures，策略影響編碼質(zhì)量)的基礎幀(第一幀)，在一組中只有一個I幀，I幀不需要考慮運動矢量，幀所占數(shù)據(jù)的信息量比較大。
[0035]P幀是前向預測編碼幀。P幀表示的是這一幀跟之前的一個關鍵幀(或P幀)的差另IJ，解碼時需要用之前緩存的畫面疊加上本幀定義的差別，生成最終畫面，也就是差別幀。P幀沒有完整畫面數(shù)據(jù)，只有與前一幀的畫面差別的數(shù)據(jù)。對于P幀的預測與重構:P幀是以I幀為參考幀，在I幀中找出P幀“某點”的預測值和運動矢量，取預測差值和運動矢量一起傳送。在接收端根據(jù)運