專利名稱：用于作出重發(fā)決定的方法和裝置的制作方法
用于作出重發(fā)決定的方法和裝置
交叉參考相關(guān)申請
本申請與如下同時(shí)待審、共同擁有的美國專利申請有關(guān):(1) 2009年10月7日作為國際專利申請(申請?zhí)朠CT/US09/005499，湯姆森公司案號(hào)PU090136)提交的發(fā)明名稱為“AN EFFICIENT APPLICATION-LAYER AUTOMATIC REPEAT REQUEST (ARQ) RETRANSMISSIONSCHEME FOR RELIABLE REAL-TIME STREAMING IN WIRELESS NETWORKS” 的第 XXX 號(hào)；以及(2)作為國際專利申請(申請?zhí)朮XX，湯姆森公司案號(hào)PU090157)提交的發(fā)明名稱為“AMETHOD AND APPARATUS FOR PARSING A NETWORK ABSTRACTON-LAYER FOR RELIABLE DATACOMMUNICA ΤΙ0Ν” 的第 XXX 號(hào)。技術(shù)領(lǐng)域
本申請一般涉及數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)，尤其涉及可靠數(shù)字?jǐn)?shù)據(jù)發(fā)送的網(wǎng)絡(luò)監(jiān)控器和數(shù)據(jù)重發(fā)決定器。
背景技術(shù)：
在多播或廣播應(yīng)用中，通常在有線和/或無線網(wǎng)絡(luò)上將數(shù)據(jù)從服務(wù)器發(fā)送給多個(gè)接收器。如本文所使用的多播系統(tǒng)是服務(wù)器同時(shí)將相同數(shù)據(jù)發(fā)送給多個(gè)接收器的系統(tǒng)，其中這些接收器形成多達(dá)和包括所有服務(wù)器的所有服務(wù)器的一個(gè)子集。廣播系統(tǒng)是服務(wù)器同時(shí)將相同數(shù)據(jù)發(fā)送給所有接收器的系統(tǒng)。也就是說，多播系統(tǒng)按定義可以包括廣播系統(tǒng)。
數(shù)據(jù)通常被格式化成分組和/或幀來發(fā)送。也就是說，分組和/或幀是數(shù)據(jù)格式化方案。如本文所使用，數(shù)據(jù)可以格式化成包括分組和/或幀的任何方便發(fā)送的格式。因此，“分組”在本文中用于定義本領(lǐng)域的普通技術(shù)人員公知的任何數(shù)據(jù)格式化方案。
作為本文數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)的一種應(yīng)用的例子，使用無線網(wǎng)絡(luò)中的視頻發(fā)送或分發(fā)。無線數(shù)據(jù)網(wǎng)絡(luò)中的視頻發(fā)送通常牽涉到由像干擾、信道衰落、沖突等那樣的信道錯(cuò)誤狀況引起的分組丟失。當(dāng)出現(xiàn)這樣的信道錯(cuò)誤狀況時(shí)，協(xié)議棧的無線鏈路層可能試圖在固定時(shí)間間隔內(nèi)重發(fā)分組固定次數(shù)。如果這些重發(fā)都不成功，無線鏈路層就丟棄分組?；诨ヂ?lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)的視頻發(fā)送通常使用實(shí)時(shí)傳輸協(xié)議(RTP)的協(xié)議將視頻分組輸送到目的地(接收器；本文有時(shí)稱為客戶機(jī))，該實(shí)時(shí)傳輸協(xié)議(RTP)的協(xié)議又使用可靠傳輸控制協(xié)議(TCP)傳輸協(xié)議或較不可靠用戶數(shù)據(jù)報(bào)協(xié)議(UDP)傳輸協(xié)議。當(dāng)例如使用較不可靠UDP協(xié)議時(shí)，該協(xié)議并不提供檢測混亂分組或恢復(fù)丟失分組的手段，并把責(zé)任交給糾正分組輸送錯(cuò)誤的應(yīng)用。相反，當(dāng)使用TCP協(xié)議時(shí)，提供端到端確認(rèn)，以便該協(xié)議設(shè)法嚴(yán)格按該應(yīng)用管理分組的次序發(fā)送和/或接收媒體(音頻、視頻、多媒體......)分組(數(shù)據(jù))。當(dāng)檢測到分組錯(cuò)誤時(shí)，TCP提供用于數(shù)據(jù)流控制的滑動(dòng)窗口機(jī)制，并降低分組傳輸速率。TCP繼續(xù)重發(fā)丟失的分組直到它們得到恢復(fù)。
視頻發(fā)送是實(shí)時(shí)發(fā)生和具有與數(shù)據(jù)的接收和再現(xiàn)相聯(lián)系的用戶觀看體驗(yàn)的應(yīng)用的例子。在其內(nèi)分組必須得到輸送或恢復(fù)的延遲或時(shí)間約束不應(yīng)該影響最終用戶的觀看體驗(yàn)。因此，分組錯(cuò)誤理應(yīng)在有限時(shí)間內(nèi)得到糾正，否則，數(shù)據(jù)可能是不可視的。TCP目前不能根據(jù)時(shí)間約束來為分組恢復(fù)的控制提供保證。因此，將TCP作為傳輸協(xié)議用于無線網(wǎng)絡(luò)將導(dǎo)致不好的用戶觀看體驗(yàn)。而且，TCP要求對于所有發(fā)送數(shù)據(jù)分組的肯定確認(rèn)。TCP上行鏈路確認(rèn)(從數(shù)據(jù)接收器到數(shù)據(jù)發(fā)送器(發(fā)送者))與下行鏈路數(shù)據(jù)業(yè)務(wù)(從發(fā)送器(發(fā)送者)到接收器)競爭無線帶寬。如果在下行鏈路發(fā)送與上行鏈路發(fā)送之間發(fā)生沖突，則這些沖突將導(dǎo)致進(jìn)一步吞吐量減少。
2009年10月7日提交的PCT申請US/09/005，499公開了一種有效應(yīng)用層自動(dòng)重復(fù)請求重發(fā)方法，其中將要發(fā)送的數(shù)據(jù)被緩存或高速緩存在實(shí)現(xiàn)可靠媒體協(xié)議的模塊上，以便恢復(fù)丟失的數(shù)據(jù)分組以及有助于例如實(shí)時(shí)流式(如視頻)數(shù)據(jù)應(yīng)用。簡要地參照圖1(源自上述的PCT申請US/09/005，499的圖5)，將實(shí)時(shí)協(xié)議分組化模塊120配備在例如實(shí)時(shí)服務(wù)器100上，以便接收視頻數(shù)字?jǐn)?shù)據(jù)輸入105。提供流式應(yīng)用的實(shí)時(shí)協(xié)議(RTP)分組化模塊120經(jīng)由例如一個(gè)或多個(gè)類似套接字應(yīng)用編程接口(API) 115與可靠媒體協(xié)議模塊130連接。可靠媒體協(xié)議模塊130接受像高速緩存或緩沖器大小、等待分組恢復(fù)的最大時(shí)間等那樣的配置數(shù)據(jù)參數(shù)125。這些參數(shù)是例如由數(shù)字應(yīng)用，例如，電話、音頻、視頻或多媒體以及其他已知應(yīng)用決定的。本地緩沖器或高速緩沖存儲(chǔ)器135臨時(shí)存儲(chǔ)初始發(fā)送分組，直到可以確定需要重發(fā)還是丟棄它們。服務(wù)器100通過Μ)Ρ/ΙΡ發(fā)送器接口 140或TCP/IP發(fā)送器/接收器接口 145之一和數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)接口，例如，以太網(wǎng)/802.11接口 150發(fā)送數(shù)字?jǐn)?shù)據(jù)。隨著實(shí)時(shí)分組，例如，在等待重發(fā)ACK/NACK控制155的接收或預(yù)定時(shí)限時(shí)，被臨時(shí)存儲(chǔ)在高速緩存/緩沖器135中，可能經(jīng)由向網(wǎng)絡(luò)110的初始發(fā)送160發(fā)生初始實(shí)時(shí)發(fā)送。發(fā)明內(nèi)容
擁有進(jìn)一步增加像公開在上述PCT申請US/09/005，499中的那種那樣的基于可靠媒體協(xié)議實(shí)時(shí)數(shù)據(jù)傳輸系統(tǒng)的可靠性的有效方法和裝置是有利的。本發(fā)明解決了這些和/或其他問題。
依照本發(fā)明的一個(gè)方面，公開了一種方法。按照一個(gè)示范性實(shí)施例，該方法包含監(jiān)控?cái)?shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)以收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量；以及根據(jù)收集的網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量決定是否向接收器重發(fā)數(shù)字?jǐn)?shù)據(jù)分組。
依照本發(fā)明的另一個(gè)方面，公開了一種裝置。按照一個(gè)示范性實(shí)施例，像數(shù)字?jǐn)?shù)據(jù)發(fā)送器那樣的裝置包含數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)監(jiān)控器，用于收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量；以及重發(fā)決定器，用于根據(jù)指定的數(shù)字?jǐn)?shù)據(jù)分組優(yōu)先級和收集的網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量決定是否重發(fā)數(shù)字?jǐn)?shù)據(jù)分組。
依照本發(fā)明的另一個(gè)方面，公開了一種裝置。按照一個(gè)示范性實(shí)施例，像數(shù)字?jǐn)?shù)據(jù)發(fā)送器那樣的裝置包含像網(wǎng)絡(luò)監(jiān)控器那樣，收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量的器件；以及像重發(fā)決定器那樣，根據(jù)指定的數(shù)字?jǐn)?shù)據(jù)分組優(yōu)先級和收集的網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量決定是否重發(fā)數(shù)字?jǐn)?shù)據(jù)分組的器件。
依照本發(fā)明的另一個(gè)方面，公開了一種裝置。按照一個(gè)示范性實(shí)施例，像數(shù)字?jǐn)?shù)據(jù)接收器那樣的裝置包含網(wǎng)絡(luò)監(jiān)控器，用于從接收裝置的視角收集網(wǎng)絡(luò)統(tǒng)計(jì)量；以及網(wǎng)絡(luò)接口，用于輸出包括所述收集網(wǎng)絡(luò)統(tǒng)計(jì)量的控制信道消息。
依照本發(fā)明的另一個(gè)方面，公開了一種裝置。按照一個(gè)示范性實(shí)施例，像數(shù)字?jǐn)?shù)據(jù)接收器那樣的裝置包含像網(wǎng)絡(luò)監(jiān)控器那樣，從接收裝置的視角收集網(wǎng)絡(luò)統(tǒng)計(jì)量的器件；以及像網(wǎng)絡(luò)接口那樣，輸出包括所述收集網(wǎng)絡(luò)統(tǒng)計(jì)量的控制信道消息的器件。


通過參考結(jié)合附圖所作的本發(fā)明實(shí)施例的如下描述，本發(fā)明的上述和其他特征和優(yōu)點(diǎn)以及實(shí)現(xiàn)它們的方式將變得更加顯而易見，并且使本發(fā)明得到更好理解，在附圖中:
圖1是源自上述的相關(guān)PCT申請US/09/005，499的圖5的含有可靠媒體協(xié)議模塊和在等待重發(fā)決定時(shí)存儲(chǔ)例如實(shí)時(shí)分組的本地高速緩存或緩沖器的服務(wù)器的示意性方塊圖。
圖2A是依照本發(fā)明的原理的服務(wù)器的示意性方塊圖，它示出了按照本發(fā)明就當(dāng)前網(wǎng)絡(luò)統(tǒng)計(jì)數(shù)據(jù)監(jiān)控網(wǎng)絡(luò)接口并將輸入提供給可靠媒體協(xié)議(RMP)模塊的網(wǎng)絡(luò)抽象層(NAL)首標(biāo)分析器、網(wǎng)絡(luò)監(jiān)控器和重發(fā)決定器；圖2B是依照本發(fā)明的原理的含有收集接收器網(wǎng)絡(luò)特有統(tǒng)計(jì)數(shù)據(jù)以便發(fā)送給圖2A的服務(wù)器的網(wǎng)絡(luò)監(jiān)控器的相關(guān)客戶機(jī)的示意性方塊圖。
圖3A是依照本發(fā)明的原理的流式服務(wù)器的簡化方塊示意圖，其含有從可伸縮視頻編碼(SVC)編碼器接收輸入的NAL首標(biāo)分析器、網(wǎng)絡(luò)監(jiān)控器和重發(fā)決定器。圖3A進(jìn)一步描繪了從流式服務(wù)器接收數(shù)字?jǐn)?shù)據(jù)的流式接收器。圖3B是示出NAL首標(biāo)分析器從本地MP4文件閱讀器接收輸入的圖3A的流式服務(wù)器的方塊示意圖。圖3C示出了經(jīng)由去分組化器從網(wǎng)絡(luò)接收輸入的圖3A的NAL首標(biāo)分析器。
圖4示出了依照本發(fā)明的原理在發(fā)送者方進(jìn)行抽象層首標(biāo)分析和網(wǎng)絡(luò)監(jiān)控的操作的流程圖，其中發(fā)送者可以是圖2A或圖3的發(fā)送器、服務(wù)器或流式服務(wù)器。圖4進(jìn)一步示出了數(shù)據(jù)接收器和相關(guān)網(wǎng)絡(luò)監(jiān)控操作，其中接收器可以是圖2B的客戶機(jī)或圖3的流式接收器。
圖5示出了依照本發(fā)明的原理分析的可伸縮視頻編碼器(SVC)網(wǎng)絡(luò)抽象層(NAL)擴(kuò)展首標(biāo)的示范性數(shù)據(jù)內(nèi)容表示格式。
圖6示出了依照本發(fā)明的原理可以發(fā)送優(yōu)先級數(shù)據(jù)和可以從中計(jì)算網(wǎng)絡(luò)統(tǒng)計(jì)量的實(shí)時(shí)協(xié)議(RTP)首標(biāo)的示范性格式。
圖7示出了按照本發(fā)明的一些方面包括可以導(dǎo)出網(wǎng)絡(luò)監(jiān)控統(tǒng)計(jì)量的連續(xù)計(jì)數(shù)(CO字段的MPEG傳輸流(TS)首標(biāo)，例如，MPEG-2的示范性格式。
圖8示出了按照本發(fā)明的一些方面包括發(fā)送請求和可以導(dǎo)出網(wǎng)絡(luò)監(jiān)控統(tǒng)計(jì)量的端到端分組丟失率的消息的示范性格式。
圖9示出了按照本發(fā)明的一些方面可以導(dǎo)出網(wǎng)絡(luò)監(jiān)控統(tǒng)計(jì)量的ARQ請求(NACK)分組的第一示范性格式。
圖10示出了按照本發(fā)明的一些方面可以導(dǎo)出和發(fā)送網(wǎng)絡(luò)監(jiān)控統(tǒng)計(jì)量的RMP ARQ請求(NACK)分組的第二示范性格式。
具體實(shí)施方式
本發(fā)明針對在發(fā)送器或發(fā)送者上用于分析作為對于圖2A和圖2B的改進(jìn)可靠媒體協(xié)議模塊為一個(gè)模塊的實(shí)時(shí)(例如，實(shí)時(shí)協(xié)議或RTP)分組化模塊的輸入的抽象層首標(biāo)的方法和裝置，以及可以根據(jù)監(jiān)控的網(wǎng)絡(luò)狀況，例如，分組丟失率，利用分析器的優(yōu)先級輸出有選擇地重發(fā)數(shù)據(jù)的發(fā)送器/服務(wù)器200(圖2A)的網(wǎng)絡(luò)監(jiān)控器和重發(fā)決定器。按照一個(gè)實(shí)施例，像MPEG-4可伸縮視頻編碼器(SVC)那樣的實(shí)時(shí)視頻編碼器的網(wǎng)絡(luò)抽象層，例如，H.264/AVC網(wǎng)絡(luò)抽象層包含提供可以加以分析以確定數(shù)字?jǐn)?shù)據(jù)優(yōu)先級的字段的首標(biāo)。例如，NAL是網(wǎng)絡(luò)友好的，可以代表視頻電話，例如，視頻會(huì)話應(yīng)用和像將下載電影存儲(chǔ)在存儲(chǔ)器中、廣播或多播應(yīng)用或流式應(yīng)用、或其他非會(huì)話應(yīng)用那樣的非會(huì)話應(yīng)用。可以將NAL定義成，例如，以含有一個(gè)或多個(gè)字節(jié)的分組形式的多個(gè)抽象層單元。每個(gè)NAL單元的第一字節(jié)可以是指示該單元的數(shù)據(jù)類型的首標(biāo)字節(jié)，而其余字節(jié)包含NAL首標(biāo)所指的類型的有效載荷數(shù)據(jù)。
按照一個(gè)實(shí)施例，抽象層首標(biāo)分析器包含分析可伸縮視頻編碼器抽象層首標(biāo)以便從多個(gè)字段之一中獲取數(shù)據(jù)。按照這個(gè)實(shí)施例的一些方面，抽象層首標(biāo)分析器可以，例如，對MPEG 4文件閱讀器的輸出數(shù)字視頻數(shù)據(jù)進(jìn)行操作，或接受如在去分組化器上接收的來自網(wǎng)絡(luò)的數(shù)字?jǐn)?shù)據(jù)。例如，抽象層首標(biāo)分析器可以分析代表層表示的層間編碼依賴程度的DID字段。QID字段代表中等粒度可伸縮性(MGS)層表示的質(zhì)量水平。TID字段代表層表示的時(shí)間水平。分析包含這樣字段的抽象層首標(biāo)的一個(gè)結(jié)果是識(shí)別隨后有效載荷數(shù)據(jù)與之相聯(lián)系的層。響應(yīng)有效載荷數(shù)據(jù)類型的識(shí)別，可以為每個(gè)識(shí)別層指定不同優(yōu)先級。例如，基本層可以接收從緩沖器或高速緩沖存儲(chǔ)器重發(fā)的高優(yōu)先級，因?yàn)榛緦訉τ诮邮掌魃系耐耆獯a是絕對必要的。響應(yīng)有效載荷數(shù)據(jù)類型的識(shí)別，分析器可以為如下數(shù)據(jù)的每個(gè)識(shí)別層指定不同優(yōu)先級。例如，基本層可以接收從緩沖器或高速緩沖存儲(chǔ)器重發(fā)的高優(yōu)先級，因?yàn)榛緦訑?shù)據(jù)對于接收器上的完全解碼是絕對必要的。可以對增強(qiáng)層指定中等優(yōu)先級，因?yàn)樵鰪?qiáng)層數(shù)據(jù)對于較高層的解碼是必要的。另一方面，可以對有效載荷數(shù)據(jù)的高增強(qiáng)層指定低優(yōu)先級。一旦指定了優(yōu)先級，例如，低、中和高，如果要求在傳輸層上重發(fā)，則可以在實(shí)時(shí)協(xié)議(RTP)首標(biāo)的“有效載荷類型(PT)”或類似字段中表示優(yōu)先級信息，或者可以在IP首標(biāo)的服務(wù)類型(TOS)字段中表示優(yōu)先級信息。服務(wù)類型字段在現(xiàn)有技術(shù)中也可以稱為，舉例來說，差別化服務(wù)(DS)字段。前兩個(gè)位被稱為顯式擁塞通知(ECN)位，DS字段字節(jié)的接著六個(gè)位被稱為差別化服務(wù)代碼點(diǎn)(DSCP)位。服務(wù)類型在本文中一般用于指提供服務(wù)類型數(shù)據(jù)的這些和其他格式。因此，當(dāng)被修改成并入按照一個(gè)實(shí)施例的抽象層首標(biāo)分析器和方法中時(shí)，可靠媒體控制協(xié)議模塊作出的實(shí)時(shí)分組重發(fā)決定可以是層意識(shí)的。
在進(jìn)一步的實(shí)施例中，提供了經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)接口監(jiān)控?cái)?shù)據(jù)網(wǎng)絡(luò)質(zhì)量以及，例如，收集輸入到重發(fā)決定器中的當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)統(tǒng)計(jì)量，例如，分組丟失率、可用帶寬、和往返延遲的網(wǎng)絡(luò)監(jiān)控器。重發(fā)決定器又可以提供至可靠媒體協(xié)議(RMP)模塊的輸入，以便重發(fā)決定可以基于按照在網(wǎng)絡(luò)監(jiān)控器中收集的數(shù)據(jù)網(wǎng)絡(luò)統(tǒng)計(jì)數(shù)據(jù)的當(dāng)前網(wǎng)絡(luò)狀況，以及根據(jù)它的優(yōu)先級和監(jiān)控的網(wǎng)絡(luò)狀況有選擇地決定重發(fā)分組。
于是，數(shù)字發(fā)送方法包含分析數(shù)字?jǐn)?shù)據(jù)分組的抽象層首標(biāo)以獲取層表示數(shù)據(jù)，以及響應(yīng)該分析將優(yōu)先級指定給表示層的數(shù)字?jǐn)?shù)據(jù)分組。獲取層表示數(shù)據(jù)可以包含一個(gè)或所有如下步驟:確定層間編碼依賴程度；確定粒度可伸縮性的質(zhì)量水平；以及確定層表示的時(shí)間等級。此外，該方法可以進(jìn)一步包含在實(shí)時(shí)傳輸分組首標(biāo)的有效載荷類型字段中或在互聯(lián)網(wǎng)協(xié)議分組首標(biāo)的服務(wù)類型字段中表示優(yōu)先級別之一。如上所述，至抽象層首標(biāo)分析器的輸入可以從接收網(wǎng)絡(luò)數(shù)據(jù)的去分組化器接收或從像與MPEG文件閱讀器相聯(lián)系的那種那樣的本地服務(wù)器存儲(chǔ)器接收。
此外，在進(jìn)一步的實(shí)施例中，數(shù)字?jǐn)?shù)據(jù)發(fā)送器可以包含抽象層首標(biāo)分析器，用于從數(shù)字?jǐn)?shù)據(jù)分組中獲取層表示數(shù)據(jù)以及對層表示數(shù)據(jù)指定優(yōu)先級；數(shù)字?jǐn)?shù)據(jù)監(jiān)控器，用于收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量；以及重發(fā)決定器，用于根據(jù)指定的數(shù)字?jǐn)?shù)據(jù)分組優(yōu)先級和收集的網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量決定是否重發(fā)數(shù)字?jǐn)?shù)據(jù)分組。如上所述，在進(jìn)一步的實(shí)施例中這樣的抽象層首標(biāo)分析器可以是數(shù)字視頻數(shù)據(jù)分組應(yīng)用的網(wǎng)絡(luò)抽象層首標(biāo)分析器。
更具體地說，參照圖2-圖10，服務(wù)器的抽象層首標(biāo)分析器、數(shù)據(jù)監(jiān)控器和重發(fā)決定器以及接收器的網(wǎng)絡(luò)監(jiān)控器如本文進(jìn)一步所述，為RMP模塊235在作出是否重發(fā)在發(fā)送控制信道255上報(bào)告丟失了的分組的決定時(shí)的高可靠性操作提供了保證。無線網(wǎng)絡(luò)中的視頻發(fā)送或分發(fā)通常使用Μ)Ρ上的實(shí)時(shí)傳輸協(xié)議(RTP)運(yùn)動(dòng)圖像專家組2傳輸流(MPEG2TS)。實(shí)時(shí)視頻可以從單個(gè)源分發(fā)給單個(gè)目的地(單播模式)或從單個(gè)源分發(fā)給多個(gè)目的地(多播模式)。由于在無線網(wǎng)絡(luò)中信道狀況是變化的，所以當(dāng)信道狀況不好時(shí)，如果鏈路層錯(cuò)誤糾正不成功，則分組發(fā)送導(dǎo)致分組丟失。在這些狀況下，在分組序列中存在導(dǎo)致最終用戶觀看質(zhì)量差的間隙。本發(fā)明提供了本文叫做可靠媒體協(xié)議(RMP)的基于應(yīng)用層有效重發(fā)方案的抽象層首標(biāo)分析功能來恢復(fù)丟失分組，以有助于可靠實(shí)時(shí)流式應(yīng)用。本發(fā)明還在發(fā)送器方和在接收器方提供網(wǎng)絡(luò)監(jiān)控能力，以便改進(jìn)圖2A的服務(wù)器/發(fā)送器200上的分組重發(fā)決定的作出。因此，在圖2B的接收器/客戶機(jī)201上配備網(wǎng)絡(luò)監(jiān)控器271。
參照圖2A和圖2B，在本發(fā)明的可靠媒體協(xié)議(RMP)方法中，通過按照本發(fā)明的原理并入NAL首標(biāo)分析器210來幫助RTP分組化模塊220和可靠媒體協(xié)議(RMP)模塊230。此外，與網(wǎng)絡(luò)接口 250交接的網(wǎng)絡(luò)監(jiān)控器270收集當(dāng)前網(wǎng)絡(luò)統(tǒng)計(jì)量，并經(jīng)由重發(fā)決定器275提高RMP模塊230的可靠性。在圖2A中強(qiáng)調(diào)了 NAL首標(biāo)分析器210、網(wǎng)絡(luò)監(jiān)控器270和重發(fā)決定器275，以表明如下面進(jìn)一步說明的圖2A不同于圖1。
最初，RMP模塊230經(jīng)由網(wǎng)絡(luò)接口 250，使用UDP 240發(fā)送常規(guī)單播和多播數(shù)據(jù)或分組，以便使用初始發(fā)送信道260將分組發(fā)送給網(wǎng)絡(luò)110。數(shù)據(jù)最初經(jīng)由RTP分組化模塊220以NAL首標(biāo)分析器210指定的優(yōu)先級存儲(chǔ)在本地高速緩存235中。除此之外，在圖2A的源(發(fā)送器，發(fā)送者)200與圖2B的目的地(接收器，信宿，客戶機(jī))201之間建立附加可靠基于TCP控制信道245。TCP/IP 245經(jīng)由到網(wǎng)絡(luò)110的重發(fā)ACK/NACK控制信道255，通過網(wǎng)絡(luò)接口 250請求重發(fā)和接收丟失的分組。為了使這種機(jī)制正常運(yùn)行，發(fā)送器(發(fā)送者，月艮務(wù)器)200保留發(fā)送給它的接收器/客戶機(jī)的最近分組于高速緩存235。一個(gè)或多個(gè)接收器/客戶機(jī)210從發(fā)送器/服務(wù)器200接收數(shù)據(jù)分組，并且可以使用存在于RTP (圖6)或MPEG傳輸流(TS)首標(biāo)(圖7)中的序列號(hào)字段在接收的數(shù)據(jù)分組中檢測序列間隙。如果接收器201檢測到序列間隙，則接收器201在基于TCP控制信道255上發(fā)送用于有選擇重發(fā)丟失數(shù)據(jù)分組的請求。當(dāng)發(fā)送器/服務(wù)器200從一個(gè)或多個(gè)它的接收器/客戶機(jī)210接收到重發(fā)請求時(shí)，它就在其本地高速緩存235中尋找最近分組。如果在本地高速緩存235中找到請求的分組，則發(fā)送器/服務(wù)器200經(jīng)由網(wǎng)絡(luò)110，在基于TCP控制信道255上以單播形式重發(fā)分組的副本給接收器201。如果在其本地高速緩存/緩沖器235中未找到請求的分組，則發(fā)送者200繼續(xù)為其余重發(fā)請求服務(wù)。接收器/客戶機(jī)201維持輸送隊(duì)列(緩沖器/高速緩存)236以保留來自數(shù)據(jù)信道和控制信道兩者的所有接收數(shù)據(jù)分組。接收器/客戶機(jī)201還將重發(fā)分組重排到這個(gè)隊(duì)列內(nèi)的正常序列(位置)中，并在正確時(shí)間以適當(dāng)次序?qū)⒎纸M輸送給應(yīng)用，例如，視頻播放器應(yīng)用221以便加以顯示206。
接收器/客戶機(jī)201 (圖2B)保持可配置時(shí)間窗口來等待任何重發(fā)而不是永遠(yuǎn)地等下去，以便可以使分組延遲和延遲抖動(dòng)保持在應(yīng)用界線內(nèi)。此外，按照一個(gè)實(shí)施例，接收器/客戶機(jī)201配有從接收器/客戶機(jī)201的視角收集網(wǎng)絡(luò)統(tǒng)計(jì)量以便經(jīng)由控制信道255發(fā)送給發(fā)送器/服務(wù)器200的網(wǎng)絡(luò)監(jiān)控器271。在圖2B中強(qiáng)調(diào)示出了網(wǎng)絡(luò)監(jiān)控器271，以表明如本文進(jìn)一步所述，按照本發(fā)明收集網(wǎng)絡(luò)統(tǒng)計(jì)量并將其提供給發(fā)送器/服務(wù)器200以便改進(jìn)重發(fā)決定作出的網(wǎng)絡(luò)接口 251與網(wǎng)絡(luò)監(jiān)控器271之間的協(xié)作。
如果未及時(shí)接收到一些丟失分組的重發(fā)應(yīng)答，則圖2B的接收器/客戶機(jī)201將其余接收分組從輸送隊(duì)列傳遞給應(yīng)用，例如，視頻播放器221和顯示器206。如果在可接受恢復(fù)時(shí)間窗口之外接收到一些重發(fā)分組，則接收器丟棄掉它們。應(yīng)該注意到，視頻應(yīng)用在視頻解碼時(shí)可以使用錯(cuò)誤隱藏技術(shù)容忍一些數(shù)據(jù)分組丟失。
再次參照圖2A，為了借助于網(wǎng)絡(luò)監(jiān)控器270和271分組化和改進(jìn)重發(fā)決定作出，本發(fā)明中的可靠媒體協(xié)議(RMP)方案通過分析器210的幫助經(jīng)由RMP模塊230，231運(yùn)行在實(shí)時(shí)應(yīng)用/RTP/MPEG TS與UDP/TCP/IP之間。在服務(wù)器/發(fā)送器200上，抽象層首標(biāo)分析器，例如，網(wǎng)絡(luò)抽象層(NAL)首標(biāo)分析器210對本地提供或網(wǎng)絡(luò)的數(shù)字視頻數(shù)據(jù)205加以操作。NAL首標(biāo)分析器210為實(shí)時(shí)協(xié)議(RTP)分組化模塊220輸出優(yōu)先級和數(shù)據(jù)。此外，網(wǎng)絡(luò)監(jiān)控器270重新獲取當(dāng)前網(wǎng)絡(luò)114的統(tǒng)計(jì)量，并將控制數(shù)據(jù)輸出到重發(fā)決定器275以幫助RMP模塊230。例如，將增強(qiáng)層被指定中等優(yōu)先級與基本層被指定高優(yōu)先級的例子推進(jìn)一步，RMP模塊230面對網(wǎng)絡(luò)監(jiān)控器270檢測的可用帶寬低于給定閾值時(shí)，重發(fā)高優(yōu)先級基本層數(shù)據(jù)而不發(fā)送中等優(yōu)先級增強(qiáng)層數(shù)據(jù)。例如，取代發(fā)送保存在高速緩沖/緩沖存儲(chǔ)器235中的所有分組，重發(fā)決定器275可以根據(jù)像分組丟失率或其他網(wǎng)絡(luò)狀況那樣的網(wǎng)絡(luò)監(jiān)控器收集統(tǒng)計(jì)量、和NAL首標(biāo)分析器210指定的優(yōu)先級來選擇保存在存儲(chǔ)器235中的一部分分組用于重發(fā)。因此，如結(jié)合圖4的討論所進(jìn)一步描述，在分析器210上對數(shù)據(jù)指定優(yōu)先級與按照重發(fā)決定器275的重發(fā)決定作出的結(jié)合為高度可靠媒體協(xié)議(RMP)模塊230提供了保證。
再次參照圖2A，典型網(wǎng)絡(luò)接口 250被顯示在網(wǎng)絡(luò)110與服務(wù)器/發(fā)送器200上的RMP模塊230之間。網(wǎng)絡(luò)接口模塊的例子是與計(jì)算機(jī)網(wǎng)絡(luò)110連接的以太網(wǎng)卡、IEEE802.11/WiFi 卡。
圖2B示出了客戶設(shè)備201的示范性實(shí)現(xiàn)的示意圖。該客戶機(jī)可以包括視頻播放器/流式應(yīng)用模塊221、顯示器206、緩沖器(高速緩沖存儲(chǔ)器)236、可選媒體協(xié)議(RMP)模塊231、UDP/IP模塊241、TCP/IP模塊246和網(wǎng)絡(luò)接口 251。網(wǎng)絡(luò)接口 251可以是，例如，以太網(wǎng)接口或IEEE 802.11接口或其他已知網(wǎng)絡(luò)接口。網(wǎng)絡(luò)接口 251接收所有到來消息。這些消息到達(dá)不同套接口 /地址。網(wǎng)絡(luò)監(jiān)控器271從接收器/客戶機(jī)201的視角從網(wǎng)絡(luò)接口 251收集當(dāng)前網(wǎng)絡(luò)統(tǒng)計(jì)量，并在報(bào)告收集統(tǒng)計(jì)量的信道255上輸出適當(dāng)控制消息。因此，網(wǎng)絡(luò)接口 251可以確定轉(zhuǎn)發(fā)來自網(wǎng)絡(luò)110的接收消息的地方，并輸出來自網(wǎng)絡(luò)監(jiān)控器271的統(tǒng)計(jì)數(shù)據(jù)和來自TCP/IP模塊246的消息。新到來數(shù)據(jù)分組由網(wǎng)絡(luò)接口模塊251轉(zhuǎn)發(fā)給UDP/IP接口。重發(fā)數(shù)據(jù)分組的請求和重發(fā)數(shù)據(jù)分組由RMP模塊231轉(zhuǎn)發(fā)給TCP/IP模塊246。RMP模塊231確定接收的數(shù)據(jù)分組是否已損壞，并利用UDP/IP和TCP/IP兩者精心安排分組恢復(fù)。RMP模塊231為任何損壞數(shù)據(jù)分組生成重發(fā)請求。然后，RMP模塊231將重發(fā)請求轉(zhuǎn)發(fā)給TCP/IP模塊246以便在網(wǎng)絡(luò)110上發(fā)送。在網(wǎng)絡(luò)接口 251上，將網(wǎng)絡(luò)監(jiān)控器271收集的任何網(wǎng)絡(luò)統(tǒng)計(jì)數(shù)據(jù)并入重發(fā)請求中以便在網(wǎng)絡(luò)110上發(fā)送。RMP模塊231還將接收的分組存儲(chǔ)在本地緩沖器236中以便重新排序。一旦經(jīng)由TCP/IP模塊246從TCP控制信道接收到重發(fā)分組，RAMP模塊231就按正確次序排列分組。RMP 231保持按序列號(hào)排序的隊(duì)列，并將分組重新排序和插入這個(gè)緩沖器區(qū)域/隊(duì)列中。當(dāng)恢復(fù)窗口到期時(shí)，RMP模塊231將分組輸送給例如播放器/流式應(yīng)用221以便加以顯示206。RMP模塊231為數(shù)據(jù)傳遞和與應(yīng)用的集成提供類似套接字應(yīng)用協(xié)議接口(API)216。注意，一些分組在恢復(fù)窗口到期時(shí)可能未得到恢復(fù)。
恢復(fù)窗口到期之后到達(dá)的數(shù)據(jù)分組按圖4丟棄。取決于應(yīng)用，例如，對于視頻，流式/播放器應(yīng)用221將數(shù)據(jù)去分組化和/或解碼，并將數(shù)據(jù)傳遞給顯示器/揚(yáng)聲器206。將到來分組存儲(chǔ)在RMP “緩沖器區(qū)域”中，并且每當(dāng)應(yīng)用請求分組時(shí)，就轉(zhuǎn)交給，例如，應(yīng)用以便加以渲染(顯示)206。標(biāo)著“配置”226的方框是與RMP模塊231的“配置接口”。RMP模塊可以在初始化的時(shí)候配置，以便設(shè)置像高速緩存大小、等待分組恢復(fù)的最大時(shí)間等那樣的參數(shù)。
在按照圖2B的接收器/客戶機(jī)201上，網(wǎng)絡(luò)監(jiān)控器271可以從接收器/客戶機(jī)201的視角經(jīng)由接口 251收集網(wǎng)絡(luò)監(jiān)控器271上的當(dāng)前網(wǎng)絡(luò)統(tǒng)計(jì)量，并經(jīng)由控制信道255將接收器/客戶機(jī)201的網(wǎng)絡(luò)體驗(yàn)輸出到經(jīng)由數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)110與之連接的服務(wù)器。一旦在發(fā)送器/服務(wù)器200經(jīng)由網(wǎng)絡(luò)110接收，經(jīng)由接口 250將這樣收集的網(wǎng)絡(luò)統(tǒng)計(jì)量輸出到網(wǎng)絡(luò)監(jiān)控器270，以便補(bǔ)充如上面所討論網(wǎng)絡(luò)監(jiān)控器270從網(wǎng)絡(luò)110的發(fā)送器/服務(wù)器的視角收集的統(tǒng)計(jì)量。數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)110可以是包括但不局限于衛(wèi)星網(wǎng)絡(luò)、陸基無線網(wǎng)絡(luò)、光纖網(wǎng)絡(luò)、同軸電纜網(wǎng)絡(luò)、雙絞線網(wǎng)絡(luò)、局域網(wǎng)、廣域網(wǎng)和其他已知數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)的任何數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)。典型網(wǎng)絡(luò)接口 251被顯示在網(wǎng)絡(luò)110與客戶機(jī)/服務(wù)器201上的RAM模塊231之間。網(wǎng)絡(luò)接口模塊的例子包括與計(jì)算機(jī)網(wǎng)絡(luò)110連接的以太網(wǎng)卡、IEEE 802.11/WiFi卡等。
在討論圖3之前，重要的是要注意到，相似標(biāo)號(hào)表示圖中的相似元件。此外，像網(wǎng)絡(luò)110的標(biāo)號(hào)110的第一個(gè)數(shù)字I那樣的標(biāo)號(hào)的第一個(gè)數(shù)字指示該元件第一次出現(xiàn)的圖號(hào)。因此，例如，RAM模塊230第一次出現(xiàn)在圖2中，與圖1的可靠媒體協(xié)議(RAM)模塊130類似，但與圖1的可靠媒體協(xié)議(RAM)模塊130不同，因?yàn)橐肓硕嘉闯霈F(xiàn)在圖1中的NAL首標(biāo)分析器210、網(wǎng)絡(luò)監(jiān)控器270和重發(fā)決定器275。此外，依照本發(fā)明的原理，圖2B的客戶機(jī)/接收器201的網(wǎng)絡(luò)監(jiān)控器271改進(jìn)了圖2A的RMP模塊230和重發(fā)決定器275的操作。分析器210、網(wǎng)絡(luò)監(jiān)控器270和271和重發(fā)決定器275的一些優(yōu)點(diǎn)上面已經(jīng)描述過，但下面將結(jié)合圖3和圖4的討論作進(jìn)一步描述。
圖3提供了涉及向經(jīng)由網(wǎng)絡(luò)110連接的一個(gè)或多個(gè)流式接收器發(fā)送的NAL抽象層首標(biāo)分析器210、網(wǎng)絡(luò)監(jiān)控器270和重發(fā)決定器275的直接表示。參照圖3A，其中示出了可以處在流式服務(wù)器中或遠(yuǎn)離它的可伸縮視頻編解碼器(SVC)的編碼器300。如下文進(jìn)一步所述，可伸縮視頻編解碼器(SVC)提供時(shí)間或幀速率可伸縮性、空間或畫面大小可伸縮性(例如，以多個(gè)分辨率和寬高比編碼視頻)、和信噪比(SNR)或質(zhì)量/保真度可伸縮性。如結(jié)合圖4進(jìn)一步所述，NAL首標(biāo)分析器210可以是H.264兼容AVC網(wǎng)絡(luò)抽象層(NAL)首標(biāo)分析器或具有相似功能的其他抽象層首標(biāo)分析器。例如，參考圖3B，NAL首標(biāo)分析器210可以從本地存儲(chǔ)器存儲(chǔ)體，例如，MP-4文件閱讀器302接收輸入。示范性流式服務(wù)器實(shí)施例可以是提供IP電視頻道或電影服務(wù)的流式服務(wù)器。在可替代實(shí)施例圖3C中，示出了接收，例如，來自網(wǎng)絡(luò)110的流式視頻并將接收的分組輸出到NAL首標(biāo)分析器210的去分組化器304。圖3C的流式服務(wù)器的示范性視頻應(yīng)用可以是描繪的流式服務(wù)器是從一個(gè)視頻通信終端到另一個(gè)視頻通信終端的網(wǎng)絡(luò)路徑中的一個(gè)服務(wù)器的視頻電話。
在圖3A、圖3B和圖3C的每一個(gè)中，NAL首標(biāo)分析器210可以經(jīng)由分組化器310將分組/幀優(yōu)先級提供給本地高速緩存235。對于初始發(fā)送，分析器210將分析器數(shù)據(jù)和優(yōu)先級輸出到分組化器310。經(jīng)由路徑312，將副本放在本地高速緩存235中，并經(jīng)由路徑314，分組化器將分組數(shù)據(jù)發(fā)送給流式服務(wù)器的去分組化器320。網(wǎng)絡(luò)監(jiān)控器270將網(wǎng)絡(luò)傳輸狀況數(shù)據(jù)提供給重發(fā)決定器275，以便為經(jīng)由網(wǎng)絡(luò)110到去分組化器320的路徑316上的重發(fā)有選擇決定是否重發(fā)存儲(chǔ)在本地高速緩存235中的分組/幀。路徑316用于根據(jù)傳輸狀況和分析器指定的優(yōu)先級重發(fā)選擇的分組。
現(xiàn)在，參考圖4，參考示出發(fā)送者或發(fā)送器/服務(wù)器方操作和接收器/客戶機(jī)/終端方操作的所描繪流程圖進(jìn)一步描述按照本發(fā)明的抽象層首標(biāo)分析器、網(wǎng)絡(luò)監(jiān)控器和重發(fā)決定器的功能操作。在方塊400中，圖3的服務(wù)器/發(fā)送器獲取例如來自本地文件，按圖3B，文件閱讀器302的數(shù)據(jù)或接收來自網(wǎng)絡(luò)接口，例如，來自圖3C的網(wǎng)絡(luò)110和去分組化器304的數(shù)據(jù)。將接收的數(shù)據(jù)提供給代表圖2A和圖3的抽象層首標(biāo)分析器210的方塊410。
簡要參照圖5，其中示出了提供要分析的字段的典型抽象層首標(biāo)，例如，SVC NAL擴(kuò)展首標(biāo)。例如，抽象層首標(biāo)分析器410可以分析被顯示成出現(xiàn)在代表層表示的層間編碼依賴性或空間/分辨率可伸縮性的水平的第二字節(jié)(字節(jié)I)的1-3位置上的DID字段。在例如第二字節(jié)(字節(jié)I)的4-7位置上的QID字段可以接在后面，代表中等粒度可伸縮性(MGS)層表示的質(zhì)量水平。在，例如，第三字節(jié)(字節(jié)2)的0-2位置上的TID字段代表層表示的時(shí)間等級。分析包含這樣字段的抽象層首標(biāo)的一個(gè)結(jié)果是識(shí)別隨后有效載荷數(shù)據(jù)與之相聯(lián)系的層。響應(yīng)有效載荷數(shù)據(jù)類型的識(shí)別，圖4的分析塊410上的分析器可以為如下數(shù)據(jù)的每個(gè)識(shí)別層指定不同優(yōu)先級:例如，高、中等和低優(yōu)先級。在可替代實(shí)施例中可以應(yīng)用不止三個(gè)級別的優(yōu)先級。例如，基本層可以接收從緩沖器或高速緩沖存儲(chǔ)器重發(fā)的高優(yōu)先級，因?yàn)榛緦訉τ诮邮掌魃系耐耆獯a是絕對必要的?？梢詫υ鰪?qiáng)層指定中等優(yōu)先級，因?yàn)樵鰪?qiáng)層數(shù)據(jù)對于較高層的解碼是必要的。數(shù)字?jǐn)?shù)據(jù)的SVC編碼流可以包含基本層和一個(gè)增強(qiáng)層。另一方面，為了享受更高的畫面質(zhì)量，可以提供第二或更高增強(qiáng)層，因此，對于相關(guān)有效載荷數(shù)據(jù)，可以在高速緩存235中對較高增強(qiáng)層指定低優(yōu)先級。
為了提供簡化例子，如果SVC編碼視頻數(shù)據(jù)具有416 X 240的分辨率和600kbps的位速率的基本層以及832X480的更高分辨率和對于視頻流來說1.2兆位每秒(Mbps)的隨之位速率的一個(gè)基本層，那么，分析器410可以根據(jù)它的DID字段識(shí)別基本層NAL單元并對基本層指定較高優(yōu)先級。另一方面，可以對增強(qiáng)層指定較低優(yōu)先級(以便提供較高分辨率)。在本例中對基本層指定比增強(qiáng)層高的優(yōu)先級。輸出優(yōu)先級別可以在9-15位置上顯示在圖6中的RTP首標(biāo)的有效載荷類型(PT)字段中指示出來。一旦指定了優(yōu)先級，例如，高、中和低，如果要求在傳輸層上重發(fā)，則也可以在實(shí)時(shí)協(xié)議(RTP)首標(biāo)的類似字段中表示優(yōu)先級信息，或者可以在IP首標(biāo)的服務(wù)類型(TOS)字段中表示優(yōu)先級信息。最初，隨著通過“發(fā)送分組”450經(jīng)由網(wǎng)絡(luò)110向接收器發(fā)送分組，在方塊420中將副本緩存在430上的本地高速緩存/緩沖存儲(chǔ)器中。分組可能丟失在網(wǎng)絡(luò)中或被接收。本地高速緩存430中的分組等待有關(guān)網(wǎng)絡(luò)狀況和是否接收分組的確定。
如果接收分組和網(wǎng)絡(luò)狀況表現(xiàn)良好，則在460上接收分組并在465上接收器確定預(yù)期分組丟失了(是)還是沒有丟失(否)。如果丟失了(是)，則在485上發(fā)送重發(fā)請求，并經(jīng)由圖2B的控制信道255將接收器的恢復(fù)定時(shí)設(shè)回到發(fā)送者/發(fā)送器/服務(wù)器200中。如果不是，則在490中，例如，為接收器/客戶機(jī)201上的顯示功能206按適當(dāng)次序?qū)⒔邮辗纸M放置在接收緩沖器中。
如果經(jīng)由485發(fā)送重發(fā)請求，則激活網(wǎng)絡(luò)監(jiān)控器功能405，然后處理接收的重發(fā)請求。如本文進(jìn)一步所述，可以在網(wǎng)絡(luò)監(jiān)控器271上確定給定時(shí)間的端到端分組丟失率作為來自接收器方的當(dāng)前網(wǎng)絡(luò)110狀況。將當(dāng)前網(wǎng)絡(luò)狀況，例如，端到端分組丟失率與重發(fā)請求一起作為405的輸出提供給重發(fā)決定器415。
網(wǎng)絡(luò)監(jiān)控器405的示范性應(yīng)用可以是發(fā)送者/服務(wù)器處在有線網(wǎng)絡(luò)110上，例如，機(jī)頂盒(電纜或衛(wèi)星)或家庭網(wǎng)關(guān)以及接收器是與無線接入點(diǎn)AP相聯(lián)系的移動(dòng)設(shè)備或個(gè)人計(jì)算機(jī)的情況。中間節(jié)點(diǎn)/無線接入點(diǎn)(AP/路由器)可以向發(fā)送者報(bào)告網(wǎng)絡(luò)和無線信道狀況。因此，當(dāng)被修改成并入按照一個(gè)實(shí)施例的抽象層首標(biāo)分析器和方法中時(shí)，按照本發(fā)明的原理的可靠媒體協(xié)議(RMP)模塊230作出的實(shí)時(shí)分組重發(fā)決定可以是具有層意識(shí)的。
重發(fā)決定器415詢問，例如，當(dāng)前端到端發(fā)送分組丟失率是否是高的，意味著它是否在設(shè)置在RMP模塊230的存儲(chǔ)器中的閾水平之上。如果答案是“是”，則在445丟棄較低優(yōu)先級分組，并只從高速緩存/緩沖器430中恢復(fù)和重發(fā)較高優(yōu)先級分組。除了分組丟失率之外的傳輸狀況的其它度量可以是可用帶寬(例如，端到端路徑中的最低可用帶寬)和往返延遲(較長的往返延遲可能要求為了重發(fā)而保存在高速緩存/緩沖器235中的分組的暫停)?？梢詫捎脦挼倪@些傳輸狀況的每一個(gè)與設(shè)置在存儲(chǔ)器中的相關(guān)閾水平相比較，以決定重發(fā)分組?？梢詫⒁环N或多種傳輸狀況應(yīng)用在作出重發(fā)決定以及通過分析410設(shè)置的分組優(yōu)先級中。如果返回否定的答案，則在435上，經(jīng)由“發(fā)送分組”440和網(wǎng)絡(luò)110從高速緩存/緩沖器430重發(fā)所有請求分組。
一旦接收，在460上接收重發(fā)分組，并在470上將其識(shí)別為重發(fā)分組。給定實(shí)時(shí)觀看體驗(yàn)，在475上檢查接收時(shí)間。問一下:重發(fā)晚了？如果重發(fā)分組被接收太晚，也就是說，節(jié)目觀看體驗(yàn)已經(jīng)轉(zhuǎn)移到下一個(gè)幀上，則在480上丟棄重發(fā)分組。另一方面，如果重發(fā)分組不晚(即，答案是否定的)，則在490上按次序?qū)⒅匕l(fā)分組放在接收緩沖器中以便加以顯示。
本發(fā)明的RMP方法可以在靈活軟件庫、硬件、固件、任何計(jì)算機(jī)或處理器、專用集成電路(ASIC)、精簡指令集計(jì)算機(jī)(RISC)、現(xiàn)場可編程門陣列(FPGA)或它們的組合體中實(shí)現(xiàn)。本發(fā)明的RMP方法使用類似套接字用戶空間API和底層傳輸手段以便易于與流式服務(wù)器和播放器應(yīng)用集成。本發(fā)明的RMP方法對它支持的流式應(yīng)用是透明的。內(nèi)部保持UDP數(shù)據(jù)信道和TCP控制信道。本發(fā)明的RMP方法是可擴(kuò)展的，以支持像FEC和混合ARQ那樣的其它錯(cuò)誤糾正方案。
現(xiàn)在參考圖6、圖7和圖8進(jìn)一步描述本發(fā)明的網(wǎng)絡(luò)監(jiān)控器功能405。一種可能手段顯示在圖6中，其中網(wǎng)絡(luò)監(jiān)控器271可以例如從序列號(hào)，S卩，第一行的6-1位置中檢測序列間隙。另一種手段是如圖7所示，利用一個(gè)字節(jié)的MPEG-2傳輸流首標(biāo)的連續(xù)計(jì)數(shù)(CC)字段。
將圖2B的接收器/客戶機(jī)201的網(wǎng)絡(luò)監(jiān)控器271收集的統(tǒng)計(jì)量發(fā)送給圖2A的服務(wù)器/發(fā)送器200的消息的示范性格式顯示在圖8中。該消息格式可能類似于RTP控制協(xié)議(RTCP)接收器報(bào)告(RR)消息。尤其，例如，在第4行的0-7位置上可以提供“丟失比例”字段。還可以提供像丟失分組的累計(jì)數(shù)量那樣的其它相關(guān)數(shù)據(jù)，可以將該丟失分組的累計(jì)數(shù)量與在相同信道上接收的丟失分組的以前接收累計(jì)數(shù)量相比較。該差值提供了在相繼消息被成功接收之間的時(shí)間所定義的間隔內(nèi)丟失的分組的數(shù)量。
圖9提供了發(fā)送者/服務(wù)器/發(fā)送器通過從接收器/客戶機(jī)201接收的重發(fā)請求獲取網(wǎng)絡(luò)分組丟失的格式。圖4的網(wǎng)絡(luò)監(jiān)控器功能405從“開始分組的基本序列號(hào)”和“結(jié)束分組的偏移量”字段中計(jì)算丟失分組的數(shù)量。類似地，圖10的RMP ARQ請求(NACK)分組提供了可以存儲(chǔ)以及與隨后接收基本序列號(hào)相比較的基本序列號(hào)。描繪的基本序列號(hào)和位圖指示要重發(fā)的接收器請求的分組的序列。確定網(wǎng)絡(luò)傳輸狀況的又一種手段是監(jiān)控較低層例如網(wǎng)絡(luò)/MAC/PHY層次發(fā)送統(tǒng)計(jì)量，以估計(jì)信道狀況和可用帶寬。
在上述的本發(fā)明的RMP方案中，未對在數(shù)據(jù)信道255上發(fā)送的分組作出變更。因此，保持了向后兼容性。此外，本發(fā)明的RMP方案有效利用了帶寬，因?yàn)橹辉诘烷_銷的控制信道上請求和重發(fā)丟失媒體分組。丟失分組請求用作NACK (否定確認(rèn))，并且還提供到發(fā)送者的反饋。因?yàn)榭梢栽诨謴?fù)時(shí)間窗口內(nèi)多次重發(fā)丟失分組，所以可以在廣泛不同信道狀況下提供高可靠性。此外，本發(fā)明的RMP方案通過讓重發(fā)具有最大等待時(shí)間(即，恢復(fù)窗口)力口強(qiáng)了應(yīng)用延遲約束，因此在給定時(shí)間約束下作用于最大努力輸送模型。
注意，上面的實(shí)施例是使用視頻發(fā)送來說明的。但本發(fā)明也可以應(yīng)用于音頻的發(fā)送，例如，電話、和其它實(shí)時(shí)多媒體流式應(yīng)用。
盡管本發(fā)明的上述方案是針對無線網(wǎng)絡(luò)來描述的，但該方案也可以用在牽涉到分組丟失的任何類型網(wǎng)絡(luò)中。
應(yīng)該明白，本發(fā)明可以以硬件、軟件、固件、專用處理器、或它們的組合的各種形式實(shí)現(xiàn)。優(yōu)選的是，將本發(fā)明實(shí)現(xiàn)成硬件和軟件的組合。此外，軟件可以優(yōu)選地實(shí)現(xiàn)成有形地具體化在程序存儲(chǔ)設(shè)備上的應(yīng)用程序。應(yīng)用程序可以上載到包含任何適當(dāng)架構(gòu)的機(jī)器上并由它執(zhí)行。優(yōu)選的是，在含有像一個(gè)或多個(gè)中央處理單元(“CPU”)、隨機(jī)訪問存儲(chǔ)器(“RAM”)、和輸入/輸出(“I/O”)接口那樣的硬件的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)該機(jī)器。該計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。本文所述的各種過程和功能可以是可經(jīng)由操作系統(tǒng)執(zhí)行的部分微指令代碼或部分應(yīng)用程序(或它們的組合)。另外，像附加數(shù)據(jù)存儲(chǔ)設(shè)備和打印設(shè)備那樣的各種其它外圍設(shè)備可以與計(jì)算機(jī)平臺(tái)連接。
還應(yīng)該明白，因?yàn)槊枥L在附圖中的一些分系統(tǒng)部件和方法步驟優(yōu)選地用軟件來實(shí)現(xiàn)，所以系統(tǒng)部件(或過程步驟)之間的實(shí)際連接可能隨編程本發(fā)明的方式而異。給定本文的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員能夠設(shè)想出本發(fā)明的類似實(shí)現(xiàn)或配置。
權(quán)利要求
1.一種方法，其包含: 監(jiān)控(405)數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)以收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量；以及 根據(jù)所述網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量決定(415)是否向接收器重發(fā)數(shù)字?jǐn)?shù)據(jù)分組。
2.按照權(quán)利要求1所述的方法，其中 收集網(wǎng)絡(luò)統(tǒng)計(jì)量包含從接收器收集統(tǒng)計(jì)量(415，485)以便在發(fā)送器上生成分組丟失率。
3.按照權(quán)利要求2所述的方法，其中 所述分組重發(fā)決定(415)是基于將所述生成分組丟失率與預(yù)定閾值相比較。
4.按照權(quán)利要求1所述的方法，其中 收集網(wǎng)絡(luò)統(tǒng)計(jì)量(415)包含監(jiān)控網(wǎng)絡(luò)層次發(fā)送統(tǒng)計(jì)量并估計(jì)可用帶寬。
5.按照權(quán)利要求3所述的方法，其中 所述分組重發(fā)決定(415)是基于將所述估計(jì)可用帶寬與預(yù)定閾值相比較。
6.按照權(quán)利要求1所述的方法，其中 所述監(jiān)控(405)包含 監(jiān)控接收器丟失分組數(shù)據(jù)以及記錄來自接收器的分組丟失率和可用帶寬之一的數(shù)據(jù)；以及 響應(yīng)所述監(jiān)控指定丟失分組閾值。
7.按照權(quán)利要求1所述的方法，其中 所述監(jiān)控(405)包含經(jīng)由傳輸流首標(biāo)的連續(xù)計(jì)數(shù)字段計(jì)算序列間隙。
8.按照權(quán)利要求1所述的方法，其中 所述監(jiān)控(405)包含從接收器報(bào)告分組的丟失比例字段中計(jì)算分組丟失率信息。
9.按照權(quán)利要求1所述的方法，其中 所述監(jiān)控(405)包含從開始分組的基本序列號(hào)和結(jié)束分組的偏移量中計(jì)算分組丟失率。
10.一種裝置，其包含: 數(shù)字?jǐn)?shù)據(jù)網(wǎng)絡(luò)監(jiān)控器(270)，用于收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量；以及 重發(fā)決定器(275)，用于根據(jù)指定的數(shù)字?jǐn)?shù)據(jù)分組優(yōu)先級和所述收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量決定是否重發(fā)數(shù)字?jǐn)?shù)據(jù)分組。
11.按照權(quán)利要求10 所述的裝置，進(jìn)一步包含: 與實(shí)時(shí)傳輸協(xié)議分組化器(220)耦合的抽象層首標(biāo)分析器(210)，用于對重發(fā)的分組指定優(yōu)先級別。
12.按照權(quán)利要求10所述的裝置， 所述數(shù)字?jǐn)?shù)據(jù)監(jiān)控器和所述重發(fā)決定器響應(yīng)網(wǎng)絡(luò)接口(250)并將輸入提供給可靠媒體協(xié)議模塊(230)。
13.按照權(quán)利要求10所述的裝置，進(jìn)一步包含: 緩沖存儲(chǔ)器(235 )，用于臨時(shí)存儲(chǔ)發(fā)送的數(shù)字?jǐn)?shù)據(jù)。
14.按照權(quán)利要求10所述的裝置，其中 所述網(wǎng)絡(luò)監(jiān)控器(270)監(jiān)控接收器丟失分組數(shù)據(jù)，并記錄來自接收器的分組丟失率和可用帶寬之一的數(shù)據(jù)，并響應(yīng)所述監(jiān)控指定丟失分組閾值。
15.按照權(quán)利要求10所述的裝置，其中 所述分組重發(fā)決定(415)是基于將所述估計(jì)可用帶寬與預(yù)定閾值相比較。
16.按照權(quán)利要求10所述的裝置，其中 所述網(wǎng)絡(luò)監(jiān)控器(270 )經(jīng)由傳輸流首標(biāo)的連續(xù)計(jì)數(shù)字段計(jì)算序列間隙。
17.按照權(quán)利要求14所述的裝置，其中 所述網(wǎng)絡(luò)監(jiān)控器(270)從接收器報(bào)告分組的丟失比例字段中計(jì)算分組丟失率信息。
18.按照權(quán)利要求14所述的裝置，其中 所述網(wǎng)絡(luò)監(jiān)控器(270)從開始分組的基本序列號(hào)和結(jié)束分組的偏移量計(jì)算分組丟失率。
19.按照權(quán)利要求11所述的裝置，進(jìn)一步包含 緩沖存儲(chǔ)器(235)，用于臨時(shí)存儲(chǔ)按照所述指定優(yōu)先級別重發(fā)的數(shù)字?jǐn)?shù)據(jù)。
20.一種裝置，其包含: 收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量的器件(270);以及 根據(jù)指定的數(shù)字?jǐn)?shù)據(jù)分組優(yōu)先級和所述收集網(wǎng)絡(luò)傳輸統(tǒng)計(jì)量決定是否重發(fā)數(shù)字?jǐn)?shù)據(jù)分組的器件(275)。
21.按照權(quán)利要求20所述的裝置，進(jìn)一步包含 將數(shù)據(jù)分組化成分組的器件(220);以及 與所述數(shù)據(jù)分組化器件(220)耦合對重發(fā)的分組指定優(yōu)先級別的器件(210)。
22.—種裝置，其包含: 網(wǎng)絡(luò)監(jiān)控器(271)，用于從接收器裝置(201)的視角收集網(wǎng)絡(luò)統(tǒng)計(jì)量；以及 網(wǎng)絡(luò)接口(251)，用于輸出包括所述收集網(wǎng)絡(luò)統(tǒng)計(jì)量的控制信道消息。
23.一種裝置，其包含: 從接收器裝置(201)的視角收集網(wǎng)絡(luò)統(tǒng)計(jì)量的器件(271);以及 輸出包括所述收集網(wǎng) 絡(luò)統(tǒng)計(jì)量的控制信道消息的器件(251)。
全文摘要
本文描述了包括分析(410)抽象層首標(biāo)以及對要發(fā)送的分組指定優(yōu)先級的方法和裝置。將發(fā)送器的網(wǎng)絡(luò)監(jiān)控器(270，405)連接在網(wǎng)絡(luò)接口(250)與重發(fā)決定器(275)之間，用于根據(jù)，例如，指定的優(yōu)先級和收集的網(wǎng)絡(luò)統(tǒng)計(jì)量或狀況，例如，分組丟失率決定重發(fā)哪些分組。網(wǎng)絡(luò)監(jiān)控器(271)也可以配備在接收器上，用于收集像丟失分組的累計(jì)數(shù)量那樣的當(dāng)前網(wǎng)絡(luò)統(tǒng)計(jì)量，并將這樣的統(tǒng)計(jì)量提供給發(fā)送器(200)。該方法進(jìn)一步包括與指定的優(yōu)先級一起緩存要發(fā)送的數(shù)據(jù)，經(jīng)由數(shù)據(jù)報(bào)協(xié)議(240，245)發(fā)送從緩沖器(235)中檢索的數(shù)據(jù)，接收(405)重發(fā)數(shù)據(jù)的請求，確定(415)所請求數(shù)據(jù)是否在緩沖器中，并經(jīng)由提供數(shù)據(jù)的端到端確認(rèn)和錯(cuò)誤糾正的協(xié)議重發(fā)所請求數(shù)據(jù)。
文檔編號(hào)H04L1/18GK103109485SQ201080065862
公開日2013年5月15日 申請日期2010年1月28日 優(yōu)先權(quán)日2010年1月28日
發(fā)明者呂秀平, I.U.曼德里卡, R.佩魯馬納姆, 劉航 申請人:湯姆森特許公司