專利名稱：多視頻流傳輸中的帶寬分配控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過電信網(wǎng)絡(luò)傳輸視頻信號。
背景技術(shù)：
通過諸如因特網(wǎng)的數(shù)據(jù)網(wǎng)絡(luò)傳輸視頻目前很普遍。為了接收這種信號，用戶可以使用適當(dāng)配置的計算機或者諸如“機頂盒”(STB)的其他接收機。STB越來越普及并且可以配備IP連接，該IP連接允許通過因特網(wǎng)流傳輸或下載諸如視頻的內(nèi)容。通過因特網(wǎng)傳送的電視(通常被稱為IPTV)是這種增長的服務(wù)的良好示例。當(dāng)通過IP網(wǎng)絡(luò)流傳輸視頻數(shù)據(jù)時，不保證所發(fā)送的數(shù)據(jù)將到達其目的地。當(dāng)網(wǎng)絡(luò)經(jīng)歷擁塞或者其它問題時，數(shù)據(jù)包的傳輸將出現(xiàn)延遲并且一些包甚至可能丟失。為了提供更可靠的端到端的數(shù)據(jù)傳送，通常使用傳輸控制協(xié)議(TCP)作為傳輸協(xié)議。實際上，由于很多原因而在視頻流傳輸系統(tǒng)中普遍使用TCP，但是主要是因為TCP提供確?？煽總魉筒⑶夜芾砭W(wǎng)絡(luò)擁塞的機制。例如，TCP實現(xiàn)可靠性的一種方式是使接收機必須向發(fā)射機確認接收了全部數(shù)據(jù)。如果在預(yù)定時間段之后數(shù)據(jù)包仍然未確認，則TCP假定沒有收到該包并且發(fā)射機重傳該相同的包。TCP管理擁塞的一種方式是通過作為網(wǎng)絡(luò)中的擁塞的函數(shù)來減小數(shù)據(jù)的傳輸速率?？紤]使用TCP傳送多個視頻流并且全部共享競爭網(wǎng)絡(luò)的情形。當(dāng)發(fā)生擁塞時，TCP 擁塞控制算法將迫使全部流降低(back off)它們的傳送速率，以使得能夠清除擁塞。每個流以固定系數(shù)降低并且最終全部流將穩(wěn)定在大致相同的帶寬(假設(shè)相似的往返時間)。使用這種方法不是沒有問題。如果帶寬變得少于視頻內(nèi)容要求的帶寬，則視頻的播放將延遲(stall)，直到接收到足夠的數(shù)據(jù)以重新開始播放為止?？梢酝ㄟ^以下處理來緩解這種情形通過在接收機處緩沖比播放所需的更快地預(yù)先接收到的數(shù)據(jù)，以及通過切換所發(fā)送的視頻的質(zhì)量，使得所需的帶寬降低到少于或者等于網(wǎng)絡(luò)現(xiàn)在提供的帶寬。有時還通過TCP傳送速率自適應(yīng)、比特率可變的視頻流，其中所發(fā)送的視頻質(zhì)量或者比特率隨著時間而調(diào)節(jié)。然而，以上的擁塞情形仍然會發(fā)生，并且當(dāng)網(wǎng)絡(luò)擁塞時針對相同視頻質(zhì)量分別具有不同平均編碼比特率的兩個流仍將穩(wěn)定到大致相同的經(jīng)降低的傳輸比特率。這可能導(dǎo)致一些特別不希望的結(jié)果，其中第一個流初始以高比特率編碼，諸如具有高幀活動性的視頻序列，諸如體育序列，并且第二序列以低比特率編碼，例如具有低幀活動性的視頻序列，諸如新聞或者戲劇序列。當(dāng)網(wǎng)絡(luò)經(jīng)歷擁塞時，TCP將兩個流的可用帶寬削減(cut)為大致相同級別。這將影響第一個流，該第一個流以較高的比特率編碼并且由此具有比第二個流更高的帶寬要求， 第二個流以較低的比特率編碼并且由此仍將具有足夠的帶寬。換句話說，第一個高比特率的流將比第二個低比特率的流更明顯地受影響，因為第一個流與第二個流被給予相同的經(jīng)降低的帶寬。這將導(dǎo)致向每個用戶傳送的視頻的質(zhì)量隨著時間改變，并且質(zhì)量根據(jù)用戶觀看的視頻片段的類型而在用戶之間改變。緩解TCP下經(jīng)歷的這些問題中的一些的流傳輸視頻的另一途徑是使用恒定比特率傳送系統(tǒng)，其中視頻流可用的比特率是固定的，例示通過數(shù)據(jù)的傳輸開始之前的預(yù)留方案。該傳送方法容易管理，但是也不是沒有問題。再次考慮以上的兩個視頻流的示例，其中第一個流具有活躍的幀，諸如體育片段， 并且第二個流具有較不活躍的幀，諸如新聞片段。預(yù)留并且使用來傳送兩個流的比特率固定在預(yù)定速率(該預(yù)定速率被認為對大多數(shù)應(yīng)用并且在針對兩個流的這種情況下是足夠的)。然而，第二個流實際上不要求那么多的帶寬，因為在第二序列的活動性較低的情況下， 編碼的比特率能夠比第一序列的低很多。使用該固定帶寬傳輸?shù)牡诙€流由此浪費其帶寬的大部分。如果第二個流增加編碼速率以利用預(yù)留的整個帶寬，則得到的視頻的質(zhì)量很可能比第一個流高很多。然而，該質(zhì)量的增加不一定如觀眾感知的那樣明顯，并且由此可能浪費。另外，具有該冗余帶寬不是對網(wǎng)絡(luò)資源的有效利用。當(dāng)開始考慮在序列自身期間活動性改變的視頻序列時以上問題突出。例如，相對靜止的新聞宣讀序列可能夾雜著非常活躍的足球片段的精彩畫面。國際專利W02008/119%4描述了一種通過競爭網(wǎng)絡(luò)傳送視頻流的方法，其中每個流以恒定質(zhì)量傳送。國際專利W02004/047455描述了一種以分段恒定比特率通過網(wǎng)絡(luò)傳送可變比特率序列的方法，其中每個段的速率單調(diào)減小。得到的比特率的曲線(profile)被稱為“下樓”函數(shù)。美國專利US-B1-6，259，733描述了一種統(tǒng)計復(fù)用的方法，其中多個視頻源被同時編碼并且復(fù)用到單個信道以進行傳輸。針對空間和時間復(fù)雜度對這些視頻源進行分析，以得到比特率的相對需求，該比特率的相對需求根據(jù)重要系數(shù)進行了比例調(diào)整(scale)(例如對于電影高，對于新聞低)，并且隨后使用比特率的相對需求來劃分帶寬。美國專利申請2006/2M762描述了一種估計視頻序列的編碼復(fù)雜度并且使用所估計的編碼復(fù)雜度來確定編碼的比特率的方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種通過網(wǎng)絡(luò)從服務(wù)器以可選擇的質(zhì)量傳輸視頻序列的方法，其中，所述服務(wù)器操作可響應(yīng)于控制參數(shù)進行操作的網(wǎng)絡(luò)控制協(xié)議，以與所述控制參數(shù)的值成比例地向所述服務(wù)器分配可用傳輸容量的共享，該方法包括以下步驟確定在所述序列的多個連續(xù)時間段上以基準質(zhì)量成功地傳輸所述序列所需的多個傳輸速率值；與所述傳輸速率值成比例地設(shè)置所述控制參數(shù)；在對應(yīng)的時刻向所述控制協(xié)議發(fā)送所述控制參數(shù)；傳輸以根據(jù)所述網(wǎng)絡(luò)對于所述服務(wù)器可用的實際傳輸容量間或地選擇的質(zhì)量進行了編碼的視頻。本發(fā)明的其它方面在權(quán)利要求書中闡述。


為了更好地理解本發(fā)明，下面將僅僅通過示例方式參照附圖，其中圖1是示出用于以恒定質(zhì)量對視頻序列進行編碼的比特率的變化的曲線圖2是本發(fā)明的實施方式中的系統(tǒng)的網(wǎng)絡(luò)圖；圖3是示出以三個質(zhì)量級別編碼的兩個不同視頻片段的圖；圖4是本發(fā)明的第二實施方式中的系統(tǒng)的網(wǎng)絡(luò)圖；圖5是示出以恒定質(zhì)量級別2. 6,3. 4、和4. 2編碼三次的視頻序列的下樓比特率曲線的曲線圖；以及圖6是示出質(zhì)量2. 6和4. 2的下樓比特率相比于質(zhì)量3. 4的下樓比特率的比率的曲線圖。
具體實施例方式提出以恒定質(zhì)量而不是恒定比特率對通過競爭網(wǎng)絡(luò)傳輸?shù)囊曨l流進行編碼。如果以恒定質(zhì)量對視頻序列進行編碼，則所使用的比特率很可能急劇變化。圖1示出針對以恒定質(zhì)量級別編碼的90秒視頻片段的比特率。在本示例中，已經(jīng)通過將量化器(quantiser) 參數(shù)(qp)設(shè)置為觀確定了質(zhì)量級別。該量化器參數(shù)有效地控制編碼的質(zhì)量一量化器越小， 質(zhì)量越好。該片段是多個視頻序列的代表，其中在任意給定時刻比特率根據(jù)場景有多復(fù)雜而改變。例如，具有很多活動或者運動的幀序列要求更高的比特率來以固定質(zhì)量編碼。圖1中的兩個不同的跡線(trace)是針對兩個不同的緩沖量。更動態(tài)的跡線是比特率為對3個幀使用的平均比特率的情況，更平滑的跡線是使用了 192個幀的滑動窗口的情況。由此，通過增加緩沖量，比特率被有效地平滑。用于任何實際流傳輸系統(tǒng)的比特率將如上所述作為編碼特定內(nèi)容序列的難度的函數(shù)而明顯改變。當(dāng)比較不同風(fēng)格的視頻片段時該變化甚至更加明顯。例如，體育片段可能要求更高的平均比特率并且由于通常場景的高活動性而更多地波動，而新聞報道片段可能要求低得多的比特率并且相對靜態(tài)。因此，為了以恒定質(zhì)量向共享競爭網(wǎng)絡(luò)的用戶傳送視頻流，對全部流使用恒定帶寬方法是低效的。必須使得向每個流分配的帶寬能夠根據(jù)該時刻流傳輸?shù)囊曨l的精確需求及時地動態(tài)改變，并且在任何網(wǎng)絡(luò)帶寬限制之內(nèi)。圖2示出系統(tǒng)200的示例，系統(tǒng)200包括視頻編碼器206，視頻編碼器206連接到視頻存儲器208，視頻存儲器208進而連接到服務(wù)器210。服務(wù)器210能夠通過IP網(wǎng)絡(luò)214 與兩個接收機(接收機—A 216和接收機_8 218)中的每一個通信。接收機216和218能夠向服務(wù)器210請求視頻片段。IP網(wǎng)絡(luò)214在經(jīng)修改的TCP設(shè)置(以下在本發(fā)明的實施方式中描述)下工作。編碼器206對視頻序列進行編碼以傳輸?shù)浇邮諜C216和218。在此示出了兩個視頻序列，序列_A202和序列_B 204。編碼器206能夠以各種比特率編碼并且向數(shù)據(jù)存儲器 208或者直接向服務(wù)器210輸出經(jīng)編碼的視頻序列。數(shù)據(jù)存儲器208用于存儲經(jīng)編碼的視頻序列，直到它們被服務(wù)器210請求或者需要為止。服務(wù)器210從數(shù)據(jù)存儲器208或者直接從編碼器206獲取經(jīng)編碼的視頻序列，并且通過IP網(wǎng)絡(luò)214將它們作為視頻流發(fā)送給兩個接收機216和218中的任何一個。序列_A 202被請求并且將(在編碼之后)被發(fā)送給接收機_A 216，并且序列_8 204被請求并且將被發(fā)送給接收機_8 218。這些接收機例如可以是經(jīng)適當(dāng)配置的計算機或者機頂盒，并且適用于解碼所接收的視頻流并且將經(jīng)編碼的序列解碼為原始視頻以由用戶觀看。
當(dāng)IP網(wǎng)絡(luò)214中發(fā)生擁塞時，使用經(jīng)修改的網(wǎng)絡(luò)控制機制來處理該擁塞。在本示例中，標準TCP協(xié)議被修改以處理該擁塞。具體地，構(gòu)建在TCP中的擁塞控制算法的動力學(xué) (dynamics)被修改，以使得在給定時間點通過IP網(wǎng)絡(luò)214分配給任何視頻流的帶寬的一部分是內(nèi)容的帶寬需求的函數(shù)。由此，越復(fù)雜的視頻序列，諸如體育序列，應(yīng)被給予比諸如新聞報道片段的較不復(fù)雜的序列更多的帶寬。同時，通過IP網(wǎng)絡(luò)214傳輸?shù)囊曨l流被修改， 以使得它們以擁塞控制機制所允許的最大比特率傳輸。目前根據(jù)TCP，擁塞控制是使用滑動窗口機制來實現(xiàn)的。滑動窗口的長度確定要求確認之前發(fā)送了多少數(shù)據(jù)。比特率是該窗口的大小以及往返時間(發(fā)送數(shù)據(jù)和接收到確認之間的時間)的函數(shù)。為了確保更復(fù)雜的視頻序列得到更大的帶寬共享，擁塞控制算法的動力學(xué)被改變，以使得更難或者更復(fù)雜的內(nèi)容具有更大的滑動窗口。實際上，TCP的“貪婪程度(greediness) ”被修改?？梢允褂枚喾N方法來改變TCP的“貪婪程度”。一種方法是通過修改退避 (backoff)系數(shù)。通常，當(dāng)發(fā)生包丟失時(假設(shè)包丟失是由于擁塞而造成的)，TCP將與出問題的流相關(guān)聯(lián)的滑動窗口的大小(退避系數(shù))減半。在本發(fā)明的一個實施方式中，可以調(diào)整該退避系數(shù)，使得當(dāng)檢測到包丟失時滑動窗口被設(shè)置為例如其原始大小的3/4。與當(dāng)退避系數(shù)是一半時的情形相比，效果將是被影響的流將比正常的“更貪婪”并且確保更大的帶寬。于是在該貪婪TCP會話上發(fā)送的流能夠以比TCP會話不貪婪的情況下可能的質(zhì)量更高級別的質(zhì)量來發(fā)送。這種被稱為MulTCP 的系統(tǒng)已經(jīng)由 Crowcroft 和 Oechslin (J. Crowcroft and P.Oechslin, “ Differentiated end-to-end Internet services using a weighted proportional fair sharing TCP" . In ACM SIGCOMM Computer Communication Review archive, volume 28，pages 53-69, July 1998)進行了描述。MulTCP 與傳統(tǒng)的 TCP 不同之處在于其采用參數(shù)N，該參數(shù)N允許流獲得可用帶寬的一部分(等于傳統(tǒng)TCP的單個流的帶寬的N倍)。傳統(tǒng)TCP的標準擁塞控制機制是加性增長乘性減小(AIMD)算法，其在MulTCP 中被修改以模擬N個TCP流的行為。N的值可以是非整數(shù)值1. 5將導(dǎo)致比單個流侵略性 (aggressive)高 50%的流。在我們的共同未決歐洲專利申請(代理編號“A31751”、與本申請同一天提交并且標題為“Data Transmission”)中被稱為“ECN skipping(ECN跳過)”的另選系統(tǒng)可以用作對作為MulTCP的這種系統(tǒng)的替換。顯性擁塞通知(ECN) (K. Ramakri shnan，S.Floyd, D. Black, “ The Addition of Explicit Congestion Notification (ECN) to IP ", IETFRFC21368, September 2001)是通過使用包標記(marking)而不是包丟棄(drops)來向端點通知擁塞的協(xié)議。配備活動隊列管理的路由器能夠標記IP報頭，在緩沖器溢出以及所導(dǎo)致的包丟失之前向端點發(fā)信號通知擁塞。幾乎不需要重傳(理想條件下)，這提高了整體吞吐量。在ECN的傳統(tǒng)實現(xiàn)中，當(dāng)發(fā)生擁塞時前向路徑中的一些包將被標記，并且該標記將在后向路徑包中被反射(echo)回發(fā)射機。當(dāng)接收到這種回波(echo)時發(fā)射機將按照與包丟失的情況下相同的方式調(diào)整TCP參數(shù)，并且降低其傳輸速率。在“ECN跳過”方案中，接收機不將全部擁塞標記反射回發(fā)射機，而是根據(jù)侵略系數(shù)反射其中的一部分。發(fā)射機通過接收更少的反射標記，與傳統(tǒng)的ECN發(fā)射機相比，較不頻繁地降低其傳輸速率，并且因此獲得網(wǎng)絡(luò)帶寬的更大共享。
MulTCP和“ECN跳過”是允許傳輸路徑獲得可用帶寬的不均等共享的傳輸協(xié)議修改的兩個示例，允許未修改的傳輸協(xié)議的N倍帶寬。還可以采用具有類似控制屬性的其他技術(shù)。兩種技術(shù)均被示出為能夠穩(wěn)定并且一致地獲得高達大約3或4倍的傳統(tǒng)傳輸協(xié)議的比特率；它們還可以通過略小于1的N進行配置以獲得比傳統(tǒng)的傳輸協(xié)小的比特率。每個特定傳輸協(xié)議具有能夠有效工作的不同的N的范圍。我們旨在在該范圍內(nèi)盡可能地操作傳輸協(xié)議。下面描述通過以固定基準質(zhì)量級別對視頻序列的測試集合進行編碼并且計算及時傳送經(jīng)編碼的數(shù)據(jù)所要求的“下樓”傳送計劃(下面說明)，如何確定能夠用于歸一化要求的比特率值的適當(dāng)基準比特率，使得對于大多數(shù)視頻內(nèi)容，帶寬分配系數(shù)N將在傳輸協(xié)議的最優(yōu)范圍內(nèi)。為了簡化，在本說明書中假設(shè)N的最優(yōu)范圍在1到4之間，盡管實際中將根據(jù)所使用的傳輸協(xié)議而改變。以可變比特率編碼的視頻序列能夠以分段恒定比特率通過網(wǎng)絡(luò)傳送，每個段的速率單調(diào)減小。這被公認為首先由Mohammed (ihanbari教授提出。他將得到的比特率曲線稱為“下樓”函數(shù)。根據(jù)我們的被公開為W02004/047455的國際專利申請(Ghanbari和Sun)，可變比特率的視頻的傳送可以進行以下分析在接收機處考慮一些任意時間段(但是等于整數(shù)個幀周期)，從解碼器開始對幀g 解碼的時間tg延伸到解碼器開始對幀h解碼的時間th。該時間段的持續(xù)時間是h_g個幀周期，即th_tg。進一步假設(shè)該時間段期間的傳輸速率是A比特/幀周期。在時間tg，接收機必須已經(jīng)接收了直至并且包括幀g的全部幀的比特，即
權(quán)利要求
1.一種通過網(wǎng)絡(luò)從服務(wù)器以可選擇的質(zhì)量傳輸視頻序列的方法，該方法使用可響應(yīng)于控制參數(shù)進行操作的網(wǎng)絡(luò)控制協(xié)議，以與所述控制參數(shù)的值成比例地向所述服務(wù)器分配可用傳輸容量的共享，該方法包括確定多個傳輸速率值；與所述傳輸速率值成比例地設(shè)置所述控制參數(shù)，當(dāng)所述傳輸速率值變化時向所述控制協(xié)議發(fā)送所述控制參數(shù)；傳輸以根據(jù)所述網(wǎng)絡(luò)對于所述服務(wù)器可用的實際傳輸容量而調(diào)節(jié)的質(zhì)量進行了編碼的視頻，所述方法的特征在于選擇基準質(zhì)量；以及將所述多個傳輸速率值確定為在所述序列的多個連續(xù)時間段上以所選擇的基準質(zhì)量成功地傳輸所述序列所需的傳輸速率。
2.根據(jù)權(quán)利要求1所述的方法，其中，通過以下步驟確定所需的傳輸速率值(a)將所述序列分為多個段，其中，第一段是所述序列的開始的部分，該部分的每幀編碼比特的平均數(shù)量大于或者等于任何更短的這種部分的每幀編碼比特的平均數(shù)量，并且其中，各個隨后的段是緊接著先前段的部分，所述先前段的每幀編碼比特的平均數(shù)量大于或者等于任何更短的這種部分的每幀編碼比特的平均數(shù)量；以及(b)針對每個段確定比特率。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述序列的第一段是所述序列的開始的部分，該部分的每幀編碼比特的平均數(shù)量大于或者等于任何可能的這種部分的每幀編碼比特的平均數(shù)量，并且其中，各個隨后的段是緊接著先前段的部分，所述先前段的每幀編碼比特的平均數(shù)量大于或者等于任何可能的這種部分的每幀編碼比特的平均數(shù)量。
4.一種按照時間交疊的方式通過網(wǎng)絡(luò)傳輸?shù)谝灰曨l序列和第二視頻序列的方法，該方法包括使用權(quán)利要求1、2或3所述的方法通過所述網(wǎng)絡(luò)傳輸所述第一視頻序列；以及使用權(quán)利要求1、2或3所述的方法通過所述網(wǎng)絡(luò)傳輸所述第二視頻序列；其中，所述基準質(zhì)量對于這兩個序列相同并且所述控制參數(shù)與所述傳輸速率值的比率對于這兩個序列相同。
5.根據(jù)前述權(quán)利要求中的任意一項所述的方法，其中，所述控制參數(shù)是相應(yīng)傳輸速率值與根據(jù)對以所述基準質(zhì)量編碼的訓(xùn)練序列的統(tǒng)計分析而確定的基準傳輸速率的比率。
全文摘要
通過網(wǎng)絡(luò)從服務(wù)器以可選擇的質(zhì)量傳輸視頻序列。網(wǎng)絡(luò)控制協(xié)議響應(yīng)于控制參數(shù)進行操作，以與控制參數(shù)的值成比例地向服務(wù)器分配可用傳輸容量的共享。首先，確定在所述序列的多個連續(xù)時間段上以基準質(zhì)量成功地傳輸所述序列所需的多個傳輸速率值；然后與所述傳輸速率值成比例地設(shè)置所述控制參數(shù)，并在對應(yīng)的時刻向所述控制協(xié)議發(fā)送所述控制參數(shù)。隨后可以傳輸以根據(jù)所述網(wǎng)絡(luò)對于所述服務(wù)器可用的實際傳輸容量間或地選擇的質(zhì)量進行了編碼的序列。
文檔編號H04L29/06GK102318311SQ201080007433
公開日2012年1月11日 申請日期2010年2月5日 優(yōu)先權(quán)日2009年2月12日
發(fā)明者S·C·阿普雷比, 伊恩·巴里·克拉布特里, 帕特里克·約瑟夫·馬爾羅伊, 羅里·斯圖爾特·特恩布爾, 邁克爾·埃爾林·尼爾森 申請人:英國電訊有限公司