專利名稱：恒定速率信道可變位速率視頻節(jié)目的速率控制與緩存保護(hù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻節(jié)目編碼過程中的速率控制以及緩存管理。具體而言，本發(fā)明所討論的是為在恒定速率信道傳輸多元可變位速率(VBR)視頻節(jié)目所提供的速率控制以及緩存保護(hù)問題。
在一個(gè)多元節(jié)目傳輸環(huán)境里，數(shù)個(gè)節(jié)目(例如信道)在一個(gè)單一的通信信道上得到編碼、多路處理以及傳輸。因?yàn)檫@些節(jié)目共享一個(gè)有限的信道容量，所以這些節(jié)目的總位速率必須不能超過通信信道的速率。這種情況可以通過以下處理而實(shí)現(xiàn)運(yùn)用獨(dú)立編碼對(duì)每一個(gè)單獨(dú)的節(jié)目位速率進(jìn)行控制，或運(yùn)用統(tǒng)計(jì)復(fù)用器對(duì)總位速率進(jìn)行控制(此方法也被稱為聯(lián)合編碼)。
另外，影片等類型的視頻素材可以得到預(yù)先壓縮和儲(chǔ)存以便進(jìn)行后續(xù)的傳輸。當(dāng)統(tǒng)計(jì)復(fù)用器使徒對(duì)預(yù)先壓縮的節(jié)目位流與原始的、未壓縮的數(shù)字視頻序列進(jìn)行整合時(shí)，這種做法會(huì)造成困難。
此外，有必要確保編碼器和解碼器的緩存不會(huì)產(chǎn)生溢出或下溢。
因此，較佳的方法是具有一個(gè)速率控制和緩存保護(hù)系統(tǒng)，該系統(tǒng)可以解決上述問題及其他問題。該系統(tǒng)應(yīng)該與進(jìn)行多元視頻節(jié)目聯(lián)合動(dòng)態(tài)編碼的位分配策略兼容，該策略根據(jù)節(jié)目的相對(duì)復(fù)雜性為每一個(gè)節(jié)目都分配一個(gè)逐幀的目標(biāo)位速率。該系統(tǒng)應(yīng)該為將來的圖象幀預(yù)定傳輸速率，這樣進(jìn)入相應(yīng)解碼器緩存的每一個(gè)單獨(dú)視頻流的平均輸入速率就等于平均的輸出速率，而且所有節(jié)目的總傳輸速率也等于信道速率。該系統(tǒng)應(yīng)該允許編碼器和解碼器的上限與下限可以在當(dāng)前幀瞬間的解碼端得到測(cè)量。
本發(fā)明提供一種能提供上述優(yōu)勢(shì)與其他優(yōu)勢(shì)的速率控制和緩存保護(hù)系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明涉及數(shù)字視頻節(jié)目編碼過程中的速率控制以及緩存管理。
一個(gè)系統(tǒng)被用來為在恒定位速率信道上對(duì)多元可變位速率數(shù)字視頻節(jié)目編碼時(shí)進(jìn)行速率控制和緩存管理。緩存充滿度建立在逐幀的基礎(chǔ)上。通過對(duì)目標(biāo)速率運(yùn)用額外的限制可以實(shí)現(xiàn)緩存保護(hù)。對(duì)編碼器緩存保護(hù)而言，我們?yōu)楣?jié)目的總速率設(shè)定了上限和下限。對(duì)解碼器緩存保護(hù)而言，我們限制了每一個(gè)單獨(dú)節(jié)目速率的動(dòng)態(tài)范圍。上限與下限都是時(shí)序-變化功能(即按照逐幀的方式)。我們也預(yù)先設(shè)定了將來的傳輸速率，這樣進(jìn)入相應(yīng)解碼器緩存的每一個(gè)單獨(dú)視頻流的平均輸入速率就等于平均的輸出速率，而且所有節(jié)目的總傳輸速率也等于信道速率。由于我們對(duì)上述兩種情況都設(shè)定了將來的傳輸速率，解碼器緩存保護(hù)的上限與下限在當(dāng)前幀瞬間就變成了可以測(cè)量的量，這就允許在編碼端對(duì)解碼器緩存保護(hù)進(jìn)行管理。該系統(tǒng)適合分層位分配方案中的運(yùn)用，該分配方案包含一個(gè)超圖象組(GOP)層次，一個(gè)超圖象幀層次，以及一個(gè)圖象幀層次。
一種為多個(gè)L可變位速率視頻節(jié)目進(jìn)行編碼特殊方法，其包括以下步驟根據(jù)一個(gè)分層方案，為視頻節(jié)目編碼分配位，該分層方案至少包括(a)一個(gè)超圖象組(GOP)層次，其中一個(gè)超圖象組至少包含一個(gè)來自每個(gè)視頻節(jié)目的圖象組，而且具有N個(gè)幀的一個(gè)長(zhǎng)度，以及(b)一個(gè)幀層次。對(duì)于每一個(gè)第1節(jié)目而言，根據(jù)至少N個(gè)早先幀的平均壓縮位數(shù)目，相應(yīng)的當(dāng)前第N幀被設(shè)定了一個(gè)傳輸速率，其中早先幀包括一個(gè)當(dāng)前幀之前從N′+N-1幀開始的幀，一個(gè)在當(dāng)前幀之前N′幀終止的幀，以及它們之間的多個(gè)幀。N′是一個(gè)設(shè)定解碼器的解碼延遲，其接受一個(gè)相應(yīng)的視頻節(jié)目。
例如，一個(gè)超圖象組長(zhǎng)度為N＝45幀，且一個(gè)解碼延遲為N′＝15幀，那么傳輸速率的設(shè)定可以基于45個(gè)早先幀的被壓縮位的平均數(shù)，包括一個(gè)在當(dāng)前幀之前的59幀開始的幀，以及一個(gè)在當(dāng)前幀之前15個(gè)幀終止的幀。
本發(fā)明還提供了一種對(duì)應(yīng)的裝置。


圖1舉例說明一個(gè)符合本發(fā)明的編碼器/解碼器。
圖2舉例說明一個(gè)符合本發(fā)明的超圖象組構(gòu)造。
圖3舉例說明一個(gè)符合本發(fā)明的超級(jí)幀構(gòu)造。
圖4舉例說明一個(gè)符合本發(fā)明的編碼器緩存充滿度對(duì)比時(shí)序曲線圖。
圖5舉例說明一個(gè)符合本發(fā)明的解碼器緩存充滿度對(duì)比時(shí)序曲線圖。
圖6舉例說明一個(gè)符合本發(fā)明的N個(gè)超級(jí)幀窗口。
具體實(shí)施例方式
本發(fā)明涉及在數(shù)字視頻節(jié)目編碼過程中的速率控制和緩存管理。
一個(gè)動(dòng)態(tài)的位分配策略用于多元視頻節(jié)目的聯(lián)合編碼，見L.王(Wang)和A.文森特(Vincent)的討論″為多元視頻節(jié)目傳輸聯(lián)合編碼而設(shè)計(jì)的位分配和限制″，載于《IEEE Trans視頻技術(shù)電路和系統(tǒng)》，第9期，第949-95頁，1999年十月。這個(gè)動(dòng)態(tài)位分配策略根據(jù)每個(gè)節(jié)目的復(fù)雜度為每個(gè)節(jié)目分配一個(gè)逐幀的目標(biāo)速率，在多個(gè)節(jié)目中和在一個(gè)節(jié)目里形成一個(gè)相對(duì)統(tǒng)一的質(zhì)量。
為多元視頻節(jié)目進(jìn)行聯(lián)合編碼的動(dòng)態(tài)位分配策略可以得到緩存保護(hù)，其藉由為圖象的目標(biāo)位速率應(yīng)用附加限制而實(shí)現(xiàn)。對(duì)于編碼器緩存保護(hù)而言，限制僅在總速率上得到應(yīng)用，而對(duì)解碼器緩存保護(hù)而言，需要在每個(gè)單個(gè)的節(jié)目速率上加以限制。應(yīng)該說明解碼器緩存保護(hù)需要為未來幀的傳輸速率加以控制。這些未來傳輸速率得到了預(yù)定，因此輸入相應(yīng)解碼器緩存的每個(gè)單個(gè)視頻流的平均輸入速率就等于平均輸出率，而且節(jié)目總傳輸速率也等于信道速率。因?yàn)閷?duì)未來傳輸速率加以預(yù)定，所以在當(dāng)前幀瞬間的編碼端上限和下限變成了可測(cè)量的量。
1.概述圖1顯示了一個(gè)編碼端100，一個(gè)恒定速率信道160，以及一個(gè)解碼端180，該解碼端可以是一個(gè)用戶終端(機(jī)頂盒)，一臺(tái)個(gè)人電腦或位于最終用戶端的其他裝置。
在編碼端100，我們認(rèn)定一定數(shù)量未經(jīng)壓縮的視頻節(jié)目(節(jié)目1，節(jié)目2)被提供給相應(yīng)的編碼器110，115。最佳狀態(tài)是，一個(gè)或多個(gè)已經(jīng)壓縮的位流，例如節(jié)目L，可以被提供給相應(yīng)的換碼器，例如換碼器120。譯碼、編碼等詞在此被用來表示對(duì)未經(jīng)壓縮和經(jīng)過壓縮的視頻節(jié)目的處理。未經(jīng)壓縮的節(jié)目得到初次編碼，而經(jīng)過壓縮的節(jié)目得到重新編碼，通常以不同的位率來進(jìn)行。
編碼器110，115以及換碼器120根據(jù)速率控制功能105指定的一個(gè)目標(biāo)位率對(duì)相應(yīng)的數(shù)據(jù)進(jìn)行編碼。經(jīng)過編碼的數(shù)據(jù)被提供給一個(gè)多路復(fù)用器125，并提供給一個(gè)緩存130以便通過恒定速率信道160傳輸?shù)浇獯a端180。
在解碼端180，一個(gè)所選節(jié)目的信息包被卸除和解碼。具體而言，傳輸在一個(gè)多路分解器185處得到接收，并以一個(gè)數(shù)據(jù)率Rcl，n+N’被提供給一個(gè)緩存190。緩存190以Rl，n速率向一個(gè)解碼器195輸出數(shù)據(jù)以提供一個(gè)經(jīng)過解碼的節(jié)目，一般被稱為節(jié)目1。Rcl，n+N’表示在第(n+N’)幀期間從節(jié)目1信道上接收的一定數(shù)量經(jīng)過編碼的位(第(n+N’)幀期間即n+N’幀瞬間與n+N’+1幀瞬間之間的時(shí)序——我們將結(jié)合圖5對(duì)此進(jìn)行進(jìn)一步討論)，其中n是一個(gè)超幀索引，而N’是一個(gè)解碼延遲，例如，從輸入到編碼器緩存到解碼器緩存輸出之間的延遲。R1，n表示一個(gè)第一節(jié)目在第n幀期間的位數(shù)量。
在一個(gè)多元節(jié)目傳輸?shù)沫h(huán)境里，數(shù)個(gè)視頻節(jié)目1，……L被擠進(jìn)單一的恒定速率信道160，如圖1所示。很明顯，這些節(jié)目將不得不共享信道容量。通過控制每一個(gè)單獨(dú)的節(jié)目速率(獨(dú)立編碼)或控制總速率(聯(lián)合編碼)可以實(shí)現(xiàn)這種情況。不同于獨(dú)立編碼的是，聯(lián)合編碼延長(zhǎng)了對(duì)一個(gè)額外向度的控制，也就是說，節(jié)目向度。這就給在節(jié)目之間分配信道容量提供了更多的自由，而且因此也比獨(dú)立編碼更高效、更有效。
聯(lián)合編碼僅控制總速率，同時(shí)允許每一個(gè)單獨(dú)的速率發(fā)生變化。因此，每一個(gè)單獨(dú)的視頻位流的行為都在某種程度上類似VBR視頻。VBR視頻的主要優(yōu)勢(shì)在于恒定的質(zhì)量。實(shí)際上，使整體質(zhì)量得到最大化發(fā)揮的必要條件之一就是為所有的節(jié)目都提供平等的質(zhì)量。
以上提到的由L王等人所寫的論文提出了一種用于聯(lián)合編碼的動(dòng)態(tài)位分配策略，該策略在節(jié)目之間根據(jù)節(jié)目相對(duì)復(fù)雜程度動(dòng)態(tài)地分配可用的編碼位。這意味著更復(fù)雜的節(jié)目可以獲得更多的位，而復(fù)雜程度較低的節(jié)目則獲得更少的位。但是，考慮到一個(gè)既定的恒定速率信道，一個(gè)節(jié)目分配到的速率并不僅依賴于節(jié)目本身的復(fù)雜程度，而且依賴于其他節(jié)目的復(fù)雜程度。具體而言，每一個(gè)編碼器為每一個(gè)來自速率控制引擎的輸入幀接收到一個(gè)目標(biāo)速率。然后編碼器試圖通過對(duì)參數(shù)(例如量化參數(shù))進(jìn)行編碼來滿足該目標(biāo)。得到的統(tǒng)計(jì)數(shù)據(jù)，例如用于一個(gè)幀的平均量化參數(shù)，為該幀生成的經(jīng)壓縮的位數(shù)量，以及緩存充滿度，這些數(shù)據(jù)被送回速率控制引擎。有了更新過的信息，速率控制引擎為即將開始的未來幀決定出一套新的目標(biāo)速率。為了消除壓縮過的視頻位流速率中的變量，緩存被插入編碼端和信道之間，同時(shí)也被插入信道和解碼端，見圖1所示。這種位分配策略在節(jié)目之間以及一個(gè)節(jié)目當(dāng)中導(dǎo)致了相對(duì)統(tǒng)一的質(zhì)量——這就是VBR視頻的一個(gè)典型特征。
然而，編碼/傳輸端也有職責(zé)去避免編碼器和解碼器緩存出現(xiàn)溢出或下溢。與CBR(恒定位速率)視頻相比，為VBR視頻采取的緩存保護(hù)是一種更具挑戰(zhàn)性的問題。對(duì)CBR視頻而言，只要編碼器緩存從不濫出或下溢，解碼器緩存是安全的。然而，相同的理論不適用于VBR視頻。大體上，為VBR視頻采取的緩存保護(hù)是基于應(yīng)用程序的。
本發(fā)明在恒定速率信道傳送多元VBR視頻提供緩存設(shè)定和保護(hù)。編碼器和解碼器緩存充滿度的設(shè)定是以逐幀為基礎(chǔ)的?；谶@種設(shè)定，我們推論出分析性的目標(biāo)速率上限和下限，兩者由動(dòng)態(tài)位分配所決定。編碼器緩存保護(hù)所用的上限和下限僅適用于總速率。然而，對(duì)解碼器緩存保護(hù)而言，我們需要限制每個(gè)單獨(dú)位速率率的動(dòng)態(tài)范圍。上限和下限都是時(shí)序改變功能(也就是，在逐幀的基礎(chǔ)之上)。只要總速率和單獨(dú)速率都在它們的對(duì)應(yīng)上限和下限范圍里，編碼器和解碼器緩存就永遠(yuǎn)不會(huì)溢出或下溢。
我們要進(jìn)一步說明，為解碼器緩存設(shè)計(jì)的上限和下限需要關(guān)于未來幀傳輸速率的信息。我們預(yù)定這些未來傳輸速率，這樣能滿足下列兩個(gè)條件1.進(jìn)入相應(yīng)解碼器緩存的每個(gè)單獨(dú)的視頻流平均輸入率等于平均輸出速率，而且2.節(jié)目的總傳輸速率等于(或小于)信道速率。
第一個(gè)條件是為正確解碼準(zhǔn)備的，第二個(gè)條件是為壓縮位的可靠傳輸準(zhǔn)備的。藉由為上述的兩個(gè)條件預(yù)設(shè)未來傳輸速率，我們生成的上限和下限在當(dāng)前幀瞬間的編碼端是可測(cè)量的。這就允許解碼器緩存保護(hù)可以在編碼端得到解決。
在以下部分中，我們將簡(jiǎn)短地概觀L.王等人在上述論文中討論的位分配策略。在第3節(jié)中，我們將討論編碼器和解碼器的緩存設(shè)定和保護(hù)問題。
2.動(dòng)態(tài)的位分配L.王等人在上述論文中討論的動(dòng)態(tài)位分配方案具有一種分層性質(zhì)。在分層的最高層，輸入節(jié)目在概念上被分為具有相同數(shù)目的超圖像組I-，P-和B-圖象。這里，我們認(rèn)為圖1中的編碼器是MPEG-2編碼器(ISO/MPEG II DIS 13318-2)，″總編碼活動(dòng)圖象和聯(lián)合音頻″，1994年3月)。因?yàn)槌瑘D像組包含同樣數(shù)量的I，P和B圖象，所以它們被分配了相同的標(biāo)稱位數(shù)目。一個(gè)超級(jí)幀在每個(gè)幀瞬間被定義為幀的集合，在相同的幀瞬間從每一個(gè)節(jié)目獲得一個(gè)集合。依照超級(jí)幀相對(duì)復(fù)雜度，一個(gè)超級(jí)幀被分配一個(gè)目標(biāo)速率。超級(jí)幀的目標(biāo)速率然后依照幀復(fù)雜度被分配到超級(jí)幀中的各個(gè)幀。下面簡(jiǎn)要敘述三個(gè)步驟的位分配策略。
2.1超圖像組以及標(biāo)稱速率圖2舉例說明一個(gè)符合本發(fā)明的超圖像組構(gòu)造。L節(jié)目在概念上被分為超圖像組(L，N)，在此L是節(jié)目的數(shù)目，而N是節(jié)目圖像組長(zhǎng)度的最小公倍數(shù)。
一個(gè)第一超圖像組200包括從節(jié)目1(210)，節(jié)目2(220)……到節(jié)目L(290)的數(shù)據(jù)幀。每個(gè)節(jié)目片段，例如，210，220，290，包含來自一個(gè)或多個(gè)圖像組的一定數(shù)量的完整幀，此點(diǎn)將依照附圖進(jìn)行進(jìn)一步講述。
一個(gè)第二超圖象組202包含從節(jié)目1(212)，節(jié)目2(222)……一直到節(jié)目L(292)的數(shù)據(jù)幀。一個(gè)第三超圖象組204包含從節(jié)目1(214)，節(jié)目2(224)……一直到節(jié)目L(294)的數(shù)據(jù)幀。
假設(shè)有L個(gè)可以用任何圖象組結(jié)構(gòu)來進(jìn)行MPEG編碼的輸入視頻節(jié)目。我們?cè)诟拍钌细鶕?jù)每一種圖象類型的幀數(shù)量將L個(gè)節(jié)目分為相同的超圖象組(L，N)。這里，L表示節(jié)目的數(shù)量，該數(shù)量是給定的，N表示超圖象組的長(zhǎng)度，該長(zhǎng)度被設(shè)定為等于節(jié)目圖象組長(zhǎng)度的最小公倍數(shù)(LCM)N1，l＝1，2，……，L，即N＝LCM(N1，N2，...，NL)(1)例如，如果僅考慮N個(gè)節(jié)目的兩個(gè)不同的圖象組長(zhǎng)度，例如9和15，那么超圖象組的長(zhǎng)度N＝45。因?yàn)樗械某瑘D象組(L，N)[其中N在等式(1)中得到了界定]都包含相同數(shù)量的I，P和B圖象，所以它們被分配了相同標(biāo)稱的位數(shù)量，TL×N，即TL×N＝(L×N).Rchannel(bpf)(2)其中Rchannel(bpf)是信道速率，表示每(通常)幀中的平均位數(shù)量。
2.2超級(jí)幀和目標(biāo)速率圖3舉例說明了一個(gè)超級(jí)幀，該幀是一個(gè)L幀的集合，在相同的時(shí)序瞬間從L個(gè)節(jié)目的每一個(gè)節(jié)目都得到一個(gè)幀。
在每一個(gè)幀瞬間n，我們都可以進(jìn)一步設(shè)想一個(gè)超級(jí)幀300，該超級(jí)幀是L個(gè)幀或圖象的集合，在相同的幀瞬間從L個(gè)節(jié)目的每一個(gè)節(jié)目都得到一個(gè)幀。例如，來自節(jié)目1的幀310，來自節(jié)目2的幀320……一直到來自節(jié)目L的幀330，這些在概念上都被安排在超級(jí)幀300中。很明顯，一個(gè)超圖象組包含N個(gè)超級(jí)幀。另外，因?yàn)檫@些L個(gè)節(jié)目可能具有不同的圖象組結(jié)構(gòu)，所以在一個(gè)超級(jí)幀中的L個(gè)幀可以有不同的圖象類型。
超級(jí)幀n的目標(biāo)位數(shù)量見下列等式Tn=Σl=1Lα1β1γ1,n,tC1,n,tΣl=1L[n1,Iα1β1γ1C1,I+n1,pα1β1γpC1,p+n1,Bα1β1γBC1,B]R-----(3)]]>其中
1.Cl，n，t是節(jié)目1的幀n的復(fù)雜度，其中I∈{I，P，B}，而且它可以是Cl，I，Cl，p或Cl，B，，這取決于I，P，B分別相聯(lián)的圖象類型。
2.α1是用來解決節(jié)目1空間分辨率的因素。幀空間分辨率或幀大小在不同的節(jié)目中可以是不同的。這個(gè)因素可以解決這種差異。
3.β1是節(jié)目1的質(zhì)量(或優(yōu)先度)加權(quán)因素，該因素由節(jié)目供應(yīng)商所決定。
4.γl，n，t是一個(gè)恒定因素用來為節(jié)目1的幀n的圖象類型I∈{I，P，B}進(jìn)行補(bǔ)償。它可以是γI，γP或γB，這取決于I，P，B分別相聯(lián)的圖象類型。
5.nl，I，nl，P和nl，B分別是當(dāng)前超圖象組中節(jié)目1的剩余I，P，B圖象數(shù)量。
6.R是當(dāng)前超圖象組中的剩余位數(shù)量，被定義為R=R-Σl=1LR1,n-1.]]>另外，對(duì)于每一個(gè)新的超圖象組而言，R被更新為R＝R+TL×N。
等式(3)右側(cè)的分子表示超級(jí)幀n中所有幀的復(fù)雜量的總和，而且可以被考慮為超級(jí)幀的復(fù)雜量。分母是當(dāng)前超圖象組中所有剩余幀的復(fù)雜量的總和。因此，一個(gè)超級(jí)幀被分配一個(gè)與超級(jí)幀的復(fù)雜量相應(yīng)的目標(biāo)速率。
2.3規(guī)則幀的目標(biāo)速率對(duì)于一個(gè)超級(jí)幀n，如有一個(gè)給定的目標(biāo)位數(shù)量Tn，那么超級(jí)幀中節(jié)目1的(規(guī)則)幀n的目標(biāo)位數(shù)量Tl，n就可以被計(jì)算為T1,n=α1β1γ1,n,tC1,n,tΣl=1Lα1β1γ1,n,tC1,n,tTn-----(4)]]>中右側(cè)的分子是節(jié)目1的幀n的復(fù)雜量，分母是超級(jí)幀n的復(fù)雜量。因此，一個(gè)幀被分配一個(gè)與其復(fù)雜量相應(yīng)的目標(biāo)速率。
3.緩存設(shè)定和保護(hù)位分配策略基于幀復(fù)雜量，圖象類型，節(jié)目圖象組結(jié)構(gòu)，節(jié)目分辨率，節(jié)目?jī)?yōu)先率以及其他節(jié)目的信息為一個(gè)規(guī)則的幀指定一個(gè)目標(biāo)速率?？偟膩碚f，更多的位獲得更高復(fù)雜度的節(jié)目，更少的位獲得較低復(fù)雜度的節(jié)目。與獨(dú)立編碼相比，與動(dòng)態(tài)位分配一起進(jìn)行的聯(lián)合編碼在節(jié)目之間和在一個(gè)節(jié)目?jī)?nèi)部導(dǎo)致了相對(duì)統(tǒng)一的質(zhì)量。
在不同節(jié)目之間，節(jié)目復(fù)雜度可以有很大差別，而且一個(gè)節(jié)目的場(chǎng)景內(nèi)容也可以作為時(shí)序功能而發(fā)生重大的變化。因此，不同節(jié)目的位分配將是一個(gè)時(shí)序-變化功能。換言之，節(jié)目的編碼是根據(jù)可變速率進(jìn)行的。為了消除位速率中的變量，一個(gè)編碼緩存130被插入到編碼器和信道之間，而且一個(gè)解碼器緩存190被插入信道和解碼器之間，如圖1所示。因?yàn)榫彺娲笮∈怯邢薜?，所以需要避免溢出?或下溢以對(duì)經(jīng)過壓縮的位進(jìn)行正確的解碼。編碼/傳輸端有責(zé)任保證編碼器和解碼器緩存的安全。如果符合本發(fā)明，通過對(duì)由動(dòng)態(tài)位分配策略決定的節(jié)目目標(biāo)速率應(yīng)用額外的限制可以實(shí)現(xiàn)這種保護(hù)。我們現(xiàn)在通過以下部分對(duì)這些限制進(jìn)行討論。
3.1編碼器緩存設(shè)定和保護(hù)假定節(jié)目Σl=1LR1,n]]>第n個(gè)幀的經(jīng)過壓縮的位在n的幀瞬間被立即移入了編碼器緩存130。也就是說，我們認(rèn)為不需要時(shí)序?qū)⒁粋€(gè)幀的位移入編碼器緩存，或者將一個(gè)幀的位移出解碼器緩存。這里Rl，n是節(jié)目1的幀n經(jīng)過壓縮的位數(shù)量。我們也可以將Rl，n稱為節(jié)目1的編碼速率，因?yàn)樗蔷幋a器為節(jié)目1生成的速率。在第n幀經(jīng)過壓縮的位Σl=1LR1,n]]>被移入緩存130之前，讓Bne成為在幀瞬間n的編碼器緩存的充滿度，如圖4所示。
圖4顯示了一個(gè)時(shí)序-變化編碼器緩存的充滿度。水平軸400是一個(gè)幀或時(shí)序指示，而垂直軸410顯示了編碼器緩存的充滿度Be(例如在位單元中)。
在經(jīng)過壓縮的位Σl=1LR1,n]]>被移入緩存(點(diǎn)425)之前，在n幀瞬間的緩存充滿度因此就等于Bne+Σl=1LR1,n]]>(從點(diǎn)420得到了增加)，這是一個(gè)局部的最大值，必須等于或小于最大的位尺寸，Bmaxe，即Bne+Σl=1LR1,n≤Bmaxe------(5)]]>
然后，到下一個(gè)幀瞬間n+1為止，不再有位移入緩存，但是LRchannel(bpf)位正在移入緩存。注意，LRchannel(bpf)總是恒定的，因?yàn)樾诺浪俾适呛愣ǖ?。在n+1幀瞬間(點(diǎn)430)之前的編碼器緩存充滿度因此是Bne+Σl=1LRl,n]]>一LRchannel(bpf)，這代表一個(gè)局部最小值，而且必須等于或大于零，即0≤Bne+Σl=1LRl,n-LRchannel(bpf)------(6)]]>從等式(5)和(6)我們得出LRchannel(bpf)-Bne≤Σl=1LRl,n≤Bmaxe-Bne------(7)]]>這是對(duì)為一個(gè)給定信道速率(LRchannel(bpf))條件下的節(jié)目第n個(gè)幀生成的總位數(shù)的限制。有了精確的速率控制，第n個(gè)幀的總速率應(yīng)該接近為超級(jí)幀n指定的目標(biāo)速率(等式3)，即Σl=1LRl,n⇒Tn---(8)]]>為節(jié)目第n個(gè)幀的總位數(shù)采取的限制因此可以被移入對(duì)超級(jí)幀n目標(biāo)速率的限制之中，即LRchannel(bpf)-Bne≤Tn≤Bmaxe-Bne------(9)]]>因此，在進(jìn)一步將指定給一個(gè)超級(jí)幀(例如Tn)的目標(biāo)速率分配給超級(jí)幀之內(nèi)的各幀之前，我們需要檢查Tn是否處于適當(dāng)?shù)姆秶畠?nèi)，如果不在該范圍內(nèi)，那么我們將它按下列等式進(jìn)行調(diào)整 在最佳情況下，為Tn設(shè)定的上限和下限的所有條件都在編碼端的第n個(gè)幀瞬間成為可以測(cè)量的量。
3.2解碼器緩存設(shè)定和保護(hù)圖5顯示了一個(gè)時(shí)序-變化解碼器緩存充滿度。水平軸500是一個(gè)幀或時(shí)序指示，而垂直軸510顯示了編碼器緩存的充滿度Bd(例如在位單元中)。
假定在解碼端節(jié)目1被選中(圖1)而且解碼延遲是N’個(gè)幀。讓Rl，nc成為在第n個(gè)幀期間(在點(diǎn)520和525之間)為節(jié)目1傳輸?shù)奈粩?shù)，如圖5所示。我們也可以將Rl，nc稱為節(jié)目1的傳輸速率，因?yàn)樗枪?jié)目1在網(wǎng)絡(luò)中的傳輸速率。注意，在第n個(gè)幀期間節(jié)目1的傳輸速率可能不等于幀的解碼速率，即Rl,nc=≠Rl,n.]]>另外，開始時(shí)，因?yàn)镹’個(gè)幀的延遲，解碼器緩存將被充滿至Σn=0N′-1Rl,nc,]]>這不一定等于任何位被移出前的Bmaxd。Bmaxd必須在任何位被移出緩存前為N’幀保持位。
在n+N’(點(diǎn)530)的幀瞬間，幀n經(jīng)過壓縮的位Rl，n被移出解碼器緩存(在點(diǎn)530)，而且在瞬間移入解碼器(進(jìn)入點(diǎn)535)，而且在n+N’和n+N’+1幀瞬間之間，解碼器緩存從網(wǎng)絡(luò)接收到Rl，n+N’c和幀(見圖1和5)。注意，對(duì)節(jié)目1而言，在第n個(gè)幀期間的傳輸速率和一些其他的任意第m個(gè)幀瞬間的速率可能是不同的，即Rl,nc≠Rl,mc]]>，因?yàn)閚≠m。
在第n幀經(jīng)過壓縮的位被移出之后(點(diǎn)535)，讓Bl，n+N’d成為在幀瞬間n+N’的解碼器緩存的充滿度。顯然，Bl，n+N’d是一個(gè)局部最小值，而且必須等于或大于零(如果可以適用的話，或者是一個(gè)非零的最小緩存充滿度)，即0≤Bl,n+N′d------(11)]]>另外，在n+N’+1(點(diǎn)540)幀瞬間之前的緩存充滿度是Bl,n+N′d+Bl,n+N′c]]>這是一個(gè)局部最大值，而且必須等于或小于最大解碼器緩存尺寸，Bmaxd，即Bl,n+N′d+Rl,n+N′c≤Bmaxd-------(12)]]>從等式(11)和(12)，我們得出，0≤Bl,n+N′d≤-Rl,n+N′c+Bmaxd-------(13)]]>在n+N’(點(diǎn)535)幀瞬間的緩存充滿度Bin+N’d可以被表達(dá)為Bl,n+N′d+Bl,n+N′-1d+Rl,n+N′-1c-Rl,n-----n=1,2,...-----(14)]]>=Bl,N′d+Σn′=0n-1Rl,n′+N′c-Σn′=1nRl,n′-----(14b)]]>=(Σn′=0N′=1Rl,n′c-Rl,0)+Σn′=N′n+N′-1Rl,n′c-Σn′=1nRl,n′--(14c)]]>=Σn′=nn+N′-1Rl,n′c+(Σn′=0n-1Rl,n′c-Σn′=0n-1Rl,n′)-Rl,n---------(14d)]]>=Σn′=nn+N′-1Rl,n′c-Bl,ne-Rl,n------(14e)]]>其中Bl,ne=Σn′=0n-1Rl,n′-Σn′=0n-1Rl,n′c------(15)]]>可以被考慮為一個(gè)在節(jié)目1的n幀瞬間的虛擬編碼緩存的充滿度。從等式(13)和(14)，我們得出0≤Σn′=nn+N′-1Rl,n′c-Bl,ne-Rl,n≤-Rl,n+N′c+Bmaxd---(16)]]>或Σn′=nn+N′Rl,n′c-Bl,ne-Bmaxd≤Rl,n≤Σn′=nn+N′-1Rl,n′c-Bl,ne---(17)]]>這是一個(gè)對(duì)節(jié)目1的幀n的位數(shù)量的限制。同樣，如果一個(gè)幀的目標(biāo)速率不能得到滿足，那么一個(gè)幀的速率限制就被移入對(duì)幀的目標(biāo)速率的限制(等式4)，即Σn′=nn+N′Rl,n′c-Bl,ne-Bmaxd≤Tl,n≤Σn′=nn+N′-1Rl,n′c-Bl,ne---(18)]]>因此，在開始對(duì)節(jié)目1的幀n編碼以前，我們需要檢查其目標(biāo)速率是否在合適的范圍之內(nèi)，如果不在該范圍內(nèi)，我們要按下列等式進(jìn)行調(diào)整 注意，Bl，ne是一個(gè)在節(jié)目1的n幀瞬間的虛擬編碼緩存的充滿度，其定義見等式(15)，而且它在編碼端的n當(dāng)前幀瞬間是可用的。另一方面，節(jié)目1在未來幀間隔的傳輸速率Rl，n′c，n1＝n，n+1，……，n+N’需要得到預(yù)定。在確定未來傳輸速率時(shí)，我們給出了兩個(gè)條件1.進(jìn)入相應(yīng)的解碼器緩存的每個(gè)單獨(dú)視頻流的平均輸入速率等于平均輸出速率，而且2.L節(jié)目的總傳輸速率等于(或小于)信道速率。
第一個(gè)條件是為正確解碼準(zhǔn)備的，第二個(gè)條件是為壓縮位的可靠傳輸準(zhǔn)備的。具體而言，我們?yōu)楣?jié)目1的幀n設(shè)定傳輸速率，使之等于最近移出解碼器緩存的N個(gè)早先幀的經(jīng)過壓縮的位平均數(shù)量(見圖5)，即Rl,nc=1NΣn′′=n′=N′-N+1n′-N′Rl,n,-----n,=n,n+1,...,n+N,------(20)]]>其中N是超圖象組長(zhǎng)度。注意，有可能使用其他的早先幀數(shù)量作為平均量，例如2N，或在其他的多元N中取平均量等等。顯然，這種對(duì)未來傳輸速率的設(shè)定滿足了第一個(gè)條件，即進(jìn)入相應(yīng)的解碼器緩存的平均輸入速率等于平均輸出速率。它也使任何幀期間n的L節(jié)目總傳輸速率Σl=1LRl,nc]]>等于信道速率LRchannel(bpf)，即Σl=1LRl,n′c=Σl=1L(1N)Σn′′=n′-N′-N+1n′-N′Rl,n′′---(21a)]]>=1N(Σl=1LΣn′′=n′-N′-N+1n′-N′Rl,n′′)---(21b)]]>=1NTL×X=L1N×LTL×N=LRchannel(bpf)------(21c)]]>注意，等式(21b)括號(hào)中的名稱是L×N窗口600的位，見圖6。圖6不一定需要縮放，顯示了一個(gè)N(超級(jí))幀的窗口，其包括相同數(shù)量的I，P，B圖象。請(qǐng)注意N是超圖象組長(zhǎng)度。N’可以大于，等于或小于N。例如，N’可以被設(shè)定為15幀，或0.5秒(15幀×1秒/30幀)。
注意，該窗口可以被轉(zhuǎn)移到任何地方。不管窗口被轉(zhuǎn)移到哪里，N’都是一個(gè)恒定量。但是，n會(huì)變化。
無論窗口被如何轉(zhuǎn)移(向左或向右)，它都包含相同數(shù)量的I，P，B圖象，正如規(guī)則的超圖象組。因此，該窗口中的幀的位應(yīng)該等于一個(gè)超圖象組的標(biāo)稱數(shù)量，即TL×N，(見等式1)。
未來傳輸在等式(20)中已經(jīng)得到了定義，因此，所有為節(jié)目1的幀n設(shè)定的上限條件，等式(17)(18)中的Σn′=nn+N′-1Rl,n′c-Bl,ne]]>在n幀瞬間變成可用的量，或者上限可以在早先幀n-1，n-2……信息的基礎(chǔ)上得到計(jì)算。但是，在等式(17)(18)中的Σn′=nn+N′Rl,n′c-Bl,ne-Bmaxd]]>下限中，Rl,n+N′c=1N]]>(Rl，n-N+1+……+Rl，n-1+Rl，n)需要有關(guān)幀n位數(shù)量的信息Rl，n，該信息在n幀瞬間是不可用的。通過將等式(20)替換為等式(18)中的下限，我們得出Σn′=nn+N′-1Rl,n′c+1N(Σn′′=n-N+1n-1Rl,n′′+Rl,n)-Bl,nc-Bmaxd≤Rl,n------(22)]]>或Σn′=nn+N′-1Rl,n′c+1NΣn′′=n-N+1n-1Rl,n′′-Bl,nc-Bmaxd≤(1-1NRl,n)------(23)]]>節(jié)目1的幀n的下限因此可以被寫成NN-1(Σn′=nn+N′-1Rl,n′c+1NΣn′′=n-N+1n-1Rl,n′′-Bl,nC_Bmaxd)≤Rl,n=Tl,n------(24)]]>其中下限里的所有相聯(lián)條件(在等式24左側(cè))現(xiàn)在在編碼端的n幀瞬間都是可測(cè)量的。
4.結(jié)論本發(fā)明解決了緩存設(shè)定和保護(hù)問題以便在恒定位速率信道傳送多元VBR視頻節(jié)目。緩存充滿度的設(shè)定根據(jù)一種逐幀的基礎(chǔ)。緩存保護(hù)通過對(duì)目標(biāo)速率應(yīng)用附加的限制而實(shí)現(xiàn)。對(duì)編碼器緩存保護(hù)而言，我們?yōu)榭偣?jié)目速率設(shè)定上限和下限。對(duì)于解碼器緩存保護(hù)而言，我們限制每個(gè)單獨(dú)節(jié)目速率的動(dòng)態(tài)范圍。上限和下限都是時(shí)序-變化功能(也就是，建立在逐幀的基礎(chǔ)上)。我們也預(yù)設(shè)未來傳輸速率以便滿足下列兩個(gè)條件1.進(jìn)入相應(yīng)的解碼器緩存的每個(gè)單獨(dú)視頻流的平均輸入速率等于平均輸出速率(即，在一個(gè)長(zhǎng)時(shí)序內(nèi)，進(jìn)入解碼器緩存之內(nèi)的位數(shù)量等于移出緩存的位數(shù)量，因此在緩存中沒有剩余的位)，而且2.節(jié)目的總傳輸速率等于對(duì)上述的兩個(gè)條件預(yù)設(shè)的未來傳輸速率。
上限和下限對(duì)解碼器緩存保護(hù)而言在當(dāng)前幀瞬間變成了可測(cè)量的量。其優(yōu)勢(shì)在于，這允許解碼器緩存保護(hù)在編碼端得到管理。
經(jīng)過預(yù)先壓縮的位流也可能被包含在速率控制方案中。
雖然本發(fā)明的描述涉及各種不同的具體實(shí)施例，應(yīng)該清楚，在不背離本發(fā)明權(quán)利要求范圍的情況下，可以對(duì)本發(fā)明作出不同的改編和修改。
權(quán)利要求
1.一種為以可變位速率傳輸?shù)亩鄠€(gè)(L)視頻節(jié)目數(shù)據(jù)編碼的方法，其包括以下步驟依照一個(gè)分層方案為視頻節(jié)目編碼分配位，該分層方案至少包括(a)一個(gè)超圖像組(GOP)層，其中超圖像組至少包括一個(gè)來自每一個(gè)視頻節(jié)目的圖像組，并具有一個(gè)N幀的長(zhǎng)度，以及(b)一個(gè)幀層；且對(duì)于每個(gè)節(jié)目，依照至少N個(gè)早先幀的被壓縮的平均位數(shù)目為相應(yīng)的當(dāng)前幀設(shè)定一個(gè)傳輸速率，其中至少N個(gè)早先幀，包括在當(dāng)前幀之前N′+N-1開始的一個(gè)幀，在N′結(jié)束的一個(gè)幀，以及它們之間的多個(gè)幀；其中N′是預(yù)定解碼器的一個(gè)解碼延遲，其接收一個(gè)相應(yīng)的視頻節(jié)目。
2.根據(jù)權(quán)利要求1所述的方法，其中分層位分配方案包括一個(gè)位于超圖像組與幀層之間超級(jí)幀層；且每個(gè)超級(jí)幀在一通常幀瞬間包含L張圖象，從每個(gè)視頻節(jié)目都獲得一張圖象。
3.根據(jù)權(quán)利要求1所述的方法，其中對(duì)于每個(gè)節(jié)目，相應(yīng)的當(dāng)前幀和N′未來幀的傳輸速率是在當(dāng)前幀被編碼的時(shí)候得到預(yù)定的。
4.根據(jù)權(quán)利要求1所述的方法，其中；對(duì)于每個(gè)節(jié)目，所述的N個(gè)早先幀是最近從預(yù)定的解碼器緩存中移出的。
5.根據(jù)權(quán)利要求1所述的方法，其中對(duì)于每個(gè)節(jié)目，所述的N個(gè)早先幀是在對(duì)當(dāng)前幀編碼時(shí)間的開始時(shí)起，最近從預(yù)定的解碼器緩存中移出的幀。
6.根據(jù)權(quán)利要求1所述的方法，其中對(duì)于每個(gè)節(jié)目，被設(shè)定的傳輸速率導(dǎo)致進(jìn)入一個(gè)預(yù)定解碼器緩存的平均輸入率等于平均輸出率。
7.根據(jù)權(quán)利要求1所述的方法，其中一個(gè)為視頻節(jié)目的相應(yīng)當(dāng)前幀設(shè)計(jì)的總傳輸速率被維持在一個(gè)全部可用的信道速率之中。
8.根據(jù)權(quán)利要求1所述的方法，其中視頻節(jié)目被通過一個(gè)寬帶通信網(wǎng)絡(luò)傳輸?shù)揭粋€(gè)解碼器受眾群體。
9.根據(jù)權(quán)利要求1所述的方法，其中對(duì)于每個(gè)節(jié)目，依照一個(gè)平均被壓縮的位數(shù)目為相應(yīng)的當(dāng)前幀設(shè)定一個(gè)傳輸速率，其中至少N個(gè)早先的幀，包括在當(dāng)前幀之前N′+N-1開始的一個(gè)所述的幀，以及在N′結(jié)束的一個(gè)所述的幀。
10.根據(jù)權(quán)利要求1所述的方法，其中對(duì)于每個(gè)節(jié)目，為相應(yīng)的當(dāng)前幀設(shè)定的傳輸速率依照N的整數(shù)倍個(gè)早先幀的被壓縮位平均數(shù)目。
11.根據(jù)權(quán)利要求1所述的方法，其中被編碼的視頻節(jié)目包含未經(jīng)壓縮和經(jīng)過壓縮的視頻數(shù)據(jù)。
12.根據(jù)權(quán)利要求1所述的方法，其中；被編碼的視頻節(jié)目包含未經(jīng)壓縮的視頻數(shù)據(jù)。
13.一種為以可變位速率傳輸?shù)亩鄠€(gè)(L)視頻節(jié)目數(shù)據(jù)編碼的裝置，包括依照一個(gè)分層方案為視頻節(jié)目編碼分配位的裝置，該分層方案至少包括(a)一個(gè)超圖像組(GOP)層，其中超圖像組至少包括一個(gè)來自每一個(gè)視頻節(jié)目的圖像組，并具有一個(gè)N幀的長(zhǎng)度，以及(b)一個(gè)幀層；且一種對(duì)每個(gè)節(jié)目都依照至少N個(gè)早先幀的一個(gè)平均被壓縮的位數(shù)目為相應(yīng)的當(dāng)前幀設(shè)定一個(gè)傳輸速率的裝置，其中至少N個(gè)早先的幀，包括在當(dāng)前幀之前N′+N-1開始的一個(gè)幀，在N′結(jié)束的一個(gè)幀，以及它們之間的多個(gè)幀；其中N′是預(yù)定解碼器的一個(gè)解碼延遲，其接收一個(gè)相應(yīng)的視頻節(jié)目。
14.根據(jù)權(quán)利要求13所述的裝置，其中；分層位分配方案包括一個(gè)位于超圖像組與幀層之間超級(jí)幀層；且每個(gè)超級(jí)幀在一通常幀瞬間包含L張圖象，從每個(gè)視頻節(jié)目都獲得一張圖象。
15.根據(jù)權(quán)利要求13所述的裝置，其中；對(duì)于每個(gè)節(jié)目，相應(yīng)的當(dāng)前幀和N′未來幀的傳輸速率是在當(dāng)前幀被編碼的時(shí)候得到預(yù)定的。
16，根據(jù)權(quán)利要求13所述的裝置，其中對(duì)于每個(gè)節(jié)目，所述的N個(gè)早先幀是最近從預(yù)定的解碼器緩存中移出的。
17.根據(jù)權(quán)利要求13所述的裝置，其中對(duì)于每個(gè)節(jié)目，所述的N個(gè)早先幀是在對(duì)當(dāng)前幀編碼時(shí)間的開始時(shí)起，最近從預(yù)定的解碼器緩存中移出的幀。
18.根據(jù)權(quán)利要求13所述的裝置；其中；對(duì)于每個(gè)節(jié)目，被設(shè)定的傳輸速率導(dǎo)致進(jìn)入一個(gè)預(yù)定解碼器緩存的平均輸入率等于平均輸出率。
19.根據(jù)權(quán)利要求13所述的裝置，其中一個(gè)為視頻節(jié)目的相應(yīng)當(dāng)前幀設(shè)計(jì)的總傳輸速率被維持在一個(gè)全部可用的信道速率之中。
20.根據(jù)權(quán)利要求13所述的裝置，其中；視頻節(jié)目通過一個(gè)寬帶通信網(wǎng)絡(luò)傳輸?shù)揭粋€(gè)解碼器受眾群體。
21.根據(jù)權(quán)利要求13所述的裝置，其中；依照被壓縮的平均位數(shù)的相應(yīng)當(dāng)前幀針對(duì)N個(gè)早先的幀，包括在當(dāng)前幀之前N′+N-1開始的一個(gè)所述的幀，以及在N′結(jié)束的一個(gè)所述的幀。
22.根據(jù)權(quán)利要求13所述的裝置，其中對(duì)于每個(gè)節(jié)目，依照N的整數(shù)倍個(gè)早先幀被壓縮的平均位數(shù)為相應(yīng)的當(dāng)前幀設(shè)定一個(gè)傳輸速率。
23.根據(jù)權(quán)利要求13所述的裝置，其中；被編碼的視頻節(jié)目包含未經(jīng)壓縮和經(jīng)過壓縮的視頻數(shù)據(jù)。
24，根據(jù)權(quán)利要求13所述的裝置，其中被編碼的視頻節(jié)目包含未經(jīng)壓縮的視頻數(shù)據(jù)。
全文摘要
一種為恒定速率信道的可變位速率數(shù)字視頻節(jié)目提供的速率控制與緩存保護(hù)的系統(tǒng)。該系統(tǒng)適用于一個(gè)分層位分配方案，其包括一個(gè)超圖像組(GOP)層(200，202，204)，一個(gè)超級(jí)幀層(300)，以及一個(gè)幀層。對(duì)每一個(gè)具有一個(gè)N幀長(zhǎng)度的超圖象組而言，對(duì)每一個(gè)視頻節(jié)目(210，220，……290)而言，依照被壓縮的平均位數(shù)目為當(dāng)前幀設(shè)定傳輸速率，其中至少N個(gè)早先幀，包括在當(dāng)前幀之前N′+N－1開始的一個(gè)幀，在當(dāng)前幀之前N′幀結(jié)束的一個(gè)幀，以及之間的中間幀。其中N′是預(yù)定解碼器的一個(gè)解碼延遲，其接收一個(gè)相應(yīng)的視頻節(jié)目。另外，該系統(tǒng)為未來圖象幀預(yù)定傳輸速率，這樣進(jìn)入相應(yīng)解碼器緩存(190)的每一個(gè)單獨(dú)視頻流的平均輸入速率就等于平均輸出速率，而且所有節(jié)目的總傳輸速率也等于信道速率。
文檔編號(hào)H04N7/50GK1436428SQ01811298
公開日2003年8月13日 申請(qǐng)日期2001年4月11日 優(yōu)先權(quán)日2000年4月19日
發(fā)明者王利民 申請(qǐng)人:通用儀器公司