專利名稱：視頻編碼器和編碼視頻的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種假設(shè)基準(zhǔn)解碼器。
背景技術(shù)：
數(shù)字視頻系統(tǒng)包括發(fā)射機(jī)和接收機(jī)，用于組合包括音頻、圖像的視頻，以及用于向 用戶協(xié)作呈現(xiàn)的輔助組件。發(fā)射機(jī)系統(tǒng)包括子系統(tǒng)，以便接收和壓縮數(shù)字源數(shù)據(jù)(表示節(jié) 目的音頻、視頻基本和應(yīng)用數(shù)據(jù)流，以及輔助數(shù)據(jù)組件)；將來自多個(gè)基本數(shù)據(jù)流中的數(shù)據(jù) 復(fù)用到單一傳輸比特流；并且將數(shù)據(jù)發(fā)送到接收機(jī)。在接收機(jī)處，傳輸比特流被解復(fù)用為其 組成基本數(shù)據(jù)流。對(duì)基本數(shù)據(jù)流進(jìn)行解碼，并且將音頻和視頻數(shù)據(jù)流作為同步節(jié)目元素傳 遞到接收機(jī)的呈現(xiàn)子系統(tǒng)，用于作為協(xié)作節(jié)目的一部分進(jìn)行顯示。在許多視頻編碼標(biāo)準(zhǔn)中，由假設(shè)解碼器對(duì)到解碼器的意見比特流(complaint bit stream)進(jìn)行解碼，在概念上，所述假設(shè)解碼器與編碼器的輸出相連，并且由解碼器緩沖器、 解碼器和顯示單元組成。公知該虛擬解碼器為H. 263中的假設(shè)基準(zhǔn)解碼器(HRD)和MPEG-2 中的視頻緩沖器驗(yàn)證器(VBV)。編碼器產(chǎn)生比特流，以使假設(shè)基準(zhǔn)解碼器緩沖器不會(huì)上溢或 下溢。結(jié)果，接收機(jī)需要到緩沖器的數(shù)據(jù)量也許超出其容量(存儲(chǔ)器上溢的情況)或者 流量能力。或者，接收機(jī)可能沒有及時(shí)接收到在數(shù)據(jù)訪問單元中用于利用在音頻和視頻數(shù) 據(jù)流中的特定時(shí)刻來解碼和合成呈現(xiàn)的所有數(shù)據(jù)，結(jié)果導(dǎo)致數(shù)據(jù)丟失和不連續(xù)的表演(寄 存器下溢的情況)。在現(xiàn)有的假設(shè)基準(zhǔn)解碼器中，以給定的恒定比特率接收視頻比特流(通常流的平 均速率為比特每秒)并將其存儲(chǔ)到解碼器緩沖器中，直到緩沖器充滿度(fullness)達(dá)到希 望水平。這種希望水平被稱作初始解碼器緩沖器充滿度并且正比于傳輸或啟動(dòng)(緩沖器) 延遲。就此而言，解碼器立即去除序列的第一視頻幀的比特、解碼該比特并顯示該幀。還去 除接下來幀的比特、進(jìn)行解碼并立即在隨后的時(shí)間間隔中進(jìn)行顯示。傳統(tǒng)的假設(shè)解碼器以固定比特率、緩沖尺寸和初始延遲進(jìn)行操作。然而，在許多當(dāng) 今的視頻應(yīng)用中(例如通過因特網(wǎng)或ATM網(wǎng)絡(luò)的視頻流)，可用帶寬根據(jù)網(wǎng)絡(luò)路徑(例如用 戶連接到網(wǎng)絡(luò)的方式通過解調(diào)器、ISDN、DLS、電纜等)而不同并且還隨網(wǎng)絡(luò)條件(例如阻 塞、連接的用戶數(shù)目等)及時(shí)波動(dòng)。此外，視頻比特流被傳送到各種具有不同緩沖能量的設(shè) 備(例如手機(jī)、PDA、PC、機(jī)頂盒、類似DVD的播放機(jī)等)并且產(chǎn)生用于具有不同延遲需要的 情景(例如低速延遲流、循序下載等)。結(jié)果，這些應(yīng)用需要更靈活的假設(shè)基準(zhǔn)解碼器，能夠 以不同峰值比特率來解碼比特流，并且具有不同緩沖尺寸和啟動(dòng)延遲。Jordi Ribas-Corbera 禾口 Philip A. Chou 在 2001 年 9 月 4 日的文章“A Generalized Hypothetical Reference Decoder For H. 26L” 中提出了一種改進(jìn)的假設(shè)基準(zhǔn)解碼器。此解碼器根據(jù)給定比特流的N組比特率和緩沖參數(shù)進(jìn)行操作。每一組的特征在 于公知的漏桶模型(leakybucket model)并且包括三個(gè)值(R、B、F)，其中R是傳輸比特率、 B是緩沖尺寸、F是初始解碼器緩沖充滿度(F/R是啟動(dòng)或初始緩沖延遲)。編碼器能夠產(chǎn) 生由N個(gè)某種希望漏桶所包含的視頻比特流，或者能夠在產(chǎn)生比特流之后簡單地計(jì)算N組 參數(shù)。假設(shè)基準(zhǔn)解碼器可以在漏桶參數(shù)中進(jìn)行插值并且能夠以任一希望峰值比特率、緩沖 尺寸和延遲進(jìn)行操作。例如，給定峰值傳輸率R’，基準(zhǔn)解碼器選擇能夠解碼比特流而不會(huì)遭 到緩沖器下溢和上溢的最小緩沖尺寸和延遲(根據(jù)可用的漏桶數(shù)據(jù))。相反地，對(duì)于給定緩 沖尺寸B’，假設(shè)基準(zhǔn)解碼器選擇并以最小的需要峰值傳輸率進(jìn)行操作。使用這種普通的假設(shè)基準(zhǔn)解碼器具有益處。例如，內(nèi)容提供商可以一次產(chǎn)生比特 流，并且服務(wù)器使用多個(gè)不同峰值傳輸率的信道將其傳送到多個(gè)不同能量的設(shè)備?；蛘叻?務(wù)器和終端針對(duì)給定網(wǎng)絡(luò)條件協(xié)商最佳漏桶，例如產(chǎn)生最小啟動(dòng)(緩沖)延遲的漏桶，或?qū)?于給定設(shè)備的緩沖尺寸需要最小峰值傳輸率的漏桶。

發(fā)明內(nèi)容
如在文獻(xiàn)VCEG-58第2. 1-2. 4節(jié)中所述，漏桶是針對(duì)編碼器或解碼器緩沖器狀態(tài) (或充滿度)的作為時(shí)間函數(shù)的模型。編碼器和解碼器緩沖器的充滿度彼此互補(bǔ)。漏桶模 型由三個(gè)參數(shù)(R、B、F)表征，其中R是比特輸入解碼器緩沖器的峰值比特率(以比特每秒計(jì))。與比特率情景一致， R經(jīng)常是信道比特率和視頻片斷的平均比特率。B是消除視頻比特率波動(dòng)的桶或解碼器緩沖器的尺寸(以比特計(jì))。該緩沖器尺 寸不能比解碼設(shè)備的物理緩沖器大。F是在解碼器開始從緩沖器中去除比特之前的初始解碼器緩沖器充滿度(也以比 特計(jì))。F和R確定初始或啟動(dòng)延遲D，其中D = F/R秒。在漏桶模型中，比特以速率R被輸入緩沖器直到充滿度為F (即經(jīng)過D秒)，然后立 即針對(duì)第一幀去除b0比特。比特保持以速率R進(jìn)入緩沖器并且解碼器針對(duì)接下來的幀，在 某個(gè)給定時(shí)間間隔處去除bl、b2、…、bn-1，典型地(但不是必須地)每1/M秒，其中M是 視頻的幀速率。圖1沿限制在參數(shù)(R、B、F)的漏桶中的比特流的時(shí)間示出了解碼器緩沖器 充滿度假設(shè)Bi是緊接在時(shí)間、處去除bi之前的解碼器緩沖器充滿度。通用漏桶模型根 據(jù)下面等式進(jìn)行操作B0 = FBi+1 = min(B,Bi-bi+R(ti+1-ti)), i = 0,1,2, - (1)典型地，ti+1_ti = 1/M秒，其中M是比特流的幀速率(通常以幀每秒計(jì))。如果解碼器緩沖器沒有下溢，具有參數(shù)(R、B、F)的漏桶模型包括比特流。因?yàn)榫?碼器和解碼器緩沖器充滿度彼此互補(bǔ)，即等效于編碼器緩沖器沒有上溢。但是，允許編碼器 緩沖器(漏桶)為空，或等效于解碼器緩沖器變?yōu)槌錆M，在此，沒有更多的比特從編碼器緩 沖器傳輸?shù)浇獯a器緩沖器。因此，當(dāng)其為滿時(shí)，解碼器緩沖器停止接收比特，這就是在等式 (1)中包括取最小(min)運(yùn)算符的原因。充滿的解碼器緩沖器簡單地意味著編碼器緩沖器 為空。
4
可以作出下面的觀察給定視頻流可以包含在多個(gè)漏桶中。例如，如果視頻流包含在具有參數(shù)(R、B、F) 的漏桶中，它也包含在具有更大緩沖器(R、B’、F)的漏桶中，其中B’ >B，或者包含在具有 更高峰值傳輸率(R’、B、F)的漏桶中，其中R’ >R。對(duì)于任意比特率R’，系統(tǒng)始終能夠找到包含(時(shí)間限制的)視頻比特流的緩沖器 尺寸。在最壞情況下(R’接近0)，緩沖器尺寸需要與比特流本身一樣大?；蛘?，可以以任意 速率(與片斷的平均比特率無關(guān))傳輸視頻比特流，只要緩沖器尺寸足夠大。假設(shè)系統(tǒng)對(duì)于所有漏桶固定F = aB，其中a是初始緩沖器充滿度的某一個(gè)希望分 數(shù)。對(duì)于峰值比特率R的每一個(gè)值，系統(tǒng)可以使用等式(1)找到包含比特流的最小緩沖器 尺寸Bmin。在圖2中示出了 R-B值的曲線圖。通過觀察，對(duì)于任意比特流(例如在圖2中的那個(gè))，曲線(Rmin，Bfflin)對(duì)是分段線 性并且凸的。因此，如果提供了曲線的N個(gè)點(diǎn)，解碼器可以線性地進(jìn)行插值以便達(dá)到稍微大 于(R-，Bmin)但安全的一些點(diǎn)(RintCTp，BintCTp)。按照這種方式，相對(duì)于以其平均速率包含比 特流的單一漏桶，能夠數(shù)量級(jí)地減少緩沖器尺寸，并且因此也減少延遲。或者，對(duì)于相同的 延遲，能夠以4的因子減少峰值傳輸率，或者甚至可以將信噪比提高幾個(gè)dB。MPEG視頻緩沖驗(yàn)證器(VBV)MPEG視頻緩沖驗(yàn)證器(verifier) (VBV)可以以兩種模式進(jìn)行操作恒定比特率 (CBR)和可變比特率(VBR)。MPEG-1只支持CBR模式，而MPEG-2兩種都支持。當(dāng)比特流包含在參數(shù)(R、B、F)的漏桶模型中時(shí)，VBV在CBR模式中進(jìn)行操作，并且 其中R = Rmax =流的平均比特率使用特定尺寸單位(即，16x1024比特單位)，將B的值存儲(chǔ)在語法參數(shù)vbv_ buffer_size 中。使用特定時(shí)間單位(即90kHz時(shí)鐘周期數(shù))，將F/R的值存儲(chǔ)在與序列中的第一視 頻幀相關(guān)的語法(syntax)參數(shù)vbv_delay中。解碼器緩沖器充滿度遵循下面的等式B。 = FBi+1 = B-bi+R^/M, I = 0,1,2, ... (2)編碼器必須確保Bi-bi始終大于或等于0，同時(shí)&始終小于或等于B。換句話說， 解碼器確保解碼器緩沖器不會(huì)下溢或上溢。當(dāng)比特流包含在參數(shù)(R、B、F)的漏桶模型中時(shí)，VBV在VBR模式中進(jìn)行操作，并且 其中R = R_ =峰值或最大速率。R_大于比特流的平均比特率。F = B,即最初緩沖器充滿。用語法參數(shù)VbV_buffer_SiZe表示B的值，與CBR的情況相同。解碼器緩沖器充滿度遵循下面的等式B。 = BBi+1 = min(B，Brb^R^/M)，I = 0，1，2，... (3)編碼器確保終大于或等于0。即，編碼器必須確保解碼器緩沖器不會(huì)上溢。但是，在此VBR情況中，編碼器不需要確保解碼器緩沖器不上溢。如果解碼器緩沖器充滿， 則認(rèn)為編碼器為空，并因此沒有更多的比特從編碼器緩沖器傳輸?shù)浇獯a器緩沖器。VBR模式對(duì)于能夠以等于峰值速率R_讀取數(shù)據(jù)的設(shè)備是有用的。例如，DVD包括 其中R_是大約lOMbits/sec的VBR片斷，其與磁盤驅(qū)動(dòng)的最大讀取速度相對(duì)應(yīng)，盡管DVD 視頻流的平均速率只有大約4Mbit/sec。參考圖3A和3B，分別示出了用于進(jìn)行操作在CBR和VBR模式中的一些比特流的解 碼器緩沖器充滿度。廣而言之，可以認(rèn)為CBR模式是Rmax正好是片斷平均速率的VBR特定情況。H. 263的假設(shè)基準(zhǔn)解碼器(HDR)H. 263的假設(shè)基準(zhǔn)解碼器類似于上述MPEG的VBV的CBR模式，除了以下解碼器在某些時(shí)間間隔處檢查緩沖器充滿度并且一旦幀的比特可用就對(duì)幀進(jìn)行 解碼。該方法產(chǎn)生2個(gè)益處(a)延遲是最小的，因?yàn)镕通常只是略大于第一幀的比特?cái)?shù)， 以及(b)如果幀遺漏是常見的，解碼器只等待直到下一個(gè)可用幀為止。在MPEG的VBV的低 延遲模式中，(b)也是可行的。在從緩沖器中針對(duì)幀刪除比特之后，執(zhí)行緩沖器上溢的檢查。這偶爾放松了對(duì)于 發(fā)送更大幀的限制，但是對(duì)于最大幀具有最大值。H. 263的HRD實(shí)質(zhì)上可以被映射為一種低延遲漏桶模型。上述假設(shè)基準(zhǔn)解碼器的限制已經(jīng)存在的假設(shè)基準(zhǔn)解碼器只在圖2的曲線的一點(diǎn)(R，B)上進(jìn)行操作。這些解碼 器具有下面的缺點(diǎn)如果在信道R’中的比特率低于R(例如這對(duì)于因特網(wǎng)流量和循序下載是常見的， 或者當(dāng)MPEG VBR片斷需要以低于峰值的速率傳輸時(shí))，嚴(yán)格地說，假設(shè)解碼器不能夠解碼 這些比特流。如果可用帶寬R’大于R(例如這對(duì)于因特網(wǎng)流量以及本地回放也是常見的)，上述 的假設(shè)解碼器將進(jìn)行操作在VBR模式中并且解碼比特流。然而，如果更多關(guān)于速率_緩沖 器曲線的信息可用，將顯著地減少解碼比特流所需要的緩沖器尺寸和相關(guān)的啟動(dòng)延遲。如果在解碼設(shè)備中的物理緩沖器尺寸比B小，該設(shè)備將不能夠解碼該比特流。如果緩沖器尺寸大于B，該設(shè)備能夠解碼該比特流，但啟動(dòng)延遲還是相同的。更一般地，根據(jù)漏桶(R、B、F)產(chǎn)生的比特流通常不能通過比特率小于R的不同網(wǎng) 絡(luò)分配到具有緩沖器尺寸小于B的多個(gè)設(shè)備。此外，不能最小化啟動(dòng)延遲。通用的假設(shè)基準(zhǔn)解碼器(GHRD)通用假設(shè)基準(zhǔn)解碼器(GHRD)在給定N個(gè)漏桶模型信息時(shí)可以進(jìn)行操作，(RpBpFD，(R2，B2，F(xiàn)2)，…，(Rn，Bn，F(xiàn)n)， (4)其中每一個(gè)包括比特流。不失一般性地，假設(shè)這些漏桶從最小到最大比特流排列， 即氏< Ri+1。還假設(shè)編碼器正確地計(jì)算這些漏桶模型并因此有Bi < Bi+1。編碼器可以選擇N的希望值。如果N = 1,GHRD本質(zhì)上等效于MPEG的VBV?？梢?選擇編碼器，以便(a)提前選擇漏桶值并且利用速率控制來編碼比特流，以確保滿足漏桶 的所有限制，(b)編碼比特流，然后使用等式(1)來在R的N個(gè)不同值處計(jì)算包含比特流的 漏桶，或者(c)兩者都進(jìn)行。第一種方法(a)可用于實(shí)時(shí)或點(diǎn)播傳輸，然而(b)和(c)只可用于點(diǎn)播傳輸。將漏桶數(shù)目N和漏桶參數(shù)(4)插入到比特流中。按照這種方式，解碼器可以確定 其希望使用的漏桶，知道對(duì)其可用的峰值比特率和/或其物理緩沖器尺寸。在(4)中的漏 桶模型以及所有線性插值或外推模型是可用的。圖4示出了一組N個(gè)漏桶模型及其插值或 外推(R，B)值。在點(diǎn)k和k+1之間的插值緩沖器尺寸B遵循下面的直線B = {Rk+1-R) / (Rk+1_Rk)} Bk+ {(R-Rk) / (Rk+1_Rk)} Bk+1Rk < R < Rk+1同樣地，可以對(duì)初始解碼器緩沖器充滿度F進(jìn)行線性插值F = {Rk+1-R) / (Rk+1_Rk)} Fk+ {(R-Rk) / (Rk+1_Rk)} Fk+1Rk < R < Rk+1產(chǎn)生的具有參數(shù)(R、B、F)的漏桶包括比特流，因?yàn)樵赗和F中最小緩沖器尺寸Bmin 都是凸的，即對(duì)應(yīng)于任意凸組合(R，F(xiàn)) = a(Rk, Fk) + (l-a) (Rk+1，F(xiàn)k+1)，0 < a < 1,的最小緩 沖器尺寸Bmin小于或等于B = aBk+(l-a)Bk+1。觀察到如果R大于RN，漏桶(R，Bn，F(xiàn)n)還包括比特流，并因此當(dāng)R>=Rn時(shí)， 是推薦的緩沖器尺寸和初始解碼器緩沖器充滿度。如果R小于Rn，產(chǎn)生上邊界B = (RrR) T (并可以設(shè)置F = B)，其中T是以秒計(jì)的流的時(shí)間長度。在圖4中還示出了在N個(gè)點(diǎn)范圍 之外的這些(R，B)值。IS0/IEC MPEG的聯(lián)合視頻組和ITU-T VCEG工作草案號(hào)2，版本0 (WD-2)包含了 多個(gè)由微軟公司的Jordi Ribas-Cobera等提出的假設(shè)基準(zhǔn)解碼器的概念，在此一并包含。 WD-2文獻(xiàn)類似于由微軟公司的Jordi Ribas-Cobera等提出的解碼器，盡管修改了語法。此 外，WD-2說明了對(duì)于給定速率R的計(jì)算B和F的示例算法。


圖1示出了解碼器緩沖器充滿度。圖2示出了 R-B曲線。圖3A和3B分別是對(duì)于在CBR和VBR模式中進(jìn)行操作的比特流的解碼器緩沖器充 滿度的圖；圖4示出了一組N個(gè)漏桶模型及其插值或外推(R，B)值。圖5是當(dāng)速率是&時(shí)針對(duì)用戶希望的解碼器任意點(diǎn)的初始緩沖Bj。圖6示出了以對(duì)于特定視頻流的前視方式(forward lookingfashion)定義的(R， B，F(xiàn))組。圖7示出了針對(duì)視頻段的初始緩沖器充滿度(以比特計(jì))。圖8示出了對(duì)于圖7 —組10個(gè)點(diǎn)的選擇標(biāo)準(zhǔn)。圖9示出了選擇標(biāo)準(zhǔn)。圖10示出了延遲減少。
具體實(shí)施例方式如上所述，JVT標(biāo)準(zhǔn)(WD-2)允許存儲(chǔ)包含在比特流中的(N > = 1)個(gè)漏桶，(禮，BpFi)，…，(RN，BN，F(xiàn)N)值。這些值可以存儲(chǔ)在幀頭中。使用&作為初始緩沖器充滿度并 使用&作為緩沖器尺寸，保證當(dāng)輸入流以速率氏進(jìn)入時(shí)，解碼器緩沖器不會(huì)下溢。這是如 果用戶希望從開始到結(jié)束呈現(xiàn)解碼視頻的情況。在典型的視頻點(diǎn)播應(yīng)用中，用戶也許想搜 尋視頻流的不同部分。用戶希望搜尋的點(diǎn)可以被稱作接入點(diǎn)。在接收視頻數(shù)據(jù)和構(gòu)造視頻 幀的過程期間，緩沖器中的數(shù)據(jù)量波動(dòng)?？紤]之后，本發(fā)明人認(rèn)識(shí)到，如果在開始從接入點(diǎn) 解碼視頻之前使用初始緩沖器充滿度(當(dāng)信道速率是氏時(shí))的h值，則解碼器可能下溢。 例如，在接入點(diǎn)處或這之后的某一時(shí)間，視頻重構(gòu)所需的比特量也許大于當(dāng)前在緩沖器中 的比特，結(jié)果導(dǎo)致下溢和不能夠以適時(shí)的方式呈現(xiàn)視頻幀。同樣地示出了在視頻流中確保 沒有下溢所需的初始緩沖器充滿度的值根據(jù)用戶搜尋點(diǎn)而不同。該值以氏為界。因此，如 果用于視頻中的中間點(diǎn)是不適當(dāng)?shù)模珺和F的組合提供給整個(gè)視頻序列將導(dǎo)致下溢并因此 凍結(jié)幀。根據(jù)上述未實(shí)現(xiàn)的下溢可能，本發(fā)明人認(rèn)識(shí)到，如果對(duì)于整個(gè)視頻段只定義了一 組R、B、F值，則當(dāng)用戶跳到接入點(diǎn)時(shí)，系統(tǒng)將要等待，直到對(duì)于對(duì)應(yīng)速率R的緩沖器B充滿 或相當(dāng)滿(或大于90%充滿)才開始解碼幀。按照這種方式，緩沖器的初始充滿度處于最 大，并且因此在從接入點(diǎn)開始的隨后解碼期間沒有下溢的可能。這可以實(shí)現(xiàn)而不需要現(xiàn)有 比特流的額外變化，因此對(duì)現(xiàn)有系統(tǒng)沒有影響。因此，當(dāng)速率是Rj時(shí)，解碼器對(duì)于用戶搜尋 的任意點(diǎn)使用初始緩沖值I，如圖5所示。然而，不幸的是，有時(shí)在選擇從其呈現(xiàn)視頻的不 同地點(diǎn)(例如接入點(diǎn))之后會(huì)導(dǎo)致顯著延遲，直到呈現(xiàn)了視頻幀。同樣地，選取初始緩沖器充滿度(F)特征為延遲，直到呈現(xiàn)了視頻序列。延遲本質(zhì) 上是關(guān)于實(shí)現(xiàn)初始緩沖充滿度(F)所需的時(shí)間。延遲和/或F可以與整個(gè)視頻或接入點(diǎn)相 關(guān)。同樣地可以理解，在所有所述實(shí)施例中，延遲可以代替F(例如(R，B，delay))?？梢詫?一個(gè)延遲的特定值計(jì)算為延遲delay = F/R，使用特定時(shí)間單位(90KHz時(shí)鐘的單位)。為減少可能的延遲，本發(fā)明人認(rèn)識(shí)到，可以在每一個(gè)接入點(diǎn)處針對(duì)特定視頻流來 定義(R，B，F(xiàn))組。參考圖6，優(yōu)選地，對(duì)于特定視頻流，按照前視方式定義這些(R，B，F(xiàn))組。 例如，按照之前已有的方式，針對(duì)作為整體的視頻流來計(jì)算(R，B, F)組值，此外，對(duì)于與整 體視頻流相同的(R，B)值的F值組，可以按照針對(duì)相對(duì)于從位置“2”向前視頻流的之前已 有方式來進(jìn)行計(jì)算。對(duì)于其它接入點(diǎn)可以使用相同的處理。接入點(diǎn)可以是在視頻序列中 的任一幀，序列的I幀、序列的B幀或者序列的P幀(I、B和P幀典型用于基于視頻編碼的 MPEG中)。因此，用戶可以選擇接入點(diǎn)之一并其后針對(duì)希望初始充滿度(假設(shè)緩沖器1_和 速率Rj保持未變化)使用各自的或兩個(gè)或更多氏、B” 組。標(biāo)記“i”表示每一個(gè)漏桶并且標(biāo)記“j”表示每一個(gè)隨機(jī)接入點(diǎn)。假設(shè)緩沖器Bi和 速率氏保持未變化，在幀頭存儲(chǔ)多組值仇，氏， )，其中I = 1,2,…，N并且Fn表示初始 緩沖器充滿度。然后在每一個(gè)接入點(diǎn)j處存儲(chǔ)Fu，其中j = l，2，…。另一方面，假設(shè)緩沖 器&和速率氏在每一個(gè)接入點(diǎn)j處變化，在接入點(diǎn)處存儲(chǔ)多組值(By氏，F(xiàn).j)。前一情況 的益處在于其節(jié)省了數(shù)據(jù)量，這是因?yàn)樵诿恳粋€(gè)接入點(diǎn)處只存儲(chǔ)了多組？。.值，后一情況的 益處在于其能夠針對(duì)每一個(gè)接入點(diǎn)更正確地調(diào)節(jié)那組值。當(dāng)使用直到呈現(xiàn)視頻序列的延遲 (D)而不是初始緩沖器充滿度(F)時(shí)，通過用代替可以實(shí)現(xiàn)本發(fā)明。在這種情況下，
表示延遲值。然后，當(dāng)假設(shè)緩沖器&和速率氏保持未變化時(shí)，在幀頭存儲(chǔ)(ByRpDj并 且在每一個(gè)接入點(diǎn)j處存儲(chǔ)Du。當(dāng)假設(shè)緩沖器Bi和速率氏在每一個(gè)接入點(diǎn)處變化時(shí)，在每一個(gè)接入點(diǎn)處存儲(chǔ)多組值(Bu，Ru，D.j)。用于每一個(gè)接入點(diǎn)的R、B、F組的值可以位于任意適當(dāng)位置，例如在具有針對(duì)整個(gè) 視頻流的(R，B，F(xiàn))組值的視頻序列開始處或者在避免需要標(biāo)記的每一個(gè)接入點(diǎn)之前；或者 以在視頻流本身外部的方式存儲(chǔ)，該方式對(duì)于服務(wù)器/客戶機(jī)環(huán)境尤其適用。該技術(shù)可以用下面模型來表征(R^，B1 ？ F1 ？ M1 fii，七工工，...，fM11，tM11)...，(Rn Bn，F(xiàn)n，Mn，f ？ t1N，...，f麗N，七腦)，^^中
fkJ表示在接入點(diǎn)tw (時(shí)戳)處以速率&的初始緩沖器充滿度值。提供M」的值作為輸入?yún)?數(shù)或者可以自動(dòng)選擇。例如，Mj可以包括下面選項(xiàng)(a)可以設(shè)置化等于接入點(diǎn)的數(shù)目。按照這種方式，針對(duì)每一個(gè)接入點(diǎn)，以每一個(gè) 速率民存儲(chǔ)fy的值(或者在視頻流開始處，在視頻流中，通過視頻流分配，或者在任意位置)。(b)如果沒有希望的可搜尋支持，可以設(shè)置Mj等于0。(c)可以自動(dòng)選擇針對(duì)每一個(gè)速率R」的M」值(隨后進(jìn)行說明)。對(duì)于給定&，如果用戶搜尋接入點(diǎn)，系統(tǒng)可以使用等于‘的初始緩沖充滿度。 當(dāng)用戶選擇在接入點(diǎn)處開始時(shí)或系統(tǒng)將用戶選擇調(diào)節(jié)到接入點(diǎn)之一時(shí)，出現(xiàn)這種情況。注意到，在使用可變比特率(以比特流計(jì))的情況下，優(yōu)選地，初始緩沖器充滿度 值(或延遲)不同于緩沖器尺寸(或由緩沖器尺寸計(jì)算的延遲)，雖然其可以是相同的。在 可變比特率的情況下填充MPEG-2VBV緩沖器，直到其充滿，即F = B(B的值由vbv_buffer_ size表不)。在本發(fā)明中，可以在每一個(gè)隨機(jī)接入點(diǎn)處適當(dāng)?shù)剡x擇初始緩沖器充滿度值以避免 任意緩沖器下溢和上溢。當(dāng)使用直到呈現(xiàn)了視頻序列的延遲而不是緩沖器充滿度時(shí)，在每 一個(gè)隨機(jī)接入點(diǎn)處適當(dāng)?shù)剡x擇延遲值以避免任一緩沖器下溢和上溢。通常，這意味著在每 一個(gè)隨機(jī)接入點(diǎn)處實(shí)現(xiàn)了更小的延遲而不是填充VBV緩沖器直到其滿。因此，通過本發(fā)明 確定小于緩沖器尺寸(或由緩沖器尺寸計(jì)算的延遲)的緩沖器充滿度值(或延遲)具有較 小延遲的優(yōu)點(diǎn)，因?yàn)樵陂_始解碼之前需要緩沖的數(shù)據(jù)少于現(xiàn)有技術(shù)。如果系統(tǒng)允許用戶以接入點(diǎn)的方式跳到視頻的任意幀，則需要針對(duì)每一個(gè)幀來提 供解碼數(shù)據(jù)組。盡管是允許的，但結(jié)果數(shù)據(jù)組將會(huì)非常大，并且消耗對(duì)于數(shù)據(jù)可用的大量比 特率。更合理的方法是限制用戶到視頻流中的特定接入點(diǎn)，例如每秒、10秒、1分鐘等。盡 管進(jìn)行了改進(jìn)，結(jié)果數(shù)據(jù)組仍然產(chǎn)生對(duì)于例如移動(dòng)天線設(shè)備的有限帶寬設(shè)備過量的數(shù)據(jù)。在用戶選擇不是接入點(diǎn)之一的具有相關(guān)數(shù)據(jù)組的位置的情況下，在tkj和t(k+1)j之 間的時(shí)間內(nèi)，初始緩沖器充滿度等于max (fkJ, f(k+1)J)，尤其是如果正確選擇了接入點(diǎn)。按照 這種方式，系統(tǒng)確保具有不會(huì)導(dǎo)致下溢情況的一組值，或者減少了下溢情況的可能，如隨后 所解釋。當(dāng)使用上述參考選擇標(biāo)準(zhǔn)時(shí)，為了選擇一組確保沒有(或者減少)下溢情況的值， 參考圖7。圖7示出了對(duì)于視頻段的初始緩沖器充滿度(以比特計(jì))，其中以10秒的增量 計(jì)算前視初始緩沖器充滿度。然后優(yōu)選地，系統(tǒng)選擇在視頻序列開始處的接入點(diǎn)和在視頻 段結(jié)束處的接入點(diǎn)。在視頻段開始和結(jié)束之間，系統(tǒng)選擇要包括的局部最大量作為接入點(diǎn)。 此外，系統(tǒng)可以選擇要包括的局部最小量作為接入點(diǎn)。優(yōu)選地，如果希望有限組接入點(diǎn)，系 統(tǒng)首先選擇局部最大量，然后是局部最小量，以有助于確保沒有下溢。其后，如所希望地，系
9統(tǒng)還選擇中間點(diǎn)。根據(jù)選擇標(biāo)準(zhǔn)，可以選擇針對(duì)圖7的10個(gè)點(diǎn)組，如在圖8中所示。參考圖9，用虛 線示出10個(gè)選擇點(diǎn)。用實(shí)曲線示出在所有接入點(diǎn)處的結(jié)果初始緩沖器充滿度值。實(shí)線示 出了對(duì)于在視頻中的所有點(diǎn)“安全的”一組值，使得解碼器緩沖器不會(huì)下溢。如果在處理中 沒有檢測(cè)到在實(shí)際比特流的比特率中發(fā)生的例如尖銳毛刺的劇烈波動(dòng)，則可能產(chǎn)生下溢， 盡管一般不可能。用點(diǎn)劃線示出了在所有接入點(diǎn)的最佳初始緩沖器充滿度值。如圖10所 示，與當(dāng)接入接入點(diǎn)時(shí)需要充滿的緩沖器相比，實(shí)現(xiàn)了緩沖時(shí)間延遲的顯著減少。此外，如果比特率和緩沖器尺寸保持相同，同時(shí)選擇不同接入點(diǎn)，則僅需要提供或 確定修改的緩沖器充滿度F。所有引用的參考在此一并包含。在上述說明書中使用的術(shù)語和表達(dá)式被用作說明的術(shù)語而沒有限制，并且在使用 這些術(shù)語和表達(dá)式中，沒有任何排除示出和說明的特點(diǎn)等同物及其部分的目的，僅由下面 的權(quán)利要求定義和限制本發(fā)明的范圍。
權(quán)利要求
一種視頻編碼器，包括針對(duì)作為視頻段整體的第一部分，存儲(chǔ)第一組傳輸比特率的多個(gè)特征值的裝置；針對(duì)所述視頻段的所述第一部分，存儲(chǔ)第二組緩沖器尺寸的多個(gè)特征值的裝置；存儲(chǔ)第三組直到呈現(xiàn)了所述視頻段的所述第一部分的延遲的多個(gè)特征值的裝置；分別選擇所述第一組值中的一個(gè)、所述第二組值中的一個(gè)和所述第三組值中的一個(gè)，以使所述視頻段的所述第一部分沒有下溢情況和上溢情況的裝置；存儲(chǔ)第四組直到呈現(xiàn)了所述視頻段的第二部分的延遲的多個(gè)特征值的裝置，其中所述第二部分是所述第一部分的規(guī)定位置以后的部分；和分別選擇所述第一組值中的一個(gè)、所述第二組值中的一個(gè)和所述第四組值中的一個(gè)，以使所述視頻段的所述第二部分沒有下溢情況和上溢情況的裝置。
2.一種編碼視頻的方法，包括針對(duì)作為視頻段整體的第一部分，存儲(chǔ)第一組傳輸比特率的多個(gè)特征值的步驟； 針對(duì)所述視頻段的所述第一部分，存儲(chǔ)第二組緩沖器尺寸的多個(gè)特征值的步驟； 存儲(chǔ)第三組直到呈現(xiàn)了所述視頻段的所述第一部分的延遲的多個(gè)特征值的步驟； 分別選擇所述第一組值中的一個(gè)、所述第二組值中的一個(gè)和所述第三組值中的一個(gè)， 以使所述視頻段的所述第一部分沒有下溢情況和上溢情況的步驟；存儲(chǔ)第四組直到呈現(xiàn)了所述視頻段的第二部分的延遲的多個(gè)特征值的步驟，其中所述 第二部分是所述第一部分的規(guī)定位置以后的部分；和分別選擇所述第一組值中的一個(gè)、所述第二組值中的一個(gè)和所述第四組值中的一個(gè)， 以使所述視頻段的所述第二部分沒有下溢情況和上溢情況的步驟。
全文摘要
說明了使用緩沖模式用于編碼數(shù)字視頻數(shù)據(jù)的速率控制方法。在現(xiàn)有技術(shù)中，當(dāng)進(jìn)行隨機(jī)接入解碼時(shí)，難以防止緩沖器下溢。在本發(fā)明中，在比特流中，在每一個(gè)隨機(jī)接入點(diǎn)處提供例如初始解碼器緩沖器充滿度和初始延遲的控制參數(shù)，從而不會(huì)發(fā)生緩沖器下溢，并且能夠?qū)崿F(xiàn)最佳解碼延遲。
文檔編號(hào)H04N7/26GK101854553SQ20101019901
公開日2010年10月6日 申請(qǐng)日期2004年3月26日 優(yōu)先權(quán)日2003年3月31日
發(fā)明者薩欽·戈文德·德什潘德 申請(qǐng)人:夏普株式會(huì)社