專利名稱：音頻/視頻定時(shí)差異的處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻和視頻信號(hào)的編碼，并特別涉及產(chǎn)生音頻和視頻素材段，這些素材段在運(yùn)作中能被結(jié)合在一起。
典型的情況是，當(dāng)要求兩個(gè)視頻片段一個(gè)接一個(gè)地播放時(shí)，在解碼第二片段之前，解碼器需要復(fù)位到起始狀態(tài)。在此復(fù)位期間，用戶將會(huì)看到凍結(jié)在屏幕上的第一片段的最后幀，并伴以伴音的消失。取決于凍結(jié)/靜音的持續(xù)時(shí)間，這種不連續(xù)性能闖入用戶。
被要求的是一種無縫隙的連接，這里一個(gè)片段的結(jié)束與下一片段的開始之間的轉(zhuǎn)換，對(duì)解碼器來說不明顯，從用戶的觀點(diǎn)來看意味著沒有觀賞幀可查覺的速率改變，并且聲音的持續(xù)性也不受阻撓。關(guān)于無縫隙視頻的應(yīng)用是數(shù)量巨大的。出自CD-i景象的例子是對(duì)于計(jì)算機(jī)生成的字符采用真實(shí)照片作為背景；使用此技術(shù)的例子是在MPEG編碼視頻序列前運(yùn)動(dòng)的動(dòng)畫字符。另外就是一系列資格用戶例如與交互式電影交互作用，通過選擇可得到的幾種變更方案觀眾有可能去影響故事情節(jié)發(fā)展。貫穿交互式電影沿著用戶選取的路徑，分岔處應(yīng)該看來無縫隙，否則用戶將失去通常看電影的懷疑懸念感受。
一種不要求重新初始化解碼器的視頻段編碼方法，在申請(qǐng)?zhí)?424436.5(PHB 33950)題為“視頻編輯緩沖器管理(Video EditingBuffer Management)”，我們1994年12月2日申請(qǐng)的未決英國專利中做了說明。該說明使用解碼緩存器目標(biāo)準(zhǔn)線(targeting of decoderbuffer levels)以達(dá)到連續(xù)占用解碼緩存器，使每個(gè)視頻片段的尾和要與之相繼的片段可預(yù)測(cè)的每個(gè)段起始，在解碼緩存器中直接相連，而沒有上溢和下溢的風(fēng)險(xiǎn)。
上述方法在適合視頻幀序列的同時(shí)不考慮與此序列通常相伴隨的其它信息-例如音頻聲跡。此視頻經(jīng)常與其它信息交織成單一流，稱作系統(tǒng)流，它構(gòu)成將在解碼器/顯示設(shè)備上出現(xiàn)的數(shù)據(jù)。(例如從CD盤讀出或通過有線網(wǎng)絡(luò)遞送的數(shù)據(jù)流)。隨著試圖形成能夠無縫隙連結(jié)的交織段，這里出現(xiàn)了傳遞視頻通常與傳遞音頻所花費(fèi)的時(shí)間不相等的問題，在進(jìn)行相連片段開始時(shí)間預(yù)測(cè)時(shí)，這種時(shí)間的差異能造成錯(cuò)誤狀態(tài)，比如在完成當(dāng)前片段解碼之前就指示相連片段的解碼開始。
因此，本發(fā)明的目的是提供系統(tǒng)流段的無縫隙連接，而且避免這種時(shí)間的重迭和解碼緩存器的上溢或下溢。
按照本發(fā)明提供了一種編碼數(shù)字視頻信號(hào)的方法，以這種形式即每段包含兩個(gè)或更多的視頻幀，并且在一解碼設(shè)備中，該設(shè)備具有一編碼級(jí)，一編碼緩存器，以及將編碼視頻信號(hào)至少和另外一種信號(hào)交織以形成系統(tǒng)流的裝置。對(duì)于每個(gè)段，此方法包括下列步驟根據(jù)預(yù)定的編碼方案相繼地編碼段中的各個(gè)幀；讀編碼幀送入緩存器；以基本上恒定的位率從緩存器讀出編碼的段；將緩存器輸出信號(hào)與一個(gè)或更多時(shí)間標(biāo)記交織在一起得到系統(tǒng)流；其特征在于編碼緩存器的占用被控制以具有第一預(yù)定準(zhǔn)線(level)，前一段的最后幀此時(shí)刻正被讀入此位置，此占用準(zhǔn)線與解碼器緩存器的占用準(zhǔn)線有關(guān)。此方法還包括以下步驟-得到以恒定位率填充解碼器緩存器從空到所說解碼器緩存器占用準(zhǔn)線所需的時(shí)間t；-對(duì)當(dāng)前段預(yù)測(cè)持續(xù)增量Δ；-對(duì)當(dāng)前段的最后幀將從解碼器緩存器讀出點(diǎn)預(yù)測(cè)時(shí)間值；-降低t值直到由(t+Δ)給出的時(shí)間值接近且略大于所說的時(shí)間值，此時(shí)當(dāng)前段的最后幀將從解碼器緩存器中被讀出；和-插一時(shí)間標(biāo)記到該段的系統(tǒng)流中，指出這個(gè)段的第一幀在加載段開始以后，在由降低了的t值給定的時(shí)間，將從解碼器緩存器中讀出。
當(dāng)前段的最后幀將從解碼器緩存器讀出點(diǎn)的時(shí)間值，可通過從解碼器緩存器以時(shí)間計(jì)的最大容量減去段的持續(xù)時(shí)間的計(jì)算而被預(yù)測(cè)。更可取地，這時(shí)間值(在當(dāng)前段的最后幀從解碼器緩存器將被讀出的點(diǎn)上)對(duì)每個(gè)交織的不同的流被預(yù)測(cè)，以這最大值用于對(duì)全部流的降低t值的獲取。
為了防范理論上有可能但不一定出現(xiàn)的下溢情況(這以后還將說明)在達(dá)到預(yù)定的解碼器緩存器占用準(zhǔn)線之前編碼器可能限制編碼幀的大小。
正如下面將要論證的，這引出的瞬間，此時(shí)解碼器應(yīng)當(dāng)開始解碼接收的段，使得在系統(tǒng)流的級(jí)別上平滑連接這些段，并且依靠按流的長度去調(diào)節(jié)這個(gè)開始時(shí)間，上面提到的潛在的重迭問題的可能性能得以避免。而且，由于解碼器緩存器的目標(biāo)準(zhǔn)線是根據(jù)編碼器緩存器內(nèi)容所計(jì)算的準(zhǔn)線，必須盡可能地填滿解碼器緩存器以后再開始解碼的傳統(tǒng)技術(shù)得以免除。
更可取地，一公共解碼器緩存器準(zhǔn)線(此后第一時(shí)間標(biāo)記t初始值定位)被提供，依靠設(shè)定用于編碼第一段的各圖象的目標(biāo)位數(shù)可達(dá)到目的，而且，在段的尾部編碼以便到達(dá)所說的編碼器緩存器占用準(zhǔn)線期間，可控制地改變每個(gè)圖象的位分配。
正如將要說明的，為了確定解碼器緩存器準(zhǔn)線，最大編碼器緩存器占用準(zhǔn)線最好以解碼器緩存器占用準(zhǔn)線來指定，該解碼器緩存器占用準(zhǔn)線由編碼器最大準(zhǔn)線和第一段最后圖象已被讀入編碼器緩存器以后，一幀周期編碼器緩存器占用準(zhǔn)線之間的差來確定。
本發(fā)明還提供了一數(shù)字視頻信號(hào)編碼設(shè)備，它被配置用于編碼圖象段，這里每個(gè)段包含兩個(gè)或更多視頻幀。該設(shè)備包括一編碼級(jí)安排來接收段的連續(xù)幀，并按照預(yù)定的編碼方案將它們編碼；一緩沖器連結(jié)用以接收來自編碼級(jí)的連續(xù)編碼幀，并安排以基本恒定的位率輸出編碼的段；還有一多路轉(zhuǎn)換器連結(jié)用以接收緩沖器輸出和至少一種其它信號(hào)，并安排將它們交織成為系統(tǒng)流；其特征在于編碼級(jí)以可控制的可變位數(shù)操作去編碼段中的圖象，例如，在段的最后圖象被讀入編碼器緩存器的瞬間給出預(yù)定的編碼器緩存器占用，產(chǎn)生段的持續(xù)時(shí)間預(yù)測(cè)值和該段的最后幀從解碼器緩存器被讀出點(diǎn)的時(shí)間預(yù)測(cè)值，并根據(jù)它確定時(shí)間值。另外所說多路轉(zhuǎn)換器安排用來插入時(shí)間標(biāo)記到段的系統(tǒng)流中，指示此段的第一幀，在開始裝載此段進(jìn)入解碼器緩存器之后的所說確定的時(shí)間值，將從解碼器緩存器中被讀出。
本發(fā)明其它的特點(diǎn)和優(yōu)點(diǎn)，閱讀了下面的說明和所附權(quán)利要求，將會(huì)清楚。所公開的具體內(nèi)容以做參考。
僅作為示例并參照所附附圖，現(xiàn)將對(duì)優(yōu)選實(shí)施方案作出說明，其中

圖1表示在連接兩個(gè)視頻片段時(shí)編碼和解碼視頻緩存器的內(nèi)容；圖2表示解碼器視頻和系統(tǒng)緩存器占用之間的關(guān)系；圖3到5表示在傳統(tǒng)的系統(tǒng)中，分別對(duì)應(yīng)目標(biāo)片段的開始和結(jié)尾解碼器視頻和系統(tǒng)緩存器的內(nèi)容；圖6到7表示分別對(duì)應(yīng)目標(biāo)音頻片段的開始和結(jié)尾音頻緩存器的內(nèi)容；圖8到9分別為編碼器和解碼器設(shè)備的原理圖示；圖10顯示音頻/視頻目標(biāo)復(fù)合對(duì)的MPEG STD狀態(tài)曲線；圖11顯示MPEG VBV的起始狀態(tài)以及音頻和視頻STD緩存器占用的起始狀態(tài)；圖12表示圖11的音頻和視頻STD緩存器占用的結(jié)尾狀態(tài)；和圖13說明了音頻和視頻幀之間的時(shí)間值的差異。
下面的說明關(guān)系到編碼器和解碼器按照MPEG標(biāo)準(zhǔn)的操作，以及后面將要用到的這些標(biāo)準(zhǔn)的習(xí)慣名稱。然而有實(shí)際經(jīng)驗(yàn)的人都會(huì)認(rèn)可，本發(fā)明的使用并不限定于此MPEG標(biāo)準(zhǔn)。
任何編碼標(biāo)準(zhǔn)的開發(fā)必須帶有編碼器和解碼器如何相互接口的模型。當(dāng)編碼器運(yùn)行時(shí)它必須設(shè)想在解碼器中會(huì)碰到的情況，決不能使解碼器進(jìn)入非法狀態(tài)。同樣地，解碼器也必須支持與編碼器所使用的相同的模型，以便使本身維持在合法狀態(tài)并產(chǎn)生編碼器所希望的輸出。MPEG也無例外遵從這個(gè)規(guī)則。
起初，考慮產(chǎn)生能被無縫隙連結(jié)的純視頻數(shù)據(jù)段將是有用的。一優(yōu)選方法在上面提到的編號(hào)為9424436.5(PHB 33950)我們的英國申請(qǐng)中作了說明，并參考圖1在下面對(duì)其進(jìn)行概述，圖1給出緩存器占用B對(duì)時(shí)間t的圖形，顯示了作為一個(gè)視頻幀(圖象)序列A的結(jié)尾和另一個(gè)B的開始，編碼器和解碼器緩存器的狀態(tài)情況。LA指示序列A的最后圖象；FB指示序列B的第一圖象。從序列A到序列B傳遞數(shù)據(jù)的改變由粗的緩存器占用線的變化來表示，而來自序列A的圖象由點(diǎn)劃線表示。在某時(shí)間tx，序列A的全部數(shù)據(jù)被傳遞完，而且VBV(視頻緩存器校驗(yàn)-MPEG解碼器模型)有Bx位的占用。從此時(shí)間起傳遞到緩存器的全部數(shù)據(jù)都是序列B的。然而，將會(huì)注意到，序列A尾部的某些圖象仍然還在緩存器中，當(dāng)緩存器有B1位的占用時(shí)，在時(shí)間t1之前這些圖象被全部清除。
編碼器當(dāng)它試圖達(dá)到在VBV緩存器中某種程度占用時(shí)經(jīng)歷一稱做達(dá)標(biāo)(targeting)的過程。在達(dá)標(biāo)期間編碼器假定當(dāng)已編碼的第一圖象放入緩存器時(shí)，VBV緩存器具有某個(gè)目標(biāo)占用，這就給了第一圖象尺寸的上限。在編碼進(jìn)行的結(jié)尾編碼器瞄準(zhǔn)這樣一個(gè)時(shí)間點(diǎn)上的VBV的占用，此時(shí)下一序列的第一圖象正好要從緩存器中被清除，即圖1中的Bt點(diǎn)。依靠改變最后圖象或后面幾幅圖象的尺寸，在編碼時(shí)達(dá)到此狀態(tài)。
在示于圖1的例子中編碼器瞄準(zhǔn)狀態(tài)Bt，此狀態(tài)表示在新序列第一圖象正好被移走之前這一時(shí)刻的VBV緩存器占用。當(dāng)編碼器運(yùn)行時(shí)，由于通常沒有直接與解碼器連結(jié)上，是根據(jù)它的輸出緩存器而不是轉(zhuǎn)換VBV緩存器的狀態(tài)和來自VBV緩存器的狀態(tài)變化來管理圖象的尺寸。相應(yīng)地，下面的途徑將參考Btc和Bic(見圖上部編碼器占用值)。
當(dāng)達(dá)標(biāo)開始狀態(tài)時(shí)，編碼器假定在它引入第一圖象這點(diǎn)上存在某種程度的占用。這個(gè)緩存器占用是Btc位，它表示前一序列末尾的殘留位。這些位的存在限制了第一圖象的最大尺寸為Bt位，并且繼續(xù)影響下面的圖象尺寸直到時(shí)間ttc以后全部殘留位被移去。
從編碼器角度來看開始狀態(tài)的達(dá)標(biāo)是非常簡(jiǎn)單的，因?yàn)槿恳笾皇窃O(shè)定其初始占用到Btc位而不是通?？盏拈_始狀態(tài)。
當(dāng)編碼器接近序列的末端時(shí)，它試圖通過強(qiáng)制最后圖象的大小到當(dāng)它放入該緩存器時(shí)，占用將增加到Bic位，以達(dá)到點(diǎn)Bic的目標(biāo)。如果僅在最后圖象上進(jìn)行大程度的尺寸固定(sige fixing)則可能產(chǎn)生質(zhì)量非常差的圖象。為克服這些，編碼器最好有大量的位用于最后的GOP(圖象組)和大量的位用于GOP中的每個(gè)K圖象，以使編碼器大大靠近正確狀態(tài)。
現(xiàn)在轉(zhuǎn)到系統(tǒng)層，這是在多路轉(zhuǎn)換器結(jié)合視頻，音頻和其它基本流到一個(gè)系統(tǒng)流時(shí)產(chǎn)生的，系統(tǒng)流包含交織的基本流和以系統(tǒng)時(shí)鐘參照(SCR)，顯示時(shí)間標(biāo)記(PTS)和解碼時(shí)間標(biāo)記(DTS)形式出現(xiàn)的定時(shí)信息。
多路轉(zhuǎn)換器的任務(wù)是保證從系統(tǒng)流中得到、進(jìn)入解碼緩存器的數(shù)據(jù)足夠快，以使緩存器從來不會(huì)完全空，而又足夠慢以使緩存器不會(huì)上溢。MPEG標(biāo)準(zhǔn)定義了一緩存器叫做系統(tǒng)目標(biāo)解碼器(STD)，用來模擬從數(shù)字存貯介質(zhì)(DSM)到解碼器的數(shù)據(jù)傳遞。此緩存器的目的是屏蔽下述情況因?yàn)閿?shù)據(jù)的交織，傳遞到解碼器去的是以突發(fā)形式，而解碼器性能模擬假定的是恒定位率。多路轉(zhuǎn)換視頻和音頻流通常的策略按慣例是從盡可能滿地填充STD緩存器開始。最后包組裝的SCR被設(shè)置以使第一圖象在這個(gè)時(shí)刻從緩存器中移去。接著，前面那些包的SCR由于它們的到達(dá)時(shí)間上領(lǐng)先于這個(gè)包被設(shè)置到正確的值。最后，緩存器被保持得盡可能地滿，直到基本流中的數(shù)據(jù)全部用完。
多路轉(zhuǎn)換器的操作比這些要更為復(fù)雜，因?yàn)槎嗦忿D(zhuǎn)換器要判斷多重流。而且多路轉(zhuǎn)換器還需要支持其它的特點(diǎn)，這些是為滿足系統(tǒng)流的特性所需要的，因?yàn)閷?duì)目標(biāo)平臺(tái)(target platform)已經(jīng)作了規(guī)定。
STD緩存器，如圖2所示能被考慮如同包圍住VBV緩存器。此圖給出了STD和VBV關(guān)系的簡(jiǎn)單表現(xiàn)，在圖2中STD緩存器占用(粗線)顯示出包圍VBV緩存器。要說的一點(diǎn)是STD緩存器線的斜率大于VBV線的，這是因?yàn)镈SM的位率高于編碼的視頻位率。同時(shí)還可以看到在時(shí)間段(參照符Q所表示的)中沒有數(shù)據(jù)傳遞到STD中。它的出現(xiàn)或者由于DSM的帶寬被其它基本流占據(jù)，或者是緩存器管理的結(jié)果使多路轉(zhuǎn)換器決定不能送數(shù)據(jù)到STD。
圖3的圖形顯示在解碼正常流，也就是不是目標(biāo)流的開始，VBV和STD占用的情況。為了易于了解，在圖形中圖象從兩個(gè)緩存器中被移去的時(shí)間(按術(shù)語說是系統(tǒng)時(shí)標(biāo))表示成相互同步的。VBV沒有數(shù)據(jù)傳遞開始時(shí)間的概念，只有根據(jù)VBV延時(shí)圖象的移去時(shí)間。為了圖形的對(duì)齊，在圖中一恒定的偏移被加在VBV的取樣時(shí)間上。
從圖3可以看到，多路轉(zhuǎn)換器和編碼器在片段的開始都遵循類似的策略。也就是說，它們的緩存器，如上所述，在第一圖象被移去之前已填充得盡可能的多些。此時(shí)還可以發(fā)現(xiàn)，STD緩存器占線總是包含著VBV占用。此規(guī)律的例外是在起動(dòng)期間，因?yàn)镈SM的數(shù)據(jù)率高于VBV的，所以對(duì)STD的傳遞開始在VBV之下。
現(xiàn)在轉(zhuǎn)到能連結(jié)在一起的系統(tǒng)流的產(chǎn)生上，包含視頻的無縫隙系統(tǒng)流的產(chǎn)生將首先被考慮。再參考圖1，可以看到將序列A結(jié)尾的全部位移去所花費(fèi)的時(shí)間取決于對(duì)序列A的數(shù)據(jù)傳遞停止時(shí)，有多少圖象存在在緩存器中。這個(gè)時(shí)間取決于源的素材和所用的編碼器，因此，時(shí)間tx的緩存器占用Bx片段和片段之間各不相同。從而多路轉(zhuǎn)換器無法計(jì)算tx和Bx應(yīng)該是多少，對(duì)一般情況根據(jù)知識(shí)通常這是可以得到的，即位率，幀率和原有的Bt。
為克服上面所說未知的問題，我們利用了這樣一個(gè)事實(shí)，當(dāng)序列A的傳遞停止時(shí)緩存器中的數(shù)據(jù)是足夠支持一段時(shí)間，以恒定傳輸率傳遞Bt位所需花費(fèi)的時(shí)間。我們認(rèn)為在多路轉(zhuǎn)換的流的開始，允許設(shè)定最大的時(shí)間為傳遞Bt個(gè)位，即
tt＝Bt/R (1)這里tt如圖1所示，而R是傳遞率。
此時(shí)間對(duì)多路轉(zhuǎn)換器很重要，因?yàn)樗沟迷谠擖c(diǎn)上設(shè)置SCR時(shí)間，正是從這個(gè)點(diǎn)起第一圖象要從STD緩存器中移去。從而，多路轉(zhuǎn)換器被設(shè)定去填充STD緩存器至少到Bt位，同時(shí)設(shè)置SCR以便在這個(gè)時(shí)間第一圖象被移走。注意這不同于傳統(tǒng)技術(shù)在于，第一圖象被移走點(diǎn)緩存器要求填充到盡可能的多。
需要指出的是此處STD緩存器大于VBV緩存器。在受限制的系統(tǒng)參數(shù)(CSPS)情況下，STD緩存器對(duì)比于VBV的最大尺寸40K字節(jié)，可高達(dá)46K字節(jié)。這多出的空間使多路轉(zhuǎn)換器去交織不同的基本流進(jìn)入單一系統(tǒng)流，避免零星傳輸?shù)浇獯a器。
圖4的曲線圖顯示目標(biāo)多路轉(zhuǎn)換操作開始時(shí)VBV和STD緩存器的情況。如同圖3，曲線表示相對(duì)于時(shí)間t(系統(tǒng)時(shí)標(biāo))的占用B(位)。它指出VBV和STD緩存器的占用，在第一圖象從緩存器移走這一點(diǎn)上是相等的。從這一點(diǎn)起STD緩存器的占用開始超過VBV緩存器的占用，這是由于數(shù)據(jù)傳遞率較高。
多路轉(zhuǎn)換器對(duì)STD緩存器的末尾狀態(tài)控制非常弱。末尾狀態(tài)取決于仍然在緩存器中的圖象的大小，這是受編碼器控制的。最好多路轉(zhuǎn)換器試圖盡可能快地傳遞數(shù)據(jù)到STD以防范所謂的SCR重迭問題。當(dāng)來自第一片段的數(shù)據(jù)并非全部被交付，那里的數(shù)據(jù)變成屬于下面片段的了。對(duì)此建議的多路轉(zhuǎn)換器策略是對(duì)數(shù)據(jù)打包，只要STD緩存器能接受數(shù)據(jù)而不管如何的小。
圖5顯示在片段末尾VBV和STD狀態(tài)的曲線。從而可以看出對(duì)STD的數(shù)據(jù)傳遞停止得早于VBV，這是因?yàn)镾TD緩存器較大而且接收的位率較高。朝向片段的末端此兩條曲線重新會(huì)聚在一起。在此時(shí)間點(diǎn)上對(duì)兩個(gè)緩存器的數(shù)據(jù)傳遞均已停止，它們持有的僅是構(gòu)成片段末尾的圖象。末尾圖象從這些緩存器移走所花費(fèi)的時(shí)間是以下一片段的數(shù)據(jù)，在該片段第一圖象移走之前填充這些緩存器可用的時(shí)間，此填充時(shí)間在圖1中以時(shí)間tt表示。
現(xiàn)轉(zhuǎn)到音頻信號(hào)，對(duì)于音頻沒有與VBV緩存器的對(duì)應(yīng)物，這就使得得到無縫隙的音頻比視頻簡(jiǎn)單得多。其原因是音頻以恒定的瞬時(shí)位率編碼，換句話說，全部類似編碼的音頻幀是同樣尺寸，不超出一個(gè)字節(jié)，而視頻幀的尺寸變化取決于幀的類型和復(fù)雜程度。然而，多路轉(zhuǎn)換器可以瞄準(zhǔn)這一時(shí)間STD緩存器的狀態(tài)，此時(shí)以類似于視頻時(shí)的辦法音頻的第一幀被移走。
圖6顯示目標(biāo)音頻多路轉(zhuǎn)換操作開始時(shí)的曲線。此時(shí)多路轉(zhuǎn)換器瞄準(zhǔn)2048字節(jié)(16384位)處STD的狀態(tài)，在此時(shí)刻第一音頻幀被移去，填充時(shí)間是相似于圖1中的tt并且具有類似的特性，即該時(shí)間必須不大于在緩存器中當(dāng)數(shù)據(jù)傳遞停止時(shí)由音頻幀數(shù)代表的時(shí)間。當(dāng)多路轉(zhuǎn)換器達(dá)到其目標(biāo)并且第一音頻幀已被移走，它遵循保持STD緩存器盡可能滿的策略。曲線斜率的大增表明了音頻包的傳輸。在此情況下，音頻包的大小約為2K字節(jié)，因?yàn)樗迷贑D-i的回放多路轉(zhuǎn)換，而CD-i的扇區(qū)大小約為2K字節(jié)。
圖7顯示音頻片段尾部STD情況的曲線。表示從數(shù)據(jù)停止傳遞時(shí)開始，緩存器中音頻幀占用的有規(guī)律逐步下降。這些剩余的音頻幀掩蓋了從一個(gè)音頻片段的結(jié)束到另一個(gè)之間的變化。它們持續(xù)的有限時(shí)間取決于幀數(shù)但參考圖6可見，填充STD緩存器到其目標(biāo)的時(shí)間，相對(duì)于被剩余幀掩蓋的時(shí)間是非常短的，這使STD不發(fā)生下溢，這里假定了DSM位率大體上高于音頻位率。我們的經(jīng)驗(yàn)表明，對(duì)音頻STD緩存器定標(biāo)到50％滿可給出可接受的結(jié)果。
圖8所示編碼設(shè)備它具有分別對(duì)視頻V和音頻A信號(hào)分離的編碼器級(jí)10和12。還有一個(gè)用作幀參考信號(hào)的輸入，它標(biāo)識(shí)視頻信號(hào)中的各個(gè)幀(例如用相對(duì)于序列中第一和最后圖象的相對(duì)位置)，被連到目標(biāo)設(shè)定級(jí)14。該級(jí)指定序列中圖象的位分配。要說明的是對(duì)音頻解碼器沒有對(duì)應(yīng)的目標(biāo)級(jí)。由于如上所述編碼的音頻幀是恒定大小的，對(duì)此沒有需要。
每個(gè)編碼器級(jí)10，12的輸出被顯示為送到各自的緩存器16，18(盡管實(shí)際上這些將構(gòu)成編碼器級(jí)的部分)。從視頻編碼器級(jí)10的輸出到目標(biāo)設(shè)定單元14的反饋通路20，能夠檢查是否此設(shè)定的目標(biāo)具有在編碼的組中每圖象所要求的位數(shù)的結(jié)果。
被緩存了的輸出被多路轉(zhuǎn)換器22交織(它還插入時(shí)間標(biāo)記)，以形成單個(gè)數(shù)據(jù)流DS(系統(tǒng)流)而后它可被傳送到解碼器或存貯在合適的介質(zhì)，例如CD盤上。
在解碼器方面(圖9)，多路分配器24通過檢測(cè)器26監(jiān)示輸入流將流DS分到視頻及音頻通道。被分開的視頻及音頻流送到各自的緩存器28，30并從這到各自的解碼器級(jí)32，34以提供解碼輸出信號(hào)。雖然這些緩存器實(shí)際上是形成各自解碼器級(jí)的部分。它們被分開表示是為更清楚地說明STD模塊。
由于多路轉(zhuǎn)換器交織不同的流，整個(gè)DSM帶寬不能為任何一個(gè)特定流所有。相應(yīng)地，隨流的數(shù)目的增加緩存器狀態(tài)達(dá)到Bt位所花費(fèi)的時(shí)間將增加，這有一潛在問題可能導(dǎo)致上面所說的SCR重迭現(xiàn)象，SCR重迭在下述情況下出現(xiàn)當(dāng)在下一片段的開始增量值(估計(jì)的持續(xù)值)被加到SCR上，發(fā)現(xiàn)在最后片段的結(jié)尾它們小于SCR，換句話說，如下一片段的數(shù)據(jù)在當(dāng)前片段的全部數(shù)據(jù)傳遞完之前就必須被傳送。顯然這是一不可能的情況而且將導(dǎo)致系統(tǒng)崩潰。
通過檢查每個(gè)流，以確保數(shù)據(jù)第一次傳遞和將使緩存器到Bt位的包之間的時(shí)間不小于tt秒(見圖1)。如果多路轉(zhuǎn)換器發(fā)現(xiàn)時(shí)間tt超過，它知道SCR重迭可能發(fā)生，在一受監(jiān)控的系統(tǒng)中，相應(yīng)的出錯(cuò)信息可能提供給用戶。
如果基本流位率的和大于DSM的位率則SCR重迭將要發(fā)生。然而在此情況下多路轉(zhuǎn)換是不可能的，多路轉(zhuǎn)換器應(yīng)該退出并給出出錯(cuò)信息。
如果多路轉(zhuǎn)換器在Bt已經(jīng)達(dá)到的點(diǎn)上設(shè)定SCR的基本算法有誤，或者多路轉(zhuǎn)換器不正確地判讀了Bt，則SCR的重迭也可能發(fā)生。
由于流數(shù)目的增加，伴隨填充時(shí)間的增加其結(jié)果是多路轉(zhuǎn)換的片段的起始SCR減少，此后傳遞必須開始得更早。這樣一來，當(dāng)增量值被加到起始SCR上，它可能小到產(chǎn)生SCR重迭。
對(duì)于各個(gè)流位率以及STD緩存器的大小不同，因而全部數(shù)據(jù)從DSM傳到STD所用時(shí)間也是不同的。例如，音頻STD緩存器是如此之小在CSPS情況下向它傳送近于實(shí)時(shí)。這意味著當(dāng)同樣長度的音頻和視頻流被多路轉(zhuǎn)換在一起，音頻包經(jīng)過最后視頻包的尾端延伸，增加了最后的SCR。隨著流數(shù)量的增加導(dǎo)致了在多路轉(zhuǎn)換的流兩端出現(xiàn)問題，也就是開始的SCR減小而結(jié)尾的SCR增加。
在多路轉(zhuǎn)換操作的結(jié)尾，多路轉(zhuǎn)換器按如下可檢查SCR的重迭可能，依靠檢測(cè)輸入流多路轉(zhuǎn)換器可知，對(duì)片段應(yīng)該采用什么增量值并能將這個(gè)值加給片段的第一個(gè)SCR，類似的片段自身循環(huán)。多路轉(zhuǎn)換器還知道本片段后面最小的下一個(gè)可能的SCR將是什么。對(duì)修正的SCR(第一個(gè)SCR加上增量值)和下一個(gè)可能的SCR的比較被執(zhí)行。如果修正的SCR發(fā)現(xiàn)小于下一可能的SCR，則SCR的重迭已經(jīng)發(fā)生。
結(jié)合音頻和視頻以產(chǎn)生無縫隙系統(tǒng)層片段現(xiàn)參考圖10將給予說明。在圖10中顯示了對(duì)于音頻/視頻目標(biāo)多路轉(zhuǎn)換對(duì)的STD狀態(tài)曲線。讀者可知對(duì)兩種類型的流STD曲線圖的不同性質(zhì)。視頻STD曲線非常不整齊反映了由于圖象類型的變化造成的圖象尺寸變化(例如I圖象大于B圖象)或者圖象復(fù)雜性的變化。另一方面音頻的STD曲線很整齊，反映出全部音頻幀是恒定大小(不超出一字節(jié))。
圖11的曲線顯示了視頻STD狀態(tài)，與之相應(yīng)的VBV狀態(tài)和音頻STD狀態(tài)。這是顯而易見的在第一圖象從緩存器被移走這點(diǎn)上，視頻STD狀態(tài)并未立即達(dá)到目標(biāo)VBV狀態(tài)。其出現(xiàn)是因?yàn)槎嗦忿D(zhuǎn)換器已算出，這樣做將造成SCR重迭。也就是，如果填充時(shí)間被增加使得STD起始狀態(tài)達(dá)到VBV的狀態(tài)，在片段的開始處SCR將會(huì)太小。
依靠設(shè)法預(yù)測(cè)整個(gè)片段最后的SCR將是什么，以及找出起始SCR反向移動(dòng)多少而不致發(fā)生SCR重迭，也就是說，起始SCR能負(fù)多少以使加上增量值之后給出的SCR小于片段結(jié)尾處的SCR，多路轉(zhuǎn)換器計(jì)算出最大填充時(shí)間。
最后SCR的預(yù)測(cè)是靠計(jì)算每種流的持續(xù)時(shí)間長度，從中減去能夠在STD中緩存的數(shù)據(jù)總量(以時(shí)間表示的)。由緩存在STD中的數(shù)據(jù)所代表的時(shí)間正好是STD的大小除以基本流的位率。應(yīng)理解，對(duì)音頻由于音頻幀的大小是已知的，事實(shí)上緩存器必須包含整數(shù)個(gè)數(shù)，對(duì)緩存器時(shí)間的預(yù)測(cè)可以得到更好的精度。當(dāng)然這不能用于視頻，因?yàn)閹拇笮∈亲兓摹?br> 對(duì)各個(gè)流最后的SCR被計(jì)算出而這最大的值被采用。實(shí)際上，如果音頻和視頻流為同樣長，最大的最后SCR幾乎總是從音頻流中得出，在視頻數(shù)據(jù)率接近音頻數(shù)據(jù)率這種不大可能的情況下，情況可能改變。
考慮到多路轉(zhuǎn)換器產(chǎn)生的起始STD狀態(tài)，它并未達(dá)到VBV的起始狀態(tài)，這里存在一潛在的問題在此流中，在STD狀態(tài)趕上VBV狀態(tài)之前很大的圖象可能產(chǎn)生緩存器下溢。雖然這實(shí)際上不一定發(fā)生但理論上是有可能的，克服此問題的辦法是在片段的開始限制編碼器產(chǎn)生的圖象的大小。
此處需要指出，盡管上面所說的方法在估計(jì)片段最后的SCR應(yīng)該是什么樣的方面給出了一合理的精度，并不是永遠(yuǎn)都有足夠的精度，取決于特定的應(yīng)用。由于存在一些情況誤差可能出現(xiàn)，這些情況影響經(jīng)由多路轉(zhuǎn)換操作的包分配。一旦多路轉(zhuǎn)換器已經(jīng)貫穿了片段，誤差才能被發(fā)現(xiàn)。由于這個(gè)原因，要求精確的用戶必須運(yùn)行多路轉(zhuǎn)換器再次，這第二次修改某些參數(shù)(例如縮短音頻或降低目標(biāo))以得到無重迭的SCR。自動(dòng)產(chǎn)生有效片段的方法必然是兩遍方案。第一遍采用上面所說最佳精測(cè)方法，而第二遍考慮任何修正，這種修正可能必須在第一遍結(jié)果的基礎(chǔ)上作出。
現(xiàn)在參考圖12，圖中顯示了在片段的結(jié)尾音頻和視頻STD的狀態(tài)。可看出對(duì)音頻STD的數(shù)據(jù)傳遞超過對(duì)視頻STD尾端的傳遞，所以音頻是控制結(jié)尾SCR的流。如上所述，多路轉(zhuǎn)換器通過盡可能快地傳遞數(shù)據(jù)到STD能力圖降低最后的SCR，為此合適的技術(shù)應(yīng)當(dāng)是做成包，這些包小于在多路轉(zhuǎn)換操作結(jié)尾的優(yōu)化值。
現(xiàn)轉(zhuǎn)到時(shí)間標(biāo)記上，多路轉(zhuǎn)換器僅有的時(shí)間標(biāo)記并對(duì)其控制的是SCR，這是一時(shí)間，在此時(shí)刻一個(gè)包被傳遞。當(dāng)用戶決定第一幀的PTS應(yīng)當(dāng)是什么時(shí)另外的時(shí)間標(biāo)記(PTS和DTS)被設(shè)置。為了由上面的方法產(chǎn)生的片段顯現(xiàn)出對(duì)解碼器無縫隙，時(shí)間標(biāo)記必須表現(xiàn)線性增加，也就是說，解碼器看來時(shí)間標(biāo)記不能有突然的跳變。這通過以下辦法可實(shí)現(xiàn)，加一個(gè)增量值到下一片段的全部時(shí)間標(biāo)記上，這樣它們具有的值將顯得比當(dāng)前片段的都要長一些。
此增量值必須先于解碼器見到數(shù)據(jù)時(shí)被加上，這些值可如此被加上，例如-在送片段給解碼器之前申請(qǐng)；-驅(qū)動(dòng)器，它送片段給解碼器；-遠(yuǎn)程服務(wù)器的CPU，在視頻數(shù)據(jù)向下發(fā)送之前由電話線送到機(jī)頂盒(set-tap box)。
當(dāng)前片段最后幀的下一幀的PTS(正在處理的)和下一片段第一幀的PTS之間的差就是增量值，由下面等式計(jì)算Δ＝PTSlast+PTSstep-PTSfirst(2)其中PTSlast是當(dāng)前片段最后幀的PTSPTSstep是相鄰PTSS的增加值
PTSfirst是下一片段第一幀的PTS。
如果打算音頻與視頻相互同步地?zé)o縫隙播放MPEG片段，只可能有一個(gè)增量值被加到兩種數(shù)據(jù)類型的時(shí)間標(biāo)記上。這是由于在MPEG系統(tǒng)層的時(shí)間是由SCR表示，對(duì)于兩個(gè)類型的數(shù)據(jù)流作了同樣速率的增加。如果增量值不同，因?yàn)闀r(shí)間標(biāo)記越遠(yuǎn)越分開我們將失去同步。下面討論的問題是如何從幀周期，以及上面得到到的PTSstep計(jì)算出對(duì)音頻和視頻應(yīng)當(dāng)是不同的增量值。
讀者將會(huì)熟悉所說的“幀率”，當(dāng)應(yīng)用于視頻時(shí)，例如對(duì)PAL制是25赫茲而對(duì)于NTSC制是29.97赫茲。然而MPEG編碼的音頻也分成幀，對(duì)層次1的幀包含384個(gè)采樣，而對(duì)層次II和III為1152個(gè)采樣。它們形成獨(dú)立的數(shù)據(jù)塊，當(dāng)放在一起時(shí)，這樣數(shù)據(jù)塊構(gòu)成了MPEG音頻流。為使解碼器產(chǎn)生所希望的輸出，它必須接受整數(shù)的幀，送半幀音頻將造成失靈，甚至可能系統(tǒng)崩潰。這就出現(xiàn)了問題，因?yàn)閷?duì)任何MPEG片段，由其包含的音頻幀和視頻幀換算的時(shí)間通常是不同的。就圖13而論它給出了5秒鐘的一段視頻和音頻，此不同的原因?qū)?huì)很明顯。
圖13顯示了表示整數(shù)個(gè)音頻幀和視頻幀的兩個(gè)塊，每個(gè)塊中的幀數(shù)目是這塊的時(shí)間盡可能接近5秒鐘，如使音頻和視頻之間的定時(shí)差異最小，多路轉(zhuǎn)換器被合適地配置以便能夠選擇單獨(dú)的流段，也就是說不限定取完整的音頻或視頻文件。按此辦法各自的開始和結(jié)束能被選擇，以便在片段長度內(nèi)使總的音頻和視頻之間的差異達(dá)到最小。
通過例示的方法現(xiàn)在我們來看，如果圖13的數(shù)據(jù)是包含在系統(tǒng)文件中，我們想用從視頻或音頻計(jì)算出的增量值使其循環(huán)，會(huì)有什么情況發(fā)生。
首先取視頻的增量值，施加視頻增量值到視頻數(shù)據(jù)上，在循環(huán)期間導(dǎo)致一穩(wěn)定的視頻幀。然而，如果這增量值(5秒鐘)曾用于音頻塊，在循環(huán)開始的時(shí)間標(biāo)記應(yīng)被修正到與結(jié)束時(shí)的相同。這無疑不能工作并造成要求減少音頻幀數(shù)到191給出191×1152/44100＝4.989秒然而，在5秒的音頻的開始修正過的時(shí)間標(biāo)記，超過在結(jié)尾時(shí)的，給出10.6毫秒的誤差，它是一個(gè)音頻幀的40.6％，這個(gè)差異將導(dǎo)致從循環(huán)的結(jié)尾到開始10.6毫秒沒有聲音。
現(xiàn)轉(zhuǎn)到音頻增量值，采用這個(gè)值音頻幀率被保存。然而，在對(duì)視頻修正的時(shí)間標(biāo)記和如果其幀率是常數(shù)時(shí)它們應(yīng)有的值之間，有一15.5毫秒的差值，這是視頻幀的38.8％。此差值本身表明片段最后幀凍結(jié)15.5毫秒，且此幀仍停留在屏幕上。
上面論證了對(duì)于不同幀長問題沒有完美的解決辦法或者是音頻無聲或者出現(xiàn)視頻幀凍結(jié)，盡管依靠上面所說取基本流段而不是整個(gè)文件，使凍結(jié)持續(xù)時(shí)間最短、二者中相比之下凍結(jié)視頻幀更為可取，因?yàn)橛脩糨^難感覺到。而聲音的停頓會(huì)是非常明顯的。為此原因，當(dāng)試圖音頻和視頻的同步循環(huán)時(shí)建議音頻被用作驅(qū)動(dòng)數(shù)據(jù)類型得到增量值。
由于閱讀了本發(fā)明的內(nèi)容，對(duì)于本領(lǐng)域的一般技術(shù)人員其它的改變都是明白的，這些改變可能包括另外的特點(diǎn)，在編輯音頻和/或視頻信號(hào)的方法和設(shè)備以及其部件中，這些特點(diǎn)是已經(jīng)知道的。這些特點(diǎn)可被用來替代或者附加到已經(jīng)在此說明過的特點(diǎn)上。盡管權(quán)利要求書已按特定的特征組合提出申請(qǐng)，應(yīng)當(dāng)懂得本發(fā)明申請(qǐng)公開的范圍還包括新的特征或者任何以隱含的、明顯的或其一般通則公開的新的特征組合，無論是否與現(xiàn)行申請(qǐng)的任何權(quán)利要求項(xiàng)的同樣發(fā)明有關(guān)，以及是否如本發(fā)明所做的，去調(diào)節(jié)某些或所有類似技術(shù)問題。申請(qǐng)人特此予以通知，在本申請(qǐng)或由此導(dǎo)出的任何進(jìn)一步的申請(qǐng)的實(shí)施期間，對(duì)于這些特征和/或這些特征的組合，新的權(quán)利要求書可能被系統(tǒng)地提出。
權(quán)利要求
1.一種編碼數(shù)字視頻信號(hào)的方法，以每段包含兩個(gè)或更多視頻幀的形式，并且在一解碼設(shè)備中，該設(shè)備具有一編碼級(jí)，一編碼緩存器，以及將編碼視頻信號(hào)至少和另外一種信號(hào)交織以形成系統(tǒng)流的裝置，對(duì)于每個(gè)段，此方法包括下列步驟-根據(jù)預(yù)定的編碼方案相繼地編碼段中的各個(gè)幀；-讀編碼幀送入緩存器；-以基本上恒定的位率從緩存器讀出編碼的段；和-將緩存器輸出信號(hào)與一個(gè)或更多時(shí)間標(biāo)記交織在一起得到系統(tǒng)流；其特征在于編碼緩存器的占用被控制以具有第一預(yù)定準(zhǔn)線(level)，前一段的最后幀此時(shí)刻已被讀入此位置，此占用準(zhǔn)線與解碼器緩存器的占用準(zhǔn)線有關(guān)，其特征還在于此方法包括的進(jìn)一步步驟有-得到以恒定位率填充解碼器緩存器從空到所說解碼器緩存器占用準(zhǔn)線所需的時(shí)間t；-對(duì)當(dāng)前段預(yù)測(cè)持續(xù)增量Δ；-對(duì)當(dāng)前段的最后幀將從解碼器緩存器讀出點(diǎn)預(yù)測(cè)時(shí)間值；-降低t值直到由(t+Δ)給出的時(shí)間值接近且略大于所說的時(shí)間值，在此時(shí)間，當(dāng)前段的最后幀將從解碼器緩存器中被讀出；和-插-時(shí)間標(biāo)記到該段的系統(tǒng)流中，指出這個(gè)段的第一幀在加載段開始以后，在由降低了的t值給定的時(shí)間，將從解碼器緩存器中讀出。
2.按照權(quán)利要求1所要求的一種方法，其中對(duì)當(dāng)前段的最后幀將從解碼器緩存器讀出點(diǎn)的時(shí)間值，可通過從解碼器緩存器以時(shí)間計(jì)的最大容量減去段的持續(xù)時(shí)間的計(jì)算而被預(yù)測(cè)。
3.按照權(quán)利要求1所要求的一種方法，其中當(dāng)對(duì)當(dāng)前段的最后幀將從解碼器緩存器讀出點(diǎn)的時(shí)間值，對(duì)每個(gè)交織的流被預(yù)測(cè)，并且這最大值被用于對(duì)全部流的降低t值的獲取。
4.按照權(quán)利要求1所要求的一種方法，其中用于編碼第一段圖象的目標(biāo)位數(shù)被可控制地改變例如達(dá)到所說的編碼器緩存器占用準(zhǔn)線。
5.按照權(quán)利要求1所要求的一種方法，其中，最大編碼器緩存器占用準(zhǔn)線被指定，并且解碼器緩存器占用準(zhǔn)線被定義為所說最大準(zhǔn)線和在第一段最后圖象已被讀入編碼器緩存器之后，一幀周期編碼器緩存器占用準(zhǔn)線之間的差。
6.按照權(quán)利要求1的方法，其中段中的圖象按MPEG標(biāo)準(zhǔn)被編碼。
7.一種以編碼圖象段而配置的數(shù)字視頻信號(hào)編碼器設(shè)備，這里每個(gè)段包含兩個(gè)或更多視頻幀，此設(shè)備包括-編碼級(jí)安排來接收段的連續(xù)幀，并按照預(yù)定的編碼方案將它們編碼；-緩存器連結(jié)用以接收來自編碼級(jí)的連續(xù)編碼幀，并安排以基本恒定的位率輸出編碼的段；和-多路轉(zhuǎn)換器連結(jié)用以接收緩存器輸出和至少一種其它信號(hào)，并安排將它們交織成為系統(tǒng)流；其特征在于編碼級(jí)以可控制的可變位數(shù)操作去編碼段中的圖象，例如，在段的最后圖象被讀入編碼器緩存器的瞬間給出預(yù)定的編碼器緩存器占用，產(chǎn)生段的持續(xù)時(shí)間預(yù)測(cè)值和該段的最后幀從解碼器緩存器被讀出點(diǎn)的時(shí)間預(yù)測(cè)值，并根據(jù)它確定時(shí)間值，另外所說多路轉(zhuǎn)換器安排用來插入時(shí)間標(biāo)記到段的系統(tǒng)流中，指示此段的第一幀，在開始裝載此段進(jìn)入解碼器緩存器之后的所說確定的時(shí)間值，將從解碼器緩存器中被讀出。
8.根據(jù)權(quán)利要求7的設(shè)備，它還包括另一個(gè)編碼級(jí)安排來接收連續(xù)的數(shù)據(jù)幀，并按照所說的預(yù)定編碼方案將它們編碼，還有另一個(gè)緩存器連結(jié)用以接收來自所說的另一個(gè)編碼級(jí)的連續(xù)編碼數(shù)據(jù)幀，并安排以基本恒定的位率輸出編碼的數(shù)據(jù)，其中所說的至少一種由多路轉(zhuǎn)換器接收的其它信號(hào)是另一個(gè)緩存器的輸出。
9.一種數(shù)字視頻圖象信號(hào)包含有大量根據(jù)權(quán)利要求1的方法編碼的段，該包含編碼段流的信號(hào)至少與一種其它信號(hào)交織成為系統(tǒng)流，對(duì)每個(gè)段此系統(tǒng)流包括所說的時(shí)間標(biāo)記，它指示在加載段進(jìn)入編碼器緩存器開始后，由減小了的t值給定的時(shí)間，各自段的第一幀從解碼器緩存器中讀出。
10.載有如權(quán)利要求9所要求的視頻圖象信號(hào)的一種光盤。
全文摘要
一種供編碼數(shù)字視頻信號(hào)段的方法，這些信號(hào)段被交織以形成單一系統(tǒng)流(視頻STD加音頻STD)。為了使段的連接無縫隙，視頻系統(tǒng)層緩存器加載的控制與視頻層緩存器加載(VBV占用)有關(guān)。從第一圖象準(zhǔn)備從解碼器緩存器讀出這一點(diǎn)的概念匹配開始，第一圖象準(zhǔn)備從系統(tǒng)層緩存器讀出的點(diǎn)。根據(jù)預(yù)測(cè)的段持續(xù)時(shí)間所確定的量而被修正。而且在此點(diǎn)，段的最后幀預(yù)期被讀出。此修正避免了概念匹配情況因原始定時(shí)值可能造成的段的重迭。本技術(shù)尤其適用于交互式多媒體應(yīng)用，在那里要求沒有明顯視覺不連續(xù)地視頻片段的實(shí)時(shí)拼接。
文檔編號(hào)H04N7/24GK1144030SQ95192060
公開日1997年2月26日 申請(qǐng)日期1995年11月24日 優(yōu)先權(quán)日1994年12月2日
發(fā)明者S·布蘭查德 申請(qǐng)人:菲利浦電子有限公司