專利名稱：運(yùn)用精細(xì)粒度可伸縮性技術(shù)進(jìn)行數(shù)字視頻實(shí)時(shí)代碼轉(zhuǎn)換的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種把預(yù)先編碼的數(shù)字視頻數(shù)據(jù)流代碼轉(zhuǎn)換成分層的視頻流的裝置和相關(guān)的方法，其中分層的流包括具有比原始的源流更低的數(shù)據(jù)率的基本層和運(yùn)用精細(xì)粒度可伸縮性(FGS)技術(shù)編碼的增強(qiáng)層。本發(fā)明包括把現(xiàn)有的數(shù)字視頻重編碼成FGS的多層視頻的高效構(gòu)件，以便在無線和/或有線網(wǎng)絡(luò)中帶寬劣化不斷變化的條件下，提供可變級別的顯示圖像質(zhì)量。
背景技術(shù)：
數(shù)字的流視頻可以采用諸如MPEG等的視頻編碼標(biāo)準(zhǔn)，通過有效帶寬隨時(shí)間變化并且與位置相關(guān)的信道來傳輸。這情況經(jīng)常出現(xiàn)在無線網(wǎng)絡(luò)中，但也可以出現(xiàn)在其帶寬受到限制的有線網(wǎng)絡(luò)中。當(dāng)有效帶寬低于通過網(wǎng)絡(luò)發(fā)送的視頻流的數(shù)據(jù)率所需的最低水平時(shí)，結(jié)果導(dǎo)致顯示視頻發(fā)生劣化。
通過根據(jù)信道的條件來改變預(yù)編碼的視頻內(nèi)容的數(shù)據(jù)率，可以解決這個(gè)問題。此項(xiàng)技術(shù)通稱為速率轉(zhuǎn)換(trans-rating)。然而，速率轉(zhuǎn)換需要對信道的容量進(jìn)行快速和精確的預(yù)測，這是難以達(dá)到的。因此，還是有可能信道的容量與視頻的源數(shù)據(jù)率之間出現(xiàn)不匹配，這會導(dǎo)致視頻數(shù)據(jù)包的丟失。
流優(yōu)先排序技術(shù)能夠更好地適應(yīng)信道容量的變化。在流優(yōu)先排序中，必要(或者基本層)的信息以較高的優(yōu)先級進(jìn)行傳輸，而不太必要(或者增強(qiáng)層)的信息則采用“盡力而為”進(jìn)行傳輸。當(dāng)網(wǎng)絡(luò)帶寬不足時(shí)，降低增強(qiáng)層的信息以確保傳送基本層的信息。這確保了對于該程度的信道劣化，以其最高可能的質(zhì)量進(jìn)行平滑的視頻回放。
然而，這種能力需要運(yùn)用可伸縮的視頻編碼技術(shù)，把視頻的內(nèi)容壓縮或者編碼成單獨(dú)的碼流。一種眾所周知的實(shí)現(xiàn)可伸縮的視頻編碼的方法就是精細(xì)粒度可伸縮性或FGS技術(shù)?？缮炜s的視頻編碼技術(shù)的其它例子是MPEG-2/4的時(shí)域可伸縮性和數(shù)據(jù)分割(DP)。大多數(shù)分布式的視頻內(nèi)容都采用MPEG或H264技術(shù)，編碼或壓縮成未進(jìn)行優(yōu)先排序的單層的視頻流。因此，需要代碼轉(zhuǎn)換來把單層的壓縮的視頻流轉(zhuǎn)換成多優(yōu)先級的視頻流，以便利用流優(yōu)先排序技術(shù)的優(yōu)點(diǎn)。時(shí)域可伸縮性在以前已經(jīng)提出過，并且時(shí)域可伸縮性現(xiàn)在已成為用于視頻編碼的MPEG-4標(biāo)準(zhǔn)的一部分。


為了更徹底地理解本項(xiàng)公開，現(xiàn)請參考以下的連同附圖所作的闡述，其中圖1圖解說明了根據(jù)本項(xiàng)公開的一種實(shí)施例，從流視頻發(fā)送器，通過數(shù)據(jù)網(wǎng)絡(luò)到流視頻接收器的端到端流視頻的傳輸；圖2圖解說明了根據(jù)現(xiàn)有技術(shù)的一種實(shí)施例，典型的視頻數(shù)據(jù)的速率轉(zhuǎn)換器(transrater)(或代碼轉(zhuǎn)換器)；圖3圖解說明了根據(jù)現(xiàn)有技術(shù)的一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的編碼器；圖4圖解說明了根據(jù)現(xiàn)有技術(shù)的一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的解碼器；圖5圖解說明了根據(jù)本發(fā)明的一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的代碼轉(zhuǎn)換器；和圖6圖解說明了根據(jù)本發(fā)明的另一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的代碼轉(zhuǎn)換器。
具體實(shí)施例方式
以下所討論的圖1至6和在本專利文件中所述的各種實(shí)施例，僅只是舉例，而不應(yīng)以任何方式解釋為限制本發(fā)明的范圍。所屬技術(shù)領(lǐng)域的專業(yè)人員會了解，本發(fā)明的原理能夠以任何的適當(dāng)設(shè)置的裝置、器件或結(jié)構(gòu)來實(shí)現(xiàn)。
圖1圖解說明了根據(jù)本發(fā)明的一種實(shí)施例，從流視頻發(fā)送器110，通過數(shù)據(jù)網(wǎng)絡(luò)120到一個(gè)或更多的流視頻接收器(典型地諸如流視頻接收器130)的端到端傳輸流視頻的視頻傳輸系統(tǒng)。依照應(yīng)用，流視頻發(fā)送器110可以是各種各樣的視頻幀的源中的任意一種，其可以包括數(shù)據(jù)網(wǎng)絡(luò)的服務(wù)器、電視臺的發(fā)射器、有線網(wǎng)絡(luò)、桌面?zhèn)€人計(jì)算機(jī)(PC)等等。
流視頻發(fā)送器110包括視頻幀的源112、視頻編碼器114、存儲器115和編碼器緩沖器116。視頻幀的源112可以是任何能夠生成非壓縮的視頻幀的序列的裝置，其包括電視天線和接收單元、盒式放像機(jī)、攝像機(jī)、能夠存儲視頻剪輯的磁盤存儲裝置等等。非壓縮的視頻幀以給定的圖像速率(或流速率)進(jìn)入視頻編碼器114，并且根據(jù)任何公知的壓縮算法或諸如MPEG-4編碼器的裝置進(jìn)行壓縮。隨后，視頻編碼器114把壓縮的視頻幀傳輸?shù)骄幋a器緩沖器116進(jìn)行緩存，來為穿越數(shù)據(jù)網(wǎng)絡(luò)120進(jìn)行傳輸作準(zhǔn)備。
數(shù)據(jù)網(wǎng)絡(luò)120可以是任何適合的網(wǎng)絡(luò)，并且可以包括諸如Internet等的公眾數(shù)據(jù)網(wǎng)絡(luò)和諸如企業(yè)擁有的局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)等的私有數(shù)據(jù)網(wǎng)絡(luò)的部分。在本發(fā)明的有利的實(shí)施例中，數(shù)據(jù)網(wǎng)絡(luò)120包括無線網(wǎng)絡(luò)。尤其，數(shù)據(jù)網(wǎng)絡(luò)120可以是無線家庭網(wǎng)絡(luò)。
流視頻接收器130包括解碼器緩沖器132、視頻解碼器134、存儲器135和視頻顯示器136。依照應(yīng)用，流視頻接收器可以是各種各樣的視頻幀的接收器中的任意一種，其包括電視接收機(jī)、桌面?zhèn)€人計(jì)算機(jī)(PC)、盒式錄像機(jī)(VCR)等等。解碼器緩沖器132接收并且存儲來自數(shù)據(jù)網(wǎng)絡(luò)120的流壓縮的視頻幀。隨后，按要求，解碼器緩沖器132把壓縮的視頻幀傳輸?shù)揭曨l解碼器134。視頻解碼器134以與由視頻編碼器114壓縮的視頻幀相同的速率(理想的)解壓縮視頻幀。視頻解碼器134把解壓縮的幀傳送到視頻顯示器136，在視頻顯示器134的屏幕上進(jìn)行回放。
在本發(fā)明的有利的實(shí)施例中，視頻編碼器114可以代表標(biāo)準(zhǔn)的MPEG編碼器，該MPEG編碼器可以運(yùn)用任何硬件、軟件、固件或其聯(lián)合來加以實(shí)現(xiàn)，諸如由常規(guī)的數(shù)據(jù)處理器執(zhí)行的軟件程序等。在這樣的實(shí)現(xiàn)中，視頻編碼器114可以包括許多存儲在存儲器115中的計(jì)算機(jī)可執(zhí)行的指令。存儲器115可以包括任何類型的計(jì)算機(jī)存儲介質(zhì)，包括固定磁盤、可移動磁盤、CD-ROM、磁帶、視頻光盤等等。此外，在本發(fā)明的有利的實(shí)施例中，視頻解碼器134也可以代表常規(guī)的MPEG解碼器，該MPEG解碼器可以運(yùn)用任何硬件、軟件、固件或其聯(lián)合來加以實(shí)現(xiàn)，諸如由常規(guī)的數(shù)據(jù)處理器執(zhí)行的軟件程序等。在這樣的實(shí)現(xiàn)中，視頻解碼器134可以包括許多存儲在存儲器135中的計(jì)算機(jī)可執(zhí)行的指令。存儲器135也可以包括任何類型的計(jì)算機(jī)存儲介質(zhì)，包括固定磁盤、可移動磁盤、CD-ROM、磁帶、視頻光盤等等。
由于數(shù)據(jù)網(wǎng)絡(luò)120中有效帶寬的變化，根據(jù)本發(fā)明的原理，在視頻編碼器114中，必須運(yùn)用精細(xì)粒度可伸縮性(FGS)來對視頻數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換。在此，將對速率轉(zhuǎn)換和FGS進(jìn)行簡明扼要的闡述。速率轉(zhuǎn)換包括將現(xiàn)有的(原始的)視頻流直接重編碼成具有比原始更低的數(shù)據(jù)率的新視頻流。低速率的新視頻流可以正確地解碼和顯示，其只是相對于原始的視頻流在圖像質(zhì)量上有所降低。這是一種當(dāng)有效傳輸帶寬低于原始的視頻流的全數(shù)據(jù)率時(shí)，降低視頻流的數(shù)據(jù)率的廣泛應(yīng)用的方案。
圖2圖解說明了根據(jù)現(xiàn)有技術(shù)的一種實(shí)施例，典型的視頻數(shù)據(jù)的速率轉(zhuǎn)換器(或代碼轉(zhuǎn)換器)200。速率轉(zhuǎn)換器200包括變長解碼器(VLD)205、反量化(inverse quantization)電路210、量化電路215、變長編碼器(VLC)220、量化系數(shù)塊225和重量化(re-quantization)系數(shù)塊230。VLD 205接收高速率的視頻流并且解碼該流來產(chǎn)生量化的離散余弦變換(DCT)系數(shù)。VLD 205還從視頻流中提取量化系數(shù)，或識別預(yù)定的量化系數(shù)，并且把量化系數(shù)存儲在量化系數(shù)塊225中。反量化電路210接收量化的DCT系數(shù)，并且運(yùn)用來自量化系數(shù)塊225的該量化系數(shù)來產(chǎn)生去量化(de-quantized)的DCT系數(shù)。
重量化系數(shù)決230確定適于新的、較低的視頻數(shù)據(jù)率的新的(或重量化的)系數(shù)(即視頻數(shù)據(jù)率的轉(zhuǎn)換比率)。量化電路215運(yùn)用重量化系數(shù)來重量化反量化電路210的輸出，籍此產(chǎn)生重量化的DCT系數(shù)的流。隨后，變長編碼器(VLC)220編碼重量化的DCT系數(shù)來產(chǎn)生期望的低速率的視頻流。
速率轉(zhuǎn)換器200在必要的限度解碼原始的視頻流，以便識別和評估量化的DCT系數(shù)，以及關(guān)聯(lián)的量化因子，從而能夠很容易地計(jì)算出原始的系數(shù)值。已知原始的視頻流的數(shù)據(jù)率和期望的轉(zhuǎn)換速率的視頻流的速率，重量化系數(shù)決230為各個(gè)系數(shù)計(jì)算出新的量化因子。隨后，量化電路215按照此因子縮放(scale)去量化的DCT流。如此，具有與原始的流相同的內(nèi)容，但數(shù)據(jù)率低并且相應(yīng)的圖像質(zhì)量低的視頻流就生成出來，用于在對應(yīng)于較低速率的網(wǎng)絡(luò)帶寬條件下進(jìn)行傳輸。然而，由于速率轉(zhuǎn)換算法的復(fù)雜性，典型地要用專用處理器來實(shí)現(xiàn)。
圖3圖解說明了根據(jù)現(xiàn)有技術(shù)的一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的編碼器300。FGS編碼器300包括加法器305、離散余弦變換(DCT)電路310、量化電路315、變長編碼器(VLC)320、運(yùn)動補(bǔ)償塊325和運(yùn)動估計(jì)器330。FGS編碼器300進(jìn)一步包括反量化(Q-1)電路335、反離散余弦變換(IDCT)電路340、加法器345、加法器350、離散余弦變換(DCT)電路355、位平面移位電路360和變長編碼器(VLC)365。
運(yùn)動估計(jì)電路330接收原始的視頻信號，并且估計(jì)所提供的參考幀與當(dāng)前出現(xiàn)的視頻幀之間的運(yùn)動量，以像素特征發(fā)生的變化來代表。例如，MPEG標(biāo)準(zhǔn)規(guī)定，運(yùn)動的信息可以由幀的每個(gè)16×16子決的1至4個(gè)空間運(yùn)動矢量來表示。運(yùn)動補(bǔ)償電路325接收來自運(yùn)動估計(jì)電路330的運(yùn)動估計(jì)，并且生成運(yùn)動補(bǔ)償因子，該運(yùn)動補(bǔ)償因子由加法器(或組合器)305從原始的輸入視頻信號中減去。
DCT電路310接收來自加法器305的合成輸出，并且運(yùn)用公知的諸如離散余弦變換(DCT)的技術(shù)，把它從空間域轉(zhuǎn)換到頻率域中。量化電路315接收來自DCT電路310的原始的DCT系數(shù)的輸出，并且運(yùn)用眾所周知的量化技術(shù)進(jìn)一步壓縮運(yùn)動補(bǔ)償?shù)念A(yù)測信息。量化電路315確定為對變換輸出進(jìn)行量化所要施加的分割因子。
可以是例如熵編碼電路的變長編碼器(VLC)320接收來自量化電路315的量化的DCT系數(shù)，并且運(yùn)用變長編碼技術(shù)進(jìn)一步壓縮該數(shù)據(jù)，變長編碼技術(shù)即以相對較短的代碼表示出現(xiàn)概率較高的區(qū)域；以相對較長的代碼表示出現(xiàn)概率較低的區(qū)域。VLC 320的輸出包括基本層的視頻流。
反量化電路335去量化量化電路315的輸出，來產(chǎn)生表示該變換輸入到量化電路315的信號。此信號包括重構(gòu)的基本層的DCT系數(shù)。正如眾所周知的，反量化處理是“有損”處理，因?yàn)樵谟闪炕娐?15執(zhí)行的分割過程中損失的比特是無法恢復(fù)的。反離散余弦變換(IDCT)電路340解碼反量化電路335的輸出，以產(chǎn)生提供原始的視頻信號的幀表示的信號，如由變換和量化處理所更改的。
加法器(或組合器)345把運(yùn)動補(bǔ)償電路325的輸出與IDCT電路340的輸出組合起來。加法器345的輸出是運(yùn)動補(bǔ)償電路325的輸入之一。運(yùn)動補(bǔ)償電路325運(yùn)用來自加法器345的幀數(shù)據(jù)作為輸入的參考信號，用于確定原始的輸入視頻信號中的運(yùn)動變化。
加法器(或組合器)350接收原始的視頻信號，并且減去來自加法器345的重構(gòu)的基本層的幀信息。這得出了表示增強(qiáng)層信息的差數(shù)據(jù)。離散余弦變換(DCT)電路355接收來自加法器350的合成輸出，并且把它由空間域變換到頻率域中。DCT的輸出由位平面移位電路350進(jìn)行移位。最終，VLC 365接收移位的DCT系數(shù)，并且進(jìn)一步運(yùn)用變長編碼技術(shù)壓縮該數(shù)據(jù)。VLC 365的輸出包括增強(qiáng)層的視頻流。
圖4圖解說明了根據(jù)現(xiàn)有技術(shù)的一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的解碼器400。FGS解碼器400包括變長解碼器(VLD)405，反量化電路410、反離散余弦變換(IDCT)415，加法器(或組合器)420和運(yùn)動補(bǔ)償電路425。FGS解碼器400進(jìn)一步包括變長解碼器430、位平面移位電路435、反離散余弦變換(IDCT)440和加法器(或組合器)445。
VLD 405接收傳輸?shù)幕緦拥囊曨l流。VLD 405、反量化電路410、反離散余弦變換(IDCT)415、加法器420和運(yùn)動補(bǔ)償電路425本質(zhì)上與由圖3中加法器305、DCT 310、量化電路315、VLC 320和運(yùn)動補(bǔ)償電路325所執(zhí)行的處理相反。加法器420的輸出為運(yùn)動補(bǔ)償?shù)幕緦拥囊曨l流。
VLD 430接收傳輸?shù)脑鰪?qiáng)層的視頻流。VLD 430、位平面移位電路435和反離散余弦變換(IDCT)電路440本質(zhì)上與由圖3中DCT電路355、位平面移位電路360和VLC 365所執(zhí)行的處理相反。IDCT 440的輸出為編碼的增強(qiáng)層的視頻流。加法器445把來自加法器420的解碼的基本層的視頻流與解碼的增強(qiáng)層的視頻流合并，生成圖3中的原始的輸入視頻信號。
在常規(guī)的FGS編碼器300中，對輸入視頻序列進(jìn)行編碼，使得基本層具有規(guī)定的數(shù)據(jù)率，在該數(shù)據(jù)率下，解碼的視頻的質(zhì)量低于原始的源的質(zhì)量。盡管如此，基本層仍符合數(shù)字視頻編碼標(biāo)準(zhǔn)(諸如MPEG-4等)，籍此基本層能夠獨(dú)立地解碼和顯示。對增強(qiáng)層的數(shù)據(jù)進(jìn)行編碼，使得只傳輸殘差(residual)信息(即原始的視頻與解碼的基本層之間的差)，以便降低位重要性。換而言之，對于整個(gè)視頻圖像來說，傳輸此殘差數(shù)據(jù)的最高有效位，接著傳輸?shù)诙罡哂行?、第三最高有效位等等?br> 這就允許依據(jù)有效的網(wǎng)絡(luò)帶寬，在視頻圖像內(nèi)的任意點(diǎn)上截?cái)嘣鰪?qiáng)層。傳輸?shù)臄?shù)據(jù)較少則導(dǎo)致視頻的質(zhì)量較低。然而，實(shí)際傳輸?shù)臄?shù)據(jù)的全部數(shù)據(jù)，則可以用來提高視頻質(zhì)量，其視頻質(zhì)量將超過單獨(dú)傳輸基本層的。
常規(guī)的FGS編碼與根據(jù)用于基本層的標(biāo)準(zhǔn)(例如MPEG-4)對源視頻序列進(jìn)行數(shù)字編碼一起執(zhí)行。運(yùn)用離散余弦變換(DCT)，在空間頻率域中對殘差視頻進(jìn)行編碼，隨后按照遞減位平面重要性的順序進(jìn)行排列。這種編碼需要規(guī)定基本層的數(shù)據(jù)率，籍此作為源序列編碼的一部分執(zhí)行這種編碼。諸如DVD上的或通過衛(wèi)星、數(shù)字有線服務(wù)傳輸?shù)臄?shù)字視頻的FGS編碼，需要對數(shù)字視頻進(jìn)行部分地代碼轉(zhuǎn)換或解碼，緊跟著為基礎(chǔ)層以較低的數(shù)據(jù)率進(jìn)行重編碼，同時(shí)為增強(qiáng)層進(jìn)行殘差視頻的編碼。這個(gè)過程常常證明難以實(shí)時(shí)地執(zhí)行。
諸如精細(xì)粒度可伸縮性(FGS)這樣的分層視頻的方案，提供了只要能夠得到充足的帶寬來發(fā)送和接收全部的基本層和增強(qiáng)層的信息，就總能提供原始視頻的完全質(zhì)量的優(yōu)勢。只有當(dāng)不能夠傳輸全部的增強(qiáng)層時(shí)，F(xiàn)GS降級。因此，對具有較高數(shù)據(jù)率的第一視頻流進(jìn)行速率轉(zhuǎn)換成為具有降低數(shù)據(jù)率的第二視頻流(其充當(dāng)基本層)，同時(shí)對較高數(shù)據(jù)率與較低數(shù)據(jù)率的視頻流之間的殘差進(jìn)行編碼，其允許速率轉(zhuǎn)換的方法和FGS分層編碼的方法進(jìn)行聯(lián)合。這也使流優(yōu)先排序技術(shù)的優(yōu)點(diǎn)得以體現(xiàn)，以實(shí)現(xiàn)IEEE 802.11e標(biāo)準(zhǔn)中定義的MAC層QoS支持，從而達(dá)到更好、更快地與變化的信道條件相適應(yīng)。
本發(fā)明中，代碼轉(zhuǎn)換的視頻流和原始的視頻流都進(jìn)行解碼，生成FGS層的視頻流，使得在FGS層本身以上不再需要進(jìn)行附加的編碼(即基本層的重編碼不再是必需的)。在運(yùn)動估計(jì)和補(bǔ)償用于視頻壓縮的數(shù)字視頻編碼的方法中，非精確解碼可能導(dǎo)致預(yù)測漂移，這是因?yàn)橐曨l圖像能夠充當(dāng)對隨后傳輸?shù)膱D像進(jìn)行解碼的參考。
在常規(guī)的FGS編碼中，當(dāng)基本層編碼之后，再計(jì)算增強(qiáng)層的殘差視頻，其包括運(yùn)動預(yù)測。這使基本層在增強(qiáng)層不存在的情況下，得以無預(yù)測漂移地進(jìn)行解碼。然而，視頻流的速率轉(zhuǎn)換產(chǎn)生了DCT系數(shù)已經(jīng)重量化的視頻流。當(dāng)解碼時(shí)，DCT系數(shù)可能具有與用于原始的運(yùn)動編碼不同的值，籍此引起預(yù)測漂移。
如果視頻流被速率轉(zhuǎn)換成為降低了速率的視頻流(充當(dāng)FGS分層的流的基本層)，則在能夠?qū)GS增強(qiáng)層進(jìn)行編碼之前，原始的視頻流必須與代碼轉(zhuǎn)換的流一起進(jìn)行完全解碼。然而，當(dāng)沒有增強(qiáng)層的情況下進(jìn)行解碼之時(shí)，F(xiàn)GS基本層會有一些預(yù)測漂移。然而，當(dāng)增強(qiáng)層完全存在之時(shí)，其相對于原始的流的編碼確保了解碼的圖像的質(zhì)量與通過對原始的視頻流進(jìn)行解碼所得到的質(zhì)量相一致。尤其是，由速率轉(zhuǎn)換引入的預(yù)測漂移的影響將不再存在。
圖5圖解說明了根據(jù)本發(fā)明的一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的代碼轉(zhuǎn)換器500。代碼轉(zhuǎn)換器500可以實(shí)現(xiàn)為視頻編碼器114的一部分。代碼轉(zhuǎn)換器500包括MPEG解碼器505、精細(xì)粒度可伸縮性(FGS)增強(qiáng)層編碼器510、MPEG解碼器540和MPEG視頻速率轉(zhuǎn)換器550。FGS增強(qiáng)層編碼器510進(jìn)一步包括加法器(或組合器)515、離散余弦變換(DCT)520、位平面移位電路525和變長編碼器(VLC)530。
MPEG視頻速率轉(zhuǎn)換器550把具有較高速率R1的輸入的數(shù)字視頻流轉(zhuǎn)換成具有較低數(shù)據(jù)速率R2的第二數(shù)字視頻流。MPEG解碼器505以速率R1對原始的視頻流進(jìn)行解碼。MPEG解碼器540以速率R2對經(jīng)過速率轉(zhuǎn)換的基本層的視頻流進(jìn)行解碼。FGS增強(qiáng)層編碼器510對解碼器505和540的殘差進(jìn)行編碼。加法器(組合器)515檢測FGS增強(qiáng)層編碼器510的兩個(gè)輸入信號之間的差。DCT 520、位平面移位電路525和VLC 530以類似于圖3中的DCT 355、位平面移位電路360和VLC 365的方式來處理FGS增強(qiáng)層的信號。
本方法的優(yōu)勢在于，只使用標(biāo)準(zhǔn)的解碼器，而不再需要更加復(fù)雜的、須依靠編碼方法和參數(shù)的編碼器，并且該編碼器在期望使用低廉的編碼器的應(yīng)用中可能導(dǎo)致圖像質(zhì)量較低。另一個(gè)優(yōu)勢是，本方法能夠與任何速率轉(zhuǎn)換的方案一起工作，因此可以使用任何常規(guī)的速率轉(zhuǎn)換器。
因?yàn)镕GS增強(qiáng)層的編碼相當(dāng)簡單，所以本發(fā)明允許把數(shù)字視頻流高效、經(jīng)濟(jì)、實(shí)時(shí)地速率轉(zhuǎn)換成所需數(shù)據(jù)率的基本層和相應(yīng)的FGS增強(qiáng)層。若使用接受模擬或像素域輸入的速率轉(zhuǎn)換器，則不再需要用于原始的視頻流的MPEG解碼器505，并且可以由適當(dāng)?shù)霓D(zhuǎn)換器來替換，借以產(chǎn)生FGS增強(qiáng)層的編碼器510所需的視頻格式。
雖然，按常規(guī)執(zhí)行FGS編碼，使得在圖像域中、相對于預(yù)測編碼的基本層對殘差進(jìn)行計(jì)算，但是，已經(jīng)證明了，在FGS編碼器中，可以改為在DCT系數(shù)域中，使用預(yù)量化的DCT和隨后的去量化的DCT，在基本層的編碼器的運(yùn)動預(yù)測循環(huán)中對殘差進(jìn)行計(jì)算。這消除了其它方面FGS增強(qiáng)層編碼要求的DCT操作。由如此編碼的視頻流所得到的解碼的視頻與由使用以上的圖2中所示的常規(guī)的FGS方法編碼的視頻流所得到的視頻，在圖像域中只有非常微小的不同。但是，此差值無論如何非常小。特別地，它導(dǎo)致解碼和顯示的視頻會出現(xiàn)少量的預(yù)測漂移。此漂移與由速率轉(zhuǎn)換所引起的漂移分離和有所不同。
此結(jié)果可以用來使FGS代碼轉(zhuǎn)換的方法簡單化，如以下圖6所示的速率轉(zhuǎn)換器的情況，該速率轉(zhuǎn)換器通過去量化DCT系數(shù)并且使用不同的量化因子重量化它們，籍此產(chǎn)生所需的基本層的數(shù)據(jù)率，來執(zhí)行其功能。
圖6圖解說明了根據(jù)本發(fā)明的另一種實(shí)施例，典型的精細(xì)粒度可伸縮性(FGS)的代碼轉(zhuǎn)換器600。代碼轉(zhuǎn)換器600可以實(shí)現(xiàn)為視頻編碼器114的一部分。代碼轉(zhuǎn)換器600包括變長解碼器605、反量化電路610、量化電路615、變長編碼器(VLC)620、量化系數(shù)塊625和重量化系數(shù)塊650。VLD 605接收速率為R1的高速率的MPEG視頻流，并且對基本層和增強(qiáng)層進(jìn)行解碼，產(chǎn)生量化的離散余弦變換(DCT)系數(shù)。VLD605還從該視頻流中提取量化系數(shù)，或識別預(yù)定的量化系數(shù)，并且把量化系數(shù)存儲在量化系數(shù)塊625中。反量化電路610接收量化的DCT系數(shù)，并且運(yùn)用來自量化系數(shù)塊625的量化系數(shù)，以速率R1來產(chǎn)生去量化的DCT系數(shù)。
重量化系數(shù)塊650確定適于新的、較低的視頻數(shù)據(jù)率的新的(或重量化)系數(shù)(即視頻數(shù)據(jù)率的轉(zhuǎn)換比率)。量化電路615運(yùn)用重量化系數(shù)，以新的數(shù)據(jù)率R2來重量化反量化電路610的輸出，籍此產(chǎn)生數(shù)據(jù)率為R2的重量化的DCT系數(shù)的視頻流。之后，VLC 620對重量化的DCT系數(shù)進(jìn)行編碼，產(chǎn)生所需的低數(shù)據(jù)率R2的基本層的視頻流。
反量化電路635從量化電路615接收重量化的DCT系數(shù)，并且產(chǎn)生數(shù)據(jù)率為R2的去量化的DCT系數(shù)。加法器(或組合器)630從反量化電路610的輸出中減去反量化電路635的輸出，籍此產(chǎn)生殘差信號。由位平面移位電路640對該殘差信號進(jìn)行移位，之后由VLC 645進(jìn)行編碼。VLC 645的編碼的輸出包括FGS增強(qiáng)層的視頻流。
在本方案中，由基本層速率轉(zhuǎn)換器中的去量化系數(shù)和該速率轉(zhuǎn)換器中的相同重量化系數(shù)的去量化，直接計(jì)算出殘差。這樣一種方案消除了使用兩個(gè)解碼器的要求，而只要求以上所述類型的基本層的代碼轉(zhuǎn)換器和DCT系數(shù)域中的FGS增強(qiáng)層的編碼器，該編碼器進(jìn)一步消除了其DCT計(jì)算。
與現(xiàn)有技術(shù)的方法不同，由于速率轉(zhuǎn)換的作用和DCT域中執(zhí)行FGS殘差計(jì)算的作用，本發(fā)明把預(yù)測漂移引入到了基本層和增強(qiáng)層中。因此，其最適合于圖像數(shù)目、特別是圖像組(GOP)中的參考圖像(MPEG的I或P圖像)數(shù)目總是小得足以使積累的預(yù)測誤差不會被感知，或者至少不會令人不快的應(yīng)用。
本項(xiàng)公開已闡述了某些實(shí)施例和通常所關(guān)聯(lián)的方法，這些實(shí)施例和方法的變更和替換對所屬技術(shù)領(lǐng)域的專業(yè)人員將會是顯而易見的。從而，以上對示范實(shí)施例的闡述并不定義或限制本項(xiàng)公開。也有可能進(jìn)行其它的改變、替代和更改，而不會脫離如以下權(quán)利要求所定義的本項(xiàng)公開的精神和范圍。
權(quán)利要求
1.一種數(shù)字視頻代碼轉(zhuǎn)換器(500)，其包括第一解碼器(505)，其能夠接收具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流，對所述的輸入數(shù)字視頻流進(jìn)行解碼以產(chǎn)生第一解碼的視頻流；速率轉(zhuǎn)換器(550)，其能夠接收具有所述第一數(shù)據(jù)率(R1)的所述輸入數(shù)字視頻流，對所述的輸入數(shù)字視頻流進(jìn)行重編碼以產(chǎn)生具有比所述的輸入數(shù)字視頻流低的數(shù)據(jù)率(R2)的基本層視頻流；第二解碼器(540)，其能夠接收具有所述的第二數(shù)據(jù)率(R2)的所述的基本層視頻流，對所述的基本層視頻流進(jìn)行解碼以產(chǎn)生第二解碼的視頻流；和增強(qiáng)層編碼器(510)，其能夠接收所述的第一解碼的視頻流和所述的第二解碼的視頻流，由此生成增強(qiáng)層視頻流。
2.如權(quán)利要求1所述的數(shù)字視頻代碼轉(zhuǎn)換器(500)，其中所述的第一和第二解碼器包括MPEG視頻解碼器，所述的速率轉(zhuǎn)換器包括MPEG視頻速率轉(zhuǎn)換器。
3.如權(quán)利要求1所述的數(shù)字視頻代碼轉(zhuǎn)換器(500)，其中所述的增強(qiáng)層視頻流與所述的第一與第二解碼的視頻流之間的差相對應(yīng)。
4.如權(quán)利要求3所述的數(shù)字視頻代碼轉(zhuǎn)換器(500)，其中所述的增強(qiáng)層編碼器(510)對來自所述的第一和第二解碼器的殘差信號進(jìn)行編碼。
5.如權(quán)利要求4所述的數(shù)字視頻代碼轉(zhuǎn)換器(500)，其中所述的增強(qiáng)層編碼器(510)包括精細(xì)粒度可伸縮性(FGS)編碼器。
6.如權(quán)利要求5所述的數(shù)字視頻代碼轉(zhuǎn)換器(500)，其中所述的增強(qiáng)層編碼器(510)包括能夠?qū)λ龅牡谝慌c第二解碼的視頻流之間的差進(jìn)行檢測的檢測電路，及對所述的差進(jìn)行編碼的變長編碼器。
7.一種對數(shù)字視頻進(jìn)行代碼轉(zhuǎn)換的方法，其包括以下步驟接收具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流；解碼該輸入數(shù)字視頻流以產(chǎn)生第一解碼的視頻流；重編碼該輸入數(shù)字視頻流以產(chǎn)生具有比輸入數(shù)字視頻流低的數(shù)據(jù)率(R2)的基本層視頻流；解碼該基本層數(shù)字視頻流以產(chǎn)生第二解碼的視頻流；和從第一解碼的視頻流和第二解碼的視頻流生成增強(qiáng)層視頻流。
8.如權(quán)利要求7所述的方法，其中輸入數(shù)字視頻流包括MPEG視頻流。
9.如權(quán)利要求7所述的方法，其中增強(qiáng)層視頻流與第一與第二解碼的視頻流之間的差相對應(yīng)。
10.如權(quán)利要求9所述的方法，其中生成的步驟包括對與第一解碼的視頻流和第二解碼的視頻流相關(guān)聯(lián)的殘差信號進(jìn)行編碼的步驟。
11.如權(quán)利要求10所述的方法，其中增強(qiáng)層視頻流包括精細(xì)粒度可伸縮性(FGS)層視頻流。
12.如權(quán)利要求11所述的方法，其中生成的步驟包括對第一與第二解碼的視頻流之間的差進(jìn)行檢測，及對該差進(jìn)行編碼的子步驟。
13.一種在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)并且用來由處理器執(zhí)行的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括如下用途的計(jì)算機(jī)可讀的程序代碼接收具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流；解碼該輸入數(shù)字視頻流以產(chǎn)生第一解碼的視頻流；重編碼該輸入數(shù)字視頻流以產(chǎn)生具有比輸入數(shù)字視頻流低的數(shù)據(jù)率(R2)的基本層視頻流；解碼該基本層視頻流以產(chǎn)生第二解碼的視頻流；和從第一解碼的視頻流和第二解碼的視頻流生成增強(qiáng)層視頻流。
14.如權(quán)利要求13所述的在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)的計(jì)算機(jī)程序，其中輸入數(shù)字視頻流包括MPEG視頻流。
15.如權(quán)利要求13所述的在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)的計(jì)算機(jī)程序，其中增強(qiáng)層視頻流與第一與第二解碼的視頻流之間的差相對應(yīng)。
16.如權(quán)利要求15所述的在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)的計(jì)算機(jī)程序，其中生成的步驟包括對與第一解碼的視頻流和第二解碼的視頻流相關(guān)聯(lián)的殘差信號進(jìn)行編碼的步驟。
17.如權(quán)利要求16所述的在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)的計(jì)算機(jī)程序，其中增強(qiáng)層視頻流包括精細(xì)粒度可伸縮性(FGS)層視頻流。
18.如權(quán)利要求17所述的在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)的計(jì)算機(jī)程序，其中生成的步驟包括對第一與第二解碼的視頻流之間的差進(jìn)行檢測，及對該差進(jìn)行編碼的子步驟。
19.一種視頻傳輸系統(tǒng)，其包括視頻編碼器(114)，其能夠從下列之一中接收視頻幀的流i)存儲裝置(115)和ii)視頻幀的源(112)，其中所述的視頻編碼器(114)編碼所述視頻幀以產(chǎn)生輸入數(shù)字視頻流，其中所述的視頻編碼器(114)進(jìn)一步包括數(shù)字視頻代碼轉(zhuǎn)換器(500)，該數(shù)字視頻代碼轉(zhuǎn)換器包括第一解碼器(505)，其能夠接收所述的具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流，對所述的輸入數(shù)字視頻流進(jìn)行解碼以產(chǎn)生第一解碼的視頻流；速率轉(zhuǎn)換器(550)，其能夠接收具有所述的第一數(shù)據(jù)率(R1)的所述的輸入數(shù)字視頻流，重編碼所述的輸入數(shù)字視頻流以產(chǎn)生具有比所述輸入數(shù)字視頻流低的數(shù)據(jù)率(R2)的基本層視頻流；第二解碼器(540)，其能夠接收具有所述的第二數(shù)據(jù)率(R2)的所述的基本層視頻流，對所述的基本層視頻流進(jìn)行解碼以產(chǎn)生第二解碼的視頻流；和增強(qiáng)層編碼器(510)，其能夠接收所述的第一解碼的視頻流和所述的第二解碼的視頻流，由此生成增強(qiáng)層視頻流；和緩沖器，其能夠在通過以下之一進(jìn)行傳輸之前，存儲所述的基本層視頻流和所述的增強(qiáng)層視頻流i)無線網(wǎng)絡(luò)和ii)有線網(wǎng)絡(luò)。
20.如權(quán)利要求19所述的視頻傳輸系統(tǒng)，其中所述的第一和第二解碼器包括MPEG視頻解碼器，所述的速率轉(zhuǎn)換器包括MPEG視頻速率轉(zhuǎn)換器。
21.如權(quán)利要求19所述的視頻傳輸系統(tǒng)，其中所述的增強(qiáng)層視頻流與所述的第一與第二解碼的視頻流之間的差相對應(yīng)。
22.如權(quán)利要求21所述的視頻傳輸系統(tǒng)，其中所述的增強(qiáng)層編碼器(510)對來自所述的第一和第二解碼器的殘差信號進(jìn)行編碼。
23.如權(quán)利要求22所述的視頻傳輸系統(tǒng)，其中所述的增強(qiáng)層編碼器(510)包括精細(xì)粒度可伸縮性(FGS)編碼器。
24.如權(quán)利要求23所述的視頻傳輸系統(tǒng)，其中所述的增強(qiáng)層編碼器(510)包括能夠?qū)λ龅牡谝慌c第二解碼的視頻流之間的差進(jìn)行檢測的檢測電路，及對所述的差進(jìn)行編碼的變長編碼器。
25.一種可傳輸?shù)囊曨l信號，通過以下步驟產(chǎn)生接收具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流；解碼輸入數(shù)字視頻流以產(chǎn)生第一解碼的視頻流；重編碼輸入數(shù)字視頻流以產(chǎn)生具有比輸入數(shù)字視頻流低的數(shù)據(jù)率(R2)的基本層視頻流；解碼基本層視頻流以產(chǎn)生第二解碼的視頻流；和從第一解碼的視頻流和第二解碼的視頻流生成增強(qiáng)層視頻流，其中可傳輸?shù)囊曨l信號包括基本層視頻流和增強(qiáng)層視頻流。
26.一種數(shù)字視頻代碼轉(zhuǎn)換器(600)，其包括解碼器(605)，其能夠接收具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流，對所述的輸入數(shù)字視頻流進(jìn)行解碼以產(chǎn)生第一量化的離散余弦變換(DCT)系數(shù)；第一反量化器(610)，其能夠接收所述的第一量化的DCT系數(shù)，以所述的第一數(shù)據(jù)率(R1)產(chǎn)生第一去量化的DCT系數(shù)；重量化器(650)，其能夠確定與第二數(shù)據(jù)率(R2)相關(guān)聯(lián)的量化系數(shù)；量化器(615)，其能夠運(yùn)用所述的量化系數(shù)，以所述的第二數(shù)據(jù)率(R2)量化所述的第一去量化的DCT系數(shù)，以產(chǎn)生第二量化的DCT系數(shù)；和第一編碼器(620)，其能夠編碼所述的第二量化的DCT系數(shù)以所述的第二數(shù)據(jù)率(R2)產(chǎn)生基本層視頻流。
27.如權(quán)利要求26所述的數(shù)字視頻代碼轉(zhuǎn)換器，其進(jìn)一步包括第二反量化器(635)，其能夠接收所述的第二量化的DCT系數(shù)，以所述的第二數(shù)據(jù)率(R2)產(chǎn)生第二去量化的DCT系數(shù)；組合器(630)，其能夠從所述的第一去量化的DCT系數(shù)中減去所述的第二去量化的DCT系數(shù)以產(chǎn)生殘差信號；移位器(640)，其能夠位平面移位所述的殘差信號；和第二編碼器(645)，其能夠接收所述的移位的殘差信號，由此生成增強(qiáng)層視頻流。
28.如權(quán)利要求27所述的數(shù)字視頻代碼轉(zhuǎn)換器，其中解碼器(605)包括變長解碼器；和第一和第二編碼器(620，645)包括變長編碼器。
29.一種對數(shù)字視頻進(jìn)行代碼轉(zhuǎn)換的方法，其包括以下步驟接收具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流；解碼所述的輸入數(shù)字視頻流以產(chǎn)生第一量化的離散余弦變換(DCT)系數(shù)；運(yùn)用所述的第一量化的DCT系數(shù)，以所述的第一數(shù)據(jù)率(R1)產(chǎn)生第一去量化的DCT系數(shù)；確定與第二數(shù)據(jù)率(R2)相關(guān)聯(lián)的量化系數(shù)；運(yùn)用所述的量化系數(shù)，以所述的第二數(shù)據(jù)率(R2)量化所述的第一去量化的DCT系數(shù)以產(chǎn)生第二量化的DCT系數(shù)；和編碼所述的第二量化的DCT系數(shù)以所述的第二數(shù)據(jù)率(R2)產(chǎn)生基本層視頻流。
30.如權(quán)利要求29所述的方法，其進(jìn)一步包括運(yùn)用所述的第二量化的DCT系數(shù)，以所述的第二數(shù)據(jù)率(R2)產(chǎn)生第二去量化的DCT系數(shù)；從所述的第一去量化的DCT系數(shù)中減去所述的第二去量化的DCT系數(shù)以產(chǎn)生殘差信號；位平面移位所述的殘差信號；和運(yùn)用所述的移位的殘差信號生成增強(qiáng)層視頻流。
31.如權(quán)利要求30所述的方法，其中解碼所述的輸入數(shù)字視頻流包括變長解碼所述的輸入數(shù)字視頻流；編碼所述的第二量化的DCT系數(shù)包括變長編碼所述的第二量化的DCT系數(shù)；和生成所述的增強(qiáng)層視頻流包括運(yùn)用變長編碼生成所述的增強(qiáng)層視頻流。
32.一種在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)并且用于由處理器操作執(zhí)行的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括如下用途的計(jì)算機(jī)可讀的程序代碼接收具有第一數(shù)據(jù)率(R1)的輸入數(shù)字視頻流；解碼所述的輸入數(shù)字視頻流以產(chǎn)生第一量化的離散余弦變換(DCT)系數(shù)；運(yùn)用所述的第一量化的DCT系數(shù)，以所述的第一數(shù)據(jù)率(R1)產(chǎn)生第一去量化的DCT系數(shù)；確定與第二數(shù)據(jù)率(R2)相關(guān)聯(lián)的量化系數(shù)；運(yùn)用所述的量化系數(shù)，以所述的第二數(shù)據(jù)率(R2)量化所述的第一去量化的DCT系數(shù)以產(chǎn)生第二量化的DCT系數(shù)；和編碼所述的第二量化的DCT系數(shù)以所述的第二數(shù)據(jù)率(R2)產(chǎn)生基本層視頻流。
33.如權(quán)利要求32所述的在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)的計(jì)算機(jī)程序，進(jìn)一步包括如下用途的計(jì)算機(jī)可讀的程序代碼運(yùn)用所述的第二量化的DCT系數(shù)，以所述的第二數(shù)據(jù)率(R2)產(chǎn)生第二去量化的DCT系數(shù)；從所述的第一去量化的DCT系數(shù)中減去所述的第二去量化的DCT系數(shù)以產(chǎn)生殘差信號；位平面移位所述的殘差信號；和運(yùn)用所述的移位的殘差信號生成增強(qiáng)層視頻流。
34.如權(quán)利要求33所述的在計(jì)算機(jī)可讀的介質(zhì)上實(shí)現(xiàn)的計(jì)算機(jī)程序，其中輸入數(shù)字視頻流包括MPEG視頻流。
全文摘要
介紹一種把預(yù)先編碼的數(shù)字視頻數(shù)據(jù)流代碼轉(zhuǎn)換成分層的視頻流的視頻代碼轉(zhuǎn)換器(500)，其中分層的視頻流包括具有比原始的源流更低的數(shù)據(jù)率的基本層和運(yùn)用精細(xì)粒度可伸縮性(FGS)技術(shù)編碼的增強(qiáng)層。該視頻代碼轉(zhuǎn)換器(500)包括把現(xiàn)有的數(shù)字視頻重編碼成FGS的多層視頻的高效構(gòu)件，其在無線和/或有線網(wǎng)絡(luò)中帶寬劣化不斷變化的條件下，提供可變級別的顯示圖像的質(zhì)量。
文檔編號H04N7/26GK101077011SQ200580042496
公開日2007年11月21日 申請日期2005年12月8日 優(yōu)先權(quán)日2004年12月10日
發(fā)明者K·R·維蒂格, R·Y·陳 申請人:皇家飛利浦電子股份有限公司