專利名稱：有漂移補(bǔ)償?shù)囊曨l代碼轉(zhuǎn)換器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及對(duì)位流進(jìn)行代碼轉(zhuǎn)換的領(lǐng)域，并更具體地涉及當(dāng)對(duì)視頻位流進(jìn)行代碼轉(zhuǎn)換時(shí)減小漂移。
背景技術(shù)：
視頻壓縮使得能以較少的存儲(chǔ)、網(wǎng)絡(luò)和處理器資源來(lái)存儲(chǔ)、傳輸和處理可視信息。最廣泛使用的視頻壓縮標(biāo)準(zhǔn)包括用于存儲(chǔ)和取回移動(dòng)畫(huà)面的MPEG-1、用于數(shù)字電視的MPEG-2和用于視頻會(huì)議的H.263，見(jiàn)ISO/IEC 11172-21993，“Information Technology-Coding ofMoving Pictures and Associated Audio for Digital Storage Mediaup to about 1.5Mbit/s-Part 2Video(信息技術(shù)——達(dá)大約1.5Mbit/s的用于數(shù)字存儲(chǔ)媒體的移動(dòng)畫(huà)面和關(guān)聯(lián)音頻的編碼——第二部分視頻)，”D.LeGall，“MPEGAVideo Compression Standardfor Multimedia Application(MPEG一種用于多媒體應(yīng)用的視頻壓縮標(biāo)準(zhǔn))，”Communications of the ACM(ACM通信)，Vol.34，No.4，pp.46-58，1991，ISO/IEC 13818-21996，“InformationTechnology-Generic Coding of Moving Pictures and AssociatedAudio Information-Part2Video(信息技術(shù)——移動(dòng)畫(huà)面和關(guān)聯(lián)音頻信息的一般編碼——第二部分視頻)，”1994，ITU-TSG XV，DRAFT H.263，“Video Coding for Low Bitrate Communication(用于低位速率通信的視頻編碼)，”1996，ITU-TSG XVI，DRAFT13H.263+Q15-A-60 rev.0，“Video Coding for Low BitrateCommunication(用于低位速率通信的視頻編碼)，”1997。
這些標(biāo)準(zhǔn)是相對(duì)低水平的規(guī)范，其主要涉及圖像或幀的空間壓縮以及幀序列的空間和時(shí)間壓縮。作為共有的特征，這些標(biāo)準(zhǔn)在每幀的基礎(chǔ)上進(jìn)行壓縮。有了這些標(biāo)準(zhǔn)，人們可為各種各樣的應(yīng)用實(shí)現(xiàn)高壓縮比。
較新的視頻編碼標(biāo)準(zhǔn)如用于多媒體應(yīng)用的MPEG-4，見(jiàn)ISO/IEC14496-21999，“Information Technology-coding of audio/visual object，Part2Visual(信息技術(shù)——音頻/可視對(duì)象的編碼，第二部分可視)，”允許任意形狀的對(duì)象作為分離的視頻對(duì)象平面(VOP)被編碼和解碼。對(duì)象可以是可視、音頻、自然、合成、原始、混合的，或者其組合。另外，有成為這個(gè)標(biāo)準(zhǔn)組成部分的明顯量的誤差回彈特征，從而允許穿過(guò)易于產(chǎn)生誤差的通道如無(wú)線通道的魯棒(robust)傳輸。
新興的MPEG-4標(biāo)準(zhǔn)傾向于使得能進(jìn)行多媒體應(yīng)用，如交互式視頻，其中自然和合成的材料被集成，并且訪問(wèn)是通用的。在視頻傳輸?shù)那闆r下，需要這些壓縮標(biāo)準(zhǔn)以減小網(wǎng)絡(luò)上的帶寬量。網(wǎng)絡(luò)可以是無(wú)線的或?yàn)榛ヂ?lián)網(wǎng)。在任何情況下，網(wǎng)絡(luò)具有有限的容量，并且對(duì)稀少資源的爭(zhēng)奪應(yīng)被最小化。
大量的精力已被用于使得設(shè)備能魯棒地傳輸內(nèi)容并且能將內(nèi)容的質(zhì)量適配于可用網(wǎng)絡(luò)資源的系統(tǒng)和方法上。當(dāng)內(nèi)容被編碼時(shí)，有時(shí)有必要在它能以較低位速率或分辨率通過(guò)網(wǎng)絡(luò)被傳輸之前進(jìn)一步解碼位流。
如

圖1中所示，這可通過(guò)代碼轉(zhuǎn)換器100來(lái)完成。在最簡(jiǎn)單的實(shí)施中，代碼轉(zhuǎn)換器100包括級(jí)聯(lián)的解碼器110和編碼器120。被壓縮的輸入位流101被以輸入位速率Rin完全解碼，然后以輸出位速率Rout102被編碼以產(chǎn)生輸出位流103。通常，輸出速率比輸入速率低。在實(shí)踐中，由于編碼被解碼的位流的高復(fù)雜度，不進(jìn)行在代碼轉(zhuǎn)換器中的完全解碼和完全編碼。
有關(guān)MPEG-2代碼轉(zhuǎn)換的較早工作已由Sun等公布于“Architectures for MPEG compressed bitstream scaling(用于MPEG壓縮位流按比例縮放的體系結(jié)構(gòu))，”IEEE Transactions onCircuits and Systems for Video Technology(有關(guān)用于視頻技術(shù)的電路和系統(tǒng)的IEEE學(xué)報(bào))，1996年4月。在那里，有變化的復(fù)雜度和體系結(jié)構(gòu)的速率減小的四種方法被描述。
圖2示出第一實(shí)例方法200，被稱為開(kāi)環(huán)體系結(jié)構(gòu)。在這個(gè)體系結(jié)構(gòu)中，輸入位流201僅被部分解碼。更具體地，輸入位流的宏塊被可變長(zhǎng)度地解碼(VLD)210并被用精細(xì)量化器Q1而逆量化220，以得到離散余弦變換(DCT)系數(shù)。給定所需輸出位速率202，DCT塊由量化器的較粗糙水平的量化器Q2再量化230。然后這些被再量化的塊被可變長(zhǎng)度地編碼(VLC)240，由此形成較低速率的新輸出位流203。這個(gè)方案比圖1中所示的方案更簡(jiǎn)單，這是因?yàn)檫\(yùn)動(dòng)矢量被再使用并且不需要逆DCT運(yùn)算。注意，在此Q1和Q2的選擇嚴(yán)格依賴于位流的速率特征。其它因素，如可能地，位流的空間特征不被考慮。
圖3示出第二實(shí)例方法300。這種方法被稱為閉環(huán)體系結(jié)構(gòu)。在這種方法中，輸入視頻位流又被部分解碼，即輸入位流的宏塊被可變長(zhǎng)度地解碼(VLD)310并被用Q1逆量化320，以得到離散余弦變換(DCT)系數(shù)321。與上述第一實(shí)例方法相比，校正DCT系數(shù)332被加330給輸入的DCT系數(shù)321以補(bǔ)償由再量化產(chǎn)生的失配。這個(gè)校正提高了最終將被用于解碼的基準(zhǔn)幀的質(zhì)量。在校正被加之后，象前面那樣，新形成的塊被用Q2再量化以滿足新速率，并被可變長(zhǎng)度地編碼350。注意，Q1和Q2又是基于速率的。
為獲得校正分量332，被再量化的DCT系數(shù)被逆量化360并被從原始的被部分解碼的DCT系數(shù)減去370。這個(gè)差通過(guò)逆DCT(IDCT)365被變換到空間域并被存儲(chǔ)到幀存儲(chǔ)器380中。與每個(gè)輸入的塊關(guān)聯(lián)的運(yùn)動(dòng)矢量然后被用于再調(diào)用相應(yīng)的差塊，如在運(yùn)動(dòng)補(bǔ)償290中。然后相應(yīng)的塊通過(guò)DCT 332被變換以得到校正分量。圖3中所示方法的出處由Assuncao等描述于“Afrequency domain video transcoder fordynamic bit-rater eduction of MPEG-2bitstreams(用于MPEG-2位流的動(dòng)態(tài)位速率減小的頻域視頻代碼轉(zhuǎn)換器)，”IEEETransactions on Circuits and Systems for Video Technology(有關(guān)用于視頻技術(shù)的電路和系統(tǒng)的IEEE學(xué)報(bào))，pp.953-957，1998。
Assuncao等亦描述了用于相同目的的另一方法。在該可選方法中，他們使用了用于漂移補(bǔ)償在頻域中運(yùn)算的運(yùn)動(dòng)補(bǔ)償(MC)環(huán)。為在頻域中快速計(jì)算MC塊，近似矩陣被得出。拉格朗日最優(yōu)化被用于計(jì)算用于代碼轉(zhuǎn)換的最佳量化器縮放比例(scale)。這個(gè)可選方法去除了對(duì)IDCT/DCT分量的需要。
依照現(xiàn)有技術(shù)壓縮標(biāo)準(zhǔn)，被分配用于編碼結(jié)構(gòu)(texture)信息的位數(shù)由量化參數(shù)(QP)來(lái)控制。在基于被包含于原始位流中的信息而改變QP減小了結(jié)構(gòu)位的速率這方面，以上方法是類似的。對(duì)于有效的實(shí)施，信息通常直接從被壓縮域提取并可包括與宏塊的運(yùn)動(dòng)或DCT塊的殘留能量有關(guān)的測(cè)量。上述方法僅可用于位速率減小。
除了位速率減小，亦可進(jìn)行位流變換的其它類型。例如，基于對(duì)象的變換已由Vetro等描述于被提交于2000年2月14日的U.S.專利申請(qǐng)Sn.09/504，323，“Object-Based Bitstream Transcoder(基于對(duì)象的位流代碼轉(zhuǎn)換器)?！庇嘘P(guān)空間分辨率的變換已由Shanableh和Ghanbari描述于“Heterogeneous video transcoding to lowerspatio-temporal resolution，and different encoding formats(至較低時(shí)空分辨率的不均勻視頻代碼轉(zhuǎn)換以及不同的編碼格式)，”IEEE Transaction on Multimedia(有關(guān)多媒體的IEEE學(xué)報(bào))，2000年6月。
應(yīng)指出，這些方法以缺乏質(zhì)量的減小的空間分辨率減小而產(chǎn)生位流，或者以高復(fù)雜度來(lái)完成。還有，沒(méi)有適當(dāng)考慮通過(guò)其形成被重構(gòu)的宏塊的裝置。這均可影響質(zhì)量和復(fù)雜度，并且當(dāng)考慮不同于二的減小因子時(shí)是特別重要的。而且，這些方法未指定任何體系結(jié)構(gòu)的細(xì)節(jié)。大部分注意力都花費(fèi)在以因子二按比例縮放運(yùn)動(dòng)矢量的各種裝置上。
圖4示出用于以較低空間分辨率將輸入位流代碼轉(zhuǎn)換為輸出位流402的方法400的細(xì)節(jié)。這種方法是圖1中所示方法的擴(kuò)展，但是有所示解碼器110和編碼器120的細(xì)節(jié)，以及解碼和編碼過(guò)程之間的向下采樣(down-sampling)塊410。解碼器110進(jìn)行位流的部分解碼。向下采樣器減小部分宏塊的組的空間分辨率。解碼器中的運(yùn)動(dòng)補(bǔ)償420使用全分辨率運(yùn)動(dòng)矢量mvf421，而編碼器中的運(yùn)動(dòng)補(bǔ)償430使用低分辨率運(yùn)動(dòng)矢量mvr431。低分辨率運(yùn)動(dòng)矢量或者從被向下采樣的空間域幀yn1403被估算，或者從全分辨率運(yùn)動(dòng)矢量來(lái)映射。代碼轉(zhuǎn)換器400進(jìn)一步的細(xì)節(jié)在以下被描述。
圖5示出用于以較低空間分辨率將輸入位流501代碼轉(zhuǎn)換為輸出位流502的開(kāi)環(huán)方法500的細(xì)節(jié)。在這種方法中，視頻位流又被部分解碼，即輸入位流的宏塊被可變長(zhǎng)度地解碼(VLD)510并被逆量化520以得到離散余弦變換(DCT)系數(shù)，這些步驟是眾所周知的。然后DCT宏塊通過(guò)屏蔽16×16(24×24)宏塊中每個(gè)8×8(23×23)亮度(luminance)塊的高頻系數(shù)而以因子二被向下采樣530，從而得到四個(gè)4×4DCT塊，見(jiàn)1993年11月16日授予Ng的U.S.專利5,262,854，“Low-resolution HDTV receivers(低分辨率HDTV接收器)?！睋Q句話說(shuō)，向下采樣使一組塊例如四個(gè)成為一組較小尺寸的四個(gè)塊。
通過(guò)在代碼轉(zhuǎn)換器中進(jìn)行向下采樣，代碼轉(zhuǎn)換器必須采取附加步驟以再形成順從的(compliant)16×16宏塊，其涉及變換回空間域，然后再到DCT域。在向下采樣之后，塊用相同的量化水平被再量化540，然后被可變長(zhǎng)度地編碼550。沒(méi)有在被減小的分辨率的塊上進(jìn)行速率控制的已被描述的方法。
為進(jìn)行從全599到被減小的561運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量映射，適合于基于幀的運(yùn)動(dòng)矢量的幾種方法已在現(xiàn)有技術(shù)中被描述。為從四個(gè)基于幀的運(yùn)動(dòng)矢量即一組中每個(gè)宏塊一個(gè)，映射到用于新形成的16×16宏塊的一個(gè)運(yùn)動(dòng)矢量，可應(yīng)用簡(jiǎn)單平均或中濾波器(median filter)。這被稱為4∶1映射。
然而，某些壓縮標(biāo)準(zhǔn)如MPEG-4和H.263，支持允許每個(gè)8×8塊一個(gè)運(yùn)動(dòng)矢量的高級(jí)預(yù)測(cè)模式。在此情況下，每個(gè)運(yùn)動(dòng)矢量被從原始分辨率的16×16宏塊映射到被減小的分辨率的宏塊中的8×8塊。這被稱為1∶1映射。
圖6示出從一組四個(gè)16×16宏塊601到一個(gè)16×16宏塊602或四個(gè)8×8宏塊603的運(yùn)動(dòng)矢量的可能映射600?？偸褂?∶1映射是沒(méi)有效率的，這是因?yàn)檩^多的位被用于編碼四個(gè)運(yùn)動(dòng)矢量。還有，通常，用于交錯(cuò)圖像的基于場(chǎng)的運(yùn)動(dòng)矢量的擴(kuò)展是重要的。給定被向下采樣的DCT系數(shù)和被映射的運(yùn)動(dòng)矢量，則數(shù)據(jù)經(jīng)受可變長(zhǎng)度編碼，并且被減小的分辨率的位流可如眾所周知的被形成。
需要提供一種用于對(duì)位流進(jìn)行代碼轉(zhuǎn)換的方法，其針對(duì)空間分辨率減小而克服了現(xiàn)有技術(shù)方法的問(wèn)題。此外，需要提供一種在代碼轉(zhuǎn)換器中的復(fù)雜度和質(zhì)量之間的平衡。此外還需要補(bǔ)償漂移，并提供在代碼轉(zhuǎn)換期間的較好的向上采樣(up-sampling)技術(shù)。
發(fā)明公開(kāi)內(nèi)容一種方法補(bǔ)償部分被解碼的輸入位流的宏塊中的漂移。宏塊包括內(nèi)模式(intra-mode)和間模式(inter-mode)宏塊，并且每個(gè)宏塊包括DCT系數(shù)和至少一個(gè)運(yùn)動(dòng)矢量。對(duì)漂移的估算在部分被解碼的輸入位流中被測(cè)量。所估算的漂移被轉(zhuǎn)換為內(nèi)刷新率。依照該刷新率，間模式宏塊的模式被映射到間模式宏塊。用于每個(gè)被改變的宏塊的DCT系數(shù)和運(yùn)動(dòng)矢量依照用于每個(gè)被改變的宏塊的映射被修改。
附圖簡(jiǎn)述圖1為現(xiàn)有技術(shù)級(jí)聯(lián)代碼轉(zhuǎn)換器的方塊圖；圖2為用于位速率減小的現(xiàn)有技術(shù)開(kāi)環(huán)代碼轉(zhuǎn)換器的方塊圖；圖3為用于位速率減小的現(xiàn)有技術(shù)閉環(huán)代碼轉(zhuǎn)換器的方塊圖；圖4為用于空間分辨率減小的現(xiàn)有技術(shù)級(jí)聯(lián)代碼轉(zhuǎn)換器的方塊圖；圖5為用于空間分辨率減小的現(xiàn)有技術(shù)開(kāi)環(huán)代碼轉(zhuǎn)換器的方塊圖；圖6為現(xiàn)有技術(shù)運(yùn)動(dòng)矢量映射的方塊圖；圖7為依照本發(fā)明將位流代碼轉(zhuǎn)換到被減小的空間分辨率的第一應(yīng)用的方塊圖；圖8為依照本發(fā)明將位流代碼轉(zhuǎn)換到被減小的空間分辨率的第二應(yīng)用的方塊圖；圖9為依照本發(fā)明用于空間分辨率減小的開(kāi)環(huán)代碼轉(zhuǎn)換器的方塊圖；圖10為依照本發(fā)明用于有以被減小的分辨率進(jìn)行漂移補(bǔ)償?shù)目臻g分辨率減小的第一閉環(huán)代碼轉(zhuǎn)換器的方塊圖；圖11A為依照本發(fā)明用于有以原始分辨率進(jìn)行漂移補(bǔ)償?shù)目臻g分辨率減小的第二閉環(huán)代碼轉(zhuǎn)換器的方塊圖；圖11B為依照本發(fā)明用于有以原始分辨率進(jìn)行漂移補(bǔ)償?shù)目臻g分辨率減小的第三閉環(huán)代碼轉(zhuǎn)換器的方塊圖；圖12為包含宏塊模式、DCT系數(shù)數(shù)據(jù)和相應(yīng)運(yùn)動(dòng)矢量數(shù)據(jù)的一組宏塊的實(shí)例；圖13為依照本發(fā)明的塊組處理器的方塊圖；圖14A為依照本發(fā)明用于塊組處理的第一方法的方塊圖；圖14B為依照本發(fā)明用于塊組處理的第二方法的方塊圖；圖14C為依照本發(fā)明用于塊組處理的第三方法的方塊圖；圖15A示出在DCT或空間域中向下采樣的現(xiàn)有技術(shù)概念；圖15B為在DCT或空間域中現(xiàn)有技術(shù)向上采樣的方塊圖；圖15C為依照本發(fā)明在DCT域中向上采樣的方塊圖；并且圖16為依照本發(fā)明在DCT域中向上采樣的圖。
用于實(shí)現(xiàn)本發(fā)明的最佳模式簡(jiǎn)介本發(fā)明提供了一種用于以最小漂移將數(shù)字視頻信號(hào)的壓縮位流代碼轉(zhuǎn)換到被減小的空間分辨率的系統(tǒng)和方法。首先，可使用依照本發(fā)明的代碼轉(zhuǎn)換器的用于內(nèi)容分布的幾種應(yīng)用被描述。接下來(lái)，提供了對(duì)用于以較低空間分辨率產(chǎn)生位流的基本方法的分析?；谶@個(gè)分析，基本方法的幾個(gè)可選項(xiàng)以及與每個(gè)可選項(xiàng)關(guān)聯(lián)的相應(yīng)體系結(jié)構(gòu)被描述。
見(jiàn)圖9，第一可選項(xiàng)使用開(kāi)環(huán)體系結(jié)構(gòu)，而其它三個(gè)可選項(xiàng)圖10和11A-B，則對(duì)應(yīng)于閉環(huán)體系結(jié)構(gòu)，其提供補(bǔ)償由向下采樣、再量化和運(yùn)動(dòng)矢量截?cái)喽鴮?dǎo)致的漂移的裝置。為了較好的質(zhì)量，在DCT域中，閉環(huán)體系結(jié)構(gòu)之一以被減小的分辨率進(jìn)行這個(gè)補(bǔ)償，而其它以原始分辨率進(jìn)行這個(gè)補(bǔ)償。
如在以下將較具體描述的，圖9的開(kāi)環(huán)體系結(jié)構(gòu)是低復(fù)雜度的。沒(méi)有重構(gòu)環(huán)，沒(méi)有DCT/IDCT塊，沒(méi)有幀存儲(chǔ)，并且對(duì)于低畫(huà)面分辨率和位速率，質(zhì)量是合理的。這種體系結(jié)構(gòu)適合于互聯(lián)網(wǎng)應(yīng)用和軟件實(shí)施。圖10的第一閉環(huán)體系結(jié)構(gòu)亦為中等復(fù)雜度。它包括重構(gòu)環(huán)、IDCT/DCT塊和幀存儲(chǔ)。在此，在被減小的分辨率的域中用漂移補(bǔ)償可提高質(zhì)量。圖11A的第二閉環(huán)體系結(jié)構(gòu)為中等復(fù)雜度。它包括重構(gòu)環(huán)、IDCT/DCT塊和幀存儲(chǔ)。在原始分辨率的域中用漂移補(bǔ)償可提高質(zhì)量，并且確實(shí)需要被減小的分辨率的幀的向上采樣。第三閉環(huán)體系結(jié)構(gòu)使用在被減小的分辨率的域中獲得的校正信號(hào)。
為支持依照本發(fā)明的體系結(jié)構(gòu)，亦描述了幾種附加技術(shù)，用于以被減小的分辨率用“混合”模式來(lái)處理否則將具有宏塊組的塊。
當(dāng)欲被向下采樣的塊組包含以內(nèi)模式和間模式兩者來(lái)編碼的塊時(shí)，欲被向下采樣的一組塊例如四個(gè)，被考慮為“混合”塊。在MPEG標(biāo)準(zhǔn)中，I幀僅包含依照內(nèi)模式被編碼的宏塊，而P幀可包括內(nèi)和間模式的被編碼塊。這些模式需要被重視，特別是當(dāng)向下采樣時(shí)，否則輸出的質(zhì)量可被降級(jí)。
還有，用于基于數(shù)據(jù)的向上采樣DCT和漂移補(bǔ)償?shù)姆椒ū幻枋?。這些方法對(duì)第二和第三閉環(huán)體系結(jié)構(gòu)是有用的，這樣，向上采樣之后的運(yùn)算可被適當(dāng)進(jìn)行，而無(wú)需附加的轉(zhuǎn)換步驟。
被減小的空間分辨率的代碼轉(zhuǎn)換的應(yīng)用本發(fā)明的首要目標(biāo)應(yīng)用是將數(shù)字電視(DTV)廣播和互聯(lián)網(wǎng)內(nèi)容分配給有低分辨率顯示器的設(shè)備，如無(wú)線電話、尋呼機(jī)和個(gè)人數(shù)字助理。MPEG-2在當(dāng)前被用作用于DTV廣播和DVD記錄的壓縮格式，而MPEG-1內(nèi)容在互聯(lián)網(wǎng)上是可用的。
由于MPEG-4被用作用于在移動(dòng)網(wǎng)絡(luò)上進(jìn)行視頻傳輸?shù)膲嚎s格式，本發(fā)明亦涉及用于將MPEG-1/2內(nèi)容代碼轉(zhuǎn)換為較低分辨率的MPEG-4內(nèi)容的方法。
圖7示出使用本發(fā)明的多媒體內(nèi)容分配系統(tǒng)700的第一實(shí)例。系統(tǒng)700包括通過(guò)外部網(wǎng)絡(luò)703被連接于客戶702的自適應(yīng)(adaptive)服務(wù)器701。作為特征，客戶具有小尺寸顯示器或者被低位速率通道連接。因此，需要減小被分配給客戶702的任何內(nèi)容的分辨率。
輸入源多媒體內(nèi)容704被存儲(chǔ)于數(shù)據(jù)庫(kù)710中。該內(nèi)容經(jīng)受特征提取和索引過(guò)程720。數(shù)據(jù)庫(kù)服務(wù)器740允許客戶702瀏覽數(shù)據(jù)庫(kù)710的內(nèi)容并請(qǐng)求特定內(nèi)容。搜索引擎730可被用于定位多媒體內(nèi)容。在所需內(nèi)容被定位之后，數(shù)據(jù)庫(kù)服務(wù)器740將多媒體內(nèi)容轉(zhuǎn)送到依照本發(fā)明的代碼轉(zhuǎn)換器750。
代碼轉(zhuǎn)換器750讀取網(wǎng)絡(luò)和客戶特征。如果內(nèi)容的空間分辨率比客戶的顯示器特征高，則依照本發(fā)明的方法被用于減小內(nèi)容的分辨率以匹配客戶的顯示器特征。還有，如果網(wǎng)絡(luò)通道上的位速率比內(nèi)容的位速率小，本發(fā)明亦可被使用。
圖8示出內(nèi)容分配系統(tǒng)800的第二實(shí)例。系統(tǒng)800包括本地“家庭”網(wǎng)絡(luò)801、外部網(wǎng)絡(luò)703、廣播網(wǎng)絡(luò)803和如圖7所述的自適應(yīng)服務(wù)器701。在這個(gè)應(yīng)用中，高質(zhì)量輸入源內(nèi)容804被傳輸給客戶805，其通過(guò)廣播網(wǎng)絡(luò)803例如電纜、地球或衛(wèi)星被連接于家庭網(wǎng)絡(luò)801。該內(nèi)容由置頂盒或網(wǎng)關(guān)820接收并被存儲(chǔ)到本地存儲(chǔ)器或硬盤(pán)驅(qū)動(dòng)器(HDD)830中。所接收的內(nèi)容可被分配給家庭內(nèi)的客戶機(jī)805。另外，內(nèi)容可被代碼轉(zhuǎn)換850以適應(yīng)不具有解碼/顯示全分辨率內(nèi)容的能力的任何客戶機(jī)。當(dāng)高清晰度電視(HDTV)位流被標(biāo)準(zhǔn)清晰度電視機(jī)接收時(shí)可以是這樣的情況。因此，內(nèi)容應(yīng)被代碼轉(zhuǎn)換以滿足家庭內(nèi)的客戶機(jī)能力。
而且，如果訪問(wèn)被存儲(chǔ)于HDD 830上的內(nèi)容是通過(guò)外部網(wǎng)絡(luò)802被低分辨率外部客戶機(jī)806所需要的，則代碼轉(zhuǎn)換器850亦可被用于將低分辨率多媒體內(nèi)容遞送給這個(gè)客戶機(jī)。
基本方法的分析為了以變化的復(fù)雜度和質(zhì)量來(lái)設(shè)計(jì)代碼轉(zhuǎn)換器，由圖4的方法產(chǎn)生的信號(hào)被進(jìn)一步描述和分析。對(duì)于方程中的符號(hào)，小寫(xiě)的變量表示空間域信號(hào)，而大寫(xiě)的變量表示DCT域中的等效信號(hào)。變量的下標(biāo)表示時(shí)間，而等于一的上標(biāo)表示具有漂移的信號(hào)，并且等于二的上標(biāo)表示無(wú)漂移的信號(hào)。漂移通過(guò)有損過(guò)程被引入，如再量化、運(yùn)動(dòng)矢量截?cái)嗷蛳蛳虏蓸?。用于漂移補(bǔ)償?shù)姆椒ㄔ谝韵卤幻枋觥?br> I-幀由于沒(méi)有用于I幀的被運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)，即，xn1=en1,---(1)]]>信號(hào)被向下采樣410，yn1=D(xn1).---(2)]]>然后，在編碼器120中，gn2=yn1.---(3)]]>信號(hào)gn2經(jīng)受DCT 440，然后以量化參數(shù)Q2被量化450。被量化的信號(hào)cout被可變長(zhǎng)度地編碼460并被寫(xiě)到所代碼轉(zhuǎn)換的位流402中。作為編碼器中運(yùn)動(dòng)補(bǔ)償環(huán)的部分，cout被逆量化470并經(jīng)受IDCT 480。被減小的分辨率的基準(zhǔn)信號(hào)yn2481作為用于將來(lái)幀預(yù)測(cè)的基準(zhǔn)信號(hào)被存儲(chǔ)到幀緩沖器490中。
P幀在P幀的情況下，恒等式xn1=en1+Mf(xn-11)---(4)]]>得到被重構(gòu)的全分辨率畫(huà)面。同I幀的情況一樣，這個(gè)信號(hào)然后通過(guò)方程(2)被向下轉(zhuǎn)換。則被減小的分辨率的殘余(residual)依照下式被產(chǎn)生gn2=yn1-Mr(yn-12)---(5)]]>其被等效地表達(dá)為gn2=D(en1)+D(Mf(xn-11))-Mr(yn-12)---(6)]]>由方程(6)給出的信號(hào)表示一基準(zhǔn)信號(hào)，它是由本發(fā)明所述體系結(jié)構(gòu)近似。應(yīng)強(qiáng)調(diào)，產(chǎn)生這個(gè)基準(zhǔn)信號(hào)的復(fù)雜度是高的并需要當(dāng)獲得明顯的復(fù)雜度減小時(shí)近似于質(zhì)量。
開(kāi)環(huán)體系結(jié)構(gòu)給出近似，yn-12=yn-11---(7a)]]>D(Mf(xn-11))=Mr(D(xn-11))=Mr(yn-11)---(7b)]]>方程(6)中的被減小的分辨率的殘留信號(hào)被表達(dá)為gn2=D(en1).---(8)]]>上面的方程暗示了用于如圖9中所示代碼轉(zhuǎn)換器900的開(kāi)環(huán)體系結(jié)構(gòu)。
在代碼轉(zhuǎn)換器900中，輸入的位流901信號(hào)被可變長(zhǎng)度地解碼910以產(chǎn)生逆量化DCT系數(shù)911和全分辨率運(yùn)動(dòng)矢量mvf902。全分辨率運(yùn)動(dòng)矢量通過(guò)MV映射920被映射到被減小的分辨率的運(yùn)動(dòng)矢量mvr903。被量化的DCT系數(shù)911被用量化器Q1逆量化930以得到信號(hào)En1931。然后如在以下被較具體描述的，這個(gè)信號(hào)經(jīng)受塊組處理器1300。處理器1300的輸出被向下采樣950以產(chǎn)生信號(hào)Gn2951。在向下采樣之后，信號(hào)被用量化器Q2量化960。最后，被減小的分辨率的再量化DCT系數(shù)和運(yùn)動(dòng)矢量被可變長(zhǎng)度地編碼970并被寫(xiě)給被代碼轉(zhuǎn)換的輸出位流902。
塊組處理器1300的細(xì)節(jié)和優(yōu)選實(shí)施例在以下被描述，但簡(jiǎn)而言之，塊組處理器的目的是處理所選組的宏塊以確保向下采樣過(guò)程950將不產(chǎn)生宏塊組，在其中其子塊具有不同的編碼模式，例如間和內(nèi)塊(inter-and intra-blocks)。宏塊內(nèi)的混合編碼模式不被任何已知的視頻編碼標(biāo)準(zhǔn)支持。
以被減小的分辨率進(jìn)行的漂移補(bǔ)償僅給出由方程(7b)給出的近似，方程(6)中被減小的分辨率的殘留信號(hào)被表達(dá)為gn2=D(en1)+Mr(yn-11-yn-12)---(9)]]>上面的方程暗示了圖10中所示的閉環(huán)體系結(jié)構(gòu)1000，其以被減小的分辨率來(lái)補(bǔ)償漂移。
在這個(gè)體系結(jié)構(gòu)中，輸入的信號(hào)1001被可變長(zhǎng)度地解碼1010以產(chǎn)生被量化的DCT系數(shù)1011和全分辨率運(yùn)動(dòng)矢量mvf1012。全分辨率運(yùn)動(dòng)矢量1012通過(guò)MV映射1020被映射以得到一組被減小的分辨率的運(yùn)動(dòng)矢量mvr1021。被量化的DCT系數(shù)被用量化器Q1逆量化1030以得到信號(hào)En11031。然后這個(gè)信號(hào)經(jīng)受塊組處理器1300的并被向下采樣1050。在向下采樣之后，被減小的分辨率的漂移補(bǔ)償信號(hào)1051被加1060給DCT域中的低分辨率余項(xiàng)1052。
信號(hào)1061被用空間量化器Q2量化1070。最后，被減小的分辨率的再量化DCT系數(shù)1071和運(yùn)動(dòng)矢量1021被可變長(zhǎng)度地編碼1080以產(chǎn)生輸出的被代碼轉(zhuǎn)換的位流1002。
被減小的分辨率的漂移補(bǔ)償信號(hào)從其產(chǎn)生的基準(zhǔn)幀通過(guò)再量化器余項(xiàng)Gn21071的逆量化1090而被獲得，然后其被從被向下采樣的余項(xiàng)Gn11052減去1092。這個(gè)差信號(hào)經(jīng)受IDCT 1094并被加1095給被存儲(chǔ)于幀存儲(chǔ)1091中的先前宏塊的低分辨率預(yù)測(cè)分量1096。這個(gè)新的信號(hào)表示差(yn-11-yn-12)1097并被用作用于對(duì)當(dāng)前塊進(jìn)行低分辨率運(yùn)動(dòng)補(bǔ)償?shù)幕鶞?zhǔn)。
給出所存儲(chǔ)的基準(zhǔn)信號(hào)，低分辨率運(yùn)動(dòng)補(bǔ)償1098被進(jìn)行，并且預(yù)測(cè)經(jīng)受DCT 1099。這個(gè)DCT域信號(hào)為被減小的分辨率的漂移補(bǔ)償信號(hào)1051。這個(gè)運(yùn)算是使用低分辨率運(yùn)動(dòng)矢量mvr1012的組在逐宏塊的基礎(chǔ)上進(jìn)行的。
以原始分辨率進(jìn)行的漂移補(bǔ)償?shù)牡谝环椒▽?duì)于近似，Mr(yn-12)=D(Mf(U(yn-12)))=D(Mf(xn-12)),---(10)]]>方程(6)中被減小的分辨率的殘留信號(hào)被表達(dá)為gn2=D(en1)+Mf(xn-11-xn-12).---(11)]]>上面的方程暗示了圖11中所示的閉環(huán)體系結(jié)構(gòu)1100，其補(bǔ)償原始分辨率位流中的漂移。
在這個(gè)體系結(jié)構(gòu)中，輸入的信號(hào)1001被可變長(zhǎng)度地解碼1110以得到被量化的DCT系數(shù)1111和全分辨率運(yùn)動(dòng)矢量mvf1112。被量化的DCT系數(shù)1111被用量化器Q1逆量化1130以得到信號(hào)En11131。然后這個(gè)信號(hào)通過(guò)塊組處理器1300。在塊組處理1300之后，原始分辨率的漂移補(bǔ)償信號(hào)1151被加1160給DCT域中的余項(xiàng)1141。然后信號(hào)1162被向下采樣1150，并被用量化器Q2量化1170。最后，被減小的分辨率的再量化DCT系數(shù)1171和運(yùn)動(dòng)矢量1121被可變長(zhǎng)度地編碼1180并被寫(xiě)給被代碼轉(zhuǎn)換的位流1102。
原始分辨率的漂移補(bǔ)償信號(hào)1151從其產(chǎn)生的基準(zhǔn)幀通過(guò)再量化器余項(xiàng)Gn21171的逆量化1190而被獲得，然后其被向上采樣1191。在此，在向上采樣之后，被向上采樣的信號(hào)被從原始分辨率的余項(xiàng)1161減去1192。這個(gè)差信號(hào)經(jīng)受IDCT 1194并被加1195給先前宏塊的原始分辨率預(yù)測(cè)分量1196。這個(gè)新的信號(hào)表示差(x1n-1-x2n-1)1197并被用作用于以原始分辨率對(duì)當(dāng)前宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)幕鶞?zhǔn)。
給出被存儲(chǔ)于幀緩沖器1181的基準(zhǔn)信號(hào)，原始分辨率運(yùn)動(dòng)補(bǔ)償1098被進(jìn)行，并且預(yù)測(cè)經(jīng)受DCT 1199。這個(gè)DCT域信號(hào)為原始分辨率的漂移補(bǔ)償信號(hào)1151。這個(gè)運(yùn)算是使用原始分辨率運(yùn)動(dòng)矢量mvf1112的組在逐宏塊的基礎(chǔ)上進(jìn)行的。
以原始分辨率進(jìn)行的漂移補(bǔ)償?shù)牡诙椒▓D11B示出圖11A的閉環(huán)體系結(jié)構(gòu)的可選實(shí)施例。在此，在向上采樣1191之前，再量化器余項(xiàng)Gn21172的逆量化1190的輸出被從被減小的分辨率的信號(hào)1161減去1192。
原始分辨率中的兩個(gè)漂移補(bǔ)償體系結(jié)構(gòu)均不使用產(chǎn)生漂移補(bǔ)償信號(hào)1151的過(guò)程中的運(yùn)動(dòng)矢量近似。這是通過(guò)使用向上采樣1191而完成的。這兩個(gè)可選體系結(jié)構(gòu)主要區(qū)別在對(duì)被用于產(chǎn)生差信號(hào)的信號(hào)的選擇上。在第一方法中，差信號(hào)表示由于再量化和分辨率轉(zhuǎn)換而造成的誤差，而第二方法中的差信號(hào)僅考慮由于再量化而造成的誤差。
由于被向上采樣的信號(hào)在將來(lái)解碼被代碼轉(zhuǎn)換的位流時(shí)不被考慮，排除由在漂移補(bǔ)償信號(hào)中連續(xù)向下采樣和向上采樣所測(cè)量的任何誤差是合理的。然而，由于兩個(gè)原因仍采用向上采樣為利用全分辨率運(yùn)動(dòng)矢量1121以避免任何進(jìn)一步的近似，并使得漂移補(bǔ)償信號(hào)是以原始分辨率的并可在向下采樣1150之前被加1160給輸入的余項(xiàng)1161。
混合塊處理器塊組處理器1300的目的是預(yù)處理所選宏塊以確保向下采樣過(guò)程不產(chǎn)生宏塊，在其中其子塊具有不同的編碼模式，例如，間和內(nèi)塊。宏塊內(nèi)的混合編碼模式不被任何已知視頻編碼標(biāo)準(zhǔn)支持。
圖12示出在代碼轉(zhuǎn)換1203之后可導(dǎo)致被減小的分辨率的一組塊1202的一組宏塊1201的實(shí)例。在此，有三個(gè)間模式塊和一個(gè)內(nèi)模式塊。注意，用于內(nèi)模式塊的運(yùn)動(dòng)矢量(MV)為零。確定塊的特定組是否為混合組僅依賴于宏塊模式。塊組處理器1300考慮形成被減小的分辨率的單個(gè)宏塊1202的四個(gè)宏塊1201的組。換句話說(shuō)，對(duì)于亮度分量，MB(0)1210對(duì)應(yīng)于被減小的分辨率的宏塊1202中的子塊b(0)1220，并且類似地，MB(1)1211將對(duì)應(yīng)于b(1)1221，MB(k)1212對(duì)應(yīng)于b(2)1222，而MB(k+1)1213對(duì)應(yīng)于b(3)1223，其中k為原始分辨率的每行的宏塊數(shù)。色度分量被以與亮度模式一致的類似方式處理。
MB組模式確定塊組處理器1300是否應(yīng)處理特定的MB。如果該組包含至少一個(gè)內(nèi)模式塊和至少一個(gè)間模式塊，則塊組被處理。在宏塊被選擇之后，其DCT系數(shù)和運(yùn)動(dòng)矢量數(shù)據(jù)經(jīng)受修改。
圖1300示出塊組處理器1300的部件。對(duì)于所選組的混合塊1301，塊組處理器進(jìn)行模式映射1310、運(yùn)動(dòng)矢量修改1320和DCT系數(shù)修改1330以產(chǎn)生輸出的非混合塊1302。假定塊組1301被識(shí)別，則宏塊的模式被修改以使所有的宏塊相同。這是依照使被減小的分辨率的塊中的每個(gè)子塊的模式匹配的預(yù)定策略而實(shí)現(xiàn)的。
依照所選的模式映射，MV數(shù)據(jù)然后經(jīng)受修改1320。與相應(yīng)的模式映射一致的可能修改根據(jù)圖14A-C在以下被具體描述。最后，給定新的MB模式和MV數(shù)據(jù)，相應(yīng)的DCT系數(shù)亦被修改1330以與映射一致。
在如圖14A中所示的塊組處理器的第一實(shí)施例中，塊組1301的MB模式通過(guò)模式映射1310被修改以成為間模式。因此，用于內(nèi)塊的MV數(shù)據(jù)通過(guò)運(yùn)動(dòng)矢量處理被復(fù)位為零，并且對(duì)應(yīng)于內(nèi)塊的的DCT系數(shù)亦通過(guò)DCT處理1330被復(fù)位為零。以這種方式，已被轉(zhuǎn)換的這種子塊用來(lái)自基準(zhǔn)幀中相應(yīng)塊的數(shù)據(jù)而被復(fù)制。
在如圖14B中所示的塊組處理器的第二實(shí)施例中，混合塊組的MB模式通過(guò)映射1310被修改以成為間模式。然而，與第一優(yōu)選實(shí)施例相比，用于MB內(nèi)的MV數(shù)據(jù)被預(yù)測(cè)。該預(yù)測(cè)基于相鄰塊中的數(shù)據(jù)，其可包括結(jié)構(gòu)和運(yùn)動(dòng)數(shù)據(jù)兩者?；谶@個(gè)被預(yù)測(cè)的運(yùn)動(dòng)矢量，所修改塊的新余項(xiàng)被計(jì)算。最后的步驟1320將間DCT(inter-DCT)系數(shù)重設(shè)為內(nèi)DCT(intra-DCT)系數(shù)。
在圖14C中所示的第三實(shí)施例中，塊組的MB模式被修改1310為內(nèi)模式。在此情況下，沒(méi)有與被減小的分辨率的宏塊關(guān)聯(lián)的運(yùn)動(dòng)信息，因此所有關(guān)聯(lián)的運(yùn)動(dòng)矢量數(shù)據(jù)被重設(shè)1320為零。這在代碼轉(zhuǎn)換器中是有必要進(jìn)行的，因?yàn)橄噜弶K的運(yùn)動(dòng)矢量被從這個(gè)塊的運(yùn)動(dòng)預(yù)測(cè)。為確保在解碼器中的適當(dāng)重構(gòu)，塊組的MV數(shù)據(jù)必須在代碼轉(zhuǎn)換器中被重設(shè)為零。如以上，最后的步驟1330產(chǎn)生內(nèi)DCT系數(shù)以替換間DCT系數(shù)。
應(yīng)指出，為實(shí)施上述第二和第三實(shí)施例，重構(gòu)為全分辨率的解碼環(huán)可被使用。這個(gè)所重構(gòu)的數(shù)據(jù)可被用作在內(nèi)和間模式或間和內(nèi)模式之間轉(zhuǎn)換DCT系數(shù)的基準(zhǔn)。然而，使用這種解碼環(huán)是不需要的。其它實(shí)施可在漂移補(bǔ)償環(huán)內(nèi)進(jìn)行轉(zhuǎn)換。
對(duì)于有小量運(yùn)動(dòng)和低水平細(xì)節(jié)的幀序列，圖14A的低復(fù)雜度策略可被使用。否則，圖14b或圖14c的同等復(fù)雜的策略應(yīng)被使用。圖14c的策略提供最佳質(zhì)量。
有塊處理的漂移補(bǔ)償應(yīng)指出，塊組處理器1300亦可被用于控制或最小化漂移。由于內(nèi)編碼塊不經(jīng)受漂移，間編碼塊到內(nèi)編碼塊的轉(zhuǎn)換減小了漂移的影響。
如圖14C的第一步1350，壓縮位流中的漂移量被測(cè)量。在閉環(huán)體系結(jié)構(gòu)中，可依照由1092和1192產(chǎn)生的差信號(hào)或被存儲(chǔ)于1091和1191中的漂移補(bǔ)償信號(hào)的能量來(lái)測(cè)量漂移。計(jì)算信號(hào)的能量是眾所周知的方法。所計(jì)算的能量考慮了各種近似，包括再量化、向下采樣和運(yùn)動(dòng)矢量截?cái)唷?br> 亦可被用于開(kāi)環(huán)體系結(jié)構(gòu)的計(jì)算漂移的另一方法估算由被截?cái)嗟倪\(yùn)動(dòng)矢量導(dǎo)致的誤差。已知當(dāng)分辨率被減小時(shí)，原始分辨率的半像素運(yùn)動(dòng)矢量導(dǎo)致大的重構(gòu)誤差。全像素運(yùn)動(dòng)矢量不經(jīng)受這種誤差，這是因?yàn)樗鼈內(nèi)钥杀徽_地映射到半像素位置。有了這一點(diǎn)，測(cè)量漂移的一個(gè)可能性是記錄半像素運(yùn)動(dòng)矢量的百分比。然而，由于運(yùn)動(dòng)矢量近似的影響依賴于內(nèi)容的復(fù)雜度，另一個(gè)可能性是所測(cè)量的漂移為與具有半像素運(yùn)動(dòng)矢量的塊關(guān)聯(lián)的殘留分量的函數(shù)。
使用差信號(hào)的能量和運(yùn)動(dòng)矢量數(shù)據(jù)以測(cè)量漂移的方法可被組合使用，并亦可在幀內(nèi)的子區(qū)域上被考慮。考慮幀內(nèi)的子區(qū)域是有利的，這是因?yàn)榭勺R(shí)別通過(guò)漂移補(bǔ)償方法而使受益最大的宏塊的位置。為組合使用這些方法，通過(guò)具有原始分辨率的半像素運(yùn)動(dòng)矢量的宏塊的漂移補(bǔ)償信號(hào)或差信號(hào)的能量，漂移被測(cè)量。
如第二步，漂移的測(cè)量值被轉(zhuǎn)換為“內(nèi)刷新率”1351，其被用作塊組處理器1300的輸入?？刂苾?nèi)編碼塊的百分比已在現(xiàn)有技術(shù)中被考慮以便編碼用于誤差回彈(error-resilient)傳輸?shù)囊曨l，見(jiàn)例如“Analysis of Video Transmission over Lossy Channels(有損信道上視頻傳輸?shù)姆治?”Journal of Selected Areas ofCommunications(通信的所選區(qū)域的期刊)，Stuhlmuller等，2000。在這個(gè)工作中，從接收器到編碼器的后通道(back-channel)被假定傳達(dá)由傳輸通道導(dǎo)致的損失量，并且內(nèi)編碼塊的編碼直接從源被進(jìn)行以防止由在預(yù)測(cè)編碼方案中丟失數(shù)據(jù)而造成的誤差傳播。
相比而言，本發(fā)明為已被編碼的視頻在被壓縮的域中產(chǎn)生新的內(nèi)塊，并且從間到內(nèi)模式的轉(zhuǎn)換是由塊組處理器1300來(lái)完成的。
如果漂移超過(guò)漂移的閾量，則圖14c的塊組處理器1300被調(diào)用以將間模式塊轉(zhuǎn)換為內(nèi)模式塊，在此情況下，轉(zhuǎn)換是以固定且預(yù)定的內(nèi)刷新率而被進(jìn)行的?？蛇x地，轉(zhuǎn)換能以與所測(cè)漂移量成比例的內(nèi)刷新率而被進(jìn)行。還有，信號(hào)的速率失真特征可被考慮以進(jìn)行被用于編碼內(nèi)和間塊(intra and inter-blocks)的量化器和內(nèi)刷新率之間的適當(dāng)折中。
應(yīng)指出，本發(fā)明在壓縮域中產(chǎn)生新的內(nèi)塊，并且這個(gè)形式的漂移補(bǔ)償可以有或沒(méi)有分辨率減小而在任何代碼轉(zhuǎn)換器中被進(jìn)行。
向下采樣任何向下采樣方法可依照本發(fā)明由代碼轉(zhuǎn)換器使用。然而，優(yōu)選的向下采樣方法是依照1998年11月10日被授予Sun等的U.S.專利5,855,151“Method and apparatus for down-converting a digitalsignal(用于向下轉(zhuǎn)換數(shù)字信號(hào)的方法和設(shè)備)”，在此引入作為參考。
這種向下采樣方法的概念如圖15A中所示。一組包括四個(gè)2N×2NDCT塊1501。即，組的尺寸為2N+1×2N+1?！邦l率合成”或過(guò)濾1510被應(yīng)用于塊組以產(chǎn)生單個(gè)2N×2NDCT塊1511。從這個(gè)所合成的塊，被向下采樣的DCT塊1512可被提取。
這個(gè)運(yùn)算已使用2D運(yùn)算針對(duì)DCT域被描述，但該運(yùn)算亦可使用可分離的1D濾波器來(lái)進(jìn)行。還有，該運(yùn)算可在空間域中被完全進(jìn)行。通過(guò)使用在此引入作為參考、由Vetro等提交于1998年3月6日的U.S.專利申請(qǐng)Sn.09/035,969“Three layer scalable decoder andmethod of deco ding(三層可按比例縮放解碼器和解碼方法)”中所述的方法，可得出等效的空間域?yàn)V波器。
在依照本發(fā)明的代碼轉(zhuǎn)換器中使用向下采樣方法的優(yōu)點(diǎn)是，宏塊中子塊的正確維數(shù)(dimension)可被直接獲得，例如，從四個(gè)8×8 DCT塊，可形成單個(gè)8×8塊。另一方面，用于向下采樣的另外的現(xiàn)有技術(shù)方法以與宏塊的輸出子塊的所需大小不相等的大小而產(chǎn)生被向下采樣的數(shù)據(jù)，例如，從四個(gè)8×8 DCT塊獲得四個(gè)4×4 DCT塊。然后，需要附加步驟以構(gòu)成單個(gè)8×8 DCT塊。
以上濾波器是有效實(shí)施需要向上采樣的圖11中所示體系結(jié)構(gòu)的有用部件。更一般地，在此得到的濾波器可被有或沒(méi)有分辨率減小或漂移補(bǔ)償而應(yīng)用于需要在被向上采樣的DCT數(shù)據(jù)上的數(shù)學(xué)運(yùn)算的任何系統(tǒng)。
向上采樣現(xiàn)有技術(shù)向上采樣的任何裝置可被用于本發(fā)明。然而，在如上的U.S.專利申請(qǐng)“Three layer scalable decoder and method ofdecoding(三層可按比例縮放解碼器和解碼方法)”中，Vetro等指出，最佳向上采樣方法依賴于向下采樣方法。因此，使用對(duì)應(yīng)于向下采樣濾波器xd的向上采樣濾波器xu是優(yōu)選的，其中兩個(gè)濾波器之間的關(guān)系由以下給出xu=xdT(xdxdT)-1---(12)]]>有兩個(gè)問(wèn)題與從以上方程得到的濾波器關(guān)聯(lián)。首先，濾波器僅可用于空間域?yàn)V波器，這是因?yàn)镈CT域是不可逆的。但是，這是較小的問(wèn)題，因?yàn)橄鄳?yīng)的空間域?yàn)V波器可被得出，然后被轉(zhuǎn)換到DCT域。
然而，第二個(gè)問(wèn)題是，以這種方式獲得的向上采樣濾波器對(duì)應(yīng)于圖15B所示的過(guò)程。在這個(gè)過(guò)程中，例如，2N×2N塊1502被向上采樣1520為單個(gè)2N+1×2N+1塊1530。如果向上采樣是完全在空間域中進(jìn)行的，則沒(méi)有問(wèn)題。然而，如果向上采樣是在DCT域中進(jìn)行的，則人們有2N+1×2N+1DCT塊要處理，即有一個(gè)DC分量。這對(duì)于需要是標(biāo)準(zhǔn)MB格式的被向上采樣的DCT塊即四個(gè)2N×2NDCT塊的運(yùn)算是不合適的，其中N為4。就是說(shuō)，被向上采樣的塊具有與原始?jí)K相同的格式或維數(shù)，正好有許多它們。
在DCT域中向上采樣的以上方法不適合于在本發(fā)明所述的代碼轉(zhuǎn)換器中使用。在圖11A中，被向上采樣的DCT數(shù)據(jù)從輸出自混合塊處理器1300的DCT數(shù)據(jù)被減去。兩個(gè)塊的兩個(gè)DCT數(shù)據(jù)必須具有相同的格式。因此，需要可進(jìn)行圖15C中所示向上采樣的濾波器。在此，單個(gè)2N×2N塊1502被向上采樣為四個(gè)2N×2N塊1550。由于這種濾波器尚未被考慮并且不存在于已知的現(xiàn)有技術(shù)中，1D情況的表達(dá)式在以下被得出。
對(duì)于以下方程中的符號(hào)，小寫(xiě)的變量表示空間域信號(hào)，而大寫(xiě)的變量表示DCT域中的等效信號(hào)。
如圖16中所示，C 1601表示欲在DCT域中被向上采樣的DCT塊，而c 1602表示空間域中的等效塊。通過(guò)N-pt DCT和IDCT 1603的定義，兩個(gè)塊被相互聯(lián)系，見(jiàn)Rao和Yip，“Discrete Cosine TransformAlgorithms，Advantages and Application(離散余弦變換算法、優(yōu)點(diǎn)和應(yīng)用)”，學(xué)院(Academic)，波士頓，1990。為方便起見(jiàn)，該表達(dá)式亦在以下給出。
DCT定義為Cq=zq2NΣi=0N-1cicos((2i+1)qπ2N),]]>并且(13)IDCT定義為cj=2NΣq=0N-1zqCqcos((2j+1)qπ2N),---(14)]]>其中 有了以上，塊E 1610表示在用Xu1611進(jìn)行過(guò)濾C的基礎(chǔ)上被向上采樣的DCT塊，而e表示在用由方程(12)給出的xu1621進(jìn)行過(guò)濾c的基礎(chǔ)上被向上采樣的空間域塊。注意，e和E通過(guò)2N-pt DCT/IDCT1630被相互聯(lián)系。所過(guò)濾輸入的輸入輸出關(guān)系由以下給出
Ek=Σq=0N-1CqXu(k,q);0≤k≤2N-1,]]>并且 (16a)ei=Σj=0N-1cjxu(i,j);0≤i≤N-1.---(16b)]]>如圖16中所示，所需DCT塊由A1611和B1612表示。這個(gè)推導(dǎo)的目的是得出可被用于直接從C分別計(jì)算A和B的濾波器Xca1641和Xcb1642。
如第一步，方程(14)被替換為方程(16b)。結(jié)果表達(dá)式是作為DCT輸入C的函數(shù)的空間域輸出e，其由以下給出ei=Σq=0N-1Cq[2NzqΣj=0N-1xu(i,j)·cos((2j+1)qπ2N)].---(17)]]>為使用方程(17)根據(jù)C來(lái)表達(dá)A和B，a、b和e之間的空間域關(guān)系式為ai＝ei；0≤i≤N-1 (18)bi-N＝ei；N≤i≤2N-1’其中以上的i表示空間域索引。a的DCT域表達(dá)式由以下給出Ak=zk2NΣi=0N-1aicos((2i+1)kπ2N).---(19)]]>使用方程(17)-(19)給出Ak=Σq=0N-1Cq[2NzkzqΣi=0N-1cos((2i+1)kπ2N)Σj=0N-1xu(i,j)cos((2j+1)qπ2N)]---(20)]]>
其被等效地表達(dá)為Ak=Σq=0N-1CqXca(k,q)---(21)]]>其中Xca(k,q)=2NzkzqΣi=0N-1cos((2i+1)kπ2N)Σj=0N-1xu(i,j)cos((2j+1)qπ2N)---(22)]]>類似地，Bk=Σq=0N-1Cq[2NzkzqΣi=0N-1cos((2i+1)kπ2N)Σj=0N-1xu(i+N,j)cos((2j+1)qπ2N)]---(23)]]>其被等效地表達(dá)為Bk=Σq=0N-1CqXcb(k,q)---(24)]]>其中Xcb(k,q)=2NzkzqΣi=0N-1cos((2i+1)kπ2N)Σj=0N-1xu(i+N,j)cos((2j+1)qπ2N).---(25)]]>然后，以上濾波器可被用于將給定大小的單個(gè)塊向上采樣為較大數(shù)量的塊，每個(gè)都具有與原始?jí)K相同的大小。更一般地，在此得出的濾波器可被應(yīng)用于需要在被向上采樣的DCT數(shù)據(jù)上的數(shù)學(xué)運(yùn)算的任何系統(tǒng)。
為實(shí)施由方程(22)和(25)給出的濾波器，應(yīng)指出，每個(gè)表達(dá)式都提供了濾波器抽頭(tap)的k×q矩陣，其中k為輸出像素的索引，而q為輸入像素的索引。對(duì)于1D數(shù)據(jù)，輸出像素按矩陣乘法被計(jì)算。對(duì)于2D數(shù)據(jù)，采用兩個(gè)步驟。首先，數(shù)據(jù)在第一方向例如水平方向上被向上采樣。然后在水平方向上被向上采樣的數(shù)據(jù)在第二方向例如垂直方向上被向上采樣。向上采樣的方向順序可被顛倒，而不對(duì)結(jié)果有任何影響。
對(duì)于水平的向上采樣，塊中的每行可被獨(dú)立地運(yùn)算并被看做N維輸入矢量。每個(gè)輸入矢量依照方程(21)和(24)被過(guò)濾。這個(gè)過(guò)程的輸出將是兩個(gè)標(biāo)準(zhǔn)的DCT塊。
對(duì)于垂直的向上采樣，塊中的每列可被獨(dú)立地運(yùn)算并又被看作N維輸入矢量。同水平向上采樣的情況一樣，每個(gè)輸入矢量依照方程(21)和(24)被過(guò)濾。這個(gè)過(guò)程的輸出將是如圖15C中所示的四個(gè)標(biāo)準(zhǔn)的DCT塊。
語(yǔ)法轉(zhuǎn)換如針對(duì)依照本發(fā)明的代碼轉(zhuǎn)換器的以上應(yīng)用所指出的，本發(fā)明的關(guān)鍵應(yīng)用之一是MPEG-2到MPEG-4的轉(zhuǎn)換。至此，焦點(diǎn)主要在于當(dāng)代碼轉(zhuǎn)換到較低空間分辨率時(shí)被用于漂移補(bǔ)償?shù)捏w系結(jié)構(gòu)以及支持轉(zhuǎn)換到較低空間分辨率的附加技術(shù)。
然而，標(biāo)準(zhǔn)編碼方案之間的語(yǔ)法轉(zhuǎn)換是另一個(gè)重要問(wèn)題。由于我們相信這已由已未決的專利申請(qǐng)描述，我們不提供有關(guān)這個(gè)部分的任何另外的細(xì)節(jié)。
盡管本發(fā)明已通過(guò)優(yōu)選實(shí)施例的實(shí)例被描述，應(yīng)理解，各種其它改進(jìn)和修改可在本發(fā)明的精神和范圍內(nèi)進(jìn)行。因此，隨后權(quán)利要求的目的是覆蓋如在本發(fā)明真正精神和范圍內(nèi)的所有這樣的變化和修改。
權(quán)利要求
1.一種用于補(bǔ)償被部分解碼的輸入位流的宏塊中的漂移的方法，宏塊包括內(nèi)模式和間模式宏塊，并且每個(gè)宏塊包括DCT系數(shù)和運(yùn)動(dòng)矢量，該方法包括測(cè)量對(duì)被部分解碼的輸入位流中漂移的估算；將所估算的漂移轉(zhuǎn)換為內(nèi)刷新率；依照該刷新率將間模式宏塊的模式映射到間模式宏塊；以及依照每個(gè)被改變的宏塊的映射，修改每個(gè)被改變的宏塊的DCT系數(shù)和運(yùn)動(dòng)矢量，以補(bǔ)償漂移。
2.權(quán)利要求1的方法，進(jìn)一步包括在量化之前和之后從DCT系數(shù)產(chǎn)生差信號(hào)；以及測(cè)量差信號(hào)的能量以確定對(duì)漂移的估算。
3.權(quán)利要求1的方法，進(jìn)一步包括為每個(gè)被向下采樣的宏塊產(chǎn)生全分辨率漂移補(bǔ)償信號(hào)；以及測(cè)量全分辨率漂移補(bǔ)償信號(hào)的能量以確定對(duì)漂移的估算。
4.權(quán)利要求1的方法，進(jìn)一步包括測(cè)量被截?cái)嗟倪\(yùn)動(dòng)矢量中的誤差。
5.權(quán)利要求1的方法，進(jìn)一步包括為每個(gè)被向下采樣的宏塊產(chǎn)生全分辨率漂移補(bǔ)償信號(hào)；測(cè)量全分辨率漂移補(bǔ)償信號(hào)的能量以確定對(duì)漂移的估算；以及測(cè)量被截?cái)嗟倪\(yùn)動(dòng)矢量中的誤差。
6.權(quán)利要求1的方法，進(jìn)一步包括依照預(yù)定閾進(jìn)行轉(zhuǎn)換。
7.權(quán)利要求1的方法，其中所述轉(zhuǎn)換與對(duì)漂移的估算成比例。
8.權(quán)利要求1的方法，其中所述轉(zhuǎn)換依賴于宏塊的速率失真特征。
9.一種用于補(bǔ)償被部分解碼的輸入位流的宏塊中的漂移的設(shè)備，宏塊包括內(nèi)模式和間模式宏塊，并且每個(gè)宏塊包括DCT系數(shù)和運(yùn)動(dòng)矢量，該設(shè)備包括用于測(cè)量對(duì)被部分解碼的輸入位流中漂移的估算的裝置；用于將所估算的漂移轉(zhuǎn)換為內(nèi)刷新率的裝置；用于依照該刷新率將間模式宏塊的模式映射到間模式宏塊的裝置；以及用于依照每個(gè)被改變的宏塊的映射，修改每個(gè)被改變的宏塊的DCT系數(shù)和運(yùn)動(dòng)矢量以補(bǔ)償漂移的裝置。
全文摘要
一種方法補(bǔ)償被部分解碼的輸入位流的宏塊中的漂移。宏塊包括內(nèi)模式和間模式宏塊，并且每個(gè)宏塊包括DCT系數(shù)和至少一個(gè)運(yùn)動(dòng)矢量。對(duì)被部分解碼的輸入位流中漂移的估算被測(cè)量。所估算的漂移被轉(zhuǎn)換為內(nèi)刷新率。依照刷新率，間模式宏塊的模式被映射到間模式宏塊。每個(gè)被改變的宏塊的DCT系數(shù)和運(yùn)動(dòng)矢量依照每個(gè)被改變的宏塊的映射而被修改。
文檔編號(hào)H04N7/32GK1516975SQ0280236
公開(kāi)日2004年7月28日 申請(qǐng)日期2002年4月30日 優(yōu)先權(quán)日2001年5月11日
發(fā)明者A·韋特羅, A 韋特羅, 孫惠方, 普恩, 尹鵬, 劉必治, T·C·普恩 申請(qǐng)人:三菱電機(jī)株式會(huì)社