專(zhuān)利名稱(chēng)：基于變換的數(shù)字媒體編解碼器中的計(jì)算復(fù)雜度和精度控制的制作方法
專(zhuān)利說(shuō)明基于變換的數(shù)字媒體編解碼器中的計(jì)算復(fù)雜度和精度控制 背景 基于塊變換的編碼 變換編碼是在許多數(shù)字媒體(例如音頻、圖像和視頻)壓縮系統(tǒng)中使用的一種壓縮技術(shù)。未壓縮的數(shù)字圖像和視頻通常作為以二維(2D)網(wǎng)格排列的圖像或視頻幀中各位置處的圖元或色彩的樣本來(lái)表示或捕捉。這被稱(chēng)為圖像或視頻的空間域表示。例如，用于圖像的典型格式由被排列為網(wǎng)格的24位色彩圖元樣本流構(gòu)成。每一樣本是表示諸如RGB或YIQ等色彩空間內(nèi)該網(wǎng)格中的一個(gè)像素位置處的色彩分量的數(shù)字。各種圖像和視頻系統(tǒng)可使用各種不同的色彩、空間和時(shí)間分辨率的采樣。類(lèi)似地，數(shù)字音頻通常被表示為時(shí)間采樣的音頻信號(hào)流。例如，典型的音頻格式由以有規(guī)律的時(shí)間間隔所取的16位音頻信號(hào)幅度樣本流構(gòu)成。
未壓縮的數(shù)字音頻、圖像和視頻信號(hào)可消耗大量的存儲(chǔ)和傳輸能力。變換編碼通過(guò)將信號(hào)的空間域表示變換成頻域(或其它類(lèi)似的變換域)表示，然后降低該變換域表示的某些一般較不可感知的頻率分量的分辨率，從而減小了數(shù)字音頻、圖像和視頻的大小。與降低空間域中的圖像或視頻或時(shí)域中的音頻的色彩或空間分辨率相比，這一般產(chǎn)生了較不可感知的數(shù)字信號(hào)劣化。
更具體而言，

圖1所示的典型的基于塊變換的編碼器/解碼器系統(tǒng)100(也被稱(chēng)為“編解碼器”)將未壓縮的數(shù)字圖像的像素劃分成固定大小的二維塊(X1，...Xn)，每一塊可能與其它塊重疊。對(duì)每一塊應(yīng)用進(jìn)行空間-頻率分析的線性變換120-121，這將塊內(nèi)彼此隔開(kāi)的樣本轉(zhuǎn)換成一般表示塊間隔上相應(yīng)的頻帶內(nèi)的數(shù)字信號(hào)的強(qiáng)度的一組頻率(或變換)系數(shù)。為了壓縮，變換系數(shù)可被選擇性地量化130(即，諸如通過(guò)丟棄系數(shù)值的最低有效位或?qū)⑤^高分辨率數(shù)字集中的值映射到較低分辨率來(lái)降低分辨率)，并且還被熵編碼或可變長(zhǎng)度編碼130成壓縮數(shù)據(jù)流。在解碼時(shí)，變換系數(shù)進(jìn)行逆變換170-171以便幾乎重構(gòu)原始的色彩/空間采樣圖像/視頻信號(hào)(重構(gòu)塊

)。
塊變換120-121可被定義為對(duì)大小為N的向量x的數(shù)學(xué)運(yùn)算。最通常的是，該運(yùn)算是線性乘法，從而產(chǎn)生變換域輸出y＝Mx，M是變換矩陣。當(dāng)輸入數(shù)據(jù)是任意長(zhǎng)時(shí)，它被分段成大小為N的向量，并且向每一段應(yīng)用塊變換。出于數(shù)據(jù)壓縮的目的，選擇可逆塊變換。換言之，矩陣M是可逆的。在多個(gè)維度中(例如，對(duì)于圖像和視頻)，塊變換通常被實(shí)現(xiàn)為可分運(yùn)算。沿?cái)?shù)據(jù)的每一維(即，行和列)可分地應(yīng)用矩陣乘法。
為了壓縮，變換系數(shù)(向量y的分量)可被選擇性地量化(即，諸如通過(guò)丟棄系數(shù)值的最低有效位或?qū)⑤^高分辨率數(shù)字集中的值映射到較低分辨率來(lái)降低分辨率)，并還可被熵編碼或可變長(zhǎng)度編碼成壓縮數(shù)據(jù)流。
在解碼器150中解碼時(shí)，如圖1所示，在解碼器150側(cè)應(yīng)用這些運(yùn)算的逆過(guò)程(解量化(dequantization)/熵解碼160和逆塊變換170-171)。在重構(gòu)數(shù)據(jù)時(shí)，將逆矩陣M-1(逆變換170-171)作為乘數(shù)應(yīng)用于變換域數(shù)據(jù)。當(dāng)應(yīng)用于變換域數(shù)據(jù)時(shí)，逆變換幾乎重構(gòu)原始時(shí)域或空間域數(shù)字媒體。
在許多基于塊變換的編碼應(yīng)用中，變換理想地是可逆的以取決于量化因子同時(shí)支持有損和無(wú)損壓縮兩者。如果例如沒(méi)有量化(一般被表示為量化因子1)，則利用可逆變換的編解碼器可在解碼時(shí)精確地再現(xiàn)輸入數(shù)據(jù)。然而，這些應(yīng)用中的可逆性的要求約束了對(duì)用于設(shè)計(jì)編解碼器的變換的選擇。
諸如MPEG和Windows Media等許多圖像和視頻壓縮系統(tǒng)利用基于離散余弦變換(DCT)的變換。已知DCT具有得到近乎最優(yōu)的數(shù)據(jù)壓縮的良好能量壓縮特性。在這些壓縮系統(tǒng)中，在壓縮系統(tǒng)的編碼器和解碼器兩者中的重構(gòu)環(huán)路中采用了逆DCT(IDCT)來(lái)重構(gòu)各個(gè)圖像塊。
量化 量化是大多數(shù)圖像和視頻編解碼器控制壓縮的圖像質(zhì)量和壓縮比的主要機(jī)制。根據(jù)一個(gè)可能的定義，量化是用于通常用于有損壓縮的近似不可逆映射函數(shù)的術(shù)語(yǔ)，其中有一組指定的可能輸出值，并且該組可能的輸出值中的每一成員具有導(dǎo)致對(duì)該特定輸出值的選擇的一組相關(guān)聯(lián)的輸入值。已經(jīng)開(kāi)發(fā)了各種量化技術(shù)，包括標(biāo)量或矢量、均勻或非均勻、有或沒(méi)有死區(qū)、以及自適應(yīng)或非自適應(yīng)量化。
量化運(yùn)算本質(zhì)上是按照量化參數(shù)QP的加偏除法(biased division)，這在編碼器處執(zhí)行。逆量化或乘法運(yùn)算是與QP的乘法，這在解碼器處執(zhí)行。這些過(guò)程共同引入了原始變換系數(shù)數(shù)據(jù)的損失，這表現(xiàn)為解碼的圖像中的壓縮誤差或偽像。
概述 以下詳細(xì)描述呈現(xiàn)控制使用數(shù)字媒體編解碼器的解碼的計(jì)算復(fù)雜度和精度的工具和技術(shù)。在該技術(shù)的一個(gè)方面，編碼器用信號(hào)通知在解碼器處使用縮放或未縮放精度模式中的一個(gè)。在縮放精度模式中，在編碼器處預(yù)乘(例如乘8)輸入圖像。解碼器處的輸出也通過(guò)取整除法來(lái)縮放。在未縮放精度模式中，不應(yīng)用這種縮放運(yùn)算。在未縮放精度模式中，編碼器或解碼器可以處理較小的變換系數(shù)動(dòng)態(tài)范圍，并且因此具有較低的計(jì)算復(fù)雜度。
在該技術(shù)的另一方面，編解碼器還可以用信號(hào)通知解碼器執(zhí)行變換運(yùn)算所要求的精度。在一個(gè)實(shí)現(xiàn)中，位流句法的元素用信號(hào)通知是否對(duì)解碼器處的變換采用較低精度算術(shù)運(yùn)算。
提供本概述是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。該概述不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。本發(fā)明的其它特征和優(yōu)點(diǎn)在參考附圖繼續(xù)閱讀以下對(duì)實(shí)施例的詳細(xì)描述后將變得顯而易見(jiàn)。
附圖簡(jiǎn)述 圖1是現(xiàn)有技術(shù)中常規(guī)的基于塊變換的編解碼器的框圖。
圖2是包含塊模式編碼的代表性編碼器的流程圖。
圖3是包含塊模式編碼的代表性解碼器的流程圖。
圖4是圖2和圖3的代表性編碼器/解碼器的一個(gè)實(shí)現(xiàn)中的包括核心變換和后濾波(重疊)運(yùn)算的逆重疊變換的圖。
圖5是標(biāo)識(shí)變換運(yùn)算的輸入數(shù)據(jù)點(diǎn)的圖。
圖6是用于實(shí)現(xiàn)圖2和圖3的媒體編碼器/解碼器的合適的計(jì)算環(huán)境的框圖。
詳細(xì)描述 以下描述涉及控制基于變換的數(shù)字媒體編解碼器的精度和計(jì)算復(fù)雜度的技術(shù)。以下描述在數(shù)字媒體壓縮系統(tǒng)或編解碼器的上下文中描述了該技術(shù)的一個(gè)示例實(shí)現(xiàn)。該數(shù)字媒體系統(tǒng)以壓縮形式對(duì)數(shù)字媒體數(shù)據(jù)進(jìn)行編碼以便傳輸或存儲(chǔ)，并解碼該數(shù)據(jù)以供回放或其它處理。出于說(shuō)明的目的，包含計(jì)算復(fù)雜度和精度控制的該示例性壓縮系統(tǒng)是圖像或視頻壓縮系統(tǒng)。另選地，該技術(shù)也可被結(jié)合到用于其它數(shù)字媒體數(shù)據(jù)的壓縮系統(tǒng)或編解碼器中。計(jì)算復(fù)雜度和精度控制技術(shù)不要求數(shù)字媒體壓縮系統(tǒng)以特定的編碼格式來(lái)編碼壓縮數(shù)字媒體數(shù)據(jù)。
1.1.編碼器/解碼器 圖2和圖3是在代表性2維(2D)數(shù)據(jù)編碼器200和解碼器300中采用的過(guò)程的一般化圖示。該圖呈現(xiàn)結(jié)合了2D數(shù)據(jù)編碼器和解碼器的壓縮系統(tǒng)的一般化或簡(jiǎn)化的圖示，該2D數(shù)據(jù)編碼器和解碼器使用計(jì)算復(fù)雜度和精度控制技術(shù)來(lái)實(shí)現(xiàn)壓縮。在使用控制技術(shù)的替換壓縮系統(tǒng)中，可使用比該代表性編碼器和解碼器中所示的更多或更少的過(guò)程來(lái)進(jìn)行2D數(shù)據(jù)壓縮。例如，某些編碼器/解碼器還可包括色彩轉(zhuǎn)換、色彩格式、可縮放編碼、無(wú)損編碼、宏塊模式等。取決于可基于從無(wú)損到有損變化的量化參數(shù)的量化，壓縮系統(tǒng)(編碼器和解碼器)可提供2D數(shù)據(jù)的無(wú)損和/或有損壓縮。
2D數(shù)據(jù)編碼器200產(chǎn)生壓縮位流220，壓縮位流220是作為輸入提供給編碼器的2D數(shù)據(jù)210的更緊湊表示(對(duì)于典型輸入)。例如，2D數(shù)據(jù)輸入可以是圖像、視頻序列幀、或具有兩個(gè)維度的其它數(shù)據(jù)。2D數(shù)據(jù)編碼器將輸入數(shù)據(jù)幀劃分成塊(一般在圖2中示為分區(qū)230)，這在所示的實(shí)現(xiàn)中是形成跨該幀的平面的規(guī)則圖案的非重疊4×4像素塊。這些塊被分組成稱(chēng)為宏塊的群集，在該代表性編碼器中其大小是16×16像素。宏塊進(jìn)而被分組成稱(chēng)為瓦塊(tile)的規(guī)則結(jié)構(gòu)。瓦塊也可形成圖像上的規(guī)則圖案，使得水平行中的瓦塊是統(tǒng)一的高度且是對(duì)齊的，而垂直列中的瓦塊是統(tǒng)一的寬度且是對(duì)齊的。在該代表性編碼器中，瓦塊可以是任意大小，該大小在水平和/或垂直方向上是16的倍數(shù)。替換編碼器實(shí)現(xiàn)可以將圖像劃分成塊、宏塊、瓦塊或其它大小和結(jié)構(gòu)的其它單元。
對(duì)塊之間的每一邊緣應(yīng)用“前向重疊”算子240，之后使用塊變換250來(lái)變換每一4×4的塊。該塊變換250可以是由Srinivasan在2004年12月17日提交的題為“Reversible Transform For Lossy And Lossless 2-D DataCompression”(用于有損和無(wú)損2D數(shù)據(jù)壓縮的可逆變換)的美國(guó)專(zhuān)利申請(qǐng)第11/015,707號(hào)中所描述的可逆的、無(wú)縮放的2D變換。重疊算子240可以是由Tu等人在2004年12月17日提交的題為“Reversible OverlapOperator for Efficient Lossless Data Compression”(用于高效無(wú)損數(shù)據(jù)壓縮的可逆重疊算子)的美國(guó)專(zhuān)利申請(qǐng)第11/015,148號(hào)；以及Tu等人在2005年1月14日提交的題為“Reversible 2-Dimensional Pre-/Post-Filter for LappedBiorthogonal Transform”(用于重疊雙正交變換的可逆2維預(yù)/后濾波器)的美國(guó)專(zhuān)利申請(qǐng)第11/035,991號(hào)中描述的可逆重疊算子?；蛘?，可使用離散余弦變換或其它塊變換和重疊算子。在變換之后，令每一4×4的變換塊的DC系數(shù)260經(jīng)受一類(lèi)似的處理鏈(塊化、前向重疊、之后是4×4的塊變換)。所得的DC變換系數(shù)和AC變換系數(shù)被量化270、熵編碼280和分組化290。
解碼器執(zhí)行逆過(guò)程。在解碼器側(cè)，從其各自的分組中提取310變換系數(shù)位，從中系數(shù)本身被解碼320和解量化330。DC系數(shù)340通過(guò)應(yīng)用逆變換來(lái)重新生成，并且使用跨DC塊邊緣應(yīng)用的合適的平滑算子來(lái)“逆重疊”DC系數(shù)的平面。隨后，通過(guò)向DC系數(shù)應(yīng)用4×4的逆變換350來(lái)重新生成整個(gè)數(shù)據(jù)，并從位流中解碼AC系數(shù)342。最后，對(duì)所得圖像平面中的塊邊緣進(jìn)行逆重疊濾波360。這產(chǎn)生重構(gòu)的2D數(shù)據(jù)輸出。
在一示例性實(shí)現(xiàn)中，編碼器200(圖2)將輸入圖像壓縮成壓縮位流220(例如文件)，而解碼器300(圖3)基于所采用的是無(wú)損還是有損編碼來(lái)重構(gòu)原始輸入或其近似。編碼過(guò)程涉及應(yīng)用以下所討論的前向重疊變換(LT)，這是用同樣在以下更全面描述的可逆2維預(yù)/后濾波來(lái)實(shí)現(xiàn)的。解碼過(guò)程涉及應(yīng)用使用可逆2維預(yù)/后濾波的逆重疊變換(ILT)。
所示的LT和ILT在確切的意義上是彼此的逆，并且因此可被統(tǒng)稱(chēng)為可逆重疊變換。作為一種可逆變換，LT/ILT對(duì)可用于無(wú)損圖像壓縮。
由所示的編碼器200/解碼器300壓縮的輸入數(shù)據(jù)210可以是各種色彩格式(例如，RGB/YUV 4:4:4、YUV 4:2:2或YUV 4:2:0彩色圖像格式)的圖像。通常，輸入圖像總是具有亮度(Y)分量。如果它是RGB/YUV 4:4:4、YUV 4:2:2或YUV 4:2:0圖像，則該圖像還具有色度分量，諸如U分量和V分量。圖像的這些單獨(dú)的色彩平面或分量可具有不同的空間分辨率。在例如YUV 4:2:0色彩格式的輸入圖像的情況下，U和V分量具有Y分量一半的寬度和高度。
如上所述，編碼器200將輸入圖像或圖片塊化成宏塊。在一示例性實(shí)現(xiàn)中，編碼器200將輸入圖像塊化成Y通道中的16×16像素區(qū)域(稱(chēng)為“宏塊”)(取決于色彩格式，可以是U和V通道中的16×16、16×8或8×8區(qū)域)。每一宏塊色彩平面被塊化成4×4像素的區(qū)域或塊。因此，對(duì)于本示例性編碼器實(shí)現(xiàn)，宏塊按以下的方式由各種色彩格式組成 1.對(duì)于灰度圖像，每一宏塊包含16個(gè)4×4的亮度(Y)塊。
2.對(duì)于YUV 4:2:0格式彩色圖像，每一宏塊包含16個(gè)4×4的Y塊，以及4個(gè)各自為4×4的色度(U和V)塊。
3.對(duì)于YUV 4:2:2格式彩色圖像，每一宏塊包含16個(gè)4×4的Y塊，以及8個(gè)各自為4×4的色度(U和V)塊。
4.對(duì)于RGB或YUV 4:4:4彩色圖像，每一宏塊對(duì)Y、U和V通道中的每一個(gè)包含16個(gè)塊。
因此，在變換之后，該代表性編碼器200/解碼器300中的宏塊具有三個(gè)頻率子帶DC子帶(DC宏塊)、低通子帶(低通宏塊)和高通子帶(高通宏塊)。在該代表性系統(tǒng)中，低通和/或高通子帶在位流中是可任選的——這些子帶可被完全丟棄。
此外，壓縮數(shù)據(jù)可按以下兩種次序之一被填塞到位流中空間次序和頻率次序。對(duì)于空間次序，瓦塊內(nèi)的同一宏塊的不同子帶被排序在一起，且所得的每一瓦塊的位流被寫(xiě)入一個(gè)分組中。對(duì)于頻率次序，來(lái)自瓦塊內(nèi)的不同宏塊的同一子帶被分組在一起，且因此瓦塊的位流被寫(xiě)入以下三個(gè)分組中DC瓦塊分組、低通瓦塊分組和高通瓦塊分組。另外，可以有其它數(shù)據(jù)層。
因此，對(duì)于該代表性系統(tǒng)，圖像按以下“維度”來(lái)組織 空間維度幀→瓦塊→宏塊； 頻率維度DC|低通|高通；以及 通道維度亮度|色度0|色度1……(例如，Y|U|V)。
以上箭頭表示分層結(jié)構(gòu)，而垂直條表示劃分。
盡管該代表性系統(tǒng)按照空間、頻率和通道維度來(lái)組織壓縮的數(shù)字媒體數(shù)據(jù)，但是此處描述的靈活量化方法可以應(yīng)用于沿著更少、更多或其它維度來(lái)組織其數(shù)據(jù)的替換編碼器/解碼器系統(tǒng)。例如，該靈活量化方法可應(yīng)用于使用更大數(shù)量的頻帶、其它格式的色彩通道(例如，YIQ、RGB等)、附加圖像通道(例如，用于立體聲視覺(jué)或其它多照相機(jī)陣列)的編碼。
2.逆核心及重疊變換 概覽 在編碼器200/解碼器300的一個(gè)實(shí)現(xiàn)中，解碼器側(cè)的逆變換采取兩級(jí)重疊變換的形式。步驟如下 ·對(duì)與安排在被稱(chēng)為DC平面的平面陣列中的重構(gòu)DC和低通系數(shù)相對(duì)應(yīng)的每一4×4塊應(yīng)用逆核心變換(ICT)。
·可任選地將后濾波運(yùn)算應(yīng)用于均勻地跨DC平面中的塊的4×4區(qū)域。此外，對(duì)邊界2×4和4×2區(qū)域應(yīng)用后濾波器，而四個(gè)角區(qū)域不改變。
·所得陣列包含對(duì)應(yīng)于第一級(jí)變換的4×4塊的DC系數(shù)。DC系數(shù)被(象征性地)復(fù)制到更大的陣列，并且重構(gòu)的高通系數(shù)被填充到剩余位置中。
·對(duì)每一4×4塊應(yīng)用ICT。
·可任選地將后濾波運(yùn)算應(yīng)用于均勻地跨DC平面中的塊的4×4區(qū)域。此外，對(duì)邊界2×4和4×2區(qū)域應(yīng)用后濾波器，而四個(gè)角區(qū)域不改變。
該過(guò)程在圖4中示出。
后濾波器的應(yīng)用由壓縮位流220中的OVERLAP_INFO(重疊信息)句法元素來(lái)管控。OVERLAP_INFO可以取三個(gè)值 ·如果OVERLAP_INFO＝0，則不執(zhí)行后濾波。
·如果OVERLAP_INFO＝1，則只執(zhí)行外部后濾波。
·如果OVERLAP_INFO＝2，則執(zhí)行內(nèi)部及外部后濾波。
逆核心變換 核心變換(CT)受常規(guī)地被稱(chēng)為4×4離散余弦變換(DCT)啟發(fā)，但它在根本上是不同的。第一關(guān)鍵差異是DCT是線性的而CT是非線性的。第二關(guān)鍵差異是由于其是在實(shí)數(shù)上定義的事實(shí)，DCT不是整數(shù)到整數(shù)空間中的無(wú)損運(yùn)算。CT是在整數(shù)上定義的，并且在該空間中是無(wú)損的。第三關(guān)鍵差異是2D DCT是可分運(yùn)算。CT特意是不可分的。
整個(gè)逆變換過(guò)程可被寫(xiě)成三個(gè)基本的2×2變換運(yùn)算的級(jí)聯(lián)，它們是 ·2×2哈達(dá)瑪(Hadamard)變換T_h ·逆1D旋轉(zhuǎn)InvT_odd ·逆2D旋轉(zhuǎn)InvT_odd_odd 這些變換是作為不可分運(yùn)算來(lái)實(shí)現(xiàn)的，并且被首先描述，其后是整個(gè)ICT的描述。
2D 2×2哈達(dá)瑪變換T_h 如以下偽碼表所示，編碼器/解碼器實(shí)現(xiàn)2D 2×2哈達(dá)瑪變換T_h。R是舍入因子，其值只可以是0或1。T_h是對(duì)合的(即，對(duì)數(shù)據(jù)向量[a b c d]應(yīng)用兩次T-h會(huì)成功恢復(fù)[a b c d]的原始值，假定R在兩次應(yīng)用之間未改變)。逆T_h是T_h本身。


逆1D旋轉(zhuǎn)InvT_odd T_odd的無(wú)損逆由下表中的偽碼定義。

逆2D旋轉(zhuǎn)InvT_odd_odd 逆2D旋轉(zhuǎn)InvT_odd_odd由下表中的偽碼定義。


ICT運(yùn)算 2×2數(shù)據(jù)和先前列出的偽碼之間的對(duì)應(yīng)在圖5中示出。此處介紹使用四個(gè)灰度級(jí)來(lái)指示四個(gè)數(shù)據(jù)點(diǎn)的彩色編碼，以方便下一節(jié)中的變換描述。
2D 4×4點(diǎn)ICT是使用T_h、逆T_odd和逆T_odd_odd來(lái)構(gòu)建的。注意，逆T_h是T_h本身。ICT包括兩個(gè)階段，其在以下偽碼中示出。每一階段包括能在該階段內(nèi)以任意順序或同時(shí)完成的四個(gè)2×2變換。
如果輸入數(shù)據(jù)塊是則4×4_IPCT_1stStage()和4×4_IPCT_2ndStage()定義如下

函數(shù)2×2_ICT與T_h相同。
后濾波概覽 四個(gè)算子定義逆重疊變換中所使用的后濾波器。它們是 ·4×4后濾波器 ·4點(diǎn)后濾波器 ·2×2后濾波器 ·2點(diǎn)后濾波器 后濾波器使用T_h、InvT_odd_odd、invScale和invRotate。invRotate和invScale分別在以下各表中定義。


4×4后濾波器 最初，在OVERLAP_INFO是1或2時(shí)，對(duì)所有色彩平面中的所有塊連結(jié)(均勻地跨4個(gè)塊的區(qū)域)應(yīng)用4×4后濾波器。同樣，在OVERLAP_INFO是2時(shí)，對(duì)所有平面的DC平面中的所有塊連結(jié)應(yīng)用4×4濾波器，而在OVERLAP_INFO是2且色彩格式是YUV 4:2:0或YUV 4:2:2時(shí)，只對(duì)亮度平面的DC平面中的所有塊連結(jié)應(yīng)用4×4濾波器。
如果輸入數(shù)據(jù)是則4×4后濾波器4×4PostFilter(a，b，c，d，e，f，g，h，i，j，k，l，m，n，o，p)在下表中定義

4點(diǎn)后濾波器 對(duì)跨圖像的邊界上的2×4和4×2區(qū)域的邊緣應(yīng)用線性4點(diǎn)濾波器。如果輸入數(shù)據(jù)是[a b c d]，則4點(diǎn)后濾波器4PostFilter(a，b，c，d)在下表中定義。

2×2后濾波器 對(duì)跨YUV 4:2:0和YUV 4:2:2數(shù)據(jù)的色度通道的DC平面中的塊的區(qū)域應(yīng)用2×2后濾波器。如果輸入數(shù)據(jù)是則2×2后濾波器2×2PostFilter(a，b，c，d)在下表中定義

2點(diǎn)后濾波器 對(duì)跨塊的邊界2×1和1×2樣本應(yīng)用2點(diǎn)后濾波器。2點(diǎn)后濾波器2PostFilter(a，b)在下表中定義
用于執(zhí)行上述重疊變換的變換運(yùn)算所要求的精度的信令可以在壓縮數(shù)據(jù)結(jié)構(gòu)的頭部中執(zhí)行。在該示例實(shí)現(xiàn)中，LONG_WORD_FLAG和NO_SCALED_FLAGS是在壓縮位流中(例如，在圖像頭部中)發(fā)送來(lái)用信號(hào)通知解碼器要應(yīng)用的精度和計(jì)算復(fù)雜度的句法元素。
3.精度和字長(zhǎng) 該示例編碼器/解碼器執(zhí)行整數(shù)運(yùn)算。此外，該示例編碼器/解碼器支持無(wú)損編碼和解碼。因此，該示例編碼器/解碼器所要求的主機(jī)器精度是整數(shù)。
然而，在該示例編碼器/解碼器中定義的整數(shù)運(yùn)算對(duì)有損編碼導(dǎo)致舍入誤差。這些誤差在設(shè)計(jì)上很小，然而，它們?cè)诼适д媲€上導(dǎo)致下降。出于通過(guò)減少舍入誤差來(lái)改進(jìn)編碼性能的目的，示例編碼器/解碼器定義第二機(jī)器精度。在該模式下，對(duì)輸入預(yù)乘8(即，左移3位)，并且最終輸出除以8取整(即，右移3位)。這些運(yùn)算在編碼器的前端和解碼器的后端執(zhí)行，并且對(duì)該過(guò)程的其余部分在很大程度上是不可見(jiàn)的。此外，相應(yīng)地縮放量化等級(jí)，以便用主機(jī)器精度創(chuàng)建并使用第二機(jī)器精度解碼(反之亦然)的流產(chǎn)生可接受的圖像。
在需要無(wú)損壓縮時(shí)不能使用第二機(jī)器精度。在創(chuàng)建壓縮文件時(shí)使用的機(jī)器精度在頭部中被顯式地標(biāo)記。
第二機(jī)器精度等于在編解碼器中使用縮放算術(shù)，并且因此該模式被稱(chēng)為縮放的。主機(jī)器精度被稱(chēng)為未縮放的。
該示例編碼器/解碼器被設(shè)計(jì)來(lái)提供良好的編碼和解碼速度。該示例編碼器/解碼器的設(shè)計(jì)目標(biāo)是對(duì)一個(gè)8位輸入而言，編碼器和解碼器上的數(shù)據(jù)值不超過(guò)16位有符號(hào)值。(然而，變換階段內(nèi)的中間運(yùn)算可超過(guò)這一數(shù)字。)這對(duì)兩種機(jī)器精度模式而言都是成立的。
相反，在選擇第二機(jī)器精度時(shí)，中間值的范圍跨度是8位的。因?yàn)橹鳈C(jī)器精度避免預(yù)乘8，所以其范圍跨度是8-3＝5位。
第一示例編碼器/解碼器對(duì)中間值使用兩種不同字長(zhǎng)。這些字長(zhǎng)是16和32位。
第二示例位流句法和語(yǔ)義 第二示例位流句法和語(yǔ)義是分層的，并且包括以下各層圖像、瓦塊、宏塊、和塊。
圖像(IMAGE) IMAGE(){位數(shù)描述符 IMAGE_HEADER 可變struct bAlphaPlane＝FALSE IMAGE_PLANE_HEADER可變struct if(ALPHACHANNEL_FLAG){ bAlphaPlane＝TRUE IMAGE_PLANE_HEADER可變Struct } INDEX_TABLE 可變struct TILE 可變struct } 圖像頭部(IMAGE_HEADER) IMAGE_HEADER(){ 位數(shù)描述符 GDISIGNATURE 64 uimsbf RESERVED1 4 uimsbf RESERVED2 4 uimsbf TILING_FLAG1 bool FREQUENCYMODE_BITSTREAM_FLAG 1 uimsbf IMAGE_ORIENTATION 3 uimsbf INDEXTABLE_PRESENT_FLAG1 uimsbf OVERLAP_INFO 2 uimsbf SHORT_HEADER_FLAG 1 bool LONG_WORD_FLAG 1 bool WINDOWING_FLAG l bool TRIM_FLEXBITS_FLAG 1 bool RESERVED3 3 uimsbf ALPHACHANNEL_FLAG 1 bool SOURCE_CLR_FMT 4 uimsbf SOURCE_BITDEPTH4 uimsbf If(SHORT_HEADER_FLAG){ WIDTH_MINUS1 16 uimsbf HEIGHT_MINUS116uimsbf } else{ WIDTH_MINUS1 32uimsbf HEIGHT_MINUS132uimsbf } if(TILING_FLAG){ NUM_VERT_TILES_MINUS112uimsbf NUM_HORIZ_TILES_MINUS1 12uimsbf } for(n＝0；n＜ NUM_VERT_TILES_MINUS1；n++){ If(SHORT_HEADER_FLAG)8 uimsbf WIDTH_IN_MB_OF_TILE_MINUS1[n] else16uimsbf WIDTH_IN_MB_OF_TILE_MINUS1[n] } for(n＝0；n＜ NUM_HORIZ_TILES_MINUS1；n++){ If(SHORT_HEADER_FLAG)8 uimsbf HEIGHT_IN_MB_OF_TILE_MINUS1[n] else16uimsbf HEIGHT_IN_MB_OF_TILE_MINUS1[n] } if(WINDOWING_FLAG){ NUM_TOP_EXTRAPIXELS 6uimsbf NUM_LEFT_EXTRAPIXELS6uimsbf NUM_BOTTOM_EXTRAPIXELS 6uimsbf NUM_RIGHT_EXTRAPIXELS 6uimsbf } } IMAGE_PLANE_HEADER(){ 位數(shù) 描 述符 CLR_FMT 3uimsbf NO_SCALED_FLAG 1bool BANDS_PRESENT 4uimsbf if(CLR_FMT＝＝Y(jié)UV444){ CHROMA_CENTERING4uimsbf COLOR_INTERPRETATION4uimsbf } Else if(CLR_FMT＝＝NCHANNEL){ NUM_CHANNELS_MINUS 14 uimsbf COLOR_INTERPRETATION4uimsbf } if(SOURCE_CLR_FMT＝＝BAYER){ BAYER_PATTERN 2uimsbf CHROMA_CENTERING_BAYER 2uimsbf COLOR_INTERPRETATION4uimsbf } if(SOURCE_BITDEPTH∈ {BD16，BD16S，BD32，BD32S}){ SHIFT_BITS 8uimsbf } if(SOURCE_BITEPTH＝＝BD32F){ LEN_MANTISSA8uimsbf EXP_BIAS8uimsbf } DC_FRAME_UNIFORM1bool if(DC_FRAME_UNIFORM){ DC_QP() 可變 struct } if(BANDS_PRESENT?。絊B_DC_ONLY){ USE_DC_QP 1bool if(USE_DC_QP＝＝FALSE){ LP_FRAME_UNIFORM1bool if(LP_FRAME_UNIFORM){ NUM_LP_QPS＝1 LP_QP() 可變 struct } } if(BANDS_PRESENT?。絊B_NO_HIGHPASS){ USE_LP_QP 1bool if(USE_LP_QP＝＝FALSE){ HP_FRAME_UNIFORM1bool if(HP_FRAME_UNIFORM){ NUM_HP_QPS＝1 HP_QP() 可變 struct } } } } FLUSH_BYTE 可變 } 從第二示例位流句法和語(yǔ)義中所選擇的一些位流元素定義如下。
長(zhǎng)字標(biāo)志(LONG_WORD_FLAG)(1位) LONG_WORD_FLAG是1位句法元素并指定是否將16位整數(shù)用于變換計(jì)算。在該第二示例位流句法中，如果LONG_WORD_FLAG＝＝0(FALSE(假))，則16位整數(shù)和數(shù)組可以用于變換計(jì)算的外部階段(變換中的中間運(yùn)算(如(3*a+1)＞＞1)是用更高準(zhǔn)確度來(lái)執(zhí)行的)。如果LONG_WORD_FLAG＝＝TRUE(真)，則應(yīng)將32位整數(shù)和數(shù)組用于變換計(jì)算。
注意32位算術(shù)可被用來(lái)解碼圖像而不管LONG_WORD_FLAG的值。該句法元素可由解碼器用來(lái)選擇用于實(shí)現(xiàn)的最高效字長(zhǎng)。
無(wú)縮放算術(shù)標(biāo)志(NO_SCALED_FLAG)(1位) NO_SCALED_FLAG是指定變換是否使用縮放的1位句法元素。如果NO_SCALED_FLAG＝＝1，則不應(yīng)執(zhí)行縮放。如果NO_SCALED_FLAG＝＝0，則應(yīng)當(dāng)執(zhí)行縮放。在這種情況下，縮放應(yīng)當(dāng)通過(guò)將最終階段(色彩轉(zhuǎn)換)的輸出適當(dāng)?shù)叵律崛?位來(lái)執(zhí)行。
注意如果需要無(wú)損編碼，則即使無(wú)損編碼只用于圖像的子區(qū)域，NO_SCALED_FLAG也應(yīng)被設(shè)為T(mén)RUE。有損編碼可以使用任一模式。
注意在使用縮放時(shí)(即，NO_SCALED_FLAG＝＝FALSE)，尤其是在低QP的情況下，有損編碼的率失真性能很好。
4.長(zhǎng)字標(biāo)志的信令和使用 代表性編碼器/解碼器的一個(gè)示例圖像格式支持各種各樣的像素格式，包括高動(dòng)態(tài)范圍和寬色域格式。所支持的數(shù)據(jù)類(lèi)型包括有符號(hào)整數(shù)、無(wú)符號(hào)整數(shù)、定點(diǎn)浮動(dòng)和浮點(diǎn)浮動(dòng)。所支持的位深包括每色彩通道8、16、24和32位。示例圖像格式允許使用達(dá)每色彩通道24位的圖像的無(wú)損壓縮，以及使用達(dá)每色彩通道32位的圖像的有損壓縮。
同時(shí)，該示例圖像格式被設(shè)計(jì)成提供高質(zhì)量圖像和壓縮效率，并允許低復(fù)雜度編碼和解碼實(shí)現(xiàn)。
為支持低復(fù)雜度實(shí)現(xiàn)，示例圖像格式中的變換被設(shè)計(jì)成最小化動(dòng)態(tài)范圍的擴(kuò)張。兩階段變換只將動(dòng)態(tài)范圍增加5位。因此，如果圖像位深是每色彩通道8位，則16位算術(shù)可足以在解碼器處執(zhí)行所有變換運(yùn)算。對(duì)于其它位深，變換運(yùn)算可能需要更高精度的算術(shù)。
如果在解碼器處已知執(zhí)行變換運(yùn)算所要求的精度，則解碼特定位流的計(jì)算復(fù)雜度可以降低?？梢允褂镁浞ㄔ?例如，圖像頭部中的1位標(biāo)志)來(lái)用信號(hào)將該信息通知給解碼器。所描述的信令技術(shù)和句法元素可以降低解碼位流的計(jì)算復(fù)雜度。
在一個(gè)示例實(shí)現(xiàn)中，使用1位句法元素LONG_WORD_FLAG。例如，如果LONG_WORD_FLAG＝＝FALSE，則16位整數(shù)和數(shù)組可被用于變換計(jì)算的外部階段，并且如果LONG_WORD_FLAG＝＝TRUE，則32位整數(shù)和數(shù)組應(yīng)被用于變換計(jì)算。
在該代表性編碼器/解碼器的一個(gè)實(shí)現(xiàn)中，可以對(duì)16位寬的字執(zhí)行原地變換運(yùn)算，但變換內(nèi)的中間運(yùn)算(如計(jì)算b+＝(3*a+1)＞＞1所給出的“提升”步驟的3*a的積)是用更高準(zhǔn)確度(例如，18位或更高精度)來(lái)執(zhí)行的。然而，在該示例中，中間變換值a和b本身可以存儲(chǔ)在16位整數(shù)內(nèi)。
32位算術(shù)可被用來(lái)解碼圖像而不管LONG_WORD_FLAG元素的值。LONG_WORD_FLAG元素可由編碼器/解碼器用來(lái)選擇用于實(shí)現(xiàn)的最高效字長(zhǎng)。例如，如果編碼器能驗(yàn)證16位和32位精度變換步驟產(chǎn)生相同的輸出值，則它可以選擇將LONG_WORD_FLAG元素設(shè)為FALSE。
5.NO_SCALED_FLAG的信令和使用 代表性編碼器/解碼器的一個(gè)示例圖像格式支持各種各樣的像素格式，包括高動(dòng)態(tài)范圍和寬色域格式。同時(shí)，該代表性編碼器/解碼器的設(shè)計(jì)優(yōu)化圖像質(zhì)量和壓縮效率，并允許低復(fù)雜度的編碼和解碼實(shí)現(xiàn)。
如上所述，該代表性編碼器/解碼器使用兩階段的分層的基于塊的變換，其中所有變換步驟都是整數(shù)運(yùn)算。這些整數(shù)運(yùn)算中存在的小舍入誤差導(dǎo)致有損壓縮期間的壓縮效率的損失。為對(duì)抗這一問(wèn)題，該代表性編碼器/解碼器的一個(gè)實(shí)現(xiàn)定義用于解碼器運(yùn)算的兩個(gè)不同的精度模式縮放模式和未縮放模式。
在縮放精度模式下，在編碼器處對(duì)輸入圖像預(yù)乘8(即，左移3位)，并且在解碼器處的最終輸出除以8取整(即，右移3位)?？s放精度模式中的運(yùn)算最小化舍入誤差，并且產(chǎn)生改進(jìn)的率失真性能。
在未縮放精度模式中，不存在這種縮放。以未縮放精度模式運(yùn)算的編碼器或解碼器必須處理較小的變換系數(shù)動(dòng)態(tài)范圍，并且因此具有較低的計(jì)算復(fù)雜度。然而，對(duì)于在該模式中運(yùn)算而言，壓縮效率上存在少量惡化。無(wú)損編碼(不用量化，即將量化參數(shù)即QP設(shè)為1)只能使用未縮放精度模式來(lái)得到所確保的可逆性。
編碼器在創(chuàng)建壓縮文件時(shí)所使用的精度模式在壓縮位流220的圖像頭部中使用NO_SCALED_FLAG來(lái)顯式地用信號(hào)通知(圖2)。建議解碼器300也對(duì)其運(yùn)算使用同一精度模式。
NO_SCALED_FLAG是圖像頭部中的如下指定精度模式的1位句法元素 如果NO_SCALED_FLAG＝＝TRUE，則未縮放模式應(yīng)被用于解碼器運(yùn)算。
如果NO_SCALED_FLAG＝＝FALSE，則應(yīng)當(dāng)使用縮放。在這種情況下，縮放模式應(yīng)當(dāng)通過(guò)將最終階段(色彩轉(zhuǎn)換)的輸出適當(dāng)?shù)厣崛?位來(lái)用于運(yùn)算。
在使用未縮放模式時(shí)(即，NO_SCALED_FLAG＝＝FALSE)，尤其是在低QP的情況下，有損編碼的率失真性能很好。然而，在使用未縮放模式時(shí)，由于以下兩個(gè)原因，計(jì)算復(fù)雜度較低 未縮放模式中的較小的動(dòng)態(tài)范圍擴(kuò)張意味著較短的字可以用于變換計(jì)算，尤其是在結(jié)合“LONG_WORD_FLAG”的情況下。在VLSI實(shí)現(xiàn)中，降低的動(dòng)態(tài)范圍擴(kuò)張意味著實(shí)現(xiàn)更多有效位的門(mén)邏輯可被斷電。
縮放模式在解碼器側(cè)要求加法運(yùn)算和右移3位(實(shí)現(xiàn)除以8取整)。在編碼器側(cè)，其要求左移3位?？傮w上，這比未縮放模式在計(jì)算上要求稍高。
此外，未縮放模式允許比縮放模式壓縮更多的有效位。例如，使用32位算術(shù)，未縮放模式準(zhǔn)許每樣本達(dá)27個(gè)有效位的無(wú)損壓縮(以及解壓)。相反，縮放模式在同樣情況下只允許24位壓縮。這是因?yàn)榭s放過(guò)程引入了動(dòng)態(tài)范圍的三個(gè)附加位。
對(duì)這兩種精度模式而言，對(duì)于8位輸入，解碼器上的數(shù)據(jù)值都不超過(guò)16個(gè)有符號(hào)位。(然而，變換階段內(nèi)的中間運(yùn)算可超過(guò)這一數(shù)字。) 注意如果需要無(wú)損編碼(QP＝1)，即使只有圖像的子區(qū)域需要無(wú)損編碼，則編碼器將NO_SCALED_FLAG設(shè)為T(mén)RUE。
編碼器可以使用任一模式來(lái)用于有損壓縮。建議解碼器對(duì)其運(yùn)算使用NO_SCALED_MODE用信號(hào)通知的精度模式。然而，縮放量化等級(jí)，以便用縮放精度模式創(chuàng)建并使用未縮放的精度模式解碼(反之亦然)的流在大多數(shù)情況下產(chǎn)生可接受的圖像。
6.用于增加的準(zhǔn)確度的縮放算術(shù) 在該代表性編碼器/解碼器的一個(gè)實(shí)現(xiàn)中，變換(包括色彩轉(zhuǎn)換)是整數(shù)變換并通過(guò)一系列提升步驟來(lái)實(shí)現(xiàn)。在這些提升步驟中，截?cái)嗾`差損害變換性能。對(duì)于有損壓縮的情況，為最小化截?cái)嗾`差的損害并因而最大化變換性能，對(duì)于變換的輸入數(shù)據(jù)需要被左移若干位。然而，另一極其需要的特征是如果輸入圖像是8位，則每一變換的輸出應(yīng)當(dāng)在16位以內(nèi)。所以左移位數(shù)不能很大。該代表性解碼器實(shí)現(xiàn)縮放算術(shù)來(lái)達(dá)到這兩個(gè)目標(biāo)的技術(shù)?？s放算術(shù)技術(shù)通過(guò)最小化截?cái)嗾`差的損害來(lái)最大化變換性能，并且在輸入圖像是8位的情況下仍然將每一變換步驟的輸出限制在16位以內(nèi)。這使簡(jiǎn)單的16位實(shí)現(xiàn)成為可能。
該代表性編碼器/解碼器中所使用的變換是整數(shù)變換并通過(guò)提升步驟來(lái)實(shí)現(xiàn)。大多數(shù)提升步驟涉及右移，這引入截?cái)嗾`差。變換通常涉及多個(gè)提升步驟，并且累積截?cái)嗾`差明顯損害變換性能。
降低截?cái)嗾`差的損害的一種方式是在編碼器中進(jìn)行變換之前左移輸入數(shù)據(jù)，并在解碼器處在變換(與量化相組合)之后右移相同位數(shù)。如上所述，該代表性編碼器/解碼器具有兩階段變換結(jié)構(gòu)可任選第一階段重疊+第一階段CT+可任選第二階段重疊+第二階段CT。實(shí)驗(yàn)顯示為最小化截?cái)嗾`差，左移3位是必要的。所以，在有損的情況下，在色彩轉(zhuǎn)換之前，輸入數(shù)據(jù)可以左移3位，即乘或放大因數(shù)8(例如，對(duì)于上述縮放模式)。
然而，色彩轉(zhuǎn)換和變換擴(kuò)大數(shù)據(jù)。如果輸入數(shù)據(jù)左移3位，則在輸入數(shù)據(jù)是8位的情況下，第二階段4×4DCT的輸出具有17位動(dòng)態(tài)范圍(其它變換的輸出仍然在16位以內(nèi))。這是極不需要的，因?yàn)樗柚沽?6位實(shí)現(xiàn)(這是極其需要的特征)。為避開(kāi)這一點(diǎn)，在第二階段4×4CT之前，輸入數(shù)據(jù)右移1位，并且故而輸出也在16位以內(nèi)。因?yàn)橹粚?duì)數(shù)據(jù)(第一階段DCT的DC變換系數(shù))的1/16應(yīng)用了第二階段4×4CT，并且第一階段變換已經(jīng)將該數(shù)據(jù)放大，所以截?cái)嗾`差的損害很小。
所以在8位圖像的有損情況下，在編碼器側(cè)，在色彩轉(zhuǎn)換之前輸入被左移3位，并且在第二階段4×4CT之前右移1位。在解碼器側(cè)，在第一階段4×4IDCT之前左移1位并在色彩轉(zhuǎn)換之后右移3位。
7.計(jì)算環(huán)境 上述用于數(shù)字媒體編解碼器中的計(jì)算復(fù)雜度和精度信令的處理技術(shù)可以在各種數(shù)字媒體編碼和/或解碼系統(tǒng)的任一種上實(shí)現(xiàn)，包括計(jì)算機(jī)(各種形狀因數(shù)，包括服務(wù)器、臺(tái)式機(jī)、膝上型計(jì)算機(jī)、手持式計(jì)算機(jī)等)；數(shù)字媒體記錄器和播放器；圖像和視頻捕捉設(shè)備(諸如照相機(jī)、掃描儀等)；通信設(shè)備(諸如電話、移動(dòng)電話、會(huì)議設(shè)備等)；顯示、打印或其它呈現(xiàn)設(shè)備；以及其它示例等等。數(shù)字媒體編解碼器中的計(jì)算復(fù)雜度和精度信令技術(shù)可用硬件電路、控制數(shù)字媒體處理硬件的固件、以及在計(jì)算機(jī)或在諸如圖6中所示的其它計(jì)算環(huán)境中執(zhí)行的通信軟件來(lái)實(shí)現(xiàn)。
圖6示出了其中可實(shí)現(xiàn)所描述的實(shí)施例的合適計(jì)算環(huán)境(600)的一個(gè)一般示例。計(jì)算環(huán)境(600)不旨在對(duì)本發(fā)明的使用范圍或功能提出任何限制，因?yàn)楸景l(fā)明可以在完全不同的通用或?qū)Ｓ糜?jì)算環(huán)境中實(shí)現(xiàn)。
參考圖6，計(jì)算環(huán)境(600)包括至少一個(gè)處理單元(610)和存儲(chǔ)器(620)。在圖6中，這一最基本的配置(630)被包括在虛線內(nèi)。處理單元(610)執(zhí)行計(jì)算機(jī)可執(zhí)行指令，并且可以是真實(shí)或虛擬處理器。在多處理系統(tǒng)中，多個(gè)處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行指令以提高處理能力。存儲(chǔ)器(620)可以是易失性存儲(chǔ)器(例如，寄存器、高速緩存、RAM)、非易失性存儲(chǔ)器(例如，ROM、EEPROM、閃存等)或兩者的某種組合。存儲(chǔ)器(602)存儲(chǔ)實(shí)現(xiàn)所描述的使用計(jì)算復(fù)雜度和精度信令技術(shù)的數(shù)字媒體編碼/解碼的軟件(680)。
計(jì)算環(huán)境可具有附加特征。例如，計(jì)算環(huán)境(600)包括存儲(chǔ)(640)、一個(gè)或多個(gè)輸入設(shè)備(650)、一個(gè)或多個(gè)輸出設(shè)備(660)以及一個(gè)或多個(gè)通信連接(670)。諸如總線、控制器或網(wǎng)絡(luò)等互連機(jī)制(未示出)將計(jì)算環(huán)境(600)的各組件互連。通常，操作系統(tǒng)軟件(未示出)為在計(jì)算環(huán)境(600)中執(zhí)行的其它軟件提供操作環(huán)境，并協(xié)調(diào)計(jì)算環(huán)境(600)的各組件的活動(dòng)。
存儲(chǔ)(640)可以是可移動(dòng)或不可移動(dòng)的，并包括磁盤(pán)、磁帶或磁帶盒、CD-ROM、CD-RW、DVD或可用于儲(chǔ)存信息并可在計(jì)算環(huán)境(600)內(nèi)訪問(wèn)的任何其它介質(zhì)。存儲(chǔ)(640)存儲(chǔ)用于實(shí)現(xiàn)所描述的使用計(jì)算復(fù)雜度和精度信令技術(shù)的數(shù)字媒體編碼/解碼的軟件(680)的指令。
輸入設(shè)備(650)可以是諸如鍵盤(pán)、鼠標(biāo)、筆或跟蹤球的觸摸輸入設(shè)備、語(yǔ)音輸入設(shè)備、掃描設(shè)備或向計(jì)算環(huán)境(600)提供輸入的另一設(shè)備。對(duì)于音頻，輸入設(shè)備(650)可以是聲卡或接受來(lái)自話筒或話筒陣列的模擬或數(shù)字形式的音頻輸入的類(lèi)似設(shè)備，或向計(jì)算環(huán)境提供音頻樣本的CD-ROM讀取器。輸出設(shè)備(660)可以是顯示器、打印機(jī)、CD刻錄機(jī)或提供來(lái)自計(jì)算環(huán)境(600)的輸出的另一設(shè)備。
通信連接(670)允許在通信介質(zhì)上與另一計(jì)算實(shí)體的通信。通信介質(zhì)在已調(diào)制數(shù)據(jù)信號(hào)中傳達(dá)諸如計(jì)算機(jī)可執(zhí)行指令、壓縮音頻或視頻信息、或其它數(shù)據(jù)等信息。已調(diào)制數(shù)據(jù)信號(hào)是其一個(gè)或多個(gè)特征以在信號(hào)中編碼信息的方式設(shè)置或改變的信號(hào)。作為示例而非局限，通信介質(zhì)包括以電、光、RF、紅外、聲學(xué)或其它載波實(shí)現(xiàn)的有線或無(wú)線技術(shù)。
此處所描述的使用靈活量化技術(shù)的數(shù)字媒體編碼/解碼可在計(jì)算機(jī)可讀介質(zhì)的一般上下文中描述。計(jì)算機(jī)可讀介質(zhì)可以是可在計(jì)算環(huán)境內(nèi)訪問(wèn)的任何可用介質(zhì)。作為示例而非局限，對(duì)于計(jì)算環(huán)境(600)，計(jì)算機(jī)可讀介質(zhì)可包括存儲(chǔ)器(620)、存儲(chǔ)(640)、通信介質(zhì)和以上任一種的組合。
此處描述的使用計(jì)算復(fù)雜度和精度信令技術(shù)的數(shù)字媒體編碼/解碼可在諸如程序模塊中所包括的、在目標(biāo)真實(shí)或虛擬處理器上的計(jì)算環(huán)境中執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的一般上下文中描述。一般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類(lèi)型的例程、程序、庫(kù)、對(duì)象、類(lèi)、組件、數(shù)據(jù)結(jié)構(gòu)等。程序模塊的功能可以如各實(shí)施例中所需的組合或在程序模塊之間分離。用于程序模塊的計(jì)算機(jī)可執(zhí)行指令可以在本地或分布式計(jì)算環(huán)境中執(zhí)行。
出于表示的目的，詳細(xì)描述使用了如“確定”、“生成”、“調(diào)整”和“應(yīng)用”等術(shù)語(yǔ)來(lái)描述計(jì)算環(huán)境中的計(jì)算機(jī)操作。這些術(shù)語(yǔ)是由計(jì)算機(jī)執(zhí)行的操作的高級(jí)抽象，且不應(yīng)與人類(lèi)所執(zhí)行的動(dòng)作混淆。對(duì)應(yīng)于這些術(shù)語(yǔ)的實(shí)際的計(jì)算機(jī)操作取決于實(shí)現(xiàn)而不同。
鑒于可應(yīng)用本發(fā)明的原理的許多可能的實(shí)施例，要求保護(hù)落入所附權(quán)利要求書(shū)及其等效技術(shù)方案的范圍和精神之內(nèi)的所有這樣的實(shí)施例作為本發(fā)明。
權(quán)利要求
1.一種數(shù)字媒體解碼方法，包括
在數(shù)字媒體解碼器處接收壓縮數(shù)字媒體位流；
解析來(lái)自所述位流的句法元素，所述句法元素用信號(hào)通知用于所述數(shù)字媒體數(shù)據(jù)的處理期間的變換計(jì)算的算術(shù)精度；以及
輸出重構(gòu)的圖像。
2.如權(quán)利要求1所述的數(shù)字媒體解碼方法，其特征在于，所述句法元素用信號(hào)通知使用高算術(shù)精度或低算術(shù)精度中的一個(gè)。
3.如權(quán)利要求2所述的數(shù)字媒體解碼方法，其特征在于，所述高算術(shù)精度是32位數(shù)字處理，并且所述低算術(shù)精度是16位數(shù)字處理。
4.如權(quán)利要求2所述的數(shù)字媒體解碼方法，其特征在于，還包括
解碼來(lái)自所述壓縮數(shù)字媒體位流的變換系數(shù)塊；
在所述句法元素用信號(hào)通知使用所述高算術(shù)精度的情況下，使用高算術(shù)精度處理來(lái)對(duì)所述變換系數(shù)應(yīng)用逆變換；以及
在所述句法元素用信號(hào)通知使用所述低算術(shù)精度的情況下，使用低算術(shù)精度處理來(lái)對(duì)所述變換系數(shù)應(yīng)用逆變換。
5.如權(quán)利要求4所述的數(shù)字媒體解碼方法，其特征在于，所述高算術(shù)精度是32位數(shù)字處理，并且所述低算術(shù)精度是16位數(shù)字處理。
6.如權(quán)利要求2所述的數(shù)字媒體解碼方法，其特征在于，還包括
解碼來(lái)自所述壓縮數(shù)字媒體位流的變換系數(shù)塊；
使用高算術(shù)精度處理來(lái)對(duì)所述變換系數(shù)應(yīng)用逆變換，而不管經(jīng)由所述句法元素用信號(hào)通知的算術(shù)精度。
7.一種數(shù)字媒體編碼方法，包括
在數(shù)字媒體編碼器處接收數(shù)字媒體數(shù)據(jù)；
做出在所述數(shù)字媒體數(shù)據(jù)的處理期間是否將較低精度算術(shù)用于變換計(jì)算的決定；
用編碼位流中的句法元素來(lái)表示是否將較低精度算術(shù)用于變換計(jì)算的所述決定，其中所述句法元素可用于將所述決定傳遞給數(shù)字媒體解碼器；以及
輸出所述編碼位流。
8.如權(quán)利要求7所述的數(shù)字媒體編碼方法，其特征在于，所述做出決定包括
驗(yàn)證用于變換計(jì)算的所述較低精度算術(shù)是否產(chǎn)生與將較高精度算術(shù)用于變換計(jì)算相同的解碼器輸出；以及
基于所述驗(yàn)證，決定是否使用所述較低精度算術(shù)。
9.如權(quán)利要求7所述的數(shù)字媒體編碼方法，其特征在于，所述較低精度算術(shù)是16位算術(shù)精度。
10.如權(quán)利要求7所述的數(shù)字媒體編碼方法，其特征在于，還包括
做出在變換編碼之前是否應(yīng)用所述輸入數(shù)字媒體數(shù)據(jù)的縮放的決定；以及
用所述編碼位流中的句法元素表示是否應(yīng)用所述縮放的所述決定。
11.如權(quán)利要求10所述的數(shù)字媒體編碼方法，其特征在于，所述做出是否應(yīng)用縮放的決定包括，在無(wú)損地編碼所述數(shù)字媒體數(shù)據(jù)時(shí)決定不應(yīng)用所述輸入數(shù)字媒體數(shù)據(jù)的縮放。
12.一種數(shù)字媒體解碼方法，包括
在數(shù)字媒體解碼器處接收壓縮數(shù)字媒體位流；
解析來(lái)自所述位流的句法元素，所述句法元素用信號(hào)通知用于所述數(shù)字媒體數(shù)據(jù)的處理期間的變換計(jì)算的精度模式選擇；
在用信號(hào)通知了使用縮放的第一精度模式的情況下，縮放所述解碼器的輸出；
在用信號(hào)通知了沒(méi)有縮放的第二精度模式的情況下，省略應(yīng)用所述輸出的縮放；以及
輸出重構(gòu)的圖像。
13.如權(quán)利要求12所述的數(shù)字媒體解碼方法，其特征在于，所述縮放所述解碼器的輸出包括以某一數(shù)字對(duì)所述輸出進(jìn)行取整除法。
14.如權(quán)利要求12所述的數(shù)字媒體解碼方法，其特征在于，對(duì)所述輸出的所述取整除法是以數(shù)字8進(jìn)行的取整除法。
15.如權(quán)利要求12所述的數(shù)字媒體解碼方法，其特征在于，還包括
解析來(lái)自所述位流的第二句法元素，所述第二句法元素用信號(hào)通知是否將較低算術(shù)精度用于所述數(shù)字媒體數(shù)據(jù)的處理期間的變換計(jì)算；
解碼來(lái)自所述壓縮數(shù)字媒體位流的變換系數(shù)塊；以及
在所述沒(méi)有縮放的第二精度模式并且用信號(hào)通知了使用較低算術(shù)精度的情況下，使用所述較低算術(shù)精度來(lái)執(zhí)行所述變換系數(shù)的逆變換處理。
16.如權(quán)利要求15所述的數(shù)字媒體解碼方法，其特征在于，所述較低算術(shù)精度是16位算術(shù)精度。
17.如權(quán)利要求12所述的數(shù)字媒體解碼方法，其特征在于，所述數(shù)字媒體數(shù)據(jù)是使用兩階段變換結(jié)構(gòu)來(lái)編碼的，所述兩階段變換結(jié)構(gòu)具有第一階段變換，其后是對(duì)所述第一階段變換的DC系數(shù)的第二階段變換，所述數(shù)字媒體解碼方法還包括
解碼來(lái)自所述壓縮數(shù)字媒體位流的數(shù)字媒體數(shù)據(jù)；
對(duì)所述數(shù)字媒體數(shù)據(jù)應(yīng)用逆第二階段變換；
對(duì)所述數(shù)字媒體數(shù)據(jù)應(yīng)用逆第一階段變換；
執(zhí)行所述數(shù)字媒體數(shù)據(jù)的色彩轉(zhuǎn)換；以及
其中，在用信號(hào)通知了所述使用縮放的第一精度模式的情況下，對(duì)所述解碼器的輸出的所述縮放包括
在輸入到所述逆第一階段變換之前，將所述數(shù)字媒體數(shù)據(jù)左移單個(gè)位；
在所述色彩轉(zhuǎn)換之后，將所述數(shù)字媒體數(shù)據(jù)右移3位。
18.如權(quán)利要求12所述的數(shù)字媒體解碼方法，其特征在于，所述壓縮數(shù)字媒體位流是根據(jù)定義圖像的分開(kāi)的主圖像平面和α圖像平面的句法模式來(lái)編碼的，所述句法元素用信號(hào)通知按圖像平面以信號(hào)通知的精度模式的選擇，由此所述主圖像平面和所述α圖像平面的精度模式是獨(dú)立地用信號(hào)通知的，并且所述解碼方法包括執(zhí)行解析用信號(hào)通知對(duì)每一圖像平面的精度模式的選擇的所述句法元素的所述動(dòng)作，并且在對(duì)相應(yīng)圖像平面用信號(hào)通知了所述使用縮放的第一精度模式的情況下，對(duì)所述相應(yīng)圖像平面縮放所述解碼器的輸出。
全文摘要
數(shù)字媒體編碼器/解碼器包括與在解碼處的計(jì)算復(fù)雜度和精度相關(guān)的各種模式的信令。編碼器可以發(fā)送指示在解碼處所執(zhí)行的變換運(yùn)算的算術(shù)精度(例如，使用16或32位運(yùn)算)的句法元素。編碼器還可以用信號(hào)通知在解碼器輸出處是否應(yīng)用縮放，這準(zhǔn)許解碼處的中間數(shù)據(jù)的更寬的動(dòng)態(tài)范圍，但由于縮放運(yùn)算而增加了計(jì)算復(fù)雜度。
文檔編號(hào)H04N7/26GK101617539SQ200880005630
公開(kāi)日2009年12月30日 申請(qǐng)日期2008年2月20日 優(yōu)先權(quán)日2007年2月21日
發(fā)明者S·斯里尼瓦杉, C·圖, S·瑞古納薩恩 申請(qǐng)人:微軟公司