專利名稱：用中間層殘留值預(yù)測產(chǎn)生并解碼視頻序列的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼系統(tǒng)，具體地涉及可縮放(scalable)視頻編碼系統(tǒng)，可結(jié)合 視頻編碼標(biāo)準(zhǔn)H. 264/AVC或新的MPEG視頻編碼系統(tǒng)一起使用。
背景技術(shù)：
標(biāo)準(zhǔn)H. 264/AVC是IUT-T視頻編碼專家組VCEG和IS0/IEC運動圖像專家組(MPEG) 的視頻標(biāo)準(zhǔn)化計劃的結(jié)果。該標(biāo)準(zhǔn)化計劃的主要目標(biāo)是提供一種具有非常良好的壓縮行 為、同時產(chǎn)生網(wǎng)絡(luò)友好的視頻表征的清晰視頻編碼概念，包括例如視頻電話的具有“通話特 征”的應(yīng)用以及沒有通話特征的應(yīng)用(存儲、廣播、流傳輸)。除了上述標(biāo)準(zhǔn)IS0/IEC 14496-10之外，還存在與該標(biāo)準(zhǔn)有關(guān)的多種出版物。僅作 為示例，參考 “The Emerging H. 264-AVC standard”，Ralf Schafer, Thomas Wiegand and Heiko Schwarz5EBU Technical Review, January 2003。此夕卜，專家出版物"Overview of the H. 264/AVC Video Coding Standard，，，Thomas ffiegand, Gary J. Sullivan, Gesle Bjontegaard and Ajay Lothra, IEEE Transactions on Circuits and Systems for Video Technology, July 2003 以出片反· “Context—based adaptive Binary Arithmethic Coding in the H. 264/AVC Video Compression Standard，，，Detlev Marpe, Heiko Schwarz and Thomas ffiegand,IEEE Transactions on Circuits and Systems for Video Technology, September 2003，包括視頻編碼標(biāo)準(zhǔn)的不同方面的概述。然而，為了更好地理解，將參考圖9至11給出視頻編碼/解碼算法的概述。圖9示出了視頻編碼器的完整結(jié)構(gòu)，視頻編碼器通常包括兩個不同級。通常，第一 級通常進行有關(guān)視頻的操作，產(chǎn)生輸出數(shù)據(jù)，然后輸出數(shù)據(jù)經(jīng)過第二級的熵編碼，第二級在 圖9中由80表示。數(shù)據(jù)是數(shù)據(jù)81a、量化變換系數(shù)81b以及運動數(shù)據(jù)81c，其中，將這些數(shù) 據(jù)81a、81b、81c提供給熵編碼器80，以在熵編碼器80的輸出處產(chǎn)生編碼的視頻信號。具體地，將輸入視頻信號分別分割劃分為宏塊，其中每個宏塊具有16X16像素。 然后，選擇宏塊與片組和片的關(guān)聯(lián)，根據(jù)該關(guān)聯(lián)，由圖8所示的操作塊網(wǎng)絡(luò)來處理每個片的 每個宏塊。應(yīng)該注意，當(dāng)視頻圖像中存在不同的片時，可能高效并行處理宏塊。經(jīng)由圖8中 的塊編碼器控制82來執(zhí)行宏塊與片組和片的關(guān)聯(lián)。存在不同的片，這些片定義如下I片1片是其中片的所有宏塊都是使用幀內(nèi)預(yù)測來編碼的片。P片除了 I片的編碼類型之外，P片的某些宏塊也可利用每個預(yù)測塊的至少一個 運動補償預(yù)測信號，使用幀間預(yù)測來編碼。B片除了 P片中可用的編碼類型之外，B片的某些宏塊也可利用每個預(yù)測塊的兩 個運動補償預(yù)測信號，使用幀間預(yù)測來編碼。
3
上述三種編碼類型與早期的標(biāo)準(zhǔn)中的編碼類型非常類似，但是如下面所述的，使 用參考圖像。下面片的兩種編碼類型在標(biāo)準(zhǔn)H. 264/AVC中是新的SP片該片也被稱為切換P片，其編碼成可在不同預(yù)編碼圖像之間有效地切換。SI片SI片也被稱為切換I片，其使SP片中的宏塊精確地適應(yīng)直接隨機存取和錯 誤恢復(fù)目的?？偠灾呛陦K序列，如果不使用靈活宏塊排序FMO的屬性，則按照光柵掃描 的順序?qū)ζM行處理，標(biāo)準(zhǔn)中同樣定義了 FM0。如圖11所示，可將圖像分割為一個或多個 片。因此，圖像是一個或多個片的集合。在這點上，由于可根據(jù)比特流來分析(解析)片的 語法單元，所以片是彼此獨立的，其中，可在片所表示的圖像范圍內(nèi)正確地對采樣值進行解 碼，只要所用的參考圖像在編碼器和解碼器中是相同的。然而，需要來自其它片的某些信息 來在片邊界上應(yīng)用解塊濾波器(deblocking filter)。FMO特性通過使用片組的概念，來修改將圖像劃分為片的方式。每個片組是由宏塊 到片組的映射所定義的宏塊的集合，宏塊到片組的映射由圖像參數(shù)集的內(nèi)容和來自片頭的 某些信息規(guī)定。該宏塊到片組的映射包括圖像中每個宏塊的片組標(biāo)識號，該標(biāo)識號規(guī)定了 有關(guān)宏塊所屬的片組?？蓪⒚總€片組劃分為一個或多個片，因此片是相同片組中的宏塊的 序列，該序列按照特定片組的宏塊集合中的光柵抽樣的順序來處理。取決于片編碼器的類型，可以以一個或多個編碼器類型來發(fā)送每個宏塊。在所有 片編碼器類型中，支持被稱為intra_4x4或intra_16X16類型的幀內(nèi)編碼，此外，還支持色度預(yù) 測模式和I_rcM預(yù)測模式。intra_4x4模式基于獨立的每個4X4色度塊的預(yù)測，并且非常適用于對具有突出 細節(jié)的圖像部分進行編碼。另一方面，intra_16X16模式執(zhí)行整個16X16色度塊的預(yù)測，并 更適用于對圖像的“柔和，，區(qū)域進行編碼。除了這兩個色度預(yù)測類型之外，還執(zhí)行獨立的色度預(yù)測。作為intra_4x4* intra_16X16的備選，I_4X4編碼類型使得編碼器簡單地省略預(yù)測以及變換編碼，而直接發(fā)送 編碼的采樣的值。Ι—κ 模式具有以下目的其是編碼器精確地表征采樣的值。其提供一種 精確地表征非常異常的圖像內(nèi)容的值而不放大數(shù)據(jù)的方式。此外，其可以確定比特數(shù)的確 切邊界，編碼器需要具有該確切邊界以處理宏塊而不損失編碼效率。與在變換域中執(zhí)行幀內(nèi)預(yù)測的早期的視頻編碼標(biāo)準(zhǔn)(即H. 263+和MPEG-4Visual) 相反，H. 264/AVC中的幀內(nèi)預(yù)測總是通過參考分別在要預(yù)測的塊的左側(cè)和上方的先前編碼 的塊的相鄰采樣，在空間域中執(zhí)行的(圖10)。在出現(xiàn)傳輸錯誤的某些情況下，這會引起錯 誤傳播，其中，由于幀內(nèi)編碼的宏塊中的運動補償而發(fā)生該錯誤傳播。因此，可用信號通知 受限的幀內(nèi)編碼模式，受限的幀內(nèi)編碼模式僅能夠預(yù)測幀內(nèi)編碼的相鄰宏塊。在使用intra_4x4模式時，預(yù)測空間相鄰采樣的每個4X4 ±夬。通過使用相鄰塊中 先前解碼的采樣，來預(yù)測4X4塊的16個采樣?？蓪γ總€4X4塊使用9種預(yù)測模式之一。 除了 “DC預(yù)測”(其中一值用于預(yù)測整個4X4塊)之外，規(guī)定8個方向預(yù)測模式。這些模 式適用于預(yù)測圖像中的方向結(jié)構(gòu)，例如不同角度的邊緣。除了幀內(nèi)宏塊編碼類型之外，將不同預(yù)測或運動補償編碼類型規(guī)定為P宏塊類 型。每個P宏塊類型與將宏塊具體分為塊形式相對應(yīng)，塊形式用于運動補償預(yù)測。語法支 持以16 X 16、16 X 8、8 X 8或者8 X 16采樣的小塊尺寸進行劃分。在8 X 8采樣的劃分中，對于每個8X8劃分，發(fā)送附加的語法單元。該語法單元規(guī)定了是否將各個8X8劃分進一步 劃分為8X4、4X8或者4X4亮度采樣和相應(yīng)的色度采樣。通過將各個參考圖像的區(qū)域移動由平移矢量和圖像參考指標(biāo)規(guī)定的量，獲得每個 預(yù)測編碼的MXM小塊的預(yù)測信號。因此，如果使用四個8X8劃分來編碼宏塊，并且在將每 個8X8劃分進一步劃分為四個4X4劃分時，可在所謂運動場內(nèi)傳輸單個P宏塊的最大量 為16的運動矢量。在H. 264/AVC中，量化參數(shù)片QP用于確定變換系數(shù)的量化。該參數(shù)可假定52個 值。設(shè)置這些值，使得量化參數(shù)增加1則意味著量化器步長寬度增加大約12%。這意味著 量化參數(shù)增加6則使量化器步長寬度恰好增加因子2。應(yīng)該注意，步長大小改變大約12% 也意味著比特率減少大約12%。塊的量化變換系數(shù)通常以Z字形路徑來采樣，并通過使用熵編碼方法來處理。按 照光柵掃描順序來采樣色度分量的2X 2DC次數(shù)，并且可通過使用16比特整數(shù)值的加法和 移位運算來實現(xiàn)H. 264/AVC中的所有逆變換運算。參考圖9，對于視頻序列中的每個圖像，首先逐個圖像將輸入信號劃分為16X16 像素的宏塊。然后，將每個圖像提供給減法器84，減法器84減去由包含在編碼器中的解碼 器85提供的原始圖像。然后對減法結(jié)果(即空間域的殘留信號)進行變換、縮放和量化 (塊86)，以獲得線81b熵的量化變換系數(shù)。為了產(chǎn)生要饋入減法器84的減法信號，首先再 次對量化變換系數(shù)進行縮放和逆變換(塊87)，以提供給加法器88，加法器88的輸出饋入 解塊濾波器89，其中，例如，在解塊濾波器的輸出處監(jiān)視將要由解碼器進行解碼的輸出視頻 信號，以用于控制目的(輸出90)。通過使用輸出90處的解碼的輸出信號，在塊91中執(zhí)行運動估計。對于塊90中的 運動估計，從圖9中可見，提供原始視頻信號的圖像。標(biāo)準(zhǔn)允許兩種不同的運動估計，即前 向運動估計和后向運動估計。在前向運動估計中，關(guān)于前一圖像來估計當(dāng)前圖像的運動。 然而，在后向運動估計中，使用將來的圖像來估計當(dāng)前圖像的運動。將運動估計的結(jié)果(塊 91)提供給運動補償塊92，特別地，在開關(guān)93切換到幀間預(yù)測模式時，就像在圖9的情況下 一樣，運動補償塊92執(zhí)行運動補償幀間預(yù)測。然而，如果開關(guān)93切換到幀內(nèi)預(yù)測，則使用 塊490來執(zhí)行幀內(nèi)預(yù)測。因此，由于對于幀內(nèi)預(yù)測，不執(zhí)行運動補償，所以不需要運動數(shù)據(jù)。運動估計塊91分別產(chǎn)生運動數(shù)據(jù)和運動場，其中，將分別包括運動矢量的運動數(shù) 據(jù)和運動場發(fā)送到解碼器，從而可執(zhí)行相應(yīng)的逆預(yù)測，即使用變換系數(shù)和運動數(shù)據(jù)的重構(gòu)。 應(yīng)該注意，在前向預(yù)測中，可分別根據(jù)緊接的前一圖像和多個在前的圖像來計算運動矢量。 除此之外，還應(yīng)該注意，在后向預(yù)測中，可使用緊接的相鄰的將來圖像，當(dāng)然也可使用其它 的將來圖像，來計算當(dāng)前圖像。圖9所示的視頻編碼概念的缺點在于，其未提供簡單的可縮放性的可能。如本領(lǐng) 域公知的，術(shù)語“可縮放性(scalability)，，表示編碼器/解碼器概念，其中，編碼器提供縮 放的數(shù)據(jù)流?？s放的數(shù)據(jù)流包括基本縮放層以及一個或多個增強縮放層?；究s放層包括 要編碼的信號的表征，通常具有較低質(zhì)量，但同時具有較低數(shù)據(jù)率。增強縮放層包含視頻信 號的另一表征，其提供相對于基本縮放層有提高質(zhì)量的表征，典型地伴隨著基本縮放層的 視頻信號表征。另一方面，當(dāng)然，增強縮放層具有各自的比特需求，因此用于表示要編碼的 信號的比特數(shù)隨每個增強層而增加。
取決于設(shè)計和可能性，解碼器僅對基本縮放層進行解碼，以提供由解碼信號表示 的圖像的相當(dāng)差質(zhì)量的表征。然而，隨著每次“增加”另一縮放層，解碼器可逐步提高信號 的質(zhì)量(在有損比特率的情況下)。取決于實現(xiàn)方式和編碼器到解碼器的傳輸通道，由于典型地基本縮放層的比特率 很低而有限的傳輸通道足夠，所以傳輸至少一個基本縮放層。如果傳輸通道不再有更多的 帶寬，則僅傳輸基本縮放層而不傳輸增強縮放層。結(jié)果，解碼器可只產(chǎn)生圖像信號的低質(zhì)量 表征。與數(shù)據(jù)率太高而使得傳輸系統(tǒng)不太可能的未縮放情況相比，低質(zhì)量表征是有利的。如 果傳輸通道運動傳輸一個或多個增強層，則編碼器將向解碼器傳輸一個或多個增強層，因 此可根據(jù)請求，逐步地提高輸出視頻信號的質(zhì)量。關(guān)于視頻序列的編碼，可區(qū)分兩種不同的縮放。一種縮放是時間縮放，因此未傳輸 視頻序列的所有視頻幀，而是為了減小數(shù)據(jù)率，例如，僅傳輸了每第二個幀、每第三個幀、每 第四個幀等。另一種縮放是SNR縮放(SNR=信噪比)，其中，基本縮放層和第一、第二、第 三、.· ·增強縮放層包括所有的時間信息，但是具有不同的質(zhì)量。因此，基本縮放層具有低數(shù) 據(jù)率，但是具有低信噪比，其中，可通過每次增加一個增強縮放層來逐步地提高該信噪比。圖9所示的編碼器概念的問題在于，它是基于殘留值僅由減法器84產(chǎn)生、然后被 處理的事實。在圖9所示的通過使用塊86、87、88、93、94和84而形成閉合回路的設(shè)置中， 基于預(yù)測算法來計算這些殘留值，其中，量化參數(shù)進入閉合回路，即進入塊86、87。如果現(xiàn)在 實現(xiàn)簡單的SNR縮放，即例如首先用粗量化步來量化預(yù)測殘留信號，然后通過使用增強層， 用細量化器步長來逐步量化預(yù)測殘留信號，這將具有以下結(jié)果。由于逆量化和預(yù)測，特別 地，關(guān)于一方面使用原始圖像且另一方面使用量化圖像而進行的運動估計(塊91)和運動 補償(塊92)，將在編碼器和解碼器中導(dǎo)致量化器步長的“發(fā)散”。這導(dǎo)致在解碼器一側(cè)產(chǎn) 生增強縮放層非常困難。此外，在解碼器一側(cè)處理增強縮放層變得不可能，至少是關(guān)于在標(biāo) 準(zhǔn)H. 264/AVC中定義的單元不可能。因此，原因是圖9所示的視頻編碼器中的閉合回路包 含量化。在San Diego2003年12月2日到5日的第九屆JVT會議介紹的Hsiko Schwarz， Detlev Marpe 和 Thomas Wiegand 的題為 “SNR-Scalable Extension of H. 264/AVC” 的標(biāo) 準(zhǔn)化文獻JVT-I 032tl中，介紹了對H. 264/AVC的可縮放擴展，其中包括關(guān)于時間和信噪比 的可縮放性(具有相等或不同時間精度)。因此，引入了時間子帶劃分的提升表征，這允許 使用運動補償預(yù)測的公知方法。在 J.-R. Ohm, "Complexity and delay analysis of MCTF interframe wavelet structures”，ISO/IECJTC 1/WG llDoc. M8520, July 2002 中描述了其中提升表征用于小 波分析和小波合成的基于小波的視頻編碼算法。在D. Taubman, "Successive refinement of video :fundamental issues, past efforts and new directions，，，Proc. of SPIE (VCIP，03)，vol. 5150，pp. 649-663，2003中可以找到與可縮放性有關(guān)的評述，然而，其 中需要顯著的編碼器結(jié)構(gòu)改變。根據(jù)本發(fā)明，一方面實現(xiàn)了編碼器/解碼器的概念，另一方 面，可縮放的可能性可基于與標(biāo)準(zhǔn)一致的單元，尤其是對于運動補償。在詳細參考圖3的編碼器/解碼器機構(gòu)之前，首先，參考圖4來分別描述編碼 器一側(cè)的基本提升方案和解碼器一側(cè)的逆提升方案。在W. Sweldens，“A custom design
6construction of biorthogonal wavelets", J. Appl. Comp. Harm. Anal. , vol. 3 (no. 2), pp.186-200,1996 禾口 I.Daubechies and W. Sweldens, "Factoring wavelet transforms into lifting Steps", J. Fourier Anal. Appl.，vol. 4 (no. 3)，pp. 247-269，1998 可找到與 提升方案和小波變換的組合的背景技術(shù)有關(guān)的詳細解釋。通常，提升方案包括三步，即多相 分解步驟、預(yù)測步驟和更新步驟。分解步驟包括將輸入側(cè)的數(shù)據(jù)流劃分為下分支40a的相同第一拷貝以及上分支 40b的相同拷貝。此外，將上分支40b的相同拷貝延遲一時間級(廣)，使得具有奇數(shù)索引k 的采樣s2k+1與具有偶數(shù)索引s2k的采樣分別經(jīng)過各個抽取器和下采樣器42a、42b。抽取器 42a和42b分別通過去除每第二個采樣，來減少上和下分支40b、40a中的采樣數(shù)。涉及預(yù)測步驟的第二區(qū)域II包括預(yù)測算子43和減法器44。表示更新步驟的第三 區(qū)域包括更新算子45和加法器46。在輸出側(cè)，存在兩個歸一化器47、48，用于歸一化高通 信號hk (歸一化器47)和歸一化低通信號Ik (歸一化器48)。具體地，多相分解導(dǎo)致給定信號s [k]的奇偶采樣的劃分。由于相關(guān)性結(jié)構(gòu)典型地 示出了局部特性，所以奇偶多相分量高度相關(guān)。因此，在最后的步驟中，通過使用整數(shù)采樣 來執(zhí)行奇數(shù)采樣的預(yù)測(P)。每個奇數(shù)采樣S。dd[k] = s[2k+l]的相應(yīng)預(yù)測算子(P)是相鄰 偶數(shù)采樣s_n[k] = s[2k]的線性組合，即P(^even ) W = Σ ^ven [眾 + 小
I作為預(yù)測步驟的結(jié)果，奇數(shù)采樣由它們各自的預(yù)測殘留值替代h [k] = Sodd [k] -P (Seven) [k]。應(yīng)該注意，預(yù)測步驟等效于執(zhí)行兩個通道的濾波器組的高通濾波，如在 I. Daubechies and W. Sweldens,"Factoring wavelet transforms into lifting steps，，， J. Fourier Anal. Appl. vol 4 (no. 3)，pp. 247-269，1998 中所示。在提升方案的第三步驟中，通過用預(yù)測殘留值h[k]的線性組合來替代偶數(shù)采樣 sCTm[k]，來執(zhí)行低通濾波。各個更新算子U給出如下U(/ )[A:] =+ 。
I通過用以下值替代偶數(shù)采樣l[k] = seven[k]+U (h) [k]給出的信號s[k]最終可由l[k]和h[k]表示，其中，每個信號具有二分之一采樣 率。由于更新步驟和預(yù)測步驟都是完全可逆的，所以可將相應(yīng)的變換解釋為嚴(yán)格采樣理想 重構(gòu)濾波器組。實際上，可以看出，可由一個或多個預(yù)測步驟和一個或多個更新步驟的序列 來實現(xiàn)任意雙正交族的小波濾波器。對于低通和高通分量的歸一化，如已經(jīng)解釋的，給歸一 化器47和48提供適當(dāng)選擇的縮放因子F1和Fh。圖4在右手邊示出了與合成濾波器組相對應(yīng)的逆提升方案。該方案只包括以相反 順序以及相反符號來應(yīng)用預(yù)測和更新算子，之后通過使用奇偶多相分量來進行重構(gòu)。具體 地，圖4所示的右邊的解碼器也包括第一解碼器區(qū)域I、第二解碼器區(qū)域II以及第三解碼器 區(qū)域III。第一解碼器區(qū)域抵消更新算子45的效果。這通過向更新算子45提供由另一歸 一化器50歸一化的高通信號來實現(xiàn)。然后，與圖4的加法器46相反地，將解碼器側(cè)的更新 算子45的輸出信號提供給減法器52。相應(yīng)地，處理預(yù)測器43的輸出信號，然后將該輸出信號提供給加法器53，而不是與編碼器側(cè)一樣提供給減法器?，F(xiàn)在，在每個分支中進行因 子2的信號上采樣(塊54a、54b)。然后，將上分支向?qū)硪莆灰粋€采樣，這等效于延遲下分 支，來在加法器55中執(zhí)行上分支和下分支上的數(shù)據(jù)流的加法，以在合成濾波器組的輸出處 獲得重構(gòu)的信號％。可分別由預(yù)測器43和更新算子45來實現(xiàn)多個小波。如果要實現(xiàn)所謂hair小波， 則預(yù)測算子和更新算子給出如下PHair(seven) [k] = s[2k]和^^(幻[幻塒幻，使得h[k] = s[2k+l]-s[2k]以及/[幻二對2眾]+ |/7[幻=|(對2幻 + 對2眾 + 1])分別與hair濾波器的非歸一化高通和低通(分析)輸出信號相對應(yīng)。在5/3雙正交樣條小波的情況下，該小波的低通和高通分析濾波器分別具有5和 3個濾波器抽頭，其中，相應(yīng)的縮放函數(shù)是二階B樣條。在諸如JPEG200的靜止圖像的編碼 器應(yīng)用中，該小波用于時間子帶編碼器方案。在提升情況下，5/3變換的相應(yīng)預(yù)測和更新算 子給出如下Ps {seven)[k] =+ s[2k + 2])以及[/5/3(/0[幻=^剛 + h[k - 1])圖3示出了在編碼器一側(cè)和解碼器一側(cè)都具有示范性的四個濾波器級的編碼器/ 解碼器結(jié)構(gòu)的方框圖。從圖3可見，編碼器的第一濾波器級、第二濾波器級、第三濾波器級 和第四濾波器級是相同的。解碼器的濾波器級也是相同的。在編碼器一側(cè)，每個濾波器級 包括后向預(yù)測Mi(l60以及前向預(yù)測Μη61作為中心單元。后向預(yù)測器60在原理上與圖4的 預(yù)測器43相對應(yīng)，而前向預(yù)測器61與圖4的更新算子相對應(yīng)。與圖4相反，應(yīng)該注意，圖4涉及采樣流，其中采樣具有奇數(shù)索引2k+l，而另一采樣 具有偶數(shù)索引2k。然而，如已經(jīng)參考圖1所解釋的，圖3中的注釋涉及一組圖像而不是一組 采樣。如果圖像分別具有多個采樣和圖像，則完全饋入該圖像。然后，饋入下一圖像等。因 此，不再有奇數(shù)和偶數(shù)采樣，而只有奇數(shù)和偶數(shù)圖像。根據(jù)本發(fā)明，將針對奇數(shù)和偶數(shù)采樣 所描述的提升方案分別應(yīng)用于每個都具有多個采樣的奇數(shù)和偶數(shù)圖像?，F(xiàn)在，圖4的逐個 采樣預(yù)測器43變?yōu)楹笙蜻\動補償預(yù)測60，而逐個采樣更新算子45變?yōu)橹饌€圖像前向運動 補償預(yù)測61。應(yīng)該注意，針對兩個相繼的有關(guān)圖像來計算運動濾波，運動濾波包括運動矢量且 表示塊60和61的系數(shù)，并將其作為輔助信息從編碼器發(fā)送到解碼器。然而，本發(fā)明概念 的主要優(yōu)點在于，結(jié)合圖9所描述的且在標(biāo)準(zhǔn)H. 264/AVC中標(biāo)準(zhǔn)化的單元91、92可容易地 用于計算運動場Mitl和運動場Μη。因此，對于本發(fā)明概念，不需要使用新的預(yù)測器/更新算 子，而可將在針對功能和效率所檢查的視頻標(biāo)準(zhǔn)中提到的已有算法用于前向或后向的運動 補償。具體地，圖3所示的所用濾波器組的一般結(jié)構(gòu)示出了在輸入64處饋入的具有16 個圖像組的視頻信號的時間分解。該分解是視頻信號的二元時間分解，其中，在圖3所示的 實施例中，需要四極24 = 16個圖像(表示組大小為16個圖像)來實現(xiàn)最小時間分辨率的 表征，該表征即輸出28a和輸出28b處的信號。因此，如果將16個圖像分組，則導(dǎo)致16個
8圖像的延遲，這使圖3所示的具有四級的概念對于交互式應(yīng)用更加困難。因此，如果目的是 交互式應(yīng)用，則優(yōu)選地形成更小的圖像組，例如四個或八個圖像的組。然后，相應(yīng)地減小延 遲，從而可能用于交互式應(yīng)用。在不需要交互的情況下，例如用于存儲等的情況下，可相應(yīng) 地增加組中圖像數(shù)目，即組大小，例如增加到32個、64個圖像等。在這種方式下，使用基于hair運動補償提升方案的交互式應(yīng)用，該應(yīng)用包括 H. 264/AVC中的后向運動補償預(yù)測(Mitl)，并還包括更新步驟，更新步驟包括前向運動補償 (Mil)。如H. 264/AVC所示的，預(yù)測步驟和更新步驟都使用運動補償過程。此外，不僅使用運 動補償，還使用由圖9中的附圖標(biāo)記89所表示的解塊濾波器89。第二濾波器級還包括下采樣器66a、66b、減法器69、后向預(yù)測器67、前向預(yù)測器68 以及加法器70和另一處理裝置，該另一處理裝置用于在所述另一處理裝置的輸出處輸出 第二級的第一和第二高通圖像，并在加法器70的輸出處輸出第二級的第一和第二低通圖 像。此外，圖3的編碼器包括第三級和第四級，其中，將16個圖像的組饋入第四級輸入 64。在也被稱為HP4的第四級高通輸出72處，輸出用量化參數(shù)Q量化且相應(yīng)處理的八個高 通圖像。相應(yīng)地，在第四濾波器級的低通輸出73處，輸出八個低通圖像，這八個低通圖像饋 入第三濾波器級的輸入74。該級同樣用于在也被稱為HP3的高通輸出75處產(chǎn)生四個高通 圖像，并在低通輸出76處產(chǎn)生四個低通圖像，這四個低通圖像饋入第二濾波器級的輸入10 并被分解。特別地，應(yīng)該注意，由濾波器級處理的圖像組并不一定必須是來源于原始視頻序 列的視頻圖像，而可以是由下一更高濾波器級在濾波器級的低通輸出處輸出的低通圖像。此外，還應(yīng)該注意，當(dāng)簡單地省略第四濾波器級并將圖像組饋入輸入74時，圖3所 示針對16個圖像的編碼器概念可容易地減少為針對八個圖像。以相同的方式，可通過添加 第五濾波器級、然后在第五濾波器級的高通輸出處輸出16個高通圖像、并將第五濾波器級 的輸出處的十六個低通圖像饋入第四濾波器級的輸入74，將圖3所示的概念擴展為針對32 圖像組。編碼器一側(cè)的樹式概念同樣適用于解碼器一側(cè)，但是不像編碼器一側(cè)一樣從高級 到低級，而是在解碼器一側(cè)從低級到高級。因此，示意地被稱為網(wǎng)絡(luò)抽象層100的從傳輸介 質(zhì)接收數(shù)據(jù)流，所接收的比特流首先經(jīng)過另一逆處理裝置的另一逆處理，在裝置30a的輸 出處獲得第一級的第一高通圖像的重構(gòu)版本，并在圖3的塊30b的輸出處獲得第一級低通 圖像的重構(gòu)版本。然后，與圖4的右半部相同，經(jīng)由預(yù)測器61，首先將前向運動補償預(yù)測反 轉(zhuǎn)，然后從低通信號的重構(gòu)版本中減去預(yù)測器61的輸出信號(減法器101)。減法器101的輸出信號饋入后向補償預(yù)測器60，產(chǎn)生預(yù)測結(jié)果，在加法器102中 將預(yù)測結(jié)果與高通圖像的重構(gòu)版本相加。然后，通過使用上采樣器104a、104b，使兩個信號 (即下分支103a、上分支103b中的信號)變?yōu)殡p倍采樣率，然后根據(jù)實現(xiàn)方式，使上分支的 信號延遲或“加速”。應(yīng)該注意，僅通過插入與圖像的采樣數(shù)相對應(yīng)的數(shù)目的零，由橋104a、 104b來執(zhí)行上采樣。以ζ—1示出的單元使上分支103b相對于下分支103a的圖像延遲移動 使得兩個第二級低通圖像依次出現(xiàn)在相對于加法器106的輸出側(cè)。第一和第二第二級低通圖像的重構(gòu)版本然后饋入解碼器一側(cè)的第二級逆濾波器， 通過逆濾波器組的相同實現(xiàn)，再次與發(fā)送的第二級高通圖像組合，在第二級的輸出101處獲得四個第三級低通圖像序列。四個第三級低通圖像然后在第三級的逆濾波器級中與發(fā)送 的第三級高通圖像組合，在逆第三級濾波器的輸出110處獲得序列格式的八個第四級低通 圖像。在逆第四級濾波器中，這八個第四級低通圖像再次與經(jīng)由輸入HP4從傳輸介質(zhì)100接 收的八個第四級高通圖像組合，在逆第四級濾波器的輸出112處獲得16個圖像的重構(gòu)組。因此，在分析濾波器組的每一級中，將兩個圖像(原始圖像或者表示低通信號并 在下一更高級中產(chǎn)生的圖像)分解為低通信號和高通信號。低通信號可以當(dāng)作輸入圖像的 共有特性的表征，而高通信號可當(dāng)作輸入圖像之間的差異的表征。在合成濾波器組的相應(yīng) 級中，通過使用低通信號和高通信號，再次重構(gòu)兩個輸入圖像。由于在合成步驟中執(zhí)行分析步驟的逆運算，所以分析/合成濾波器組(當(dāng)然沒有 量化)確保了理想的重構(gòu)。損耗僅發(fā)生在其它處理裝置中的量化中，例如26a、26b、18。如果非常精精細地執(zhí) 行量化，則可實現(xiàn)良好的信噪比。然而，如果非常粗略地執(zhí)行量化，則實現(xiàn)相對差的信噪比， 但是具有低的比特率，即要求低。沒有SNR可縮放性，利用圖3所示的概念，已經(jīng)實現(xiàn)了時間縮放控制。因此，使用 時間縮放控制120，其形成為在輸入側(cè)分別獲得高通和低通輸出以及其它處理裝置(26a、 26b、18、…)的輸出，以從這些部分?jǐn)?shù)據(jù)流TPl、HPl、HP2、HP3、HP4中產(chǎn)生縮放的數(shù)據(jù)流， 該縮放的數(shù)據(jù)流具有基本縮放層的第一低通圖像和第一高通圖像。然后，第二高通圖像的 處理版本容納在第一增強縮放層中。第三級高通圖像的處理版本會被容納在第二增強縮放 層中，而第四級高通圖像的處理版本會被引入第三增強縮放層。因此，僅根據(jù)基本縮放層， 解碼器可產(chǎn)生具有較低時間質(zhì)量的低級低通圖像序列，即每個圖像組的兩個第一級低通圖 像。隨著每個增強縮放層的添加，可一直使每組的重構(gòu)圖像數(shù)目翻倍。解碼器的功能典型 地由縮放控制來控制，縮放控制形成為檢測在數(shù)據(jù)流中包含多少縮放層以及解碼器在解碼 期間要考慮多少縮放層。Heiko Schwarz,Detlev Marpe and Thomas Wiegand^ 2003 ^Ξ 12 ^ 8 HM 12 H 在Waikoloa Hawaii 的第十屆 JVT會議中介紹的題為“SNR-Scalable Extension of H. 264/ AVC”的JVT文獻JVT-J 035示出了圖3和圖4所示的時間分解方案的SNR可縮放擴展。具 體地，將時間縮放層劃分為各個“SNR縮放子層”，其中，用第一粗量化器步長來量化某個時 間縮放層，來獲得SNR基本層。然后，執(zhí)行逆量化，并從原始信號中減去逆量化的結(jié)果信號， 獲得差值信號，然后用細量化器步長對差值信號進行量化，獲得第二縮放層。然而，用細量 化器步長對第二縮放層進行再次量化，從原始信號中減去再次量化后獲得的信號，獲得另 一差值信號，在用細量化器步長進行量化之后，該差值信號分別表示第二 SNR縮放層和SNR 增強層。因此，可以發(fā)現(xiàn)，基于運動步長時間濾波(MCTF)的上述可縮放性方案已經(jīng)提供了 關(guān)于時間可縮放性以及SNR可縮放性的高度靈活性。但是還有一個問題，即多個縮放層的 總比特率仍然遠大于在不能夠縮放的情況下編碼最高質(zhì)量的圖像時所實現(xiàn)的比特率。由于 不同縮放層的輔助信息，可縮放的編碼器也許永遠不能夠獲得未縮放情況下的比特率。然 而，具有多個縮放層的數(shù)據(jù)流的比特率應(yīng)該盡可能地接近未縮放情況的比特率。此外，可縮放性概念應(yīng)該對于所有可縮放性類型都提供高度靈活性，這意味著關(guān) 于時間和空間的高度靈活性以及關(guān)于SNR的高度靈活性。
在具有低分辨率的圖像已足夠但是希望更高時間分辨率的情況下，高靈活性尤其 重要。例如，當(dāng)圖像中存在快速改變，例如在團體性運動的視頻中，除了球之外，還有許多人 同時運動時，會產(chǎn)生這種情況。

發(fā)明內(nèi)容
本發(fā)明的目的式提供一種靈活的編碼/解碼概念，盡管該概念是可縮放的概念， 它也可提供盡可能低的比特率。該目的由根據(jù)權(quán)利要求1的用于產(chǎn)生編碼的視頻序列的設(shè)備、根據(jù)權(quán)利要求15的 用于產(chǎn)生編碼的視頻序列的方法、根據(jù)權(quán)利要求16的用于對編碼的視頻序列進行解碼的 設(shè)備、根據(jù)權(quán)利要求26的用于對編碼的視頻序列進行解碼的方法、根據(jù)權(quán)利要求27的計算 機程序或者根據(jù)權(quán)利要求28的計算機可讀介質(zhì)來實現(xiàn)。本發(fā)明基于以下認識不僅利用在縮放層中執(zhí)行的運動步長預(yù)測，可實現(xiàn)比特率 減小，在例如基本層的較低層到例如增強層的更高層的運動補償預(yù)測之后，通過執(zhí)行殘留 圖像的中間縮放層預(yù)測，可實現(xiàn)具有恒定圖像質(zhì)量的進一步的比特率減小?？梢园l(fā)現(xiàn)，在相同的時間縮放層中，在運動補償預(yù)測之后，優(yōu)選地關(guān)于分辨率或關(guān) 于信噪比而縮放的各個所考慮的其它縮放層的殘留值在殘留值之間也具有相關(guān)性。根據(jù)本 發(fā)明，通過在編碼器一側(cè)上提供用于增強縮放層的中間層預(yù)測器，與解碼器一側(cè)的中間層 組合器相對應(yīng)，可有利地利用這些相關(guān)性。優(yōu)選地，該中間層預(yù)測器自適應(yīng)地設(shè)計用于針對 每個宏塊，決定是否值得進行中間層預(yù)測，或者該預(yù)測是否會導(dǎo)致比特率增加。在預(yù)測殘留 信號變得大于關(guān)于隨后的熵編碼器的增強層的原始運動補償殘留信號時，出現(xiàn)后一情況。 然而，在多數(shù)情況下不會發(fā)生這種情況，因此激活中間層預(yù)測器并產(chǎn)生顯著的比特率降低。此外，在本發(fā)明的優(yōu)選實施例中，還執(zhí)行增強層的運動數(shù)據(jù)的預(yù)測。因此，還示出 了在例如關(guān)于SNR或分辨率的不同質(zhì)量的縮放層中，不同縮放層中的運動場也彼此具有相 關(guān)性，通過提供運動數(shù)據(jù)預(yù)測器，可將該相關(guān)性有利地用于根據(jù)本發(fā)明的比特率降低。在實 現(xiàn)方式中，可以執(zhí)行預(yù)測，其中，并不針對增強層來計算各個運動數(shù)據(jù)，而是在上采樣之后， 發(fā)送基本層的運動數(shù)據(jù)。然而，這會導(dǎo)致增強層中的運動補償信號大于針對增強層來計算 運動數(shù)據(jù)的情況。然而，當(dāng)由于傳輸期間增強層所節(jié)約的運動數(shù)據(jù)而產(chǎn)生的節(jié)約大于由可 能更大的殘留值引起的比特率增加時，該缺點沒有影響。然而，在實現(xiàn)方式中，可針對增強層來計算各個運動場，其中，將基本層的運動場 并入計算或用作預(yù)測器，以便僅傳輸運動場的殘留值。該實現(xiàn)方式具有以下優(yōu)點完全使用 了兩個縮放層的運動數(shù)據(jù)相關(guān)性，并且在運動數(shù)據(jù)預(yù)測之后，運動數(shù)據(jù)的殘留值盡可能地 小。然而，該概念的缺點在于必須傳輸附加的運動數(shù)據(jù)殘留值。此外，在本發(fā)明的優(yōu)選實施例中，使用SNR可縮放性。這意味著在基本層中利用比 增強層更粗略的量化參數(shù)來執(zhí)行量化。用粗量化器步長量化并再次重構(gòu)的基本運動預(yù)測的 殘留值從而用作中間層預(yù)測器的預(yù)測信號。在理想的SNR可縮放性的情況下，在編碼器側(cè) 計算所有縮放層的單個運動場就足夠了。關(guān)于增強層的運動數(shù)據(jù)，這同樣意味著不必傳輸 其它增強運動數(shù)據(jù)，而是來自基本層的增強運動數(shù)據(jù)可完全用在編碼器一側(cè)，用于增強層 的逆運動補償。然而，當(dāng)使用引入了量化參數(shù)的運動數(shù)據(jù)的計算時，不同的量化參數(shù)導(dǎo)致不 同的運動場。
如果使用空間可縮放性，這意味著基本縮放層具有比增強縮放層更粗略的空間分 辨率，優(yōu)選地對基本運動預(yù)測的殘留值進行插值，這意味著從增強縮放層的較低分辨率進 行轉(zhuǎn)換，然后將其提供給中間層預(yù)測器。此外，優(yōu)選地針對每個縮放層執(zhí)行運動信息的各個計算。然而，在本發(fā)明的優(yōu)選實 施例中，運動數(shù)據(jù)預(yù)測用于數(shù)據(jù)率降低，數(shù)據(jù)率降低可包括完整地傳輸較低縮放層的運動 數(shù)據(jù)(在縮放之后)，或使用較低縮放層的上采樣運動矢量來預(yù)測更高縮放層的運動矢量， 然后僅傳輸比未預(yù)測運動數(shù)據(jù)需要更低數(shù)據(jù)率的運動數(shù)據(jù)殘留值。在這種情況下，優(yōu)選地 自適應(yīng)地設(shè)計中間層預(yù)測器和增強運動數(shù)據(jù)預(yù)測器。在本發(fā)明的優(yōu)選實施例中，使用組合的可縮放性，其中，基本縮放層和增強縮放層 的空間分辨率和表示所用量化器步長的所用量化參數(shù)均不同。在這種情況下，從由于拉格 朗日優(yōu)化而產(chǎn)生的基本縮放層的先前量化參數(shù)開始，計算基本層的量化參數(shù)、基本層的運 動數(shù)據(jù)的失真和比特要求的組合。在運動步長預(yù)測之后獲得的殘留值和所用的基本運動數(shù) 據(jù)然后用于預(yù)測更高縮放層的各個數(shù)據(jù)，其中，同樣從更高縮放層的細縮放參數(shù)開始，計算 運動數(shù)據(jù)、量化參數(shù)和失真、增強運動數(shù)據(jù)的比特要求的最佳組合。


現(xiàn)在參考附圖來解釋本發(fā)明的優(yōu)選實施例，其中圖Ia是本發(fā)明的編碼器的優(yōu)選實施例；圖Ib是圖Ia的基本圖像編碼器的細節(jié)表示；圖Ic是中間層預(yù)測標(biāo)志的功能的討論；圖Id是運動數(shù)據(jù)標(biāo)志的描述；圖Ie是圖Ia的增強運動補償器的優(yōu)選實施方式；圖If是圖2的增強運動數(shù)據(jù)確定裝置1078的優(yōu)選實施方式；圖Ig是用于計算增強運動數(shù)據(jù)和如果需要則為了信號通知和殘留數(shù)據(jù)傳輸而進 行的增強運動數(shù)據(jù)處理的三個優(yōu)選實施例的整體表示；圖2是本發(fā)明解碼器的優(yōu)選實施例；圖3是具有四極的解碼器的方框圖；圖4是示出了時間子帶濾波器組的提升分解的方框圖；圖5a是圖4所示的提升方案的功能的表示；圖5b是單向預(yù)測(hair小波)和雙向預(yù)測(5/3變換)的兩個優(yōu)選提升規(guī)定的表 示；圖5c是用于任意選擇要由提升方案處理的兩個圖像的具有運動步長和參考標(biāo)記 的預(yù)測和更新算子的優(yōu)選實施例；圖5d是可逐個宏塊將原始圖像信息插入高通圖像的幀內(nèi)模式的表示；圖6a是用于信號通知宏塊模式的示意表示；圖6b是根據(jù)本發(fā)明優(yōu)選實施例，用于以空間可縮放性來對運動數(shù)據(jù)進行上采樣 的示意表示；圖6c是運動矢量差的數(shù)據(jù)流語法的示意表示；圖6d是根據(jù)本發(fā)明優(yōu)選實施例的殘留值語法增強的示意表示；
12
圖7是例如8個圖像的圖像組的時間移位的整體視圖；圖8是16個圖像的圖像組的低通圖像的優(yōu)選時間設(shè)置；圖9是根據(jù)針對宏塊的標(biāo)準(zhǔn)H. 264/AVC，示出了編碼器的基本編碼器結(jié)構(gòu)的整體 框圖；圖10是包括分別在當(dāng)前語法單元C的左邊和上邊的兩個相鄰像素單元A和B的 環(huán)境設(shè)置；以及圖11是圖像分為片的劃分的表示。
具體實施例方式圖Ia示出了用于產(chǎn)生編碼的視頻序列的設(shè)備的優(yōu)選實施例，該視頻序列具有基 本縮放層和增強縮放層。具有8、16或任意數(shù)目圖像的圖像組的原始視頻序列饋入輸入 1000。在輸出側(cè)，編碼的視頻序列包含基本縮放層1002和增強縮放層1004。增強縮放層 1004和基本縮放層1002可提供給比特流復(fù)用器，該復(fù)用器在輸出側(cè)產(chǎn)生單個可縮放的比 特流。然而，取決于實施方式，兩個縮放層的分離傳輸也是可以的，并且在一些情況下是有 用的。圖Ia示出了用于產(chǎn)生基本縮放層和增強縮放層這兩個縮放層的編碼器。為了獲得 編碼器，如果需要，則產(chǎn)生一個或多個其它增強層，重復(fù)增強縮放層的功能，其中，總是由緊 接的更低的增強縮放層給更高增強縮放層提供數(shù)據(jù)，如圖1所示，由基本縮放層1002給增 強縮放層1004提供數(shù)據(jù)。在詳細參考諸如SNR可縮放性或空間可縮放性或者空間和SNR可縮放性的組合可 縮放性之類的不同縮放類型之前，首先來示出本發(fā)明的基本原理。首先，編碼器包括基本運 動補償器或基本運動估計器1006，用于計算基本運動數(shù)據(jù)，基本運動數(shù)據(jù)表示宏塊在當(dāng)前 圖像中相對于基本運動補償器1006在輸入側(cè)獲得的圖像組中另一圖像怎樣運動。已知用 于計算運動數(shù)據(jù)的技術(shù)，尤其是用于計算宏塊的運動矢量的技術(shù)，宏塊是數(shù)字視頻圖像中 的像素區(qū)域。優(yōu)選地，如在視頻編碼標(biāo)準(zhǔn)H. 264/AVC標(biāo)準(zhǔn)化一樣，使用運動補償計算。因而， 考慮后一圖像的宏塊，并確定宏塊相對于前一圖像怎樣“運動”。該運動(在xy方向)由二 維運動矢量表示，該矢量是由塊1006針對每個宏塊計算的，并經(jīng)由運動數(shù)據(jù)線1008提供給 基本圖像編碼器1010。然后，針對下一圖像來計算宏塊怎樣從前一圖像運動到下一圖像。在一種實施方式中，在某種程度上表示從第二到第三圖像的運動的新的運動矢量 可再次作為二位矢量來傳輸。然而，為了效率的原因，優(yōu)選地僅傳輸運動矢量差，運動矢量 差表示宏塊從第二到第三圖像的運動矢量與宏塊從第一到第二圖像的運動矢量之間的差。 可選地，還可使用并不是參考緊接的先前圖像而是參考其它先前圖像的運動矢量差。然后將塊1006所計算的運動數(shù)據(jù)提供給基本運動預(yù)測器1012，基本運動預(yù)測器 1012設(shè)計用于使用運動數(shù)據(jù)和圖像組來計算殘差圖像的基本序列。因此，基本運動預(yù)測器 執(zhí)行運動補償。在某種程度上，分別由運動補償器和運動估計器進行運動補償。然后將殘 差圖像的基本序列提供給基本圖像編碼器?；緢D像編碼器形成為在其輸出處提供基本縮 放層1002。此外，本發(fā)明的編碼器包括增強運動補償器或增強運動估計器1014，用于檢測增 強運動數(shù)據(jù)。將這些增強運動數(shù)據(jù)提供給增強運算預(yù)測器1016，增強運動預(yù)測器1016在輸 出側(cè)產(chǎn)生殘差圖像的增強序列，并將增強序列提供給下游的中間層預(yù)測器1018。因此，增強運動預(yù)測器執(zhí)行運動補償，在某種程度上，分別由運動補償器和運動估計器來進行運動補 m
te ο中間層預(yù)測器形成為計算輸出側(cè)的增強預(yù)測殘差圖像。取決于實現(xiàn)方式，除了從 塊1016獲得的數(shù)據(jù)，即殘差圖像的增強序列之外，中間層預(yù)測器還使用經(jīng)由點狀的旁路線 1020由塊1012提供的殘差圖像的基本序列。可選地，塊1018還使用在塊1012的輸出處提 供并由插值器1022插值的殘差圖像的插值序列。此外，可選地，中間層預(yù)測器還可在基本 圖像編碼器1010的輸出1024處提供殘差圖像的重構(gòu)基本序列。從圖Ia可見，該殘差圖像 的重構(gòu)基本序列可以是插值1022的，或者未插值1020的。因此，通常，中間層預(yù)測器使用 殘差圖像的基本序列來工作，其中，例如，通過塊1012的輸出處的殘差圖像的基本序列的 重構(gòu)或插值，來得到中間層預(yù)測器輸入1026處的信息。在中間層預(yù)測器1018的下游是增強圖像編碼器1028，增強圖像編碼器1028形成 為對增強預(yù)測殘差圖像進行編碼以獲得編碼的增強縮放層1004。在本發(fā)明的優(yōu)選實施例中，中間層預(yù)測器形成為從中間層預(yù)測器1018從增強運 動預(yù)測器1016獲得的各個信號中逐個宏塊且逐個圖像地減去在其輸出1026處的信號。在 該減法中獲得的結(jié)果信號表示增強預(yù)測殘差圖像的圖像的宏塊。在本發(fā)明的優(yōu)選實施例中，自適應(yīng)地形成中間層預(yù)測器。對于每個宏塊，提供中間 層預(yù)測標(biāo)志1030，該標(biāo)志1030表示中間層預(yù)測器必須執(zhí)行預(yù)測，或者在另一狀態(tài)下表示不 必執(zhí)行預(yù)測，但是要將增強運動預(yù)測器1016的輸出處的相應(yīng)宏塊在沒有預(yù)測的情況下提 供給增強圖像編碼器1028。該自適應(yīng)的實現(xiàn)方式具有以下優(yōu)點中間層預(yù)測僅在有用時才 執(zhí)行，即在與未執(zhí)行中間層預(yù)測、而直接對增強運動預(yù)測器1016的輸出數(shù)據(jù)進行編碼的情 況相比預(yù)測殘留信號導(dǎo)致較低輸出圖像速率的情況下才執(zhí)行中間層預(yù)測。在空間可縮放性的情況下，抽取器1032設(shè)置在增強縮放層和基本縮放層之間，形 成為將在其輸入處的具有某種空間分辨率的視頻序列轉(zhuǎn)換為在其輸出處的具有較低分辨 率的視頻序列。如果想要完全的SNR可縮放性，則意味著如果兩個縮放層的基本圖像編碼 器1010和1028分別利用不同的量化參數(shù)1034和1036進行操作，則不設(shè)置抽取器1032。 這在圖Ia中通過旁路線1038示意地示出了。此外，在空間可縮放性的情況下，必須設(shè)置插值器1022。在完全的SNR可縮放性的 情況下，不設(shè)置插值器1022。而是，采用旁路線1020，如圖Ia所示。在一個實施方式中，增強運動補償器1014形成為完整地計算各個運動場，或者直 接或在上采樣器1042的上采樣之后，使用基本運動補償器1006所計算的運動場(旁路線 1040)。在空間可縮放性的情況下，必須設(shè)置上采樣器1042，將基本運動數(shù)據(jù)的運動矢量上 采樣到更高的分辨率，即縮放。如果增加分辨率是基本分辨率的高和寬的兩倍，則增強層中 的宏塊(16X16亮度采樣)覆蓋與基本層中的子宏塊(8X8亮度采樣)相對應(yīng)的圖像區(qū)域。因此，為了能夠使用增強縮放層的宏塊的基本運動矢量，使基本運動矢量的χ分 量和y分量加倍，即以因子2進行縮放。這將參考圖6b詳細進行討論。然而，如果只有SNR可縮放性，則對于所有縮放層而言運動場都是相同的。因此， 僅必須計算一次，并可在低縮放層計算之后，由每個更高縮放層直接使用。對于中間層預(yù)測，也可使用基本運動預(yù)測1012的輸出處的信號?？蛇x地，可使用 線1024上的重構(gòu)信號。由開關(guān)1044來選擇這兩個信號中的哪一個用于預(yù)測。線1024上的信號與塊1012的輸出處的信號的不同之處在于，該信號已經(jīng)經(jīng)過了量化。這意味著線 1024上的信號與塊1012的輸出處的信號相比具有量化誤差。對于中間層預(yù)測而選擇性地 使用線1024上的信號在單獨使用SNR可縮放性或結(jié)合空間可縮放性使用SNR可縮放性時 尤其有用，因為塊1018處的輸出信號包含由第一縮放層產(chǎn)生的量化誤差，然后在輸入1036 處由增強圖像編碼器以典型的細量化器步長和改變的量化參數(shù)2進行量化，然后寫入增強 縮放層1004，所以由基本圖像編碼器1010所產(chǎn)生的量化誤差將“伴隨”到更高縮放層。與中間層預(yù)測標(biāo)志1030類似地，將運動數(shù)據(jù)標(biāo)志1048饋入圖像編碼器，因此與此 有關(guān)的相應(yīng)信息包含在增強縮放層1004中，然后由解碼器使用，下面將參考圖2來進行討 論。如果使用理想空間可縮放性，可使用基本運動預(yù)測器1012的輸出信號，即殘差圖 像的基本序列，代替基本殘差圖像的重構(gòu)序列?；趯崿F(xiàn)方式，可手動地或基于預(yù)測效益函數(shù)(prediction benefit function) 來進行該開關(guān)的控制。這里，應(yīng)該注意，優(yōu)選地，自適應(yīng)地設(shè)計所有預(yù)測，即運動預(yù)測、增強運動數(shù)據(jù)預(yù)測 和中間層殘留值預(yù)測。這意味著例如對于殘差圖像的基本序列的圖像中的每個宏塊或子宏 塊，并不一定要有運動數(shù)據(jù)預(yù)測殘留值。因此，盡管被稱為“殘差圖像”，殘差圖像的基本序 列的圖像還可分別包含未預(yù)測的宏塊和子宏塊。當(dāng)圖像中出現(xiàn)新的對象時會發(fā)生這種情 況。這里，由于預(yù)測殘留信號變得大于圖像中的原始信號，所以運動補償預(yù)測無用。在這種 情況下，在塊1016中的增強運動預(yù)測中，將停用針對該塊(例如宏塊或子宏塊)的預(yù)測算 子和最終的更新算子。此外，為了清楚，提到了殘差圖像的基本序列，但是也許僅僅殘差圖像的基本序列 的單個殘差圖像具有單個實際上包括運動預(yù)測殘留信號的塊。然而，在典型的應(yīng)用中，每個 殘差圖像實際上包含大量具有運動預(yù)測殘留信號的塊。在本發(fā)明中，這同樣應(yīng)用于殘差圖像的增強序列。因而，增強層的情況與基本層 的情況類似。因此，在本發(fā)明中，殘差圖像的增強序列是圖像序列，其中，在極限情況下，僅 僅單個“殘差圖像”的單個塊具有運動預(yù)測殘留值，而在該圖像的所有其它塊以及所有其它 “殘差圖像”中，由于對于所有這些圖像/塊，已經(jīng)停用了運動補償預(yù)測、如果不必要的話還 有運動補償更新，所以實際上不存在殘留誤差。根據(jù)本發(fā)明，這同樣適用于計算增強預(yù)測殘差圖像的中間層預(yù)測器。典型地，增強 預(yù)測殘差圖像出現(xiàn)在序列中。然而，優(yōu)選地，自適應(yīng)地形成中間層預(yù)測器。例如，如果發(fā)現(xiàn) 從基本層到增強層的基本層的殘留數(shù)據(jù)預(yù)測僅對于單個“殘差圖像”的單個塊有用，而對于 該圖像的所有其它塊、甚至對于增強預(yù)測殘差圖像的序列的其它圖像，停用中間層殘留數(shù) 據(jù)預(yù)測，則在本發(fā)明上下文中，為了清楚，將該序列稱為增強預(yù)測殘差圖像。在這點上，應(yīng)該 注意，當(dāng)在基本層中的殘差圖像的相應(yīng)塊中，已經(jīng)計算了運動補償殘留值，并且對于與該塊 相對應(yīng)的塊(例如在相同的χ、y位置)，在增強序列的殘差圖像中已經(jīng)執(zhí)行了運動補償預(yù) 測時，中間層預(yù)測器可僅預(yù)測殘留數(shù)據(jù)，因此，在該塊中，由于運動補償預(yù)測，在增強層中存 在殘差。僅在所考慮的兩個塊中均存在實際的運動補償預(yù)測殘留值時，中間層預(yù)測器才優(yōu) 選地變?yōu)榛顒拥?，來使用基本層的圖像中的殘差值的塊作為增強層的圖像中的殘差值的塊 的預(yù)測器，然后僅向增強圖像編碼器發(fā)送該預(yù)測的殘留值，即，所考慮的圖像的該塊中的增
15強預(yù)測殘差數(shù)據(jù)。下面，參考圖Ib來分別討論基本圖像編碼器100或增強圖像編碼器1028和任意 圖像編碼器的詳細視圖。在輸入側(cè)，圖像編碼器接收殘差圖像組并逐個宏塊地將其提供給 變換器1050。然后在塊1052中對變換的宏塊進行縮放，并使用量化參數(shù)1034、1036、...來 量化。在塊1052的輸出處，輸出所用的量化參數(shù)，即宏塊的所用量化器步長以及宏塊的 頻譜值的量化指標(biāo)。然后將該信息提供給圖Ib中未示出的熵編碼器級，熵編碼器級包括 Huffman編碼器或優(yōu)選地包括運算編碼器，其根據(jù)H. 264/AVC，利用已知的CABAC概念來工 作。還將裝置1052的輸出信號提供給塊1054，塊1054執(zhí)行逆縮放和重新量化，以將量化指 標(biāo)和量化參數(shù)再次轉(zhuǎn)換為數(shù)字值，然后將數(shù)字值提供給塊1056的逆變換，以獲得重構(gòu)的殘 差圖像組，現(xiàn)在，與原始的殘差圖像組相比，在變換塊1050的輸入處存在量化誤差，量化誤 差取決于量化參數(shù)和量化器步長。取決于開關(guān)1044的控制，將一個信號或另一個信號提供 給插值器1022或中間層預(yù)測器1018，以便執(zhí)行本發(fā)明的殘留值預(yù)測。圖Ic示出了中間層預(yù)測器標(biāo)志1030的簡單實現(xiàn)方式。如果中間層預(yù)測標(biāo)志置位， 則激活中間層預(yù)測器1018。然而，如果該標(biāo)志未置位，則停用中間層預(yù)測器，從而針對該宏 塊或從屬于該宏塊的子宏塊來執(zhí)行同時的操作。原因也許是預(yù)測的編碼器增益實際上是編 碼器損耗，這意味著在塊1016的輸出處的相應(yīng)宏塊的傳輸在隨后的熵編碼中提供了比使 用預(yù)測殘留值更好的編碼器增益。圖Id示出了運動數(shù)據(jù)標(biāo)志1048的簡單實現(xiàn)方式。如果標(biāo)志置位，則從基本層的上 采樣運動數(shù)據(jù)中得到增強層的運動數(shù)據(jù)。在SNR可縮放性的情況下，不需要上采樣器1042。 這里，當(dāng)標(biāo)志1048置位時，可直接從基本運動數(shù)據(jù)中得到增強層的運動數(shù)據(jù)。應(yīng)該注意， 該運動數(shù)據(jù)“得到”可以是直接接收運動數(shù)據(jù)或?qū)嶋H預(yù)測，其中，塊1014從塊1014所計算 機的增強縮放層的相應(yīng)運動矢量中減去從基本層獲得的運動矢量，以便獲得運動數(shù)據(jù)預(yù)測 值。經(jīng)由圖Ia所示的輸出，將增強層的運動數(shù)據(jù)(如果未執(zhí)行任何預(yù)測)或預(yù)測的殘留值 (如果執(zhí)行了實際的預(yù)測)提供給增強圖像編碼器1028，因此它們最終將包含在增強縮放 層比特流1004中。然而，如果執(zhí)行從縮放了或未縮放的基本縮放層完全接收運動數(shù)據(jù)，則 不必將增強運動數(shù)據(jù)寫入增強縮放層比特流1004。在增強縮放層比特流中用運動數(shù)據(jù)標(biāo)志 1048來通知該事實就足夠了。圖2示出了用于對編碼的視頻序列進行解碼的設(shè)備，該序列包括基本縮放層1002 和增強縮放層1004。增強縮放層1004和基本縮放層1002可來源于比特流解復(fù)用器，該解復(fù) 用器對具有相應(yīng)的縮放層的可縮放比特流進行解復(fù)用，從共同的比特流中提取基本縮放層 1002和增強縮放層1004。將基本縮放層1002提供給基本圖像解碼器1060，基本圖像解碼 器1060形成為對基本縮放層進行解碼，以獲得解碼的殘差圖像的基本序列和基本運動數(shù) 據(jù)，并將其提供給輸出線1062。然后將線1062處的輸出信號提供給基本運動組合器1064， 基本運動組合器1064抵消在塊1012中的編碼器中引入的基本運動預(yù)測器，在輸出側(cè)輸出 解碼的第一縮放層的圖像。此外，本發(fā)明的解碼器包括增強圖像解碼器1066，用于對增強縮 放層1004進行解碼，以在輸出線1068處獲得增強預(yù)測殘差圖像。此外，輸出線1068包括 運動數(shù)據(jù)信息，例如運動數(shù)據(jù)標(biāo)志1070，如果實際上在增強縮放層1004中存在增強運動數(shù) 據(jù)或增強運動數(shù)據(jù)殘留值，則還包括這些增強運算數(shù)據(jù)?，F(xiàn)在，線1062上的解碼的基本序 列由插值器1070進行插值，或者不變地(線1072)提供給中間層組合器1074，以便抵消由圖Ia的中間層預(yù)測器1018所執(zhí)行的中間層預(yù)測。因此，中間層組合器形成為組合增強預(yù) 測殘差圖像和插值了的(1070)或未插值的(1072)與線1062上的解碼的基本序列有關(guān)的 信息，以獲得殘差圖像的增強序列，最終將該序列提供給增強運動組合器1076，與基本運動 組合器1064相同，增強運動組合器1076抵消在增強層中執(zhí)行的運動補償。增強運動組合 器1076與運動數(shù)據(jù)確定裝置1078相連，提供用于塊1076中的運動組合的運動數(shù)據(jù)。運動 數(shù)據(jù)實際上可以是增強圖像解碼器在輸出1068處提供的增強層的完整增強運動數(shù)據(jù)。可 選地，增強運動數(shù)據(jù)還可以是運動數(shù)據(jù)殘留值。在兩種情況下，經(jīng)由增強運動數(shù)據(jù)線1080， 將相應(yīng)數(shù)據(jù)提供給運動數(shù)據(jù)確定裝置1078。然而，如果運動數(shù)據(jù)標(biāo)志1070用信號通知對于 增強層未傳輸增強運動數(shù)據(jù)，則取決于直接的(1084)或由上采樣器1086的上采樣之后的 所用可縮放性，從基本層中獲取所需運動數(shù)據(jù)。此外，在塊內(nèi)的中間層預(yù)測的情況下，即沒有運動數(shù)據(jù)殘留值的情況下，在解碼器 一側(cè)提供增強運動組合器1076與基本運動組合器1064之間的相應(yīng)連接，取決于空間可縮 放性，該連接具有插值器1090，或在僅使用SNR可縮放性時，該連接具有旁路線。在兩層之 間的可選塊內(nèi)預(yù)測的情況下，僅將預(yù)測殘留信號發(fā)送到該宏塊內(nèi)的增強層，這由比特流中 的相應(yīng)信號化信息表示。在這種情況下，除了下面所述的功能之外，增強運動組合器還執(zhí)行 該宏塊的累加，即執(zhí)行宏塊殘留值與來自較低縮放層的宏塊值之間的組合，并將所組合的 宏塊提供給實際的逆運動補償處理。下面，參考圖3至5d，分別來解釋基本運動預(yù)測器1012或增強運動預(yù)測器1016的 優(yōu)選實施例，即增強運動組合器1076或基本運動補償器1064?；旧希墒褂萌魏芜\動補償預(yù)測算法，這意味著也包括圖9的92處所示的運動 補償算法。因此，傳統(tǒng)的運動補償算法也遵從圖1所示的系統(tǒng)，然而，其中，停用圖4以附圖 標(biāo)記45所示的更新算子U。這導(dǎo)致將圖像組分別轉(zhuǎn)換為原始圖像、和殘留圖像以及預(yù)測殘 留信號或者基于其的殘差信號。然而，如果在以已知運動補償方案實現(xiàn)了如圖4所示的更 新算子有效且被計算的增強，如圖5a至5d所示，則正常的運動補償預(yù)測計算變?yōu)樗^的 MCTF處理，該處理還被稱為運動補償時間濾波。這里，由于原始圖像與由更新算子加權(quán)的預(yù) 測殘留信號組合，所以傳統(tǒng)運動補償?shù)恼D像和中間圖像通過更新運算分別變?yōu)榈屯▓D 像。如已經(jīng)參考圖Ia和2所述的，在本發(fā)明的優(yōu)選實施例中，針對每個縮放層來執(zhí)行 MCTF處理，其中，優(yōu)選地按照參考圖3至5a以及7至8所述的方式來執(zhí)行MCTF處理。下面，參考圖4以及隨后的圖5a_5來描述運動補償濾波器的優(yōu)選地實施例。如已 經(jīng)解釋的，運動補償時間濾波器(MCTF)由常見提升方案組成，該方案包括三步，即多相分 解、預(yù)測和更新。圖4示出了相應(yīng)的分析/合成濾波器組結(jié)構(gòu)。在分析一側(cè)，通過對預(yù)測殘 留值使用預(yù)測算子P和高通信號H，將給定信號的奇數(shù)采樣濾除偶數(shù)采樣的線性組合。通過 使用更新算子，將預(yù)測殘留值h的線性組合與輸入信號s的偶數(shù)采樣相加，來形成相應(yīng)的低 通信號1。圖5a示出了圖4所示的變量h和1的等式關(guān)系以及算子P和U的基本實施例。由于可完全逆轉(zhuǎn)預(yù)測步驟和更新步驟，所以可將相應(yīng)的變換當(dāng)作嚴(yán)格采樣的理想 重構(gòu)濾波器組。合成濾波器組包括預(yù)測算子和更新算子以與求和過程相反的符號、按照相 反的順序的應(yīng)用，其中，使用偶數(shù)和奇數(shù)多相分量。對于高通/低通分量的歸一化，使用相 應(yīng)的縮放因子F1和Fh。不一定要使用這些縮放因子，但是在編碼期間選擇了量化器步長時可使用這些縮放因子。f[x,k]示出了空間坐標(biāo)χ = (x，y)T的視頻信號，其中，k是時間坐標(biāo)。如圖5b的 左手邊所示，給出了使用hair小波的提升表征的時間分解的預(yù)測算子P和更新算子U。對 于5/3變換，相應(yīng)的算子如圖5b的右手邊所示。通過如圖5c所示修改預(yù)測算子和更新算 子，獲得對運動補償時間濾波的增強。具體地，參見參考指標(biāo)r>0，其允許一般的圖像自適 應(yīng)運動補償濾波。通過這些參考指標(biāo)，可確保在圖4所示的場景中，不僅兩個時間緊隨的圖 像被分解為高通圖像和低通圖像，而且可利用序列的第三圖像，按照運動補償?shù)姆绞綄Φ?一圖像進行濾波。可選地，參考指標(biāo)的適當(dāng)選擇使得可將序列的同一個圖像用作運動矢量 的基準(zhǔn)。這意味著參考指標(biāo)允許在八個圖像的序列中，所有運動矢量與序列的第四個圖像 相關(guān)聯(lián)，從而通過圖4中的濾波方案，通過處理這八個圖像，最終獲得單個低通圖像，并且 產(chǎn)生七個高通圖像(增強圖像)，并且在一個增強圖像與每個運動矢量相關(guān)聯(lián)的情況下，所 有運動矢量與原始序列的同一個圖像相關(guān)聯(lián)。因此，如果將序列的同一個圖像用作對多個其它圖像進行濾波的基準(zhǔn)，則這導(dǎo)致 時間分辨率縮放并不遵循因子2，這對于某些應(yīng)用是有利的?？偸菍⑼粋€圖像，即八個圖 像的序列的第四個圖像饋入圖4的分析濾波器組的下分支。低通圖像在每次濾波中都是相 同的，即最終產(chǎn)生圖像序列的所希望的單個低通圖像。當(dāng)更新參數(shù)為零時，基本圖像僅僅是 “通過”下分支。與之相比較，高通圖像總是取決于原始序列的相應(yīng)另一個圖像和預(yù)測算子， 其中，在預(yù)測中使用與該輸入圖像相關(guān)聯(lián)的運動矢量。因此，在這種情況下，最終獲得的低 通圖像與原始圖像序列的某個圖像相關(guān)聯(lián)，并且每個高通圖像與原始序列的圖像相關(guān)聯(lián)， 其中，原始圖像與序列的所選基本圖像(饋入圖4的分析濾波器組的下分支的圖像)的偏 差對應(yīng)于序列(運動補償)。當(dāng)每個更新參數(shù)Mtll，Mn，M21和M31等于零時，這導(dǎo)致饋入第四 級的下分支73的圖像僅僅是“通向”底部。以某種方式，將低通圖像TPl “重復(fù)地”饋入濾 波器組，而由參考指標(biāo)控制的其它圖像一個接一個地引入圖3的輸入64。從上述等式可見，運動補償濾波的預(yù)測和更新算子分別提供兩個不同小波的不同 預(yù)測。當(dāng)使用hair小波時，實現(xiàn)了單向運動補償預(yù)測。然而，如果使用5/3樣條小波，則兩 個算子規(guī)定了雙向運動補償預(yù)測。由于與單向預(yù)測相比，雙向補償預(yù)測通常減少預(yù)測殘留值的能量，但是增加運動 矢量速率，所以希望在單項和雙向預(yù)測之間動態(tài)地切換，這意味著可根據(jù)基于圖像的控制 信號，在hair小波的提升表征和5/3樣條小波之間切換。針對時間濾波并不使用閉合反饋 回路的本發(fā)明概念可容易地逐個宏塊地在兩個小波之間切換，從而支持靈活性和數(shù)據(jù)流節(jié) 約，這可最優(yōu)地以信號自適應(yīng)方式執(zhí)行。為了表示運動場或通常的預(yù)測數(shù)據(jù)場Mp和Mu，理想地，可使用H. 264/AVC中已有 的B片的語法。通過級聯(lián)配對的圖像分解級，獲得二值樹結(jié)構(gòu)，其將2"個圖像的組分為個殘留 圖像和單個低通(或中間)圖像，如圖7針對八個圖像的組所示的。具體地，圖7示出了在 第一級濾波器的輸出22處的第一級高通圖像HPl以及在第一級濾波器的輸出24處的第一 級低通圖像。圖7還示出了從第二級獲得的在第二級濾波器的輸出16處的兩個低通圖像 TP2以及高通圖像，作為第二級圖像。第三級低通圖像被提供給第三級濾波器的輸出76，而 第三級高通圖像以已處理的形式被提供給輸出75。八個圖像的組最初可包括八個視頻圖
18像，其中使用圖3的解碼器而不使用第四濾波器級。然而，如果八個圖像的組是八個低通圖 像的組，如在第四級濾波器的輸出73處所用的，則可將本發(fā)明的MCTF分解分別用作基本運 動預(yù)測器、增強運動預(yù)測器，并用作基本運動組合器或增強運動組合器。因此，通常，在分解2n個圖像的組中，傳輸(2n+1_2)個運動場描述、(2n_0殘留圖像 以及單個低通(或中間)圖像。優(yōu)選地，分別通過基本控制參數(shù)和增強控制參數(shù)來控制基本運動補償器和增強運 動補償器，來計算量化參數(shù)(1034或1036)和運動信息的最佳組合，該組合基于某一速率 是固定的。根據(jù)以下方法來執(zhí)行計算以獲得關(guān)于某一最大比特率的最佳比。因此，可以發(fā) 現(xiàn)，對于較低的比特率，即相對粗略的量化參數(shù)，運動矢量比采用相對精細的量化參數(shù)的更 高縮放層更加重要。因此，對于粗量化因而低比特率的情況，計算比更高縮放層少的運動數(shù) 據(jù)。因此，優(yōu)選地，在更高縮放層中，變?yōu)樽雍陦K模式來計算大量運動數(shù)據(jù)，以用于高比特率 的良好質(zhì)量和最佳情況，而不是較低比特率，其中，運動數(shù)據(jù)關(guān)于殘留數(shù)據(jù)的重要性比更高 縮放層的情況成比例地增加。這將在下面加以討論。給定圖像A和B，它們是原始圖像或表示在先前的分析級中產(chǎn)生的低通信號的圖 像。此外，提供亮度采樣a[]和b□的相應(yīng)陣列。如下逐個宏塊地估計運動描述Mitl:對于圖像B中所有可能的宏塊和宏塊i的子宏塊劃分，通過使拉格朗日函數(shù)
權(quán)利要求
一種用于對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行解碼的設(shè)備，包括基本圖像解碼器(1060)，用于對基本縮放層進行解碼，以獲得殘差圖像的解碼基本序列和基本運動數(shù)據(jù)，所述基本運動數(shù)據(jù)表示當(dāng)前圖像中的宏塊相對于圖像組中另一圖像怎樣運動；增強圖像解碼器(1066)，用于對增強縮放層進行解碼以獲得增強層殘差圖像；中間層組合器(1074)，用于將殘差圖像的解碼基本序列或殘差圖像的插值基本序列與增強層殘差圖像組合，以獲得殘差圖像的增強序列；增強運動組合器(1076)，形成為通過使用殘差圖像的增強序列和增強層運動數(shù)據(jù)，來獲得增強縮放層的圖像序列，其中，基本縮放層(1002)的圖像的分辨率比增強縮放層(1004)的圖像的分辨率低，以及所述設(shè)備還具有殘留值插值器(1070)，用于將殘差圖像的解碼基本序列插值為更高的分辨率。
2.一種用于對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行解 碼的方法，包括步驟對基本縮放層進行解碼(1060)，以獲得殘差圖像的解碼基本序列和基本運動數(shù)據(jù)，所 述基本運動數(shù)據(jù)表示當(dāng)前圖像中的宏塊相對于圖像組中另一圖像怎樣運動； 對增強縮放層進行解碼(1066)以獲得增強層殘差圖像；將殘差圖像的解碼基本序列或殘差圖像的插值基本序列與增強層殘差圖像組合 (1074)，以獲得殘差圖像的增強序列；通過使用殘差圖像的增強序列和增強層運動數(shù)據(jù)，執(zhí)行增強運動組合(1076)，來獲得 增強縮放層的圖像序列，其中，基本縮放層(1002)的圖像的分辨率比增強縮放層(1004)的圖像的分辨率低，以及其中，所述方法還包括步驟將殘差圖像的解碼基本序列插值(1070)為更高的分辨率。
全文摘要
視頻編碼器在基本層(1002)和增強層(1004)中執(zhí)行運動補償預(yù)測(1906、1012、1014、1016)，通過使用來自基本層的運動數(shù)據(jù)，確定增強層的運動數(shù)據(jù)，和/或通過使用來自基本層的殘差圖像的序列，在增強層的運動補償預(yù)測之后，通過中間層預(yù)測器(1018)，預(yù)測殘差圖像的序列。在解碼器一側(cè)，中間層組合器用于抵消該中間層預(yù)測。因而與沒有中間層預(yù)測但具有相同圖像質(zhì)量的可縮放方案相比，提高了數(shù)據(jù)率。
文檔編號H04N7/36GK101959066SQ20101024553
公開日2011年1月26日 申請日期2005年9月21日 優(yōu)先權(quán)日2004年10月15日
發(fā)明者德特勒夫·馬爾佩, 托馬斯·威甘德, ?？啤な┩叽?申請人:弗勞恩霍夫應(yīng)用研究促進協(xié)會