專利名稱：支持像素值細化可縮放性的可縮放視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可縮放視頻編碼，并且具體地涉及支持像素值細化可縮放性的可縮放 視頻編碼。
背景技術(shù)：
IS0/IEC運動畫面專家組(MPEG)與ITU-T視頻編碼專家組(VCEG)的聯(lián)合視頻組 (JVT)的當前計劃是開發(fā)在 T. WiegancUG. J. Sullivan, J. Reichel、H. Schwarz 和 Μ. Wien 等 白勺“Joint Draft 10 ofSVC Amendment",Joint Video Team,Doc. JVT-ff201,San Jose,CA, USA, April 2007 以及 J. Reichel、H. Schwarz 和 M. Wien 等的“ JointScalable Video Model JSVM-10", Joint Video Team, Doc. JVT-W202, San Jose, CA, USA, April 2007 中定義的最 新技術(shù)視頻編碼標準H. 264/MPEG4-AVC的可縮放擴展，支持視頻序列的時間、空間和SNR可 縮放編碼或其組合。在ITU-T Rec. & IS0/IEC 14496-10AVC, "Advanced VideoCoding for Generic Audiovisual Services, ” version 3,2005 中所描述的 H. 264/MPEG4-AVC 規(guī)定了一種混合 視頻編解碼器，其中，在時域中通過運動補償?shù)念A(yù)測或在空間域中通過幀內(nèi)預(yù)測來產(chǎn)生宏 塊預(yù)測信號，并且兩種預(yù)測之后都進行殘差編碼。將沒有可縮放性擴展的H. 264/MPEG4-AVC 編碼稱為單層H. 264/MPEG4-AVC編碼。與單層H. 264/MPEG4-AVC可比的率失真性能意味 著典型地以10%比特率實現(xiàn)相同的視覺再現(xiàn)質(zhì)量。給定上述內(nèi)容，將可縮放性視為一種 用于移除部分比特流，同時在任何所支持的空間、時間或SNR分辨率處實現(xiàn)與單層H. 264/ MPEG4-AVC編碼該特定分辨率處可比的R-D性能的功能?？梢詫⒖煽s放視頻編碼(SVC)的基本設(shè)計歸類為分層視頻編解碼器。在每一層 中，如同在H. 264/MPEG4-AVC中一樣，采用運動補償?shù)念A(yù)測和幀內(nèi)預(yù)測的基本概念。然而， 為了利用若干空間層或SNR層之間的冗余，集成了附加的層間預(yù)測機制。基本上，通過殘差 量化來實現(xiàn)SNR可縮放性，而針對空間可縮放性，采用運動補償?shù)念A(yù)測和過采樣的金字塔 分解的組合。維持了 H. 264/MPEG4-AVC時間可縮放性方式。一般而言，編碼器結(jié)構(gòu)取決于應(yīng)用所需要的可縮放性空間。作為示意，圖7示出了 具有兩個空間層902a、902b的典型編碼器結(jié)構(gòu)900。在每一層中，采用了具有層專用運動參 數(shù)906a、906b的獨立分級運動補償?shù)念A(yù)測結(jié)構(gòu)904a、904b。通過包括針對運動參數(shù)906a、 906b以及紋理數(shù)據(jù)910a、9IOb的預(yù)測機制在內(nèi)的層間預(yù)編碼概念908，對連續(xù)層902a、902b 之間的冗余進行利用。通過與H. 264/MPEG4-AVC的變換編碼類似的變換編碼916a、916b， 獲得每一層902a、902b的輸入畫面914a、914b的基礎(chǔ)表示912a、912b，相應(yīng)的NAL(網(wǎng)絡(luò) 抽象層)單元包含運動信息和紋理數(shù)據(jù)；最低層的基礎(chǔ)表示(即912a)的NAL單元與單層 H. 264/MPEG4-AVC兼容。通過所謂漸進細化圖像條(slice)的附加編碼918a、918b，可以提 高基礎(chǔ)表示的重構(gòu)質(zhì)量；為了支持細粒度可縮放性(res)或靈活比特率適配，可以任意截 斷相應(yīng)的NAL單元。復(fù)用器920對基礎(chǔ)層編碼916a、916b以及相應(yīng)層902a、902b的漸進SNR細化紋理編碼918a、918b分別輸出的所產(chǎn)生的比特流進行復(fù)用，以產(chǎn)生可縮放比特流922。這種比特 流922在時間、空間和SNR質(zhì)量上是可縮放的。概括而言，根據(jù)以上視頻編碼標準H. 264/MPEG4-AVC的可縮放擴展，通過使用分 級預(yù)測結(jié)構(gòu)，提供了時間可縮放性。對于這種分級預(yù)測結(jié)構(gòu)，可以不經(jīng)任何改變地使用單層 H. 264/MPEG4-AVC標準之一。對于空間可縮放性和SNR可縮放性，必須將附加工具添加到單 層H. 264/MPEG4. AVC。為了產(chǎn)生支持較大程度的組合可縮放性的比特流，可以將所有這三種 可縮放性類型進行組合。特定應(yīng)用可以從增強層中受益，增強層允許在具有低比特深度(或更一般而言， 較低的像素值分辨率)以及可能較低的空間分辨率的基礎(chǔ)層之上提取和顯示較高比特深 度以及可能較高空間分辨率的內(nèi)容。然而，在上述可縮放擴展的版本中，僅針對基礎(chǔ)層和增 強層均以亮度和色度采樣的相應(yīng)陣列的相同比特深度/像素值分辨率來表示給定視頻源 的情況規(guī)定了可縮放性工具。因而，提供支持像素值分辨率方面的可縮放性的可縮放視頻方案是有優(yōu)勢的。如 果這種視頻編碼方案可以支持不同等級的像素值分辨率之間較寬范圍的可能像素值分辨 率映射，則更有優(yōu)勢。此外，如果視頻編碼方案可以保持解碼器側(cè)的低計算開銷，則更為有 利。使用上述視頻編碼技術(shù)之一，提供像素值分辨率方面的可縮放性，必須將基于不同像素 值分辨率而編碼的兩個單獨的、完全自包含的視頻比特流合并為一個公共可縮放數(shù)據(jù)流。 然而，這導(dǎo)致較差的壓縮比。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供以更高效的方式實現(xiàn)像素值分辨率方面的可縮放性 的可縮放視頻編碼方案。這個目的是通過根據(jù)權(quán)利要求1所述的編碼器、根據(jù)權(quán)利要求12所述的解碼器、 根據(jù)權(quán)利要求21或22所述的方法以及根據(jù)權(quán)利要求24所述的可縮放視頻比特流來實現(xiàn) 的。本發(fā)明基于以下發(fā)現(xiàn)在視頻材料的第一表示的像素值分辨率比視頻材料的第二 表示的像素值分辨率低的情況下，通過對第一表示和第二表示互相分離地進行時間預(yù)測， 其中根據(jù)通過對第二表示進行時間預(yù)測而獲得的第二預(yù)測信號將第一預(yù)測殘差或其重構(gòu) 版本從第一像素值分辨率映射至第二像素值分辨率，并通過將具有第二像素值分辨率的第 二預(yù)測殘差編碼為表示第二和第三預(yù)測信號的組合與第二表示之間的偏差，可以獲得實現(xiàn) 像素值分辨率方面的可縮放性的更高效方式。通過使用第二預(yù)測信號以將第一預(yù)測殘差或 其重構(gòu)版本從第一像素值分辨率映射至第二像素值分辨率，即使使用非線性映射方案，也 可以獨立于第一預(yù)測信號，精確地執(zhí)行第一預(yù)測殘差或其重構(gòu)版本的映射。通過這種措施， 層間預(yù)測保持精確，并且同時，解碼器不需要對涉及例如相對復(fù)雜的運動補償?shù)牡谝槐硎?進行時間預(yù)測。這繼而導(dǎo)致在相對高的率失真性能上，解碼器處的低復(fù)雜度。此外，該可縮 放編碼方案本身不將預(yù)測值分辨率之間的映射所使用的映射方案限制為線性的。


下面參考附圖描述優(yōu)選的實施例。具體地，附圖示出了
圖1是根據(jù)本發(fā)明實施例的視頻編碼器的方框圖；圖2是示出了根據(jù)本發(fā)明實施例的由多個塊組成的視頻材料的示意圖；圖3是示出了根據(jù)本發(fā)明實施例的逆色調(diào)映射的示意圖；圖4是示出根據(jù)本發(fā)明實施例的視頻材料的畫面的左上角部分的示意圖，以示出 高質(zhì)量層中的像素與低質(zhì)量層中的像素之間的空間對應(yīng)；圖5a和5b是示出根據(jù)本發(fā)明不同實施例的圖1的逆殘差色調(diào)映射和上采樣模塊 的內(nèi)部結(jié)構(gòu)的示意性框圖；圖6是根據(jù)本發(fā)明實施例的視頻解碼器的框圖；以及圖7是可縮放視頻編碼的傳統(tǒng)編碼器結(jié)構(gòu)的框圖。
具體實施例方式圖1示出了包括基礎(chǔ)層編碼模塊102、高質(zhì)量編碼模塊104、質(zhì)量降低模塊106和 復(fù)用器108在內(nèi)的視頻編碼器100。圖1的視頻編碼器100包括用于接收高質(zhì)量源視頻信 號的輸入110和用于輸出可縮放視頻比特流的輸出112。視頻編碼器100用于將高質(zhì)量源 視頻信號110編碼成可縮放視頻比特流112，使得在輸出112處該可縮放視頻比特流的第一 部分(下面稱為低質(zhì)量基礎(chǔ)層)是自包含的，這是由于在輸出112處不知道或不使用可縮 放視頻比特流的其余部分的情況下，該部分使得能夠以低于輸入110處的信號初始質(zhì)量的 質(zhì)量(即以低質(zhì)量)重構(gòu)輸入110處的高質(zhì)量源視頻信號的視頻內(nèi)容。繼而，該其余部分 (下面稱為高質(zhì)量增強層)使得能夠通過將兩個部分(低質(zhì)量基礎(chǔ)層和高質(zhì)量增強層)進 行組合，以比低質(zhì)量更高的質(zhì)量來重構(gòu)輸入112處的高質(zhì)量源視頻信號。如下面將要更詳細地描述的，一方面高質(zhì)量增強層與另一方面低質(zhì)量基礎(chǔ)層之間 的質(zhì)量差至少涉及像素值分辨率，如像素值的比特深度，如亮度和/或色度值。雖然下面的 描述集中關(guān)注將高質(zhì)量增強層與低質(zhì)量基礎(chǔ)層之間的比特深度差作為像素值細化差的情 況，但是其它像素值分辨率差的示例也是可能的。例如，高質(zhì)量增強層的像素值分辨率高于 低質(zhì)量基礎(chǔ)層的像素值分辨率可以是在比特深度相同的情況下，高質(zhì)量增強層中每像素的 顏色參數(shù)的數(shù)目相對于低質(zhì)量基礎(chǔ)層更高的結(jié)果。例如，低質(zhì)量基礎(chǔ)層可以僅使用3個8 比特值來表示視頻內(nèi)容，而高質(zhì)量增強層可以使用4個8比特值。然而，為了易于理解下面 的描述，下面的描述集中關(guān)注將比特深度差作為像素值分辨率差的示例。上面已經(jīng)提到，輸出112處的可縮放比特流由一方面高質(zhì)量增強層和另一方面低 質(zhì)量基礎(chǔ)層組成。高質(zhì)量編碼模塊104輸出高質(zhì)量增強層信號，而低質(zhì)量編碼模塊102輸出 低質(zhì)量基礎(chǔ)層信號。復(fù)用器108接收這兩個信號并將其復(fù)用成可縮放比特流112。例如，復(fù) 用器108將這兩個信號復(fù)用成可縮放比特流112，使得低質(zhì)量基礎(chǔ)層在高質(zhì)量增強層之前。 高質(zhì)量編碼模塊104連接在視頻編碼器100的輸入110和復(fù)用器108的第一輸入之間。在 低質(zhì)量編碼模塊102的情況下，質(zhì)量降低模塊106連接在輸出110和低質(zhì)量編碼模塊102 的輸入之間，以在源視頻信號進入低質(zhì)量編碼模塊102之前降低源視頻信號的像素值分辨 率。如下面還將更詳細描述的，除了像素值分辨率的降低外，模塊106上執(zhí)行的質(zhì)量降低可 以涉及其它質(zhì)量降低。如下面描述的，通過比特深度的降低可以實現(xiàn)像素值分辨率的降低。 此外，質(zhì)量降低還可以包括空間分辨率的降低。具體地，下面的描述示例性地涉及低質(zhì)量在 像素值分辨率和空間分辨率上均與高質(zhì)量不同的實施例。
基礎(chǔ)質(zhì)量編碼模塊102連接在質(zhì)量降低模塊106的輸出和復(fù)用器108的另一輸入 之間。復(fù)用器108的輸出繼而連接到視頻編碼器100的輸出112。以這種方式進行連接，高質(zhì)量編碼模塊104用于直接對高質(zhì)量源視頻信號進行編 碼，而低質(zhì)量編碼模塊102對質(zhì)量降低模塊106輸出的視頻源信號的低質(zhì)量版本進行編碼。 如下面將更詳細描述的，由于編碼模塊102和104均單獨地對其相應(yīng)輸入信號執(zhí)行時間預(yù) 測，編碼模塊102和104彼此并行操作。根據(jù)以下模塊102和104的實施例，這兩個模塊均 包括其自己的運動補償?shù)念A(yù)測環(huán)路(具體為閉環(huán))，以僅將預(yù)測殘差編碼成相應(yīng)輸出信號， 即在模塊104的情況下為高質(zhì)量增強層，在模塊102的情況下為低質(zhì)量基礎(chǔ)層。然而，如下 面還將更詳細描述的，高質(zhì)量編碼模塊104附加地使用低質(zhì)量編碼模塊102的預(yù)測殘差或 其重構(gòu)版本，以(至少部分地，即至少針對視頻材料中的一些塊)細化其自身的高質(zhì)量時間 預(yù)測環(huán)路的預(yù)測信號。通過僅使用低質(zhì)量基礎(chǔ)層的預(yù)測殘差以細化高質(zhì)量編碼模塊104內(nèi) 的預(yù)測，可以通過僅執(zhí)行一個時間預(yù)測來對輸出112處的可縮放比特流進行解碼以導(dǎo)出高 質(zhì)量。如下面將更詳細描述的，僅使用低質(zhì)量基礎(chǔ)層的預(yù)測殘差不需要高質(zhì)量層的高比特 深度與低質(zhì)量層之間的色調(diào)映射是線性的。而是使用高質(zhì)量增強層預(yù)測環(huán)路的預(yù)測信號來 校正非線性。在內(nèi)部，基礎(chǔ)質(zhì)量編碼模塊102包括減法器114、變換模塊116、量化模塊118、逆 變換模塊120、加法器122、解塊濾波器124、預(yù)測模塊126和熵編碼模塊128。減法器114、 變換模塊116、量化模塊118、逆變換模塊120、加法器122、解塊濾波器124和預(yù)測模塊126 形成閉合預(yù)測環(huán)路，即，它們以所提到的順序連接成閉環(huán)。具體地，減法器114的非反相輸 入形成低質(zhì)量編碼模塊102的輸入，其中，減法器114的反相輸入連接到預(yù)測模塊126的輸 出。預(yù)測模塊126的輸出也連接到加法器122的第一輸入，其中，加法器122的另一輸入連 接到逆變換模塊120的輸出。逆變換模塊120的輸入連接到量化模塊118的輸出，量化模 塊118的輸出繼而還連接到熵編碼模塊128的輸入。熵編碼模塊128的輸出同時形成低質(zhì) 量編碼模塊102的輸出。類似地，高質(zhì)量編碼模塊104包括減法器130、變換模塊132、量化模塊134、逆變換 模塊136、加法器138、解塊濾波器140、預(yù)測模塊142以及熵編碼模塊144。以與低質(zhì)量編 碼模塊102的元件114至128相似的方式將元件130至144彼此連接。即，將元件130至 142連接成閉環(huán)，其中，減法器130的非反相輸入形成高質(zhì)量解碼模塊104的輸入，量化模 塊134的輸出連接到逆變換模塊136的輸入以及熵編碼模塊144的輸入，預(yù)測模塊142的 輸出在當前情況中示例性地以間接的方式耦合至減法器130的反相輸入以及加法器138的 另一輸入。然而，除了這些元件外，高質(zhì)量編碼模塊104還包括另一加法器146以及兩條層 間預(yù)測路徑148和150。層間預(yù)測路徑148連接在一方面低質(zhì)量編碼模塊102的逆變換模 塊120的輸出與另一方面加法器146的輸入之間，開關(guān)152連接到路徑148中以實現(xiàn)路徑 148與加法器146的輸入的連接和斷開。具體地，開關(guān)152被配置為向加法器146的輸入應(yīng) 用零或?qū)⒙窂?48與加法器146的輸入相連接。路徑148表示用于從模塊102向模塊104 提供低質(zhì)量預(yù)測殘差的低質(zhì)量預(yù)測殘差路徑，并且其中連接有逆映射和上采樣模塊154和 可選濾波器156，可選濾波器156連接在逆映射和上采樣模塊154與逆變換模塊120之間。類似地，路徑150表示從一方面低質(zhì)量編碼模塊102的加法器122的輸出和另一 方面開關(guān)158延伸的基礎(chǔ)質(zhì)量重構(gòu)信號提供路徑，開關(guān)158使減法器130的反相輸入和加法器138的另一輸入連接到加法器146的輸出或路徑150的另一端。以與路徑148相似的 方式，路徑150中連接有以提到的順序連接的可選濾波器160和逆映射和上采樣模塊162。與逆映射和上采樣模塊162相比，連接到殘差路徑148中的逆映射和上采樣模塊 IM包括另一輸入，用于接收預(yù)測模塊142輸出的預(yù)測信號，或備選地，用于接收預(yù)測模塊 142輸出的預(yù)測信號與逆變換模塊136的輸出之和(即，高質(zhì)量編碼模塊104的重構(gòu)的殘差 信號)。因此，逆映射和上采樣模塊巧4的該另一輸入直接連接到預(yù)測模塊142的輸出或連 接到另一加法器164的輸出，該另一加法器164的輸入分別連接到預(yù)測模塊142的輸出以 及逆變換模塊136的輸出。從圖6可以中清楚地看到，可以將開關(guān)連接在加法器164和逆 變換模塊136的輸出之間，以向加法器168的輸入應(yīng)用零或逆變換模塊136輸出的信號，從 而備選地允許在兩種可能性之間切換。在詳細描述了視頻編碼器100的內(nèi)部結(jié)構(gòu)之后，下面將更詳細地描述其總體操作 模式。具體地，以下針對示例性情況對操作模式進行初步描述，在該示例性的情況中，開關(guān) 152和158采取圖1所示的位置，即，將殘差路徑148與加法器146的輸入相連接，并將加法 器146的輸出與減法器130的反相輸入相連接，從而將基礎(chǔ)層重構(gòu)路徑150從減法器130 的反相輸入斷開。根據(jù)該假定，本發(fā)明的另一實施例提供了可以將開關(guān)158和152移除，使 元件130、146、154和162之間的連接如開關(guān)152、158的連續(xù)線所示。如上面已經(jīng)描述的，模塊102和104中的每一個對相應(yīng)輸入信號執(zhí)行時間預(yù)測。 例如，在低質(zhì)量編碼模塊102中，減法器114從模塊102的輸入處接收到的源視頻信號的低 質(zhì)量版本中減去預(yù)測模塊1 輸出的低質(zhì)量預(yù)測信號。因此，減法器114輸出低質(zhì)量殘差。 變換模塊116對低質(zhì)量殘差信號執(zhí)行變換。該變換可以涉及空間分解，如DCT、FFT或小波 變換。量化模塊118對變換后的信號進行量化。可以不使用量化模塊118。例如，變換模 塊116執(zhí)行的變換可以固有地產(chǎn)生整數(shù)變換系數(shù)。例如，變換模塊116執(zhí)行的變換是逐塊 變換，并且變換殘差信號表示減法器114輸出的低質(zhì)量殘差信號的空間表示。通過這種措 施，變換模塊116和量化模塊118的組合以基于變換的方式，有損或無損地對減法器114輸 出的殘差信號進行編碼。熵編碼模塊1 對量化變換后的殘差信號進行熵編碼，從而產(chǎn)生 低質(zhì)量基礎(chǔ)層部分，復(fù)用器108將該部分復(fù)用到可縮放比特流中。通過使用逆變換(即，與變換模塊116的變換相逆的變換)，逆變換模塊120從量 化模塊118的輸出來重構(gòu)低質(zhì)量殘差信號。因此，逆變換模塊120的輸出表示低質(zhì)量殘差 信號的重構(gòu)版本。如下所述，經(jīng)由路徑148將這種殘差信號引導(dǎo)至高質(zhì)量編碼模塊104。然 而，加法器122也使用該重構(gòu)版本以獲得在低質(zhì)量編碼模塊102的輸入處接收到低質(zhì)量視 頻信號的重構(gòu)版本。具體地，加法器122將重構(gòu)殘差信號與預(yù)測模塊126的輸出(即低質(zhì) 量預(yù)測信號)相加。可選的解塊濾波器1 對所獲得的低質(zhì)量視頻信號的重構(gòu)版本進行濾 波，以去除偽像，并從而將其轉(zhuǎn)發(fā)到預(yù)測模塊126。預(yù)測模塊1 對低質(zhì)量輸入信號的所解 塊重構(gòu)的版本進行時間預(yù)測，例如，該時間預(yù)測涉及運動補償。預(yù)測模塊1 通過這種措施 計算低質(zhì)量預(yù)測信號，并將該低質(zhì)量預(yù)測信號輸出至減法器114的反相輸入和加法器122 的另一輸入。如上面已經(jīng)提到的，高質(zhì)量編碼模塊104的操作實質(zhì)上類似于低質(zhì)量編碼模塊 102。S卩，減法器130接收高質(zhì)量源視頻信號，減法器130從信號中減去預(yù)測模塊142輸出 的預(yù)測信號以及從殘差路徑148導(dǎo)出的信號。因此，如上結(jié)合模塊102的元件116和118所述，減法器130輸出高質(zhì)量預(yù)測殘差，該高質(zhì)量預(yù)測殘差由變換模塊132進行變換并由量 化模塊134進行量化。熵編碼模塊144對量化變換后的預(yù)測殘差進行熵編碼，以獲得由復(fù) 用器108復(fù)用到可縮放比特流中的高質(zhì)量增強層部分。逆變換模塊136從量化變換后的預(yù)測殘差重構(gòu)出減法器130輸出的預(yù)測殘差的重 構(gòu)版本，并將其輸出到加法器138。加法器138將該高質(zhì)量預(yù)測信號的重構(gòu)版本與輸入到減 法器130的反相輸入的組合的預(yù)測信號相加，以獲得輸入到高質(zhì)量編碼模塊104中的高質(zhì) 量源視頻信號的重構(gòu)版本。與元件126和IM類似，解塊濾波器140對重構(gòu)的高質(zhì)量視頻 信號執(zhí)行解塊濾波，預(yù)測模塊142對解塊濾波器140產(chǎn)生的輸出執(zhí)行時間預(yù)測。再次地，解 塊濾波器是可選的，并可以從模塊104中移除。預(yù)測模塊142的輸出表示高質(zhì)量預(yù)測信號。 如以下所述，在加法器146處，通過路徑148，使用從低質(zhì)量編碼模塊102的預(yù)測殘差獲得的 預(yù)測，對該高質(zhì)量預(yù)測信號進行進一步細化。加法器146的輸出將組合的預(yù)測信號提供給 減法器130的反相輸入和加法器138的另一輸入。為了能夠使用逆變換模塊120輸出的重構(gòu)的低質(zhì)量預(yù)測殘差信號，在路徑148內(nèi)， 將該低質(zhì)量預(yù)測殘差信號的低質(zhì)量等級轉(zhuǎn)變成高質(zhì)量等級。即，將低質(zhì)量層的較低像素值 分辨率適配為高質(zhì)量層的像素值分辨率。此外，根據(jù)圖1的實施例，還增加了空間分辨率， 以符合高質(zhì)量層的空間分辨率。相應(yīng)地，在可選濾波器146的某些可選濾波(如偽像減少濾 波)之后，對低質(zhì)量預(yù)測殘差信號進行逆色調(diào)映射和上采樣處理，以反轉(zhuǎn)質(zhì)量減低模塊106 中執(zhí)行的色調(diào)映射和下采樣。在這種質(zhì)量適配之后，將質(zhì)量適配的預(yù)測殘差信號應(yīng)用至加 法器146。因此，預(yù)測模塊142的輸出的預(yù)測信號與質(zhì)量適配的預(yù)測殘差信號之和產(chǎn)生了原 始輸入到高質(zhì)量編碼模塊104中的高質(zhì)量源視頻信號的細化預(yù)測，使得可以通過元件132、 134和144來對較小的高質(zhì)量預(yù)測殘差信號進行編碼。這繼而導(dǎo)致可縮放比特流112更好 的率失真性能。在更詳細地描述模塊155內(nèi)的逆色調(diào)映射和上采樣之前，對開關(guān)158和152在另 一開關(guān)位置的情況下，高質(zhì)量編碼模塊104的操作模式進行簡短描述，這些位置由虛線進 行指示?？梢钥闯?，在該層間模式中，沒有使用來自低質(zhì)量層的質(zhì)量適配的預(yù)測殘差。取而 代之地，向加法器146的另一輸入應(yīng)用零。此外，開關(guān)158將路徑150與減法器130的反相 輸入相連接。通過這種措施，將重構(gòu)的低質(zhì)量視頻信號的質(zhì)量適配版本作為預(yù)測信號應(yīng)用 至減法器130的反相輸入。與路徑148相似，可選濾波器160可選地對低質(zhì)量重構(gòu)信號進 行濾波，而逆映射和上采樣模塊162對像素值進行逆映射，并對可選濾波并重構(gòu)的低質(zhì)量 視頻信號進行上采樣。從以上描述中應(yīng)當清楚，路徑148和150以類似的方式操作。下面描述模塊巧4和 162的操作中的差異。為此，以下描述假定高質(zhì)量編碼模塊104能夠在開關(guān)152和158的若 干開關(guān)模式之間逐塊地進行切換，下面只描述其中兩種模式。更精確地，參考示出了視頻材 料200的一部分的圖2?？梢钥闯?，視頻材料包括畫面202的序列。通常將每一幅畫面劃分 成多個塊204。具體地，在圖2中，示出了每一幅畫面202被構(gòu)建成4X3塊的陣列204。然 而，應(yīng)注意，圖2中示例的逐塊構(gòu)建僅用作示例，因為其它逐塊的子劃分也是可能的。塊204應(yīng)指示以下單元在該單元中低質(zhì)量編碼模塊102可以進行幀內(nèi)預(yù)測和幀 間預(yù)測之間的切換。具體地，塊204可以與例如在低質(zhì)量編碼模塊102中使用的宏塊相對 應(yīng)，以確定這些宏塊中的哪一個將由預(yù)測模塊1 進行時間預(yù)測以及哪一個將在不進行時間預(yù)測的情況下進行編碼。然而，塊204也可以與不同于宏塊大小的塊大小相對應(yīng)。應(yīng)注意，由于兩層之間的示例性空間分辨率的差異，低質(zhì)量編碼模塊102和高質(zhì) 量編碼模塊104的有效宏塊大小可以彼此不同。更精確地，雖然可以在高質(zhì)量編碼模塊104 和低質(zhì)量編碼模塊102中都將宏塊大小設(shè)置為16X16個采樣，然而由于示例性空間分辨率 的差異，與低質(zhì)量編碼模塊102的宏塊相比，高質(zhì)量編碼模塊104的宏塊可以采取相應(yīng)畫面 的更小部分。此外，應(yīng)注意，低質(zhì)量層的宏塊邊界與高質(zhì)量層的宏塊邊界可能相符，然而，根 據(jù)高質(zhì)量層和低質(zhì)量層之間的空間分辨率比，反之也可能為真。此外，圖2示出了將畫面202子劃分成第一畫面的小區(qū)域內(nèi)的塊206的示例。塊 206應(yīng)指示以下單元在該單元處高質(zhì)量編碼裝置能夠在各種層間預(yù)測模式之間進行切 換。塊205可以與例如在高質(zhì)量編碼模塊102中使用的宏塊相對應(yīng)，以判定這些宏塊中哪 些將由預(yù)測模塊142進行時間預(yù)測以及哪個將在不進行時間預(yù)測的情況下進行編碼。例 如，圖2可以示出塊204和塊206分別是宏塊大小的情況。在這種情況下，圖2可以示出在 采樣方面模塊102和104內(nèi)的宏塊大小相同的情況下，高質(zhì)量層的空間分辨率是低質(zhì)量層 的空間分辨率的兩倍的示例性情況。可以看出，將每一個塊204進一步子劃分成四個子塊 206。假定子劃分成塊204指示了低質(zhì)量編碼模塊102在幀內(nèi)預(yù)測和幀間預(yù)測之間進行切 換的能力，子劃分成塊206指示了高質(zhì)量編碼模塊104控制開關(guān)152和158的能力，則從下 面的描述中可以證明，高質(zhì)量編碼模塊104被配置為，根據(jù)以塊204為單位進行的低質(zhì)量編 碼模塊102的幀內(nèi)/幀間預(yù)測判定來對開關(guān)152和158進行控制。因此，對于覆蓋了由低 質(zhì)量編碼模塊102進行幀間預(yù)測或時間預(yù)測的塊204的塊206而言，避免了路徑148，而代 之以使用路徑150，或不使用路徑148和150中的任一條。在所有其它塊206內(nèi)，高質(zhì)量編 碼模塊104自由選擇并示例性地固定使用殘差路徑148來進行層間預(yù)測。如從下面的描述 中將變得清楚的，通過這種措施，即使在對更高質(zhì)量層進行解碼時，針對視頻材料的畫面的 每一部分，在解碼器處最多僅需要一個時間預(yù)測。從以上描述中證明，模塊巧4和162均執(zhí)行逆色調(diào)映射。然而，如從以上描述中變 得清楚的，輸入到模塊162中的輸入信號表示低質(zhì)量視頻信號本身的重構(gòu)。與其相對，輸入 到模塊154中的輸入信號僅表示低質(zhì)量預(yù)測殘差的重構(gòu)版本。如果模塊IM和162完全相 同，則這可能導(dǎo)致在使用非線性色調(diào)映射的情況下，低質(zhì)量預(yù)測信號路徑148所提供的預(yù) 測細化的退化。為了示意這一點，參考圖3。圖3示出了一個示例，根據(jù)該示例，低質(zhì)量層使用8比 特采樣值(即亮度和/或色度值)進行操作。在300處示例性地指示了 8比特值。此外，圖 3假定高質(zhì)量層基于10比特采樣值302進行操作。從8比特值300指向10比特值302的 箭頭304示出了模塊巧4所執(zhí)行的逆映射，并以如上所述的修改的方式成為模塊162的基 礎(chǔ)。當然，將8比特值300中的比特拷貝到10比特值302中8個最高有效比特是可能的。 這可以與從8比特深度到10比特深度的線性映射相對應(yīng)。然而，映射函數(shù)不限于線性映射 特性。在306，圖3示例性地示出了指示從8比特值到10比特值的非線性映射的圖形。根 據(jù)該示例的特性映射曲線由308指示?？梢钥闯?，對于較高的8比特值，曲線308的梯度示 例性地較低，而對于較小的8比特值，曲線308的梯度示例性地較高。此外，沿著圖形306 中與8比特值有關(guān)的χ軸，圖3示出了指示預(yù)測模塊1 輸出的預(yù)測信號的示例性8比特 值的箭頭310。相應(yīng)地，示出了箭頭312示例性地指示逆變換模塊120輸出的重構(gòu)的預(yù)測殘差的8比特值?？梢钥闯觯ㄟ^加法器122將值310和312相加，產(chǎn)生相對高的8比特值， 模塊162使用非線性映射函數(shù)308將該相對高的8比特值正確地映射至10比特值302。然 而，如果模塊巧4可以直接使用較小的8比特預(yù)測殘差值312并將該值應(yīng)用到曲線308，可 以看出，由于對于非常小(或在零處)的8比特值，映射函數(shù)308的梯度314高于曲線308 中低質(zhì)量預(yù)測信號值310所指向的區(qū)域中的梯度316(當從零開始時)，這可以導(dǎo)致所產(chǎn)生 的10比特殘差值過度增大。然而，模塊巧4不應(yīng)使用低質(zhì)量預(yù)測值310來將8比特殘差值 312移位到映射曲線308的正確部分，因為這可能需要解碼器側(cè)也在低質(zhì)量層中執(zhí)行時間 預(yù)測。相反，應(yīng)該避免需要執(zhí)行兩個(即針對低質(zhì)量層和針對高質(zhì)量層的)時間預(yù)測。因 此，如從圖1中可以看到，向高質(zhì)量編碼模塊104的逆映射和上采樣模塊巧4提供預(yù)測模塊 152輸出的高質(zhì)量預(yù)測信號，該高質(zhì)量預(yù)測信號可選地要與逆變換模塊136輸出的高質(zhì)量 殘差信號的重構(gòu)版本相加。模塊1 使用高質(zhì)量層的該信息，以估計丟失的低質(zhì)量預(yù)測信 號值310并正確地將8比特預(yù)測殘差值300逆映射至10比特預(yù)測殘差值，并將其輸出至加 法器146。下面將更詳細地描述逆映射和上采樣模塊IM所使用的針對這種“校正”/ “估 計”的細節(jié)和不同可能性。然而，在開始對逆映射和上采樣模塊154的操作模式進行詳細描述之前，參考圖 4，圖4示出了根據(jù)圖1的高質(zhì)量層和低質(zhì)量層之間的空間分辨率差異的示例。可以看出， 圖4假定模塊106中執(zhí)行的下采樣產(chǎn)生低質(zhì)量基礎(chǔ)層表示，該低質(zhì)量基礎(chǔ)層表示在行方向 具有一半數(shù)目的像素并在列方向具有一半數(shù)目的像素。具體地，圖4用連續(xù)線示出了低質(zhì) 量層的像素，并用虛線示出了根據(jù)高質(zhì)量層將畫面202子劃分成像素?？梢钥闯觯恳粋€低 質(zhì)量像素正好覆蓋四個(即2X2陣列)高質(zhì)量像素。例如，像素A覆蓋高質(zhì)量像素 到 &。當然，圖4的示例僅是示意性的，高質(zhì)量層和低質(zhì)量層之間的其它空間分辨率比也是可 能的，如上所述，該空間分辨率比包括兩個空間分辨率之間沒有差異以及各項異性的分辨 率比。接下來將使用圖4來示出模塊IM在針對當前低質(zhì)量預(yù)測殘差值310來導(dǎo)出丟失的 低質(zhì)量預(yù)測信號310的替代的功能。具體地，在總體上對圖1中的視頻編碼器100的功能進行描述之后，下面詳細描述 其功能。如所描述的，為了實現(xiàn)比特深度的可縮放性以及可選地空間分辨率的可縮放性，質(zhì) 量降低模塊首先將輸入110處的高質(zhì)量輸入視頻信號下轉(zhuǎn)換成進入低質(zhì)量編碼模塊102的 基礎(chǔ)質(zhì)量視頻信號。這種下轉(zhuǎn)換的過程可以包括使用任何色調(diào)映射方案(包括但不限于對 采樣值的舍入)來降低信號采樣的比特深度。此外，下轉(zhuǎn)換可以涉及對輸入信號進行濾波 (如RGB到Y(jié)CbCr的轉(zhuǎn)換)，降低輸入信號的空間分辨率(例如，HDTV到SDTV的分辨率轉(zhuǎn) 換)或前述下轉(zhuǎn)換措施的任何組合。模塊106可以針對序列中每一幅畫面的每一個塊204 使用不同的下轉(zhuǎn)換方案，也可以針對所有畫面使用同樣的方案。在下一步驟中，使用不可縮放視頻編碼方案(例如，H. 264/AVC)對進入模塊102的 基礎(chǔ)質(zhì)量信號進行編碼。從該編碼處理中獲得的壓縮視頻信號形成基礎(chǔ)質(zhì)量表示，并由模 塊102輸出到復(fù)用器108。該基礎(chǔ)質(zhì)量表示允許傳統(tǒng)視頻解碼器進行解碼。為了對高質(zhì)量 源信號進行編碼，使用已經(jīng)在基礎(chǔ)質(zhì)量表示中傳輸?shù)男畔淼玫礁哔|(zhì)量輸入信號的預(yù)測， 使得模塊104輸出的高質(zhì)量增強層信號僅包含與輸入110處輸入的原始高質(zhì)量輸入序列的 編碼的預(yù)測差。在圖1的示例性情況中，針對每一幅畫面202的每一個塊206(如，H. 264/ AVC的情況中的每一個宏塊)，可以自適應(yīng)地選擇是否針對該塊206使用層間預(yù)測機制。未使用的層間預(yù)測機制與開關(guān)152采取虛線所指示的位置而開關(guān)158采取連續(xù)線所指示的位 置的情況相對應(yīng)。這樣，對于層間預(yù)測機制失敗的畫面區(qū)域，總是可以回退到類似同時聯(lián)播 的操作，根據(jù)該類似同時聯(lián)播的操作，高質(zhì)量編碼模塊104和低質(zhì)量編碼模塊102完全彼此 獨立地進行操作?，F(xiàn)在詳細地描述如何從基礎(chǔ)質(zhì)量表示進行層間預(yù)測的方式。需要提醒的 是，對基礎(chǔ)質(zhì)量層和高質(zhì)量層采用了兩個不同的運動補償?shù)念A(yù)測環(huán)路。具體地，下面的詳細描述對在單環(huán)解碼約束下從基礎(chǔ)質(zhì)量表示到高質(zhì)量表示的預(yù) 測處理進行描述。單環(huán)解碼規(guī)定，對于高質(zhì)量表示的解碼，無需對相應(yīng)的基礎(chǔ)質(zhì)量表示進行 完全解碼。特別地，僅必須使用高質(zhì)量畫面來執(zhí)行運動補償?shù)念A(yù)測的相當復(fù)雜的操作。為 了對相應(yīng)的高質(zhì)量畫面進行解碼，仍然要求使用基礎(chǔ)質(zhì)量畫面采樣來執(zhí)行復(fù)雜度明顯較低 的幀內(nèi)預(yù)測處理。首先，考慮“幀內(nèi)編碼”的基礎(chǔ)質(zhì)量畫面塊204的情況，即在不使用運動補償?shù)念A(yù) 測的情況下編碼的塊。甚至更精確地，考慮這些塊206覆蓋了在低質(zhì)量編碼模塊102內(nèi)使 用運動補償?shù)念A(yù)測進行編碼的塊204。針對這些塊206，直接使用解碼后的基礎(chǔ)質(zhì)量畫面采 樣(即在加法器122的輸出處提供的重構(gòu)的基礎(chǔ)質(zhì)量視頻信號)來獲得進入高質(zhì)量編碼模 塊104的相應(yīng)高質(zhì)量畫面采樣的預(yù)測。該預(yù)測處理涉及模塊162和160，其中，逆映射和上 采樣模塊162的操作模式可以涉及兩個步驟1、將基礎(chǔ)質(zhì)量采樣值逆色調(diào)映射至更高比特深度，例如8比特到10比特)。2、如本情況下所假定的，在基礎(chǔ)質(zhì)量畫面和高質(zhì)量畫面以不同的空間分辨率進行 編碼的情況下，將低分辨率基礎(chǔ)質(zhì)量畫面塊204上采樣至最高空間分辨率(例如CIF到 4CIF)。在使用相同的空間分辨率的情況下，可以省略步驟2或備選地將其視為“無操作”。這兩個操作或步驟執(zhí)行的順序可以是固定的或可互換的，在可互換的情況下，高 質(zhì)量編碼模塊104可以被配置為向解碼器發(fā)送該順序以用作輔助信息，即將指示用于相應(yīng) 塊204的順序的指示插入高質(zhì)量增強層數(shù)據(jù)流中包含的輔助信息。具體地，可以以各種方式來執(zhí)行逆色調(diào)映射處理。例如，針對比特深度方面的可 縮放性，可以將模塊162的輸入處的基礎(chǔ)質(zhì)量采樣乘以2M_N，其中，M是高質(zhì)量信號的比特深 度，N是基礎(chǔ)質(zhì)量信號的比特深度，該操作與線性映射相對應(yīng)。備選地，可以將這視為根據(jù) min(2M_NX2M-l)，對模塊162的輸入處的基礎(chǔ)質(zhì)量采樣值執(zhí)行縮放和剪裁。備選地，可以將下面的映射機制之一用于預(yù)測處理。例如，可以使用逐片線性映 射，其中可以指定任意數(shù)目的插值點。例如，對于具有值X的基礎(chǔ)質(zhì)量采樣和兩個給定插值 點(Xn，yn)和(Un+1，yn+1)，模塊162根據(jù)下面的公式來獲得對應(yīng)的預(yù)測采樣y
權(quán)利要求
1.一種視頻編碼器，包括第一裝置(102)，用于對視頻材料O00)的第一表示進行時間預(yù)測，以獲得第一預(yù)測信 號，并對表示第一預(yù)測信號與第一表示之間偏差的第一預(yù)測殘差進行編碼，第一表示、第一 預(yù)測信號和第一預(yù)測殘差具有第一像素值分辨率(300)；以及第二裝置(104)，用于對所述視頻材料O00)的第二表示進行時間預(yù)測，以獲得第二預(yù) 測信號，第二表示和第二預(yù)測信號具有高于第一像素值分辨率(300)的第二像素值分辨率 (302)，其中，所述第二裝置(104)被配置為根據(jù)第二預(yù)測信號，將第一預(yù)測殘差或第一預(yù) 測殘差的重構(gòu)版本從第一像素值分辨率(300)映射至第二像素值分辨率(302)，以獲得第 三預(yù)測信號，并對具有第二像素值分辨率(302)并表示第二預(yù)測信號和第三預(yù)測信號的組 合與第二表示之間的偏差的第二預(yù)測殘差進行編碼。
2.根據(jù)權(quán)利要求1所述的視頻編碼器，其中，所述第一裝置(10 包括 用于從第一表示中減去第一預(yù)測信號以獲得第一預(yù)測殘差的裝置(114)；用于對第一預(yù)測殘差進行有損變換編碼以獲得第一預(yù)測殘差的變換編碼版本的裝置 (116,118)；用于從所述變換編碼版本重構(gòu)第一預(yù)測殘差以獲得第一預(yù)測殘差的重構(gòu)版本的裝置 (120)；用于將第一預(yù)測殘差的重構(gòu)版本與第一預(yù)測信號相加以獲得第一表示的重構(gòu)版本的 裝置(122)；以及用于對第一表示的重構(gòu)版本執(zhí)行時間預(yù)測以獲得第一預(yù)測信號的裝置(126)。
3.根據(jù)權(quán)利要求1或2所述的視頻編碼器，其中，所述第二裝置(104)包括 用于從第二表示中減去第二預(yù)測信號和第三預(yù)測信號以獲得第二預(yù)測殘差的裝置(130,146)；用于對第二預(yù)測殘差進行有損變換編碼以獲得第二預(yù)測殘差的變換編碼版本的裝置 (132,134)；用于從第二預(yù)測殘差的變換編碼版本重構(gòu)第二預(yù)測殘差以獲得第二預(yù)測殘差的重構(gòu) 版本的裝置(136)；用于將第二預(yù)測殘差的重構(gòu)版本、第三預(yù)測信號和第二預(yù)測信號相加以獲得第二表示 的重構(gòu)版本的裝置(138、146)；以及用于對第二表示的重構(gòu)版本執(zhí)行時間預(yù)測以獲得第二預(yù)測信號的裝置(142)。
4.根據(jù)前述權(quán)利要求中任一項所述的視頻編碼器，其中，所述第二裝置(104)被配置為將第二預(yù)測信號(50 或者第二預(yù)測信號(50 與第二預(yù)測殘差(504)的組合之一從 第二像素值分辨率(302)映射(51 至第一像素值分辨率(300)，以獲得下映射的偏移信 號；將所述下映射的偏移信號與第一預(yù)測殘差或與第一預(yù)測殘差的重構(gòu)版本(510)的組 合從第一像素值分辨率(300)映射(516)至第二像素值分辨率(302)，以獲得上映射的信 號，以及從所述上映射的信號減去(518)第二預(yù)測信號(502)或者第二預(yù)測信號(502)與第二 預(yù)測殘差(504)的組合之一，以獲得第三預(yù)測信號。
5.根據(jù)權(quán)利要求4所述的視頻編碼器，其中，所述第二裝置(104)還被配置為在對第二預(yù)測信號(50 或者第二預(yù)測信號(50 與第二預(yù)測殘差(504)的組合之一 進行映射時，還對第二預(yù)測信號(50 或者第二預(yù)測信號(502)與第二預(yù)測殘差(504)的 組合之一執(zhí)行(500)空間像素采樣分辨率的降低，并使用降低的結(jié)果來獲得所述下映射的 偏移信號；以及在對所述下映射的偏移信號與第一預(yù)測殘差或與第一預(yù)測殘差的重構(gòu)版本(510)的 組合進行映射時，還對所述下映射的偏移信號與第一預(yù)測殘差或與第一預(yù)測殘差的重構(gòu)版 本(510)的組合執(zhí)行空間上采樣(516)，并使用上采樣的結(jié)果來獲得所述上映射的信號。
6.根據(jù)權(quán)利要求4所述的視頻編碼器，其中，所述第二裝置(104)還被配置為在對所述下映射的偏移信號與第一預(yù)測殘差或與第一預(yù)測殘差的重構(gòu)版本(510)的組合進行映射時，還對第一預(yù)測殘差或第一預(yù)測殘差的重構(gòu)版本(510)執(zhí)行空間上采樣 (522)，并使用上采樣的結(jié)果來獲得所述上映射的信號。
7.根據(jù)權(quán)利要求4所述的視頻編碼器，其中，所述第二裝置(104)還被配置為在第一操作模式中，在對第二預(yù)測信號(50 或者第二預(yù)測信號(50 與第二預(yù)測殘差(504)的組合之一 進行映射時，還對第二預(yù)測信號(51 或者第二預(yù)測信號(502)與第二預(yù)測殘差(504)的 組合之一執(zhí)行(500)空間像素采樣分辨率的降低，并使用降低的結(jié)果來獲得所述下映射的 偏移信號；以及在對所述下映射的偏移信號與第一預(yù)測殘差或與第一預(yù)測殘差的重構(gòu)版本(510)的 組合進行映射時，還對所述下映射的偏移信號與第一預(yù)測殘差或與第一預(yù)測殘差的重構(gòu)版 本(510)的組合執(zhí)行空間上采樣(516)，并使用上采樣的結(jié)果來獲得所述上映射的信號；在第二操作模式中，在對所述下映射的偏移信號與第一預(yù)測殘差或與第一預(yù)測殘差的重構(gòu)版本(510)的 組合進行映射時，還對第一預(yù)測殘差或第一預(yù)測殘差的重構(gòu)版本(510)執(zhí)行空間上采樣 (522)，并使用上采樣的結(jié)果來獲得所述上映射的信號，以及其中，所述視頻材料(200)被劃分成多個塊006)，所述第二裝置(104)被配置為在第 一或第二操作模式中以塊選擇性的方式來進行操作，并在針對解碼器側(cè)的輔助信息中指示 已針對預(yù)定塊(206)使用了第一操作模式還是第二操作模式。
8.根據(jù)權(quán)利要求1至3中任一項所述的視頻編碼器，其中，所述第二裝置(104)被配 置為將第一預(yù)測殘差或第一預(yù)測殘差的重構(gòu)版本從第一像素值比特深度(300)映射至高 于第一像素值比特深度(300)的第二像素值比特深度(302)，并使用依賴于第二預(yù)測信號 (310)的縮放因子對映射后的第一預(yù)測殘差或映射后的第一預(yù)測殘差的重構(gòu)版本進行縮 放。
9.根據(jù)前述權(quán)利要求中任一項所述的視頻編碼器，其中，所述視頻材料(200)被劃分 成多個塊(204)，以及所述第一裝置(10 被配置為以塊選擇性的方式進行操作，使得針對至少一個第一 塊，對第一預(yù)測殘差進行編碼，并針對至少一個第二塊，獨立于時間預(yù)測來對第一表示進行 編碼，以及其中，所述第二裝置被配置為針對所述至少一個第一塊，對第二預(yù)測殘差進行編碼， 并針對所述至少一個第二塊，將第一表示的重構(gòu)版本從第一像素值分辨率映射至第二像素 值分辨率，以獲得第一表示的上采樣的重構(gòu)版本，并對第二表示與第一表示的上采樣的重 構(gòu)版本之間的偏差進行編碼。
10.根據(jù)權(quán)利要求9所述的視頻編碼器，其中，所述第二裝置(104)還被配置為在對第一表示的重構(gòu)版本進行映射時，還對第一表示的重構(gòu)版本執(zhí)行空間上采樣，并 使用上采樣的結(jié)果來獲得第一表示的上采樣的重構(gòu)版本。
11.根據(jù)權(quán)利要求10所述的視頻編碼器，其中，所述第二裝置(104)被配置為以塊選擇 性的方式來改變上采樣和映射的執(zhí)行之間的順序，并在針對解碼器側(cè)的輔助信息中指示所 使用的順序。
12.一種視頻解碼器，用于對表示具有第一和第二像素值分辨率(300、302)的視頻材 料O00)的可縮放視頻信號進行解碼，其中第二像素值分辨率(30 高于第一像素值分辨 率(300)，所述可縮放視頻信號中編碼有具有第一像素值分辨率(300)的第一預(yù)測殘差和 具有第二像素值分辨率(302)的第二預(yù)測殘差，所述視頻解碼器包括解碼裝置(604)，用于從所述可縮放視頻信號重構(gòu)第一預(yù)測殘差和第二預(yù)測殘差；用于對所述視頻材料的第二表示進行時間預(yù)測以獲得第二預(yù)測信號的裝置(610)，第 二表示和第二預(yù)測信號具有第二像素值分辨率(302)，其中，用于時間預(yù)測的裝置(610)被 配置為根據(jù)第二預(yù)測信號，將第一預(yù)測殘差從第一像素值分辨率(300)映射至第二像素 值分辨率(302)，以獲得第三預(yù)測信號；以及用于基于第二預(yù)測信號、第三預(yù)測信號和第二預(yù)測殘差來重構(gòu)第二表示的裝置(612)。
13.根據(jù)權(quán)利要求12所述的視頻解碼器，其中，所述解碼裝置(604)被配置為通過逆 變換(624、626)來重構(gòu)第一預(yù)測殘差和第二預(yù)測殘差。
14.根據(jù)權(quán)利要求13所述的視頻解碼器，其中，用于時間預(yù)測的裝置(610)耦合至用于 重構(gòu)的裝置，以獲得第二表示的重構(gòu)版本，并且所述視頻解碼器還包括用于對第二表示的重構(gòu)版本執(zhí)行時間預(yù)測以獲得第二預(yù)測信號的裝置(640)。
15.根據(jù)權(quán)利要求12至14中任一項所述的視頻解碼器，其中，用于時間預(yù)測的裝置 (610)被配置為將第二預(yù)測信號或者第二預(yù)測信號與第二預(yù)測殘差的組合之一從第二像素值分辨率 映射至第一像素值分辨率，以獲得下映射的偏移信號；將所述下映射的偏移信號與第一預(yù)測殘差的組合從第一像素值分辨率映射至第二像 素值分辨率，以獲得上映射的信號，以及從所述上映射的信號中減去第二預(yù)測信號或者第二預(yù)測信號與第二預(yù)測殘差的組合 之一，以獲得第三預(yù)測信號。
16.根據(jù)權(quán)利要求15所述的視頻解碼器，其中，用于時間預(yù)測的裝置還被配置為在對第二預(yù)測信號或者第二預(yù)測信號與第二預(yù)測殘差的組合之一進行映射時，還對第 二預(yù)測信號或者第二預(yù)測信號與第二預(yù)測殘差的組合之一執(zhí)行空間像素采樣分辨率的降 低，并使用降低的結(jié)果來獲得所述下映射的偏移信號；以及在對所述下映射的偏移信號與第一預(yù)測殘差的組合進行映射時，還對所述下映射的偏 移信號與第一預(yù)測殘差的組合執(zhí)行空間上采樣，并使用上采樣的結(jié)果來獲得所述上映射的信號。
17.根據(jù)權(quán)利要求15所述的視頻解碼器，其中，用于時間預(yù)測的裝置還被配置為在對所述下映射的偏移信號與第一預(yù)測殘差的組合進行映射時，還對第一預(yù)測殘差執(zhí) 行空間上采樣，并使用上采樣的結(jié)果來獲得所述上映射的信號。
18.根據(jù)權(quán)利要求15所述的視頻解碼器，其中，用于時間預(yù)測的裝置還被配置為在第一操作模式中，在對第二預(yù)測信號或者第二預(yù)測信號與第二預(yù)測殘差的組合之一進行映射時，還對第 二預(yù)測信號或者第二預(yù)測信號與第二預(yù)測殘差的組合之一執(zhí)行空間像素采樣分辨率的降 低，并使用降低的結(jié)果來獲得所述下映射的偏移信號；以及在對所述下映射的偏移信號與第一預(yù)測殘差的組合進行映射時，還對所述下映射的偏 移信號與第一預(yù)測殘差的組合執(zhí)行空間上采樣，并使用上采樣的結(jié)果來獲得所述上映射的 信號；在第二操作模式中，在對所述下映射的偏移信號與第一預(yù)測殘差的組合進行映射時，還對第一預(yù)測殘差執(zhí) 行空間上采樣，并使用上采樣的結(jié)果來獲得所述上映射的信號，以及其中，所述視頻材料被劃分成多個塊，并且用于時間預(yù)測的裝置(610)被配置為根據(jù) 所述可縮放視頻信號的輔助信息內(nèi)的指示，在第一或第二操作模式中以塊選擇性的方式來 進行操作，所述指示針對預(yù)定塊(206)指示對所述預(yù)定塊要使用第一操作模式還是第二操 作模式。
19.根據(jù)權(quán)利要求12至14中任一項所述的視頻解碼器，其中，用于時間預(yù)測的裝置被 配置為將第一預(yù)測殘差從第一像素值比特深度映射至高于第一像素值比特深度的第二像素 值比特深度，并使用依賴于第二預(yù)測信號的縮放因子對映射后的第一預(yù)測殘差進行縮放。
20.根據(jù)權(quán)利要求12至19中任一項所述的視頻解碼器，其中，所述視頻材料被劃分成 多個塊006)，并且可縮放視頻材料中針對第一多個塊編碼有第一預(yù)測殘差，針對第二多個 塊編碼有第二表示與第一表示的上采樣的重構(gòu)版本之間的偏差，其中，用于時間預(yù)測的裝 置(610)和用于重構(gòu)的裝置(612)被配置為針對所述第一多個塊以塊選擇性的方式進行操 作，并且所述視頻解碼器還包括用于針對所述第二多個塊，對第一表示進行時間預(yù)測(630)以獲得第一預(yù)測信號，通 過使用第一預(yù)測殘差和第一預(yù)測信號來重構(gòu)(628)第一表示以獲得第一表示的重構(gòu)版本， 將第一表示的重構(gòu)版本從第一像素值分辨率(300)映射(660)至第二像素值分辨率(302) 以獲得第一表示的上采樣的重構(gòu)版本，并通過使用第二表示與第一表示的上采樣的重構(gòu)版 本之間的偏差和第一表示的上采樣的重構(gòu)版本來重構(gòu)(634)第二表示的裝置(606、646)。
21.根據(jù)權(quán)利要求20所述的視頻解碼器，其中，用于針對所述第二多個塊進行時間預(yù) 測的裝置(606、646)還被配置為在對第一表示的重構(gòu)版本進行映射時，還對第一表示的重構(gòu)版本執(zhí)行空間上采樣，并 使用上采樣的結(jié)果來獲得第一表示的上采樣的重構(gòu)版本。
22.根據(jù)權(quán)利要求21所述的視頻解碼器，其中，用于針對所述第二多個塊進行時間預(yù) 測的裝置還被配置為根據(jù)所述可縮放視頻信號的輔助信息內(nèi)的指示，以塊選擇性的方式改變上采樣和映射的執(zhí)行之間的順序，所述指示指示了要使用的順序。
23.一種用于對視頻進行編碼的方法，包括對視頻材料的第一表示進行時間預(yù)測，以獲得第一預(yù)測信號，并對表示第一預(yù)測信號 與第一表示之間偏差的第一預(yù)測殘差進行編碼，第一表示、第一預(yù)測信號和第一預(yù)測殘差 具有第一像素值分辨率；以及對所述視頻材料的第二表示進行時間預(yù)測，以獲得第二預(yù)測信號，第二表示和第二預(yù) 測信號具有高于第一像素值分辨率的第二像素值分辨率，其中，所述時間預(yù)測包括根據(jù)第 二預(yù)測信號，將第一預(yù)測殘差或第一預(yù)測殘差的重構(gòu)版本從第一像素值分辨率映射至第二 像素值分辨率，以獲得第三預(yù)測信號，并對具有第二像素值分辨率并表示第二預(yù)測信號和 第三預(yù)測信號的組合與第二表示之間偏差的第二預(yù)測殘差進行編碼。
24.一種解碼方法，用于對表示具有第一和第二像素值分辨率的視頻材料的可縮放視 頻信號進行解碼，其中第二像素值分辨率高于第一像素值分辨率，所述可縮放視頻信號中 編碼有具有第一像素值分辨率的第一預(yù)測殘差和具有第二像素值分辨率的第二預(yù)測殘差， 所述方法包括從所述可縮放視頻信號重構(gòu)第一預(yù)測殘差和第二預(yù)測殘差；對所述視頻材料的第二表示進行時間預(yù)測，以獲得第二預(yù)測信號，第二表示和第二預(yù) 測信號具有第二像素值分辨率，其中，所述時間預(yù)測包括根據(jù)第二預(yù)測信號，將第一預(yù)測 殘差從第一像素值分辨率映射至第二像素值分辨率，以獲得第三預(yù)測信號；以及基于第二預(yù)測信號、第三預(yù)測信號和第二預(yù)測殘差來重構(gòu)第二表示。
25.一種具有指令的計算機程序，當在計算機上運行時，所述指令執(zhí)行根據(jù)權(quán)利要求 M或?qū)λ龅姆椒ā?br> 26.一種可縮放視頻比特流，表示具有第一和第二像素值分辨率的視頻材料，其中第二 像素值分辨率高于第一像素值分辨率，所述可縮放視頻比特流編碼有具有第一像素值分辨 率的第一預(yù)測殘差和具有第二像素值分辨率的第二預(yù)測殘差，通過以下步驟能夠?qū)λ隹?縮放視頻比特流進行解碼從所述可縮放視頻信號重構(gòu)第一預(yù)測殘差和第二預(yù)測殘差；對所述視頻材料的第二表示進行時間預(yù)測，以獲得第二預(yù)測信號，第二表示和第二預(yù) 測信號具有第二像素值分辨率，其中，所述時間預(yù)測包括根據(jù)第二預(yù)測信號，將第一預(yù)測 殘差從第一像素值分辨率映射至第二像素值分辨率，以獲得第三預(yù)測信號；以及基于第二預(yù)測信號、第三預(yù)測信號和第二預(yù)測殘差來重構(gòu)第二表示。
全文摘要
在視頻材料的第一表示的像素值分辨率比視頻材料的第二表示的像素值分辨率低的情況下，通過對第一表示和第二表示互相分離地進行時間預(yù)測(126，142)，其中根據(jù)通過對第二表示進行時間預(yù)測而獲得的第二預(yù)測信號將第一預(yù)測殘差或其重構(gòu)版本從第一像素值分辨率映射至第二像素值分辨率，并通過將具有第二像素值分辨率的第二預(yù)測殘差編碼(132，134，144)為表示第二和第三預(yù)測信號的組合與第二表示之間的偏差，可以獲得實現(xiàn)像素值分辨率方面的可縮放性的更高效方式。
文檔編號H04N7/26GK102084653SQ200780053481
公開日2011年6月1日 申請日期2007年6月29日 優(yōu)先權(quán)日2007年6月29日
發(fā)明者托馬斯·威甘德, 馬丁·溫肯 申請人:弗勞恩霍夫應(yīng)用研究促進協(xié)會