專(zhuān)利名稱(chēng)：利用公共預(yù)測(cè)器的亮度和色度編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻編碼器和解碼器，并且尤其涉及視頻編碼與解碼方法 和設(shè)備。
背景技術(shù)：
目前，國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(mén)(ITU-T)H.264標(biāo)準(zhǔn)(以下稱(chēng)為"H.264 標(biāo)準(zhǔn)")的4:4:4格式只將三個(gè)通道之一編碼為亮度，而利用較低效工具將另外 兩個(gè)通道編碼為色度。當(dāng)編解碼器的輸入是每一個(gè)輸入分量都具有全分辨率的 4:4:4格式時(shí)，利用較低效色度編碼算法對(duì)三個(gè)輸入分量中的兩個(gè)分量進(jìn)行編 碼將導(dǎo)致在這兩個(gè)通道中使用更多的位。該特殊問(wèn)題在幀內(nèi)幀中更為顯著。例
如，對(duì)于40dB (PSNR)及以上的整體壓縮質(zhì)量，以Intra-Only (僅僅幀內(nèi)) 模式運(yùn)行的H.264標(biāo)準(zhǔn)比JPEG2k效率低。因此，所希望、且非常有利的是獲得克服上述現(xiàn)有技術(shù)缺點(diǎn)的視頻編碼與 解碼方法和設(shè)備。發(fā)明內(nèi)容本發(fā)明致力于解決現(xiàn)有技術(shù)的這些及其它缺點(diǎn)和不利條件，其涉及視頻編 碼和解碼方法及設(shè)備。根據(jù)本發(fā)明一方面，提供一種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的視 頻編碼器。該視頻編碼器包括編碼器，該編碼器用于利用公共預(yù)測(cè)器對(duì)視頻信 號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行編碼。根據(jù)本發(fā)明另一方面，提供一種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的 方法。該方法包括，利用公共預(yù)測(cè)器對(duì)視頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行編碼。根據(jù)本發(fā)明又一方面，提供一種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行解碼的 視頻解碼器。該視頻解碼器包括解碼器，該解碼器用于利用公共預(yù)測(cè)器對(duì)視頻 信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行解碼。根據(jù)本發(fā)明又一方面，提供一種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行解碼的 方法。該方法包括利用公共預(yù)測(cè)器對(duì)視頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行解碼。以下將要結(jié)合附圖對(duì)示范性實(shí)施例進(jìn)行詳細(xì)描述，本發(fā)明的這些及其它方 面、特征和有益效果將變得很清楚。


根據(jù)以下示例圖可以更好地理解本發(fā)明，其中圖1是示出可以應(yīng)用本發(fā)明原理的示范性視頻編碼設(shè)備的框圖2是示出可以應(yīng)用本發(fā)明原理的示范性視頻解碼設(shè)備的框圖； 圖3是示出根據(jù)本發(fā)明原理具有預(yù)編碼顏色變換塊的示范性視頻編碼過(guò) 程的流程圖；圖4是示出根據(jù)本發(fā)明原理具有后解碼逆顏色變換塊的示范性視頻解碼 過(guò)程的流程圖；圖5是示出殘差顏色轉(zhuǎn)換(RCT)簡(jiǎn)化模型的框圖；圖6A和6B是根據(jù)本發(fā)明原理的、關(guān)于ATV intra-only的平均PSNR對(duì)位速率的曲線(xiàn)；圖7A和7B是根據(jù)本發(fā)明原理的、關(guān)于CT intra-only的平均PSNR對(duì)位速率的曲線(xiàn)；圖8A和8B是根據(jù)本發(fā)明原理的、關(guān)于DT intra-only的平均PSNR對(duì)位速率的曲線(xiàn)；圖9A和9B是根據(jù)本發(fā)明原理的、關(guān)于MIR—HD intra-only的平均PSNR對(duì)位速率的曲線(xiàn)；圖10A和10B是根據(jù)本發(fā)明原理的、關(guān)于RT intra-only的平均PSNR對(duì)位速率的曲線(xiàn)；圖IIA和11B是根據(jù)本發(fā)明原理的、關(guān)于STB—HD intra-only的平均PSNR對(duì)位速率的曲線(xiàn)；圖12是示出根據(jù)本發(fā)明原理的H.264序列參數(shù)句法的表； 圖13是示出根據(jù)本發(fā)明原理的H.264殘差數(shù)據(jù)句法的表； 圖14是示出根據(jù)本發(fā)明原理具有預(yù)編碼顏色變換塊的示范性視頻編碼過(guò)程的流程圖；圖15是示出根據(jù)本發(fā)明原理具有后解碼逆顏色變換步驟塊的示范性視頻解碼過(guò)程的流程圖；以及圖16是示出根據(jù)本發(fā)明原理的H.264宏塊預(yù)測(cè)句法的表。
具體實(shí)施方式
本發(fā)明針對(duì)用于對(duì)視頻信號(hào)數(shù)據(jù)進(jìn)行視頻編碼和解碼的方法和設(shè)備。應(yīng)該理解，雖然主要對(duì)于利用ITU-T H.264標(biāo)準(zhǔn)的4:4:4格式采樣的視頻信號(hào)數(shù)據(jù) 來(lái)描述本發(fā)明，但是在保持本發(fā)明范圍的同時(shí)，本發(fā)明也可應(yīng)用于利用H.264 標(biāo)準(zhǔn)的其它格式(例如4:2:2和/或4:2:0格式)以及其它視頻壓縮標(biāo)準(zhǔn)采樣的視頻信號(hào)數(shù)據(jù)。應(yīng)該理解，根據(jù)本發(fā)明原理的方法和設(shè)備不需要為亮度或色度壓縮算法使 用任何新工具。而是可以使用現(xiàn)有亮度編碼工具。因此，由此的一個(gè)有利結(jié)果 是，可以在保持向后兼容性、并使現(xiàn)有H.264標(biāo)準(zhǔn)(或其它適用標(biāo)準(zhǔn))的任何 變化最小化的同時(shí)，使4:4:4格式的編碼性能最大化。根據(jù)如實(shí)施例中所配置的本發(fā)明原理，利用亮度編碼算法來(lái)對(duì)例如4:4:4 內(nèi)容的所有三個(gè)分量通道進(jìn)行編碼。該實(shí)施例的優(yōu)點(diǎn)包括，相對(duì)于現(xiàn)有技術(shù)提 高了 4:4:4內(nèi)容壓縮的整體編碼性能。目前，在現(xiàn)有H.264標(biāo)準(zhǔn)中，只將三個(gè) 通道之一編碼為亮度，而利用較低效工具將另外兩個(gè)通道編碼為色度。進(jìn)一步，根據(jù)如實(shí)施例中所配置的本發(fā)明原理，執(zhí)行顏色變換作為預(yù)處理 步驟。因而，根據(jù)該實(shí)施例，在壓縮循環(huán)中不執(zhí)行殘差顏色轉(zhuǎn)換(RCT)。該 實(shí)施例的優(yōu)點(diǎn)包括，在所有顏色格式之間提供一致的編碼器/解碼器結(jié)構(gòu)。而且，根據(jù)如實(shí)施例中所配置的本發(fā)明原理，將相同的運(yùn)動(dòng)/空間預(yù)測(cè)模 式用于所有三個(gè)分量。該實(shí)施例的優(yōu)點(diǎn)包括減小的編解碼器復(fù)雜性以及向后兼 容性。
而且，根據(jù)另一實(shí)施例，不是為所有三個(gè)分量使用相同預(yù)測(cè)器，而是可以 為三個(gè)分量使用3個(gè)約束空間預(yù)測(cè)器的集合(或子集)。該實(shí)施例的優(yōu)點(diǎn)包括，相對(duì)于現(xiàn)有技術(shù)提高了 4:4:4內(nèi)容壓縮的整體編碼性能。應(yīng)該理解，可以將以上及隨后在此描述的各實(shí)施例實(shí)施為單獨(dú)實(shí)施例，或 者可以按照如該領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員所容易理解的任何方式進(jìn)行 組合。因而，例如在第一組合實(shí)施例中，有利地利用亮度編碼算法對(duì)所有三個(gè) 分量通道進(jìn)行編碼，執(zhí)行顏色變換作為預(yù)處理步驟，并將單個(gè)預(yù)測(cè)器用于所有 三個(gè)分量通道。在第二組合實(shí)施例中，有利地利用亮度編碼算法對(duì)所有三個(gè)分 量通道進(jìn)行編碼，執(zhí)行顏色變換作為預(yù)處理步驟，并可以將3個(gè)約束空間預(yù)測(cè) 器的集合(或子集)用于三個(gè)分量通道。當(dāng)然，如上所述，給定在此提供的本 發(fā)明原理的教導(dǎo)，在保持本發(fā)明范圍的同時(shí)，也可實(shí)施各實(shí)施例的其它組合。本說(shuō)明書(shū)舉例說(shuō)明本發(fā)明的原理。因而，應(yīng)該理解，本領(lǐng)域技術(shù)人員將能 夠設(shè)計(jì)出雖然在此未明確描述或示出、但是能具體實(shí)施本發(fā)明原理且被包括在 本發(fā)明精神和范圍內(nèi)的各種配置。在此列舉的所有例子和條件性語(yǔ)言都用于教導(dǎo)目的以幫助讀者理解本發(fā) 明人所提出的、有助于促進(jìn)本技術(shù)領(lǐng)域發(fā)展的本發(fā)明原理和概念，并且應(yīng)該認(rèn) 為本發(fā)明不限于這些具體列舉的例子和條件。而且，在此列舉本發(fā)明原理、方面和實(shí)施例及本發(fā)明特定例子的所有語(yǔ)句， 都預(yù)定包括其結(jié)構(gòu)和功能等效物。另外，這種等效物預(yù)定包括當(dāng)前已知的等效 物以及將來(lái)開(kāi)發(fā)的等效物，即與結(jié)構(gòu)無(wú)關(guān)的執(zhí)行相同功能的任何被開(kāi)發(fā)元件。因而，例如本領(lǐng)域技術(shù)人員應(yīng)該理解，在此給出的框圖代表具體實(shí)施本發(fā) 明原理的說(shuō)明性電路的概念圖。類(lèi)似應(yīng)該理解，任何流程表、流程圖、狀態(tài)轉(zhuǎn) 移圖、偽碼等，都代表實(shí)質(zhì)上可以在計(jì)算機(jī)可讀介質(zhì)中表示、從而可通過(guò)計(jì)算
機(jī)或處理器來(lái)執(zhí)行的各種過(guò)程，而不管這種計(jì)算機(jī)或處理器是否明確示出。利用專(zhuān)用硬件以及能夠與適當(dāng)軟件關(guān)聯(lián)地執(zhí)行軟件的硬件，可以提供圖中 所示的各種元件的功能。當(dāng)通過(guò)處理器來(lái)提供這些功能時(shí)，可以通過(guò)單個(gè)專(zhuān)用 處理器、或通過(guò)單個(gè)共享處理器、或通過(guò)其中一些可以被共享的多個(gè)單獨(dú)處理 器，來(lái)提供這些功能。而且，術(shù)語(yǔ)"處理器"或"控制器"的顯式使用不應(yīng)被 認(rèn)為只指能夠執(zhí)行軟件的硬件，而是可以隱含地包括但不限于數(shù)字信號(hào)處理器(DSP)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)存儲(chǔ)器(RAM)和非易失性存儲(chǔ)器。也可以包括其它常規(guī)和/或定制的硬件。類(lèi)似，圖中所示的任何開(kāi)關(guān)都只 是概念性的。如從上下文更具體地理解的，可以通過(guò)程序邏輯操作、通過(guò)專(zhuān)用 邏輯、通過(guò)程序控制和專(zhuān)用邏輯的交互、乃至手動(dòng)操作，來(lái)實(shí)現(xiàn)它們的功能， 可以由實(shí)施者來(lái)選擇特殊技術(shù)。在本發(fā)明權(quán)利要求中，被表示為用于執(zhí)行指定功能的裝置的任何元件都預(yù)定包括執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合； 或b)任何形式的軟件，因而包括和用于執(zhí)行該軟件的適當(dāng)電路相結(jié)合、以執(zhí)行 該功能的固件、微碼等。如這些權(quán)利要求所定義的本發(fā)明在于，以權(quán)利要求所 要求的方式來(lái)組合并集合由列舉的各種裝置所提供的功能性。因而，認(rèn)為能夠 提供這些功能性的任何裝置都等效于在此所示出的那些裝置。轉(zhuǎn)到圖l， 一般用附圖標(biāo)記199來(lái)表示示范性視頻編碼設(shè)備。視頻編碼設(shè) 備199包括視頻編碼器100和預(yù)編碼顏色變換模塊105。預(yù)編碼顏色變換模塊105用于，在視頻信號(hào)輸入到視頻編碼器100之前對(duì) 視頻信號(hào)執(zhí)行顏色預(yù)處理。以下進(jìn)一步描述預(yù)編碼顏色變換模塊105所執(zhí)行的 顏色預(yù)處理。應(yīng)該理解，在某些實(shí)施例中可省略預(yù)編碼顏色變換模塊105。
預(yù)編碼顏色變換模塊105的輸入和視頻編碼器100的輸入可用作視頻編碼設(shè)備199的輸入。預(yù)編碼顏色變換模塊105的輸出以信號(hào)通信方式與視頻編碼器100的輸入 相連。視頻編碼器100的輸入以信號(hào)通信方式與求和點(diǎn)110的非反相輸入相連。 求和點(diǎn)110的輸出以信號(hào)通信方式與變換器/量化器120相連。變換器/量化器 120的輸出以信號(hào)通信方式與熵編碼器140相連。熵編碼器140的輸出可用作 視頻編碼器100的輸出，并且也可用作視頻編碼設(shè)備199的輸出。變換器/量化器120的輸出進(jìn)一步以信號(hào)通信方式與逆變換器/逆量化器 150相連。逆變換器/逆量化器150的輸出以信號(hào)通信方式與解塊濾波器160的 輸入相連。解塊濾波器160的輸出以信號(hào)通信方式與參考圖像存儲(chǔ)器170相連。 參考圖像存儲(chǔ)器170的第一輸出以信號(hào)通信方式與運(yùn)動(dòng)和空間預(yù)測(cè)估計(jì)器180 的第一輸入相連。視頻編碼器100的輸入進(jìn)一步以信號(hào)通信方式與運(yùn)動(dòng)和空間 預(yù)測(cè)估計(jì)器180的第二輸入相連。運(yùn)動(dòng)和空間預(yù)測(cè)估計(jì)器180的輸出以信號(hào)通 信方式與運(yùn)動(dòng)和空間預(yù)測(cè)補(bǔ)償器190的第一輸入相連。參考圖像存儲(chǔ)器170的 第二輸出以信號(hào)通信方式與運(yùn)動(dòng)和空間預(yù)測(cè)補(bǔ)償器190的第二輸入相連。運(yùn)動(dòng) 和空間預(yù)測(cè)補(bǔ)償器l卯的輸出以信號(hào)通信方式與求和點(diǎn)110的反相輸入相連。轉(zhuǎn)到圖2， 一般用附圖標(biāo)記299來(lái)表示示范性視頻解碼設(shè)備。視頻解碼設(shè) 備299包括視頻解碼器200和后解碼器逆顏色變換模塊293。視頻解碼器200的輸入可用作視頻解碼設(shè)備299的輸入。視頻解碼器200 的輸入以信號(hào)通信方式與熵解碼器210的輸入相連。熵解碼器210的第一輸出 以信號(hào)通信方式與逆量化器/逆變換器220的輸入相連。逆量化器/逆變換器220 的輸出以信號(hào)通信方式與求和點(diǎn)240的第一輸入相連。 求和點(diǎn)240的輸出以信號(hào)通信方式與解塊濾波器290相連。解塊濾波器 290的輸出以信號(hào)通信方式與參考圖像存儲(chǔ)器250相連。參考圖像存儲(chǔ)器250 以信號(hào)通信方式與運(yùn)動(dòng)和空間預(yù)測(cè)補(bǔ)償器260的第一輸入相連。運(yùn)動(dòng)和空間預(yù) 測(cè)補(bǔ)償器260的輸出以信號(hào)通信方式與求和點(diǎn)240的第二輸入相連。熵解碼器 210的第二輸出以信號(hào)通信方式與運(yùn)動(dòng)和空間預(yù)測(cè)補(bǔ)償器260的第二輸入相 連。解塊濾波器290的輸出可用作視頻解碼器200的輸出，并且也可用作視頻 解碼設(shè)備299的輸出。
而且，后解碼逆顏色變換模塊293的輸出可用作視頻解碼設(shè)備299的輸出。 在這種情況下，視頻解碼器200的輸出可以以信號(hào)通信方式與后解碼逆顏色變 換模塊293的輸入相連，后解碼逆顏色變換模塊293是關(guān)于視頻解碼器200的 后處理模塊。后解碼逆顏色變換模塊293的輸出提供相對(duì)于視頻解碼器200輸 出的后處理逆顏色變換信號(hào)。應(yīng)該理解，后解碼逆顏色變換模塊293的使用是 可選的。
現(xiàn)在描述根據(jù)本發(fā)明原理的增強(qiáng)4:4:4編碼。首先描述的實(shí)施例是一種組 合實(shí)施例，其中將亮度編碼算法用于所有顏色分量，將相同空間預(yù)測(cè)模式用于 所有顏色分量，且從壓縮循環(huán)中省略殘差顏色轉(zhuǎn)換(RCT)。也提供該組合實(shí) 施例的測(cè)試結(jié)果。隨后，描述第二組合實(shí)施例，其中將亮度編碼算法用于所有 顏色分量，將約束空間預(yù)測(cè)器的集合(或子集)(而不是單一空間預(yù)測(cè)模式) 用于所有顏色分量，并從壓縮循環(huán)中省略RCT。因而，第一和第二組合實(shí)施例 之間的不同在于，在第一組合實(shí)施例中將單一空間預(yù)測(cè)模式用于所有顏色分 量，而在第二組合實(shí)施例中將約束空間預(yù)測(cè)器的集合(或子集)用于所有顏色 分量。當(dāng)然，如上所述，可以將在此描述的各實(shí)施例實(shí)施為單獨(dú)實(shí)施例，或者 可以按照如該領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員所容易理解的任何方式進(jìn)行組
合。例如，根據(jù)如實(shí)施例中所配置的本發(fā)明原理，只使用單一空間預(yù)測(cè)模式， 而不和其它實(shí)施例組合，如從壓縮循環(huán)中省略RCT。應(yīng)該理解，給定在此提供 的本發(fā)明原理的教導(dǎo)，在保持本發(fā)明范圍的同時(shí)，該領(lǐng)域和相關(guān)領(lǐng)域的普通技 術(shù)人員將能夠容易弄清本發(fā)明的實(shí)施例的這些和其它變化、實(shí)施和組合。
轉(zhuǎn)到圖3， 一般分別用附圖標(biāo)記300和301來(lái)表示具有預(yù)編碼顏色變換塊 的示范性視頻編碼過(guò)程。
應(yīng)該理解，預(yù)編碼顏色變換塊301包括塊306、 308和310。而且，應(yīng)該 理解，預(yù)編碼顏色變換塊301是可選的，因而在本發(fā)明某些實(shí)施例中可以省略。
預(yù)編碼顏色變換塊301包括循環(huán)限制塊306，循環(huán)限制塊306對(duì)圖像中的 每一個(gè)塊開(kāi)始循環(huán)，并將控制傳遞給功能塊308。功能塊308對(duì)當(dāng)前圖像塊的 視頻信號(hào)數(shù)據(jù)執(zhí)行顏色預(yù)處理，并將控制傳遞給循環(huán)限制塊310。循環(huán)限制塊 310結(jié)束循環(huán)。而且，循環(huán)限制塊310將控制傳遞給被包括在視頻編碼過(guò)程300 中的循環(huán)限制塊312。
循環(huán)限制塊312對(duì)圖像中每一個(gè)塊開(kāi)始循環(huán)，并將控制傳遞給功能塊315。 功能塊315利用一個(gè)用于當(dāng)前圖像塊每個(gè)顏色分量的公共預(yù)測(cè)器，來(lái)形成當(dāng)前 圖像塊的運(yùn)動(dòng)補(bǔ)償或空間預(yù)測(cè)，并將控制傳遞給功能塊320。功能塊320從當(dāng) 前圖像塊減去運(yùn)動(dòng)補(bǔ)償或空間預(yù)測(cè)，以形成預(yù)測(cè)殘差，并將控制傳遞給功能塊 330。功能塊330對(duì)預(yù)測(cè)殘差進(jìn)行變換和量化，并將控制傳遞給功能塊335。功 能塊335對(duì)預(yù)測(cè)殘差進(jìn)行逆變換和逆量化，以形成編碼預(yù)測(cè)殘差，并將控制傳 遞給功能塊345。功能塊345將編碼殘差加到預(yù)測(cè)上，以形成編碼圖像塊，并 將控制傳遞給結(jié)束循環(huán)塊350。結(jié)束循環(huán)塊350結(jié)束循環(huán)，并將控制傳遞給結(jié) 束塊355。
轉(zhuǎn)到圖4， 一般分別用附圖標(biāo)記400和460來(lái)表示具有后解碼逆顏色變換 塊的示范性視頻解碼過(guò)程。應(yīng)該理解，后解碼逆顏色變換塊460包括塊462、 464、 466和468。而且，應(yīng)該理解，后解碼逆顏色變換塊460是可選的，因而在本發(fā)明某些實(shí)施例中可 以省略。解碼過(guò)程400包括循環(huán)限制塊410，循環(huán)限制塊410對(duì)圖像中的當(dāng)前塊開(kāi) 始循環(huán)，并將控制傳遞給功能塊415。功能塊415對(duì)編碼殘差進(jìn)行熵解碼，并 將控制傳遞給功能塊420。功能塊420對(duì)解碼的殘差進(jìn)行逆變換和逆量化，以 形成編碼殘差，并將控制傳遞給功能塊430。功能塊430將編碼殘差加到由應(yīng) 用于每個(gè)顏色分量的公共預(yù)測(cè)器所形成的預(yù)測(cè)上，以形成編碼圖像塊，并將控 制傳遞給循環(huán)限制塊435。循環(huán)限制塊435結(jié)束循環(huán)，并將控制傳遞給結(jié)束塊 440。在某些實(shí)施例中，循環(huán)限制塊435可選地將控制傳遞給后解碼逆顏色變換 塊460，尤其是后解碼逆顏色變換塊460中所包括的循環(huán)限制塊462。循環(huán)限 制塊462對(duì)圖像中每個(gè)塊開(kāi)始循環(huán)，并將控制傳遞給功能塊464。功能塊464對(duì)當(dāng)前圖像塊的視頻信號(hào)數(shù)據(jù)執(zhí)行逆顏色后處理，并將控制傳遞給循環(huán)限制塊 466。循環(huán)限制塊466結(jié)束循環(huán)，并將控制傳遞給結(jié)束塊468。在H.264 4:4:4格式中，每個(gè)分量通道都具有全分辨率。因而，根據(jù)上述 第一組合實(shí)施例，對(duì)每個(gè)顏色分量都使用亮度編碼算法，以獲得最大整體壓縮 效率。因此，在該實(shí)施例中，對(duì)于幀內(nèi)幀，例如可以利用2004年7月的文檔 N6540， ISO)/IEC 14496 10高級(jí)視頻編碼第三版(ITU-TRec. H.264)、 ISO/IEC JTC1/SC29/WG11和ITU-T SG16 Q.6中的表8-2、表8-3和表8-4中所列出的 那些預(yù)測(cè)模式，來(lái)壓縮每種顏色分量。另外，在實(shí)施例中，將相同空間預(yù)測(cè)模式用于所有三個(gè)像素分量，以進(jìn)一
步減小編解碼器的復(fù)雜性以及提高性能。例如，所有三個(gè)分量都可以使用通過(guò)宏 ±央預(yù)領(lǐng)U 頭中的亮度的 prev—intra4x4_pred—mode—flag 、 rem—intra4x4_pred—mode、 prev—intra8x8_pred—mode—flag 禾口 rem—intra8x8_pred—mode參數(shù)所設(shè)置的預(yù)測(cè)模式。因此，不需要額外的比特位 和句法元素。對(duì)于B和P (預(yù)測(cè))幀，可以通過(guò)H.264標(biāo)準(zhǔn)的8.4.2.2.1節(jié)中描述的插值方法，對(duì)所有三個(gè)通道計(jì)算小數(shù)像素位置處的參考像素。以下進(jìn)一步 討論當(dāng)前H.264標(biāo)準(zhǔn)的詳細(xì)句法和語(yǔ)義變化。在高4:4:4檔次(Hign 4:4:4 profile)中，將RCT加到編碼器/解碼器上。 結(jié)果，4:4:4格式的壓縮結(jié)構(gòu)不同于H.264標(biāo)準(zhǔn)的所有其它檔次中當(dāng)前為4:2:0 和4:2:2格式使用的壓縮結(jié)構(gòu)。這導(dǎo)致了某些額外的實(shí)施復(fù)雜性。而且，類(lèi)似 于其它任何顏色變換，YCOCG不一定提高整體壓縮性能。YCOCG的效率是 與內(nèi)容高度相關(guān)的。因而，為提高整體壓縮性能和魯棒性，在實(shí)施例中，將顏 色變換放在預(yù)測(cè)循環(huán)外，作為預(yù)處理塊一部分。通過(guò)這樣做，為特定壓縮任務(wù) 選擇最佳顏色變換是操作問(wèn)題，并且可以在許多選項(xiàng)中找到特殊輸入序列的最 佳的顏色變換。根據(jù)其中所有三個(gè)分量都將相同空間預(yù)測(cè)器用于幀內(nèi)幀、并將 相同插值濾波器用于B和P (預(yù)測(cè)或幀間編碼)幀的實(shí)施例，當(dāng)忽略舍入/截?cái)?誤差時(shí)，對(duì)預(yù)測(cè)殘差執(zhí)行顏色變換等同于在編解碼器外對(duì)源圖像執(zhí)行顏色變 換。以下將進(jìn)一步對(duì)此進(jìn)行討論。因而，從編碼結(jié)構(gòu)去除RCT塊，以使編碼 結(jié)構(gòu)在所有顏色格式之間一致。轉(zhuǎn)到圖5， 一般用附圖標(biāo)記500來(lái)表示RCT簡(jiǎn)化模型。RCT模型500包 括參考像素發(fā)生器510、求和點(diǎn)520和線(xiàn)性變換模塊530。參考像素發(fā)生器510的輸入被配置成接收運(yùn)動(dòng)/邊緣信息和矢量[A]， [Z2].......[義。]。參考像素發(fā)生器510的輸出以信號(hào)通信方式與求和點(diǎn)520的反相輸入相連，參考象素發(fā)生器510
向求和點(diǎn)520提供預(yù)測(cè)矢量[Xp]。求和點(diǎn)520的非反相輸入被配置成接收輸入 矢量[兀 ]。求和點(diǎn)520的輸出以信號(hào)通信方式與線(xiàn)性變換模塊530的輸入相連， 求和點(diǎn)520向線(xiàn)性變換模塊530提供矢量[Xd]。線(xiàn)性變換模塊530的輸出被配置成提供矢量[&]。在RCT 500的簡(jiǎn)化模型中，由3x3矩陣[^]表示的顏色變換(線(xiàn)性變換)被定義如下(1)K"]， [^]，K]……[A]是代表RGB域中像素的3xl矢量。[Y^ 是代表顏色變換結(jié)果的3xl矢量。因此問(wèn)=[W=W W - M W (2)因?yàn)樵趯?shí)施例中，根據(jù)如實(shí)施例中所配置的本發(fā)明原理，將相同的空間預(yù) 測(cè)器和插值濾波器用于宏塊中的所有三個(gè)分量，所以可以將參考像素py表示如下<formula>formula see original document page 16</formula> (3)其中nxl矢量[C]代表H.264標(biāo)準(zhǔn)中定義的空間預(yù)測(cè)器和插值濾波器中涉及的 線(xiàn)性運(yùn)算。在此，假定利用總共"個(gè)相鄰像素[義],[X2],....[義 ]來(lái)計(jì)算參考像素。將式(3)中的[Xp]代入式(2)得到以下結(jié)果&<formula>formula see original document page 17</formula>(4)忽略舍入/截?cái)嗾`差并假定在RGB或Y域選擇相同預(yù)測(cè)模式，得到以下結(jié)<formula>formula see original document page 17</formula>(5)因此，<formula>formula see original document page 17</formula>(6)因而，式(6)清楚地顯示出，把YUV用作根據(jù)如該實(shí)施例中所配置的本 發(fā)明原理的編碼器/解碼器的輸入，等同于執(zhí)行RCT。而且，根據(jù)如實(shí)施例中所配置的本發(fā)明原理，將新的4:4:4檔次(4:4:4 profile)添加到H.264標(biāo)準(zhǔn)中，在此被稱(chēng)為"profile—idc=166的高級(jí)4:4:4檔次"。 可以將該新的profile—idc加在序列參數(shù)頭中，并且可以將其用于宏塊層頭以及 殘差數(shù)據(jù)頭中。為支持利用亮度算法對(duì)所有三種顏色分量進(jìn)行編碼，可以對(duì)殘差數(shù)據(jù)句法 作出某些改變。另外，也可以對(duì)宏塊頭、殘差數(shù)據(jù)頭等之中的一些元素的語(yǔ)義 作出改變。 一般，H.264規(guī)范中的現(xiàn)有亮度句法將保持不變，并將用于對(duì)三個(gè) 分量之一進(jìn)行編碼。變化是向后兼容的。在此，以下描述詳細(xì)的句法和語(yǔ)義變 化?，F(xiàn)在，將描述根據(jù)如各實(shí)施例中配置的本發(fā)明原理所執(zhí)行的模擬結(jié)果。轉(zhuǎn)到圖6A和6B， 一般分別用附圖標(biāo)記600和650來(lái)表示關(guān)于ATV intm-only的平均PSNR (峰值信噪比)對(duì)位速率的曲線(xiàn)。轉(zhuǎn)到圖7A和7B， 一般分別用附圖標(biāo)記700和750來(lái)表示關(guān)于CT intra-only 的平均PSNR對(duì)位速率的曲線(xiàn)。轉(zhuǎn)到圖8A和8B， 一般分別用附圖標(biāo)記800和850來(lái)表示關(guān)于DT intra-only 的平均PSNR對(duì)位速率的曲線(xiàn)。轉(zhuǎn)到圖9A和9B， 一般分別用附圖標(biāo)記900和950來(lái)表示關(guān)于MIR—HD intra-only的平均PSNR對(duì)位速率的曲線(xiàn)。轉(zhuǎn)到圖10A和IOB， 一般分別用附圖標(biāo)記1000和1050來(lái)表示關(guān)于RT intra-only的平均PSNR對(duì)位速率的曲線(xiàn)。轉(zhuǎn)到圖11A和IIB， 一般用附圖標(biāo)記1100和1150來(lái)表示關(guān)于STB—HD intra-only的平均PSNR對(duì)位速率的曲線(xiàn)。尤其是，圖6A、 7A、 8A、 9A、 10A和11A示出了所建議的高級(jí)4:4:4檔 次(用術(shù)語(yǔ)"新"來(lái)表示，并在它前面加上"新")對(duì)與之相應(yīng)的近似結(jié)果的 測(cè)試結(jié)果。而且，圖6B、 7B、 8B、 9B、 10B和11B示出了所建議的高級(jí)4:4:4 檔次(用術(shù)語(yǔ)"新"來(lái)表示，并在它前面加上"新")對(duì)JPEK2k的測(cè)試結(jié)果。在圖6A、 6B至11A、 IIB的所有圖中，用分貝(dB)來(lái)表示PSNR，并 用每秒位數(shù)(bps)來(lái)表示位速率。ATV、 CT、 DT、 MIR、 RT、 STB是測(cè)試剪 輯的名稱(chēng)。在測(cè)試中，使用JVT-J042電影起源測(cè)試序列中所描述的所有JVT/FRExt 測(cè)試序列。它們都是4:4:4 10位電影素材，并且每個(gè)剪輯有58幀。在JVT參考軟件JM9.6中實(shí)施所建議的高級(jí)4:4:4檔次。Intra-only和IBBP 編碼結(jié)構(gòu)都用于測(cè)試中。對(duì)于每一條R-D曲線(xiàn)，量化參數(shù)都被設(shè)為6、 12、 18、 24、 30和42。使用RD優(yōu)化模式選擇。也將所建議的高級(jí)4:4:4檔次和通過(guò)對(duì)每個(gè)單獨(dú)輸入分量運(yùn)行 YUVFormat^(4:0:0)的參考軟件所得到的結(jié)果進(jìn)行比較。把三個(gè)分開(kāi)的單獨(dú)壓 縮位計(jì)數(shù)簡(jiǎn)單相加，以得到用于計(jì)算壓縮位速率的總壓縮位數(shù)。關(guān)于JPEG2k，在測(cè)試中使用KaKaduV2.2.3軟件。利用具有9/7雙正交小 波濾波器的5級(jí)小波解壓縮，來(lái)產(chǎn)生測(cè)試結(jié)果。每幀只有一個(gè)瓦片(tile)，并且 對(duì)于給定目標(biāo)位速率也使用RD優(yōu)化。所有PSNR測(cè)量都在RGB域中執(zhí)行。利用被定義為 (PSNR(紅)+PSNR(綠)+PSNR(藍(lán)))/3的平均PSNR，來(lái)比較整體壓縮質(zhì)量。這主 要是因?yàn)槔密浖峁┑奈粗俾士刂扑惴▉?lái)計(jì)算JPEG2k壓縮數(shù)據(jù)。對(duì)于 某些情況，RGBPSNR值相互之間相差很大，尤其是當(dāng)使用JPEG2k顏色變換 時(shí)。如下執(zhí)行壓縮比較 Newl:具有單一預(yù)測(cè)模式的建議高級(jí)4:4:4檔次。
New3:具有三種預(yù)測(cè)模式的建議高級(jí)4:4:4檔次。
RCT-OFF: RCT二關(guān)閉的RGB輸入。
RCT-ON: RCT二開(kāi)啟的RGB輸入。
YCOCG:在編解碼器外面執(zhí)行RGB到Y(jié)COCG轉(zhuǎn)換。然后把轉(zhuǎn)換的 YCOCG用作JVT軟件的輸入。
R+G+B:通過(guò)分別壓縮R、 G和B信號(hào)而近似的建議方法。
Y+CO+CG:通過(guò)分別壓縮所轉(zhuǎn)換的Y、 CO和CG信號(hào)而近似的建議方法。爭(zhēng)J2k一RGB:在RGB域執(zhí)行JPEG2k壓縮。關(guān)掉JPEG2k顏色變換。
J2k—YUV:在YUV域執(zhí)行JPEG2k壓縮。使用JPEG2k顏色變換。 根據(jù)測(cè)試結(jié)果，根據(jù)如實(shí)施例中所配置的本發(fā)明原理的實(shí)施在整體壓縮效率方面一般非常類(lèi)似于JPEG2k。在某些情況下，甚至稍好一點(diǎn)。此外，對(duì)于40dB (PSNR)以上的質(zhì)量，根據(jù)如實(shí)施例中所配置的本發(fā)明 原理的實(shí)施提供了比當(dāng)前高4:4:4檔次(High 4:4:4 Profile)高得多的性能(壓 縮)。具體地說(shuō)，Newl-YCOCG或New3-YCOCG好于YCOCG和RCT-ON; Newl-RGB或New3-RGB好于RCT-OFF。在等于和大于45dB(PSNR)的PSNR 下，平均PSNR的平均提高大于1.5dB。在最后一個(gè)例子中，可以將該提高轉(zhuǎn) 變?yōu)?5dB PSNR下25。/。以上的位節(jié)省。根據(jù)測(cè)試結(jié)果，好像當(dāng)內(nèi)容具有更飽和顏色時(shí)，如TP、 RT，顏色變換將 有助于編碼性能。即，如果顏色是中性的、且不飽和，則在RGB域的編碼或 許是正確選擇。以上觀察與使用什么顏色變換無(wú)關(guān)。比較Newl-YCOCG或New3-YCOCG和JPEG-2k—YUV的結(jié)果，可以觀 察到，特定顏色變換的性能在提高編碼效率方面是與內(nèi)容非常相關(guān)的。沒(méi)有一 種顏色變換總是最好的。因此，我們的數(shù)據(jù)確認(rèn)了，在編碼(或解碼)循環(huán)內(nèi) 執(zhí)行顏色變換如RCT可能不是一個(gè)好主意。相反，如果必要，在編碼器/解碼 器外執(zhí)行顏色變換可能使整個(gè)壓縮系統(tǒng)提供更好、更魯棒的性能。比較YCOCG和RCT-ON，測(cè)試結(jié)果沒(méi)有顯示出由RCT引起的任何編碼 效率提高。另外，應(yīng)該主意，運(yùn)行RCT開(kāi)啟的參考軟件大大增加了編碼時(shí)間。
運(yùn)行時(shí)間長(zhǎng)了2.5倍多?，F(xiàn)在，將描述根據(jù)如實(shí)施例中所配置的本發(fā)明原理的句法和語(yǔ)義變化。轉(zhuǎn)到圖12， 一般用附圖標(biāo)記1200來(lái)表示化264序列參數(shù)句法表。用斜體 字來(lái)表示根據(jù)如實(shí)施例中所配置的本發(fā)明原理的句法變化。轉(zhuǎn)到圖13， 一般用附圖標(biāo)記1300來(lái)表示H.264殘差數(shù)據(jù)句法表。用斜體 字來(lái)表示根據(jù)如實(shí)施例中所配置的本發(fā)明原理的句法添加/變化。在表1300中， 殘差數(shù)據(jù)頭中的亮度部分和某些必須文本修改一起重復(fù)兩次，以分別支持 lumal禾卩l(xiāng)uma2。如上所述，通過(guò)在JVT參考軟件JM9.6中實(shí)施本發(fā)明原理，來(lái)評(píng)價(jià)和測(cè) 試上述第一組合實(shí)施例。用Newl-RGB或Newl-YCOCG標(biāo)記的測(cè)試結(jié)果代表第一組合實(shí)施例。如上所述，根據(jù)如實(shí)施例中所配置的本發(fā)明原理，將3個(gè)約束空間預(yù)測(cè)器 的集合(或子集)而不是單一空間預(yù)測(cè)模式，用于分量通道(例如RGB、 YUV、 YCrCb格式等)。而且，如上所述，可以將該實(shí)施例和在此描述的其它實(shí)施例 組合起來(lái)，例如，只利用亮度編碼算法來(lái)對(duì)內(nèi)容的所有三個(gè)分量通道進(jìn)行編碼、 以及/或者使用顏色變換作為預(yù)處理步驟?，F(xiàn)在，將描述上述第二組合實(shí)施例，它涉及將3個(gè)約束空間預(yù)測(cè)器的集合 (或子集)用于顏色分量，只使用亮度編碼算法對(duì)所有三個(gè)顏色分量進(jìn)行編碼， 以及使用顏色變換作為預(yù)處理步驟(即，在壓縮循環(huán)內(nèi)沒(méi)有RCT)。與此同時(shí) 也將描述該實(shí)施例的某些變形方案。轉(zhuǎn)到圖14， 一般分別用附圖標(biāo)記1400和1401來(lái)表示具有預(yù)編碼顏色變 換步驟的示范性視頻編碼過(guò)程。應(yīng)該理解，預(yù)編碼顏色變換塊1401包括塊1406、 1408和1410。而且，
應(yīng)該理解，預(yù)編碼顏色變換塊1401是可選的，因而在本發(fā)明某些實(shí)施例中可 以省略。
預(yù)編碼顏色變換塊1401包括循環(huán)限制塊1406，循環(huán)限制塊1406對(duì)圖像 中的每個(gè)塊開(kāi)始循環(huán)，并將控制傳遞給功能塊1408。功能塊1408對(duì)當(dāng)前圖像 塊的視頻信號(hào)數(shù)據(jù)執(zhí)行顏色預(yù)處理，并將控制傳遞給循環(huán)限制塊1410。循環(huán)限 制塊1410結(jié)束循環(huán)。而且，循環(huán)限制塊1410將控制傳遞給被包括在視頻編碼 過(guò)程1400中的循環(huán)限制塊1412。
循環(huán)限制塊1412對(duì)圖像中的每個(gè)塊開(kāi)始循環(huán)，并將控制傳遞給功能塊 1415。功能塊1415利用一個(gè)用于當(dāng)前圖像塊的每個(gè)顏色分量的公共預(yù)測(cè)器， 來(lái)形成當(dāng)前圖像塊的運(yùn)動(dòng)補(bǔ)償或空間預(yù)測(cè)，并將控制傳遞給功能塊1420。功能 塊1420從當(dāng)前圖像塊減去運(yùn)動(dòng)補(bǔ)償或空間預(yù)測(cè)，以形成預(yù)測(cè)殘差，并將控制 傳遞給功能塊1430。功能塊1430對(duì)預(yù)測(cè)殘差進(jìn)行變換和量化，并將控制傳遞 給功能塊1435。功能塊1435對(duì)預(yù)測(cè)殘差進(jìn)行逆變換和逆量化，以形成編碼預(yù) 測(cè)殘差，并將控制傳遞給功能塊1445。功能塊1445將編碼殘差加到預(yù)測(cè)上， 以形成編碼圖像塊，并將控制傳遞給結(jié)束循環(huán)塊1450。結(jié)束循環(huán)塊1450結(jié)束 循環(huán)，并將控制傳遞給結(jié)束塊1455。
轉(zhuǎn)到圖15， 一般分別用附圖標(biāo)記1500和1560來(lái)表示具有后解碼逆顏色 變換步驟的示范性視頻解碼過(guò)程。
應(yīng)該理解后解碼逆顏色變換塊1560包括塊1562、 1564、 1566和1568。 而且，應(yīng)該理解，后解碼逆顏色變換塊1560是可選的，因而在本發(fā)明某些實(shí) 施例中可以省略。
解碼過(guò)程1500包括循環(huán)限制塊1510，循環(huán)限制塊1510對(duì)圖像中的當(dāng)前 塊開(kāi)始循環(huán)，并將控制傳遞給功能塊1515。功能塊1515對(duì)編碼殘差進(jìn)行熵解
碼，并將控制傳遞給功能塊1520。功能塊1520對(duì)解碼殘差進(jìn)行逆變換和逆量 化，以形成編碼殘差，并將控制傳遞給功能塊1530。功能塊1530將編碼殘差 加到由用于每個(gè)顏色分量上的公共預(yù)測(cè)器形成的預(yù)測(cè)上，以形成編碼圖像塊， 并將控制傳遞給循環(huán)限制塊1535。循環(huán)限制塊1535結(jié)束循環(huán)，并將控制傳遞 給結(jié)束塊1540。在某些實(shí)施例中，循環(huán)限制塊1535可選地將控制傳遞給后解碼逆顏色變 換塊1560，尤其是后解碼逆顏色變換塊1560中所包括的循環(huán)限制塊1562。循 環(huán)限制塊1562對(duì)圖像中的每個(gè)塊開(kāi)始循環(huán)，并將控制傳遞給功能塊1564。功 能塊1564對(duì)當(dāng)前圖像塊的視頻信號(hào)數(shù)據(jù)執(zhí)行逆顏色后處理，并將控制傳遞給 循環(huán)限制塊1566。循環(huán)限制塊1566結(jié)束循環(huán)，并將控制傳遞給結(jié)束塊1568。如上所述，披露了高級(jí)4:4:4檔次的新檔次(profile—idc=166)。該新檔次 也可用于第二組合實(shí)施例，對(duì)應(yīng)的語(yǔ)義和句法變化如下所述。該新profilejdc 被加在序列參數(shù)集合中，并將主要用于隨后的頭中，以指示輸入格式為4:4:4、 以及所有三個(gè)輸入通道都類(lèi)似地被編碼為亮度。為使H.264標(biāo)準(zhǔn)所需的改變減到最少，不為高級(jí)4:4:4檔次披露新的宏塊 類(lèi)型。而是所有宏塊類(lèi)型與H.264標(biāo)準(zhǔn)的表7-11、表7-13和表7-14中列出的 關(guān)聯(lián)編碼參數(shù)一起仍然有效。對(duì)于幀內(nèi)宏塊的情況，所有三個(gè)輸入通道，亮度、 Cr和Cb，都將基于H.264標(biāo)準(zhǔn)的表7-11中定義的MbPartPredMode來(lái)進(jìn)行編 碼。例如，高級(jí)4:4:4檔次中的Intra一4x4宏塊意味著，可以利用H.264標(biāo)準(zhǔn)的 表8-2中給出的所有9種可能預(yù)測(cè)模式來(lái)對(duì)每個(gè)輸入分量通道進(jìn)行編碼。僅供 參考，在當(dāng)前高4:4:4檔次(Hign 4:4:4 Profile)中，將把Intra_4x4宏塊的通道中 的兩個(gè)處理為色度，并且將只使用H.264標(biāo)準(zhǔn)的表8-5中的4種可能幀內(nèi)預(yù)測(cè) 模式之一。對(duì)于B和P宏塊，對(duì)高級(jí)4:4:4檔次所作的變化發(fā)生在小數(shù)像素位
置處的參考像素值的插值計(jì)算處理中。在此，R264標(biāo)準(zhǔn)的8.4.2.2.1節(jié)中描述 的過(guò)程，亮度樣本插值處理，將適用于亮度、Cr和Cb。再次僅供參考，當(dāng)前 高4:4:4檔次(Hign 4:4:4 Profile)將H.264標(biāo)準(zhǔn)的8.4.2.2.2節(jié)的色度樣本插值處 理用于輸入通道中的兩個(gè)。在CABAC被選為熵編碼模式的情況下，將為Cr和Cb生成和當(dāng)前為亮度 定義的上下文模型相同的兩組分開(kāi)上下文模型。在編碼期間，也將獨(dú)立地更新 它們。最后，在實(shí)施例中，因?yàn)樵诰幋a循環(huán)中沒(méi)有RCT塊，所以從高級(jí)4:4:4檔 次的序列參數(shù)集合中去除ResidueColorTransformFlag。到現(xiàn)在為止，如圖13所示，大多數(shù)句法變化都出現(xiàn)在殘差數(shù)據(jù)中，其中 原始亮度句法被重復(fù)兩次，以支持所建議的高級(jí)4:4:4檔次中的Cr和Cb。關(guān)于H.264宏塊層表(未示出)，對(duì)應(yīng)句法的語(yǔ)義變化包括以下。coded—block_pattern (添力卩)。當(dāng) chroma—formatjdc 等于 3 且 coded—block_pattern存在時(shí)，應(yīng)該將CodedBlockPatternChroma設(shè)為0。另夕卜， 對(duì)于宏塊的12個(gè)8x8亮度、Cb和Cr塊的每一個(gè)，CodedBlockPatternLuma都 規(guī)定以下情況之一(1) 8x8亮度、8x8Cb和8x8Cr塊中的12個(gè)4x4亮度塊 的所有變換系數(shù)電平都等于O; (2)8x8亮度、8x8Cb和8x8Cr塊中的一個(gè)或 多個(gè)4x4亮度塊的一個(gè)或多個(gè)變換系數(shù)電平應(yīng)該為非零值?，F(xiàn)在，將描述根據(jù)第二組合實(shí)施例(或關(guān)于三個(gè)約束空間預(yù)測(cè)器集合(或 子集)的使用的單獨(dú)實(shí)施例)的幀內(nèi)塊空間預(yù)測(cè)模式選擇。為了使每個(gè)分量獨(dú)立選擇其最佳MbPartPredMode和隨后的最佳空間預(yù)測(cè) 模式，和分別對(duì)每個(gè)輸入通道進(jìn)行編碼的情況一樣，可以將某些新幀內(nèi)塊類(lèi)型 加到H.264標(biāo)準(zhǔn)的表7-11中。結(jié)果，將對(duì)R264標(biāo)準(zhǔn)作出大量改變。在關(guān)于第
二組合實(shí)施例的實(shí)施例中，當(dāng)前mb—types保持不變，并且提供替換解決方案。 在該實(shí)施例中，限制用相同的MbPartPredMode或宏塊類(lèi)型對(duì)三個(gè)輸入通道進(jìn) 行編碼。然后，將少量的新元素添加到宏塊預(yù)測(cè)句法中，以支持三種不同預(yù)測(cè) 模式。因此，每個(gè)分量理論上仍然能夠獨(dú)立選擇其最佳空間預(yù)測(cè)模式，以便使 每個(gè)分量通道的預(yù)測(cè)誤差最小化。例如，假定將Intra—4x4宏塊選為mb—type， 則亮度、Cr或Cb仍然可以在H.264標(biāo)準(zhǔn)的8.3丄1節(jié)的表8-2中找到它自己的 最佳空間預(yù)測(cè)模式，例如用于亮度的Intra—4x4—Vertical 、用于Cr的 Intra—4x4_Horizontal以及用于Cb的Intra—4x4—Diagonal—Down—Left 。關(guān)于上述第一組合實(shí)施例的另一種方法是，約束所有三個(gè)輸入通道都共享 相同預(yù)測(cè)模式。這可以利用現(xiàn)有句法元素當(dāng)前所攜帶的預(yù)測(cè)信息來(lái)實(shí)現(xiàn)，如宏 塊予頁(yè)湖lj句法中的 prev—intra4x4_pred—mode—flag、 rem—intra4x4_pred—mode 、 pred—intra8x8_pred—mode—flag禾卩rem_intra8x8_pred—mode。該選項(xiàng)將導(dǎo)致H.264 的少量變化以及編碼效率稍微有些損失?；跍y(cè)試結(jié)果，與第一組合實(shí)施例相比，使用三種預(yù)測(cè)模式可以將總編碼 性能提高大約0.2dB。轉(zhuǎn)到圖16， 一般用附圖標(biāo)記1600來(lái)表示H.264宏塊預(yù)測(cè)句法表。僅供參 考，以下列出了用于支持使用三種預(yù)測(cè)模式的修改宏塊預(yù)測(cè)句法，其中prev—intra4x4_pred_mode—flag0禾口 rem—intra4x4_pred—mode0用于亮度；prev—intra4x4_pred—mode—flag 1禾卩rem—intra4x4_pred—model用于Cr;prev—intra4x4_pred—mode_flag2禾口 rem—intra4x4_pred—mode2用于Cb。現(xiàn)在，將描述根據(jù)如關(guān)于第二組合實(shí)施例的實(shí)施例所配置的本發(fā)明原理而 執(zhí)行的模擬結(jié)果。使用JVT-J042，電影起源測(cè)試序列，JVT-J039 (Viper)中所描述的所有JVT/FRExt測(cè)試序列。它們都是4:4:4 10位素材，并且每個(gè)剪輯有58幀。在JVT參考軟件JM9.6中實(shí)施所建議的算法，并在測(cè)試中使用修改的軟 件。對(duì)Intra-only和IBRrBP都進(jìn)行測(cè)試。在此，"Br"表示所記錄的B圖像。 Intra-only情況適合于量化參數(shù)等于6、 12、 18、 24、 30、 36和42的所有序列。 由于模擬中涉及大量的時(shí)間，IBRrBP圖像組(GOP)結(jié)構(gòu)只適合于量化參數(shù) 等于12、 18、 24、 30和36的電影剪輯。根據(jù)4:4:4 AHG中的論述，在測(cè)試中使用以下關(guān)鍵參數(shù)SymbolMode = 1 RDOptimization = 1 ScalingMatrixPresentFlag = 0 OffsetMatrixPresentFlag = 1 QoffsetMatrixFile = "q—offset, cfg" AdaptiveRounding = 1 AdaptRndPeriod = 1 AdaptRndChroma = 1 AdaptRndWFactorX = 8 SearchRange = 64 UseFME = 1關(guān)于JPEG2k，在測(cè)試中使用KaKadu V2.2.3軟件。利用具有9/7雙正交小 波濾波器的5級(jí)小波解壓縮，來(lái)產(chǎn)生測(cè)試結(jié)果。每幀只有一個(gè)瓦片(tile)，并 且對(duì)于給定目標(biāo)位速率也使用RD優(yōu)化。主要在源內(nèi)容的原始色域中計(jì)算PSNR度量，對(duì)于上述剪輯，源內(nèi)容的原 始色域是RGB。利用被定義為(PSNR(紅)+PSNR(綠)+PSNR(藍(lán)))/3的平均 PSNR，來(lái)比較整體壓縮質(zhì)量。 如下執(zhí)行壓縮比較 Newl:具有單一預(yù)測(cè)模式的建議高級(jí)4:4:4檔次。
New3:具有三種預(yù)測(cè)模式的建議高級(jí)4:4:4檔次。
RCT-OFF: RCT二關(guān)閉的RGB輸入。
RCT-ON: RC1、開(kāi)啟的RGB輸入。
YCOCG:在編解碼器外執(zhí)行RGB到Y(jié)COCG轉(zhuǎn)換。然后把轉(zhuǎn)換的 YCOCG用作JVT軟件的輸入。
R+G+B:通過(guò)分別壓縮R、 G和B信號(hào)而近似的建議方法。
Y+CO+CG:通過(guò)分別壓縮所轉(zhuǎn)換的Y、 CO和CG信號(hào)而近似的建議方法。
JPEG2k—RGB:在RGB域執(zhí)行JPEG2k壓縮。關(guān)掉JPEG2k顏色變換。
JPEG2k—YUV:在YUV域執(zhí)行JPEG2k壓縮。使用JPEG2k顏色變換。 對(duì)于Intra-only情況，根據(jù)本發(fā)明原理的建議高級(jí)4:4:4檔次在整體壓縮效率方面非常類(lèi)似于JPEG2k。在某些情況下，甚至更好一些。根據(jù)本發(fā)明原理的方法明顯好于當(dāng)前高4:4:4檔次(Hign 4:4:4 Profile)。在等于和大于45dB (PSNR)的PSNR下，平均PSNR的平均提高超過(guò)1.5dB。在某些情況下，可以將該提高轉(zhuǎn)換為45dB PSNR下25%以上的位節(jié)省。即使對(duì)于相同塊類(lèi)型，使用三種預(yù)測(cè)模式也稍好于單一預(yù)測(cè)模式。然而，可以使用更多句法和語(yǔ)義變化?，F(xiàn)在，將描述本發(fā)明實(shí)施例的原理所提供的許多附帶優(yōu)點(diǎn)/特征中的一些。 測(cè)試結(jié)果表明，與當(dāng)前高4:4:4檔次(Hign 4:4:4 Profile)相比，利用與本發(fā)明原理對(duì)應(yīng)的改進(jìn)的建議高級(jí)4:4:4檔次提供了改善的性能。并且性能提高的
很顯著。另外，將顏色變換移到編解碼器外面將使編解碼器的結(jié)構(gòu)在所有顏色 格式之間一致。結(jié)果，它將使實(shí)施更容易，且降低成本。在選擇最佳顏色變換 以獲得更好編碼效率的方面，它也將使編解碼器更魯棒。而且，建議的方法不 添加任何新的編碼工具，而只需對(duì)句法和語(yǔ)義稍作改變。因而，根據(jù)如實(shí)施例中配置的本發(fā)明原理，提供一種視頻編碼和解碼方法及設(shè)備。提供對(duì)現(xiàn)有H.264標(biāo)準(zhǔn)的修改，這些修改將性能提高到當(dāng)前可獲得的 性能之上。而且，對(duì)于高質(zhì)量應(yīng)用，甚至將性能提高到超過(guò)JPEG-2000。根據(jù) 如實(shí)施例中配置的本發(fā)明原理，可以通過(guò)利用亮度編碼算法對(duì)4:4:4內(nèi)容的所 有三個(gè)顏色分量進(jìn)行編碼，來(lái)實(shí)現(xiàn)H,264標(biāo)準(zhǔn)的4:4:4編碼性能重大提高。艮口， 不需要新工具用于亮度(或沒(méi)有使用的色度)壓縮算法。而是使用現(xiàn)有亮度編 碼工具。進(jìn)一步，可以根據(jù)本發(fā)明原理來(lái)實(shí)施當(dāng)前4:4:4檔次的句法和語(yǔ)義變 化，以支持所有三個(gè)分量通道的亮度編碼。在根據(jù)本發(fā)明實(shí)施例進(jìn)行的測(cè)試中， 當(dāng)源內(nèi)容有許多空間紋理和邊緣時(shí)，亮度中使用的空間預(yù)測(cè)工具明顯顯示出它 們的性能優(yōu)于色度中所使用的空間預(yù)測(cè)工具。對(duì)于某些測(cè)試序列，當(dāng)每個(gè)顏色 分量都被編碼為亮度時(shí)，在大于或等于45dB (平均PSNR)的壓縮質(zhì)量下可觀 察到超過(guò)30%的位減少。應(yīng)該理解，雖然在此主要相對(duì)于利用H.264標(biāo)準(zhǔn)的4:4:4格式采樣的視頻 信號(hào)數(shù)據(jù)描述了本發(fā)明，但是也可容易相對(duì)于利用凡264標(biāo)準(zhǔn)的其它格式(如 4:2:0格式和/或4:2:2格式)以及其它視頻壓縮標(biāo)準(zhǔn)采樣的視頻信號(hào)數(shù)據(jù)，來(lái)實(shí) 施本發(fā)明。給定在此提供的本發(fā)明教導(dǎo)，在保持本發(fā)明范圍的同時(shí)，該領(lǐng)域及 相關(guān)領(lǐng)域普通技術(shù)人員也可容易實(shí)施本發(fā)明的這些及其它變化。相關(guān)領(lǐng)域的普通技術(shù)人員根據(jù)在此給出的教導(dǎo)可以容易地弄清本發(fā)明的 這些及其它特征和優(yōu)點(diǎn)。應(yīng)該理解，可以用各種形式的硬件、軟件、固件、專(zhuān) 用處理器或它們的組合，來(lái)實(shí)施本發(fā)明的教導(dǎo)。更為優(yōu)選地，把本發(fā)明的教導(dǎo)實(shí)施為硬件和軟件的組合。而且，軟件可為 在程序存儲(chǔ)單元上具體實(shí)施的應(yīng)用程序。該應(yīng)用程序可以被上載到包括任何合 適架構(gòu)的機(jī)器上，并通過(guò)該機(jī)器來(lái)執(zhí)行。優(yōu)選地，在具有硬件如一個(gè)或多個(gè)中央處理器(CPU)、 RAM和輸入/輸出(I/O)接口的計(jì)算機(jī)平臺(tái)上，實(shí)現(xiàn)該機(jī)器。該計(jì)算機(jī)平臺(tái)也可包括操作系統(tǒng)和微指令碼。在此描述的各種過(guò)程和功能可以是，可通過(guò)CPU執(zhí)行的微指令碼一部分、或應(yīng)用程序一部分、或它們的 任何組合。另外，其它各種外圍單元如附加數(shù)據(jù)存儲(chǔ)單元和打印單元，可以連 接到該計(jì)算機(jī)平臺(tái)。進(jìn)一步應(yīng)該理解，因?yàn)楦綀D中所描述的一些組成系統(tǒng)部件和方法優(yōu)選地是 用軟件來(lái)實(shí)現(xiàn)的，所以系統(tǒng)部件或過(guò)程功能塊之間的實(shí)際連接可以隨本發(fā)明的 編程方式而有所不同。給定在此的教導(dǎo)，相關(guān)領(lǐng)域普通技術(shù)人員將能夠預(yù)期本 發(fā)明的這些及類(lèi)似實(shí)施或配置。雖然在此參考附圖描述了說(shuō)明性實(shí)施例，但是應(yīng)該理解，本發(fā)明不限于這 些具體實(shí)施例，并且相關(guān)領(lǐng)域普通技術(shù)人員可以在不脫離本發(fā)明范圍或精神的 情況下實(shí)現(xiàn)各種變動(dòng)和修改。所有這種變動(dòng)和修改都預(yù)定被包括在如所附的權(quán) 利要求所闡述的本發(fā)明范圍內(nèi)。
權(quán)利要求
1.一種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的視頻編碼器，所述視頻編碼器包括編碼器(100)，用于利用公共預(yù)測(cè)器對(duì)所述視頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行編碼。
2. 根據(jù)權(quán)利要求1所述的視頻編碼器，其中所述公共預(yù)測(cè)器是用于所述視 頻信號(hào)數(shù)據(jù)的亮度分量和色度分量的亮度預(yù)測(cè)器。
3. 根據(jù)權(quán)利要求1所述的視頻編碼器，其中所述編碼器(100)將公共空 間預(yù)測(cè)模式用于所述視頻信號(hào)數(shù)據(jù)的所有顏色分量。
4. 根據(jù)權(quán)利要求3所述的視頻編碼器，其中通過(guò)國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化 —部門(mén)H.264木示7隹的prev_intra8x8_pred—mode_flag、 rem—intra8x8_pred—mode、 prevjntra4x4^pred一mode—flag禾口 rem—intra4x4_pred—mode參數(shù)，來(lái)設(shè)置所述公 共空間預(yù)測(cè)模式。
5. 根據(jù)權(quán)利要求1所述的視頻編碼器，其中所述編碼器(100)將公共插 值濾波器用于所述視頻信號(hào)數(shù)據(jù)的所有顏色分量的B和P幀。
6. 根據(jù)權(quán)利要求1所述的視頻編碼器，其中所述編碼器(100)對(duì)所述視 頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行編碼，并且不對(duì)所述視頻信號(hào)數(shù)據(jù)的所有顏色分量應(yīng)用殘差顏色轉(zhuǎn)換。
7. 根據(jù)權(quán)利要求1所述的視頻編碼器，其中所述視頻信號(hào)數(shù)據(jù)的采樣對(duì)應(yīng)于國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(mén)H.264標(biāo)準(zhǔn)的4:4:4、 4:2:2和4:2:0格式中的任 何格式。
8. —種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的方法，所述方法包括利用 公共預(yù)測(cè)器對(duì)所述視頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行編碼(315)。
9. 根據(jù)權(quán)利要求8所述的方法，其中所述公共預(yù)測(cè)器是用于所述視頻信號(hào) 數(shù)據(jù)的亮度分量和色度分量的亮度預(yù)測(cè)器。
10. 根據(jù)權(quán)利要求8所述的方法，其中將公共空間預(yù)測(cè)模式用于所述視頻信號(hào)數(shù)據(jù)的所有顏色分量。
11. 根據(jù)權(quán)利要求IO所述的方法，其中通過(guò)國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(mén) H.264 豐示7隹的 prev—intra8x8_pred—mode—flag 、 rem—intra8x8_pred—mode 、 prev—intra4x4_pred—mode—flag禾卩rem—intra4x4_pred—mode參數(shù)，來(lái)設(shè)置所述公 共空間預(yù)測(cè)模式。
12. 根據(jù)權(quán)利要求8所述的方法，其中將公共插值濾波器用于所述視頻信 號(hào)數(shù)據(jù)的所有顏色分量的B和P幀。
13. 根據(jù)權(quán)利要求8所述的方法，其中所述編碼步驟對(duì)所述視頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行編碼，并且不對(duì)所述視頻信號(hào)數(shù)據(jù)的所有顏色分量應(yīng)用殘 差顏色轉(zhuǎn)換。
14. 根據(jù)權(quán)利要求8所述的方法，進(jìn)一步包括在所述編碼步驟之前的預(yù)處理步驟中對(duì)所述視頻信號(hào)數(shù)據(jù)執(zhí)行(308)顏色變換。
15. 根據(jù)權(quán)利要求8所述的方法，其中所述視頻信號(hào)數(shù)據(jù)的采樣對(duì)應(yīng)于國(guó) 際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(mén)H.264標(biāo)準(zhǔn)的4:4:4、4:2:2和4:2:0格式中的任何格式。
全文摘要
提供了視頻編碼器、視頻解碼器和對(duì)應(yīng)方法。一種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的視頻編碼器包括編碼器(100)，該編碼器(100)用于利用公共預(yù)測(cè)器(315)對(duì)視頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行編碼。一種用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行解碼的視頻解碼器包括解碼器(200)，該解碼器(200)用于利用公共預(yù)測(cè)器(430)對(duì)視頻信號(hào)數(shù)據(jù)的所有顏色分量進(jìn)行解碼。另外，用于對(duì)圖像塊的信號(hào)數(shù)據(jù)進(jìn)行編碼和解碼的設(shè)備和方法包括編碼器和解碼器，該編碼器和解碼器用于對(duì)視頻信號(hào)數(shù)據(jù)的顏色分量進(jìn)行編碼/解碼而不對(duì)它們應(yīng)用殘差顏色轉(zhuǎn)換。而且，用于對(duì)圖像塊的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼/解碼的視頻編碼器和解碼器包括編碼器和解碼器，該編碼器和解碼器用于利用對(duì)于視頻信號(hào)數(shù)據(jù)每個(gè)顏色分量唯一的預(yù)測(cè)器，來(lái)對(duì)視頻信號(hào)數(shù)據(jù)進(jìn)行編碼/解碼。
文檔編號(hào)H04N7/26GK101160972SQ200680011944
公開(kāi)日2008年4月9日 申請(qǐng)日期2006年3月16日 優(yōu)先權(quán)日2005年4月13日
發(fā)明者于浩平 申請(qǐng)人:湯姆遜許可公司