【交叉引用】

本申請要求申請日為2015年10月8日，美國臨時申請?zhí)枮?2/238，855的美國臨時申請案的優(yōu)先權(quán)，上述臨時申請案的內(nèi)容一并并入本申請。

【技術(shù)領(lǐng)域】

本發(fā)明有關(guān)于視頻編碼系統(tǒng)的編碼模式選擇。更具體來說，本發(fā)明有關(guān)于自多個編碼模式中選擇最佳編碼模式的方法和裝置，其中至少兩個編碼模式使用不同色彩格式。

背景技術(shù)：

視頻數(shù)據(jù)需要大量儲存空間用于儲存或者寬的帶寬用于傳輸。隨著日益增長的高分辨率和更高的幀速率，若視頻數(shù)據(jù)以未被壓縮的形式被儲存或者傳輸，儲存或傳輸帶寬需求將是非常巨大的。因此，視頻數(shù)據(jù)通常以使用視頻編碼技術(shù)的壓縮的格式被儲存或傳輸。通過使用較新的視頻壓縮格式(例如h.264/avc，vp8，vp9和新興高效視頻編碼(highefficiencyvideocoding，簡寫為hevc)標(biāo)準(zhǔn))，編碼效率被大幅改進(jìn)。為了保持可控的復(fù)雜性，圖像通常被分為多個塊，例如巨塊(macroblock，簡寫為mb)或編碼單元(codingunit，簡寫為cu)以應(yīng)用視頻編碼。視頻編碼標(biāo)準(zhǔn)通常采用以塊為基礎(chǔ)的幀內(nèi)/幀間預(yù)測。

圖1是范例的合并環(huán)路處理(incorporatingloopprocessing)的自適應(yīng)幀間/幀內(nèi)視頻編碼系統(tǒng)的示意圖。對于幀間預(yù)測，運(yùn)動估計/運(yùn)動補(bǔ)償(motionestimation(me)/motioncompensation(mc))單元112(圖中標(biāo)注為me/mc)用于基于來自其他(一個或多個)畫面的視頻數(shù)據(jù)提供預(yù)測數(shù)據(jù)。開關(guān)114選擇幀內(nèi)預(yù)測單元110或幀間預(yù)測數(shù)據(jù)，且所選定的預(yù)測數(shù)據(jù)被提供給加法器116以形成預(yù)測誤差(也稱為殘值)。預(yù)測錯誤隨后被轉(zhuǎn)換單元(transform，圖中標(biāo)注為t)118以及隨后的量化單元(quantization，圖中標(biāo)注為q)120處理。已被轉(zhuǎn)換并被量化的殘值隨后被熵編碼器122編碼，以被包含在對應(yīng)于壓縮視頻數(shù)據(jù)的視頻比特流中。當(dāng)使用幀間預(yù)測模式時，一個或多個參考畫面必須在編碼器端被重構(gòu)并將被用作一個或多個其他畫面的參考數(shù)據(jù)。所以，被轉(zhuǎn)換并被量化的殘值被逆量化單元(圖中標(biāo)注為iq)124和逆轉(zhuǎn)換單元(圖中標(biāo)注為it)126處理以恢復(fù)殘值。殘值隨后在重構(gòu)單元(reconstruction，圖中標(biāo)注為rec)128被加回至預(yù)測數(shù)據(jù)136以重構(gòu)視頻數(shù)據(jù)。已重構(gòu)的數(shù)據(jù)可被儲存于參考畫面緩沖器(referencepicturebuffer，簡寫為rpb)134中并用于其他幀的預(yù)測。

在圖1中，輸入視頻數(shù)據(jù)通常被轉(zhuǎn)換為適合高效視頻編碼的色彩格式。舉例來說，因?yàn)榱炼?即，y)和色度(即，uv或cbcr)分量的表示可以降低原始色彩格式(例如，rgb)之間的相關(guān)性，yuv或ycbcr色彩格式被廣泛用于多種視頻編碼標(biāo)準(zhǔn)中。此外，每一色彩格式可以支持多個采樣模式(samplingpattern)，例如yuv444、yuv422和yuv420。

yuv或ycbcr色彩格式使用實(shí)值(realvalued)色彩轉(zhuǎn)換矩陣。由于有限的數(shù)值精度，色彩轉(zhuǎn)換-逆色彩轉(zhuǎn)換對經(jīng)常會引入微小的錯誤。在視頻處理領(lǐng)域的最新發(fā)展引入了可逆色彩變換，其中色彩轉(zhuǎn)換和逆色彩轉(zhuǎn)換的系數(shù)可用一個小數(shù)目的比特位來實(shí)現(xiàn)。舉例來說，ycocg色彩格式可使用色彩變換系數(shù)(用0、1、1/2和1/4表示)自rgb色彩格式轉(zhuǎn)換。盡管轉(zhuǎn)換的色彩格式(例如，ycocg)適用于自然風(fēng)光的圖像，轉(zhuǎn)換的色彩格式可能并不總是其他類型圖像內(nèi)容的最佳格式。舉例來說，相比于對應(yīng)于自然場景的圖像，rgb格式可導(dǎo)致人工圖像具有較低交叉色彩相關(guān)(cross-colorcorrelation)。相應(yīng)地，對于最先進(jìn)的(state-of-the-art)圖像和視頻編碼，多個編碼模式可被用于編解碼像素塊，且多個編碼模式允許使用不同色彩格式。這些最先進(jìn)的圖像和視頻編碼標(biāo)準(zhǔn)包含，但不限于，顯示流壓縮(displaystreamcompression，簡寫為dsc)和由視頻電子標(biāo)準(zhǔn)協(xié)會(videoelectronicsstandardsassociation，簡寫為vesa)標(biāo)準(zhǔn)化的高級顯示流壓縮(advanceddisplaystreamcompression，簡寫為a-dsc)。

在編碼期間，編碼器需要為每一給定的編碼模塊(例如宏塊或者編碼單元)在多個可能的編碼模式之間做出模式?jīng)Q定。在模式?jīng)Q定中，與不同編碼模式相關(guān)的一個或多個選擇條件(也稱為成本(cost))，被導(dǎo)出用于比較，以便選出實(shí)現(xiàn)編碼像素塊的最低成本的最佳模式。各種成本被用作最佳模式選擇的條件。舉例來說，成本可僅對應(yīng)于失真。在這種情況下，實(shí)現(xiàn)最低成本的模式被選為最佳模式，而不考慮所需的比特率(bitrate)。在許多實(shí)際系統(tǒng)中，可用的比特率預(yù)算通常有約束。因此，還涉及比特率的成本函數(shù)已被廣泛使用。成本函數(shù)被表示為

成本＝失真+λ*速率，(1)

其中λ是失真和速率的加權(quán)因子，失真指源像素和解碼(或處理)的像素之間測量的不同。其中該不同由壓縮處理(例如，量化和頻率轉(zhuǎn)換)期間的一個或多個有損處理(lossyprocessing)引入。存在數(shù)種常用的失真度量。舉例來說，失真可在源像素和解碼像素之間計算。失真可以在絕對差之和(sumofabsolutedifference，簡寫為sad)，平方誤差之和(sumofsquareerror，簡寫為sse)等的方面被度量。

另一方面，公式(1)中的速率可被測量作為需要用來編碼具有特定編碼模式的像素塊的比特數(shù)。速率可為編碼像素塊的實(shí)際比特數(shù)。速率也可為編碼像素塊的估計比特數(shù)。

當(dāng)編碼模式涉及多于一個色彩空間時，在不同色彩空間中的不同編碼模式之間的模式?jīng)Q定成為問題。由于在不同色彩空間中的失真測量可能不具有相同的量化含義(quantitativemeaning)，在不同色彩空間中的失真測量不能被直接比較。

圖2是具有四種可能的編碼模式的編碼系統(tǒng)的范例的示意圖，其中像素的當(dāng)前塊(210)可自編碼模式群編碼模式a、編碼模式b、編碼模式c和編碼模式d(221、222、223和224)中選擇一個編碼模式。在該揭露中，可能的編碼模式也被稱為候選編碼模式。編碼模式a和b使用rgb色彩空間，而編碼模式c和d使用ycocg色彩空間。模式?jīng)Q定單元230自四個可能的編碼模式中選擇最佳編碼模式，并且編碼單元240將選定的編碼模式應(yīng)用到當(dāng)前塊。在該情況下，速率速率i和失真失真i被計算用于每一編碼模式i，其中i＝a、b、c或d。失真失真i在i＝a和b的rgb色彩空間被計算，且失真失真i在i＝c和d的ycocg色彩空間被計算。因?yàn)樵趦蓚€不同色彩空間(即，rgb和ycocg)中的失真對應(yīng)于不同定量計量，在兩個不同色彩空間中的失真可被有意義的比較之前，兩個不同色彩空間中的失真需要先被處理。

因此，需要發(fā)展用于比較自不同色彩空間獲取的失真的技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

依據(jù)本發(fā)明的示范性實(shí)施例，提出一種視頻或圖像編碼方法/裝置以解決上述問題。

依據(jù)本發(fā)明的一個實(shí)施例，提出一種視頻或圖像編碼方法，使用具有多種色彩空間的多個編碼模式，其特征在于，視頻或圖像編碼方法包含：接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中編碼模式群包含至少第一編碼模式和第二編碼模式，其中第一編碼模式使用第一色彩空間編碼一個塊且第二編碼模式使用第二色彩空間編碼一個塊，且第一色彩空間不同于第二色彩空間：計算利用每一候選編碼模式編碼的當(dāng)前塊的加權(quán)失真，其中加權(quán)失真對應(yīng)于使用一組加權(quán)因子的每一已色彩轉(zhuǎn)換的當(dāng)前塊的多個色彩通道的多個失真的加權(quán)總和，且組加權(quán)因子基于與每一編碼模式的相應(yīng)色彩空間相關(guān)聯(lián)的色彩轉(zhuǎn)換而得出；基于與編碼模式群的多個候選編碼模式相關(guān)聯(lián)的多個成本計量自編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用每一候選編碼模式的當(dāng)前塊的加權(quán)失真；以及使用目標(biāo)編碼模式編碼當(dāng)前塊。

依據(jù)本發(fā)明的另一實(shí)施例，提出一種視頻或圖像編碼裝置，使用具有多種色彩空間的多個編碼模式，其特征在于，視頻或圖像編碼裝置包含一個或多個電子電路或處理器用于：接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中編碼模式群包含至少第一編碼模式和第二編碼模式，其中第一編碼模式使用第一色彩空間編碼一個塊且第二編碼模式使用第二色彩空間編碼一個塊，且第一色彩空間不同于第二色彩空間：計算利用每一候選編碼模式編碼的當(dāng)前塊的加權(quán)失真，其中加權(quán)失真對應(yīng)于使用一組加權(quán)因子的每一已色彩轉(zhuǎn)換的當(dāng)前塊的多個色彩通道的多個失真的加權(quán)總和，且組加權(quán)因子基于與每一編碼模式的相應(yīng)色彩空間相關(guān)聯(lián)的色彩轉(zhuǎn)換而得出；基于與編碼模式群的多個候選編碼模式相關(guān)聯(lián)的多個成本計量自編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用每一候選編碼模式的當(dāng)前塊的加權(quán)失真；以及使用目標(biāo)編碼模式編碼當(dāng)前塊。

依據(jù)本發(fā)明的另一實(shí)施例，提出一種視頻或圖像編碼方法，使用具有多種色彩空間的多個編碼模式，其特征在于，視頻或圖像編碼方法包含：接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中編碼模式群包含至少第一編碼模式和第二編碼模式，其中第一編碼模式使用第一色彩空間編碼一個塊且第二編碼模式使用第二色彩空間編碼一個塊，且第一色彩空間不同于第二色彩空間：計算利用每一候選編碼模式編碼的當(dāng)前塊的多個色彩通道的多個失真，其中當(dāng)前塊的多個色彩通道通過將色彩轉(zhuǎn)換應(yīng)用到多個輸入像素以將多個輸入像素轉(zhuǎn)換為每一候選編碼模式的相應(yīng)色彩空間而產(chǎn)生，以及通過對當(dāng)前塊的多個色彩通道的多個失真應(yīng)用對應(yīng)于色彩轉(zhuǎn)換的逆色彩轉(zhuǎn)換，其中當(dāng)前塊利用每一候選模式編碼，得出利用每一候選模式編碼的當(dāng)前塊的多個已色彩轉(zhuǎn)換的失真；基于與編碼模式群的多個候選編碼模式相關(guān)聯(lián)的多個成本計量自編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用每一候選編碼模式的當(dāng)前塊的多個已色彩轉(zhuǎn)換的失真；以及使用目標(biāo)編碼模式編碼當(dāng)前塊。

依據(jù)本發(fā)明的另一實(shí)施例，提出一種視頻或圖像編碼裝置，使用具有多種色彩空間的多個編碼模式，其特征在于，視頻或圖像編碼裝置包含一個或多個電子電路或處理器用于：接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中編碼模式群包含至少第一編碼模式和第二編碼模式，其中第一編碼模式使用第一色彩空間編碼一個塊且第二編碼模式使用第二色彩空間編碼一個塊，且第一色彩空間不同于第二色彩空間：計算利用每一候選編碼模式編碼的當(dāng)前塊的多個色彩通道的多個失真，其中當(dāng)前塊的多個色彩通道通過將色彩轉(zhuǎn)換應(yīng)用到多個輸入像素以將多個輸入像素轉(zhuǎn)換為每一候選編碼模式的相應(yīng)色彩空間而產(chǎn)生，以及通過對當(dāng)前塊的多個色彩通道的多個失真應(yīng)用對應(yīng)于色彩轉(zhuǎn)換的逆色彩轉(zhuǎn)換，其中當(dāng)前塊利用每一候選模式編碼，得出利用每一候選模式編碼的當(dāng)前塊的多個已色彩轉(zhuǎn)換的失真；基于與編碼模式群的多個候選編碼模式相關(guān)的多個成本計量自編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用每一候選編碼模式的當(dāng)前塊的多個已色彩轉(zhuǎn)換的失真；以及使用目標(biāo)編碼模式編碼當(dāng)前塊。

依據(jù)本發(fā)明的另一實(shí)施例，提出一種視頻或圖像編碼方法，使用具有多種色彩空間的多個編碼模式，其特征在于，視頻或圖像編碼方法包含：接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中編碼模式群包含至少第一編碼模式和第二編碼模式，其中第一編碼模式使用第一色彩空間編碼一個塊且第二編碼模式使用第二色彩空間編碼一個塊，且第一色彩空間不同于第二色彩空間：依據(jù)每一候選編碼模式對當(dāng)前塊應(yīng)用編碼處理以得出源數(shù)據(jù)和已處理的數(shù)據(jù)，其中編碼處理包含一個或多個處理階段；在選定的處理階段對源數(shù)據(jù)應(yīng)用普通色彩空間轉(zhuǎn)換，其中普通色彩空間轉(zhuǎn)換將與每一候選編碼模式相關(guān)聯(lián)的相應(yīng)色彩空間中的像素數(shù)據(jù)轉(zhuǎn)換為普通色彩空間；在選定的處理階段對已處理的數(shù)據(jù)應(yīng)用普通色彩空間轉(zhuǎn)換；在選定的處理階段的普通色彩空間轉(zhuǎn)換之后，計算當(dāng)前塊的源數(shù)據(jù)和已處理的數(shù)據(jù)之間的統(tǒng)一的失真；基于與編碼模式群的多個候選編碼模式相關(guān)聯(lián)的多個成本計量自編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用每一候選編碼模式的當(dāng)前塊的統(tǒng)一的失真；以及使用目標(biāo)編碼模式編碼當(dāng)前塊。

依據(jù)本發(fā)明的另一實(shí)施例，提出一種視頻或圖像編碼裝置，使用具有多種色彩空間的多個編碼模式，其特征在于，視頻或圖像編碼裝置包含一個或多個電子電路或處理器用于：接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中編碼模式群包含至少第一編碼模式和第二編碼模式，其中第一編碼模式使用第一色彩空間編碼一個塊且第二編碼模式使用第二色彩空間編碼一個塊，且第一色彩空間不同于第二色彩空間：依據(jù)每一候選編碼模式對當(dāng)前塊應(yīng)用編碼處理以得出源數(shù)據(jù)和已處理的數(shù)據(jù)，其中編碼處理包含一個或多個處理階段；在選定的處理階段對源數(shù)據(jù)應(yīng)用普通色彩空間轉(zhuǎn)換，其中普通色彩空間轉(zhuǎn)換將與每一候選編碼模式相關(guān)聯(lián)的相應(yīng)色彩空間中的像素數(shù)據(jù)轉(zhuǎn)換為普通色彩空間；在選定的處理階段對已處理的數(shù)據(jù)應(yīng)用普通色彩空間轉(zhuǎn)換；在選定的處理階段的普通色彩空間轉(zhuǎn)換之后，計算當(dāng)前塊的源數(shù)據(jù)和已處理的數(shù)據(jù)之間的統(tǒng)一的失真；基于與編碼模式群的多個候選編碼模式相關(guān)聯(lián)的多個成本計量自編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用每一候選編碼模式的當(dāng)前塊的統(tǒng)一的失真；以及使用目標(biāo)編碼模式編碼當(dāng)前塊。

本發(fā)明的視頻或圖像編碼方法以及相關(guān)裝置可以有效比較自不同色彩空間獲取的失真。

【附圖說明】

圖1是范例的合并環(huán)路處理的自適應(yīng)幀間/幀內(nèi)視頻編碼系統(tǒng)的示意圖。

圖2是具有四種可能的編碼模式的編碼系統(tǒng)的范例的示意圖。

圖3是包含使用ycocg色彩空間的候選編碼模式的編碼系統(tǒng)的范例的示意圖。

圖4是包含使用ycocg色彩空間的候選編碼模式的編碼系統(tǒng)的另一范例的示意圖。

圖5是使用具有多種色彩空間的多種編碼模式的視頻/圖像的編碼器的流程圖。

【具體實(shí)施方式】

在說明書及權(quán)利要求書當(dāng)中使用了某些詞匯來指稱特定的組件。所屬領(lǐng)域中的技術(shù)人員應(yīng)可理解，制造商可能會用不同的名詞來稱呼同樣的組件。本說明書及權(quán)利要求書并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的基準(zhǔn)。在通篇說明書及權(quán)利要求書當(dāng)中所提及的「包含」是開放式的用語，故應(yīng)解釋成「包含但不限定于」。另外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或透過其它裝置或連接手段間接地電氣連接至第二裝置。

雖然本發(fā)明已以較佳實(shí)施例揭露，然其并非用以限定本發(fā)明，任何本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)視所附的權(quán)利要求范圍所界定者為準(zhǔn)。

如上所述，不同色彩空間(例如，rgb和ycocg)中的失真對應(yīng)于不同定量計量，在兩個不同色彩空間中的失真可被有意義的比較之前，兩個不同色彩空間中的失真需要被處理。相應(yīng)地，本發(fā)明的第一方法使用色彩空間的加權(quán)失真作為選擇目標(biāo)編碼模式的依據(jù)之一，其中一組加權(quán)因子(weightingfactor)依據(jù)與候選編碼模式相關(guān)聯(lián)的色彩轉(zhuǎn)換得出。例如，有兩種顏色空間被使用。第一編碼模式編碼第一色彩空間中的視頻數(shù)據(jù)，第二編碼模式編碼第二色彩空間中的視頻數(shù)據(jù)，其中第一色彩空間不同于第二色彩空間。與每一編碼模式相關(guān)聯(lián)的失真使用與該編碼模式的色彩空間相關(guān)聯(lián)的底層色彩轉(zhuǎn)換相關(guān)的一組加權(quán)因子，作為色彩通道的失真的加權(quán)總和得出。色彩通道參考相應(yīng)色彩空間的色彩成分。在模式?jīng)Q定階段，與每一編碼模式相關(guān)聯(lián)的加權(quán)失真包含在選擇目標(biāo)模式的成本計量中。選定的目標(biāo)模式隨后被用于編碼當(dāng)前塊。目標(biāo)編碼模式可對應(yīng)于達(dá)到最小成本計量的模式。

若編碼模式使用ycocg色彩空間，且ycocg色彩空間的加權(quán)因子分別為wy、wco和wcg，ycocg色彩空間的加權(quán)失真依據(jù)下述方程式得出：

失真ycocg＝失真y×wy+失真co×wco+失真cg×wcg(2)

若編碼模式使用rgb色彩空間，且rgb色彩空間的加權(quán)因子分別為wr、wg和wb，rgb色彩空間的加權(quán)失真依據(jù)下述方程式得出：

失真rgb＝失真r×wr+失真g×wg+失真b×wb(3)

在一個范例中，加權(quán)因子(wr，wg，wb)可被設(shè)置為(1，1，1)。

自rgb色彩空間至ycocg色彩空間的色彩轉(zhuǎn)換矩陣可被表示為：

若編碼模式使用ycocg色彩空間，且相關(guān)量化階段使用比y色彩通道(即，y色彩組分)少一個比特位的co和cg色彩通道(即，co和cg色彩組分)量化co和cg色彩通道，包含量化影響的合并的色彩轉(zhuǎn)換矩陣可被表示為：

如方程式(5)所示，量化比特位深度的差異在量化矩陣中通過將與co和cg相關(guān)的轉(zhuǎn)換矩陣條目除以2體現(xiàn)處理。相應(yīng)地，與方程式(4)中的轉(zhuǎn)換矩陣相比，該轉(zhuǎn)換矩陣條目的第二行和第三行變?yōu)樗亩种?。對?yīng)于方程式(5)的逆轉(zhuǎn)換矩陣可被表示如下：

加權(quán)失真的適當(dāng)?shù)募訖?quán)因子可以依據(jù)方程式(6)的范數(shù)(norm)值得出。(y，co，cg)的范數(shù)值可被確定為：

(y,co,cg)＝(1²+1²+(1)²,1²+0²+(-1)²,(-1)²+1²+(-1)²)＝(3,2,3)(7)

對于使用二階函數(shù)(secondorderfunction)的失真，例如平方誤差的總和，加權(quán)因子可以得出為：

wy:wco:wcg＝3:2:3.(8)

對于使用一階函數(shù)(firstorderfunction)的失真，例如絕對差值(absolutedifference)的總和，加權(quán)因子可以得出為：

在另一個實(shí)施例中，加權(quán)因子的推導(dǎo)中考慮到量化階段。rgb色彩空間至ycocg色彩空間的色彩轉(zhuǎn)換矩陣被表示為：

依據(jù)方程式(10)，逆色彩轉(zhuǎn)換矩陣為：

加權(quán)失真的適當(dāng)?shù)募訖?quán)因子可以依據(jù)方程式(6)的范數(shù)(norm)值得出。(y，co，cg)的范數(shù)值可被確定為：

對于使用二階函數(shù)的失真，例如平方誤差的總和，加權(quán)因子可以得出為：

wy:wco:wcg＝3:0.5:0.75。(13)

對于使用一階函數(shù)的失真，例如絕對差值的總和，加權(quán)因子可以得出為：

為了解決不同色彩空間中的失真問題，本發(fā)明的第二方法對于編碼模式相關(guān)聯(lián)的色彩通道的失真應(yīng)用色彩轉(zhuǎn)換。舉例來說，有兩種色彩空間被使用。第一編碼模式編碼ycocg色彩空間中的視頻數(shù)據(jù)，第二編碼模式編碼rgb色彩空間中的視頻數(shù)據(jù)。與y、co和cg色彩通道相關(guān)聯(lián)的失真分別為失真y、失真co和失真cg。與y、co和cg色彩通道相關(guān)聯(lián)的失真被依據(jù)方程式(6)中的色彩轉(zhuǎn)換矩陣轉(zhuǎn)換為rgb色彩空間以獲取失真r、失真g和失真b。rgb色彩空間中已被色彩轉(zhuǎn)換的失真可為確定為：

rgb色彩空間中的加權(quán)失真可以得出為：

失真rgb＝失真r×wr+失真g×wg+失真b×wb(16)

其中wr、wg和wb是rgb色彩空間的加權(quán)因子。

概括地說，本發(fā)明的第二視頻或圖像編碼方法接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中所述當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中所述編碼模式群包含至少第一編碼模式和第二編碼模式，其中所述第一編碼模式使用第一色彩空間編碼一個塊且所述第二編碼模式使用第二色彩空間編碼一個塊，且所述第一色彩空間不同于所述第二色彩空間：計算利用所述每一候選編碼模式編碼的所述當(dāng)前塊的多個色彩通道的多個失真，其中所述當(dāng)前塊的所述多個色彩通道通過將色彩轉(zhuǎn)換應(yīng)用到所述多個輸入像素以將所述多個輸入像素轉(zhuǎn)換為所述每一候選編碼模式的相應(yīng)色彩空間而產(chǎn)生，以及通過對所述當(dāng)前塊的多個色彩通道的所述多個失真應(yīng)用對應(yīng)于所述色彩轉(zhuǎn)換的逆色彩轉(zhuǎn)換，其中所述當(dāng)前塊利用所述每一候選模式編碼，得出利用所述每一候選模式編碼的所述當(dāng)前塊的多個已色彩轉(zhuǎn)換的失真；基于與所述編碼模式群的多個候選編碼模式相關(guān)聯(lián)的多個成本計量自所述編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用所述每一候選編碼模式的所述當(dāng)前塊的所述多個已色彩轉(zhuǎn)換的失真；以及使用所述目標(biāo)編碼模式編碼所述當(dāng)前塊。

為了解決不同色彩空間中的失真問題，本發(fā)明的第三方法度量普通色彩空間域中的失真，而不管哪一種色彩空間用于編碼模式。例如，第一編碼模式可使用第一色彩空間，第二編碼模式可使用第二色彩空間，其中第一色彩空間不同于第二色彩空間。為基于普通色彩空間評估失真，與第一編碼模式相關(guān)聯(lián)的失真通過將源視頻數(shù)據(jù)和處理過的視頻數(shù)據(jù)均轉(zhuǎn)換為第三色彩空間(即，普通色彩空間)被度量。類似地，與第二編碼模式相關(guān)聯(lián)的失真通過將源視頻數(shù)據(jù)和處理過的視頻數(shù)據(jù)均轉(zhuǎn)換為第三色彩空間(即，普通色彩空間)被度量。被處理的視頻數(shù)據(jù)可對應(yīng)于完全重構(gòu)的視頻數(shù)據(jù)或中間重構(gòu)數(shù)據(jù)。

圖3是包含使用ycocg色彩空間的候選編碼模式的編碼系統(tǒng)的范例的示意圖。原始輸入像素310在rgb色彩空間中，其中輸入像素可對應(yīng)于待被處理的視頻數(shù)據(jù)或圖像數(shù)據(jù)。然而，依據(jù)候選編碼模式，輸入像素在ycocg色彩空間中被處理。相應(yīng)地，色彩轉(zhuǎn)換單元320中，色彩轉(zhuǎn)換被應(yīng)用于輸入像素，以將其轉(zhuǎn)換為ycocg色彩空間。ycocg色彩空間中的像素由預(yù)測單元360進(jìn)行了預(yù)測。預(yù)測殘差(predictionresidual)(即，來自減法器362的信號輸出)被量化單元330所量化，且量化輸出使用熵編碼單元340被編碼以得到壓縮比特流。由于預(yù)測其他像素時可能需要用到重構(gòu)像素，重構(gòu)像素可能需要在編碼器端生成。相應(yīng)地，預(yù)測殘差使用逆量化單元350被重構(gòu)。被重構(gòu)的預(yù)測殘差使用加法器364被加到輸入像素的預(yù)測單元360的預(yù)測中以形成重構(gòu)像素370。在圖3中，與選定的編碼模式相關(guān)聯(lián)的色彩空間可對應(yīng)于另一色彩空間(例如，rgb或其他色彩空間)。

當(dāng)在編碼階段，不同色彩空間使用不同的編碼模式時，失真度量可對應(yīng)于不同定量尺度(quantitativescale)，從而導(dǎo)致難以評估與不同編碼模式相關(guān)聯(lián)的失真。依據(jù)第三方法，失真在普通色彩空間被度量。例如，普通色彩空間可為rgb色彩空間。因此，若選定的編碼模式使用ycocg色彩空間用于圖3所示的編碼階段，與編碼模式相關(guān)聯(lián)的源數(shù)據(jù)和已處理的數(shù)據(jù)將被色彩轉(zhuǎn)換為普通色彩空間用于失真評估。在圖3中，ycocg色彩空間中的輸入像素(即經(jīng)過轉(zhuǎn)換單元色彩320轉(zhuǎn)換的像素)被視為源數(shù)據(jù)，而重構(gòu)像素370(也在ycocg色彩空間中)被視為已處理的數(shù)據(jù)。相應(yīng)地，ycocg至rgb色彩轉(zhuǎn)換被應(yīng)用于ycocg色彩空間中的輸入像素，即經(jīng)過色彩轉(zhuǎn)換單元320轉(zhuǎn)換的像素(即，源數(shù)據(jù))，以及重構(gòu)像素370(即，已處理的數(shù)據(jù))。ycocg至rgb色彩轉(zhuǎn)換后的源數(shù)據(jù)和重構(gòu)像素370之間的與選定的編碼模式相關(guān)聯(lián)的失真隨后被度量(即統(tǒng)一的失真被度量)。

任意中間階段的視頻信號也可被用于評估失真。對于圖3中的系統(tǒng)，量化單元330將引入誤差(即，失真)。相應(yīng)地，在量化階段之前和之后(即，量化單元330/逆量化單元350)的相應(yīng)中間信號可被用于失真度量。例如，量化單元330的輸入信號可被視為源數(shù)據(jù)，而逆量化單元350的輸出信號可被視為已處理的數(shù)據(jù)。從而，ycocg至rgb色彩轉(zhuǎn)換被分別應(yīng)用于量化單元330的輸入信號和逆量化單元350的輸出信號。量化單元330的色彩轉(zhuǎn)換的輸入信號和逆量化單元350的色彩轉(zhuǎn)換的輸出信號之間的失真被度量(即統(tǒng)一的失真被度量)。

若與編碼模式相關(guān)聯(lián)的色彩空間與普通色彩空間相同，將與編碼模式相關(guān)聯(lián)的色彩空間中的視頻數(shù)據(jù)轉(zhuǎn)換為普通色彩空間的色彩轉(zhuǎn)換對應(yīng)于單位矩陣(identitymatrix)。

圖4是包含使用ycocg色彩空間的候選編碼模式的編碼系統(tǒng)的另一范例的示意圖。原始輸入像素410在rgb色彩空間中，其中輸入像素可對應(yīng)于待被處理的視頻數(shù)據(jù)或圖像數(shù)據(jù)。然而，依據(jù)候選編碼模式，輸入像素在ycocg色彩空間中被處理。相應(yīng)地，色彩轉(zhuǎn)換單元420中，色彩轉(zhuǎn)換被應(yīng)用于輸入像素，以將其轉(zhuǎn)換為ycocg色彩空間。ycocg色彩空間中的像素由預(yù)測單元460進(jìn)行了預(yù)測。預(yù)測殘差(predictionresidual)(即，來自減法器462的信號輸出)被轉(zhuǎn)換單元480處理，并被量化單元430所量化，且量化輸出使用熵編碼單元440被編碼以得到壓縮比特流。由于預(yù)測其他像素時可能需要用到重構(gòu)像素，重構(gòu)像素可能需要在編碼器端生成。相應(yīng)地，預(yù)測殘差使用逆量化單元450和逆轉(zhuǎn)換單元490被重構(gòu)。被重構(gòu)的預(yù)測殘差使用加法器464被加到輸入像素的預(yù)測單元460的預(yù)測中以形成重構(gòu)像素470。在圖4中，與編碼模式相關(guān)聯(lián)的色彩空間可對應(yīng)于另一色彩空間(例如，rgb或其他色彩空間)。

再次將普通色彩空間假定為rgb色彩空間。因此，若選定的編碼模式使用ycocg色彩空間用于圖4所示的編碼階段，與編碼模式相關(guān)聯(lián)的源數(shù)據(jù)和已處理的數(shù)據(jù)將被色彩轉(zhuǎn)換為普通色彩空間用于失真評估。在圖4中，ycocg色彩空間中的輸入像素(即經(jīng)過色彩轉(zhuǎn)換單元420轉(zhuǎn)換的像素)被視為源數(shù)據(jù)，而重構(gòu)像素470(也在ycocg色彩空間中)被視為已處理的數(shù)據(jù)。相應(yīng)地，ycocg至rgb色彩轉(zhuǎn)換被應(yīng)用于ycocg色彩空間中的輸入像素，即經(jīng)過色彩轉(zhuǎn)換單元420轉(zhuǎn)換的像素(即，源數(shù)據(jù))，以及重構(gòu)像素470(即，已處理的數(shù)據(jù))。ycocg至rgb色彩轉(zhuǎn)換后的源數(shù)據(jù)和重構(gòu)像素470之間的與選定的編碼模式相關(guān)聯(lián)的失真隨后被度量(即統(tǒng)一的失真被度量)。

類似地，可通過對量化單元430的輸入信號和逆量化單元450的輸出信號應(yīng)用ycocg至rgb色彩轉(zhuǎn)換來度量失真。此外，也可通過對轉(zhuǎn)換單元480的輸入和逆轉(zhuǎn)換單元490的輸出分別應(yīng)用ycocg至rgb色彩轉(zhuǎn)換來度量失真。

概括地說，本發(fā)明的第三視頻或圖像編碼方法接收當(dāng)前畫面的當(dāng)前塊中的多個輸入像素，其中所述當(dāng)前畫面被分為多個塊；對于編碼模式群中的每一候選編碼模式，其中所述編碼模式群包含至少第一編碼模式和第二編碼模式，其中所述第一編碼模式使用第一色彩空間編碼一個塊且所述第二編碼模式使用第二色彩空間編碼一個塊，且所述第一色彩空間不同于所述第二色彩空間：依據(jù)所述每一候選編碼模式對所述當(dāng)前塊應(yīng)用編碼處理以得出源數(shù)據(jù)和已處理的數(shù)據(jù)，其中所述編碼處理包含一個或多個處理階段(即上述的預(yù)測單元/量化單元/逆量化單元/轉(zhuǎn)換單元/逆轉(zhuǎn)換單元，以及重構(gòu)單元分別所處的預(yù)測階段/量化階段/逆量化階段/轉(zhuǎn)換階段/逆轉(zhuǎn)換階段，以及重構(gòu)階段)；在選定的處理階段對所述源數(shù)據(jù)應(yīng)用普通色彩空間轉(zhuǎn)換，其中所述普通色彩空間轉(zhuǎn)換將與所述每一候選編碼模式相關(guān)聯(lián)的相應(yīng)色彩空間中的像素數(shù)據(jù)轉(zhuǎn)換為普通色彩空間；在所述選定的處理階段對所述已處理的數(shù)據(jù)應(yīng)用所述普通色彩空間轉(zhuǎn)換；在所述選定的處理階段的所述普通色彩空間轉(zhuǎn)換之后，計算所述當(dāng)前塊的所述源數(shù)據(jù)和所述已處理的數(shù)據(jù)之間的統(tǒng)一的失真；基于與所述編碼模式群的多個候選編碼模式相關(guān)聯(lián)的多個成本計量自所述編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用所述每一候選編碼模式的所述當(dāng)前塊的所述統(tǒng)一的失真；以及使用所述目標(biāo)編碼模式編碼所述當(dāng)前塊。

圖5是使用具有多種色彩空間的多種編碼模式的視頻/圖像的編碼器的流程圖，其中依據(jù)本發(fā)明實(shí)施例使用加權(quán)失真。依據(jù)該方法，在步驟510中，系統(tǒng)接收當(dāng)前畫面的當(dāng)前塊的輸入像素，其中當(dāng)前畫面被分為多個塊。在步驟520中，對于編碼模式群中的每一候選編碼模式，利用所述候選編碼模式編碼的當(dāng)前塊的加權(quán)失真被計算。編碼模式群包含至少第一編碼模式和第二編碼模式，其中第一編碼模式使用第一色彩空間編碼一個塊且第二編碼模式使用第二色彩空間編碼一個塊，且第一色彩空間不同于第二色彩空間。計算利用所述每一候選編碼模式編碼的當(dāng)前塊的加權(quán)失真，其中加權(quán)失真對應(yīng)于使用一組加權(quán)因子的每一已色彩轉(zhuǎn)換的當(dāng)前塊的多個色彩通道的多個失真的加權(quán)總和，且該組加權(quán)因子基于與每一編碼模式的相應(yīng)色彩空間相關(guān)聯(lián)的色彩轉(zhuǎn)換而得出。在步驟530中，基于與編碼模式群的多個候選編碼模式相關(guān)的多個成本計量自編碼模式群中選擇目標(biāo)編碼模式，其中每一成本計量包含使用每一候選編碼模式的當(dāng)前塊的加權(quán)失真。在步驟540中，使用所述目標(biāo)編碼模式編碼所述當(dāng)前塊。目標(biāo)編碼模式可對應(yīng)于實(shí)現(xiàn)最低成本計量的模式。

上面所示的流程圖用于說明結(jié)合本發(fā)明的實(shí)施例的視頻編解碼。本領(lǐng)域技術(shù)人員可以修改每個步驟，重新排列步驟，分割步驟，或組合各步驟來實(shí)施本發(fā)明而不脫離本發(fā)明的精神實(shí)質(zhì)。

上述描述用于使得本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)并使用本發(fā)明。對本領(lǐng)域的專業(yè)技術(shù)人員來說，將這些實(shí)施例進(jìn)行的的多種修改將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實(shí)施例，而是要符合與本申請所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。在上述細(xì)節(jié)描述中，闡述了多種特定細(xì)節(jié)來提供對本發(fā)明的徹底了解。而本領(lǐng)域技術(shù)人員可理解本發(fā)明可以實(shí)現(xiàn)。

上述本發(fā)明的實(shí)施例可通過多種硬件、軟件碼或其組合實(shí)現(xiàn)。舉例來說，本發(fā)明的一實(shí)施例可為集成到視頻壓縮芯片的電路，或者集成到視頻壓縮系統(tǒng)的程序碼進(jìn)行相應(yīng)處理。本發(fā)明的另一實(shí)施例可為在數(shù)字信號處理器(digitalsignalprocessor，dsp)上執(zhí)行的程序碼進(jìn)行相應(yīng)處理。本發(fā)明還可包括一系列功能，并由電腦處理器、數(shù)字信號處理器、微處理器、現(xiàn)場可編程門陣列(fieldprogrammablegatearray，fpga)執(zhí)行。通過執(zhí)行定義本發(fā)明實(shí)施例中特定方法的機(jī)器可讀軟件碼或韌件碼，上述處理器可根據(jù)本發(fā)明執(zhí)行特定任務(wù)。軟件碼或韌件碼可在不同程序語言和不同格式或方式中進(jìn)行。軟件碼可針對不同的目標(biāo)平臺進(jìn)行編譯。不過，軟件碼不同的編碼格式、方式和語言，以及配置碼執(zhí)行與本發(fā)明有關(guān)的任務(wù)的其它方法均符合本發(fā)明的精神，落入本發(fā)明的保護(hù)范圍。

在不脫離精神或?qū)嵸|(zhì)特性的前提下，本發(fā)明可以其他方式實(shí)現(xiàn)。上述示范例僅用于說明的目的，并非用以限制本發(fā)明。因此，本發(fā)明的保護(hù)范圍當(dāng)視之前的權(quán)利要求書所界定為準(zhǔn)。凡在本發(fā)明權(quán)利要求書的等同定義和范圍之內(nèi)，所作的任何修改，均應(yīng)包括在本發(fā)明的保護(hù)范圍之內(nèi)。

以上所述僅為本發(fā)明的較佳實(shí)施例，本領(lǐng)域相關(guān)的技術(shù)人員依據(jù)本發(fā)明的精神所做的等效變化與修改，都應(yīng)當(dāng)涵蓋在權(quán)利要求內(nèi)。