，可使用偏移矩陣0:_偏移i2(CC_offSetSl—t。―2)。偏移CC_偏移2可被定義成:
[0215][o0,
[0216]O1,
[0217]O2]
[0218]假設(shè)某位置在第一色彩空間中的樣本值為Psra= [Ps 00) Ps01, Ps02Jto該位置在第二色彩空間中的樣本值Ps□可被計算成:
[0219]Pscc2= CC_ 矩陣 I—到—2*Psccl+CC_ 偏移丨—到—2
[0220]樣本值Ps□可夾在適當(dāng)?shù)姆秶鷥?nèi)。
[0221]針對先前重構(gòu)的內(nèi)容的樣本值集合P的色彩空間重排序操作可通過對這樣的樣本值的塊或平面的色彩分量進行重排序以便改變主要色彩分量和次要色彩分量的次序來實現(xiàn)。
[0222]如果第一和第二格式具有不同的色彩采樣率，則編碼器或解碼器(利用或不利用濾波)執(zhí)行下采樣或上采樣，以將先前重構(gòu)的內(nèi)容的樣本值集合的色彩采樣率改變到第二格式。例如，編碼器或解碼器可如下將先前重構(gòu)的內(nèi)容的樣本值集合P從4:4:4色彩采樣率轉(zhuǎn)換到4:2:0色彩采樣率。
[0223]假設(shè)先前重構(gòu)的內(nèi)容的樣本值為YUV 4:4:4樣本值。YUV 4:4:4視頻的空間分辨率針對所有色彩分量都為寬度X高度。在色彩采樣率轉(zhuǎn)換后，YUV 4:2:0視頻的空間分辨率針對Y分量為寬度X高度并且針對U和V分量為(寬度/2) X (高度/2)。對于每一位置(i, j)，當(dāng)O < i〈寬度并且O ( j〈高度時，編碼器或解碼器可將YUV 4:2:0視頻的樣本值計算成:
[0224]Y420 [i] [j] = Y444[i] [j]
[0225]U420 [i] [j] = (U444[2*i][2*j]+U444 [2*i+l[2*j]+U444 [2*i][2*j+l] +
[0226]U444[2*i+1] [2*j+l])》2
[0227]V420 [i] [j] = (V444[2*i][2*j]+V444 [2*i+l[2*j]+V444 [2*i][2*j+l] +
[0228]V444[2*i+1] [2*j+l])>>2
[0229]通過這種方法，U和V分量的樣本值被確定，而無需濾波。替換地，編碼器或解碼器在獲得經(jīng)下采樣的U和V分量時可使用濾波。
[0230]如果第一和第二格式具有不同的比特深度，則編碼器或解碼器如下將先前重構(gòu)的內(nèi)容的樣本值集合P從比特深度比特_深度(bit_depthref)改變到當(dāng)前塊的樣本值的比特深度比特_深度當(dāng)前(bit_depthcurrent)。
[0231]如果比特_深度參考〉比特_深度當(dāng)前
[0232]移位=比特_深度參考-比特_深度當(dāng)前
[0233]增加=1〈〈(移位-1)
[0234]P = (P+ 增加) >> 移位
[0235]否則如果比特_深度參考〈比特_深度當(dāng)前
[0236]移位=比特_深度當(dāng)f比特_深度參考
[0237]P? =移位
[0238]例如，假設(shè)第一格式的比特深度為每樣本10比特，第二格式的比特深度為每樣本8比特，并且當(dāng)前塊使用幀內(nèi)空間預(yù)測。編碼器或解碼器獲得在幀內(nèi)空間預(yù)測中使用的相鄰位置的10比特樣本值。該10比特樣本值被轉(zhuǎn)換成8比特樣本值，該8比特樣本值隨后被用于生成當(dāng)前塊的8比特預(yù)測的樣本值。
[0239]在轉(zhuǎn)換(1632)后，編碼器或解碼器使用先前重構(gòu)的內(nèi)容的經(jīng)轉(zhuǎn)換樣本值的集合來預(yù)測(1642)當(dāng)前塊的樣本值。在編碼期間，編碼器可隨后生成、編碼和重構(gòu)(1652)殘留值。在解碼期間，解碼器可重構(gòu)(1652)殘留值。編碼器或解碼器隨后至少部分地基于預(yù)測的樣本值來重構(gòu)(1662)當(dāng)前塊的樣本值。對于非跳躍的塊，編碼器或解碼器可將預(yù)測的樣本值與經(jīng)重構(gòu)的殘留值組合以產(chǎn)生經(jīng)重構(gòu)的樣本值。
[0240]這時，當(dāng)前塊的經(jīng)重構(gòu)樣本值處于第二格式。當(dāng)前塊的經(jīng)重構(gòu)樣本值在存儲成經(jīng)重構(gòu)內(nèi)容的一部分之前被轉(zhuǎn)換成第一格式。編碼器或解碼器將當(dāng)前塊的經(jīng)重構(gòu)樣本值從第二格式轉(zhuǎn)換(1672)成第一格式，并將現(xiàn)在處于第一格式(例如，主格式)的當(dāng)前塊的經(jīng)轉(zhuǎn)換的、經(jīng)重構(gòu)樣本值存儲(1670)成先前重構(gòu)的內(nèi)容的一部分。
[0241]例如，如果第一格式和第二格式具有不同的色彩空間，則編碼器或解碼器執(zhí)行色彩空間變換操作和/或色彩空間重排序操作以將當(dāng)前塊的經(jīng)重構(gòu)的樣本值的色彩空間改變到第一格式。(從第二格式到第一格式的色彩空間轉(zhuǎn)換操作一般反映從第一格式到第二格式的早期色彩空間轉(zhuǎn)換操作。)例如，編碼器或解碼器可如下將當(dāng)前塊的經(jīng)重構(gòu)的樣本值R從YCoCg色彩空間轉(zhuǎn)換到RGB色彩空間。
[0242]假設(shè)某位置在YCoCg色彩空間中的樣本值分別為RsY、RsCci和Rs ^并且當(dāng)前比特深度為比特_深度a#if。為了調(diào)整動態(tài)范圍，術(shù)語增加_值(add_value)被定義成1〈〈(比特_深度-D (例如，對于8比特樣本值為128)。該位置在RGB色彩空間中的樣本值Rsr、Rsg和Rsb可通過以下來計算:
[0243]Rsc。-=增加 _值
[0244]Rscg-=增加 _值
[0245]Rsr= Rs Y+RsCo-RsCg
[0246]Rsg= Rs Y+RsCg
[0247]Rsb= Rs Y-RsCo-RsCg
[0248]樣本值Rsr、Rsg^P Rs 0皮夾在由最小樣本值和最大樣本值限定的范圍中。
[0249]更一般地，供從第二色彩空間變換回第一色彩空間的色彩轉(zhuǎn)換矩陣CC—矩陣2—__! (CC_matrix2_to l)可被定義成:
[0250][C go? C 01，C 02[0251 ] c 10，c Ii, c 12
[0252]C 20? C 21，C 22]
[0253]為了調(diào)整輸出的動態(tài)范圍，可使用偏移矩陣CC—偏移2—n (CC—offsets”?！猑。偏移CC—偏移2—i可被定義成:
[0254][o’ ο,
[0255]O’ 1?
[0256]O’ 2]
[0257]假設(shè)某位置在第二色彩空間中的樣本值為[Rs。。，RS(]1，Rsffi]τ。該位置在第一色彩空間中的樣本值Rsra可被計算成:
[0258]Rscci= CC_ 矩陣 2—到—I* (Rscc2+CC_ 偏移 2—到—D
[0259]樣本值Rsra可夾在適當(dāng)?shù)姆秶鷥?nèi)。
[0260]針對經(jīng)重構(gòu)的樣本值R的色彩空間重排序操作可通過對這樣的樣本值的塊或平面的色彩分量進行重排序以便改變主要色彩分量和次要色彩分量的次序來實現(xiàn)。
[0261]如果第一和第二格式具有不同的色彩采樣率，則編碼器或解碼器(利用或不利用濾波)執(zhí)行下采樣或上采樣，以將當(dāng)前塊的經(jīng)重構(gòu)的樣本值的色彩采樣率改變到第一格式。(從第二格式到第一格式的色彩采樣率轉(zhuǎn)換操作一般反映從第一格式到第二格式的早期色彩采樣率轉(zhuǎn)換操作。)例如，編碼器或解碼器可通過對經(jīng)下采樣的色彩分量進行上采樣來將當(dāng)前塊的經(jīng)重構(gòu)樣本值R從4:2:0色彩采樣率轉(zhuǎn)換到4:4:4色彩采樣率。
[0262]如果第一和第二格式具有不同的比特深度，則編碼器或解碼器如下將當(dāng)前塊的經(jīng)重構(gòu)樣本值R從比特深度比特_深度alii轉(zhuǎn)換成經(jīng)重構(gòu)內(nèi)容的樣本值的比特深度比特_深度參考。
[0263]如果比特_深度_>比特_深度
[0264]移位=比特_深度參考-比特_深度當(dāng)前
[0265]R? =移位
[0266]否則如果比特_深度參考〈比特_深度當(dāng)U
[0267]移位=比特_深度比特_深度參考
[0268]增加=1〈〈(移位-1)
[0269]R = (R+ 增加) >> 移位
[0270]編碼器或解碼器可對片或圖片的其他塊重復(fù)技術(shù)(1600)。
[0271]在圖16中，轉(zhuǎn)換(1632)在預(yù)測(1642)之前發(fā)生。替換地，對于一些類型的預(yù)測(例如，幀內(nèi)空間預(yù)測、幀內(nèi)BC預(yù)測)，轉(zhuǎn)換可遵循以下預(yù)測。在這種情況下，編碼器或解碼器使用先前重構(gòu)的內(nèi)容的樣本值集合來預(yù)測當(dāng)前塊的樣本值，隨后將當(dāng)前塊的預(yù)測的樣本值從第一格式轉(zhuǎn)換到第二格式。編碼器或解碼器至少部分地基于當(dāng)前塊的經(jīng)轉(zhuǎn)換的預(yù)測的樣本值來重構(gòu)當(dāng)前塊的樣本值。
[0272]例如，假設(shè)第一格式的比特深度為每樣本10比特，第二格式的比特深度為每樣本8比特，并且當(dāng)前塊使用幀內(nèi)空間預(yù)測。編碼器或解碼器獲得幀內(nèi)空間預(yù)測中使用的各鄰近位置的10比特樣本值。這些10比特樣本值用于生成10比特的預(yù)測的樣本值，這些10比特的預(yù)測的樣本值隨后被轉(zhuǎn)換成8比特樣本值。
[0273]替換地，經(jīng)重構(gòu)內(nèi)容的單元的樣本值可以以用于編碼這些單元的格式來存儲。還存儲對相應(yīng)單元的編碼格式的某個指示。經(jīng)重構(gòu)內(nèi)容的樣本值被按需轉(zhuǎn)換成另一格式以供預(yù)測。
[0274]F.去塊操作的示例
[0275]在編碼或解碼期間，編碼器或解碼器可根據(jù)一個或多個規(guī)則對先前重構(gòu)的內(nèi)容執(zhí)行自適應(yīng)內(nèi)環(huán)路去塊。在一些情況下，去塊可被應(yīng)用在被編碼成具有不同色彩空間的兩個塊之間的邊界上。
[0276]例如，在自適應(yīng)去塊的一些實現(xiàn)中，針對兩個塊之間的邊界的去塊過濾器的強度至少部分地基于毗鄰塊中的任一者是否具有非零殘留值。當(dāng)兩個毗鄰塊具有不同的色彩空間時，針對這些塊之間的邊界的去塊過濾器的強度可取決于這兩個毗鄰塊的主要分量是否具有非零殘留值。例如，第一毗鄰塊的主要分量被評估，并且第二毗鄰塊的主要分量被評估，即使色彩空間對于這兩個塊而言是不同的。過濾器強度取決于這些塊的任一主要分量是否具有非零殘留值。
[0277]替換地，(諸)規(guī)則可考慮兩個毗鄰塊的不同色彩空間。在該情況下，當(dāng)兩個毗鄰塊具有不同的色彩空間時，針對這些塊之間的邊界的去塊過濾器的強度取決于這兩個毗鄰塊的相應(yīng)分量是否具有非零殘留值。例如，假設(shè)一個毗鄰塊的色彩空間為GBR，并且另一毗鄰塊的色彩空間為RGB。兩個色彩空間為RGB型色彩空間。在確定G分量的過濾器強度時，編碼器或解碼器考慮第一塊的第一分量(G)的殘留值以及第二塊的第二分量(G)的殘留值。自適應(yīng)去塊的該變型可用于具有不同RGB型色彩空間的塊。
[0278]鑒于可應(yīng)用所公開的本發(fā)明的原理的許多可能的實施例，應(yīng)當(dāng)認識到，所示實施例僅是本發(fā)明的優(yōu)選示例，并且不應(yīng)認為是限制本發(fā)明的范圍。相反，本發(fā)明的范圍由后續(xù)的權(quán)利要求來界定。我們要求作為我們的發(fā)明保護落入這些權(quán)利要求范圍和精神內(nèi)的所有內(nèi)容。
【主權(quán)項】
1.一種在具有視頻編碼器或圖像編碼器的計算設(shè)備中的方法，該方法包括: 對序列內(nèi)的視頻進行編碼，包括在編碼期間在所述序列內(nèi)的所述視頻的至少一些單元之間空間地和/或時間地切換色彩空間、色彩采樣率和/或比特深度；以及 在比特流中輸出經(jīng)編碼的數(shù)據(jù)，所述經(jīng)編碼的數(shù)據(jù)包括指示所述色彩空間、所述色彩采樣率和/或所述比特深度如何在所述序列內(nèi)的所述視頻的所述至少一些單元之間切換的一個或多個信號。2.—種在具有視頻解碼器或圖像解碼器的計算設(shè)備中的方法，該方法包括: 接收比特流中的經(jīng)編碼的數(shù)據(jù)，所述經(jīng)編碼的數(shù)據(jù)包括指示色彩空間、色彩采樣率和/或比特深度如何在序列內(nèi)的視頻的至少一些單元之間切換的一個或多個信號；以及 解碼所述經(jīng)編碼的數(shù)據(jù)，包括在解碼期間在所述序列內(nèi)的所述視頻的所述至少一些單元之間空間地和/或時間地切換所述色彩空間、所述色彩采樣率和/或所述比特深度。3.如權(quán)利要求1或2所述的方法，其特征在于，所述視頻的所述單元是所述序列的圖片。4.如權(quán)利要求1或2所述的方法，其特征在于，所述視頻的所述單元是所述序列的給定圖片的片。5.如權(quán)利要求1或2所述的方法，其特征在于，所述視頻的所述單元是所述序列的給定圖片的塊。6.如權(quán)利要求1-5中的任一項所述的方法，其特征在于，所述切換包括使用色彩空間變換操作在所述色彩空間中的兩個色彩空間之間進行改變。7.如權(quán)利要求6所述的方法，其特征在于，所述色彩空間包括至少一個YUV型色彩空間和至少一個RGB型色彩空間。8.如權(quán)利要求1-5中的任一項所述的方法，其特征在于，所述切換包括使用色彩空間重排序操作在所述色彩空間中的兩個色彩空間之間進行改變。9.如權(quán)利要求8所述的方法，其特征在于，所述色彩空間包括多個RGB型色彩空間。10.如權(quán)利要求1-5中的任一項所述的方法，其特征在于，所述經(jīng)編碼的數(shù)據(jù)進一步包括標識或定義所述色彩空間的信息。11.如權(quán)利要求10所述的方法，其特征在于，所述信息包括對在所述色彩空間中的兩個色彩空間之間的色彩空間變換操作有用的值的矩陣。12.如權(quán)利要求1-11中的任一項所述的方法，其特征在于，所述切換包括在所述色彩采樣率中的兩個色彩采樣率之間進行改變。13.如權(quán)利要求12所述的方法，其特征在于，所述色彩采樣率包括4:4:4、4:2:2、4:2:0和4:0:0中的兩個或更多個。14.如權(quán)利要求1-13中的任一項所述方法，其特征在于，所述切換包括在所述比特深度中的兩個比特深度之間進行改變。15.如權(quán)利要求14所述的方法，其特征在于，所述比特深度包括每樣本12比特、每樣本10比特和每樣本8比特中的兩個或更多個。16.如權(quán)利要求14所述的方法，其特征在于，所述視頻的所述單元中的給定單元的不同色彩分量具有不同的比特深度。17.如權(quán)利要求1-16中的任一項所述的方法，其特征在于，所述一個或多個信號包括針對所述視頻的所述單元中的給定單元的標志值，所述標志值指示在針對所述色彩空間、所述色彩采樣率或所述比特深度的兩個選項之間的選擇。18.如權(quán)利要求1-16中的任一項所述的方法，其特征在于，所述一個或多個信號包括針對所述視頻的所述單元中的給定單元的句法元素，所述句法元素指示在針對所述色彩空間、所述色彩采樣率或所述比特深度的三個或更多個選項之間的選擇。19.如權(quán)利要求1-16中的任一項所述的方法，其特征在于，所述一個或多個信號包括一參數(shù)針對所述視頻的所述單元中的給定單元的增量值，所述增量值表示所述參數(shù)的實際值及其預(yù)測值之間的差。20.如權(quán)利要求19所述的方法，其特征在于，所述預(yù)測值是序列層參數(shù)。21.如權(quán)利要求19所述的方法，其特征在于，所述預(yù)測值基于所述參數(shù)針對所述視頻的所述單元之中的一個或多個先前單元的一個或多個實際值。22.如權(quán)利要求1-21中的任一項所述的方法，其特征在于，所述編碼或解碼包括至少部分地基于先前重構(gòu)的內(nèi)容的樣本值集合來預(yù)測當(dāng)前圖片中的當(dāng)前塊的樣本值，其中所述先前重構(gòu)的內(nèi)容的樣本值集合是用第一格式存儲的，并且其中所述當(dāng)前塊的樣本值是用不同于所述第一格式的第二格式來編碼的。23.如權(quán)利要求22所述的方法，其特征在于，所述預(yù)測包括: 將所述先前重構(gòu)的內(nèi)容的樣本值集合從所述第一格式轉(zhuǎn)換到所述第二格式； 使用所述先前重構(gòu)的內(nèi)容的經(jīng)轉(zhuǎn)換樣本值的集合來預(yù)測所述當(dāng)前塊的樣本值；以及 至少部分地基于所述當(dāng)前塊的預(yù)測的樣本值來重構(gòu)所述當(dāng)前塊的樣本值。24.如權(quán)利要求23所述的方法，其特征在于，從所述第一格式到所述第二格式的轉(zhuǎn)換包括在所述色彩空間中的兩個色彩空間之間轉(zhuǎn)換、在所述色彩采樣率中的兩個色彩采樣率之間轉(zhuǎn)換、或者在所述比特深度的兩個比特深度之間轉(zhuǎn)換。25.如權(quán)利要求22所述的方法，其特征在于，所述預(yù)測包括: 使用所述先前重構(gòu)的內(nèi)容的樣本值集合來預(yù)測所述當(dāng)前塊的樣本值； 將所述當(dāng)前塊的預(yù)測的樣本值從所述第一格式轉(zhuǎn)換到所述第二格式；以及 至少部分地基于所述當(dāng)前塊的經(jīng)轉(zhuǎn)換的預(yù)測的樣本值來重構(gòu)所述當(dāng)前塊的樣本值。26.如權(quán)利要求23-25中的任一項所述的方法，其特征在于，還包括，在所述預(yù)測之后: 將所述當(dāng)前塊的經(jīng)重構(gòu)的樣本值從所述第二格式轉(zhuǎn)換到所述第一格式；以及 存儲所述當(dāng)前塊的經(jīng)轉(zhuǎn)換的重構(gòu)的樣本值作為所述先前重構(gòu)的內(nèi)容的一部分。27.如權(quán)利要求22-26中的任一項所述的方法，其特征在于，所述預(yù)測是圖片內(nèi)預(yù)測，并且其中所述先前重構(gòu)的內(nèi)容的樣本值集合是所述當(dāng)前圖片的一部分。28.如權(quán)利要求22-26中的任一項所述的方法，其特征在于，所述預(yù)測是圖片內(nèi)預(yù)測，并且其中所述先前重構(gòu)的內(nèi)容的樣本值集合是參考圖片的一部分。29.如權(quán)利要求1-21中的任一項所述的方法，其特征在于，所述編碼或解碼包括至少部分地基于先前重構(gòu)的內(nèi)容的樣本值集合來預(yù)測當(dāng)前圖片中的當(dāng)前塊的樣本值，并且其中所述預(yù)測包括評估所述先前重構(gòu)的內(nèi)容的樣本值集合以及所述當(dāng)前塊的樣本值是否處于不同的格式。30.如權(quán)利要求1-21中的任一項所述的方法，其特征在于，所述編碼或解碼包括根據(jù)一個或多個規(guī)則來對先前重構(gòu)的內(nèi)容進行去塊。31.如權(quán)利要求30所述的方法，其特征在于，所述去塊包括取決于所述兩個毗鄰塊的主要分量是否具有非零殘留值來調(diào)整去塊過濾器的強度。32.如權(quán)利要求30所述的方法，其特征在于，所述一個或多個規(guī)則考慮所述先前重構(gòu)的內(nèi)容內(nèi)的兩個毗鄰塊的不同色彩空間，并且其中所述去塊包括取決于所述兩個毗鄰塊的相應(yīng)分量是否具有非零殘留值來調(diào)整去塊濾波器的強度。33.一種適于執(zhí)行權(quán)利要求1-32中的任一項所述的方法的計算設(shè)備。34.一個或多個存儲計算機可執(zhí)行指令的計算機可讀存儲介質(zhì)，所述計算機可執(zhí)行指令使得計算設(shè)備因此被編程為執(zhí)行如權(quán)利要求1-32中的任一項所述的方法。
【專利摘要】一種對視頻序列的單元進行自適應(yīng)編碼和解碼時的方法或設(shè)備可改善編碼效率。一種方法或設(shè)備包括含在視頻序列內(nèi)的各單元之間自適應(yīng)切換色彩空間的編碼/解碼。一種方法或設(shè)備包括含在視頻序列內(nèi)的各單元之間自適應(yīng)切換色彩采樣率的編碼/解碼。又一種方法或設(shè)備包括含在視頻序列內(nèi)的各單元之間自適應(yīng)切換比特深度的編碼/解碼。
【IPC分類】H04N19/61
【公開號】CN105230023
【申請?zhí)枴緾N201480029679
【發(fā)明人】B·李, J·許, F·吳
【申請人】微軟技術(shù)許可有限責(zé)任公司
【公開日】2016年1月6日
【申請日】2014年3月4日
【公告號】WO2015131328A1