話)提供殘留值(518)。在當(dāng)前圖片的重構(gòu)期間，對于非跳躍模式塊，經(jīng)重構(gòu)的殘留值與預(yù)測(558)組合來從視頻信號(505)中產(chǎn)生對原始內(nèi)容的近似或精確的重構(gòu)(538)。(在有損壓縮中，一些信息從視頻信號(505)中丟失。)
[0123]在變換器/縮放器/量化器(530)中，頻率變換器將空間域視頻信息轉(zhuǎn)換為頻域(即頻譜、變換)數(shù)據(jù)。對于基于塊的視頻編碼，頻率變換器將離散余弦變換(“DCT”)、其整數(shù)近似、或另一類型的前向塊變換(例如離散正弦變換或其整數(shù)近似)應(yīng)用于預(yù)測殘留數(shù)據(jù)的塊(或者在預(yù)測(558)為空的情況下，應(yīng)用于樣本值數(shù)據(jù))，從而產(chǎn)生頻率變換系數(shù)的塊。編碼器(500)可能還能夠指示這樣的變換步驟被省略了?？s放器/量化器對變換系數(shù)進行縮放和量化。例如，量化器用量化步驟尺寸將死區(qū)標(biāo)量量化應(yīng)用于的頻域數(shù)據(jù)，該量化步驟尺寸在逐圖片的基礎(chǔ)上、逐小塊的基礎(chǔ)上、逐片的基礎(chǔ)上、逐塊的基礎(chǔ)上、因頻率而異的基礎(chǔ)上或在其他基礎(chǔ)上變化。經(jīng)量化的變換系數(shù)數(shù)據(jù)(532)被提供給頭部格式化器/熵編碼器(590)。
[0124]在縮放器/逆變換器(535)中，縮放器/逆量化器對經(jīng)量化的變換系數(shù)執(zhí)行逆縮放和逆量化。逆頻率變換器執(zhí)行逆頻率變換，從而產(chǎn)生經(jīng)重構(gòu)的預(yù)測殘留值或樣本值的塊。對于非跳躍模式塊，編碼器(500)將經(jīng)重構(gòu)的殘留值與預(yù)測(558)的值(例如，經(jīng)運動補償?shù)念A(yù)測值、圖片內(nèi)預(yù)測值)組合以形成重構(gòu)(538)。對于跳躍模式塊，編碼器(500)使用預(yù)測(558)的值作為重構(gòu)(538) ο
[0125]對于圖片內(nèi)預(yù)測，重構(gòu)(538)的值可以被饋送回圖片內(nèi)估計器(540)和圖片內(nèi)預(yù)測器(545)。同樣，重構(gòu)(538)的值可以被用于后續(xù)圖片的運動補償?shù)念A(yù)測。重構(gòu)(538)的值可以被進一步濾波。對于視頻信號(505)的給定圖片，濾波控件(560)確定如何對重構(gòu)(538)的值執(zhí)行去塊濾波和SAO濾波。濾波控件(560)生成濾波控制數(shù)據(jù)(562)，它被提供給頭部格式化器/熵編碼器(590)和合并器/ (諸)濾波器(565)。
[0126]在合并器/(諸)濾波器(565)中，編碼器(500)將來自不同小塊的內(nèi)容合并到圖片的經(jīng)重構(gòu)版本中。編碼器(500)根據(jù)濾波器控制數(shù)據(jù)(562)選擇性地執(zhí)行去塊濾波和SAO濾波，以便自適應(yīng)地平滑各圖片中的各邊界上的間斷?？商鎿Q地或另外地應(yīng)用其它濾波(例如去振鈴濾波或ALF;未示出)。取決于編碼器(500)的設(shè)置，小塊邊界可以被選擇性地濾波或根本不被濾波，并且編碼器(500)可以在經(jīng)編碼的比特流內(nèi)提供指示這樣的濾波是否被應(yīng)用的句法。
[0127]經(jīng)解碼圖片緩沖器(570)緩沖經(jīng)重構(gòu)的當(dāng)前圖片以供在后續(xù)的運動補償?shù)念A(yù)測中使用。
[0128]頭部格式化器/熵編碼器(590)格式化和/或熵編碼通用控制數(shù)據(jù)(522)、量化的變換系數(shù)數(shù)據(jù)(532)、幀內(nèi)預(yù)測數(shù)據(jù)(542)、運動數(shù)據(jù)(552)以及濾波器控制數(shù)據(jù)(562)。通用控制數(shù)據(jù)(522)包括為各圖片、片、塊或視頻的其他單元指示色彩空間、色彩采樣率和/或比特深度的信號。這樣的信號可例如被包括在PPS、片頭部、塊句法結(jié)構(gòu)或其他句法結(jié)構(gòu)中，并且可被熵編碼或信號化成固定長度值。頭部格式化器/熵編碼器(590)還可對以下信息進行格式化和/或熵編碼:標(biāo)識或定義可用色彩空間的信息(例如，預(yù)定義色彩空間、針對色彩空間變換操作的自定義度量的列表)、標(biāo)識或定義可用色彩采樣率的信息(例如，預(yù)定義色彩采樣率、其他色彩采樣率或用于下采樣和上采樣的操作的標(biāo)識的列表)、和/或標(biāo)識或定義可用比特深度的信息(例如，預(yù)定義比特深度、其他比特深度或用于比特深度轉(zhuǎn)換的操作的標(biāo)識的列表)，這些信息可被解碼器在自適應(yīng)切換期間使用。
[0129]頭部格式化器/熵編碼器(590)在經(jīng)編碼視頻比特流(595)中提供經(jīng)編碼的數(shù)據(jù)。經(jīng)編碼的視頻比特流的格式(595)可以是H.265/HEVC格式、Windows媒體視頻格式、VC-1 格式、MPEG-x 格式(例如，MPEG-1、MPEG-2 或 MPEG-4)、H.26x 格式(例如，H.261、H.262、H.263或H.264)或其它格式的變型或擴展。
[0130]取決于所需的壓縮的實現(xiàn)和類型，編碼器(500)的各模塊可被添加、省略、拆分成多個模塊、與其它模塊組合、和/或用相似的模塊來替代。在替換實施例中，具有不同模塊和/或其它配置的模塊的編碼器執(zhí)行所描述的一個或多個技術(shù)。編碼器的具體實施例通常使用編碼器(500)的變型或補充版本。所示的編碼器(500)內(nèi)的各模塊之間的關(guān)系指示了信息在編碼器中的一般流動；為簡明起見，未示出其它關(guān)系。
[0131]V1.示例視頻解碼器
[0132]圖6是結(jié)合其可實現(xiàn)所描述的一些實施例的通用解碼器￠00)的框圖。解碼器(600)接收經(jīng)編碼的視頻比特流￠05)中的經(jīng)編碼的數(shù)據(jù)并產(chǎn)生包括經(jīng)重構(gòu)視頻￠95)的圖片的輸出。經(jīng)編碼的視頻比特流的格式(605)可以是H.265/HEVC格式、Windows媒體視頻格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，
H.261、H.262、H.263或H.264)或其它格式的變型或擴展。
[0133]解碼器(600)是基于塊的并使用取決于實現(xiàn)的塊格式。塊可以在不同的階段被進一步細(xì)分。例如，圖片可以被劃分成64x64塊、32x32塊或16x16塊，這些塊隨后可以被劃分成更小的樣本值塊。在針對H.265/HEVC標(biāo)準(zhǔn)的解碼實現(xiàn)中，將圖片分割成CTU(CTB)、CU (CB)、PU (PB)和 TU (TB)。
[0134]解碼器(600)使用圖片內(nèi)解碼和/或圖片間解碼來對圖片進行解壓縮。解碼器(600)的許多組件被用于圖片內(nèi)解碼和圖片間解碼這兩者。由這些組件執(zhí)行的確切操作可以取決于正被解壓縮的信息的類型而變化。
[0135]緩沖器在經(jīng)編碼的視頻比特流￠05)中接收經(jīng)編碼數(shù)據(jù)，并使得接收到的經(jīng)編碼數(shù)據(jù)可用于解析器/熵解碼器￠10)。解析器/熵解碼器(610)通常應(yīng)用在編碼器(500)中執(zhí)行的熵編碼的逆(例如上下文自適應(yīng)二進制算術(shù)解碼)對經(jīng)熵編碼的數(shù)據(jù)進行熵解碼。
[0136]作為解析和熵解碼的結(jié)果，解析器/熵解碼器(610)產(chǎn)生通用控制數(shù)據(jù)￠22)、經(jīng)量化的變換系數(shù)數(shù)據(jù)￠32)、幀內(nèi)預(yù)測數(shù)據(jù)￠42)、運動數(shù)據(jù)￠52)以及濾波器控制數(shù)據(jù)(662)。通用控制數(shù)據(jù)(622)包括為各圖片、片、塊或視頻的其他單元指示色彩空間、色彩采樣率和/或比特深度的信號。這樣的信號可例如被包括在PPS、片頭部、塊句法結(jié)構(gòu)或其他句法結(jié)構(gòu)中，并且可被熵編碼或信號化成固定長度值。解析器/熵解碼器(610)還可對以下信息進行解析和/或熵解碼:標(biāo)識或定義可用色彩空間的信息(例如，預(yù)定義色彩空間、針對色彩空間變換操作的自定義度量的列表)、標(biāo)識或定義可用色彩采樣率的信息(例如，預(yù)定義色彩采樣率、其他色彩采樣率或用于下采樣和上采樣的操作的標(biāo)識的列表)、和/或標(biāo)識或定義可用比特深度的信息(例如，預(yù)定義比特深度、其他比特深度或用于比特深度轉(zhuǎn)換的操作的標(biāo)識的列表)，這些信息可被解碼器(600)在自適應(yīng)切換期間使用。
[0137]通用解碼控件(620)接收通用控制數(shù)據(jù)(622)并將控制信號(未示出)提供給其它模塊(例如縮放器/逆變換器(635)、圖片內(nèi)預(yù)測器(645)、運動補償器(655)以及幀內(nèi)/幀間切換)以設(shè)置和改變解碼期間的解碼參數(shù)。具體地，通用解碼控件(620)可使得解碼器(600)在解碼期間在逐圖片的基礎(chǔ)上、逐片的基礎(chǔ)上、逐塊的基礎(chǔ)上或在某一其他基礎(chǔ)上切換色彩空間、色彩采樣率和/或比特深度。
[0138]如果當(dāng)前圖片是使用圖片間預(yù)測來預(yù)測的，則運動補償器(655)接收運動數(shù)據(jù)(652)，例如MV數(shù)據(jù)、參考圖片選擇數(shù)據(jù)、以及合并模式索引值。運動補償器(655)將MV應(yīng)用于來自經(jīng)解碼圖片緩沖器(670)的(諸)經(jīng)重構(gòu)的參考圖片。運動補償器(655)產(chǎn)生針對當(dāng)前圖片中的幀間編碼塊的運動補償?shù)念A(yù)測。經(jīng)解碼圖片緩沖器(670)存儲一個或多個先前重構(gòu)的圖片以供用作參考圖片。
[0139]在解碼器(600)內(nèi)的分開路徑中，圖片內(nèi)預(yù)測預(yù)測器(645)接收幀內(nèi)預(yù)測數(shù)據(jù)(642)，例如指示幀內(nèi)預(yù)測使用空間預(yù)測還是幀內(nèi)BC預(yù)測的信息(例如，每幀內(nèi)塊的標(biāo)志值)、(針對幀內(nèi)空間預(yù)測的)預(yù)測模式方向、以及(針對幀內(nèi)BC預(yù)測的)BV值。對于幀內(nèi)空間內(nèi)預(yù)測，通過根據(jù)預(yù)測模式數(shù)據(jù)使用當(dāng)前圖片的重構(gòu)￠38)的值，圖片內(nèi)預(yù)測器(645)從當(dāng)前圖片的相鄰的、先前重構(gòu)的樣本值中空間地預(yù)測當(dāng)前圖片的當(dāng)前塊的樣本值?；蛘?，對于使用BV值的幀內(nèi)BC預(yù)測，圖片內(nèi)預(yù)測器(645)使用圖片內(nèi)預(yù)測參考區(qū)域的先前重構(gòu)的樣本值來預(yù)測當(dāng)前塊的樣本值，圖片內(nèi)預(yù)測參考區(qū)域由針對當(dāng)前塊的BV值來指示。
[0140]幀內(nèi)/幀間切換選擇對給定塊的預(yù)測(658)是經(jīng)運動補償?shù)念A(yù)測還是圖片內(nèi)預(yù)測。例如，當(dāng)遵循H.265/HEVC句法時，可以基于為圖片中的CU編碼的句法元素來控制幀內(nèi)/幀間切換，該CU可以包括幀內(nèi)預(yù)測的CU和幀間預(yù)測的CU。對于非跳躍模式塊，解碼器(600)將預(yù)測(658)與重構(gòu)的殘留值組合以產(chǎn)生來自視頻信號的內(nèi)容的重構(gòu)(638)。對于跳躍模式塊，解碼器(600)使用預(yù)測(658)的值作為重構(gòu)(638)。
[0141]為了重構(gòu)非跳躍模式塊的殘留值，縮放器/逆變換器(635)接收并處理經(jīng)量化的變換系數(shù)數(shù)據(jù)￠32)。在縮放器/逆變換器(635)中，縮放器/逆量化器對經(jīng)量化的變換系數(shù)執(zhí)行逆縮放和逆量化。逆頻率變換器執(zhí)行逆頻率變換，從而產(chǎn)生經(jīng)重構(gòu)的預(yù)測殘留值或樣本值的塊。例如，逆頻率變換器將逆塊變換應(yīng)用到頻率變換系數(shù)，從而產(chǎn)生樣本值數(shù)據(jù)或預(yù)測殘留數(shù)據(jù)。逆頻率變換可以是逆DCT、其整數(shù)近似、或另一種類型的逆頻率變換(例如逆離散正弦變換或其整數(shù)近似)。
[0142]對于圖片內(nèi)預(yù)測，重構(gòu)(638)的值可以被饋送回圖片內(nèi)預(yù)測器(645)。對于圖片間預(yù)測，重構(gòu)(638)的值可以被進一步濾波。在合并器/(諸)濾波器(665)中，解碼器(600)將來自不同小塊的內(nèi)容合并到圖片的經(jīng)重構(gòu)版本中。解碼器(600)根據(jù)濾波器控制數(shù)據(jù)(662)和濾波自適應(yīng)規(guī)則來執(zhí)行去塊濾波和SAO濾波，以便自適應(yīng)地平滑各圖片中的各邊界上的間斷?？商鎿Q地或另外地應(yīng)用其它濾波(例如去振鈴濾波或ALF;未示出)。小塊邊界可以被選擇性地濾波或根本不濾波，這取決于解碼器￠00)的設(shè)置或經(jīng)編碼的比特流數(shù)據(jù)內(nèi)的句法指示。經(jīng)解碼圖片緩沖器(670)緩沖經(jīng)重構(gòu)的當(dāng)前圖片以供在后續(xù)的運動補償?shù)念A(yù)測中使用。
[0143]解碼器(600)還可包括后處理濾波器。后處理濾波器(608)可以包括去振鈴濾波、自適應(yīng)維納濾波、膜顆粒再現(xiàn)濾波、SAO濾波或另一種類型的濾波。
[0144]取決于所希望的解壓縮的實現(xiàn)和類型，解碼器￠00)的模塊可以被添加、省略、拆分成多個模塊、與其他模塊組合和/或用類似的模塊來替代。在替換實施例中，具有不同模塊和/或其它配置的模塊的解碼器執(zhí)行一個或多個所描述的技術(shù)。解碼器的具體實施例通常使用解碼器(600)的變型或補充版本。所示的解碼器￠00)內(nèi)的模塊之間的關(guān)系指示信息在解碼器中的一般流動；為簡明起見，未示出其它關(guān)系。
[0145]VI1.自適應(yīng)切換色彩空間、色彩采樣率和/或比特深度
[0146]在編碼期間，編碼器可在各方面都比次要色彩分量更仔細(xì)地對待主要色彩分量(例如，針對編碼模式的更多選項，可能更少的量化步驟尺寸)。同樣，通過對次要色彩分量進行子采樣，編碼器可向主要色彩分量分派相對更多的比特(并因此分派更多的質(zhì)量)。
[0147]視頻序列的不同圖片、片或塊的樣本值可具有不同的統(tǒng)計特性。這些不同的統(tǒng)計特性可影響編碼效率，可在速率-失真性能(給定比特率的較低或較高質(zhì)量；或給定質(zhì)量的較低或較高比特率)方面對該編碼效率進行測量。
[0148]該章節(jié)呈現(xiàn)對視頻序列的各單元的自適應(yīng)編碼和解碼的各種特征。單元可以是圖片、片、塊或視頻序列的其他部分。例如，這些特征中的一些涉及包括色彩空間在視頻序列的各單元之間的自適應(yīng)切換的編碼/解碼。其他特征涉及包括色彩采樣率在視頻序列內(nèi)的各單元之間的自適應(yīng)切換的編碼/解碼。又一些特征涉及包括比特深度在視頻序列內(nèi)的各單元之間的自適應(yīng)切換的編碼/解碼。這些特征可在許多場景下改善編碼效率，并可被組合地或分開地使用。
[0149]具體地，在對某個“人工”創(chuàng)建的視頻內(nèi)容(諸如屏幕捕捉內(nèi)容)進行編碼或者在對自然視頻和人工創(chuàng)建的視頻內(nèi)容的混合進行編碼時，對色彩空間、色彩采樣率和/或比特深度的自適應(yīng)切換可改善速率-失真性能，用于編碼/解碼屏幕捕捉內(nèi)容的常見場景包括遠(yuǎn)程桌面會議和對自然視頻或其它“混合內(nèi)容”視頻上的圖形覆蓋的編碼/解碼。
[0150]A.視頻類型
[0151]—般來說，屏幕捕捉視頻表示計算機屏幕或其他顯示的輸出。圖7示出具有可為屏幕捕捉提供輸入的內(nèi)容的計算機桌面環(huán)境(710)。例如，屏幕捕捉視頻可表示整個計算機桌面(711)的一系列圖像。或者，屏幕捕捉視頻可表示針對計算機桌面環(huán)境的窗口之一的一系列圖像，窗口為諸如包括游戲內(nèi)容的應(yīng)用窗口(713)、具有網(wǎng)頁內(nèi)容的瀏覽器窗口(712)或具有文字處理器內(nèi)容的窗口(714)。
[0152]作為計算機生成的、人工創(chuàng)建的視頻內(nèi)容，屏幕捕捉內(nèi)容往往具有與使用攝像機捕捉的自然視頻內(nèi)容相比相對較少的離散樣本值。例如，屏幕捕捉內(nèi)容的區(qū)域通常包括單個統(tǒng)一色彩，而自然視頻內(nèi)容中的區(qū)域更可能包括逐漸變化的色彩。同樣，屏幕捕捉內(nèi)容通常包括不同的結(jié)構(gòu)(例如，圖形、文本字符)，這些不同的結(jié)構(gòu)精確地逐幀重復(fù)，即使該內(nèi)容可能在空間上被移位(例如，由于滾動)。屏幕捕捉內(nèi)容通常是用具有高色度采樣分辨率的格式(例如YUV 4:4:4或RGB 4:4:4)來編碼的，但是它也可以用具有較低色度采樣分辨率的格式(例如YUV 4:2:0、YUV 4:2:2)來編碼。
[0153]圖8示出包括自然視頻(821)和人工創(chuàng)建的視頻內(nèi)容的復(fù)合視頻(820)。人工創(chuàng)建的視頻內(nèi)容包括自然視頻(821)旁邊的圖形(822)以及在自然視頻(821)下面運行的貼標(biāo)(823)。與圖7中示出的屏幕捕捉內(nèi)容類似，圖8中示出的人工創(chuàng)建的視頻內(nèi)容往往具有相對較少的離散樣本值。它還往往具有精確地逐幀重復(fù)(例如，由于滾動)的不同的結(jié)構(gòu)(例如，圖形、文本字符)。
[0154]B.自適應(yīng)切換的示例
[0155]對于色彩空間的自適應(yīng)切換，序列中的視頻的不同單元不同的色彩空間中編碼。例如，一些單元在YUV型色彩空間(例如YCbCr、YCoCg)中編碼，而其他單元在RGB型色彩空間(例如，RGB、BGR、GBR)中編碼。在這種情況下，編碼器或解碼器在適當(dāng)時對樣本值執(zhí)行色彩空間變換操作以在YUV型色彩空間和RGB型色彩空間之間切換。通常，色彩空間變換操作可被表示為在逐位置的基礎(chǔ)上執(zhí)行的矩陣乘法操作，其中某位置在第一色彩空間中的η個樣本值被乘以η X η矩陣以產(chǎn)生該位置在第二色彩空間中的η個樣本值。在實踐中，色彩空間變換操作可使用其他算法來實現(xiàn)。
[0156]作為對色彩空間的自適應(yīng)切換的另一示例，不同的單元可在不同的RGB型色彩空間中編碼，這些不同的RGB型色彩空間在其主要分量和各分量(例如，對于殘留數(shù)據(jù))被信號化的次序方面不同在這種情況下，編碼器或解碼器在恰當(dāng)時對樣本值的塊或平面執(zhí)行色彩空間重排序操作以改變哪個色彩分量是主要色彩分量。
[0157]在一些示例實現(xiàn)中，對于有損編碼，編碼器可在不同色彩空間中的任何色彩空間之間切換。然而，對于無損編碼，編碼器僅執(zhí)行可逆色彩空間轉(zhuǎn)換(例如，在RGB、BGR和GBR色彩空間之間對色彩分量進行重排序，或者在一些實現(xiàn)中，使用增加的中間比特深度來轉(zhuǎn)換到Y(jié)CoCg/或從YCoCg轉(zhuǎn)換)。
[0158]對于色彩采樣率的自適應(yīng)切換，序列中的視頻的不同單元是用不同的色彩采樣率來編碼的。例如，一些單元是用4:2:2或4:2:0格式(諸如YUV 4:2:2或YUV 4:2:0)來編碼的，而其他單元是用4:4:4格式(諸如YUV 4:4:4)來編碼的。RGB型色彩空間通常具有為4:4:4的色彩采樣率，但其色彩分量可改為是根據(jù)為4:2:2或4:2:0的色彩采樣率來子米樣的。
[0159]在對次要分量的樣本值進行水平地或垂直地下采樣時，編碼器或解碼器可執(zhí)行單純的子采樣、低通濾波加子采樣、或其他濾波加子采樣。對于對次要分量的樣本值的相應(yīng)上采樣，編碼器或解碼器使用例如樣本值重復(fù)和/或濾波來反轉(zhuǎn)該子采樣。
[0160]對于比特深度的自適應(yīng)切換，序列中的視頻的不同單元是用不同的比特深度來編碼的。例如，一些單元被編碼成具有12比特樣本值，而其他單元被編碼成具有10比特樣本值或8比特樣本值。當(dāng)在各比特深度之間轉(zhuǎn)換時，編碼器或解碼器可(利用或不利用舍入因子的添加)截短較高比特深度的樣本值以產(chǎn)生較低比特深度的樣本值，或縮放較低比特深度的樣本值以產(chǎn)生較高比特深度的樣本值。
[0161]編碼器通常以具有12比特樣本值的給定格式(諸如RGB 4:4:4)來接收輸入視頻。編碼器可針對視頻的給定單元在輸入格式和另一格式(具有不同的色彩空間、不同的色彩采樣率和/或不同的比特深度)之間轉(zhuǎn)換。色彩空間自適應(yīng)可單獨地或與色彩采樣率自適應(yīng)和/或比特深度自適應(yīng)組合地在圖片級、片級、塊級或某一其他級處執(zhí)行。類似地，色彩采樣率自適應(yīng)可單獨地或與色彩空間自適應(yīng)和/或比特深度自適應(yīng)組合地在圖片級、片級、塊級或某一其他級處執(zhí)行。比特深度自適應(yīng)可單獨地或與色彩空間自適應(yīng)和/或比特采樣率自適應(yīng)組合在圖片級、片級、塊級或某一其他級處執(zhí)行。
[0162]圖9示出針對序列(900)中的圖片的圖片自適應(yīng)色彩空間、色彩采樣率和/或比特深度。序列(900)包括一系列圖片。編碼器按需將輸入視頻從輸入視頻格式轉(zhuǎn)換成為給定圖片選擇的格式。圖片I的格式為具有8比特樣本值的YCbCr4:2:0，并且圖2的格式為具有8比特樣本值的RGB 4:4:4ο圖片3和4是RGB 4:4:4視頻，但其樣本值具有不同的比特深度。
[0163]圖1