背景技術：

工程師使用壓縮(也被稱為源編碼或信源編碼)來降低數(shù)字視頻的比特率。壓縮通過將信息轉(zhuǎn)換成較低比特率形式來降低存儲和傳送視頻信息的成本。壓縮可以是無損的，在這種情況下，重構(gòu)時的視頻質(zhì)量不受損，但是比特率的減小受到視頻的復雜性的限制?；蛘?，壓縮可能是有損的，在這種情況下，所重構(gòu)的視頻的質(zhì)量受損，但是比特率的減小更顯著。解壓縮(也被稱為解碼)從被壓縮的形式重構(gòu)原始信息的版本?！熬幗獯a器”是編碼器/解碼器系統(tǒng)。

在過去二十年內(nèi)，已經(jīng)采用了各種視頻編解碼器標準，包括itu-th.261、h.262(mpeg-2或iso/iec13818-2)、h.263、h.264(mpeg-1avi或iso/iec14496-10)以及h.265(hevc或iso/iec23008-2)標準、mpeg-1(iso/iec11172-2)和mpeg-4視覺(iso/iec14496-2)標準、以及smpte421m標準。視頻編解碼器標準通常限定用于編碼視頻比特流的語法的選項，其詳述了當在編碼和解碼中使用特定特征時比特流中的參數(shù)。在許多情況下，視頻編解碼器標準還提供了解碼器應當執(zhí)行的解碼操作的細節(jié)，以便在解碼中實現(xiàn)一致結(jié)果。除了編解碼器標準，還有各種專有編解碼器格式(諸如vp8、vp9、以及其他vpx格式)限定用于編碼視頻比特流的語法的其他選項以及對應的解碼操作。

對于編碼，諸如相機或屏幕捕獲模塊之類的視頻源通常提供被轉(zhuǎn)換成諸如yuv4:4:4色度采樣格式的格式的視頻。yuv格式包括具有表示近似明亮度(brightness)值的采樣值的亮度(luma)(或y)分量以及具有表示色差(colordifference)值的采樣值的多個色度(chroma)(或u和v)分量。在yuv4:4:4格式中，色度信息以與亮度信息相同的空間分辨率表示。

許多市售的視頻編碼器和解碼器僅支持yuv4:2:0色度采樣格式。與yuv4:4:4格式相比較，yuv4:2:0格式是對色度信息進行子采樣的格式，因此色度分辨率在水平方向和垂直方向上均是亮度分辨率的一半。作為設計原則，使用yuv4:2:0格式進行編碼/解碼的決定前提是基于以下理解：對于諸如自然的相機捕獲的視頻內(nèi)容的編碼/解碼之類的典型使用案例，觀眾通常不會注意以yuv4:2:0格式編碼/解碼的視頻與以yuv4:4:4格式編碼/解碼的視頻之間的顯著視覺差異。(與明亮度或強度(亮度)改變相比較，人眼對顏色(色度)改變較不敏感。)因此，對于每個畫面具有較少采樣的yuv4:2:0格式的壓縮優(yōu)勢是令人信服的。

然而，存在一些使用案例，其中視頻具有更豐富的顏色信息以及更高的顏色保真度可能是合理的。在這種使用情況下，yuv4:4:4色度采樣格式和yuv4:2:0色度采樣格式之間的差異更容易被觀眾感知到。例如，對于計算機屏幕文本內(nèi)容，具有人為的硬緣邊界的動畫視頻內(nèi)容、彩色文本、或更為普遍的視頻內(nèi)容的某些特征(諸如滾動標題和硬緣圖形、或信息集中在色度信道中的視頻)的編碼/解碼，yuv4:4:4格式可能優(yōu)于yuv4:2:0格式。一些編解碼器支持采用yuv4:4:4格式的視頻畫面的直接編碼和解碼，但缺乏對使用yuv4:4:4格式的編解碼器(尤其是以硬件實現(xiàn)的方式)的廣泛支持是個障礙。在速率-失真效率和計算復雜度方面，對于許多使用案例場景，提供具有yuv4:4:4質(zhì)量的視頻的其他現(xiàn)有方法仍有不足。

技術實現(xiàn)要素：

總而言之，具體實施方式提出了使用在采用低分辨率色度采樣格式(諸如yuv4:2:0)的編碼畫面上操作的視頻編碼器來編碼采用高分辨率色度采樣格式(諸如yuv4:4:4)的視頻畫面的創(chuàng)新。例如，根據(jù)判定規(guī)則集合，在逐區(qū)域的基礎上選擇性地對高色度分辨率細節(jié)進行編碼，使得比特率的增加(由于高色度分辨率細節(jié)的采樣值的編碼)發(fā)生在色度分辨率的對應增加可能以明顯的方式提高質(zhì)量的時間和地點。這樣，在采用低分辨率色度采樣格式的編碼畫面上操作的可用編碼器可以有效地用于提供高色度分辨率細節(jié)。

根據(jù)本文中所描述的創(chuàng)新的一個方面，諸如視頻編碼器系統(tǒng)之類的視頻處理工具將輸入畫面的采樣值封包成第一編碼畫面和第二編碼畫面。輸入畫面根據(jù)輸入畫面格式(例如，具有諸如4:4:4之類的色度采樣率)來組織。第一編碼畫面和第二編碼畫面分別根據(jù)第一編碼畫面格式和第二編碼畫面格式來組織。第一編碼畫面格式和第二編碼畫面格式可以是相同的編碼畫面格式或不同的編碼畫面格式(例如，不同的色度采樣率)。與輸入畫面格式相比，第一編碼畫面格式和第二編碼畫面格式中的至少一個編碼畫面格式可以具有較低色度采樣率，諸如4:2:0。第一編碼畫面包含用于輸入畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸入畫面的高色度分辨率細節(jié)的采樣值。

該視頻處理工具對第一編碼畫面和第二編碼畫面進行編碼以產(chǎn)生編碼數(shù)據(jù)。對于編碼，對于一個或多個區(qū)域中的每個區(qū)域，視頻處理工具評估該區(qū)域的一個或多個屬性(例如，該區(qū)域的改變程度、該區(qū)域的編碼數(shù)據(jù)的質(zhì)量和/或該區(qū)域中的內(nèi)容)。至少部分地基于評級結(jié)果，視頻處理工具確定是否對用于輸入畫面的高色度分辨率細節(jié)的區(qū)域中的采樣值進行編碼作為第二編碼畫面的一部分。視頻處理工具還可以至少部分地基于評估結(jié)果，確定是否對用于輸入畫面的低色度分辨率版本的區(qū)域中的采樣值進行編碼作為第一編碼畫面的一部分。視頻處理工具輸出編碼數(shù)據(jù)。

創(chuàng)新可以被實現(xiàn)為方法的一部分、為被配置成執(zhí)行該方法的計算機系統(tǒng)的一部分、或為有形計算機可讀介質(zhì)的一部分，該有形計算機可讀介質(zhì)存儲計算機可執(zhí)行指令，用于使得計算機系統(tǒng)當被編程時，執(zhí)行該方法。各種創(chuàng)新可以組合使用或分開使用。通過參考附圖進行的以下具體實施方式，本發(fā)明的前述和其他目的、特征和優(yōu)點將變得更加明顯。

附圖說明

圖1是其中可以實現(xiàn)一些所描述的實施例的示例計算機系統(tǒng)的圖。

圖2a和圖2b是其中可以實現(xiàn)一些所描述的實施例的示例網(wǎng)絡環(huán)境的圖。

圖3是其中可以實現(xiàn)一些所描述的實施例的一般的幀封包/解包系統(tǒng)的圖。

圖4是可以與其一起實現(xiàn)一些所描述的實施例的示例編碼器系統(tǒng)的圖。

圖5是可以與其一起實現(xiàn)一些所描述的實施例的示例解碼器系統(tǒng)的圖。

圖6a和圖6b是圖示了可以與其一起實現(xiàn)一些所描述的實施例的示例視頻編碼器的圖。

圖7是圖示了可以與其一起實現(xiàn)一些所描述的實施例的示例視頻解碼器的圖。

圖8a至圖8e是圖示了幀封包的示例方法的圖。

圖9是圖示了包括yuv4:2:0畫面的子序列和uuv4:2:0畫面的子序列的編碼畫面序列的圖。

圖10a和圖10b是圖示了yuv4:2:0畫面的子序列的編碼畫面之間的時間依賴性以及uuv4:2:0畫面的子序列的編碼畫面之間的時間依賴性的圖。

圖11和圖12是圖示了用于分別編碼和解碼用于輸入畫面/輸出畫面的低色度分辨率版本和高色度分辨率細節(jié)的不同的子序列中的編碼畫面的一般的技術的流程圖。

圖13是圖示了用于輸入畫面/輸出畫面的高色度分辨率細節(jié)的區(qū)域中的采樣值的選擇性編碼和解碼的圖。

圖14是圖示了用于輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中的采樣值的選擇性編碼的圖。

圖15和圖16是圖示了當選擇性地編碼和解碼用于輸入畫面/輸出畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中的采樣值時使用的區(qū)域數(shù)據(jù)的示例的圖。

圖17和圖18是圖示了用于分別選擇性地編碼和解碼用于高色度分辨率細節(jié)的區(qū)域中的采樣值的一般的技術的流程圖。

圖19是圖示了在用于選擇性地編碼用于輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中的采樣值的示例判定規(guī)則中所考慮的區(qū)域的圖。

圖20a至圖20e是圖示了用于選擇性地編碼用于輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中的采樣值的示例判定規(guī)則的流程圖。

圖21是圖示了用于當選擇性地編碼用于高色度分辨率細節(jié)的區(qū)域中的采樣值時應用判定規(guī)則的一般的技術的流程圖。

圖22a至圖22d是圖示了用于色度采樣值的抗混疊濾波和對應的恢復濾波的各方面的圖。

圖23是圖示了用于在輸出畫面的一個或多個高色度分辨率區(qū)域中選擇性地應用恢復濾波器的一般的技術的流程圖。

圖24是圖示了輸出畫面的低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的邊界處的去塊濾波的各方面的圖。

圖25是圖示了用于在輸出畫面的低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的一個或多個邊界處應用去塊濾波器的一般的技術的流程圖。

圖26是圖示了輸出畫面的區(qū)域中的自適應去振鈴(deringing)濾波的各方面的流程圖。

圖27a至圖27d是圖示了用于輸出畫面的高色度分辨率區(qū)域的去振鈴濾波器的示例的圖。

圖28是圖示了用于在輸出畫面的高色度分辨率區(qū)域中應用去振鈴濾波器的一般的技術的流程圖。

具體實施方式

具體實施方式提出了使用在采用低分辨率色度采樣格式(諸如yuv4:2:0)的編碼畫面上操作的視頻編碼器來編碼采用高分辨率色度采樣格式(諸如yuv4:4:4)的視頻畫面的創(chuàng)新。例如，根據(jù)判定規(guī)則集合，在逐區(qū)域的基礎上選擇性地對高色度分辨率細節(jié)進行編碼，使得比特率的增加(由于高色度分辨率細節(jié)的采樣值的編碼)發(fā)生在色度分辨率的對應增加可能以明顯的方式提高質(zhì)量的時間和地點。這樣，在采用低分辨率色度采樣格式的編碼畫面上操作的可用編碼器可以有效地用于提供高色度分辨率細節(jié)。

如本文中所使用的，術語“編碼畫面”指示經(jīng)編碼和解碼的畫面，其通常采用具有諸如4:2:0的色度采樣率的編碼畫面格式。術語“輸入畫面”指示將采樣值重排為用于編碼的編碼畫面格式之前的、通常具有諸如4:4:4之類的較高的色度采樣率的輸入畫面格式的畫面。相反，術語“輸出畫面”指示在解碼之后從編碼畫面格式重排采樣值之后的、通常具有與輸入畫面格式相同的色度采樣率的輸出畫面格式的畫面。本文中所描述的一些示例涉及對采用yuv4:4:4格式的輸入畫面/輸出畫面的采樣值進行封包/解包，用于使用適用于yuv4:2:0格式的編解碼器進行編碼/解碼。更一般地，所描述的方法可以用于其他色度采樣格式。例如，除了采樣比諸如為4:4:4、4:2:2、4:2:0、4:1:1、4:0:0等的y'uv、yiq、y'iq、ydbdr、ycbcr、ycocg之類的yuv色彩空間的變型之外，所描述的方法可以用于采樣率諸如為4:4:4、4:2:2、4:2:0、4:1:1、4:0:0等的諸如rgb、gbr之類的顏色空間作為色度采樣格式。術語“封包”指示其中用于第一畫面格式的畫面的一些或所有采樣值被分離、轉(zhuǎn)換、重排、重新格式化、濾波或以其他方式改變?yōu)椴捎玫诙嬅娓袷降囊粋€或多個畫面的任何操作。相反，術語“解包”指示其中用于采用第二畫面格式中的一個或多個畫面的一些或全部采樣值被組合、合成、轉(zhuǎn)換、重排、重新格式化、濾波或以其他方式改變?yōu)椴捎玫谝划嬅娓袷降漠嬅娴娜魏尾僮鳌?/p>

在本文中所描述的許多示例中，采用yuv4:4:4格式的輸入畫面被封包成采用yuv4:2:0格式的兩個編碼畫面，其被編碼。采用yuv4:2:0格式的兩個編碼畫面被解碼，并且(對于至少一些采樣值)解包成采用yuv4:4:4格式的輸出畫面。更一般地，采用輸入畫面格式的輸入畫面可以被封包成采用編碼畫面格式的多個編碼畫面，其對于相應的編碼畫面可以具有相同的編碼畫面格式或不同的編碼畫面格式(例如，不同色度采樣率)。例如，對于采用yuv4:4:4格式的輸入畫面，編碼畫面中的一個編碼畫面采用yuv4:2:2格式，另一編碼畫面采用4:0:0格式。在該配置中，采用yuv4:2:2格式的編碼畫面可以存儲輸入畫面的低色度分辨率版本，并且采用4:0:0的編碼畫面可以存儲高色度分辨率細節(jié)。

通常，當采用輸入畫面格式的輸入畫面被封包成采用編碼畫面格式的多個編碼畫面時，編碼畫面不包括重疊數(shù)據(jù)。例如，采用yuv4:4:4格式的輸入畫面的一些采樣值被封包成采用yuv4:2:0格式的第一編碼畫面(可能在濾波采樣值之后)，并且輸入畫面的其他采樣值被封包成采用yuv4:2:0格式的第二編碼畫面?？商娲?，編碼畫面可以包括重疊數(shù)據(jù)，其可能會損害壓縮效率。例如，假設采用yuv4:4:4格式的輸入畫面的采樣值被封包成采用yuv4:2:2格式或yuv4:2:0格式的第一編碼畫面。一些相同的采樣值以及附加的采樣值可以被封包成采用yuv4:2:0格式或yuv4:2:2格式的第二編碼畫面。

盡管本文中所呈現(xiàn)的操作處處被描述為通過視頻編碼器或視頻解碼器來執(zhí)行，但是在許多情況下，操作可以通過另一類型的媒體編碼器或媒體解碼器(例如，圖像編碼器或圖像解碼器)或其他媒體處理工具來執(zhí)行。例如，所描述的技術可以應用于靜止圖像編碼/解碼、醫(yī)學掃描內(nèi)容編碼/解碼、多光譜圖像內(nèi)容編碼/解碼等。

參考特定于h.264/avc標準或h.265/hevc標準的語法元素和操作來說明本文中提出的一些創(chuàng)新。本文中所提出的創(chuàng)新還可以被實現(xiàn)用于其他標準或格式。

當編碼某些“人為”創(chuàng)建的視頻內(nèi)容(諸如用于遠程桌面會議或另一使用案例場景的屏幕捕獲內(nèi)容)時，本文中所呈現(xiàn)的許多創(chuàng)新可以提高速率-失真性能。屏幕捕獲內(nèi)容通常包括重復的結(jié)構(gòu)(例如，圖形、文本字符)。屏幕捕獲內(nèi)容通常采用具有高色度采樣分辨率的格式(例如，yuv4:4:4或rgb4:4:4)進行編碼，盡管它還可以采用具有較低色度采樣分辨率(例如，yuv4:2:0)的格式進行編碼。用于編碼/解碼屏幕捕獲內(nèi)容的常見場景包括遠程桌面會議和編碼/解碼自然視頻上疊加的圖形或其他“混合內(nèi)容”視頻。本文中所提出的許多創(chuàng)新還可以用于自然視頻。

更一般地，本文中所提出的示例的各種備選方案是可能的。例如，可以通過改變所描述的方法動作的順序、通過拆分、重復或省略某些方法動作等來更改本文中所給出的方法中的一些方法。所公開的技術的各種方面可以組合使用或分開使用。不同的實施例使用所描述的創(chuàng)新中的一個或多個創(chuàng)新。本文中所提出的創(chuàng)新中的一些創(chuàng)新解決了背景技術中所提及的問題中的一個或多個問題。通常，給定的技術/工具不能解決所有這些問題。

i.示例計算機系統(tǒng)

圖1圖示了其中可以實現(xiàn)所描述的創(chuàng)新中的幾個創(chuàng)新的合適計算機系統(tǒng)(100)的一般的示例。該計算機系統(tǒng)(100)不旨在對使用范圍或功能性提出任何限制，因為本創(chuàng)新可以在多種通用計算機系統(tǒng)或?qū)Ｓ糜嬎銠C系統(tǒng)中實現(xiàn)。

參考圖1，計算機系統(tǒng)(100)包括一個或多個處理單元(110，115)和存儲器(120，125)。處理單元(110，115)執(zhí)行計算機可執(zhí)行指令。處理單元可以是通用cpu、asic中的處理器、或任何其他類型的處理器。在多處理系統(tǒng)中，多個處理單元執(zhí)行計算機可執(zhí)行指令以增加處理能力。例如，圖1示出了cpu(110)以及gpu或協(xié)處理單元(115)。有形存儲器(120，125)可以是易失性存儲器(例如，寄存器、高速緩存、ram)、非易失性存儲器(例如，rom、eeprom、閃速存儲器等)、或兩者的某種組合，其可由處理單元訪問。存儲器(120，125)存儲采用適于由處理單元執(zhí)行的計算機可執(zhí)行指令的形式的軟件(180)，其實現(xiàn)用于編碼和/或解碼高色度分辨率細節(jié)的一個或多個創(chuàng)新。

計算機系統(tǒng)可以具有附加特征。例如，計算機系統(tǒng)(100)包括存儲裝置(140)、一個或多個輸入設備(150)、一個或多個輸出設備(160)、以及一個或多個通信連接(170)。諸如總線、控制器或網(wǎng)絡之類的互連機構(gòu)(未示出)互連計算機系統(tǒng)(100)的部件。通常，操作系統(tǒng)軟件(未示出)為在計算機系統(tǒng)(100)中執(zhí)行的其他軟件提供操作環(huán)境，并且協(xié)調(diào)計算機系統(tǒng)(100)的部件的活動。

有形存儲裝置(140)可以是可移除的或不可移除的，并且包括磁盤、磁帶或盒、諸如cd-rom或dvd之類的光學存儲介質(zhì)、或可以用于存儲信息并且可以在計算機系統(tǒng)(100)內(nèi)訪問的任何其他介質(zhì)。存儲裝置(140)存儲用于實現(xiàn)用于編碼和/或解碼高色度分辨率細節(jié)的一個或多個創(chuàng)新的軟件(180)的指令。

輸入設備(150)可以是觸摸輸入設備(諸如鍵盤、鼠標、筆或軌跡球)、話音輸入設備、掃描設備或向計算機系統(tǒng)提供輸入的另一設備(100)。對于視頻，輸入設備(150)可以是接受采用模擬或數(shù)字形式的視頻輸入的相機、視頻卡、tv調(diào)諧器卡、屏幕捕獲模塊、或類似設備，或者將視頻輸入讀取到計算機系統(tǒng)(100)中的cd-rom或cd-rw。輸出設備(160)可以是提供來自計算機系統(tǒng)(100)的輸出的顯示器、打印機、揚聲器、cd寫入器或其他設備。

通信連接(170)使得能夠通過通信介質(zhì)與另一計算實體通信。通信介質(zhì)傳送信息，諸如計算機可執(zhí)行指令、音頻或視頻輸入或輸出或調(diào)制數(shù)據(jù)信號中的其他數(shù)據(jù)。調(diào)制數(shù)據(jù)信號是以對信號中的信息進行編碼的方式設置或改變其特征中的一個或多個特征的信號。作為示例而非限制，通信介質(zhì)可以使用電、光、射頻(rf)或其他載體。

本文中所提出的創(chuàng)新可以在計算機可讀介質(zhì)的一般上下文中進行描述。計算機可讀介質(zhì)是可以在計算環(huán)境內(nèi)訪問的任何可用有形介質(zhì)。作為示例而非限制，利用計算機系統(tǒng)(100)，計算機可讀介質(zhì)包括存儲器(120，125)、存儲裝置(140)、以及上述任何一種的組合。

創(chuàng)新可以在計算機可執(zhí)行指令(諸如包括在程序模塊中的那些)的一般上下文中進行描述，這些計算機可執(zhí)行指令在目標真實或虛擬處理器上的計算機系統(tǒng)中被執(zhí)行。通常，程序模塊包括執(zhí)行特定任務或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、庫、對象、類、部件、數(shù)據(jù)結(jié)構(gòu)等。如在各種實施例中描述的，程序模塊的功能性可以根據(jù)需要在程序模塊之間進行組合或拆分。用于程序模塊的計算機可執(zhí)行指令可以在本地或分布式計算機系統(tǒng)內(nèi)執(zhí)行。

術語“系統(tǒng)”和“設備”在本文中可互換使用。除非上下文另有明確指示，否則這兩個術語都不意味著對計算機系統(tǒng)或計算機設備的類型的任何限制。一般而言，計算機系統(tǒng)或計算機設備可以是本地的或分布式的，并且可以包括專用硬件和/或通用硬件與實現(xiàn)本文中所描述的功能性的軟件的任何組合。

所公開的方法還可以使用被配置成執(zhí)行所公開的方法中的任一方法的專用計算硬件來實現(xiàn)。例如，所公開的方法可以通過集成電路(例如，asic，諸如asic數(shù)字信號處理器(“dsp”)、gpu、或諸如現(xiàn)場可編程門陣列(“fpga”)之類的可編程邏輯器件(“pld”))來實現(xiàn)，該集成電路被專門設計或配置成實現(xiàn)所公開的方法中的任一方法。

為了呈現(xiàn)起見，具體實施方式使用諸如“確定”、“設置”和“使用”之類的術語來描述計算機系統(tǒng)中的計算機操作。這些術語是由計算機執(zhí)行的操作的高級抽象，不應與由人類執(zhí)行的行為混淆。與這些術語相對應的實際計算機操作因?qū)崿F(xiàn)方式而異。

ii.示例網(wǎng)絡環(huán)境

圖2a和圖2b示出了包括視頻編碼器(220)和視頻解碼器(270)的示例網(wǎng)絡環(huán)境(201，202)。編碼器(220)和解碼器(270)使用適當?shù)耐ㄐ艆f(xié)議通過網(wǎng)絡(250)來連接。網(wǎng)絡(250)可以包括因特網(wǎng)或另一計算機網(wǎng)絡。

在圖2a所示的網(wǎng)絡環(huán)境(201)中，每個實時通信(“rtc”)工具(210)均包括用于雙向通信的編碼器(220)和解碼器(270)。給定編碼器(220)可以產(chǎn)生符合h.265標準、smpte421m標準、h.264標準、另一標準、或?qū)Ｓ懈袷降淖冃突驍U展的輸出，而對應的解碼器(270)接受來自編碼器(220)的編碼數(shù)據(jù)。雙向通信可以是視頻會議、視頻電話呼叫、或其他雙方或多方通信場景的一部分。盡管圖2a中的網(wǎng)絡環(huán)境(201)包括兩個實時通信工具(210)，但是網(wǎng)絡環(huán)境(201)相反可以包括參與多方通信的三個或更多個實時通信工具(210)。

實時通信工具(210)通過編碼器(220)管理編碼。圖4示出了可以包括在實時通信工具(210)中的示例編碼器系統(tǒng)(400)?？商娲?，實時通信工具(210)使用另一編碼器系統(tǒng)。實時通信工具(210)還通過解碼器(270)管理解碼。圖5示出了可以包括在實時通信工具(210)中的示例解碼器系統(tǒng)(500)?？商娲?，實時通信工具(210)使用另一解碼器系統(tǒng)。

在圖2b所示的網(wǎng)絡環(huán)境(202)中，編碼工具(212)包括編碼器(220)，其編碼用于遞送到包括解碼器(270)的多個重放工具(214)的視頻?？梢詾橐曨l監(jiān)控系統(tǒng)、網(wǎng)絡攝像機監(jiān)視系統(tǒng)、遠程桌面會議呈現(xiàn)或其他場景提供單向通信，其中編碼視頻從一個位置發(fā)送到一個或多個其他位置。盡管圖2b中的網(wǎng)絡環(huán)境(202)包括兩個回放工具(214)，但是網(wǎng)絡環(huán)境(202)可以包括更多或更少的回放工具(214)。一般而言，回放工具(214)與編碼工具(212)通信，以確定視頻流以供回放工具(214)接收?；胤殴ぞ?214)接收流，在適當?shù)臅r間段內(nèi)緩存接收到的編碼數(shù)據(jù)，并且開始解碼和回放。

圖4示出了可以包括在編碼工具(212)中的示例編碼器系統(tǒng)(400)?？商娲?，編碼工具(212)使用另一編碼器系統(tǒng)。編碼工具(212)還可以包括用于管理與一個或多個回放工具(214)的連接的服務器側(cè)控制器邏輯。圖5示出了可以包括在回放工具(214)中的示例解碼器系統(tǒng)(500)?？商娲?，回放工具(214)使用另一解碼器系統(tǒng)?；胤殴ぞ?214)可以包括用于管理與編碼工具(212)的連接的客戶端側(cè)控制器邏輯。

iii.示例幀封包/解包系統(tǒng)

圖3是可以與其一起實現(xiàn)一些所描述的實施例的一般的幀封包/解包系統(tǒng)(300)的框圖。

系統(tǒng)(300)包括視頻源(310)，其產(chǎn)生采用具有第一較高色度采樣率(諸如yuv4:4:4格式)的輸入畫面格式的源畫面(311)。視頻源(310)可以是相機、調(diào)諧器卡、屏幕捕獲模塊、存儲媒體或其他數(shù)字視頻源。

拆分器(315)重排采用輸入畫面格式的畫面(311)，以產(chǎn)生采用具有第二較低色度采樣率(例如yuv4:2:0格式)的編碼畫面格式的源畫面(316)。下文對使用幀封包來拆分畫面(311)的示例方法進行描述。可替代地，源畫面(316)可以具有不同的編碼畫面格式(例如，用于畫面(311)的低色度分辨率版本的編碼畫面的yuv4:2:2格式，以及用于具有高色度分辨率細節(jié)的編碼畫面的yuv4:0:0格式)，其中編碼畫面格式中的至少一個編碼畫面格式具有比輸入畫面格式更低的色度采樣率。拆分器(315)可以用信號通知指示是否以及如何執(zhí)行拆分的關于一個或多個區(qū)域的元數(shù)據(jù)(317)，以供在解碼之后被組合器(385)使用。下文對用信號通知關于區(qū)域的元數(shù)據(jù)的示例方法進行描述。

編碼器(340)編碼采用具有較低色度采樣率的編碼畫面格式的畫面(316)。(如果畫面(316)具有不同的編碼畫面格式，則不同的編碼器可以用于不同的編碼畫面格式，或者可以使用支持這兩種格式的單個編碼器。)下文參考圖4、圖6a和圖6b對示例編碼器進行描述。編碼器(340)通過信道(350)輸出編碼數(shù)據(jù)(341)，信道表示存儲、通信連接或用于輸出的另一信道。

在本文中所描述的一些示例中，采用編碼畫面格式的畫面(316)被編碼為兩個不同子序列的畫面。在第一子序列中，畫面包含用于畫面(311)的低色度分辨率版本的采樣值。在第二子序列中，畫面包含用于畫面(311)的高色度分辨率細節(jié)的采樣值。編碼數(shù)據(jù)(341)包括用于第一子序列的編碼數(shù)據(jù)以及用于第二子序列的編碼數(shù)據(jù)。每個子序列對于編碼器(340)的格式是一致的，并且可由用于該格式的解碼器(360)解碼。在編碼器(340)和解碼器(360)之間，諸如解復用器或路由器之類的比特流編輯工具(未示出)可以分離用于第一子序列的編碼數(shù)據(jù)和用于第二子序列的編碼數(shù)據(jù)。這使得比特流編輯工具能夠僅將用于第一子序列的編碼數(shù)據(jù)發(fā)送到某些回放設備(例如，那些缺乏足夠的用于具有高色度分辨率的回放的顯示分辨率、計算資源、或網(wǎng)絡連接)，其通過消除第二子序列的高色度分辨率細節(jié)來降低總比特率。用于第一子序列的編碼數(shù)據(jù)對于編碼器(340)的格式保持一致，并且可由用于該格式的解碼器(360)解碼。對于其他回放設備(例如，那些具有足夠的用于具有高色度分辨率的回放的顯示分辨率、計算資源和網(wǎng)絡連接)，比特流編輯工具可以發(fā)送所有編碼數(shù)據(jù)(341)，包括用于兩個子序列的編碼數(shù)據(jù)。

解碼器(360)接收編碼數(shù)據(jù)中的至少一些編碼數(shù)據(jù)(341)，并且解碼采用具有較低色度采樣率的編碼畫面格式的畫面中的至少一些畫面(316)。(如果畫面(316)具有不同的編碼畫面格式，則不同的解碼器可以用于不同的編碼畫面格式，或者可以使用支持這兩種格式的單個解碼器。)下文參考圖5和圖7對示例解碼器進行描述。解碼器(360)輸出采用具有較低色度采樣率的編碼畫面格式的重構(gòu)畫面(381)。例如，解碼器(360)接收并且解碼用于第一子序列的編碼畫面的編碼數(shù)據(jù)，其包含用于畫面(311)的低色度分辨率版本的采樣值?；蛘?，除了對用于第一子序列的編碼數(shù)據(jù)進行接收和解碼之外，解碼器(360)接收并且解碼用于第二子序列的編碼畫面的編碼數(shù)據(jù)，其包含用于畫面(311)的高色度分辨率細節(jié)的采樣值。

組合器(385)可選地重排采用具有較低色度采樣率的編碼畫面格式(或多個不同編碼畫面格式)的重構(gòu)畫面(381)，以重構(gòu)采用具有較高色度采樣率的輸出畫面格式的輸出畫面(386)。下文對使用幀解包的示例組合方法進行描述。組合器(385)可以接收指示是否以及如何執(zhí)行拆分的關于區(qū)域的元數(shù)據(jù)(317)，并且使用這樣的元數(shù)據(jù)(317)來指導組合操作。組合器(385)將采用輸出畫面格式的重構(gòu)畫面輸出到輸出目的地(390)。對采用輸出畫面格式(諸如yuv4:4:4格式)輸出畫面的色彩空間轉(zhuǎn)換可以將采樣值轉(zhuǎn)換為另一格式(諸如rgb4:4:4格式)以供顯示。

iv.示例編碼器系統(tǒng)

圖4是可以與其一起實現(xiàn)一些所描述的實施例的示例編碼器系統(tǒng)(400)的框圖。該編碼器系統(tǒng)(400)可以是能夠在用于從文件或流產(chǎn)生用于回放的媒體的多種編碼模式(諸如用于實時通信或遠程桌面會議的低延遲編碼模式、代碼轉(zhuǎn)換模式、以及更高延遲編碼模式)中的任一種操作模式下操作的通用編碼工具，或者它可以是適用于一種這樣的編碼模式的專用編碼工具。編碼器系統(tǒng)(400)可以適用于編碼特定類型的內(nèi)容(例如，屏幕捕獲內(nèi)容)。編碼器系統(tǒng)(400)可以被實現(xiàn)為操作系統(tǒng)模塊的一部分、應用庫的一部分、獨立應用的一部分、或使用專用硬件來實現(xiàn)。編碼器系統(tǒng)(400)可以使用一個或多個通用處理器(例如，一個或多個cpu)進行一些或所有編碼操作，使用圖形硬件(例如，gpu)進行某些編碼操作，或者使用諸如asic之類的專用硬件進行某些編碼操作?？傮w而言，編碼器系統(tǒng)(400)從視頻源(410)接收采用具有第一較高色度采樣率(諸如yuv4:4:4)的輸入畫面格式的源視頻畫面序列(411)，將輸入源畫面(411)拆分成采用具有第二較低色度采樣率(諸如yuv4:2:0)的編碼畫面格式或多個編碼畫面格式的源畫面(416)，并且編碼采用編碼畫面格式的源畫面(416)以產(chǎn)生編碼數(shù)據(jù)作為信道(490)的輸出。

視頻源(410)可以是相機、調(diào)諧器卡、存儲介質(zhì)、屏幕捕獲模塊或其他數(shù)字視頻源。視頻源(410)以例如每秒30幀的幀速率產(chǎn)生視頻畫面序列。如本文中所使用的，術語“畫面”通常指源圖像數(shù)據(jù)、編碼圖像數(shù)據(jù)或重構(gòu)圖像數(shù)據(jù)。對于逐行掃描視頻，畫面是逐行掃描視頻幀。對于隔行視頻，在示例實施例中，隔行掃描視頻幀可能在編碼之前被去隔行?？商娲兀瑑蓚€互補隔行視頻場一起被編碼為單個視頻幀或被編碼為兩個分開編碼的場。除了指示逐行掃描視頻幀或隔行掃描視頻幀之外，術語“畫面”可以指示單個非配對視頻場、互補視頻場對、在給定時間表示視頻對象的視頻對象平面、或較大圖像中的感興趣區(qū)域。視頻對象平面或區(qū)域可以是包括場景的多個對象或區(qū)域的較大圖像的一部分。在從捕獲格式(例如，rgb格式)進行色彩空間轉(zhuǎn)換之后，源畫面(411)采用具有較高色度采樣格式(諸如yuv4:4:4格式)的輸入畫面格式。

拆分器(415)(也被稱為格式化器)重排采用輸入畫面格式的畫面(411)，以產(chǎn)生采用具有較低色度采樣率的編碼畫面格式(諸如yuv4:2:0格式)的源畫面(416)。使用幀封包的示例拆分方法如下所述?？商娲?，源畫面(416)可以具有不同的編碼畫面格式(例如，用于畫面(411)的低色度分辨率版本的編碼畫面的yuv4:2:2格式以及用于具有高色度分辨率細節(jié)的編碼畫面的yuv4:0:0格式)，其中與輸入畫面格式相比，編碼畫面格式中的至少一個編碼畫面格式具有較低色度采樣率。拆分器(415)可以用信號通知指示是否以及如何執(zhí)行拆分的元數(shù)據(jù)(未示出)，以供在解碼之后被組合器使用。用信號通知這種元數(shù)據(jù)的示例方法如下所述。例如，如下文所描述的，拆分器(415)可以執(zhí)行預處理操作。

到達的源畫面(416)被存儲在包括多個畫面緩沖區(qū)存儲區(qū)域(421，422，…，42n)的源畫面臨時存儲器存儲區(qū)域(420)中。畫面緩沖區(qū)(421，422等)將一個源畫面保存在源畫面存儲區(qū)域(420)中。在源畫面(416)中的一個或多個源畫面(416)已經(jīng)存儲在畫面緩沖區(qū)(421，422等)中之后，畫面選擇器(430)從源畫面存儲區(qū)域(420)中選擇單個源畫面。通過畫面選擇器(430)選擇畫面以輸入到編碼器(440)的順序可能與其中通過視頻源(410)產(chǎn)生畫面的順序不同，例如，一些畫面的編碼可以是按順序延遲，以便允許一些較晚的畫面被首先編碼，從而便于在時間上的后向預測。

可以切換拆分器(415)和幀存儲區(qū)域(420)的順序。在編碼器(440)之前，編碼器系統(tǒng)(400)可以包括在編碼之前執(zhí)行所選擇的畫面(431)的預處理(例如，濾波)的預處理器(未示出)。預處理可以包括將顏色空間轉(zhuǎn)換成初級分量(例如，亮度)和次級分量(例如，朝向紅色和與朝向藍色的色度差異)以及用于編碼的重采樣處理(例如，降低色度分量的空間分辨率)。

編碼器(440)對所選擇的畫面(431)(采用編碼畫面格式)進行編碼以產(chǎn)生編碼畫面(441)，并且還產(chǎn)生存儲器管理控制操作(“mmco”)或參考畫面集(“rps”)信息(442)。rps是可以用于當前畫面或任何后續(xù)畫面的運動補償中的參考的畫面集合。如果當前畫面不是已經(jīng)被編碼的第一畫面，則當編碼器(440)執(zhí)行其編碼處理時，可以使用已經(jīng)存儲在解碼畫面臨時存儲器存儲區(qū)域(460)中的一個或多個先前編碼/解碼畫面(469)。這樣存儲的解碼畫面(469)用作用于當前源畫面(431)的內(nèi)容的畫面間預測的參考畫面。mmco/rps信息(442)向解碼器指示哪些所重構(gòu)的畫面可以用作參考畫面，因此應當存儲在畫面存儲區(qū)域中。

通常，編碼器(440)包括執(zhí)行編碼任務(諸如分割為圖塊(tile)、畫面內(nèi)預測估計和預測、運動估計和補償、頻率變換、量化和熵編碼)的多個編碼模塊。通過編碼器(440)執(zhí)行的精確操作可以根據(jù)壓縮格式而變化。輸出編碼數(shù)據(jù)的格式可以是h.26x格式的變型或擴展(例如，h.261、h.262、h.263、h.264、h.265)、windowsmedia視頻格式、vc-1格式、mpeg-x格式(例如，mpeg-1、mpeg-2或mpeg-4)、vpx格式(例如，vp8、vp9)或另一格式。一般而言，編碼器(440)適于對采用具有較低色度采樣率的編碼畫面格式的編碼畫面進行編碼。如果畫面(416)具有不同的編碼畫面格式，則不同的編碼器可以用于不同的編碼畫面格式，或者可以使用支持所有編碼畫面格式的單個編碼器。

編碼器(440)可以將畫面分割成相同尺寸或不同尺寸的多個圖塊。例如，編碼器(440)沿著與畫面邊界一起限定畫面內(nèi)的圖塊的水平邊界和垂直邊界的圖塊行和圖塊列來拆分畫面，其中每個圖塊是矩形區(qū)域。圖塊通常用于提供用于并行處理的選項。畫面還可以被組織為一個或多個切片(slice)，其中切片可以是整個畫面或畫面的段。切片可以獨立于畫面中的其他切片進行解碼，其提高了誤差恢復能力。為了編碼和解碼的目的，切片或圖塊的內(nèi)容被進一步分割成塊(block)。

對于根據(jù)h.264標準的語法，編碼器(440)可以將畫面分割成相同尺寸或不同尺寸的多個切片。編碼器(440)將畫面(或切片)的內(nèi)容拆分成16×16宏塊。宏塊包括被組織為四個8×8亮度塊的亮度采樣值以及被組織為8×8色度塊的對應色度采樣值。通常，宏塊具有諸如幀間或幀內(nèi)之類的預測模式。為了向預測信息(諸如預測模式細節(jié)、運動矢量(“mv”)信息)發(fā)送信號的目的，宏塊包括一個或多個預測單元(例如，8×8塊、4×4塊，其可以被稱為用于畫面間預測的分區(qū))等)和/或預測處理。為了殘差編碼/解碼，宏塊還具有一個或多個殘差數(shù)據(jù)單元。

對于根據(jù)h.265標準的語法，編碼器(440)將畫面(或切片或圖塊)的內(nèi)容拆分成編碼樹單元。編碼樹單元(“ctu”)包括被組織為亮度編碼樹塊(“ctb”)的亮度采樣值以及被組織為兩個色度ctb的對應色度采樣值。ctu(及其ctb)的尺寸通過編碼器來選擇。亮度ctb可以包含例如64×64、32×32或16×16亮度采樣值。ctu包括一個或多個編碼單元。編碼單元(“cu”)具有亮度編碼塊(“cb”)和兩個對應的色度cb。通常，cu具有諸如幀間或幀內(nèi)之類的預測模式。為了向預測信息(諸如預測模式細節(jié)、位移值等)和/或預測處理發(fā)送信號，cu包括一個或多個預測單元。預測單元(“pu”)具有亮度預測塊(“pb”)和兩個色度pb。為了殘差編碼/解碼，cu還具有一個或多個變換單元，其中變換單元(“tu”)具有亮度變換塊(“tb”)和兩個色度tb。編碼器判定如何將視頻分割成ctu、cu、pu、tu等。

如本文中所使用的，取決于上下文，術語“塊”可以指示宏塊、殘差數(shù)據(jù)單元、cb、pb或tb、或一些其他采樣值集合。術語“單元”可以指示宏塊、ctu、cu、pu、tu或一些其他塊集合，或者它可以取決于上下文指示單個塊，或者它可以指示切片、圖塊、畫面、畫面組、或其他較高層次的區(qū)域。

回到圖4，根據(jù)從畫面(431)中的其他先前重構(gòu)的采樣值的預測，編碼器(440)表示源畫面(431)的幀內(nèi)編碼塊。對于用于塊的幀內(nèi)空間預測，畫面內(nèi)估計器估計相鄰重構(gòu)采樣值到塊的推斷。畫面內(nèi)估計器可以輸出被熵編碼的預測信息(諸如用于幀內(nèi)空間預測的預測模式/方向)。畫面內(nèi)預測預測器應用預測信息來確定幀內(nèi)預測值。

根據(jù)從一個或多個參考畫面的預測，編碼器(440)表示源畫面(431)的畫面間編碼預測塊。運動估計器估計塊相對于一個或多個參考畫面(469)的運動。當使用多個參考畫面時，多個參考畫面可以來自不同的時間方向或相同的時間方向。運動補償預測參考區(qū)域是用于生成用于當前畫面的采樣值的塊的運動補償預測值的參考畫面中的采樣值的區(qū)域。根據(jù)本文中所描述的一些創(chuàng)新，包括用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面以及包括用于輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面被組織在不同的子序列中。在第一子序列的編碼畫面內(nèi)執(zhí)行包括用于低色度分辨率版本的采樣值的編碼畫面的運動估計和補償。在第二不同的子序列的編碼畫面內(nèi)執(zhí)行包括用于高色度分辨率細節(jié)的采樣值的編碼畫面的運動估計和補償。運動估計器輸出諸如mv信息和參考畫面索引之類的運動信息，其被熵編碼。運動補償器將mv應用于參考畫面(469)以確定用于畫面間預測的運動補償預測值。

編碼器(440)可以確定塊的預測值(幀內(nèi)或幀間)和對應的原始值之間的差異(如果有的話)。這些預測殘差值使用頻率變換(如果頻率變換沒有被跳過)和量化來進一步編碼。例如，編碼器(440)為畫面、圖塊、切片、宏塊、cu和/或視頻的其他部分設置量化參數(shù)(“qp”)的值，并且相應地量化變換系數(shù)。編碼器(440)的熵編碼器壓縮量化變換系數(shù)值以及某些輔助信息(例如，mv信息、參考畫面索引、qp值、模式判定、參數(shù)選擇)。典型的熵編碼技術包括exponential-golomb編碼、golomb-rice編碼、算術編碼、差分編碼、huffman編碼、游程長度編碼、可變長度到可變長度(“v2v”)編碼、可變長度到固定長度(“v2f”)編碼、lempel-ziv(“l(fā)z”)編碼、字典編碼、概率間隔分割熵編碼(“pipe”)以及上述的組合。熵編碼器可以對不同種類的信息使用不同的編碼技術，可以組合應用多種技術(例如，通過應用golomb-rice編碼，然后算術編碼)，并且可以在特定編碼技術內(nèi)的多個代碼表中進行選擇。如果頻率變換被跳過，則可以對預測殘差值或輸入采樣值進行量化和熵編碼。如果針對畫面內(nèi)編碼內(nèi)容跳過預測，則可以對根據(jù)輸入采樣值計算的變換系數(shù)進行量化和熵編碼。

自適應去塊濾波器被包括在編碼器(440)中的運動補償環(huán)路內(nèi)(即，“環(huán)內(nèi)”濾波)，以平滑跨解碼畫面中的塊邊界行和/或列的不連續(xù)性。作為環(huán)內(nèi)濾波操作，可以可替代地或附加地應用其他濾波(諸如去振鈴濾波、自適應環(huán)路濾波(“alf”)或采樣自適應偏移量(“sao”)濾波；未示出)。

編碼器(440)在基本比特流中產(chǎn)生編碼數(shù)據(jù)?；颈忍亓鞯恼Z法通常采用編解碼器標準或格式或其擴展或變型來定義。如下文所解釋的，作為編碼器(440)的輸出，基本比特流通常采用容器格式被分組化或組織。基本比特流中的編碼數(shù)據(jù)包括被組織為語法結(jié)構(gòu)的語法元素。一般而言，語法元素可以是數(shù)據(jù)的任何元素，并且語法結(jié)構(gòu)以指定順序在基本位流中為零個或多個語法元素。

對于根據(jù)h.264標準或h.265標準的語法，畫面參數(shù)集(“pps”)是包含可以與畫面相關聯(lián)的語法元素的語法結(jié)構(gòu)。pps可以用于單個畫面，或者pps可以重復用于序列中的多個畫面。pps通常包括與pps相關聯(lián)的畫面的qp的默認值或初始值。pps通常與畫面的編碼數(shù)據(jù)分開用信號通知。在用于畫面的編碼數(shù)據(jù)內(nèi)，語法元素指示哪個pps用于畫面。類似地，對于根據(jù)h.264標準或h.265標準的語法，序列參數(shù)集(“sps”)是包含可以與畫面序列相關聯(lián)的語法元素的語法結(jié)構(gòu)。比特流可以包括單個sps或多個sps。通常與用于該序列的其他數(shù)據(jù)分開用信號通知該sps，其他數(shù)據(jù)中的語法元素指示要使用哪個sps。

參考圖4，編碼畫面(441)和mmco/rps信息(442)(或由于用于畫面的依賴性和排序結(jié)構(gòu)在編碼器(440)處已知，所以與mmco/rps信息(442)相當?shù)男畔?通過解碼過程仿真器(450)來處理。解碼過程仿真器(450)實現(xiàn)解碼器的功能性中的一些功能性，例如，解碼任務以重構(gòu)參考畫面。以與mmco/rps信息(442)一致的方式，解碼過程仿真器(450)確定是否需要重構(gòu)并且存儲給定編碼畫面(441)以用作待被編碼的后續(xù)畫面的畫面間預測中的參考畫面。如果需要存儲編碼畫面(441)，則解碼過程仿真器(450)對可能由解碼器進行的解碼過程進行建模，該解碼器接收編碼畫面(441)并且產(chǎn)生對應的解碼畫面(451)。這樣做時，當編碼器440已經(jīng)使用已經(jīng)存儲在解碼畫面存儲區(qū)域(460)中的解碼畫面(469)時，解碼過程仿真器(450)還使用來自存儲區(qū)域(460)的解碼畫面(469)作為解碼過程的一部分。

解碼畫面臨時存儲器存儲區(qū)域(460)包括多個畫面緩沖區(qū)存儲區(qū)域(461，462，…，46n)。以與mmco/rps信息(442)一致的方式，解碼過程仿真器(450)管理存儲區(qū)域(460)的內(nèi)容，以便標識具有不再被編碼器(440)需要用作參考畫面的畫面的任何畫面緩沖區(qū)(461，462等)。在對解碼過程進行建模之后，解碼過程仿真器(450)將新解碼的畫面(451)存儲在已經(jīng)以這種方式標識的畫面緩沖區(qū)(461，462等)中。

編碼畫面(441)和mmco/rps信息(442)被緩存在臨時編碼數(shù)據(jù)區(qū)域(470)或其他編碼數(shù)據(jù)緩沖區(qū)中。在編碼數(shù)據(jù)區(qū)域(470)中聚合的編碼數(shù)據(jù)作為基本比特流的語法的一部分，包含用于一個或多個畫面的編碼數(shù)據(jù)。在編碼數(shù)據(jù)區(qū)域(470)中聚合的編碼數(shù)據(jù)還可以包括與編碼視頻數(shù)據(jù)有關的媒體元數(shù)據(jù)(例如，作為一個或多個補充增強信息(“sei”)消息或視頻可用性信息(“vui”)消息中的一個或多個參數(shù))。

來自臨時編碼數(shù)據(jù)區(qū)域(470)的聚合數(shù)據(jù)(471)通過信道編碼器(480)來處理。信道編碼器(480)可以將用于傳輸或存儲的聚合數(shù)據(jù)分組化和/或復用作為媒體流(例如，根據(jù)諸如itu-th.222.0|iso/iec13818-1的媒體節(jié)目流或傳輸流格式，或諸如ietfrfc3550之類的因特網(wǎng)實時傳送協(xié)議格式)，在這種情況下，信道編碼器(480)可以添加語法元素作為媒體傳輸流的語法的一部分?；蛘?，信道編碼器(480)可以將用于存儲的聚合數(shù)據(jù)組織為文件(例如，根據(jù)諸如iso/iec14496-12之類的媒體容器格式)，在這種情況下，信道編碼器(480)可以添加語法元素作為媒體存儲文件的語法的一部分?；蛘吒话愕?，信道編碼器(480)可以實現(xiàn)一個或多個媒體系統(tǒng)復用協(xié)議或傳送協(xié)議，在這種情況下，信道編碼器(480)可以添加語法元素作為協(xié)議的語法的一部分。信道編碼器(480)向信道(490)提供輸出，其表示用于輸出的存儲、通信連接或另一信道。信道編碼器(480)或信道(490)還可以包括其他元件(未示出)，例如，用于前向糾錯(“fec”)編碼和模擬信號調(diào)制。

v.示例解碼器系統(tǒng)

圖5是可以與其一起實現(xiàn)一些所描述的實施例的示例解碼器系統(tǒng)(500)的框圖。該解碼器系統(tǒng)(500)可以是能夠在用于來自文件或流的媒體回放的多種解碼模式(諸如用于實時通信或遠程桌面會議的低延遲解碼模式、代碼轉(zhuǎn)換模式以及較高延遲解碼模式)中的任一解碼模式下操作的通用解碼工具，或者它可以是適用于一種這樣的解碼模式的專用解碼工具。解碼器系統(tǒng)(500)可以適于對特定類型的內(nèi)容(例如，屏幕捕獲內(nèi)容)進行解碼。解碼器系統(tǒng)(500)可以被實現(xiàn)為操作系統(tǒng)模塊、為應用庫的一部分、為獨立應用，或者使用專用硬件來實現(xiàn)。解碼器系統(tǒng)(500)可以使用一個或多個通用處理器(例如，一個或多個cpu)進行一些或所有解碼操作，使用圖形硬件(例如，gpu)進行某些解碼操作，或者使用諸如asic之類的專用硬件進行某些解碼操作。總的來說，解碼器系統(tǒng)(500)從信道(510)接收編碼數(shù)據(jù)，對采用具有第一較低色度采樣率(諸如yuv4:2:0格式)的編碼畫面格式或多個編碼畫面格式的畫面進行解碼，可選地將來自采用編碼畫面格式的編碼畫面的采樣值組合為采用具有較高色度采樣率的第二輸出畫面格式(諸如yuv4:4:4)的編碼畫面，并且產(chǎn)生重構(gòu)畫面(采用輸出畫面格式)作為用于輸出目的地(590)的輸出。

解碼器系統(tǒng)(500)包括信道(510)，其可以表示用于作為輸入的編碼數(shù)據(jù)的存儲、通信連接或另一信道。信道(510)產(chǎn)生已經(jīng)被信道編碼的編碼數(shù)據(jù)。信道解碼器(520)可以處理編碼數(shù)據(jù)。例如，信道解碼器(520)對作為媒體流已經(jīng)被聚合以用于傳輸或存儲的數(shù)據(jù)進行解分組和/或解復用(例如，根據(jù)諸如itu-th.222.0|iso/iec13818-1之類的媒體節(jié)目流或傳送流格式或諸如ietfrfc3550之類的互聯(lián)網(wǎng)實時傳輸協(xié)議格式)，在這種情況下，信道解碼器(520)可以解析被添加作為媒體傳輸流的語法的一部分的語法元素?；蛘?，信道解碼器(520)分離已經(jīng)被聚合以作為文件存儲的編碼視頻數(shù)據(jù)(例如，根據(jù)諸如iso/iec14496-12之類的媒體容器格式)，在這種情況下，信道解碼器(520)可以解析被添加作為媒體存儲文件語法的一部分的語法元素?；蛘?，更一般地，信道解碼器(520)可以實現(xiàn)一個或多個媒體系統(tǒng)解復用協(xié)議或傳送協(xié)議，在這種情況下，信道解碼器(520)可以解析被添加作為協(xié)議的語法的一部分的語法元素。用于媒體傳輸流、媒體存儲流、復用協(xié)議或傳送協(xié)議的這種語法元素可以包括關于包括高色度分辨率細節(jié)的區(qū)域的元數(shù)據(jù)。信道(510)或信道解碼器(520)還可以包括其他元素(未示出)，例如，用于fec解碼和模擬信號解調(diào)。

從信道解碼器(520)輸出的編碼數(shù)據(jù)(521)被存儲在臨時編碼數(shù)據(jù)區(qū)域(530)中，直到已經(jīng)接收到足夠數(shù)量的這種數(shù)據(jù)為止。編碼數(shù)據(jù)(521)包括編碼畫面(531)(采用具有較低色度采樣率的編碼畫面格式或采用多個不同編碼畫面格式)和mmco/rps信息(432)。編碼數(shù)據(jù)區(qū)域(530)中的編碼數(shù)據(jù)(521)包含作為基本編碼視頻比特流的語法的一部分的一個或多個編碼畫面的編碼數(shù)據(jù)。編碼數(shù)據(jù)區(qū)域(530)中的編碼數(shù)據(jù)(521)還可以包括與編碼畫面有關的媒體元數(shù)據(jù)(例如，作為一個或多個sei消息或vui消息中的一個或多個參數(shù))。

一般而言，編碼數(shù)據(jù)區(qū)域(530)臨時存儲編碼數(shù)據(jù)(521)，直到解碼器(550)使用這樣的編碼數(shù)據(jù)(521)為止。此時，用于編碼畫面(531)的編碼數(shù)據(jù)和mmco/rps信息(532)從編碼數(shù)據(jù)區(qū)域(530)傳送到解碼器(550)。隨著解碼的繼續(xù)，新的編碼數(shù)據(jù)被添加到編碼數(shù)據(jù)區(qū)域(530)，并且編碼數(shù)據(jù)區(qū)(530)中剩余的最舊的編碼數(shù)據(jù)被傳送到解碼器(550)。

解碼器(550)解碼編碼畫面(531)以產(chǎn)生采用具有較低色度采樣率的編碼畫面格式(或多種不同編碼畫面格式中的一個編碼畫面格式)的對應解碼畫面(551)。畫面可以被分割成相同尺寸或不同尺寸的多個圖塊。畫面也可以被組織為一個或多個切片。切片或圖塊的內(nèi)容可以進一步被分割成采樣值塊或其他采樣值集合。

適當時，當執(zhí)行其解碼過程時，解碼器(550)可以使用一個或多個先前解碼的畫面(569)作為用于畫面間預測的參考畫面。解碼器(550)從解碼畫面臨時存儲器存儲區(qū)域(560)讀取這樣的先前解碼畫面(569)。通常，解碼器(550)包括多個解碼模塊，其執(zhí)行諸如熵解碼、畫面內(nèi)預測、運動補償畫面間預測、逆量化、逆頻率變換(如果沒有被跳過)、以及圖塊的合并之類的解碼任務。由解碼器(550)執(zhí)行的具體操作可以根據(jù)壓縮格式而變化。一般而言，解碼器(550)適于對采用具有較低色度采樣率的編碼畫面格式的畫面進行解碼。如果畫面(569)具有不同的編碼畫面格式，則不同的解碼器可以用于不同的編碼畫面格式，或者可以使用支持所有編碼畫面格式的單個解碼器。

例如，解碼器(550)接收用于編碼畫面或編碼畫面序列的編碼數(shù)據(jù)，并且產(chǎn)生包括解碼畫面(551)的輸出。在解碼器(550)中，緩沖區(qū)接收用于編碼畫面的編碼數(shù)據(jù)，并且在適當時間使所接收的編碼數(shù)據(jù)可用于熵解碼器。熵解碼器熵解碼經(jīng)熵編碼的量化數(shù)據(jù)以及經(jīng)熵編碼的輔助信息，通常應用在編碼器中執(zhí)行的熵編碼的逆過程。

運動補償器將運動信息應用于一個或多個參考畫面，以形成用于正在被重構(gòu)的畫面的任何幀間編碼塊的運動補償?shù)念A測值。根據(jù)本文中所描述的一些創(chuàng)新，包括用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面和包括用于輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面被組織在不同的子序列中。在第一子序列的編碼畫面內(nèi)執(zhí)行包括用于低色度分辨率版本的采樣值的編碼畫面的運動補償。在第二不同的子序列的編碼畫面內(nèi)執(zhí)行包括用于高色度分辨率細節(jié)的采樣值的編碼畫面的運動補償。畫面內(nèi)預測模塊可以根據(jù)相鄰的先前重構(gòu)的采樣值空間地預測當前塊的采樣值。

解碼器(550)還重構(gòu)預測殘差值。逆量化器對熵解碼數(shù)據(jù)進行逆量化。例如，解碼器(550)基于比特流中的語法元素來設置用于畫面、圖塊、切片和/或視頻的其他部分的qp的值，并且因而對變換系數(shù)進行逆量化。逆頻率變換器將量化頻域數(shù)據(jù)轉(zhuǎn)換成空間域數(shù)據(jù)。在一些實現(xiàn)方式中，可以跳過頻率變換，在這種情況下，還跳過逆頻率變換。如果這樣，則可以對預測殘差值進行熵解碼和逆量化。對于畫面間預測塊，解碼器(550)將所重構(gòu)的預測殘差值與運動補償預測值組合。類似地，解碼器(550)可以將預測殘差值與來自畫面內(nèi)預測的預測值組合。

在視頻解碼器(550)中的運動補償環(huán)路內(nèi)包括自適應去塊濾波器，以平滑跨解碼畫面(551)中的塊邊界行和/或列的不連續(xù)性。其他濾波(諸如去振鈴濾波、alf、或sao濾波；未示出)能夠可替代地或附加地被應用為環(huán)內(nèi)濾波操作。

解碼畫面臨時存儲器存儲區(qū)域(560)包括多個畫面緩沖區(qū)存儲區(qū)域(561，562，…，56n)。解碼器(550)使用mmco/rps信息(532)來標識可以在其中存儲解碼畫面(551)的畫面緩沖區(qū)(561，562等)。解碼器(550)將解碼畫面(551)存儲在該畫面緩沖區(qū)中。

輸出定序器(580)標識以輸出順序產(chǎn)生的下一畫面何時在解碼畫面存儲區(qū)域(560)中可用。當以輸出順序產(chǎn)生的采用編碼畫面格式的下一畫面(581)在解碼畫面存儲區(qū)域(560)中可用時，它由輸出定序器(580)讀取，并且將其輸出到(a)輸出目的地(590)(例如，顯示器)用于顯示采用編碼畫面格式的畫面，或(b)組合器(585)。一般而言，通過輸出定序器(580)從解碼畫面存儲區(qū)域(560)輸出畫面的順序可以與解碼器(550)解碼畫面的順序不同。

組合器(585)重排采用編碼畫面格式(具有較低色度采樣率)或編碼畫面格式的畫面(581)，以產(chǎn)生采用具有較高色度采樣率的輸出畫面格式(諸如yuv4:4:4格式)的輸出畫面(586)。使用幀解包的示例組合方法如下所述。組合器(585)可以使用指示是否以及如何執(zhí)行拆分的元數(shù)據(jù)(未示出)來指導組合操作。例如，如下文所描述的，組合器(585)可以執(zhí)行后處理操作。解碼器系統(tǒng)(500)還可以對采用輸出畫面格式(諸如yuv4:4:4格式)或編碼畫面格式(諸如yuv4:2:0格式)的輸出畫面執(zhí)行色彩空間轉(zhuǎn)換，從而將采樣值轉(zhuǎn)換成另一格式(諸如rgb4:4:4格式)以供顯示。

vi.示例視頻編碼器

圖6a和圖6b是可以與其一起實現(xiàn)一些所描述的實施例的一般的視頻編碼器(600)的框圖。作為輸入視頻信號(605)，編碼器(600)接收包括當前畫面的采用編碼畫面格式(例如，具有較低色度采樣率(例如yuv4:2:0))的編碼畫面序列。編碼器(600)在編碼視頻比特流(695)中產(chǎn)生編碼數(shù)據(jù)作為輸出。

編碼器(600)是基于塊的并且使用取決于實現(xiàn)方式的塊格式。塊可以在不同的階段(例如，在預測、頻率變換和/或熵編碼階段)進一步被細分。例如，畫面可以被劃分為64×64塊、32×32塊或16×16塊，其又可以被劃分為較小采樣值塊以供編碼和解碼。在h.264標準的編碼實現(xiàn)方式中，例如，編碼器將畫面分割成宏塊、塊、分區(qū)(用于畫面間預測)和殘差數(shù)據(jù)單元。在h.265標準的編碼實現(xiàn)方式中，例如，編碼器將畫面分割成ctu(ctb)、cu(cb)、pu(pb)和tu(tb)。

編碼器(600)使用畫面內(nèi)編碼和/或畫面間編碼來壓縮畫面。編碼器(600)的許多部件用于畫面內(nèi)編碼和畫面間編碼。由那些部件執(zhí)行的具體操作可能根據(jù)被壓縮的信息類型而變化。

分塊(tiling)模塊(610)可選地將畫面分割成相同尺寸或不同尺寸的多個圖塊。例如，分塊模塊(610)沿著與畫面邊界一起限定畫面內(nèi)的圖塊的水平邊界和垂直邊界的圖塊行和圖塊列拆分畫面，其中每個圖塊是矩形區(qū)域。編碼器(600)還可以將畫面分割成一個或多個切片，其中每個切片包括一個或多個切片分段。

通用編碼控件(620)從編碼器(600)的各種模塊接收用于輸入視頻信號(605)的畫面以及反饋(未示出)。總體而言，通用編碼控件(620)向其他模塊(諸如分塊模塊(610)、變換器/縮放器/量化器(630)、縮放器/逆變換器(635)、畫面內(nèi)估計器(640)、運動估計器(650)以及幀內(nèi)/幀間開關)提供控制信號，以在編碼期間設置和改變編碼參數(shù)。特別地，如下文所描述的，通用編碼控件(620)可以控制關于區(qū)域的判定，其中用于輸入畫面的高色度分辨率細節(jié)的采樣值被編碼。如下文所描述的，通用編碼控件(620)還可以控制關于區(qū)域的判定，其中用于輸入畫面的低色度分辨率版本的采樣值被編碼。作為另一示例，通用編碼控件(620)可以改變qp值以控制包括輸入畫面的低色度分辨率版本的采樣值的編碼畫面的區(qū)域的量化和/或控制包括高色度分辨率細節(jié)的采樣值的編碼畫面的區(qū)域的量化。更一般地，通用編碼控件(620)可以在編碼期間管理關于編碼模式的判定。通用編碼控件(620)產(chǎn)生指示在編碼期間做出的判定的通用控件數(shù)據(jù)(622)，使得對應的解碼器可以做出一致的判定。通用控件數(shù)據(jù)(622)被提供給報頭格式化器/熵編碼器(690)。

如果使用畫面間預測來預測當前畫面，則運動估計器(650)估計當前畫面相對于一個或多個參考畫面的采樣值的塊的運動。解碼畫面緩沖區(qū)(670)緩存一個或多個重構(gòu)的先前編碼的畫面以用作參考畫面。當使用多個參考畫面時，多個參考畫面可以來自不同的時間方向或相同的時間方向。運動估計器(650)產(chǎn)生諸如mv數(shù)據(jù)、合并模式索引值和參考畫面選擇數(shù)據(jù)之類的輔助信息運動數(shù)據(jù)(652)。運動數(shù)據(jù)(652)被提供給報頭格式化器/熵編碼器(690)以及運動補償器(655)。運動補償器(655)將mv應用于來自解碼畫面緩沖區(qū)(670)的重構(gòu)的參考畫面。運動補償器(655)產(chǎn)生當前畫面的運動補償預測。

為了運動估計和補償，包括用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面和包括用于輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面可以被組織在不同的子序列中。例如，對于包括用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面，在第一子序列的編碼畫面內(nèi)執(zhí)行運動估計和補償。類似地，對于包括用于高色度分辨率細節(jié)的采樣值的編碼畫面，在第二不同的子序列的編碼畫面內(nèi)執(zhí)行運動估計和補償。編碼器(600)可以使用參考畫面重排序和/或不同的參考畫面索引集合來管理不同子序列的編碼畫面的每個子序列的編碼畫面內(nèi)的時間依賴性。

在編碼器(600)內(nèi)的單獨路徑中，畫面內(nèi)估計器(640)確定如何對輸入視頻信號的當前畫面的采樣值塊執(zhí)行畫面內(nèi)預測(605)。當前畫面可以使用畫面內(nèi)編碼全部或部分地被編碼。使用當前畫面的重構(gòu)(638)的值，對于幀內(nèi)空間預測，畫面內(nèi)估計器(640)確定如何根據(jù)相鄰的先前重構(gòu)的當前畫面的采樣值來空間地預測當前畫面的當前塊的采樣值(例如，確定空間預測的方向以用于當前塊)。畫面內(nèi)估計器(640)產(chǎn)生作為幀內(nèi)預測數(shù)據(jù)(642)的輔助信息(諸如指示幀內(nèi)預測是使用空間預測還是其他類型的幀內(nèi)編碼的信息)以及預測模式/方向(用于幀內(nèi)空間預測)。幀內(nèi)預測數(shù)據(jù)(642)被提供給報頭格式化器/熵編碼器(690)以及畫面內(nèi)預測器(645)。根據(jù)幀內(nèi)預測數(shù)據(jù)(642)，畫面內(nèi)預測器(645)根據(jù)相鄰的先前重構(gòu)的當前畫面的采樣值來空間地預測當前畫面的當前塊的采樣值。

幀內(nèi)/幀間開關選擇用于給定塊的預測(658)是運動補償預測還是畫面內(nèi)預測。

對于非跳過模式(non-skip-mode)塊，預測(658)的塊與輸入視頻信號(605)的原始當前畫面的對應部分之間的差異(如果有的話)提供了殘差(618)的值。在重構(gòu)當前畫面期間，對于非跳過模式塊，所重構(gòu)的殘差值與預測(658)組合以產(chǎn)生來自視頻信號(605)的原始內(nèi)容的近似或精確重構(gòu)(638)。(在有損壓縮中，一些信息從視頻信號(605)中丟失)

在變換器/縮放器/量化器(630)中，頻率變換器將空間域視頻信息轉(zhuǎn)換成頻域(即，頻譜、變換)數(shù)據(jù)。對于基于塊的視頻編碼，頻率變換器將離散余弦變換(“dct”)、其整數(shù)近似、或另一類型的前向塊變換(例如，離散正弦變換或其整數(shù)近似)應用于預測塊殘差數(shù)據(jù)塊(如果預測(658)為空，則為采樣值數(shù)據(jù))，產(chǎn)生頻率變換系數(shù)塊。變換器/縮放器/量化器(630)可以應用塊尺寸可變的變換。在這種情況下，變換器/縮放器/量化器(630)可以確定變換的哪個塊尺寸要用于當前塊的殘差值。在某些情況下，編碼器(600)還可以跳過變換步驟。

縮放器/量化器對變換系數(shù)進行縮放和量化。例如，量化器將死區(qū)(dead-zone)標量量化應用于頻域數(shù)據(jù)，其中量化步長在逐畫面的基礎上、逐圖塊的基礎上、逐切片的基礎上、逐宏塊的基礎上、逐cu的基礎上、逐塊的基礎上、或其他基礎上來變化。還可以使用其他縮放因數(shù)(例如，權重矩陣中的權重)來縮放或以其他方式量化變換系數(shù)。量化變換系數(shù)數(shù)據(jù)(632)被提供給報頭格式化器/熵編碼器(690)。

在縮放器/逆變換器(635)中，縮放器/逆量化器對經(jīng)量化的變換系數(shù)執(zhí)行逆縮放和逆量化。當變換階段尚未被跳過時，逆頻率變換器執(zhí)行逆頻率變換，產(chǎn)生所重構(gòu)的預測殘差值或采樣值的塊。對于非跳過模式塊，編碼器(600)將所重構(gòu)的殘差值與預測(658)的值(例如，運動補償預測值、畫面內(nèi)預測值)組合以形成重構(gòu)(638)。對于跳過模式塊，編碼器(600)使用預測(658)的值作為重構(gòu)(638)。

對于畫面內(nèi)預測，重構(gòu)(638)的值可以被反饋給畫面內(nèi)估計器(640)和畫面內(nèi)預測器(645)。還有，重構(gòu)(638)的值還可以用于后續(xù)畫面的運動補償預測。重構(gòu)(638)的值可以進一步被濾波。對于視頻信號(605)的給定畫面，濾波控件(660)確定如何對重構(gòu)(638)的值執(zhí)行去塊濾波和sao濾波。對于某些類型的編碼畫面(例如，包括高色度分辨率細節(jié)的采樣值的編碼畫面)，濾波可以自適應地被禁用。濾波控件(660)產(chǎn)生濾波器控件數(shù)據(jù)(662)，其被提供給報頭格式化器/熵編碼器(690)和合并器/濾波器(665)。

在合并器/濾波器(665)中，編碼器(600)將來自不同圖塊的內(nèi)容合并到畫面的重構(gòu)版本中。編碼器(600)根據(jù)濾波器控件數(shù)據(jù)(662)來選擇地執(zhí)行去塊濾波和sao濾波，以便自適應地平滑跨畫面中的邊界的不連續(xù)性?？梢钥商娲鼗蚋郊拥貞闷渌麨V波(諸如去振鈴濾波或alf；未示出)?？梢愿鶕?jù)編碼器(600)的設置來選擇性地濾波或根本不濾波圖塊邊界，并且編碼器(600)可以提供編碼比特流內(nèi)的語法以指示是否應用了這種濾波。解碼畫面緩沖區(qū)(670)緩存經(jīng)重構(gòu)的當前畫面以用于隨后的運動補償預測。

報頭格式化器/熵編碼器(690)對通用控件數(shù)據(jù)(622)、量化變換系數(shù)數(shù)據(jù)(632)、幀內(nèi)預測數(shù)據(jù)(642)、運動數(shù)據(jù)(652)以及濾波器控件數(shù)據(jù)(662)進行格式化和/或熵編碼。報頭格式化器/熵編碼器(690)在編碼視頻比特流(695)中提供編碼數(shù)據(jù)。編碼視頻比特流(695)的格式可以是h.26x格式的變型或擴展(例如，h.261、h.262、h.263、h.264、h.265)、windowsmedia視頻格式、vc-1格式、mpeg-x格式(例如，mpeg-1、mpeg-2或mpeg-4)、vpx格式(例如，vp8、vp9)或其他格式。

根據(jù)實現(xiàn)方式和所期望的壓縮類型，編碼器(600)的模塊可以被添加、省略、拆分成多個模塊、與其他模塊組合和/或由類似模塊代替。在備選實施例中，具有不同模塊和/或其他模塊配置的編碼器執(zhí)行所描述的技術中的一種或多種技術。編碼器的具體實施例通常使用編碼器(600)的變型或補充版本。編碼器(600)內(nèi)的模塊之間的關系指示編碼器中的通用信息流；為了簡單起見，未示出其他關系。

vii.示例視頻解碼器

圖7是可以與其一起實現(xiàn)一些所描述的實施例的一般的解碼器(700)的框圖。該解碼器(700)在編碼視頻比特流(705)中接收編碼數(shù)據(jù)，并且產(chǎn)生包括采用編碼畫面格式(例如，具有用于重構(gòu)視頻(795)的較低色度采樣率(諸如yuv4:2:0))的編碼畫面的輸出。編碼視頻比特流(705)的格式可以是windowsmedia視頻格式的變型或擴展、vpx格式(例如，vp8、vp9)、vc-1格式、mpeg-x格式(例如，mpeg-1、mpeg-2或mpeg-4)、h.26x格式(例如，h.261、h.262、h.263、h.264、h.265)或其他格式。

畫面可以被組織為相同尺寸或不同尺寸的多個圖塊。畫面還可以被組織為一個或多個切片。切片或圖塊的內(nèi)容可以進一步被組織成塊。解碼器(700)是基于塊的，并且使用依賴于實現(xiàn)方式的塊格式。塊可以在不同的階段進一步被細分。例如，畫面可以分為64×64塊、32×32塊或16×16塊，其又可以分為較小的采樣值塊。在h.265/hevc標準的解碼實現(xiàn)方式中，畫面被分割成ctu(ctb)、cu(cb)、pu(pb)和tu(tb)。

解碼器(700)使用畫面內(nèi)解碼和/或畫面間解碼來解壓縮畫面。解碼器(700)的許多部件用于畫面內(nèi)解碼和畫面間解碼兩者。由這些部件執(zhí)行的具體操作可能會根據(jù)正在被解壓縮的信息類型而變化。

緩沖區(qū)接收經(jīng)編碼的視頻比特流(705)中的編碼數(shù)據(jù)，并且使所接收的編碼數(shù)據(jù)可用于解析器/熵解碼器(710)。解析器/熵解碼器(710)對經(jīng)熵編碼的數(shù)據(jù)進行熵解碼，通常應用在編碼器(600)中執(zhí)行的熵編碼的逆過程(例如，上下文自適應二進制算術解碼)。作為解析和熵解碼的結(jié)果，解析器/熵解碼器(710)產(chǎn)生通用控件數(shù)據(jù)(722)、量化變換系數(shù)數(shù)據(jù)(732)、幀內(nèi)預測數(shù)據(jù)(742)、運動數(shù)據(jù)(752)和濾波器控件數(shù)據(jù)762)。

通用解碼控件(720)接收通用控件數(shù)據(jù)(722)，并且向其他模塊(諸如縮放器/逆變換器(735)、畫面內(nèi)預測器(745))、運動補償器(755)和幀內(nèi)/幀間開關)提供控制信號(未示出)，以在解碼期間設置和改變解碼參數(shù)。特別地，如下文所描述的，通用解碼控件(720)可以確定其中用于輸出畫面的高色度分辨率細節(jié)的采樣值被解碼的區(qū)域。通用解碼控件(720)還可以確定其中用于輸出畫面的低色度分辨率版本的采樣值被解碼的區(qū)域。作為另一示例，通用解碼控件(720)可以改變qp值以控制包括輸入畫面的低色度分辨率版本的采樣值的編碼畫面的區(qū)域的逆量化和/或以控制包括高色度分辨率細節(jié)的采樣值的編碼畫面的區(qū)域的逆量化。更一般地，通用解碼控件(720)可以在解碼期間管理關于解碼模式的判定。

如果使用畫面間預測來預測當前畫面，則運動補償器(755)接收運動數(shù)據(jù)(752)，諸如mv數(shù)據(jù)、參考畫面選擇數(shù)據(jù)和合并模式索引值。運動補償器(755)將mv應用于來自解碼畫面緩沖區(qū)(770)的經(jīng)重構(gòu)的參考畫面。運動補償器(755)產(chǎn)生用于當前畫面的幀間編碼塊的運動補償預測。解碼畫面緩沖區(qū)(770)存儲一個或多個先前重構(gòu)的畫面以用作參考畫面。

為了運動補償，包括用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面和包括用于輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面可以被組織在不同的子序列中。例如，對于包括用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面，在第一子序列的編碼畫面內(nèi)執(zhí)行運動補償。類似地，對于包括用于高色度分辨率細節(jié)的采樣值的編碼畫面，在第二不同的子序列的編碼畫面內(nèi)執(zhí)行運動補償。編碼器(700)可以使用參考畫面重排序和/或不同的參考畫面索引集合來管理不同子序列的編碼畫面的每個子序列的編碼畫面內(nèi)的時間依賴性。

在編碼器(700)內(nèi)的單獨路徑中，畫面內(nèi)估計器(745)接收幀內(nèi)預測數(shù)據(jù)(742)，諸如指示畫面內(nèi)預測是否使用空間預測的信息、以及預測模式方向(用于幀內(nèi)空間預測)。對于幀內(nèi)空間預測，使用當前畫面的重構(gòu)(738)的值，根據(jù)預測模式數(shù)據(jù)，畫面內(nèi)預測器(745)根據(jù)相鄰的先前重構(gòu)的當前畫面的采樣值來空間地預測當前畫面的當前塊的采樣值。

幀內(nèi)/幀間開關選擇運動補償預測或畫面內(nèi)預測的值以用于給定塊的預測(758)。例如，當遵循h(huán).265/hevc語法時，可以基于針對可以包含幀內(nèi)預測的cu和幀間預測的cu的畫面的cu編碼的語法元素來控制幀內(nèi)/幀間開關。當殘差值已經(jīng)被編碼/被用信號通知時，解碼器(700)將預測(758)與經(jīng)重構(gòu)的殘差值組合，以由視頻信號產(chǎn)生內(nèi)容的重構(gòu)(738)。當殘差值尚未被編碼/被用信號通知時，解碼器(700)使用預測(758)的值作為重構(gòu)(738)。

為了在殘差值已經(jīng)被編碼/被用信號通知時重構(gòu)殘差，縮放器/逆變換器(735)接收并且處理經(jīng)量化的變換系數(shù)數(shù)據(jù)(732)。在縮放器/逆變換器(735)中，縮放器/逆量化器對經(jīng)量化的變換系數(shù)進行逆縮放和逆量化。逆頻率變換器執(zhí)行逆頻率變換，產(chǎn)生經(jīng)重構(gòu)的預測殘差值或采樣值的塊。例如，逆頻率變換器將逆塊變換應用于頻率變換系數(shù)，產(chǎn)生采樣值數(shù)據(jù)或預測殘差數(shù)據(jù)。逆頻率變換可以是逆dct、其整數(shù)近似、或另一種類型的逆頻率變換(例如，逆離散正弦變換或其整數(shù)近似)。如果在編碼期間跳過頻率變換，則還跳過逆頻率變換。在這種情況下，縮放器/逆量化器可以對預測殘差數(shù)據(jù)(或采樣值數(shù)據(jù))的塊執(zhí)行逆縮放和逆量化，從而產(chǎn)生重構(gòu)值。

對于畫面內(nèi)預測，重構(gòu)(738)的值可以被反饋給畫面內(nèi)預測器(745)。對于畫面間預測，重構(gòu)(738)的值可以進一步被濾波。在合并器/濾波器(765)中，編碼器(700)將來自不同圖塊的內(nèi)容合并到畫面的重構(gòu)版本中。編碼器(700)根據(jù)濾波器控件數(shù)據(jù)(662)和濾波器自適應規(guī)則選擇地執(zhí)行去塊濾波和sao濾波，以便自適應地平滑跨畫面中的邊界的不連續(xù)性?？梢钥商娲鼗蚋郊拥貞闷渌麨V波(諸如去振鈴濾波或alf；未示出)。對于某些類型的編碼畫面(例如，包括高色度分辨率細節(jié)的采樣值的編碼畫面)，濾波可以自適應地被禁用?？梢愿鶕?jù)編碼器(700)的設置或編碼比特流數(shù)據(jù)內(nèi)的語法元素來選擇性地濾波或根本不濾波圖塊邊界。解碼畫面緩沖區(qū)(770)緩存所重構(gòu)的當前畫面以用于隨后的運動補償預測。

解碼器(700)還可以包括后處理濾波器。該后處理濾波器(708)可以包括去塊濾波、去振鈴濾波、自適應wiener濾波、膠片顆粒再現(xiàn)濾波、sao濾波或另一種濾波。而對運動補償環(huán)路中的畫面的重構(gòu)采樣值執(zhí)行“環(huán)內(nèi)”濾波，因此影響參考畫面的采樣值，在輸出以供顯示之前，后處理濾波器(708)被應用于運動補償環(huán)路外部的重構(gòu)采樣值。

根據(jù)實現(xiàn)方式和所期望的壓縮類型，編碼器(700)的模塊可以被添加、省略、拆分成多個模塊、與其他模塊組合和/或由類似模塊代替。在備選實施例中，具有不同模塊和/或其他配置的模塊的編碼器執(zhí)行所描述的技術中的一種或多種技術。編碼器的具體實施例通常使用編碼器(700)的變型或補充版本。編碼器(700)內(nèi)的模塊之間的關系指示編碼器中的通用信息流；為了簡單起見，未示出其他關系。

viii.重排輸入畫面/輸出畫面格式和編碼畫面格式之間的采樣值

諸如相機或屏幕捕獲模塊之類的視頻源通常提供被轉(zhuǎn)換為諸如yuv4:4:4色度采樣格式之類的格式的視頻。例如，一些視頻源提供采用rgb格式的未壓縮的視頻畫面，并且在編碼之前，畫面被轉(zhuǎn)換為視頻編碼器所預期的yuv格式。yuv格式包括具有表示近似明亮度值的采樣值的亮度(或y)分量以及具有表示色差值的采樣值的多個色度(或u和v)分量。色差值的準確定義(以及從諸如rgb之類的另一顏色空間到y(tǒng)uv顏色空間的轉(zhuǎn)換操作或從yuv顏色空間到諸如rgb之類的另一顏色空間的轉(zhuǎn)換操作)取決于實現(xiàn)方式。一般而言，如本文中所使用的，術語yuv指示具有亮度(luma)(或亮度(luninance))分量和一個或多個色度(chroma)(或色度(chromainace))分量的任何顏色空間，包括y'uv、yiq、y'iq和ydbdr以及諸如ycbcr和ycocg之類的變型。所使用的分量信號測量可以通過應用非線性傳遞特征函數(shù)(通常被稱為“伽馬預補償”并且通常使用上角符號(primesymbol)表示，盡管為了排版方便，上角符號經(jīng)常被省略)來調(diào)整。或者，分量信號測量可以在與光幅度具有線性關系的域中。亮度分量信號和色度分量信號可以與人類視覺系統(tǒng)的明亮度和顏色的感知良好地對準，或者亮度分量信號和色度分量信號可能在某種程度上偏離這種測量(例如，在ycocg變型中，其中應用了簡化了顏色分量值的計算的公式)。本文中所描述的yuv格式的示例包括在被稱為itu-rbt.601、itu-rbt.709和itu-rbt.2020的國際標準中描述的那些。色度采樣類型的示例如圖e-1所示的h.264/avc標準。4:4:4格式可以是yuv4:4:4格式或諸如rgb或gbr之類的另一顏色空間的格式。

許多市售的視頻編碼器和解碼器僅支持yuv4:2:0色度采樣格式。yuv4:2:0是與yuv4:4:4格式相比較對色度信息進行子采樣的格式，其保留全分辨率色度信息(即，色度信息以與亮度信息相同的分辨率表示)。然而，存在一些使用案例，其中采用yuv4:2:0格式的視頻的視覺缺陷更容易被觀眾感知到。例如，對于計算機屏幕文本內(nèi)容(特別是，使用cleartype技術渲染的文本)、具有人為的硬緣邊界的動畫視頻內(nèi)容、彩色文本、或更一般地視頻內(nèi)容的某些特征(諸如滾動標題和硬緣圖形、或信息集中在色度信道的視頻)的編碼/解碼，4:4:4格式可能優(yōu)于4:2:0格式。

本節(jié)描述了重排具有第一較高色度采樣率的輸入畫面格式和具有第二較低色度采樣率的編碼畫面格式之間的采樣值的各種方法。然后可以使用適于編碼畫面格式的編碼器對采用編碼畫面格式的畫面進行編碼。在解碼(使用適于編碼畫面格式的解碼器)之后，可以輸出采用編碼畫面格式的畫面以供進一步處理和顯示?；蛘?，在這樣的解碼之后，通過將來自采用編碼畫面格式的畫面的采樣值重排為采用輸出畫面格式的輸出畫面，可以恢復采用具有較高色度采樣率的輸出畫面格式的畫面以供輸出和顯示?；蛘撸媸褂脝蝹€編碼畫面格式，不同的編碼畫面可以具有不同的編碼畫面格式，其包括具有比輸入畫面格式更低的色度采樣速率的至少一個編碼畫面格式。

作為一個具體示例，當編碼/解碼使用yuv4:2:0格式時，本文中所描述的各種方法可以用于保留用于yuv4:4:4格式的幀的色度信息。在這些方法中，例如，yuv4:4:4幀被封包成兩個yuv4:2:0幀。典型的4:4:4幀每4個像素位置包含12個采樣值，而4:2:0幀每4個像素位置只包含6個采樣值。因此，4:4:4幀中包含的所有采樣值都可以被封包成兩個4:2:0幀。

圖8a示出了重排單個yuv4:4:4畫面(801)的采樣值的一般的方法(800)。單個yuv4:4:4畫面(801)包括y444信道、u444信道和v444信道中的采樣值作為用于yuv4:4:4畫面(801)的三個分量平面。每個分量平面具有寬度w和高度h的分辨率。為了方便描述本文中所使用的示例中的一些示例，w和h都可以被4整除，而不意味著這是對該方法的限制。

單個yuv4:4:4畫面(801)的采樣值被拆分為采用yuv4:2:0格式的兩個畫面，其被標記為yuv4:2:0畫面(802)和uuv4:2:0畫面(803)。yuv4:2:0畫面(802)包括y420信道、u420信道和v420信道中的采樣值。y420信道包括來自單個yuv4:4:4畫面(801)的y444信道的采樣值。u420信道包括來自單個yuv4:4:4畫面(801)的u444信道的一些采樣值，并且v420信道包含來自單個yuv4:4:4畫面(801)的v444信道的一些采樣值。uuv4:2:0畫面(803)包括來自單個yuv4:4:4畫面(801)的u444信道和v444信道的其他色度采樣值，其被布置在uuv4:2:0畫面(803)的y420信道、u420信道和v420信道中。

參考圖8b至圖8e對重排單個yuv4:4:4畫面(801)的色度采樣值的示例方法進行描述。在示例方法中，單個yuv4:4:4畫面(801)的采樣值被重排為yuv4:2:0畫面(802)和uuv4:2:0畫面(803)，同時維護yuv4:4:4畫面(801)的色度信息的幾何對應。因為在其y、u和v分量之間具有良好幾何對應的采用yuv4:2:0格式的畫面匹配適于對采用yuv4:2:0格式的畫面進行編碼的典型編碼器所期望的模型，所以它們可以被更好地壓縮。還有，在示例方法中，yuv4:2:0畫面(802)表示由yuv4:4:4畫面(801)表示的完整場景，盡管具有較低分辨率的色度采樣值。這提供了解碼中的選項。不能反轉(zhuǎn)或選擇不反轉(zhuǎn)采樣值的重排的解碼器可以完成表示場景的yuv4:2:0畫面(802)的重構(gòu)版本，并且直接將其饋送到顯示器。

圖8b示出了重排單個yuv4:4:4畫面(801)的采樣值的第一示例(810)。在這種方法(810)中，yuv4:4:4畫面(801)的采樣值被封包成采用yuv4:2:0格式的兩個畫面(812，813)。yuv4:2:0畫面(812)提供采用yuv4:2:0格式(由yuv4:4:4畫面(801)表示的完整場景的較低色度分辨率版本)的主視圖。uuv4:2:0畫面(813)提供采用yuv4:2:0格式的較高色度分辨率細節(jié)。

在圖8b中，區(qū)域a1…a6是采用yuv4:2:0格式的相應畫面(812，813)內(nèi)的不同區(qū)域。yuv4:4:4畫面(801)的y444信道的采樣值被分配給yuv4:2:0畫面(812)中的區(qū)域a1。yuv4:4:4畫面(801)的u444信道的偶數(shù)行的偶數(shù)列的采樣值被分配給yuv4:2:0畫面(812)中的區(qū)域a2，并且yuv4:4:4畫面(801)的v444信道的偶數(shù)行的偶數(shù)列的采樣值被分配給yuv4:2:0畫面(812)中的區(qū)域a3。可以對分配給區(qū)域a2和a3的采樣值進行濾波，以減輕偽像(artifact)，諸如混疊偽像。對于關于濾波選項的附加詳情，請參見第xii節(jié)；另見美國專利申請公開號2014/0092998a1和2014/0112394a1。

對于uuv4:2:0畫面(813)，來自yuv4:4:4畫面(801)的u444信道和v444信道的奇數(shù)列的采樣值被分配給uuv4:2:0畫面(813)中的區(qū)域a4。這些列的u采樣值和v采樣值可以在逐個列的基礎上進行交替，例如，u444列1、v444列1、u444列3、v444列3等等。yuv4:4:4畫面(801)的u444信道的奇數(shù)行的偶數(shù)列的采樣值被分配給uuv4:2:0畫面(813)中的區(qū)域a5，并且采樣值yuv4:4:4畫面(801)的v444信道的奇數(shù)行的偶數(shù)列被分配給uuv4:2:0畫面(813)中的區(qū)域a6。圖8b中所示的方法對于使用nv12格式的那些之類的實現(xiàn)方式來說是“硬件友好的”，其將u和v采樣值一起封包。

因此，對于圖8b所示的示例方法：

對于區(qū)域a1，在(x，y)范圍[0,w-1]×[0,h-1]中。

對于區(qū)域a2，在(x，y)范圍中。

對于區(qū)域a3，在(x，y)范圍中。

對于區(qū)域a4，在(x，y)范圍中；以及在(x，y)范圍中。

對于區(qū)域a5，在(x，y)范圍中。

對于區(qū)域a6，在(x，y)范圍中。

圖8c示出了將單個yuv4:4:4畫面(801)的采樣值重排為采用yuv4:2:0格式的兩個畫面的第二示例(820)。yuv4:2:0畫面(822)提供采用yuv4:2:0格式(由yuv4:4:4畫面(801)表示的完整場景的較低色度分辨率版本)的主視圖，并且uuv4:2:0畫面(823)提供采用yuv4:2:0格式的較高色度分辨率細節(jié)。

在圖8c中，區(qū)域b1…b6是采用yuv4:2:0格式的相應的畫面(822，823)內(nèi)的不同區(qū)域。對于區(qū)域b1…b3，如圖8b所示的第一示例方法那樣分配采樣值。對于uuv4:2:0畫面(823)，來自yuv4:4:4畫面(801)的u444信道和v444信道的奇數(shù)行的采樣值被分配給uuv4:2:0畫面(823)中的區(qū)域b4。這些行的u采樣值和v采樣值可以在逐個行的基礎上交替，例如，u444行1、v444行1、u444行3、v444行3等等。yuv4:4:4畫面(801)的u444信道的偶數(shù)行的奇數(shù)列的采樣值被分配給uuv4:2:0畫面(823)中的區(qū)域b5，并且yuv4:4:4畫面(801)的v444信道的偶數(shù)行的奇數(shù)列的采樣值被分配給uuv4:2:0畫面(823)中的區(qū)域b6。

因此，對于圖8c所示的示例方法：

對于區(qū)域b1，在(x，y)范圍[0,w-1]×[0,h-1]中。

對于區(qū)域b2，在(x，y)范圍中。

對于區(qū)域b3，在(x，y)范圍中。

對于區(qū)域b4，在(x，y)范圍中；以及在(x，y)范圍中。

對于區(qū)域b5，在(x，y)范圍中。

對于區(qū)域b6，在(x，y)范圍中。

圖8d示出了將單個yuv4:4:4畫面(801)的采樣值重排為采用yuv4:2:0格式的兩個畫面的第三示例(830)。yuv4:2:0畫面(832)提供采用yuv4:2:0格式(由yuv4:4:4畫面(801)表示的完整場景的較低色度分辨率版本)的主視圖，并且uuv4:2:0畫面(833)提供采用yuv4:2:0格式的較高色度分辨率細節(jié)。

在圖8d中，區(qū)域c1…c9是采用yuv4:2:0格式的相應的畫面(832，833)內(nèi)的不同區(qū)域。對于區(qū)域c1…c3，如圖8b所示的第一示例方法那樣分配采樣值。對于uuv4:2:0畫面(833)，來自yuv4:4:4畫面(801)的u444信道和v444信道的采樣值被分配給uuv4:2:0畫面(833)中的區(qū)域c4…c9，如下：

對于區(qū)域c1，在(x，y)范圍[0,w-1]×[0,h-1]中。

對于區(qū)域c2，在(x，y)范圍中。

對于區(qū)域c3，在(x，y)范圍中。

對于區(qū)域c4，在(x，y)范圍中。

對于區(qū)域c5，在(x，y)范圍中。

對于區(qū)域c6，在(x，y)范圍中。

對于區(qū)域c7，在(x，y)范圍中。

對于區(qū)域c8，在(x，y)范圍中。

對于區(qū)域c9，在(x，y)范圍中。

作為代替，yuv4:4:4畫面(801)的y444信道、u444信道和v444信道中的采樣值可以以不同的方式分配給區(qū)域c1…c9。例如，yuv4:4:4畫面(801)的u444信道和v444信道的偶數(shù)列的采樣值被分配給區(qū)域c4和c5，并且yuv4:4:4畫面(801)的u444信道和v444信道的奇數(shù)列的采樣值被分布在區(qū)域c2、c3和c6…c9之間。

圖8e示出了將單個yuv4:4:4畫面(801)的采樣值重排為采用yuv4:2:0格式的兩個畫面的第四示例(840)。yuv4:2:0畫面(842)提供采用yuv4:2:0格式(由yuv4:4:4畫面(801)表示的完整場景的較低色度分辨率版本)的主視圖，并且uuv4:2:0畫面(843)提供采用yuv4:2:0格式的較高色度分辨率細節(jié)。

在圖8e中，區(qū)域d1…d9是采用yuv4:2:0格式的相應的畫面(842，843)內(nèi)的不同區(qū)域。對于區(qū)域d1…d3，如圖8b所示的第一示例方法那樣分配采樣值。對于uuv4:2:0畫面(843)，來自yuv4:4:4畫面(801)的u444信道和v444信道的采樣值被分配給uuv4:2:0畫面(843)中的區(qū)域d4…d9，如下：

對于區(qū)域d1，在(x，y)范圍[0,w-1]×[0,h-1]中。

對于區(qū)域d2，在(x，y)范圍中。

對于區(qū)域d3，在(x，y)范圍中。

對于區(qū)域d4，在(x，y)范圍中。

對于區(qū)域d5，在(x，y)范圍中。

對于區(qū)域d6，在(x，y)范圍中。

對于區(qū)域d7，在(x，y)范圍中。

對于區(qū)域d8，在(x，y)范圍中。

對于區(qū)域d9，在(x，y)范圍中。

作為代替，yuv4:4:4畫面(801)的y444信道、u444信道和v444信道中的采樣值可以以不同的方式分配給區(qū)域d1…d9。例如，yuv4:4:4畫面(801)的u444信道和v444信道的偶數(shù)行的采樣值被分配給區(qū)域d4和d5，并且yuv4:4:4畫面(801)的u444信道和v444信道的奇數(shù)行的采樣值被分布在區(qū)域d2、d3和d6…d9之間。

可替代地，單個yuv4:4:4畫面(801)的采樣值可以以某個其他方式重排為yuv4:2:0畫面和uuv4:2:0畫面。

將采用編碼畫面格式(諸如yuv4:2:0格式)的編碼畫面的采樣值重排為采用輸出畫面格式(諸如yuv4:4:4格式)的輸出畫面的過程可以簡單地鏡像參考圖8a至圖8e所描述的方法中的一個方法。分配給采用yuv4:2:0格式的編碼畫面的區(qū)域的采樣值將分配回到采用yuv4:4:4格式的輸出畫面中的那些采樣值的原始位置。當將采樣值重排為輸出畫面格式時，將采樣值從輸入畫面格式重排為編碼畫面格式時執(zhí)行的濾波可以被反轉(zhuǎn)。對于附加詳情，請參見第xii節(jié)；另請參見美國專利公開號2014/0092998a1和2014/0112394a1。

在采樣值從采用yuv4:4:4格式的畫面重排為采用yuv4:2:0格式的畫面以供編碼和解碼的先前方法中，采用yuv4:2:0格式的畫面的所有采樣值被編碼和解碼。與僅編碼采用yuv4:2:0的畫面的低色度分辨率版本相比較，當高色度分辨率細節(jié)復雜或難以壓縮時，這種方法可以顯著增加編碼視頻的比特率，甚至在某些實例中使比特率加倍。高色度分辨率細節(jié)可以以觀眾不太可能注意到(尤其是在編碼質(zhì)量低或運動顯著的區(qū)域中)的方式提高質(zhì)量。然而，在一些實現(xiàn)方式中，先前的方法在質(zhì)量和比特率方面均不能適度地縮放，其使得該方法不適合于自適應流傳送，并且不準許簡單地丟棄高色度分辨率細節(jié)的編碼畫面。與僅編碼畫面的低色度分辨率版本相比，先前的方法還會顯著增加編碼和解碼的計算復雜度。

ix.劃分低色度分辨率版本和高色度分辨率細節(jié)為編碼畫面的不同子序列

本節(jié)呈現(xiàn)了用于畫面的高色度分辨率細節(jié)的編碼和解碼領域中的第一創(chuàng)新集合。具體地，本節(jié)描述了具有用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面在與具有用于輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面不同的子序列中進行編碼和解碼的方法。在一些示例實現(xiàn)方式中，不同的子序列(可替代地，被稱為子流)中的編碼畫面在編碼畫面的單個序列(可替代地，被稱為編碼畫面流)中進行交織，其使得能夠使用常規(guī)編解碼工具進行有效的編碼和解碼，該常規(guī)編解碼工具根據(jù)用于那些編解碼器工具的給定標準或格式使用一致的語法。

a.用于低色度分辨率版本和高色度分辨率細節(jié)的編碼畫面的不同子序列的示例

對于采用輸入畫面格式的給定輸入畫面，視頻編碼工具將輸入畫面拆分成采用編碼畫面格式(或多個編碼畫面格式)的多個編碼畫面。例如，視頻編碼工具可以使用參考圖8a至圖8e所描述的方法中的任一方法或使用其他方法將輸入畫面的采樣值重排為兩個編碼畫面。編碼畫面中的一個編碼畫面包括用于輸入畫面(例如，yuv4:2:0畫面)的低色度分辨率版本的采樣值。另一編碼畫面包括用于輸入畫面(例如，uuv4:2:0畫面)的高色度分辨率細節(jié)的采樣值。

視頻編碼工具將兩個編碼畫面分配給給定序列的編碼畫面內(nèi)的編碼畫面的兩個不同子序列。編碼畫面的一個子序列包括具有用于低色度分辨率版本的輸入畫面的采樣值的編碼畫面。另一子序列包括具有用于輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面。

圖9示出了包括yuv4:2:0畫面的子序列和uuv4:2:0畫面的子序列的編碼畫面的序列(900)。yuv4:2:0畫面的子序列包括采用yuv4:2:0格式的編碼畫面(910，911，…，919)，其具有用于輸入畫面的低色度分辨率版本的采樣值。uuv4:2:0畫面的子序列包括采用yuv4:2:0格式的編碼畫面(920，921，…，929)，其具有用于輸入畫面的高色度分辨率細節(jié)的采樣值。如圖9所示，yuv4:2:0畫面和uuv4:2:0畫面可以交織，在yuv4:2:0畫面和uuv4:2:0畫面之間交替?；蛘?，yuv4:2:0畫面和uuv4:2:0畫面可以根據(jù)某個其他模式在單個序列中進行組織。

視頻編碼工具對采用編碼畫面格式(或多個編碼畫面格式)的編碼畫面進行編碼。作為編碼的一部分，視頻編碼工具管理運動補償依賴性。特別地，當對具有用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面的塊執(zhí)行運動估計和/或運動補償時，視頻編碼工具將可用參考畫面集合限制為具有用于其他輸入畫面的低色度分辨率版本的采樣值的編碼畫面。類似地，當對具有用于輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面的塊執(zhí)行運動估計和/或運動補償時，視頻編碼工具將可用參考畫面集合限制為具有用于其他輸入畫面的高色度分辨率細節(jié)的采樣值的編碼畫面。

視頻編碼工具可以使用多個參考畫面、參考畫面重排序和/或長期參考畫面來管理編碼畫面的不同子序列的運動補償依賴性。例如，h.264標準和h.265標準包括支持多個參考畫面、參考畫面重排序和長期參考畫面的編碼工具。解碼畫面緩沖區(qū)可以存儲多個參考畫面(例如，一個或多個yuv4:2:0畫面和一個或多個uuv4:2:0畫面)?？梢栽诮獯a畫面緩沖區(qū)中的任意時間段內(nèi)緩存長期參考畫面以用作參考畫面。視頻編碼工具可以重排序參考畫面，使得最常參考的畫面具有較低參考畫面索引，其可以使得參考畫面索引的熵編碼更有效率。還有，視頻編碼工具可以在編碼畫面的一個子序列中使用用于參考畫面的參考畫面索引集合，并且在編碼畫面的另一子序列中使用用于參考畫面的不同的參考畫面索引集合。

為了說明，圖10a示出了yuv4:2:0畫面的子序列的編碼畫面之間的時間依賴性與uuv4:2:0畫面的子序列的編碼畫面之間的時間依賴性的簡單示例(1000)。編碼畫面的序列(1005)包括yuv4:2:0畫面(1010，1030)的子序列和uuv4:2:0畫面(1020，1040)的子序列。第一yuv4:2:0畫面(1010)被標記為長期參考畫面(例如，由參考畫面索引0索引)。第一uuv4:2:0畫面(1020)也被標記為長期參考畫面(例如，由參考畫面索引1索引)。第二yuv4:2:0畫面(1030)使用第一yuv4:2:0畫面(1010)作為參考畫面(例如，使用參考畫面索引0來約束運動估計和補償)，但是即使第一個uuv4:2:0畫面(1020)已經(jīng)被重構(gòu)，也不被允許使用第一uuv4:2:0畫面(1020)作為參考畫面。第二uuv4:2:0畫面(1040)使用第一uuv4:2:0畫面(1020)作為參考畫面(例如，使用參考畫面索引1來約束運動估計和補償)，但是即使第一yuv4:2:0畫面(1010)已經(jīng)被重構(gòu)，也不被允許使用第一yuv4:2:0畫面(1010)作為參考畫面。使用長期參考畫面便于在單個序列中組合兩個子序列。

圖10b示出了yuv4:2:0畫面的子序列的編碼畫面之間的時間依賴性與uuv4:2:0畫面的子序列的編碼畫面之間的時間依賴性的更復雜的示例(1001)。再次地，給定的yuv4:2:0畫面可以僅使用yuv4:2:0畫面的子序列中的另一編碼畫面作為參考畫面，并且給定的uuv4:2:0畫面可以僅使用uuv4:2:0畫面的子序列中的另一編碼畫面作為參考畫面。圖10b示出了跨序列(1005)中多個中間的編碼畫面的長期預測的示例。最后的uuv4:2:0畫面(1090)使用第一uuv4:2:0畫面(1020)作為參考畫面，其被任意數(shù)目個yuv4:2:0畫面分開。最后的uuv4:2:0畫面(1090)不被允許使用中間的yuv4:2:0畫面中的任一中間的yuv4:2:0畫面作為參考畫面。

如下一節(jié)所解釋的，編碼畫面可以從子序列中丟棄。例如，對于具有用于高色度分辨率細節(jié)的采樣值的編碼畫面，如果沒有區(qū)域包括被編碼的采樣值，則編碼畫面被從其子序列中丟棄。還有，可以用零運動來跳過任一子序列中的編碼畫面(或其區(qū)域)，使得沒有用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)被輸出，并且從子序列中的先前編碼畫面重復編碼畫面(或區(qū)域)。

在對應的解碼期間，視頻解碼工具對采用編碼畫面格式(或多個編碼畫面格式)的編碼畫面進行解碼。當用零運動來跳過任一子序列中的編碼畫面(或其區(qū)域)時，使得沒有接收到編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，可以通過從子序列中的先前編碼畫面重復來對編碼畫面進行解碼。作為解碼的一部分，視頻解碼工具執(zhí)行與由編碼器強制執(zhí)行的運動補償相關性一致的運動補償。特別地，當對具有用于輸出畫面的低色度分辨率版本的采樣值的編碼畫面的塊執(zhí)行運動補償時，可用參考畫面集合被限制為具有用于其他輸出畫面的低色度分辨率版本的采樣值的編碼畫面。類似地，當對具有用于輸出畫面的高色度分辨率細節(jié)的采樣值的編碼畫面的塊執(zhí)行運動補償時，可用參考畫面集合被限制為具有用于其他輸出畫面的高色度分辨率細節(jié)的采樣值的編碼畫面。

在視頻解碼工具中，可以使用多個參考畫面、參考畫面重排序和/或長期參考畫面來管理編碼畫面的不同子序列的運動補償依賴性。例如，h.264標準和h.265標準包括支持多個參考畫面、參考畫面重排序和長期參考畫面的編碼工具。

對于采用輸出畫面格式的給定輸出畫面，視頻解碼工具可以組合采用編碼畫面格式(或多個編碼畫面格式)的多個編碼畫面。例如，視頻解碼工具可以通過反轉(zhuǎn)參考圖8a至圖8e所描述的方法中的任一方法或使用其他方法來將兩個編碼畫面的采樣值重排為輸出畫面。編碼畫面中的一個編碼畫面包括用于輸出畫面(例如，yuv4:2:0畫面)的低色度分辨率版本的采樣值。另一編碼畫面包括用于輸出畫面(例如，uuv4:2:0畫面)的高色度分辨率細節(jié)的采樣值。如果任何編碼畫面(或其中的區(qū)域)已經(jīng)用零運動跳過，則當合成輸出畫面時相同子序列中的先前編碼畫面(或相同位置區(qū)域)可以提供所使用的采樣值(用于當前編碼畫面或其區(qū)域)。

b.用于編碼/解碼用于低色度分辨率版本和高色度分辨率細節(jié)的不同子序列的技術

圖11圖示了用于編碼用于輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的編碼畫面的不同子序列中的一般的技術(1100)。諸如參考圖4描述的編碼器系統(tǒng)(400)之類的視頻編碼工具或另一編碼工具可以執(zhí)行該技術(1100)。

編碼工具(1110)將根據(jù)輸入畫面格式組織的輸入畫面的采樣值分別封包(1110)成根據(jù)第一編碼畫面格式和第二編碼畫面格式組織的第一編碼畫面和第二編碼畫面。第一編碼畫面格式和第二編碼畫面格式可以是相同的編碼畫面格式或不同的編碼畫面格式(例如，不同的色度采樣率)。一般而言，輸入畫面格式具有第一色度采樣率，并且第一編碼畫面格式和第二編碼畫面格式中的至少一個編碼畫面格式具有低于第一色度采樣率的第二色度采樣率。例如，第一色度采樣率為4:4:4，而第二色度采樣率為4:2:0。第一編碼畫面包含用于輸入畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸入畫面的高色度分辨率細節(jié)的采樣值。例如，編碼工具使用參考圖8a至圖8e所描述的方法中的任一方法或另一方法來將采樣值封包成第一編碼畫面和第二編碼畫面。

編碼工具將第一編碼畫面和第二編碼畫面編碼(1120)編碼為編碼畫面序列中的單獨的編碼畫面，從而產(chǎn)生編碼數(shù)據(jù)。作為編碼的一部分，第一編碼畫面被編碼為序列的第一子序列的一部分，并且第二編碼畫面被編碼為序列的第二子序列的一部分。第一子序列與第二子序列不同。為了運動補償(并且，引申開來，運動估計)，第一子序列中的編碼畫面不被允許參考第二子序列中的任何編碼畫面，并且第二子序列中的編碼畫面不被允許參考第一子序列中的任何編碼畫面。

例如，編碼工具通過使用標識第一子序列中的編碼畫面的第一長期參考畫面索引集合來管理第一子序列內(nèi)的運動補償依賴性。類似地，編碼工具通過使用標識第二子序列中的編碼畫面的第二長期參考畫面索引集合來管理第二子序列內(nèi)的運動補償依賴性。編碼工具還可以重排序參考畫面，使得第一子序列中的編碼畫面不參考第二子序列中的任何編碼畫面，并且使得第二子序列中的編碼畫面不參考第一子序列中的任何編碼畫面。如第iii節(jié)所描述的，第一子序列的編碼數(shù)據(jù)和第二子序列的編碼數(shù)據(jù)隨后可以通過比特流編輯工具(諸如解復用器或路由器)分開。這允許比特流編輯工具僅向回放設備發(fā)送第一子序列的編碼數(shù)據(jù)(用于以低色度分辨率進行解碼和回放)或向回放設備發(fā)送兩個子序列的編碼數(shù)據(jù)(用于以高色度分辨率進行潛在的解碼和回放)。對于附加詳情，請參閱第三段。

回到圖11，編碼工具輸出(1130)編碼數(shù)據(jù)，其包括用于第一編碼畫面和第二編碼畫面中的一個或兩個編碼畫面的編碼數(shù)據(jù)。在一些情況下，用于第一編碼畫面和/或第二編碼畫面的編碼數(shù)據(jù)僅包括該編碼畫面的一部分的編碼數(shù)據(jù)(例如，編碼畫面的一個或多個區(qū)域，如下文所描述的，但不是編碼畫面的所有區(qū)域)。編碼工具可以針對一個或多個其他輸入畫面中的每個輸入畫面來重復(1100)該技術。在一些情況下，第二編碼畫面可能被丟棄(因此不被編碼)，使得沒有輸出用于第二編碼畫面的編碼數(shù)據(jù)。還有，可以用零運動來跳過第一編碼畫面或第二編碼畫面(或其區(qū)域)，使得沒有輸出用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，并且編碼畫面(或區(qū)域)從子序列中的先前編碼畫面重復。因此，當編碼來自輸入畫面的第一編碼畫面和第二編碼畫面時，編碼工具可能沒有產(chǎn)生用于任何第一編碼畫面的編碼數(shù)據(jù)，可能產(chǎn)生用于第一編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可能產(chǎn)生用于所有第一編碼畫面的編碼數(shù)據(jù)，并且編碼工具可能沒有產(chǎn)生用于任何第二編碼畫面的編碼數(shù)據(jù)，可能產(chǎn)生用于第二編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可能產(chǎn)生用于所有第二編碼畫面的編碼數(shù)據(jù)。

圖12圖示了用于解碼用于輸出畫面的低色度分辨率版本和高色度分辨率細節(jié)的不同子序列中的編碼畫面的一般的技術(1200)。諸如參考圖5所描述的解碼器系統(tǒng)(500)之類的視頻解碼工具或另一解碼工具可以執(zhí)行該技術(1200)。

解碼工具接收(1210)編碼數(shù)據(jù)并且對采用第一編碼畫面格式和第二編碼畫面格式(其可以是相同的編碼畫面格式或不同的編碼畫面格式)的第一編碼畫面和第二編碼畫面進行解碼(1220)。第一編碼畫面包含用于采用輸出畫面格式的輸出畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸出畫面的高色度分辨率細節(jié)的采樣值。一般而言，輸出畫面格式具有第一色度采樣率，并且第一編碼畫面格式和第二編碼畫面格式中的至少一個編碼畫面格式具有低于第一色度采樣率的第二色度采樣率。例如，第一色度采樣率為4:4:4，而第二色度采樣率為4:2:0。

解碼工具將第一編碼畫面和第二編碼畫面解碼(1220)為編碼畫面序列中的分開的編碼畫面。作為解碼(1220)的一部分，第一編碼畫面被解碼為序列的第一子序列的一部分，并且第二編碼畫面被解碼為序列的第二子序列的一部分。第一子序列與第二子序列不同。當用零運動來跳過任一子序列中的編碼畫面(或其區(qū)域)，使得沒有接收到編碼畫面(或區(qū)域)的編碼數(shù)據(jù)時，可以通過重復子序列中的先前編碼畫面對編碼畫面(或區(qū)域)進行解碼。為了運動補償，第一子序列中的編碼畫面不參考第二子序列中的任何編碼畫面，并且第二子序列中的編碼畫面不參考第一子序列中的任何編碼畫面。

例如，使用標識第一子序列中的編碼畫面的第一長期參考畫面索引集合來管理第一子序列內(nèi)的運動補償依賴性。類似地，使用標識第二子序列中的編碼畫面的第二長期參考畫面索引集合來管理第二子序列內(nèi)的運動補償依賴性。參考畫面還可以重排序，使得第一子序列中的編碼畫面不參考第二子序列中的任何編碼畫面，并且使得第二子序列中的編碼畫面不參考第一子序列中的任何編碼畫面。

解碼工具將第一編碼畫面和第二編碼畫面的采樣值解包(1230)為輸出畫面。例如，解碼工具反轉(zhuǎn)參考圖8a至圖8e所描述的方法中的任一方法或另一方法以解包來自第一編碼畫面和第二編碼畫面的采樣值。在一些情況下，用于第一編碼畫面和/或第二編碼畫面的編碼數(shù)據(jù)包括用于編碼畫面的僅一部分的編碼數(shù)據(jù)(例如，用于編碼畫面的一個或多個區(qū)域，如下文所描述的，而非用于編碼畫面的所有區(qū)域)，其影響哪些采樣值在解包期間被重排。例如，如果已經(jīng)用零運動來跳過編碼畫面(或其中的區(qū)域)，則同一子序列中的先前編碼畫面(或相同位置區(qū)域)可以提供在合成輸出畫面時使用的采樣值(用于當前編碼畫面或其區(qū)域)。

解碼工具可以針對一個或多個其他輸出畫面中的每個輸出畫面來重復該技術(1200)。在一些情況下，第二編碼畫面可能已經(jīng)被丟棄(并且因此沒有被編碼)，使得沒有接收到或解碼用于第二編碼畫面的編碼數(shù)據(jù)。還有，第一編碼畫面或第二編碼畫面(或其區(qū)域)可能已經(jīng)用零運動跳過，使得沒有接收到用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，并且作為替代，編碼畫面(或區(qū)域)根據(jù)子序列中的先前編碼畫面重復。因此，當解碼用于輸出畫面的第一編碼畫面和第二編碼畫面時，解碼工具可以不使用用于任何第一編碼畫面的編碼數(shù)據(jù)，可以使用用于第一編碼畫面的某些區(qū)域的編碼數(shù)據(jù)，或者可以使用用于所有第一編碼畫面的編碼數(shù)據(jù)，并且解碼工具可以不使用用于任何第二編碼畫面的編碼數(shù)據(jù)，可以使用用于第二編碼畫面的某些區(qū)域的編碼數(shù)據(jù)，或者可以使用用于所有第二編碼畫面的編碼數(shù)據(jù)。

x.選擇性地編碼/解碼高色度分辨率細節(jié)的區(qū)域

本節(jié)提出了用于畫面的高色度分辨率細節(jié)的編碼和解碼領域的第二創(chuàng)新集合。具體地，本節(jié)描述了選擇性地編碼/解碼高色度分辨率細節(jié)的區(qū)域的方法，使得用于高色度分辨率細節(jié)的采樣值被編碼/解碼用于某些區(qū)域而非用于其他區(qū)域。用于高色度分辨率細節(jié)的采樣值被編碼的區(qū)域可以改變，其便于比特率和質(zhì)量的適配。

a.用于低色度分辨率版本和高色度分辨率細節(jié)的不同編碼畫面區(qū)域的示例

對于采用輸入畫面格式的給定輸入畫面，視頻編碼工具將輸入畫面拆分成采用編碼畫面格式(或多個編碼畫面格式)的多個編碼畫面。例如，視頻編碼工具可以使用參考圖8a至圖8e所描述的方法中的任一方法或使用其他方法來將輸入畫面的采樣值重排為兩個編碼畫面。編碼畫面中的一個編碼畫面包括用于輸入畫面(例如，yuv4:2:0畫面)的低色度分辨率版本的采樣值。另一編碼畫面包括用于輸入畫面(例如，uuv4:2:0畫面)的高色度分辨率細節(jié)的采樣值。

視頻編碼工具將第一編碼畫面和/或第二編碼畫面拆分成區(qū)域(可替代地，被稱為子區(qū)域)。區(qū)域的尺寸取決于實現(xiàn)方式。例如，區(qū)域的尺寸是16×16(例如，16×16、32×32或64×64)的倍數(shù)，以便于使用常規(guī)編解碼器工具來實現(xiàn)?？商娲?，區(qū)域具有其他尺寸。給定編碼畫面中的區(qū)域的尺寸可以相同或不同。

對于第一編碼畫面，視頻編碼工具判定要在其中對用于輸入畫面的低色度分辨率版本的采樣值進行編碼的區(qū)域(如果有的話)。對于第二編碼畫面，視頻編碼工具判定要在其中對用于輸入畫面的高色度分辨率細節(jié)的采樣值進行編碼的區(qū)域(如果有的話)。第xi節(jié)提出了判定要在其中對采樣值進行編碼的區(qū)域的示例方法。對于給定編碼畫面，視頻編碼工具可以不對編碼畫面的區(qū)域進行編碼，或者對編碼畫面的某些區(qū)域或所有區(qū)域進行編碼。如下文所解釋的，當采樣值未在區(qū)域中編碼時，可能會根據(jù)上下文跳過或丟棄該區(qū)域。

對于編碼畫面，視頻編碼工具生成并且輸出標識編碼畫面的采樣值被編碼的區(qū)域的數(shù)據(jù)。這樣的區(qū)域數(shù)據(jù)的示例如下文所提出的。區(qū)域數(shù)據(jù)可以通過視頻編碼工具進行熵編碼，并且通過視頻解碼工具進行熵解碼。如參考圖3至圖5所描述的，區(qū)域數(shù)據(jù)可以作為元數(shù)據(jù)而被用信號通知。

在對應的解碼期間，視頻解碼工具接收并且處理區(qū)域數(shù)據(jù)，該區(qū)域數(shù)據(jù)標識編碼畫面的采樣值已經(jīng)被編碼的區(qū)域。視頻解碼工具對編碼畫面進行解碼，包括：至少對用于采樣值已經(jīng)被編碼的區(qū)域的編碼數(shù)據(jù)進行解碼。當用零運動來跳過編碼畫面(或其區(qū)域)，使得沒有接收到用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)時，可以通過根據(jù)先前編碼畫面重復來解碼編碼畫面(或區(qū)域)。對于采用輸出畫面格式的給定輸出畫面，視頻解碼工具可以組合采用編碼畫面格式(或多個編碼畫面格式)的多個編碼畫面。例如，視頻解碼工具可以通過反轉(zhuǎn)參考圖8a至圖8e所描述的方法中的任一方法或使用其他方法來將兩個編碼畫面(分別用于低色度分辨率版本和高色度分辨率細節(jié))的采樣值重排為輸出畫面。如果任一編碼畫面(或其中的區(qū)域)已經(jīng)用零運動跳過，則同一子序列中的先前編碼畫面(或相同位置區(qū)域)可以提供在合成輸出畫面時使用的采樣值(用于當前編碼畫面或其區(qū)域)。

為了說明，圖13示出了對用于高色度分辨率細節(jié)的區(qū)域中的采樣值進行選擇性編碼和解碼的簡單示例(1300)。視頻編碼工具接收采用輸入畫面格式(例如，yuv4:4:4格式)的輸入畫面(1310)的高色度分辨率版本。視頻編碼工具將輸入畫面(1310)的采樣值重排成采用編碼畫面格式(例如，yuv4:2:0格式)或多個編碼畫面格式的兩個編碼畫面(1320，1330)。第一編碼畫面(1320)包括用于輸入畫面(1310)的低色度分辨率版本的采樣值。第二編碼畫面(1330)包括用于輸入畫面(1310)的高色度分辨率細節(jié)的兩個區(qū)域中的采樣值。對于第二編碼畫面(1330)的其余部分，缺少高色度分辨率細節(jié)。

編碼畫面(1320，1330)通過視頻編碼工具進行編碼，通過網(wǎng)絡傳輸，并且通過視頻解碼工具進行解碼。視頻解碼工具還將來自所重構(gòu)的編碼畫面(1320，1330)的采樣值組合成采用輸出畫面格式(例如，yuv4:4:4格式)的輸出畫面(1340)。輸出畫面(1340)包括具有低色度分辨率的區(qū)域，其并入來自第一編碼畫面(1320)的采樣值。對于該區(qū)域，第二編碼畫面(1330)缺少高色度分辨率細節(jié)。輸出畫面(1340)還包括具有高色度分辨率的區(qū)域，其并入來自第一編碼畫面(1320)的采樣值和來自第二編碼畫面(1330)的采樣值。

盡管圖13示出了具有高色度分辨率細節(jié)的兩個區(qū)域，但是在其他示例中，第二編碼畫面(1330)具有更多或更少的具有高色度分辨率細節(jié)的區(qū)域。在不同的極端處，第二編碼畫面(1330)沒有帶有高色度分辨率細節(jié)的區(qū)域(因此可以被刪除)或具有的所有區(qū)域均帶有高色度分辨率細節(jié)。

圖14示出了對用于輸入畫面的低色度分辨率版本的區(qū)域和用于輸入畫面的高色度分辨率細節(jié)的區(qū)域中的采樣值進行選擇性編碼的示例(1400)。采用輸入畫面格式(例如，yuv4:4:4格式)的輸入畫面序列(1410，1420，1430，1440，1450)包括分別用于輸入畫面的高色度分辨率版本的采樣值。視頻編碼工具將輸入畫面(1410，1420，1430，1440，1450)中的每個輸入畫面拆分成采用編碼畫面格式(例如，yuv4:2:0格式)或多個編碼畫面格式的兩個編碼畫面。對于每個輸入畫面，兩個編碼畫面中的一個編碼畫面表示輸入畫面的低色度版本、或其至少選定區(qū)域，而另一編碼畫面表示輸入畫面的高色度分辨率細節(jié)、或其至少選定區(qū)域。

對于各種編碼畫面，視頻編碼工具選擇其中采樣值被編碼的區(qū)域。針對輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)，可以獨立選擇區(qū)域。例如，對于第一輸入畫面(1410)，對輸入畫面的低色度分辨率版本的所有區(qū)域進行編碼，但是不對高色度分辨率細節(jié)的區(qū)域進行編碼。對于第二輸入畫面(1420)，對輸入畫面的低色度分辨率版本的所有區(qū)域進行編碼，并且對高色度分辨率細節(jié)的兩個不同區(qū)域進行編碼。對于第三輸入畫面(1430)，不對輸入畫面的低色度分辨率版本或高色度分辨率細節(jié)的區(qū)域進行編碼。對于第四輸入畫面(1440)，對輸入畫面的低色度分辨率版本的一個區(qū)域進行編碼(并且一個不被編碼)，但是不對高色度分辨率細節(jié)的區(qū)域進行編碼。最后，對于第五輸入畫面(1450)，不對輸入畫面的低色度分辨率版本的區(qū)域進行編碼，但對高色度分辨率細節(jié)的一個區(qū)域進行編碼(并且一個不被編碼)。因此，對于輸入畫面的低色度分辨率版本，可以不對用于任何區(qū)域的采樣值進行編碼、或?qū)τ糜谝恍﹨^(qū)域、或所有區(qū)域的采樣值進行編碼。另一方面，對于輸入畫面的高色度分辨率細節(jié)，可以不對用于任何區(qū)域的采樣值進行編碼、或?qū)σ恍﹨^(qū)域、或所有區(qū)域的采樣值進行編碼。

因此，編碼畫面可以從子序列中丟棄。例如，對于第一輸入畫面(1410)，具有用于高色度分辨率細節(jié)的采樣值的編碼畫面(其中沒有區(qū)域包括被編碼的采樣值)從其子序列中丟棄。還有，可以用零運動來跳過任一子序列中的編碼畫面(或其區(qū)域)，使得沒有輸出用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，并且編碼畫面(或區(qū)域)根據(jù)子序列中的先前編碼畫面重復。例如，對于第三輸入畫面(1430)，可以用零運動來跳過具有用于輸入畫面的低色度分辨率版本的采樣值的編碼畫面，使得沒有輸出用于編碼畫面的編碼數(shù)據(jù)，并且編碼畫面根據(jù)子序列中的先前編碼畫面重復?；蛘?，對于第三輸入畫面(1430)，可以用零運動來跳過具有用于高色度分辨率細節(jié)的采樣值的編碼畫面的兩個區(qū)域，使得沒有輸出用于編碼畫面的編碼數(shù)據(jù)，并且兩個區(qū)域根據(jù)其中兩個區(qū)域被編碼的子序列中的先前編碼畫面重復。

b.區(qū)域數(shù)據(jù)的示例

用于編碼畫面的區(qū)域數(shù)據(jù)指示其中采樣值被編碼的編碼畫面的區(qū)域。區(qū)域可以是編碼畫面中的預先定義的分區(qū)(例如，具有預先定義的尺寸和位置，諸如h.264實現(xiàn)方式中的mb或h.265實現(xiàn)方式中的ctu)?？商娲?，可以在區(qū)域數(shù)據(jù)中指定區(qū)域的尺寸和/或位置。例如，對于一個或多個區(qū)域中的每個區(qū)域，區(qū)域數(shù)據(jù)包括(a)指定區(qū)域的拐角的一個或多個參數(shù)以及指定該區(qū)域的寬度和高度的參數(shù)；(b)指定該區(qū)域的多個拐角的參數(shù)；或(c)指定該區(qū)域中的宏塊或編碼單元的列表的參數(shù)。

除了定義區(qū)域的尺寸和位置的區(qū)域數(shù)據(jù)的參數(shù)(如果有的話)之外，區(qū)域數(shù)據(jù)還包括索引值的映射，其指示其中采樣值被編碼為編碼畫面的一部分的任何區(qū)域。例如，映射包括每個區(qū)域的索引值。映射可以指示其中用于第二編碼畫面的編碼數(shù)據(jù)包括用于輸入(或輸出)畫面的高色度分辨率細節(jié)的編碼采樣值的任何區(qū)域。當也為第一編碼畫面選擇區(qū)域時，另一映射可以指示其中用于第一編碼畫面的編碼數(shù)據(jù)包括用于輸入(或輸出)畫面的低色度分辨率版本的編碼采樣值的任何區(qū)域。當在編碼畫面的區(qū)域中對采樣值進行編碼時，用于編碼畫面的編碼數(shù)據(jù)直接表示該區(qū)域的采樣值。另一方面，當未對該區(qū)域中的采樣值進行編碼時，可以根據(jù)上下文跳過或丟棄該區(qū)域。

對于編碼畫面的給定區(qū)域，索引值指示關于該區(qū)域的信息。圖15和圖16示出了索引值的示例?？商娲?，索引值指示其他信息。在任何情況下，編碼工具或解碼工具都可以使用用于編碼畫面的映射中的索引值來確定采樣值被編碼為編碼畫面的一部分的任何區(qū)域。

圖15示出了當在輸入畫面(或輸出畫面)的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中對采樣值進行選擇性地編碼和解碼時可以使用的示例區(qū)域數(shù)據(jù)(1500)。在編碼期間，視頻編碼工具可以使用區(qū)域數(shù)據(jù)(1500)來控制哪些區(qū)域具有針對它們進行編碼的采樣值。在對應的解碼中，視頻解碼工具可以使用區(qū)域數(shù)據(jù)(1500)來確定采樣值已經(jīng)被編碼的區(qū)域。在圖15中，第一編碼畫面(1510)(被標記為yuv4:2:0畫面)包括輸入畫面x的低色度分辨率版本。第二編碼畫面(1520)(被標記為uuv4:2:0畫面)包括輸入畫面x的高色度分辨率細節(jié)。

編碼畫面(1510，1520)中的每個編碼畫面被劃分為12個區(qū)域。對于第一編碼畫面(1510)，索引值的第一映射(1512)指示與最近的在先yuv4:2:0畫面的相同位置區(qū)域相比較，其中采樣值被改變(“臟”)的區(qū)域，其中相同位置區(qū)域中的采樣值被編碼。第一編碼畫面(1510)的區(qū)域0至4和8中的采樣值是臟的，但是區(qū)域5至7以及9至11中的采樣值不臟。對于第二編碼畫面(1520)，索引值的另一映射(1522)指示與最近的在先uuv4:2:0畫面的相同位置區(qū)域相比較，其中采樣值被改變(“臟”)的區(qū)域，其中相同位置區(qū)域中的采樣值被編碼。第二編碼畫面(1520)的區(qū)域1至8中的采樣值是臟的，但是區(qū)域9至11中的采樣值不臟。在映射(1512，1522)中的每個映射中，對于給定區(qū)域，索引值0×00(或一比特值0)指示該區(qū)域是臟的，并且索引值0×01(或一比特值1)表示區(qū)域不臟

根據(jù)映射(1512，1522)中的索引值，視頻編碼工具和視頻解碼工具推斷其中采樣值被編碼的編碼畫面的區(qū)域。例如，根據(jù)如圖15所示的解釋所定義的區(qū)域數(shù)據(jù)的一種方法，對于第一編碼畫面(1510)，對臟區(qū)域的采樣值進行編碼，并且不對非臟區(qū)域的采樣值進行編碼。作為代替，第一編碼畫面(1510)的非臟區(qū)域被編碼為具有零運動的跳過區(qū)域，其從先前yuv4:2:0畫面中的相同位置區(qū)域復制。因此，對于編碼或復制(跳過)的輸入/輸出畫面的低色度分辨率版本的區(qū)域，總是存在一些可用的表示。對于第二編碼畫面(1520)，對臟區(qū)域的采樣值進行編碼，并且不對非臟區(qū)域的采樣值進行編碼。作為代替，第二編碼畫面(1520)的非臟區(qū)域被編碼為具有零運動的跳過區(qū)域(從先前uuv4:2:0畫面中的相同位置區(qū)域復制，如果自從該相同位置區(qū)域被編碼后尚未發(fā)生改變)或被丟棄(否則)。因此，輸入畫面/輸出畫面的高色度分辨率細節(jié)的區(qū)域可以直接用該區(qū)域的采樣值進行編碼、復制(跳過)或丟棄。

根據(jù)如圖15所示的解釋所定義的區(qū)域數(shù)據(jù)的另一方法，第二編碼畫面(1520)的區(qū)域根據(jù)稍微不同的規(guī)則被編碼或不被編碼。特別地，對于第二編碼畫面(1520)，只有當?shù)谝痪幋a畫面(1510)的相同位置區(qū)域不臟時，才能對臟區(qū)域的采樣值進行編碼；否則不對第二編碼畫面(1520)的臟區(qū)域的采樣值進行編碼。如在第一方法中一樣，第二編碼畫面(1520)的非臟區(qū)域被編碼為具有零運動的跳過區(qū)域或被丟棄。因此，高色度分辨率細節(jié)的臟區(qū)域?qū)τ趲讉€編碼畫面可能保持臟，直到其被最終編碼為止。這種方法與第xi.a.1節(jié)中所描述的判定規(guī)則相一致。

圖16示出了當選擇性地對輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中的采樣值進行編碼和解碼時可以使用的其他示例區(qū)域數(shù)據(jù)(1600)。第一編碼畫面(1610)(被標記為yuv4:2:0畫面)包括輸入畫面x的低色度分辨率版本，并且第二編碼畫面(1620)(被標記為uuv4:2:0畫面)包括輸入畫面x的高色度分辨率細節(jié)。

編碼畫面(1610，1620)中的每個編碼畫面被分割成12個區(qū)域，并且具有索引值的對應映射(1612，1622)。用于區(qū)域的索引值是兩比特值，其中第一比特指示與最近的在先編碼畫面中的相同位置區(qū)域相比較，該區(qū)域中的采樣值是否改變(“臟”)，其中相同位置區(qū)域中的采樣值被編碼；并且第二比特指示(至少對于非臟區(qū)域)區(qū)域中的采樣值是否已經(jīng)被高質(zhì)量地編碼(即，在先前編碼畫面中的相同位置區(qū)域中)。因此，值0×00(或兩比特值00)指示先前未被高質(zhì)量地編碼的非臟區(qū)域，值0×01(或兩比特值01)指示先前被高質(zhì)量地編碼的非臟區(qū)域。值0×02(或兩比特值10)表示臟區(qū)域。根據(jù)這樣的索引值，視頻編碼工具和視頻解碼工具可以使用如在第xi.a.3節(jié)中所描述的規(guī)則推斷給定區(qū)域是否被編碼。

映射中的索引值可以通過視頻編碼工具進行熵編碼(例如，使用游程長度編碼或上下文自適應二進制算術編碼)。在這種情況下，視頻解碼工具執(zhí)行對應的熵解碼。區(qū)域數(shù)據(jù)可以例如作為用于h.264標準或h.265標準的新型sei消息的一部分、作為容器結(jié)構(gòu)的字段、作為傳輸協(xié)議消息的字段、或作為一些其他類型的元數(shù)據(jù)被信號通知。

在圖15和圖16中，區(qū)域中的每個區(qū)域具有相同的尺寸?？商娲?，區(qū)域在編碼畫面內(nèi)或從畫面到畫面的尺寸可以不同。

c.用于編碼/解碼用于低色度分辨率版本和高色度分辨率細節(jié)的編碼畫面的選定區(qū)域的技術

圖17圖示了用于對用于高色度分辨率細節(jié)的區(qū)域中的采樣值選擇性地編碼的一般的技術(1700)。諸如參考圖4描述的編碼器系統(tǒng)(400)之類的視頻編碼工具或另一編碼工具可以執(zhí)行該技術(1700)。

編碼工具(1710)將根據(jù)輸入畫面格式組織的輸入畫面的采樣值封包成根據(jù)第一編碼畫面格式和第二編碼畫面格式組織的第一編碼畫面和第二編碼畫面。第一編碼畫面格式和第二編碼畫面格式可以是相同的編碼畫面格式或不同的編碼畫面格式(例如，不同的色度采樣率)。一般而言，輸入畫面格式具有第一色度采樣率，并且第一編碼畫面格式和第二編碼畫面格式中的至少一個編碼畫面格式具有低于第一色度采樣率的第二色度采樣率。例如，第一色度采樣率為4:4:4，第二色度采樣率為4:2:0。第一編碼畫面包含用于輸入畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸入畫面的高色度分辨率細節(jié)的采樣值。例如，編碼工具使用參考圖8a至圖8e所描述的方法中的任一方法或另一方法來將采樣值封包成第一編碼畫面和第二編碼畫面。

編碼工具編碼(1720)第一編碼畫面和第二編碼畫面，從而產(chǎn)生編碼數(shù)據(jù)。作為編碼的一部分，編碼工具選擇一個或多個區(qū)域，其中用于輸入畫面的高色度分辨率細節(jié)的對應采樣值被編碼為第二編碼畫面的一部分。作為編碼的一部分，編碼工具還可以選擇一個或多個區(qū)域，其中用于輸入畫面的低色度分辨率版本的對應采樣值被編碼為第一編碼畫面的一部分。如第ix節(jié)所描述的，第一編碼畫面和第二編碼畫面可以被編碼為編碼畫面的不同子序列的一部分。

編碼工具輸出(1730)編碼數(shù)據(jù)，其包括用于第一編碼畫面和第二編碼畫面中的一個或兩個編碼畫面的編碼數(shù)據(jù)。在一些情況下，用于第一編碼畫面和/或第二編碼畫面的編碼數(shù)據(jù)僅包括用于編碼畫面的一部分(例如，用于編碼畫面的一個或多個區(qū)域，而非用于編碼畫面的所有區(qū)域)的編碼數(shù)據(jù)。編碼數(shù)據(jù)可以作為一個比特流的一部分輸出。比特流的語法準許第一編碼畫面和/或第二編碼畫面缺少用于輸入畫面的至少一部分的編碼采樣值。

編碼工具還輸出(1740)區(qū)域數(shù)據(jù)，其標識其中用于輸入畫面的高色度分辨率細節(jié)的對應采樣值被編碼為第二編碼畫面的一部分的區(qū)域。當編碼工具還選擇其中用于輸入畫面的低色度分辨率版本的對應采樣值被編碼為第一編碼畫面的一部分的區(qū)域時，區(qū)域數(shù)據(jù)還標識這樣的區(qū)域。例如，區(qū)域數(shù)據(jù)的被格式化，如第x.b節(jié)所述。可替代地，區(qū)域數(shù)據(jù)以某個其他方式被格式化。

編碼工具可以針對一個或多個其他輸入畫面中的每個輸入畫面來重復技術(1700)。在一些情況下，第二編碼畫面可能被丟棄(因此不被編碼)，使得沒有輸出用于第二編碼畫面的編碼數(shù)據(jù)。還有，可以用零運動來跳過第一編碼畫面或第二編碼畫面(或其區(qū)域)，使得沒有輸出用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，并且編碼畫面(或區(qū)域)從子序列中的先前編碼畫面重復。因此，當對來自輸入畫面的第一編碼畫面和第二編碼畫面進行編碼時，編碼工具可能不會產(chǎn)生用于第一編碼畫面的編碼數(shù)據(jù)，或可以產(chǎn)生用于第一編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以產(chǎn)生用于所有第一編碼畫面的編碼數(shù)據(jù)，并且編碼工具可能不會產(chǎn)生用于第二編碼畫面的編碼數(shù)據(jù)，或可以產(chǎn)生用于第二編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以產(chǎn)生用于所有第二編碼畫面的編碼數(shù)據(jù)。

圖18圖示了用于對用于高色度分辨率細節(jié)的區(qū)域中的采樣值進行選擇性地解碼的一般的技術(1800)。諸如參考圖5所描述的解碼器系統(tǒng)(500)之類的視頻解碼工具或另一解碼工具可以執(zhí)行該技術(1800)。

解碼工具接收(1810)編碼數(shù)據(jù)并且解碼(1820)采用第一編碼畫面格式和第二編碼畫面格式(其可以是相同的編碼畫面格式或不同的編碼畫面格式)的第一編碼畫面和第二編碼畫面。第一編碼畫面包含用于采用輸出畫面格式的輸出畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸出畫面的高色度分辨率細節(jié)的采樣值。一般而言，輸出畫面格式具有第一色度采樣率，并且第一編碼畫面格式和第二編碼畫面格式中的至少一個編碼畫面格式具有低于第一色度采樣率的第二色度采樣率。例如，第一色度采樣率為4:4:4，第二色度采樣率為4:2:0。編碼數(shù)據(jù)可以作為一個比特流的一部分被接收。比特流的語法允許第一編碼畫面和/或第二編碼畫面缺少用于輸出畫面的至少一部分的編碼采樣值。如第ix節(jié)所描述的，第一編碼畫面和第二編碼畫面可以被解碼為編碼畫面的不同子序列的一部分。當用零運動來跳過編碼畫面(或其區(qū)域)，使得沒有接收到用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)時，可以通過根據(jù)先前編碼畫面重復來對編碼畫面(或區(qū)域)進行解碼。

解碼工具還接收(1830)標識一個或多個區(qū)域的區(qū)域數(shù)據(jù)，其中用于輸出畫面的高色度分辨率細節(jié)的對應采樣值已經(jīng)被編碼為第二編碼畫面的一部分。在一些示例實現(xiàn)方式中，區(qū)域數(shù)據(jù)還標識一個或多個區(qū)域，其中用于輸出畫面的低色度分辨率版本的對應采樣值已經(jīng)被編碼為第一編碼畫面的一部分。例如，如第x.b節(jié)所描述的，區(qū)域數(shù)據(jù)被格式化?？商娲?，區(qū)域數(shù)據(jù)以某個其他方式被格式化。

至少部分地基于區(qū)域數(shù)據(jù)，解碼工具將用于第一編碼畫面和第二編碼畫面的采樣值解包成(1840)輸出畫面。例如，解碼工具反轉(zhuǎn)參考圖8a至圖8e所描述的方法中的任一方法或另一方法來解包來自第一編碼畫面和第二編碼畫面的區(qū)域的采樣值。在一些情況下，第二編碼畫面僅包括用于該編碼畫面的一部分(例如，用于編碼畫面的一個或多個區(qū)域，而非用于編碼畫面的所有區(qū)域)的采樣值，其影響了哪些采樣值在解包期間被重排。如果任一編碼畫面(或其中的區(qū)域)已經(jīng)用零運動跳過，則同一子序列中的先前編碼畫面(或相同位置區(qū)域)可以提供在合成輸出畫面時使用的采樣值(用于當前編碼畫面或其區(qū)域)。

解碼工具可以針對一個或多個其他輸出畫面中的每個輸出畫面來重復技術(1800)。在一些情況下，第二編碼畫面可能已經(jīng)被丟棄(并且因此不被編碼)，使得沒有接收到或解碼用于第二編碼畫面的編碼數(shù)據(jù)。還有，如本節(jié)所描述的，第一編碼畫面或第二編碼畫面(或其區(qū)域)可以用零運動來跳過，使得沒有接收到用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，并且作為代替，編碼畫面(或區(qū)域)根據(jù)子序列中的先前編碼畫面重復。因此，當對用于輸出畫面的第一編碼畫面和第二編碼畫面進行解碼時，解碼工具可以不使用用于任何第一編碼畫面的編碼數(shù)據(jù)，或可以使用用于第一編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以使用用于所有第一編碼畫面的編碼數(shù)據(jù)，并且解碼工具可以不使用用于任何第二編碼畫面的編碼數(shù)據(jù)，或可以使用用于第二編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以使用所有第二編碼畫面的編碼數(shù)據(jù)。

xi.用于選擇性地編碼區(qū)域的判定規(guī)則

本節(jié)提出了對用于畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域進行編碼的領域的創(chuàng)新。具體地，本節(jié)描述了當選擇性地編碼高色度分辨率細節(jié)的區(qū)域時使用的判定規(guī)則，使得用于高色度分辨率細節(jié)的采樣值被編碼用于一些區(qū)域而非其他區(qū)域。例如，根據(jù)判定規(guī)則集合，在逐區(qū)域的基礎上對高色度分辨率細節(jié)進行選擇性地編碼。判定規(guī)則還可以控制區(qū)域的選擇以針對畫面的低色度分辨率版本進行編碼。這樣，在采用低分辨率色度采樣格式的編碼畫面上操作的可用編碼器可以有效用于提供畫面的低色度分辨率版本以及高色度分辨率細節(jié)。

隨著逐區(qū)域判定高色度分辨率細節(jié)的哪些區(qū)域進行編碼，比特率的提高(由于對用于高色度分辨率細節(jié)的采樣值進行編碼)發(fā)生在對應的色度分辨率增加可能以顯著方式提高質(zhì)量的時間和地點。例如，由于所添加的色度分辨率細節(jié)不太可能被觀眾注意到，所以當運動劇烈或編碼質(zhì)量低時，高色度分辨率細節(jié)的區(qū)域不被編碼。另一方面，由于所添加的色度分辨率細節(jié)更有可能以顯著方式提高質(zhì)量，所以當區(qū)域靜止并且編碼質(zhì)量高時，色度分辨率細節(jié)的區(qū)域被編碼。

除了明智地分配比特率以增加色度分辨率之外，如本文中所描述的逐區(qū)域判定可以在編碼和解碼期間節(jié)省計算資源。對于高色度分辨率細節(jié)不太可能以顯著方式提高質(zhì)量的區(qū)域，編碼或解碼細節(jié)時不會消耗資源。

a.用于輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域選擇的示例判定規(guī)則

圖19示出了用于對用于輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中的采樣值進行選擇性編碼的示例判定規(guī)則中可以考慮的編碼畫面。在圖19中，輸入畫面的采樣值被重排為兩個子序列的編碼畫面，即，yuv4:2:0子序列的編碼畫面和uuv4:2:0子序列的編碼畫面。在yuv4:2:0子序列中，編碼畫面包括用于輸入畫面的低色度分辨率版本的采樣值。在uuv4:2:0子序列中，編碼畫面包括用于輸入畫面的高色度分辨率細節(jié)的采樣值。

當前yuv4:2:0畫面(1920)是當前輸入畫面的低色度分辨率版本，當前uuv4:2:0畫面(1925)包括當前輸入畫面的高色度分辨率細節(jié)。先前yuv4:2:0畫面(1910)是先前輸入畫面的低色度分辨率版本。當前yuv4:2:0畫面(1920)包括區(qū)域(1922)。先前yuv4:2:0畫面(1910)是yuv4:2:0子序列中的最近的先前編碼畫面，其中對應的相同位置區(qū)域被編碼(1912)。先前uuv4:2:0畫面(1935)包括先前輸入畫面的高色度分辨率細節(jié)。當前uuv4:2:0畫面(1925)還包括區(qū)域(1926)。先前uuv4:2:0畫面(1935)是uuv4:2:0子序列中的最近的先前編碼畫面，其中對應的相同位置區(qū)域(1936)被編碼。先前yuv4:2:0畫面(1910)和先前uuv4:2:0畫面(1935)可以包括來自相同輸入畫面的采樣值，或者它們可以包括來自不同輸入畫面的采樣值。還有，對于當前yuv4:2:0畫面(1920)的不同區(qū)域，先前yuv4:2:0畫面(1910)可能不同(例如，如果區(qū)域在不同時間改變)。類似地，對于當前uuv4:2:0畫面(1925)的不同區(qū)域，先前yuv4:2:0畫面(1935)可能不同(例如，如果區(qū)域在不同時間改變)。

yuv4:2:0畫面(1910，1920)和uuv4:2:0畫面(1925，1935)被分割成區(qū)域(也被稱為子區(qū)域)。區(qū)域的尺寸取決于實現(xiàn)方式。例如，區(qū)域的尺寸是16×16(例如，16×16、32×32或64×64)的倍數(shù)，以便于使用常規(guī)編解碼器工具(例如，使用mb或ctu)來實現(xiàn)。可替代地，區(qū)域具有其他尺寸。

圖20a至圖20e圖示了對用于輸入畫面的低色度分辨率版本和高色度分辨率細節(jié)的區(qū)域中的采樣值進行選擇性編碼的示例判定規(guī)則(2000至2004)。在示例判定規(guī)則(2000至2004)中，區(qū)域的一個或多個屬性在多個編碼畫面中被評估，并且在一些情況下，在當前輸入畫面中被評估。當在多個畫面之間評估用于給定區(qū)域的屬性時，畫面中的每個畫面中的相同位置區(qū)域的屬性被評估。也就是說，在畫面中的每個畫面中，評估畫面中對應位置處并且具有對應尺寸的區(qū)域的屬性。例如，如圖19所示，可以評估yuv4:2:0畫面(1920，1910)中的相同位置區(qū)域(1922，1912)的屬性?；蛘撸鳛榱硪皇纠?，可以評估uuv4:2:0畫面(1925，1935)中的相同位置區(qū)域(1926，1936)的屬性。或者，當做出關于當前uuv4:2:0畫面(1925)的區(qū)域(1926)的判定時，可以評估輸入畫面中的相同位置區(qū)域的屬性。

圖20a至圖20e圖示了針對yuv4:2:0畫面和當前uuv4:2:0畫面中的區(qū)域在逐區(qū)域基礎上做出的判定的示例判定規(guī)則?？商娲兀槍Ξ斍皔uv4:2:0畫面中的區(qū)域在逐區(qū)域的基礎上應用判定規(guī)則，然后針對當前uuv4:2:0畫面中的區(qū)域在逐區(qū)域的基礎上應用判定規(guī)則。

1.第一示例判定規(guī)則—檢查改變

圖20a示出了第一示例判定規(guī)則(2000)。在第一示例判定規(guī)則(2000)的幾個階段中，編碼工具檢查給定區(qū)域是否是靜止的(不隨時間改變)。對于輸入畫面的低色度分辨率版本，區(qū)域靜止之后，對用于該區(qū)域的高色度分辨率細節(jié)進行編碼。通過將色度分辨率的增加限制到靜止區(qū)域，編碼工具可以減少與編碼高色度分辨率細節(jié)相關聯(lián)的比特率，并且還增加總體編碼/解碼速度。

編碼工具可以使用幾種方法中的任一種方法來檢查區(qū)域是否是靜止的。例如，編碼工具計算當前yuv4:2:0畫面(1920)的區(qū)域(1922)中的采樣值和先前yuv4:2:0畫面(1910)的區(qū)域(1912)中的采樣值之間的差異，并且評估差異的幅度(例如，檢查差異中的任一差異是否為非零)。類似地，編碼工具可以計算當前uuv4:2:0畫面(1925)的區(qū)域(1926)中的采樣值和先前uuv4:2:0畫面(1935)的區(qū)域(1936)中的采樣值之間的差異，并且評估差異的幅度(例如，檢查差異中的任一差異是否為零)。或者，作為另一示例，編碼工具將當前yuv4:2:0畫面(1920)的區(qū)域(1922)中的一個或多個運動矢量(“mv”)值與mv閾值進行比較(例如，檢查mv值中的任一mv值是否為非零)。類似地，編碼工具可以將當前uuv4:2:0畫面(1925)的區(qū)域(1926)中的一個或多個mv值與mv閾值進行比較(例如，檢查mv值是否為非零)。

參考圖20a，根據(jù)第一示例判定規(guī)則(2000)，編碼工具獲取(2010)下一區(qū)域。編碼工具檢查(2020)該區(qū)域在編碼畫面的yuv4:2:0子序列中是否發(fā)生改變。如果是，則編碼工具對用于當前輸入畫面(即，用于當前yuv4:2:0畫面)的低色度分辨率版本的區(qū)域中的采樣值進行編碼(2021)。因此，只要區(qū)域在yuv4:2:0子序列中不靜止，用于該區(qū)域的低色度分辨率版本就被編碼。編碼工具檢查(2090)是否完成，如果沒有，則繼續(xù)下一區(qū)域。

如果區(qū)域在yuv4:2:0子序列中沒有發(fā)生改變，則編碼工具檢查(2060)區(qū)域在編碼畫面的uuv4:2:0子序列中是否已經(jīng)改變。如果是，則編碼工具對用于當前輸入畫面(即，用于當前uuv4:2:0畫面)的高色度分辨率細節(jié)的區(qū)域中的采樣值進行編碼(2061)。因此，在區(qū)域在yuv4:2:0子序列中靜止之后，對用于該區(qū)域的高色度分辨率細節(jié)進行編碼。然而，在高色度分辨率細節(jié)被編碼之后，只要區(qū)域?qū)τ诟呱确直媛始毠?jié)而言不變，它們就不被重新編碼。

在編碼(2061)之后，或者如果區(qū)域在uuv4:2:0子序列中沒有發(fā)生改變，則編碼工具檢查(2090)是否完成。如果沒有，則編碼工具將繼續(xù)獲取(2010)下一區(qū)域。

返回參考圖15所示的區(qū)域數(shù)據(jù)(1500)，yuv4:2:0畫面(1510)的映射(1512)指示對于yuv4:2:0畫面(1510)的區(qū)域中的每個區(qū)域，與最近的在前yuv4:2:0畫面的相同位置區(qū)域相比較，該區(qū)域是否改變(“臟”)或不改變(“不臟”)，其中相同位置區(qū)域中的采樣值被編碼。對于第一示例判定規(guī)則(2000)，這樣的映射(1512)可以表示當前yuv4:2:0畫面(1920)的相應區(qū)域是否改變或不變。類似地，uuv4:2:0畫面(1520)的映射(1522)指示對于uuv4:2:0畫面(1520)的區(qū)域中的每個區(qū)域，與最近的在前uuv4:2:0畫面的相同位置區(qū)域相比較，該區(qū)域是否改變(“臟”)或不改變(“不臟”)，其中相同位置區(qū)域中的采樣值被編碼。對于第一示例判定規(guī)則(2000)，這樣的映射(1522)可以表示當前uuv4:2:0畫面(1925)的相應區(qū)域是否改變或不變。

對于第一示例判定規(guī)則(2000)，如參考圖20a所描述的，編碼工具可以以與映射(1512，1522)中的索引值一致的方式對編碼畫面的區(qū)域進行編碼。對應的解碼工具可以以與映射(1512，1522)中的索引值一致的方式對區(qū)域進行解碼。

2.第二例判定規(guī)則—檢查yuv4:2:0畫面的質(zhì)量

圖20b示出了第二示例判定規(guī)則(2001)。除了檢查給定區(qū)域是否隨時間靜止之外，在第二示例判定規(guī)則(2001)中，編碼工具還檢查輸入畫面的低色度分辨率版本中的區(qū)域的編碼質(zhì)量是否高。用于給定區(qū)域的高色度分辨率細節(jié)在區(qū)域靜止之后并且輸入畫面的低色度分辨率版本的質(zhì)量足夠高時被編碼。通過進一步將色度分辨率的增加限制到具有高質(zhì)量的靜止區(qū)域，編碼工具可以進一步降低與編碼高色度分辨率細節(jié)相關聯(lián)的比特率，并且進一步提高整體編碼/解碼速度。

根據(jù)第二示例判定規(guī)則(2001)，編碼工具獲取(2010)下一區(qū)域。編碼工具檢查(2020)區(qū)域在yuv4:2:0子序列中是否發(fā)生改變(見第xi.a.1節(jié))。如果是，則編碼工具在初始質(zhì)量水平(例如，對于h.264編碼或h.265編碼，qp＝30)下對用于當前輸入畫面的低色度分辨率版本(即，當前yuv4:2:0畫面)的區(qū)域中的采樣值進行編碼(2022)。因此，只要該區(qū)域在yuv4:2:0子序列中不靜止，就在初始質(zhì)量水平下對用于該區(qū)域的低色度分辨率版本進行編碼。編碼工具檢查(2090)是否完成，如果沒有，則繼續(xù)下一區(qū)域。

如果區(qū)域在編碼畫面的yuv4:2:0子序列中沒有發(fā)生改變，則編碼工具檢查(2030)區(qū)域的編碼質(zhì)量在yuv4:2:0子序列中是否高。例如，編碼工具將用于先前yuv4:2:0畫面中的區(qū)域的一個或多個qp值與qp閾值進行比較。qp閾值取決于實現(xiàn)方式(例如，對于h.264編碼或h.265編碼，為16)。如果該區(qū)域的編碼質(zhì)量在yuv4:2:0子序列中不高，則編碼工具在高質(zhì)量水平(例如，對于h.264編碼或h.265編碼，qp＝16)下對用于當前輸入畫面(即，用于當前yuv4:2:0畫面)的低色度分辨率版本的區(qū)域中的采樣值進行編碼(2032)。因此，如果區(qū)域在yuv4:2:0子序列中是靜止的，但是尚未在高質(zhì)量水平下進行編碼，則編碼工具增加了當前輸入畫面的低色度分辨率版本的區(qū)域的編碼質(zhì)量。編碼工具檢查(2090)是否完成，如果沒有，則繼續(xù)下一區(qū)域。

另一方面，如果用于yuv4:2:0子序列的(靜止)區(qū)域的編碼質(zhì)量為高，則編碼工具檢查(2060)區(qū)域在uuv4:2:0子序列中是否已經(jīng)改變(見第xi.a.1節(jié))。如果是，則編碼工具對當前輸入畫面(即，當前uuv4:2:0畫面)的高色度分辨率細節(jié)的區(qū)域中的(2061)采樣值進行編碼。因此，在區(qū)域在yuv4:2:0子序列中靜止并且在高質(zhì)量水平下被編碼之后，該區(qū)域的高色度分辨率細節(jié)被編碼。然而，在高色度分辨率細節(jié)被編碼之后，只要區(qū)域?qū)τ诟呱确直媛始毠?jié)不變，它們就不被重新編碼。

在編碼(2061)之后，或者如果區(qū)域在uuv4:2:0子序列中沒有改變，則編碼工具檢查(2090)是否完成。如果沒有，則編碼工具將繼續(xù)獲取(2010)下一區(qū)域。

根據(jù)第二示例判定規(guī)則(2001)，當前輸入畫面(即，當前uuv4:2:0畫面)的高色度分辨率細節(jié)的區(qū)域中的采樣值在默認的固定質(zhì)量水平下被編碼。例如，默認的質(zhì)量水平是高質(zhì)量水平?？商娲?，如下文針對第三示例判定規(guī)則(2002)所描述的，用于高色度分辨率細節(jié)的區(qū)域中的采樣值可以在不同的質(zhì)量水平下被編碼。

根據(jù)第二示例判定規(guī)則(2001)，用于輸入畫面的低色度分辨率版本的區(qū)域中的采樣值可以在兩種不同的質(zhì)量等級(初始質(zhì)量和高質(zhì)量)下被編碼。可替代地，用于輸入畫面的低色度分辨率版本的區(qū)域中的采樣值可以在更多的質(zhì)量等級下被編碼，其中附加的檢查點逐漸提高質(zhì)量，直到達到完美質(zhì)量為止，此時用于該區(qū)域的高色度分辨率細節(jié)被編碼。

3.第三示例判定規(guī)則—檢查yuv4:2:0畫面和uuv4:2:0畫面的質(zhì)量

圖20c示出了第三例判定規(guī)則(2002)。第三示例判定規(guī)則(2002)通過當對用于高色度分辨率細節(jié)的區(qū)域中的采樣值進行編碼時支持多個質(zhì)量等級來擴展第二示例判定規(guī)則(2001)。

第三示例判定規(guī)則(2002)的初始階段(2010，2020，2020，2030，2032)如第二示例判定規(guī)則(2001)中那樣操作。如果用于yuv4:2:0子序列的(靜止)區(qū)域的編碼質(zhì)量為高，則編碼工具檢查(2060)區(qū)域在uuv4:2:0子序列中是否發(fā)生改變(見第xi.a.1節(jié))。如果是，則編碼工具在初始質(zhì)量水平(例如，對于h.264編碼或h.265編碼，qp＝30)下對當前輸入畫面(即，當前uuv4:2:0畫面)的高色度分辨率細節(jié)的區(qū)域中的采樣值進行編碼(2062)。因此，在區(qū)域在yuv4:2:0子序列中靜止并且在高質(zhì)量水平進行編碼之后，用于該區(qū)域的高色度分辨率細節(jié)首先在初始質(zhì)量水平下被編碼。

如果區(qū)域在uuv4:2:0子序列中尚未改變，則編碼工具檢查(2070)uuv4:2:0子序列中的該區(qū)域的編碼質(zhì)量是否高。例如，編碼工具將先前uuv4:2:0畫面中的區(qū)域的一個或多個qp值與qp閾值進行比較。qp閾值取決于實現(xiàn)方式(例如，對于h.264編碼或h.265編碼，為16)。如果uuv4:2:0子序列中該區(qū)域的編碼質(zhì)量不高，則編碼工具在高質(zhì)量水平(例如，對于h.264編碼或h.265編碼，qp＝16)下對用于高色度分辨率細節(jié)(即，用于當前uuv4：2：0畫面)的區(qū)域中的采樣值進行編碼(2072)。因此，如果該區(qū)域在uuv4:2:0子序列中是靜止的，但尚未在高質(zhì)量水平下進行編碼，則編碼工具增加了用于高色度分辨率細節(jié)的區(qū)域的編碼質(zhì)量。編碼工具檢查(2090)是否完成，如果沒有，則繼續(xù)下一區(qū)域。

另一方面，如果uuv4:2:0子序列的(靜止)區(qū)域的編碼質(zhì)量較高，則編碼工具跳過對于該區(qū)域的進一步編碼。在高色度分辨率細節(jié)已經(jīng)在高質(zhì)量水平下被編碼之后，只要區(qū)域?qū)τ诟呱确直媛始毠?jié)不變，它們就不被重新編碼。編碼工具檢查(2090)是否完成。如果沒有，則編碼工具繼續(xù)獲取(2010)下一區(qū)域。

例如，在第三示例判定規(guī)則(2002)中體現(xiàn)的進展中，首先在yuv4:2:0畫面中在初始質(zhì)量水平下對發(fā)生改變的區(qū)域進行編碼。如果該區(qū)域變靜止，則該區(qū)域的編碼質(zhì)量在yuv4:2:0子序列中增加。在yuv4:2:0子序列中在高質(zhì)量水平下對靜止區(qū)域進行編碼之后，在uuv4:2:0畫面中在初始質(zhì)量水平下對該區(qū)域進行編碼。只要該區(qū)域是靜止的，則該區(qū)域的編碼質(zhì)量在uuv4:2:0子序列中進一步增加，直到uuv4:2:0子序列達到高質(zhì)量水平為止。

根據(jù)第三示例判定規(guī)則(2002)，用于高色度分辨率細節(jié)的區(qū)域中的采樣值可以在兩種不同的質(zhì)量等級(初始質(zhì)量和高質(zhì)量)下被編碼。可替代地，用于高色度分辨率細節(jié)的區(qū)域中的采樣值可以在更高的質(zhì)量等級下被編碼，其中附加的檢查點逐漸提高質(zhì)量，直到達到完美質(zhì)量為止。

返回參考圖16所示的區(qū)域數(shù)據(jù)(1600)，用于yuv4:2:0畫面(1610)的映射(1612)指示對于yuv4:2:0畫面(1610)的區(qū)域中的每個區(qū)域，(1)與最近的在先yuv4:2:0畫面的相同位置區(qū)域相比較，該區(qū)域被改變(“臟”)還是不被改變(“不臟”)，其中相同位置區(qū)域中的采樣值被編碼；以及(2)該區(qū)域是否已經(jīng)在高質(zhì)量水平下被編碼。對于第三示例判定規(guī)則(2002)，這樣的映射(1612)可以表示當前yuv4:2:0畫面(1920)的相應區(qū)域被改變還是不被改變，以及相應區(qū)域是否已經(jīng)在高質(zhì)量水平下被編碼。類似地，用于uuv4:2:0畫面(1620)的映射(1622)指示對于uuv4:2:0畫面(1620)的區(qū)域中的每個區(qū)域，(1)與最近的在先uuv4:2:0畫面的相同位置區(qū)域相比較，該區(qū)域被改變(“臟”)還是不被改變(“不臟”)，其中相同位置區(qū)域中的采樣值被編碼；以及(2)該區(qū)域是否已經(jīng)在高質(zhì)量水平下被編碼。對于第三示例判定規(guī)則(2002)，這樣的映射(1622)可以表示當前uuv4:2:0畫面(1920)的相應區(qū)域被改變還是不被改變，以及相應區(qū)域是否已經(jīng)在高質(zhì)量水平下被編碼

對于第三示例判定規(guī)則(2002)，如參考圖20c所描述的，編碼工具可以以與映射(1612，1622)中的索引值一致的方式對編碼畫面的區(qū)域進行編碼。對應的解碼工具可以以與映射(1612，1622)中的索引值一致的方式對區(qū)域進行解碼。例如，如果區(qū)域在yuv4:2:0子序列中是靜止的，則當前uuv4:2:0畫面的區(qū)域的采樣值在初始質(zhì)量下被編碼/解碼，已經(jīng)在yuv4:2:0子序列中在高質(zhì)量下被編碼，并且在uuv4:2:0子序列中是非靜止的。

4.第四示例判定規(guī)則—檢查內(nèi)容分類

圖20d示出了第四個示例判定規(guī)則(2003)。該第四示例判定規(guī)則(2003)還通過還檢查區(qū)域的內(nèi)容分類來擴展第一示例判定規(guī)則(2000)。

第四示例性判定規(guī)則(2003)的一些階段(2010，2020，2021，2060，2061)如第一示例判定規(guī)則(2000)中那樣操作。然而，檢查新條件以使得對高色度分辨率細節(jié)進行編碼具有更高的選擇性。通過進一步將色度分辨率的增加限制到具有某些類型內(nèi)容的區(qū)域，編碼工具可以進一步降低與編碼高色度分辨率細節(jié)相關聯(lián)的比特率，并且進一步增加總體編碼/解碼速度。

在第四示例判定規(guī)則(2003)中，如果區(qū)域在yuv4:2:0子序列中沒有發(fā)生改變，則編碼工具檢查(2040)該區(qū)域是包括文本內(nèi)容還是包括高色度內(nèi)容。如果是，則編碼工具進行到下一階段(2060)。否則，編碼工具檢查(2090)是否完成，如果沒有，則繼續(xù)獲取(2010)下一區(qū)域。因此，僅當用于該區(qū)域的分類類別指示該區(qū)域包括文本內(nèi)容或其他高色度內(nèi)容時，才對用于該區(qū)域的高色度分辨率細節(jié)進行編碼。

為了評估該區(qū)域是否包括文本內(nèi)容，編碼工具可以使用任何可用的方法進行文本分類。例如，編碼工具使用將區(qū)域分類為包括文本內(nèi)容或圖像內(nèi)容的方法。對用于文本內(nèi)容(而非畫面內(nèi)容)的高色度分辨率細節(jié)進行編碼利用了這樣的知識：更高的色度分辨率對于文本內(nèi)容通常有益但對于畫面內(nèi)容不太顯著。

為了評估該區(qū)域是否包括高色度內(nèi)容，編碼工具可以評估色度采樣值與顯著性閾值相比較是否是顯著的(例如，將色度采樣值的平均絕對值與閾值進行比較)。這樣，編碼工具可以考慮顏色在區(qū)域中的混合。如果該區(qū)域主要包含黑色值和白色值，則色度采樣值將具有低幅度。另一方面，如果該區(qū)域主要包括紅色值和綠色值，則色度采樣值通常具有高的幅度。對用于高色度內(nèi)容(而非用于低色度內(nèi)容)的高色度分辨率細節(jié)進行編碼利用了這樣的知識：更高的色度分辨率通常對于高色度內(nèi)容有益但對于低色度內(nèi)容不太有幫助。

在圖20d中，第四示例判定規(guī)則(2003)擴展了第一示例判定規(guī)則(2000)?？商娲?，如本節(jié)所描述的，擴展第二示例判定規(guī)則(2001)或第三示例判定規(guī)則(2002)以檢查用于區(qū)域的內(nèi)容分類。

5.第五示例判定規(guī)則—檢查穩(wěn)定性周期

圖20e示出了第五示例判定規(guī)則(2004)。在對高色度分辨率細節(jié)進行編碼之前，第五示例判定規(guī)則(2004)還通過檢查區(qū)域已經(jīng)靜止了閾值時間周期(例如，畫面的計數(shù))來擴展第一示例判定規(guī)則(2000)。

第五示例性判定規(guī)則(2004)的一些階段(2010，2020，2021，2060，2061)如第一示例判定規(guī)則(2000)中那樣操作。然而，檢查新條件以使得更具選擇性地對高色度分辨率細節(jié)進行編碼。通過進一步將色度分辨率的增加限制到靜止了閾值計數(shù)個畫面的區(qū)域，編碼工具可以進一步降低與編碼高色度分辨率細節(jié)相關聯(lián)的比特率，并且進一步提高整體編碼/解碼速度。

在第五示例判定規(guī)則(2004)中，如果區(qū)域在yuv4:2:0子序列中沒有發(fā)生改變，則編碼工具檢查(2050)該區(qū)域是否持續(xù)了至少n個yuv4:2:0畫面未改變，其中n指示畫面的閾值計數(shù)。如果是，則編碼工具進行到下一階段(2060)。否則，編碼工具檢查(2090)是否完成，如果沒有，則繼續(xù)獲取(2010)下一區(qū)域。因此，只有當區(qū)域在yuv4:2:0子序列中靜止了閾值計數(shù)個畫面時，才對用于該區(qū)域的高色度分辨率細節(jié)進行編碼。

畫面的閾值計數(shù)取決于實現(xiàn)方式。例如，畫面的閾值計數(shù)為1個畫面、3個畫面、5個畫面、10個畫面或一些其他數(shù)目個畫面。等待閾值計數(shù)被滿足在編碼用于輸入畫面的低色度分辨率版本的采樣值和編碼用于高色度分辨率細節(jié)的采樣值之間施加了延遲時間。延遲時間可以平滑對可用比特率的需求，并且平滑在編碼和解碼期間對計算資源的需求。還有，在區(qū)域靜止了閾值持續(xù)時間之后編碼高色度分辨率細節(jié)利用了這樣的知識：較高色度分辨率通常對靜止內(nèi)容有益，但對于移動內(nèi)容不太顯著。

在圖20e中，第五示例判定規(guī)則(2004)擴展了第一示例判定規(guī)則(2000)?？商娲?，如在本節(jié)中所描述的，擴展第二示例判定規(guī)則(2001)或第三示例判定規(guī)則(2002)以在高色度分辨率細節(jié)被編碼之前檢查區(qū)域是否已經(jīng)靜止了閾值時間段(例如，畫面的計數(shù))。還有，編碼工具可以結(jié)合檢查本節(jié)所描述的新條件來檢查內(nèi)容分類(如第四示例判定規(guī)則(2003)中所描述的)。

b.區(qū)域選擇的示例技術

圖21圖示了當對高色度分辨率細節(jié)的區(qū)域中的采樣值進行選擇性地編碼時用于應用判定規(guī)則的一般的技術(2100)。諸如參考圖4所描述的編碼器系統(tǒng)(400)之類的視頻編碼工具或另一編碼工具可以執(zhí)行該技術(2100)。

編碼工具將根據(jù)輸入畫面格式組織的輸入畫面的采樣值封包成(2110)分別根據(jù)第一編碼畫面格式和第二編碼畫面格式組織的第一編碼畫面和第二編碼畫面。第一編碼畫面格式和第二編碼畫面格式可以是相同的編碼畫面格式或不同的編碼畫面格式(例如，不同的色度采樣率)。一般而言，輸入畫面格式具有第一色度采樣率，并且第一編碼畫面格式和第二編碼畫面格式中的至少一個編碼畫面格式具有低于第一色度采樣率的第二色度采樣率。例如，第一色度采樣率為4:4:4，第二色度采樣率為4:2:0。第一編碼畫面包含用于輸入畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸入畫面的高色度分辨率細節(jié)的采樣值。例如，編碼工具使用參考圖8a至圖8e所描述的方法中的任一方法或另一方法以將采樣值封包成第一編碼畫面和第二編碼畫面。

編碼工具對第一編碼畫面和第二編碼畫面進行編碼(2120)，從而產(chǎn)生編碼數(shù)據(jù)。對于編碼，對于一個或多個區(qū)域中的每個區(qū)域，編碼工具評估區(qū)域的一個或多個屬性。例如，編碼工具評估區(qū)域的改變程度、區(qū)域的編碼數(shù)據(jù)的質(zhì)量和/或區(qū)域的內(nèi)容分類。可替代地，編碼工具評估該區(qū)域的其他和/或附加屬性。至少部分地基于評估結(jié)果，編碼工具確定是否對作為第二編碼畫面的一部分的、輸入畫面的高色度分辨率細節(jié)的區(qū)域中的采樣值進行編碼。編碼工具還可以至少部分地基于評估結(jié)果來確定是否對作為第一編碼畫面的一部分的、輸入畫面的低色度分辨率版本的區(qū)域中的采樣值進行編碼。如第ix節(jié)所描述的，第一編碼畫面和第二編碼畫面可以被編碼為編碼畫面的不同子序列的一部分。在極端情況下，第一編碼畫面和第二編碼畫面中的每個編碼畫面被處理為單個區(qū)域。編碼工具輸出(2130)編碼數(shù)據(jù)，其包括用于第一編碼畫面和第二編碼畫面中的一個或兩個編碼畫面的編碼數(shù)據(jù)。

例如，對于區(qū)域的一個屬性，編碼工具評估在第一編碼畫面和第二編碼畫面中的一個編碼畫面、以及其中該區(qū)域被編碼的最近的先前畫面之間的區(qū)域的改變程度。為了評估該區(qū)域的改變程度，編碼工具可以例如：(a)計算用于編碼畫面的區(qū)域中的采樣值和用于其中該區(qū)域被編碼的最近的先前畫面(例如，用于yuv4:2:0畫面或uuv4:2:0畫面)的區(qū)域中的采樣值之間的差異，并且評估差異的幅度；和/或(b)比較該區(qū)域(例如，用于yuv4:2:0畫面)中的一個或多個mv值與mv閾值?？商娲兀阅硞€其他方式，編碼工具可以評估該區(qū)域的改變程度。

當其評估區(qū)域的改變程度時，編碼工具可以將其中區(qū)域?qū)τ诘蜕确直媛拾姹静蛔兊漠嬅娴挠嫈?shù)與閾值計數(shù)進行比較。因此，編碼器可以確定區(qū)域?qū)τ谧詈?個畫面、5個畫面、10個畫面或其他數(shù)目個畫面是否不變。

作為另一示例，對于該區(qū)域的另一屬性，編碼工具評估用于該區(qū)域的編碼數(shù)據(jù)的質(zhì)量是否滿足閾值質(zhì)量水平。為了評估區(qū)域中的編碼數(shù)據(jù)的質(zhì)量，編碼工具可以將該區(qū)域(例如，用于其中該區(qū)域被編碼的最近的先前畫面的低色度分辨率版本)中的一個或多個qp值與qp閾值進行比較。如果qp值處于或低于qp閾值，則用于該區(qū)域的編碼數(shù)據(jù)滿足閾值質(zhì)量水平。否則，用于該區(qū)域的編碼數(shù)據(jù)不能滿足閾值質(zhì)量水平?？商娲兀阅硞€其他方式，編碼工具可以評估用于該區(qū)域的編碼數(shù)據(jù)的質(zhì)量是否滿足閾值質(zhì)量水平。

作為另一示例，對于該區(qū)域的另一個屬性，編碼工具對該區(qū)域中的內(nèi)容進行分類。例如，編碼工具將該區(qū)域中的內(nèi)容分類為文本內(nèi)容或非文本內(nèi)容。或者，編碼工具將該區(qū)域中的內(nèi)容分類為高色度內(nèi)容(其中與取決于實現(xiàn)方式的顯著性閾值相比較，色度采樣值具有顯著性)或低色度內(nèi)容(其中與顯著性閾值相比較，色度采樣值不具有顯著性)?？商娲?，以某個其他方式，編碼工具可以對該區(qū)域中的內(nèi)容進行分類。

對于yuv4:2:0子序列和/或uuv4:2:0子序列，可以組合地考慮該區(qū)域的各種屬性。例如，編碼工具應用第xi.a節(jié)中描述的判定規(guī)則集合中的一個判定規(guī)則。

回到圖21，編碼工具可以針對一個或多個其他輸入畫面中的每個輸入畫面來重復技術(2100)。在一些情況下，第二編碼畫面可能被丟棄(因此不被編碼)，使得沒有輸出用于第二編碼畫面的編碼數(shù)據(jù)。還有，可以用零運動來跳過第一編碼畫面或第二編碼畫面(或其區(qū)域)，使得沒有輸出用于編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，并且編碼畫面(或區(qū)域)根據(jù)子序列中的先前編碼畫面重復。因此，當對來自輸入畫面的第一編碼畫面和第二編碼畫面進行編碼時，編碼工具可以沒有產(chǎn)生用于任何第一編碼畫面的編碼數(shù)據(jù)，或可以產(chǎn)生用于第一編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以產(chǎn)生用于所有第一編碼畫面的編碼數(shù)據(jù)，并且編碼工具可以沒有產(chǎn)生用于任何第二編碼畫面的編碼數(shù)據(jù)，或可以產(chǎn)生用于第二編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以產(chǎn)生用于所有第二編碼畫面的編碼數(shù)據(jù)。

xii.濾波色度采樣值

本節(jié)呈現(xiàn)了在輸出畫面的高色度分辨率區(qū)域內(nèi)和周圍進行濾波的領域中的創(chuàng)新。例如，本節(jié)描述了將恢復濾波器應用于輸出畫面的高色度分辨率區(qū)域的方法，其補償先前在色度子采樣期間執(zhí)行的抗混疊濾波，但跳過將恢復濾波器應用于輸出畫面的低色度分辨率區(qū)域。該節(jié)還描述了將去塊濾波器應用于輸出畫面的色度采樣值的方法，其可以通過減輕低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的邊界處的可感知偽像來提高視覺質(zhì)量。最后，本節(jié)描述了將去振鈴濾波器應用于輸出畫面的色度采樣值的方法，其可以通過減輕由于高色度分辨率細節(jié)的低質(zhì)量編碼而導致的可感知偽像來提高視覺質(zhì)量。

a.抗混疊濾波器和對應的恢復濾波器

較高分辨率色度采樣格式的幀的色度采樣值的簡單子采樣可以在下采樣的色度采樣值中引入混疊偽像。為了減輕混疊，封包(見第viii節(jié))可以包括濾波色度采樣值的操作。這種濾波可以被稱為抗混疊濾波。對應的解包可以包括恢復操作以補償色度采樣值的抗混疊濾波。本節(jié)描述了抗混疊濾波和恢復濾波操作的示例。

當yuv4:4:4畫面被拆分為采用yuv4:2:0格式的兩個畫面(即，如viii節(jié)所解釋的，拆分為yuv4:2:0畫面和uuv4:2:0畫面)，抗混疊濾波可以當僅yuv4:2:0畫面被用于顯示時幫助提高質(zhì)量。這可以準許解碼器忽略uuv4:2:0畫面，而不會帶來由色度信息的簡單子采樣引起的混疊偽像的風險。在沒有抗混疊濾波的情況下(即，當通過對來自yuv4:4:4畫面的色度采樣值的直接子采樣獲得用于yuv4:2:0畫面的色度采樣值時)，當只有yuv4:2:0畫面用來生成輸出時，可以在一些內(nèi)容上看到混疊偽像(例如，cleartype文本內(nèi)容的濃度失真)。另一方面，當解碼器組合uuv4:2:0畫面和yuv4:2:0畫面時，解碼器可以執(zhí)行恢復濾波操作作為解包的一部分，以根據(jù)(yuv4:2:0畫面的)經(jīng)濾波的色度采樣值和(uuv4:2:0畫面的)其他色度采樣值恢復用于yuv4:4:4畫面的原始色度采樣值(由于有損壓縮而有限度地近似)。

在一些示例實現(xiàn)方式中，抗混疊濾波操作和恢復濾波操作受到限制，使得它們僅影響yuv4:2:0畫面的一部分的色度采樣值。也就是說，經(jīng)濾波的采樣值是yuv4:2:0畫面的色度分量的一部分，并且uuv4:2:0畫面的一部分的采樣值不被濾波。

濾波操作的細節(jié)可以取決于色度采樣位置類型(指示色度采樣網(wǎng)格與亮度采樣網(wǎng)格對準)。在色度子采樣期間可以使用許多不同類型的濾波器。對于給定的色度采樣位置類型，如果色度采樣值與特定方向(水平或垂直)的亮度采樣值對準，則奇數(shù)抽頭對稱濾波器(諸如[121]/4或[0.250.50.25]，以及舍入操作)用于在該方向上濾波色度。另一方面，如果色度采樣值與特定方向(水平或垂直)的亮度采樣值不對齊，并且色度采樣網(wǎng)格位置在特定方向(水平/垂直)的亮度采樣位置之間居中，則偶數(shù)抽頭對稱濾波器(通常為[11]/2或[0.50.5]，以及舍入操作)用來在該方向上濾波色度。后一種情況的另一種可能的濾波器選擇是[1331]/8或[0.1250.3750.3750.125]，以及舍入操作。本節(jié)稍后提出的示例使用偶數(shù)抽頭對稱濾波器，但是可替代地，可以使用奇數(shù)抽頭對稱濾波器或其他濾波器。

通常選擇進行恢復濾波操作，使得恢復濾波操作補償抗混疊濾波操作。如下文所解釋的，在一些情況下，恢復濾波直接反轉(zhuǎn)抗混疊濾波，而在其他情況下，恢復濾波僅近似反轉(zhuǎn)抗混疊濾波。

在圖22a和圖22b中，在抗混疊濾波之后，色度采樣值與在水平或垂直方向上的亮度采樣值不對準，因此濾波器[0.50.5]在水平方向和垂直方向上均被應用于抗混疊濾波。圖22a示出了應用在四個位置處使用色度采樣值的抗混疊濾波器和對應的恢復濾波器的處理流程(2201)。圖22b示出了應用在三個位置處使用色度采樣值的備選抗混疊濾波器和對應的恢復濾波器的處理流程(2202)。

圖22a示出了來自yuv4:4:4畫面的u444信道的四個色度采樣值u0、u1、u2和u3。四個色度采樣值的位置為u0＝u444(2x，2y)、u1＝u444(2x+1,2y)、u2＝u444(2x，2y+1)、u3＝u444(2x+1,2y+1)。作為封包操作的一部分，抗混疊濾波器被應用以確定將替換yuv4:2:0畫面中的u0的經(jīng)濾波的像素值。由于這種濾波，來自yuv4:4:4畫面的在位置u444(2x，2y)處的采樣值u0不直接表示在yuv4:2:0畫面中；作為代替，在yuv4:2:0畫面中的對應位置處分配經(jīng)濾波的采樣值uf。yuv4:4:4畫面中的分別在位置u444(2x+1，2y)、u444(2x，2y+1)以及u444(2x+1，2y+1)處的色度采樣值u1，u2和u3仍然直接表示在uuv4:2:0畫面中。

一般而言，對于抗混疊濾波操作，可以針對不同的采樣位置分配不同的權重。用于yuv4:4:4畫面的位置u444(2x，2y)的經(jīng)濾波的采樣值uf可以生成如下：

uf444(2x，2y)＝(α*u444(2x，2y)+β*u444(2x+1，2y)+γ*u444(2x，2y+1)+δ*u444(2x+1，2y+1))/(α+β+γ+δ)，

其中對于yuv4∶4∶4畫面的寬度w和高度h，(x，y)的范圍是其中α、β、γ以及δ是取決于實現(xiàn)方式的加權因子。如果加權因子全部等于1，則經(jīng)濾波的采樣值uf簡單地是uf444(2x，2y)＝(u444(2x，2y)+u444(2x+1，2y)+u444(2x，2y+1)+u444(2x+1，2y+1))/4，

或者是u0、u1、u2以及u3的平均值。否則，如果因子α、β、γ以及δ中的任一個具有相同的值，則可以消除某些乘法運算。

在沒有量化誤差、舍入誤差等的情況下，可以通過直接反轉(zhuǎn)在抗混疊濾波中執(zhí)行的操作來完美地重構(gòu)原始采樣值u0。然而，當考慮量化誤差時，為了減少可感知偽像，使用小于1的β、γ以及δ的值可能是可取的。一般而言，β、γ以及δ應該在0.0至1.0的范圍內(nèi)，并且當量化步長較大時，β、γ以及δ應當更小。使用β、γ以及δ的高值可能會加重由于有損壓縮而引入的偽像。α、β、γ以及δ的值可以使用互相關分析被設計用于有條件的最優(yōu)化。

回到圖22a，色度采樣值被分離為被編碼的編碼畫面(例如，yuv4∶2∶0畫面和uuv4∶2∶0畫面)。在傳輸之后，編碼畫面被解碼(重構(gòu))，然后解包成輸出畫面。重構(gòu)采樣值uf′、u1′、u2′和u3′是分別在位置u444(2x，2y)、u444(2x+1，2y)、u444(2x，2y+1)以及u444(2x+1，2y+1)處的yuv4∶4∶4畫面的u444信道的重構(gòu)色度采樣值。(“′”標記指示從(可能有損)編碼重構(gòu)，其把量化、舍入等效果考慮在內(nèi))

作為解包過程的一部分，可以根據(jù)重構(gòu)的濾波采樣值uf′和其他重構(gòu)的色度采樣值u1′、u2′和u3′恢復色度采樣值u0的重構(gòu)版本u0′。用于yuv4∶4∶4畫面的位置u444(2x，2y)的重構(gòu)采樣值u0′可以恢復如下：

u′444(2x，2y)＝((α+β+γ+δ)*uf′444(2x，2y)-β*u′444(2x+1，2y)-γ*u′444(2x，2y+1)-δ*u′444(2x+1，2y+1))/α，

其中范圍(x，y)是其中α、β、γ以及δ是取決于實現(xiàn)方式的加權因子。如果加權因子全部等于1，則重構(gòu)的采樣值u0′簡單地是u′444(2x，2y)＝4*uf′444(2x，2y)-u′444(2x+1，2y)-u′444(2x，2y+1)-u′444(2x+1，2y+1)。

例如，對于抗混疊濾波，用于位置(2x，2y)、(2x+1，2y)、(2x，2y+1)以及(2x+1，2y+1)的色度采樣值29，23，27和10用權重值α＝β＝γ＝δ＝1進行濾波，以產(chǎn)生色度采樣值22.25，其被舍入為22。使用經(jīng)濾波的色度采樣值22代替原始色度采樣值29。在恢復濾波期間，用于位置(2x，2y)的采樣值被重構(gòu)為88-23-27-10＝28。原始采樣值(29)和重構(gòu)采樣值(28)之間的差異示出了由于抗混疊濾波而導致的精度損失。

圖22b示出了來自yuv4∶4∶4畫面的u444信道的相同的四個色度采樣值u0、u1、u2以及u3。圖22b所示的處理流程反應了圖22a所示的處理流程，但是應用了不同的抗混疊濾波器和恢復濾波器。在圖22b中，抗混疊濾波器和恢復濾波器在三個位置處使用色度采樣值，其當邊緣穿過色度采樣值u0、u1以及u2但不包括u3時，可以提供更好的平滑質(zhì)量。

作為封包操作的一部分，在圖22b所示的方法中，用于yuv4∶4∶4畫面的位置u444(2x，2y)的經(jīng)濾波采樣值uf可以根據(jù)如下方式生成：uf444(2x，2y)＝(α*u444(2x，2y)+β*u444(2x+1，2y)+γ*u444(2x，2y+1))/(α+β+γ)，

其中對于yuv4∶4∶4畫面的寬度w和高度h，(x，y)的范圍是其中α、β以及γ是取決于實現(xiàn)方式的加權因子。如果加權因子全部等于1，則經(jīng)濾波的采樣值uf簡單地是uf444(2x，2y)＝(u444(2x，2y)+u444(2x+1，2y)+u444(2x，2y+1))/3

，或者是u0、u1以及u2的平均值。參考圖22a對加權因子α、β以及γ的值的選項進行描述。

作為解包過程的一部分，可以從重構(gòu)的濾波采樣值uf′和其他重構(gòu)的色度采樣值u1′和u2′恢復色度采樣值u0的重構(gòu)版本u0′。用于yuv4∶4∶4畫面的位置u444(2x，2y)的重構(gòu)采樣值u0′可以恢復如下：

u′444(2x，2y)＝((α+β+γ)*uf′444(2x，2y)-β*u′444(2x+1，2y)-γ*u′444(2x，2y+1))/α，

其中(x，y)的范圍是其中α、β以及γ是取決于實現(xiàn)方式的加權因子。如果加權因子全部等于1，則重構(gòu)采樣值u0′簡單地是u′444(2x，2y)＝3*uf′444(2x，2y)-u′444(2x+1，2y)-u′444(2x，2y+1)。

例如，對于抗混疊濾波，用于位置(2x，2y)、(2x+1，2y)以及(2x，2y+1)的色度采樣值29，23和27用權重值α＝β＝γ＝1進行濾波，以產(chǎn)生色度采樣值26.33，其被舍入為26。使用經(jīng)濾波的色度采樣值26代替原始色度采樣值29。在恢復濾波期間，用于位置(2x，2y)的采樣值被重構(gòu)為78-23-27＝28。原始采樣值(29)和重構(gòu)采樣值(28)之間的差異示出了由于抗混疊濾波的濾波而導致的精度損失。然而，注意，由于異常值采樣值u3的貢獻被忽略，所以具有圖22b的三位置濾波器的濾波值(26)與具有圖22a的四位置濾波器的濾波值(22)相比與原始采樣值(29)更為接近。

圖22b所示的三位置濾波器22b可以以“邊緣感知”的方式選擇性地應用。如圖22c所示，在封包操作期間，編碼工具可以檢查指示是否應用三位置抗混疊濾波器或四位置抗混疊濾波器的條件。例如，編碼工具檢查(2210)u1+u2-2*u3的絕對值是否大于閾值，其中閾值取決于實現(xiàn)方式(例如，0、10或20)。如果是，則編碼工具應用(2230)圖22b所示的三位置抗混疊濾波器。否則，編碼工具應用(2220)圖22a所示的四位置抗混疊濾波器。閾值的值可以在實驗中確定。一般而言，具有較高閾值使得不太可能應用三位置濾波器。

如圖22d所示，在對應的解包操作期間，解碼工具可以檢查指示是否應用三位置恢復濾波器或四位置恢復濾波器的條件。例如，解碼工具檢查(2240)u1'+u2'-2*u3'的絕對值是否大于閾值，其中閾值取決于實現(xiàn)方式(例如，0、10或20)。如果是，則解碼工具(2260)應用圖22b所示的三位置恢復濾波器。否則，解碼工具(2250)應用圖22a所示的四位置恢復濾波器。通常，編碼工具(基于原始值u1、u2和u3做出判定)和解碼工具(基于重構(gòu)值u1'、u2'和u3'做出判定)做出相同的判定，但是由于原始值和重構(gòu)值之間的差異，所以會對一些色度采樣值做出不相同的判定。不相同的判定可能會輕微地影響質(zhì)量，但不影響后續(xù)解碼?？商娲?，編碼工具可以用信號通知指示應用哪個恢復濾波器的信息。

盡管圖22a至圖22d示出了來自yuv4:4:4畫面的u444信道的色度采樣值，但是可以以相同的方式對來自yuv4:4:4畫面的v444信道的色度采樣值進行濾波和重構(gòu)。

可替代地，封包和解包期間的濾波操作不限于作為yuv4:2:0畫面的一部分的yuv4:4:4畫面的色度采樣值。作為代替，對作為uuv4:2:0畫面的一部分的yuv4:4:4畫面的色度采樣值也執(zhí)行濾波操作。這樣的附加濾波操作可以使用與作為yuv4:2:0畫面的一部分的yuv4:4:4畫面的色度采樣值的抗混疊和恢復濾波不同的操作。

在前述抗混疊濾波操作和恢復濾波操作的示例中，在抗混疊濾波期間使用平均濾波，并且在恢復期間使用對應的濾波?？商娲兀够殳B濾波操作和恢復濾波操作可以實現(xiàn)變換/逆變換對。例如，變換/逆變換對可以是小波變換類、提升變換和其他變換中的一個變換。具體變換還可以根據(jù)使用案例場景進行設計?；蛘撸够殳B濾波和恢復濾波可以使用其他濾波器結(jié)構(gòu)，其具有其他濾波器支持區(qū)域或其他濾波器抽頭，或使用相對于內(nèi)容和/或保真度自適應(例如，相對于用于編碼的量化步長自適應)的濾波。因此，對于本申請中呈現(xiàn)的示例，第一編碼畫面和第二編碼畫面的采樣值可以是像素位置處的小波系數(shù)或值。可以通過比特移位運算實現(xiàn)二進制乘法和除法運算?？梢蕴^歸一化(例如，如下一段所描述的，當編碼畫面具有較高采樣比特深度時)或延遲直至最后階段。關于這些選項和其他濾波選項的附加詳情請參見美國專利公開號2014/0112394a1。

在一些示例實現(xiàn)方式中，編碼畫面的表示和/或壓縮可以使用比輸入畫面更高的采樣比特深度。例如，輸入畫面的采樣比特深度為每個采樣8個比特，編碼畫面的采樣比特深度為每個采樣10個比特。這可以幫助減少應用抗混疊濾波操作和恢復濾波操作期間的精度損失?；蛘?，當編碼畫面使用有損壓縮編碼時，這可以幫助實現(xiàn)更高的保真度水平。例如，如果輸入畫面的采樣比特深度為每個采樣8個比特，并且編碼畫面的采樣比特深度為每個采樣10個比特，則可以在編碼器和解碼器的所有或大多數(shù)內(nèi)部模塊中維持每個采樣10個比特的比特深度。如果需要，則在解包內(nèi)容以在接收端處輸出畫面之后，采樣比特深度可以減少到每個采樣8個比特。更一般地，輸入畫面格式的輸入畫面的采樣值可以具有第一比特深度(諸如每個采樣8個比特、10個比特、12個比特、或16個比特)，而編碼畫面格式的編碼畫面的采樣值(解包操作之后)具有高于第一比特深度的第二比特深度。因此，對于本申請中呈現(xiàn)的示例，第一編碼畫面和第二編碼畫面的采樣值可以具有不同的比特深度。

b.在高色度分辨率區(qū)域中選擇性地應用恢復濾波器

根據(jù)本節(jié)中所描述的方法，視頻處理工具在輸出畫面的高色度分辨率區(qū)域中應用恢復濾波器，但是跳過在輸出畫面的低色度分辨率區(qū)域中應用恢復濾波器。這樣，視頻處理工具可以選擇性地補償先前在色度次采樣期間執(zhí)行的抗混疊濾波。這允許視頻處理工具在執(zhí)行4:4:4顏色轉(zhuǎn)換的之前或同時，在高色度分辨率區(qū)域中應用恢復濾波器，以從輸入畫面中恢復原始色度采樣值(在量化誤差、舍入誤差等內(nèi))。另一方面，對于低色度分辨率區(qū)域，對于常規(guī)的4:2:0顏色轉(zhuǎn)換，視頻處理工具可以不應用恢復濾波器。

圖23圖示了用于在輸出畫面的一個或多個高色度分辨率區(qū)域中選擇性地應用恢復濾波器的一般的技術(2300)。諸如參考圖5描述的解碼器系統(tǒng)(500)之類的視頻解碼工具或另一解碼工具可以執(zhí)行該技術(2300)。

解碼工具接收(2310)編碼數(shù)據(jù)并且解碼(2320)根據(jù)第一編碼畫面格式和第二編碼畫面格式(其可以是相同的編碼畫面格式或不同的編碼畫面格式)組織的第一編碼畫面和第二編碼畫面。第一編碼畫面包含用于輸出畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸出畫面的高色度分辨率細節(jié)的采樣值。

解碼工具將第一編碼畫面和第二編碼畫面的采樣值解包成(2230)根據(jù)輸出畫面格式組織的輸出畫面。例如，解碼工具反轉(zhuǎn)參考圖8a至圖8e所描述的方法中的任一方法或另一方法來解包來自第一編碼畫面和第二編碼畫面的采樣值。在一些情況下，第二編碼畫面僅包括用于該編碼畫面的一部分(例如，用于編碼畫面的一個或多個區(qū)域，而非編碼畫面的所有區(qū)域)的采樣值，其影響了哪些采樣值在解包期間被重排。特別地，根據(jù)圖23所示的技術(2300)，輸出畫面的高色度分辨率區(qū)域取決于第一編碼畫面和第二編碼畫面，但輸出畫面的低色度分辨率區(qū)域僅取決于第一編碼畫面。也就是說，第二編碼畫面包括用于高色度分辨率區(qū)域的采樣值，但不包括用于低色度分辨率區(qū)域的采樣值。

作為解包(2330)的一部分，解碼工具將恢復濾波器應用于高色度分辨率區(qū)域的多個色度采樣值。例如，對于給定的色度采樣值(在用于高色度分辨率區(qū)域的色度采樣值之中)，對于輸出畫面中的給定位置，解碼工具基于給定色度采樣值和輸出畫面中相鄰位置處的其他色度采樣值來恢復給定位置處的原始色度采樣值的重構(gòu)。其他色度采樣值可以是三個色度采樣值(例如，對于參考圖22a描述的四位置恢復濾波器)、兩個色度采樣值(例如，對于參考圖22b所描述的三位置恢復濾波器)、或一些其他數(shù)目個色度采樣值。或者，解碼工具可以在兩個或多個恢復濾波器之間切換。例如，對于給定色度采樣值，解碼工具評估取決于相鄰位置處的其他色度采樣值的條件，并且根據(jù)評估結(jié)果，在使用其他色度采樣值中的三個色度采樣值(如圖22a所示)或使用其他色度采樣值中的兩個色度采樣值(如圖22b所示)之間進行選擇，以調(diào)整給定的色度采樣值?？商娲?，解碼工具將另一恢復濾波器應用于高色度分辨率區(qū)域的色度采樣值。

作為解包(2330)的一部分，解碼工具跳過將恢復濾波器應用于低色度分辨率區(qū)域的多個色度采樣值。代替應用恢復濾波器，解碼工具可以將低通濾波器應用于低色度分辨率區(qū)域的色度采樣值。例如，使用低通濾波器，解碼工具通過在來自第一編碼畫面的重構(gòu)色度采樣值之間進行插值來生成輸出畫面中的位置的色度采樣值(代替缺失的高色度分辨率細節(jié))。

解碼工具可以針對一個或多個其他輸出畫面中的每個輸出畫面來重復該技術(2300)。在一些情況下，第二編碼畫面可能已經(jīng)被丟棄(因此不被編碼)，使得沒有接收到或解碼用于第二編碼畫面的編碼數(shù)據(jù)，在這種情況下，沒有應用恢復濾波器。

可替代地，即使當執(zhí)行抗混疊濾波時，解碼工具還可以選擇性地跳過用于高色度分辨率區(qū)域的恢復濾波操作。例如，解碼工具可以跳過恢復濾波以減少解碼和回放的計算量。

c.將去塊濾波器應用于低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的邊界

當輸出畫面包括高色度分辨率區(qū)域和低色度分辨率區(qū)域時，兩個區(qū)域之間可能存在明顯的不連續(xù)性。不連續(xù)性可以是兩個區(qū)域之間的尖銳邊緣或接縫，其在輸出畫面的平滑區(qū)域或逐漸改變的區(qū)域中可能特別明顯。去塊濾波器可以使用低通濾波來平滑不連續(xù)性。

根據(jù)本節(jié)中所描述的方法，視頻處理工具將去塊濾波器應用于輸出畫面中的低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的邊界處的色度采樣值。應用去塊濾波器可以通過減輕邊界處的壓縮偽像來提高視覺質(zhì)量。例如，去塊濾波器混合邊界的不同側(cè)上的采樣值以平滑邊界處可感知的人為的不連續(xù)性。

圖24圖示了在輸出畫面(2401)的低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的邊界處進行去塊濾波的各方面。輸出畫面(2401)包括具有低色度分辨率的兩個區(qū)域(2410，2440)和具有高色度分辨率的兩個區(qū)域(2420，2430)。水平邊界(2421)將一個低色度分辨率區(qū)域(2440)和相鄰的高色度分辨率區(qū)域(2420)分開。另一水平邊界(2431)將另一個低色度分辨率區(qū)域(2410)和相鄰的高色度分辨率區(qū)域(2430)分開。兩個垂直邊界(2422，2432)分離低色度分辨率區(qū)域(2410，2440)和相鄰的高色度分辨率區(qū)域(2420，2430)。

對于給定垂直邊界(2422，2432)，視頻處理工具將去塊濾波應用于跨垂直邊界(2422，2432)的色度采樣值的一個或多個(水平)行。對于給定的水平邊界(2421，2431)，視頻處理工具將去塊濾波應用于跨水平邊界(2421，2431)的色度采樣值的一個或多個(垂直)行。去塊濾波器可以是指定用于環(huán)內(nèi)濾波或后處理的標準(諸如h.264、h.265或vc-1)或?qū)Ｓ懈袷?諸如vp8或vp9)的去塊濾波器，或它可以是另一去塊濾波器。

去塊濾波器在不適當?shù)厥褂脮r會引入明顯的模糊。自適應去塊濾波器可以改變應用去塊濾波器的方式和時機，以便使除去人為的不連續(xù)性的趨勢和防止引入不想要的模糊的趨勢保持平衡。通常，去塊濾波器是內(nèi)容自適應的。取決于跨越邊界的給定行中的某些采樣值的值(和/或圍繞濾波位置的其他局部信息)，去塊濾波器可以被應用或不被應用于給定行中的色度采樣值。例如，視頻處理工具可以執(zhí)行去塊濾波以平滑在平滑或相對平滑的行的色度采樣值中看上去是(基于采樣值)人為的不連續(xù)性。然而，對于看上去是(基于采樣值)畫面的內(nèi)容中的真實的邊緣的不連續(xù)性，視頻處理工具可以跳過去塊濾波。還有，根據(jù)跨邊界的給定行中的某些采樣值的值(和/或濾波位置周圍的其他本地信息)，作為應用于給定行中的色度采樣值的去塊濾波器的強度可能會改變(例如，通過改變?yōu)V波器的濾波器系數(shù)或者改變有多少個色度采樣值被濾波)。

視頻處理工具可以自動地在輸出畫面中的低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的邊界上使用去塊濾波。或者，可以通過設置(例如，用戶設置或應用設置)來控制去塊濾波的使用(或強度)。或者，可以使用在比特流中作為元數(shù)據(jù)被用信號通知的一個或多個語法元素(所謂的“濾波提示”)來指定去塊濾波的使用(或強度)。

圖25圖示了用于在輸出畫面的低色度分辨率區(qū)域和高色度分辨率區(qū)域之間的一個或多個邊界處應用去塊濾波器的一般的技術(2500)。諸如參考圖5所描述的解碼器系統(tǒng)(500)之類的視頻解碼工具或另一解碼工具可以執(zhí)行該技術(2500)。

解碼工具接收(2510)編碼數(shù)據(jù)并且解碼(2520)根據(jù)第一編碼畫面格式和第二編碼畫面格式(其可以是相同的編碼畫面格式或不同的編碼畫面格式)組織的第一編碼畫面和第二編碼畫面。第一編碼畫面包含用于輸出畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸出畫面的高色度分辨率細節(jié)的采樣值。

解碼工具將第一編碼畫面和第二編碼畫面的采樣值解包成(2530)根據(jù)輸出畫面格式組織的輸出畫面。例如，解碼工具反轉(zhuǎn)參考圖8a至圖8e所描述的方法中的任一方法或另一方法來解包來自第一編碼畫面和第二編碼畫面的采樣值。在一些情況下，第二編碼畫面僅包括用于該編碼畫面的一部分(例如，用于編碼畫面的一個或多個區(qū)域，而非編碼畫面的所有區(qū)域)的采樣值，其影響了哪些采樣值在解包期間被重排。特別地，根據(jù)圖25所示的技術(2500)，輸出畫面的高色度分辨率區(qū)域取決于第一編碼畫面和第二編碼畫面，但輸出畫面的低色度分辨率區(qū)域僅取決于第一編碼畫面。也就是說，第二編碼畫面包括用于高色度分辨率區(qū)域的采樣值，但不包括用于低色度分辨率區(qū)域的采樣值。

解碼工具將去塊濾波器應用(2540)于沿著輸出畫面的高色度分辨率區(qū)域和低色度分辨率區(qū)域之間的邊界的至少一些采樣值。例如，解碼工具應用上文所列出的去塊濾波器中的一個去塊濾波器?？商娲?，解碼工具應用另一去塊濾波器。對于非自適應濾波器，在跨邊界的多個多色度采樣值行中的每個行，在邊界的每一側(cè)上，解碼工具調(diào)整該行中的多個色度采樣值中的一個或多個色度采樣值?；蛘撸瑢τ谧赃m應去塊濾波器，在跨邊界的多個多色度采樣值行中的每個行，解碼工具(1)評估取決于該行中的至少一些采樣值的條件(例如，亮度采樣值和/或色度采樣值)；以及(2)根據(jù)評估結(jié)果，在邊界的每一側(cè)上，調(diào)整該行中的多個色度采樣值中的一個或多個色度采樣值。

解碼工具可以針對一個或多個其他輸出畫面中的每個輸出畫面來重復該技術(2500)。在一些情況下，第二編碼畫面可能已被丟棄(因此不被編碼)，使得沒有接收到或解碼用于第二編碼畫面的編碼數(shù)據(jù)，在這種情況下，去塊濾波器沒有被應用于高色度分辨率區(qū)域的任何邊界。

可替代地，解碼工具可以在后處理期間選擇性地跳過去塊濾波操作。例如，解碼工具可以在后處理期間跳過去塊濾波以減少解碼和回放的計算量，或者如由比特流中的濾波提示所指定的那樣。

d.將去振鈴濾波器應用于高色度分辨率區(qū)域

當輸出畫面包括高色度分辨率區(qū)域時，用于該區(qū)域的高色度分辨率細節(jié)可以以比用于該區(qū)域的低色度分辨率細節(jié)更低的質(zhì)量(例如，較高的量化參數(shù)值)進行編碼。在這種情況下，由于高色度分辨率細節(jié)的低編碼質(zhì)量，所以高色度分辨率區(qū)域可能包括振鈴偽像、高頻噪聲或其他明顯失真。例如，當來自高質(zhì)量yuv4:2:0畫面的采樣值由來自低質(zhì)量uuv4:2:0畫面的采樣值組成時，在高色度分辨率區(qū)域中可能會出現(xiàn)振鈴偽像。振鈴偽像可以被觀察為在重構(gòu)內(nèi)容中的實際邊緣周圍的微弱的重復邊緣。這種振鈴偽像可能是由于高頻系數(shù)的量化造成的。在極端情況下，與僅使用yuv4:2:0畫面構(gòu)建的區(qū)域相比，失真可能甚至更嚴重。

可以使用去振鈴濾波器保留內(nèi)容中的實際邊緣，并且消除邊緣周圍的振鈴偽像，但是當不適當?shù)厥褂脮r可能會模糊邊緣。去振鈴濾波器可以是自適應邊緣保留濾波器，其基于重構(gòu)內(nèi)容中的邊緣檢測來改變?yōu)V波器模式和濾波器強度。例如，去振鈴濾波器可以基于利用馬爾可夫隨機場的邊緣保留最大后驗(“map”)估計，但是這種去振鈴濾波器傾向于具有高的計算成本。去振鈴濾波器的其他示例如下所述。

根據(jù)本節(jié)中所描述的方法，視頻處理工具將去振鈴濾波器選擇性地應用于輸出畫面的高色度分辨率區(qū)域中的色度采樣值。應用去振鈴濾波器可以通過減輕由于高色度分辨率細節(jié)的低質(zhì)量編碼而導致的壓縮偽像來提高視覺質(zhì)量。

圖26圖示了用于輸出畫面的區(qū)域中的自適應去振鈴濾波的技術(2600)。諸如參考圖5所描述的解碼器系統(tǒng)(500)之類的視頻解碼工具或另一個解碼工具可以執(zhí)行該技術(2600)。

對于輸出畫面的給定區(qū)域，解碼工具檢查(2610)該區(qū)域是否是高色度分辨率區(qū)域。如果是，則解碼工具繼續(xù)檢查(2620)該區(qū)域是否由用于該區(qū)域的高質(zhì)量低色度分辨率版本以及用于該區(qū)域的低質(zhì)量高色度分辨率細節(jié)組成。可替代地，解碼工具檢查一些其他條件。如果條件滿足，則解碼工具將去振鈴濾波器應用(2630)于該區(qū)域中。去振鈴濾波器可以基于用于后處理的標準(諸如vc-1)或?qū)Ｓ懈袷街兄付ǖ娜フ疋彏V波器，或者可以是另一去振鈴濾波器。通常，去振鈴濾波器是內(nèi)容自適應的。

對于在圖26中檢查(2620)的條件，與來自用于區(qū)域的低質(zhì)量高色度分辨率細節(jié)的采樣值相比，選擇性地應用的去振鈴濾波器對來自用于該區(qū)域的高質(zhì)量低色度分辨率細節(jié)的色度采樣值進行更重地加權。例如，與來自第二編碼畫面(高色度分辨率細節(jié))的采樣值相比，去振鈴濾波器對取決于第一編碼畫面(低色度分辨率版本)的采樣值進行更重地加權。這可以通過有效地使用來自第二編碼畫面的色度采樣值來改善而非替代從第一編碼畫面導出的近似高分辨率色度采樣值來改善視覺質(zhì)量。

圖27a至圖27d圖示了用于輸出畫面的高色度分辨率區(qū)域的這種去振鈴濾波器的示例。圖27a至圖27d示出了帶有具有濾波器抽頭的3×3濾波器核的去振鈴濾波器，該濾波器抽頭根據(jù)核在輸出畫面中的位置而變化，盡管歸一化因子(等于16)不變。總的來說，濾波器抽頭在具有使用來自第一編碼畫面的值恢復的色度采樣值的位置處更高。圖27a至圖27d所示的色度采樣值包括使用來自第一編碼畫面的值恢復的重構(gòu)色度采樣值(示為u0')以及來自第二編碼畫面的重構(gòu)色度采樣值(示為u1'、u2'、u3')。

圖27a示出了用于濾波器核的第一位置(2701)。對于第一位置(2701)，核包括使用來自第一編碼畫面的值恢復的四個色度采樣值u0'。中心色度采樣值具有最高的權重(4)，但是四個u0'值具有次高的權重(2)。

圖27b示出了用于濾波器核的第二位置(2702)。對于第二位置(2702)，核包括具有最高權重(4)的兩個恢復色度采樣值u0'。中心色度采樣值具有次高的權重(2)。圖27c示出了用于濾波器核的第三位置(2703)。對于第三位置(2703)，濾波器抽頭與第二位置(2702)相同但被旋轉(zhuǎn)。

圖27d示出了用于濾波器核的第四位置(2704)。對于第四位置(2704)，核包括具有最高權重(4)的單個恢復色度采樣值u0'。四個相鄰色度采樣值具有次高的權重(2)。

視頻處理工具可以自動地在輸出畫面中的高色度分辨率區(qū)域中使用去振鈴濾波?；蛘?，可以通過設置(例如，用戶設置或應用設置)來控制去振鈴濾波的使用(或強度)?；蛘?，可以用在比特流中作為元數(shù)據(jù)被用信號通知的一個或多個語法元素(所謂的“濾波提示”)來指定去振鈴濾波的使用(或強度)。

圖28圖示了用于在輸出畫面的高色度分辨率區(qū)域中應用去振鈴濾波器的一般的技術(2800)。諸如參考圖5所描述的解碼器系統(tǒng)(500)之類的視頻解碼工具或另一解碼工具可以執(zhí)行該技術(2800)。

解碼工具接收(2810)編碼數(shù)據(jù)并且解碼(2820)根據(jù)第一編碼畫面格式和第二編碼畫面格式(其可以是相同的編碼畫面格式或不同的編碼畫面格式)組織的第一編碼畫面和第二編碼畫面。第一編碼畫面包含用于輸出畫面的低色度分辨率版本的采樣值。第二編碼畫面包含用于輸出畫面的高色度分辨率細節(jié)的采樣值。

解碼工具將第一編碼畫面和第二編碼畫面的采樣值解包成(2830)根據(jù)輸出畫面格式組織的輸出畫面。例如，解碼工具反轉(zhuǎn)參考圖8a至圖8e所描述的方法中的任一方法或另一方法來解包來自第一編碼畫面和第二編碼畫面的采樣值。特別地，根據(jù)圖28所示的技術(2800)，輸出畫面的高色度分辨率區(qū)域取決于第一編碼畫面和第二編碼畫面。也就是說，第二編碼畫面包括高色度分辨率區(qū)域的采樣值。

解碼工具將去振鈴濾波器(2840)應用于輸出畫面的高色度分辨率區(qū)域的至少一些采樣值。例如，解碼工具應用上文所列出的去振鈴濾波器中的一個去振鈴濾波器。可替代地，解碼工具應用另一去振鈴濾波器。相對于來自第二編碼畫面的高色度分辨率區(qū)域的那些采樣值，去振鈴濾波器可以強調(diào)取決于第一編碼畫面的高色度分辨率區(qū)域的那些采樣值。當確定是否應用去振鈴濾波器時，解碼工具可以評估取決于用于高色度分辨率區(qū)域的第一編碼畫面的編碼質(zhì)量和用于高色度分辨率區(qū)域的第二編碼畫面的編碼質(zhì)量的條件，其中關于是否應用去振鈴濾波器的判定取決于評估結(jié)果。可替代地，當確定是否應用去振鈴濾波器時，解碼工具可以評估一些其他條件。

解碼工具可以針對一個或多個其他輸出畫面中的每個輸出畫面來重復該技術(2800)。在一些情況下，第二編碼畫面可能已被丟棄(因此不被編碼)，使得沒有接收到或解碼第二編碼畫面的編碼數(shù)據(jù)，在這種情況下，去振鈴濾波器沒有應用于任何高色度分辨率區(qū)域。

可替代地，解碼工具可以在后處理期間選擇性地跳過去振鈴濾波操作。例如，解碼工具可以在后處理期間跳過去振鈴濾波以減少解碼和回放的計算量，或者如由比特流中的濾波提示所指定的那樣。

e.備選方案和變型

對于在第xii.b、xii.c和xii.d節(jié)中描述的方法，編碼數(shù)據(jù)可以作為一個比特流的一部分被接收。用于比特流的語法準許第一編碼畫面和/或第二編碼畫面缺少用于輸出畫面的至少一部分的編碼采樣值。如第ix節(jié)所描述的，第一編碼畫面和第二編碼畫面可以被解碼為編碼畫面的不同子序列的一部分。當用零運動來跳過編碼畫面(或其區(qū)域)時，使得沒有接收到編碼畫面(或區(qū)域)的編碼數(shù)據(jù)，編碼畫面(或區(qū)域)可以通過根據(jù)先前編碼畫面重復來解碼。因此，當用于輸出畫面的第一編碼畫面和第二編碼畫面被解碼時，解碼工具可以不使用用于任何第一編碼畫面的編碼數(shù)據(jù)，或可以使用用于第一編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以使用用于所有第一編碼畫面的編碼數(shù)據(jù)，并且解碼工具可以不使用用于任何第二編碼畫面的編碼數(shù)據(jù)，或者可以使用用于第二編碼畫面的一些區(qū)域的編碼數(shù)據(jù)，或者可以使用用于所有第二編碼畫面的編碼數(shù)據(jù)。還有，如果已經(jīng)用零運動來跳過編碼畫面(或其中的區(qū)域)，則同一子序列中的先前編碼畫面(或相同位置區(qū)域)可以提供在合成輸出畫面時使用的采樣值(用于當前編碼畫面或其區(qū)域)。

對于在第xii.b、xii.c和xii.d節(jié)中描述的方法，一般而言，輸出畫面格式具有第一色度采樣率，并且第一編碼畫面格式和第二編碼畫面格式中的至少一個編碼畫面格式具有低于第一色度采樣率的第二色度采樣率。例如，第一色度采樣率為4:4:4，第二色度采樣率為4:2:0?？商娲?，畫面格式中的一個或多個畫面格式具有某個其他色度采樣率。

除了應用去塊濾波器和/或去振鈴濾波器作為后處理操作的一部分之外，視頻處理工具還可以應用一個或多個其他類型的濾波器(例如，去噪濾波器)。

考慮到可以應用所公開的發(fā)明的原理的許多可能的實施例，應當認識到，所說明的實施例僅是本發(fā)明的優(yōu)選實例，而不應被認為是限制本發(fā)明的范圍。相反，本發(fā)明的范圍由所附權利要求限定。因此，我們認為我們的發(fā)明都在這些權利要求的范圍和精神之內(nèi)。