用于高效視頻編碼的內(nèi)容適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波的制作方法
【專(zhuān)利摘要】描述一種用于適應(yīng)性運(yùn)動(dòng)濾波以改進(jìn)幀間運(yùn)動(dòng)補(bǔ)償視頻編碼的子像素運(yùn)動(dòng)預(yù)測(cè)效率的系統(tǒng)和方法。該技術(shù)使用在搜索復(fù)雜性方面十分高效的碼本方法，該方法從運(yùn)動(dòng)濾波器系數(shù)集的預(yù)計(jì)算碼本查找最佳運(yùn)動(dòng)濾波器集。在一些實(shí)施例中，搜索復(fù)雜性通過(guò)將完整碼本分區(qū)成小基礎(chǔ)碼本和大虛擬碼本來(lái)進(jìn)一步降低，使得對(duì)搜索的主要計(jì)算僅僅需要對(duì)基礎(chǔ)碼本執(zhí)行。
【專(zhuān)利說(shuō)明】用于高效視頻編碼的內(nèi)容適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及視頻信號(hào)的編碼和解碼，尤其涉及用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的適應(yīng)性濾波器的基于碼本的編碼和解碼。
[0002]背景
[0003]數(shù)字多媒體(諸如數(shù)字圖像、語(yǔ)音/音頻、圖形和視頻)的出現(xiàn)因其相對(duì)便利，而大大改善了各種應(yīng)用并且廣泛開(kāi)辟了新的應(yīng)用，這種便利實(shí)現(xiàn)了內(nèi)容的可靠存儲(chǔ)、通信、傳輸以及搜索和訪問(wèn)。總體而言，數(shù)字多媒體應(yīng)用已有很多，涵蓋包括娛樂(lè)、信息、醫(yī)藥和安全的廣泛范圍，并且已經(jīng)通過(guò)多種方式造福社會(huì)。由諸如相機(jī)和話筒之類(lèi)的傳感器所捕捉的多媒體通常是模擬的，以脈沖編碼調(diào)制(PCM)形式數(shù)字化的過(guò)程將其呈現(xiàn)為數(shù)字形式。但是，就在數(shù)字化之后，所得數(shù)據(jù)的量可能非常巨大，因?yàn)槠鋵?duì)由揚(yáng)聲器和/或TV顯示器所需的模擬表示的重建而言是必需的。因此，大量數(shù)字多媒體內(nèi)容的有效通信、存儲(chǔ)或傳輸要求從原始PCM形式壓縮成壓縮表示，因此許多用于多媒體壓縮的技術(shù)被發(fā)明出來(lái)。多年來(lái)，視頻壓縮技術(shù)已經(jīng)成熟到允許達(dá)到在10到100之間的高壓縮系數(shù)同時(shí)保持高神經(jīng)性視覺(jué)質(zhì)量(通常類(lèi)似于非壓縮數(shù)字視頻)。
[0004]至今在視頻壓縮領(lǐng)域和科技中已經(jīng)取得極大進(jìn)步(如過(guò)多的標(biāo)準(zhǔn)團(tuán)體驅(qū)動(dòng)的視頻編碼標(biāo)準(zhǔn)(諸如 MPEG-1、MPEG-2、H.263、MPEG_4 第 2 部分、MPEG-4AVC/H.264、MPEG-4SVC 和MVC)以及工業(yè)驅(qū)動(dòng)的私有標(biāo)準(zhǔn)(諸如Windows Media Video、RealVideo、0n2VP等等)所呈現(xiàn)的)，客戶對(duì)可以隨時(shí)隨地訪問(wèn)的更高質(zhì)量、更高分辨率以及現(xiàn)場(chǎng)3D (立體聲)視頻日益增長(zhǎng)的嗜好需要經(jīng)由各種手段(諸如DVD/BD、空中廣播、纜線/衛(wèi)星、有線和移動(dòng)網(wǎng)絡(luò))向廣泛的客戶設(shè)備(諸如PC/膝上型計(jì)算機(jī)、TV、機(jī)頂盒、游戲控制臺(tái)、便攜式媒體播放器/設(shè)備和智能電話)進(jìn)行傳送，這刺激了對(duì)更高視頻壓縮水平的需求。在標(biāo)準(zhǔn)團(tuán)體驅(qū)動(dòng)的標(biāo)準(zhǔn)中，ISO MPEG最近開(kāi)始的在高效視頻編碼(HEVC)方面的努力證明了這一點(diǎn)，期望該努力能將新技術(shù)貢獻(xiàn)與來(lái)源于ITU-T標(biāo)準(zhǔn)委員會(huì)近些年對(duì)H.265視頻壓縮的探索性工作的技術(shù)相結(jié)合。所有上述標(biāo)準(zhǔn)都采用通用幀間預(yù)測(cè)編碼框架，該框架涉及通過(guò)首先將幀分成諸個(gè)塊并向待編碼幀的每個(gè)塊分配運(yùn)動(dòng)向量(或多個(gè)運(yùn)動(dòng)向量)來(lái)相對(duì)于過(guò)往解碼幀補(bǔ)償視頻幀(或視頻場(chǎng))之間的運(yùn)動(dòng)，進(jìn)而減小時(shí)間冗余；這些運(yùn)動(dòng)向量隨后被發(fā)送到解碼器并被用于生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀，該運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀與過(guò)往解碼幀和編碼塊通常經(jīng)由轉(zhuǎn)換編碼諸個(gè)塊的方式相區(qū)分。為了更高的編碼效率，已經(jīng)意識(shí)到運(yùn)動(dòng)向量應(yīng)該具有比整數(shù)像素更高的精度，因此MPEG-1和MPEG-2允許1/2像素準(zhǔn)確度同時(shí)最近標(biāo)準(zhǔn)(諸如MPEG-4第2部分(第2版)視頻和H.264)使用1/4像素準(zhǔn)確度運(yùn)動(dòng)補(bǔ)償。然而，由于幀的實(shí)際像素僅在整數(shù)像素精度下可用，需要特殊濾波器如生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)所需地將先前幀的塊內(nèi)插到子像素(subpel)位置。H.264標(biāo)準(zhǔn)指定能夠用于生成1/4像素內(nèi)插所需的全部16個(gè)相的可分離濾波器的固定濾波器集。該固定濾波器集是理論上最佳的，因?yàn)樗轻槍?duì)最大收益從Weiner理論導(dǎo)出的；然而，固定濾波器集中的一些濾波器限于6抽頭，而對(duì)于其它濾波器，允許多達(dá)9抽頭。此外，由于精度限制，在整數(shù)化過(guò)程中準(zhǔn)確度有一些損失。當(dāng)該類(lèi)預(yù)測(cè)通常對(duì)平均值進(jìn)行工作時(shí)，對(duì)于具體圖片或場(chǎng)景，該單個(gè)固定濾波器或任何其它單個(gè)固定濾波器可能與內(nèi)容的特征失配，因此還存在改進(jìn)空間。
[0005]近年來(lái)，在1/4像素運(yùn)動(dòng)補(bǔ)償?shù)臑V波領(lǐng)域中已有大量研究，導(dǎo)致適應(yīng)性運(yùn)動(dòng)濾波的發(fā)展。在適應(yīng)性濾波中，系數(shù)并不固定，并因此并非先驗(yàn)已知；即，系數(shù)是從內(nèi)容自身計(jì)算得到并隨時(shí)間改變。用于計(jì)算濾波器系數(shù)的數(shù)學(xué)過(guò)程基于Wiener Hopf方程。
[0006]當(dāng)Wiener Hopf數(shù)學(xué)過(guò)程可以計(jì)算最佳濾波器系數(shù)集時(shí)，該方法在視頻編碼系統(tǒng)中的實(shí)際結(jié)合存在顯著問(wèn)題。因此在H.265和/或HEVC發(fā)展的情形中，已有多種提案來(lái)解決各種缺點(diǎn)并增加適應(yīng)性以獲得改進(jìn)的編碼增益。這些提案可以簡(jiǎn)要列舉如下。
[0007]不可分離與可分離濾波器之間的選擇一不可分離濾波器的計(jì)算可能更加計(jì)算密集，但是理論上，不可分離濾波器可以得到更高的質(zhì)量。然而，不可分離濾波器也需要可分離濾波器系數(shù)數(shù)量的兩倍，因此不可分離濾波器的編碼開(kāi)銷(xiāo)可能較高。
[0008]總體而言，對(duì)于運(yùn)動(dòng)濾波，可分離濾波器能夠提供合理的編碼增益，因此提供總體上更好的折衷。
[0009]迭代次數(shù)與每次迭代的增益的折衷一Wiener Hopf方程的迭代解采用多次迭代來(lái)收斂以給出好的結(jié)果。所需的迭代次數(shù)依賴(lài)于(最初用于首次迭代的)默認(rèn)濾波器集距最佳結(jié)果多遠(yuǎn)。如果它們較近，通常多達(dá)4次迭代可能足夠，但是如果它們十分不同，則可能需要16至20次迭代。如果默認(rèn)濾波器與最佳濾波器之間的差異很大，在4次迭代處停止不會(huì)得到大部分增益。
[0010]用于位成本最佳折衷的各系數(shù)的準(zhǔn)確度相對(duì)于質(zhì)量一通過(guò)將濾波器集中特定系數(shù)保持低準(zhǔn)確度，可以得到一些位節(jié)省。實(shí)際上，濾波器系數(shù)的最大精度可被限于8位，且在一些例外情形中，所用精度可被限于10位。
[0011]用于向解碼器的傳輸?shù)南禂?shù)位成本降低(實(shí)際值、差分、更新限制)一要向解碼器發(fā)送的系數(shù)數(shù)量必需受限，因?yàn)槔?，典型的不可分離濾波器集可能要求發(fā)送多達(dá)120個(gè)系數(shù)(每幀650-950位的位成本)而即便是可分離濾波器集也可能要求發(fā)送45-60個(gè)系數(shù)(每幀400-550位的位成本)。采用差分編碼(當(dāng)前幀的編碼濾波器集與先前幀濾波器集或相對(duì)于默認(rèn)濾波器集差分地進(jìn)行)或通過(guò)對(duì)更新設(shè)置限制，該位計(jì)數(shù)可或多或少地減少，但是伴隨一些質(zhì)量損失。
[0012]圖片內(nèi)的多濾波器集以改進(jìn)總體增益一當(dāng)即便每幀計(jì)算的一個(gè)Wiener濾波器集可以給出由于例如H.264標(biāo)準(zhǔn)濾波器集的增益時(shí)，通過(guò)提供幀內(nèi)(諸如基于塊或片)的多濾波器集的選擇可以得到更高的增益。然而，一個(gè)問(wèn)題是與附加增益相比，即便每幀2個(gè)濾波器集的位成本都可能過(guò)多。因此當(dāng)使用多濾波器集時(shí)，管理濾波器系數(shù)的位成本是必需的。
[0013]率失真優(yōu)化(RDO)復(fù)雜性，由于它可能原本涉及濾波器切換地圖上的多次迭代以導(dǎo)出最佳結(jié)果一當(dāng)使用多個(gè)濾波器以獲得高增益時(shí)，通常必需以迭代方式來(lái)使用率失真優(yōu)化以獲得用于濾波器選擇的正確塊尺寸，該濾波器選擇提供在濾波器切換頻率與增益之間的良好折衷。
[0014]當(dāng)使用多個(gè)濾波器時(shí)的塊地圖開(kāi)銷(xiāo)位成本一當(dāng)使用多個(gè)濾波器(包括在標(biāo)準(zhǔn)濾波器與所計(jì)算濾波器之間切換的情形)時(shí)，切換地圖成本可能相當(dāng)大。例如，如果在對(duì)宏塊使用I位而在宏塊的基礎(chǔ)上在兩個(gè)濾波器之間切換，則對(duì)于通用中間格式(CIF)序列，除了可能發(fā)送兩個(gè)濾波器集的位成本之外，應(yīng)該添加396位額外開(kāi)銷(xiāo)。
[0015]通過(guò)使用整數(shù)位置濾波器以及具有偏移的濾波器所獲得的附加增益一已經(jīng)做出一些嘗試來(lái)通過(guò)在最佳1/4像素位置是整數(shù)位置的情形中對(duì)整數(shù)位置計(jì)算濾波器以擠壓增益。此外，已經(jīng)使用具有偏移的濾波器進(jìn)行一些實(shí)驗(yàn)以獲得更高增益。兩種情形都需要附加的開(kāi)銷(xiāo)位。
[0016]如上所述，已經(jīng)提出許多計(jì)數(shù)和變型，當(dāng)前方法(即便在差分編碼之后)的系數(shù)位計(jì)數(shù)開(kāi)銷(xiāo)過(guò)高。此外，現(xiàn)有技術(shù)由于需要在系數(shù)集的很多次迭代上進(jìn)行計(jì)算，因此在計(jì)算上相當(dāng)復(fù)雜。此外，當(dāng)前系統(tǒng)的適應(yīng)性強(qiáng)的唯一方法是通過(guò)對(duì)多切換濾波器廣泛使用RD0，這意味著額外開(kāi)銷(xiāo)和復(fù)雜性。
[0017]與適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波相關(guān)的附加信息可在以下參考文獻(xiàn)中找到，每個(gè)參考文獻(xiàn)都出于全部目的通過(guò)引用完全結(jié)合于此:
[0018].T.Wedij ^Adaptive Interpolation Filter For Motion CompensatedPrediction (用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的適應(yīng)性內(nèi)插濾波器)〃圖像處理國(guó)際會(huì)議(ICIP)文集，509-511 頁(yè)，2002。
[0019].ν.Vatis等人，〃Coding of Coefficients of two-dimensional non-separableAdapive Wiener Interpolation Filter (兩維不可分離適應(yīng)性Wiener內(nèi)插濾波器的系數(shù)的編碼)"SPIE視覺(jué)通信和圖像處理(VCIP)文集，2005年7月。
[0020].V.Vatis 和 Joern Ostermann, "Locally Adaptive Non-SeparabIeInterpolaion Filter for H.264/AVC (用于H.264/AVC的本地適應(yīng)性不可分離內(nèi)插濾波器)〃圖像處理國(guó)際會(huì)議(ICIP)文集，2006年10月。`
[0021]*S.Wittmann和T.Wedi, "Separable Adaptive Interpolation Filter for VideoCoding (用于視頻編碼的可分離適應(yīng)性內(nèi)插濾波器)〃，圖像處理國(guó)際會(huì)議(ICIP)文集，2500-2503 頁(yè)，2008。
[0022]附圖簡(jiǎn)述
[0023]圖1示出采用使用固定運(yùn)動(dòng)濾波的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的現(xiàn)有技術(shù)幀間解碼器的一般框圖。
[0024]圖2示出與現(xiàn)有技術(shù)編碼器對(duì)應(yīng)并與編碼器處的本地解碼回路類(lèi)似地工作的現(xiàn)有技術(shù)解碼器。
[0025]圖3示出被組織成像素柵格的視頻幀的部分，其中運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)塊被計(jì)算，該像素柵格進(jìn)一步被化分成子像素柵格。
[0026]圖4a_o示出對(duì)于每個(gè)子像素位置的6/9抽頭到6x6濾波器矩陣的映射。
[0027]圖5示出采用使用通用化適應(yīng)性運(yùn)動(dòng)濾波的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的現(xiàn)有技術(shù)幀間解碼器的框圖。
[0028]圖6示出采用使用通用化適應(yīng)性運(yùn)動(dòng)濾波的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的現(xiàn)有技術(shù)幀間解碼器的框圖。
[0029]圖7a_f示出用于劃分圖片的多種分區(qū)模式。
[0030]圖8示出根據(jù)一個(gè)實(shí)施例的采用使用運(yùn)動(dòng)濾波碼本編碼器的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的幀間編碼器的框圖。
[0031]圖9示出根據(jù)一個(gè)實(shí)施例的采用使用運(yùn)動(dòng)濾波碼本解碼器的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的幀間解碼器的框圖。
[0032]圖10示出用于生成運(yùn)動(dòng)濾波器碼本或用于子像素和整數(shù)像素位置的碼本的‘離線’例程。
[0033]圖11示出根據(jù)一個(gè)實(shí)施例的用于針對(duì)運(yùn)動(dòng)濾波器集而搜索碼本的‘在線’例程。
[0034]圖12示出根據(jù)多種運(yùn)動(dòng)補(bǔ)償碼本濾波器編碼器和解碼器并在本文中不同描述的示例性位流句法。
[0035]圖13a_b示出根據(jù)不同實(shí)施例的視頻流內(nèi)的圖片或幀序列。
[0036]圖14示出根據(jù)一個(gè)實(shí)施例的示例性視頻編碼/解碼系統(tǒng)。
[0037]圖15示出根據(jù)一個(gè)實(shí)施例的示例性編碼設(shè)備的若干組件。
[0038]圖16示出根據(jù)一個(gè)實(shí)施例的示例性解碼設(shè)備的若干組件。
[0039]圖17示出根據(jù)一個(gè)實(shí)施例的碼本運(yùn)動(dòng)補(bǔ)償濾波視頻編碼例程，諸如該例程可以由編碼設(shè)備來(lái)執(zhí)行。
[0040]圖18示出根據(jù)一個(gè)實(shí)施例的用于獲得碼本的子例程。
[0041]圖19示出根據(jù)一個(gè)實(shí)施例的用于從碼本選擇運(yùn)動(dòng)補(bǔ)償濾波器子集的子例程。
[0042]圖20示出根據(jù)一個(gè)實(shí)施例的用于確定用于圖片一部分的整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器的子例程。
[0043]圖21示出根據(jù)一個(gè)實(shí)施例的碼本運(yùn)動(dòng)補(bǔ)償濾波視頻解碼例程，諸如該例程可以由解碼設(shè)備來(lái)執(zhí)行。
[0044]詳細(xì)描述
[0045]以下詳細(xì)描述大部分以常規(guī)計(jì)算機(jī)組件的過(guò)程和操作的符號(hào)表示來(lái)呈現(xiàn)，這些計(jì)算機(jī)組件包括處理器、用于處理器的存儲(chǔ)設(shè)備、連接的顯示設(shè)備和輸入設(shè)備。此外，這些過(guò)程和操作可以利用異類(lèi)分布式計(jì)算回路境中的常規(guī)計(jì)算機(jī)組件，包括遠(yuǎn)程文件服務(wù)器、計(jì)算機(jī)服務(wù)器和存儲(chǔ)設(shè)備。
[0046]這些常規(guī)的分布式計(jì)算組件的每一個(gè)可由處理器經(jīng)由通信網(wǎng)絡(luò)訪問(wèn)。
[0047]短語(yǔ)“在一個(gè)實(shí)施例中”、“在多個(gè)實(shí)施例中”、“在一些實(shí)施例中”等等可以重復(fù)使用。這些術(shù)語(yǔ)不一定指代相同實(shí)施例。術(shù)語(yǔ)“包括”、“具有”和“包含”是同義詞，除非上下文另行說(shuō)明。
[0048]概述
[0049]描述用于幀間視頻編碼的運(yùn)動(dòng)濾波的系統(tǒng)和方法的多個(gè)實(shí)施例。這些實(shí)施例中的一些可以提供比現(xiàn)有方案降低的計(jì)算復(fù)雜性，因?yàn)榇嬖诰幋a期間采用許多迭代來(lái)迭代地計(jì)算濾波器系數(shù)，運(yùn)動(dòng)濾波器集從運(yùn)動(dòng)濾波器系數(shù)集的預(yù)計(jì)算碼本進(jìn)行查找。
[0050]在一些實(shí)施例中，搜索復(fù)雜性可以通過(guò)將完整碼本分區(qū)成小“基礎(chǔ)”碼本和較大“虛擬”碼本來(lái)進(jìn)一步降低，這使得用于搜索的主要計(jì)算僅需要對(duì)基礎(chǔ)碼本進(jìn)行。這些實(shí)施例可以通過(guò)以下來(lái)降低存儲(chǔ):(a)僅存儲(chǔ)基礎(chǔ)碼本和用于合成剩余碼本的算法；(b)對(duì)每個(gè)濾波器集存儲(chǔ)，根據(jù)運(yùn)動(dòng)子像素濾波位置存儲(chǔ)具有適當(dāng)數(shù)量的抽頭的濾波器；以及(C)僅存儲(chǔ)所需的每系數(shù)的位精度。
[0051]在多個(gè)實(shí)施例中，所述運(yùn)動(dòng)濾波器碼本技術(shù)可被運(yùn)用于圖片、片組、塊地圖、合并的塊地圖、或適應(yīng)性分區(qū)(諸如二叉樹(shù)、四叉樹(shù))或內(nèi)容依賴(lài)分區(qū)等等。與僅有率失真優(yōu)化(RDO)驅(qū)動(dòng)的其它技術(shù)相比，本技術(shù)用于內(nèi)容依賴(lài)分區(qū)的能力也降低復(fù)雜性并改進(jìn)準(zhǔn)確度。多個(gè)實(shí)施例可以僅用于子像素濾波、僅用于整數(shù)位置濾波或者用于兩者。此外，碼本可以易于替換或擴(kuò)展以使其適應(yīng)內(nèi)容的特性。[0052]描述濾波器碼本設(shè)計(jì)和碼本高效搜索的細(xì)節(jié)。通過(guò)碼本設(shè)計(jì)的所述方法并且對(duì)于所提出的碼本尺寸，該技術(shù)可以得到良好的運(yùn)動(dòng)濾波性能，潛在地提高廣泛視頻內(nèi)容的精
度效率。
[0053]在多個(gè)實(shí)施例中，所述技術(shù)可以是位高效的，因?yàn)榭赡軆H需要到碼本的索引以標(biāo)識(shí)所選子像素濾波器集或整數(shù)像素濾波器。在許多情形中，編碼索引可以比編碼實(shí)際系數(shù)或發(fā)送差分編碼的濾波器系數(shù)來(lái)的更加高效。當(dāng)所發(fā)送的實(shí)際索引數(shù)量依賴(lài)于分區(qū)數(shù)量時(shí)，與使用同類(lèi)分區(qū)的現(xiàn)有技術(shù)相比，所述基于碼本的技術(shù)在位率方面更加高效。
[0054]多個(gè)實(shí)施例可以用于使用由1-、P-、B-圖片編碼構(gòu)成的常規(guī)圖片結(jié)構(gòu)的典型視頻編碼。其它實(shí)施例可以用于代替1-和P-圖片或作為其附加的其它結(jié)構(gòu)，諸如分級(jí)B-圖片、單向B-圖片或其它B-圖片替換方案。
[0055]現(xiàn)在詳細(xì)參照如附圖所示的實(shí)施例的描述。當(dāng)結(jié)合附圖和相關(guān)描述來(lái)描述實(shí)施例時(shí)，不旨在將范圍限制在本文所述實(shí)施例中。相反，旨在覆蓋所有替換、修改和等同方案。在替換實(shí)施例中，附加設(shè)備或所述設(shè)備的組合可以在不將范圍限制在本文所述實(shí)施例的情況下被添加或組合。
[0056]圖1示出采用使用固定運(yùn)動(dòng)濾波的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的現(xiàn)有技術(shù)幀間編碼器100的一般框圖。一個(gè)或多個(gè)視頻巾貞(vidfrms)被塊分度器劃分成塊(blh)。塊(blh)被每次一個(gè)地輸入差分器133并與相應(yīng)的預(yù)測(cè)信號(hào)塊(pred)差分，并且殘差(res)被轉(zhuǎn)換器135前向轉(zhuǎn)換，得到系數(shù)塊(tcof)，該系數(shù)塊被發(fā)送給量化器138，得到量化系數(shù)塊(tcofq)，該量化系數(shù)塊被發(fā)送給熵編碼器118和反量化器140。反量化器140將去量化的系數(shù)塊(tcof)發(fā)送給反轉(zhuǎn)換器143。在加法器145處，來(lái)自運(yùn)動(dòng)補(bǔ)償回路的預(yù)測(cè)塊(pred)被加至反轉(zhuǎn)換器143輸出處的去量化殘差塊(res’)。在加法器145處，來(lái)自運(yùn)動(dòng)補(bǔ)償回路的預(yù)測(cè)塊(pred)被加至反轉(zhuǎn)換器743的輸出處的去量化殘差塊(res’)。加法器745輸出本地解碼塊(rec)，該本地解碼塊被發(fā)送給幀匯編器和降低塊屬性的解塊濾波器處理器148。
[0057]在幀匯編器和解塊濾波處理器148輸出處的塊(reed)形成幀，該幀被用作為運(yùn)動(dòng)估計(jì)器128和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器130的參考幀。
[0058]運(yùn)動(dòng)估計(jì)器128計(jì)算原始巾貞的塊(blh)相對(duì)于重建巾貞(reed)的運(yùn)動(dòng)向量(mv)。運(yùn)動(dòng)向量計(jì)算的過(guò)程包括計(jì)算每塊的整數(shù)像素向量，之后使用子像素內(nèi)插器129計(jì)算子像素向量(sv)(例如到1/4像素分辨率)。通常，子像素內(nèi)插器129包含在運(yùn)動(dòng)估計(jì)器128自身中，但是為了描述清楚，它被分開(kāi)示出和引用。運(yùn)動(dòng)估計(jì)器128搜索最佳匹配以及因此的最佳運(yùn)動(dòng)向量(mv)，其中運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器130使用該運(yùn)動(dòng)向量(mv)來(lái)生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器塊(pred)。運(yùn)動(dòng)補(bǔ)償器130也使用與子像素內(nèi)插器129類(lèi)似的子像素(例如1/4像素分辨率)內(nèi)插器131。子像素內(nèi)插器129和131使用的濾波器集(fmf)被預(yù)指定并因此是固定的。熵編碼器118編碼量化轉(zhuǎn)換系數(shù)(未示出)、差分運(yùn)動(dòng)向量(dmv)和開(kāi)銷(xiāo)數(shù)據(jù)(未示出)，生成壓縮位流128。
[0059]圖2示出與現(xiàn)有技術(shù)編碼器100對(duì)應(yīng)并類(lèi)似于編碼器100處的本地解碼回路155而工作的現(xiàn)有技術(shù)解碼器200。具體而言，待解碼的壓縮位流201輸入到熵解碼器203，該熵解碼器解碼量化系數(shù)塊(tcofq)、差分運(yùn)動(dòng)向量(dmv)以及開(kāi)銷(xiāo)數(shù)據(jù)(未示出)。量化系數(shù)塊(tcofq)隨后被反量化器203反量化，得到去量化系數(shù)(tcof)，該去量化系數(shù)隨后被反轉(zhuǎn)換器215反轉(zhuǎn)換，得到解碼殘差塊(res’’)。在加法器223處，去量化系數(shù)(tcof)被加至在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器230處通過(guò)使用相應(yīng)的運(yùn)動(dòng)向量(mv)、使用由子像素內(nèi)插器229計(jì)算的子像素向量(Sv)(例如1/4像素分辨率)而獲得的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)塊(pred)。
[0060]所得的解碼視頻(rec)在幀匯編器和解塊濾波器225中解塊，并且如同在編碼器100處一樣，解塊視頻(reed)被用作參考幀。解碼器200處的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器230與編碼器100處的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器130類(lèi)似地工作，諸如運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器230使用如編碼器100所使用的具有相同固定運(yùn)動(dòng)濾波器(fmf)的類(lèi)似子像素內(nèi)插器229。
[0061]圖3示出被組織成像素柵格的視頻幀的部分300，其中運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)塊被計(jì)算，該像素柵格被進(jìn)一步劃分成子像素柵格。整數(shù)像素位置被示為A1-A6、B1-B6、C1-C6、D1-D6、E1-E6 和 F1-F60C3-C4 和 D3-D4之間的 1/4 像素位置由位置{a, b, c, d, e, f, g, h, k, I, m, η, ο}示出，使得每個(gè)塊可以在這些四分之一像素位置之一處被補(bǔ)償。圖3還示出在位置aa、bb、cc、dd、ee、ff、gg、hh、ii和j j處的若干1/2像素位置。
[0062]用于子像素位置{a, b, c, d, e, f, g, h, k, I, m, η, ο}的濾波器集的計(jì)算通過(guò)使用6抽頭或9抽頭濾波器來(lái)執(zhí)行。濾波器系數(shù)被映射到用于從6x6周?chē)袼剜従?A1-F6)計(jì)算子像素值的6x6矩陣。
[0063]圖4a_o示出對(duì)于每個(gè)子像素位置，6/9抽頭到6x6濾波器矩陣的映射。
[0064]圖4a示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{a}處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0065]圖4b示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置處的濾波內(nèi)插塊的像素；該位置對(duì)應(yīng)于水平一半像素位置，并由于對(duì)稱(chēng)性而僅要求3個(gè)濾波器系數(shù)。
[0066]圖4c示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{c}處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0067]圖4d示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置3jivhmmexw處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0068]圖4e示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{e}處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0069]圖4f示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{f}處的濾波內(nèi)插塊的像素；該位置要求9個(gè)濾波器系數(shù)。
[0070]圖4g示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{g}處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0071]圖4h示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{h}處的濾波內(nèi)插塊的像素；該位置對(duì)應(yīng)于垂直一半像素位置，并由于對(duì)稱(chēng)性而僅要求3個(gè)濾波器系數(shù)。
[0072]圖4i示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{i}處的濾波內(nèi)插塊的像素；該位置要求9個(gè)濾波器系數(shù)。
[0073]圖4j示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{j}處的濾波內(nèi)插塊的像素；該位置要求9個(gè)濾波器系數(shù)。
[0074]圖4k示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{k}處的濾波內(nèi)插塊的像素；該位置要求9個(gè)濾波器系數(shù)。[0075]圖41示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{1}處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0076]圖4m示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{m}處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0077]圖4n示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{η}處的濾波內(nèi)插塊的像素；該位置要求9個(gè)濾波器系數(shù)。
[0078]圖4ο示出濾波器系數(shù)以及這些系數(shù)應(yīng)用其上以直接計(jì)算子像素位置{ο}處的濾波內(nèi)插塊的像素；該位置要求6個(gè)濾波器系數(shù)。
[0079]適應(yīng)性Wiener濾波
[0080]在討論圖5的細(xì)節(jié)之前，簡(jiǎn)要討論最佳濾波理論，因?yàn)檫@是使用Wiener濾波方法的適應(yīng)性濾波器設(shè)計(jì)的基礎(chǔ)。
[0081]對(duì)于每個(gè)子像素位置，交叉相關(guān)和自相關(guān)矩陣被累加，由此可以通過(guò)求解如下的Weiner Hopf方程來(lái)計(jì)算最優(yōu)Wiener濾波器集。
[0082]設(shè)X (η)是輸入信號(hào)，y (η)是輸出，且h (η)標(biāo)識(shí)濾波器系數(shù)。
[0083]濾波器輸出:.Γ(")=a)


k O
[0084]誤差信號(hào):e(η) = d (n) -y (η)
[0085]均方差J = E[e2 (n)]
[0086]以向量形式:
「_ ] [ _ _
丨丨A(I)
[0087]l(rt) —and h — |
'I?IIm
i*jI.[x(n.......N - l)j[h(N.......1)
[0088]y (n) = hTx (n) = x (n) Th
[0089]fife2 (；r){=卿
[0090]=2EJrf(w)x(H)r]i +11 Elxi/rXn/ }h
[0091]=Fj-2E^i+I1ReI
[0092]其中Pd是標(biāo)量。
[0093]交叉相關(guān)行向量:Rdx= E[d(n)x(n)T]
[0094]自相關(guān)矩陣:RXX= E [X (η) χ (η)τ]
[0095]為了尋找最小值，如下求導(dǎo)數(shù)并將其設(shè)為零:
[0096]考:辦I二一2R: + 2R?fc = O
? η{κ}
[0097]現(xiàn)在求解h，Wiener Hopf方程如下:

—I W||
[0098]Μ = KxxR^k[0099]Wiener Hopf方程確定以均方差形式的最優(yōu)濾波器系數(shù)，且所得濾波器被稱(chēng)為“wiener”濾波器。
[0100]在以上方程中，h是濾波器系數(shù)向量(通常6或9系數(shù))，Rxx是自相關(guān)矩陣(對(duì)于參考幀的塊數(shù)據(jù))且Rdx是交叉相關(guān)矩陣/行向量(在源幀與參考幀塊數(shù)據(jù)之間)。對(duì)于每個(gè)子像素位置，單獨(dú)累加矩陣，因此h可以通過(guò)對(duì)每個(gè)子像素位置求解上述方程來(lái)計(jì)算，由此獲得16濾波器的適應(yīng)濾波器集(對(duì)于1/4像素位置)。
[0101]圖5示出采用使用通用化適應(yīng)性運(yùn)動(dòng)濾波的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的現(xiàn)有技術(shù)幀間編碼器500的框圖。塊分度器501、前向轉(zhuǎn)換535、量化器538、反量化器540、反轉(zhuǎn)換543、幀匯編器和解塊濾波處理器548以及熵編碼器518以與如圖1所示和以上討論的編碼器100相應(yīng)組件相同的方式工作，其描述再次無(wú)需贅述。
[0102]類(lèi)似地，運(yùn)動(dòng)估計(jì)器528和運(yùn)動(dòng)補(bǔ)償器530以與以上所述的運(yùn)動(dòng)估計(jì)器128和運(yùn)動(dòng)補(bǔ)償器130相同的方式工作，除了它們使用的濾波器之外。在此，關(guān)注運(yùn)動(dòng)濾波，且僅詳細(xì)討論該子系統(tǒng)。
[0103]與使用固定濾波器集的H.265不同，編碼器500從數(shù)據(jù)計(jì)算濾波器集。該計(jì)算使用以上討論的Wiener Hopf方程在子像素(wiener)迭代濾波器集計(jì)算器558中進(jìn)行。該過(guò)程通過(guò)使用默認(rèn)濾波器集對(duì)每個(gè)塊計(jì)算最低的絕對(duì)差之和(SAD)開(kāi)始，其反應(yīng)了最佳匹配的子像素匹配位置。在下一迭代中，使用這些子像素位置，新濾波器集被計(jì)算，該濾波器集在被使用時(shí)提供更新的子像素位置。該過(guò)程是迭代的，并因此該過(guò)程可能需要若干次迭代(4-20)來(lái)收斂。由于每次迭代中評(píng)估的復(fù)雜性，該過(guò)程是計(jì)算密集的。在一些情形中，有可能限制迭代次數(shù)，為性能而折衷復(fù)雜度。所計(jì)算的適應(yīng)性運(yùn)動(dòng)濾波器集(amf)被提供給在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器530處的子像素內(nèi)插器531。該濾波器集(amf)也需要被編碼并僅有位流發(fā)送至解碼器。由于濾波器集(amf)可能使用多達(dá)99個(gè)濾波器系數(shù)，濾波器集的高效編碼非常重要。典型的技術(shù)涵蓋發(fā)送用于最重要位置的濾波器集、系數(shù)的差分編碼(dmf)(由差分器560生成)、壓制從上次發(fā)送以來(lái)未改變的系數(shù)等等。
[0104]假設(shè)濾波器系數(shù)能被高效編碼，為了在兩個(gè)或更多濾波器集之間選擇以獲得更高效率的目的，可以對(duì)每個(gè)圖片發(fā)送多濾波器集；該操作在空間分區(qū)器和分區(qū)編碼器505中執(zhí)行，該空間分區(qū)器和分區(qū)編碼器505生成分區(qū)地圖(ptmap)。率失真優(yōu)化器508通常用于確保及時(shí)在使用多濾波器和相關(guān)開(kāi)銷(xiāo)時(shí)仍能得到增益。
[0105]圖6示出采用使用通用化適應(yīng)性運(yùn)動(dòng)濾波的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的現(xiàn)有技術(shù)幀間解碼器600的框圖。熵解碼器603、反轉(zhuǎn)換器615、反量化器613以及幀匯編器和解塊濾波處理器625以與圖2所示和以上討論的解碼器200相應(yīng)組件相同的方式工作，其描述在此無(wú)
需贅述。
[0106]類(lèi)似地，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器630以與以上討論的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器230相同的方式工作，除了所使用的濾波器集之外。在此，關(guān)注運(yùn)動(dòng)濾波，且僅詳細(xì)討論該子系統(tǒng)。
[0107]熵解碼器603對(duì)碼字(dmj)進(jìn)行解碼，該碼字解碼了運(yùn)動(dòng)濾波器的差分值，在加法器631處表示預(yù)測(cè)的濾波器集被加至該差分值，得到系數(shù)濾波器集(amf)。該濾波器集(amf)被提供給運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器630中的子像素內(nèi)插器629。此外，在使用多濾波器的情形中，分區(qū)地圖(ptmap)可被解碼使得濾波器(amf)可被應(yīng)用于圖片的正確部分。
[0108]圖7a_f示出用于劃分圖片的多個(gè)分區(qū)模式。例如，圖7a表示基于圖片的分區(qū)，其中濾波器編碼僅在逐圖片的基礎(chǔ)上進(jìn)行切換。圖7b示出基于片或片組的分區(qū)，使得第一濾波器集應(yīng)用在片組A上，且第二濾波器集應(yīng)用在片組B上。圖7c表示標(biāo)識(shí)哪個(gè)濾波器用于塊類(lèi)型A且哪個(gè)濾波器用于塊類(lèi)型B的塊地圖。圖7d示出將圖片劃分成瓦片并進(jìn)一步將瓦片劃分成二叉樹(shù)分區(qū)，使得基于率失真優(yōu)化(RDO)的多個(gè)二叉樹(shù)切割被標(biāo)記為A或B，指示它們可能相應(yīng)地使用第一或第二濾波器集。類(lèi)似地，圖7e示出將圖片分區(qū)成瓦片，并進(jìn)一步將瓦片分區(qū)成標(biāo)記為A或B的兩類(lèi)四叉樹(shù)分區(qū)，使得它們可以相應(yīng)地使用第一或第二濾波器集。最后，圖7f示出從片合并或塊合并或二叉樹(shù)合并或四叉樹(shù)分區(qū)合并或單純地通過(guò)空間分段而得到的區(qū)域。
[0109]圖8示出根據(jù)一個(gè)實(shí)施例的采用使用運(yùn)動(dòng)濾波碼本編碼器的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的幀間編碼器800的框圖。塊分度器801、前向轉(zhuǎn)換器835、量化器838、反量化器840、反轉(zhuǎn)換器843、幀匯編器和解塊濾波處理器848以及熵編碼器818以與圖1所示和以上討論的編碼器100相應(yīng)組件相同的方式工作，其描述在此無(wú)需贅述。類(lèi)似地，運(yùn)動(dòng)估計(jì)器828和運(yùn)動(dòng)補(bǔ)償器830以與以上所述的運(yùn)動(dòng)估計(jì)器128和運(yùn)動(dòng)補(bǔ)償器130相同的方式工作，除了它們使用的濾波器集之外。在此，關(guān)注運(yùn)動(dòng)濾波，且僅詳細(xì)討論該子系統(tǒng)。
[0110]與現(xiàn)有適應(yīng)性運(yùn)動(dòng)濾波編碼器相比，基于碼本的運(yùn)動(dòng)濾波編碼器800從現(xiàn)有碼本選擇濾波器集，以代替明確計(jì)算運(yùn)動(dòng)濾波器。在一個(gè)實(shí)施例中，使用兩類(lèi)碼本，一類(lèi)存儲(chǔ)子像素濾波器集860且另一類(lèi)存儲(chǔ)整數(shù)位置濾波器863。MC濾波器集碼本搜索處理器858允許高效搜索相應(yīng)碼本，提供相應(yīng)地涉及子像素濾波器集(mcfs)和整數(shù)位置濾波器(mcfi)的子像素和整數(shù)位置碼本索引。
[0111]在多個(gè)實(shí)施例中，子像素濾波器集(mcfs)和整數(shù)位置濾波器(mcfi)可以在圖片(僅一次)或在空間分區(qū)(每圖片多次)基礎(chǔ)上發(fā)送。在多個(gè)實(shí)施例中，可以使用任何類(lèi)型的空間分區(qū)，諸如片、可變塊尺寸、塊、二叉樹(shù)、四叉樹(shù)、區(qū)域、瓦片等等(參見(jiàn)圖7a_f)。該分區(qū)由空間分區(qū)器和分區(qū)編碼器805執(zhí)行。分區(qū)的細(xì)節(jié)(諸如待發(fā)送的分區(qū)數(shù)量)是基于由位率/失真折衷分析器808和 場(chǎng)景內(nèi)容分析器803的率失真分析來(lái)確定的。在位流中向解碼器發(fā)送最佳匹配的子像素濾波器集和整數(shù)像素濾波器集。子像素濾波器集(mcfs)和整數(shù)位置濾波器(mcfi)被提供給MC濾波處理器865以在運(yùn)動(dòng)估計(jì)器/運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器828處生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。在一些實(shí)施例中，該過(guò)程可以在搜索以及由索引標(biāo)識(shí)濾波器/濾波器集的位成本方面是高效的。
[0112]圖9示出根據(jù)一個(gè)實(shí)施例的采用使用運(yùn)動(dòng)濾波碼本解碼器的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器的幀間解碼器900的框圖。熵解碼器903、反轉(zhuǎn)換器915、反量化器913以及幀匯編器和解塊濾波處理器925以與圖2所示和以上討論的解碼器200相應(yīng)組件相同的方式工作，其描述在此不再贅述。類(lèi)似地，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器930以與以上討論的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)器230相同的方式工作，除了所使用的濾波器集之外。在此，關(guān)注運(yùn)動(dòng)濾波，且僅詳細(xì)討論該子系統(tǒng)。
[0113]熵解碼器903對(duì)位流901進(jìn)行熵解碼以獲得碼本子像素運(yùn)動(dòng)濾波器索引(mcfsi)和/或整數(shù)位置運(yùn)動(dòng)濾波器索引(mcfii)。這些索引(mcfsi)和(mcfii)被用于從子像素碼本933和/或整數(shù)位置碼本935訪問(wèn)所需的子像素濾波器集(mcfs)和/或整數(shù)位置濾波器(mcfii)。所得的子像素濾波器集mcfs和/或整數(shù)像素濾波器mcfii被提供給MC濾波處理器929，該處理器執(zhí)行子像素內(nèi)插和/或整數(shù)像素濾波以生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(pred)。在一些實(shí)施例中，標(biāo)志(filt senf^P(intfilt senf )可進(jìn)一步被熵解碼器903解碼,指示位流901是否分別包括子像素運(yùn)動(dòng)濾波器索引(mcfsi)和整數(shù)位置運(yùn)動(dòng)濾波器索引(mcfii)。
[0114]表I示出來(lái)自示例性子像素“基礎(chǔ)”碼本的兩個(gè)樣本濾波器集(id=0和id=l)。在一個(gè)實(shí)施例中，子像素“基礎(chǔ)”碼本可以包括16個(gè)“基礎(chǔ)”子像素濾波器集(在1/4像素濾波的情形中，每個(gè)包括15或16個(gè)子像素位置濾波器)。
[0115]來(lái)自16個(gè)“基礎(chǔ)”子像素濾波器集的單獨(dú)子像素位置濾波器可被用于不同的預(yù)確定組合以創(chuàng)建“虛擬”碼本。在一個(gè)實(shí)施例中，“虛擬”碼本可以包括256個(gè)子像素濾波器集。在其他實(shí)施例中，“基礎(chǔ)”和“虛擬”碼本可以包括更多或更少的濾波器集。
[0116]表I
[0117]
【權(quán)利要求】
1.一種用于編碼用于多個(gè)子像素位置的適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集以便預(yù)測(cè)已編碼視頻幀中的塊的視頻編碼器設(shè)備實(shí)現(xiàn)的方法，所述方法包括: 由視頻編碼器設(shè)備獲得包括多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的碼本，所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器被分組成分別對(duì)應(yīng)于多個(gè)子像素位置的多個(gè)子像素位置組，所述多個(gè)子像素位置組的每一個(gè)包括適于在所述多個(gè)子像素位置的相應(yīng)一個(gè)處對(duì)圖片的塊進(jìn)行內(nèi)插的多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器； 由所述視頻編碼器設(shè)備獲得未編碼視頻幀以供所述視頻編碼器設(shè)備進(jìn)行編碼； 由所述視頻編碼器設(shè)備將所述視頻幀的至少部分編碼到位流，所述視頻幀的所述部分包括多個(gè)圖片內(nèi)容塊；以及 在編碼所述視頻幀的至少部分視頻幀期間，所述視頻編碼器設(shè)備:從所述碼本選擇良好適應(yīng)預(yù)測(cè)所述多個(gè)圖片內(nèi)容塊的所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的子集，所選子集包括所述多個(gè)子像素位置組的每個(gè)中的一個(gè)；以及在所述位流中包括在所述碼本內(nèi)標(biāo)識(shí)所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的所選子集的子像素濾波器代碼。
2.如權(quán)利要求1所述的方法，其特征在于，選擇所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的子集包括選擇所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的多個(gè)預(yù)定子集之一。
3.如權(quán)利要求2所述的方法，其特征在于，包括在所述位流中的所述代碼包括在所述多個(gè)預(yù)定子集中標(biāo)識(shí)所選子集的索引。
4.如權(quán)利要求2所述的方法，其特征在于，選擇所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的所述多個(gè)預(yù)定子集之一包括: 對(duì)于所述多個(gè)圖片內(nèi)容塊的每一個(gè)，分別確定所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的多個(gè)單獨(dú)編碼增益；使用所確定的多個(gè)單獨(dú)編碼增益，確定應(yīng)用于所述多個(gè)圖片內(nèi)容塊的所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的所述多個(gè)預(yù)定子集中每一個(gè)的合計(jì)編碼增益；以及 選擇對(duì)所述多個(gè)圖片內(nèi)容塊具有有利合計(jì)編碼增益的所述多個(gè)預(yù)定子集之一。
5.如權(quán)利要求4所述的方法，其特征在于，還包括: 確定應(yīng)用于所述多個(gè)圖片內(nèi)容塊的默認(rèn)濾波器集的默認(rèn)合計(jì)編碼增益，默認(rèn)圖片集包括分別對(duì)應(yīng)于所述多個(gè)子像素位置的多個(gè)默認(rèn)子像素運(yùn)動(dòng)補(bǔ)償濾波器；以及確定所述有利合計(jì)編碼增益比所述默認(rèn)合計(jì)編碼增益更有利。
6.如權(quán)利要求1所述的方法，其特征在于，還包括: 獲得多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器；以及 在編碼所述視頻幀的至少部分視頻幀期間，所述視頻編碼器設(shè)備選擇良好適于預(yù)測(cè)所述多個(gè)圖片內(nèi)容塊的所述多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器之一。
7.如權(quán)利要求6所述的方法，其特征在于，還包括: 確定所述多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器的所選之一提供比所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的所選子集更好的編碼增益；以及 在由所述視頻編碼器設(shè)備生成的所述位流中包括: 整數(shù)濾波器代碼，標(biāo)識(shí)所述多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器中所選之一；以及整數(shù)濾波器標(biāo)志，標(biāo)識(shí)所述整數(shù)濾波器代碼被包含在用于所述視頻幀的至少部分的所述位流中。
8.如權(quán)利要求6所述的方法，其特征在于，所述碼本還包括多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器。
9.如權(quán)利要求6所述的方法，其特征在于，獲得所述多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器包括獲得整數(shù)位置碼本。
10.如權(quán)利要求1所述的方法，其特征在于，獲得所述碼本包括: 確定分別對(duì)應(yīng)于所述多個(gè)子像素位置的多個(gè)默認(rèn)運(yùn)動(dòng)補(bǔ)償濾波器； 通過(guò)對(duì)所述多個(gè)子像素位置的每一個(gè)執(zhí)行至少步驟(i)、( ii)和(iii)，生成分別對(duì)應(yīng)于所述多個(gè)子像素位置的多個(gè)子像素位置組: (i)迭代地精煉所述多個(gè)默認(rèn)運(yùn)動(dòng)補(bǔ)償濾波器中的相應(yīng)一個(gè)以生成對(duì)應(yīng)于當(dāng)前子像素位置的多個(gè)精煉運(yùn)動(dòng)補(bǔ)償濾波器； (ii)確定分別對(duì)應(yīng)于所述多個(gè)精煉運(yùn)動(dòng)補(bǔ)償濾波器的多個(gè)編碼增益； (iii)根據(jù)所確定的多個(gè)編碼增益，從所生成的多個(gè)精煉運(yùn)動(dòng)補(bǔ)償濾波器選擇對(duì)應(yīng)于當(dāng)前子像素位置的性能良好的運(yùn)動(dòng)補(bǔ)償濾波器子像素位置組。
11.如權(quán)利要求10所述的方法，其特征在于，還包括選擇多個(gè)性能良好運(yùn)動(dòng)補(bǔ)償濾波器子集，每個(gè)子集包括從所述多個(gè)子像素位置組的每一個(gè)所選擇的一個(gè)性能良好運(yùn)動(dòng)補(bǔ)償濾波器。`
12.—種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)在由處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求1所述的方法的指令。
13.—種視頻編碼裝置，包括處理器和存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)在由處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求1所述的方法的指令。
14.一種用于解碼用于多個(gè)子像素位置的適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集以便預(yù)測(cè)已編碼視頻幀中的塊的視頻解碼器設(shè)備實(shí)現(xiàn)的方法，所述方法包括: 由所述視頻解碼器設(shè)備獲得包括多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器的碼本，所述多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器被分組成分別對(duì)應(yīng)于多個(gè)子像素位置的多個(gè)子像素位置組，所述多個(gè)子像素位置組的每一個(gè)包括適于在所述多個(gè)子像素位置的相應(yīng)一個(gè)處對(duì)圖片的塊進(jìn)行內(nèi)插的多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器； 獲得已編碼位流，所述已編碼位流包括已編碼視頻幀以及在所述碼本中標(biāo)識(shí)所述適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集的子像素濾波器代碼，所述適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集包括分別對(duì)應(yīng)于所述多個(gè)子像素位置的多個(gè)運(yùn)動(dòng)補(bǔ)償濾波器； 在解碼所述已編碼視頻幀期間，所述視頻解碼器設(shè)備從所述碼本選擇由所述子像素濾波器代碼所標(biāo)識(shí)的適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集； 使用所述適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集，預(yù)測(cè)多個(gè)圖片內(nèi)容塊，所述多個(gè)塊對(duì)應(yīng)于已編碼圖片幀的至少部分； 至少根據(jù)所預(yù)測(cè)的多個(gè)圖片內(nèi)容塊來(lái)生成已解碼圖片；以及 向與所述視頻解碼器設(shè)備相關(guān)聯(lián)的顯示器呈現(xiàn)所生成的已解碼圖片。
15.如權(quán)利要求14所述的方法，其特征在于，所述已編碼位流還包括: 第二子像素濾波器代碼，在所述碼本中標(biāo)識(shí)第二適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集；以及 至少一個(gè)部分標(biāo)識(shí)代碼，使得所述視頻解碼器能夠標(biāo)識(shí)已編碼圖片幀的所述部分以及已編碼圖片幀的第二部分。
16.如權(quán)利要求15所述的方法，其特征在于，還包括:在解碼所述已編碼視頻幀期間，所述視頻解碼器設(shè)備從所述碼本選擇由所述第二子像素濾波器代碼所標(biāo)識(shí)的第二適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集； 使用所述第二適應(yīng)性運(yùn)動(dòng)補(bǔ)償濾波器集，預(yù)測(cè)第二多個(gè)圖片內(nèi)容塊，所述第二多個(gè)塊對(duì)應(yīng)于已編碼圖片幀的至少第二部分； 其中所述已解碼圖片是進(jìn)一步根據(jù)所預(yù)測(cè)的第二多個(gè)圖片內(nèi)容塊來(lái)生成的。
17.如權(quán)利要求14所述的方法，其特征在于，還包括獲得多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器。
18.如權(quán)利要求17所述的方法，其特征在于，所述已編碼位流還包括: 至少一個(gè)部分標(biāo)識(shí)代碼，使得所述視頻解碼器能夠標(biāo)識(shí)已編碼圖片幀的所述部分以及已編碼圖片幀的第二部分。 整數(shù)濾波器代碼，標(biāo)識(shí)所述多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器之一；以及整數(shù)濾波器標(biāo)志，指示所述整數(shù)濾波器代碼被包含在用于所述視頻幀的至少第二部分的所述位流中。
19.如權(quán)利要求18所述的方法，其特征在于，還包括，在解碼所述已編碼視頻幀期間: 讀取所述整數(shù)濾波器標(biāo)志并相應(yīng)地從所述多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器選擇由所述整數(shù)濾波器代碼所標(biāo)識(shí)的整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器； 使用所選的整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器，預(yù)測(cè)第二多個(gè)圖片內(nèi)容塊，所述第二多個(gè)塊對(duì)應(yīng)于已編碼圖片幀的至少第二部分；以及 其中所述已解碼圖片是進(jìn)一步根據(jù)所預(yù)測(cè)的第二多個(gè)圖片內(nèi)容塊來(lái)生成的。
20.如權(quán)利要求17所述的方法，其特征在于，所述碼本還包括多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器。
21.如權(quán)利要求17所述的方法，其特征在于，獲得所述多個(gè)整數(shù)位置運(yùn)動(dòng)補(bǔ)償濾波器包括獲得整數(shù)位置碼本。
22.—種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)在由處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求14所述的方法的指令。
23.一種視頻編碼裝置，包括處理器和存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)在由處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求14所述的方法的指令。
【文檔編號(hào)】H04N7/32GK103430545SQ201180061602
【公開(kāi)日】2013年12月4日 申請(qǐng)日期:2011年12月21日 優(yōu)先權(quán)日:2010年12月21日
【發(fā)明者】A·普瑞, D·索塞克, C-K·崔 申請(qǐng)人:英特爾公司