專利名稱：使用非對(duì)稱樣本的用于圖像和視頻增強(qiáng)的濾波的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像和視頻濾波領(lǐng)域。更具體地，本公開涉及使用非對(duì)稱樣本的用于圖像和視頻增強(qiáng)的濾波。本公開的可能應(yīng)用包括被開發(fā)用于可分級(jí)和不可分級(jí)全分辨率三維(3D)立體視頻傳輸?shù)漠a(chǎn)品。本公開的教導(dǎo)還可以用在可以包括空間或時(shí)間可分級(jí)性的產(chǎn)品中，包括對(duì)隔行掃描素材進(jìn)行編碼的系統(tǒng)。


圖I示出了多層3D視頻編碼系統(tǒng)。圖2示出了后處理模塊的輸入和輸出。圖3示出了非對(duì)稱質(zhì)量視頻編碼系統(tǒng)中的使用由編碼器傳輸?shù)目蛇x濾波器信息的后處理的實(shí)施方式。圖4示出了當(dāng)增強(qiáng)層包含具有與基本層的樣本質(zhì)量不同的質(zhì)量的樣本時(shí)或當(dāng)基本層和/或基本層自身具有不同質(zhì)量的樣本時(shí)，用于交織的圖像的后處理的實(shí)施方式。圖5示出了環(huán)路(in-loop)非對(duì)稱樣本濾波器的示例。圖6示出了用于處理非對(duì)稱質(zhì)量樣本的多假設(shè)濾波器和組合器的示例。圖7示出了用于對(duì)非對(duì)稱質(zhì)量樣本進(jìn)行濾波的頻域方法。圖8示出了針對(duì)時(shí)間可分級(jí)性應(yīng)用的后處理。圖9示出了針對(duì)時(shí)間可分級(jí)性應(yīng)用的基于MCTF的后處理。圖10與圖11示出了應(yīng)用于兩個(gè)或更多個(gè)不同組樣本的單個(gè)編碼處理的示例。
具體實(shí)施例方式根據(jù)第一方面，提供了一種用于處理圖像或圖像序列的樣本的方法，包括通過第一編碼處理對(duì)第一組樣本進(jìn)行編碼；通過第二編碼處理對(duì)第二組樣本進(jìn)行編碼；以及將第一組的已編碼樣本與來自第二組的已編碼樣本的信息進(jìn)行組合，以增強(qiáng)第一組的已編碼樣本。根據(jù)第二方面，提供了一種用于處理圖像或圖像序列的樣本的方法，包括通過第一編碼處理對(duì)第一組樣本進(jìn)行編碼；通過第二編碼處理對(duì)第二組樣本進(jìn)行編碼；對(duì)第一組的已編碼樣本進(jìn)行解碼；對(duì)第二組的已編碼樣本進(jìn)行解碼；以及將第一組的已解碼樣本與來自第二組的已解碼樣本的信息進(jìn)行組合，以增強(qiáng)第一組的已解碼樣本。根據(jù)第三方面，提供了一種用于在解碼之后對(duì)圖像或圖像序列進(jìn)行后處理的方法，包括提供多個(gè)已解碼圖像或圖像序列；以及使用來自所述多個(gè)已解碼圖像或圖像序列中的其他已解碼圖像或圖像序列的信息來增強(qiáng)所述多個(gè)已解碼圖像或圖像序列中的一個(gè)或更多個(gè)已解碼圖像或圖像序列。根據(jù)第四方面，提供了一種用于處理圖像的方法，包括對(duì)第一組圖像進(jìn)行編碼；對(duì)第二組圖像進(jìn)行編碼，其中，第一組和第二組與圖像特征相關(guān)聯(lián)，第二組的圖像特征具有與第一組的圖像特征的值不同的值；以及使用來自第二組的已重構(gòu)圖像對(duì)第一組中的已重構(gòu)圖像進(jìn)行濾波。根據(jù)第五方面，提供了一種對(duì)已解碼圖像進(jìn)行后處理的方法，包括提供具有第一圖像特征的第一組已解碼圖像；提供具有不同于第一圖像特征的第二圖像特征的第二組已解碼圖像；對(duì)第二組進(jìn)行濾波；以及將第一組與經(jīng)濾波的第二組進(jìn)行組合。根據(jù)第六方面，提供了一種用于處理圖像的方法，包括對(duì)具有第一圖像特征的第一組圖像進(jìn)行編碼；對(duì)具有優(yōu)于第一圖像特征的第二圖像特征的第二組圖像進(jìn)行編碼；對(duì)已編碼第一組圖像和已編碼第二組圖像進(jìn)行頻率變換；使用來自經(jīng)頻率變換的一組已編碼、圖像的信息來對(duì)經(jīng)頻率變換的另一組已編碼圖像進(jìn)行標(biāo)準(zhǔn)化；將標(biāo)準(zhǔn)化的經(jīng)頻率變換的一組已編碼圖像與經(jīng)頻率變換的另一組已編碼圖像進(jìn)行組合；以及對(duì)組合的所述I組圖像進(jìn)行逆變換。根據(jù)第七方面，提供了一種用于在時(shí)域處理圖像的方法，包括提供與具有第二質(zhì)量的第二組圖像在時(shí)間上交織的具有第一質(zhì)量的第一組圖像，其中，第二質(zhì)量高于第一質(zhì)量；以及通過使用第二組的圖像中的一個(gè)或更多個(gè)圖像對(duì)第一組的圖像進(jìn)行濾波來增強(qiáng)第一組的圖像。根據(jù)第八方面，提供了一種用于處理圖像或圖像序列的樣本的方法，包括通過第一處理對(duì)第一組樣本進(jìn)行處理；通過第二處理對(duì)第二組樣本進(jìn)行處理；對(duì)經(jīng)處理的樣本進(jìn)行編碼；以及將第一組的已編碼樣本與來自第二組的已編碼樣本的信息進(jìn)行組合，以增強(qiáng)第一組的已編碼樣本。根據(jù)第九方面，提供了一種用于處理圖像或圖像序列的樣本的方法，包括將樣本分成兩個(gè)或更多個(gè)區(qū)域；對(duì)樣本進(jìn)行編碼，以使得不同區(qū)域中的樣本包含不同的特征；以及組合已編碼樣本，以使得使用來自一個(gè)或更多個(gè)區(qū)域的信息來增強(qiáng)其他區(qū)域的已編碼樣本。在本申請(qǐng)的說明書、附圖和權(quán)利要求中，提供了本公開的另外的實(shí)施方式。在圖像和視頻壓縮中，許多情況都可以導(dǎo)致壓縮內(nèi)容的不同樣本之間的非對(duì)稱質(zhì)量的狀態(tài)?？煞旨?jí)視頻傳輸、隔行掃描視頻編碼和3D或多視點(diǎn)視頻編碼是導(dǎo)致以下處理的一些示例應(yīng)用在該處理中，壓縮圖像或序列的一些樣本的質(zhì)量可以明顯地不同于同一圖像或序列的其他樣本的質(zhì)量。本公開的實(shí)施方式涉及用于在圖像或序列的非對(duì)稱質(zhì)量樣本之間進(jìn)行濾波以使得通過濾波或后處理使用來自圖像或序列中的其他較高質(zhì)量樣本的信息來增強(qiáng)較低質(zhì)量樣本的方法。換言之，通過使用來自較高質(zhì)量樣本的信息進(jìn)行濾波來改善較低質(zhì)量的樣本。根據(jù)本公開的另外的實(shí)施方式，還公開了如下濾波方法其中，對(duì)于包含有特定數(shù)量的期望或選擇的特征(如，頻率)的樣本，使用包含有不同(通常較高)數(shù)量的上述期望或選擇的特征來進(jìn)行濾波。如果需要，可以測(cè)量質(zhì)量(或更一般的信息)。例如，存在大量的可以用于測(cè)量圖像/視頻質(zhì)量的客觀質(zhì)量度量標(biāo)準(zhǔn)?？商娲兀梢酝ㄟ^發(fā)信號(hào)與分析的組合來通過信號(hào)通知或提供該信息。作為示例，信號(hào)可以提供關(guān)于以下的信息非對(duì)稱性確切地是什么并且如何可以對(duì)其進(jìn)行測(cè)量；以及什么是待增強(qiáng)的區(qū)域等。例如，在給定什么是區(qū)域的一些粗略的定義的情況下，可以測(cè)量濃淡不均(blockiness)或一些其他失真，然后可以確定樣本之間的差別或非對(duì)稱性以及要如何處理這樣的信息。在可分級(jí)視頻傳輸[見J. R. Ohm, " Advances in Scalable VideoCoding, " Proc. of the IEEE, vol. 93, no. I, January 2005,其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中]中，基本層比特流通常是以較低的質(zhì)量/分辨率/視點(diǎn)數(shù)量(在多視點(diǎn)編碼中)/位深等進(jìn)行編碼的。然后，添加一個(gè)或更多個(gè)增強(qiáng)層比特流，使得取決于所使用的可分級(jí)性的類型在信噪比(SNR)、分辨率、視點(diǎn)數(shù)量或位深方面提高視頻的總體質(zhì)量。在一些情況下，增強(qiáng)層比特流可以包含沒有包含在基本層中的樣本的信息。例如，如果將一個(gè)或更多個(gè)增強(qiáng)層用于時(shí)間分辨率增強(qiáng)，則每個(gè)新的增強(qiáng)層可以給圖像序列添加一個(gè)或更多個(gè)新的圖片，同時(shí)還維持現(xiàn)有的基本層樣本。此外，一般地，每個(gè)增強(qiáng)層可以包含樣本的信息，以使得當(dāng)
被解碼時(shí)，來自每個(gè)增強(qiáng)層的已解碼樣本的質(zhì)量(在SNR、分辨率等方面)可以明顯地不同于已解碼序列的基本層和其他層的樣本質(zhì)量。根據(jù)本公開的一種實(shí)施方式，提供了用于在可分級(jí)圖像/視頻編解碼中的不同層的樣本之間進(jìn)行濾波的方法，其中，使用來自以較高質(zhì)量編碼的層的信息來增強(qiáng)以較低質(zhì)量編碼的層。在本公開的另外的實(shí)施方式中，在隔行掃描視頻編碼中采用了非對(duì)稱質(zhì)量樣本之間的濾波。在該情況下，已編碼圖像序列包括以幀速率的兩倍的速率進(jìn)行交變的場(chǎng)，其中，例如，每個(gè)場(chǎng)在不同的時(shí)刻對(duì)應(yīng)于原始全分辨率圖像的奇數(shù)行或偶數(shù)行。然后，在回放或顯示設(shè)備上對(duì)圖像進(jìn)行“去隔行掃描”。以下是可能的視頻編解碼器可以選擇使用不同的編碼參數(shù)對(duì)奇數(shù)/偶數(shù)場(chǎng)進(jìn)行編碼，這導(dǎo)致了場(chǎng)之間的非對(duì)稱質(zhì)量。在該情況下，可以使用如在本公開中描述的那些濾波方法來增強(qiáng)視頻的較低質(zhì)量場(chǎng)或最終的去隔行掃描后的圖像。因此，處理和增強(qiáng)可以僅發(fā)生在較低質(zhì)量樣本上，或可以發(fā)生在較低質(zhì)量樣本和較高質(zhì)量樣本兩者上。除了與2D圖像的偶數(shù)/奇數(shù)行對(duì)應(yīng)的場(chǎng)，可以將與上述概念類似的概念應(yīng)用于3D或多視點(diǎn)視頻編碼，其中，每個(gè)場(chǎng)在給定時(shí)刻包括來自一個(gè)視點(diǎn)的信息。在另外的實(shí)施方式中，可以使用幀兼容性的交織格式來對(duì)3D或多視點(diǎn)圖像進(jìn)行編碼，作為交織圖像。例如，棋盤式、逐行式、并排式、上下式是將兩個(gè)立體3D視點(diǎn)交織成一個(gè)左/右交織圖像用于傳輸?shù)囊恍┘夹g(shù)。再次，在這些情況中的每種情況下，視點(diǎn)之間可能出現(xiàn)類似情況的非對(duì)稱質(zhì)量。本公開的另外的實(shí)施方式屬于3D立體或多視點(diǎn)視頻的可分級(jí)傳輸?shù)念I(lǐng)域。在該情況下，可以對(duì)來自每個(gè)視點(diǎn)的原始全分辨率圖像進(jìn)行子采樣，然后，可以對(duì)子采樣的視點(diǎn)進(jìn)行交織以形成“幀兼容性”基本層圖像以用于通過現(xiàn)有視頻傳輸管道來傳送和顯示的目的[見 2009 年 7 月 4 日提交的題為“Encoding And Decoding Architectures For FormatCompatible 3DVideo Delivery”的美國臨時(shí)申請(qǐng)No. 61/223，027”，其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中]。在該情況下，可以通過添加可以提供幫助重構(gòu)基本層的缺失樣本的信息的一個(gè)或更多個(gè)增強(qiáng)層，來使得能夠傳輸全分辨率視頻(見圖I)。如在圖I中所示，可能需要在進(jìn)行子采樣以創(chuàng)建每個(gè)層的較低分辨率樣本之前對(duì)原始全分辨率圖像進(jìn)行濾波，以減小如混淆等失真并且提高壓縮效率。但是，在每個(gè)階段使用的濾波器可以是不同的。例如，由于可以通過傳統(tǒng)的顯示設(shè)備將基本層樣本插值成全分辨率,所以對(duì)于基本層,可能需要更加有力(aggressive)的濾波。因?yàn)樵鰪?qiáng)層可以利用已經(jīng)編碼的基本層，所以每個(gè)階段的視頻編碼參數(shù)也可以不同[見2009年4月20日提交的題為“Directed Interpolation And DataPost-Processing”的美國臨時(shí)申請(qǐng)No. 61/170, 995，其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中]。從而，在編碼失真、頻率特性和視覺質(zhì)量方面，每個(gè)層的樣本可以是不對(duì)稱的。根據(jù)本公開的一種實(shí)施方式，圖像質(zhì)量增強(qiáng)可以作為應(yīng)用于視頻解碼器的已解碼圖像的后處理而發(fā)生。圖2示出了根據(jù)本實(shí)施方式的示例性后處理模塊的基本輸入和輸出。來自處理0，1，... N的輸入圖像樣本可以是，作為示例而非限制，來自可分級(jí)比特流中的不同層、隔行掃描比特流中的不同場(chǎng)或多視點(diǎn)編碼比特流中的不同視點(diǎn)的已解碼圖像。在一種實(shí)施方式中，后處理模塊還可以將如濾波器類型和濾波器參數(shù)等作為輸入附加信息 用于后處理。可以在以下級(jí)別指定參數(shù)與濾波器序列或圖像級(jí)；區(qū)域級(jí)，如像素塊、圖像片段等；或在極端情況下，像素級(jí)。該附加信息可以是特定于處理的并且來自具體的處理0，1，…N，或可以是非特定于處理的。該附加信息可以在編碼器處生成并且連同編碼比特流一起傳送。圖3示出了本公開的另外的實(shí)施方式，其中，圖像序列在進(jìn)行后處理之前經(jīng)歷多個(gè)不同的預(yù)處理和編碼階段。每個(gè)階段可以應(yīng)用于該序列的不同的空間區(qū)域或時(shí)間區(qū)域。但是，取決于所進(jìn)行的編碼的類型，每個(gè)階段的空間和時(shí)間區(qū)域還可以交疊。如圖3中所示，可以在每個(gè)編碼階段生成附加信息，其可以輔助后處理器來確定待應(yīng)用的濾波的類型，以增強(qiáng)已解碼視頻的最終質(zhì)量。該附加信息可以是關(guān)于濾波器類型、待使用的濾波器參數(shù)、待濾波的區(qū)域等的詳細(xì)信息，其可以有助于減小后處理模塊的復(fù)雜度。在另一種實(shí)施方式中，該附加信息可以是關(guān)于在編碼的每個(gè)階段所使用的編碼參數(shù)的信息，比如使用的量化步長、運(yùn)動(dòng)估計(jì)的精度(如，半像素，四分之一像素)、是否使用環(huán)路濾波如解塊等。然后，后處理器可以使用該附加信息來確定需要對(duì)已解碼圖像執(zhí)行的濾波的類型和數(shù)量。更一般地，將包含有某種信息的樣本與包含有不同種類的信息的樣本進(jìn)行組合。在組合之前，可以進(jìn)行第一組、第二組或兩組樣本的濾波。例如，在如圖I所示的可分級(jí)性3D視頻編碼的情況下，后處理器可以從被子采樣的基本層和增強(qiáng)層接收已解碼圖像作為輸入，并且在對(duì)來自每層的樣本進(jìn)行濾波后輸出全分辨率圖像。在該情況下，基本層被左/右交織，并且可以使用第一增強(qiáng)層來重構(gòu)為了創(chuàng)建基本層而丟棄的像素。例如，在逐行交織的情況下，可以將左視點(diǎn)的偶數(shù)行和右視點(diǎn)的奇數(shù)行編碼在基本層中，而將左視點(diǎn)的奇數(shù)行和右視點(diǎn)的偶數(shù)行編碼在第一增強(qiáng)層中。在棋盤式交織的情況下，可以對(duì)其行與列求和為偶數(shù)(左視點(diǎn))對(duì)奇數(shù)(右視點(diǎn))的像素進(jìn)行與在逐行交織的情況下相同的處理。在并排的情況下，基本層可以包含左視點(diǎn)的偶數(shù)列和右視點(diǎn)的奇數(shù)列，增強(qiáng)層可以包含左視點(diǎn)的奇數(shù)列和右視點(diǎn)的偶數(shù)列，以及在上/下的情況下，可以對(duì)圖像的行進(jìn)行與在并排情況下相同的處理。注意，上述樣本位置是示例性方案，并且，在上面交織情況中的每種情況下還可以使用其他采樣方法。在不同的實(shí)施方式中，可以對(duì)原始樣本進(jìn)行濾波，以使得基本層包含來自原始數(shù)據(jù)的低頻信息并且增強(qiáng)層包含高頻信息。在一些其他實(shí)施方式中，預(yù)處理階段可以在每個(gè)層對(duì)跨越多個(gè)視點(diǎn)的樣本進(jìn)行濾波。在所有這些情況下，增強(qiáng)層編碼器可以使用來自基本層的信息，以提高增強(qiáng)層比特流的壓縮效率。還可以在基本層和增強(qiáng)層編碼器處生成可以給后處理模塊提供附加信息的附加數(shù)據(jù)。例如，關(guān)于區(qū)域的信息可以包括用于對(duì)各區(qū)域進(jìn)行編碼的編碼參數(shù)；它們之間的區(qū)別是什么；如何最佳地進(jìn)行后處理；運(yùn)動(dòng)的規(guī)律等。這樣的信息還可以包括后處理元數(shù)據(jù)，如關(guān)于區(qū)域的信息、它們之間的區(qū)別是什么以及如何最佳地進(jìn)行后處理等。在可分級(jí)2D應(yīng)用中也可以考慮類似的處理。如圖4中所示，針對(duì)具有一個(gè)增強(qiáng)層的并排格式化立體對(duì)的具體實(shí)施方式
，用作后處理模塊的非對(duì)稱質(zhì)量樣本濾波器將L+/R_交織的已解碼基本層和L_/R+交織的已解碼增強(qiáng)層作為輸入。圖4的 后處理模塊包括使用已解碼增強(qiáng)層樣本來生成與基本層樣本協(xié)同定位的一組已處理值的移相器。然后，組合基本層樣本和已處理的增強(qiáng)層樣本，以形成新增強(qiáng)的基本層。具體地，發(fā)送給組合器的參數(shù)可以用來確定布置在每組樣本中的置信度，其又可以用于確定用于組合基本層樣本和已處理的增強(qiáng)層樣本的權(quán)重/系數(shù)。該組合可以取決于增強(qiáng)層與基本層之間的關(guān)系。例如，如果應(yīng)用并排3D，則通過水平地交織樣本來進(jìn)行組合。如果應(yīng)用行交織或上下3D，則豎直地交織樣本。然后，可以對(duì)已處理的基本層和已解碼的增強(qiáng)層進(jìn)行復(fù)合，以生成全分辨率左視點(diǎn)和右視點(diǎn)輸出，其中，已經(jīng)通過使用相鄰的增強(qiáng)層樣本作為引導(dǎo)來對(duì)與基本層位置對(duì)應(yīng)的樣本進(jìn)行了進(jìn)一步的處理。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，相同的概念可以應(yīng)用于在使用已處理的基本層樣本來進(jìn)一步提高增強(qiáng)層的質(zhì)量的情況。此外，該概念可以應(yīng)用于非立體空間可分級(jí)應(yīng)用，其中，基本層包含以較低分辨率采樣的圖像或序列，增強(qiáng)層包含有助于將圖像提升至全分辨率的樣本。相同的概念還可以用在可使用不止一個(gè)增強(qiáng)層的情況下以及使用隔行掃描編碼而非可分級(jí)編碼的情況下。盡管圖4的實(shí)施方式對(duì)相移做出了具體的提及，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以使用其他類型的濾波，比如平滑、銳化、相移、頻域?yàn)V波等。在本公開的另一種實(shí)施方式中，可以執(zhí)行非對(duì)稱樣本之間的濾波作為編碼回路的一部分(見圖5 )。在該情況下，可以以低質(zhì)量對(duì)一組樣本進(jìn)行編碼(見編碼處理0 )，并且，可以以較高質(zhì)量對(duì)另一組樣本進(jìn)行編碼(見編碼處理I )。然后，可以使用非對(duì)稱質(zhì)量濾波器來組合每組中的已重構(gòu)樣本。然后，作為另一個(gè)編碼處理，可以對(duì)非對(duì)稱質(zhì)量濾波器的輸出進(jìn)行編碼(如，可以對(duì)來自非對(duì)稱質(zhì)量濾波器的已重構(gòu)樣本與原始樣本之間的殘差進(jìn)行編碼，見編碼處理2)，并且將其傳送給解碼器。如果期望，則可以將附加于已編碼圖像的信息比如濾波器參數(shù)、區(qū)域信息等傳送給解碼器。該信息可以以外部信號(hào)的形式來傳送，作為基本流的一部分(如，作為輔助增強(qiáng)信息消息)嵌入在比特流中、嵌入在輸送流中或甚至可以以圖像/視頻水印的形式隱藏在比特流中。該方案例如可以用在如圖I所示的可選第二增強(qiáng)層中。在該情況下，可以基于用于每個(gè)層使用的編碼參數(shù)和已重構(gòu)圖像的特性來使用非對(duì)稱質(zhì)量濾波器對(duì)基本層和第一增強(qiáng)層的輸出進(jìn)行濾波。然后，可以對(duì)來自非對(duì)稱質(zhì)量濾波器的濾波輸出與原始圖像樣本之間的殘差進(jìn)行編碼，作為可選的第二增強(qiáng)層。圖6示出了另一種的實(shí)施方式，其中，使用多假設(shè)濾波器和組合器，以便使用來自一組較高質(zhì)量樣本的信息來增強(qiáng)一組樣本的質(zhì)量。多假設(shè)濾波器是可以生成N個(gè)不同的可替選濾波器輸出或假設(shè)的濾波器，隨后可以選擇N個(gè)不同的可替選濾波器輸出或假設(shè)中的一個(gè)或更多個(gè)。濾波器Fp…、Fn可以具有不同的類型，并且可以包括水平、豎直或?qū)蔷€濾波器；使用相鄰樣本的不可分濾波器；雙邊濾波器等?？梢栽谶@種情況下使用在變換域中進(jìn)行濾波的超完備方法。參見例如0. G. Guleryuz, " Weighted Averaging forDenoising with Overcomplete Dictionaries, " IEEE Trans,on Image Processing, vol.16，no. 12，2007, pp. 3020-3034，其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中。在給定內(nèi)容特性和交疊關(guān)系的情況下，超完備方法進(jìn)行不同的交疊區(qū)域的變換，然后對(duì)所有變換的區(qū)域的頻率信息進(jìn)行檢查、找出關(guān)系并且在所有區(qū)域范圍內(nèi)進(jìn)行濾波。這些濾波器用來使用包含在較高質(zhì)量樣本中的信息來生成單獨(dú)的經(jīng)濾波的樣本組。
根據(jù)一些實(shí)施方式，可以將經(jīng)濾波的樣本生成為與較低質(zhì)量樣本協(xié)同定位。在該情況下，可以使用來自高質(zhì)量樣本的信息來獲得對(duì)位于每個(gè)位置處的樣本的估計(jì)，上述每個(gè)位置當(dāng)前被使用低質(zhì)量編碼處理來編碼的樣本占據(jù)。然后，可以將該估計(jì)與現(xiàn)有低質(zhì)量樣本進(jìn)行組合，以形成輸出。根據(jù)其他實(shí)施方式，包含有一種信息的樣本不與包含有其他種類信息的樣本協(xié)同定位(如，處于稍微不同的相位)。例如，在如圖4中示出的系統(tǒng)的情況下，濾波器可以是嘗試使用高質(zhì)量層中的可用樣本來重構(gòu)該層中缺失的樣本的插值濾波器。在一種實(shí)施方式中，可以將多假設(shè)濾波器中待使用的該組濾波器或?yàn)V波器參數(shù)作為附加數(shù)據(jù)通過信號(hào)通知給非對(duì)稱質(zhì)量樣本濾波器。此外，可以將從其他插值方案生成的樣本用作多假設(shè)濾波器中的假設(shè)，上述其他插值方案比如在2008年12月25日提交的題為“Content Adaptive SamplingRate Conversion For Interleaving And Deinterleaving Of Images，，的美國臨時(shí)申請(qǐng)No. 61/140，886中描述的方法，其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中；圖像修復(fù)(見T. F. Chan 和 J. Shen, " Mathematical models for local nontexture inpaintings",SIAM Journal of Applied Mathematics, vol. 62，no. 3，pp. 1019-1043，2002,其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中)；小波；輪廓波(Contourlet)；以及Bandlet上采樣技術(shù)(參見 S. Mallat 和 G. Peyre, " A review of bandlet methods for geometrical imagerepresentation, " Numerical Algorithms, vol. 44，no. 3，pp. 205-234,其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中)。此外，在一種實(shí)施方式中，可以提供用于對(duì)亮度樣本進(jìn)行濾波的一組濾波器和用于對(duì)色度樣本進(jìn)行濾波的另一組濾波器。在相關(guān)的方案中，雖然不同，但是色度濾波器參數(shù)可以從亮度濾波器的參數(shù)中推斷出來。例如，如果相比亮度而言色度是以較低的分辨率采樣的，則可以將具有類似特性但不同支持度(support)的濾波器用于亮度與色度分量。除了經(jīng)濾波的樣本值以外，在圖6中示出的多假設(shè)設(shè)計(jì)中的每個(gè)濾波器還可以確定經(jīng)濾波的樣本的置信度值。例如，可以測(cè)量置信度，作為經(jīng)濾波的樣本與在濾波器支持度比如濾波器長度或抽頭內(nèi)的樣本之間的差測(cè)量值。在一種實(shí)施方式中，差測(cè)量值可以是均方差，或者，在另一種實(shí)施方式中，可以使用平均絕對(duì)差來減小計(jì)算復(fù)雜度。差測(cè)量值可以在源內(nèi)容的原始顏色空間中計(jì)算，或基于不同的顏色空間如顯示器的顏色空間來計(jì)算，或基于兩者的組合。在一種實(shí)施方式中，位于支持度內(nèi)的所有樣本都可以用于測(cè)量置信度，或者，在另一種實(shí)施方式中，可以對(duì)支持區(qū)域進(jìn)行子采樣，并且，可以使用子采樣的值來計(jì)算上述差。此外，在另一種實(shí)施方式中，可以針對(duì)不同的樣本對(duì)距離測(cè)度不同地進(jìn)行加權(quán)。例如，相比較與經(jīng)濾波的樣本緊鄰的樣本，可以較小地加權(quán)離經(jīng)濾波的樣本更遠(yuǎn)的樣本。在另一種實(shí)施方式中，在對(duì)圖像的多個(gè)色度和亮度分量進(jìn)行了濾波后，可以組合如上述計(jì)算的置信度，以形成用于濾波器的組合置信度值。在另一種實(shí)施方式中，可以基于所求得的在先前濾波的亮度或色度分量中具有高置信度的濾波器，來預(yù)測(cè)用于圖像的具體的亮度或色度分量的濾波器組或?yàn)V波器參數(shù)組。例如，可以使用更加復(fù)雜的邊緣自適應(yīng)濾波器來生成用于圖像的第一分量的假設(shè)。然后，基于所求得的在第一分量中具有最高置信度的邊緣方向(如，使得經(jīng)濾波的值與濾波器支持度之間的差測(cè)量值的和最小的方向)，可以將沿著位于在第一分量中求得的給定的邊緣最大角度內(nèi)的方向進(jìn)行插值的較不復(fù)雜的方向?yàn)V波器用作對(duì)于其他分量的多假設(shè)濾波器組。圖6的組合器使用經(jīng)濾波的值和每個(gè)經(jīng)濾波的值中的置信度連同低質(zhì)量已解碼樣本值一起來確定樣本位置的輸出值。在一種實(shí)施方式中，組合可以是已解碼低質(zhì)量樣本值與具有大于閾值T1的置信度的所有經(jīng)濾波的值的加權(quán)組合，其中，可以基于低質(zhì)量樣本相對(duì)于高質(zhì)量樣本的編碼質(zhì)量來對(duì)低質(zhì)量樣本進(jìn)行加權(quán)?？梢曰诰幋a參數(shù)來確定低質(zhì)量樣本與高質(zhì)量樣本之間的質(zhì)量差，上述編碼參數(shù)如用于生成樣本的量化步長；對(duì)編碼器的輸入進(jìn)行的預(yù)處理的量；對(duì)每組樣本進(jìn)行的后處理如解塊的量；以及運(yùn)動(dòng)矢量的像素精度等。運(yùn)動(dòng)信息的規(guī)律以及運(yùn)動(dòng)矢量長度還可以用作樣本的時(shí)域質(zhì)量的量度。此外，每組樣本的銳化分析或更復(fù)雜的客觀質(zhì)量(低質(zhì)量與高質(zhì)量)測(cè)量可以有助 于確定每組樣本的相對(duì)視覺質(zhì)量，由此確定為每組樣本設(shè)置的加權(quán)。在另一種實(shí)施方式中，可以使用低質(zhì)量樣本與具有最大置信度的經(jīng)濾波的值之間的加權(quán)平均。在另一種實(shí)施方式中，僅可以使用位于距低質(zhì)量樣本值± d范圍內(nèi)的經(jīng)濾波的值。非對(duì)稱質(zhì)量樣本之間的濾波還可以在變換域進(jìn)行。這在以下應(yīng)用中尤為有用不同的編碼處理經(jīng)歷在頻域產(chǎn)生非對(duì)稱失真的不同的預(yù)處理階段。例如，相比較增強(qiáng)層樣本而言，可以對(duì)可分級(jí)系統(tǒng)的基本層樣本進(jìn)行更加有力的濾波。這可以發(fā)生以提高基本層的壓縮效率，或在從較低分辨率的顯示器觀看時(shí)可以提高基本層的視覺質(zhì)量。還可以使用偏愛特定頻率并且又偏愛某一層超過另一層的量化矩陣。圖7示出了可以用來提高較低質(zhì)量編碼處理的性能的頻域?yàn)V波方案。在該情況下，使用DCT、FFT、小波變換等中的任何一種來將在每個(gè)編碼處理之后輸出的已重構(gòu)圖像變換到頻域中。然后，可以對(duì)較高質(zhì)量編碼處理的變換系數(shù)進(jìn)行標(biāo)準(zhǔn)化，以更好地匹配較低質(zhì)量編碼處理中對(duì)應(yīng)的系數(shù)。例如，在傅里葉變換或小波變換的情況下，這可以包括能量標(biāo)準(zhǔn)化或相移。然后，將先前以較高質(zhì)量編碼的樣本的標(biāo)準(zhǔn)化系數(shù)與先前以較低質(zhì)量編碼的樣本的變換系數(shù)進(jìn)行組合。這可以包括匹配系數(shù)的加權(quán)組合，或較低質(zhì)量編碼處理的系數(shù)的子集的調(diào)整，以匹配來自較高質(zhì)量編碼處理的對(duì)應(yīng)系數(shù)的能量。接著，逆變換重新得到較低質(zhì)量編碼處理的增強(qiáng)的輸出。應(yīng)當(dāng)注意，還可以將該頻域技術(shù)用作如在前面的段落中討論的多假設(shè)方法的一部分。在該情況下，還可以使用交疊的變換來生成用于經(jīng)濾波的樣本的多個(gè)頻域假設(shè)，然后，可以使用多個(gè)頻域和空間域假設(shè)的線性或非線性組合來生成經(jīng)后處理的樣本。圖7的實(shí)施方式描述了高質(zhì)量樣本的標(biāo)準(zhǔn)化。更一般地，可以處理具有不同信息的兩個(gè)不同的組，并且可以通過組合一個(gè)組與來自另一個(gè)組的信息來加強(qiáng)該組，這可能通過一個(gè)組、另一個(gè)組或兩者的另外的濾波來實(shí)現(xiàn)。此外，可以通過交疊和差的初步確定來獲得兩個(gè)不同的組，以使得包含有第一種信息的圖像(或區(qū)域)獨(dú)立于包含有第二種信息的圖像(或區(qū)域)來成組。非對(duì)稱質(zhì)量樣本之間的濾波還可以在時(shí)域進(jìn)行。在該情況下，可以使用運(yùn)動(dòng)自適應(yīng)方法和運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波來對(duì)在時(shí)間上相鄰的區(qū)域中的非對(duì)稱質(zhì)量樣本進(jìn)行濾波。這些方法還可以擴(kuò)展到時(shí)間可分級(jí)視頻編碼系統(tǒng)。圖8示出了非對(duì)稱樣本質(zhì)量增強(qiáng)概念對(duì)于時(shí)間可分級(jí)視頻的應(yīng)用。為了清楚起見，考慮原始序列按時(shí)間分辨率減半并且基本層包括具有索引0、2、n-2、n、n+2、...等圖片的情況。注意，相同的技術(shù)可以用于時(shí)間可分級(jí)性的其他級(jí)別和隔行掃描編碼。增強(qiáng)層包括具有索引1、3、. . .、n-1、n+1、...等的剩余圖片。然后,可以使用來自n-N、n_l、n+l、n+N處的增強(qiáng)層圖片的信息通過濾波來增強(qiáng)時(shí)間索引n處的基本層圖片。可以使用運(yùn)動(dòng)估計(jì)方法來跟蹤序列內(nèi)的像素區(qū)域的運(yùn)動(dòng)并且使得濾波成為運(yùn)動(dòng)補(bǔ)償?shù)臑V波處理(圖9)，上述運(yùn)動(dòng)估計(jì)方法比如是增強(qiáng)的預(yù)測(cè)式區(qū)域搜索(EPZS)(見H. -Y. C. Tourapis和A. M. Tourapis, " Fast motion estimation within the H. 264codec, " Proceedings ofthe International Conference on Multimedia and Expo, vol. 3，pp. 517-520，2003,其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中)。在時(shí)間濾波的情況下，除了增強(qiáng)層圖片外，先前經(jīng)濾波的基本層圖片(保存在緩存I和緩存2中)也可以用于當(dāng)前基本層圖片的濾波。在另一種實(shí)施方式中，本公開的教導(dǎo)可以應(yīng)用在以下情況下使用相同的編碼處理，但是編碼處理的輸入來自非對(duì)稱質(zhì)量源或不同地預(yù)處理的源。例如，在3D立體情況下，輸入可以是并排格式化立體對(duì)，其中，相比較一個(gè)視點(diǎn)而言，在下采樣之前較為有力地對(duì)另一個(gè)視點(diǎn)進(jìn)行濾波。在該情況下，被視為后處理方案的一部分，可以使用來自被較不有力地濾波的視點(diǎn)的信息來增強(qiáng)被有力地濾波的視點(diǎn)的質(zhì)量。圖10示出了編碼器(1005)的輸入包括列隔行掃描圖像(1010)的示例實(shí)施方式，其中，陰影列(1015)包含具有不同于無陰影列(1020)的信息的樣本。在樣本的編碼(1005)和重構(gòu)(1025)之后，對(duì)已重構(gòu)圖像(1035)進(jìn)行非對(duì)稱濾波(1030)，以組合來自不同地處理的輸入樣本的信息。如圖中所示，非對(duì)稱樣本濾波器可以使用基于應(yīng)用于編碼器的輸入樣本的預(yù)處理的知識(shí)的先驗(yàn)信息(1040)來確定濾波的方法和濾波器參數(shù)。此外，注意，盡管圖中的示例涉及空間上非對(duì)稱的輸入樣本，然而，同樣可以應(yīng)用于時(shí)間上非對(duì)稱的樣本和內(nèi)容，其中，一組輸入樣本包含與另一組輸入樣本的頻率特性不同的頻率特性。還注意到，還可以在作為環(huán)路濾波器的一部分的編碼器內(nèi)應(yīng)用非對(duì)稱濾波。在另一種實(shí)施方式中，相同的編碼處理可以用于所有的樣本，但是，在編碼處理期間，可以不同地處理一組樣本與另一組樣本。例如，變換系數(shù)的量化可以使得一些系數(shù)比其他系數(shù)保持較高精度。此外,針對(duì)宏塊模式?jīng)Q策和運(yùn)動(dòng)參數(shù)估計(jì)決策的失真估計(jì)可以以相對(duì)于一組樣本偏向另一組樣本的方式來進(jìn)行。例如，可以使用相比一組樣本而言較高地對(duì)另一組樣本進(jìn)行加權(quán)的加權(quán)PSNR測(cè)度。這些操作還可以引起已解碼圖像的樣本之間的非對(duì)稱質(zhì)量?？梢栽谶@樣的實(shí)施方式中使用本公開的教導(dǎo)，以增強(qiáng)由于這種非對(duì)稱編碼處理而惡化的樣本的質(zhì)量。圖11示出了一種處理，其中，在“非對(duì)稱”編碼處理(1105)期間，對(duì)奇數(shù)列中的樣本與偶數(shù)列中的樣本進(jìn)行不同的處理。然后，已重構(gòu)圖像(1110)可以包含非對(duì)稱質(zhì)量樣本，在給定關(guān)于編碼處理的信息的情況下，可以對(duì)上述非對(duì)稱質(zhì)量樣本進(jìn)行濾波以獲得更好質(zhì)量的已重構(gòu)圖像。再次，如前所述，可以對(duì)樣本的區(qū)域之間的時(shí)域與頻域差進(jìn)行相同的處理，并且還可以在作為環(huán)路濾波器的一部分的編碼器內(nèi)應(yīng)用該處理?？傊绻麍D像或視頻的某些區(qū)域或分量相比該圖像或視頻的其他區(qū)域或分量而言具有較好的總體質(zhì)量，則本公開的教導(dǎo)可以用于增強(qiáng)該圖像和視頻的質(zhì)量。本公開中描述的方法和系統(tǒng)可以用硬件、軟件、固件或其組合來實(shí)施?？梢砸黄?如，在邏輯器件比如集成的邏輯器件中)實(shí)施或分立地(如，如分立連接的邏輯器件)實(shí)施被描述為塊、模塊或部件的特征。本公開的方法的軟件部分可以包括計(jì)算機(jī)可讀介質(zhì)，上述計(jì)算機(jī)可讀介質(zhì)包括在被執(zhí)行時(shí)至少部分地執(zhí)行所述方法的指令。計(jì)算機(jī)可讀介質(zhì)可以包括如隨機(jī)存取存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)。上述指令可以用處理器(如，數(shù)字信號(hào)、處理器(DSP)、專用集成電路(ASIC)或現(xiàn)場(chǎng)可編程邏輯陣列(FPGA))來執(zhí)行。本說明書中提到的所有專利和出版物可以表示與本公開有關(guān)的領(lǐng)域的技術(shù)人員的技術(shù)水平。本公開中引用的所有參考文獻(xiàn)通過引用合并到本申請(qǐng)中，使得好像單獨(dú)地將每個(gè)參考文獻(xiàn)的全部?jī)?nèi)容通過引用合并到本申請(qǐng)中。應(yīng)當(dāng)理解，本公開不限于當(dāng)然可以變化的具體方法或系統(tǒng)。還應(yīng)當(dāng)理解，本文中使用的術(shù)語僅出于描述具體實(shí)施方式
的目的，并不意在限制。如在本說明書和所附權(quán)利要求中使用的，除非內(nèi)容清楚地另行指定，單數(shù)形式“一個(gè)”、“一種”和“該”包括多個(gè)指代物。除非內(nèi)容清楚地另行指定，術(shù)語“多個(gè)”包括兩個(gè)或更多個(gè)指代物。除非另有定義，否則在本文中使用的所有技術(shù)與科學(xué)術(shù)語具有跟與本公開相關(guān)的領(lǐng)域中的普通技術(shù)人員通常所理解的含義相同的含義。以上闡述的示例向本領(lǐng)域普通技術(shù)人員提供了對(duì)如何做出與使用本公開的用于速率失真最優(yōu)化量化的加速技術(shù)的實(shí)施方式的完整的公開以及描述，并且不意在限制發(fā)明人認(rèn)為是其公開的內(nèi)容的范圍。視頻領(lǐng)域的普通技術(shù)人員可以使用用于執(zhí)行本公開的上述模式的修改，并且這些修改意在在所附權(quán)利要求的范圍內(nèi)。已經(jīng)描述了本公開的多種實(shí)施方式。然而，應(yīng)當(dāng)理解，可以在不背離本公開的范圍和實(shí)質(zhì)的情況下作出各種修改。從而，其他實(shí)施方式在所附權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種用于處理圖像或圖像序列的樣本的方法，包括 通過第一編碼處理對(duì)第一組樣本進(jìn)行編碼； 通過第二編碼處理對(duì)第二組樣本進(jìn)行編碼；以及 將所述第一組的已編碼樣本與來自所述第二組的已編碼樣本的信息進(jìn)行組合，以增強(qiáng)所述第一組的所述已編碼樣本。
2.根據(jù)權(quán)利要求I所述的方法，其中，所述第一組樣本和所述第二組樣本是從可分級(jí)視頻傳輸應(yīng)用的不同層獲得的。
3.根據(jù)權(quán)利要求2所述的方法，其中，一組樣本是從基本層比特流獲得的，而另一組樣本是從增強(qiáng)層獲得的。
4.根據(jù)權(quán)利要求I所述的方法，其中，所述第一組樣本和所述第二組樣本是從隔行掃 描圖像序列的不同場(chǎng)或者交織的三維或多視點(diǎn)圖像序列的不同視點(diǎn)獲得的。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述第一組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的偶數(shù)場(chǎng)，且所述第二組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的奇數(shù)場(chǎng)，或者，所述第一組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的奇數(shù)場(chǎng)，且所述第二組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的偶數(shù)場(chǎng)。
6.根據(jù)權(quán)利要求4所述的方法，其中，所述隔行掃描或交織圖像序列是三維圖像序列，所述第一組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的左立體視點(diǎn)，而所述第二組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的右立體視點(diǎn)，或者，所述第一組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的右立體視點(diǎn)，而所述第二組的樣本對(duì)應(yīng)于所述隔行掃描或交織圖像序列的左立體視點(diǎn)。
7.根據(jù)權(quán)利要求4所述的方法，其中，所述隔行掃描或交織圖像序列是多視點(diǎn)圖像序列，所述第一組的所述樣本對(duì)應(yīng)于與所述隔行掃描或交織圖像序列的第一視點(diǎn)有關(guān)的圖像，而所述第二組的所述樣本對(duì)應(yīng)于與所述隔行掃描或交織圖像序列的第二視點(diǎn)有關(guān)的圖像。
8.根據(jù)權(quán)利要求I至7中的任一項(xiàng)所述的方法，其中，所述第一組的所述已編碼樣本具有與所述第二組的所述已編碼樣本的特征不同的特征。
9.根據(jù)權(quán)利要求8所述的方法，其中，所述第一組的所述已編碼樣本具有與所述第二組的所述已編碼樣本的質(zhì)量不同的質(zhì)量。
10.根據(jù)權(quán)利要求9所述的方法，其中，與所述第二組的所述已編碼樣本相比，所述第一組的所述已編碼樣本具有較低的質(zhì)量。
11.一種用于處理圖像或圖像序列的樣本的方法，包括 通過第一編碼處理對(duì)第一組樣本進(jìn)行編碼； 通過第二編碼處理對(duì)第二組樣本進(jìn)行編碼； 對(duì)所述第一組的已編碼樣本進(jìn)行解碼； 對(duì)所述第二組的已編碼樣本進(jìn)行解碼；以及 將所述第一組的已解碼樣本與來自所述第二組的已解碼樣本的信息進(jìn)行組合，以增強(qiáng)所述第一組的所述已解碼樣本。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述第一組的所述已解碼樣本具有與所述第二組的所述已解碼樣本的特征不同的特征。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述第一組的所述已解碼樣本具有與所述第二組的所述已解碼樣本的質(zhì)量不同的質(zhì)量。
14.根據(jù)權(quán)利要求13所述的方法，其中，與所述第二組的所述已解碼樣本相比，所述第一組的所述已解碼樣本具有較低的質(zhì)量。
15.一種用于在解碼之后對(duì)圖像或圖像序列進(jìn)行后處理的方法，包括 提供多個(gè)已解碼圖像或圖像序列；以及 使用來自所述多個(gè)已解碼圖像或圖像序列中的其他已解碼圖像或圖像序列的信息來增強(qiáng)所述多個(gè)已解碼圖像或圖像序列中的一個(gè)或更多個(gè)已解碼圖像或圖像序列。
16.根據(jù)權(quán)利要求15所述的方法，其中，增強(qiáng)還使用不同于所述其他已解碼圖像或圖像序列的附加信息。
17.根據(jù)權(quán)利要求16所述的方法，其中，所述附加信息選自濾波類型信息、參數(shù)信息和待濾波區(qū)域信息。
18.根據(jù)權(quán)利要求16所述的方法，其中，所述附加信息包括來自先前對(duì)所述已解碼圖像或圖像序列進(jìn)行的編碼和/或解碼處理的濾波信息。
19.根據(jù)權(quán)利要求15所述的方法，其中，所述多個(gè)已解碼圖像或圖像序列包括已解碼基本層圖像和已解碼增強(qiáng)層圖像，并且，其中，通過使用來自所述已解碼增強(qiáng)層圖像的信息來增強(qiáng)所述已解碼基本層圖像。
20.根據(jù)權(quán)利要求19所述的方法，其中，通過對(duì)所述已解碼增強(qiáng)層圖像進(jìn)行濾波并且將所述已解碼基本層圖像與對(duì)應(yīng)的經(jīng)濾波的已解碼增強(qiáng)層圖像進(jìn)行組合，來增強(qiáng)所述已解碼基本層圖像。
21.根據(jù)權(quán)利要求20所述的方法，其中，濾波選自平滑、銳化、相移和頻域?yàn)V波。
22.根據(jù)權(quán)利要求15至21中的任一項(xiàng)所述的方法，其中，所述增強(qiáng)是質(zhì)量增強(qiáng)。
23.根據(jù)權(quán)利要求15至22中的任一項(xiàng)所述的方法，其中，所述圖像或圖像序列是從二維應(yīng)用、三維應(yīng)用或多視點(diǎn)應(yīng)用中選擇的應(yīng)用的一部分。
24.一種用于處理圖像的方法，包括 對(duì)第一組圖像進(jìn)行編碼； 對(duì)第二組圖像進(jìn)行編碼， 其中，所述第一組和所述第二組與圖像特征相關(guān)聯(lián)，所述第二組的圖像特征具有與所述第一組的圖像特征的值不同的值；以及 使用來自所述第二組的已重構(gòu)圖像對(duì)所述第一組的已重構(gòu)圖像進(jìn)行濾波。
25.根據(jù)權(quán)利要求24所述的方法，還包括 進(jìn)一步對(duì)所述第一組的經(jīng)濾波的已重構(gòu)圖像進(jìn)行編碼；以及 將所述第一組的進(jìn)一步編碼的已重構(gòu)圖像傳送給解碼器。
26.根據(jù)權(quán)利要求25所述的方法，其中，將所述第一組的所述經(jīng)濾波的已重構(gòu)圖像編碼為殘余圖像的一部分，所述殘余圖像包含所述第一組的原始圖像與所述第一組的經(jīng)濾波的已重構(gòu)圖像之間的差。
27.根據(jù)權(quán)利要求25或26所述的方法，還包括 向所述解碼器傳送附加于所述第一組的所述進(jìn)一步編碼的已重構(gòu)圖像的信息。
28.根據(jù)權(quán)利要求24所述的方法，其中，所述第一組圖像是可分級(jí)視頻應(yīng)用的基本層的一部分，而所述第二組圖像是所述可分級(jí)視頻應(yīng)用的增強(qiáng)層的一部分。
29.根據(jù)權(quán)利要求25所述的方法，其中 所述第一組圖像是可分級(jí)視頻應(yīng)用的基本層的一部分， 所述第二組圖像是所述可分級(jí)視頻應(yīng)用的第一增強(qiáng)層的一部分，以及 所述進(jìn)一步編碼的經(jīng)濾波的已重構(gòu)圖像是所述可分級(jí)視頻應(yīng)用的第二增強(qiáng)層的一部分。
30.根據(jù)權(quán)利要求24所述的方法，其中，所述圖像特征是圖像質(zhì)量。
31.一種用于對(duì)已解碼圖像進(jìn)行后處理的方法，包括 提供具有第一圖像特征的第一組已解碼圖像； 提供具有不同于所述第一圖像特征的第二圖像特征的第二組已解碼圖像； 對(duì)所述第二組進(jìn)行濾波；以及 將所述第一組與經(jīng)濾波的所述第二組進(jìn)行組合。
32.根據(jù)權(quán)利要求31所述的方法，其中，對(duì)所述第二組進(jìn)行濾波包括將所述第二組劃分成子組并且使用單獨(dú)的濾波器對(duì)每個(gè)子組進(jìn)行濾波。
33.根據(jù)權(quán)利要求31或32所述的方法，其中，對(duì)所述第二組進(jìn)行濾波還包括提供經(jīng)濾波的所述組或所述子組的置信度值。
34.根據(jù)權(quán)利要求33所述的方法，其中，濾波是多假設(shè)濾波，并且，所述置信度值是經(jīng)濾波的樣本與位于濾波器支持度內(nèi)的樣本之間的差。
35.根據(jù)權(quán)利要求34所述的方法，其中，所述差是加權(quán)差。
36.根據(jù)權(quán)利要求31所述的方法，其中，在將所述第一組與所述經(jīng)濾波的第二組進(jìn)行組合之前，對(duì)所述第一組進(jìn)行加權(quán)。
37.根據(jù)權(quán)利要求36所述的方法，其中，加權(quán)基于所述第二組圖像相對(duì)于所述第一組圖像的編碼質(zhì)量的編碼質(zhì)量。
38.根據(jù)權(quán)利要求31至37中的任一項(xiàng)所述的方法，其中，所述第一圖像特征和所述第二圖像特征是圖像質(zhì)量。
39.一種用于處理圖像的方法，包括 對(duì)具有第一圖像特征的第一組圖像進(jìn)行編碼； 對(duì)具有優(yōu)于所述第一圖像特征的第二圖像特征的第二組圖像進(jìn)行編碼； 對(duì)已編碼第一組圖像和已編碼第二組圖像進(jìn)行頻率變換； 使用來自經(jīng)頻率變換的一組已編碼圖像的信息來對(duì)經(jīng)頻率變換的另一組已編碼圖像進(jìn)行標(biāo)準(zhǔn)化； 將標(biāo)準(zhǔn)化的經(jīng)頻率變換的一組已編碼圖像與經(jīng)頻率變換的另一組已編碼圖像進(jìn)行組合；以及 對(duì)組合的所述各組圖像進(jìn)行逆變換。
40.一種用于在時(shí)域處理圖像的方法，包括 提供與具有第二質(zhì)量的第二組圖像在時(shí)間上交織的具有第一質(zhì)量的第一組圖像，所述第二質(zhì)量高于所述第一質(zhì)量；以及 通過使用所述第二組的圖像中的一個(gè)或更多個(gè)圖像對(duì)所述第一組的圖像進(jìn)行濾波來增強(qiáng)所述第一組的圖像。
41.根據(jù)權(quán)利要求40所述的方法，其中，所述濾波是運(yùn)動(dòng)補(bǔ)償濾波。
42.一種用于處理圖像或圖像序列的樣本的方法，包括 通過第一處理對(duì)第一組樣本進(jìn)行處理； 通過第二處理對(duì)第二組樣本進(jìn)行處理； 對(duì)經(jīng)處理的所述樣本進(jìn)行編碼；以及 將來自所述第二組的已編碼樣本的信息與所述第一組的已編碼樣本進(jìn)行組合，以增強(qiáng)所述第一組的已編碼樣本。
43.根據(jù)權(quán)利要求42所述的方法，其中，所述組合依賴于基于所述第一處理和所述第二處理的知識(shí)的信息。
44.根據(jù)權(quán)利要求42或43所述的方法，其中，所述第一組樣本關(guān)于所述第二組樣本在空間上不對(duì)稱。
45.根據(jù)權(quán)利要求42或43所述的方法，其中，所述第一組樣本關(guān)于所述第二組樣本在時(shí)間上不對(duì)稱。
46.根據(jù)權(quán)利要求42或43所述的方法，其中，所述第一組樣本的頻率特性不同于所述第二組樣本的頻率特性。
47.根據(jù)權(quán)利要求42至46中的任一項(xiàng)所述的方法，其中，所述組合步驟是所述編碼步驟的一部分。
48.根據(jù)權(quán)利要求42至47中的任一項(xiàng)所述的方法，其中，所述第一處理是第一濾波處理，而所述第二處理是第二濾波處理。
49.一種用于處理圖像或圖像序列的樣本的方法，包括 將所述樣本分成兩個(gè)或更多個(gè)區(qū)域； 對(duì)所述樣本進(jìn)行編碼，以使得不同區(qū)域中的樣本包含不同的特征；以及 組合已編碼樣本，以使得使用來自一個(gè)或更多個(gè)區(qū)域的信息來增強(qiáng)其他區(qū)域的所述已編碼樣本。
50.根據(jù)權(quán)利要求49所述的方法，其中，一個(gè)區(qū)域的樣本關(guān)于另一個(gè)區(qū)域的樣本在空間上不對(duì)稱。
51.根據(jù)權(quán)利要求49所述的方法，其中，一個(gè)區(qū)域的樣本關(guān)于另一個(gè)區(qū)域的樣本在時(shí)間上不對(duì)稱。
52.根據(jù)權(quán)利要求49所述的方法，其中，一個(gè)區(qū)域的樣本具有與另一個(gè)區(qū)域的樣本的頻率特性不同的頻率特性。
53.根據(jù)權(quán)利要求49至52中的任一項(xiàng)所述的方法，其中，所述組合步驟是所述編碼步驟的一部分。
54.一種用于根據(jù)上述權(quán)利要求I至53中的任一項(xiàng)所述的方法來處理視頻信號(hào)的裝置。
55.根據(jù)上述權(quán)利要求I至53中的任一項(xiàng)所述的方法的用于處理視頻信號(hào)的用途。
56.—種包含有一組指令的計(jì)算機(jī)可讀介質(zhì)，所述一組指令使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求I至53中的一項(xiàng)或更多項(xiàng)所述的方法。
全文摘要
描述了用較高質(zhì)量的圖像或圖像序列對(duì)較低質(zhì)量的圖像或圖像序列進(jìn)行濾波的方法及設(shè)備。
文檔編號(hào)H04N13/00GK102742269SQ201180008022
公開日2012年10月17日 申請(qǐng)日期2011年1月7日 優(yōu)先權(quán)日2010年2月1日
發(fā)明者亞歷山德羅斯·圖拉皮斯, 佩沙拉·V·帕哈拉瓦達(dá), 阿薩納西奧斯·萊昂塔里斯 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司