專利名稱：：用于運動對象邊界的適應性影響區(qū)域濾波器的制作方法
技術領域：
：本發(fā)明涉及視頻壓縮領域。
背景技術：
：時間預測濾波器(temporalpredictionfilter)在視頻壓縮過程中被用于從一組先前解碼的參考圖像(referenceimage)中預測出目標圖像(targetimage)。時間預測過程在去除大量時間冗余時是有效的，其一般產生較高的編碼效率。預測過程使用一組運動向量和對運動向量進行操作的濾波器來預測目標圖像。例如，預測方法將參考圖像110劃分成多個固定尺寸的塊120，如圖1所示。每個塊具有相關的運動向量，用于描述該塊相對于目標圖像的運動。運動向量由圖像110中的白點示出。時間預測濾波器使用相關的運動向量來對參考圖像中的每個塊執(zhí)行簡單的運動補償技術，以預測該塊在目標圖像中的位置。因此，目標圖像中的每個塊通過使用單個運動向量根據參考圖像中的塊被估計出。但是，這種方法獨立對待每個運動向量，并且不適應于圖像特征。傳統(tǒng)的時間濾波器使用單個運動向量來預測相關塊的位置或者依賴于針對規(guī)則的運動向量模式(pattern)定義的濾波器，這些傳統(tǒng)時間濾波器需要規(guī)則分布的運動向量以執(zhí)行時間預測。因此，它們無法使得預測過程適應于不規(guī)則的運動向量模式。存在對于可以使得濾波器的抽頭(tap)和濾波器系數局部適應于不規(guī)則的運動向量模式的變化的濾波器的需求。還存在對于具有適應于對象邊界(objectboundary)和空間紋理(spatialtexture)的靈活性的時間濾波器的需求。
發(fā)明內容執(zhí)行適應性時間預測的方法包括接收目標圖像，其中對象在目標圖像中的位置不同于該對象在參考圖像中的位置；使用對象的邊界來生成不規(guī)則的目標圖像運動向量模式；使用這些目標圖像運動向量將目標圖像劃分成影響區(qū)域單元，其中每個影響區(qū)域單元包含目標圖像運動向量中的唯一一個；并且通過將適應性的影響區(qū)域濾波器應用到影響區(qū)域單元來生成目標圖像的預測。本發(fā)明以示例方式示出，并且可以通過結合附圖參考以下描述來更好地理解，其中圖1示出被劃分成多個固定尺寸的塊的參考圖像的示例。圖2A和2B示出用于運動對象邊界的適應性時間濾波的示例。圖3A示出從目標圖像中提取出的運動對象邊界的示例。圖3B示出利用運動對象邊界生成的不規(guī)則的運動向量模式的示例。圖4A示出用于生成不規(guī)則的運動向量模式的方法的示例D圖4B示出圖4A的方法的中間結果的示例。圖5示出計算濾波器系數的方法的示例。圖6示出使濾波器適應于圖像中的對象特征的方法的示例。圖7示出構造對象邊界周圍的AOI單元的示例。圖8示出用于運動對象的封閉區(qū)域(occludedregion)的示例。圖9示出利用一個參考圖像來預測封閉區(qū)域附近的像素的修改示例。圖10示出使用濾波器來預測目標圖像中的像素的示例。圖11示出重新估計運動向量值以提高濾波器精確度的方法的示例。圖12示出用于利用適應性時間濾波器對視頻數據圖像(或幀、或場)進行編碼的視頻編碼系統(tǒng)的示例。圖13示出在解碼視頻數據的圖像(或幀、或圖像)時使用濾波器的示例。圖14示出使用適應性影響區(qū)域濾波器的視頻系統(tǒng)的示例。具體實施方式在以下描述中，參考構成說明書一部分的附圖，附圖中以圖示方式示出可用來實施本發(fā)明的特定實施例。將會理解，在不脫離本發(fā)明的范圍的情況下，其他實施例可被利用，并且結構改變可能發(fā)生。例如，本領域技術人員將會理解，用來描述各個實施例的術語場或幀或圖像在參考視頻數據使用時可以互換。適應性影響區(qū)域(adaptiveareaofinfluence,AAOI)時間濾波器在預測目標圖像時自動適應于不規(guī)則的運動向量模式、對象特征和空間紋理。AAOI濾波器在時域中作用于經運動補償的信號，這不同于其他方法，其他方法試圖直接對運動向量進行濾波(例如運動向量域中的三角濾波)。例如，由于AAOI濾波方法在時域中操作，因此更易修改以適應于對象和空間紋理。在一個實施例中，AAOI濾波器執(zhí)行兩級過程(twostageprocess)，以在像素預測期間耦合相鄰的運動向量。第一級使得濾波器適應于不規(guī)則的運動向量采樣模式、對象形狀以及邊界。第二級使得濾波器適應于圖像的空間紋理。適應性時間濾波過程的示例如圖2A所示。在203，目標圖像、一個或多個參考圖像以及目標圖像中運動對象的邊界被接收。在210，利用運動對象邊界，針對目標圖像生成不規(guī)則的運動向量采樣模式。在220，目標圖像被劃分成影響區(qū)域(AOI)單元，其中每個AOI單元具有一個運動向量作為其節(jié)點。在230，每個運動向量的初始值被估計。在240，適應性影響區(qū)域濾波器被應用到AOI單元，以生成目標圖像的預測。在250，由濾波器產生的預測結果被用于重新估計運動向量的值，以便提高適應性濾波器的精確度。在260，在某些實施例中，該過程返回240以減小由適應性影響區(qū)域濾波器產生的預測誤差。否則，過程在270結束。實現圖2A所示方法的邏輯器件的示例如圖2B所示。該邏輯器件280包括接收目標圖像和參考圖像的接收器281。接收器281還接收來自目標圖像的針對運動對象的邊界的數據。生成器283使用針對運動對象的邊界的數據來生成針對目標圖像的不規(guī)則的運動向量采樣模式。劃分器285將目標圖像劃分成影響區(qū)域單元，每個影響區(qū)域單元包含運動向量之一。預測器287將適應性的影響區(qū)域濾波器應用到影響區(qū)域單元以生成對目標圖像的預測。圖2A的元件現在將被更詳細論述。在圖2A的205處從目標圖像提取出的運動對象邊界的示例如圖3A的塊320所示。在塊320中，黑色區(qū)域對應于目標圖像310的背景區(qū)域。白色區(qū)域對應于相對于背景運動的人，并且灰色區(qū)域對應于目標圖像的前景(foreground)區(qū)域，該前景區(qū)域也相對于背景呈現出運動。在圖2A的210處利用運動對象邊界生成的不規(guī)則的運動向量模式的示例如圖3B的塊330所示。圖像330中的白點代表運動向量。對于這種適應性采樣模式，運動向量沿著運動對象邊界更集中，運動對象邊界是難以從參考圖像預測出的區(qū)域。較少量運動向量置于簡單運動區(qū)域(例如背景區(qū)域)中。在某些實施例中，不規(guī)則的運動向量模式是利用圖4A所示方法在圖2A的210處生成的。在410，運動向量被置于運動對象的質心。在420，利用某些參數將不規(guī)則的運動向量模式放置在對象邊界周圍，所述參數例如是沿著邊界的切線的兩個運動向量之間的距離d;沿著處于邊界法向的路徑，邊界內的運動向量和邊界外的運動向量之間的寬度w。內步幅(insidestride)istr確定邊界內沿著法向路徑的運動向量的數目；并且外步幅(outsidestride)ostr確定邊界外沿著法向路徑的運動向量的數目。所述參數可以根據沿邊界的運動程度和邊界的清晰程度而變化。例如，如果運動很復雜并且邊界粗糙，則w和d的值減小，并且內步幅和外步幅的值增大，以將更多運動向量放置在該區(qū)域中。或者，如果對象的運動簡單并且邊界清晰，則需要的運動向量更少。因此，w和d的值增大，并且步幅值減小。結果是沿著運動對象邊界的不規(guī)則的運動向量模式。在430，運動對象被從目標圖像中刪除，從而保留背景區(qū)域。在440,從背景區(qū)域生成不規(guī)則的運動向量模式。在某些實施例中，固定數目的運動向量被應用到目標圖像?？捎糜诒尘皡^(qū)域的運動向量的數目是將不規(guī)則的運動向量模式放置在邊界周圍之后的剩余數目。然后，在450，運動對象和背景區(qū)域與它們的不規(guī)則運動向量模式一起被組合。圖4A的方法的中間結果如圖4B所示。在塊412，運動向量414被放在對象內的位置上。例如，在某些實施例中，該運動向量被放在對象416的質心。在422，不規(guī)則模式的運動向量根據諸如d、w、istr禾nostr之類的參數被放在對象416周圍。距離d的示例被示出在運動向量423和425之間。寬度w被示出在運動向量423和427之間。運動向量428和429是值為2的內歩幅參數的示例。值為1的外步幅參數ostr的示例如運動向量423所示。在塊432中，對象416被從圖像中去除，留下背景區(qū)域436。在塊442中，針對背景區(qū)域生成不規(guī)則的運動向量模式。在塊452中，不規(guī)則模式在目標圖像中被組合。返回圖2A，在220，圖像被劃分成多個單元，稱之為影響區(qū)域單元(AOI單元)。每個AOI單元具有一個運動向量作為其節(jié)點。被劃分成AOI單元的圖像的示例如圖3B的340所示。每個AOI單元代表這樣的區(qū)域，該區(qū)域受該單元內運動向量的影響比圖像中任何其他運動向量的影響要強。由于針對每個運動向量生成一個AOI單元，因此AOI單元的尺寸可能與圖像中的對象的特征(例如邊界區(qū)域)相關。例如，對象之間的邊界區(qū)域附近的AOI單元可能小于圖像背景區(qū)域中的AOI單元。而且，AOI單元的形狀可以局部修改以適應于對象邊界的形狀。用于生成AOI單元的方法的一個實施例是距離最近運動向量劃分方法(例如Voronoi單元)。其他劃分方法可被使用，例如塊或三角方法。返回圖2A，在230，初始運動估計被執(zhí)行，以確定每個AOI單元中的運動向量的初始值。初始運動估計將與運動向量相關聯(lián)的AOI單元映射到參考圖像中的相應單元，并測量兩個單元之間的位移。該位移提供了每個運動向量的初始值。從而，初始值不會反映來自周圍運動向量的任何影響，因為它是由這種單元對單元映射和位移測量來確定的。因此，特定運動向量的初始值獨立于其他運動向量。在240，適應性影響區(qū)域(AAOI)濾波器被應用到影響區(qū)域單元以對目標圖像執(zhí)行時間預測。該濾波器在時域被應用，以在給定運動向量值的集合和采樣模式的情況下生成對目標圖像的預測結果。AAOI濾波器使用由重疊區(qū)域的面積限定的濾波器系數和濾波器抽頭來捕獲與要預測的像素相鄰的運動向量的相關性(relevance)。該適應性影響區(qū)域濾波器被應用到影響區(qū)域單元，以根據參考圖像和運動向量的集合生成目標圖像的時間預測。該濾波器具有以下結構。令(V,)表示7V個運動向量的集合，并且《X」表示參考圖像(先前解碼的圖像)。令S(X)表示圍繞像素X的位置的運動向量的某個集合。該目標像素X的預測一般可以表示為其中l(wèi)/;)是濾波器系數的集合，并且x+v,是當運動向量v,被應用到像素I時經運動補償的像素。濾波器的支撐(support)或抽頭由集合5T一定義。抽頭支撐S(^和濾波器系數(^一般是像素位置x及其相鄰運動向量的函數。就是說，濾波器系數可以針對每個像素改變，這是因為運動向量分布在整幅圖像中變化。因此，濾波器局部地適應于變化的運動向量模式。在一個實施例中，濾波器系數(/;)是利用圖5所示方法來計算的。在第一級，定義自然抽頭結構和濾波器權重，并且在第二級，使濾波器適應于圖像的空間紋理。第一級生成AAOI濾波器，該AAOI濾波器可以適應于諸如不規(guī)則的采樣模式之類的特征以及對象形狀和邊界。第二級允許AAOI濾波器在用于視頻壓縮的基于運動向量的時間預測過程期間適應于圖像的空間紋理。第一級開始于510，接收局部運動向量采樣模式，其包含要預測的目標像素的鄰域(neighborhood)中的運動向量。在520，在每個局部運動向量周圍構造影響區(qū)域單元。目標像素的局部區(qū)域因此被劃分成一組AOI單元。在530，為了內插像素，其被視為新節(jié)點，并且在其周圍構造像素影響區(qū)域單元。然后，在540，與該像素影響區(qū)域單元重疊的每個相鄰AOI單元的面積被確定。重疊面積限定自然抽頭結構和濾波器權重。換言之，抽頭結構由每個如下的運動向量/限定該運動向量z'的AOI單元與該像素區(qū)域單元的重疊面積4不為零。在抽頭結構中每個運動向量的濾波器權重由量4^限定。就是說，對于某個像素位置x:<table>tableseeoriginaldocumentpage11</column></row><table>其中S^是像素x的鄰域中的局部運動向量的集合，4是集合Sfe)中運動向量/的AOI單元與像素影響單元的重疊面積，A是AOI單元與像素影響單元的總重疊面積，并且乂是濾波器權重。在550，使濾波器適應于圖像特征，例如運動對象的對象邊界。在某些實施例中，影響區(qū)域單元的形狀改變以適應于運動對象的邊界。通過限制運動向量區(qū)域單元和像素區(qū)域單元只包括屬于相同對象的像素來使區(qū)域單元適應于圖像中的對象邊界。這種動作在要預測的像素周圍生成經修改的AOI單元。因此，在一個實施例中，濾波器支撐和系數被表示為0={/|2,.>0)乂=4(3)爿其中2,是由于對象邊界針對運動向量/的經修改的AOI單元。每個經修改的AOI單元包括與要預測的像素處于同一運動層中的像素并且不包括其他運動層中的像素。在該第一級結束時，濾波器已經適應于不規(guī)則的運動向量模式和運動對象邊界兩者。在生成針對圖像中的每個像素的預測之后，濾波過程的第二級被執(zhí)行。在第二級，在560，使濾波器適應于空間紋理。由于從AAOI濾波器的第一級輸出的預測具有規(guī)則的采樣數據模式形式，因此，在某些實施例中，最小二乘(LS)訓練濾波器被用于第二級，以使得濾波器適應于空間紋理。在另一實施例中，空間適應過程可以在第一級直接修改AOI單元以僅僅包括具有相似空間紋理的那些像素。圖6示出在圖5的550處使得濾波器適應于圖像特征的方法的示例。在610，在運動對象邊界周圍修改濾波器。在620，利用對象邊界和代表性運動向量來估計封閉區(qū)域。封閉區(qū)域是相對于參考圖像被隱藏的區(qū)域。在630，如果過去的參考圖像和未來的參考圖像都可獲得，則未來的參考圖像被用于利用在610處生成的經修改的濾波器預測封閉區(qū)域。否則，如果只有一個參考圖像可獲得，則在640，在封閉區(qū)域周圍修改濾波器。更詳細地參考610，濾波器根據分隔運動層的運動對象邊界的存在被修改，以考慮與要預測的像素x在同一運動層的運動向量。而且，運動對象邊界被用于改變用于預測像素x的AOI單元的形狀。在某些實施例中，這是通過如下構造每個AOI單元來執(zhí)行的7;={xIxe<9,,必"x，x,.)<cfc,(x,x;eJV戶,.)}(4)其中，X是要預測的像素，X,是7V個運動向量的集合中的一個特定運動向量/的像素位置，并且o,是對象針對運動向量/的運動層分配。針對運動向量i的aoi單元7}是像素^}的集合，從而使得像素;c屬于與運動向量f相同的運動層o,，并且像素x和運動向量z'之間的距離小于像素x和所有其他運動向量乂7=l，..JVj力之間的距離。在利用式(4)構造出每個新的aoi単元t;之后，利用運動對象邊界修改其形狀以根據式(3)產生濾波器權重。構造對象邊界周圍的aoi單元并修改它們的形狀的示例如圖7所示。在710，局部節(jié)點模式被接收。局部節(jié)點模式包括一組運動向量(用圓圈表示)，它們位于需要被預測的像素x的鄰域中。運動向量被編號，從(1)到(6)。在720，在運動向量周圍構造影響區(qū)域單元。每個虛線代表aoi單元之間的邊界。在730，在要預測的像素x周圍構造用實線表示的像素影響區(qū)域單元。在740，每個運動向量的aoi單元和像素的aoi單元之間的重疊面積被確定。例如，運動向量(1)的aoi單元與像素aoi單元的重疊面積為A。濾波器的抽頭和濾波器權重由重疊面積確定。抽頭結構由每個如下的運動向量^限定該運動向量/的aoi單元與像素區(qū)域單元具有非零的重疊面積A。在該示例中，運動向量(4)的aoi單元沒有與像素aoi單元重疊。因此，針對像素x的濾波器抽頭結構是運動向量(1)、(2)、(3)、(5)和(6)。抽頭結構中每個運動向量的濾波器權重由量爿,/v4限定。例如，在此情況下，力=^/4。在750，使濾波器適應于圖像特征，例如運動對象的對象邊界751。運動對象的對象邊界751分開運動層753和755。為了內插像素x，抽頭結構被修改以包括與像素x處于同一運動層的運動向量。由于像素x處于運動層755，因此來自740的抽頭結構被用式(4)修改以刪除運動向量(3)和(5)，從而留下運動向量(1)、(2)和(6)作為抽頭結構。此外，在750，利用式(3)使濾波器權重適應于對象邊界751的形狀。在此示例中，沿著對象邊界751的影響區(qū)域單元的形狀改變以適應于運動對象的邊界。對象邊界751切割運動向量(2)的aoi單元。為了內插處于運動層755的像素x,運動向量(2)的AOI單元被重新定義以僅包括其原始單元中處于運動層755的那些像素。這在運動向量(2)周圍生成經修改的AOI單元。運動向量(6)的AOI單元的形狀也適應于對象邊界751。運動向量(6)的AOI單元與對象邊界751之間的區(qū)域處于運動層755。但是，該區(qū)域最初被包括在運動向量(5)的AOI單元中。由于運動向量(5)不再是濾波器的抽頭結構的一部分，因此該區(qū)域中的像素現在變?yōu)檫\動向量(6)的AOI單元的一部分。經修改的重疊面積22和4以及重疊面積A被用于生成經修改的濾波器的濾波器權重。返回圖6，在620，運動對象邊界被用于估計封閉區(qū)域。封閉區(qū)域的示例如圖8所示。利用過去的參考圖像810預測目標圖像820。運動對象805的邊界從其在過去的參考圖像810中的位置到其在目標圖像820中的位置之間的位移構成封閉區(qū)域825。目標圖像在封閉區(qū)域825中的部分被過去的參考圖像810所覆蓋。因此，利用過去的參考圖像810預測目標圖像820的封閉區(qū)域825中的像素的做法產生較差結果。為了改進預測，在圖6的630，如果未來的參考圖像可獲得，則其被用于預測封閉區(qū)域中的像素。否則，在640，濾波器被再次修改。更詳細地參考640，如果有單個參考場可用于預測(例如圖8的過去的參考圖像810)，則對濾波器執(zhí)行另一修改。該第二修改提高了在封閉區(qū)域中及其周圍的預測的精確度。在封閉區(qū)域中的運動向量是不可靠的并且不連貫的，因為它們映射到參考圖像中不與目標圖像中的相應像素相關的像素。第二修改允許濾波器使用彼此具有某種連貫性(coherence)的運動向量節(jié)點。例如，當預測封閉區(qū)域附近的像素時，濾波器使用屬于同一運動層的運動向量。用于使用單個參考場預測封閉區(qū)域中的目標像素的修改僅使用最近的運動向量。為了預測封閉區(qū)域附近但在封閉區(qū)域外部的目標像素，修改限制影響區(qū)域單元以避免使用封閉區(qū)域中的像素。一般而言，對于不屬于封閉區(qū)域C的運動向量/，每個影響區(qū)域單元r,被構造為<formula>formulaseeoriginaldocumentpage14</formula>其中，X是要預測的像素，X,是7V個運動向量的集合中的一個特定運動向量/的像素位置，并且O,是對象針對運動向量Z'的運動層分配。運動向量/的影響區(qū)域單元7;是所有像素的集合{%}，從而使得像素X屬于與運動向量/相同的運動層；像素X和運動向量,之間的距離小于像素X和所有其他運動向量乂,乂=/,..1,_/溝'之間的距離；并且像素x不在封閉區(qū)域C中。對于處在封閉區(qū)域c中的運動向量，不構造影響區(qū)域單元。取而代之，利用最近的運動向量來預測該區(qū)域中的目標像素以執(zhí)行運動補償。利用一個參考圖像預測封閉區(qū)域中或附近的像素的修改的示例如圖9所示。AOI單元已被修改為適應于運動對象邊界，如910所示。封閉區(qū)域在920示出。對濾波器的第二修改在930處示出，其中運動向量(3)的AOI單元已被減小以刪除與封閉區(qū)域重疊的部分。處于封閉區(qū)域中的運動向量(5)的AOI單元已被從濾波器刪除。運動向量(4)的AOI單元己被擴展以包括運動向量(5)的前AOI單元的處于封閉區(qū)域外的部分。為了預測封閉區(qū)域附近的像素，例如940所示像素x，利用式(3)確定濾波器權重，如950所示。為了預測封閉區(qū)域內的像素，例如940所示像素x，具有濾波器權重1的最近運動向量被用于形成單抽頭濾波器。在此情況下，最近運動向量為(5)。適應性濾波過程生成在時域中限定的基于區(qū)域的濾波器，其在時間預測過程期間耦合相鄰的運動向量。該濾波器自然地適應于運動圖像中不均勻或不規(guī)則的運動向量采樣模式、對象形狀和邊界以及空間紋理。圖10示出240(圖2A)的更多細節(jié)，在240，濾波器被用于預測目標圖像中的像素x。參考圖像1010中的像素被用于預測目標圖像1020中的像素。參考像素由參考圖像1010中的實線圓圈表示，而要預測的目標像素由目標圖像1020中的虛線圓圈表示。濾波器利用局部運動向量Vi到vs的抽頭結構形成對目標圖像1020中的像素x的預測。這些運動向量對于像素x是局部的，因為它們各自的AOI單元中的每一個與像素x的AOI單元的至少一部分重疊。抽頭結構中的每個運動向量{"}映射到參考圖像1010中的圖像數據(W。適應性時間預測濾波器利用濾波器權重(fJ調整參考數據(W以預測像素x。在一個實施例中，預測濾波器使用抽頭結構和濾波器權重來根據下式生成預測預觀U=Ii*f！+I2*f2+13*f3+14*f4+15*f5其中濾波器抽頭由局部運動向量定義，濾波器系數(fj利用式(3)確定。在初始預測之后，該過程重新估計運動向量的值，如圖2A的塊250所示，以提高濾波器的精確度。在一個實施例中，重新估計是利用圖11所示方法來執(zhí)行的。在1110，造成AAOI濾波器的最大預測誤差的運動向量被識別出。然后，在1120，識別出的運動向量的值被改變，直到AAOI濾波器的預測誤差被減小或最小化。在1130，隨后利用改變的值更新運動向量的值。在1140，如果誤差減小己經飽和，則過程結束。否則，過程返回1110，直到預測誤差減小飽和為止。然后，在某些實施例中，針對圖像中的所有運動向量重復圖2A的過程。在一個實施例中，AAOI濾波器被用于編碼視頻數據的圖像(或幀、或場)的視頻編碼系統(tǒng)所使用，如圖12所示。在1210，編碼器接收輸入視頻數據(例如輸入目標圖像)和與輸入目標圖像相關的數據，例如針對目標圖像中的運動對象的邊界的數據。在編碼過程期間，編碼器可獲得一組包含與目標圖像相關的解碼圖像數據的參考圖像，并且在解碼過程期間，解碼器也可獲得這組參考圖像。在1220，編碼器生成與目標圖像相關聯(lián)的運動向量的采樣或分布。就是說，在給定AA個運動向量的情況下，這W個運動向量被置于目標圖像中。運動向量的位置一般適應于圖像內容中的運動區(qū)域，從而產生不規(guī)則的運動向量模式，如圖3B所示。在1230，采樣模式信息(例如代表模式的比特)被發(fā)送到解碼器。很多方法可被用于生成適應性采樣模式。在1240，時間預測濾波過程被應用到不規(guī)則的運動采樣模式。該適應性濾波過程使用運動向量、不規(guī)則的采樣模式和參考圖像來生成目標圖像的預測。在1250，運動向量值被編碼并被發(fā)送到解碼器。在1260，生成殘差(residual)，該殘差是目標圖像的實際目標數據減去來自適應性濾波過程的預測誤差。在1270，殘差被編碼，并且在1280，殘差被發(fā)送到解碼器。在另一實施例中，AAOI濾波器被用于解碼視頻數據的圖像(或幀，或圖像)，如圖13所示。在1310，經編碼的殘差被接收。在1320，解碼器對接收的編碼殘差進行解碼。在1330，解碼器接收采樣模式信息，參考圖像和運動向量值。然后，在1340，解碼器應用適應性時間濾波器過程以生成時間預測。在1350，通過將解碼的殘差添加到時間預測而生成經解碼的目標圖像。圖14示出使用適應性影響區(qū)域濾波器的系統(tǒng)的示例。數字視頻照相機1410捕獲電子形式的圖像，并利用壓縮設備1420對圖像進行處理，壓縮設備1420在壓縮和編碼過程期間使用該適應性影響區(qū)域濾波器。經編碼的圖像通過電子傳輸介質1430被發(fā)送到數字重放設備1440。圖像通過解碼設備1450被解碼，解碼設備1450在解碼過程期間使用該濾波器。照相機1410例如是包括本發(fā)明的實施例的各種圖像處理裝置(例如其他圖像捕獲設備、圖像編輯器、圖像處理器、個人和商業(yè)計算平臺等等)。類似地，解碼設備1450例如是解碼圖像數據的各種設備。雖然就特定系統(tǒng)環(huán)境中的實施例描述了本發(fā)明，但是本領域技術人員將會意識到，本發(fā)明經過修改可以在其他不同的硬件和軟件環(huán)境中實施，它們均落在所附權利要求書的精神和范圍內。權利要求1.一種方法，包括接收目標圖像，其中對象在所述目標圖像中的位置不同于所述對象在參考圖像中的位置；使用所述對象的邊界來生成不規(guī)則的目標圖像運動向量模式；使用所述目標圖像運動向量將所述目標圖像劃分成影響區(qū)域單元，其中每個影響區(qū)域單元包含所述目標圖像運動向量中的唯一一個；以及通過將適應性影響區(qū)域濾波器應用到所述影響區(qū)域單元來生成所述目標圖像的預測。2.如權利要求1所述的方法，其中使用所述對象的邊界來生成不規(guī)則的目標圖像運動向量模式的步驟包括將運動向量放置在所述對象內；以及使用與所述邊界相關聯(lián)的至少一個參數來與所述邊界相關地分布運動向量。3.如權利要求1所述的方法，其中應用所述適應性影響區(qū)域濾波器的步驟包括-修改針對所述邊界附近的影響區(qū)域單元的濾波器；使用經修改的濾波器來估計封閉區(qū)域；以及使用不具有所述封閉區(qū)域的參考圖像來預測所述目標圖像。4.如權利要求3所述的方法，其中修改針對所述邊界附近的影響區(qū)域單元的濾波器的步驟包括將每個影響區(qū)域單元修改為包括與針對該影響區(qū)域單元的運動向量屬于同一運動層的像素，從而使得<formula>formulaseeoriginaldocumentpage2</formula>其中，x是要預測的像素，x,是iV個運動向量的集合中的一個特定運動向量/的像素位置，o,是對象針對運動向量,的運動層分配，n是針對所述特定運動向量,的影響區(qū)域單元并且集合乂eiVj力'表示所有其他運動向量。5.如權利要求3所述的方法，其中修改針對所述邊界附近的影響區(qū)域單元的濾波器的步驟包括估計封閉區(qū)域；以及在所述封閉區(qū)域周圍修改所述濾波器。6.如權利要求5所述的方法，其中在所述封閉區(qū)域周圍修改所述濾波器的步驟包括針對所述封閉區(qū)域外部的每個運動向量，將針對該運動向量的影響區(qū)域單元修改為包括處于所述封閉區(qū)域外部的與該運動向量屬于同一運動層的像素，從而使得=[xi;ceO,，J/W(義，a)<^to(義,義-,/到)"其中，x是要預測的像素，x,是7v個運動向量的集合中的一個特定運動向量/的像素位置，o,是對象針對運動向量z的運動層分配，r,是針對所述特定運動向量/的影響區(qū)域單元并且集合^7v,乂T^表示所有其他運動向量，并且c表示所述封閉區(qū)域。7.如權利要求5所述的方法，其中在所述封閉區(qū)域周圍修改所述濾波器的步驟包括針對所述封閉區(qū)域外部的每個運動向量，將針對該運動向量的影響區(qū)域單元修改為包括處于所述封閉區(qū)域外部的與該運動向量屬于同一運動層的像素；針對所述封閉區(qū)域內的每個像素，使用濾波器權重為1的最近的運動向量來預測所述像素；并且針對所述封閉區(qū)域外部的每個像素，使用所述經修改的影響區(qū)域單元來確定用于預測所述像素的濾波器權重。8.—種裝置，包括接收器，其接收目標圖像，其中對象在所述目標圖像中的位置不同于所述對象在參考圖像中的位置；生成器，其使用所述對象的邊界來生成不規(guī)則的目標圖像運動向量模式；劃分器，其使用所述目標圖像運動向量將所述目標圖像劃分成影響區(qū)域單元，其中每個影響區(qū)域單元包含所述目標圖像運動向量中的唯一一個；以及預測器，其通過將適應性影響區(qū)域濾波器應用到所述影響區(qū)域單元來生成所述目標圖像的預測。9.如權利要求8所述的裝置，其中所述生成器通過如下操作來使用所述對象的邊界來生成不規(guī)則的目標圖像運動向量模式將運動向量放置在所述對象內，并且使用與所述邊界相關聯(lián)的至少一個參數來與所述邊界相關地分布運動向量。10.如權利要求8所述的裝置，其中所述預測器通過如下操作來應用所述適應性影響區(qū)域濾波器修改針對所述邊界附近的影響區(qū)域單元的濾波器，使用經修改的濾波器來估計封閉區(qū)域，并且使用不具有所述封閉區(qū)域的參考圖像來預測所述目標圖像。11.如權利要求IO所述的裝置，其中所述預測器通過如下操作來修改針對所述邊界附近的影響區(qū)域單元的濾波器在所述運動對象的邊界周圍修改所述濾波器，估計封閉區(qū)域，識別不具有所述封閉區(qū)域的參考圖像，并且使用識別出的所述參考圖像來預測所述目標圖像。12.如權利要求11所述的裝置，其中所述預測器通過如下操作來修改針對所述邊界附近的影響區(qū)域單元的濾波器估計封閉區(qū)域，并且在所述封閉區(qū)域周圍修改所述濾波器。13.—種存儲了計算機指令程序的計算機可讀介質，當所述計算機指令程序被電子數據處理系統(tǒng)執(zhí)行時，致使所述系統(tǒng)執(zhí)行包括以下步驟的方法接收目標圖像，其中對象在所述目標圖像中的位置不同于所述對象在參考圖像中的位置；使用所述對象的邊界來生成不規(guī)則的目標圖像運動向量模式；使用所述目標圖像運動向量將所述目標圖像劃分成影響區(qū)域單元，其中每個影響區(qū)域單元包含所述目標圖像運動向量中的唯一一個；以及通過將適應性影響區(qū)域濾波器應用到所述影響區(qū)域單元來生成所述目標圖像的預測。14.如權利要求13所述的計算機可讀介質，其中使用所述對象的邊界來生成不規(guī)則的目標圖像運動向量模式的步驟包括將運動向量放置在所述對象內；以及使用與所述邊界相關聯(lián)的至少一個參數來與所述邊界相關地分布運動向量。15.如權利要求14所述的計算機可讀介質，其中應用所述適應性影響區(qū)域濾波器的步驟包括修改針對所述邊界附近的影響區(qū)域單元的濾波器；使用經修改的濾波器來估計封閉區(qū)域；以及使用不具有所述封閉區(qū)域的參考圖像來預測所述目標圖像。16.如權利要求15所述的計算機可讀介質，其中修改針對所述邊界附近的影響區(qū)域單元的濾波器的步驟包括估計封閉區(qū)域；以及在所述封閉區(qū)域周圍修改所述濾波器。全文摘要一種執(zhí)行適應性時間預測的方法包括接收目標圖像，其中對象在所述目標圖像中的位置不同于對象在參考圖像中的位置；使用所述對象的邊界來生成不規(guī)則的目標圖像運動向量模式；使用所述目標圖像運動向量將所述目標圖像劃分成影響區(qū)域單元，其中每個影響區(qū)域單元包含所述目標圖像運動向量中的唯一一個；以及通過將適應性影響區(qū)域濾波器應用到所述影響區(qū)域單元來生成所述目標圖像的預測。文檔編號H04N7/12GK101268690SQ200680034057公開日2008年9月17日申請日期2006年8月31日優(yōu)先權日2005年9月16日發(fā)明者苗周榮,詹姆斯·J·卡里格,馬里奧·帕尼科尼申請人:索尼電子有限公司