專利名稱：時間運動矢量濾波的制作方法
技術領域：
本發(fā)明涉及視頻和圖形處理的改進。
背景技術：
在逐行數字顯示設備的低顯示更新率下(例如，隔行視頻材料的50場/秒，以及原始電影材料的24幀/秒)，可能發(fā)生被稱為“區(qū)域閃爍”的顯示假象。由于人類視覺外圍區(qū)域對閃爍的高度敏感，隨著顯示器尺寸的增大，該區(qū)域閃爍越來越可見。降低區(qū)域閃爍的簡單辦法是通過以更高的速率(例如，隔行視頻100場/秒)重復輸入場或者幀來提高顯示更新率。這解決了靜態(tài)場景的區(qū)域閃爍問題。但是，在具有運動的場景中，重復引入了新的假象，已知的是“運動抖動”或者“運動拖尾”，由于人眼傾向于跟蹤運動對象的軌跡，所以尤其在高對比度的區(qū)域容易發(fā)生上述的狀況。為此，最好存在一個運動補償幀內插，其中在一個內插幀或者場中，在本地運動軌跡的中點計算像素，從而在由于人眼的跟蹤所產生的期待圖像運動和顯示圖像運動之間不存在差異。從一場或者幀向下一場或者幀的本地圖像運動軌跡被稱為一個運動矢量。
運動矢量可以在空間分辨率的不同級別上計算，例如在像素級別，在圖像塊級別，或者在對象級別。為每個像素獨立的計算一個運動矢量理論上會產生一個理想的數據集，但是由于所需的巨大的計算量，這是不可行的。為每個圖像塊計算運動矢量降低了計算量，但是由于圖像塊內的運動矢量的不連續(xù)可能導致假象出現。以一個對象為基礎計算運動矢量理論上會產生高的分辨率和更低的運算需求，但是對象分割卻是一個存在挑戰(zhàn)的問題。
因此，需要一種有效并且精確的確定運動矢量的方法，這樣在由于人眼跟蹤造成的期待圖像運動與數字視頻中的顯示圖像運動之間沒有或者幾乎沒有差異。

發(fā)明內容
本發(fā)明提供用于有效并且精確的確定運動矢量的方法和裝置，從而在由于人眼跟蹤造成的期待圖像運動與數字視頻中的顯示圖像運動之間沒有或者幾乎沒有差異。
通常，在一個方面，本發(fā)明提供了方法和裝置，包括計算機程序產品，執(zhí)行和使用用于在數字視頻序列中執(zhí)行時間運動矢量濾波的技術。接收到幾個矢量，這些矢量表示含有一個或者多個對象和背景的圖像塊的潛在的運動矢量。矢量被分割成兩個或者更多的矢量族。為每個矢量族確定一個代表矢量。測試每個代表矢量從而確定哪個代表矢量更精確的反映了數字視頻的第一幀和第二幀之間的圖像塊的移動。最精確的反映了圖像塊之間的移動的代表矢量被選擇為一個運動矢量。
優(yōu)選的執(zhí)行方式可以包括一個或者多個下列特征。分割包括通過在矢量中識別彼此相距最遠的兩個矢量來為第一族確定一個第一源矢量(seed vector)，和為第二族確定一個第二源矢量，而且對于所有其它的矢量，如果該矢量最靠近第一源矢量，則將該矢量放入第一族，如果該矢量最靠近第二源矢量，則將該矢量放入第二族。確定一個代表矢量包括，對于每個族，確定該族中的哪個矢量與該族中的所有其它矢量的總距離最小。每個族能夠表示數字視頻中的一個對象或者一個背景。每個圖像塊可以包括幾個像素。一個矢量能夠表示一個從第一像素開始，在第二像素結束的陳舊運動矢量，以及從第一像素開始，與在水平方向上或者垂直方向上不同于第二像素的像素結束的其他矢量。每個像素塊的尺寸可以是8×8像素。
測試每個代表矢量包括，對于每個代表矢量，將第一窗口集中在形成代表矢量的原點的像素上，將第二窗口集中在形成代表像素的結束點的像素上，為第一窗口中的像素以及第二窗口中位于相應位置的像素確定亮度值的絕對差的總和，并且選擇最精確的反映了圖像塊的移動的矢量作為代表矢量，該代表矢量具有最小的絕對差的和。第一和第二窗口的尺寸可以與圖像塊的尺寸相同。
在追加的附圖和下面的描述中將詳細闡述本發(fā)明的一個或者多個實施例的細節(jié)。本發(fā)明的其他特征，對象以及優(yōu)點將通過說明書和附圖，以及權利要求的描述變得清楚明了。


圖1表明了用于確定一個運動矢量的遞歸分級處理的流程圖。
圖2表明了用于在一個視頻幀的原始分辨率的1∶4的分辨率下確定一個最佳的運動矢量的示例矢量。
圖3表明了在一個視頻幀的原始分辨率的1∶2的分辨率下確定一個最佳的運動矢量的示例矢量。
圖4表明了在一個視頻幀的原始分辨率下確定一個最佳運動矢量的示例矢量。
圖5A表明了執(zhí)行時間矢量分割的處理的流程圖。
圖5B表明了能夠在一個時間矢量分割處理中使用的鄰近矢量的示例組。
圖6表明了用于執(zhí)行本發(fā)明的一個計算機系統(tǒng)。
在多個附圖當中相同的參考符號表示相同的元件。
具體實施例方式
本發(fā)明提供了一種用于有效并且精確的確定運動矢量的方法和裝置，這樣在由于人眼跟蹤造成的期待圖像運動與數字視頻中的顯示圖像運動之間沒有或者幾乎沒有差異。這可以通過使用包括一個時間矢量分割方案來確定運動矢量的遞歸分級方法來實現。
通常，為了較好的運行運動補償方法，包括這里所述的遞歸分級方法，需要對對象運動的特性做兩個基本假設1)運動對象具有慣性，以及2)運動對象很大。慣性假設暗示著對于一個時間矢量采樣間隔(就是，數字視頻中的幀速率)來說，運動矢量逐漸的發(fā)生變化。較大對象的假設暗示著對于一個空間矢量采樣間隔來說，運動矢量僅是逐漸變化，就是說，矢量場是平滑的，并且具有較少的邊緣運動不連續(xù)。
遞歸分級方法的目標是通過將一個源相關窗口應用到第一圖像幀和將一個目標相關窗口應用到下一圖像幀，并且放置目標相關窗口，從而獲得目標相關窗口與源相關窗口之間的最佳匹配，也就是，源相關窗口的內容與目標相關窗口的內容盡可能的相同，從而找到一個運動矢量。同時，執(zhí)行源相關窗口和目標相關窗口之間的匹配所需的計算量盡可能的少，而仍然搜索全部矢量空間限制。為了實現這些目標，遞歸分級算法使用了圖像幀的多種分辨率級別。首先確定最低分辨率級別的最佳運動矢量，這是通過將先前的最高分辨率級別的最佳運動矢量向下投射到最低的分辨率級別，對其進行測試，并且更新一個或者多個。然后將該最佳運動矢量向上傳輸到一個更高的分辨率級別，在那進行一些調整并且確定一個新的最佳運動矢量。該新的最佳運動矢量繼續(xù)向上傳輸到另一個更高的分辨率級別，在那進行一些調整并且確定另一個新的運動矢量。該處理一直重復進行直到達到了最高的，原始的分辨率級別，并且為原始分辨率級別確定了一個最佳運動矢量為止。
圖1表明了一個遞歸分級處理(100)的執(zhí)行。假設已經生成了圖像幀的多種分辨率級別。如圖1所示，確定一個運動矢量的遞歸分級處理(100)開始于將一個先前圖像幀的運動矢量向下投射到一個最低的分辨率級別(步驟102)。產生一組更新矢量并且進行測試從而找到最低分辨率級別上的最佳運動矢量(步驟104)。在一個實施例中，這種測試是通過將集中在運動矢量的原點的源相關窗口與集中在每個更新矢量的結束點的目標相關窗口中的相應位置的像素比較來實現的。比較可以，例如通過將每個目標窗口中的每個像素減去源窗口中的相應像素的亮度值來實現。在這種情況下，最佳匹配將通過找到源相關窗口和目標相關窗口對中的絕對差的最小和(SAD)來定義，并且最佳運動矢量將是與該源相關窗口和目標相關窗口對有關的矢量。
在找到了最小SAD以后，選擇最佳矢量(步驟106)。然后處理(100)檢查是否存在更高的分辨率級別(步驟108)。如果存在更高的分辨率級別，處理將最佳矢量向上傳輸到下一個更高的分辨率級別(步驟110)，并且重復步驟104-108。如果沒有更高的分辨率級別，處理前進到步驟112，在那里選擇最佳矢量作為運動矢量，并且用于運動補償，這樣完成了當前幀的處理。
該方法的優(yōu)點在于在一個較低的級別，一個像素的更新等于在下一個較高級別的兩個或者多個像素的更新，這取決于兩個級別之間的分辨率的差。如果例如存在三個分辨率級別，就是1∶1，1∶2和1∶4，并且在每個級別更新+/-1個像素，那么會聚延遲潛在的降低了四倍。換種說法，使用有效的分辨率分級來加速時間遞歸會聚。這帶來了顯著的改進，尤其對于具有高速運動的小對象的幀。
現在將參照附圖1-4，通過具有1∶1，1∶2以及1∶4的三個分辨率級別的遞歸分級方案，4×4像素的圖像塊柵格為例，詳細描述本發(fā)明。應當注意附圖2-4所示的矢量僅是為了表明該例子，分辨率級別的數目以及每個分辨率級別的矢量數目和/或類型可以根據不同的參數，例如計算成本，質量，處理速度等改變。
圖4表明了一個圖像塊柵格(400)，其被分成了4×4像素的圖像塊(405)，其中每個像素被表示為一個圓(410)。黑色的像素(415)表示為每個4×4圖像像素塊計算運動矢量的位置。從圖4可以看出，為每個4×4圖像像素塊計算一個運動矢量，并且每個4×4圖像像素塊中的運動矢量原點的位置是相同的。圖3表明了分辨率是圖4所示的原始像素柵格一半的相同的像素柵格(400)。圖2表明了更低分辨率的相同的像素柵格(400)，在本實施例中，分辨率是圖3所示的分辨率的一半，或者圖4所示的分辨率的四分之一。
如圖1和圖2所示，確定一個運動矢量的遞歸分級處理開始于將一個先前圖像的運動矢量(205)向下投射到最低的分辨率級別(步驟102)，在本實施例中是原始分辨率的1∶4，如圖2所示。在一個實施例中，在投射之前，濾波該陳舊運動矢量(205)，這主要是考慮到鄰近像素中含有造成矢量不連續(xù)的對象背景邊緣的情況。該處理也被稱為時間矢量分割并且將在下文中詳細描述。濾波輸出是一個1∶1級別的新的基礎矢量，其接下來向下投射到1∶4的級別。在該序列的第一幀中，就是，當沒有先前圖像時，處理(100)開始于將零矢量作為陳舊運動矢量。在一個實施例中，當視頻中存在場景中斷時，就是當兩幀之間沒有連續(xù)性時，也使用零矢量。
圖5A表明了一個時間矢量分割處理(500)的一個實施例。如上所述，時間矢量分割處理(500)的目的是給出一個對將被投射到最低分辨率級別的陳舊運動矢量(205)的更好的估計，如圖2所示。因此，除了簡單的投射一個運動矢量，也對含有多個矢量的鄰近區(qū)域(550)進行檢測，如圖5B所示。而且，假設矢量的鄰近區(qū)域(550)包括一個對象/背景邊緣。時間矢量分割處理(500)試圖在選擇一個最佳的運動矢量之前，將與對象有關的運動矢量和與背景有關的運動矢量分離，這將進一步改進選擇處理。
如圖5A所示，處理(500)開始于從一個先前的圖像幀獲得一組鄰近矢量(550)。圖5B所示的組(550)包括九個矢量，每個矢量都指向一個圖像塊(560)。在本實施例中，使用九個鄰近圖像塊(560)來定義鄰近矢量，但是僅有其中的五個(以X形排列的V1-V5)用于在這里所述的執(zhí)行當中計算。但是，讀者會意識到可以選擇任意數目的矢量，并且鄰近圖像塊可以具有多種不同的形狀。五個鄰近矢量的設定和圖像塊的方形的設定僅是為了示例的目的。
然后處理將鄰近矢量(550)的組分割成兩個族(步驟504)。在一個執(zhí)行當中，分割通過確定哪兩個矢量彼此分離最遠，并且使用這兩個矢量作為兩個族的源矢量來執(zhí)行。當已經確定了族的兩個源矢量以后，每個剩余的矢量就根據其靠近的族的源矢量，被分成兩個族中的一個。
接下來，處理為每個族確定一個代表矢量(步驟506)。確定代表矢量的目的是找到現存的每個族的最佳的代表矢量。在一個執(zhí)行當中，代表矢量被確定為在每個族中與所有其它的矢量距離最小的矢量。最小距離可以，例如通過確定一個族中的每個矢量與該族中的所有其它矢量之間的距離并且將距離相加來計算。具有最小的總距離的矢量被選擇作為代表矢量。
當已經找到了兩個代表矢量時，處理確定當圖像塊移動每個代表矢量所定義的距離和方向時，哪個代表矢量提供了最佳的匹配(步驟508)。這可以，例如通過使用兩個相關窗口來進行，其中一個相關窗口集中在該矢量的原點，另一個集中在該矢量的結束點，并且確定兩個相關窗口中的像素的絕對值的最小和(SAD)。下面將詳細的描述如何進行操作，但是為了圖5A的目的，重要的結果在于為兩個代表矢量中的一個找到一個最佳的匹配。然后處理選擇具有最佳匹配的代表矢量作為候選矢量(步驟510)。選定的矢量接下來被向下投射到最低的分辨率級別，然后處理結束。最佳的匹配矢量表示對向矢量，其他的矢量表示背景矢量。
上述的分割幫助解決了圍繞較小的邊緣細節(jié)的對象/背景矢量的不連續(xù)，例如一輛運動汽車上的引擎罩。分割也可以在不包含任何對象邊緣的鄰近區(qū)域上同樣進行，因為多數矢量位于同一族當中，并且其它的族將僅含有一個或者一些“外部”矢量。
返回來參考圖1和圖2，在濾波矢量已經投射到最低的分辨率級別以后，生成了一組更新矢量(210a-210f)并且測試這些更新矢量從而找到與陳舊濾波投射運動矢量之間相差+/-1個像素或者+/-2個像素的最小SAD。在圖2中，表明了六個更新矢量(210a-210f)，由于水平方向的移動通常大于垂直方向的移動，因此兩個用于水平方向上的+/-1個像素，兩個用于水平方向上的+/-2個像素，以及兩個用于垂直方向上的+/-1個像素。但是，本領域的技術人員能夠理解，可以在與投射矢量(205)相關的任何水平和/或垂直方向上生成任何數目的更新矢量并對其進行測試。在一個執(zhí)行當中，一個預測的攝影矢量也向下投射1∶4的級別。該攝影矢量將被進一步詳細描述。
在一個執(zhí)行當中，通過將一個圖像塊的候選矢量指向目標幀中的不同的像素位置來計算SAD，其中候選矢量源于源幀中的相同的圖像塊位置。對于每個候選矢量，一個矩形的窗口集中目標幀中的每個候選矢量所指向的像素上。一個相應的矩形窗口集中在源幀中候選矢量起源的像素上。然后計算兩個窗口中的相應亮度像素，就是，在兩個窗口中具有相同相對位置的像素的絕對差對。所有絕對差的總和就是SAD值。SAD值隨著窗口的更加匹配而減小，當像素相同時，理想中SAD減小到零。實際上，當然，由于噪聲和其他因素的影響，最佳矢量具有非零的SAD，但是最佳矢量將具有候選矢量組中的矢量的最小SAD。
當找到了最小SAD以后，最佳矢量，就是，具有最小SAD(210f)的矢量被選擇并且存儲在存儲器中(步驟106)。然后處理檢查是否存在更高的分辨率級別(步驟108)。如上所述，在本實施例中，存在兩個更高的分辨率級別，因此處理傳輸最佳矢量(210f)，將其投射到1∶2的分辨率級別上，如圖3所示(步驟110)。當最佳矢量已經向上投射到1∶2級別以后(步驟104)，圍繞著該最佳矢量(210f)生成一組更新矢量(305a-305d)。在該級別上，圍繞著向下投射到1∶2分辨率級別上的陳舊1∶1濾波矢量(205)也生成第二組更新矢量(310a-310d)。通過計算所有更新矢量中的最小SAD，如同在1∶4分辨率級別上一樣，找到一個新的最佳矢量(305a)。然后選擇該最佳更新矢量并且存儲在存儲器中(步驟106)。
然后處理再次檢查是否存在任何更高的分辨率級別(步驟108)。在該點上，在分辨率金字塔中剩余一個更高的分辨率級別，因此處理再次返回到步驟104，其中圖3中的1∶2分辨率級別的最佳矢量(305a)被濾波并且向上投射到如圖4所示的最高的1∶1分辨率級別上。圍繞著投射和濾波的最佳矢量(305a)再次生成一組更新矢量(405a-405d)(步驟104)。在該級別上，圍繞著陳舊1∶1濾波矢量也生成第二組更新矢量(410a-410d)。圍繞著攝影矢量(415)還生成第三組更新矢量(420a-420d)。
攝影矢量描述了幀內容的整體運動，與完全獨立的計算每個圖像決位置的本地矢量相反，攝影矢量可以用于協(xié)助找到一個更為真實的運動矢量。在幾個通常發(fā)生的場景當中，由于一幀中每個位置上的攝影移動產生的運動矢量能夠利用一個簡單的模式輕松預測。例如，在攝像機鏡頭搖動攝影遠處風景的情況下，所有的運動矢量將是相同的，并且等于攝像機的速度。當攝像機鏡頭移動到位于一個平面上的對象，例如墻面上的一幅畫時，將是另外的一個場景。然后所有的運動矢量具有一個輻射方向，并且從圖像中央的零增大到圖像邊緣的最大值。
在一個執(zhí)行當中，處理試圖將一個數學模式應用到使用最小平方算法計算的運動矢量上。攝影運動矢量和數學模型之間的最好的匹配表明上述的一個場景可能正在發(fā)生，并且可以使用攝影模式預測矢量作為下一個遞歸分級矢量估算步驟中的附加候選矢量。考慮到攝影矢量的優(yōu)勢在于遞歸分級搜索的遞歸部分是一個本地搜索方法，其可以會聚成一個虛假的本地最小值來代替真實的最小值。攝影預測矢量候選可能潛在的幫助避免虛假本地最小值的檢測并且使處理直接前進到真實的最小值。
然后如同在1∶4和1∶2分辨率級別一樣，找到新的最佳矢量(405d)(步驟106)，并且存儲在存儲器中。然后處理再次檢查是否存在任何更高的分辨率級別(步驟108)。這次不存在更高的分辨率級別，因此處理前進到步驟112，在那里選擇出最佳矢量，并且使用該最佳矢量進行運動補償，這樣完成了當前幀的處理。
上述處理是針對幀中的所有4×4像素的圖像塊進行的，并且根據確定的運動矢量，在源幀和目標幀之間執(zhí)行幀的內插，從而使由于人眼的跟蹤造成的期待圖像矢量和顯示圖像矢量之間存在較小的差異或者根本沒有差異。
從上面的討論可以看到，本發(fā)明提供了一個平滑并且精確的矢量場，并且僅使用了非常少的運算量。而且，由于分辨率的多種級別，降低了會聚延遲。與傳統(tǒng)的方法相比可以使用更少的分辨率級別，并且由于通過在每個分辨率上測試投射矢量來保證在更高的分辨率級別改變分辨率，更低級別的矢量誤差不會被放大。在濾波為一個先前的圖像對所確定的運動矢量的過程中執(zhí)行一個時間矢量的分割能夠幫助解決圍繞著較小的邊緣細節(jié)發(fā)生對象-背景矢量不連續(xù)的問題，例如，一輛移動汽車上的引擎罩，或者類似類型的細節(jié)。同時，時間矢量分割不相反的影響不含有對象邊緣的圖像區(qū)域。在該場景中，外部矢量(即，不正確的矢量)或者矢量將從好的矢量中分離出來，因此改過程仍是有利的。
本發(fā)明也可以在數字電子電路或者在計算機硬件，固件，軟件或者它們的結合當中實現。本發(fā)明中的裝置可以在實際嵌入到一個計算機可讀的存儲設備中的計算機程序產品中，通過可編程的處理器的執(zhí)行來實現；并且，本發(fā)明的方法步驟可以通過可編程的處理器通過執(zhí)行指令程序，操作輸入數據和產生輸出來實現本發(fā)明的功能。本發(fā)明也可以在一個可編程系統(tǒng)中執(zhí)行一個或者多個計算機程序來實現，所述的可編程系統(tǒng)包括至少一個可編程的處理器，至少一個輸入設備以及至少一個輸出設備，所述的處理器與一個數據存儲系統(tǒng)耦和，用于從該系統(tǒng)接收數據和指令，并且向該系統(tǒng)發(fā)射數據和指令。每個計算機程序可以在高級流程或者面向對象的編程語言，或者如果需要在匯編或者在機器語言中執(zhí)行。并且在任何情況下，語言可以是一個編譯的或者解釋的語言。合適的處理器包括，例如，通用和專用的微處理器。通常，一個處理器將從一個只讀存儲器和/或一個隨機訪問存儲器接收指令和數據。通常，一個計算機將包括一個或者多個用于存儲數據文件的大型存儲設備；這樣的設備包括磁盤，例如內部的硬盤和可移動盤；磁-光盤；以及光盤。存儲設備適于實際的嵌入計算機程序指令和數據，包括所有形式的非易失性存儲器，包括，例如半導體存儲設備，例如EPROM，EEPROM。以及閃存設備；磁盤，例如內部硬盤和可移動盤；磁-光盤；以及CD-ROM盤。任何前述的盤都可以由ASIC(專用集成電路)補充或者集成到ASIC當中。
圖6表明了一個用于執(zhí)行本發(fā)明的計算機系統(tǒng)(600)。該計算機系統(tǒng)(600)僅是圖形系統(tǒng)的例子，其中應用了本發(fā)明。該計算機系統(tǒng)(600)包括一個中央處理單元(CPU)(610)，一個隨機訪問存儲器(RAM)(620)，一個只讀存儲器(ROM)(625)，一個或者多個外部設備(630)，一個圖形控制器(660)，主存儲器設備(640和650)以及一個數字顯示單元(670)。在現有技術中已知，ROM單向的向CPU(610)傳送數據和指令，同時通常使用RAM(620)以雙向的方式傳輸數據和指令。CPU(610)通常包括任意數量的處理器。主存儲設備(640和650)包括任何合適的計算機可讀介質。第二存儲介質(680)，通常是一個大型存儲設備，也與CPU(610)雙向耦合并且提供附加的數據存儲容量。大型存儲設備(680)是一個用于存儲含有計算機代碼，數據等的程序的計算機可讀介質。大型存儲設備(680)是一個通常比主存儲設備(640，650)速度慢的存儲介質，例如硬盤或者磁帶。大型存儲設備(680)可以是磁盤或者紙帶讀取器或者其他已知類型的設備。應當理解大型存儲設備(680)中的保留的信息在合適的情況下可以以標準方式結合作為虛擬的存儲器的RAM(620)的一部分。
CPU(610)也耦合到一個或者多個輸入/輸出設備(690)上，其包括，但不局限于視頻監(jiān)視器，跟蹤球，鼠標，鍵盤，麥克風，觸覺顯示器，傳感卡讀取器，磁或者紙帶讀取器，輸入板，鐵筆，語音或者字跡識別器，或者其他已知的輸入設備，例如其他的計算機。最后，CPU(610)使用(695)所示的網絡連接，選擇性的耦合到一個計算機或者無線電通訊網絡，例如一個互聯網網絡或者一個內部網絡。利用這樣的網絡連接，可以預期CPU(610)能夠從網絡接收信息，或者在執(zhí)行上述步驟的過程中向網絡輸出信息。這樣的信息，通常被表示為使用CPU(610)執(zhí)行的指令序列，可以從網絡接收以及輸出到網絡當中，例如以嵌入在載波中的計算機數據信號的形式。上述的設備和材料對于計算機硬件和軟件領域的技術人員來說是非常熟悉的。
圖形控制器(660)生成圖像數據和一個相應的參考信號，并且將其提供給數字顯示單元(670)?？梢愿鶕?，例如從CPU(610)或者外部編碼器(未顯示)接收的像素數據，生成圖像數據。在一個實施例中，圖像數據以RGB的形式提供，并且參考符號包括本領域所熟知的VSYNC和HSYNC。但是，應當理解本發(fā)明可以以其他形式的數據和/或參考符號執(zhí)行。例如，圖像數據可以包括具有相應的時間參考信號的視頻信號數據。
已經描述了本發(fā)明的多種執(zhí)行方式。不論怎樣，應當理解不背離本發(fā)明的精神和范圍內可以做出各種改變。例如除了中間層的分級和時間矢量，向下投射產生的攝影模式矢量也可以用作SAD計算的候選矢量。因此，其他的實施例也包含在后面的權利要求的范圍之內。
權利要求
1.一種用于在一個數字視頻序列中執(zhí)行時間運動矢量濾波的方法，包括接收多個矢量，該矢量表示含有一個或者多個對象和背景的圖像塊的潛在的運動矢量；將多個矢量分割成兩個或者多個矢量族；為每個矢量族確定一個代表矢量；測試每個代表矢量，確定哪個代表矢量最精確的反映了數字視頻的第一幀和第二幀之間的圖像塊的移動；以及選擇最精確的反映了圖像塊的移動的代表矢量為運動矢量。
2.根據權利要求1所述的方法，其中分割包括通過在多個矢量中識別彼此距離最遠的兩個矢量來確定第一族的第一源矢量和第二族的第二源矢量；以及對于多個矢量中的其他矢量如果該矢量最靠近第一源矢量，則將該矢量放入第一族；如果該矢量最靠近第二源矢量，則將該矢量放入第二族。
3.根據權利要求1所述的方法，其中確定一個代表矢量包括對于每個族，確定該族中的哪個矢量具有與該族中的所有其他矢量最小的距離總和。
4.根據權利要求1所述的方法，其中每個族代表數字視頻中的一個對象或者一個背景。
5.根據權利要求1所述的方法，其中每個圖像塊包括多個像素。
6.根據權利要求1所述的方法，其中多個矢量中的一個矢量表示一個在第一像素開始，在第二像素結束的陳舊運動矢量，多個矢量中的其他矢量在第一像素開始，在與水平或者垂直方向上不同于第二像素的像素結束。
7.根據權利要求1所述的方法，其中每個圖像塊的尺寸是8×8像素。
8.根據權利要求1所述的方法，其中測試每個代表矢量包括對于每個代表矢量將第一窗口集中在形成代表矢量的原點的像素上；將第二窗口集中在形成代表矢量的結束點的像素上；確定第一窗口中的像素以及第二窗口中的相應位置的像素的亮度值的絕對差的和；以及選擇最精確的反映了圖像塊的移動的矢量為代表矢量，代表矢量具有最小的絕對差的和。
9.根據權利要求8所述的方法，其中第一和第二窗口的尺寸與圖像塊的尺寸相同。
全文摘要
公開了一種執(zhí)行和使用用于在數字視頻中執(zhí)行時間運動矢量濾波技術的方法和裝置，包括計算機程序產品。使用一個遞歸分級處理來確定一個運動矢量。在該遞歸分級處理中，濾波陳舊運動矢量的鄰近矢量從而為成對的兩個圖像幀的一個圖像塊生成一個第一估計運動矢量。濾波處理使用圍繞著陳舊運動矢量的鄰近區(qū)域內的多個矢量來提高第一估計運動矢量的預測。時間矢量分割處理在選擇一個最佳運動矢量以前，將與一個對象有關的運動矢量和一個與背景有關的運動矢量分離，這改進了選擇處理。該處理在沒有對象/背景邊緣的情況下也能夠很好的工作，在這種情況下外部(不正確)矢量或者矢量將與好的矢量分開。
文檔編號H04N5/14GK1694493SQ20041010209
公開日2005年11月9日 申請日期2004年12月22日 優(yōu)先權日2003年12月23日
發(fā)明者H·N·奈爾 申請人:創(chuàng)世紀微芯片公司