專利名稱：運(yùn)動補(bǔ)償幀速率轉(zhuǎn)換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻和圖形處理的改進(jìn)。
背景技術(shù)：
在逐行數(shù)字顯示設(shè)備的低顯示更新率下(例如，隔行視頻材料的50場/秒，以及原始電影材料的24幀/秒)，可能發(fā)生被稱為“區(qū)域閃爍”的顯示假象。由于人類視覺外圍區(qū)域?qū)﹂W爍的高度敏感，隨著顯示器尺寸的增大，該區(qū)域閃爍越來越可見。降低區(qū)域閃爍的簡單辦法是通過以更高的速率(例如，隔行視頻100場/秒)重復(fù)輸入場或者幀來提高顯示更新率。這解決了靜態(tài)場景的區(qū)域閃爍問題。但是，在具有運(yùn)動的場景中，重復(fù)引入了新的假象，已知的是“運(yùn)動抖動”或者“運(yùn)動拖尾”，由于人眼傾向于跟蹤運(yùn)動對象的軌跡，所以尤其在高對比度的區(qū)域容易發(fā)生上述的狀況。為此，最好存在一個運(yùn)動補(bǔ)償幀內(nèi)插，其中在一個內(nèi)插幀或者場中，在本地運(yùn)動軌跡的中點(diǎn)計算像素，從而在由于人眼的跟蹤所產(chǎn)生的期待圖像運(yùn)動和顯示圖像運(yùn)動之間不存在差異。從一場或者幀向下一場或者幀的本地圖像運(yùn)動軌跡被稱為一個運(yùn)動矢量。
運(yùn)動矢量可以在空間分辨率的不同級別上計算，例如在像素級別，在圖像塊級別，或者在對象級別。為每個像素獨(dú)立的計算一個運(yùn)動矢量理論上會產(chǎn)生一個理想的數(shù)據(jù)集，但是由于所需的巨大的計算量，這是不可行的。為每個圖像塊計算運(yùn)動矢量降低了計算量，但是由于圖像塊內(nèi)的運(yùn)動矢量的不連續(xù)可能導(dǎo)致假象出現(xiàn)。以一個對象為基礎(chǔ)計算運(yùn)動矢量理論上會產(chǎn)生高的分辨率和更低的運(yùn)算需求，但是對象分割卻是一個存在挑戰(zhàn)的問題。
因此，需要一種有效并且精確的確定運(yùn)動矢量的方法，這樣在由于人眼跟蹤造成的期待圖像運(yùn)動與數(shù)字視頻中的顯示圖像運(yùn)動之間沒有或者幾乎沒有差異。

發(fā)明內(nèi)容
本發(fā)明提供用于有效并且精確的確定運(yùn)動矢量的方法和裝置，從而在由于人眼跟蹤造成的期待圖像運(yùn)動與數(shù)字視頻中的顯示圖像運(yùn)動之間沒有或者幾乎沒有差異。
通常，在一個方面，本發(fā)明提供了方法和裝置，包括計算機(jī)程序產(chǎn)品，執(zhí)行和使用用于在數(shù)字視頻序列中計算運(yùn)動矢量的技術(shù)。以第一分辨率接收第一圖像幀。該第一圖像幀包括幾個圖像塊，每個圖像塊分別具有一個第一位置。以第一分辨率接收第二圖像幀。第二圖像幀包括與第一圖像幀中的圖像塊相應(yīng)的一個或者多個圖像塊，并且每個圖像塊都具有一個第二位置。為在第二圖像幀中具有一個相應(yīng)的圖像塊的第一圖像幀中的每個圖像塊確定一個運(yùn)動矢量。確定包括生成兩個或者多個每個第一和第二圖像幀的副本，每個副本包括與第一分辨率不同的，低于第一分辨率的分辨率，并且在每個分辨率的多個矢量中選擇一個最佳的運(yùn)動矢量。確定的運(yùn)動矢量用于在一個內(nèi)插幀中建立圖像塊的一個中間位置，該內(nèi)插幀是第一和第二幀的中間幀。
有利的執(zhí)行可以包括下面的一個或者多個特征。確定可以包括a)在最低的分辨率選擇第一圖像幀的副本；b)選擇一個為先前的圖像幀對確定的運(yùn)動矢量；c)將選定的運(yùn)動矢量投射到選定的第一圖像幀的副本上；d)在第一圖像幀的選定副本上生成一個或者多個更新矢量；e)在投射的矢量和更新矢量中選擇一個新的最佳運(yùn)動矢量；f)選擇一個具有更高分辨率級別的第一圖像幀的新的副本；g)重復(fù)步驟c)-f)，直到達(dá)到第一分辨率為止；以及h)使用第一分辨率級別的選定的最佳運(yùn)動矢量作為確定的運(yùn)動矢量。每個圖像塊可以包括多個像素，例如，可以是8×8像素。
生成兩個或者多個副本包括生成每個第一和第二圖像幀的兩個副本，每個副本包括與第一分辨率不同的，低于第一分辨率的分辨率。選擇一個運(yùn)動矢量包括如果在圖像幀對之間存在不連續(xù)，或者先前的圖像幀不存在，就選擇一個零矢量作為運(yùn)動矢量。選擇一個運(yùn)動矢量包括濾波根據(jù)先前的圖像幀對確定的運(yùn)動矢量。
濾波包括在一組用于先前的圖像幀對的兩個或者多個運(yùn)動矢量中確定一個中間矢量。濾波可以包括在用于一組用于先前圖像幀對的兩個或者多個運(yùn)動矢量中執(zhí)行一個時間分割處理。生成一個或者多個更新矢量包括生成與選定的運(yùn)動矢量具有相同的原點(diǎn)的一個或者多個運(yùn)動矢量，生成的運(yùn)動矢量結(jié)束于在水平方向或者垂直方向上不同于選定的運(yùn)動矢量的結(jié)束點(diǎn)的像素。更新矢量可以在被一個或者多個像素在水平或者垂直方向上與選定的運(yùn)動矢量結(jié)束位置的像素分離的像素處結(jié)束。
選擇一個新的最佳的運(yùn)動矢量可以包括對于每個選定的運(yùn)動矢量和更新矢量將第一窗口集中在形成矢量原點(diǎn)的第一圖像幀的像素上；將第二窗口集中在形成矢量的結(jié)束點(diǎn)的第二圖像幀的像素上，第二窗口與第一窗口具有相同的尺寸；為第一窗口中的像素和第二窗口中的相應(yīng)位置的像素確定亮度值的絕對差的和。選擇具有最佳絕對差的和的矢量為新的最佳運(yùn)動矢量。第一和第二窗口的尺寸可以等于圖像塊的尺寸。確定可以進(jìn)一步包括將一個攝影矢量投射到選定的第一圖像幀的副本上，攝影矢量描述了第一和第二圖像幀之間的綜合矢量，并且在投射矢量，更新矢量和攝影矢量當(dāng)中選擇一個新的最佳運(yùn)動矢量。
在追加的附圖和下面的描述中將詳細(xì)闡述本發(fā)明的一個或者多個實(shí)施例的細(xì)節(jié)。本發(fā)明的其他特征，對象以及優(yōu)點(diǎn)將通過說明書和附圖，以及權(quán)利要求的描述變得清楚明了。


圖1表明了用于確定一個運(yùn)動矢量的遞歸分級處理的流程圖。
圖2表明了用于在一個視頻幀的原始分辨率的1∶4的分辨率下確定一個最佳的運(yùn)動矢量的示例矢量。
圖3表明了在一個視頻幀的原始分辨率的1∶2的分辨率下確定一個最佳的運(yùn)動矢量的示例矢量。
圖4表明了在一個視頻幀的原始分辨率下確定一個最佳運(yùn)動矢量的示例矢量。
圖5表明了用于執(zhí)行本發(fā)明的一個計算機(jī)系統(tǒng)。
在多個附圖當(dāng)中相同的參考符號表示相同的元件。
具體實(shí)施例方式
本發(fā)明提供了一種用于有效并且精確的確定運(yùn)動矢量的方法和裝置，這樣在由于人眼跟蹤造成的期待圖像運(yùn)動與數(shù)字視頻中的顯示圖像運(yùn)動之間沒有或者幾乎沒有差異。這可以通過使用一種確定運(yùn)動矢量的遞歸分級方法來實(shí)現(xiàn)。
通常，為了較好的運(yùn)行運(yùn)動補(bǔ)償方法，包括這里所述的遞歸分級方法，需要對對象運(yùn)動的特性做兩個基本假設(shè)1)運(yùn)動對象具有慣性，以及2)運(yùn)動對象很大。慣性假設(shè)暗示著對于一個時間矢量采樣間隔(就是，數(shù)字視頻中的幀速率)來說，運(yùn)動矢量逐漸的發(fā)生變化。較大對象的假設(shè)暗示著對于一個空間矢量采樣間隔來說，運(yùn)動矢量僅是逐漸變化，就是說，矢量場是平滑的，并且具有較少的邊緣運(yùn)動不連續(xù)。
遞歸分級方法的目標(biāo)是通過將一個源相關(guān)窗口應(yīng)用到第一圖像幀和將一個目標(biāo)相關(guān)窗口應(yīng)用到下一圖像幀，并且放置目標(biāo)相關(guān)窗口，從而獲得目標(biāo)相關(guān)窗口與源相關(guān)窗口之間的最佳匹配，也就是，源相關(guān)窗口的內(nèi)容與目標(biāo)相關(guān)窗口的內(nèi)容盡可能的相同，從而找到一個運(yùn)動矢量。同時，執(zhí)行源相關(guān)窗口和目標(biāo)相關(guān)窗口之間的匹配所需的計算量盡可能的少，而仍然搜索全部矢量空間限制。為了實(shí)現(xiàn)這些目標(biāo)，遞歸分級算法使用了圖像幀的多種分辨率級別。首先確定最低分辨率級別的最佳運(yùn)動矢量，這是通過將先前的最高分辨率級別的最佳運(yùn)動矢量向下投射到最低的分辨率級別，對其進(jìn)行測試，并且更新一個或者多個。然后將該最佳運(yùn)動矢量向上傳輸?shù)揭粋€更高的分辨率級別，在那進(jìn)行一些調(diào)整并且確定一個新的最佳運(yùn)動矢量。該新的最佳運(yùn)動矢量繼續(xù)向上傳輸?shù)搅硪粋€更高的分辨率級別，在那進(jìn)行一些調(diào)整并且確定另一個新的運(yùn)動矢量。該處理一直重復(fù)進(jìn)行直到達(dá)到了最高的，原始的分辨率級別并且確定了一個最佳運(yùn)動矢量為止。
圖1表明了一個遞歸分級處理(100)的執(zhí)行。假設(shè)已經(jīng)生成了圖像幀的多種分辨率級別。如圖1所示，確定一個運(yùn)動矢量的遞歸分級處理(100)開始于將一個先前圖像幀的運(yùn)動矢量向下投射到一個最低的分辨率級別(步驟102)。產(chǎn)生一組更新矢量并且進(jìn)行測試從而找到最低分辨率級別上的最佳運(yùn)動矢量(步驟104)。在一個實(shí)施例中，這種測試是通過將集中在運(yùn)動矢量的原點(diǎn)的源相關(guān)窗口與集中在每個更新矢量的結(jié)束點(diǎn)的目標(biāo)相關(guān)窗口中的相應(yīng)位置的像素比較來實(shí)現(xiàn)的。比較可以，例如通過將每個目標(biāo)窗口中的每個像素減去源窗口中的相應(yīng)像素的亮度值來實(shí)現(xiàn)。在這種情況下，最佳匹配將通過找到源相關(guān)窗口和目標(biāo)相關(guān)窗口對中的絕對差的最小和(SAD)來定義，并且最佳運(yùn)動矢量將是與該源相關(guān)窗口和目標(biāo)相關(guān)窗口對有關(guān)的矢量。
在找到了最小SAD以后，選擇最佳矢量(步驟106)。然后處理(100)檢查是否存在更高的分辨率級別(步驟108)。如果存在更高的分辨率級別，處理將最佳矢量向上傳輸?shù)较乱粋€更高的分辨率級別(步驟110)，并且重復(fù)步驟104-108。如果沒有更高的分辨率級別，處理前進(jìn)到步驟112，在那里選擇最佳矢量作為運(yùn)動矢量，并且用于運(yùn)動補(bǔ)償，這樣完成了當(dāng)前幀的處理。
該方法的優(yōu)點(diǎn)在于在一個較低的級別，一個像素的更新等于在下一個較高級別的兩個或者多個像素的更新，這取決于兩個級別之間的分辨率的差。如果例如存在三個分辨率級別，就是1∶1，1∶2和1∶4，并且在每個級別更新+/-1個像素，那么會聚延遲潛在的降低了四倍。換種說法，使用有效的分辨率分級來加速時間遞歸會聚。這帶來了顯著的改進(jìn)，尤其對于具有高速運(yùn)動的小對象的幀。
現(xiàn)在將參照附圖1-4，通過具有1∶1，1∶2以及1∶4的三個分辨率級別的遞歸分級方案，4×4像素的圖像塊柵格為例，詳細(xì)描述本發(fā)明。應(yīng)當(dāng)注意附圖2-4所示的矢量僅是為了表明該例子，分辨率級別的數(shù)目以及每個分辨率級別的矢量數(shù)目和/或類型可以根據(jù)不同的參數(shù)，例如計算成本，質(zhì)量，處理速度等改變。
圖4表明了一個圖像塊柵格(400)，其被分成了4×4像素的圖像塊(405)，其中每個像素被表示為一個圓(410)。黑色的像素(415)表示為每個4×4圖像像素塊計算運(yùn)動矢量的位置。從圖4可以看出，為每個4×4圖像像素塊計算一個運(yùn)動矢量，并且每個4×4圖像像素塊中的運(yùn)動矢量原點(diǎn)的位置是相同的。圖3表明了分辨率是圖4所示的原始像素柵格一半的相同的像素柵格(400)。圖2表明了更低分辨率的相同的像素柵格(400)，在本實(shí)施例中，分辨率是圖3所示的分辨率的一半，或者圖4所示的分辨率的四分之一。
如圖1和圖2所示，確定一個運(yùn)動矢量的遞歸分級處理開始于將一個先前圖像的運(yùn)動矢量(205)向下投射到最低的分辨率級別(步驟102)，在本實(shí)施例中是原始分辨率的1∶4，如圖2所示。在一個實(shí)施例中，在投射之前，濾波該陳舊運(yùn)動矢量(205)，這主要是考慮到鄰近像素中含有造成矢量不連續(xù)的對象背景邊緣的情況。在一個實(shí)施例中，通過跟蹤?quán)徑噶炕蛘哒业洁徑噶拷M的中間矢量，或者執(zhí)行一個時間分割程序來執(zhí)行濾波。在兩種情況下，濾波輸出是一個1∶1級別的新的基礎(chǔ)矢量，其接下來向下投射到1∶4的級別。在該序列的第一幀中，就是，當(dāng)沒有先前圖像時，處理(100)開始于將零矢量作為陳舊運(yùn)動矢量。在一個實(shí)施例中，當(dāng)視頻中存在場景中斷時，就是當(dāng)兩幀之間沒有連續(xù)性時，也使用零矢量。
生成了一組更新矢量(210a-210f)并且測試這些更新矢量從而找到與陳舊濾波投射運(yùn)動矢量之間相差+/-1個像素或者+/-2個像素的最小SAD。在圖2中，表明了六個更新矢量(210a-210f)，由于水平方向的移動通常大于垂直方向的移動，因此兩個用于水平方向上的+/-1個像素，兩個用于水平方向上的+/-2個像素，以及兩個用于垂直方向上的+/-1個像素。但是，本領(lǐng)域的技術(shù)人員能夠理解，可以在與投射矢量(205)相關(guān)的任何水平和/或垂直方向上生成任何數(shù)目的更新矢量并對其進(jìn)行測試。在一個執(zhí)行當(dāng)中，一個預(yù)測的攝影矢量也向下投射1∶4的級別。該攝影矢量將被進(jìn)一步詳細(xì)描述。
在一個執(zhí)行當(dāng)中，通過將一個圖像塊的候選矢量指向目標(biāo)幀中的不同的像素位置來計算SAD，其中候選矢量源于源幀中的相同的圖像塊位置。對于每個候選矢量，一個矩形的窗口集中目標(biāo)幀中的每個候選矢量所指向的像素上。一個相應(yīng)的矩形窗口集中在源幀中候選矢量起源的像素上。然后計算兩個窗口中的相應(yīng)亮度像素，就是，在兩個窗口中具有相同相對位置的像素的絕對差對。所有絕對差的總和就是SAD值。SAD值隨著窗口的更加匹配而減小，當(dāng)像素相同時，理想中SAD減小到零。實(shí)際上，當(dāng)然，由于噪聲和其他因素的影響，最佳矢量具有非零的SAD，但是最佳矢量將具有候選矢量組中的矢量的最小SAD。
當(dāng)找到了最小SAD以后，最佳矢量，就是，具有最小SAD(210f)的矢量被選擇并且存儲在存儲器中(步驟106)。然后處理檢查是否存在更高的分辨率級別(步驟108)。如上所述，在本實(shí)施例中，存在兩個更高的分辨率級別，因此處理傳輸最佳矢量(210f)，將其投射到1∶2的分辨率級別上，如圖3所示(步驟110)。當(dāng)最佳矢量已經(jīng)向上投射到1∶2級別以后(步驟104)，圍繞著該最佳矢量(210f)生成一組更新矢量(305a-305d)。在該級別上，圍繞著向下投射到1∶2分辨率級別上的陳舊1∶1濾波矢量(205)也生成第二組更新矢量(310a-310d)。通過計算所有更新矢量中的最小SAD，如同在1∶4分辨率級別上一樣，找到一個新的最佳矢量(305a)。然后選擇該最佳更新矢量并且存儲在存儲器中(步驟106)。
然后處理再次檢查是否存在任何更高的分辨率級別(步驟108)。在該點(diǎn)上，在分辨率金字塔中剩余一個更高的分辨率級別，因此處理再次返回到步驟104，其中圖3中的1∶2分辨率級別的最佳矢量(305a)被濾波并且向上投射到如圖4所示的最高的1∶1分辨率級別上。圍繞著投射和濾波的最佳矢量(305a)再次生成一組更新矢量(405a-405d)(步驟104)。在該級別上，圍繞著陳舊1∶1濾波矢量也生成第二組更新矢量(410a-410d)。圍繞著攝影矢量(415)還生成第三組更新矢量(420a-420d)。
攝影矢量描述了幀內(nèi)容的整體運(yùn)動，與完全獨(dú)立的計算每個圖像塊位置的本地矢量相反，攝影矢量可以用于協(xié)助找到一個更為真實(shí)的運(yùn)動矢量。在幾個通常發(fā)生的場景當(dāng)中，由于一幀中每個位置上的攝影移動產(chǎn)生的運(yùn)動矢量能夠利用一個簡單的模式輕松預(yù)測。例如，在攝像機(jī)鏡頭搖動攝影遠(yuǎn)處風(fēng)景的情況下，所有的運(yùn)動矢量將是相同的，并且等于攝像機(jī)的速度。當(dāng)攝像機(jī)鏡頭移動到位于一個平面上的對象，例如墻面上的一幅畫時，將是另外的一個場景。然后所有的運(yùn)動矢量具有一個輻射方向，并且從圖像中央的零增大到圖像邊緣的最大值。
在一個執(zhí)行當(dāng)中，處理試圖將一個數(shù)學(xué)模式應(yīng)用到使用最小平方算法計算的運(yùn)動矢量上。攝影運(yùn)動矢量和數(shù)學(xué)模型之間的最好的匹配表明上述的一個場景可能正在發(fā)生，并且可以使用攝影模式預(yù)測矢量作為下一個遞歸分級矢量估算步驟中的附加候選矢量?？紤]到攝影矢量的優(yōu)勢在于遞歸分級搜索的遞歸部分是一個本地搜索方法，其可以會聚成一個虛假的本地最小值來代替真實(shí)的最小值。攝影預(yù)測矢量候選可能潛在的幫助避免虛假本地最小值的檢測并且使處理直接前進(jìn)到真實(shí)的最小值。
然后如同在1∶4和1∶2分辨率級別一樣，找到新的最佳矢量(405d)(步驟106)，并且存儲在存儲器中。然后處理再次檢查是否存在任何更高的分辨率級別(步驟108)。這次不存在更高的分辨率級別，因此處理前進(jìn)到步驟112，在那里選擇出最佳矢量，并且使用該最佳矢量進(jìn)行運(yùn)動補(bǔ)償，這樣完成了當(dāng)前幀的處理。
上述處理是針對幀中的所有4×4像素的圖像塊進(jìn)行的，并且根據(jù)確定的運(yùn)動矢量，在源幀和目標(biāo)幀之間執(zhí)行幀的內(nèi)插，從而使由于人眼的跟蹤造成的期待圖像矢量和顯示圖像矢量之間存在較小的差異或者根本沒有差異。
從上面的討論可以看到，本發(fā)明提供了一個平滑并且精確的矢量場，并且僅使用了非常少的運(yùn)算量。而且，由于分辨率的多種級別，降低了會聚延遲。與傳統(tǒng)的方法相比可以使用更少的分辨率級別，并且由于通過在每個分辨率上使用投影矢量保證在更高的分辨率級別改變分辨率，更低級別的矢量誤差不會被放大。
本發(fā)明也可以在數(shù)字電子電路或者在計算機(jī)硬件，固件，軟件或者它們的結(jié)合當(dāng)中實(shí)現(xiàn)。本發(fā)明中的裝置可以在實(shí)際嵌入到一個計算機(jī)可讀的存儲設(shè)備中的計算機(jī)程序產(chǎn)品中，通過可編程的處理器的執(zhí)行來實(shí)現(xiàn)；并且，本發(fā)明的方法步驟可以通過可編程的處理器通過執(zhí)行指令程序，操作輸入數(shù)據(jù)和產(chǎn)生輸出來實(shí)現(xiàn)本發(fā)明的功能。本發(fā)明也可以在一個可編程系統(tǒng)中執(zhí)行一個或者多個計算機(jī)程序來實(shí)現(xiàn)，所述的可編程系統(tǒng)包括至少一個可編程的處理器，至少一個輸入設(shè)備以及至少一個輸出設(shè)備，所述的處理器與一個數(shù)據(jù)存儲系統(tǒng)耦和，用于從該系統(tǒng)接收數(shù)據(jù)和指令，并且向該系統(tǒng)發(fā)射數(shù)據(jù)和指令。每個計算機(jī)程序可以在高級流程或者面向?qū)ο蟮木幊陶Z言，或者如果需要在匯編或者在機(jī)器語言中執(zhí)行。并且在任何情況下，語言可以是一個編譯的或者解釋的語言。合適的處理器包括，例如，通用和專用的微處理器。通常，一個處理器將從一個只讀存儲器和/或一個隨機(jī)訪問存儲器接收指令和數(shù)據(jù)。通常，一個計算機(jī)將包括一個或者多個用于存儲數(shù)據(jù)文件的大型存儲設(shè)備；這樣的設(shè)備包括磁盤，例如內(nèi)部的硬盤和可移動盤；磁-光盤；以及光盤。存儲設(shè)備適于實(shí)際的嵌入計算機(jī)程序指令和數(shù)據(jù)，包括所有形式的非易失性存儲器，包括，例如半導(dǎo)體存儲設(shè)備，例如EPROM，EEPROM。以及閃存設(shè)備；磁盤，例如內(nèi)部硬盤和可移動盤；磁-光盤；以及CD-ROM盤。任何前述的盤都可以由ASIC(專用集成電路)補(bǔ)充或者集成到ASIC當(dāng)中。
圖5表明了一個用于執(zhí)行本發(fā)明的計算機(jī)系統(tǒng)(500)。該計算機(jī)系統(tǒng)(500)僅是圖形系統(tǒng)的例子，其中應(yīng)用了本發(fā)明。該計算機(jī)系統(tǒng)(500)包括一個中央處理單元(CPU)(510)，一個隨機(jī)訪問存儲器(RAM)(520)，一個只讀存儲器(ROM)(525)，一個或者多個外部設(shè)備(530)，一個圖形控制器(560)，主存儲器設(shè)備(540和550)以及一個數(shù)字顯示單元(570)。在現(xiàn)有技術(shù)中已知，ROM單向的向CPU(510)傳送數(shù)據(jù)和指令，同時通常使用RAM(520)以雙向的方式傳輸數(shù)據(jù)和指令。CPU(510)通常包括任意數(shù)量的處理器。主存儲設(shè)備(540和550)包括任何合適的計算機(jī)可讀介質(zhì)。第二存儲介質(zhì)(580)，通常是一個大型存儲設(shè)備，也與CPU(510)雙向耦合并且提供附加的數(shù)據(jù)存儲容量。大型存儲設(shè)備(580)是一個用于存儲含有計算機(jī)代碼，數(shù)據(jù)等的程序的計算機(jī)可讀介質(zhì)。大型存儲設(shè)備(580)是一個通常比主存儲設(shè)備(540，550)速度慢的存儲介質(zhì)，例如硬盤或者磁帶。大型存儲設(shè)備(580)可以是磁盤或者紙帶讀取器或者其他已知類型的設(shè)備。應(yīng)當(dāng)理解大型存儲設(shè)備(580)中的保留的信息在合適的情況下可以以標(biāo)準(zhǔn)方式結(jié)合作為虛擬的存儲器的RAM(520)的一部分。
CPU(510)也耦合到一個或者多個輸入/輸出設(shè)備(590)上，其包括，但不局限于視頻監(jiān)視器，跟蹤球，鼠標(biāo)，鍵盤，麥克風(fēng)，觸覺顯示器，傳感卡讀取器，磁或者紙帶讀取器，輸入板，鐵筆，語音或者字跡識別器，或者其他已知的輸入設(shè)備，例如其他的計算機(jī)。最后，CPU(510)使用(595)所示的網(wǎng)絡(luò)連接，選擇性的耦合到一個計算機(jī)或者無線電通訊網(wǎng)絡(luò)，例如一個互聯(lián)網(wǎng)網(wǎng)絡(luò)或者一個內(nèi)部網(wǎng)絡(luò)。利用這樣的網(wǎng)絡(luò)連接，可以預(yù)期CPU(510)能夠從網(wǎng)絡(luò)接收信息，或者在執(zhí)行上述步驟的過程中向網(wǎng)絡(luò)輸出信息。這樣的信息，通常被表示為使用CPU(510)執(zhí)行的指令序列，可以從網(wǎng)絡(luò)接收以及輸出到網(wǎng)絡(luò)當(dāng)中，例如以嵌入在載波中的計算機(jī)數(shù)據(jù)信號的形式。上述的設(shè)備和材料對于計算機(jī)硬件和軟件領(lǐng)域的技術(shù)人員來說是非常熟悉的。
圖形控制器(560)生成圖像數(shù)據(jù)和一個相應(yīng)的參考信號，并且將其提供給數(shù)字顯示單元(570)?？梢愿鶕?jù)，例如從CPU(510)或者外部編碼器(未顯示)接收的像素數(shù)據(jù)，生成圖像數(shù)據(jù)。在一個實(shí)施例中，圖像數(shù)據(jù)以RGB的形式提供，并且參考符號包括本領(lǐng)域所熟知的VSYNC和HSYNC。但是，應(yīng)當(dāng)理解本發(fā)明可以以其他形式的數(shù)據(jù)和/或參考符號執(zhí)行。
已經(jīng)描述了本發(fā)明的多種執(zhí)行方式。不論怎樣，應(yīng)當(dāng)理解不背離本發(fā)明的精神和范圍內(nèi)可以做出各種改變。例如除了中間層的分級和時間矢量，向下投射產(chǎn)生的攝影模式矢量也可以用作SAD計算的候選矢量。而且，如上所述生成的運(yùn)動矢量能夠用于幀速率轉(zhuǎn)換的目的，例如解交織，噪聲降低，等。因此，其他的實(shí)施例也包含在后面的權(quán)利要求的范圍之內(nèi)。
權(quán)利要求
1.一種用于計算數(shù)字視頻序列中的運(yùn)動矢量的方法包括以第一分辨率接收第一圖像幀，第一圖像幀包括多個圖像塊，其中每個圖像塊分別具有一個第一位置；以第一分辨率接收第二圖像幀，第二圖像幀包括與第一圖像幀中的圖像塊相應(yīng)的一個或者多個圖像塊，其中每個圖像塊都具有一個第二位置；對于在第二圖像幀中具有一個相應(yīng)的圖像塊的第一圖像幀中的每個圖像塊為該圖像塊確定一個運(yùn)動矢量，確定包括生成兩個或者多個每個第一和第二圖像幀的副本，每個副本包括與第一分辨率不同的，低于第一分辨率的分辨率，并且在每個分辨率的多個矢量中選擇一個最佳的運(yùn)動矢量；以及使用確定的運(yùn)動矢量在一個內(nèi)插幀中建立圖像塊的一個中間位置，該內(nèi)插幀是第一和第二幀的中間幀。
2.根據(jù)權(quán)利要求1所述的方法，其中確定進(jìn)一步包括a)在最低的分辨率選擇第一圖像幀的副本；b)選擇一個為先前的圖像幀對確定的運(yùn)動矢量；c)將選定的運(yùn)動矢量投射到選定的第一圖像幀的副本上；d)在第一圖像幀的選定副本上生成一個或者多個更新矢量；e)在投射的矢量和更新矢量中選擇一個新的最佳運(yùn)動矢量；f)選擇一個具有更高分辨率級別的第一圖像幀的新的副本；g)重復(fù)步驟c)-f)，直到達(dá)到第一分辨率為止；以及h)使用第一分辨率級別的選定的最佳運(yùn)動矢量作為確定的運(yùn)動矢量。
3.根據(jù)權(quán)利要求1所述的方法，其中每個圖像塊包括多個像素。
4.根據(jù)權(quán)利鑰去3所述的方法，其中每個圖像塊的尺寸是8×8像素。
5.根據(jù)權(quán)利要求2所述的方法，其中生成兩個或者多個副本包括為每個第一和第二圖像幀生成兩個副本，每個副本包括與第一分辨率不同的，低于第一分辨率的分辨率。
6.根據(jù)權(quán)利要求2所述的方法，其中為一個先前的圖像幀對選擇一個運(yùn)動矢量包括如果在先前的圖像幀對和第一圖像幀之間存在不連續(xù)，或者如果先前的圖像幀對不存在，選擇一個零矢量作為運(yùn)動矢量。
7.根據(jù)權(quán)利要求2所述的方法，其中選擇一個為先前的圖像幀對所確定的運(yùn)動矢量包括濾波根據(jù)先前的圖像幀對確定的運(yùn)動矢量。
8.根據(jù)權(quán)利要求7所述的方法，其中濾波包括在一組用于先前的圖像幀對的兩個或者多個運(yùn)動矢量中確定一個中間矢量。
9.根據(jù)權(quán)利要求7所述的方法，其中濾波包括在用于一組用于先前圖像幀對的兩個或者多個運(yùn)動矢量中執(zhí)行一個時間分割處理。
10.根據(jù)權(quán)利要求2所述的方法，其中生成一個或者多個更新矢量包括生成與選定的運(yùn)動矢量具有相同的原點(diǎn)的一個或者運(yùn)動矢量，生成的運(yùn)動矢量結(jié)束于在水平方向或者垂直方向上不同于選定的運(yùn)動矢量的結(jié)束點(diǎn)的像素的像素。
11.根據(jù)權(quán)利要求10所述的方法，其中更新矢量在被一個或者多個像素在水平和/或者垂直方向上與選定的運(yùn)動矢量結(jié)束位置的像素分離的像素處結(jié)束。
12.根據(jù)權(quán)利要求2所述的方法，其中選擇一個新的最佳運(yùn)動矢量包括對于每個選定的運(yùn)動矢量和更新矢量將第一窗口集中在形成矢量原點(diǎn)的第一圖像幀的像素上；將第二窗口集中在形成矢量的結(jié)束點(diǎn)的第二圖像幀的像素上，第二窗口具有與第一窗口相同的尺寸；為第一窗口中的像素和第二窗口中的相應(yīng)位置的像素確定亮度值的絕對差的和；以及選擇具有最小絕對差的和的矢量為新的最佳運(yùn)動矢量。
13.根據(jù)權(quán)利要求12所述的方法，其中第一和第二窗口的尺寸等于圖像塊的尺寸。
14.根據(jù)權(quán)利要求1所述的方法，其中確定進(jìn)一步包括將一個攝影矢量投射到選定的第一圖像幀的副本上，攝影矢量描述了第一和第二圖像幀之間的綜合矢量；以及在投射矢量，更新矢量和攝影矢量當(dāng)中選擇一個新的最佳運(yùn)動矢量。
全文摘要
公開了一種執(zhí)行和使用用于在數(shù)字視頻序列中計算運(yùn)動矢量技術(shù)的方法和裝置，包括計算機(jī)程序產(chǎn)品。通過使用圖像幀中的多個分辨率級別，利用一個遞歸分級方法來確定一個運(yùn)動矢量。首先確定最低分辨率級別的最佳運(yùn)動矢量。然后將該最佳運(yùn)動矢量傳輸?shù)揭粋€更高的分辨率級別，在那里做一些調(diào)整并且確定一個新的最佳運(yùn)動矢量。然后新的最佳運(yùn)動矢量被傳輸?shù)搅硪粋€更高的分辨率級別，在那里再做一些調(diào)整并且確定了另一個新的最佳運(yùn)動矢量。該處理一直重復(fù)進(jìn)行，直到達(dá)到最高的，原始的分辨率級別，并且確定了一個最佳運(yùn)動矢量為止。在原始分辨率級別確定的最佳運(yùn)動矢量用于執(zhí)行運(yùn)動補(bǔ)償。
文檔編號H04N5/44GK1681291SQ200410102089
公開日2005年10月12日 申請日期2004年12月22日 優(yōu)先權(quán)日2003年12月23日
發(fā)明者H·N·奈爾, G·佩特里德斯 申請人:創(chuàng)世紀(jì)微芯片公司