專利名稱：來自壓縮視頻源的多幀運動外插的制作方法
技術領域：
本發(fā)明一般涉及視頻信號處理，并且更具體地涉及用于獲得關于
視頻信號中的視頻數(shù)據(jù)的幀或畫面(picture)的序列所表示的圖像中 的表，見運動(apparent motion )的信息的信號處理。
背景技術：
多種視頻信號處理的應用依賴于檢測視頻信號中的幀或畫面的 序列所表示的圖像中的表觀運動的能力。這些應用中的兩個例子是數(shù) 據(jù)壓縮和降噪。
一些形式的數(shù)據(jù)壓縮依賴于如下這樣的能力，即檢測兩幅畫面或 兩個幀之間的運動，使得可利用幀間編碼視頻數(shù)據(jù)、或相對于另一幀 中的數(shù)據(jù)的相應部分來表示一幀數(shù)據(jù)的至少一部分的數(shù)據(jù)，更有效地 表示一幀視頻數(shù)據(jù)。使用運動檢測的視頻數(shù)據(jù)壓縮的一個例子是 MPEG國2壓縮，在才示題為"Generic Coding of Moving Pictures and Associated Audio Information: Video"的國際標準ISO/IEC 13818-2和 標題為"Guide to the Use of the ATSC Digital Television Standard"的 先進電視標準委員會(ATSC)文檔A/54中描述了 MPEG-2壓縮。 MPEG-2技術使用空間編碼技術來壓縮視頻數(shù)據(jù)的一些幀，而不用參 考視頻數(shù)據(jù)的任何其他幀來生成獨立的或作為幀內(nèi)編碼視頻數(shù)據(jù)的各 個I-幀。由使用運動檢測和預測的時間編碼技術壓縮其他幀。前向預 測用于生成幀間編碼數(shù)據(jù)的各個P-幀或預測幀，前向和后向預測用于 生成幀間編碼數(shù)據(jù)的各個B-幀或雙向幀。MPEG-2兼容應用可以根據(jù) 固定的安排(例如每15幀)選擇用于幀內(nèi)編碼的幀，或它們可以根據(jù) 自適應的安排選擇幀。如果希望的話，自適應的安排可以基于與相鄰 幀之間的內(nèi)容差異或運動的檢測相關的準則。一些降噪技術依賴于識別圖像中發(fā)生運動的部分或可替換地其 中沒有發(fā)生運動的部分的能力。 一種降噪系統(tǒng)使用運動檢測來控制對 幀序列中的各幀中的對應像元或"像素"的時域低通濾波器的應用。此 形式的降噪通過僅對圖像中沒有檢測到運動的那些區(qū)應用其低通濾波 器來避免使移動對象的表觀模糊。低通濾波器的 一種實現(xiàn)方式計算幀 序列中的對應像素的移動平均值，并且用該平均值替代當前幀中的相 應像素。
MPEG-2壓縮使用用于幀間編碼的運動向量來表示視頻數(shù)據(jù)的 兩個幀之間的運動。MPEG-2運動向量表示了兩個不同畫面或幀之間 的畫面區(qū)域的水平和豎直位移。
對于給定幀序列，這里提及的壓縮和降噪應用的性能通常隨著運 動向量的數(shù)目增加而提高。
已開發(fā)出數(shù)種通過檢測幀之間的差異來獲得運動向量的方法。一 種公知的方法用稱為塊匹配的技術，該技術將"當前"視頻數(shù)據(jù)幀中的 視頻數(shù)據(jù)與"參考，，數(shù)據(jù)幀中的視頻數(shù)據(jù)比較。當前幀中的數(shù)據(jù)例如被 分成諸如16x16個像素或8x8個像素的塊的塊的陣列，而且當前幀中 的相應塊的內(nèi)容與參考幀中的搜索區(qū)中的像素陣列比較。如果在當前 幀中的塊和參考幀的區(qū)域之間發(fā)現(xiàn)匹配，可認為由該塊表示的圖像的 部分發(fā)生了運動。
搜索區(qū)常常是具有指定的高度和寬度并且位置中心在相應塊的 對應位置處的參考幀的矩形區(qū)域。搜索區(qū)的高度和寬度可是固定的或 者自適應的。 一方面，較大的搜索區(qū)允許檢測與較高的移動速度相對 應的較大幅度的位移。另一方面，較大的搜索區(qū)增加了執(zhí)行塊匹配所 需要的計算資源。
一個例子可幫助說明塊匹配可需要的計算資源的量級。在此例子 中，視頻數(shù)據(jù)的每一幀由1080x1920個像素的陣列表示，并且每一幀 被分成8x8個^f象素的塊。結果，每一幀,皮分為32，400 = 135x240個塊 的陣列。搜索區(qū)的中心在要被匹配的相應塊的位置上，并且是64個像 素高和48個像素寬。在一個實現(xiàn)方式中， 一個塊中的每個像素與在搜
8索區(qū)的所有8x8子區(qū)域中的其相應像素比較。在此例子中，對于遠離 圖像邊緣的塊的搜索區(qū)具有2240 = 56x48個子區(qū)域；因此檢查單個塊 的運動需要多于143K次像素比較。因為搜索區(qū)以圖像邊緣為界，因 此對于位于或接近圖像邊緣的塊需要較少的比較。盡管如此，對于每 一幀仍需要將近4.5xl(^次像素比較。如果幀是以每秒60幀的速率呈 現(xiàn)其數(shù)據(jù)的視頻數(shù)據(jù)流的一部分，則僅比較相鄰幀中的像素就必須每 秒執(zhí)行多于267xl(^次像素比較。
如果要對包括彼此不相鄰而相反通過較大時間距離分開的成對 幀的較大數(shù)量的幀進行塊匹配，則需要對應更高數(shù)量的比較。 一些系
較高的處理能力，但是即使是這些較低的成本對于很多應用來說仍太 高。為降低塊匹配的計算需求，已提出了一些優(yōu)化技術，但是這些技 術并未如所希望的那樣有效，這是因為它們需要中斷具有流水線架構 的處理器中的處理流的條件邏輯。

發(fā)明內(nèi)容
本發(fā)明的一個目的在于提供一種得到以畫面或幀的序列布置的 視頻數(shù)據(jù)的大量運動向量的有效方法。
在此上下文中以及本公開內(nèi)容的其余部分中，術語"運動向量"指 的是任何這樣的數(shù)據(jù)結構，即該數(shù)據(jù)結構可通過幀間編碼而被使用以 相對于另一幀中的數(shù)據(jù)的相應部分來表示一幀數(shù)據(jù)的至少一部分，其 通常表示視頻數(shù)據(jù)的兩個幀之間的運動。該術語不限于以上描述的 MPEG-2標準中闡述的精確結構。例如，術語"運動向量"包括也被稱 為MPEG-4先進視頻編碼(AVC)或ITU-T H.264標準的ISO/IEC 14496標準的部分10中提出的可變塊尺寸運動補償數(shù)據(jù)結構。 MPEG-2標準為本公開提供了有用的例子。MPEG-2標準中定義的運 動向量規(guī)定了一個圖像的源區(qū)、第二圖像中的目的地區(qū)、以及從所述 源區(qū)到所述目的地區(qū)的水平和垂直位移。附加的信息可被包含在運動 向量中或者與運動向量相關聯(lián)。例如，MPEG-2標準闡述了可能與運動向量相關聯(lián)的一種數(shù)據(jù)結構，所述數(shù)據(jù)結構具有源區(qū)中的部分圖像 和目的地區(qū)中的部分圖像之間的差別或預測誤差。
本發(fā)明的一個方面教導了接收傳送視頻信息的幀的序列的一個 或多個信號，其中該視頻信息包括表示圖像序列的幀內(nèi)編碼視頻數(shù)據(jù)
和幀間編碼視頻數(shù)據(jù)；分析一個或多個幀中的幀間編碼視頻數(shù)據(jù)以獲 得新的幀間編碼視頻數(shù)據(jù)；以及對至少一些視頻信息應用處理以生成 表示圖像序列的至少一部分的修改的視頻信息，其中該處理響應于新 的幀間編碼數(shù)據(jù)調(diào)節(jié)其操作。本發(fā)明的此方面將在下文中更詳細地描 述。
參照下面的論述以及附圖，可以更好地理解本發(fā)明及其優(yōu)選實施 例的各種特征。下面的論述和附圖的內(nèi)容僅作為示例被提出，而不應 被理解為表示對本發(fā)明的范圍的限制。


圖1是結合本發(fā)明的各個方面的示例性系統(tǒng)的示意性框圖； 圖2是MPEG-2兼容編碼視頻數(shù)據(jù)流中的碎見頻數(shù)據(jù)的幀或畫面 的序列的示意圖3是視頻數(shù)據(jù)的兩個幀的示意圖4A-4B是具有原始的及新的運動向量的^f見頻數(shù)據(jù)的三個幀的 示意圖5是具有原始的及新的運動向量的幀的示意圖； 圖6是具有原始運動向量的GOP中的幀的示意圖7是可使用向量反轉技術從原始運動向量獲得的新運動向量的
示意圖8是針對GOP中的幀獲得的原始運動向量和新運動向量的示
意圖9是可用來實現(xiàn)本發(fā)明的各個方面的設備的示意性框圖。
具體實施例方式
A. 簡介
圖1是結合本發(fā)明的各方面的示例性系統(tǒng)10的示意框圖，所述 系統(tǒng)從已經(jīng)存在于編碼視頻數(shù)據(jù)流中的"原始"運動向量獲得"新"運動 向量。運動向量處理器(MVP) 2從信號通道1接收在編碼視頻數(shù)據(jù) 流中傳送的視頻信息，分析該數(shù)據(jù)流中出現(xiàn)的原始運動向量以得到該 數(shù)據(jù)流中未出現(xiàn)的新運動向量，將新運動向量沿著通道3傳遞，并且 如果希望的話，還可將原始運動向量沿著通道3傳遞。視頻信號處理 器(VSP) 4從通道1接收編碼視頻數(shù)據(jù)流，從通道3接收新運動向 量，從通道1或者通道3接收原始運動向量，對在編碼視頻數(shù)據(jù)流中 傳送的至少一些視頻信息執(zhí)行信號處理，以生成沿著信號通道5傳遞 的處理信號。VSP4響應于新運動向量調(diào)節(jié)其信號處理。優(yōu)選地，VSP 4響應于原始運動向量和新運動向量調(diào)節(jié)其信號處理。實際上，如可 能希望的那樣，可以應用任何類型的信號處理。信號處理的例子包括 降噪、圖像分辨率提高和數(shù)據(jù)壓縮。沒有特定的處理是必要的。
通過使用存在的運動向量作為其處理的基礎，本發(fā)明能夠非常有 效地獲得新的運動向量。該處理有效得足以允許獲得數(shù)量比使用已知 方法可得到的運動向量的數(shù)量大得多的運動向量。
本發(fā)明可例如處理MPEG-2兼容流中的運動向量，以獲得用于 被稱為畫面組(GOP)的視頻幀序列中的每對幀的運動向量?？蔀镮-幀以及為互不相鄰的成對幀獲得運動向量。也可為在不同的GOP中 的幀獲4尋運動向量。
因為更多的處理應用于其中更有可能獲得較大效益的那些視頻 幀，本發(fā)明的實現(xiàn)趨向于自優(yōu)化。在附加的運動向量不大可能提供很 大效益的情況下，使用較少的計算資源。這是因為對于具有較多原始 運動向量的幀需要較多處理，對于其中檢測到較多運動的那些成對幀 存在較多的原始運動向量，并且通常對于其中發(fā)生較多運動的幀實現(xiàn) 較大的效益。
B. 運動向量反轉(Motion Vector Reversal)圖2是MPEG-2兼容編碼視頻數(shù)據(jù)流中的視頻數(shù)據(jù)的幀或畫面 的序列的示意圖。此特定的序列包括兩個I-幀33、 39和5個居間的 P-幀34到38。每個P-幀中的編碼數(shù)據(jù)可包括該幀中的像素塊的一個 或多個運動向量，該運動向量是基于緊接在前的幀中的對應像素陣列 的或從其預測的。P-幀34例如可包含表示I-幀33和P-幀34之間的 運動的塊的一個或多個運動向量。P-幀35可包含表示P-幀34和P-幀35之間的運動的塊的一個或多個運動向量。
在此編碼視頻數(shù)據(jù)流中出現(xiàn)的所有運動向量被限于表示從I-幀 或P-幀到隨后的相鄰P-幀的運動。此特定幀序列不具有表示從任何幀 到后續(xù)I-幀、從任何幀到在前的幀、或者在彼此不相鄰的任何兩個幀 之間的運動的4壬4可運動向量。
結合本發(fā)明的各方面的系統(tǒng)和方法能夠獲得在已有編碼數(shù)據(jù)流 中不存在的類似于在前一段描述的運動向量的運動向量。這可以通過 使用這里被稱為運動向量反轉和運動向量追蹤的兩個技術來實現(xiàn)。首 先描述運動向量反轉技術。
圖3是幀序列中的視頻數(shù)據(jù)的兩個幀的示意圖。在此例子中，幀 A是MPEG-2兼容數(shù)據(jù)流中的I-幀，幀B是MPEG-2兼容數(shù)據(jù)流中 P-幀。如圖所示，幀B包括表示從幀A中的源區(qū)41到幀B中的目的 地區(qū)42發(fā)生的運動的原始運動向量。此運動向量被指示為mv(A,B)， 其表示運動的幅度和方向以及已移動的圖像的區(qū)。在MPEG-2兼容數(shù) 據(jù)流中，例如，運動的幅度和方向由表示水平和豎直位移的數(shù)字表示， 運動區(qū)由幀B中的目的地區(qū)指定，其是位于幀B中定義的網(wǎng)格上的多 個像素塊中的一個。如上文所述，運動向量的此特定數(shù)據(jù)結構不是本 發(fā)明必要的。
幀B可具有表示從幀A到幀B在多個區(qū)中發(fā)生的運動的多于一 個的運動向量。所有這些運動向量在這里被共同指示為MV(A,B)。
數(shù)據(jù)流中的幀都沒有表示從幀B到幀A的運動的被指示為mv (B，A)的運動向量，但是，本發(fā)明能夠通過利用如下這樣的認識獲 得反方向上的運動向量，即當定義從幀A中的一個區(qū)到幀B中的一個區(qū)的關系的運動向量mv(A,B)存在時，存在從幀B中的該區(qū)到幀A中 的該區(qū)的互補或反轉關系。從幀B到幀A的運動是從幀A到幀B的 運動的反轉，可以表示為
mv(B，A) = Reverse [mv(A，B)] (1)
一幀的所有運動向量的集合的反轉可以表示為
MV(B，A) = Reverse [MV(A，B)
(2 )
記號Reverse用來表示從一個相應的運動向量得到表示相同幅 度但是在相反方向上的運動的另一運動向量的函數(shù)或操作。每個運動 向量的運動區(qū)可以根據(jù)希望指定。對于此特定例子，新運動向量表示 的運動區(qū)是幀A中的目的地區(qū)。這可由該區(qū)的左上角相對于幀A中的 圖像的左上角的水平和豎直像素偏移表示。如果希望，可以指定部分 的像素偏移。沒有特定的表達式是本發(fā)明所必要的。
C.運動向量追蹤
可通過追蹤穿越多個幀的運動得到附加的運動向量。此技術允許 對于彼此不相鄰的幀獲得運動向量。
圖4是幀序列中的視頻數(shù)據(jù)的三個幀的示意圖。此附圖中示出的 例子在圖3中所示的例子中添加了幀C。幀C是P-幀。如圖所示，幀 C包括表示從幀B中的源區(qū)43到幀C中的目的地區(qū)44發(fā)生的運動的 原始運動向量。此運動向量被指示為mv(B，C)。如果運動向量mv(B，C) 的在幀B中的源區(qū)與運動向量mv(A，B)的目的地區(qū)重疊，則可得到表 示從幀A到幀C的運動的新運動向量mv(A，C)。此新運動向量在圖 4B中示意性地示出，并由如下表達式表示
mv(A,C) = mv(A，B) mv(B，C) ( 3 )
一對幀的所有運動向量的集合的向量軌跡被表達如下
M V (A，C) =M V (A,B) M V (B，C) ( 4 )
符號①用來表示組合(combine)兩個運動向量以表示兩個單獨 向量的位移的向量和并且標識所述組合的恰當?shù)脑磪^(qū)和目的地區(qū)的函 數(shù)或操作。
新運動向量mv(A,C)的在幀A中的源區(qū)40可僅是對應運動向量
13mv(A，B)的源區(qū)41的一部分。類似地，新運動向量mv(A，C)的目的地 區(qū)45可僅是對應運動向量mv(B，C)的目的地區(qū)44的一部分。這兩個 源區(qū)40、 41和這兩個目的地區(qū)44、 45的重疊程度由運動向量mv(A，B) 的目的地區(qū)42和運動向量mv(B，C)的源區(qū)43的重疊程度控制。如果 運動向量mv(A，B)的目的地區(qū)42和運動向量mv(B，C)的源區(qū)43相同， 則運動向量mv(A，B)的源區(qū)41將與運動向量mv(A，C)的源區(qū)40相同， 并且運動向量mv(A，C)的目的地區(qū)45將與運動向量mv(B，C)的目的地 區(qū)44相同。
可實現(xiàn)向量追蹤技術的 一種方式是識別作為在此例子中的幀C 的最終的目的地幀，并沿該幀的所有運動向量mv(B，C)逆向工作。這 可以通過識別每一個運動向量mv(B，C)的在幀B中的源區(qū)進行。然后 分析幀B的每一個運動向量mv(A，B)來確定其是否具有與運動向量 mv(B，C)的4壬何源區(qū)重疊的目的地區(qū)。如果對一個運動向量mv(A，B) 找到重疊，該向量被逆向追蹤至其源幀。該過程持續(xù)進行，直至到達 所希望的源幀或直至沒有找到具有重疊的源區(qū)和目的地區(qū)的運動向 量。
先前段落中所討論的搜索區(qū)域重疊的過程實際上可通過使用任 何常規(guī)的基于樹或基于列表的分類算法以將運動向量MV(B，C)放入 到其中向量根據(jù)它們的源區(qū)被排序的數(shù)據(jù)結構中來實現(xiàn)。 一種在很多
應用中可有利地使用的數(shù)據(jù)結構是被稱為四叉樹的特定二維樹結構。 這種數(shù)據(jù)結構使得可有效地執(zhí)行對于與MV(A，B)目的地區(qū)的重疊的 搜索。
如果希望的話，可分析與通過矢量追蹤得到的新運動向量的源區(qū) 和目的地區(qū)相鄰的視頻數(shù)據(jù)的部分，以確定是否應該擴展或收縮源區(qū) 和目的地區(qū)。在很多實例中，向量追蹤自身可得到用于新獲得的運動
向量的合適的源區(qū)和目的地區(qū)；然而，在其他實例中，通過向量追蹤 得到的源區(qū)和目的地區(qū)可能不是最合適的。
例如，假設在幀序列中的原始運動向量表示人從左走到右。所有 中間的幀可能具有人的頭和軀干的運動向量，但是當人的左臂消失在軀干后面的時候， 一些幀可能沒有人的左臂的運動向量。沿此運動向 量序列的向量追蹤可獲得頭和軀干的新運動向量，但是即使左臂在向 量追蹤跨越的序列的第一幀和最后一幀中可見，仍無法得到左臂的運 動向量。通過對與頭和軀干的運動向量的源區(qū)和目的地區(qū)相鄰的圖像 的區(qū)域執(zhí)行塊匹配，可擴展該區(qū)，或者可為左臂添加附加運動向量。 此處理可有效地實行，這是因為塊匹配搜索區(qū)可被限制在與新運動向 量的源區(qū)和目的地區(qū)緊鄰的區(qū)域。
運動向量追蹤可與運動向量反轉相組合，以獲得幀序列中的每個
幀之間的新運動向量。這在圖5中示意性地示出，其中每個運動向量 由指向目的地幀的箭頭表示。例如，向量反轉可被用來獲得表示從P-幀36到P-幀35、從P-幀35到P-幀34、及從P-幀34到I-幀33的運 動的運動向量。可對這三個新運動向量應用向量追蹤，以獲得表示從 P-幀36到I-幀33的運動的運動向量。此特定例子可以被表達為
MV(36，33) = Reverse[MV(35，36)①Reverse[MV(34，35)
①Reverse[MV(33,34)
其中mv(x，y)指示從幀x到幀y的運動向量；并且x，y是圖5中所示的 幀的標號。
D. GOP遍歷
遵從MEPG-2標準的系統(tǒng)可以將幀布置為被稱為畫面組(GOP) 的獨立片段。 一個常用方法將視頻數(shù)據(jù)分為15個幀的組。每一個GOP 以緊接在I-幀之前的兩個B-幀開始。這三個幀后接有四個序列，每 個序列具有兩個B-幀以及緊隨在這兩個B-幀后的一個P-幀。此特定 的GOP布置在圖6-8中示意性示出為以B-幀51開始并且以P-幀58 結束的幀序列。前一個GOP以P-幀50結尾，后一個GOP以B-幀59 開始。此附圖和其他附圖中所示的幀根據(jù)呈現(xiàn)順序而不是根據(jù)它們在 數(shù)據(jù)流中出現(xiàn)的順序布置。在MPEG-2兼容數(shù)據(jù)流中的幀被重新排序， 以有助于從I-幀和P-幀恢復B-幀；然而，理解本發(fā)明的原理并不需要 理解此實現(xiàn)細節(jié)。
如果GOP在其幀的至少一些幀包含參考另一 GOP中的幀的原始運動向量的意義上是"開放"，則本發(fā)明可獲得還穿越GOP之間的 邊界的新運動向量。開放式GOP的例子如圖6-8所示。參照圖6 ，每 個箭頭代表一個原始運動向量。每個箭頭的頭部指向其相應的目的地 幀。例如， 一些原始運動向量代表從I-幀53到B-幀54、 55以及到 P-幀56的運動。 一些其他原始運動向量代表從P-幀56到B-幀54、 55的原始運動向量。因為圖示的GOP是開放的，所以允許有穿越GOP 邊界并且代表來自P-幀50和兩個B幀51、 52的運動的P-幀50中的 兩個運動向量。通過對B-幀中的雙向運動向量應用向量反轉和向量追 蹤技術，本發(fā)明可用于獲得穿越GOP邊界的新運動.向量。這如圖7 和8所示。
圖7是可利用向量反轉技術從原始運動向量獲得的新運動向量的 示意圖。例如，可以獲得表示從B-幀51、 52中的每一個到P-幀50 的運動的新運動向量。這兩個運動向量和指向P-幀58的新運動向量 中的兩個是新獲得的越過GOP邊界的運動向量的例子。
圖8是可通過對圖6和圖7所示原始和新運動向量應用向量追蹤 技術獲得的附加運動向量中的僅一小部分的示意性圖示。每一個箭頭 都是雙向的?？梢院苋菀椎乜闯?，可以獲得大量的新運動向量。圖中 所示的指向和來自I-幀53、以及指向和來自B-幀59及后續(xù)幀的向量 是新獲得的越過GOP邊界的運動向量的例子。
E.實現(xiàn)方式
結合本發(fā)明的各方面的設備可以通過包括用于由計算機或某種 其他設備執(zhí)行的軟件的多種方式來實施，所述其他設備包括諸如耦合 到與通用計算機中出現(xiàn)的那些部件類似的部件的數(shù)字信號處理器 (DSP)電路的更專用的部件。圖9是可用于實施本發(fā)明的各方面的設備 70的示意性框圖。處理器72提供計算資源。RAM73是處理器72使 用的用于處理的系統(tǒng)隨機存取存儲器(RAM) 。 ROM74代表用來存 儲操作設備70所需的并且可能用來執(zhí)行本發(fā)明的各方面的程序的、諸 如只讀存儲器(ROM)的某種形式的持久存儲器。I/O控制器75代 表通過通信信道76、 77接收和發(fā)送信號的接口電路。在所示的實施例中，所有的主要系統(tǒng)部件與可代表多于一個的物理或邏輯總線的總線
71相連；然而，對于本發(fā)明的實施來說，總線結構并不是必需的。
在利用通用計算機系統(tǒng)實施的實施例中，可包括用于接口連接到 諸如鍵盤或鼠標和顯示器的設備的、以及用于控制具有諸如磁帶或盤 或光學介質(zhì)的存儲介質(zhì)的存儲設備78的附加部件。所述存儲介質(zhì)可以 被用來記錄用于操作系統(tǒng)、實用程序和應用軟件的指令程序，并且可 能包括用于實施本發(fā)明的各方面的程序。
可利用以包括分立邏輯部件、集成電路、 一個或多個ASIC和/ 或程序控制處理器的多種方式實現(xiàn)的部件來執(zhí)行實行本發(fā)明的各方面 所需的功能。實施這些部件的方式對于本發(fā)明并不重要。
本發(fā)明的軟件實施方式可通過各種機器可讀介質(zhì)(例如在包括從 超聲波到紫外線頻率的整個頻譜上的基帶或調(diào)制通信通路)或基本上 使用任何記錄技術來傳送信息的存儲介質(zhì)(包括磁帶、卡或盤、光卡 或盤以及包括紙的介質(zhì)上的可檢測標記)來表現(xiàn)。
權利要求
1、一種用于獲得視頻圖像的運動向量的方法，包括接收在表示圖像序列的編碼視頻數(shù)據(jù)流中傳送的視頻信息的幀的序列，其中編碼視頻數(shù)據(jù)流包括一個或多個原始運動向量，所述原始運動向量表示從視頻信息的不同幀的圖像中的各區(qū)的位移的幅度和方向；識別第一原始運動向量，所述第一原始運動向量表示從視頻信息的第一幀的圖像中的第一區(qū)到視頻信息的第二幀的圖像中的第二區(qū)的位移的幅度和方向；由所述第一原始運動向量獲得視頻數(shù)據(jù)流中未出現(xiàn)的新運動向量，其中所述新運動向量表示所述視頻信息的幀的序列中的兩個幀的圖像中的從源區(qū)到目的地區(qū)的位移的幅度和方向；以及對至少一些視頻信息應用信號處理以生成表示圖像序列的至少一部分的修改形式的處理信號，其中所述信號處理響應于所述新運動向量調(diào)節(jié)其操作。
2、 如權利要求1所迷的方法，包括通過運動向量反轉獲得新運 動向量，其中所述源區(qū)與所述第二區(qū)的至少一部分重疊，以及所述目 的地區(qū)與所述第一區(qū)的至少一部分重疊。
3、 如權利要求l所述的方法，包括識別第二原始運動向量，該第二原始運動向量表示從視頻信息的 第二幀的圖像中的第三區(qū)到視頻信息的第三幀的圖像中的第四區(qū)的位 移的幅度和方向，其中所迷第三區(qū)與所述第二區(qū)的至少一部分重疊；通過所述第一原始運動向量和所述第二原始運動向量的組合的 向量追蹤獲得新運動向量，其中所述源區(qū)與所述第一區(qū)的至少一部分 重疊，以及所述目的地區(qū)與所述第四區(qū)的至少一部分重疊。
4、 如權利要求1至3中任一項所述的方法，包括識別與能夠由運動向量表示的源區(qū)和目的地區(qū)相鄰的視頻信息；以及調(diào)整所述源區(qū)和目的地區(qū)的尺寸以包括所識別的視頻信息。
5、 如權利要求1至4中任一項所述的方法，其中視頻數(shù)據(jù)流將 視頻信息的一些幀作為幀內(nèi)編碼數(shù)據(jù)傳送，以及將視頻信息的 一些幀 作為包括原始運動向量的幀間編碼數(shù)據(jù)傳送，以及，其中目的地區(qū)位 于作為幀內(nèi)編碼數(shù)據(jù)傳送的圖像中。
6、 如權利要求1至5中任一項所述的方法，其中 視頻幀的序列被布置成幀組，每個組具有一個用于作為幀內(nèi)編碼數(shù)據(jù)傳送視頻信息的幀和多個用于作為幀間編碼數(shù)據(jù)傳送視頻信息的 幀；所述源區(qū)和目的地區(qū)位于不同幀組中的兩個視頻幀的圖像中。
7、 如權利要求1至6中任一項所述的方法，其中，所述信號處 理是圖像降噪、圖像分辨率提高和視頻數(shù)據(jù)壓縮中的任一個。
8、 一種用于獲得視頻圖像的運動向量的設備，其中，所述設備包括用于接收在表示圖像序列的編碼視頻數(shù)據(jù)流中傳送的視頻信息 的幀的序列的裝置，其中所述編碼視頻數(shù)據(jù)流包括一個或多個原始運 動向量，所述原始運動向量表示從視頻信息的不同幀的圖像中的各區(qū) 的位移的幅度和方向；用于識別第 一原始運動向量的裝置，所述第 一原始運動向量表示 從視頻信息的第一幀的圖像中的第一區(qū)到視頻信息的第二幀的圖像中 的第二區(qū)的位移的幅度和方向；用于由所述第一原始運動向量獲得視頻數(shù)據(jù)流中未出現(xiàn)的新運 動向量的裝置，其中所述新運動向量表示視頻信息的幀的序列中的兩 個幀的圖像中的從源區(qū)到目的地區(qū)的位移的幅度和方向；以及用于對至少一些視頻信息應用信號處理以生成表示圖像序列的 至少一部分的修改形式的處理信號的裝置，其中所述信號處理響應于 新運動向量調(diào)節(jié)其操作。
9、 如權利要求8所述的設備，包括通過運動向量反轉荻得新運 動向量的裝置，其中所述源區(qū)與所述第二區(qū)的至少一部分重疊，以及所述目的地區(qū)與所述第一區(qū)的至少一部分重疊。
10、 如權利要求8所述的設備，包括用于識別第二原始運動向量的裝置，所述第二原始運動向量表示 從視頻信息的第二幀的圖像中的第三區(qū)到視頻信息的第三幀的圖像中 的第四區(qū)的位移的幅度和方向，其中，所述第三區(qū)與所述第二區(qū)的至 少一部分重疊；以及用于利用第一原始運動向量和第二原始運動向量的組合的向量 追蹤獲得新運動向量的裝置，其中所述源區(qū)與所述第 一 區(qū)的至少一部 分重疊，以及所述目的地區(qū)與所述第四區(qū)的至少一部分重疊。
11、 如權利要求8至10中任一項所述的設備，包括用于識別與能夠由運動向量表示的源區(qū)和目的地區(qū)相鄰的視頻 信息的裝置；以及用于調(diào)整源區(qū)和目的地區(qū)的尺寸以包括所識別的視頻信息的裝置。
12、 如權利要求8至11中任一項所述的設備，其中視頻數(shù)據(jù)流 將視頻信息的 一些幀作為幀內(nèi)編碼數(shù)據(jù)傳送，以及將視頻信息的 一些 幀作為包括原始運動向量的幀間編碼數(shù)據(jù)傳送，以及，其中目的地區(qū) 位于作為幀內(nèi)編碼數(shù)據(jù)傳送的圖像中。
13、 如權利要求8至12中任一項所述的設備，其中視頻幀的序列被布置成幀組，每個組具有 一個用于作為幀內(nèi)編碼 數(shù)據(jù)傳送視頻信息的幀和多個作為幀間編碼數(shù)據(jù)傳送視頻信息的幀； 所述源區(qū)和目的地區(qū)位于不同幀組中的兩個視頻幀的圖像中。
14、 如權利要求8至13中任一項所述的設備，其中，所述信號 處理是圖像降噪、圖像分辨率提高和視頻數(shù)據(jù)壓縮中的任一個。
15、 一種記錄指令程序的介質(zhì)，所述指令程序由設備執(zhí)行以實行 用于獲得視頻圖像的運動向量的方法，其中，所述方法包括接收在表示圖像序列的編碼視頻數(shù)據(jù)流中傳送的視頻信息的幀 的序列，其中編碼視頻數(shù)據(jù)流包括一個或多個原始運動向量，所述原 始運動向量表示從視頻信息的不同幀的圖像中的各區(qū)的位移的幅度和方向；識別第 一原始運動向量，該第一原始運動向量表示從視頻信息的 第一幀的圖像中的第一區(qū)到視頻信息的第二幀的圖像中的第二區(qū)的位 移的幅度和方向；由所述第 一原始運動向量獲得視頻數(shù)據(jù)流中未出現(xiàn)的新運動向 量，其中所述新運動向量表示視頻信息的幀的序列中的兩個幀的圖像 中的從源區(qū)到目的地區(qū)的位移的幅度和方向；以及對至少一些視頻信息應用信號處理以生成表示圖像序列的至少一部分的修改形式的處理信號，其中所述信號處理響應于新運動向量 調(diào)節(jié)其操作。
16、 如權利要求15所述的記錄介質(zhì)，其中所述方法包括通過運 動向量反轉獲得新運動向量，其中所述源區(qū)與所述第二區(qū)的至少一部 分重'疊，以及所述目的地區(qū)與所述第一區(qū)的至少一部分重疊。
17、 如權利要求15所述的記錄介質(zhì)，其中所述方法包括識別第二原始運動向量，該第二原始運動向量表示從視頻信息的 第二幀的圖像中的第三區(qū)到視頻信息的第三幀的圖像中的第四區(qū)的位 移的幅度和方向；利用第一原始運動向量和第二原始運動向量的組合的向量追蹤 獲得新運動向量，其中所述源區(qū)與所述第一區(qū)的至少一部分重疊，以 及所述目的地區(qū)與所述第四區(qū)的至少一部分重疊。
18、 如權利要求15至17中任一項所述的記錄介質(zhì)，其中所述方 法包括識別與能夠由運動向量表示的源區(qū)和目的地區(qū)相鄰的視頻信息；以及調(diào)整源區(qū)和目的地區(qū)的尺寸以包括所識別的視頻信息。
19、 如權利要求15至18中任一項所述的記錄介質(zhì)，其中視頻數(shù) 據(jù)流將視頻信息的 一些幀作為幀內(nèi)編碼數(shù)據(jù)傳送，以及將視頻信息的 一些幀作為包括原始運動向量的幀間編碼數(shù)據(jù)傳送，以及其中目的地 區(qū)位于作為幀內(nèi)編碼數(shù)據(jù)傳送的圖像中。
20、 如權利要求15至19中任一項所述的記錄介質(zhì)，其中 視頻幀的序列被布置成幀組，每個組具有一個用于作為幀內(nèi)編碼數(shù)據(jù)傳送視頻信息的幀和多個用于作為幀間編碼數(shù)據(jù)傳送視頻信息的 幀；所述源區(qū)和目的地區(qū)位于不同幀組中的兩個視頻幀的圖像中。
21、 如權利要求15至20中任一項所迷的記錄介質(zhì)，其中所述信 號處理是圖像降噪、圖像分辨率提高和視頻數(shù)據(jù)壓縮中的任一個。
全文摘要
運動向量對于被應用于諸如MPEG-2兼容視頻數(shù)據(jù)流的視頻數(shù)據(jù)流的許多視頻信號處理技術是重要的。如果有較大數(shù)量的運動向量可用，則常常可提高這些技術的性能。公開了可用于由編碼視頻數(shù)據(jù)流中存在的原始運動向量獲得很大數(shù)量的附加的運動向量的兩種技術。運動向量反轉技術得到用于表示與由原始運動向量表示的運動方向相反的方向上的運動的新運動向量。向量跟蹤技術由原始運動向量的組合獲得新運動向量。
文檔編號H04N7/26GK101641956SQ200880007677
公開日2010年2月3日 申請日期2008年2月25日 優(yōu)先權日2007年3月9日
發(fā)明者R·W·韋伯 申請人:杜比實驗室特許公司