專利名稱：運(yùn)動估計(jì)的制作方法
運(yùn)動估計(jì)技術(shù)領(lǐng)域本專利申請總體涉及改進(jìn)的運(yùn)動估計(jì)，以克服孔徑問題。
技術(shù)背景隨著視頻處理領(lǐng)域新技術(shù)的出現(xiàn)，運(yùn)動補(bǔ)償視頻算法對于高質(zhì)量 的視頻處理不僅十分必要，而且成本也日趨合理。為了提供高質(zhì)量的 視頻處理，開發(fā)了不同的運(yùn)動補(bǔ)償應(yīng)用。各種應(yīng)用，如用于降低噪聲的運(yùn)動補(bǔ)償(MC)濾波、用于編碼的MC預(yù)測、用于將隔行格式轉(zhuǎn)換為 逐行格式的MC去隔行、或MC圖像速率轉(zhuǎn)換已為人們所熟知。上述應(yīng)用 均受益于運(yùn)動估計(jì)(ME)算法，對后者而言已有多種方法為人們所熟知。視頻格式轉(zhuǎn)換中運(yùn)動估計(jì)算法的一示例， 一種基于塊的運(yùn)動估計(jì) 器，稱作三維遞歸搜索(3D RS)塊一匹配器。運(yùn)動估計(jì)算法基于這樣的假設(shè)，即可以通過位置的線性函數(shù)對像 素的亮度或色度值進(jìn)行近似。該假設(shè)可能僅對于小位移而言是正確的。 然而，可以利用基于像素的運(yùn)動估計(jì)方法(PEL —遞歸方法)消除此限 制。運(yùn)動估計(jì)的實(shí)現(xiàn)還包括塊估計(jì)。在塊匹配運(yùn)動估計(jì)算法中，通過 在搜索區(qū)W(力內(nèi)搜索相似的塊，以將位移向量5分配給當(dāng)前場n中像 素塊^力的中心:？，其中搜索區(qū)M(力也以I為中心，但處于時間上 相鄰的場如n-l、 n+l中。相似塊可以具有相對于歹移位了5( ,")的中 心。為了找到A^,n)，估計(jì)出一組候選向量^。為了估計(jì)這組候選向量C，計(jì)算用于量化塊相似性的誤差度量45,: , )。用于說明搜索區(qū)wg)內(nèi)相對;？的所有可能位移的候選向量5組可以被描述為<formula>formula see original document page 5</formula>n、 m是用于限制搜索區(qū)m(: )的常數(shù)。由全搜索塊匹配處理產(chǎn)生的位移向量5^n)，是使至少一個誤差 函數(shù)f(5,: ,n)取最小值的候選向量5。這可以被表示為<formula>formula see original document page 5</formula>通常將具有最小匹配誤差的向量5dw賦給塊^: )中的所有位置；對于給定的候選向量^，誤差值可以是當(dāng)前塊中像素亮度值和 前一場中移位塊的像素亮度值在塊s(力上求和的函數(shù)。誤差值還可以是像素值的任意其他函數(shù)，并可以被表示為代價函數(shù)的和<formula>formula see original document page 5</formula>對于非隔行信號通常選擇P^，對隔行信號通常選擇P:2。代價函數(shù)例如可以是兩像素塊間絕對差值之和。還可以將給定候選向量的誤差值看作代價函數(shù)或約束函數(shù)。與圖 像內(nèi)運(yùn)動的性質(zhì)有關(guān)的約束函數(shù)例如可以是強(qiáng)度守恒約束或空間相干 性約束。當(dāng)約束分別導(dǎo)致解的正交子空間時，所選約束是最佳的。根 據(jù)圖像內(nèi)容，可以向這組可能的運(yùn)動向量施加物理限制，例如，運(yùn)動 平滑性、物體慣性等。數(shù)學(xué)上，上述限制可以采取將運(yùn)動參數(shù)/運(yùn)動向 量作為變量的方程的形式(對運(yùn)動參數(shù)/運(yùn)動向量的約束)，并且它可 以被添加到待最小化的代價函數(shù)或與之組合。圖l示出了如上所述的塊匹配運(yùn)動估計(jì)算法。示出了圖像序列2的 兩個時刻n-l、 n。在圖像序列2中，確定水平位置X和垂直位置Y處的各塊4。為了確定塊4的位移5^W，可以應(yīng)用上述誤差度量f^,: ，w，估計(jì)各各候選向量3 8。 一種可能的誤差函數(shù)可以是絕對差值之和(SAD)準(zhǔn)則，即其中F(二n)是塊4中像素的亮度值。通過在同樣以？為中心、但位于之前或之后圖像中的搜索區(qū)w(: ) 6中搜索相似塊io，為當(dāng)前圖像中像素位置塊45(力的中心i指定位移向量5。其中之前或之后的圖像可以是 時間上之前或之后的圖像或場。因此，優(yōu)化兩個塊4、 IO間的相關(guān)度量， 以確定位移向量5。還可以采用其他誤差準(zhǔn)則，如均方誤差和規(guī)一化互相關(guān)函數(shù)。特 別地，當(dāng)在傅氏域中進(jìn)行計(jì)算時，可以采用后一種準(zhǔn)則。誤差準(zhǔn)則的 另一示例可以是差異巨大的像素的數(shù)量。上述準(zhǔn)則可以是代價函數(shù)。 物理限制，如邊界條件可以提供新的候選獨(dú)立代價函數(shù)。塊匹配方法能夠找出接近于實(shí)際運(yùn)動向量的候選向量。為了進(jìn)一 步提高一致性，采用懲罰體制(penalty system),其向誤差函數(shù)添加 懲罰值，該懲罰值可取決于預(yù)測類型，即空間預(yù)測或時間預(yù)測。然而，上述誤差/代價函數(shù)不能完全確定二維運(yùn)動參數(shù)。上述代 價函數(shù)可能受所謂孔徑問題的影響。為了克服此問題，有關(guān)圖像內(nèi)容 的額外信息，如某些物理約束，即運(yùn)動平滑性、物體慣性等，可能是 必要的。例如，在單一方向(即邊沿)的序列中，在單一邊沿的方向 上具有相同向量分量的所有候選向量可能具有相同的代價函數(shù)。因此， SAD無法完全確定運(yùn)動的二維分量，而只能確定垂直于邊沿的分量。由于僅被確定為與序列中單一方向(如邊沿)相切的常量，因此只采用 SAD的運(yùn)動估計(jì)產(chǎn)生了退化。該問題也稱運(yùn)動補(bǔ)償?shù)目讖絾栴}。同時施加額外的誤差函數(shù)，如邊界條件，或與視頻場景中運(yùn)動性 質(zhì)有關(guān)的約束，可以解決孔徑問題。消除確定運(yùn)動向量時退化的必要 條件是各約束應(yīng)導(dǎo)致相互正交的子空間解。施加于運(yùn)動向量解空間 的物理約束(即，平滑運(yùn)動、物體慣性、邊界條件等)能將整個解空 間劃分為子空間。子空間中的各運(yùn)動向量服從至少一個約束。當(dāng)兩個物理約束獨(dú)立時，它們的相應(yīng)子空間就包含相互獨(dú)立的向量，即相應(yīng)
的子空間是正交的?？梢允褂谜蛔涌臻g中的一組候選運(yùn)動向量cs自。
一般而言，如果滿足所有約束條件，則一組m個具有誤差函數(shù)^的約
束可以得到運(yùn)動估計(jì)向量&m的解。對于此運(yùn)動估計(jì)向量，總代價函
數(shù)具有最小值?？偞鷥r函數(shù)可以如下計(jì)算
4是一些任意的乘數(shù)因子。然而，具有最小值的總代價函數(shù)未必導(dǎo)致
所有各個約束得以滿足。
例如，對于一個候選運(yùn)動向量5^具有多個極小值和絕對最小值， 可以令一個代價函數(shù)產(chǎn)生退化?？偞鷥r函數(shù)可以在一約束的局部極小 值處具有針對此約束的局部極小值。如果一約束的局部極小值比其他 約束的局部極小值小得多，就能夠補(bǔ)償其他代價函數(shù)所產(chǎn)生的非極小 值。因此，總誤差函數(shù)導(dǎo)致錯誤的最小值，此最小值可能不是所有各
個約束的極小值。在這種情況下，如果<formula>formula see original document page 7</formula>足
夠大以致滿足以下不等式
<formula>formula see original document page 7</formula>
則不等式
<formula>formula see original document page 7</formula>成立。
因此，本申請的一個目的是提供一種克服代價函數(shù)退化的解決方 案。本發(fā)明的另一個目的是提供一種克服孔徑問題的運(yùn)動估計(jì)。本發(fā) 明的再一個目的是提供一種改進(jìn)估計(jì)運(yùn)動向量的運(yùn)動估計(jì)。

發(fā)明內(nèi)容
為了克服上述問題中的一個或多個問題，該申請依照一方面提出 了一種用于確定圖像信號中估計(jì)運(yùn)動向量的方法，包括為信號的圖 像中至少一個像素建立至少兩個候選運(yùn)動向量；對每個所述候選運(yùn)動 向量，計(jì)算至少兩個誤差準(zhǔn)則；以及選擇使誤差準(zhǔn)則的非線性函數(shù)最 小化的候選運(yùn)動向量，作為所述至少一個像素的估計(jì)運(yùn)動向量。
依照實(shí)施例的信號可以是任意圖像序列，如視頻序列。信號中的 圖像可以由像素構(gòu)成。像素可以是描述圖像特定部分的亮度和色度的 圖像元素。圖像內(nèi)的多個相鄰像素可以被看作像素塊。
圖像中的元素可在數(shù)幀圖像內(nèi)發(fā)生運(yùn)動。元素的運(yùn)動可以用運(yùn)動 向量加以描述。運(yùn)動向量可以描述特定像素或像素塊的運(yùn)動方向和速 度。
可以將運(yùn)動估計(jì)理解為計(jì)算運(yùn)動概率?？梢允褂眠\(yùn)動估計(jì)來計(jì)算 最有可能描述圖像中實(shí)際運(yùn)動的運(yùn)動向量。利用這些向量，能夠預(yù)測 接下來的幀的圖像。估計(jì)運(yùn)動向量還可用于對隔行圖像進(jìn)行去隔行。
候選運(yùn)動向量可以是一組描述像素或像素塊可能運(yùn)動的可能向 量。這組候選運(yùn)動向量可用于確定一個最符合圖像內(nèi)實(shí)際運(yùn)動的估計(jì) 運(yùn)動向量。例如，高質(zhì)量視頻格式轉(zhuǎn)換算法(如去隔行和時間上變換) 以及計(jì)算機(jī)視覺應(yīng)用和視頻壓縮可能需要運(yùn)動估計(jì)。運(yùn)動估計(jì)過程中 的孔徑問題是由于缺少與場景中運(yùn)動的性質(zhì)有關(guān)的額外知識所造成 的。根據(jù)含有單一方向即邊沿的信號，無法確定二維運(yùn)動分量，或只 確定為邊沿切向上的常量。
這種不確定性可能導(dǎo)致代價函數(shù)存在多個極小值，并導(dǎo)致運(yùn)動估 計(jì)退化。退化可能導(dǎo)致對運(yùn)動向量的錯誤估計(jì)，這可能導(dǎo)致視頻格式轉(zhuǎn)換中的贗象。依照一實(shí)施例，通過施加多個誤差函數(shù)的方法來解決 這一問題，其中各誤差函數(shù)具有與運(yùn)動性質(zhì)有關(guān)的不同約束。這種約 束可能是強(qiáng)度守恒或空間相干性。首選的約束是能夠分別產(chǎn)生正交解 的約束。
對一組候選運(yùn)動向量，應(yīng)用使代價最高的約束最小化的多個誤差 函數(shù)的非線性組合，就可以得到最優(yōu)的運(yùn)動估計(jì)。代價最高的代價函 數(shù)可以取最大值。通過最小化所有代價函數(shù)的最大值，可以最小化代 價最高的代價函數(shù)。
依照實(shí)施例，至少兩個候選運(yùn)動向量描述搜索區(qū)內(nèi)像素的可能位
移。此位移可以沿x和y方向。向量可以通過其x和y分量來描述運(yùn)動的
方向?？梢酝ㄟ^向量的絕對值來描述運(yùn)動的速度。
依照實(shí)施例，用空間和/或時間預(yù)測來建立至少兩個候選運(yùn)動向 量。例如，在提供掃描圖像線的掃描圖像中，因果性限制了空間預(yù)測 在尚未發(fā)送的圖像塊中的使用。相反，可以使用時間預(yù)測。
誤差準(zhǔn)則可以是絕對差值之和準(zhǔn)則、均方誤差準(zhǔn)則、規(guī)一化互相 關(guān)準(zhǔn)則或重要像素數(shù)準(zhǔn)則中的至少一種?？梢詫⑸鲜稣`差準(zhǔn)則理解為 約束。
非線性函數(shù)是誤差準(zhǔn)則的最大值
^f，？^)是位置:？處候選向量5的第m (m>l)個誤差準(zhǔn)則f 。由此，
就可以在候選運(yùn)動向量集上最小化代價最高的約束。非線性函數(shù)還可 以是誤差準(zhǔn)則的中值。此外，至少一個誤差準(zhǔn)則是根據(jù)插值像素的絕 對差值計(jì)算的。至少一個誤差準(zhǔn)則可以根據(jù)插值像素和場內(nèi)插值像素 的絕對差值計(jì)算。此外，至少一個誤差準(zhǔn)則還可以根據(jù)當(dāng)前幀或場中 的一個像素與之前或之后的去隔行幀或場中的運(yùn)動補(bǔ)償插值像素之間 的絕對差值計(jì)算。
為了改進(jìn)隔行信號的運(yùn)動估計(jì)，利用廣義采樣定理根據(jù)隔行信號 計(jì)算像素值。本發(fā)明的另一方面是用于確定圖像信號內(nèi)估計(jì)運(yùn)動向量的計(jì)算 機(jī)程序，該程序包括指令，可用于使處理器為信號的圖像內(nèi)至少一 個像素建立至少兩個候選運(yùn)動向量；對每個所述候選運(yùn)動向量，計(jì)算 至少兩個誤差準(zhǔn)則；以及選擇使誤差準(zhǔn)則的非線性函數(shù)最小化的候選 運(yùn)動向量，作為所述至少一個像素的估計(jì)運(yùn)動向量。
另一方面是一種用于確定圖像信號中估計(jì)運(yùn)動向量的計(jì)算機(jī)程 序產(chǎn)品，其上有形地存儲有程序，具有指令，可用于使處理器為信 號的圖像內(nèi)至少一個像素建立至少兩個候選運(yùn)動向量；對每個所述候 選運(yùn)動向量，計(jì)算至少兩個誤差準(zhǔn)則；以及選擇使誤差準(zhǔn)則的非線性 函數(shù)最小化的候選運(yùn)動向量，作為所述至少一個像素的估計(jì)運(yùn)動向量。
參考以下實(shí)施例對本發(fā)明的上述和其他方面進(jìn)行闡述，將使它們 變得顯而易見。


附圖中示出了
圖1示出了塊匹配；
圖2a-b示出了遞歸搜索塊匹配器的候選向量集；
圖3示出了在具有單一方向的序列上進(jìn)行的塊匹配； 圖4示出了能夠產(chǎn)生唯一解的正交解子空間； 圖5示出了多個準(zhǔn)則代價函數(shù)。
具體實(shí)施例方式
此前已說明了圖1所示的塊匹配器。用候選向量5 8連接當(dāng)前圖像 n中的塊4和前一圖像n-l中搜索區(qū)6內(nèi)的測試塊10?？梢詫ο嚓P(guān)度量(兩 個塊4、 IO間的匹配誤差)進(jìn)行優(yōu)化，以確定最佳候選向量^ 8。由此， 可以測試使用不同候選向量5 8得到的不同測試塊10，并且對于最佳 匹配候選向量，可以使匹配誤差最小。
在塊匹配器中，搜索匹配準(zhǔn)則的最小值，是一個可能存在多解的 二維最優(yōu)化問題。 一種可能的實(shí)現(xiàn)是使用三步塊匹配器、二維對數(shù)、 或交叉搜索法，或者一步一次搜索(one-at-a-time-search)塊匹配。G.de Hann的"Progress in Motion Estimation for Consumer Video Format Conversion", IEEE transactions on consumer electronics, vol. 46， no.3， 2000年8月，pp. 449-459中公開了不同的塊匹配策略。
最優(yōu)化策略的一種可能實(shí)現(xiàn)可以是三維遞歸搜索塊匹配器(3D RS)。 3DRS說明對于比塊大的對象，最佳候選向量可能出現(xiàn)在像素 或塊的空間近鄰中。
如圖2a所示，假設(shè)掃描方向從左到右，從上到下，因果性限制了 當(dāng)前塊Dc4a右下的空間預(yù)測向量4Ds的使用。相反，需要使用時間預(yù) 測向量D4c。在搜索區(qū)2內(nèi)，相對于當(dāng)前塊Dc4a，空間預(yù)測向量Ds4b 和時間預(yù)測向量Dt 4c是可用的。由于只有已被掃描的塊可用于當(dāng)前塊 Dc4a的空間預(yù)湖纟，因此只能用塊Ds4b進(jìn)行空間預(yù)測。由于從搜索區(qū)2 的前一時刻中可獲得關(guān)于塊Dt4c的信息，因此可以用塊Dt4c進(jìn)行時間
圖2b示出了使用兩個空間預(yù)測向量Ds 4b和一個時間向量Dt 4c預(yù) 測當(dāng)前塊4a。
己發(fā)現(xiàn)在搜索范圍內(nèi)估計(jì)所有可能的向量是無意義的。對取自空 間相鄰塊的向量進(jìn)行估計(jì)可能就己經(jīng)足夠了，空間相鄰塊例如
i，j = -1,0,+ 1
。Z)
其中，cs,定義為一組用于描述在前一圖像的搜索區(qū)sA《)中關(guān)于:？的 所有可能的位移(像素網(wǎng)格上的整數(shù)或非整數(shù))的候選向量己如
CSmax = {5卜iV s C, S +tV，—M《Cy S M},
其中n、 m是用于限制搜索區(qū)"(: )的常數(shù)。為了減少計(jì)算開銷，只對取 自空間相鄰塊CS的向量^進(jìn)行估計(jì)可能就足夠了。 X、 Y可以分別定義 塊寬和塊高。實(shí)現(xiàn)中，因果性和對流水線作業(yè)的需求使得不是所有相鄰塊都是可用的，在初始化時，向量可以全都是零。
為了解決向量的可用性，當(dāng)前圖像中尚未計(jì)算的那些向量可以取
自前一向量場中的相應(yīng)位置。圖2a示出了當(dāng)前塊Dc 4a和作為候選向量 Ds 4b、 Dt 4c的結(jié)果向量所取自的塊的相對位置。當(dāng)從左上向右下對
塊進(jìn)行掃描時，可將候選集定義為
<formula>formula see original document page 12</formula>
此候選集cs隱含采用了空間和/或時間 一致性。
通過加入更新向量，可以解決初始化時零向量的問題。w 刪去某些空時預(yù)測的一 種可能的實(shí)現(xiàn)如圖2b所示，其中候選集cs(: ,")
可定義為
<formula>formula see original document page 12</formula>其中，更新向量^(^，w)和^(i,")可以是交替可用，并且取自有限的固
定整數(shù)或非整數(shù)更新集，如 6
<formula>formula see original document page 12</formula>可以使用一種能夠描述比單純的平移更為復(fù)雜的對象運(yùn)動，如旋 轉(zhuǎn)或縮放的模型，將圖像分割成單獨(dú)的對象，并為這些對象中的每一 個估計(jì)運(yùn)動參數(shù)。由于塊的數(shù)量通常超出對象的數(shù)量多于一個數(shù)量級， 因此每個圖像所需計(jì)算的運(yùn)動參數(shù)數(shù)量得以減少。然而，計(jì)算復(fù)雜度 增加。
依照實(shí)施例，可以確定可被稱為像素組的像素塊對象?？梢詾槊?個像素組確定運(yùn)動參數(shù)，如運(yùn)動向量。通過計(jì)算當(dāng)前圖像中像素組的 亮度值與另一時間相鄰的圖像中對應(yīng)的運(yùn)動補(bǔ)償亮度值的絕對差值之
和SAD，對候選向量進(jìn)行測試。可以使用兩個時刻，以便估計(jì)局部像 素組的運(yùn)動參數(shù)集。
通過使用絕對差值之和準(zhǔn)則或如前所述的任意其他單一準(zhǔn)則，從 候選運(yùn)動向量中確定估計(jì)運(yùn)動向量，不能完全確定二維運(yùn)動參數(shù)。如 圖3示意性所示，視頻內(nèi)容可能包含一個單一邊沿12。圖像中的運(yùn)動可 能是該單一邊沿12的運(yùn)動?？梢杂煤蜻x運(yùn)動向量8a-8c對單一塊4進(jìn)行 運(yùn)動估計(jì)。對于候選運(yùn)動向量8a-8c，測試塊10a-10c使代價函數(shù)得到相 同的值。因此，使用單一代價函數(shù)不能完全確定運(yùn)動的二維分量，而 只能確定出垂直于邊沿的分量。由于在邊沿切向上僅被確定為常量， 提供單一代價函數(shù)產(chǎn)生退化。此問題也被稱作運(yùn)動估計(jì)中的孔徑問題。
為了克服該問題，可以聯(lián)立求解不同的代價函數(shù)。這些代價函數(shù) 可以是邊界條件或與視頻場景中運(yùn)動性質(zhì)有關(guān)的約束。消除確定運(yùn)動 向量時退化的一個重要條件是，各代價函數(shù)應(yīng)產(chǎn)生相互正交的子空間 解。
圖4示出了針對不同代價函數(shù)e ,和e 2最小化的候選運(yùn)動向量集 05,的這種正交子空間。代價函數(shù)e ,可以用候選向量18a-18e來描述。 代價函數(shù)E2可以用候選向量19a-19d表示。各子空間的特點(diǎn)在于，其 全部元素在垂直于邊沿的方向上都具有相等、明確的運(yùn)動向量。如果 兩個約束的解的子空間彼此正交，則同時施加這兩個約束可以得到唯 一解。唯一解可以是候選向量18c、 19c。
一般而言，可以同時在候選向量集上施加一組m個約束。這些約 束可以是<formula>formula see original document page 14</formula>
如果滿足所有約束，例如對于某些值己in具有絕對最小值，則總
代價函數(shù)
<formula>formula see original document page 14</formula>
也具有最小值，其中、>0。然而，總代價函數(shù)最小，未必滿足各單獨(dú)
約束。這可能導(dǎo)致運(yùn)動估計(jì)中的贗象。
為克服此問題，本申請使整個代價函數(shù)變得更加健壯。這可以通 過代價函數(shù)的非線性組合來實(shí)現(xiàn)，如
此非線性可能更不易受到錯誤的影響。實(shí)際上，只有當(dāng)其余約束 也在局部極小值或絕對最小值附近時，值^m才可能成為總代價函數(shù)
的最小值。上述非線性組合滿足如下不等式 M4Z{f m (Jin m (5min, ")}
圖5示出了單獨(dú)計(jì)算出的各代價函數(shù)e ,、 e2對總代價所產(chǎn)生的影 響。曲線20a、 20b表示單獨(dú)的代價函數(shù)。曲線20a有兩個局部極小值和 一個絕對最小值。代價函數(shù)20b有一個絕對最小值。
利用代價函數(shù)20的線性組合，總代價函數(shù)(e ,、 e 2) /2 22的最 小值位于代價函數(shù)之一的絕對最小值處。所示代價函數(shù)表示兩任意約 束e ,和e 2在候選向量集上的變化。線性代價函數(shù)落入約束e 2極小值之一。代價函數(shù)的非線性組合M4X^,^)如曲線24所示。迫使該總代價
函數(shù)的最小值接近于兩單獨(dú)約束的公共局部極小值。對于此例，很明 顯總代價函數(shù)比線性組合更接近于各約束的最小值。
考慮到將約束的非線性組合應(yīng)用到隔行視頻素材將導(dǎo)致如下問 題，即在隔行素材中，像素不總是可用的，這取決于隔行相位。
例如，如果像素不可用，則可以令位置卩上的缺失像素取通過去 隔行算法計(jì)算出的該位置上的亮度值。為了計(jì)算該像素值，可以通過 利用廣義采樣定理(GST)插值濾波器來重建該像素值，插值濾波器
可以使用n-場和n-l場，或n-場和n+l-場中的采樣。利用由n-場和n土l-場得到的GST輸出F"'"-'(;,己，di,")，平方絕對差值誤差函數(shù)可以是
Z ""-)(;,5,")-F"'"+'(;,-5,")
該第一約束不足以建立健壯的總代價函數(shù)
為了避免在兩個連續(xù)場間偶數(shù)個像素位移處所發(fā)生的錯誤運(yùn)動 向量，可以施加第二約束。該第二約束可以利用已經(jīng)過去隔行處理的
前一幀n-l。這使得可以執(zhí)行運(yùn)動補(bǔ)償雙線性插值，以對當(dāng)前場中現(xiàn)有
像素值進(jìn)行估計(jì)。由^，"+'(;^)給出雙線性插值器的輸出，這使得可以
建立第二誤差函數(shù)
s2 (C, Z,") = F"'"+' (;c,;; +1,")-《(x,;/ +1,")
該第二約束依舊無法獨(dú)自構(gòu)造健壯的總代價函數(shù)。構(gòu)建這些誤差 函數(shù)的線性組合只能導(dǎo)致根據(jù)這些準(zhǔn)則之一的解決方案的運(yùn)動估計(jì)準(zhǔn) 則的交替。然而，如本申請所提供的，應(yīng)用誤差函數(shù)的非線性組合， 實(shí)現(xiàn)了更健壯的運(yùn)動估計(jì)。
該申請?zhí)峁┝艘环N健壯的運(yùn)動估計(jì)解決方案，可應(yīng)用于各種視頻 格式轉(zhuǎn)換算法。提出了利用能夠產(chǎn)生正交解的不同運(yùn)動估計(jì)準(zhǔn)則之間 的非線性組合來進(jìn)行運(yùn)動估計(jì)。
權(quán)利要求
1.一種用于確定圖像信號中估計(jì)運(yùn)動向量的方法，包括—為信號的圖像中至少一個像素建立至少兩個候選運(yùn)動向量，—對每個所述候選運(yùn)動向量，計(jì)算至少兩個誤差準(zhǔn)則，—選擇使誤差準(zhǔn)則的非線性函數(shù)最小化的候選運(yùn)動向量，作為所述至少一個像素的估計(jì)運(yùn)動向量。
2. 根據(jù)權(quán)利要求l所述的方法 述了搜索區(qū)內(nèi)像素的可能位移。
3. 根據(jù)權(quán)利要求l所述的方法 使用空間和/或時間預(yù)測建立的。
4. 根據(jù)權(quán)利要求l所述的方法 至少一個a) 絕對差值之和準(zhǔn)則；b) 均方誤差準(zhǔn)則； C) 歸一化互相關(guān)準(zhǔn)則； d) 重要像素數(shù)準(zhǔn)則。
5. 根據(jù)權(quán)利要求l所述的方法 正交的子空間解的約束。
6. 根據(jù)權(quán)利要求l所述的方法 最大值其中^f ，？,n)是位置？處候選向量5的第m (其中mW)個誤差準(zhǔn)則s。
7. 根據(jù)權(quán)利要求l所述的方法，其中所述非線性函數(shù)是誤差準(zhǔn)則的 中值。
8. 根據(jù)權(quán)利要求l所述的方法，其中至少一個誤差準(zhǔn)則是根據(jù)插值 像素的絕對差值計(jì)算的。
9. 根據(jù)權(quán)利要求l所述的方法，其中至少一個誤差準(zhǔn)則是根據(jù)插值，其中所述至少兩個候選運(yùn)動向量描 ，其中所述至少兩個候選運(yùn)動向量是 ，其中所述誤差準(zhǔn)則是下述準(zhǔn)則中的,其中所述誤差準(zhǔn)則施加了導(dǎo)致相互 ，其中所述非線性函數(shù)是誤差準(zhǔn)則的像素和場內(nèi)插值像素的絕對差值計(jì)算的。
10. 根據(jù)權(quán)利要求l所述的方法，其中至少一個誤差準(zhǔn)則是根據(jù)當(dāng)前 幀或場中的一個像素與之前或之后的去隔行幀或場中的運(yùn)動補(bǔ)償插值 像素之間的絕對差值計(jì)算的。
11. 根據(jù)權(quán)利要求l所述的方法，還包括使用廣義采樣定理根據(jù)隔行 信號計(jì)算像素值。
12. —種用于確定圖像信號中估計(jì)運(yùn)動向量的計(jì)算機(jī)程序，該程序 包括指令，可用于使處理器一 為信號的圖像內(nèi)至少一個像素建立至少兩個候選運(yùn)動向量， 一對每個所述候選運(yùn)動向量，計(jì)算至少兩個誤差準(zhǔn)則，以及 一選擇使誤差準(zhǔn)則的非線性函數(shù)最小化的候選運(yùn)動向量，作為所 述至少一個像素的估計(jì)運(yùn)動向量。
13. —種用于確定圖像信號中估計(jì)運(yùn)動向量的計(jì)算機(jī)程序產(chǎn)品，其 上有形地存儲有程序，具有指令，可用于使處理器一 為信號的圖像中至少一個像素建立至少兩個候選運(yùn)動向量， 一對每個所述候選運(yùn)動向量，計(jì)算至少兩個誤差準(zhǔn)則，以及 一選擇使誤差準(zhǔn)則的非線性函數(shù)最小化的候選運(yùn)動向量，作為所 述至少一個像素的估計(jì)運(yùn)動向量。
全文摘要
確定圖像信號內(nèi)的估計(jì)運(yùn)動向量。為了提高估計(jì)運(yùn)動向量的準(zhǔn)確性，為信號的圖像中至少一個像素建立至少兩個候選運(yùn)動向量；對每個所述候選運(yùn)動向量，計(jì)算至少兩個誤差準(zhǔn)則；以及選擇使誤差準(zhǔn)則的非線性函數(shù)最小化的候選運(yùn)動向量，作為所述至少一個像素的估計(jì)運(yùn)動向量。
文檔編號H04N7/01GK101288310SQ200680030477
公開日2008年10月15日 申請日期2006年6月15日 優(yōu)先權(quán)日2005年6月23日
發(fā)明者卡利納·丘胡, 杰拉德·德哈恩 申請人:Nxp股份有限公司