專利名稱：基于段的運動估計的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于段的運動估計方法，其用于確定分段圖像的各個片段的運動向量。
本發(fā)明還涉及用于估計分段圖像的各個片段的運動向量的運動估計裝置。
本發(fā)明還涉及一種圖像處理設(shè)備，其包括-分段裝置，用于將輸入圖像分割為分段圖像；以及-這樣一種運動估計裝置，用于估計分段圖像的各個片段的運動向量。
背景技術(shù)：
基于段的運動估計在許多視頻處理算法(例如2D到3D內(nèi)容轉(zhuǎn)換、視頻編碼、掃描速率轉(zhuǎn)換、安全目的的目標跟蹤，以及圖像質(zhì)量改進)中都是一個重要的處理步驟。然而，當(dāng)前的運動估計算法大部分都是基于塊的，由于基于段的運動估計能夠以象素精度計算運動向量，因此具有達到更高精度的潛能。給定圖像的一種分割，例如視頻幀，基于段的運動估計的要點如下選取每段的候選運動向量，通過計算各個匹配誤差來估算每段中的每個候選運動向量，并且根據(jù)所述估算選擇每段中最佳匹配的候選運動向量。
由于片段可以為任意形狀和大小，這一算法的直接實現(xiàn)將導(dǎo)致內(nèi)存帶寬的低效使用。通常，從內(nèi)存讀取在考慮之列的片段的范圍框的象素值。這將導(dǎo)致內(nèi)存帶寬的低效使用，因為并非范圍框內(nèi)所有的象素都是在考慮之列的該片段的一部分。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一種在開篇段落中描述的類型的方法，它基于相對高效的內(nèi)存帶寬使用。
本發(fā)明的這一目的是通過這樣一種方法達到的，該方法包括-為各個片段生成候選運動向量組；
-將分段圖像劃分為象素塊的格柵；-根據(jù)片段以及塊在分段圖像內(nèi)的位置為這些象素塊確定哪個候選運動向量屬于這些塊；-根據(jù)所確定的候選運動向量并且根據(jù)另一個圖像的象素值計算這些塊的部分匹配誤差；-在每個片段中將該部分匹配誤差與多個匹配誤差組合；-根據(jù)匹配誤差為每個候選運動向量組選擇各個候選運動向量；以及-將所選擇的候選運動向量指定為各個片段的運動向量。
本發(fā)明的一個重要方面是在分段圖像上重疊塊格柵并且對每個塊做高效運動估計。在對每個塊執(zhí)行運動估計后，通過對每個塊的結(jié)果的累加計算每個片段的結(jié)果。因此，存儲器存取和部分匹配誤差的計算都是基于塊的。這些特征能夠得到基于段的運動估計算法一種簡單實現(xiàn)。根據(jù)本發(fā)明的方法的另一個優(yōu)點是能夠達到整體并行性，因為分段圖像能夠被分割為若干個組塊，可以并行處理不同組的塊。這一特征能夠為該方法引入許多并行方案(VLIW，ASIC)。
根據(jù)本發(fā)明的方法的一個實施例還包括-根據(jù)所述片段以及塊在分段圖像內(nèi)的位置將這些塊的一部分中的每個塊分割為各個象素組，所述塊的該部分中的每個塊與多重片段重疊；-根據(jù)這些片段以及象素組在分段圖像內(nèi)的位置為該象素組確定哪個候選運動向量屬于該象素組；-根據(jù)所確定的候選運動向量并且根據(jù)另一個圖像的象素值計算這些象素組的另外的部分匹配誤差；以及-在每個片段中將部分匹配誤差和該另外的部分匹配誤差同多個匹配誤差組合。
如果塊與多重片段重疊，則將該塊分割為多個象素組，分組的數(shù)目與同該塊重疊的片段的數(shù)目相等。對塊的每個組計算一個部分匹配誤差。這意味著例如如果一個塊與四個片段重疊，那么建立四個象素組。對于四個組中的每一個計算相應(yīng)的候選運動向量。因此，為這個塊計算了四個部分匹配誤差。最終這四個部分匹配誤差同屬于所述各個片段的部分匹配誤差相累加。根據(jù)本發(fā)明的這個實施例的一個優(yōu)點是估算結(jié)果的精確性。
在根據(jù)本發(fā)明的方法的另一個實施例中，根據(jù)分段圖像中片段同塊之間的重疊的數(shù)量來為象素塊確定哪個候選運動向量屬于這些塊。根據(jù)本發(fā)明的這一實施例中，為塊估算的候選運動向量的數(shù)目同重疊片段數(shù)目之間不是線性關(guān)系。例如，設(shè)想1個塊同2個片段重疊并且對于這些片段中的每一個而言有5個候選運動向量，那么最多可以對這些塊估算10個候選運動向量。但是，如果同這些片段之一的重疊數(shù)量相對較小時，例如低于該塊的象素的10％，則對于這個塊來說可以跳過對那個片段估算候選運動向量。這意味著只對那些具有相對較高重疊量的其它片段估算候選運動向量本例中為5。對這一計算可以應(yīng)用兩種不同的方法。第一，對塊的所有象素(包括屬于其它片段的象素)估算候選運動向量。第二，只對包括在塊的象素之內(nèi)的一個象素組(不包括屬于其它片段的象素)估算候選運動向量。根據(jù)本發(fā)明的這一實施例的一個優(yōu)點是同前述其它實施例相比其計算量是有限的。
根據(jù)本發(fā)明的方法的一個實施例中，第一部分匹配誤差對應(yīng)分段圖像象素值與所述另一圖像的另外象素值之間差異的總和。優(yōu)選地部分匹配誤差與絕對誤差總和(SAD)相對應(yīng)。象素值意思是亮度值或色彩表示。這種匹配誤差的一個優(yōu)點是它是穩(wěn)健的，而計算匹配誤差的計算量相對較小。
優(yōu)選地一個象素塊包括8*8或16*16象素。這一格式是一種常用格式。一個優(yōu)點是與現(xiàn)貨硬件的兼容性。
根據(jù)本發(fā)明的方法的一個實施例還包括-根據(jù)指定給第一個所述片段的第一個運動向量，并且根據(jù)指定給另一個分段圖像的另一片段的特定運動向量來確定最終的運動向量，所述分段圖像和所述另一分段圖像都是單一擴充圖像的一部分，所述第一片段和所述另外片段都是遍布所述分段圖像和所述另一片段的單一片段的一部分；以及-將最終運動向量指定給所述第一片段。
換句話說，根據(jù)本發(fā)明的這一實施例執(zhí)行一種后處理來組合多個子圖像的結(jié)果，即部分擴充圖像。看待它的另一種方式是在許多塊帶(stripes of blocks)或塊瓦(tiles of blocks)中處理擴充圖像來為子片段尋找中間運動向量并且最終這些中間運動向量被用來為擴充圖像的各個片段確定合適的運動向量。這個實施例的一個優(yōu)點是進一步提高了內(nèi)存帶寬的使用效率。
如果第一片段的第一尺寸大于另一片段的第二尺寸則優(yōu)選地將第一運動向量指定為最終運動向量，并且如果第二尺寸大于第一尺寸便將特定運動向量指定為最終運動向量?；蛘?，通過計算所述兩個運動向量(即第一運動向量和特定運動向量)的平均來確定最終運動向量。優(yōu)選地，這是一種基于第一和第二尺寸的加權(quán)平均。
本發(fā)明的另一個目的是提供一種開篇段落中描述的類型的運動估計裝置，它基于相對高效的內(nèi)存帶寬使用。
本發(fā)明的這一目的是通過該運動估計裝置包括下列部件達到的-生成裝置，用于為各個片段生成候選運動向量組；-劃分裝置，用于將分段圖像劃分為象素塊格柵；-確定裝置，用于根據(jù)片段以及塊在分段圖像內(nèi)的位置為象素塊確定哪個候選運動向量屬于這些塊；-計算裝置，用于根據(jù)所確定的候選運動向量并根據(jù)另一圖像的象素值為這些塊計算部分匹配誤差；-組合裝置，用于在每個片段中將部分匹配誤差組合到多個匹配誤差中；-選擇裝置，用于根據(jù)匹配誤差為每個候選運動向量組選擇各個候選運動向量；以及-指定裝置，用于將所選的候選運動向量指定為各個片段的運動向量。
本發(fā)明的另一個目的是提供一種在開篇段落中描述的類型的圖像處理設(shè)備，它包括基于相對高效內(nèi)存帶寬使用的運動估計裝置。
本發(fā)明的這一目的通過安排運動估計裝置執(zhí)行權(quán)利要求1的方法達到。根據(jù)本發(fā)明的圖像處理設(shè)備的一個實施例包括基于運動向量而被控制的處理裝置。這個處理裝置可以支持下列圖像處理類型中的一種或多種-視頻壓縮，即編碼或解碼，例如根據(jù)MPEG標準；-去交織處理交織是用于交替?zhèn)魉推鏀?shù)或偶數(shù)數(shù)目的圖像線的通用視頻廣播過程。去交織試圖重建完整的垂直分辨率，即，使得奇數(shù)和偶數(shù)線同時用于每個圖像；
-圖像速率轉(zhuǎn)換從一連串原始輸入圖像計算一大串輸出圖像。輸出圖像暫時位于兩個原始輸入圖像之間；以及-時間降噪。這同樣可以包括空間處理，導(dǎo)致空間-時間降噪。
圖像處理設(shè)備任選地包括一種用于顯示輸出圖像的顯示設(shè)備。圖像處理設(shè)備可以為例如電視機、機頂盒、VCR(盒式磁帶錄象機)播放器、衛(wèi)星調(diào)諧器、DVD(數(shù)字多用盤)播放器或錄像機。
所述方法的修正及其變形與所描述的運動估計裝置的修正和變形相對應(yīng)。


下述實施方式和實施例以及附圖將使根據(jù)本發(fā)明的方法、運動估計裝置和圖像處理設(shè)備的這些以及其它方面變得明顯，并且將結(jié)合這些實施方式和實施例并參考附圖對其進行說明，其中圖1示意性示出兩個連續(xù)分段圖像；圖2示意性示出圖1的一個細節(jié)；圖3示意性示出根據(jù)本發(fā)明的運動估計裝置的一個實施例；圖4示意性示出圖1中的一個分段圖像以及形成該分段圖像的4個子圖像；以及圖5示意性示出根據(jù)本發(fā)明的圖像處理設(shè)備。
全部附圖中，相同的參考數(shù)字被用來表示相似的部件。
具體實施例方式
圖1示意性示出兩個連續(xù)的分段圖像100和102。第一圖像100包括4個片段S11、S12、S13以及S14。第二圖像102同樣包括4個片段S21、S22、S23以及S24。第一圖像100的片段S11對應(yīng)于第二圖像102的片段S21。第一圖像100的片段S12對應(yīng)于第二圖像102的片段S22。第一圖像100的片段S13對應(yīng)于第二圖像102的片段S23。第一圖像100的片段S14對應(yīng)于第二圖像102的片段S24。由于移動，例如涉及作為圖像的一個場景的目標的照相機的移動，所述不同片段相對于圖像坐標系發(fā)生移位?？梢酝ㄟ^運動估計來估計這些移位。這意味著運動向量MV(1)、MV(2)、MV(3)以及MV(4)被估計出來，它們分別描述片段S11、S12、S13以及S14同片段S21、S22、S23以及S24之間的關(guān)系。運動估計基于對每個片段的候選運動向量CMV(s，c)的估算，s表示片段且c表示每個片段的候選者。對片段的每個候選運動向量CMV(s，c)計算一個匹配誤差ME(s，c)。在每個片段中選出具有最低匹配誤差的候選運動向量。這一被選候選運動向量被指定為相應(yīng)片段的運動向量MV(s)。
根據(jù)本發(fā)明對匹配誤差ME(s，c)的計算基于多個部分匹配誤差ME(s，c，b)的計算。分段圖像被劃分為相互等尺寸的多個塊。檢驗這些塊中的每一個分別與圖像的哪個片段相重疊。根據(jù)該重疊選擇合適的候選運動向量。基于這些候選運動向量以及塊的坐標，第二圖像102的相應(yīng)象素值被用于同該塊的象素值相比較。以這種方式(例如行掃描方案或列掃描方案)逐塊計算出部分匹配誤差ME(s，c，b)?？蛇x地，并行處理被應(yīng)用來同時計算多個部分匹配誤差ME(s，c，b)。每個片段的部分匹配誤差ME(s，c，b)都按方程(1)規(guī)定的形式進行累加ME(s,c)=Σbb⋐sME(s,c,b)---(1)]]>某些塊完全包含在片段之一中，例如塊b11、b12、b13、b21、b22、b23、b31、b32、b33以及b41包含在片段S11中。很明顯這種情況下這些塊的部分匹配誤差ME(s，c，b)都貢獻給片段S11。但是同樣存在對應(yīng)于多個片段的塊。例如，塊b14部分位于片段S11中而部分位于片段S12中。有很多方法來處理這些類型的塊。下面將通過例子來解釋這些方法。
第一種方法基于將同多重片段重疊的每個塊分割為多個象素組。圖2示意性示出圖1的一個細節(jié)。更具體的，繪出了塊b24。可以看出這一塊b24包括對應(yīng)片段S11的第一象素組202以及對應(yīng)片段S12的第二象素組204。對第一象素組202必須估算片段S11的候選運動向量，而對第二象素組204必須估算片段S12的候選運動向量。注意片段S11的某些候選運動向量可能等于片段S12的某些候選運動向量。但是，候選運動向量組之間還是存在差異的可能性很大。因此，對第一象素組202計算多個部分匹配誤差ME(s11，c，b24(1))，而對第二象素組204計算多個部分匹配誤差ME(s12，c，b24(2))。這種情況下，塊b24的第一象素組202被指示為b24(1)而塊b24的第二象素組204被指示為b24(2)。通過累加部分或完全屬于片段S11的部分匹配誤差來計算片段S11的不同候選運動向量的匹配誤差。
ME(S11，c)＝ME(S11，c，b11)+ME(S11，c，b12)+ME(S11，c，b13)+ME(S11，c，b14(1))+ME(S11，c，b21)+ME(S11，c，b22)+ME(S11，c，b23)+ME(S11，c，b24(1))+ (2)ME(S11，c，b31)+ME(S11，c，b32)+ME(S11，c，b33)+ME(S11，c，b34(1))+ME(S11，c，b41)+ME(S11，c，b42(1))+ME(S11，c，b43(1))+ME(S11，c，b44(1))+ME(S11，c，b51(1))+ME(S11，c，b52(1))在累加部分匹配誤差之后，便知道了每個候選運動向量對應(yīng)的匹配誤差。具有最低匹配誤差的候選運動向量MV(S11，c)被選為片段S11的運動向量MV(S11)。
第二種方法同樣基于將同多個片段重疊的每個塊分割為多個象素組。但是，如果一個組的象素數(shù)低于預(yù)定閥值，則不對該象素組計算部分運動向量。閥值為例如塊象素數(shù)的1/2或1/4。例如圖1所示的例子中，這意味著如果閥值等于該塊象素數(shù)的1/4，則塊b44和b52對片段S1的候選運動向量的匹配誤差的計算沒有貢獻。對于包含的象素高于預(yù)定閥值的象素組，如前所述計算和累加部分運動向量。
第三種方法中，根據(jù)片段同分段圖像內(nèi)塊之間的重疊量來確定哪個候選運動向量屬于該塊。這意味著如果一個特定塊被多個片段重疊，則根據(jù)這個特定塊的所有象素并且根據(jù)同這個特定塊具有最大重疊量的片段的候選運動向量來計算部分匹配誤差。例如，在圖1所示的例子中，這意味著對片段S1的候選運動向量的匹配誤差的計算，下列塊完全貢獻給片段S1b14、b24以及b34。可選地，檢測最大重疊是否高于預(yù)定閥值。這在塊同多于兩個的片段重疊時是特別有意義的。如果最大重疊低于預(yù)定閥值，則不對該塊計算部分匹配誤差。
第四種方法中，不對那些同多個片段重疊的塊計算部分匹配誤差。換句話說，這些塊對候選運動向量的估算沒有貢獻。例如，圖1所示的例子中，這意味著對片段S1的候選運動向量的匹配誤差的計算，僅僅下列塊做出貢獻b11、b12、b13、b21、b22、b23、b31、b32、b33以及b41。
應(yīng)當(dāng)注意盡管圖1示出兩個分段圖像100和102，但實際上僅要求一個分段。這意味著其它圖像不需要被分段。這是根據(jù)本發(fā)明的方法的一個優(yōu)點。因為實際計算是基于塊的，而塊到組的任意劃分僅僅基于一個分段圖像的片段。
圖3示意性示出根據(jù)本發(fā)明的運動估計裝置300的一個實施例。運動估計裝置300在輸入連接器316處被供以圖像(即象素值)，并且在輸入連接器318處被提供以分段數(shù)據(jù)(例如每個圖像的掩?；蛎總€圖像的包圍片段的輪廓線的描述)。運動估計裝置300在輸出連接器320處為每個圖像提供一個運動向量。運動估計裝置300被安排來估計如結(jié)合圖1所說明的運動向量。運動估計裝置300包括-生成裝置314，用于為分段圖像的各個片段生成候選運動向量組；-劃分裝置304，用于將分段圖像劃分為象素塊格柵。劃分裝置304被安排從存儲設(shè)備302取出那些屬于被考慮象素塊的象素值?；蛘?，劃分裝置304被安排來確定坐標并且根據(jù)這些坐標將象素值的取出留給運動估計裝置300的其它裝置。存儲設(shè)備302可以是運動估計裝置300的一部分，但它還可以被圖像處理設(shè)備的其它裝置或模塊共享，例如在運動估計裝置300控制下的分段裝置502或圖像處理裝置504-確定裝置306，用于根據(jù)片段以及塊在分段圖像內(nèi)的位置為象素塊確定哪個候選運動向量屬于這些塊；-計算裝置308，用于根據(jù)所確定的候選運動向量并根據(jù)另一圖像的象素值為塊計算部分匹配誤差；-組合裝置310，用于在每個片段中將部分匹配誤差組合到多個匹配誤差中；-選擇裝置312，用于根據(jù)匹配誤差為每個候選運動向量組選擇各個候選運動向量，并且將所選的候選運動向量指定為各個片段的運動向量。
運動估計裝置300的操作如下。還看圖1。假定圖像100被劃分為4個片段S11到S14，并且每個片段最初只有一個候選運動向量。這些候選運動向量CMV(*，*)通過生成裝置314生成并且被提供到確定裝置306。
劃分裝置304被安排來訪問存儲設(shè)備，由此以從左上角到右下角(即從塊b11到塊b88)的掃描方案逐塊取出圖像100的象素值。劃分裝置304將每個塊(例如b11)的對應(yīng)(x，y)坐標提供到確定裝置306。確定裝置306被安排根據(jù)這些坐標并根據(jù)片段的位置來為每個象素塊確定哪個候選運動向量屬于這些塊。
第一塊b11完全被第一片段S11重疊。因此，只有片段S1的候選運動向量CMV(S11，C1)被提供到計算裝置308。根據(jù)該候選運動向量CMV(S11，C1)并且根據(jù)塊b11的坐標，計算裝置被安排來得到另一圖像102的象素值。接下來該塊的部分匹配誤差ME(S11，C1，b11)被計算出來并且被提供到組合裝置310。對塊b12和b13執(zhí)行相似的處理步驟，分別得到部分匹配誤差ME(S11，C1，b12)和ME(S11，C1，b13)。
第4塊b14部分被第一片段S11重疊且部分被第二片段S12重疊。因此，兩個候選運動向量CMV(S11，C1)和CMV(S12，C1)被提供到計算裝置308。計算裝置308被安排來根據(jù)如下條件得到另一圖像102的象素值-候選運動向量CMV(S11，C1)和CMV(S12，C1)；-分段數(shù)據(jù)；以及-塊b11的坐標。
由此計算出塊b14的兩個象素組b14(1)和b14(2)的兩個部分匹配誤差ME(S11，C1，b14(1))和ME(S12，C1，b14(2))，并將它們提供給組合裝置310。
以相似的方式對所有塊執(zhí)行上述處理步驟。計算出所有部分匹配誤差后，建立每個片段的匹配誤差。很清楚可以并行計算和累加部分匹配誤差。
隨后為每個片段生成一個新的候選運動向量。優(yōu)選地，這些新的候選運動向量從其它片段的候選組導(dǎo)出。同樣對這些新的候選者計算相應(yīng)的匹配誤差。計算出候選運動向量的所有匹配誤差后，選擇裝置312為每個片段選擇具有最低匹配誤差的候選運動向量。
以上描述了交替執(zhí)行候選運動向量的生成和估算?；蛘?，相繼執(zhí)行生成和估算，即首先生成所有的候選運動向量，隨后進行估算?；蛘?，首先生成一部分候選運動向量并估算，然后生成第二部分候選運動向量并進行估算。
以上描述了對于特定塊每個重疊片段只估算一個候選運動向量。然后處理下一個塊?；蛘?，計算特定塊所有可得到的候選運動向量，并且隨后估算下一個塊所有可得到的候選運動向量。
可以使用一個處理器實現(xiàn)生成裝置314、劃分裝置304、確定裝置306、計算裝置308、組合裝置310以及選擇裝置312。通常，這些功能是在軟件程序產(chǎn)品的控制下執(zhí)行的。執(zhí)行期間，該軟件程序產(chǎn)品通常被載入像RAM的存儲器中，并且從那里執(zhí)行。程序還可以從像ROM、硬盤或磁盤和/光盤存儲器的后臺存儲器取出，或可以通過像因特網(wǎng)的網(wǎng)絡(luò)下載。任意一種專用集成電路都可提供所公開的功能性。
以上描述了以逐行掃描方案執(zhí)行處理?；蛘呖梢栽谠S多行并行執(zhí)行處理。整個圖像的第一迭代之后，通常要對整個圖像執(zhí)行額外數(shù)目的迭代。優(yōu)選地，后續(xù)迭代的掃描方案是不同的，例如逐行掃描、逐列掃描、z形掃描。迭代達到預(yù)定數(shù)目或者達到收斂時便停止處理。
盡管整個圖像上的迭代會得到合適的結(jié)果，但從內(nèi)存帶寬使用的角度來講，優(yōu)選地將估計各個片段的運動向量的過程劃分為估計子片段的中間運動向量的子過程，其后跟隨一個將子過程的結(jié)果組合起來的后處理步驟。圖4示意性示出圖1中的分段圖像之一100以及形成該分段圖像100的4個子圖像401到404。第一子圖像401對應(yīng)塊b11到b28。第二子圖像402對應(yīng)塊b31到b48。第三子圖像403對應(yīng)塊b51到b68。第四子圖像404對應(yīng)塊b71到b88。第一子圖像401同一個第一部分(即如圖1所示的片段S11的子片段S111)重疊，并且第一子圖像401與一個第二部分(即如圖1所示的片段S12的子片段S121)重疊。第二子圖像402與一個第一部分(即片段S11的子片段S112)、一個第二部分(即片段S12的子片段S122)、一個第三部分(即片段S13的子片段S132)以及一個第四部分(即片段S14的子片段S142)重疊。第三子圖像403與一個第一部分(即片段S13的子片段S133)以及一個第二部分(即片段S14的子片段S143)重疊。第四子圖像404與一個第一部分(即片段S13的子片段S134)以及一個第二部分(即片段S14的子片段S144)重疊。
首先分別為子片段S111到S144估計初始運動向量MV(S111)到MV(S144)。這即使在指定子圖像的環(huán)境中也按參照圖1到圖3所描述方式執(zhí)行?？梢园错樞?即逐子圖像地)執(zhí)行初始運動向量MV(S111)到MV(S144)的估計。但是，優(yōu)選地并行執(zhí)行初始運動向量MV(S111)到MV(S144)的估計。確定了初始運動向量MV(S111)到MV(S144)之后，便可建立分段圖像100的各個片段S11到S14的最終運動向量MV(S1)到MV(S14)。例如，根據(jù)為子片段S121確定的第一運動向量MV(S121)以及為子片段S122確定的第二運動向量MV(S122)來確定片段S12的最終運動向量MV(S12)。許多情況下，第一運動向量MV(S121)看起來與第二運動向量MV(S122)相等。這時建立片段S12的最終運動向量就相對簡單，即選擇一個或另一個。在第一運動向量MV(S121)與第二運動向量MV(S122)之間存在差異的情況下，優(yōu)選地選擇與片段S12重疊最大的初始運動向量。這種情況下，第一運動向量MV(S121)被指定為片段S12的最終運動向量MV(S12)，因為第一子片段S121的第一尺寸大于子片段S122的第二尺寸。
接下來，討論一個建立對應(yīng)于片段S13的最終運動向量MV(S13)的例子，其中片段S13與三個子片段S132、S133以及S134重疊。首先確定不同子片段S132、S133以及S134與片段S13的重疊量。這是通過計數(shù)位于表示片段S13的輪廓線的各個部分之內(nèi)的并且位于與該輪廓線交叉的子片段402、403及404的邊界內(nèi)的各個象素數(shù)來實現(xiàn)的。這種情況下，子片段S132的第一尺寸相對較低。由于這個原因，計算片段S13的最終運動向量MV(S13)時不考慮對應(yīng)的初始運動向量MV(S132)。片段S13的最終運動向量MV(S13)基于分別為子片段S133和S134確定的初始運動向量MV(S133)和MV(S134)的加權(quán)平均。加權(quán)系數(shù)基于子片段S133和S134各自的重疊量。
圖5示意性示出根據(jù)本發(fā)明的一種圖像處理設(shè)備，其包括-分段裝置502，用于將輸入圖像分割為分段圖像。分段裝置502被安排來接收代表輸入圖像的信號。該信號可以是通過天線或電纜接收的廣播信號，但也可以是來自像VCR(盒式磁帶錄象機)或數(shù)字多用盤(DVD)的存儲設(shè)備的信號。該信號被提供到輸入連接器510處；-基于段的運動估計裝置508，如參照圖3所述；-圖像處理裝置504，其由運動估計裝置508控制。圖像處理裝置504可以支持下列圖像處理類型中的一種或多種視頻壓縮、去交織、圖像速率轉(zhuǎn)換或時間降噪。
-顯示設(shè)備506，用于顯示圖像處理裝置504的輸出圖像。
圖像處理設(shè)備500例如可以為電視?；蛘邎D像處理設(shè)備500不包括任意顯示設(shè)備506而將輸出圖像提供給包括顯示設(shè)備506的儀器。則圖像處理設(shè)備500例如可以為機頂盒、衛(wèi)星調(diào)諧器、VCR播放器、DVD播放器或錄像機。可選地圖像處理設(shè)備500包括像硬盤或移動介質(zhì)存儲的裝置一類的存儲裝置，例如光盤。圖像處理設(shè)備500還可以是被電影制片廠或廣播電臺所應(yīng)用的系統(tǒng)。
應(yīng)該注意上述實施例是為了說明而不是限制本發(fā)明，并且在不背離附加權(quán)利要求范圍的前提下本領(lǐng)域內(nèi)的技術(shù)人員將能夠設(shè)計出其它實施例。權(quán)利要求中，置于括號中間的任何參考標記都不應(yīng)對權(quán)利要求構(gòu)成限制。單詞“包括”并不排除權(quán)利要求中所列舉的那些元件或步驟之外的其它元件或步驟。在元件之前的單詞“一個”并不排除多個此類元件的出現(xiàn)。本發(fā)明可以通過包括若干獨特元件的硬件且通過適當(dāng)編程的計算機來實現(xiàn)。在組合權(quán)利要求說明中列舉了若干設(shè)備，這些設(shè)備中的某些能夠被同一硬件對象實現(xiàn)。
權(quán)利要求
1.一種基于段的運動估計方法，用于為分段圖像(100)的各個片段(S11到S14)確定運動向量，該方法包括-為各個片段(S11到S14)生成候選運動向量組；-將分段圖像(100)劃分為象素塊(b11到b88)格柵；-根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置為象素的塊(b11到b88)確定哪個候選運動向量屬于這些塊(b11到b88)；-根據(jù)所確定的候選運動向量并且根據(jù)另一圖像(102)的象素值計算這些塊(b11到b88)的部分匹配誤差；-在每個片段中，將該部分匹配誤差組合到多個匹配誤差中；-根據(jù)匹配誤差為每個候選運動向量組選擇各個候選運動向量；以及-將所選的候選運動向量指定為各個片段(S11到S14)的運動向量。
2.根據(jù)權(quán)利要求1的基于段的運動估計方法，其還包括-根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置將塊(b11到b88)的一部分中的每個塊劃分為各個象素組，這些塊(b11到b88)的該部分中的每個塊與多個片段(S11到S14)重疊；-根據(jù)片段(S11到S14)以及象素組在分段圖像(100)內(nèi)的位置為象素組確定哪個候選運動向量屬于這些象素組；-根據(jù)所確定的候選運動向量并根據(jù)另一圖像(102)的象素值為這些象素組計算另外的部分匹配誤差；以及-在每個片段中將部分匹配誤差以及所述另外的匹配誤差組合到多個匹配誤差中。
3.根據(jù)權(quán)利要求1的基于段的運動估計方法，其中為象素塊(b11到b88)確定哪個候選運動向量屬于這些塊(b11到b88)基于分段圖像(100)內(nèi)片段(S11到S14)與塊(b11到b88)之間的重疊量。
4.根據(jù)權(quán)利要求1的基于段的運動估計方法，其中第一個部分匹配誤差對應(yīng)于分段圖像(100)的象素值與另一圖像(102)的另一象素值之間的差異的和。
5.根據(jù)權(quán)利要求1的基于段的運動估計方法，其中象素的第一塊(b11到b88)包括8*8或16*16象素。
6.根據(jù)權(quán)利要求1的基于段的運動估計方法，其還包括-根據(jù)指定給第一片段的第一運動向量并且根據(jù)指定給另一個分段圖像的另一片段的特定運動向量來確定一個最終運動向量，所述分段圖像和另一分段圖像都是單一擴展圖像的一部分，第一個片段和另一片段都是單一片段的一部分，該單一片段分布在所述分段圖像和另一分段圖像之上；以及-將所述最終運動向量指定到第一片段。
7.根據(jù)權(quán)利要求6的基于段的運動估計方法，其中如果第一片段的第一尺寸大于另一片段的第二尺寸便將第一運動向量指定為最終運動向量，并且其中如果第二尺寸大于第一尺寸便將特定運動向量指定為最終運動向量。
8.一種運動估計裝置(300)，用于為分段圖像(100)的各個片段(S11到S14)估計運動向量，所述運動估計裝置包括-生成裝置(314)，用于為各個片段(S11到S14)生成候選運動向量組；-劃分裝置(304)，用于將分段圖像(100)劃分為象素塊(b11到b88)格柵；-確定裝置(306)，用于根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置為象素塊(b11到b88)確定哪個候選運動向量屬于這些塊(b11到b88)；-計算裝置(308)，用于根據(jù)所確定的候選運動向量并且根據(jù)另一圖像(102)的象素值為塊(b11到b88)計算部分匹配誤差；-組合裝置(310)，用于在每個片段中將部分匹配誤差組合到多個匹配誤差中；-選擇裝置(312)，用于根據(jù)匹配誤差為每個候選運動向量組選擇各個候選運動向量；以及-指定裝置，用于將所選的候選運動向量指定為各個片段(S11到S14)的運動向量。
9.一種圖像處理設(shè)備(500)，其包括-分段裝置(502)，用于將輸入圖像分割為分段圖像(100)；以及-運動估計裝置(508)，用于如權(quán)利要求6所述為分段圖像(100)的各個片段(S11到S14)估計運動向量。
10.根據(jù)權(quán)利要求9的圖像處理設(shè)備(500)，其特征在于它還包括根據(jù)所述運動向量而被控制(504)的處理裝置。
11.根據(jù)權(quán)利要求10的圖像處理設(shè)備(500)，其特征在于處理裝置(504)被安排來執(zhí)行視頻壓縮。
12.根據(jù)權(quán)利要求10的圖像處理設(shè)備(500)，其特征在于處理裝置(504)被安排來執(zhí)行去交織。
13.根據(jù)權(quán)利要求10的圖像處理設(shè)備(500)，其特征在于處理裝置(504)被安排來執(zhí)行圖像速率轉(zhuǎn)換。
14.根據(jù)權(quán)利要求9的圖像處理設(shè)備(500)，其特征在于它是電視機。
全文摘要
一種用于為分段圖像(100)的各個片段(S11到S14)確定運動向量的方法，其包括為各個片段(S11到S14)生成候選運動向量組；將分段圖像(100)劃分為象素塊(b11到b88)的格柵；根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置為象素塊(b11到b88)確定哪個候選運動向量屬于這些塊(b11到b88)；根據(jù)所確定的候選運動向量并且根據(jù)另一圖像(102)的象素值計算塊(b11到b88)的部分匹配誤差；在每個片段中將部分匹配誤差組合到多個匹配誤差中；根據(jù)匹配誤差為每個候選運動向量組選擇各個候選運動向量；以及將所選的候選運動向量指定為各個片段(S11到S14)的運動向量。
文檔編號G06F7/00GK1729486SQ200380107123
公開日2006年2月1日 申請日期2003年11月20日 優(yōu)先權(quán)日2002年12月20日
發(fā)明者R·塞圖拉曼, F·E·埃恩斯特, P·P·E·穆維斯森, H·J·A·M·彼得斯, R·佩塞特洛皮斯 申請人:皇家飛利浦電子股份有限公司