專利名稱：確定對應(yīng)于圖像影像范圍的運(yùn)動(dòng)矢量的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于確定分別對應(yīng)于一個(gè)圖像中各個(gè)影像范圍的運(yùn)動(dòng)矢量的方法和裝置。
背景技術(shù)：
在圖像處理中已知，分別為圖像序列中一個(gè)圖像的各個(gè)影像范圍分配運(yùn)動(dòng)矢量，所述運(yùn)動(dòng)矢量規(guī)定了這個(gè)影像范圍的位置相對于圖像序列的在先或隨后的圖像中這個(gè)影像范圍的位置的移動(dòng)。由此得到的運(yùn)動(dòng)信息例如用于在生成一個(gè)或多個(gè)在時(shí)間上位于圖像序列的各圖像之間的中間圖像時(shí)，以便校正在中間圖像中運(yùn)動(dòng)對象的位置，即能夠在運(yùn)動(dòng)方面正確地顯示運(yùn)動(dòng)對象。另外，關(guān)于在多個(gè)連續(xù)圖像中運(yùn)動(dòng)的對象或影像范圍的運(yùn)動(dòng)信息也可以被用于壓縮存儲(chǔ)連續(xù)圖像的圖像信息。
產(chǎn)生這樣的運(yùn)動(dòng)矢量的多種方法中的一種可能的方法是例如在Blume，H.的“Nichtlineare fehlertolerante Interpolation vonZwischenbildern”，F(xiàn)ortschrittberichte VDI，1997，第57頁之后，第5.1.3章中介紹的所謂的塊匹配(Blockmatching)方法。在該方法中，一個(gè)圖像序列的當(dāng)前圖像被劃分成多個(gè)相同大小的塊。對于這些塊中的每一個(gè)，在塊的在先或隨后圖像中搜索其圖像內(nèi)容與當(dāng)前圖像的各個(gè)塊的內(nèi)容最相符的塊。于是，當(dāng)前圖像的這個(gè)塊和與當(dāng)前圖像的這個(gè)塊最相符的在先或隨后圖像的塊之間的移動(dòng)矢量構(gòu)成當(dāng)前圖像的這個(gè)塊的運(yùn)動(dòng)矢量。
在所謂的完全搜索算法(Full-Search-Algorithmus)中，將當(dāng)前圖像的每個(gè)塊與在先或隨后圖像的每個(gè)塊進(jìn)行比較，以便確定單個(gè)區(qū)域的運(yùn)動(dòng)矢量。此外，為了降低完全搜索算法中所需的巨大計(jì)算量，已知采用預(yù)計(jì)估計(jì)方法，其中在確定一個(gè)塊的運(yùn)動(dòng)矢量時(shí)考慮來自在先運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)信息。
借助于塊估計(jì)方法的運(yùn)動(dòng)估計(jì)的質(zhì)量主要取決于塊分辨率，即單個(gè)塊的大小。其中，單個(gè)的塊越小，即單個(gè)塊中圖像的分辨率越好，并因此為每個(gè)圖像確定了較多的運(yùn)動(dòng)矢量，則質(zhì)量越好。但是反過來，當(dāng)塊變越小時(shí)增加了計(jì)算量。當(dāng)然，當(dāng)塊變小時(shí)，對估計(jì)誤差來說更容易出錯(cuò)。因此，最優(yōu)的塊大小在4×8(行×像素)以上。由此產(chǎn)生在圖像處理中可明顯識(shí)別的塊結(jié)構(gòu)。
為了在確定運(yùn)動(dòng)矢量時(shí)提高分辨率，由US5,148,269已知，將圖像分割為預(yù)定數(shù)量的主塊并首先進(jìn)行塊估計(jì)，以便為這些主塊中的每一個(gè)分配一個(gè)運(yùn)動(dòng)矢量。然后，每個(gè)單個(gè)的主塊被分割成分別對應(yīng)于一個(gè)運(yùn)動(dòng)矢量的多個(gè)子塊。此時(shí)，為了產(chǎn)生子塊的運(yùn)動(dòng)矢量，要考慮各個(gè)主塊的運(yùn)動(dòng)矢量以及與該主塊相鄰的其他主塊的運(yùn)動(dòng)矢量。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種確定運(yùn)動(dòng)矢量的方法，其中該方法在可接受的計(jì)算量額外開銷下提高了分辨率，并且提供了一種執(zhí)行上述方法的裝置。
這個(gè)任務(wù)通過根據(jù)權(quán)利要求1的方法和根據(jù)權(quán)利要求14的裝置來完成。優(yōu)選實(shí)施例是從屬權(quán)利要求的主題。
確定分別對應(yīng)于一個(gè)圖像的各個(gè)影像范圍的運(yùn)動(dòng)矢量的方法包括以下方法步驟-利用第一塊光柵(Blockraster)將圖像分割為多個(gè)第一主塊，并執(zhí)行第一種估計(jì)方法，以便為每個(gè)第一塊提供一個(gè)運(yùn)動(dòng)矢量，-利用其位置相對于第一塊光柵-最好在水平和垂直方向上-偏移的另一塊光柵將圖像至少一次分割為多個(gè)其他主塊，并執(zhí)行另一種估計(jì)方法，以便為每個(gè)其他主塊提供一個(gè)運(yùn)動(dòng)矢量，-將圖像分割為多個(gè)子塊，其中每個(gè)子塊由第一光柵的一個(gè)主塊與至少一個(gè)其他光柵的每一個(gè)主塊之間的重疊區(qū)域構(gòu)成，以及-根據(jù)對應(yīng)于相應(yīng)子塊的主塊的運(yùn)動(dòng)矢量為每個(gè)子塊產(chǎn)生一個(gè)運(yùn)動(dòng)矢量。
其中，對于第一種估計(jì)方法和其他估計(jì)方法，可以采用適于為圖像的各個(gè)影像范圍確定運(yùn)動(dòng)矢量的任何常規(guī)塊估計(jì)方法。因?yàn)榕c完全搜索方法相比具有較少的計(jì)算開銷，所以優(yōu)選地選用預(yù)計(jì)估計(jì)方法。
根據(jù)本發(fā)明的方法的優(yōu)點(diǎn)在于，在執(zhí)行具有兩個(gè)相互偏移的塊光柵的塊估計(jì)方法時(shí)，已經(jīng)將該方法的分辨率提高了一個(gè)因數(shù)，即在方法結(jié)束時(shí)分別為其提供運(yùn)動(dòng)矢量的塊的大小比為其執(zhí)行塊估計(jì)方法的主塊的大小要小一個(gè)因數(shù)。一般而言，如果為每個(gè)塊估計(jì)方法使用用于將圖像分割為主塊的其他光柵，則矢量場的分辨率，即每個(gè)圖像確定的運(yùn)動(dòng)矢量的數(shù)量，隨著執(zhí)行的塊估計(jì)方法的數(shù)量呈指數(shù)增長。而計(jì)算開銷則隨著執(zhí)行的塊估計(jì)方法的數(shù)量基本上呈線性增加。
由第一個(gè)和至少一個(gè)其他光柵所構(gòu)成的主塊的大小最好總是相等的。
最好這樣實(shí)現(xiàn)至少一個(gè)其他光柵相對于第一光柵的偏移，使得每次產(chǎn)生具有相同大小的子塊。在利用第一光柵和相對于第一光柵偏移的第二光柵執(zhí)行兩次連續(xù)塊估計(jì)方法的方法中，這意味著，第二光柵在水平方向上相對于第一光柵偏移一個(gè)主塊的水平尺寸的一半，并且第二光柵在垂直方向上相對于第一光柵偏移一個(gè)主塊的垂直尺寸的一半。
如果為了進(jìn)一步提高矢量場的分辨率，分割n個(gè)光柵，其中n＞2，以便將圖像分割為相同大小的主塊，則這樣選擇各個(gè)光柵，使得子塊的尺寸在水平和垂直方向上分別是主塊在水平和垂直方向上尺寸的1/n。
利用各個(gè)子塊分別位于其重疊區(qū)域中的主塊的運(yùn)動(dòng)矢量構(gòu)成子塊的運(yùn)動(dòng)矢量。這可以用不同方式來實(shí)現(xiàn)，其中最好選擇對應(yīng)于子塊的主塊的運(yùn)動(dòng)矢量作為子塊的運(yùn)動(dòng)矢量。
為了選擇一個(gè)主塊的運(yùn)動(dòng)矢量，可以考慮在估計(jì)方法期間對應(yīng)于每個(gè)運(yùn)動(dòng)矢量的品質(zhì)值(Gütemaβ)。正如開始所解釋的那樣，在確定當(dāng)前圖像的影像范圍的運(yùn)動(dòng)矢量的塊估計(jì)方法中，將當(dāng)前圖像的這個(gè)影像范圍與在先或隨后的圖像的一個(gè)影像范圍進(jìn)行比較。為了比較影像范圍，例如通過分別計(jì)算位于要比較的影像范圍內(nèi)的各個(gè)相同位置上的各個(gè)像點(diǎn)的圖像信息值的差，將要比較的影像范圍的像點(diǎn)的圖像信息值(例如亮度或色度值)逐個(gè)像點(diǎn)地相互比較。其中，各個(gè)運(yùn)動(dòng)矢量的品質(zhì)值構(gòu)成了所有這些差值的絕對值的和或者所有這些差值的平方和。其中，這個(gè)值越小，矢量的品質(zhì)因數(shù)越大。
其中，可以使用具有“較好”品質(zhì)值的主塊運(yùn)動(dòng)矢量作為一個(gè)子塊的運(yùn)動(dòng)矢量。
另外也存在這樣的可能性，即為一個(gè)主塊的每個(gè)運(yùn)動(dòng)矢量分配用于每個(gè)子塊的品質(zhì)值。通過為各個(gè)子塊逐塊地將各個(gè)像點(diǎn)的圖像信息值的絕對值或平方進(jìn)行累加，這個(gè)品質(zhì)值可能在塊估計(jì)方法期間已經(jīng)被確定。其中最好選擇對于各個(gè)子塊具有最佳品質(zhì)值的主塊的運(yùn)動(dòng)矢量作為一個(gè)子塊的運(yùn)動(dòng)矢量。
另一種可能性在于，借助于統(tǒng)計(jì)排列的濾波器(例如中值濾波器)由覆蓋子塊的主塊的矢量確定一個(gè)子塊的運(yùn)動(dòng)矢量。
在另一種實(shí)施方式中規(guī)定，在將主塊的一個(gè)運(yùn)動(dòng)矢量分配給子塊時(shí)，使用主塊運(yùn)動(dòng)矢量的收斂判據(jù)。例如，如果一個(gè)運(yùn)動(dòng)矢量與一個(gè)相鄰主塊的運(yùn)動(dòng)矢量的偏差小于一個(gè)預(yù)定的差矢量，則認(rèn)為該運(yùn)動(dòng)矢量收斂。
在本發(fā)明所述方法的一種實(shí)施方式中規(guī)定，從分配給一個(gè)子塊的至少兩個(gè)運(yùn)動(dòng)矢量中選出一個(gè)收斂的運(yùn)動(dòng)矢量。如果多個(gè)運(yùn)動(dòng)矢量收斂，則可以考慮用品質(zhì)值作為進(jìn)一步的選擇標(biāo)準(zhǔn)，或者考慮借助于統(tǒng)計(jì)排列的濾波器進(jìn)行上述濾波。
用于執(zhí)行根據(jù)本發(fā)明的方法的裝置包括-利用第一塊光柵將圖像分割為多個(gè)第一主塊的裝置，以及執(zhí)行第一種估計(jì)方法以便為每個(gè)第一塊提供一個(gè)運(yùn)動(dòng)矢量的裝置，-利用其位置相對于第一塊光柵偏移的另一塊光柵將圖像至少一次分割為多個(gè)其他主塊的裝置，以及執(zhí)行另一種估計(jì)方法以便為每個(gè)其他主塊提供一個(gè)運(yùn)動(dòng)矢量的裝置，-將圖像分割為多個(gè)子塊的裝置，其中由一個(gè)第一主塊和至少一個(gè)其他光柵的每一個(gè)主塊之間的重疊區(qū)域構(gòu)成每個(gè)子塊，以及-根據(jù)對應(yīng)于相應(yīng)子塊的主塊的運(yùn)動(dòng)矢量為每個(gè)子塊產(chǎn)生一個(gè)運(yùn)動(dòng)矢量的裝置。


以下借助于附圖詳細(xì)描述本發(fā)明。
圖1示意性地表示利用兩個(gè)相互偏移的光柵分割成主塊的圖像。
圖2表示根據(jù)圖1的圖像的放大截面圖。
圖3表示利用三個(gè)塊光柵分割成主塊的圖像的一個(gè)截面圖。
圖4表示用于執(zhí)行根據(jù)本發(fā)明的確定運(yùn)動(dòng)矢量的方法的裝置。
具體實(shí)施例方式
圖1示意性地示出了一個(gè)圖像序列中的一個(gè)圖像Px，所述圖像序列以未詳細(xì)表示的方式包括時(shí)間上連續(xù)的、多個(gè)分別具有相同構(gòu)造的圖像。圖像Px例如是一系列電視或視頻圖像中的一個(gè)圖像。
為了執(zhí)行運(yùn)動(dòng)估計(jì)，使用一個(gè)第一光柵R1將圖像Px分割成多個(gè)相同大小的主塊Ax，在圖1中用虛線標(biāo)出了其中的一個(gè)。為第一光柵R1的這些主塊Ax中的每一個(gè)分配一個(gè)運(yùn)動(dòng)矢量。這個(gè)運(yùn)動(dòng)矢量以基本已知的方式描述了由各個(gè)主塊Ax代表的圖像內(nèi)容相對于圖像序列的在先或隨后的圖像中具有相同圖像內(nèi)容的一個(gè)主塊的位置的偏移。為了將運(yùn)動(dòng)矢量分配給第一光柵R1的各個(gè)主塊，可以采用任意的塊估計(jì)方法，尤其是如在上述的Blume參考文獻(xiàn)中介紹的那種塊估計(jì)方法。
根據(jù)本發(fā)明，利用其位置相對于第一光柵R1的位置偏移的第二光柵R2將圖像Px分割成其他主塊Bx，在圖1中用虛線標(biāo)出了其中一個(gè)。第二光柵R2的主塊Bx的尺寸最好與第一光柵R1的主塊Ax的尺寸一致。
第一光柵R1的一個(gè)主塊Ax與第二光柵R2的一個(gè)主塊Bx發(fā)生重疊的影像范圍構(gòu)成了圖像Px的子塊。在圖1中用附圖標(biāo)記AxBx表示一個(gè)這樣的子塊，它由第一光柵R1的用陰影線表示的主塊與第二光柵R2的用陰影線表示的主塊相重疊而構(gòu)成。
為這些子塊AxBx中的每一個(gè)分配一個(gè)適當(dāng)?shù)摹⑴c構(gòu)成各個(gè)子塊AxBx的主塊Ax、Bx的運(yùn)動(dòng)矢量Vax、Vbx相關(guān)的運(yùn)動(dòng)矢量Vaxbx。由于光柵R1、R2相互偏移設(shè)置，子塊AxBx小于兩個(gè)光柵R1、R2的主塊Ax、Bx，使得通過為每個(gè)子塊AxBx分配一個(gè)適當(dāng)?shù)倪\(yùn)動(dòng)矢量Vaxbx提高了運(yùn)動(dòng)估計(jì)分辨率。其中，兩個(gè)光柵R1、R2最好這樣相互偏移，使得各個(gè)子塊大小相同。在兩個(gè)光柵R1、R2的主塊Ax、Bx大小相同的情況下，這意味著兩個(gè)光柵R1、R2在圖像的水平方向上相互偏移一個(gè)主塊水平寬度l1的一半，并且在垂直方向上相互偏移一個(gè)主塊垂直寬度l2的一半。
為了借助于構(gòu)成子塊的主塊Ax、Bx的運(yùn)動(dòng)矢量Vax、Vbx生成子塊AxBx的運(yùn)動(dòng)矢量Vaxbx，可以有不同的方法，以下借助于圖2詳細(xì)介紹。
圖2示出了在主塊中使用兩個(gè)相互偏移的塊光柵R1、R2而分割的圖像的截面。其中，附圖標(biāo)記A1表示由第一光柵R1構(gòu)成的主塊，而附圖標(biāo)記B1-B4分別表示由第二光柵構(gòu)成的主塊，它分別與第一光柵R1的主塊A1部分重疊。下面主塊A1被稱為第一光柵R1的“第一主塊”，而主塊B1-B4被稱為第二光柵R2的“第一到第四主塊”。為第一光柵R1的第一主塊A1分配一個(gè)借助于主塊估計(jì)方法所確定的第一運(yùn)動(dòng)矢量Va1。相應(yīng)地，為第二光柵R2的第一到第四主塊B1-B4分配借助于塊估計(jì)方法所確定的運(yùn)動(dòng)矢量Vb1-Vb4。
第一光柵R1的第一主塊A1被分割成四個(gè)子塊A1B1、A1B2、A1B3、A1B4，它們分別由這個(gè)第一主塊A1與第二光柵R2的第一到第四主塊中一個(gè)相重疊而構(gòu)成。為了提高運(yùn)動(dòng)估計(jì)的分辨率，為這些子塊A1B1-A1B4中的每一個(gè)分配一個(gè)適當(dāng)?shù)倪\(yùn)動(dòng)矢量Va1b1-Va1b4，該運(yùn)動(dòng)矢量是利用構(gòu)成各個(gè)子塊的兩個(gè)主塊的運(yùn)動(dòng)矢量而得到的。也就是說，第一子塊A1B1的運(yùn)動(dòng)矢量Va1b1是第一光柵R1的第一主塊A1的運(yùn)動(dòng)矢量Va1與第二光柵R2的第一主塊B1的運(yùn)動(dòng)矢量Vb1的函數(shù)，即滿足Va1b1＝f(Va1，Vb1)(1a)相應(yīng)地，對于其他子塊的運(yùn)動(dòng)矢量滿足Va1b2＝f(Va1，Vb2)(1b)Va1b3＝f(Va1，Vb3)(1c)Va1b4＝f(Va1，Vb4)(1d)在根據(jù)本發(fā)明所述方法的一種實(shí)施方式中，為了產(chǎn)生子決的運(yùn)動(dòng)矢量，建議分別選擇構(gòu)成各個(gè)子塊的主塊的運(yùn)動(dòng)矢量中的一個(gè)。即滿足Va1b1＝Va1或Vb1(2a)Va1b2＝Va1或Vb2(2b)Va1b3＝Va1或Vb3(2c)Va1b4＝Va1或Vb4(2d)為了選擇主塊的運(yùn)動(dòng)矢量中一個(gè)，存在這樣的可能性，即為一個(gè)主塊的每個(gè)運(yùn)動(dòng)矢量分配一個(gè)品質(zhì)值，并且選擇具有“較好”品質(zhì)值的運(yùn)動(dòng)矢量作為子塊的運(yùn)動(dòng)矢量。以下借助于第一光柵R1的第一主塊A1來說明產(chǎn)生這樣的品質(zhì)值的過程。
以下假設(shè)，主塊A1具有m×n個(gè)像點(diǎn)，并且A1(x，y)表示構(gòu)成主塊A1的像點(diǎn)A1(1，1)至A1(m，n)中任意一個(gè)。在下面A1-Va1表示在時(shí)間上處于具有主塊A1的圖像之先或之后的圖像中的第一光柵R1的一個(gè)主塊，其中在先或隨后的圖像中的這個(gè)主塊A1-Va1的位置相對于當(dāng)前圖像的主塊A1的位置偏移運(yùn)動(dòng)矢量Va1。通過將各個(gè)像點(diǎn)A1(x，y)與A1-Va1(x，y)逐點(diǎn)地相互比較，為偏移矢量Va1分配一個(gè)品質(zhì)值Ga1。由此計(jì)算出各個(gè)像點(diǎn)的差，并且將這些差的絕對值或平方累加，即滿足Gal=Σx=1mΣy=1n|Al(x,y)-Al-Val(x,y)|---(3)]]>除了絕對值差之外，也可以累加像點(diǎn)差的平方，以計(jì)算品質(zhì)值Ga1，因此滿足Gal=Σx=1mΣy=1n[Al(x,y)-Al-Val(x,y)]2---(4)]]>在這兩種情況下，品質(zhì)值Ga1越小，即主塊A1的圖像內(nèi)容與偏移運(yùn)動(dòng)矢量Va1的主塊A1-Va1的圖像內(nèi)容之間的差別越小，則運(yùn)動(dòng)矢量Va1的“品質(zhì)”越好。
對應(yīng)于產(chǎn)生第一光柵R1的第一主塊A1的一個(gè)品質(zhì)值Ga1，計(jì)算第二光柵R2的主塊B1-B4的品質(zhì)值Gb1-Gb2。其中從構(gòu)成一個(gè)子塊的主塊中選擇具有最好品質(zhì)值的主塊運(yùn)動(dòng)矢量作為子塊的運(yùn)動(dòng)矢量。
品質(zhì)值Ga1、Gb1通常在塊估計(jì)期間在確定對應(yīng)于一個(gè)主塊的運(yùn)動(dòng)矢量的過程中已經(jīng)被求得，并且能夠直接從塊估計(jì)中得到。
在另一種實(shí)施方式中規(guī)定，為每個(gè)主塊運(yùn)動(dòng)矢量分配一個(gè)用于每個(gè)子塊的品質(zhì)值。參考圖2中的例子，這意味著，為第一主塊A1的運(yùn)動(dòng)矢量Va1分配四個(gè)品質(zhì)值，即第一子塊A1B1的品質(zhì)值Ga1B1、用于第二子塊A1B2的第二品質(zhì)值Ga1B2、用于第三子塊A1B3的第三品質(zhì)值Ga1B3、以及用于第四子塊A1B4的第四品質(zhì)值Ga1B4。假設(shè)子塊A1B1-A1B4分別包括i×j個(gè)像點(diǎn)。于是，各個(gè)對應(yīng)于子塊A1B1-A1B4的品質(zhì)值Ga1B1-Ga1B4滿足GalB1=Σx=1iΣy=1j|Al(x,y)-Al-Val(x,y)|---(5a)]]>GalB2=Σx=1iΣy=1j|Al(x+i,y)Al-Val(x+i,y)|---(5b)]]>GalB3=Σx=1iΣy=1j|Al(x,y+j)-Al-Val(x,y+j)|---(5c)]]>GalB4=Σx=1iΣy=1j|Al(x+i,y+j)-Al-Val(x+i,y+j)|---(5d)]]>取代各個(gè)像點(diǎn)差的絕對值，相應(yīng)的等式(4)當(dāng)然也可以產(chǎn)生各個(gè)差值的平方，以產(chǎn)生各自的品質(zhì)值。對應(yīng)于為第一光柵R1的第一主塊A1的運(yùn)動(dòng)矢量Va1產(chǎn)生品質(zhì)值Ga1B1，生成一個(gè)相應(yīng)的品質(zhì)值Gb1A1，它表示用于第一子塊A1B1的第二光柵R2的第一主塊B1的運(yùn)動(dòng)矢量Vb1的品質(zhì)值。將這兩個(gè)品質(zhì)值相互比較，以便用具有“較好”品質(zhì)值的運(yùn)動(dòng)矢量作為這個(gè)第一子塊A1B1的運(yùn)動(dòng)矢量。其中在根據(jù)等式(5a)-(5d)為主塊計(jì)算品質(zhì)值時(shí)，滿足其品質(zhì)值具有最小絕對值的運(yùn)動(dòng)矢量為“較好”。
除了利用品質(zhì)值之外，還存在這樣的可能性，即在選擇對應(yīng)于子塊的主塊運(yùn)動(dòng)矢量時(shí)利用收斂判據(jù)。其中，如果一個(gè)主塊的運(yùn)動(dòng)矢量與相鄰主塊運(yùn)動(dòng)矢量之間的差矢量的絕對值小于一個(gè)預(yù)定極限值，則認(rèn)為這個(gè)主塊運(yùn)動(dòng)矢量為收斂的。為了說明這種收斂判據(jù)的應(yīng)用，觀察第一光柵R1的第一主塊A1的運(yùn)動(dòng)矢量Va1以及與第一主塊A1相鄰的主塊A2的運(yùn)動(dòng)矢量Va2。其中，如果滿足|Va1-Va2|＜Δmax(6)，則認(rèn)為第一主塊的運(yùn)動(dòng)矢量Va1為收斂。其中|·|表示差矢量Va1-Va2的絕對值。
優(yōu)選地，為了評估一個(gè)主塊的一個(gè)運(yùn)動(dòng)矢量是否收斂，觀察兩個(gè)相鄰的主塊。對于第一光柵R1的主塊，最好根據(jù)處理方向分別觀察事先水平相鄰的主塊以及事先已垂直處理的位于上方的主塊，使得如果滿足以下條件|Va1-Va2|＜Δmax(7a)|Va1-Va3|＜Δmax(7b)，則認(rèn)為運(yùn)動(dòng)矢量Va1收斂，其中Va3表示位于主塊A1上方的主塊A3的運(yùn)動(dòng)矢量。
為了評估第二光柵R2的一個(gè)主塊的運(yùn)動(dòng)矢量是否收斂，最好觀察位于相應(yīng)主塊右側(cè)的主塊以及位于該主塊下方的主塊。于是，例如如果滿足|Vb1-Vb2|＜Δmax(8a)|Vb1-Vb3|＜Δmax(8b)，則第二光柵R2的第一主塊B1的運(yùn)動(dòng)矢量Vb1被視為收斂。
如果對應(yīng)于一個(gè)子塊的兩個(gè)主塊運(yùn)動(dòng)矢量中只有一個(gè)收斂，則選擇收斂的那個(gè)主塊運(yùn)動(dòng)矢量作為相應(yīng)的子塊的運(yùn)動(dòng)矢量。如果這兩個(gè)主塊運(yùn)動(dòng)矢量都收斂，則用其他選擇標(biāo)準(zhǔn)(例如上述品質(zhì)值)來選擇主塊運(yùn)動(dòng)矢量中的一個(gè)。
根據(jù)本發(fā)明的方法當(dāng)然并不局限于只有兩個(gè)空間上相互偏移的、分別限定圖像主塊的光柵的應(yīng)用。
圖3示出了一個(gè)圖像截面，該圖像利用三個(gè)在空間上相互偏移的光柵R1、R2、R3被分割成主塊。其中A1表示第一光柵R1的一個(gè)主塊，B1表示第二光柵R2的一個(gè)主塊，而C1表示第三光柵R3的一個(gè)主塊。這三個(gè)主塊A1、B1、C1在構(gòu)成一個(gè)子塊A1B1C1的區(qū)域內(nèi)重疊，并且根據(jù)本發(fā)明，根據(jù)三個(gè)主塊的運(yùn)動(dòng)矢量Va1、Vb1、Vc1為其分配一個(gè)運(yùn)動(dòng)矢量。
在根據(jù)本發(fā)明的方法中，在使用n個(gè)在空間上相互偏移的光柵時(shí)(這些光柵被這樣相互偏移地設(shè)置，使得產(chǎn)生相同大小的子塊)，相對于只使用一個(gè)光柵時(shí)的矢量場分辨率，將矢量場分辨率提高了一個(gè)因數(shù)2n。為各個(gè)子塊計(jì)算運(yùn)動(dòng)矢量的開銷基本上只提高了因數(shù)n，這是因?yàn)橛糜诖_定主塊運(yùn)動(dòng)矢量的大多數(shù)計(jì)算開銷都得到了利用。在求得這些主塊的運(yùn)動(dòng)矢量之后，為了選擇對應(yīng)于一個(gè)子塊的主塊運(yùn)動(dòng)矢量中的一個(gè)作為這個(gè)子塊的運(yùn)動(dòng)矢量，其余的計(jì)算開銷相對很小。用于確定主塊運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)可以并行地或者連續(xù)地實(shí)現(xiàn)。
為了借助于構(gòu)成子塊A1B1C1的主塊A1、B1、C1的運(yùn)動(dòng)矢量Va1、Vb1、Vc1生成這個(gè)子塊A1B1C1的運(yùn)動(dòng)矢量Va1b1c1，除了前面所述的方法外，也可以使用借助于所謂的統(tǒng)計(jì)排列濾波器來進(jìn)行的濾波方法。這樣的統(tǒng)計(jì)排列濾波器的一個(gè)例子是中值濾波器。要生成的子塊運(yùn)動(dòng)矢量Va1b1c1和主塊A1、B1、C1的運(yùn)動(dòng)矢量Va1、Vb1、Vc1分別包括下面用矢量的x-和y-分量來表示的水平和垂直分量。
在一種生成子塊的方法中規(guī)定，借助于統(tǒng)計(jì)排列濾波器對主塊運(yùn)動(dòng)矢量Va1、Vb1、Vc1逐個(gè)分量地進(jìn)行濾波，并且濾波器結(jié)果對應(yīng)于子塊的各個(gè)分量。在使用中值濾波器時(shí)，滿足Va1b1c1x＝Median(Va1x，Vb1x，Vc1x)(9a)Va1b1c1y＝Median(Va1y，Vb1y，Vc1y)(9b)其中，.x和.y表示各個(gè)矢量的x-和y-分量。
在這個(gè)方法中，可以根據(jù)濾波結(jié)果由不同主塊運(yùn)動(dòng)矢量的分量共同構(gòu)成子塊運(yùn)動(dòng)矢量Va1b1c1＝(Va1b1c1x，Va1b1c1y)。
在另一個(gè)方法中規(guī)定，對主塊運(yùn)動(dòng)矢量Va1、Vb1、Vc1的矢量絕對值進(jìn)行中值濾波，并且選擇其絕對值作為濾波結(jié)果給出的主塊運(yùn)動(dòng)矢量作為子塊運(yùn)動(dòng)矢量。
圖3示意性地示出了用于確定子塊的運(yùn)動(dòng)矢量Vaxbx的裝置，其中同時(shí)進(jìn)行用于生成主塊運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)。該裝置包括一個(gè)輸入端，用于引入代表一個(gè)圖像序列中的連續(xù)圖像的圖像信號S1。該裝置包括一個(gè)第一運(yùn)動(dòng)估計(jì)裝置1，它使用一個(gè)第一光柵R1提供第一主塊運(yùn)動(dòng)矢量Ax。另外，該裝置包括一個(gè)第二運(yùn)動(dòng)估計(jì)裝置2，它使用第二光柵R2為一個(gè)圖像的主塊提供一組第二主塊運(yùn)動(dòng)矢量。這些主塊運(yùn)動(dòng)矢量Vax、Vbx被傳送到選擇裝置3，它分別為子塊從構(gòu)成相應(yīng)子塊的主塊的運(yùn)動(dòng)矢量中選擇一個(gè)運(yùn)動(dòng)矢量Vaxbx。這個(gè)單元3例如將從運(yùn)動(dòng)估計(jì)裝置1、2饋送到單元3的主塊運(yùn)動(dòng)矢量的品質(zhì)值和/或收斂判據(jù)作為選擇標(biāo)準(zhǔn)。
附圖標(biāo)記列表A1、B1、C1 主塊A1B1-A1B4 子塊A1B1C1 子塊Ax、Bx 主塊AxBx子塊Px 一個(gè)圖像序列中的圖像R1、R2、R3 光柵Vax、Vbx主塊的運(yùn)動(dòng)矢量Vaxbx 子塊的運(yùn)動(dòng)矢量1、2用于進(jìn)行逐塊運(yùn)動(dòng)估計(jì)的裝置3 用于由主塊運(yùn)動(dòng)矢量確定子塊運(yùn)動(dòng)矢量的裝置
權(quán)利要求
1.用于確定對應(yīng)于一個(gè)圖像的各個(gè)影像范圍(AxBx)的運(yùn)動(dòng)矢量(Vaxbx)的方法，包括以下方法步驟-利用第一塊光柵(R1)將圖像(Px)分割為多個(gè)第一主塊(Ax；A1)，并執(zhí)行第一種估計(jì)方法，以便為每個(gè)第一塊(Ax；A1)提供一個(gè)運(yùn)動(dòng)矢量(Vax；Va1)，-利用其位置相對于第一塊光柵(R1)偏移的另一塊光柵(R2)將圖像至少一次分割為多個(gè)其他主塊(Bx；B1-B4)，并執(zhí)行另一種估計(jì)方法，以便為每個(gè)其他主塊(Bx；B1-B4)提供一個(gè)運(yùn)動(dòng)矢量(Vbx；Vb1-Vb4)，-將圖像分割為多個(gè)子塊(AxBx；A1B1-A1B4)，其中每個(gè)子塊(Ax，Bx；A1B1-A1B4)由第一主塊(Ax；A1)中的一個(gè)與至少一個(gè)其他光柵(R2)的每一個(gè)主塊(B1-B4)之間的重疊區(qū)域構(gòu)成，并且-根據(jù)對應(yīng)于相應(yīng)子塊(AxBx；A1B1-A1B4)的主塊(Ax，Bx；A1，B1-B4)的運(yùn)動(dòng)矢量(Vax，Vbx；Va1，Vb1-Vb4)生成每個(gè)子塊(AxBx；A1B1-A1B4)的運(yùn)動(dòng)矢量(Vaxbx；Va1b1-Va1b4)。
2.根據(jù)權(quán)利要求1的方法，其中主塊(Ax，Bx；A1，B1-B4)的尺寸分別相同。
3.根據(jù)權(quán)利要求2的方法，其中圖像被一次分割為多個(gè)其他主塊，其中其他光柵(R2)相對于第一光柵(R1)在圖像水平方向上的偏移為一個(gè)主塊(Ax，Bx)在水平方向上尺寸(l1)的一半，而該光柵在圖像垂直方向上的偏移為一個(gè)主塊(Ax，Bx)在垂直方向上尺寸(l2)的一半。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其中為了確定子塊(AxBx；A1B1-A1B4)的運(yùn)動(dòng)矢量(Vaxbx；Va1b1-Va1b4)，選擇對應(yīng)于子塊(AxBx；A1B1-A1B4)的主塊(Ax，Bx；A1，B1-B4)中一個(gè)的運(yùn)動(dòng)矢量。
5.根據(jù)權(quán)利要求4的方法，其中在估計(jì)方法中，分別為一個(gè)主塊(A1)的每個(gè)運(yùn)動(dòng)矢量(Va1)確定一個(gè)品質(zhì)值(Ga1)，其中為了確定子塊(A1B1-A1B4)的運(yùn)動(dòng)矢量，根據(jù)所述品質(zhì)值(Ga1)選擇主塊(A1，B1-B4)中一個(gè)的運(yùn)動(dòng)矢量。
6.根據(jù)權(quán)利要求5的方法，其中對于一個(gè)主塊(A1)的每個(gè)運(yùn)動(dòng)矢量(Va1)，為每個(gè)子塊(B1-B4)確定一個(gè)品質(zhì)值(Ga1B1，Ga1B2，Ga1B3，Ga1B4)，其中為了確定子塊(B1-B4)的運(yùn)動(dòng)矢量(Va1b1-Va1b4)，根據(jù)各個(gè)品質(zhì)值(Ga1B1，Ga1B2，Ga1B3，Ga1B4)選擇主塊(A1，B1-B4)中的一個(gè)的運(yùn)動(dòng)矢量。
7.根據(jù)權(quán)利要求4的方法，其中為一個(gè)主塊(A1，B1-B4)的每個(gè)運(yùn)動(dòng)矢量(Va1，Vb1-Vb4)確定至少一個(gè)收斂判據(jù)，其中為了確定子塊(A1B1-A1B4)的運(yùn)動(dòng)矢量(Va1b1-Va1b4)，根據(jù)所述至少一個(gè)收斂判據(jù)選擇主塊(A1，B1-B4)中一個(gè)的運(yùn)動(dòng)矢量。
8.根據(jù)權(quán)利要求6的方法，其中通過將一個(gè)主塊(A1)的各運(yùn)動(dòng)矢量(Va1)與在同一光柵中和所述主塊(A1)相鄰的主塊(A2，A3)的至少一個(gè)運(yùn)動(dòng)矢量(Va3，Va3)進(jìn)行比較而確定一個(gè)收斂判據(jù)。
9.根據(jù)權(quán)利要求7的方法，其中通過將對應(yīng)于一個(gè)主塊(A1)的運(yùn)動(dòng)矢量(Va1)與對應(yīng)于一個(gè)和所述主塊(A1)的左側(cè)相鄰的主塊(A2)以及對應(yīng)于一個(gè)在所述主塊(A1)上方相鄰的主塊(A3)的運(yùn)動(dòng)矢量(Va2，Va3)進(jìn)行比較，來確定用于第一光柵(R1)一個(gè)主塊(A1)的至少一個(gè)收斂判據(jù)，并且其中通過將對應(yīng)于一個(gè)主塊(B1)的運(yùn)動(dòng)矢量(Vb1)與對應(yīng)于一個(gè)和所述主塊(B1)的左側(cè)相鄰的主塊(B3)以及對應(yīng)于一個(gè)在所述主塊下方相鄰的主塊的運(yùn)動(dòng)矢量(Vb2，Vb3)進(jìn)行比較，來確定用于第二光柵(R2)的一個(gè)主塊的至少一個(gè)收斂判據(jù)。
10.根據(jù)權(quán)利要求1的方法，其中利用濾波從對應(yīng)于子塊(AxBx；A1B1-A1B4)的主塊(A1，B1，C1)的運(yùn)動(dòng)矢量的相應(yīng)矢量分量中選擇子塊(A1B1C1)的運(yùn)動(dòng)矢量(Va1b1c1)的矢量分量。
11.根據(jù)權(quán)利要求10的方法，其中所述濾波是借助于統(tǒng)計(jì)排列濾波器，尤其是中值濾波器來實(shí)現(xiàn)的濾波。
12.根據(jù)權(quán)利要求4的方法，-其中確定對應(yīng)于子塊(A1B1C1)的主塊的運(yùn)動(dòng)矢量(Va1，Vb1，Vc1)的矢量絕對值，-其中得到濾波的矢量絕對值，將矢量絕對值中的一個(gè)作為濾波結(jié)果給出，并且-其中選擇其矢量絕對值作為濾波結(jié)果生成的主塊的運(yùn)動(dòng)矢量作為子塊的運(yùn)動(dòng)矢量。
13.根據(jù)權(quán)利要求12的方法，其中所述濾波是借助于統(tǒng)計(jì)排列濾波器，尤其是中值濾波器來實(shí)現(xiàn)的濾波。
14.用于確定對應(yīng)于一個(gè)圖像的各個(gè)影像范圍的運(yùn)動(dòng)矢量的裝置，包括-利用第一塊光柵(R1)將圖像分割為多個(gè)第一主塊(Ax)的裝置(1)，以及用于執(zhí)行第一種估計(jì)方法、以便為每個(gè)第一塊(Ax)提供一個(gè)運(yùn)動(dòng)矢量(Vax)的裝置，-利用其位置相對于第一光柵(R1)偏移的另一塊光柵(R2)將圖像(Px)至少一次分割為多個(gè)其他主塊(Bx)的裝置(2)，以及用于執(zhí)行另一種估計(jì)方法、以便為每個(gè)所述其他主塊(Bx)提供一個(gè)運(yùn)動(dòng)矢量(Vbx)的裝置，-將圖像分割為多個(gè)子塊(Ax，Bx)的裝置，其中每個(gè)所述子塊由第一主塊中的一個(gè)與所述至少一個(gè)其他光柵的每一個(gè)主塊之間的重疊區(qū)域構(gòu)成，以及-根據(jù)對應(yīng)于相應(yīng)子塊(AxBx)的主塊(Ax，Bx)的運(yùn)動(dòng)矢量(Vax，Vbx)為每個(gè)子塊(AxBx)生成一個(gè)運(yùn)動(dòng)矢量(Vaxbx)的裝置。
全文摘要
本發(fā)明涉及一種用于確定對應(yīng)于一個(gè)圖像的各個(gè)影像范圍(AxBx)的運(yùn)動(dòng)矢量(Vaxbx)的方法和裝置。該方法包括利用第一塊光柵(R1)將圖像(Px)分割為多個(gè)第一主塊(Ax)，并執(zhí)行第一種估計(jì)方法，以便為每個(gè)第一塊(Ax；A1)提供一個(gè)運(yùn)動(dòng)矢量(Vax；Va1)，并利用其位置相對于第一塊光柵(R1)偏移的另一個(gè)塊光柵(R2)將圖像至少一次分割為多個(gè)其他主塊(Bx)，執(zhí)行另一種估計(jì)方法，以便為每個(gè)其他主塊(Bx)提供一個(gè)運(yùn)動(dòng)矢量(Vbx)，根據(jù)對應(yīng)于相應(yīng)子塊(AxBx)的主塊(Ax，Bx)的運(yùn)動(dòng)矢量(Vax，Vbx)，為由至少兩個(gè)光柵(R1，R2)的主塊的重疊區(qū)域構(gòu)成的每個(gè)子塊(AxBx)生成一個(gè)運(yùn)動(dòng)矢量(Vaxbx)。
文檔編號H04N7/12GK1680978SQ20051006481
公開日2005年10月12日 申請日期2005年4月6日 優(yōu)先權(quán)日2004年4月7日
發(fā)明者馬克烏斯·舒, 克里斯蒂·圖斯切恩, 馬考·哈恩, 吉多·科爾邁爾 申請人:邁克納斯公司