專利名稱：改進(jìn)的圖像邊界處的運(yùn)動(dòng)向量估計(jì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于運(yùn)動(dòng)向量估計(jì)的改進(jìn)的方法和一個(gè)對(duì)應(yīng)的運(yùn)動(dòng)估計(jì)器。本發(fā)明尤其涉及一種改進(jìn)的圖像邊界處的運(yùn)動(dòng)向量確定。
背景技術(shù)：
運(yùn)動(dòng)估計(jì)特別用在現(xiàn)代電視接收機(jī)的數(shù)字信號(hào)處理中。這種電視接收機(jī)使用運(yùn)動(dòng)向量從而確定在幀速率轉(zhuǎn)換期間，尤其是運(yùn)動(dòng)補(bǔ)償?shù)纳献儞Q期間的中間圖像。根據(jù)來(lái)自接收的場(chǎng)或幀序列的相鄰圖像插入中間圖像。通過(guò)考慮物體的運(yùn)動(dòng)，能夠避免物體圖像質(zhì)量的惡化。
從50Hz到更高的頻率，例如60Hz、66.67Hz、75Hz、100Hz，由LSI執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)纳献儞Q。對(duì)于基于60Hz的視頻頻率，視頻序列可以上變換到72Hz、80Hz、90Hz、120Hz等。
在上變換期間，將產(chǎn)生中間圖像，其反映在不用50Hz或60Hz輸入視頻序列表示的時(shí)間位置上的視頻內(nèi)容。為此，必須考慮移動(dòng)物體的運(yùn)動(dòng)，從而適當(dāng)?shù)胤从秤晌矬w的運(yùn)動(dòng)引起的連續(xù)圖像之間的變化。在塊基礎(chǔ)上計(jì)算物體的運(yùn)動(dòng)，并且根據(jù)在前一個(gè)和隨后的圖像之間新產(chǎn)生的圖像的時(shí)間的相對(duì)位置執(zhí)行運(yùn)動(dòng)補(bǔ)償。
對(duì)于運(yùn)動(dòng)向量確定，每個(gè)圖像分為多個(gè)塊。對(duì)每個(gè)塊進(jìn)行運(yùn)動(dòng)估計(jì)，從而檢測(cè)前一個(gè)圖像的一個(gè)物體的偏移。最好通過(guò)使用多個(gè)預(yù)先確定的候選向量來(lái)避免用于檢測(cè)在一個(gè)預(yù)先確定的搜索范圍內(nèi)的前一個(gè)圖像中的最佳匹配塊的耗費(fèi)時(shí)間的全搜索算法。候選向量組包括許多預(yù)先確定的最類似的運(yùn)動(dòng)向量。
根據(jù)對(duì)每個(gè)候選向量計(jì)算的誤差值從候選向量中選擇運(yùn)動(dòng)向量。該誤差函數(shù)評(píng)估按照各個(gè)候選向量選擇的前一個(gè)圖像中的當(dāng)前塊和候選塊之間的一致程度。具有最小的誤差函數(shù)的最佳匹配向量被選為當(dāng)前塊的運(yùn)動(dòng)向量。對(duì)于當(dāng)前和前一個(gè)塊之間的相似程度的測(cè)量，可以使用求和的絕對(duì)差(SAD)。
預(yù)先確定的候選向量組可以包括已經(jīng)對(duì)當(dāng)前圖像的相鄰塊確定的作為候選向量的那些運(yùn)動(dòng)向量，已經(jīng)對(duì)在類似位置的前一個(gè)圖像中的塊而確定的運(yùn)動(dòng)向量等。
Gerard de Haan等在1998年2月Vol.8，no.1的IEEE Transactions onCircuits and Systems for Video Technology中的文章“An Efficient True-MotionEstimator Using Candidate Vectors from a Parametric Motion Model”描述了作為一個(gè)候選向量的全局運(yùn)動(dòng)向量的計(jì)算。全局運(yùn)動(dòng)向量反映圖像所有塊的共同運(yùn)動(dòng)。
用在高端電視接收機(jī)中的上變換算法遇到了在垂直運(yùn)動(dòng)的情況下從信箱型顯示圖像中的上或下邊界處的不好的圖像質(zhì)量。一個(gè)信箱型顯示圖像在圖1中示出。為了使一個(gè)4:3顯示屏幕適合于16:9的圖像格式，在有效圖像區(qū)域的頂部和底部插入黑條。以對(duì)應(yīng)的方式，在所述圖像區(qū)域的左側(cè)和右側(cè)插入的黑條用于使4:3有效圖像區(qū)域適合于顯示在16:9格式的顯示屏上。因此，能夠使用黑條，從而在有效圖像區(qū)域和顯示屏幕的寬高比不匹配時(shí)使有效的圖像區(qū)域顯示在顯示屏幕上。
在圖2中示出了用于在一個(gè)信箱型圖像中執(zhí)行運(yùn)動(dòng)估計(jì)的例子。圖像n內(nèi)容的主要運(yùn)動(dòng)方向是向上的。因此，塊A的圖像內(nèi)容在前一場(chǎng)n-1中的向下的位置A′檢測(cè)到。因此，塊B′相對(duì)于塊B位置是向下的。
從圖2中能夠看出，塊B′的前一個(gè)位置超出了有效圖像區(qū)域的下邊界。因此，將前一個(gè)圖像的塊與當(dāng)前塊相比較的運(yùn)動(dòng)估計(jì)器將不能檢測(cè)到塊B的正確運(yùn)動(dòng)。相反，傳統(tǒng)的運(yùn)動(dòng)估計(jì)器將檢測(cè)到一個(gè)不正確的運(yùn)動(dòng)向量或一個(gè)零運(yùn)動(dòng)向量。根據(jù)這樣的傳統(tǒng)地確定的運(yùn)動(dòng)向量的運(yùn)動(dòng)補(bǔ)償內(nèi)插將導(dǎo)致在有效圖像區(qū)域內(nèi)接近于黑條處的可見(jiàn)的贗像。
在圖8中示出了一個(gè)傳統(tǒng)估計(jì)的運(yùn)動(dòng)向量的場(chǎng)的簡(jiǎn)化的例子。圖像內(nèi)容按照主運(yùn)動(dòng)方向，即向上方向運(yùn)動(dòng)。盡管大多數(shù)運(yùn)動(dòng)向量能夠被正確確定，但是對(duì)于傳統(tǒng)的運(yùn)動(dòng)估計(jì)算法不可能正確地得到在信箱邊界上的運(yùn)動(dòng)。在圖8中示出了在有效圖像區(qū)域內(nèi)的不正確的運(yùn)動(dòng)向量的范圍。因?yàn)閳D像內(nèi)容的主運(yùn)動(dòng)方向是向上的，塊的下邊線在前一個(gè)場(chǎng)或幀中沒(méi)有各自的前身。因此，運(yùn)動(dòng)估計(jì)器將不能確定正確的運(yùn)動(dòng)向量。相反，在前一場(chǎng)或幀中具有各自塊的任意其他運(yùn)動(dòng)向量可以根據(jù)最佳匹配算法正確確定。
對(duì)于不是信箱型的圖像，有效圖像的外邊界通常在過(guò)掃描(overscan)范圍內(nèi)，因此在正常顯示屏上看不到。這些與有效圖像的邊界直接相鄰位置的過(guò)掃描區(qū)域的塊將不會(huì)顯示并因此不能夠引起圖像質(zhì)量的下降。只要運(yùn)動(dòng)向量變得更大，顯示屏幕內(nèi)的塊就會(huì)受到影響并引起圖像質(zhì)量的相對(duì)損失。
在這種較大的運(yùn)動(dòng)向量的情況下，圖像質(zhì)量下降對(duì)信箱型顯示圖像的影響很大。信箱型圖像使有效圖像區(qū)域的外邊界從過(guò)掃描區(qū)域偏移到顯示圖像中。當(dāng)施加內(nèi)插時(shí)，這些圖像區(qū)域主要受到施加內(nèi)插算法時(shí)的有缺陷的運(yùn)動(dòng)向量的影響。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種能夠在圖像邊界上更精確的確定運(yùn)動(dòng)向量的改進(jìn)的運(yùn)動(dòng)估計(jì)方法和改進(jìn)的運(yùn)動(dòng)估計(jì)器。
這通過(guò)獨(dú)立權(quán)利要求的特征實(shí)現(xiàn)。
根據(jù)本發(fā)明的第一方面，提供一種用于確定在一個(gè)視頻圖像序列中的當(dāng)前圖像塊的運(yùn)動(dòng)向量的方法。每個(gè)視頻圖像分為多個(gè)塊。對(duì)視頻圖像序列的前一個(gè)圖像中的塊的一行或列中的所有塊確定運(yùn)動(dòng)向量。塊的行或列包括一個(gè)位于與當(dāng)前圖像中的當(dāng)前塊位置對(duì)應(yīng)的位置的塊。如果在確定的行或列運(yùn)動(dòng)向量的基礎(chǔ)上估計(jì)的前一個(gè)圖像中的當(dāng)前塊的位置在前一圖像的有效圖像區(qū)域之外，將確定的行或列運(yùn)動(dòng)向量分配給當(dāng)前塊。
根據(jù)本發(fā)明的另一方面，提供一種用于確定在視頻圖像序列中的當(dāng)前圖像塊的運(yùn)動(dòng)向量的運(yùn)動(dòng)估計(jì)器。每個(gè)視頻圖像分為多個(gè)塊。一個(gè)計(jì)算單元對(duì)視頻圖像序列的前一個(gè)圖像中的塊的一行或列中的所有決確定一個(gè)運(yùn)動(dòng)向量。塊的行或列包括一個(gè)位于與當(dāng)前圖像中的當(dāng)前塊的位置對(duì)應(yīng)的位置的塊。一個(gè)位置估計(jì)器根據(jù)確定的行或列運(yùn)動(dòng)向量估計(jì)當(dāng)前塊在前一個(gè)圖像中的位置。一個(gè)比較器確定估計(jì)的位置是否在前一個(gè)圖像的有效圖像區(qū)域之外。如果在確定的行或列運(yùn)動(dòng)向量的基礎(chǔ)上估計(jì)的當(dāng)前塊的位置在前一圖像的有效圖像區(qū)域之外，使能單元把確定的行或列運(yùn)動(dòng)向量分配給當(dāng)前塊。
對(duì)于那些以傳統(tǒng)的方式以所有可能方式都不能建立正確的運(yùn)動(dòng)向量的、圖像邊界的塊，本發(fā)明的特殊的方案代替?zhèn)鹘y(tǒng)的運(yùn)動(dòng)估計(jì)。為此，對(duì)前一個(gè)圖像的塊的運(yùn)動(dòng)估計(jì)通過(guò)確定包括當(dāng)前塊的位置的塊的一行或一列的單個(gè)運(yùn)動(dòng)向量來(lái)評(píng)價(jià)。這樣的運(yùn)動(dòng)向量反映該塊的行或列中內(nèi)物體的主要運(yùn)動(dòng)。如果該行或列運(yùn)動(dòng)向量對(duì)圖像邊界的塊的應(yīng)用表明對(duì)這些塊不能建立正確的運(yùn)動(dòng)向量，則通過(guò)把確定的行或列運(yùn)動(dòng)向量分配給該塊，將傳統(tǒng)上估計(jì)的運(yùn)動(dòng)向量中止。以這種方式，能夠避免由基于傳統(tǒng)的運(yùn)動(dòng)向量估計(jì)算法的內(nèi)插引起的圖像質(zhì)量下降。
盡管本發(fā)明的方案能夠有利地應(yīng)用到所有類型的圖像格式，但是本發(fā)明最好應(yīng)用于信箱型圖像格式，即在顯示區(qū)域的頂部和底部或左側(cè)和右側(cè)有黑條的那些圖像格式。以這種方式，能夠?qū)崿F(xiàn)在與黑條相鄰的圖像邊界處大幅度提高的圖像質(zhì)量。
最好，對(duì)于在頂部和底部有黑條的圖像，只確定和使用列向量來(lái)確定在圖像邊界的塊的運(yùn)動(dòng)向量。因此，對(duì)于在圖像的左側(cè)和右側(cè)有黑條的圖像只使用行運(yùn)動(dòng)向量。
根據(jù)另一個(gè)實(shí)施例，使用一個(gè)行運(yùn)動(dòng)向量和一個(gè)列運(yùn)動(dòng)向量來(lái)改善在圖像邊界的運(yùn)動(dòng)向量估計(jì)。以這種方式，所有的圖像邊界從本發(fā)明的運(yùn)動(dòng)向量估計(jì)改進(jìn)中獲益。
應(yīng)當(dāng)注意到，本發(fā)明能夠應(yīng)用到所有種類的視頻圖像格式，包括標(biāo)準(zhǔn)電視圖像或高清晰度電視圖像。
最好，如果預(yù)定的運(yùn)動(dòng)向量超過(guò)一個(gè)預(yù)定的閾值，則只對(duì)當(dāng)前塊確定和分配一個(gè)行或列向量。最好，閾值的大小對(duì)應(yīng)于塊的尺寸，即塊的高度或?qū)挾取?br> 根據(jù)優(yōu)選實(shí)施例，運(yùn)動(dòng)向量分為垂直和水平向量分量，并且只有朝向垂直于各個(gè)圖像邊界的向量分量與該閾值相比較。對(duì)于圖像的頂部和底部邊界，只考慮列向量的垂直分量。相應(yīng)地，對(duì)于圖像的左側(cè)和右側(cè)邊界，只有行運(yùn)動(dòng)的水平分量與該閾值相比較。以這種方式，能夠?qū)Σ贿@樣就不可能正確進(jìn)行運(yùn)動(dòng)估計(jì)的那些塊容易地確定運(yùn)動(dòng)向量。
最好，按照本發(fā)明的運(yùn)動(dòng)向量分配包括確定按照傳統(tǒng)方式不能確定可靠的運(yùn)動(dòng)向量的塊的范圍。對(duì)于落入該范圍的當(dāng)前圖像的每個(gè)塊，分配確定的行或列運(yùn)動(dòng)向量。以這種方式，對(duì)于將前一個(gè)圖像的行或列運(yùn)動(dòng)向量應(yīng)用到當(dāng)前塊所需要的計(jì)算被簡(jiǎn)化。
最好，該范圍由在行或列內(nèi)的圖像內(nèi)邊界和圖像外邊界確定，其中該范圍只通過(guò)識(shí)別其內(nèi)邊界計(jì)算。最好，對(duì)這方面考慮運(yùn)動(dòng)向量類型和方向。
最好，本發(fā)明的改進(jìn)的運(yùn)動(dòng)估計(jì)在運(yùn)動(dòng)補(bǔ)償圖像內(nèi)插或運(yùn)動(dòng)補(bǔ)償圖像壓縮中使用。
本發(fā)明的優(yōu)選實(shí)施例是從屬權(quán)利要求的主題內(nèi)容。


從與附圖結(jié)合給出的以下說(shuō)明和優(yōu)選實(shí)施例中，本發(fā)明的以上和其他目的和特征將變得更加明顯，其中圖1說(shuō)明了一個(gè)信箱型視頻圖像的例子；圖2說(shuō)明了用于圖1所示的信箱型圖像中的不同塊的運(yùn)動(dòng)向量估計(jì)的例子；圖3說(shuō)明了在視頻圖像中一個(gè)大的勻速運(yùn)動(dòng)物體的例子；圖4說(shuō)明了對(duì)于大的勻速運(yùn)動(dòng)圖像部分的另一個(gè)例子；圖5說(shuō)明了一個(gè)表示圖3的大物體的運(yùn)動(dòng)的行向量；圖6說(shuō)明了表示圖4所示的垂直運(yùn)動(dòng)的謝啟表的運(yùn)動(dòng)的列向量；圖7說(shuō)明了一個(gè)視頻圖像分割為均勻尺寸的光柵塊；圖8說(shuō)明了在垂直運(yùn)動(dòng)的情況下易受有缺陷的運(yùn)動(dòng)向量確定影響的圖像區(qū)域的例子；圖9說(shuō)明了按照本發(fā)明確定的信箱型圖像的向量場(chǎng)；圖10說(shuō)明了用于一個(gè)場(chǎng)速率變換器的示例的結(jié)構(gòu)；和圖11說(shuō)明了按照本發(fā)明的一個(gè)場(chǎng)速率變換器的結(jié)構(gòu)。
具體實(shí)施例方式
內(nèi)插電路，尤其是用于幀-或場(chǎng)-速率上變換器的內(nèi)插電路需要一個(gè)無(wú)缺陷的運(yùn)動(dòng)向量場(chǎng)，從而產(chǎn)生高圖像質(zhì)量的中間圖像。根據(jù)一個(gè)精確確定的運(yùn)動(dòng)向量場(chǎng)，運(yùn)動(dòng)物體能夠按照中間圖像的位置及時(shí)偏移到它們?cè)谥虚g圖像中各自的位置。傳統(tǒng)的塊匹配算法不能在有效圖像區(qū)域的邊界線，特別是在信箱型顯示圖像的上和下有效圖像邊界上提供正確的運(yùn)動(dòng)向量。對(duì)于圖1所示的信箱型圖像，有缺陷的運(yùn)動(dòng)向量由垂直運(yùn)動(dòng)引起。垂直運(yùn)動(dòng)傳統(tǒng)上只能夠通過(guò)檢測(cè)如圖2所示的前一場(chǎng)中的各個(gè)塊來(lái)進(jìn)行精確的估計(jì)。但是，如果前一場(chǎng)中的各個(gè)塊具有在有效圖像區(qū)域(即在黑條之內(nèi)的區(qū)域)外的一個(gè)位置，那么傳統(tǒng)的運(yùn)動(dòng)估計(jì)算法就無(wú)效了。
本發(fā)明目的在于通過(guò)使用行或列運(yùn)動(dòng)向量克服有缺點(diǎn)的傳統(tǒng)的在圖像邊界處的運(yùn)動(dòng)估計(jì)。這種行和列向量的確定將在下面進(jìn)行描述。
圖3和4說(shuō)明了對(duì)于許多塊的具有均勻運(yùn)動(dòng)向量的大運(yùn)動(dòng)圖像部分。圖3說(shuō)明了水平運(yùn)動(dòng)物體的一個(gè)例子，而圖4說(shuō)明了一個(gè)垂直運(yùn)動(dòng)的文字，即電影謝啟表。反映這種運(yùn)動(dòng)的對(duì)應(yīng)的行和列向量在圖5和6中示出。
運(yùn)動(dòng)向量計(jì)算是基于圖7所示的塊光柵的。每個(gè)視頻圖像分為均一大小的塊用于運(yùn)動(dòng)向量估計(jì)。通常，每個(gè)塊具有8×8像素的正方形形狀。應(yīng)當(dāng)注意技術(shù)人員知道應(yīng)用不同尺寸的塊，例如4×4或16×16，甚至具有不同的高度和寬度的不規(guī)則矩形的形狀。
根據(jù)對(duì)于前一場(chǎng)或幀確定的運(yùn)動(dòng)向量，計(jì)算列運(yùn)動(dòng)向量或行運(yùn)動(dòng)向量。
只要已經(jīng)完成對(duì)當(dāng)前圖像n(場(chǎng)或幀)的運(yùn)動(dòng)向量確定，就開(kāi)始計(jì)算各個(gè)行和列向量。提供計(jì)算出的行和列向量以在下一場(chǎng)或幀的運(yùn)動(dòng)估計(jì)期間使用。
首先，不考慮較小長(zhǎng)度的運(yùn)動(dòng)向量。為此，每個(gè)塊的運(yùn)動(dòng)向量vυ與預(yù)定的閾值Vthr相比較。這樣產(chǎn)生的結(jié)果反映在分配給每個(gè)塊的二進(jìn)制“vecthr”標(biāo)記中。該標(biāo)記通過(guò)如下所示用等式(1)計(jì)算 最好，對(duì)圖像n的所有塊確定的運(yùn)動(dòng)向量組被對(duì)應(yīng)地校正，從而不超過(guò)預(yù)定的閾值Vthr的那些運(yùn)動(dòng)向量被設(shè)置為零(0；0)。該校正由等式(2)反映出來(lái) 按照等式(2)，計(jì)算閾值向量vthresholdedυ。如果前一個(gè)計(jì)算的標(biāo)記(比較等式(1))是零，則閾值向量設(shè)置為零。否則，確定的向量vυ分配給閾值向量vthresholdedυ。
為了計(jì)算一個(gè)行或列向量，最好計(jì)算保持(受限的)非零的向量的平均值。但是，為了確定表示一行或列的多個(gè)單獨(dú)的運(yùn)動(dòng)向量的共同運(yùn)動(dòng)向量的運(yùn)動(dòng)向量，技術(shù)人員可以應(yīng)用任意其他算法。對(duì)于行和列向量計(jì)算，單獨(dú)的塊長(zhǎng)度和超過(guò)閾值Vthr的塊數(shù)量用以下的等式(3)到(6)表示的方法累加
nsum_line(y)=Σx=0xmax-1vecthr[(x,y),n]---(5)]]>nsum_column(x)=Σy=0ymax-1vecthr[(x,y),n]---(6)]]>行和列向量vline4υ，vcolumnυ按照以下的等式(7)和(8)計(jì)算。如果對(duì)于一行或列的超過(guò)預(yù)定閾值Vthr的塊數(shù)量超過(guò)另一個(gè)預(yù)定閾值nthrline，nthrcolumn，則只計(jì)算一個(gè)運(yùn)動(dòng)向量。
對(duì)于以上提到的閾值Vthr，nthrline，nthrcolumn，最好使用以下的值 nthrline＝xmax/2(對(duì)于PAL標(biāo)準(zhǔn)為45，并且X＝8)nthrcolumn＝y(tǒng)max/2(對(duì)于PAL標(biāo)準(zhǔn)為36，并且Y＝8)其中xmax和ymax表示一場(chǎng)或幀的總寬度/高度。這些值最好用于8×8像素的塊尺寸。
盡管以上的描述是根據(jù)對(duì)于每個(gè)單獨(dú)的行和列計(jì)算行和列向量的假設(shè)，但是一個(gè)共同運(yùn)動(dòng)向量可以附加地或替換地對(duì)于兩行或兩列的組合進(jìn)行計(jì)算。一個(gè)兩行或兩列的運(yùn)動(dòng)向量可以進(jìn)一步增加對(duì)于表示兩行或兩列內(nèi)的主要運(yùn)動(dòng)的物體的運(yùn)動(dòng)精度。
在圖8所示的垂直運(yùn)動(dòng)的情況下對(duì)于一個(gè)信箱型圖像傳統(tǒng)地確定的運(yùn)動(dòng)向量場(chǎng)的一個(gè)例子的缺陷位于有效圖像區(qū)域的底線附近。通過(guò)施加按照本發(fā)明的運(yùn)動(dòng)向量估計(jì)，如圖9所示避免了現(xiàn)有技術(shù)的不足。
圖10中說(shuō)明了一個(gè)傳統(tǒng)的場(chǎng)速率變換器的結(jié)構(gòu)。為了執(zhí)行一個(gè)視頻序列從預(yù)定的輸入頻率到預(yù)定的輸出頻率的場(chǎng)速率上變換，將連續(xù)的場(chǎng)n和n-1提供到運(yùn)動(dòng)補(bǔ)償內(nèi)插單元120，產(chǎn)生顯示在顯示設(shè)備130上的上變換后的視頻序列。內(nèi)插電路120的運(yùn)動(dòng)補(bǔ)償操作基于從運(yùn)動(dòng)估計(jì)單元110提供的運(yùn)動(dòng)向量場(chǎng)。當(dāng)前場(chǎng)n的運(yùn)動(dòng)向量場(chǎng)根據(jù)當(dāng)前場(chǎng)n和前一場(chǎng)n-1的塊來(lái)計(jì)算。運(yùn)動(dòng)估計(jì)單元110借助于圖8中的例子以傳統(tǒng)的方式計(jì)算每個(gè)塊的運(yùn)動(dòng)向量。
根據(jù)本發(fā)明，運(yùn)動(dòng)估計(jì)后處理單元200插入到運(yùn)動(dòng)向量場(chǎng)向運(yùn)動(dòng)補(bǔ)償內(nèi)插單元120的提供路徑中。按照本發(fā)明的修改的場(chǎng)速率變換器的結(jié)構(gòu)在圖11中示出。
按照本發(fā)明，由運(yùn)動(dòng)估計(jì)單元110提供的傳統(tǒng)上計(jì)算出的運(yùn)動(dòng)向量場(chǎng)，通過(guò)運(yùn)動(dòng)估計(jì)后處理單元200進(jìn)行按照本發(fā)明的后處理。識(shí)別出證明很可能具有例如在圖8中示出的有缺陷的運(yùn)動(dòng)向量的那些塊。這些塊的運(yùn)動(dòng)向量接著由根據(jù)前一場(chǎng)確定的各個(gè)行或列運(yùn)動(dòng)向量進(jìn)行重寫(xiě)。
能夠從圖8和9中看出，落入有缺陷運(yùn)動(dòng)向量(比較圖8)的范圍的所有塊由各個(gè)列運(yùn)動(dòng)向量(比較圖9)重寫(xiě)。各個(gè)校正后的運(yùn)動(dòng)向量場(chǎng)接著被提供到運(yùn)動(dòng)補(bǔ)償內(nèi)插器120，從而根據(jù)校正后的運(yùn)動(dòng)向量場(chǎng)執(zhí)行內(nèi)插。
下面描述用于校正接收的運(yùn)動(dòng)向量場(chǎng)的運(yùn)動(dòng)估計(jì)后處理單元200的操作。
運(yùn)動(dòng)估計(jì)后處理單元200接收用于當(dāng)前場(chǎng)n的每個(gè)塊的運(yùn)動(dòng)向量。一場(chǎng)或幀分為塊B(x；y)在圖7中示出。每個(gè)塊具有寬度X和高度Y，最好使用均勻的8×8像素的塊尺寸。技術(shù)人員知道可以使用任意其他的塊尺寸達(dá)到同樣的效果。每行或列的塊數(shù)取決于每個(gè)塊的寬度X和高度Y并根據(jù)圖像尺寸計(jì)算如下xmax＝每行的像素/Xymax＝每列的像素/Y運(yùn)動(dòng)向量由傳統(tǒng)的運(yùn)動(dòng)估計(jì)器110最好通過(guò)評(píng)估用于當(dāng)前運(yùn)動(dòng)向量的候選向量組來(lái)計(jì)算。候選向量是對(duì)當(dāng)前塊提供另一個(gè)運(yùn)動(dòng)估計(jì)的每個(gè)運(yùn)動(dòng)向量的預(yù)先確定的選擇。這些候選向量中的最佳匹配運(yùn)動(dòng)向量根據(jù)一個(gè)誤差函數(shù)計(jì)算。為此，最好根據(jù)由各個(gè)候選向量的逆向量確定的位置上的當(dāng)前場(chǎng)n中的當(dāng)前塊B(x；y)和前一場(chǎng)n-1中的塊來(lái)計(jì)算求和的絕對(duì)差(SAD)。
后處理單元200接收計(jì)算出的運(yùn)動(dòng)向量場(chǎng)。后處理單元200中包含一個(gè)多路器，用于選擇接收到的輸入向量v[(x；y)n]或?qū)?yīng)的列向量Vcolumn[(x；0)n-1]以產(chǎn)生對(duì)于每個(gè)塊的各個(gè)輸出向量vpp[(x；y)n]。多路器按照轉(zhuǎn)換信號(hào)ivpl在輸入向量和列向量之間轉(zhuǎn)換。多路器的操作用以下的等式(9)表示
轉(zhuǎn)換操作，即轉(zhuǎn)換信號(hào)ivpl的狀態(tài)主要基于以下兩個(gè)標(biāo)準(zhǔn)，即(a)垂直方向上列的運(yùn)動(dòng)向量的大小和(b)當(dāng)前塊是否落入按照傳統(tǒng)方式不能精確計(jì)算運(yùn)動(dòng)向量的范圍內(nèi)。
對(duì)于第一標(biāo)準(zhǔn)，信號(hào)v_motion表示列向量的垂直分量是否超過(guò)一個(gè)預(yù)定的閾值THRvy。該閾值最好等于塊B(x；y)的垂直尺寸Y。信號(hào)v_motion的計(jì)算由以下等式(10)表示 其中THRvy＝Y(jié)等式(10)的項(xiàng)vy[(x，0)，n-1]表示各個(gè)列向量(11)的垂直分量 對(duì)于根據(jù)傳統(tǒng)算法的范圍計(jì)算，即不可能進(jìn)行可靠的運(yùn)動(dòng)向量估計(jì)的那些塊，塊的外邊界線確定為第一和最后的有效塊行FABL，LABL(FABL＝第一有效塊行，LABL＝最后的有效塊行)FABL=FALY]]>LABL=LALY]]>其中FAL和LAL表示在圖1所示的每個(gè)圖像之內(nèi)的第一和最后的有效像素行。
在第一和最后的塊索引FABL和LABL表示將被替代的運(yùn)動(dòng)向量的塊范圍的外邊界的同時(shí)，下面將描述內(nèi)邊界的計(jì)算。該范圍的內(nèi)邊界用塊行VBBL表示。為了確定從外邊界開(kāi)始將考慮多少塊來(lái)替換傳統(tǒng)計(jì)算的運(yùn)動(dòng)向量，首先確定列向量方向。
信號(hào)v_down表示與當(dāng)前塊相關(guān)的前一圖像的列向量的垂直分量指向上或指向下。根據(jù)本例，二進(jìn)制信號(hào)v_down對(duì)于向下的運(yùn)動(dòng)向量取1的值并對(duì)向上的運(yùn)動(dòng)向量取0的值。技術(shù)人員知道為了這個(gè)目的可以使用任意其他值。二進(jìn)制值v_down的計(jì)算用以下的等式(12)表示 如果運(yùn)動(dòng)向量方向向下，即垂直列向量分量vy[(x，0)，n-1]是正的，則向量長(zhǎng)度必須加入到第一有效行索引FAL中。相反，如果運(yùn)動(dòng)向量方向向上，即垂直列向量分量vy[(x，0)，n-1]是負(fù)的，則運(yùn)動(dòng)向量長(zhǎng)度的數(shù)量必須從最后的有效行索引LAL中減去。向量長(zhǎng)度的相減對(duì)應(yīng)于加入負(fù)向量。
為了識(shí)別塊行VBBL，各個(gè)行必須除以塊高度Y。塊行索引VBBL的計(jì)算用以下的等式(13)表示 當(dāng)前塊是否位于從各個(gè)圖像外邊界FABL、LABL延伸到內(nèi)邊界VBBL的區(qū)域內(nèi)由二進(jìn)制信號(hào)v_invalid表示。v_invalid信號(hào)的計(jì)算由等式(14)表示 因此，有兩種選擇來(lái)通過(guò)各個(gè)列向量設(shè)置信號(hào)v_invalid以便重寫(xiě)傳統(tǒng)上計(jì)算出的運(yùn)動(dòng)向量。首先，列運(yùn)動(dòng)向量是向下的并且當(dāng)前塊行y落入確定的范圍FABL≤y≤VBBL中。第二，列運(yùn)動(dòng)向量是向上的并且塊行索引y在范圍VBBL≤y≤LABL內(nèi)。在所有其他情況下，當(dāng)前塊不落入不正確的運(yùn)動(dòng)向量的范圍中并且數(shù)值0分配給信號(hào)v_invalid。
信號(hào)v_invalid設(shè)為1的所有塊，對(duì)應(yīng)的列向量分配給該塊，但只有列向量運(yùn)動(dòng)在垂直方向時(shí)是這樣。這由上文提到的轉(zhuǎn)換信號(hào)ivpl控制。轉(zhuǎn)換信號(hào)ivpl的計(jì)算能夠用以下的等式(15)表示ivpl＝v_invalid^v_motion(15)本發(fā)明不限于改進(jìn)的用于在有效圖像邊界上的塊的運(yùn)動(dòng)向量計(jì)算的上述詳細(xì)實(shí)施例。
總之，本發(fā)明涉及改進(jìn)的運(yùn)動(dòng)向量的估計(jì)，尤其用于速率上變換器的運(yùn)動(dòng)補(bǔ)償內(nèi)插。因?yàn)閭鹘y(tǒng)的運(yùn)動(dòng)估計(jì)算法不能提供對(duì)位于有效圖像邊界的那些塊的準(zhǔn)確的估計(jì)，本發(fā)明確定可能受到有缺陷運(yùn)動(dòng)向量影響的那些塊并用根據(jù)前一圖像確定的一個(gè)列或行運(yùn)動(dòng)向量來(lái)替換那些向量。以這種方式，能夠?qū)σ环鶊D像的所有塊進(jìn)行可靠的運(yùn)動(dòng)補(bǔ)償，并且能夠有效地防止有效圖像邊界處的內(nèi)插算法的惡化。
權(quán)利要求
1.一種用于確定在視頻圖像序列中的當(dāng)前圖像的一個(gè)塊的運(yùn)動(dòng)向量的方法，每個(gè)視頻圖像分為多個(gè)塊，包括以下步驟對(duì)所述視頻圖像序列的前一個(gè)圖像中的塊的一行或列中的所有塊確定一個(gè)運(yùn)動(dòng)向量(vline，vcolumn)，所述塊的行或列包括一個(gè)位于與當(dāng)前圖像中的當(dāng)前塊位置對(duì)應(yīng)的位置的塊，和如果在確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)的基礎(chǔ)上估計(jì)的當(dāng)前塊的位置在前一圖像的圖像區(qū)域之外，將所述確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)分配給所述當(dāng)前塊。
2.根據(jù)權(quán)利要求1的方法，其中所述圖像區(qū)域只包括有效圖像區(qū)域。
3.根據(jù)權(quán)利要求2的方法，其中所述有效圖像區(qū)域由位于有效圖像區(qū)域的相對(duì)側(cè)的至少一對(duì)黑條框起來(lái)。
4.根據(jù)權(quán)利要求3的方法，其中所述黑條在頂部和底部框住所述有效圖像區(qū)域。
5.根據(jù)權(quán)利要求4的方法，其中所述確定步驟只確定一個(gè)列運(yùn)動(dòng)向量(vcolumn)。
6.根據(jù)權(quán)利要求3的方法，其中所述黑條在左側(cè)和右側(cè)框住所述有效圖像區(qū)域。
7.根據(jù)權(quán)利要求6的方法，其中所述確定步驟只確定一個(gè)行運(yùn)動(dòng)向量(vline)。
8.根據(jù)權(quán)利要求1到3中任一個(gè)權(quán)利要求的方法，其中所述確定步驟確定一個(gè)行運(yùn)動(dòng)向量(vline)和一個(gè)列運(yùn)動(dòng)向量(vcolumn)。
9.根據(jù)權(quán)利要求1到8中任一個(gè)權(quán)利要求的方法，其中所述確定步驟還包括步驟把所述確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)與預(yù)定的閾值(THRvy)相比較，和只有在所述確定的運(yùn)動(dòng)向量(vline，vcolumn)超過(guò)所述預(yù)定閾值(THRvy)時(shí)才把所述確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)提供給所述分配步驟。
10.根據(jù)權(quán)利要求9的方法，其中所述閾值(THRvy)具有一個(gè)基本上對(duì)應(yīng)于塊尺寸的值。
11.根據(jù)權(quán)利要求9或10的方法，其中所述比較步驟把所述確定的運(yùn)動(dòng)向量(vline，vcolumn)的垂直或水平分量(vx，vy)與所述閾值(THRvy)相比較。
12.根據(jù)權(quán)利要求11的方法，其中所述比較步驟把所述確定的列運(yùn)動(dòng)向量(vcolumn)的垂直分量(vy)與所述的閾值(THRvy)相比較。
13.根據(jù)權(quán)利要求11的方法，其中所述比較步驟把所述確定的行運(yùn)動(dòng)向量(vline)的水平分量(vx)與所述的閾值(THRvy)相比較。
14.根據(jù)權(quán)利要求1到13中任一個(gè)權(quán)利要求的方法，其中所述分配步驟包括確定當(dāng)前圖像的一行或列中所述確定的運(yùn)動(dòng)向量(vline，vcolumn)將分配給所述當(dāng)前塊的塊范圍的步驟。
15.根據(jù)權(quán)利要求14的方法，其中所述確定塊范圍的步驟包括步驟識(shí)別所述范圍的一個(gè)外邊界(FABL，LABL)，和識(shí)別一個(gè)所述范圍的內(nèi)邊界(VBBL)。
16.根據(jù)權(quán)利要求15的方法，其中所述外邊界(FABL)是有效圖像區(qū)域的邊界的塊。
17.根據(jù)權(quán)利要求16的方法，其中所述外邊界(FABL)按照所述確定的運(yùn)動(dòng)向量(vline，vcolumn)的類型和方向從有效圖像區(qū)域的外邊界選擇。
18.根據(jù)權(quán)利要求1到17中任一個(gè)權(quán)利要求的方法，其中所述行或列運(yùn)動(dòng)向量(vline，vcolumn)根據(jù)前一圖像的至少兩個(gè)相鄰行或列計(jì)算。
19.一種用于編碼一個(gè)包括運(yùn)動(dòng)補(bǔ)償?shù)囊曨l圖像序列的方法，使用按照權(quán)利要求1到18中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)方法。
20.一種用于內(nèi)插一個(gè)包括運(yùn)動(dòng)補(bǔ)償?shù)囊曨l圖像序列的方法，使用按照權(quán)利要求1到18中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)方法。
21.一種用于確定在視頻圖像序列中的當(dāng)前圖像塊的運(yùn)動(dòng)向量的運(yùn)動(dòng)估計(jì)器，每個(gè)視頻圖像分為多個(gè)塊，所述運(yùn)動(dòng)估計(jì)器包括計(jì)算單元，用于對(duì)所述視頻圖像序列的前一個(gè)圖像中的塊的一行或列中的所有塊確定運(yùn)動(dòng)向量(vline，vcolumn)，所述塊的行或列包括一個(gè)位于與當(dāng)前圖像中的當(dāng)前塊位置對(duì)應(yīng)的位置的塊，位置估計(jì)器，用于根據(jù)確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)估計(jì)當(dāng)前塊在前一個(gè)圖像中的位置，比較器，用于確定所述估計(jì)的位置是否在前一個(gè)圖像的圖像區(qū)域之外，和使能單元，如果在確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)的基礎(chǔ)上估計(jì)的當(dāng)前塊的位置在前一圖像的圖像區(qū)域之外，它把確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)分配給所述當(dāng)前塊。
22.根據(jù)權(quán)利要求21的運(yùn)動(dòng)估計(jì)器，其中所述圖像區(qū)域只包括有效圖像區(qū)域。
23.根據(jù)權(quán)利要求22的運(yùn)動(dòng)估計(jì)器，其中所述有效圖像區(qū)域由位于有效圖像區(qū)域的相對(duì)側(cè)的至少一對(duì)黑條框起來(lái)。
24.根據(jù)權(quán)利要求23的運(yùn)動(dòng)估計(jì)器，其中所述黑條在頂部和底部框住所述有效圖像區(qū)域。
25.根據(jù)權(quán)利要求24的運(yùn)動(dòng)估計(jì)器，其中所述計(jì)算單元只確定一個(gè)列運(yùn)動(dòng)向量(vcolumn)。
26.根據(jù)權(quán)利要求23的運(yùn)動(dòng)估計(jì)器，其中所述黑條在左側(cè)和右側(cè)框住所述有效圖像區(qū)域。
27.根據(jù)權(quán)利要求26的運(yùn)動(dòng)估計(jì)器，其中所述計(jì)算單元只確定一個(gè)行運(yùn)動(dòng)向量(vline)。
28.根據(jù)權(quán)利要求21到23中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)器，其中所述計(jì)算單元確定行運(yùn)動(dòng)向量(vline)和列運(yùn)動(dòng)向量(vcolumn)。
29.根據(jù)權(quán)利要求21到28中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)器，其中所述計(jì)算單元還包括一個(gè)比較器，用于把所述確定的行或列運(yùn)動(dòng)向量(vline，vcolumn)與預(yù)定的閾值(THRvy)相比較，并且其中在所述確定的運(yùn)動(dòng)向量(vline，vcolumn)超過(guò)所述預(yù)定閾值(THRvy)時(shí)，所述使能單元才把所述確定的運(yùn)動(dòng)向量(vline，vcolumn)分配給所述當(dāng)前塊。
30.根據(jù)權(quán)利要求29的運(yùn)動(dòng)估計(jì)器，其中所述閾值(THRvy)具有一個(gè)本質(zhì)上對(duì)應(yīng)于塊大小的值。
31.根據(jù)權(quán)利要求29或30的運(yùn)動(dòng)估計(jì)器，其中所述比較器把所述確定的運(yùn)動(dòng)向量(vline，vcolumn)的垂直或水平分量(vx，vy)與所述閾值(THRvy)相比較。
32.根據(jù)權(quán)利要求31的運(yùn)動(dòng)估計(jì)器，其中所述比較器把所述確定的列運(yùn)動(dòng)向量(vcolumn)的垂直分量(vy)與所述的閾值(THRvy)相比較。
33.根據(jù)權(quán)利要求31的運(yùn)動(dòng)估計(jì)器，其中所述比較器把所述確定的行運(yùn)動(dòng)向量(vline)的水平分量(vx)與所述的閾值(THRvy)相比較。
34.根據(jù)權(quán)利要求21到33中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)器，其中所述使能單元還包括一個(gè)范圍計(jì)算器，用于確定當(dāng)前圖像的一行或列中所述確定的運(yùn)動(dòng)向量(vline，vcolumn)將分配給所述當(dāng)前塊的塊范圍。
35.根據(jù)權(quán)利要求34的運(yùn)動(dòng)估計(jì)器，其中所述范圍計(jì)算器識(shí)別圖像范圍內(nèi)的一個(gè)外邊界(FABL，LABL)和內(nèi)邊界(VBBL)。
36.根據(jù)權(quán)利要求35的運(yùn)動(dòng)估計(jì)器，其中所述外邊界(FABL)是有效圖像區(qū)域的邊界的塊。
37.根據(jù)權(quán)利要求36的運(yùn)動(dòng)估計(jì)器，其中所述外邊界(FABL)按照所述確定的運(yùn)動(dòng)向量(vline，vcolumn)的類型和方向從有效圖像區(qū)域的外邊界選擇。
38.根據(jù)權(quán)利要求21到37中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)器，其中所述行或列運(yùn)動(dòng)向量(vline，vcolumn)根據(jù)前一圖像的至少兩個(gè)相鄰行或列計(jì)算。
39.一種編碼器，用于編碼一個(gè)包括運(yùn)動(dòng)補(bǔ)償?shù)囊曨l圖像序列，包括使用按照權(quán)利要求21到38中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)器。
40.一種內(nèi)插器，用于內(nèi)插一個(gè)包括運(yùn)動(dòng)補(bǔ)償?shù)囊曨l圖像序列，包括使用按照權(quán)利要求21到38中任一個(gè)權(quán)利要求的運(yùn)動(dòng)估計(jì)器。
全文摘要
本發(fā)明涉及一種改進(jìn)的運(yùn)動(dòng)向量估計(jì)，尤其用于速率上變換器的運(yùn)動(dòng)補(bǔ)償內(nèi)插。因?yàn)閭鹘y(tǒng)的運(yùn)動(dòng)估計(jì)算法不能提供對(duì)位于有效圖像邊界的那些塊的正確的估計(jì)，本發(fā)明確定可能受到有缺陷運(yùn)動(dòng)向量影響的那些塊并用根據(jù)前一圖像確定的列或行運(yùn)動(dòng)向量替換那些向量。以這種方式，能夠?qū)σ环鶊D像的所有塊進(jìn)行可靠的運(yùn)動(dòng)補(bǔ)償，并且能夠有效地改善有效圖像邊界上的內(nèi)插算法的惡化。
文檔編號(hào)H04N5/44GK1678024SQ20051006392
公開(kāi)日2005年10月5日 申請(qǐng)日期2005年3月30日 優(yōu)先權(quán)日2004年3月30日
發(fā)明者拉爾夫·休布里奇, 邁克爾·?？斯?申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社