專(zhuān)利名稱(chēng)：：視頻運(yùn)動(dòng)檢測(cè)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻運(yùn)動(dòng)檢測(cè)。技術(shù)背景視頻運(yùn)動(dòng)檢測(cè)用在視頻壓縮或其他處理系統(tǒng)中。在壓縮系統(tǒng)中，檢測(cè)圖像間運(yùn)動(dòng)允許圖像的一部分通過(guò)參考另一個(gè)圖像的相似部分來(lái)編碼。在其他應(yīng)用中，諸如標(biāo)準(zhǔn)轉(zhuǎn)換，清晰度轉(zhuǎn)換(例如標(biāo)準(zhǔn)清晰度到高清晰度或反之亦然)或隔行到逐行(interlacetoprogressive)掃描轉(zhuǎn)換，新產(chǎn)生的圖像的一部分從一個(gè)或多個(gè)其它當(dāng)時(shí)鄰近的圖像中得到或內(nèi)插。在這樣的配置中，運(yùn)動(dòng)檢測(cè)允許鄰近圖像的合適區(qū)域用在內(nèi)插過(guò)程中。基于圖像區(qū)域挨著圖像區(qū)域的基理，圖像運(yùn)動(dòng)通常表示為運(yùn)動(dòng)"向量"。通常，對(duì)圖像塊檢測(cè)運(yùn)動(dòng)向量，運(yùn)動(dòng)向量被分配到整個(gè)塊或被分配到這種塊之中的像素或像素組。在壓縮系統(tǒng)中，不正確的運(yùn)動(dòng)向量意味著圖像區(qū)域4艮難編碼一也就是說(shuō)由于其與運(yùn)動(dòng)向量參考的另一個(gè)圖像部分相對(duì)地不相似，其需要更多的數(shù)據(jù)編碼。然而，在基于從一個(gè)或多個(gè)鄰近圖像中產(chǎn)生或內(nèi)插新圖像的其他系統(tǒng)中，情況更糟。不正確的運(yùn)動(dòng)向量意味著鄰近圖像的錯(cuò)誤部分被用作內(nèi)插的基礎(chǔ)。這可能導(dǎo)致在輸出(新)圖像中產(chǎn)生高度可見(jiàn)的偽像。由此在視頻運(yùn)動(dòng)檢測(cè)配置中始終需要得到高質(zhì)量和精確的運(yùn)動(dòng)信息。
發(fā)明內(nèi)容本發(fā)明提供視頻運(yùn)動(dòng)檢測(cè)設(shè)備，其包括用于將運(yùn)動(dòng)測(cè)試應(yīng)用到檢測(cè)兩個(gè)或多個(gè)測(cè)試圖像之間的圖像間運(yùn)動(dòng)中的裝置，運(yùn)動(dòng)測(cè)試產(chǎn)生測(cè)試結(jié)果，測(cè)試結(jié)果提供運(yùn)動(dòng)向量和被檢測(cè)的運(yùn)動(dòng)向量的完整性的指示；以及用于將運(yùn)動(dòng)測(cè)試應(yīng)用到測(cè)試圖像之一中以檢測(cè)所述測(cè)試圖像中的圖像內(nèi)相似性的裝置；其中》口果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果顯示了比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量可用于作為所述設(shè)備的輸出；以及如果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果沒(méi)有顯示出比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量不可用于作為所述設(shè)備的輸出。在本發(fā)明中，運(yùn)動(dòng)檢測(cè)測(cè)試應(yīng)用于測(cè)試圖像之一的本身中。如果所迷一個(gè)圖像中的運(yùn)動(dòng)檢測(cè)結(jié)果優(yōu)于兩個(gè)圖像之間的運(yùn)動(dòng)檢測(cè)結(jié)果，則圖像間結(jié)果被看作是低質(zhì)量的并且被舍棄。本發(fā)明的其他各個(gè)方面和特征在隨附權(quán)利要求中限定。本發(fā)明的實(shí)施例僅以例子的方式并通過(guò)參考附圖進(jìn)行描述，其中圖1示意性地說(shuō)明了純平顯示器配置；圖2示意性地說(shuō)明了工作室環(huán)境中的視頻混合操作；圖3示意性地說(shuō)明了隔行到逐行掃描轉(zhuǎn)換器；圖4a和4b示意性地說(shuō)明了"標(biāo)準(zhǔn)，，和廣義采樣定理(GST);圖5示意性地說(shuō)明了使用子像素位置校正的轉(zhuǎn)換過(guò)程的一部分；圖6示意性地說(shuō)明了子像素誤差；圖7a示意性地說(shuō)明了水平子像素校正；圖7b示意性地說(shuō)明了垂直子像素校正；圖8a到8c示意性地說(shuō)明了多相位內(nèi)插；圖9示意性地說(shuō)明了換向器；圖IO顯示了示例圖像；圖11示意性地說(shuō)明了使用GxSobel算子的邊緣檢測(cè)；圖12示意性地說(shuō)明了使用GySobel算子的邊緣檢測(cè)；圖13示意性地說(shuō)明了塊匹配尺寸圖；圖14示意性地說(shuō)明了塊匹配向量的合格結(jié)果(acceptanceresult)j圖15示意性地說(shuō)明了運(yùn)動(dòng)向量驗(yàn)證；圖16示意性地說(shuō)明了垂直半帶濾波；圖17a到17c示意性地說(shuō)明了GST濾波器設(shè)計(jì)的各個(gè)方面；以及圖18a到18e示意性地說(shuō)明了處理運(yùn)動(dòng)的圖像對(duì)象的各個(gè)方面。具體實(shí)施方式圖1示意性地說(shuō)明了一種純平顯示器配置IO,其包括隔行視頻素材源(sourceofinterlacedvideomaterial)20,隔行到逐行掃描轉(zhuǎn)換器30和諸如液晶(LCD)或等離子顯示器之類(lèi)的顯示板40。這說(shuō)明了隔行到逐行掃描轉(zhuǎn)換的一般使用，其中許多廣播信號(hào)是隔行的形式，而許多平板顯示器最成功的是以逐行掃描的形式來(lái)操作。因此，在圖1中，隔行素材源20接收的廣播信號(hào)被用來(lái)產(chǎn)生用于顯示的隔行信號(hào)。其被傳遞給隔行到逐行掃描轉(zhuǎn)換器30，以便從隔行信號(hào)產(chǎn)生逐行掃描信號(hào)。這就是傳遞給顯示器40的逐行掃描信號(hào)。將會(huì)意識(shí)到隔行素材源20不需要是廣播接收器，而可以是諸如DVD播放器的視頻重放裝置，諸如因特網(wǎng)連接的網(wǎng)絡(luò)連接等等。圖2示意性地說(shuō)明了在工作室環(huán)境中的視頻混合操作，以便給出隔行到逐行掃描轉(zhuǎn)換的應(yīng)用的另一個(gè)實(shí)例。在這里，隔行素材源50和逐行掃描素材源60被提供。這些源可以是照相機(jī)，視頻重放裝置(諸如視頻磁帶記錄器或者硬盤(pán)記錄器)，廣播接收器或類(lèi)似物。來(lái)自隔行素材源50的隔行輸出被提供給隔行到逐行掃描轉(zhuǎn)換器70，以便產(chǎn)生逐行掃描信號(hào)。其可以連同來(lái)自源60的逐行掃描素材一起被視頻混合器(visionmixer)80處理，以便產(chǎn)生已處理的逐行掃描輸出。當(dāng)然，如果需要(例如用于接下來(lái)的廣播或記錄)，視頻混合器80的逐行掃描輸出可以被轉(zhuǎn)換回隔行形式。還將意識(shí)到視頻混合器80只是視頻處理裝置的一個(gè)例子；取而代之，例如，數(shù)字視頻效果單元，可以用在圖2中的這個(gè)位置。圖3示意性地說(shuō)明了接收基于場(chǎng)的輸入信號(hào)并產(chǎn)生逐行掃描基于幀的輸出信號(hào)的隔行到逐行掃描轉(zhuǎn)換器。在當(dāng)前的實(shí)施例中，對(duì)于輸入信號(hào)的每一個(gè)場(chǎng)，輸出信號(hào)具有一個(gè)幀。圖3中的轉(zhuǎn)換器包括一個(gè)或多個(gè)場(chǎng)存儲(chǔ)器100,運(yùn)動(dòng)估計(jì)器110，運(yùn)動(dòng)補(bǔ)償器120，水平和垂直位置校正器130，隱藏發(fā)生器(concealmentgenerator)140和輸出選擇器150。為了描述的清楚，運(yùn)動(dòng)補(bǔ)償器120和位置校正器130被表示為分開(kāi)的項(xiàng)目；事實(shí)上，很可能這兩個(gè)功能被作為同一個(gè)操作的部分來(lái)執(zhí)行。輸入場(chǎng)被存儲(chǔ)在一個(gè)或多個(gè)場(chǎng)存儲(chǔ)器100中并且也被傳遞給運(yùn)動(dòng)估計(jì)器110。使用將在下面描述的基于塊的運(yùn)動(dòng)估計(jì)技術(shù)，并且參考一個(gè)或多個(gè)場(chǎng)存儲(chǔ)器ioo，運(yùn)動(dòng)估計(jì)器110得到表示在當(dāng)前場(chǎng)和另一個(gè)場(chǎng)(例如先前的場(chǎng))之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)向量。運(yùn)動(dòng)向量4皮推導(dǎo)為子像素精確度。為了產(chǎn)生輸出幀，運(yùn)動(dòng)補(bǔ)償器120被用于產(chǎn)生"缺少的"像素，以便增加當(dāng)前場(chǎng)的像素。所以，當(dāng)前場(chǎng)的像素被保留，并且使用運(yùn)動(dòng)補(bǔ)償，那些像素之間的空行被來(lái)自一個(gè)或多個(gè)存儲(chǔ)場(chǎng)的像素占據(jù)。運(yùn)動(dòng)補(bǔ)償器120的操作將在下面做更詳細(xì)的描述。雖然運(yùn)動(dòng)補(bǔ)償器的輸出精確到最近的像素，但是因?yàn)橥ǔ](méi)有與輸出幀中的采樣點(diǎn)(像素位置)完全對(duì)齊，因此使用水平和垂直位置校正器。這是因?yàn)檫\(yùn)動(dòng)估計(jì)^f皮執(zhí)行為子像素分辨率。使用多相位濾波校正水平位置誤差。使用利用所謂的廣義采樣定理的特定情形的濾波器校正垂直位置誤差。以下將對(duì)這些操作作更詳細(xì)的描迷。隱藏發(fā)生器140被用來(lái)提供像素值，以便防依靠運(yùn)動(dòng)的補(bǔ)償配置未能提供像素值。在推導(dǎo)對(duì)每一個(gè)像素的校正運(yùn)動(dòng)向量所需要的處理未能完成的情況下這可能是需要的，例如由于圖像的特性使得推導(dǎo)運(yùn)動(dòng)向量不準(zhǔn)確或者處理器密集(processor-intensive)。事實(shí)上，隱藏發(fā)生器被包括在運(yùn)動(dòng)補(bǔ)償器/位置校正器的功能性之中，但是在圖3中被示意性地表示為單獨(dú)的單元。相似地，選擇器150是運(yùn)動(dòng)補(bǔ)償器/位置校正器/隱藏發(fā)生器的功能性的一部分，但是其被單獨(dú)地表示，以便說(shuō)明其操作。當(dāng)運(yùn)動(dòng)補(bǔ)償像素不能被產(chǎn)生時(shí)，選擇器150(在逐塊的基礎(chǔ)上)選擇隱藏像素。圖4a和4b提供了廣義采樣定理(GST)的綜述。特別地，圖4a示意性地說(shuō)明了"標(biāo)準(zhǔn)"采樣定理，然而圖4b示意性地說(shuō)明了GST。在圖4a中，說(shuō)明了常見(jiàn)的情況，由此具有最大頻率fs/2的信號(hào)可以通過(guò)以fs速率的采樣(也就是說(shuō)每1/fs規(guī)則地出現(xiàn)采樣點(diǎn))被完美重建。這種分析對(duì)于基于時(shí)間的系統(tǒng)或者基于空間的系統(tǒng)同樣有效，也就是采樣率fs可以被表達(dá)為每秒的釆樣或者每空間單位的采樣。圖4b示意性地說(shuō)明了GST的一個(gè)實(shí)例。根據(jù)GST,事實(shí)上不需要用一個(gè)固定的采樣周期(1/fs)采樣。取而代之，如果具有最大頻率fs/2的信號(hào)以每2/fs周期兩個(gè)采樣點(diǎn)被采樣，則具有最大頻率fs/2的信號(hào)可以被完美重建，。圖5示意性地說(shuō)明了由圖3的裝置執(zhí)行的轉(zhuǎn)換過(guò)程的一部分，以便說(shuō)明基于GST的位置校正的需要。場(chǎng)0、l和2在時(shí)間上均勻分隔。目的是使用來(lái)自場(chǎng)1的現(xiàn)有像素還有運(yùn)動(dòng)補(bǔ)償像素(填充在缺少的行中)創(chuàng)建逐行掃描幀，幀1，在這個(gè)實(shí)施例中運(yùn)動(dòng)補(bǔ)償像素是從場(chǎng)0和2通過(guò)使用基于塊的運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)補(bǔ)償技術(shù)得到的。在場(chǎng)1中缺少的像素被插入像素的行之間，以便創(chuàng)建幀1。但是幀1中的運(yùn)動(dòng)補(bǔ)償像素有子像素位置誤差。注意在其他實(shí)施例中缺少的像素只從一個(gè)場(chǎng)得到。如上所述，子像素位置誤差通過(guò)兩種技術(shù)校正。水平子像素誤差使用多相位濾波校正。垂直誤差使用GST濾波校正。圖6示意性地說(shuō)明了這些子像素誤差。白色圓圏UO代表填充在場(chǎng)l的缺少行中，以便產(chǎn)生幀1的運(yùn)動(dòng)補(bǔ)償像素的所要求的位置。灰色像素180代表來(lái)自場(chǎng)1的真實(shí)像素的位置。黑色像素190代表在本例中運(yùn)動(dòng)補(bǔ)償像素的位置?？梢钥闯觯\(yùn)動(dòng)補(bǔ)償像素190接近但沒(méi)有完全對(duì)準(zhǔn)所要求的位置170。圖7a示意性地說(shuō)明了使用多相位濾波器以校正水平位置。多相位濾波技術(shù)將在下面作更詳細(xì)的描述，但是籠統(tǒng)來(lái)講，濾波器200接收一組運(yùn)動(dòng)補(bǔ)償像素值作為輸入。濾波器包括濾波器抽頭h的P個(gè)集合，每一個(gè)所述集合被配置以相對(duì)輸入運(yùn)動(dòng)補(bǔ)償像素的不同相位(在像素的情況下，就是水平位置)產(chǎn)生輸出值。在圖7a中相位被示意性的表示(210)成從O(在本例中，相位O與左手邊的真實(shí)像素對(duì)準(zhǔn))到P-l(在本例中，相位P-l與右手邊的真實(shí)像素對(duì)準(zhǔn))。換句話(huà)說(shuō)，水平位置誤差被量化為1/P像素間隔的子像素精確度。示意性的換向器220選擇正確的抽頭集^^，以便產(chǎn)生與真實(shí)像素170水平對(duì)準(zhǔn)的新的像素值190'。圖7b示意性地說(shuō)明了使用GST來(lái)校正垂直位置。這里，像素190，被表示為其水平位置已如上所述被校正。在垂直方向，在兩(幀)行的每個(gè)空間周期中，兩個(gè)像素被提供來(lái)自場(chǎng)1的真實(shí)像素180，和已水平校正的像素190，。在兩行的空間周期中兩個(gè)有效采樣點(diǎn)的存在意味著每一個(gè)單獨(dú)的像素170的"原始，，值可以通過(guò)垂直濾波過(guò)程被恢復(fù)。完全垂直對(duì)準(zhǔn)的像素組230很少或沒(méi)有受到混疊。相反，不正確垂直對(duì)準(zhǔn)的像素組240受到垂直混疊。合適的GST濾波器的方程式如下;Xc卿+no)sb(p(h-n')/^(-1)2knsin(p$i-ng)/^/(n-kN-Xc(n)一=_i，儼t,w+l^zXc(JN+n))sin(p(h-iio)/H(-l)2krtsin(p(n-n^/h5/(n-kN-n,)其中2個(gè)子采樣數(shù)據(jù)序列形成采樣集合nN+np(p-O...(N-l)),N是每尼奎斯特(Nyquist)周期中離散等間隔采樣的最大數(shù)目，n是采樣數(shù)。因此，總之，GST能夠用于重建來(lái)自?xún)蓚€(gè)或多個(gè)隔行場(chǎng)的準(zhǔn)最佳的(quasi-perfect)逐行幀。該過(guò)程包括來(lái)自一個(gè)場(chǎng)的像素的復(fù)制和逐行掃描幀中的剩余像素(從其它場(chǎng)中得到的)的位置復(fù)原。隨后，水平相位校正和垂直GST重建得到像素值，這完成了準(zhǔn)最佳逐行掃描幀。然而，為了復(fù)原來(lái)自第二個(gè)場(chǎng)的像素的位置和相位，精確到空間采樣分辨率的某個(gè)小數(shù)的運(yùn)動(dòng)向量必須已知。因此，接下來(lái)是運(yùn)動(dòng)估計(jì)器IIO的操作的描述。運(yùn)動(dòng)估計(jì)器一般是為了使用圖像和其空間移位版本(version)之間的一些局部最小誤差來(lái)檢測(cè)真實(shí)向量的幅值和方向。然而，如果圖像數(shù)據(jù)是子采樣(如用于隔行源的場(chǎng)的情況)，在具有不同位移的版本之間可能有一點(diǎn)或者甚至零相關(guān)性，以這種方式抑制運(yùn)動(dòng)的檢測(cè)。已知一些運(yùn)動(dòng)估計(jì)方法。它們包括1.梯度方法在其最簡(jiǎn)單的形式中，這一技術(shù)假設(shè)局部區(qū)域上的常數(shù)亮度梯度以用線性(直線)關(guān)系將像素中的變化或者小塊平均(small-block-average)亮度轉(zhuǎn)化為運(yùn)動(dòng)。2.基于塊的方法這種方法通常包括視頻序列的兩個(gè)或多個(gè)連續(xù)幀之間的塊匹配，以便建立正確的位移。使用的匹配標(biāo)準(zhǔn)是最小像素差測(cè)量，通常是相應(yīng)的塊之間的MSE(均方誤差)。3.傅立葉變換方法這一技術(shù)與基于塊的方法大致相同，但是使用傅立葉變換來(lái)計(jì)算二維旋轉(zhuǎn)巻積。這將有效地減小計(jì)算大區(qū)域上的塊搜索結(jié)果所需要的計(jì)算量?；趬K的方法在操作上是普通的(也就是基于塊搜索的結(jié)果應(yīng)當(dāng)與應(yīng)用傅立葉方法之后的結(jié)果相同)并且比由其關(guān)聯(lián)的假設(shè)支持的梯度方法產(chǎn)生更準(zhǔn)確的算術(shù)結(jié)果。塊匹配方法用于當(dāng)前的實(shí)施例中，但是將會(huì)意識(shí)到的是其他方法也可以使用。然而，塊搜索方法的已知缺點(diǎn)是由不正確的MSE最小化搜索帶來(lái)的錯(cuò)誤的運(yùn)動(dòng)向量的計(jì)算。發(fā)生這一現(xiàn)象由于至少三個(gè)可能的原因1.被選擇用于搜索的塊缺少足夠的細(xì)節(jié)來(lái)保證任何位移產(chǎn)生大于零位移的MSE。2.由于像素差，MSE計(jì)算中的求和可能過(guò)載，對(duì)于塊位移比其他明顯不正確的位移更接近真實(shí)引起報(bào)告更大的誤差。3.被選擇用于搜索的塊自相關(guān)以產(chǎn)生比使用塊的真實(shí)幀間向量位移獲得的MSE更低的(幀內(nèi))MSE。通過(guò)為每一個(gè)原因使用特定技術(shù)，在當(dāng)前實(shí)施例解決這些可能的失敗?，F(xiàn)在參考圖8a到8c，多相位內(nèi)插是用于分析連續(xù)的幀之間的子像素運(yùn)動(dòng)的方法，作為由產(chǎn)生隔行場(chǎng)的過(guò)程引起的原始源圖像的非完整像素轉(zhuǎn)移的結(jié)果被告知。用于子塊MSE搜索的多相位內(nèi)插可以被看作有效計(jì)算方法，該方法首先通過(guò)應(yīng)用原始帶寬約束在數(shù)據(jù)序列中插入樣本，然后用期望的子像素移位選擇有規(guī)則的樣本集合。多相位內(nèi)插方法可以從圖8a到8c的示意圖得到。圖8a示意性地說(shuō)明了原始離散時(shí)間采樣信號(hào)。圖8b示意性地說(shuō)明了圖8a的原始信號(hào)，零衰減(zero-pad)。換句話(huà)說(shuō)，零值采樣已經(jīng)(至少在概念上)插入圖8a的信號(hào)的"真實(shí)"采樣之間。圖8c示意性地說(shuō)明了圖8b的信號(hào)，其已經(jīng)被濾波以再運(yùn)用原始帶寬約束(也就是圖8a的信號(hào)的帶寬)。原始信號(hào)和濾波器都被假設(shè)為在0+nT時(shí)刻被釆樣的離散時(shí)間序列，其中n-0，l，2等。為了簡(jiǎn)化當(dāng)前的分析，替換T-1被用來(lái)歸一化采樣周期。稱(chēng)為x(n)(不是x(nT)，因?yàn)門(mén)-l)的原始信號(hào)首先是零衰減的以反映內(nèi)插比。例如，通過(guò)因子N的內(nèi)插要求在原'始(真實(shí))采樣之間插入N-1個(gè)零，以便產(chǎn)生長(zhǎng)度是原始的N倍的采樣序列。應(yīng)用原始帶寬約束(當(dāng)前第N帶)，零衰減輸入序列和(長(zhǎng)度為L(zhǎng)+l的)濾波器h(n)進(jìn)行巻積產(chǎn)生結(jié)果序列y(n):y(0〉-x(0)h(0〉；y(l)",);y(N:l)-x(N-l歸..y(N)=x(N)h(O)+x(0)h(N)+...明顯地，y(O)，y(N)，y(2N)等結(jié)果被計(jì)算作為x(n)與濾波系數(shù)h(O),h(N)，h(2N)等的巻積。同樣地，y(l)，y(N+l)，y(2N+1)等是通過(guò)與濾波系數(shù)h(l)，h(N+l),h(2N+l)等的巻積來(lái)計(jì)算的。這些簡(jiǎn)式計(jì)算可以被巧妙的表達(dá)為如圖9所示的在系數(shù)集合P之間選擇的示意性換向器300的形式。換向器選擇需要的子像素相位。這個(gè)操作的效果在于，只需提供乘法和加法就能計(jì)算需要的特定結(jié)果。通常，增益因子N浮皮施加在輸出端，因?yàn)榱闼p原始采樣序列被認(rèn)為具有第1/N個(gè)原始的能量。在塊匹配算法中多相位計(jì)算被水平地和垂直地使用。因此，運(yùn)動(dòng)向量用子像素分解產(chǎn)生。像素中的最大搜索范圍(也就是一個(gè)場(chǎng)中的塊和另一個(gè)場(chǎng)中的塊之間的最大允許測(cè)試位移，其可能是測(cè)試塊尺寸的絕對(duì)值或者倍數(shù))祐L轉(zhuǎn)化為這里表示的子像素的數(shù)量。對(duì)于任何從零開(kāi)始的給定偏移量，所要求的相位是在被內(nèi)插比劃分的子像素中被測(cè)量的這個(gè)移位的模數(shù)。像素中的絕對(duì)位移是該轉(zhuǎn)移通過(guò)內(nèi)插比的整數(shù)劃分?？勺兊膲K尺寸選擇方法用于魯棒的基于幀的運(yùn)動(dòng)估計(jì)。每一個(gè)塊在水平(大寫(xiě)X)和垂直(大寫(xiě)Y)方向上被分配最小和最大2的冪的尺寸。首先，所有塊的尺寸被設(shè)置為預(yù)定的最大2的冪(例如5，設(shè)定最大塊尺寸為25個(gè)像素)，但是因?yàn)閹耐獠砍叽缱鳛榧s束所以塊尺寸可以從開(kāi)端在X和/或Y減小以保證邊緣合適?；谑褂肧obel算子被檢測(cè)和測(cè)量的邊緣內(nèi)容，垂直地或水平地(后者優(yōu)先)將每一個(gè)塊劃分為兩半的迭代過(guò)程被執(zhí)行。一般原則是如果發(fā)現(xiàn)包含不止一個(gè)要求的邊緣內(nèi)容，則塊被劃分(受限于最小塊尺寸-見(jiàn)下面)。Sobel算子采取并應(yīng)用為兩個(gè)單獨(dú)的二維3*3系數(shù)濾波器的形式。首先，Gx，顯示在左下方，檢測(cè)垂直邊緣，其次，Gy,顯示在右下方，^r測(cè)水平邊緣。<table>tableseeoriginaldocumentpage12</column></row><table>由于Gx和Gy的系數(shù)值的范圍，當(dāng)在0到1的范圍內(nèi)與圖像數(shù)據(jù)進(jìn)行巻積時(shí)，這些濾波器呈現(xiàn)+4和-4的最大增益。因此從應(yīng)用這些濾波器得到的結(jié)果首先是通過(guò)被4劃分而被歸一化為-1到+1的范圍。(作為選擇，歸一化系數(shù)可以在Sobel算子中使用)圖10說(shuō)明了在其上應(yīng)用了一些技術(shù)的源視頻序列的一個(gè)圖像。源視頻序列事實(shí)上是通過(guò)從4096*1696像素的基本圖像開(kāi)始而人工產(chǎn)生的。應(yīng)用整個(gè)像素移位(模擬照相機(jī)全景拍攝)，以便將運(yùn)動(dòng)給予這樣的圖像的序列。最終的輸出場(chǎng)通過(guò)使用相同因子的第n帶(nth-band)濾波和隨后的子采樣得到的，其中值n=8提供了512*512個(gè)像素的完成尺寸。因此，源視頻序列中的每一個(gè)場(chǎng)包括關(guān)于相鄰場(chǎng)的運(yùn)動(dòng)，還表示基本圖像的子采樣版本。依次使用每一個(gè)算子(即，Gx的和Gy的)結(jié)果的絕對(duì)值并且只接受0.2和其以上(也就是，應(yīng)用"大于"閾值0.2)的絕對(duì)(歸一化)值，將Gx和Gy應(yīng)用于如圖IO所示的源圖像產(chǎn)生圖11和12中所示的兩個(gè)邊緣檢測(cè)圖像。特別地，圖11示意性地說(shuō)明了使用Gx算子檢測(cè)的邊緣，圖12示意性地說(shuō)明了使用Gy算子檢測(cè)的邊緣。像素由此被識(shí)別并標(biāo)記為"邊緣"像素。關(guān)于計(jì)劃用于塊匹配中的每一個(gè)像素塊，^L檢測(cè)的邊緣像素的總數(shù)(最小歸一化幅值0.2)被進(jìn)行進(jìn)一步的閾值測(cè)試以確定塊是否可以被分離。每一個(gè)塊在概念上被子劃分為四個(gè)1/4(垂直地和水平地子劃分兩次)。如果每一個(gè)四分之一包括水平和垂直的邊緣像素總數(shù)(其大于或等于預(yù)定最小(不能分割的)塊尺寸中的像素?cái)?shù)量)，則塊劃分被接受。然而，如果只有水平數(shù)不足，則四分之一塊的邊界被融合(merged)并且兩次垂直劃分被接受。最后，如果只有垂直數(shù)不足，則四分之一塊的邊界被融合并且兩次水平劃分被接受。如果兩個(gè)數(shù)都不足則塊不劃分，在每種情況下標(biāo)記停止標(biāo)準(zhǔn)。當(dāng)不再有子劃分時(shí)，塊匹配映射就完成了。將這一技術(shù)應(yīng)用于具有如圖11和12中所示的邊緣閾值結(jié)果的如圖IO所示的源圖像，就會(huì)產(chǎn)生如圖13中示意性所示的塊劃分模式。為了防止或至少避免用于估計(jì)塊相似性的均方誤差計(jì)算回到誤差最小量，像素差限制被用來(lái)防止在地面實(shí)況周?chē)男》秶鷥?nèi)的塊位移的總數(shù)飽和。用在塊匹配中的標(biāo)準(zhǔn)MSE計(jì)算如公式1所示。<formula>formulaseeoriginaldocumentpage13</formula>在公式1中，塊尺寸是^M個(gè)像素并且在一個(gè)幀中被表示為Ax,y,在下一個(gè)幀中被表示為Bx+j.y+k，其中j和k是在最小限度搜索期間應(yīng)用的整個(gè)像素的水平和垂直位移。當(dāng)然，B^,y+k代表根據(jù)使用圖9和這里分析所要求的(在子像素中)實(shí)際位移的模數(shù)推導(dǎo)的那些的圖像的合適相位。核差計(jì)算被限制每一個(gè)像素的全部誤差的計(jì)算取代，如公式2所<formula>formulaseeoriginaldocumentpage13</formula>在公式2中，q是合適的常數(shù)。對(duì)于在0…1范圍內(nèi)的圖像數(shù)據(jù)，已經(jīng)發(fā)現(xiàn)q-l(T的值能^艮好的工作。這樣的像素差限制已經(jīng)被發(fā)現(xiàn)來(lái)提供在塊搜索產(chǎn)生的完全二維誤的更大的分辨力和區(qū)別。為了防止或至少減小由于塊搜索方法帶來(lái)的錯(cuò)誤(或"劣質(zhì)，，)向量的產(chǎn)生，通過(guò)塊幀內(nèi)(自)相關(guān)性能夠得到用于劣質(zhì)結(jié)果的潛在的預(yù)先警告的發(fā)生。為了應(yīng)用這一技術(shù)，在同樣的圖像中的所要求的范圍內(nèi)塊搜索被首先執(zhí)行。最小MSE被記錄。在第二幀中的塊搜索如以前一樣接著被執(zhí)行，然而如果最小MSE記錄大于幀內(nèi)MSE,則從搜索中分解的向量祐^舍棄。使用幀內(nèi)相關(guān)性結(jié)果，最大MSE標(biāo)準(zhǔn)也能夠被應(yīng)用。僅通過(guò)允許至少一個(gè)子像素在X和Y上的位移，用于可信匹配的最差可允許MSE的測(cè)量就可以得到。當(dāng)已分解的位移(運(yùn)動(dòng)向量)應(yīng)該理想地在地面實(shí)況的一個(gè)子《象素內(nèi)時(shí)，對(duì)于任何幀間MSE這將是上限。根據(jù)描述的劣質(zhì)向量消除方法，每一個(gè)向量的有效性在圖14中顯示，其中只有那些算法確認(rèn)的以提供真實(shí)運(yùn)動(dòng)估計(jì)結(jié)果的塊給出了輪廓。進(jìn)一步地，現(xiàn)在將描述用于使用廣義采樣定理將運(yùn)動(dòng)向量估計(jì)應(yīng)用于隔行逐行幀轉(zhuǎn)換方法的技術(shù)。上文已經(jīng)描述了魯棒的基于幀的運(yùn)動(dòng)向量估計(jì)。然而，在當(dāng)前的實(shí)施例中，不存在幀數(shù)據(jù)，將使用GST重建幀數(shù)據(jù)。沒(méi)有準(zhǔn)最佳運(yùn)動(dòng)向量，幀數(shù)據(jù)就不可能被創(chuàng)建，從而從一個(gè)場(chǎng)中復(fù)原像素位置到另一個(gè)中，并且為GST濾波器選擇檢測(cè)相位對(duì)準(zhǔn)。幀數(shù)據(jù)和完美運(yùn)動(dòng)向量沒(méi)有對(duì)方的話(huà)都不能存在，但任何一個(gè)都4艮難首先得到。一種選擇是基于場(chǎng)的運(yùn)動(dòng)估計(jì)。不幸地是，由于從逐行形式的轉(zhuǎn)換中的2:1子采樣或者由于為了隨后的顯示使用隔行形式產(chǎn)生源素材的捕捉設(shè)備的固有工作方式，場(chǎng)數(shù)據(jù)被混疊。子采樣不能保證圖像數(shù)據(jù)的塊與另一個(gè)圖像中的任何大致相同的塊完全匹配，因?yàn)檫x擇的代表可能在一個(gè)樣本集合中自然地排除在另一個(gè)樣本集合中明顯的一些或全部特點(diǎn)。然而，有可能至少一些數(shù)據(jù)將以同樣的方式被混疊，從而將得到與正確位移的場(chǎng)間匹配。關(guān)于為保證魯棒的基于幀的運(yùn)動(dòng)估計(jì)所作的三個(gè)改善，并不是所有這些改善都可以應(yīng)用于基于場(chǎng)的估計(jì)。首先，場(chǎng)數(shù)據(jù)可能是以從一個(gè)或多個(gè)區(qū)域中排除重要細(xì)節(jié)的方式采樣的結(jié)果，然而，事實(shí)上(或者在另一種情況(在時(shí)間上較后的場(chǎng))中)該細(xì)節(jié)是存在的。因此，對(duì)可變塊尺寸選擇使用細(xì)節(jié)分析對(duì)于場(chǎng)數(shù)據(jù)來(lái)說(shuō)是不相關(guān)的。然而，由于大的像素差，為防止誤差總和溢出的MSE計(jì)算核的修改對(duì)于場(chǎng)數(shù)據(jù)是有效的。最好的情況是不含有由于原始信號(hào)內(nèi)容的本質(zhì)帶來(lái)的混疊的偽像的場(chǎng)；由此核計(jì)算的修改提高了搜索算法的能力以分辨可歸因于真實(shí)位移向量的最小誤差。對(duì)于劣質(zhì)向量回避技術(shù)同樣如此。對(duì)于塊搜索算法它是一個(gè)補(bǔ)充并且它只能夠?yàn)闆](méi)有重大混疊現(xiàn)象的場(chǎng)提高性能。對(duì)于嚴(yán)重混疊的場(chǎng)，有為什么塊搜索算法可能如已經(jīng)討論過(guò)的那樣失敗的基本原因一一在這些條件下保留MSE核修改或者劣質(zhì)向量消除方法將不會(huì)進(jìn)一步降低性能。基于場(chǎng)的運(yùn)動(dòng)估計(jì)算法在下面進(jìn)行描述，最初通過(guò)細(xì)節(jié)分析進(jìn)行塊選擇的替換，隨后通過(guò)進(jìn)一步增強(qiáng)，使該技術(shù)在基于場(chǎng)的系統(tǒng)中更加成功。在GST運(yùn)動(dòng)估計(jì)算法中，通過(guò)一些最大初始尺寸在X和Y上的二的冪劃分，用于基于場(chǎng)的MSE搜索的塊尺寸是可變的。然而，這些劃分被可允許的像素區(qū)域控制，在其下，塊不能收縮。該方法支持粗劣的(awkward)圖像尺寸(未將尺寸定為X或Y中任意二的冪的倍數(shù))(也就是，MSE最小值是地面實(shí)況位移)，同時(shí)保證塊匹配計(jì)算中包括足夠數(shù)量的像素以得到相關(guān)性結(jié)果的期望精度。在X和Y上用于塊尺寸的起動(dòng)值一般等于2《，但是具有總的初始最小區(qū)域值為2048個(gè)像素。在X和Y上小到22的最終的塊尺寸由25個(gè)像素的最小區(qū)域支持。用于GST的運(yùn)動(dòng)估計(jì)包括用于有代表性的運(yùn)動(dòng)的場(chǎng)間塊搜索，用于塊相似性的場(chǎng)內(nèi)搜索和幀間塊位移驗(yàn)證。算法的兩個(gè)階段被執(zhí)行以支持可變的塊尺寸，如稍后將要討論的。將子像素運(yùn)動(dòng)向量搜索算法應(yīng)用于場(chǎng)數(shù)據(jù)會(huì)產(chǎn)生圍繞地面實(shí)況向量的運(yùn)動(dòng)向量分布，甚至包含MSE核計(jì)算修改和劣質(zhì)向量移除技術(shù)。這完全由于混疊和缺少場(chǎng)之間的圖像數(shù)據(jù)的重復(fù)性。例如，測(cè)試序列產(chǎn)生如下表1中的運(yùn)動(dòng)向量分布，在該測(cè)試序列中，連續(xù)的圖像在X和Y上分別以每幀9和3個(gè)子像素(在本例中是1/8個(gè)像素)的比率被移位。<table>tableseeoriginaldocumentpage16</column></row><table>從表1中，最多的向量是X，Y=18，3，其當(dāng)然是正確的?；趫?chǎng)的運(yùn)動(dòng)估計(jì)在相同類(lèi)型(偶數(shù)或者奇數(shù))的場(chǎng)之間應(yīng)用，其意味著有效地，在這些場(chǎng)被產(chǎn)生的幀之間在X和Y上有雙運(yùn)動(dòng)。然而，僅使用場(chǎng)線的采集，這個(gè)雙運(yùn)動(dòng)隨后在Y上減半，只有X事實(shí)上,皮報(bào)告兩倍于實(shí)際運(yùn)動(dòng)。因此，在用于建立場(chǎng)的幀之間，在X和Y上的9和3個(gè)像素的位移被檢測(cè)為18和3個(gè)像素的位移。在這個(gè)例子中，合成的僅全景拍攝運(yùn)動(dòng)保證一個(gè)主要向量被檢測(cè)。然而，實(shí)際場(chǎng)間運(yùn)動(dòng)可能比這個(gè)復(fù)雜的多。通常，候選運(yùn)動(dòng)向量以支持它們的塊的數(shù)量為序被分類(lèi)，以普及度(popularity)為序的一個(gè)或多個(gè)向量可以被選擇用于進(jìn)一步的處理和驗(yàn)證。通過(guò)場(chǎng)搜索得到的候選運(yùn)動(dòng)向量被驗(yàn)證以保證(或者至少增加其可能性)其有效性。在當(dāng)前實(shí)施例中使用的方法包括使用GST的來(lái)自?xún)蓚€(gè)連續(xù)(先奇后偶，或者先偶后奇)場(chǎng)的幀的重復(fù)重建。用于重建的運(yùn)動(dòng)向量是從基于場(chǎng)的運(yùn)動(dòng)估計(jì)中得到的，以普及度為序分類(lèi)。一旦兩個(gè)連續(xù)的幀被重建，則基于塊的匹配被用來(lái)驗(yàn)證每一個(gè)向量的正確性。用于匹配的塊尺寸是可變的，并且是基于用于先前的場(chǎng)塊尺寸選擇所述的固定區(qū)域標(biāo)準(zhǔn)。假設(shè)正在被驗(yàn)證的運(yùn)動(dòng)穿過(guò)四個(gè)場(chǎng)都不變是有用的。從一個(gè)場(chǎng)對(duì)匹配得到的向量可以與從另一個(gè)場(chǎng)對(duì)匹配得到的向量結(jié)合，形成了濾波過(guò)程的第一階段。例如，如果向量不被至少一個(gè)來(lái)自每個(gè)場(chǎng)對(duì)的塊所支持，則其被舍棄。圖15示意性地說(shuō)明了向量驗(yàn)證的全部過(guò)程。候選運(yùn)動(dòng)向量在四場(chǎng)序列中的同樣類(lèi)型(奇數(shù)或偶數(shù))的場(chǎng)之間產(chǎn)生。這些向量列表(以普及度為序分類(lèi)，以及入口的閾值舍棄(如果其不出現(xiàn)至少兩次，例如，在每個(gè)場(chǎng)對(duì)之間一次))的結(jié)合都幫助建立了向量的具優(yōu)先次序的集合，保證了用于幀重建的GST的成功。一旦GST使用同樣類(lèi)型的相鄰場(chǎng)重建兩個(gè)幀，則當(dāng)與其他比較時(shí)，用于所述情況的場(chǎng)向量是應(yīng)用到映射在一個(gè)幀中的塊的那個(gè)場(chǎng)向量。匹配標(biāo)準(zhǔn)是MSE優(yōu)于塊的任何幀內(nèi)(自)相關(guān)性，其位移大于或等于一個(gè)子像素。其可被認(rèn)為是與正在被驗(yàn)證的塊中的視頻的能量和復(fù)雜度相關(guān)的閾值并且暗指GST正在使用的運(yùn)動(dòng)向量必須正確使得在一個(gè)子像素之中用于幀之間的塊匹配獲得成功。對(duì)于除最少細(xì)節(jié)塊外的所有塊，驗(yàn)證閾值操作的很好，其中幀內(nèi)誤差小并且GST計(jì)算引起的偽像超過(guò)了它。驗(yàn)證運(yùn)動(dòng)向量的塊被交予最終輸出幀結(jié)果。從場(chǎng)分析中得到的候選運(yùn)動(dòng)向量列表可以被引用給下一個(gè)最普及向量，并且重復(fù)該過(guò)程，直到使用最小區(qū)域約束給予的塊尺寸得到輸出幀的最大可能比例。以上所述的運(yùn)動(dòng)向量的合格標(biāo)準(zhǔn)可以留下一部分未驗(yàn)證的重建幀塊。自(幀內(nèi))相關(guān)設(shè)置的MSE閾值是非常緊縮的并且如果是下面情況則趨于舍棄塊，1.塊區(qū)域中的源幀細(xì)節(jié)特別低，產(chǎn)生很小的自相關(guān)MSE,不論GST重建有多好其都不能通過(guò)幀間相關(guān)變優(yōu)。2.源幀具有在正在被分析的塊區(qū)域中的復(fù)雜的運(yùn)動(dòng)(多于一個(gè)代表性向量)。(雖然見(jiàn)以下圖18a到18e的討論)由于顯露的或覆蓋的像素，在幀之間將不能得到好的塊匹配。3.由于以上的特定情況(2),位于幀邊緣的塊，由于全景拍攝運(yùn)動(dòng)遭受當(dāng)前像素的損失和新像素的增加，并且不能與其他幀中的塊4艮好的匹配。通過(guò)塊尺寸減小所有這些問(wèn)題可以被解決到一定程度。在以上的(2)和(3)的情況中，較小的塊將更適合于幀的一部分(其運(yùn)動(dòng)可以通過(guò)單個(gè)向量描述)，細(xì)化對(duì)象和背景區(qū)域直到，但不包括，其輪廓。用于基于場(chǎng)運(yùn)動(dòng)估計(jì)和基于幀的運(yùn)動(dòng)驗(yàn)證的最小塊區(qū)域被減小，并且以上所述過(guò)程被重復(fù)。小到16個(gè)像素的最小塊區(qū)域(X和Y維各4個(gè)像素)在當(dāng)前實(shí)施例中目前是被允許的。從大到小的塊區(qū)域選擇之后的基本定律如下。從大約2048個(gè)像素的最大塊區(qū)域開(kāi)始，最精確的基于場(chǎng)的運(yùn)動(dòng)估計(jì)和基于幀的運(yùn)動(dòng)驗(yàn)證被得到。隨后將處理可能更易受到MSE最小量(不代表地面實(shí)況位移)的影響的較小的塊，這樣任何小的重建誤差更好的被隱藏。在完成基于幀的向量驗(yàn)證的每一個(gè)循環(huán)之后，由于使用如下的較小塊區(qū)域的基于場(chǎng)的候選運(yùn)動(dòng)向量的產(chǎn)生，任何被分解的圖畫(huà)區(qū)域從塊選擇中被排除。通過(guò)簡(jiǎn)單子采樣，未分解的幀像素掩碼;陂建立并^L2垂直地抽取。該掩碼覆蓋在場(chǎng)數(shù)據(jù)上用于候選向量產(chǎn)生的下一個(gè)循環(huán)。任何完成大于90%的場(chǎng)塊從分析中被去除，因?yàn)槿魏问褂闷淇梢员环纸獾南蛄慷家呀?jīng)被分解。未使用低于確定的閾值的MSE重建的其他塊區(qū)域是那些沿著幀(由于全局拍攝運(yùn)動(dòng)其遭受新像素的增加和當(dāng)前像素的損失的幀(以上第3點(diǎn)))的底部和左邊緣的區(qū)域。帶有未分解的運(yùn)動(dòng)的像素被半帶內(nèi)插現(xiàn)有場(chǎng)像素取代。平塊區(qū)域缺少高頻細(xì)節(jié)，這可能另外構(gòu)成混疊。在最終的輸出圖像中，它們的內(nèi)插對(duì)應(yīng)部分通常在主觀上不可檢測(cè)。概括地說(shuō)，單純通過(guò)實(shí)例，迄今為止描述的全部運(yùn)動(dòng)估計(jì)算法可以如以下的步驟列表被陳述。對(duì)于從最大運(yùn)動(dòng)向量檢測(cè)塊尺寸降到最小運(yùn)動(dòng)向量檢測(cè)塊尺寸的連續(xù)塊尺寸進(jìn)行這些步驟。l.使用場(chǎng)0和2之間的最低MSE匹配標(biāo)準(zhǔn)，為所有的塊位置產(chǎn)生運(yùn)動(dòng)向量列表，丟棄任何劣質(zhì)的向量(其場(chǎng)內(nèi)相似性比在塊搜索期間發(fā)現(xiàn)的非零場(chǎng)間相似性要好)。2.對(duì)場(chǎng)1和3重復(fù)步驟1。3.聯(lián)合(pooU兩個(gè)向量列表。移除在聯(lián)合列表中沒(méi)有出現(xiàn)至少兩次的向量(也就是在任何一個(gè)列表中出現(xiàn)兩次或者在每一個(gè)列表中出現(xiàn)一次)。4.將列表以向量普及度為序分類(lèi)(以最高頻率發(fā)生的向量位于第一位)5.對(duì)于在列表次序中的每一個(gè)向量5.1使用場(chǎng)0作為當(dāng)前場(chǎng)并且場(chǎng)2作為運(yùn)動(dòng)補(bǔ)償場(chǎng)，使用來(lái)自聯(lián)合分類(lèi)列表的被選向量，重建測(cè)試輸出圖像。5.2重復(fù)步驟5.1，但是使用場(chǎng)l作為當(dāng)前場(chǎng)，使用場(chǎng)3作為運(yùn)動(dòng)補(bǔ)償場(chǎng)。5.3對(duì)于來(lái)自最大驗(yàn)證塊尺寸降到最小驗(yàn)證塊尺寸中的連續(xù)塊尺寸5.3.l對(duì)于從場(chǎng)0和2中創(chuàng)建的測(cè)試輸出圖像中的塊，使用一個(gè)子像素的位移得到圖像內(nèi)匹配閾值塊相似性測(cè)量。5.3.2將從場(chǎng)0和2中創(chuàng)建的測(cè)試輸出幀與從場(chǎng)1和3中創(chuàng)建的測(cè)試輸出幀之間的塊進(jìn)行匹配。5.3.3如果測(cè)試幀間匹配優(yōu)于幀內(nèi)閾值，則接受向量并且將使用場(chǎng)0和2創(chuàng)建的測(cè)試輸出幀中的被塊覆蓋的區(qū)域提交給最終輸出圖象。由此運(yùn)動(dòng)產(chǎn)生和運(yùn)動(dòng)驗(yàn)證階段獨(dú)立工作，并且都使用可變的塊尺寸(從大約2048[達(dá)到64*32]個(gè)像素的區(qū)域開(kāi)始，并且小到4個(gè)像素[例如2*2]結(jié)束)，同時(shí)為了尺寸的減小用2重復(fù)劃分。為了隨后的在一個(gè)更小的塊尺寸上的運(yùn)動(dòng)向量驗(yàn)證，有一個(gè)重疊規(guī)則，其在運(yùn)動(dòng)向量驗(yàn)證結(jié)果的反饋中被使用。這是需要的，因?yàn)樽罱K輸出圖像的復(fù)雜區(qū)域可能存在(由于在多種塊尺寸上的成功驗(yàn)證)，甚至在下一個(gè)可變的塊尺寸被用于產(chǎn)生更多的運(yùn)動(dòng)向量之前。任何在最終輸出圖像中4皮驗(yàn)證的塊都被那樣作標(biāo)記。產(chǎn)生這個(gè)掩碼的"場(chǎng)尺寸"表示，也就是，一種幀掩碼的垂直子采樣版本，其中如果該像素的運(yùn)動(dòng)已被驗(yàn)證(也就是，它是已經(jīng)被驗(yàn)證的塊的一部分)，則在幀掩碼中的每個(gè)位置是"1"(在這個(gè)例子里)，如果沒(méi)有被驗(yàn)證，那么就那是"0"。為了下一個(gè)塊尺寸運(yùn)動(dòng)向量的產(chǎn)生，場(chǎng)尺寸掩碼接下來(lái)被用來(lái)排除場(chǎng)區(qū)域。在下一個(gè)運(yùn)動(dòng)向量產(chǎn)生塊尺寸上，如果塊與已經(jīng)驗(yàn)證的輸出像素掩碼有90%以上的重疊，它就不被用來(lái)產(chǎn)生運(yùn)動(dòng)向量。這樣，當(dāng)輸出幀的剩余部分被分解/驗(yàn)證時(shí)，場(chǎng)之間的運(yùn)動(dòng)向量的隨后聯(lián)合應(yīng)該收斂到未分解的圖象區(qū)域的運(yùn)動(dòng)。目的是使主要的運(yùn)動(dòng)總是在聯(lián)合候選運(yùn)動(dòng)向量列表的頂端。從較大的區(qū)域開(kāi)始，特別是當(dāng)試著使用潛在的混疊場(chǎng)數(shù)據(jù)估計(jì)運(yùn)動(dòng)時(shí)，通常產(chǎn)生需要隨后驗(yàn)證的更準(zhǔn)確的向量。這是從較大塊開(kāi)始的主要原因。大約同樣尺寸或比塊小的尺寸的對(duì)象中的運(yùn)動(dòng)可能不凈皮檢測(cè)——因此需要減小塊尺寸。現(xiàn)在，圖3的裝置的各種詳細(xì)方面將被描述。圖16示意性地說(shuō)明了半帶濾波的方法。在圖16中，已知像素行由陰影行400表示，運(yùn)動(dòng)補(bǔ)償像素行由白色行410表示。假設(shè)除特定像素420之外所有的像素被成功地運(yùn)動(dòng)補(bǔ)償。水平和垂直相位(子像素位置)校正將被執(zhí)行。作為這個(gè)的一部分，有必要水平相位校正與缺少的像素420相鄰(或者至少在半濾波器長(zhǎng)度之內(nèi))的像素(例如像素440)。為了應(yīng)用水平相位校正，使用多相位濾波器，如上所述。但是對(duì)于像素420這種濾波器需要一個(gè)值作為它的其中一個(gè)輸入。但是沒(méi)有這樣的值，所以在鄰近像素的相位校正執(zhí)行之前必須產(chǎn)生一個(gè)值。沒(méi)有這樣一個(gè)值，則相鄰或附近的像素440的相位校正將會(huì)不正確。這種類(lèi)型的錯(cuò)誤可能被隨后的垂直相位校正放大，并且可能導(dǎo)致在輸出幀上的主觀干擾偽像。因此對(duì)于像素420發(fā)現(xiàn)好的隱藏值是適當(dāng)?shù)?。其在下面被完成。首先，垂直半帶?nèi)值被用于產(chǎn)生一行在像素420周?chē)帕械拇怪眱?nèi)插像素值，垂直內(nèi)插像素值的數(shù)量對(duì)水平多相位濾波器的每個(gè)抽頭是足夠的。圖16通過(guò)垂直折線盒示意性地顯示了垂直內(nèi)插濾波器430。每個(gè)垂直內(nèi)插濾波器在與像素420相同的行中產(chǎn)生像素值。注意行410中的運(yùn)動(dòng)補(bǔ)償值是為該過(guò)程臨時(shí)備用；在行400中垂直半帶濾波器僅參看真實(shí)的像素值。以上的過(guò)程在像素420周?chē)a(chǎn)生一行半帶內(nèi)插像素值。在那一行里這些不能代替任何有效的運(yùn)動(dòng)補(bǔ)償值，而僅用于到達(dá)對(duì)于像素420有用的隱藏值。通過(guò)多相位濾波器，"反向"的水平相移應(yīng)用于這一組。"反向"相移是與應(yīng)用于相鄰或附近的像素440的相移相等并相對(duì)的相位移位。因此，在像素420周?chē)鷦?chuàng)建的組里，反向相移濾波器的輸入是半帶內(nèi)插像素。反向相移的結(jié)果是用于像素420的隱藏像素值。用于像素420的這個(gè)隱藏值像通常一樣用于像素440的水平相移。這個(gè)技術(shù)可以擴(kuò)展到其中缺少不止一個(gè)像素(將被水平相移的像素的濾波器尺寸內(nèi))的情況。通過(guò)垂直半帶濾波產(chǎn)生所缺少的像素和它周?chē)哪切┫袼?。然后，反向相移?yīng)用于每一個(gè)像素。然后將被相移的像素通過(guò)多相位濾波器濾波，同時(shí)濾波器的至少一些輸入由反向相移像素提供。這樣得到的運(yùn)動(dòng)向量可以通過(guò)運(yùn)動(dòng)補(bǔ)償器被使用以從一個(gè)或多個(gè)場(chǎng)(一般是臨時(shí)相鄰于當(dāng)前場(chǎng)的一個(gè)或兩個(gè)場(chǎng))得到缺少的像素。圖17a到17c示意性地說(shuō)明了GST濾波器設(shè)計(jì)的實(shí)施例。特別地，圖17a示意性地說(shuō)明了隔行信號(hào)的典型空間頻率語(yǔ)。場(chǎng)包含達(dá)到場(chǎng)尼奎斯特極限(場(chǎng)采樣率的一半)的空間頻率，但是由于隔行子采樣過(guò)程，這些頻率分量中的一些事實(shí)上將混疊，如圖17a中陰影區(qū)域所示。然而，已經(jīng)注意到逐行掃描幀的頻率內(nèi)容通常不擴(kuò)展直到幀尼奎斯特極限，這就意味著當(dāng)隔行場(chǎng)形成時(shí)，混疊分量(其關(guān)于場(chǎng)尼奎斯特極限"折疊")不趨向于向下擴(kuò)展到零頻率。當(dāng)前實(shí)施例可以利用隔行信號(hào)的這個(gè)特點(diǎn)，記住GST空間位置校正濾波器的目的是減小混疊效應(yīng)。在不存在混疊的頻率區(qū)域，沒(méi)有必要應(yīng)用GST校正或甚至應(yīng)用GST校正是不適宜的。圖17b示意性地說(shuō)明了低通("LP")-高通("HP")濾波器響應(yīng)，借此達(dá)到場(chǎng)尼奎斯特極限的頻率范圍被劃分為較低的頻率區(qū)和較高的頻率區(qū)域?；诮?jīng)驗(yàn)試驗(yàn)，兩個(gè)區(qū)域之間的交叉點(diǎn)在本實(shí)施例中被設(shè)置為大約場(chǎng)尼奎斯特極限的20%。因此，通常希望較低的頻率區(qū)域不趨于包括任何混疊頻率分量，而較高的頻率區(qū)域包含混疊頻率分量。圖17b中顯示的濾波器響應(yīng)被應(yīng)用于GST濾波器在其上操作的像素。較高的頻率區(qū)域被進(jìn)行GST空間位置校正，而較低的頻率分量不進(jìn)行GST空間位置校正。然后，這兩個(gè)加回到一起。在經(jīng)驗(yàn)測(cè)試中，已經(jīng)發(fā)現(xiàn)改善了整個(gè)系統(tǒng)的信噪響應(yīng)。圖17c示意性地說(shuō)明了用于執(zhí)行濾波和部分校正技術(shù)的配置。特別地，圖17c的配置顯示是在運(yùn)動(dòng)補(bǔ)償過(guò)程被執(zhí)行以從當(dāng)前場(chǎng)的相對(duì)極性的場(chǎng)中產(chǎn)生運(yùn)動(dòng)補(bǔ)償像素之后的情況。參考當(dāng)前場(chǎng)像素，其在上釆樣器(upsampler)500上被因子2上采樣。使用上采樣是由于低頻/非混疊分量正用于創(chuàng)建幀。該過(guò)程事實(shí)上是上采樣和濾波過(guò)程-在執(zhí)行中其被作為內(nèi)插執(zhí)行(帶有應(yīng)用于所使用的濾波器的20%場(chǎng)尼奎斯特頻率響應(yīng))。然后，上采樣像素平行于低通濾波器510和補(bǔ)償延遲元件52(M支提供。低通濾波器510產(chǎn)生圖Ub中所示的較低的頻率區(qū)域。其被傳遞給下采樣器530并且從那到加法器540。濾波器510的較低頻率輸出也通過(guò)減法器550從原始信號(hào)的延遲版本中被減去。這產(chǎn)生了較高頻率區(qū)域，其通過(guò)采樣器560被下采樣，結(jié)果被傳遞給GST校正濾波器570。關(guān)于運(yùn)動(dòng)補(bǔ)償像素，其遵循相似的路徑，經(jīng)過(guò)上采樣器580,低通濾波器590，補(bǔ)償延遲600，減法器610和下采樣器620,由此運(yùn)動(dòng)補(bǔ)償像素的較高頻率分量被傳遞給GST濾波器570。GST濾波器的輸出通過(guò)加法器540加回到當(dāng)前場(chǎng)像素的較低頻率分量。注意到一般來(lái)說(shuō)，從已知場(chǎng)得到的低頻分量只有一點(diǎn)或沒(méi)有運(yùn)動(dòng)。來(lái)自已知場(chǎng)和未知場(chǎng)的較高頻率分布通過(guò)位置校正濾波器被處理，以提供所需位置上的像素值。這給出了相位校正高頻信息。其被加回給低頻分布，其基本上是已知場(chǎng)的垂直內(nèi)插。將參考圖18a到18c來(lái)說(shuō)明用于處理對(duì)象和圖像邊界，以及隱藏像素的技術(shù)。圖18a示意性地說(shuō)明了一種圖像，其中對(duì)象700在確定的方向上運(yùn)動(dòng)并且圖像背景在不同的方向上運(yùn)動(dòng)。顯示了示意性的初始?jí)K匹配柵格，其標(biāo)記了用在塊匹配運(yùn)動(dòng)向量檢測(cè)過(guò)程中的初始(最大的)塊的位置。即使是圖18a的簡(jiǎn)單情況，也會(huì)產(chǎn)生多種潛在的問(wèn)題。例如，在對(duì)象700的尾緣，當(dāng)對(duì)象移過(guò)時(shí)，像素將被揭示。這樣的像素不能從先前的場(chǎng)中得到，因?yàn)樗鼈儾淮嬖谟谒鰣?chǎng)中。在對(duì)象和背景之間的邊界上，選擇正確的運(yùn)動(dòng)向量將會(huì)困難。同樣，GST濾波器應(yīng)用于在邊界或4艮接近邊界上的像素時(shí)，將接收來(lái)自邊界另一邊的像素值。所以，濾波器(其打算通過(guò)在邊界像素上應(yīng)用子像素校正來(lái)改進(jìn)圖像)實(shí)際上可能通過(guò)混亂對(duì)象700的邊緣而損壞圖像。如先前所述，在運(yùn)動(dòng)向量產(chǎn)生階段間，對(duì)于一幅圖象，通常產(chǎn)生多種不同的運(yùn)動(dòng)向量，但是對(duì)于圖18a的圖像，兩個(gè)向量將是最頻繁發(fā)生。這些是代表對(duì)象700運(yùn)動(dòng)的向量和背景運(yùn)動(dòng)的向量。這些向量的驗(yàn)證應(yīng)當(dāng)成功地遠(yuǎn)離對(duì)象700和背景之間的邊界。但是驗(yàn)證過(guò)程將在邊界上努力。圖18b示意性地說(shuō)明了最小塊匹配柵格，其可被用在以上所述的塊匹配過(guò)程中。即使用該最小柵格，在對(duì)象700和其運(yùn)動(dòng)背景之間的邊界仍留有塊(如黑方塊所示)，由此運(yùn)動(dòng)向量不能被正確地分解?，F(xiàn)在將參考對(duì)象700和背景之間的邊界區(qū)域處的四個(gè)塊。這些塊在圖18c到18e中示意性地顯示。在圖18c中，顯示了水平多相位濾波器720的一個(gè)實(shí)例，該水平多相位濾波器720用于校正正好在背景中的像素710的相位。顯示的另一個(gè)實(shí)例是水平多相位濾波器740,其用于校正正好在對(duì)象中的像素730的相位。濾波器720將被對(duì)象像素(其將具有關(guān)于背景的不正確相位)"污染(contaminate)，，，并且濾波器740將被背景像素污染(其將具有關(guān)于對(duì)象的不正確相位)。最好避免這種污染。同樣的關(guān)注應(yīng)用于垂直GST濾波器(未顯示在圖18c中)。使用鏡像過(guò)程來(lái)重復(fù)使用正確公畝(are)(對(duì)象或背景)中的像素，由此避免該污染是可能的。圖18d是該過(guò)程的示意性實(shí)例，其中多相位濾波器720、740(其降低邊界的"錯(cuò)誤邊")中的抽頭(tap)事實(shí)上被應(yīng)用于來(lái)自邊界的正確邊的像素值。如已說(shuō)明的，鏡像過(guò)程是關(guān)于濾波器中心(像素710或730)對(duì)稱(chēng)的，但是相反，反射是關(guān)于邊界對(duì)稱(chēng)的。相似的考慮應(yīng)用到垂直GST濾波器中。然而不幸的是，這樣的鏡像過(guò)程依賴(lài)于邊界位于哪兒的知識(shí)。邊界的位置要求成功的運(yùn)動(dòng)向量驗(yàn)證階段。所以，這是一個(gè)循環(huán)問(wèn)題；邊界的位置需要用來(lái)正確地放置邊界。當(dāng)前實(shí)施例通過(guò)一流的簡(jiǎn)單技術(shù)處理這個(gè)問(wèn)題，該技術(shù)是使用比用于像素輸出更短的用于運(yùn)動(dòng)向量驗(yàn)證的位置校正(多相位/GST)濾波器。由于其提供質(zhì)量上的全面提高，因此為了最終的輸出圖像希望保留較長(zhǎng)的濾波器。較短的濾波器可能在輸出圖像中引起不希望的偽像，諸如"鳴振(ringing)"。然而對(duì)于運(yùn)動(dòng)向量驗(yàn)證，由此運(yùn)動(dòng)向量被分配到每一個(gè)像素，較短的濾波器給予較低的污染危險(xiǎn)并提供增加的能夠在運(yùn)動(dòng)邊界附近正確分配運(yùn)動(dòng)向量的機(jī)會(huì)。圖18e示意性地說(shuō)明了應(yīng)用于運(yùn)動(dòng)向量驗(yàn)證階段的兩個(gè)短濾波器720和740/。諸如在圖18c中示意性顯示的較長(zhǎng)濾波器(可能具有圖18d所描述的鏡像)可用于產(chǎn)生最終的輸出圖像。同樣的考慮可以垂直地和水平地應(yīng)用。一般濾波器抽頭長(zhǎng)度如下<table>tableseeoriginaldocumentpage24</column></row><table>可以理解，本發(fā)明的實(shí)施例能夠在合適的軟件控制的可編程或半可編程硬件操作下執(zhí)行。這可以是通用計(jì)算機(jī)或諸如ASIC(專(zhuān)用集成電路)或FPGA(現(xiàn)場(chǎng)可編程門(mén)陣列)的配置。軟件可以提供在諸如磁盤(pán)或固態(tài)存儲(chǔ)器的存儲(chǔ)介質(zhì)上，或通過(guò)諸如網(wǎng)絡(luò)或因特網(wǎng)連接的傳輸介質(zhì)來(lái)提供，或者通過(guò)這些的結(jié)合來(lái)提供。權(quán)利要求1.視頻運(yùn)動(dòng)檢測(cè)設(shè)備，包括用于將運(yùn)動(dòng)測(cè)試應(yīng)用到檢測(cè)兩個(gè)或多個(gè)測(cè)試圖像之間的圖像間運(yùn)動(dòng)中的裝置，所述運(yùn)動(dòng)測(cè)試產(chǎn)生測(cè)試結(jié)果，所述測(cè)試結(jié)果提供運(yùn)動(dòng)向量和被檢測(cè)的運(yùn)動(dòng)向量的完整性的指示；以及用于將所述運(yùn)動(dòng)測(cè)試應(yīng)用到測(cè)試圖像之一中以檢測(cè)所述測(cè)試圖像中的圖像內(nèi)相似性的裝置；其中如果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果顯示了比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量可用于作為所述設(shè)備的輸出；以及如果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果沒(méi)有顯示出比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量不可用于作為所述設(shè)備的輸出。2.根據(jù)權(quán)利要求1所述的設(shè)備，其中關(guān)于圖像內(nèi)相似性而檢測(cè)的運(yùn)動(dòng)向量被限定為指示非零圖像運(yùn)動(dòng)的運(yùn)動(dòng)向量。3.根椐權(quán)利要求1所述或權(quán)利要求2所述的設(shè)備，其中用于應(yīng)用所述運(yùn)動(dòng)測(cè)試的裝置包括，用于比較圖像的測(cè)試區(qū)域和所述圖像或另一個(gè)圖像中的候選區(qū)域以檢測(cè)測(cè)試區(qū)域和候選區(qū)域之間的位移，以給出測(cè)試區(qū)域和所述候選區(qū)域之間的最大相似性的裝置；所述運(yùn)動(dòng)向量依賴(lài)于測(cè)試區(qū)域和所述候選區(qū)域之間的位移；以及所述運(yùn)動(dòng)向量的完整性依賴(lài)于檢測(cè)的相似性。4.根據(jù)權(quán)利要求3所述的設(shè)備，其中候選區(qū)域位于關(guān)于測(cè)試區(qū)域的預(yù)定最大位移中。5.根據(jù)權(quán)利要求3所述或權(quán)利要求4所述的設(shè)備，其中所述運(yùn)動(dòng)向量的完整性與測(cè)試區(qū)域和所述候選區(qū)域之間的圖像差異程度的關(guān)系相反。6.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述差異程度是測(cè)試區(qū)域中的像素值和所述候選區(qū)域中的相應(yīng)像素值之間的均方誤差。7.視頻處理設(shè)備，包括根據(jù)先前任一權(quán)利要求所述的視頻運(yùn)動(dòng)檢測(cè)設(shè)備；以及用于依賴(lài)于檢測(cè)的運(yùn)動(dòng)向量而處理視頻信號(hào)的裝置。8.根據(jù)權(quán)利要求7所述的視頻處理設(shè)備，該設(shè)備是掃描轉(zhuǎn)換設(shè)備。9.視頻運(yùn)動(dòng)檢測(cè)方法，包括如下步驟應(yīng)用運(yùn)動(dòng)測(cè)試以檢測(cè)兩個(gè)或多個(gè)測(cè)試圖像之間的圖像間運(yùn)動(dòng)，所述運(yùn)動(dòng)測(cè)試產(chǎn)生測(cè)試結(jié)果，所述測(cè)試結(jié)果提供運(yùn)動(dòng)向量和被檢測(cè)的運(yùn)動(dòng)向量的完整性的指示；將所述運(yùn)動(dòng)測(cè)試應(yīng)用到測(cè)試圖像之一，以檢測(cè)所述測(cè)試圖像中的圖像內(nèi)相々乂性；如果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果顯示了比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量可用于作為輸出；以及如果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果沒(méi)有顯示出比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量不可用于作為輸出。10.具有程序代碼的計(jì)算機(jī)軟件，當(dāng)所述程序代碼由計(jì)算機(jī)執(zhí)行時(shí)，其被配置為使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求9所述的方法。11.一種介質(zhì)，通過(guò)所述介質(zhì)提供根據(jù)權(quán)利要求10所述的軟件。12.根據(jù)權(quán)利要求11所述的介質(zhì)，該介質(zhì)是存儲(chǔ)介質(zhì)。13.根據(jù)權(quán)利要求11所述的介質(zhì)，該介質(zhì)是傳輸介質(zhì)。全文摘要視頻運(yùn)動(dòng)檢測(cè)裝置，包括用于將運(yùn)動(dòng)測(cè)試應(yīng)用于檢測(cè)兩個(gè)或多個(gè)測(cè)試圖像之間的圖像間運(yùn)動(dòng)的裝置，所述運(yùn)動(dòng)測(cè)試產(chǎn)生測(cè)試結(jié)果，測(cè)試結(jié)果提供運(yùn)動(dòng)向量和被檢測(cè)的運(yùn)動(dòng)向量的完整性的指示；和將運(yùn)動(dòng)測(cè)試應(yīng)用于測(cè)試圖像之一以檢測(cè)該測(cè)試圖像中的圖像內(nèi)相似性的裝置；如果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果顯示了比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量可用于作為所述設(shè)備的輸出；以及如果圖像間運(yùn)動(dòng)相關(guān)聯(lián)的測(cè)試結(jié)果沒(méi)有顯示出比由圖像內(nèi)相似性測(cè)試得到的測(cè)試結(jié)果更高的完整性，則由圖像間運(yùn)動(dòng)測(cè)試產(chǎn)生的運(yùn)動(dòng)向量不可用于作為所述設(shè)備的輸出。文檔編號(hào)H04N5/44GK101283577SQ200680037438公開(kāi)日2008年10月8日申請(qǐng)日期2006年10月27日優(yōu)先權(quán)日2005年10月31日發(fā)明者J·利文申請(qǐng)人:索尼英國(guó)有限公司