專利名稱：：視頻運(yùn)動檢測的制作方法視頻運(yùn)動檢測本發(fā)明涉及視頻運(yùn)動檢測。一見頻運(yùn)動檢測被使用在視頻壓縮或其他處理系統(tǒng)中。在壓縮系統(tǒng)中，通過檢測圖像間運(yùn)動允許參照另一圖像的類似部分對某一圖像的一部分進(jìn)行編碼。在諸如標(biāo)準(zhǔn)變換、清晰度變換(例如標(biāo)準(zhǔn)清晰度到高清晰度變換或者反之亦然)或者隔行到逐行掃描變換之類的其他應(yīng)用中，從一個或多個其他在時間上相近的圖像導(dǎo)出或者內(nèi)插新生成的圖像的一部分。在這種設(shè)置中，運(yùn)動檢測允許在所述內(nèi)插處理中使用附近的圖像的適當(dāng)區(qū)域。常常在逐圖像區(qū)域的基礎(chǔ)上按照運(yùn)動"矢量，，來表示圖像運(yùn)動。通常來說，關(guān)于圖像塊來檢測運(yùn)動矢量，并且把運(yùn)動矢量分配給整個塊或者這種塊內(nèi)的像素或像素組。在壓縮系統(tǒng)中，不正確的運(yùn)動矢量將意味著更加難以對圖像區(qū)域進(jìn)行編碼一也就是說，將需要更多的數(shù)據(jù)來對該圖像區(qū)域進(jìn)行編碼，這是因為其與所述運(yùn)動矢量所參照的另一圖像的所述部分的相似度相對較低。然而，在基于從一個或多個附近圖像生成或內(nèi)插新圖像的其他系統(tǒng)中，情況甚至更差。不正確的運(yùn)動矢量將意味著把附近圖像的錯誤部分用作了內(nèi)插的基礎(chǔ)。這可能會導(dǎo)致在輸出(新)圖像中生成高度可見的偽像。因此，一直以來都需要在視頻運(yùn)動檢測設(shè)置中獲得高質(zhì)量和準(zhǔn)確的運(yùn)動信息。本發(fā)明提供視頻運(yùn)動檢測設(shè)備，其中關(guān)于輸入視頻信號的圖像生成輸出視頻信號的連續(xù)輸出圖像，該設(shè)備包括用于應(yīng)用運(yùn)動測試以便檢測所述輸入視頻信號的兩個或更多圖像之間的圖像間運(yùn)動的裝置，所述運(yùn)動測試提供包括一個或多個運(yùn)動矢量的運(yùn)動矢量組以用于生成對應(yīng)的輸出圖像，其中生成兩個這種運(yùn)動矢量組；用于利用對應(yīng)的運(yùn)動矢量組生成測試輸出圖像的裝置；以及用于把由所述一組或全部兩組中的運(yùn)動矢量所指向的測試輸出圖像中的圖像區(qū)域進(jìn)行比較的裝置，其中對于在所迷圖像區(qū)域之間具有小于預(yù)定相似度的運(yùn)動矢量，所述圖像區(qū)域被分成兩個或更多更小的圖像區(qū)域，并且關(guān)于所述兩個或更多更小區(qū)域當(dāng)中的每一個再次應(yīng)用所述比較；以及用于在所述測試輸出圖像中的相應(yīng)圖像區(qū)域在所測試的圖像區(qū)域尺寸下具有小于預(yù)定相似度的情況下，禁止使用與之相對應(yīng)的運(yùn)動矢量的裝置。本發(fā)明提供置信度測試，其中如果運(yùn)動矢量不表示兩個時間上鄰近的測試輸出圖像之間的良好匹配則禁止使用所述運(yùn)動矢量。在所附權(quán)利要求書中限定了本發(fā)明的其他相應(yīng)方面和特征?，F(xiàn)在將僅以實例的方式參照附圖來描述本發(fā)明的實施例，其中圖l示意性地示出了平板屏幕(flatscreen)顯示器布置；圖2示意性地示出了演播室(studio)環(huán)境中的視頻混合操作；圖3示意性地示出了隔行到逐行掃描變換器；圖4a和4b示意性地示出了"普通的"和廣義的采樣理論(GST);圖5示意性地示出了利用子像素(sub-pixel)位置校正的變換處理的一部分；圖6示意性地示出了子像素誤差；圖7a示意性地示出了水平子像素校正；圖7b示意性地示出了垂直子像素校正；圖8a到8c示意性地示出了多相內(nèi)插；圖9示意性地示出了轉(zhuǎn)接器；圖IO示出了示例圖像；圖11示意性地示出了利用GxSobel算子的邊緣檢測；圖12示意性地示出了利用GySobel算子的邊緣檢測；圖13示意性地示出了塊匹配尺寸圖；圖14示意性地示出了塊匹配矢量接受結(jié)果；圖15示意性地示出了運(yùn)動矢量驗證；圖16示意性地示出了垂直半帶濾波；圖17a到17c示意性地示出了GST濾波器設(shè)計的各方面；以及圖18a到18e示意性地示出了應(yīng)對移動圖像對象的各方面。圖1示意性地示出了平板屏幕顯示器布置10,其包括隔行視頻素材源20、隔行到逐行掃描變換器30以及顯示面板40，所迷顯示面板比如是液晶(LCD)或等離子顯示器。該圖示出了隔行到逐行掃描變換的典型使用，這是由于許多廣播信號是隔行格式，而許多平板顯示器則在逐行掃描格式下最為成功地操作。因而，在圖1中，由所述隔行素材源20接收的廣播信號被用來生成隔行信號以供顯示。所述隔行信號被傳遞到所述隔行到逐行掃描變換器30,以便從該隔行信號生成逐行掃描信號。正是該逐扦掃描信號被傳遞到顯示器40。應(yīng)當(dāng)認(rèn)識到，所述隔行素材源20不必是廣播接收機(jī)，而可以是諸如DVD播放器之類的視頻回放設(shè)備、諸如互聯(lián)網(wǎng)連接之類的網(wǎng)絡(luò)連接等等。圖2示意性地示出了演播室環(huán)境中的視頻混合操作，以便給出使用隔行到逐行掃描變換的另一個例子。在這里提供了隔行素材源50和逐行掃描素材源60。這些源可以是攝影機(jī)、諸如磁帶錄像機(jī)或硬盤記錄器之類的視頻回放設(shè)備、廣播接收機(jī)等等。來自所述隔行素材源50的隔行輸出被提供到隔行到逐行掃描變換器70，以便生成逐行掃描信號?？梢杂梢曨l混合器80將該逐行掃描信號與來自源60的逐行掃描素材一起處理，以便生成經(jīng)過處理的逐行掃描輸出。當(dāng)然，如果需要的話可以把該視頻混合器80的逐行掃描輸出變換回到隔行格式，例如以便用于后續(xù)的廣播或記錄。還應(yīng)當(dāng)認(rèn)識到，該視頻混合器80僅僅是視頻處理設(shè)備的一個例子；在圖2中的該位置處例如可以替換地使用數(shù)字視頻效果單元。圖3示意性地示出了隔行到逐行掃描變換器，其接收基于場的輸入信號并且生成基于逐行掃描幀的輸出信號。在本實施例中，該輸出信號對于所述輸入信號的每個場具有一幀。圖3的變換器包括一個或更多場存儲裝置器100、運(yùn)動估計器110、運(yùn)動補(bǔ)償器120、水平和垂直位置校正器130、隱藏發(fā)生器140以及輸出選擇器150。為了描述清楚起見，所述運(yùn)動補(bǔ)償器120和位置校正器130被顯示為分開的項；但是在實際情況中，有可能作為相同操作的一部分來實施這兩個功能。輸入場被存儲在(多個)場存儲裝置100中，并且還被傳遞到運(yùn)動估計器110。利用將在下面描述的基于塊的運(yùn)動估計技術(shù)并且參照所述(多個)場存儲裝置100，所述運(yùn)動估計器110導(dǎo)出表示當(dāng)前場與另一場(例如前一場)之間的圖像運(yùn)動的運(yùn)動矢量。所述運(yùn)動矢量被導(dǎo)出達(dá)到子像素精度，所述運(yùn)動補(bǔ)償器120被用來生成"缺失的"像素，以便增強(qiáng)當(dāng)前場的像素，從而生成輸出幀。因此，當(dāng)前場的像素被保留，并且利用運(yùn)動補(bǔ)償通過來自所存儲的(多個)場的像素來填充這些像素之間的空線。運(yùn)動補(bǔ)償器120的操作將在下文中更加詳細(xì)地描述。釆用所述水平和垂直位置校正器的原因在于，所述運(yùn)動補(bǔ)償器的輸出雖然對于最近像素是正確的，但是通常并未與輸出幀中的采樣點(像素位置)精確對準(zhǔn)。這是因為運(yùn)動估計執(zhí)行到子像素分辨率。利用多相濾波來校正水平位置誤差。利用采用了所謂的廣義采樣定理的特殊情況的濾波器來校正垂直位置誤差。將在下文中更加詳細(xì)地描述這些操作。所述隱藏發(fā)生器140被設(shè)置成在所述依賴于運(yùn)動的補(bǔ)償布置無法提供像素值的情況下提供像素值。在無法完成導(dǎo)出關(guān)于每個像素的正確運(yùn)動矢量所需的處理的情況下，可能需要所述隱藏發(fā)生器，這例如是由于所述圖像的性質(zhì)使得導(dǎo)出運(yùn)動矢量不精確或者對處理器要求太高。在實際情況中，所述隱藏處理器被包括在所述運(yùn)動補(bǔ)償器/位置校正器的功能內(nèi)，但是在圖3中被顯示為單獨的單元。類似地，所述選擇器150是所述運(yùn)動補(bǔ)償器/位置校正器/隱藏發(fā)生器的功能的一部分，但是纟支單獨地顯示出來以說明其操作。當(dāng)不能生成經(jīng)過運(yùn)動補(bǔ)償?shù)南袼貢r，該選擇器150(在逐塊的基礎(chǔ)上)選擇隱藏像素。圖4a和4b提供了所述廣義采樣理論(GST)的概要。特別地，圖4a示意性地示出了"正常"采樣理論，而圖4b則示意性地示出了所述GST。在圖4a中示出了類似的情況，其中可以通過以fs的速率進(jìn)行采樣(也就是說，釆樣點每1/fs規(guī)則地出現(xiàn))而完美地重建具有fs/2的最大頻率的信號。這種分析對于基于時間的系統(tǒng)或者基于空間的系統(tǒng)同樣有效，也就是說，可以按照每秒的樣本數(shù)或者每空間單位的樣本數(shù)來表示采樣率fs。圖4b示意性地示出了所述GST的一個實例。根據(jù)GST,實際上沒有必要以一個固定的采樣周期(1/fs)進(jìn)行采樣。相反，如果以每2/fs的周期兩個采樣點進(jìn)行釆樣，就可以完美地重建具有fs/2的最大頻率的信號。圖5示意性地示出了由圖3的設(shè)備實施的變換處理的一部分，以便說明對于基于GST的位置校正的需求。場0、l和2在時間上均等地間隔開。其意圖是利用來自場1的現(xiàn)有像素以及經(jīng)過運(yùn)動補(bǔ)償?shù)南袼?以便填充缺失的線)來產(chǎn)生逐行掃描幀，即幀1，其中所述經(jīng)過運(yùn)動補(bǔ)償?shù)南袼卦诒纠惺峭ㄟ^利用基于塊的運(yùn)動估計的運(yùn)動補(bǔ)償技術(shù)從場O和2中導(dǎo)出的。在場1的像素線之間插入缺失的像素，以便產(chǎn)生幀1。但是幀1中經(jīng)過運(yùn)動補(bǔ)償?shù)南袼鼐哂凶酉袼匚恢谜`差。應(yīng)當(dāng)注意到，在其他實施例中，所述缺失的像素僅僅是從一個場導(dǎo)出的。如上所述，通過兩種技術(shù)來校正所述子像素位置誤差。利用多相濾波來校正水平子像素誤差。利用GST濾波來校正垂直誤差。圖6示意性地示出了所述子像素誤差。白圓團(tuán)170表示填充場1的缺失線以產(chǎn)生幀1的經(jīng)過運(yùn)動補(bǔ)償?shù)南袼氐乃栉恢??；蚁袼?80表示來自場1的真實像素的位置。黑像素190表示本例中經(jīng)過運(yùn)動補(bǔ)償?shù)南袼氐奈恢??？梢钥闯?，?jīng)過運(yùn)動補(bǔ)償?shù)南袼?90接近所需位置170，但是卻并未與其精確地對準(zhǔn)。圖7a示意性地示出了使用多相濾波器來校正水平位置。下面將更加詳細(xì)地描述多相濾波的技術(shù)，但是一般來說，濾波器200接收一組經(jīng)過運(yùn)動補(bǔ)償?shù)南袼刂祦碜鳛檩斎?。該濾波器包括P組濾波器抽頭h，其中每一組被布置成相對于所述輸入運(yùn)動補(bǔ)償像素以不同相位(在像素的情況下就是水平位置)生成輸出值。在圖7a中把所述相位示意性地表示(210)成從O(在本例中，相位O與左側(cè)真實像素對準(zhǔn))到P-1(在本例中，相位P-1與右側(cè)真實像素對準(zhǔn))。換句話說，所述水平位置誤差被量化到1/P像素間隔的子像素精度。示意性轉(zhuǎn)接器220選擇正確的抽頭組，以生成與真實像素170水平對準(zhǔn)的新像素值190'。圖7b示意性地示出了使用所述GST來校正垂直位置。這里，像素190，被顯示為其水平位置已經(jīng)如上所述被校正。在垂直方向上，在兩條(幀)線的每個空間周期內(nèi)提供兩個像素來自場1的真實像素180和經(jīng)過水平較正的像素190，。在兩線空間周期內(nèi)存在兩個有效采樣點意味著可以通過垂直濾波處理來恢復(fù)每個相應(yīng)像素170的"原始，，值。一組正確地垂直對準(zhǔn)的像素230只有很少的混疊或者沒有混疊。與此相反，一組不正確地垂直對準(zhǔn)的像素240遭受垂直混疊。適當(dāng)?shù)腉ST濾波器的等式如下<formula>formulaseeoriginaldocumentpage9</formula><formula>formulaseeoriginaldocumentpage9</formula>其中，2個子采樣的數(shù)據(jù)序列形成樣本組nN+np(p-0…(N-l))，其中N是每奈奎斯特周期的離散等間隔樣本的最大數(shù)目，n是樣本號。因此；總而言之，所述GST可以被用來從兩個或更多隔行掃描場重建準(zhǔn)完美的逐行幀。所述處理涉及到在逐行掃描幀中拷貝來自一個場的像素并且在位置上恢復(fù)剩余的像素(從另一個場獲得)。隨后，水平相位校正和垂直GST重建產(chǎn)生了完成準(zhǔn)完美的逐行掃描幀的像素值。然而，為了從第二場恢復(fù)像素的位置和相位，必須知道精確到空間采樣分辨率的某一分?jǐn)?shù)的運(yùn)動矢量。因此，現(xiàn)在在下面描述運(yùn)動估計器IIO的操作。一般來說，運(yùn)動估計旨在利用圖像與其空間移位版本之間的誤差的某種局部最小化來檢測真實矢量的量值(magnitude)和方向。然而，如果圖像數(shù)據(jù)被子采樣(如在隔行源的場的情況下)，則在具有不同位移的各版本之間可能只有4艮小相關(guān)性或者甚至沒有相關(guān)性，從而抑制了通過這種方式的運(yùn)動檢測。已經(jīng)知道幾種運(yùn)動估計方法。這些方法包括1.梯度方法在其最簡單的形式下，該技術(shù)假設(shè)在局部區(qū)域上的恒定亮度梯度，以便利用線性(直線)關(guān)系把像素或小塊平均亮度的改變轉(zhuǎn)換成運(yùn)動。2.基于塊的方法該方法通常涉及到視頻序列中的兩個或更多連續(xù)幀之間的塊匹配，以便建立正確的位移。所使用的匹配標(biāo)準(zhǔn)是最小像素差度量，通常是相應(yīng)塊之間的MSE(均方誤差)。3.傅里葉變換方法該技術(shù)通常與基于塊的方法相同，但是使用傅里葉變換來計算二維中的旋轉(zhuǎn)巻積。這樣顯著減少了在大區(qū)域上計算塊搜索結(jié)果所需要的計算工作量?；趬K的方法在操作中是通用的(也就是說，基于塊的搜索的結(jié)果應(yīng)當(dāng)與應(yīng)用了傅立葉方法之后的結(jié)果相同)，并且與由梯度方法相關(guān)聯(lián)的假設(shè)所支持的梯度方法相比，產(chǎn)生在數(shù)學(xué)上更為精確的結(jié)果。在本實施例中使用塊匹配的方法，但是應(yīng)當(dāng)認(rèn)識到，也可以使用其4也方法。然而，所述塊搜索方法的一個已知缺陷是通過不正確的MSE最小化搜索的錯誤運(yùn)動矢量的計算。發(fā)生這種情況是出于至少三種可能原因1.針對所述搜索所選擇的塊缺少足夠的細(xì)節(jié)來確保任何位移都會產(chǎn)生大于O位移的MSE。2.所述MSE計算內(nèi)的求和可能會由于像素差而過載，從而導(dǎo)致對于比其他明顯不正確的位移更加接近真實情況的塊位移卻報告了更大的誤差。3.針對所迷搜索所選擇的塊發(fā)生自相關(guān)，從而產(chǎn)生了比利用該塊的真實幀間矢量位移所能獲得的MSE更低的(幀內(nèi))MSE。在本實施例中利用針對每種情況的特定技術(shù)來解決上述可能錯誤。參照圖8a到8c,多相內(nèi)插是用來分析連續(xù)幀之間的子像素運(yùn)動的方法，所述子像素運(yùn)動的產(chǎn)生是由生成隔行掃描場的處理所導(dǎo)致的原始源圖像的非整數(shù)像素移位的結(jié)果。用于子塊MSE搜索的多相內(nèi)插可以被視為一種在計算上高效的方法，其首先通過應(yīng)用原始帶寬約束把樣本插入到數(shù)據(jù)序列中，并且其次選擇具有所期望的子像素移位的規(guī)則樣本組?？梢詮膱D8a到8c的示意圖導(dǎo)出一種多相內(nèi)插方法。圖8a示意性地示出了原始離散時間采樣的信號。圖8b示意性地示出了經(jīng)過填零的圖8a的原始信號。換句話說，已經(jīng)在圖8a的信號的"真實"樣本之間(至少在概念上)插入了零值樣本。圖8c示意性地示出了已被濾波以便重新應(yīng)用所述原始帶寬約束(即圖8a的信號帶寬)的圖8b的信號。假設(shè)所述原始信號和濾波器都是在實例0+nT時采樣的離散時間系列，其中n-0，l，2等等。出于簡化本分析的目的，進(jìn)行T-1的替換以對采樣周期進(jìn)行歸一化。首先對被稱作x(n)(由于T=l因此不是x(nT))的原始信號進(jìn)行填零，以便反應(yīng)內(nèi)插比。例如，按照因數(shù)N的內(nèi)插需要在原始(真實)樣本之間插入N-1個0，以便產(chǎn)生N乘以原始長度的樣本序列長度。經(jīng)過填零的輸入序列與應(yīng)用原始帶寬約束(現(xiàn)在是笫N帶)的(長度L+1)濾波器h(n)的巻積產(chǎn)生結(jié)果序列y(n):y(o)-頓o);<formula>formulaseeoriginaldocumentpage11</formula>很明顯，y(O)、y(N)、y(2N)等等結(jié)果被計算為x(n)與濾波器系數(shù)h(O)、h(N)、h(2N)等等的巻積。類似地，y(l)、y(N+l)、y(2N+l)等等被計算為與濾波器系數(shù)h(l)、h(N+l)、h(2N+l)等等的巻積?？梢匀鐖D9中所示以在各系數(shù)組P之間進(jìn)行選擇的示意性轉(zhuǎn)接器300的形式來表示這些簡式計算。所述轉(zhuǎn)接器選擇所需要的子像素相位。這種操作得到了效率，因為僅僅需要計算提供該特定結(jié)果所需的乘法和加法。一般來說，由于經(jīng)過填零的原始樣本序列^皮視為具有原始能量的1/N，因此在輸出處施加增益因子N。在所述塊匹配算法中，在垂直和水平方向上都使用所述多相計算。因此，以子像素分辨率生成所述運(yùn)動矢量。以像素計的最大搜索范圍(即一場內(nèi)的塊與另一場內(nèi)的塊之間的最大測試位移)被轉(zhuǎn)換成其所表示的子像素的數(shù)目。對于任何給定的距離0的偏移量，所需的相位是以子像素測量的該移位除以內(nèi)插比所得到的模數(shù)。以像素計的絕對位移是該移位除以內(nèi)插比的整數(shù)除法。使用一種可變塊尺寸選擇方法來進(jìn)行魯棒的基于幀的運(yùn)動估計。在水平(上例中是X)和垂直(上例中是Y)方向上為每個塊分配最小和最大的2的乘方的尺寸。在開始時，所有塊的尺寸都^皮設(shè)置成2的預(yù)定最大乘方(例如5，則給出25個像素的最大塊尺寸)，但是用所述幀的外部尺度(dimesion)作為約束，以使得可以從開始在X和/或Y中減小塊尺寸以確保邊緣適配?；诶肧obel算子檢測及測量的邊緣內(nèi)容，進(jìn)行把每個塊垂直地或水平地(后者優(yōu)先)分成兩半的迭代處理。總的原理是如果發(fā)現(xiàn)塊包含多于所期望的邊緣內(nèi)容，則劃分該塊(服從最小塊尺寸一參見以下內(nèi)容)。所述Sobel算子采取兩個單獨的二維3*3系數(shù)濾波器的形式并且作為兩個單獨的二維3*3系數(shù)濾波器而應(yīng)用。首先，在下面左側(cè)示出的Gx檢測垂直邊緣，其次，在下面右側(cè)示出的Gy檢測水平邊緣。-l01-202-l01+1+2+1000-1-2-lGxGy由于Gx和Gy的系數(shù)值范圍，在與0到1的范圍內(nèi)的圖像數(shù)據(jù)巻積時，這些濾波器展現(xiàn)出+4到-4的最大增益。因此，首先通過除以4把通過應(yīng)用這些濾波器而獲得的結(jié)果歸一化到-1到+1的范圍。(作為替換方案，可以在所述Sobel算子中使用歸一化的系數(shù))圖10示出了對之應(yīng)用了當(dāng)前技術(shù)的某種技術(shù)的源視頻序列的一個圖像。所述源視頻序列實際上是從4096*1696像素基本圖像開始人為地生成的。應(yīng)用了模擬攝影機(jī)搖攝的整像素移位，以便使這種圖像的序列產(chǎn)生運(yùn)動。通過第n帶濾波和利用相同因數(shù)的后續(xù)子采樣獲得最終輸出場，其中n-8的值提供512*212像素的最終尺寸。因此，所述源視頻序列中的每個場涉及到相對于各相鄰場的運(yùn)動，并且還表示所述基本圖像經(jīng)過子采樣的版本。僅接受0.2及以上的絕對(歸一化)值(即應(yīng)用0.2的"大于"閾值)，把Gx和Gy應(yīng)用于圖10中示出的源圖像將產(chǎn)生圖11和12中所示的兩個邊緣檢測圖像。特別地，圖11示意性地示出了利用Gx算子檢測到的邊緣，圖12示意性地示出了利用Gy算子檢測到的邊緣。因此，像素被識別且標(biāo)記為"邊緣"像素。對于提出以在塊匹配中使用的每個像素塊，對所檢測到的(具有最小歸一化量值0.2的)邊緣像素的總計數(shù)進(jìn)行進(jìn)一步的閾值測試，以便確定是否可以分割該塊。在概念上把每個塊細(xì)分成4個四分之一(垂直及水平地一分為二)。如果每個四分之一包含大于或等于所述預(yù)定最小(不可分)塊尺寸的像素數(shù)的水平和垂直邊緣像素計數(shù)，則接受所述塊劃分。然而，如果僅僅水平計數(shù)不足，則合并四分之一塊邊界，并且接受垂直的一分為二。最后，如果僅僅垂直計數(shù)不足，則合并四分之一塊邊界并且接受水平的一分為二。如果所迷兩個計數(shù)都不足，則不對該塊進(jìn)行劃分，這標(biāo)記每一種情況下的停止標(biāo)準(zhǔn)。當(dāng)不再有細(xì)分時就完成了塊匹配映射。將該技術(shù)應(yīng)用到具有圖11和12中所示的邊緣閾值結(jié)果的圖10所示的圖像，結(jié)果得到圖13中示意性地示出的塊劃分才莫式。為了防止或者至少避免被用來評估塊相似度的均方誤差計算返回錯誤的最小值，采用像素差限制來防止真實情況(groundtruth)周圍的小范圍內(nèi)的塊位移的總和出現(xiàn)飽和。在等式1中示出了用在塊匹配中的標(biāo)準(zhǔn)MSE計算。應(yīng)"—師——在等式1中，塊尺寸是^PM像素，其在一幀中被索引為Ax，y并且在下一幀中被索引為Bx+j,y+k，其中，j和k是在所述最小化搜索期間應(yīng)用的全部像素水平和垂直位移。當(dāng)然，Bx+j,y+k指代根據(jù)利用圖9導(dǎo)出的那些圖像相位以及對于該分析所需要的(以子像素計的)實際位移的才莫數(shù)的適當(dāng)圖像相位。如等式2所示，利用限制每像素的總體誤差的計算來替換上述內(nèi)核差值計算<formula>formulaseeoriginaldocumentpage14</formula>等式2在等式2中，q是適當(dāng)?shù)某?shù)。對于范圍0...1內(nèi)的圖像數(shù)據(jù)，已經(jīng)發(fā)現(xiàn)q-10々的值工作良好。已經(jīng)發(fā)現(xiàn)，按照這種方式限制像素差在由所述塊搜索生成的完整二維誤差表面上提供了真實情況位移的更高清晰度和更大區(qū)別。為了防止或者至少減少所述塊搜索方法的錯誤(或"劣種(rogue)，，)矢量生成，可以通過塊幀內(nèi)(自動)校正獲得對于出現(xiàn)劣種結(jié)果的可能性的提前警告。為了應(yīng)用這種技術(shù)，首先在相同圖像中的所需范圍內(nèi)執(zhí)行塊搜索。記錄最小MSE。隨后按照先前那樣在第二幀內(nèi)執(zhí)行塊搜索，然而，如果所記錄的最小MSE大于所迷幀內(nèi)MSE，則丟棄從所述搜索中解析的矢量。還可以通過使用幀內(nèi)相關(guān)結(jié)果來應(yīng)用最大MSE標(biāo)準(zhǔn)。通過僅僅允許在X和Y上的至少一個子像素的位移，可以獲得針對可置信匹配的最差可允許MSE的度量。于是當(dāng)所解析的位移(運(yùn)動矢量)應(yīng)當(dāng)理想地處在距離真實情況的一個子像素之內(nèi)時，所述最大MSE標(biāo)準(zhǔn)是針對任何幀間MSE的上限。在圖14中示出了根據(jù)所描述的劣種矢量消除方法的每個矢量的有效性，其中僅僅給出了所述算法證實提供了真實運(yùn)動估計結(jié)果的那些塊的框線(outline)?，F(xiàn)在將描述利用所述廣義采樣定理對所述隔行到逐行幀變換方法應(yīng)用運(yùn)動矢量估計的其他技術(shù)。上面已經(jīng)描述了魯棒的基于幀的運(yùn)動矢量估計。然而，在本發(fā)明中，不存在的正是幀數(shù)據(jù)，并且需要利用所述GST來重建所述幀數(shù)據(jù)。在沒有準(zhǔn)完美的運(yùn)動矢量來將來自一場的像素位置恢復(fù)到另一場中并檢測用于GST濾波器選擇的相位對準(zhǔn)的情況下，就不能產(chǎn)生幀數(shù)據(jù)。幀數(shù)據(jù)或者完美的運(yùn)動矢量都不可能在沒有對方的情況下存在，但是二者又都難以首先導(dǎo)出。一種選項是基于場的運(yùn)動估計。不幸的是，場數(shù)據(jù)存在混疊，這是由于從逐行格式的變換中的2:1子采樣或者是由于利用隔行格式生成源素材以供隨后顯示的捕獲設(shè)備的固有工作而導(dǎo)致的。由于所選擇的表示可能自然地在一個樣本組內(nèi)排除了在另一個樣本組內(nèi)很明顯的某些或全部特征，因此子采樣并未提供圖像數(shù)據(jù)塊將與另一個圖像中的任何推測相同的塊完全匹配的保證。然而，存在至少一些數(shù)據(jù)將以同樣的方式混疊的一定的可能性，并且將獲得具有正確的位移的場間匹配。關(guān)于為了確保魯棒的基于幀的運(yùn)動估計所做出的三種改進(jìn)，并不是所有這些改進(jìn)都應(yīng)用于基于場的估計。首先，場數(shù)據(jù)可能是按照排除來自一個或更多區(qū)域的重要細(xì)節(jié)的方式進(jìn)行采樣的結(jié)果，而在實際情況中(或者在時間上靠后的另一個場實例中)該細(xì)節(jié)是存在的。因此，對于可變塊尺寸選擇使用細(xì)節(jié)分析并不適用于場數(shù)據(jù)。然而，修改所述MSE計算內(nèi)核以防止由于大的像素差而造成的誤差和上溢對于場數(shù)據(jù)是有效的。最佳情況是場不包含由于原始信號內(nèi)容的性質(zhì)而產(chǎn)生的混疊偽像；因此，對所述內(nèi)核計算的修改增強(qiáng)了所述搜索方法辨識可歸因于真實位移矢量的最小誤差的能力。劣種矢量避免技術(shù)同樣對于場數(shù)據(jù)是有效的。該技術(shù)是對所迷塊搜索算法的補(bǔ)充，但只有在沒有嚴(yán)重混疊的情況下才能提高場的性能。對于嚴(yán)重混疊的場，所迷塊搜索算法可能如前面已經(jīng)討論的那樣失敗的基本原因在于保留所述MSE內(nèi)核修改，或者劣種矢量消除方法將不會在這些條件下進(jìn)一步惡化性能。下面描述了基于場的運(yùn)動估計算法，其中最初是通過細(xì)節(jié)分析替換塊選擇，并且隨后是通過使得該技術(shù)在基于場的系統(tǒng)中更為成功而進(jìn)一步增強(qiáng)。在所述GST運(yùn)動估計算法中，用于基于場的MSE搜索的塊尺寸可以從某一最大初始尺寸開始在X和Y中以2的乘方的除法而改變。然而，這些除法受到可允許像素面積的控制，在所述可允許像素面積以下，所述塊不能收縮。該方法支持在X或Y中不是任何2的乘方倍數(shù)的難應(yīng)對的圖像尺寸，同時確保在所述塊匹配計算中包括足夠的像素數(shù)目，以便實現(xiàn)所期望的相關(guān)結(jié)果精度(即所述MSE最小值是真實情況位移)。對應(yīng)于塊尺寸的起始值在X和Y中通常高達(dá)26，但是具有2048像素的總體初始最小面積值。小到X和Y中的22的最終塊尺寸受到25像素的最小面積的支持。用于所述GST的運(yùn)動估計包括針對代表性運(yùn)動的場間塊搜索、針對塊相似度的場內(nèi)搜索以及幀間塊位移驗證。正如下面將討論的那樣，所述算法的全部兩級都被實現(xiàn)來支持可變塊尺寸。對場數(shù)椐應(yīng)用子像素運(yùn)動矢量搜索算法生成圍繞真實情況矢量的運(yùn)動矢量分布，即使在包括MSE內(nèi)核計算修改和劣種矢量去除技術(shù)時也是如此。這完全是由于場間的圖像數(shù)椐的混疊以及缺乏可重復(fù)性而導(dǎo)致的。例如，其中連續(xù)圖像分別在每幀9和3子像素(在本例中是l/8像素)的速率下在X和Y中被移位的測試序列生成表1中的如下運(yùn)動矢量分布。對應(yīng)于最小MSE的X中對應(yīng)于最小MSE的Y中返回;亥矢量的位移，以子像素計的位移，以子像素計的塊數(shù)<table>tableseeoriginaldocumentpage17</column></row><table>從表l中可以看出，最適合的矢量是X,Y-18,3，該矢量實際上是正確的。在相同類型的(偶數(shù)或奇數(shù))場之間應(yīng)用基于場的運(yùn)動估計，這意味著在從中生成這些場的幀之間，在X和Y中的運(yùn)動實際上要加倍。然而，由于僅僅使用場線的集合，因此該加倍隨后在Y中被減半，并且僅僅X被實際報告為實際運(yùn)動的兩倍。因此，用來建立場的幀間的X和Y中的9和3像素的位移被檢測為18和3像素的位移。在該例中，合成的僅有搖攝(panning-only)的運(yùn)動確保檢測到一個主導(dǎo)矢量。然而，實際的場間運(yùn)動可能要復(fù)雜得多。一般來說，按照支持候選運(yùn)動矢量的塊數(shù)的順序?qū)λ龊蜻x運(yùn)動矢量進(jìn)行排序，并且可以按照受歡迎度的順序選擇一個或更多矢量以用于進(jìn)一步處理和驗證。對通過場搜索獲得的候選運(yùn)動矢量進(jìn)行驗證，以便確保其有效性(或者至少增大其有效的可能性)。用在本實施例中的方法涉及到利用地重建幀。用于重建的所迷運(yùn)動矢量是從基于場的運(yùn)動估計獲得的，并且按照受歡迎度的順序排序的運(yùn)動矢量。一旦重建了兩個連續(xù)幀之后，就采用基于塊的匹配來驗證每個矢量的正確性。用于匹配的塊尺寸是可變的，并且其是基于前面對于場塊尺寸選摔所描述的固定面積標(biāo)準(zhǔn)。有用的是假設(shè)正在被驗證的運(yùn)動在4個場上是恒定的?？梢园褟囊粋€場對匹配獲得的矢量與來自下一場對匹配的矢量相組合，從而形成所述濾波處理的第一級。例如，如果矢量不受到來自每個場對的至少一塊的支持，則丟棄該矢量。圖15示意性地示出了矢量驗證的總體處理。在所述4場序列內(nèi)的相同類型(偶數(shù)或奇數(shù))的場之間生成候選運(yùn)動矢量。組合這些矢量列表、按照受歡迎度進(jìn)行排序以及閾值丟棄沒有出現(xiàn)至少兩次(例如在每一場對之間出現(xiàn)一次)的條目都有助于建立一組具有優(yōu)先級的矢量，這樣確保所述用于幀重建的GST成功。一旦所述GST利用相同類型的相鄰場重建了兩幀之后，被用于該事例的場矢量就是在與另一幀相比時被應(yīng)用于在一幀內(nèi)映射的各塊的場矢量。所迷匹配標(biāo)準(zhǔn)是MSE優(yōu)于具有大于或等于一個子像素位移的塊的任何幀內(nèi)(自)相關(guān)。這可以被視為與正在被驗證的塊內(nèi)的視頻的能量和復(fù)雜度相關(guān)的閾值，并且意味著為了使得幀間塊匹配成功，由所述GST正在使用的運(yùn)動矢量的正確程度必須在一個子像素之內(nèi)。除了細(xì)節(jié)最少的塊之外，該驗證閾值對所有其他塊都工作良好，在所述細(xì)節(jié)最少的塊中，幀內(nèi)誤差較小，并且由所述GST計算所導(dǎo)致的偽像超出所述幀內(nèi)誤差。驗證運(yùn)動矢量的塊被提交給最終輸出幀結(jié)果。隨后可以對于下一個最適合的矢量參照從場分析獲得的所述候選運(yùn)動矢量列表，并且所述處理重復(fù)，直到利用由所述最小面積約束給出的塊尺寸導(dǎo)出所述輸出幀的最大可能比例。上面描述的對于運(yùn)動矢量的接受標(biāo)準(zhǔn)往往會留下一定比例的重建幀塊未經(jīng)驗證。由自(幀內(nèi))相關(guān)設(shè)置的MSE閾值是特別嚴(yán)格的，并且往往會在以下情況下拒絕塊1、在所述塊區(qū)域內(nèi)的源幀細(xì)節(jié)特別低，從而生成非常小的自相關(guān)MSE，其中不管所迷GST重建有多好都無法通過幀間相關(guān)而使其變得更好。2、源幀在正在被分析的塊區(qū)域內(nèi)具有復(fù)雜運(yùn)動(多于一個代表性矢量)。由于所顯現(xiàn)的或所覆蓋的像素，在幀間將不會獲得良好的塊匹配(參見下面對圖18a到18e的討論)。3、作為上面的(2)的特殊情況，位于幀的邊緣處的塊由于搖攝運(yùn)動遭受當(dāng)前像素的損失并且獲得新像素，并且與其他幀中的塊無法良好匹配。通過塊尺寸減小，可以在一定程度上應(yīng)對所有上述問題。在上面的(2)和(3)的情況下，更小的塊將更好地適配于可以通過單一矢量描迷其運(yùn)動的幀的一部分，從而可以細(xì)化對象和背景區(qū)域直到(但不包括)其輪廓。于是，對應(yīng)于基于場的運(yùn)動估計和基于幀的運(yùn)動驗證的最小塊面積被減小，并且重復(fù)上述處理。當(dāng)前在本實施例中允許小到16像素(4像素的X和Y維度)的最小塊面積。從大到小的塊面積選擇背后的原理如下。在開始于大約2048像素的最大塊面積時，獲得最精確的基于場的運(yùn)動估計和基于幀的運(yùn)動驗證。隨后應(yīng)對可能更易受不代表真實情況位移的MSE最小值影響的更小塊，從而更好地隱藏任何小重建誤差。在每一輪的基于幀的矢量驗證完成之后，從所述塊選擇當(dāng)中排除任何解析的畫面區(qū)域，以便如下利用更小的塊面積進(jìn)行基于場的候選運(yùn)動矢量生成。構(gòu)造一個未解析幀像素的掩模，并且通過進(jìn)行簡單的子采樣垂直進(jìn)行因數(shù)為2的取樣。對于下一輪的候選矢量生成，該掩模4皮覆蓋到場數(shù)據(jù)上完成度高于卯％的任何場塊都被從所述分析中排除，這是因為可能利用所述分析解析的任何矢量都已經(jīng)被解析出來了。不以低于所決定的閾值的MSE重建的其他塊區(qū)域，是由于全局搖攝運(yùn)動(點3以上)而發(fā)生了新像素增加和當(dāng)前像素?fù)p失的沿著所迷幀的底部邊緣和左側(cè)邊緣的塊區(qū)域。利用經(jīng)過半帶內(nèi)插的現(xiàn)有場像素來替換具有未解析的運(yùn)動的像素。平塊區(qū)域缺少高頻細(xì)節(jié)，而所述高頻細(xì)節(jié)則可能在其他情況下構(gòu)成混疊。在最終輸出圖像中，所述平塊區(qū)域的經(jīng)過內(nèi)插的相對物通常在主觀上是不可檢測的。一般來說，并且僅僅通過舉例的方式，到此所描述的總體運(yùn)動估計算法可以被闡述為如下的步驟列表。對于從最大運(yùn)動矢量檢測塊尺寸向下到最小運(yùn)動矢量檢測塊尺寸的連續(xù)塊尺寸執(zhí)行這些步驟。1、利用場0與2之間的最低MSE匹配標(biāo)準(zhǔn)對于所有塊位置生成運(yùn)動矢量列表，其中丟棄任何劣種矢量，對于所述劣種矢量來說，其場內(nèi)相似度優(yōu)于在所述塊搜索期間找到的任何非零場間相似度。2、關(guān)于場1與3重復(fù)步驟1.3、合并所述兩個矢量列表。去除沒有在所合并的列表中出現(xiàn)至少兩次的矢量(即在任一列表中出現(xiàn)兩次或者在全部兩個列表中出現(xiàn)一次)。4、按照矢量受歡迎度對所迷列表進(jìn)行排序(出現(xiàn)頻率最高的矢量優(yōu)先)。5、對于所述列表順序中的每個矢量5.1、利用場0作為當(dāng)前場以及場2作為運(yùn)動補(bǔ)償場并且利用來自所述合并的排序后的列表的所選矢量，重建測試輸出圖像。5.2、重復(fù)步驟5.1，但是使用場1作為當(dāng)前場以及場3作為運(yùn)動補(bǔ)償場。5.3、對于從最大驗證塊尺寸向下到最小驗證塊尺寸的連續(xù)塊尺寸5.3.1、利用對應(yīng)于從場0和2產(chǎn)生的測試輸出圖像中的該塊的一個子像素的位移，獲得圖像內(nèi)匹配閾值塊相似度度量。產(chǎn)生的測試輸出幀與從場1和3產(chǎn)生的測試輸出幀之間的塊。5.3.3、如果所述測試幀間匹配優(yōu)于所述幀內(nèi)閾值，則接受所述矢量，并且把由利用場0和2產(chǎn)生的測試輸出幀中的塊所覆蓋的區(qū)域提交到最終輸出圖像。因此，運(yùn)動生成和運(yùn)動驗證級獨立地工作并且都使用可變塊尺寸(從大約2048[高達(dá)64*32]像素的面積開始，并且小到4像素[例如2*2]結(jié)束)，所述可變塊尺寸反復(fù)地除以2以進(jìn)行尺寸減小。對于在更小塊尺寸下的后續(xù)運(yùn)動矢量驗證，在所述運(yùn)動矢量驗證的結(jié)果的反饋中使用重疊規(guī)則。需要這樣做的原因在于，由于在不同塊尺寸下的成功驗證可能會存在最終輸出圖像的復(fù)雜區(qū)域，甚至在下一個可變塊尺寸被用來生成更多運(yùn)動矢量之前也是如此。在所述最終輸出圖像中被驗證的任何塊都被如此標(biāo)記。生成所述掩模的"場尺寸"的表示，即幀掩模的經(jīng)過垂直子采樣的版本，其中如果已經(jīng)驗證了對應(yīng)于該像素的運(yùn)動(即，該像素是已經(jīng)被驗證的塊的部分)，則所述幀掩模中的每個位置是"1"(在本例中)，如果沒有驗證則是"0"。隨后使用所述場尺寸的掩模來排除對應(yīng)于下一塊尺寸運(yùn)動矢量生成的場的區(qū)域。在下一運(yùn)動矢量生成塊尺寸下，如果某一塊與所述已經(jīng)驗證的輸出像素掩模的重疊程度超過90%,則不使用該塊來生成運(yùn)動矢量。這樣，隨著所述輸出幀的剩余部分被解析/驗證，場間的后續(xù)運(yùn)動矢量池應(yīng)當(dāng)收斂到未解析的圖像區(qū)域的運(yùn)動。其意圖是使得主導(dǎo)運(yùn)動總是處在所述合并的候選運(yùn)動矢量列表的頂部。特別在嘗試?yán)脻撛诘鼗殳B的場數(shù)據(jù)估計運(yùn)動時，從更大面積開始通常會生成要求后續(xù)驗證的更為精確的矢量。這是從大塊開始的主要原因。在大約相同尺寸或小于該塊的對象中的運(yùn)動可能未被檢測到一因此需要減小所述塊尺寸。下面將描述圖3的設(shè)備的各詳細(xì)方面。圖16示意性地示出了半帶濾波方法。在圖16中，通過陰影行410來表示已知像素行，并且通過白色行410來表示經(jīng)過運(yùn)動補(bǔ)償?shù)南袼匦?。除了特定像?20之外，假設(shè)所有的像素都已被成功地運(yùn)動補(bǔ)償。將要執(zhí)行水平和垂直相位(子像素位置)校正。作為上述方法的一部分，將必須對與缺失像素420相鄰(或者至少在其半濾波器長度內(nèi))的像素(例如像素440)進(jìn)行水平相位校正。如上所述，為了應(yīng)用所述水平相位校正，使用多相濾波器。但是這種濾波器將需要對應(yīng)于像素420的值以作為它的其中一項輸入。不存在這種值，因此在能夠?qū)Ω浇袼剡M(jìn)行相位校正之前必須生成一個這種值。在沒有這種值的情況下，對相鄰或附近像素440的相位校正將是不正確的。這種類型的錯誤將被后續(xù)的垂直相位校正放大，并且可能會導(dǎo)致在輸出幀上出現(xiàn)主觀上有干擾的偽像。因此，找到對應(yīng)于像素420的良好隱藏值將是適當(dāng)?shù)摹＿@一點是如下實現(xiàn)的。首先，使用垂直半帶內(nèi)插來生成布置在像素420周圍的一行垂直內(nèi)插的像素值，所述垂直內(nèi)插的像素值的數(shù)目對于所述水平多相濾波器的每個抽頭來說是足夠的。在圖16中通過垂直虛線框示意性地示出了垂直內(nèi)插濾波器430。每個垂直內(nèi)插濾波器生成一個與該像素420處在相同行中的像素值。應(yīng)當(dāng)注意，行410中的經(jīng)過運(yùn)動補(bǔ)償?shù)闹祵τ谠撎幚肀粫簳r擱置；所述垂直半帶濾波器僅僅涉及到行400中的真實像素值。上面的處理在像素420周圍生成一行半帶內(nèi)插的像素值。這些半帶內(nèi)插的像素值不會替換該行內(nèi)的任何有效的經(jīng)過運(yùn)動補(bǔ)償?shù)闹?，而是僅僅被用來得到對應(yīng)于該像素420的有用的隱藏值。隨后由多相濾波器對該組應(yīng)用"反轉(zhuǎn)"水平相移。所述"反轉(zhuǎn)"相到該i轉(zhuǎn)相^濾波器的^入是在像素420附近產(chǎn)生的該組中的所述半帶內(nèi)插的像素。所述反轉(zhuǎn)相移的結(jié)果是對應(yīng)于該像素420的隱藏像素值。隨后按照正常情況對于像素440的水平相移使用對應(yīng)于像素420的該隱藏值。該技術(shù)可以被擴(kuò)展到其中缺失多于一個像素(在將被水平相移的像素的濾波器尺寸內(nèi))的情況。通過垂直半帶濾波生成所述缺失像素及其附近的像素。隨后對其中的每一個應(yīng)用反轉(zhuǎn)相移。隨后利用所述多相濾波器對將被相移的該像素進(jìn)行濾波，其中到該濾波器的至少某些輸入是由所述反轉(zhuǎn)相移的像素提供的。隨后可以由所述運(yùn)動補(bǔ)償器使用按照這種方式獲得的運(yùn)動矢量，以便從一個或更多場(通常是在時間上與當(dāng)前場鄰近的一個或兩個場)獲得缺失的像素。圖17a到17c示意性地示出了GST濾波器設(shè)計的各方面。特別地，圖17a示意性地示出了隔行信號的典型的空間頻譜。該場包含高達(dá)場奈奎斯特極限(場采樣率的一半)的空間頻率，但是由于所述隔行子采樣處理，這些頻率分量當(dāng)中的某一些實際上將被混疊，正如圖17a中的陰影區(qū)域所示。然而，已經(jīng)注意到，逐行掃描的幀的頻率內(nèi)容常常不會延伸到幀奈奎斯特極限，這意味著當(dāng)形成所述隔行掃描場時，所述混疊分量(其圍繞所述場奈奎斯特極限"折疊")往往不會向下延伸到O頻率。本實施例可以利用隔行信號的該特征，應(yīng)當(dāng)注意的是，所述GST空間位置校正濾波器的目的是減輕混疊效應(yīng)。在其中不存在混疊的頻率區(qū)域內(nèi)，應(yīng)用所述GST校正可能是不必要甚至不適當(dāng)?shù)?。圖17b示意性地示出了低通("LP")-高通("HP")濾波器響應(yīng)，其中，高達(dá)所述場奈奎斯特極限的頻率范圍被劃分成低頻區(qū)域和高頻區(qū)域?；诮?jīng)驗試驗，這兩個區(qū)域之間的交叉點在本實施例中被設(shè)置到所述場奈奎斯特極限的大約20%。因此，一般來說，預(yù)期所述低頻區(qū)域往往將不會包含任何混疊頻率分量，而所述高頻區(qū)域?qū)殳B頻率分量。在圖17b中示出的濾波器響應(yīng)被應(yīng)用于所迷GST濾波器對之進(jìn)行操作的像素。對所述高頻區(qū)域進(jìn)行GST空間位置校正，而不對所述低頻區(qū)域進(jìn)行所述校正。隨后把所述兩個區(qū)域加回到一起。在經(jīng)驗測試中發(fā)現(xiàn)這一做法可以改進(jìn)總體系統(tǒng)的信噪比響應(yīng)。圖17c示意性地示出了用于實現(xiàn)所述濾波和部分校正技術(shù)的一種設(shè)置。特別地，圖17c的設(shè)置示出了在已經(jīng)實施了所述運(yùn)動補(bǔ)償處理以從其極性與當(dāng)前場相反的場生成經(jīng)過運(yùn)動補(bǔ)償?shù)南袼刂蟮那闆r。參照當(dāng)前場像素，在上采樣器500處以因數(shù)2對這些像素進(jìn)行上采樣。使用上采樣的原因在于，低頻/非混疊分量被用來產(chǎn)生幀。該處理實際上是上采樣和濾波處理一一在所述實現(xiàn)方式中該處理被實施為內(nèi)插，其中對所使用的濾波器應(yīng)用所述20%場奈奎斯特頻率響應(yīng)。隨后把經(jīng)過上采樣的像素并行提供到低通濾波器510和補(bǔ)償延遲元件520。該低通濾波器510生成圖17b中所示的低頻區(qū)域。該低頻區(qū)域被傳遞到下采樣器530并且從該處被傳遞到加法器540。還通過減法器550從所述原始信號的經(jīng)過延遲的版本中減去所述濾波器510的低頻輸出。這樣生成了所述高頻區(qū)域，該高頻區(qū)域被下采樣器560下采樣，其結(jié)果被傳遞到GST校正濾波器570。關(guān)于所迷經(jīng)過運(yùn)動補(bǔ)償?shù)南袼?，這些像素遵循經(jīng)由上采樣器580、低通濾波器590、補(bǔ)償延遲600、減法器610和下采樣器620的類似路徑，從而所述經(jīng)過運(yùn)動補(bǔ)償?shù)南袼氐母哳l分量被傳遞到所迷GST濾波器570。所述GST濾波器的輸出被加法器540加回到所述當(dāng)前場像素的低頻分量中。應(yīng)當(dāng)注意到，一般來說，從所述已知場獲得低頻分量具有;f艮少的運(yùn)動或者沒有運(yùn)動。通過所述位置校正濾波器對來自所述已知場和所述未知場的高頻貢獻(xiàn)進(jìn)行處理，以便在所需位置處提供像素值。這樣給出了經(jīng)過相位校正的高頻信息。該高頻信息被加回到所述低頻貢獻(xiàn)中，這基本上是對所述已知場的垂直內(nèi)插。下面將參照圖18a到18c描述用于處理對象和圖像邊緣以及所顯現(xiàn)的像素的技術(shù)。，圖18a示意性地示出了一個圖像，其中對象700正在特定方向上移動，并且圖像背景正在不同方向上移動。圖中示出了示意性的初始塊匹配柵格，其中標(biāo)記出用在所述塊匹配運(yùn)動矢量檢測處理中的初始(最大)塊的位置。即使是對于圖18a的簡單情況也可能出現(xiàn)各種潛在問題。例如，在對象700的后沿處，像素將隨著該對象移動通過而被顯現(xiàn)。由于這種像素不存在于前一場中，因此無法從該前一場導(dǎo)出這種像素。在所述對象與背景之間的邊界處，將很難選擇正確的運(yùn)動矢量。此外，被應(yīng)用于處在所述邊界處或者與之非常接近的所述GST濾波器將接受來自所述邊界的另一側(cè)的像素值。因此，意圖通過對邊界像素應(yīng)用子像素校正而改進(jìn)所述圖像的濾波器可能實際上會由于模糊了對象700的邊緣而損害了該圖像。如上所述，在所述運(yùn)動矢量生成級中，通常關(guān)于圖像產(chǎn)生各種不同的運(yùn)動矢量，但是對于圖18a的圖像來說，兩個矢量將是最頻繁地出現(xiàn)的。這兩個矢量是表示對象700的運(yùn)動的矢量以及表示所述背景的運(yùn)動的矢量。在遠(yuǎn)離該對象700與所述背景之間的邊界處，對所述矢量的驗證應(yīng)當(dāng)是成功的。但是所述驗證處理在該邊界處將遭遇困難，圖18b示意性地示出了可以用在如上所迷的塊匹配處理中的最小塊匹配柵格。即使是對于該最小柵格，在所述對象700及其移動背景之間的邊界處仍然存在無法為其正確地解析運(yùn)動矢量的塊(該塊纟皮顯示為黑色正方形)。下面將參照處在所述對象700與所述背景之間的邊界區(qū)域處的4個塊。在圖18c到18e中示意性地示出了這些塊。在圖18c中，示出了被應(yīng)用來校正恰處在所述背景內(nèi)部的像素710的相位的水平多相濾波器720的一個例子。還示出了被應(yīng)用來校正恰處在所述對象內(nèi)部的像素730的相位的水平多相濾波器740的另一個例子。所述濾波器720將被對象像素(其關(guān)于所迷背景將具有不正確的相位)"污染，，，并且所述濾波器740將被背景像素(其關(guān)于所述對象將具有不正確的相位)污染。最好應(yīng)當(dāng)避免此類污染。對于垂直GST濾波器(在圖18c中未示出)也存在相同的問題。有可能使用鏡像處理來重新使用處在正確區(qū)域(對象或背景)內(nèi)的像素，從而避免所述污染，圖18d是這種處理的一個示意性的例子，其中落在所述邊界的"錯誤側(cè)"的所述多相濾波器720、740中的抽頭實際上被應(yīng)用于來自該邊界的正確側(cè)的像素值。如圖所示，所述鏡像處理關(guān)于所述濾波器中心(即像素710或730)對稱，但是其反射可以替換地關(guān)于所述邊界對稱。類似的考慮也適用于垂直GST濾波器。然而不幸的是，這種鏡像處理依賴于所述邊界位于何處的知識。對所述邊界的定位要求成功的運(yùn)動矢量驗證級。因此，這成為了一個循環(huán)問題；即需要所述邊界的位置來正確地定位該邊界。本實施例通過一種精巧簡單的技術(shù)解決了該問題比起像素輸出，對于運(yùn)動矢量驗證使用更短的位置校正(多相/GST)濾波器。期望對于最終輸出圖像保留較長的濾波器，這是因為這樣做通常會提高質(zhì)量。較短的濾波器可能會導(dǎo)致不想要的偽像，比如輸出圖像中的"振鈴，，。但是對于其中為每個像素分配一個運(yùn)動矢量的運(yùn)動矢量驗證來說，較短的濾波器導(dǎo)致污染風(fēng)險較低，并且提高了能夠在運(yùn)動邊界附近正確地分配運(yùn)動矢量的幾率。圖18e示意性地示出了被應(yīng)用于所述運(yùn)動矢量驗證級的兩個短濾波器720，和740，。對于最終輸出圖像的生成將使用諸如在圖18c中示意性地示出的較長濾波器，其可能具有參照圖18d所描述的鏡像。相同的考慮既適用于垂直方向也適用于水平方向。典型的濾波器抽頭長度如下<table>tableseeoriginaldocumentpage26</column></row><table>應(yīng)當(dāng)認(rèn)識到，可以通過在適當(dāng)軟件控制下進(jìn)行操作的可編程或半可編程硬件來實現(xiàn)本發(fā)明的各實施例。所述硬件可以是通用計算機(jī)或者諸如ASIC(專用集成電路)或FPGA(現(xiàn)場可編程門陣列)之類的設(shè)置。所述軟件可以在諸如盤或固態(tài)存儲器之類的存儲介質(zhì)上提供，或者可以通過諸如網(wǎng)絡(luò)或因特網(wǎng)連接之類的傳輸介質(zhì)來提供，或者可以通過二者的組合來提供。權(quán)利要求1、視頻運(yùn)動檢測設(shè)備，其中關(guān)于輸入視頻信號的圖像生成輸出視頻信號的連續(xù)輸出圖像，該設(shè)備包括用于應(yīng)用運(yùn)動測試以便檢測所述輸入視頻信號的兩個或更多圖像之間的圖像間運(yùn)動的裝置，所述運(yùn)動測試提供一個或多個運(yùn)動矢量的運(yùn)動矢量組以用于生成對應(yīng)的輸出圖像，其中生成兩個這種運(yùn)動矢量組；用于利用對應(yīng)的運(yùn)動矢量組生成測試輸出圖像的裝置；以及用于把由所述一組或全部兩組中的運(yùn)動矢量所指向的測試輸出圖像中的圖像區(qū)域進(jìn)行比較的裝置，其中對于在所述圖像區(qū)域之間具有小于預(yù)定相似度的運(yùn)動矢量，所述圖像區(qū)域被分成兩個或更多更小的圖像區(qū)域，并且關(guān)于所述兩個或更多更小區(qū)域當(dāng)中的每一個再次應(yīng)用所述比較；以及用于在所述測試輸出圖像中的相應(yīng)圖像區(qū)域在所測試的圖像區(qū)域尺寸下具有小于預(yù)定相似度的情況下，禁止使用與之相對應(yīng)的運(yùn)動矢量的裝置。2、根據(jù)權(quán)利要求1的設(shè)備，其中所述比較裝置被設(shè)置成在所述測試輸出圖像中的所述相應(yīng)圖像區(qū)域具有小于所述預(yù)定相似度的情況下，防止使用與所述相應(yīng)圖像區(qū)域相對應(yīng)的運(yùn)動矢量。3、根據(jù)權(quán)利要求1或2的設(shè)備，對于其中一個所述測試輸出圖像中的圖像位置，所述閾值相似度對應(yīng)于圍繞該圖像植置的圖像區(qū)域與該測試輸出圖像內(nèi)的另一個圖像區(qū)域之間的相似度，所迷兩個圖像區(qū)域之間有非零預(yù)定位移。4、根據(jù)權(quán)利要求3的設(shè)備，其中所述預(yù)定位移是小于一個像素的位移。5、根據(jù)任一項在前權(quán)利要求所述的設(shè)備，包括用于執(zhí)行以下操作的裝置把關(guān)于當(dāng)前輸出圖像生成的當(dāng)前運(yùn)動矢量組與關(guān)于時間上相鄰的輸出圖像生成的運(yùn)動矢量組進(jìn)行比較，并且禁止使用來自所迷當(dāng)前組矢量。6、根據(jù)任一項在前權(quán)利要求所述的設(shè)備，包括用于執(zhí)行以下操作的裝置把關(guān)于當(dāng)前輸出圖像生成的當(dāng)前運(yùn)動矢量組與關(guān)于時間上相鄰的輸出圖像生成的運(yùn)動矢量組相組合，并且禁止使用來自所述當(dāng)前組的未在該組合運(yùn)動矢量組中出現(xiàn)至少預(yù)定次數(shù)的任何運(yùn)動矢量。7、根據(jù)權(quán)利要求6的設(shè)備，其中所述預(yù)定次數(shù)是2.8、根據(jù)任一項在前權(quán)利要求所述的設(shè)備，其中所述用于比較圖像區(qū)域的裝置迭代地操作并且受到預(yù)定最小圖像區(qū)域尺寸的影響。9、視頻處理設(shè)備，包括根據(jù)任一項在前權(quán)利要求所述的視頻運(yùn)動檢測設(shè)備；以及用于根據(jù)所檢測到的運(yùn)動矢量處理視頻信號的裝置。10、根據(jù)權(quán)利要求9的視頻處理設(shè)備，該設(shè)備是掃描變換設(shè)備。11、一種視頻運(yùn)動檢測方法，其中關(guān)于輸入視頻信號的圖像生成輸出視頻信號的連續(xù)輸出圖像，該方法包括以下步驟應(yīng)用運(yùn)動測試以便檢測所述輸入4見頻信號的兩個或更多圖4象之間的圖像間運(yùn)動，所述運(yùn)動測試提供一個或多個運(yùn)動矢量的運(yùn)動矢量組以用于生成對應(yīng)的輸出圖像，其中生成兩個這種運(yùn)動矢量組；利用對應(yīng)的運(yùn)動矢量組生成測試輸出圖像；以及把由所述一組或全部兩組中的運(yùn)動矢量所指向的測試輸出圖像中的圖像區(qū)域進(jìn)行比較，其中對于在所迷圖像區(qū)域之間具有小于預(yù)定相似度的運(yùn)動矢量，所述圖像區(qū)域被分成兩個或更多更小的圖像區(qū)域，并且關(guān)于所述兩個或更多更小區(qū)域中的每一個再次應(yīng)用所述比較；以及在所述測試輸出圖像中的相應(yīng)圖像區(qū)域在所測試的圖像區(qū)域尺寸下具有小于預(yù)定相似度的情況下，禁止使用與之相對應(yīng)的運(yùn)動矢量。12、具有程序代碼的計算機(jī)軟件，當(dāng)由計算機(jī)執(zhí)行所述程序代碼時，其被設(shè)置成使得該計算機(jī)實施根據(jù)權(quán)利要求11的方法。13、一種介質(zhì)，其中通過該介質(zhì)來提供根椐權(quán)利要求12的軟件。14、根據(jù)權(quán)利要求13的介質(zhì)，該介質(zhì)是存儲介質(zhì)。15、根據(jù)權(quán)利要求13的介質(zhì)，該介質(zhì)是傳輸介質(zhì)。全文摘要本發(fā)明涉及視頻運(yùn)動檢測設(shè)備，其中關(guān)于輸入視頻信號的圖像生成輸出視頻信號的連續(xù)輸出圖像，該設(shè)備包括用于應(yīng)用運(yùn)動測試以便檢測所述輸入視頻信號的兩個或更多圖像之間的圖像間運(yùn)動的裝置，所述運(yùn)動測試提供包括一個或多個運(yùn)動矢量的運(yùn)動矢量組以用于生成對應(yīng)的輸出圖像，其中生成兩個這種運(yùn)動矢量組；用于利用對應(yīng)的運(yùn)動矢量組生成測試輸出圖像的裝置；以及用于把由所述一組或全部兩組中的運(yùn)動矢量所指向的測試輸出圖像中的圖像區(qū)域進(jìn)行比較的裝置，其中對于在所述圖像區(qū)域之間具有小于預(yù)定相似度的運(yùn)動矢量，所述圖像區(qū)域被分成兩個或更多更小的圖像區(qū)域，并且關(guān)于所述兩個或更多更小區(qū)域當(dāng)中的每一個再次應(yīng)用所述比較；以及用于在所述測試輸出圖像中的相應(yīng)圖像區(qū)域在所測試的圖像區(qū)域尺寸下具有小于預(yù)定相似度的情況下禁止使用與之相對應(yīng)的運(yùn)動矢量的裝置。文檔編號H04N5/44GK101283586SQ200680037429公開日2008年10月8日申請日期2006年10月27日優(yōu)先權(quán)日2005年10月31日發(fā)明者J·利文申請人:索尼英國有限公司