專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種檢測兩個畫面圖像之間的運動矢量并計算所 檢測運動矢量的可靠性的圖像處理裝置和方法。
背景技術(shù)：
根據(jù)圖像信息本身來確定兩個畫面圖像之間的運動矢量的塊 匹配技術(shù)是一項歷史悠久的技術(shù)。
根據(jù)塊匹配技術(shù)，包括作為注目畫面圖像的參考畫面圖像和從
中出現(xiàn)參考畫面圖<象的運動的原始圖{象(下文稱作目標(biāo)畫面圖4象) 的兩個畫面圖^f象之間的運動矢量是通過相對于預(yù)定大小的矩形區(qū)
域的塊(目標(biāo)塊和參考塊)計算參考畫面圖像和目標(biāo)畫面圖像之間 的相關(guān)性來計算的。塊匹配才支術(shù)包^"以下兩種情況 一種情況是如 在例如通過MPEG(運動圖片專家組)系統(tǒng)進行運動檢測的情況下， 目標(biāo)畫面圖4象在時間上先于參考畫面圖 <象；以及另 一種情況是如在 例如通過下文所述的圖像幀的疊加來減小噪聲的情況下，參考畫面 圖4象在時間上先于目標(biāo)畫面圖4 象。注意，在本"i兌明書中，術(shù)^吾畫面圖^象表示由一幀或一場的圖傳_ 數(shù)據(jù)形成的圖像。然而，為了描述方便，在本說明書的以下描述中， 々ii殳一個畫面圖像由一幀形成并在下文中稱作幀。因此，參考畫面 圖像在下文被稱作參考幀，而目標(biāo)畫面圖像在下文被稱作目標(biāo)幀。
具體地，對于電視相機的云臺檢測和圖傳4合取對象跟蹤、MPEG (運動圖片專家組)系統(tǒng)的運動圖片編碼等，已開發(fā)了利用塊匹配 的運動矢量匹配技術(shù)。在90年代，已促進在包括通過圖像疊加進 行無傳感器相機抖動校正、低照度下圖像拾取時的降噪等寬范圍內(nèi) 的應(yīng)用。
此外，利用塊匹配的運動矢量檢測方法不僅被應(yīng)用于圖像識別 應(yīng)用和相機抖動校正應(yīng)用中，而且還被應(yīng)用于如圖像拾取裝置的快 門速度的自動調(diào)節(jié)和液晶電視機的雙倍速幀頻轉(zhuǎn)換的新應(yīng)用中。
在任何情況下，所檢測矢量的可靠性都是非常重要的。具體地， 如果所檢測的運動矢量精確，則能夠以高精度定位多個圖像，并且 能夠預(yù)期圖像拾取對象的跟蹤、高精度相4幾抖動校正等。然而，如 果使用低可靠性的運動矢量執(zhí)行處理，則會在錯誤的方向上執(zhí)行校 正等，因此，會出現(xiàn)取決于應(yīng)用的后處理步驟的精度變低的情況。
因此，例如在日本專利7>開第2006-318345號中已4是出并4皮露 了提取高可靠性的運動矢量的方法。根據(jù)該方法，執(zhí)行MPEG系統(tǒng) 編碼中的離散余弦轉(zhuǎn)換(DCT)結(jié)果中的的AC分量和DC分量的 比較，或者執(zhí)行與圖像邊緣的比較，從而從特征圖像部分中檢測出 運動矢量來作為具有高可靠性的運動矢量。
還有一種方法可用，其中，在矢量計算之前，預(yù)先通過邊緣才企 測或通過角檢測器的部分提取出圖像中的特征點或奇異點，并根據(jù) 許寺;f正點來確定運動矢量。此外，日本專利公開第2005-301984號中披露了從表示圖像的 特征量的活動量(activity)中獲得運動矢量可靠性的指標(biāo)。

發(fā)明內(nèi)容
然而，與上述運動矢量的可靠性相關(guān)的現(xiàn)有才支術(shù)全部都需要才是 取圖像的特征點或特征量的處理，并且除運動矢量的4企測處理之外 全部都需要提供被配置為提取特征點或特征量的部件。因此，現(xiàn)有 技術(shù)具有結(jié)構(gòu)復(fù)雜并需要提高成本的問題。
此外，使用特征點或特征量的所有上述技術(shù)基本上都是針對低 噪聲圖像的，并且都具有在包含高噪聲圖像的情況下不能正常運行 的問題。此外，特征點提取方法具有在噪聲或重復(fù)圖案方面不是很 好的問題。
因此，期望提供一種即使在圖像具有高噪聲或包括重復(fù)圖案的 情況下仍能夠通過簡單結(jié)構(gòu)估算運動矢量的可靠性的圖像處理裝 置和方法。
根據(jù)本發(fā)明的實施例，提供了一種圖像處理裝置，包括相關(guān) 值計算部， 一皮配置為設(shè)定具有等于在目標(biāo)畫面圖《象中以預(yù)定尺寸形 成的目標(biāo)塊的尺寸并由在與目標(biāo)畫面圖<象不同的參考畫面圖<象中 設(shè)定的搜索范圍內(nèi)的多個像素形成的多個參考塊，并確定目標(biāo)塊與
每個參考塊之間的相關(guān)值；確定部，被配置為確定在通過相關(guān)值計
算部計算的相關(guān)值中的最大值以及除最大值之外的相關(guān)值中極大
值；運動矢量檢測部，被配置為檢測所述目標(biāo)塊的運動矢量，作為 計算出所述相關(guān)值的所述最大值的所述參考塊相對于所述目標(biāo)塊 的位移量(displacement amount,偏移量)；以及計算部，帔配置為 計算相關(guān)值中的最大值與除最大值之外的相關(guān)值中的極大值之間的差值，作為通過運動矢量檢測部檢測的運動矢量的可靠性的指標(biāo)。
根據(jù)本發(fā)明的另一個實施例，提供了一種圖像處理裝置，包括 相關(guān)值計算部，被配置為設(shè)定具有等于在目標(biāo)畫面圖像中以預(yù)定尺 寸形成的目標(biāo)塊的尺寸并由在與目標(biāo)畫面圖〗象不同的參考畫面圖 像中設(shè)定的搜索范圍內(nèi)的多個像素形成的多個參考塊，并確定目標(biāo) 塊與每個參考塊之間的相關(guān)值；確定部，；陂配置為確定在通過相關(guān) 值計算部計算的相關(guān)值中的最大值以及除最大值之外的相關(guān)值中 極大值；運動矢量檢測部，；故配置為4企測所述目標(biāo)塊的運動矢量， 作為計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述
目標(biāo)塊的位移量；以及計算部，^皮配置為計算相關(guān)值中的最大值與 除最大值之外的相關(guān)值中的極大值之間的比，作為通過運動矢量檢 測部所;險測的運動矢量的可靠性的指才示。
例如，在目標(biāo)畫面圖^象和參考畫面圖{象為靜止圖<象的情況下， 如果々支設(shè)不存在任何噪聲的理想狀態(tài)，則當(dāng)確定在4臾索范圍內(nèi)的多 個參考塊中的每一個與目標(biāo)塊之間的相關(guān)值時，認為相關(guān)值僅包括 一個等于相關(guān)值中的最大值的極大值。
然而，在諸如拾取圖像的實際圖像情況下，由于光量變化、運 動目標(biāo)的移動等以及即使在畫面圖像為靜止圖像的情況下的各種 類型的噪聲的影響，目標(biāo)畫面圖 <象和參考畫面圖 <象通常包括相關(guān)值 的多個極大值。
另外，盡管基于呈現(xiàn)作為相關(guān)值中最大值的相關(guān)值中的第一極 大值的那個參考塊的位置來檢測運動矢量，但是如果相關(guān)值中的第 一極大值與除相關(guān)值的第 一極大值之外的相關(guān)值中的另 一個極大 值(即，相關(guān)值的第二極大值)之間的差很小，那么就可能會疑問 到底兩個極大值中的哪一個是正確。因此，可靠性低。另 一方面，如果相關(guān)值中的第 一和第二極大值之間的差很大， 則認為根據(jù)相關(guān)值中的第 一 極大值所確定的運動矢量的可靠性相
對較高。
例如，在目標(biāo)畫面圖^象和參考畫面圖^f象為運動圖片圖i象的情況 下，相關(guān)值由于運動圖像部分而很少僅包括第一極大值。此外，對 于以塊為單位的移動，如果相關(guān)值中的第二極大值與相關(guān)值中的第 一極大值之間的差很小，則由于可能會疑問到底兩個極大值中的哪 一個是正確，所以可靠性4艮低。另一方面，如果相關(guān)值中的第一擬_ 大值與相關(guān)值中的第二極大值之間的差很大，則認為根據(jù)相關(guān)值中 的第 一極大值所確定的運動矢量的可靠性相對較高。
鑒于以上，根據(jù)本發(fā)明的第一實施例，相關(guān)值中的第一極大值 (即，相關(guān)值中的極大值)與相關(guān)值中的第二極大值之間的差被用 作運動矢量可靠性的指標(biāo)。
同時，根據(jù)本發(fā)明的第二實施例，相關(guān)值中的第一極大值(即， 相關(guān)值中的最大值)與相關(guān)值中的第二極大值之間的比被用作運動 矢量可靠性的指標(biāo)。
即使在相關(guān)值的第 一極大值或最大值以及相關(guān)值的第二極大 值中包括噪聲，^旦是如果確定第一才及大值或最大值與第二才及大值之 間的差或第 一極大值或最大值與第二極大值之間的比，那么噪聲分 量就會彼此抵消并且噪聲的影響降低。因此，運動矢量可靠性的指
標(biāo)非?？煽?。
通過該圖像處理裝置和方法，不需要使用圖像的特征點或特征 量，而是僅使用目標(biāo)塊和參考塊之間的相關(guān)值就能夠獲得表示運動 矢量可靠性的指標(biāo)。因此，對包括大量噪聲或重復(fù)圖案的圖像，還 可以獲得具有高可靠性的運動矢量的可靠性的指標(biāo)。


圖1是示出應(yīng)用了根據(jù)本發(fā)明的優(yōu)選實施例的圖像處理裝置的圖像拾取裝置的結(jié)構(gòu)實例的框圖；圖2A、圖2B以及圖3 ~圖10是示出通過圖像處理裝置進行 的塊匹配處理的示意圖；圖11是示出通過圖像處理裝置進行的塊匹配處理的框圖；圖12是示出應(yīng)用了才艮據(jù)本發(fā)明的圖^象處理方法的拾取圖《象的 實例的示圖；圖13是示出與圖12的拾取圖像相關(guān)聯(lián)的使用圖像處理方法檢 測到的局部運動矢量的示意圖；圖14是示出在圖像處理方法中所使用的SAD表的示意圖；圖15是示出在一維軸上所采用的圖14的SAD表的示意圖；圖16是示出與圖12的拾取圖像相關(guān)聯(lián)的通過圖像處理方法確 定具有高可靠性的局部運動矢量的示圖；圖17是示出圖像處理裝置的全局運動矢量計算塊的結(jié)構(gòu)實例 的框圖；圖18是示出全局運動矢量計算塊的操作的示意圖；圖19是示出通過圖像處理裝置的局部運動矢量計算塊進行的 才全測處理才喿作的實例的流程圖；圖20~圖24是示出表示通過圖像處理方法根據(jù)局部運動矢量 確定全局運動矢量的處理實例的表達式的示圖；圖25和圖26是示出通過圖^f象處理方法4艮據(jù)局部運動矢量確定 全局運動矢量的處理實例的流程圖；圖27是示出與圖12的拾取圖像相關(guān)聯(lián)的以根據(jù)通過圖像處理 方法確定的全局運動矢量所確定的塊為單位的運動矢量的示圖；圖28和圖29是示出使用圖像處理方法確定所檢測的局部運動 矢量的處理的另 一個實例的示圖；圖30是示出使用圖像處理方法確定所檢測的局部運動矢量的 處理的再一個實例的示圖；以及圖31是示出應(yīng)用了本發(fā)明實施例的另一個圖像處理裝置的一 部分的框圖。
具體實施方式
下面，將參照附圖描述應(yīng)用了根據(jù)本發(fā)明實施例的圖像處理裝 置和圖像處理方法的圖像拾取裝置。第一實施例根據(jù)本發(fā)明第 一 實施例的圖像拾取裝置被配置為定位并疊加 通過圖像拾取器件或成像器所拾取的多個靜止圖像，從而執(zhí)行圖像的降p喿。在手持圖像拾取裝置來拾取圖像的情況下，有可能發(fā)生相機抖 動。當(dāng)通過手持圖像拾取裝置進行這種圖像拾取時，在連續(xù)拾取靜止圖像的情況下，第一個拾取的靜止圖像^皮稱作目標(biāo)幀，而第二個 和隨后拾取的靜止圖像被稱作參考幀。在通過對整個參考幀應(yīng)用包 括平行移動、旋轉(zhuǎn)和放大或縮小的轉(zhuǎn)換處理將參考幀定位在目標(biāo)幀 的位置的情況下，對全部參考幀應(yīng)用的轉(zhuǎn)換處理^皮稱作全局運動。 相機抖動意味著對于目標(biāo)幀來說發(fā)生了通過對目標(biāo)幀應(yīng)用包括平 行移動、旋轉(zhuǎn)和放大或縮小的轉(zhuǎn)換處理而能夠?qū)⒖紟ㄎ恢聊繕?biāo) 幀的量的全局運動。
在本實施例中，為了簡化描述，雖然第一個才合取的《爭止圖片4皮
用作參考(即，作為目標(biāo)幀)，但這并不是必須的。任意的第n個 目標(biāo)幀可以被用作目標(biāo)幀，而任意的第m個(n#m)靜止圖像被設(shè) 定為參考幀，從而重新定義全局運動?；蛘呖梢韵鄬τ谶\動圖片中 時間不同的兩個幀圖4象來定義全局運動。又或者，全局運動的處理 無法應(yīng)用于從拾取圖像的一幀內(nèi)的整個有效圖片框架，而是僅能應(yīng) 用于一幀圖^f象的一部分。
全局運動對應(yīng)于目標(biāo)幀和參考幀之間的畫面圖^f象單位的運動 矢量(下文稱作全局運動矢量)。因此，如果能夠4青確地確定全局 運動矢量，就能夠正確地得到全局運動，并能夠適當(dāng)?shù)匦Ｕ鄼C抖動。
在以下描述中，使用運動矢量檢測和運動補償(其中，運動矢 量用于疊加不同幀的兩個圖像以執(zhí)行圖像的定位)來降低噪聲在下 文被稱作降噪(NR),并且通過降噪降低噪聲的圖像在下文稱作降
噪圖像。
在本實施例中，通過上述塊匹配方法來^r測運動矢量。此夕卜， 在本實施例中， 一個畫面圖傳3皮劃分成i午多個塊，并通過塊匹配方 法來4全測以塊為單4立的運動矢量(這種運動矢量在下文稱作局部運 動矢量)。此外，在塊匹配方法中，^吏用相關(guān)^直，以下文所述的方式來4全測局部運動矢量可靠性的指標(biāo)。隨后， <義/人那些祐^企測具有 高可靠性的局部運動矢量中沖企測作為以一個畫面圖《象為單位的運 動矢量的全局運動矢量。
塊匹配的扭無要
圖2A 圖7示出了塊匹配方法的纟既要。在此處描述的塊匹配 方法中，如圖2A所示，在目標(biāo)幀100中假設(shè)包括水平方向上的多 個像素和垂直方向上的多條線的預(yù)定尺寸的矩形區(qū)域的塊(即，目 標(biāo)塊102 )。
在塊匹配中，從參考幀101中搜索出與目標(biāo)塊102具有高相關(guān) 性的塊。圖2B所示的#1檢測為在參考幀101中與目標(biāo)塊102具有 最高相關(guān)性的塊的參考塊103在下文稱作運動補償塊。此外，在目 標(biāo)塊102和與目標(biāo)塊102具有最高相關(guān)性的運動補償塊103之間的 位移量在下文稱作運動矢量(參照圖2B的參考數(shù)字104)。
在，Ii殳目標(biāo)塊102的沖殳影圖4象塊109位于在參考幀101中與目 標(biāo)幀100的目標(biāo)塊102的位置相同位置的情況下，與目標(biāo)塊102和 運動補償塊103之間的位移(包括位移量和位移方向)相對應(yīng)的運 動矢量104對應(yīng)于目標(biāo)塊102的投影圖像塊109的位置(例如，中 心位置)與運動補償塊103的位置(例如，中心位置)之間的位移。 因此，運動矢量104具有位移和方向分量。
下面描述塊匹配處理的扭克要。參照圖3, ，!/沒目標(biāo)幀100的目 標(biāo)塊102的投影圖像塊109位于參考幀101中與目標(biāo)幀100的目標(biāo) 塊102的位置相同的位置，并且目標(biāo)塊的才殳影圖4象塊109的中心坐 標(biāo)被確定為用于運動檢測的原點105。隨后，假設(shè)運動矢量104存 在于原點105的特定范圍內(nèi)，并且以原點105為中心的預(yù)定范圍凈皮 設(shè)定為由圖3中的點劃線所表示的搜索范圍106。隨后，在參考畫面圖l象上i殳定與目標(biāo)塊102具有相同尺寸的塊(即，投影圖像塊109)。然后，例如，在4臾索范圍106內(nèi)的水平方向或垂直方向上以一個像素或多個像素為單位來移動參考塊108的位置。因此，在4臾索范圍106中i殳定了多個參考塊108。
此處，在搜索范圍106內(nèi)移動參考塊108意味著由于本實例中的原點105是目標(biāo)塊的中心位置，所以參考塊108的中心位置在搜索范圍106內(nèi)移動，并且構(gòu)成參考塊108的像素可以從搜索范圍106
中突出。
隨后，對于在搜索范圍106內(nèi)設(shè)定的每個參考塊108,設(shè)定表示參考塊108和目標(biāo)塊102的^[立移量和#_移方向的矢量(即，參考矢量107(參照圖7))。然后，估算在位于由每個這樣的參考矢量107所表示的位置的參考塊108的圖^f象內(nèi)容和目標(biāo)塊102的圖像內(nèi)容之間的相關(guān)性。
參照圖4，參考矢量107可表示為矢量(Vx， Vy)，其中，Vx為參考塊108在水平方向上(即，X方向上)的位移量，Vy為參考塊108在垂直方向上(即，Y方向上)的位移量。如果參考塊108的位置坐標(biāo)(例如，中心位置坐標(biāo))與目標(biāo)塊102的位置坐標(biāo)(例如，中心位置坐標(biāo))相同，則參考矢量107表示為矢量(0， 0)。
例如，如果參考塊108位于與目標(biāo)塊102的位置相比在X方向上偏移1個像素距離的位置，則參考矢量107表示為矢量(1， 0)。同時，如果參考塊108位于與目標(biāo)塊102的位置相比在X方向上偏移3個像素距離且在Y方向上偏移2個像素距離的位置，則參考矢量107表示為矢量(3, 2)。
簡而言之，在如圖5所示給出目標(biāo)塊102和每個參考塊108的位置作為各塊的中心位置的情況下，參考矢量107意p未著參考塊108的中心位置與目標(biāo)塊102的中心位置之間的位移(包括位移量和位移方向的矢量)。
參考塊108在搜索范圍106內(nèi)移動，并且在這種情況下，參考塊108的中心位置在搜索范圍106內(nèi)移動。由于參考塊108包括如上所述在水平方向和垂直方向上的多個^象素，所以如圖5所示，作為與目標(biāo)塊102進4于塊匹配處理對象的參考塊108的移動的最大范圍凈皮給出作為比4臾索范圍106更大的匹配處理范圍110。
隨后，被檢測為與目標(biāo)塊102的圖像內(nèi)容具有最高相關(guān)性的塊的參考塊108的位置祐j企測作為目標(biāo)幀100的目標(biāo)塊102在參考幀101上的位置，即，作為移動后的位置。然后，所4t測的參考塊4皮確定為上文所述的運動補償塊103。然后，如圖2B所示，所檢測運動補償塊103的位置與目標(biāo)塊102的位置之間的位移量被檢測作為包4舌方向分量的運動矢量104。
基本上使用目標(biāo)塊102和參考塊108的對應(yīng)像素值來計算表示目標(biāo)塊102與在搜索范圍106內(nèi)移動的參考塊108之間的相關(guān)度的相關(guān)值。包括使用均方根的方法的各種計算方法可用于計算相關(guān)值。
例如，如圖6所示，對于各個塊中的所有像素， 一般在計算運動矢量時使用的相關(guān)值中的一個是目標(biāo)塊102中的每個像素的亮度值與搜索范圍106中的對應(yīng)像素的亮度值之間的差的絕對值的總和。差的絕只于<直的總和一爾作差分絕對1直和(difference absolute valuesum ),并在下文稱、作SAD(絕只于差分和，Sum of Absolute Difference )值。
在SAD值4皮用作相關(guān)值的情況下，隨著SAD值減小，相關(guān)值增大。因此，在4臾索范圍106內(nèi)移動的參考塊108中，位于SAD值最低位置的參考塊108是具有最高相關(guān)性的最高相關(guān)性參考塊，并且該最高相關(guān)性參考塊祐J險測作為運動補償塊103。隨后，所才企測的運動補償塊103的位置相對于目標(biāo)塊102的位置的位移量^皮才企
測作為運動矢量。
如上所述，在塊匹配中，通過作為包括方向分量的量的參考矢量107來表示在4臾索范圍106內(nèi)^L定的多個參考塊108中的每一個相對于目標(biāo)塊102的位置的位移量。每個參考塊108的參考矢量107都具有與參考塊108在參考幀101上的位置相對應(yīng)的值。如上所述，在塊匹配中，作為相關(guān)值的SAD值最小的參考塊108的參考矢量4皮沖企測作為運動矢量104。
因此，在塊匹配中，通常如圖7所示才企測運動矢量104。具體地，在存儲器中以與對應(yīng)于參考塊108的位置的參考矢量107 (為了簡化描述，對應(yīng)于參考塊108的位置的參考矢量107在下文稱作參考塊108的參考矢量107)對應(yīng)的關(guān)系來預(yù)先存儲在搜索范圍106內(nèi)設(shè)定的多個參考塊108中的每一個與目標(biāo)塊102之間的SAD值(為了簡化描述，該SAD值在下文稱作參考塊108的SAD值)。然后，檢測在存儲器中存儲的所有參考塊108中具有最小的一個SAD ^f直的參考塊108來檢測運動矢量104。
在搜索范圍106內(nèi)設(shè)定的、與對應(yīng)于參考塊108的位置的參考矢量107相對應(yīng)地存〗諸的多個參考塊108的相關(guān)^直(在所述實例中為SAD值)被稱作相關(guān)值表。在所描述的實例中，由于作為差分絕對值和的SAD值被用作相關(guān)值，所以相關(guān)值表被稱作差分絕對值和表或SAD表。
圖7示出了 SAD表TBL。參照圖7，在所示的SAD表TBL中，每個參考塊108的相關(guān)值(在所示實例中為SAD值)被稱作相關(guān)值表元素。在圖7的實例中，由參考數(shù)字lll表示的SAD值是參考矢量為矢量(0， 0)時的SAD值。此外，在圖7的實例中，由于當(dāng)參考矢量為矢量(3, 2)時SAD值的最小值為"7",所以所確定的運動矢量104為矢量(3， 2)。
注意，例如，目標(biāo)塊102和參考塊108的位置意味著諸如各個塊的中心位置的任意具體位置。此外，參考矢量107表示參考幀101的目標(biāo)塊102的投影圖像塊109的位置與參考塊108的位置之間的位移量(包括方向)。
由于對應(yīng)于每個參考塊108的參考矢量107是參考幀101上參考塊108相對于與目標(biāo)塊102對應(yīng)的投影圖像塊109的位置的位移，所以如果指定了參考塊108的位置，也就對應(yīng)于該位置指定了參考矢量的值。因此，指定參考塊的相關(guān)值表元素在匹配處理范圍110的存儲器中的地址，然后指定對應(yīng)的參考矢量。
值。如果祠4皮同時處理的目標(biāo)塊凌史增多，則處理速度加快。然而，由于用于計算SAD值的硬件規(guī)模增大，所以處理速度的加快和電路規(guī)模的增大具有折中關(guān)系。
實施例的i夾匹酉己
上面塊匹配的描述涉及一個目標(biāo)塊的運動矢量的計算。由于目標(biāo)塊在目標(biāo)幀中的所占比率通常^^f氐，所以通常難以將運動矢量直4妄確定為全局運動矢量。
在本實施例中，如圖8所示，例如，目標(biāo)幀100 ^皮劃分成64個^f象素x 64條線大小的多個目標(biāo)塊102，并確定每個目標(biāo)塊的運動矢量或局部運動矢量104B。此時，在本實施例中，同時計算表示每個所確定的局部運動矢量的可靠性的指標(biāo)。隨后，基于局部運動矢量的可靠性指標(biāo)，僅提取那些關(guān)于具有高可靠性的目標(biāo)幀所確定的局部運動矢量，并且僅根據(jù)所提取的具有高可靠性的局部運動矢量來計算全局運動矢量。然后，所計算的全局運動矢量^f皮用于才丸4亍參考幀相對于目標(biāo)幀的定位，隨后，疊加以這種方式定^f立的兩個幀以生成降P桑圖4象。
然后，當(dāng)進行靜止圖片圖像拾取時，圖像拾取裝置高速拾取圖
9所示的多個靜止圖像，將第一個靜止圖片拾取圖像確定為目標(biāo)幀100，而將預(yù)定數(shù)目的靜止圖片拾取圖像(包括第二個及隨后的靜止圖片拾取圖像)確定為參考幀101。隨后，圖像拾取裝置使用目標(biāo)幀100和參考幀101執(zhí)行疊加，并將所得到的疊加圖像記錄為靜止圖片拾取圖像。具體地，如果圖像拾取者按下圖像拾取裝置的快門按鈕，則高速拾取預(yù)定數(shù)目的靜止圖像。隨后，在第一個拾取的靜止圖像(幀)上，疊加并記錄時間上在后拾取的多個靜止圖像(幀)。
注意，盡管沒有在本實施例的描述中描述，4旦是當(dāng)進4亍運動圖片圖像拾取時，當(dāng)前從圖像拾取元件中輸出的當(dāng)前幀的圖像被確定為目標(biāo)幀100的圖^象，而過去的先前幀的圖傳j皮確定為參考幀101的圖像。換句話說，當(dāng)進行運動圖片圖^f象拾取時，為了執(zhí)行當(dāng)前幀的圖像的降噪，在當(dāng)前幀之前幀的圖像被疊加到當(dāng)前幀上。
圖像拾取裝置的硬件結(jié)構(gòu)實例
圖1示出了作為根據(jù)本發(fā)明實施例的圖像處理裝置的圖像拾取
裝置的實例。
參照圖1,所示的圖像拾取裝置包括連接至系統(tǒng)總線2的中央處理單元(CPU) 1,并且還包括連接至系統(tǒng)總線2的拾取圖像信號處理系統(tǒng)IO、用戶操作輸入單元3、圖像存儲單元4以及記錄和再生裝置單元5。注意，盡管在圖1中未示出，但CPU1包括其中存儲有用于執(zhí)行各種軟件處理的程序的ROM (只讀存儲器)、用于工作區(qū)的RAM (隨機存取存儲器)等。
圖1的圖像拾取裝置的圖像拾取信號處理系統(tǒng)10響應(yīng)于通過用戶操作輸入單元3的圖像拾取記錄啟動操作執(zhí)行如下所述的拾取圖像數(shù)據(jù)的記錄處理。此外，拾取圖像信號處理系統(tǒng)10響應(yīng)于通過用戶操作輸入單元3的拾取記錄圖像的再生啟動操作來執(zhí)行記錄在記錄和再生裝置單元5的記錄介質(zhì)上的^合取圖《象凄t據(jù)的再生處理。
在拾取圖像信號處理系統(tǒng)10中，通過包括圖像拾取透鏡10L的相機光學(xué)系統(tǒng)(未示出)接收的來自圖像拾取對象的入射光照射在圖^f象拾耳又元件11上以才合取圖〗象。在本實施例中，圖傳^合取元件11由CCD (電荷耦合器件)成像器形成。注意，圖像拾取元件11還可以由CMOS (互補金屬氧化物半導(dǎo)體)成1象器形成。
在圖像拾取裝置中，如果執(zhí)行了圖像拾取記錄啟動操作，則通過圖像拾取透鏡10L輸入的圖像經(jīng)由圖像拾取元件11被轉(zhuǎn)換成拾取圖像信號。隨后，由紅色(R)、綠色(G)和藍色(B)的三原色所形成的貝爾陣列的原信號形式的模擬拾取圖像信號被輸出作為與來自定時信號生成部12的定時信號同步的信號。所輸出的模擬拾取圖像信號被提供給預(yù)處理部13,通過預(yù)處理部來執(zhí)行諸如缺陷校正和y校正的預(yù)處理，并且所得到的模擬圖像信號被提供給數(shù)據(jù)轉(zhuǎn)換部14。
數(shù)據(jù)轉(zhuǎn)換部14將以原信號形式輸入其中的模擬拾取圖像信號轉(zhuǎn)換成數(shù)字拾取圖像信號或由亮度信號分量Y和色差信號分量Cb/Cr組成的YC數(shù)據(jù)。根據(jù)通過用戶操作輸入單元3接收的圖像拾取指令，將來自數(shù)據(jù)轉(zhuǎn)換部14的數(shù)字拾取圖像信號寫入圖像存儲單元4。
具體地，如果通過用戶操作輸入單元3接收的圖像拾取指令是按壓快門按鈕而開始的靜止圖片拾取指令，則將來自數(shù)據(jù)轉(zhuǎn)換部14的數(shù)字拾取圖像信號寫入圖像存儲單元4，從而使如上所述將彼此疊加的多個幀被寫入圖像存儲單元4的第一 ~第N個幀存儲器41 ~4N (N為將疊加的靜止圖片數(shù))。
在本實施例中，按下快門按鈕時的第一個幀的圖像數(shù)據(jù)凈皮作為目標(biāo)幀的圖像數(shù)據(jù)寫入第一幀存儲器41。隨后，第二個和隨后的幀圖像的數(shù)據(jù)被作為參考幀的圖像數(shù)據(jù)順序?qū)懭氲诙?第N個幀存儲器42 ~ 4N。
在將不同幀的多個圖像寫入圖像存儲單元4之后，通過全局運動矢量計算塊15讀入目標(biāo)幀的圖像數(shù)據(jù)和參考幀的圖像數(shù)據(jù)，并沖丸4亍下文所述的塊匹配處理，以才丸4亍局部運動矢量LMV的沖企測、局部運動矢量LMV的可靠性的計算和全局運動矢量GMV的計算。
在本實施例中，全局運動矢量計算部15輸出全局運動矢量GMV的信息、目標(biāo)幀的圖像數(shù)據(jù)TGv和參考幀的圖像數(shù)據(jù)REFv 。
來自全局運動矢量計算部15的全局運動矢量GMV的信息和參考幀的圖像數(shù)據(jù)REFv被提供給運動補償生成部16。運動補償生成部16基于全局運動矢量GMV對參考幀的圖像數(shù)據(jù)REFv應(yīng)用對應(yīng)于全局運動的處理(即，包括平行移動、旋轉(zhuǎn)以及放大或縮小的轉(zhuǎn)換處理)，從而生成運動補償圖{象。
隨后，來自全局運動矢量計算部15的目標(biāo)幀的圖^f象^t據(jù)TGv被提供給相加部17,并且來自運動補償生成部16的運動補償圖像的圖像數(shù)據(jù)MCv被提供給相加部17。相加部17將圖像數(shù)據(jù)TGv 和MCv的相應(yīng)位置處的像素相加，以執(zhí)行圖像的疊加處理，并輸 出所得到的和圖像(降噪圖《象)的圖像數(shù)據(jù)MIXv。
來自相加部17的和圖^f象的圖傳4丈據(jù)MIXv作為在先前目標(biāo)幀 的圖像數(shù)據(jù)上的目標(biāo)幀的圖像數(shù)據(jù)被重寫到圖像存儲單元4的第一 幀存儲器41中。
具體地，第一幀存儲器41的目標(biāo)幀的圖像數(shù)據(jù)首先是緊接在 按下快門按鈕之后的第一幀的圖像數(shù)據(jù)。然而，如果將作為參考幀 的第二幀的運動補償圖像的圖像數(shù)據(jù)MCv和目標(biāo)幀相加，則第一 幀存儲器41的目標(biāo)幀的圖像數(shù)據(jù)被重寫為相加結(jié)果的和圖像的圖 像數(shù)據(jù)MIXv。隨后，對于作為參考幀的第三幀的圖像數(shù)據(jù)，和圖 像的圖像數(shù)據(jù)MIXv用作目標(biāo)幀的圖4象數(shù)據(jù)。隨后，通過全局運動 矢量計算部15如上所述類似;也計算全局運動矢量GMV,并通過相 加部17執(zhí)行圖像疊加處理。然后，將相加結(jié)果的和圖像的圖像數(shù) 據(jù)MIXv作為在先前目標(biāo)幀的圖像數(shù)據(jù)上的目標(biāo)幀的圖像數(shù)據(jù)被重 寫到在圖像存儲單元4的第一幀存儲器41中。此后，對于作為參 考圖像的第四和隨后幀中的每一個執(zhí)行類似的處理操作。
因此，在執(zhí)行了直至作為參考圖像的第N個圖像的圖像的疊加 處理之后，疊加了所有待疊加的N幀的降噪圖像被寫入到圖像存儲 單元4的第一幀存儲器41中。
隨后，將存儲在圖像存儲單元4的第一幀存儲器41中、作為 疊加結(jié)果的降噪圖像的和圖像(sum image )的圖像數(shù)據(jù)MIXv通過 系統(tǒng)總線2才是供給靜止圖片編解碼部18,通過靜止圖片編解碼部 18進行編解碼轉(zhuǎn)換，并例如記錄在諸如記錄和再生裝置單元5的 DVD (數(shù)字通用盤)或硬盤的記錄介質(zhì)上。在本實施例中，靜止圖片編解碼部18根據(jù)JPEG (聯(lián)合圖象專家組)體系來對靜止圖片執(zhí) 4亍圖{象壓縮編石馬處理。
此外，在靜止圖片圖像拾取模式中，在按下快門按鈕之前，來 自數(shù)據(jù)轉(zhuǎn)換部14的圖像數(shù)據(jù)通過圖像存儲單元4的第一幀存儲器 41被提供給分辨率轉(zhuǎn)換部19，并通過分辨率轉(zhuǎn)換部19被轉(zhuǎn)換成預(yù) 定分辨率的數(shù)據(jù)。隨后，所得到的圖像數(shù)據(jù)被提供給NTSC (國家 電視系統(tǒng)委員會)編碼器20,通過編碼器將所得到的圖像數(shù)據(jù)轉(zhuǎn)換 成NTSC方式的標(biāo)準色圖像信號。隨后，所得到的標(biāo)準色圖像信號 一皮提供給例如可由LCD(液晶顯示器)面纟反形成的監(jiān)控顯示單元6, 并在監(jiān)控顯示單元6的顯示屏上顯示靜止圖片圖像拾取才莫式的監(jiān)控 圖像。
響應(yīng)于通過用戶才乘作輸入單元3的再生啟動才乘作來讀出記錄在 記錄和再生裝置單元5的記錄介質(zhì)上的靜止圖片的圖像數(shù)據(jù)，并將 其沖是供給靜止圖片編解碼部18,通過,爭止圖片編解碼部18將它們 進行解碼以用于再生。隨后，為再生而解碼的靜止圖片的圖像數(shù)據(jù) 通過圖像存儲單元4的緩沖存儲器(未示出)凈皮提供給NTSC編碼
信號。隨后，標(biāo)準色圖像信號被提供給監(jiān)控顯示單元6,并在監(jiān)控 顯示單元6的顯示屏上顯示其再生圖^象。
注意，盡管在圖1中未示出，但仍能夠通過圖像輸出終端將來 自NTSC編碼器20的輸出圖^f象信號導(dǎo)向外部。
注意，在本實施例中，雖然通過,爭止圖片編解碼部18以壓縮 形式來記錄圖像凄t據(jù)，^f旦是也可以省略靜止圖片編解碼部18而不 以壓縮形式記錄圖j象凄史據(jù)。此外，可以通過石更件或^f吏用DSP (凄t字信號處理器)來形成上 述全局運動矢量計算部15和運動補償生成部16。此外，可通過CPU 1的軟件處理來代盧l全局運動矢量計算部15和運動補償生成部16。
類似地，可以通過石更件或4吏用DSP來形成相加部17。此夕卜， 可通過CPU 1的軟件處理來^替相加部17。這還可以類似地應(yīng)用 于請爭止圖片編解碼部18。
全局運動矢量計算部15
在本實施例中，全局運動矢量計算部15基本上^吏用參照圖 2A 圖7在上文所述的SAD值來沖丸行塊匹配處理，以#1^亍局部運 動矢量4企測。然而，注意，在本實施例中，全局運動矢量計算部15 由如下所述的硬件構(gòu)成，并通過分層塊匹配處理和內(nèi)插處理來計算 局部運動矢量。此外，如上所述，全局運動矢量計算部15還計算 每個局部運動矢量的可靠性指標(biāo)。
分層的塊匹配處理
在現(xiàn)有塊匹配的普遍運動矢量檢測處理中，在搜索范圍內(nèi)以像 素為單位(即，以一個像素為單位或以多個像素為單位)移動參考 塊，并計算參考塊在每個移動位置處的SAD值。隨后，4企測在以 這種方式計算的SAD值中表示最小值的SAD值，并基于表示最小 SAD值的參考塊位置來4全測運動矢量。
ot匕夕卜，在本實施例中，由于一幀凈皮劃分成多塊，所以通過順序 轉(zhuǎn)變目標(biāo)塊和參考塊對整個畫面圖傳4^f亍上述塊匹配處理，乂人而執(zhí) 4亍目標(biāo)幀中所有目標(biāo)塊的局部運動矢量LMV的計算。然而，上述這種現(xiàn)有運動矢量4企測處理存在一個問題由于參 考塊在搜索范圍內(nèi)以l象素為單位移動，所以用于計算SAD值的匹 配處理的次凄t增加，從而增加了匹配處理時間，并且SAD表的容 量也與搜索范圍成正比地增大。如果考慮到靜止圖像像素數(shù)的增 加、運動圖片清晰度的提高(更高的清晰度)以及一個圖像的尺寸 變大，則這個問題尤其顯著?，F(xiàn)有運動矢量4企測處理還存在一個問 題通過系統(tǒng)總線2訪問圖像存儲器的次凄史增加，并且必須增大總 線帶。
考慮到上述問題，在本實施例中，執(zhí)行分層的塊匹配，其中， 首先減小目標(biāo)圖像或目標(biāo)幀以及參考圖像或參考幀的尺寸，以準備 縮小圖像和中間圖像，隨后，按縮小圖像、中間圖像和原始圖像的 順序執(zhí)行塊匹配的運動矢量搜索，同時將先前階段的塊匹配結(jié)果反 映在下一階段的搜索中。通過執(zhí)行分層的塊匹配，以相對少量的計 算和處理來有效地纟丸行局部運動矢量的計算。
圖ll示出了分層的塊匹配。參照圖11,在所示實例中，基底 面目標(biāo)幀201和基底面參考幀301的尺寸縮小至l/a'1/b ( 1/a和1/b 為縮小率，并且a〉l和b〉1)，以分別生成縮小面目標(biāo)幀211和縮小 面參考幀311。隨后，將基底面目標(biāo)幀201和基底面參考幀301縮 小至1/b，以分別生成中間面目標(biāo)幀221和中間面參考幀321。
盡管可以相對于基底面對縮小面和中間面4吏用任意倍率 (scale )，但是可以將它們適當(dāng)?shù)卦O(shè)定為1/2~1/8倍，即，轉(zhuǎn)換成 4象素數(shù)時為1/4~1/64倍。注意，在圖ll的實例中，縮小面相對于 中間面的縮小率為1/4,即，a = 4，而中間面才目只于于基底面的縮小 率為1/4，即，b = 4。
此外，為了生成縮小面和中間面，可應(yīng)用4壬意的方法。然而， 如果應(yīng)用僅響應(yīng)于縮小率對原始圖像的像素進行釆樣來生成縮小面或中間面的方法，則生成折返(jreflection)分量，并且在第一層 (縮小面)中檢測到的運動矢量很可能偏離正確的運動矢量。因此， 首先通常將具有適合于縮小率的截止頻帶的低通濾波器應(yīng)用于原 始圖像，然耨執(zhí)行適合于該縮小率的采樣。
在本實施例中，計算在包括通過根據(jù)倍率的采樣而消失的那些 像素的像素的亮度平均值，并將其用作縮小面像素或中間面像素的 亮度值。具體地，在l/a縮小的情況下，計算axa像素的正方形區(qū) 域中的亮度平均值，并用作縮小面像素或中間面像素的亮度值。在 這種情況下，即^f吏首先形成中間面并隨后/人中間面生成縮小面，仍 能夠獲得與通過原始畫面圖像直接生成縮小面的情況相同的結(jié)果。 因此，這種方法效率更高。
注意，當(dāng)生成縮小圖^f象時，水平方向上的縮小率和垂直方向上 的縮小率可以與上述情況相同，或者也可以不同。
在以上述方式生成縮小面或中間面之后，首先為縮小面目標(biāo)幀 211 i殳定縮小面目標(biāo)塊212，并且為縮小面參考幀311纟殳定縮小面控_ 索范圍313。隨后，通過縮小面運動矢量檢測裝置401對在縮小面 搜索范圍313內(nèi)的多個縮小面參考塊312執(zhí)行塊匹配處理，以檢測 呈現(xiàn)最小SAD值的縮小面參考塊位置，從而檢測縮小面運動矢量 MVs。
在本實例中，縮小面運動矢量檢測裝置401對作為縮小面目標(biāo) 塊212的大小的塊(即，水平方向上的〗象素ltx垂直方向上的線凄t 的塊)的塊匹配處理單4立執(zhí)4亍處理。
在縮小面運動矢量MVs的計算結(jié)束之后，在大小等于縮小面 目標(biāo)幀211乘以a的中間面目標(biāo)幀221上" 殳定中間面目標(biāo)塊222。在圖11的實例中，中間面運動矢量4企測裝置402對作為尺寸 與縮小面運動矢量沖全測裝置401的塊匹配處理單位相同的塊(即， 相等像素數(shù)=水平方向上的相等像素數(shù)x垂直方向上的相等線數(shù)) 的中間目標(biāo)塊導(dǎo)丸4亍塊匹配處理。
在本實例的情況下，由于縮小面具有中間面1/a的尺寸，所以 與縮小面目標(biāo)塊212相乂于應(yīng)的、包4舌在中間面目標(biāo)幀的區(qū)i或中的中 間面目標(biāo)塊222的數(shù)目為a，并且所有中間面目標(biāo)塊222設(shè)定為中 間面運動矢量4企測裝置402的塊匹配處理對象。
隨后，在具有尺寸等于縮小面參考幀311的a倍的中間面參考 幀321中，i殳定以縮小面運動矢量MVs為中心的中間面4叟索范圍 323。隨后，通過運動矢量檢測裝置402對中間面搜索范圍323內(nèi) 的多個中間面目標(biāo)塊322執(zhí)行上述塊匹配處理，以檢測呈現(xiàn)最小 SAD值的中間面參考塊位置，/人而才全測中間面運動矢量MVm。
中間面運動矢量檢測裝置402在中間面搜索范圍323內(nèi)所設(shè)定 的每個中間面目標(biāo)塊中執(zhí)行塊匹配處理，以沖企測每個中間面目標(biāo)塊 的運動矢量。隨后，多個運動矢量中呈現(xiàn)最小SAD值的那一個尋皮 4企測作為中間面的縮小面運動矢量MVs，即，中間面運動矢量。
在縮小面運動矢量MVs的計算結(jié)束之后，在具有等于中間面 目標(biāo)幀221的b倍的尺寸的基底面目標(biāo)幀201中設(shè)定基底面目標(biāo)塊 202。
在圖11的實例中，基底面運動矢量檢測裝置403也對作為尺 寸與運動矢量檢測裝置401和402相同(即，相等像素數(shù)=水平方 向上的相等像素數(shù)x垂直方向上的相等線數(shù))的塊的處理單位塊執(zhí)
4亍Jt夾匹配處理。隨后，由于以上述處理單位塊為單位獲得了中間面運動矢量
MVm,所以設(shè)定作為基底面運動矢量4企測裝置403的對象的基底面 目標(biāo)幀201的基底面目標(biāo)塊202的數(shù)目，以使其等于尺寸等于如圖 11中的斜線所表示的縮小面的塊(即，處理單位塊)的數(shù)目的b倍。
另一方面，在具有等于中間面參考幀321的b^咅的尺寸的基底 面參考幀301中，i殳定以縮小面運動矢量MVs和中間面運動矢量 MVm的合成矢量為中心的基底面搜索范圍303。通過基底面運動矢 量才企測裝置403在基底面搜索范圍303中對多個基底面參考塊302 沖丸行上述塊匹配處理，以;險測呈現(xiàn)最小SAD值的基底面參考塊的 位置，從而檢測基底面運動矢量MVb。
由于以相同尺寸的處理單位塊為單位獲得縮小面運動矢量 MVs和中間面運動矢量MVm，所以以縮小面運動矢量MVs和中間 面運動矢量MVm的合成矢量為中心所設(shè)定的基底面搜索范圍303 比包括b個基底面目標(biāo)塊202的區(qū)域大一點。
基底面運動矢量檢測裝置403在具有b個基底面目標(biāo)塊202的 基底面搜索范圍303中所設(shè)定的基底面目標(biāo)塊的搜索范圍內(nèi)執(zhí)行塊 匹配處理，從而執(zhí)行基底面目標(biāo)塊的運動矢量的檢測。隨后，多個 運動矢量中呈現(xiàn)最小SAD值的那一個^皮;險測作為基底面運動矢量 MVb，即，基底面的基底面運動矢量。
隨后，作為以上述方式確定的縮小面運動矢量MVs、中間面運 動矢量MVm和基底面運動矢量MVb的合成矢量，4企測基底面目 標(biāo)幀201與基底面參考幀301之間的基底面目標(biāo)塊的局部運動矢量 LMV。
對目標(biāo)幀和參考幀的所有區(qū)域都執(zhí)行如上所述的這種分層的 塊匹配處理，同時順序轉(zhuǎn)變目標(biāo)塊和參考塊，從而以在目標(biāo)幀中詔: 定的多個目標(biāo)塊為單位計算所有的多個局部運動矢量LMV。在圖ll的實例中，運動矢量沖企測裝置401、 402和403實際上
是一個裝置，它們的區(qū)別在于從圖像存儲單元4中讀出然后輸入的 目標(biāo)塊以及從搜索范圍內(nèi)讀出的參考塊。
注意，在配置基底面目標(biāo)幀201以獲纟尋所有基底面目標(biāo)塊202 的局部運動矢量LMV的情況下，應(yīng)執(zhí)行目標(biāo)塊的轉(zhuǎn)變，以便在縮 小面上設(shè)定縮小面目標(biāo)塊，同時，根據(jù)倍率l/a和l/b，在水平方向 上將縮小面順序移動與水平方向上的像素數(shù)相對應(yīng)的量，并根據(jù)倍 率1/a和1/b，將縮小面在垂直方向上順序移動與垂直方向上的線數(shù) 沖目義寸應(yīng)的量。
然而，通過由多個局部運動矢量LMV確定全局運動矢量GMV 的對象，可以將縮小面目標(biāo)塊i殳定為在水平方向和垂直方向上順序 移動，使得關(guān)于在基底面目標(biāo)幀201的跳過位置處的基底面目標(biāo)塊 獲4尋局部運動矢量LMV。
層的縮小面和基底面來4丸^f亍，或者可以包4舌用于不同中間面的多個 中間層。但是，如果縮小率很高使得在同一單位塊中包括了運動圖 像拾取對象和背景，則最初應(yīng)該被檢測作為不同運動矢量的多個運 動矢量被作為單個運動矢量而處理。由于在后續(xù)層中無法恢復(fù)，所 以必須小心地纟丸^f于縮小率的選才奪。
局部運動矢量LMV的可靠性的計算
在具有相對大量噪聲的圖像為目標(biāo)圖《象的情況下，由于SAD 值受到噪聲影響，所以通常不能獲得正確的矢量。圖12為夜景的 照片，其包括相對大量的噪聲。如果示出圖12的圖^f象與包含非常 小的旋轉(zhuǎn)量的同時通過左方的相機抖動所拾取的圖像之間的運動矢量，則得到如圖13所示的這種結(jié)果。圖13是通過繪制通過將原 始圖片縮小至1/8所獲得的縮小圖像的縮小面運動矢量得到的。
如圖13所示，獲得其紋理不是特別清晰的夜空的運動矢量作 為十分多樣的運動。在分層的塊匹配中，由于在生成縮小圖i象時應(yīng) 用低通濾波器，所以耐噪聲性相對高。但是，如圖13所示，縮小 圖像受到噪聲影響。由于通過縮小面運動矢量周圍的搜索獲得基底 面的局部運動矢量LMV,所以如果縮小畫面圖^象運動矢量偏離了 正確的運動矢量，則恢復(fù)無效，并且縮小面運動矢量直接受噪聲影 響并進一步^皮護C亂。
即使根本不具有噪聲的拾取圖像為目標(biāo)圖像，但如果圖像的紋 理不清晰，則由于連續(xù)拍攝圖像拾取時外部光線的微小變化或曝光 時間的差引起的灰階變化更大，并且所才企測的運動矢量通常偏離正 確值。此外，當(dāng)大量的樹木或諸如大樓的人工結(jié)構(gòu)具有很多重復(fù)的 紋理圖案時，即-使通過剛剛描述的紋理的重復(fù)圖案，所4企測的運動 矢量也可能會偏離正確^直。
假設(shè)剛剛描述的這種情況，在相關(guān)4支術(shù)中已經(jīng)進行了僅使用具 有高可靠性的運動矢量來計算全局運動的嘗試。例如，已^是出4丸行 目標(biāo)圖^象的邊纟彖^r測，并確定具有清晰邊纟彖的塊的運動矢量作為具 有高可靠性的運動矢量，或者使用目標(biāo)圖像的IDCT (離散反余弦 變換)結(jié)果的DC分量和AC分量來計算可靠性。
還推薦了一種方法，其中，使用作為一種濾波器的角檢測器來 檢測目標(biāo)圖像上的特征點，使得所得到的運動矢量具有高可靠性， 或者按照在參考圖像上也維持多個特征點的位置關(guān)系的假設(shè)，從多 個運動矢量的組合中提取出高可靠性的運動矢量。然而，上述這些現(xiàn)有技術(shù)并沒有假設(shè)高噪聲的圖像，并且明顯 對于具有高水平噪聲的圖像無效。
在本實施例中，考慮到上述情況，采用了一種對策來獲得可靠 性指標(biāo)值，通過其即使是高噪聲環(huán)境下的圖像也能估算運動矢量的
可靠性。
在本實施例中，目標(biāo)塊和參考塊之間的相關(guān)值中的第一極大值 和第二極大值的差或比用作相對于運動矢量可靠性的指標(biāo)值。在本
實施例中，由于目標(biāo)塊和參考塊之間的相關(guān)值被檢測為SAD值， 所以相關(guān)值中的第一極大值和第二極大值分別為SAD值的第一極 小值和第二極小值。
圖14示意性示出了關(guān)于一個目標(biāo)塊的SAD表的SAD值。在 圖14中，搜索范圍被表示為在圖像的水平方向或x方向以及垂直 方向或y方向上的二維范圍，并在高度方向上(即，在與x和y方 向垂直的方向上)取SAD值。因此，SAD表凈皮表示為3次曲面。
在通常的塊匹配處理中，為了檢測運動矢量，4又將SAD表中 SAD值的最小值確定為檢測對象。然而，SAD值的這個最小值是 SAD表中的SAD值的第一極小值，并且在圖14中，該值假設(shè)由點 501所表示的位置。在圖14中，檢測運動矢量MV作為從運動的原 點(即，(x = 0, y = 0))至由點501所表示的SAD值的最小值位 置的矢量。
如果考慮到不存在^^桑聲的理想狀態(tài)，則當(dāng)確定4臾索范圍內(nèi)的多 個參考塊和目標(biāo)塊之間的相關(guān)值時，由3次曲面表示的SAD表呈 現(xiàn)以下狀態(tài)其中，3次曲面均勻向下凸出，并且4又存在SAD值的 一個極小值。但是，在實際的圖像拾取狀態(tài)下，因為不僅存在光量 變化、運動體的運動等影響，而且還存在各種噪聲的影響，所以由3次曲面表示的SAD表幾乎不呈現(xiàn)均勻向下凸出的形狀，而是通常 具有SAD值的多個極小值。
因此，在本實施例中，基于呈現(xiàn)等于SAD值的最小值的第一 極小值的參考塊的位置來檢測運動矢量MV。但是，SAD值中除 SAD值的第一極小值之外的極小值(即，SAD值的第二極小值) 4皮才全測用于生成相對于可靠性的指標(biāo)。在圖14中，由點501表示 的位置代表第一極小值，而由另一個點502表示的位置代表極小最 小值。
如果限制噪聲等的影響，則SAD值的第一極小值和SAD值的 第二極小值之間的差值很大，并且通過SAD值的第一極小值(即， 通過SAD值的最小值)所^r測的運動矢量MV的可靠性4艮高。另 一方面，在包括大量噪聲等的另一種環(huán)境下，SAD值的第一極小值 和SAD值的第二極小值之間的差值很小，不能夠區(qū)分SAD值的第 一和第二極小值中的哪一個正確地對應(yīng)于運動矢量MV。因此，可 靠性很低。
如上所述，SAD值的第一極小值(SAD值的最小值)和SAD 值的第二極、值之間的差值被確定作為相對于所檢測運動矢量的 可靠性指標(biāo)。圖15示出了在一維軸上表示圖14中的搜索范圍的 SAD表。在本實施例中，圖15中的第二極小值與第一極小值(即， SAD值的最小值)之間的差被確定為運動矢量MV的指標(biāo)值Ft。
注意，在僅獲得SAD值的第一極小值而沒有獲得第二極小值 的情況下，在本實施例中，將SAD值理論上的最大值或SAD值表 中的SAD值的最大值確定為運動矢量MV的可靠性指標(biāo)值。因此， 確定剛剛描述的這種塊的運動矢量很高。但是，由于所描述類型的 塊很少存在，所以可以從可靠性的估算中排除僅從中獲得SAD值 的第一極小值而沒有獲得第二極小值的塊的運動矢量。
36注意，代替SAD值的第一極小值(SAD值的最小值)與SAD 值的第二極小值之間的差，SAD值的第一極小值(SAD值的最小 值)與SAD值的第二極小值之間的比可以;波用作運動矢量MV的 指標(biāo)值Ft。但是，在下面的描述中，使用的是SAD值的第一極小 值(SAD值的最小值)與SAD值的第二極小值之間的差。
才艮據(jù)本實施例中的運動矢量的可靠性指標(biāo)，由于沒有如相關(guān)才支 術(shù)使用諸如圖像的邊緣或特性的圖像分量而是僅使用了目標(biāo)幀與 參考幀之間的相關(guān)值，所以抗噪穩(wěn)定性;f艮高。換句話說，獲得具有 高精度的運動矢量的可靠性指標(biāo)，而不會受到圖像噪聲影響。
此外，在本實施例中，使用相關(guān)值的第一極大值(SAD值的第 一極小值)與相關(guān)值的第二極大值(SAD值的第二極小值)之間的 差或比也是使本實施例中運動矢量的可靠性指標(biāo)具有很高抗噪穩(wěn) 定性的原因。
具體地，如果噪聲水平升高，則即4吏運動矢量正確，運動矢量 的SAD值仍會升高。因此，在為了提取出具有高可靠性的運動矢 量而對運動矢量的指標(biāo)值Ft設(shè)定閾值從而執(zhí)行與閾值的比較處理 的情況下，還需要響應(yīng)于噪聲水平改變其本身的閾值。
相反，在使用本實施例中的運動矢量的指標(biāo)值Ft的情況下，由 于相關(guān)值中的第 一極大值(SAD值的第 一極小值)和相關(guān)值中的第 二極大值(SAD值的第二極小值)都響應(yīng)于噪聲水平而升高，所以 在兩者的差中，噪聲的影響抵消。換句話說，能夠?qū)崿F(xiàn)不取決于噪 聲水平的固定值的閾值處理。這也類似地應(yīng)用于相關(guān)值中的第一極 大值(SAD值的第一極小值)與相關(guān)值的第二極大值(SAD值的 第二極小值)之間的比被用作運動矢量的指標(biāo)值的情況。順便提及，在對其執(zhí)行塊匹配的目標(biāo)塊的圖像的對比度很低的
情況下，SAD值的第二極小值與SAD值的最小值之間的差具有減 小的趨勢。因此，當(dāng)相同的幀包括具有高對比度的區(qū)域和具有低對 比度的另 一個區(qū)域時，如果將相同的閾值用于估算矢量可靠性的估 算值Ix,則很可能優(yōu)先選擇具有高對比度的區(qū)域。
盡管從運動矢量可靠性的角度來看這是正確的結(jié)果，但是為了 在一定程度上減小具有低對比度的區(qū)域，在本實施例中，用于緩解 對比度影響的項被添加至用于確定相對于運動矢量可靠性的指標(biāo) 值的數(shù)學(xué)運算表達式。具體地，確定目標(biāo)幀圖像的最大亮度值與最 小亮度值之間的差值，并在相對于運動矢量可靠性的指標(biāo)值上反映 亮度的差值。注意，為了避免噪聲的不良影響，在將低通濾波器應(yīng) 用于目標(biāo)幀的圖像數(shù)據(jù)之后，執(zhí)行最大亮度和最小亮度的提取。
鑒于上文所述，給出本實施例中指標(biāo)值Ft的計算表達式
Ft = ( Btm2SAD - MinSAD ) - ( MaxTAR - MinTAR ) x Co
...(表達式l)
其中
Ft:運動矢量的可靠性指標(biāo)值 Btm2SAD: SAD值的第二極小值 MinSAD: SAD值的最小值(第一極小值) MaxTAR:目標(biāo)塊的最大亮度l直 MinTAR:目標(biāo)塊的最小亮度4直Co:力口4又系凄丈(SI)
注意，在相關(guān)值的第 一極大值與相關(guān)值的第二極大值之間的比 被用作運動矢量可靠性指標(biāo)值的情況下，完全類似于上文所給出的 (表達式1 )，用于緩解對比度影響的項也可以被添加至可靠性指標(biāo) 值計算表達式。但是，在運動矢量的指標(biāo)值Ft的計算中，實質(zhì)上并 不必須添加用于緩解對比度影響的項，而是可以省略該項。
在上面的描述中，雖然-f又確定基底面運動矢量MVb的運動矢 量可靠性指標(biāo)值，^旦自然也可以關(guān)于縮小面運動矢量MVs或中間 面運動矢量MVm來類似、i也確定運動矢量的可靠性指標(biāo)l直。
全局運動矢量GMV的計算
在相關(guān)技術(shù)中，不使用上述這種運動矢量的可靠性指標(biāo)值；利 用相同的斥又重來^f吏用只十目才示幀確定的全部多個局部運動矢量LMV, 以計算全局運動矢量GMV。
相反，在本實施例中，能夠以上述方式來獲得目標(biāo)幀的多個局 部運動矢量LMV中的每一個的可靠性指標(biāo)值Ft。
隨后，可以對以這種方式確定的多個局部運動矢量LMV的可 靠性指標(biāo)<直進4于標(biāo)準4匕，從而只于每個局部運動矢量LMV確定例如 大于等于0但小于等于1的加權(quán)系數(shù)。隨后，在全局運動矢量GMV 的計算運算操作中，可以不通過相同的權(quán)重而是通過才艮據(jù)各個加權(quán) 系凄t所確定的多個斥又重來4吏用局部運動矢量LMV，以計算全局運 動矢量GMV。然而，為了簡化全局運動矢量GMV的運算才喿作處理來降4氐運 算操作負荷，在本實施例中，將局部運動矢量LMV的加權(quán)系數(shù)W 二進值化成0和1。
因此，在本實施例中，設(shè)定用于運動矢量的指標(biāo)值Ft的閾值 th,并根據(jù)以下運算操作表達式使用每個運動矢量的指標(biāo)值Ft來計 算每個全局運動矢量GMV的加片又系凄t W:
當(dāng)Ft>th, W= 1,而
當(dāng)Ft^th, W = 0
...(表達式2)
這等價于將指標(biāo)值Ft用于判定多個局部運動矢量LMV中的每 一個的可靠性并但y人多個局部運動矢量LMV中才是耳又出那些具有高 可靠性的局部運動矢量LMV,然后僅將所提取的具有高可靠性的 局部運動矢量LMV用于計算全局運動矢量GMV。在本實施例中， 由于目標(biāo)幀中的目標(biāo)塊數(shù)相對較多，所以即使在使用如本實例僅提 耳又具有高可靠性的局部運動矢量LMV的方法的情況下，仍能夠計 算具有高精度的全局運動矢量GMV。
注意，下文將描述通過多個局部運動矢量LMV來計算全局運 動矢量GMV的具體處理實例。
盡管從上面參照圖12描述的具有大量噪聲的圖像中獲取如圖 13所示的這些局部運動矢量，但是如果使用根據(jù)本實施例的運動矢 量的可靠性指標(biāo)值對圖13的圖像上表示的局部運動矢量執(zhí)行可靠 性判定，以4又提取那些具有高于閾值的可靠性的可靠性指標(biāo)值并隨 后繪制塊和運動矢量，則獲得如圖16所示的這種圖像。鑒于此，
40對于圖16所示的多個塊，獲得基本正確的局部運動矢量，而不受
噪聲影響。
全局運動矢量計算部15的》更件結(jié)構(gòu)的實例
全局運動矢量計算部15 "^U于如上所述的對每個目標(biāo)塊^r測局 部運動矢量LMV、計算所;險測局部運動矢量LMV的可靠性指標(biāo)值、 計算全局運動矢量GMV等處理。
圖17示出了全局運動矢量計算部15的石更件結(jié)構(gòu)的實例。參照 圖17,全局運動矢量計算部15包括目標(biāo)塊緩沖塊151,用于存 儲目標(biāo)塊102的像素數(shù)據(jù)；參考塊緩沖塊152，用于存儲參考塊108 的像素數(shù)據(jù)；匹配處理塊153，用于計算目標(biāo)塊102和參考塊108 的對應(yīng)像素的SAD值；局部運動矢量計算塊154,用于根據(jù)從匹配 處理塊153輸出的SAD值信息來計算局部運動矢量；控制塊155; 運動矢量可靠性指標(biāo)值計算快156;全局運動矢量運算操作塊157; 以及對比度計算塊158。
對比度計算塊158包括低通濾波器1581、最大亮度值檢測部 1582和最小亮度4直4企測部1583。
此外，盡管未示出，但是在本實例中，由目標(biāo)幀和參考幀的圖 像數(shù)據(jù)所生成的原始圖片的目標(biāo)幀和參考幀的縮小面的圖像數(shù)據(jù) 和中間面的圖像數(shù)據(jù)被存儲并保留在圖l象存儲單元4中。
如圖17所示，控制塊155控制全局運動矢量計算部15的處理 順序，并將控制信號提供給全局運動矢量計算部15的組件。
目標(biāo)塊緩沖塊151從圖像存儲單元4的縮小面、中間面或基底 面的目標(biāo)幀的圖像數(shù)據(jù)中讀入指定目標(biāo)塊的圖像凄t據(jù)，并在控制塊 155的控制下將圖像數(shù)據(jù)提供給匹配處理塊153。參考塊緩沖塊152從圖像存儲單元4的縮小面、中間面或基底 面的參考幀的圖像數(shù)據(jù)中讀入指定匹配處理范圍內(nèi)的圖像數(shù)據(jù)，并 在控制塊155的控制下將依次來自匹配處理范圍的圖傳^t據(jù)中的參 考塊的圖l象凄t據(jù)才是供給匹配處理塊153。
匹配處理塊153接收來自目標(biāo)塊緩沖塊151的目標(biāo)塊的圖像數(shù) 據(jù)和來自參考塊緩沖塊152的參考塊的圖像數(shù)據(jù)，并在控制塊155 的控制下對縮小面、中間面和基底面執(zhí)行塊匹配處理。隨后，匹配 處理塊153將參考矢量(即，參考塊的位置信息)和塊匹配處理結(jié) 果的SAD值4是供纟合局部運動矢量計算塊154。
局部運動矢量計算塊154包括用于SAD值的第一極小值存儲 部1541和用于SAD值的第二極小值存儲部1542,并^丸行從來自匹 配處理塊153的SAD值中檢測出SAD值的第一極小值和SAD值 的第二極小值的處理。
隨后，局部運動矢量計算塊154依次更新用于SAD值的第一 極小值存儲部1541中的SAD值的第一極小值和SAD值的第一極 小值的位置信息(即，參考矢量)以及用于SAD值的第二極小值 存儲部1542中的SAD值的第二極小值和SAD值的第二極小值的 位置信息(即，參考矢量)。然后，當(dāng)對于匹配處理范圍內(nèi)的所有 參考塊的塊匹配處理結(jié)束時，局部運動矢量計算塊154^丸^f亍處理梯: 作，以便將處于該時間點的目標(biāo)塊的SAD值的第一極小值和SAD 值的第一極小值的位置信息或參考矢量以及SAD值的第二極小值 和SAD值的第二極小值的位置信息或參考矢量分別存儲在第一極 小值存儲部1541和第二才及小值存儲部1542中。
隨后，當(dāng)對于匹配處理范圍內(nèi)的所有參考塊的塊匹配處理結(jié)束 時，局部運動矢量計算塊154 4企測在SAD 4直存<諸在第一4及小4直存 儲部1541中的參考矢量的信息(即，位置信息)，作為在縮小面、中間面和基底面的每一個中的運動矢量。下文將詳細描述局部運動
矢量計算塊154的處理操作。
本實施例中的局部運動矢量計算塊154在縮小面匹配處理時將 縮小面運動矢量MVs作為局部運動矢量LMV提供給控制塊155。
控制塊155根據(jù)縮小面運動矢量MVs的信息來確定用于中間 面的搜索范圍，并將控制信號提供給目標(biāo)塊緩沖塊151、參考塊緩 沖塊152和匹配處理塊153,以4吏它們才;M亍中間面中的塊匹配。
然后，當(dāng)中間面中的匹配處理結(jié)束時，局部運動矢量計算塊154 將縮小面運動矢量MVs和中間面運動矢量MVm的合成矢量信息作 為局部運動矢量LMV纟是供纟會控制塊155。
控制塊155根據(jù)縮小面運動矢量MVs和中間面運動矢量MVm 的合成矢量信息來確定用于基底面的搜索范圍，并將控制信號提供 給目標(biāo)塊^^沖塊151、參考塊緩沖塊152和匹配處理塊153，以4吏 它們執(zhí)行基底面中的塊匹配。
當(dāng)基底面中的匹配處理結(jié)束時，局部運動矢量計算塊154將縮 小面運動矢量MVs、中間面運動矢量MVm和基底面運動矢量MVb 的合成矢量信息作為局部運動矢量LMV提供給并臨時存儲在全局 運動矢量運算才喿作塊157中。
此外，當(dāng)基底面中的匹配處理結(jié)束時，通過控制塊1S5激活運 動矢量可靠性指標(biāo)值計算部156，以4妄收從局部運動矢量計算塊154 提供的第一極小值存儲部1541的SAD值的最小值MinSAD和第二 極小值存儲部1542的SAD值的第二極小值Btm2SAD。此外，與此同時，將目標(biāo)塊的圖傳4史據(jù)/人目標(biāo)塊鄉(xiāng)爰沖塊151通 過低通濾波器1581提供給最大亮度值4企測部1582和最小亮度值沖全 測部1583。隨后，將通過最大亮度值4全測部1582和最小亮度值沖全 測部1583分別才企測到的最大亮度值MaxTAR和最小亮度值 MinTAR提供給運動矢量可靠性指標(biāo)值計算部156。
運動矢量可靠性指標(biāo)值計算部156使用提供給其的信息，根據(jù) 上文給出的(表達式1 )來計算運動矢量的可靠性指標(biāo)值Ft。隨后， 運動矢量可靠性指標(biāo)值計算部156將計算得到的可靠性指標(biāo)值Ft 提供給全局運動矢量運算^喿作塊157。全局運動矢量運算纟喿作塊157 以與此時提供給其的局部運動矢量LMV相關(guān)聯(lián)的關(guān)系來臨時存儲 輸入其中的可靠性指標(biāo)值Ft。
在針對目標(biāo)幀中所有目標(biāo)塊結(jié)束上述一 系列處理之后，控制塊 155將控制指令信號提供給全局運動矢量運算操作塊157,從而開 始全局運動矢量GMV的運算4喿作處理。
在本實施例中，全局運動矢量運算操作塊157首先根據(jù)來自控 制塊155的控制指令信號，使用以與局部運動矢量LMV相對應(yīng)的 關(guān)系而存儲的運動矢量可靠性指標(biāo)值Ft,根據(jù)上文給出的(表達式 2)來4丸行存儲在其中的多個局部運動矢量LMV的可靠性的判定， 從而僅提取那些示出高可靠性的局部運動矢量LMV。
隨后，全局運動矢量運算操作塊157僅使用所提取的具有高可 靠性的局部運動矢量LMV來執(zhí)4于計算全局運動矢量GMV的運算 」燥作處理，并將所得到的全局運動矢量GMV提供主會相加部17中的 運動補償生成部16。
如上所述，運動補償生成部16對通過全局運動矢量計算部15 發(fā)送至其中的參考幀的圖傳4史據(jù)REFv，利用全局運動矢量GMV執(zhí)4亍對應(yīng)于全局運動的轉(zhuǎn)換處理，從而生成運動補償圖^象。隨后， 將所生成的運動補償圖像疊加到目標(biāo)幀的圖像數(shù)據(jù)上。
由于通過具有高可靠性的局部運動矢量LMV生成本實施例中 的全局運動矢量GMV，所以其具有很高的精度，并且通過疊加獲 得的降噪圖像質(zhì)量很好。
局部運動矢量計算塊154的處理操作
為了4企測SAD值的最小值，本實施例中的局部運動矢量計算 塊154確定位置Po作為判定對象點，并4丸行位置Po處的SAD值 與由圖18中的虛線框所圍繞的位置Po附近和周圍的8個SAD值 之間的比較。隨后，局部運動矢量計算塊154判定該判定對象點的 SAD值是否為由虛線框所圍繞的區(qū)域中的9個SAD值中的最小值 (下文稱作局部極小值)。
然后，如果確定判定對象點的SAD值為局部極小值，則局部 運動矢量計算塊154將判定對象點的SAD值與至此所存々者的SAD 值的極小值進行比較。隨后，如果局部運動矢量計算塊154判定該 判定對象點的SAD值4氐于此前所存儲的SAD值的4及小值，則用新 檢測的局部極小SAD值來更新存儲在其中的SAD值的極小值。
當(dāng)如上所述局部運動矢量計算塊154以1個〗象素為單位4臾索參 考塊以檢測這個局部極小SAD值時，為了將用于存儲SAD值的 SAD表的緩沖存儲器最小化，如圖18所示，準備能夠存儲水平方 向上目標(biāo)塊的尺寸的兩行的SAD值+ 3個SAD值的緩沖存儲器。
如圖18所示，如果將水平方向上目標(biāo)塊尺寸的兩行的SAD值 + 3個SAD值寫入緩沖存儲器，則其變得能夠判定位置Po處的局 部極小值。
45為了將緩沖存儲器的尺寸最小化，如圖18所示，新輸入的SAD 值被重寫到已經(jīng)存儲了不再用于極小值估算或局部極小值檢測的 舊SAD值的存儲位置Pa。具體地，盡管根據(jù)順序?qū)⑿螺斎氲腟AD 值寫入圖18所示的存儲位置Pb,但是卻重新利用不再使用的存儲 位置Pa,從而抑止了存儲器硬件規(guī)模的增大。
注意，除用于存儲局部極小值的緩沖器之外，局部運動矢量計 算塊154還包括上文所述的第一極小值存儲部1541和第二極小值 存《渚部1542。
上述這一系列處理是基本處理，并將該基本處理應(yīng)用于第 一極 小值和第二極小值，從而檢測SAD值的最小值和第二極小值。
在本實施例中，雖然局部運動矢量計算塊154對縮小面、中間 面和基底面才丸4亍相同的才乘作，4旦局部運動矢量計算塊154才全測局部 運動矢量LMV并計算基底面上的局部運動矢量LMV的可靠性指 標(biāo)值。因此，對基底面來說僅需要SAD值的第二極小值，并且可 以省略縮小面和中間面上的SAD <直的第二4及d 、 d直的計算和存4諸。
圖19示出了通過局部運動矢量計算塊154進4亍第一才及小值和 第二極小值的檢測處理操作的流程。
參照圖19，在步-驟S101中，局部運動矢量計算塊154首先從 匹配處理塊153中獲取SAD值。隨后，在步驟S102中，局部運動 矢量計算塊154將位置Po處的SAD值與位置Po周圍位置處的8 個SAD值進行互相比較。然后，在步驟S103中，局部運動矢量計 算塊154基于比較結(jié)果來判定位置Po處的SAD值是否為局部極小 值。
如果在步驟S103中判定位置Po處的SAD值不是局部極小值， 則處理返回步驟S101,以執(zhí)行下一個SAD值的獲耳又。另一方面，如果在步驟S103中判定^f立置Po處的SAD^f直為局 部極小值，則在步驟S104中，局部運動矢量計算塊154將存儲在 其中的SAD值的第一極小值和第二極小值與位置Po處的SAD值
進行比較。
隨后，局部運動矢量計算塊154判定位置Po處的SAD值是否 低于存儲在其中的SAD值的第一極小值。然后，如果判定位置Po 處的SAD佳^交^f氐，則在步驟S106中，局部運動矢量計算塊154用 存4諸在第一4及小值存4諸部1541中的SAD值來更新第二才及小值存1諸 部1542,并將位置Po處的SAD值存儲在第一極小值存儲部1541 中。
隨后，在步驟S109中，局部運動矢量計算塊154判定是否通 過目標(biāo)塊完成了對所有參考塊的SAD值的計算處理。如果判定還 沒有完成計算處理，則處理返回步驟S101,在此獲取下一個SAD 值。另一方面，如果在步驟S109中判定通過目標(biāo)塊完成了對所有 參考塊的SAD值的計算處理，則局部運動矢量計算塊154結(jié)束處 理程序。
另一方面，如果在步驟S105中判定位置Po處的SAD值等于 或高于存儲在其中的SAD值的第一極小值，則在步驟S107中，局 部運動矢量計算塊154判定位置Po處的SAD值是否小于存儲在其 中的SAD值的第二極小值。如果判定位置Po處的SAD值4交小， 則在步驟S108中，局部運動矢量計算塊154用位置Po處的SAD 值來更新存儲在第二極小值存儲部1542中的SAD值。
處理/人步-驟S108前進至步驟S109，局部運動矢量計算塊154 判定是否完成了對所有參考塊的SAD值的計算處理。如果判定還 沒有完成計算處理，則處理返回步-驟SlOl，在此獲取下一個SAD值。另一方面，如果在步-驟S109中判定對目標(biāo)塊完成了對所有參 考塊的SAD值的計算處理，則處理程序結(jié)束。
另一方面，如果在步驟S107中判定位置Po處的SAD值不小 于存儲在其中的SAD值的第二極小值，則處理前進至步驟S109， 其中，局部運動矢量計算塊154判定是否對目標(biāo)塊完成了針對所有 參考塊的SAD值的計算處理。如果判定還沒有完成計算處理，則 處理返回步驟SIOI，在此獲取下一個SAD值。另一方面，如果在 步驟S109中判定對目標(biāo)塊完成了對所有參考塊的SAD值的計算處 理，則處理禾呈序結(jié)束。
圖19所示的處理流#呈圖可以類<以;也應(yīng)用于縮小面、中間面和 基底面。對于縮小面和中間面，檢測最終存儲在第一極小值存儲部 1541中的SAD值作為SAD值的最小值MinSAD，并分別才企測對應(yīng) 的參考矢量作為縮小面運動矢量MVs和中間面運動矢量MVm。隨 后，輸出最小值MinSAD以及縮小面運動矢量MVs和中間面運動 矢量MVm。
另一方面，對于基底面，4全測最終存4諸在第一才及小值存4諸部 1541中的SAD值作為SAD值的最小值MinSAD，并才企測對應(yīng)的參 考矢量作為基底面運動矢量MVb。隨后，輸出SAD值的最小值 MinSAD和基底面運動矢量MVb。此夕卜，對于基底面，將最終存儲 在第一極小值存儲部1541中的SAD值(即，最小值MinSAD )和 最終存儲在第二極小值存儲部1542中的SAD值(即，SAD值的第 二極小值)提供給運動矢量可靠性指標(biāo)值計算部156。
全局運動矢量運算#:作塊157的處理才喿作
在本實施例中，在通過大量的局部運動矢量LMV計算全局運 動矢量GMV或估算全局運動的情況下，4吏用通過仿射變換(affine transformation )來表示全局運動的方'法。圖20示出了仿射變換的通式作為(表達式3 )。在(表達式3 ) 中，v表示目標(biāo)塊的運動矢量的水平分量，w表示目標(biāo)塊的運動矢 量的垂直分量，a、 b、 c、 c、 e和f表示l方射參^t，以及x和y分另'J 表示目標(biāo)塊的中心坐標(biāo)的水平分量和垂直分量。
在將仿射變換應(yīng)用于本實施例的情況下，通過每個目標(biāo)塊的中 心坐標(biāo)和在每個目標(biāo)塊上7見察到的運動矢量，如圖21的(表達式4) 表示在由仿射變換確定的理想矢量上觀察到的運動矢量的誤差的 總和s。
導(dǎo)出全局運動的建議是估計使上述誤差總和s最小的仿射參數(shù) a~f，并且能夠通過最小平方法來解答。圖22 圖24示出了根據(jù) (表達式5)、另一個(表達式6)以及再一個(表達式7)導(dǎo)出仿 射參凄ta f的處理以及導(dǎo)出處理的結(jié)果。
雖然以這種方式相對容易地計算仿射變換的參數(shù)，但它的效果 很好。由于不僅對平行運動、旋轉(zhuǎn)以及放大或縮小準備仿射變換， 而且對一定程度的變形也準備仿射變換，所以覆蓋了大多數(shù)相機抖 動(即，相機工作的微小校正)。
作為從未指定的大量矢量中導(dǎo)出最優(yōu)選的全局運動的方法，在 本實施例中4吏用圖25和圖26所示的方法。才艮據(jù)該方法，從具有高 可靠性的塊中，逐漸排除諸如運動圖像拾取對象的不太可能符合全 局運動的那些塊，4吏得全局運動的參lt收斂。
首先參照圖26,在步驟S201中，全局運動矢量運算操作塊157 首先對存儲在其中的多個局部運動矢量LMV將運動矢量可靠性指 標(biāo)值Ft與預(yù)先確定的閾值進行戶型比較，從而僅選擇具有高可靠性 的局部運動矢量LMV的那些目標(biāo)塊(為了簡化描述，下文將其稱 作塊)。該處理^"應(yīng)于以下情況^1尋兩個^直1和0用作如上所述與 上文纟合出的(表達式2)相關(guān)的力4又系凄史W。隨后，在步驟S202中，4又將多個塊的所選局部運動矢量LMV 用于導(dǎo)出或評價全局運動矢量GMV。換句話i^，計算全局運動矢 量GMV的仿射參ft a ~ f。
隨后，在步驟S203中，全局運動矢量運算操作塊157基于導(dǎo) 出的全局運動矢量GMV來計算在步驟S201中選擇的每個塊的理論 局部運動矢量LMVs。
然后，對多個所選塊中的每一個，在步艱《S204中，計算通過 塊匹配處理確定的局部運動矢量LMV與在步驟S203中確定的理論 局丟卩運動矢量LMVs之間的i吳差EN。
如果重視運算操作的精度，則可以通過勾股定理的相關(guān)距離計 算來4丸行通過塊匹配確定的運動矢量與理i侖運動矢量之間的誤差 的計算。然而，如果更加重視亮度而不是運算操作的精度，則可以 將在水平和垂直兩個方向之間確定的距離的總和用作近似距離。
隨后，在步驟S205中，全局運動矢量計算塊157使用對所選 多個塊確定的所有誤差EN來計算所有誤差的平均值Eave和最大值 Emax。隨后，在步驟S206中，全局運動矢量運算才喿作塊157判定 平均值Eave是否低于預(yù)先確定的閾值ea以及最大值Emax是否低
于預(yù)先確定的閾值eb。
如果作為步驟S206的判定結(jié)果，全局運動矢量運算操作塊157 判定不滿足這些條件，則在步驟S208中，從導(dǎo)出全局運動矢量GMV 的那些塊中排除在步驟S204中確定的誤差EN滿足En = Emax的那 些塊?？蛇x地，在步驟S208中，全局運動矢量運算才喿作塊157檢 測誤差EN滿足En^0b的那些塊，并從導(dǎo)出全局運動矢量GMV的 那些塊中排除所有被檢測的塊。隨后，在步驟S209中，作為步驟S208中塊排除的結(jié)果，全局 運動矢量運算操作塊157判定剩余塊數(shù)是否小于預(yù)先確定的閾值 9c。如果判定剩余塊數(shù)不小于閾值ec，則處理返回步驟S202，以使 用剩余塊作為所選擇的塊來重復(fù)從步驟S202開始的上述處理。另 一方面，如果在步驟S209中判定剩余塊數(shù)小于閾值0c，則由于不 能夠獲得正確的全局運動矢量GMV，而在步驟S210中，全局運動 矢量運算操作塊157確定不使用對象參考幀的圖像并跳過隨后對參 考幀的所有處理。
然后，如果在圖25的步驟S206中判定平均值Eave低于閾值0a 且最大值Emax低于閾值0b，則在步驟S207中，全局運動矢量運 算操作塊157確定運算操作已收斂，并最終確定具有此時的值的全 局運動矢量GMV。隨后，處理程序結(jié)束。
注意，可基于確定全局運動矢量GMV時的4欠癥夂率和姊青度之間 的平tf來確定是否應(yīng)該^f又排除誤差EN等于最大^f直Emax的塊或者 是否應(yīng)該整體排除誤差EN高于閾值6b的那些塊。如果精度優(yōu)先， 則可以采用前一種方法，以逐一排除誤差塊，但是如果收斂率優(yōu)先， 則可以選4奪后一種方法。
注意，對于以上述方式確定的全局運動，#4居<吏用仿射變才吳的 參凄ta、 b、 c、 d、 e和f的圖20的(表達式3 )所計算的每個目標(biāo) 塊的運動矢量(^J"應(yīng)于理i侖局部運動矢量MVs)作為全局運動矢量 GMV被從全局運動矢量計算部15提供給運動補償生成部16。
隨后，運動補償生成部16使用目標(biāo)塊的運動矢量，以生成各 個目標(biāo)塊的運動補償圖片，并將對各塊生成的運動補償圖片提供給 才目力口部17。
圖27示出了關(guān)于具有大量噪聲的圖12的圖^f象所確定的各個目 標(biāo)塊的全局運動矢量。
51第二實施例
在上述實施例中，局部運動矢量計算塊154執(zhí)行分層的塊匹配 來計算基底面上的局部運動矢量LMV。隨后，運動矢量可靠性指 標(biāo)值計算快156計算相對于基底面的局部運動矢量LMV的指標(biāo)4直 Ft,并且全局運動矢量運算纟乘作塊157 4吏用基底面的局部運動矢量 LMV的運動矢量可靠性指標(biāo)值Ft來提取出那些具有高可靠性的局 部運動矢量LMV,并4吏用具有高可靠性的局部運動矢量LMV來計 算全局運動矢量GMV。
順便提及，通過使縮小面運動矢量MVs和中間面運動矢量 MVm乘以基底面的圖像縮小率的倒數(shù)，能夠獲得基底面運動矢量 MVb。因此，為了計算全局運動矢量GMV，可以不確定基底面運 動矢量MVb,而是通過縮小面運動矢量MVs或中間面運動矢量 MVm來確定全局運動矢量GMV。
例如，為了通過縮小面運動矢量MVs確定全局運動矢量GMV， 運動矢量可靠性指標(biāo)值計算塊156計算相對于通過局部運動矢量計 算塊154計算的縮小面的局部運動矢量LMV (即，縮小面運動矢 量MVs)的可靠性指標(biāo)值Ft。隨后，全局運動矢量運算操作塊157 使用縮小面的局部運動矢量LMV的運動矢量可靠性指標(biāo)值Ft來提 耳又出具有高可靠性的那些局部運動矢量LMV，并4吏用具有高可靠 性的局部運動矢量LMV來計算全局運動矢量GMV。
〃使用縮小面或中間面的局部運動矢量來確定全局運動矢量 GMV ^是供了以下優(yōu)點。
第一個優(yōu)點在于由于如上所述將^f氐通濾波器用于生成縮小面 或中間面，所以消除了噪聲，使得所得到的局部運動矢量幾乎不受
噪聲影響。第二個優(yōu)點在于由于減小了縮小面或中間面中的目標(biāo)塊數(shù)， 所以局部運動矢量的數(shù)量減少，并且運算操作成本降低，除此之外， 由于處理所需的時間減少，所以能夠以更高的速度來^U亍處理。這 是因為，由于如上述實例根據(jù)硬件的限制而使縮小面、中間面和基 底面的匹配處理塊單位通常具有相同的尺寸，所以與僅對基底面執(zhí) 行塊匹配處理的替代情況相比，具有小圖片尺寸的縮小面的目標(biāo)塊 數(shù)(即，局部矢量數(shù))相對減少。
此外，在通過縮小面運動矢量來確定全局運動矢量GMV的情 況下，能夠省略對中間面和基底面的運動矢量4企測處理。而且，鑒 于此，能夠預(yù)期處理速度的提高。
因此，具體地，在將縮小面運動矢量用于確定全局運動矢量 GMV的情況下，優(yōu)點是4艮顯著的。
然而，由于通過縮小基底面的圖^f象來生成縮小面或中間面，所 以應(yīng)該考慮到這種縮小面運動矢量或中間面運動矢量的精度相對 較低。
因此，在本實施例中，在〗吏用縮小面運動矢量或中間面運動矢 量的情況下，首先對縮小面或中間面執(zhí)4亍塊匹配，然后4吏用在通過 所計算的縮小面運動矢量或所計算的中間面運動矢量表示的縮小 面參考塊位置或中間面參考塊位置附近的縮小面參考塊或中間面 參考塊的SAD值以及SAD值的位置信息來執(zhí)行內(nèi)插處理，隨后執(zhí) 行像素精度的縮小面運動矢量或中間面運動矢量的檢測。下面將描 述對縮小面的內(nèi)插處理。
例如，在水平和垂直方向上都對縮小至1/4的縮小面執(zhí)行塊匹 配的情況下，縮小面運動矢量是4l象素精度的運動矢量。然而，明 顯地，在基底面參考幀中，1像素精度的基底面運動矢量MVb存在 于通過將縮小面運動矢量MVs放大n倍后獲得的運動矢量附近。
53因此，在如圖28所示確定縮小面上的最小SAD <直601的情況 下，可以考慮使用最小SAD值601附近的多個SAD值(例如，分 別使用在上、下、左、右方向上與最小SAD值601鄰近的4個SAD <直602、 603、 604禾口 605 )來4丸4亍內(nèi)4翁處J里，以才全測4 <象素4青度的 運動矢量。在這種情況下，所需的內(nèi)插倍率為4倍。
例如，可以考慮使用二次曲線來執(zhí)行對SAD表的內(nèi)插，從而 通過例如以n個像素為單位執(zhí)行了匹配處理的縮小面SAD表來計 算像素精度的運動矢量。在這種情況下，盡管可以不使用二次曲線 近似內(nèi)插法而是使用線性、三次或更高階曲線近似內(nèi)插法，但在本 實例中，根據(jù)精度和硬件結(jié)構(gòu)之間的均衡而使用二次曲線近似內(nèi)插 法。
在二次曲線近似內(nèi)插法中，如圖28所示，^吏用通過nl象素賴-度的縮小面運動矢量所表示的縮小面SAD表中的SAD值的最小值 Smin以及在最小值Smin位置附近的多個SAD值(下文稱作鄰近 縮小面SAD值)(在本實例中，在X方向或水平方向以及Y方向 或垂直方向上鄰近最小值Smin位置的4個鄰近的SAD值Sxl、Sx2 和Syl、 Sy2)。
如圖29所示，將縮小面SAD值的最小值Smin和在X方向或 水平方向上的兩個鄰近點處的鄰近縮小面SAD值Sxl和Sx2用于 應(yīng)用二次近似曲線700,并且近似曲線700 #1/沒為最小值的坐標(biāo)變 為提供像素精度的SAD值的最小值SXmin的縮小面運動矢量或高 姊青度縮小面運動矢量的X坐標(biāo)Vx。主會出此時用于二次曲線近似內(nèi) 插的表達式，如下面的(表達式8):
SXmin = 1/2 x ( Sx2 - Sxl ) / ( Sx2 - 2Smin - Sxl )
...(表達式8)在根據(jù)計算表達式(表達式8 )確定像素精度的SAD值的最小 值SXmin的SAD表上的X坐標(biāo)變?yōu)橄袼鼐鹊目s小面SAD值假 設(shè)為最小值的X坐標(biāo)Vx。
可通過多次執(zhí)行的減法來實現(xiàn)計算表達式(表達式8)中的除 法。例如，如果將被使用的像素精度為縮小面的1/4像素間距的精 度，則可以僅通過兩次減法就能實現(xiàn)上述除法。因此，電路規(guī)模小 且運算操作時間短，并且能夠?qū)崿F(xiàn)與比二次近似曲線內(nèi)插復(fù)雜得多 的三次曲線內(nèi)插非常接近的性能。
類似地，使縮小面SAD值的最小值Smin和在Y方向或垂直方 向上與最小值Smin鄰近的兩個點的鄰近縮小面SAD值Syl和Sy2 應(yīng)用二次近似曲線，并且二次曲線々i設(shè)為極小值SYmin處的Y坐 標(biāo)變成Y象素4青度的SAD值呈現(xiàn)最小值的Y坐標(biāo)Vy。通過下面的表 達式(表達式9)給出此時的二次曲線近似內(nèi)插的表達式
<formula>formula see original document page 55</formula>
通過以這種方式對X方向和Y方向4丸4亍兩次二次曲線近似， 確定高精度(即，4象素精度)的縮小面運動矢量(Vx， Vy)。
雖然在先前的描述中，使用了縮小面SAD值的最小值以及在X 方向或水平方向和Y方向或垂直方向上與最小^直鄰近的兩個點的 縮小面SAD值，但是在不同方向鄰近的縮小面SAD值的數(shù)量可以 為兩個以上。jt匕外，4戈替在X方向和Y方向上的二次曲線的應(yīng)用， 例3口， 二次曲線可以尋皮應(yīng)用于殺牛方向。jt匕夕卜，近合乂曲線可以4皮應(yīng)用 在X和Y方向的殺牛方向上。圖30示出了通過^f吏用如上所述的這種裝置和處理程序，能夠 通過n個像素單位精度的SAD表的值來獲得像素精度的矢量檢測 結(jié)果。圖30的—黃坐標(biāo)軸表示內(nèi)插倍率，并表示在一維方向上應(yīng)該 i殳定多少次分角竿。由于SAD表為二維的，所以表面積以平方率降 低。然而，由于由內(nèi)插引起的誤差僅以線性的程度增加，所以可以 認可內(nèi)插寺支術(shù)的有用性。
其它實施例及變型
在上述實施例中，雖然將本發(fā)明應(yīng)用于判定靜止圖片的圖像拾 取時的運動矢量可靠性的情況，^S自然本發(fā)明能夠應(yīng)用于另一種判 定運動圖片的圖4象才合耳又時所;險測的運動矢量的可靠性的情況。
此夕卜，在上述實施例中，雖然才企測SAD值作為相關(guān)值，但相 關(guān)值自然不限于SAD值。
此外，在上述實施例中，雖然對從圖像存儲單元4獲取的多個 拾取圖像執(zhí)行靜止圖片的運動檢測處理和圖像的疊加處理，但可以 與運動圖片的圖像拾取時 一 樣類似地實時處理圖像拾取對象的多 個圖像。
注意，運動矢量檢測對象的圖像信息不限于拾取圖像信息。
此外，在上述實施例中，雖然基于運動矢量可靠性指標(biāo)值執(zhí)行 運動矢量的可靠性的判定，但是不僅相關(guān)值的第 一極大值和相關(guān)值 的第二極大值之間的差或比可被用于執(zhí)行可靠性的判定，而且假設(shè) 相關(guān)值的第 一極大值的參考矢量與假設(shè)相關(guān)值的第二極大值的參 考矢量之間的位置差也可被用于執(zhí)行可靠性的判定?；蛘撸嚓P(guān)值 的第三極大值或更高階的極大值或假設(shè)這種極大值的參考矢量的 位置分布可以纟皮進一步參考來進4于可靠性的判定。此外，對于使用運動矢量的可靠性指標(biāo)值來執(zhí)行處理的對象， 雖然通過局部運動矢量來計算全局運動矢量，^f旦對象不限制于此。
例如，當(dāng)在上述實施例中計算的運動矢量的可靠性指標(biāo)值表示 可靠性很高時，可以認為這意味著運動矢量具有能夠以高精度而被 檢測的設(shè)計圖案，即，運動具有特征i殳計圖案。因此，可將在實施 例中計算的運動矢量的可靠性指標(biāo)值用于提取特征部分作為圖像
內(nèi)容的應(yīng)用。
如果從中提取出特征部分作為圖像內(nèi)容的管理對象的圖像信 息是通過連續(xù)拍攝所獲取的多個圖像的圖像信息，則可將不同幀圖 像中的 一個圖像設(shè)定為目標(biāo)圖像或目標(biāo)幀，同時將圖像中的另 一個 圖像設(shè)定為參考圖像或參考幀。
此外，在一個靜止圖傳^皮-沒定為處理對象的情況下，可以采用
圖31所示的這種對策。具體地，管理對象的圖像801械/沒定為目 標(biāo)圖像802和參考圖4象803。隨后，通過匹配處理部804對目標(biāo)圖 像802和參考圖像803執(zhí)行以目標(biāo)塊為單位的匹配處理。這里，將 目標(biāo)塊的尺寸設(shè)定為將被提取出作為特征部分的圖像部的尺寸。
隨后，與上文所述的實施例類似，將從匹配處理部804輸出的 估算值(例如，SAD值)提供給局部運動矢量檢測部805。局部運 動矢量4全測部805以與上文所述類似的方式檢測局部運動矢量 LMV，并將局部運動矢量LMV才是供給特征塊計算部807。此夕卜， 局部運動矢量4企測部805將SAD值的最小值MinSAD和第二極小 值Btm2SAD 4是供給運動矢量可靠性指標(biāo)值計算部806。
運動矢量可靠性指標(biāo)值計算部806以目標(biāo)塊為單位來計算局部 運動矢量LMV的可靠性的運動矢量可靠性指標(biāo)值Ft,并將運動矢 量可靠性指標(biāo)值Ft提供給特征塊計算部807。特4i塊計算部807基于局部運動矢量LMV的可靠性的運動矢 量可靠性指標(biāo)值Ft來估算每個目標(biāo)塊的局部運動矢量LMV的可靠 性。隨后，特4正塊計算部807輸出表示其局部運動矢量LMV呈現(xiàn) 高可靠性的目標(biāo)塊為特征塊的特征塊計算結(jié)果。
注意，可以分別與匹配處理塊153、局部運動矢量計算塊154 和運動矢量可靠性指標(biāo)值計算塊156完全類似地構(gòu)成匹配處理部 804 、局部運動矢量4全測部805和運動矢量可靠性指標(biāo)值計算部806 。
因此，在本實例的情況下，也可以僅在縮小面上或者也可以在 中間面或基底面上^M亍用于計算局部運動矢量LMV的匹配處理。
雖然使用指定術(shù)語描述了本發(fā)明的優(yōu)選實施例，但這種描述僅 用于說明的目的，應(yīng)了解，在不違背所附權(quán)利要求的精神或范圍的 情況下，可以進4于各種》,改和改變。
58
權(quán)利要求
1. 一種圖像處理裝置，包括相關(guān)值計算裝置，用于設(shè)定多個參考塊，并確定在目標(biāo)畫面圖像中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之間的相關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺寸，并由在與所述目標(biāo)畫面圖像不同的參考畫面圖像中設(shè)定的搜索范圍內(nèi)的多個像素形成；確定裝置，用于確定在通過所述相關(guān)值計算裝置計算的所述相關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值中的極大值；運動矢量檢測裝置，用于檢測所述目標(biāo)塊的運動矢量，作為計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述目標(biāo)塊的位移量；以及計算裝置，用于計算所述相關(guān)值中的所述最大值與除所述最大值之外的所述相關(guān)值中的所述極大值之間的差，作為通過所述運動矢量檢測裝置檢測的所述運動矢量的可靠性的指標(biāo)。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，在考慮所述目標(biāo) 畫面圖像的對比度的情況下，由所述差的值來確定所述運動矢 量的可靠性的指標(biāo)。
3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述相關(guān)值計算 裝置使用通過縮小原始圖像而獲得的圖像作為所述目標(biāo)畫面圖像。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述運動矢量檢 測裝置使用所述相關(guān)值中的所述最大值以及從位于其相關(guān)值 為所述最大值的塊附近的那些參考塊確定的所述相關(guān)值來執(zhí) 行內(nèi)插處理，并基于所述內(nèi)插處理的結(jié)果檢測所述運動矢量。
5. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述目標(biāo)塊是所 述目標(biāo)畫面圖像在水平方向和垂直方向上^皮劃分成的目標(biāo)塊 中的一個，并且所述運動矢量檢測裝置使用所述可靠性的指標(biāo)來判定多 個目標(biāo)塊中的每一個的所述運動矢量的可靠性，并且僅使用呈 現(xiàn)高可靠性的那些運動矢量來計算整個的所述目標(biāo)畫面圖<象 的運動矢量。
6. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述目標(biāo)塊是所述目標(biāo)畫面圖<象在水平方向和垂直方向上#:劃分成的目標(biāo)塊 中的一個，并且所述運動矢量^r測裝置使用所述可靠性的指標(biāo)來判定多 個目標(biāo)塊中的每一個的所述運動矢量的可靠性，并基于判定結(jié) 果來判定所述目標(biāo)塊的圖像的內(nèi)容是否是特征。
7. —種圖像處理裝置，包括相關(guān)值計算裝置，用于設(shè)定多個參考塊，并確定在目標(biāo) 畫面圖^象中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之間 的相關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺 寸，并由在與所述目標(biāo)畫面圖j象不同的參考畫面圖^象中i殳定的 搜索范圍內(nèi)的多個像素形成；確定裝置，用于確定在通過所述相關(guān)值計算裝置計算的 所述相關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值 中的才及大4直；運動矢量4企測裝置，用于4企測所述目標(biāo)塊的運動矢量， 作為計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述目標(biāo)塊的4立移量；以及計算裝置，用于計算所述相關(guān)值中的所述最大值與除所 述最大值之外的所述相關(guān)值中的所述極大值之間的比，作為通 過所述運動矢量4企測裝置4企測的所述運動矢量的可靠性的指標(biāo)。
8. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，在考慮所述目標(biāo) 畫面圖像的對比度的情況下，由所述比的值來確定所述運動矢 量的可靠性的指標(biāo)。
9. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述相關(guān)值計算 裝置使用通過縮小原始圖像而獲得的圖像作為所述目標(biāo)畫面圖像。
10. 根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述運動矢量枱r 測裝置4吏用所述相關(guān)值中的所述最大值以及從位于其相關(guān)4直 為所述最大值的塊附近的那些參考塊確定的所述相關(guān)值來4丸 4亍內(nèi)插處理，并基于所述內(nèi)插處理的結(jié)果才企測所述運動矢量。
11. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述目標(biāo)塊是所 述目標(biāo)畫面圖4象在水平方向和垂直方向上凈皮劃分成的目標(biāo)塊 中的一個，并且所述運動矢量檢測裝置使用所述可靠性的指標(biāo)來判定多 個目標(biāo)塊中的每一個的所述運動矢量的可靠性，并且<又<吏用呈 現(xiàn)高可靠性的那些運動矢量來計算整個的所述目標(biāo)畫面圖像
12. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述目標(biāo)塊是所 述目標(biāo)畫面圖像在水平方向和垂直方向上被劃分成的目標(biāo)塊 中的一個，并且所述運動矢量檢測裝置使用所述可靠性的指標(biāo)來判定多 個目標(biāo)塊中的每一個的所述運動矢量的可靠性，并基于判定結(jié) 果來判定所述目標(biāo)塊的圖像的內(nèi)容是否是特征。
13. 根據(jù)權(quán)利要求12所述的圖像處理裝置，其中，所述相關(guān)值計 算裝置使用作為所述目標(biāo)畫面圖像的一個處理對象畫面圖像 和所述參考畫面圖^f象來確定所述目標(biāo)塊與所述參考塊之間的 相關(guān)值。
14. 一種圖4象處理方法，包4舌相關(guān)值計算步驟，設(shè)定多個參考塊，并確定在目標(biāo)畫面 圖像中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之間的相 關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺寸，并 由在與所述目標(biāo)畫面圖像不同的參考畫面圖像中設(shè)定的搜索 范圍內(nèi)的多個像素形成；確定步驟，確定在所述相關(guān)值計算步驟中計算的所述相 關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值中的極 大值；運動矢量4企測步驟，；險測所述目標(biāo)塊的運動矢量，作為 計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述 目標(biāo)塊的4立移量；以及計算步驟，計算所述相關(guān)值中的所述最大值與除所述最 大值之外的所述相關(guān)值中的所述極大值之間的差，作為通過所 述運動矢量檢測步驟檢測的所述運動矢量的可靠性的指標(biāo)。
15. —種圖4象處理方法，包4舌相關(guān)值計算步驟，設(shè)定多個參考塊，并確定在目標(biāo)畫面 圖l象中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之間的相 關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺寸，并 由在與所述目標(biāo)畫面圖像不同的參考畫面圖^f象中設(shè)定的4臾索 范圍內(nèi)的多個像素形成；確定步驟，確定在所述相關(guān)值計算步驟中計算的所述相 關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值中的4 l 大值；運動矢量4全測步驟，4企測所述目標(biāo)塊的運動矢量，作為 計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述 目標(biāo)i夾的4立移量；以及計算步驟，計算所述相關(guān)值中的所述最大值與除所述最 大值之外的所述相關(guān)值中的所述4及大值之間的比，作為通過所 述運動矢量檢測裝置檢測的所述運動矢量的可靠性的指標(biāo)。
16. —種圖像處理裝置，包4舌相關(guān)值計算裝置，用于設(shè)定多個參考塊，并確定在目標(biāo) 畫面圖l象中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之間 的相關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺 寸，并由在與所述目標(biāo)畫面圖像不同的參考畫面圖像中設(shè)定的 搜索范圍內(nèi)的多個像素形成；確定裝置，用于確定在通過所述相關(guān)值計算裝置計算的 所述相關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值 中的4及大1直；運動矢量4企測裝置，用于4企測所述目標(biāo)塊的運動矢量， 作為計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述目標(biāo)塊的^f立移量；以及判定裝置，用于使用所述相關(guān)值中的所述最大值和除所動矢量^r測裝置^:測的所述運動矢量的可靠性。
17.—種圖^f象處理方法，包4舌相關(guān)值計算步驟，i殳定多個參考塊，并確定在目標(biāo)畫面 圖像中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之間的相 關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺寸，并 由在與所述目標(biāo)畫面圖〗象不同的參考畫面圖^f象中i殳定的4臾索 范圍內(nèi)的多個像素所形成；確定步驟，確定在所述相關(guān)值計算步驟中計算的所述相 關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值中的極 大值；運動矢量檢測步驟，檢測所述目標(biāo)塊的運動矢量，作為 計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述 目標(biāo)塊的〗立移量；以及判定步驟，使用所述相關(guān)值中的所述最大值和除所述最 量才全測步驟中4企測的所述運動矢量的可靠性。
18. —種圖^f象處理裝置，包^l舌相關(guān)^直計算部，-陂配置為i殳定多個參考塊，并確定在目 標(biāo)畫面圖l象中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之 間的相關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺寸，并由在與所述目標(biāo)畫面圖^f象不同的參考畫面圖〗象中i殳定的搜索范圍內(nèi)的多個像素所形成；確定部，被配置為確定在通過所述相關(guān)值計算部計算的 所述相關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值 中的才及大^f直；運動矢量^r測部，；陂配置為4全測所述目標(biāo)塊的運動矢量， 作為計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述目標(biāo)塊的位移量；以及計算部，被配置為計算所述相關(guān)值中的所述最大值與除 所述最大值之夕卜的所述相關(guān)值中的所述才及大值之間的差，作為 通過所述運動矢量4企測部4企測的所述運動矢量的可靠性的指標(biāo)。
19. 一種圖l象處理裝置，包:^舌相關(guān)值計算部，被配置為設(shè)定多個參考塊，并確定在目 標(biāo)畫面圖像中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之 間的相關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺 寸，并由在與所述目標(biāo)畫面圖^f象不同的參考畫面圖^f象中i殳定的 搜索范圍內(nèi)的多個像素所形成；確定部，^皮配置為確定在通過所述相關(guān)^f直計算部計算的 所述相關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值 中的才及大^直；運動矢量4全測部，；波配置為4企測所述目標(biāo)塊的運動矢量， 作為計算出所述相關(guān)值中的所述最大值的所述參考塊相對于所述目*^夾的4立移量；以及計算部，被配置為計算所述相關(guān)值中的所述最大值與除 所述最大值之外的所述相關(guān)值中的所述極大值之間的比，作為通過所述運動矢量4企測部#r測的所述運動矢量的可靠性的指標(biāo)。
20.—種圖像處理裝置，包括相關(guān)值計算部，^皮配置為i殳定多個參考塊，并確定在目 標(biāo)畫面圖l象中以預(yù)定尺寸形成的目標(biāo)塊與每個所述參考塊之 間的相關(guān)值，所述多個參考塊具有等于所述目標(biāo)塊的尺寸的尺 寸，并由在與所述目標(biāo)畫面圖<象不同的參考畫面圖<象中{殳定的搜索范圍內(nèi)的多個像素所形成；確定部，纟皮配置為確定在通過所述相關(guān)值計算部計算的 所述相關(guān)值中的最大值以及除所述最大值之外的所述相關(guān)值 中的才及大4直；運動矢量4企測部，被配置為4企測所述目標(biāo)塊的運動矢量， 作為計算出所述相關(guān)值中的所述最大值的所述參考塊相對于 所述目標(biāo)塊的位移量；以及判定部，被配置為使用所述相關(guān)值中的所述最大值和除 運動矢量才企測部才企測的所述運動矢量的可靠性。
全文摘要
本發(fā)明提供了圖像處理裝置和圖像處理方法，其中，該圖像處理裝置包括相關(guān)值計算部，被配置為確定目標(biāo)塊與每個參考塊之間的相關(guān)值；確定部，被配置為確定相關(guān)值中的最大值；運動矢量檢測部，被配置為檢測目標(biāo)塊的運動矢量；以及計算部，被配置為計算由運動矢量檢測部檢測的運動矢量的可靠性的指標(biāo)。通過本發(fā)明，對包括大量噪聲或重復(fù)圖案的圖像也能夠獲得具有高可靠性的運動矢量的可靠性指標(biāo)。
文檔編號G06T7/20GK101534447SQ200910127128
公開日2009年9月16日 申請日期2009年3月12日 優(yōu)先權(quán)日2008年3月13日
發(fā)明者倉田徹 申請人:索尼株式會社