專利名稱：運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適合應(yīng)用于從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)運(yùn)動(dòng)矢量以執(zhí)行諸 如高效編碼的圖像處理的運(yùn)動(dòng)矢量檢測(cè)裝置和運(yùn)動(dòng)矢量檢測(cè)方法，以 及用于執(zhí)行其運(yùn)動(dòng)矢量檢測(cè)處理的程序。
背景技術(shù)：
過(guò)去，在運(yùn)動(dòng)圖像處理領(lǐng)域，利用運(yùn)動(dòng)信息(即，在不同時(shí)間的 圖像中物體的運(yùn)動(dòng)方向和幅度)來(lái)執(zhí)行有效的圖像處理。例如，已經(jīng) 將運(yùn)動(dòng)檢測(cè)的結(jié)果用于在高效圖像編碼中執(zhí)行的運(yùn)動(dòng)補(bǔ)償幀間編碼和 在使用幀間時(shí)域?yàn)V波器的電視減噪裝置中執(zhí)行的基于運(yùn)動(dòng)的參數(shù)控制 中。作為檢測(cè)運(yùn)動(dòng)的方法，通常^f吏用塊匹配方法。在塊匹配方法中， 將一個(gè)幀的圖像劃分成每個(gè)都包括預(yù)定數(shù)量的像素的多個(gè)塊單元，以 搜索塊運(yùn)動(dòng)區(qū)域。根據(jù)塊匹配的運(yùn)動(dòng)矢量檢測(cè)處理是作為使用運(yùn)動(dòng)矢
量的圖像處理的最普及的一般處理，其在MPEG (運(yùn)動(dòng)圖像專家組) 格式等中被實(shí)際使用。
然而，在塊匹配方法中，按塊單位執(zhí)行處理，因此不一定以高精 度檢測(cè)各幀的圖像中的運(yùn)動(dòng)。因此，本申請(qǐng)人先前已經(jīng)提出了在日本 待審專利申請(qǐng)公報(bào)No. 2005-175869中描述的運(yùn)動(dòng)矢量檢測(cè)處理。根據(jù) 該運(yùn)動(dòng)矢量檢測(cè)處理，從圖像信號(hào)檢測(cè)與各像素位置處的運(yùn)動(dòng)相關(guān)的評(píng) 估值，將所檢測(cè)到的評(píng)估值存儲(chǔ)為評(píng)估值表。從該評(píng)估值表的數(shù)據(jù)中提 取多個(gè)矢量作為一個(gè)畫面中的候選矢量。然后，對(duì)于整個(gè)畫面中的每個(gè) 像素，確定通過(guò)所述多個(gè)提取的候選矢量而彼此關(guān)聯(lián)的幀之間的像素的 相關(guān)度。結(jié)果，將連接被確定為具有最高相關(guān)度的像素的候選矢量確定 為與這些像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量。在后述實(shí)施例中將描述該處理的詳情。
圖24是例示了在通過(guò)使用評(píng)估值表來(lái)確定運(yùn)動(dòng)矢量時(shí)使用的先前提出的評(píng)估值表創(chuàng)建單元的結(jié)構(gòu)的圖。在圖24的結(jié)構(gòu)中，將在輸入 端子1處獲得的圖像信號(hào)提供給相關(guān)度算術(shù)運(yùn)算單元2。相關(guān)度算術(shù) 運(yùn)算單元2包括參考點(diǎn)存儲(chǔ)器2a、目標(biāo)點(diǎn)存儲(chǔ)器2b以及絕對(duì)值計(jì)算 單元2c。首先將在輸入端子1處獲得的圖像信號(hào)存儲(chǔ)在參考點(diǎn)存儲(chǔ)器 2a中。進(jìn)而，將存儲(chǔ)在參考點(diǎn)存儲(chǔ)器2a中的數(shù)據(jù)傳送給目標(biāo)點(diǎn)存儲(chǔ) 器2b以在其中存儲(chǔ)在參考點(diǎn)存儲(chǔ)器2a與目標(biāo)點(diǎn)存儲(chǔ)器2b之間具有 一個(gè)幀的差的圖像信號(hào)。然后，讀取目標(biāo)點(diǎn)存儲(chǔ)器2b中存儲(chǔ)的圖像信 號(hào)中的目標(biāo)點(diǎn)處的像素值和參考點(diǎn)存儲(chǔ)器2a中存儲(chǔ)的圖像信號(hào)中的 被選擇為參考點(diǎn)的像素位置處的像素值。然后，通過(guò)絕對(duì)值檢測(cè)單元 2c檢測(cè)這兩個(gè)信號(hào)之間的差值。將所檢測(cè)到的差值的絕對(duì)值的數(shù)據(jù)提 供給相關(guān)度確定單元3。相關(guān)度確定單元3包括用于將該差值與設(shè)定 的閾值進(jìn)行比較的比較單元3a。根據(jù)與閾值進(jìn)行的比較，獲得評(píng)估值。 作為評(píng)估值，例如可以使用相關(guān)度值。例如，如果所述差值等于或小 于閾值，則確定相關(guān)度高。
將在相關(guān)度確定單元3處獲得的評(píng)估值提供給評(píng)估值表計(jì)算單元 4，以在評(píng)估值積分單元4a處進(jìn)行積分。將積分的結(jié)果存儲(chǔ)在評(píng)估值 表存儲(chǔ)器4b中。然后，將存儲(chǔ)在評(píng)估值表存儲(chǔ)器4b中的數(shù)據(jù)從輸出 端子5提供給位于隨后級(jí)的電路，作為評(píng)估值表數(shù)據(jù)。
圖25A和25B是例示了通過(guò)利用圖24例示的評(píng)估值表來(lái)確定運(yùn) 動(dòng)矢量的現(xiàn)有技術(shù)處理的狀態(tài)的概要的圖。如圖25A所例示，在前一 幀F(xiàn)0 (其為當(dāng)前時(shí)間的幀(當(dāng)前幀)Fl之前一個(gè)幀的圖像數(shù)據(jù))中， 首先將充當(dāng)用于確定運(yùn)動(dòng)矢量的基準(zhǔn)的像素位置確定為目標(biāo)點(diǎn)d0。在 確定了目標(biāo)點(diǎn)d0之后，在當(dāng)前幀F(xiàn)l中設(shè)定目標(biāo)點(diǎn)d0的像素位置周 圍的預(yù)定范圍內(nèi)的搜索區(qū)SA。在設(shè)定了搜索區(qū)SA之后，針對(duì)搜索區(qū) SA中作為參考點(diǎn)dl的每個(gè)像素計(jì)算評(píng)估值，并將其注冊(cè)在評(píng)估值表 中。然后，將評(píng)估值表中注冊(cè)的值之中具有搜索區(qū)SA中的最高評(píng)估 值的參考點(diǎn)確定為從前一幀的目標(biāo)點(diǎn)起的運(yùn)動(dòng)的在當(dāng)前幀中的像素位 置。由于如此獲得了具有最高評(píng)估值的參考點(diǎn)，因此從目標(biāo)點(diǎn)與具有 最高評(píng)估值的參考點(diǎn)之間的運(yùn)動(dòng)量確定運(yùn)動(dòng)矢量，如圖25B所例示。通過(guò)圖24到25B所例示的處理，可以基于評(píng)估值表數(shù)據(jù)來(lái)檢測(cè) 運(yùn)動(dòng)矢量。

發(fā)明內(nèi)容
在基于評(píng)估值表數(shù)據(jù)的運(yùn)動(dòng)矢量檢測(cè)中，對(duì)最佳運(yùn)動(dòng)矢量的確定 依賴于評(píng)估值表的性能。在圖24所例示的現(xiàn)有技術(shù)的方法中，如果在 目標(biāo)點(diǎn)與像素之間相關(guān)度被確定為將來(lái)幀(當(dāng)前幀)的搜索范圍內(nèi)的 候選運(yùn)動(dòng)的目的地，具體來(lái)說(shuō)如果目標(biāo)點(diǎn)與像素之間的亮度值的差值 的絕對(duì)值等于或小于特定閾值，則對(duì)于候選運(yùn)動(dòng)將頻率計(jì)數(shù)添加到評(píng) 估值表。
然而，在根據(jù)現(xiàn)有技術(shù)方法的處理中，如果僅僅基于上述相關(guān)度 確定來(lái)創(chuàng)建評(píng)估值表，則當(dāng)圖像在平坦部分或帶狀圖案部分中的所有 或一些方向上幾乎不包括空間傾斜度時(shí)，可能會(huì)將錯(cuò)誤運(yùn)動(dòng)添加到該 表。結(jié)果，評(píng)估值表的可靠性降低。評(píng)估值表的可靠性降低進(jìn)而導(dǎo)致 所檢測(cè)到的運(yùn)動(dòng)矢量的準(zhǔn)確度的降低。
此外，如果圖像包括多個(gè)運(yùn)動(dòng)，則現(xiàn)有技術(shù)的評(píng)估值表會(huì)被加入 錯(cuò)誤運(yùn)動(dòng)。因此，會(huì)掩蓋歸因于相應(yīng)的運(yùn)動(dòng)的評(píng)估值，使得難以檢測(cè) 到相應(yīng)的運(yùn)動(dòng)矢量。
鑒于上述問(wèn)題，本申請(qǐng)人先前已經(jīng)提出了圖26所例示的評(píng)估值 表創(chuàng)建處理的結(jié)構(gòu)。
圖26的結(jié)構(gòu)與圖24的結(jié)構(gòu)的不同之處在于，來(lái)自相關(guān)度確定單 元3的輸出經(jīng)受像素選擇單元6的選擇，然后被寫入評(píng)估值表計(jì)算單 元4中的評(píng)估值表存儲(chǔ)器4b中。
像素選擇單元6包括用于傳輸來(lái)自相關(guān)度確定單元3的輸出的門 單元6a，并將來(lái)自門單元6a的輸出提供給評(píng)估值表計(jì)算單元4的評(píng) 估值積分單元4a。
在像素選擇單元6中，空間傾斜度模式計(jì)算單元6b計(jì)算表示目 標(biāo)點(diǎn)存儲(chǔ)器2b中存儲(chǔ)的目標(biāo)像素與相鄰于目標(biāo)像素的像素之間的變 化狀態(tài)的目標(biāo)點(diǎn)空間傾斜度模式?？臻g傾斜度模式計(jì)算單元6b進(jìn)一步于參考像素的像 素之間的變化狀態(tài)的參考點(diǎn)空間傾斜度模式。將計(jì)算出的目標(biāo)點(diǎn)空間 傾斜度模式和參考點(diǎn)空間傾斜度模式提供給模式比較單元6c，以確定 這兩個(gè)模式之間的相關(guān)度。參照空間傾斜度模式存儲(chǔ)器6d來(lái)執(zhí)行該比 較。
此外，將像素選擇單元6配置成基于在模式比較單元6c處獲得 的相關(guān)度確定結(jié)果來(lái)控制通過(guò)門單元6a的輸出的傳輸。
如圖26所例示，利用根據(jù)目標(biāo)像素和參考像素的模式執(zhí)行的像 素選擇，僅將在空間傾斜度方面與目標(biāo)像素相關(guān)的參考像素的值寫在 代表目標(biāo)像素的候選運(yùn)動(dòng)的評(píng)估值表中。因此，該示例具有提高用于 檢測(cè)運(yùn)動(dòng)矢量的評(píng)估值的準(zhǔn)確度的效果。
然而，為了在圖26所例示的像素選擇單元6處執(zhí)行高度可靠的 選擇，在目標(biāo)點(diǎn)與參考點(diǎn)之間進(jìn)行空間傾斜度模式的簡(jiǎn)單相關(guān)度確定 是不夠的。
即，在圖26的結(jié)構(gòu)中，由于在像素選擇單元6的門單元6a處進(jìn) 行的像素選擇，將候選運(yùn)動(dòng)矢量縮減到一定數(shù)量的像素的運(yùn)動(dòng)矢量。 此外，評(píng)估值表存儲(chǔ)器4b中存儲(chǔ)的評(píng)估值表構(gòu)成在一定程度上被視為 可靠的運(yùn)動(dòng)矢量的集合。然而，得到的評(píng)估值表仍然是大量運(yùn)動(dòng)矢量 的集合。為了從評(píng)估值表的數(shù)據(jù)最終確定幀中的運(yùn)動(dòng)矢量，應(yīng)當(dāng)通過(guò) 某種處理進(jìn)一步縮減評(píng)估值表中的運(yùn)動(dòng)矢量。然而，根據(jù)過(guò)去提出的 方法，檢測(cè)準(zhǔn)確度不足。
此外，在兩個(gè)相鄰幀之間存在的運(yùn)動(dòng)矢量的數(shù)量根據(jù)對(duì)應(yīng)的圖像 而變化。因此，通過(guò)現(xiàn)有技術(shù)的方法來(lái)檢測(cè)最佳數(shù)量的運(yùn)動(dòng)矢量還沒(méi) 有被考慮。即，根據(jù)特定方法，例如，僅從評(píng)估值表中存儲(chǔ)的多個(gè)運(yùn) 動(dòng)矢量提取固定數(shù)量的最頻繁運(yùn)動(dòng)矢量。該方法經(jīng)驗(yàn)性地計(jì)算兩個(gè)相 鄰幀之間存在的運(yùn)動(dòng)矢量的合適數(shù)量，以確定運(yùn)動(dòng)矢量的最終數(shù)量。 然而，實(shí)際上，將帶有運(yùn)動(dòng)的圖像分成帶有相對(duì)活躍的運(yùn)動(dòng)的圖像(其 中在兩個(gè)幀之間存在許多運(yùn)動(dòng)向量)和基本上處于靜態(tài)狀態(tài)的圖像(其 中在兩個(gè)幀之間只存在小量運(yùn)動(dòng)矢量)。因此，固定運(yùn)動(dòng)矢量的數(shù)量是不合適的。
鑒于上述問(wèn)題提出了本發(fā)明。在本發(fā)明中期望通過(guò)使用用于評(píng)估 運(yùn)動(dòng)矢量的評(píng)估值表來(lái)提高運(yùn)動(dòng)矢量的檢測(cè)精度。在本發(fā)明中還期望 即使在圖像中存在多個(gè)運(yùn)動(dòng)的情況下也能夠?qū)υ摱鄠€(gè)運(yùn)動(dòng)進(jìn)行合適的 檢測(cè)。
本發(fā)明適用于從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)運(yùn)動(dòng)矢量。根據(jù)本發(fā)明實(shí)施例
的處理被配置成包括生成運(yùn)動(dòng)矢量的評(píng)估值信息的處理，該評(píng)估值 信息用于評(píng)估運(yùn)動(dòng)矢量是候選運(yùn)動(dòng)矢量的可能性；基于所述評(píng)估值信 息提取候選運(yùn)動(dòng)矢量的處理；以及在所提取的候選運(yùn)動(dòng)矢量中確定運(yùn) 動(dòng)矢量的運(yùn)動(dòng)矢量確定處理。
所述生成評(píng)估值信息的處理基于 一 個(gè)幀中的目標(biāo)1泉素與另 一 幀 中的搜索區(qū)中的參考像素的像素值相關(guān)度信息，生成運(yùn)動(dòng)矢量的評(píng)估 值信息，該評(píng)估值信息用于評(píng)估參考像素是從目標(biāo)像素開(kāi)始的運(yùn)動(dòng)的 目的地的候選目的地的可能性。
所述基于評(píng)估值信息提取運(yùn)動(dòng)矢量的處理在以所述一個(gè)幀中的 所述目標(biāo)像素為中心的預(yù)定區(qū)域中的像素與以所述另 一幀中的所述參 考像素為中心的預(yù)定區(qū)域中的像素之間執(zhí)行比較，該比較是在整個(gè)區(qū) 域中執(zhí)行的，基于所述比較的結(jié)果來(lái)評(píng)估評(píng)估值表的各候選矢量，以 及將具有高評(píng)估值的運(yùn)動(dòng)矢量提取為候選運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的實(shí)施例，作為基于評(píng)估值信息提取運(yùn)動(dòng)矢量的處 理，在整個(gè)區(qū)域中對(duì)以目標(biāo)像素為中心的預(yù)定區(qū)域中的像素與以參考 像素為中心的預(yù)定區(qū)域中的像素進(jìn)行相互比較，以檢查它們之間的相 關(guān)度，并基于該比較的結(jié)果來(lái)評(píng)估各候選矢量。因此，通過(guò)目標(biāo)像素 的周邊區(qū)域的狀態(tài)與參考像素的周邊區(qū)域的狀態(tài)之間的比較，對(duì)被選 擇為評(píng)估值信息的像素的數(shù)據(jù)進(jìn)行進(jìn)一步的選擇。
根據(jù)本發(fā)明的實(shí)施例，對(duì)于評(píng)估值信息中的運(yùn)動(dòng)矢量的評(píng)估值， 將作為各運(yùn)動(dòng)矢量的運(yùn)動(dòng)起點(diǎn)的目標(biāo)點(diǎn)的周邊區(qū)域中的差值的和與作 為運(yùn)動(dòng)目的地的參考點(diǎn)的周邊區(qū)域中的差值的和相互比較。由此，對(duì) 候選矢量的可靠性進(jìn)行合適的評(píng)估。利用如此獲得的候選矢量的可靠性，可以在候選運(yùn)動(dòng)矢量中合適 地確定最終運(yùn)動(dòng)矢量。此外，即使一個(gè)圖像包括多個(gè)運(yùn)動(dòng)，其多個(gè)矢 量也可以根據(jù)合適數(shù)量的高度可靠的候選矢量來(lái)合適地確定。


圖l是例示了根據(jù)本發(fā)明實(shí)施例的裝置的結(jié)構(gòu)示例的框圖； 圖2是例示了根據(jù)本發(fā)明實(shí)施例的總體處理示例的流程圖； 圖3是例示了根據(jù)本發(fā)明實(shí)施例的評(píng)估值表的創(chuàng)建示例(利用空
間傾斜度模式來(lái)執(zhí)行像素選擇的示例)的框圖4是例示了根據(jù)本發(fā)明實(shí)施例的示例的運(yùn)動(dòng)矢量提取單元的處
理的結(jié)構(gòu)示例的框圖5是例示了根據(jù)圖3的示例的確定要選擇的像素的處理示例的
流程圖6A和6B是例示了根據(jù)圖3的示例的對(duì)空間傾斜度模式進(jìn)行 比較的處理示例的說(shuō)明圖7A到7D是例示了根據(jù)圖3的示例的空間傾斜度碼的示例的 說(shuō)明圖8是例示了根據(jù)圖3的示例的空間傾斜度模式的示例的說(shuō)明
圖9是例示了根據(jù)本發(fā)明實(shí)施例的候選矢量可靠性確定處理示例 (第一示例)的流程圖.10A和10B是例示了根據(jù)圖9的處理示例的可靠性確定處理 的概要的說(shuō)明圖11是例示了根據(jù)本發(fā)明實(shí)施例的候選矢量可靠性確定處理示 例(第二示例在兩個(gè)層上執(zhí)行處理的示例)的流程圖12A和12B是例示了根據(jù)圖11的處理示例的可靠性確定處理 的概要的說(shuō)明圖13是例示了根據(jù)本發(fā)明實(shí)施例的上層和下層的示例的說(shuō)明圖14是例示了根據(jù)本發(fā)明實(shí)施例的對(duì)下層的處理示例的說(shuō)明圖；圖15是例示了根據(jù)本發(fā)明實(shí)施例的對(duì)上層的處理示例的說(shuō)明圖； 圖16是例示了根據(jù)本發(fā)明實(shí)施例的評(píng)估值表的示例的說(shuō)明圖； 圖17是按頻率順序示出了根據(jù)本發(fā)明實(shí)施例的示例從評(píng)估值表
提取的候選矢量的說(shuō)明圖18是示出了根據(jù)本發(fā)明實(shí)施例的示例的候選矢量在下層上的
評(píng)估結(jié)果的示例的說(shuō)明圖19是示出了根據(jù)本發(fā)明實(shí)施例的示例的候選矢量在上層上的
評(píng)估結(jié)果的示例的說(shuō)明圖20是示出了根據(jù)本發(fā)明實(shí)施例的示例的候選矢量在上層和下
層上的評(píng)估結(jié)果的示例的說(shuō)明圖21是例示了根據(jù)本發(fā)明實(shí)施例的示例的運(yùn)動(dòng)矢量確定處理的
結(jié)構(gòu)示例的框圖22是例示了根據(jù)圖21的示例的處理的流程圖23是例示了根據(jù)圖21的示例的運(yùn)動(dòng)矢量確定處理的狀態(tài)示例
的說(shuō)明圖24是例示了根據(jù)現(xiàn)有技術(shù)的評(píng)估值表數(shù)據(jù)生成處理的結(jié)構(gòu)示 例的框圖25A和25B是例示了根據(jù)現(xiàn)有技術(shù)的評(píng)估值表數(shù)據(jù)生成處理 的示例的概要的說(shuō)明圖；以及
圖26是例示了根據(jù)現(xiàn)有技術(shù)的評(píng)估值表數(shù)據(jù)生成處理的另一結(jié) 構(gòu)示例的框圖。
具體實(shí)施例方式
參照?qǐng)D1到23，將按以下順序描述本發(fā)明的實(shí)施例的示例1、 用于檢測(cè)運(yùn)動(dòng)矢量的總體結(jié)構(gòu)的概要(圖1) ; 2、用于檢測(cè)運(yùn)動(dòng)矢量 的總體處理的概要(圖2、圖6A和6B); 3、用于生成選擇的像素?cái)?shù) 據(jù)的結(jié)構(gòu)示例(圖3、圖6A到8) ; 4、運(yùn)動(dòng)矢量提取單元的結(jié)構(gòu)示 例(圖4) ; 5、用于生成選擇的像素?cái)?shù)據(jù)的處理示例(圖5) ; 6、用 于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的處理示例(僅使用下層的示例)(圖9);7、用于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的原理的描述(圖IOA和10B); 8、用于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的處理示例(使用下層和上層的示 例)(圖ll); 9、用于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的原理的描述(使 用下層和上層的示例)(圖12A到13); 10、對(duì)下層和上層的描述(圖 14和15) ; 11、評(píng)估值表和評(píng)估結(jié)果的示例(圖16到20) ; 12、運(yùn) 動(dòng)矢量確定單元的結(jié)構(gòu)和操作的示例(圖21到23) ; 13、實(shí)施例的 變型例的描述。
用于檢測(cè)運(yùn)動(dòng)矢量的總體結(jié)構(gòu)的概要本實(shí)施例是從運(yùn)動(dòng)圖像數(shù) 據(jù)檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)裝置。運(yùn)動(dòng)矢量檢測(cè)裝置的檢測(cè)處理 包括基于像素值相關(guān)度信息創(chuàng)建評(píng)估值表、對(duì)評(píng)估值表的數(shù)據(jù)的積 分、以及確定運(yùn)動(dòng)矢量。在以下描述中，將存儲(chǔ)運(yùn)動(dòng)矢量的評(píng)估值信 息的表稱為評(píng)估值表。然而，不一定要將評(píng)估值表配置成以表的格式 存儲(chǔ)的信息。因此，只要評(píng)估值表構(gòu)成表示運(yùn)動(dòng)矢量的評(píng)估值的信息 就足夠了。例如，可以將評(píng)估值配置成直方圖格式的信息，并且可以 存儲(chǔ)直方圖格式的評(píng)估值信息。
圖l是例示了運(yùn)動(dòng)矢量檢測(cè)裝置的總體結(jié)構(gòu)的圖。將在圖像信號(hào) 輸入端子11處獲得的圖像信號(hào)提供給評(píng)估值表創(chuàng)建單元12，以創(chuàng)建 評(píng)估值表。該圖像信號(hào)例如是數(shù)字視頻信號(hào)，從該數(shù)字視頻信號(hào)獲得 各幀中的各像素的各個(gè)亮度值。評(píng)估值表創(chuàng)建單元12創(chuàng)建與搜索區(qū)相 同大小的評(píng)估值表。
將由評(píng)估值表創(chuàng)建單元12創(chuàng)建的評(píng)估值表數(shù)據(jù)提供給運(yùn)動(dòng)矢量 提取單元13。運(yùn)動(dòng)矢量提取單元13從評(píng)估值表提取多個(gè)運(yùn)動(dòng)矢量作 為候選矢量?；谠u(píng)估值表中出現(xiàn)的峰值，運(yùn)動(dòng)矢量提取單元13提取 多個(gè)候選矢量。稍后將描述提取多個(gè)候選矢量的處理的詳情。將在運(yùn) 動(dòng)矢量提取單元13處提取的多個(gè)候選矢量提供給運(yùn)動(dòng)矢量確定單元 14。
根據(jù)區(qū)域匹配等，運(yùn)動(dòng)矢量確定單元14針對(duì)整個(gè)畫面中的每個(gè) 像素，確定由于在運(yùn)動(dòng)矢量提取單元13處提取的多個(gè)候選矢量而彼此 相關(guān)聯(lián)的幀的像素之間的相關(guān)度。然后，運(yùn)動(dòng)矢量確定單元14將連接具有最高相關(guān)度的像素或塊的候選矢量設(shè)定為與這些像素相對(duì)應(yīng)的運(yùn)
動(dòng)矢量。在控制單元(控制器)16的控制下，執(zhí)行用于獲得運(yùn)動(dòng)矢量 的以上處理。
從運(yùn)動(dòng)矢量輸出端子15輸出所設(shè)定的運(yùn)動(dòng)矢量的數(shù)據(jù)。在該處 理中，根據(jù)情況，可以將運(yùn)動(dòng)矢量的數(shù)據(jù)加入輸入端子11處獲得的圖 像信號(hào)以與圖像信號(hào)一起輸出。所輸出的運(yùn)動(dòng)矢量用于例如圖像數(shù)據(jù) 的高效編碼。另選地，可以將所輸出的運(yùn)動(dòng)矢量用于在由電視機(jī)的圖 像顯示中執(zhí)行的圖像質(zhì)量提高處理中。另選地，可以將通過(guò)本示例的 處理檢測(cè)到的運(yùn)動(dòng)矢量用于其它圖像處理。
用于檢測(cè)運(yùn)動(dòng)矢量的總體處理的概要圖2的流程圖例示了直至 確定運(yùn)動(dòng)矢量的處理的示例。首先，從輸入圖像信號(hào)創(chuàng)建評(píng)估值表(步 驟Sll)，然后從所創(chuàng)建的評(píng)估值表提取多個(gè)候選矢量(步驟S12)。 然后，在多個(gè)提取的候選矢量中確定具有最高相關(guān)度的運(yùn)動(dòng)矢量(步 驟S13)。在每個(gè)幀中執(zhí)行圖2的流程圖的處理。到目前為止的處理 具有與使用評(píng)估值表的運(yùn)動(dòng)矢量檢測(cè)結(jié)構(gòu)相同的結(jié)構(gòu)。
在本實(shí)施例中，評(píng)估值表創(chuàng)建單元12的評(píng)估值表創(chuàng)建處理由圖3 例示的結(jié)構(gòu)來(lái)執(zhí)行。這里，目標(biāo)點(diǎn)是指充當(dāng)用于確定運(yùn)動(dòng)矢量的基準(zhǔn) 的點(diǎn)(基準(zhǔn)點(diǎn))的像素位置(目標(biāo)像素)。參考點(diǎn)是指具有作為從目 標(biāo)點(diǎn)起的運(yùn)動(dòng)的目的地的可能性的點(diǎn)的像素位置(參考像素)。參考 點(diǎn)對(duì)應(yīng)于包括目標(biāo)點(diǎn)的幀的下一幀或前一幀中的目標(biāo)點(diǎn)的像素位置附 近(即在搜索區(qū)中)的像素。在以下描述中，在特定上下文中，將目 標(biāo)點(diǎn)和參考點(diǎn)分別稱為目標(biāo)像素和參考像素。目標(biāo)像素是指位于目標(biāo) 點(diǎn)處的像素，參考像素是指位于參考點(diǎn)處的像素。
在描述圖3的結(jié)構(gòu)之前，將參照?qǐng)D6A描述目標(biāo)點(diǎn)與參考點(diǎn)之間 的關(guān)系。如圖6A所例示，在前一幀F(xiàn)10 (其為當(dāng)前時(shí)間的幀(當(dāng)前 幀)Fll之前一幀的圖像數(shù)據(jù))中，將充當(dāng)用于確定運(yùn)動(dòng)矢量的基準(zhǔn) 的像素位置確定為目標(biāo)點(diǎn)d10。在已經(jīng)確定了目標(biāo)點(diǎn)d10之后，在當(dāng) 前幀F(xiàn)ll中設(shè)定目標(biāo)點(diǎn)d10的像素位置周圍的預(yù)定范圍內(nèi)的搜索區(qū) SA。在已經(jīng)設(shè)定了搜索區(qū)SA之后，針對(duì)搜索區(qū)SA中的作為參考點(diǎn)dll的每個(gè)像素計(jì)算評(píng)估值。在圖6A中，出于描述的方便起見(jiàn)，僅例示了一個(gè)目標(biāo)點(diǎn)。然而，實(shí)際上，順序地將一個(gè)幀中的所有像素或多個(gè)代表像素設(shè)定為目標(biāo)點(diǎn)，并且將針對(duì)每個(gè)目標(biāo)點(diǎn)設(shè)定的搜索區(qū)SA中的每個(gè)像素確定為參考點(diǎn)。
用于生成選擇的像素?cái)?shù)據(jù)的結(jié)構(gòu)示例利用如圖6A中所示設(shè)定的目標(biāo)點(diǎn)和參考點(diǎn)，通過(guò)圖3的結(jié)構(gòu)來(lái)生成評(píng)估值表的數(shù)據(jù)。
在圖3中的示例的結(jié)構(gòu)中，將在輸入端子11處獲得的圖像信號(hào)提供給評(píng)估值表創(chuàng)建單元12中的相關(guān)度算術(shù)運(yùn)算單元20。相關(guān)度算術(shù)運(yùn)算單元20包括參考點(diǎn)存儲(chǔ)器21、目標(biāo)點(diǎn)存儲(chǔ)器22以及絕對(duì)值計(jì)算單元23。從輸入端子11處獲得的圖像信號(hào)中，將幀中的用作參考點(diǎn)的像素值存儲(chǔ)在參考點(diǎn)存儲(chǔ)器21中。然后，在下一幀周期中執(zhí)行將參考點(diǎn)存儲(chǔ)器21中存儲(chǔ)的幀的信號(hào)傳送到目標(biāo)點(diǎn)存儲(chǔ)器22的處理。在本示例中，參考點(diǎn)包括在當(dāng)前幀之前的一個(gè)幀的信號(hào)中。
然后，將目標(biāo)點(diǎn)存儲(chǔ)器22中存儲(chǔ)的目標(biāo)點(diǎn)的像素值和參考點(diǎn)存儲(chǔ)器21中存儲(chǔ)的參考點(diǎn)的像素值提供給絕對(duì)值計(jì)算單元23，以檢測(cè)這兩個(gè)信號(hào)之差的絕對(duì)值。此處的差是指圖像信號(hào)之間的亮度值的差。將檢測(cè)到的差的絕對(duì)值的數(shù)據(jù)提供給相關(guān)度確定單元30。相關(guān)度確定單元30包括用于將所述差與設(shè)定的閾值進(jìn)行比較并且獲得評(píng)估值的比較單元31。該評(píng)估值例如是當(dāng)差等于或小于閾值時(shí)表示高相關(guān)度而當(dāng)差超過(guò)閾值時(shí)表示低相關(guān)度的二元值。
將在相關(guān)度確定單元30處獲得的評(píng)估值提供給像素選擇單元40。像素選擇單元40包括用于選擇從相關(guān)度確定單元30輸出的二元值的門單元41。作為用于控制門單元41的結(jié)構(gòu)，像素選擇單元40包括空間傾斜度模式計(jì)算單元42、模式比較單元43以及空間傾斜度模式存儲(chǔ)器44。
空間傾斜度模式計(jì)算單元42計(jì)算目標(biāo)像素與相鄰于目標(biāo)像素的8個(gè)周邊像素中的每一個(gè)之間的空間傾斜度的狀態(tài)，以及計(jì)算參考像素與相鄰于參考像素的8個(gè)周邊像素中的每一個(gè)之間的空間傾斜度的狀態(tài)?；谀繕?biāo)像素和參考像素中的每一個(gè)與在包括該像素的幀中相圖6A和6B是例示了空間傾斜度模式的確定的示例的圖。如前所述，在兩個(gè)相鄰幀F(xiàn)10和F11中分別設(shè)定了目標(biāo)點(diǎn)和參考點(diǎn)之后，在各幀中確定該點(diǎn)處的像素(目標(biāo)點(diǎn)處的像素或參考點(diǎn)處的像素)的亮度值和8個(gè)周邊像素的亮度值。
圖7A到7D是例示了將中央的目標(biāo)像素或參考像素的亮度值與周邊像素的亮度值進(jìn)行比較以確定空間傾斜度碼的原理的圖。
即，當(dāng)確定了目標(biāo)點(diǎn)處的像素時(shí)，如圖7A所例示，將相鄰于目標(biāo)點(diǎn)的8個(gè)像素確定為相鄰像素。然后，當(dāng)將目標(biāo)點(diǎn)設(shè)定為基準(zhǔn)時(shí)，將目標(biāo)點(diǎn)的像素值與各相鄰點(diǎn)的像素值進(jìn)行比較，以確定這兩個(gè)像素的像素值(亮度值)之差是在預(yù)定范圍內(nèi)、在正方向上超過(guò)預(yù)定范圍、還是在負(fù)方向上超過(guò)預(yù)定范圍。
圖7B例示了作為基準(zhǔn)的目標(biāo)點(diǎn)與相鄰像素之差在預(yù)定范圍內(nèi)的示例。在此情況下，確定在目標(biāo)點(diǎn)與相鄰像素之間不存在空間傾斜度，并設(shè)定空間傾斜度0?？臻g傾斜度0表示在目標(biāo)點(diǎn)與相鄰像素之間幾乎不存在空間傾斜度的狀態(tài)。如果減小用于確定圖7B到7D中例示的差的預(yù)定范圍，則會(huì)減小被確定為不存在空間傾斜度的差的容限值。同時(shí)，如果增大所述預(yù)定范圍，則會(huì)增大被確定為不存在空間傾斜度的差的容限值。
圖7C例示了相鄰像素的值大于作為基準(zhǔn)的目標(biāo)點(diǎn)的值，因此它們之間的差在正方向上超過(guò)預(yù)定范圍的示例。在此情況下，確定在目標(biāo)點(diǎn)與相鄰像素之間存在空間傾斜度，并設(shè)定差值碼+。
圖7D例示了相鄰像素的值小于作為基準(zhǔn)的目標(biāo)點(diǎn)的值，因此它們之間的差在負(fù)方向上超過(guò)預(yù)定范圍的示例。在此情況下，確定在目標(biāo)點(diǎn)與相鄰像素之間存在空間傾斜度，并設(shè)定差值碼- 。
在圖7A到7D中，已經(jīng)對(duì)確定目標(biāo)點(diǎn)的空間傾斜度碼的處理進(jìn)行了描述。該描述也適用于參考點(diǎn)的情況。在參考點(diǎn)的情況下，圖7A到7D中設(shè)定的基準(zhǔn)改變成參考點(diǎn)處的像素值，并且相鄰像素的值對(duì)應(yīng)于相鄰于參考點(diǎn)的像素的值。
在本實(shí)施例中，基于通過(guò)圖7A到7D中例示的處理而獲得的、中央的目標(biāo)像素或參考像素與其8個(gè)周邊像素中的每一個(gè)之間的空間傾斜度的空間傾斜度碼，來(lái)確定空間傾斜度模式。具體來(lái)說(shuō)，如果目標(biāo)像素或參考像素與8個(gè)周邊像素之間的空間傾斜度的空間傾斜度碼全部是空間傾斜度0，則確定該目標(biāo)像素或參考像素在亮度上與周邊像素幾乎沒(méi)有差異，即，沒(méi)有空間傾斜度。此外，如果目標(biāo)像素或參考像素具有沿任何方向的+或-的空間傾斜度，則根據(jù)表現(xiàn)出+或 - 的空間傾斜度的空間傾斜度模式，確定該目標(biāo)像素或參考像素具有空間傾斜度。
圖8是例示了空間傾斜度模式的示例的圖。在圖8的左側(cè)例示了一個(gè)幀中的9像素模式P，在圖8的右側(cè)例示了該9像素模式P的放大視圖。圖8例示了目標(biāo)點(diǎn)(目標(biāo)像素)d10及其8個(gè)周邊像素的示例，其中中央的目標(biāo)點(diǎn)d10與8個(gè)周邊像素之間的空間傾斜度的空間傾斜度碼全為+或-。
圖8的模式例示了一個(gè)示例。因此，根據(jù)目標(biāo)點(diǎn)與8個(gè)周邊像素之間的空間傾斜度碼的組合，可以設(shè)定多種空間傾斜度模式。
回到對(duì)圖3的結(jié)構(gòu)的描述，像素選擇單元40的空間傾斜度模式計(jì)算單元42計(jì)算一個(gè)幀中的每個(gè)點(diǎn)(目標(biāo)像素或參考像素)的空間傾斜度模式。將該計(jì)算的結(jié)果發(fā)送到模式比較單元43，然后執(zhí)行比較以確定計(jì)算出的空間傾斜度模式與用于像素選擇的空間傾斜度模式是否匹配。為了執(zhí)行該比較，將用于像素選擇的模式的數(shù)據(jù)從空間傾斜度模式存儲(chǔ)器44發(fā)送到模式比較單元43。
例如，如果將具有如圖8所示的空間傾斜度模式的像素設(shè)定為要選擇的像素，則模式比較單元43接收從空間傾斜度模式存儲(chǔ)器44發(fā)送的圖8的模式的數(shù)據(jù)，并且執(zhí)行比較以確定所接收到的模式是否與計(jì)算出的空間傾斜度模式相匹配。盡管最優(yōu)選的是通過(guò)利用目標(biāo)點(diǎn)和參考點(diǎn)這兩者來(lái)執(zhí)行比較，但是也可以利用目標(biāo)點(diǎn)和參考點(diǎn)中的任一個(gè)來(lái)執(zhí)行比較。如果通過(guò)在模式比較單元43處進(jìn)行的比較而確定計(jì)算出的空間傾斜度模式與被確定為具有空間傾斜度的模式相匹配，則向門單元41發(fā)送選擇對(duì)應(yīng)的像素的指令。發(fā)送該指令的數(shù)據(jù)是所選像素?cái)?shù)據(jù)。
當(dāng)接收到根據(jù)所選像素?cái)?shù)據(jù)來(lái)選擇像素的指令時(shí)，門單元41使與對(duì)應(yīng)的目標(biāo)點(diǎn)和參考點(diǎn)相關(guān)的評(píng)估值通過(guò)。
將通過(guò)像素選擇單元40的門單元41的評(píng)估值提供給評(píng)估值表計(jì)算單元50。在評(píng)估值表計(jì)算單元50中，評(píng)估值積分單元51對(duì)評(píng)估值進(jìn)行積分，并將積分結(jié)果存儲(chǔ)在評(píng)估值表存儲(chǔ)器52中。將如此獲得的存儲(chǔ)在評(píng)估值表存儲(chǔ)器52中的數(shù)據(jù)作為評(píng)估值表數(shù)據(jù)從輸出端子12a提供到位于后級(jí)的電路(圖1中的運(yùn)動(dòng)矢量提取單元13)。
此外，將本實(shí)施例被配置成將提供到門單元41的所選像素?cái)?shù)據(jù)從輸出端子12a提供到運(yùn)動(dòng)矢量提取單元13。
運(yùn)動(dòng)矢量提取單元的結(jié)構(gòu)示例圖4是例示了圖l的運(yùn)動(dòng)矢量提取單元13的結(jié)構(gòu)示例的圖。在運(yùn)動(dòng)矢量提取單元13中，向輸入端子13a提供了評(píng)估值表數(shù)據(jù)、所選像素?cái)?shù)據(jù)以及圖像數(shù)據(jù)。
將評(píng)估值表數(shù)據(jù)從圖3的評(píng)估值表計(jì)算單元50提供到評(píng)估值表數(shù)據(jù)轉(zhuǎn)換單元61。
所選像素?cái)?shù)據(jù)是從圖3的像素選擇單元40的門單元41提供的，并表示由門單元41選擇的目標(biāo)點(diǎn)的像素位置。將目標(biāo)點(diǎn)的所選像素?cái)?shù)據(jù)提供到所選像素?cái)?shù)據(jù)存儲(chǔ)器73以存儲(chǔ)在其中，直到對(duì)應(yīng)的幀中的處理完成。
所述圖像數(shù)據(jù)是正被處理的每個(gè)幀的圖像數(shù)據(jù)，并被提供給幀存儲(chǔ)器74以存儲(chǔ)在其中，直到對(duì)應(yīng)的幀中的處理完成。
評(píng)估值表數(shù)據(jù)轉(zhuǎn)換單元61將所提供的評(píng)估值表數(shù)據(jù)轉(zhuǎn)換成諸如頻率值或微分值的數(shù)據(jù)。轉(zhuǎn)換后的數(shù)據(jù)經(jīng)受頻率順序排序處理單元62的處理，使得按頻率的順序在一個(gè)幀中對(duì)候選矢量進(jìn)行重排。將按頻率的順序重排后的候選矢量的評(píng)估值表數(shù)據(jù)提供給候選矢量可靠性確定單元70。
在候選矢量可靠性確定單元70中，將按頻率的順序重排后的評(píng)估值表數(shù)據(jù)提供給候選矢量可靠性評(píng)估單元71。候選矢量可靠性評(píng)估單元71對(duì)由所選像素?cái)?shù)據(jù)存儲(chǔ)器73中存儲(chǔ)的目標(biāo)點(diǎn)的所選像素?cái)?shù)據(jù)表示的相應(yīng)所選像素的位置處的候選矢量的可靠性進(jìn)行評(píng)估。將該評(píng)估的結(jié)果提供給候選矢量可靠性確定單元72，以生成候選矢量的可靠性數(shù)據(jù)。然后，將候選矢量的可靠性數(shù)據(jù)從輸出端子13b提供到位于后級(jí)的處理單元(圖1中的運(yùn)動(dòng)矢量確定單元14)。
用于生成所選像素?cái)?shù)據(jù)的處理示例隨后，將對(duì)通過(guò)圖3和4的
估的處理示例進(jìn)行描述。
參照?qǐng)D5的流程圖，將首先描述確定要選擇的像素的處理。通過(guò)圖3的結(jié)構(gòu)來(lái)執(zhí)行確定要選擇的像素的處理。
參照?qǐng)D5，通過(guò)圖3中例示的結(jié)構(gòu)的處理對(duì)應(yīng)于通過(guò)利用目標(biāo)點(diǎn)和參考點(diǎn)的空間傾斜度模式來(lái)選擇評(píng)估值的處理。在下面的流程圖中，將主要描述像素選擇單元40的處理。
圖5的流程圖例示了使用圖8中例示的空間傾斜度模式的示例，即，包括中央的一個(gè)像素以及8個(gè)相鄰像素的9像素模式的示例，其中中央的目標(biāo)點(diǎn)或參考點(diǎn)與8個(gè)相鄰像素之間的關(guān)系全部由除0以外的碼(即，碼+或-)表示。
首先，空間傾斜度模式計(jì)算單元42從根據(jù)目標(biāo)點(diǎn)與各相鄰像素之間的差的空間傾斜度模式計(jì)算空間傾斜度碼。類似地，空間傾斜度模式計(jì)算單元42還從根據(jù)參考點(diǎn)與各相鄰像素之間的差的空間傾斜度模式計(jì)算空間傾斜度碼。由此，獲得空間傾斜度模式(步驟S21)。
然后，確定所獲得的空間傾斜度模式與空間傾斜度模式存儲(chǔ)器44中先前準(zhǔn)備的空間傾斜度模式是否匹配(步驟S22)。如果通過(guò)該確定確認(rèn)了與所準(zhǔn)備的空間傾斜度模式相匹配，則確定目標(biāo)點(diǎn)處的像素與參考點(diǎn)處的像素之間的亮度值差是否等于或小于預(yù)定閾值，由此確定目標(biāo)點(diǎn)與參考點(diǎn)是否相同(步驟S23)。
在該步驟中，如果確定了目標(biāo)點(diǎn)與參考點(diǎn)相同，則使對(duì)應(yīng)的評(píng)估值通過(guò)門單元41并積分在評(píng)估值表中(步驟S24)。然后，存儲(chǔ)將目標(biāo)點(diǎn)指示為所選像素的信息(步驟S25)。
此外，如果在步驟S22處這兩個(gè)空間傾斜度模式彼此不匹配，以及如果在步驟S23處目標(biāo)點(diǎn)與參考點(diǎn)之差超過(guò)閾值，則阻止評(píng)估值通過(guò)門單元41，以禁止將評(píng)估值寫入評(píng)估值表中(步驟S26)。
用于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的處理示例隨后，參照?qǐng)D9的流程圖，將描述對(duì)評(píng)估值表中的如此獲得的評(píng)估值進(jìn)行評(píng)估的處理示例。對(duì)評(píng)估值表中的評(píng)估值進(jìn)行評(píng)估的處理由圖4所例示的運(yùn)動(dòng)矢量提取單元13來(lái)執(zhí)行。
首先，候選矢量可靠性評(píng)估單元71從頻率順序排序處理單元62讀取候選矢量(步驟S31)。這些候選矢量是從由頻率順序排序處理單元62按頻率的順序排序后的候選矢量中提取的，并且是一個(gè)幀中的預(yù)定數(shù)量的最頻繁候選矢量。在此情況下，例如，從一個(gè)幀中的候選矢量中按頻率的降序提取前20個(gè)候選矢量。
然后，對(duì)于由從所選像素?cái)?shù)據(jù)存儲(chǔ)器73提供的所選像素?cái)?shù)據(jù)表示的目標(biāo)點(diǎn)處的所選像素，候選矢量可靠性評(píng)估單元71設(shè)定以各目標(biāo)像素為中心的預(yù)定區(qū)域。然后，對(duì)于目標(biāo)像素，將參考點(diǎn)設(shè)定為由在步驟S31提取的相應(yīng)候選矢量表示的候選運(yùn)動(dòng)目的地。例如，如果如上所述提取了前20個(gè)候選矢量，則針對(duì)一個(gè)目標(biāo)點(diǎn)處的所選像素設(shè)定20個(gè)參考像素。
在設(shè)定了多個(gè)參考像素之后，設(shè)定以各參考像素為中心的預(yù)定區(qū)域。該區(qū)域的大小與以目標(biāo)像素為中心而設(shè)定的區(qū)域的大小相同。
然后，從幀存儲(chǔ)器74獲取以所選目標(biāo)像素為中心的區(qū)域的像素值和以相應(yīng)參考像素為中心的區(qū)域的像素值(步驟S32)。
在獲取了各區(qū)域的像素值之后，獲取以目標(biāo)像素為中心的區(qū)域中的各像素的像素值與以各參考像素為中心的各區(qū)域中的各像素的像素值之間的差，并針對(duì)各區(qū)域計(jì)算這些差的絕對(duì)值之和(步驟S33)?；谝陨嫌?jì)算，在從所選目標(biāo)像素延伸的候選矢量中，將具有最小差值絕對(duì)值和的參考像素的候選矢量確定為高度可靠的，并將可靠性計(jì)數(shù)值增加+1 (步驟S34 )。然后，針對(duì)一個(gè)幀中的所有所選目標(biāo)像素執(zhí)行類似的候選矢量可
靠性評(píng)估，由此確定候選矢量的相應(yīng)可靠性(步驟S35)。
用于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的原理的描述隨后，參照?qǐng)DIOA和10B,將描述通過(guò)圖4的結(jié)構(gòu)和圖9的流程圖的處理來(lái)執(zhí)行的評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的處理中的可靠性確定的原理。在以上描述中，按頻率的降序提取20個(gè)矢量作為候選矢量。這里，為了筒化描述，假設(shè)已經(jīng)按頻率的降序提取了 3個(gè)候選矢量。
首先，如果前一幀F(xiàn)10包括所選目標(biāo)點(diǎn)d10，如圖10A所例示，則在目標(biāo)點(diǎn)d10周圍分配作為候選運(yùn)動(dòng)的3個(gè)候選矢量。通過(guò)候選矢量的分配，在當(dāng)前幀F(xiàn)ll中獲得了 3個(gè)參考點(diǎn)dll、 d12以及dl3作為由候選矢量表示的候選運(yùn)動(dòng)目的地。 在此情況下，在圖9中的流程圖的步驟S32處，在前一幀F(xiàn)10中設(shè)定以目標(biāo)點(diǎn)dlO為中心的區(qū)域alO，如圖10B所示。此外，在當(dāng)前幀F(xiàn)ll中設(shè)定分別以參考點(diǎn)dll、 dl2以及dl3為中心的區(qū)域a11、a12以及a13。
各區(qū)域all、 a12以及al3的大小相等。例如，每個(gè)區(qū)域包括垂直方向上8個(gè)像素乘以水平方向上16個(gè)像素，即，包括128個(gè)像素。
然后，在圖9中的流程圖的步驟S33中，將目標(biāo)點(diǎn)周圍的區(qū)域a10中的各像素的像素值與各參考點(diǎn)周圍的各區(qū)域all、 a12以及a13中的各像素的像素值進(jìn)行比較。由此，獲得它們之間的差值。將通過(guò)比較獲得的各像素位置處的差值轉(zhuǎn)換成相應(yīng)的絕對(duì)值，并在各區(qū)域中相加，從而獲得差值絕對(duì)值和。具體來(lái)說(shuō)，如圖10B所示，獲得區(qū)域alO中的各像素與區(qū)域all中的各像素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加以獲得差值絕對(duì)值和Aal。此外，獲得區(qū)域a10中的各像素與區(qū)域a12中的各像素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加以獲得差值絕對(duì)值和Aj31。此外，獲得區(qū)域a10中的各像素與區(qū)域a13中的各像素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加以獲得差值絕對(duì)值和^1 。
然后，將差值絕對(duì)值和Aal、 API以及Ayl相互比較，并將最小的差值絕對(duì)值和確定為高度可靠的。在圖10B的示例中，假設(shè)差值絕對(duì)值和Actl最小。在此情況下，將連接目標(biāo)點(diǎn)d10與參考點(diǎn)dll的運(yùn)動(dòng)矢量確定為目標(biāo)點(diǎn)d10的候選矢量中的最可靠候選矢量。在確定了目標(biāo)點(diǎn)d10的最可靠候選矢量之后，對(duì)于在圖9中的流程圖的步驟S31處提取的候選矢量之中被確定為高度可靠的候選矢量，將表示評(píng)估值的計(jì)數(shù)值增加+1。該處理對(duì)應(yīng)于圖9中的流程圖的步驟S34。
然后，針對(duì)一個(gè)幀中的所有所選目標(biāo)像素，執(zhí)行以上述方式計(jì)算可靠性的處理。然后，利用最終獲得的表示評(píng)估值的計(jì)數(shù)值，確定圖9中的流程圖的步驟S31處提取的多個(gè)候選矢量的相應(yīng)可靠性。
用于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的處理示例(使用下層和上層的示例)在圖9到10B的示例中，針對(duì)一個(gè)目標(biāo)點(diǎn)和由從該目標(biāo)點(diǎn)延伸的候選矢量指示的參考點(diǎn)中的每一個(gè)設(shè)定一個(gè)區(qū)域，使得該區(qū)域以所述點(diǎn)為中心，并且確定該區(qū)域中的像素的差值絕對(duì)值和。另選地，可以針對(duì)目標(biāo)點(diǎn)和參考點(diǎn)中的每一個(gè)設(shè)定多個(gè)區(qū)域。這里，參照?qǐng)D11到12B，將描述在上層和下層上執(zhí)行區(qū)域設(shè)定的示例，作為設(shè)定多個(gè)區(qū)域的示例。
首先，參照?qǐng)D11的流程圖，將描述在上層和下層這兩個(gè)層上評(píng)估所選目標(biāo)像素的候選矢量的處理示例。評(píng)估候選矢量的處理由圖4中例示的運(yùn)動(dòng)矢量提取單元13來(lái)執(zhí)行。
參照?qǐng)D11，候選矢量可靠性評(píng)估單元71從頻率順序排序處理單元62讀取候選矢量(步驟S41)。這些候選矢量是從由頻率順序排序處理單元62按頻率的順序排序的候選矢量中提取的，并且是一個(gè)幀中的預(yù)定數(shù)量的最頻繁候選矢量。在此情況下，例如，從一個(gè)幀的候選矢量中按頻率的降序提取前20個(gè)候選矢量。然后，并行執(zhí)行對(duì)下層的處理和對(duì)上層的處理。
為了執(zhí)行對(duì)下層的處理，本過(guò)程進(jìn)行到步驟S42。對(duì)于由從所選像素?cái)?shù)據(jù)存儲(chǔ)器73提供的所選像素?cái)?shù)據(jù)表示的目標(biāo)點(diǎn)處的所選像素，候選矢量可靠性評(píng)估單元71設(shè)定以各目標(biāo)像素為中心的下層上的預(yù)定區(qū)域。然后，對(duì)于目標(biāo)像素，將參考點(diǎn)設(shè)定為由步驟S41處提取的各候選矢量指示的候選運(yùn)動(dòng)目的地。例如，如果如上所述提取了前20個(gè)候選矢量，則針對(duì)一個(gè)目標(biāo)點(diǎn)處的所選像素設(shè)定20個(gè)參考像素。
在設(shè)定了多個(gè)參考像素之后，將下層上的預(yù)定區(qū)域設(shè)定為以各參 考像素為中心。以各參考像素為中心的下層上的區(qū)域的大小與被設(shè)定 為以目標(biāo)像素為中心的下層上的區(qū)域的大小相同。
然后，從幀存儲(chǔ)器74獲取以所選目標(biāo)像素為中心的下層上的區(qū) 域的像素值和以各參考像素為中心的下層上的區(qū)域的像素值(步驟 S42)。在該示例中，下層上的各區(qū)域例如包括垂直方向上8像素乘以 水平方向上16像素，即，128像素。
在獲取了各區(qū)域的像素值之后，獲取以目標(biāo)像素為中心的區(qū)域中 的各像素的像素值與以各參考像素為中心的各區(qū)域中的各像素的像素 值之間的差值，并針對(duì)各區(qū)域計(jì)算差值的絕對(duì)值的和(步驟S43)。 基于以上計(jì)算，在從所選目標(biāo)像素延伸的候選矢量中，將具有最小差 值絕對(duì)值和的參考像素的候選矢量確定為下層上的高度可靠的矢量， 并將可靠性計(jì)數(shù)值增加+1 (步驟S44 )。
同時(shí)，為了執(zhí)行對(duì)上層的處理，本過(guò)程進(jìn)行到步驟S45。對(duì)于由 從所選像素?cái)?shù)據(jù)存儲(chǔ)器73提供的所選像素?cái)?shù)據(jù)指示的目標(biāo)點(diǎn)處的所 選像素，候選矢量可靠性評(píng)估單元71設(shè)定以各目標(biāo)像素為中心的上層 上的預(yù)定區(qū)域。此外，同樣對(duì)于位于與下層上的參考點(diǎn)相同的位置處 的各參考點(diǎn)，將上層上的預(yù)定區(qū)域設(shè)定為以參考像素為中心。以參考
像素為中心的上層上的區(qū)域的大小與被設(shè)定為以目標(biāo)像素為中心的上 層上的區(qū)域的大小相同。在本示例中，上層上的各區(qū)域例如包括垂直 方向上24像素乘以水平方向上48像素，即，1152像素。然而，在上 層上，將像素分組成多個(gè)塊，每個(gè)塊構(gòu)成垂直方向上3個(gè)像素乘以水 平方向上3個(gè)像素的單元，并針對(duì)每個(gè)塊計(jì)算平均像素值。
然后，獲得以目標(biāo)像素為中心的區(qū)域中的塊的平均像素值與以各 參考像素為中心的各區(qū)域中的塊的平均像素值之間的差值，并針對(duì)各 區(qū)域計(jì)算差值的絕對(duì)值的和(步驟S46)。基于以上計(jì)算，在從所選 目標(biāo)像素延伸的候選矢量中，將具有最小差值絕對(duì)值和的參考像素的 候選矢量確定為在上層上高度可靠的，并將可靠性計(jì)數(shù)值增加+1 (步驟S47 )。
然盾，對(duì)于一個(gè)幀中的所有所選目標(biāo)像素，執(zhí)行類似的下層的候 選矢量的可靠性評(píng)估和上層的候選矢量的可靠性評(píng)估。然后，確定候
選矢量的相應(yīng)可靠性(步驟S48)。
用于評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的原理的描述(使用下層和上層 的示例)隨后，參照?qǐng)D12A和12B，將描述在由圖11的流程圖的 處理執(zhí)行的通過(guò)使用下層和上層評(píng)估評(píng)估值表數(shù)據(jù)的可靠性的處理中 的可靠性確定的原理。為了簡(jiǎn)化描述，還是假設(shè)在本示例中已經(jīng)按頻 率的降序提取了 3個(gè)候選矢量。在圖12A和12B中，對(duì)下層的處理與 圖IOA和10B中描述的處理完全相同。
首先，如果前一幀F(xiàn)10包括所選目標(biāo)點(diǎn)d10，如圖12A所例示， 則在目標(biāo)點(diǎn)dlO周圍分配作為候選運(yùn)動(dòng)的3個(gè)候選矢量。通過(guò)候選矢 量的分配，在當(dāng)前幀F(xiàn)ll中獲得了 3個(gè)參考點(diǎn)dll、 d12以及dl3作 為由候選矢量指示的候選運(yùn)動(dòng)目的地。圖12A的狀態(tài)與圖10A的狀態(tài)相 同。
然后，在圖11中的流程圖的步驟S42處執(zhí)行的對(duì)下層的處理中， 在前一幀F(xiàn)10中設(shè)定以目標(biāo)點(diǎn)d10為中心的下層上的區(qū)域a10，如圖 12B所例示。此外，在當(dāng)前幀F(xiàn)ll中設(shè)定分別以參考點(diǎn)dll、 dl2以及 dl3為中心的下層上的區(qū)域a11、 al2以及a13。
下層上的各區(qū)域a10、 all、 a12以及a13的大小相等。例如，各 區(qū)域包括垂直方向上8個(gè)像素乘以水平方向上16個(gè)像素，即128個(gè)像素。
在圖11中的流程圖的步驟S45處執(zhí)行的對(duì)上層的處理中，在前 一幀F(xiàn)10中設(shè)定以目標(biāo)點(diǎn)d10為中心的上層上的區(qū)域AIO，如圖12B 所例示。此外，在當(dāng)前幀F(xiàn)ll中設(shè)定分別以參考點(diǎn)dll、 d12以及d13 為中心的上層上的區(qū)域All、 A12以及A13。
在上層上，將像素分組成多個(gè)塊，如圖13所例示。即，如圖13的 (a)中例示，在設(shè)定目標(biāo)點(diǎn)dlO或參考點(diǎn)dll周圍的區(qū)域時(shí)，將塊B0、 Bl、 B2、 B3、 B4等設(shè)定為9像素單元，每個(gè)9像素單元包括垂直方向 上的3個(gè)像素乘以水平方向上的3個(gè)像素。對(duì)每個(gè)塊中的9個(gè)像素的像素值(亮度值)進(jìn)行平均。由此，每個(gè)塊具有平均像素值。
然后，如圖15所例示，準(zhǔn)備垂直方向上的8個(gè)塊乘以水平方向上 的16個(gè)塊，即，128個(gè)塊。計(jì)算這128個(gè)塊的平均像素值的差值絕對(duì)值 和。
各區(qū)域AIO、 All、 A12和A13的大小相等，并且分別大于下層上 的區(qū)域a10、 all、 al2以及a13。例如，每個(gè)區(qū)域包括垂直方向上的24 個(gè)像素乘以水平方向上的48個(gè)像素，即，1152個(gè)#>素。
回到對(duì)圖12B的描述，在圖11中的流程圖的步驟S43處執(zhí)行的 對(duì)下層的處理中，將目標(biāo)點(diǎn)周圍的區(qū)域a10中的各像素的像素值與各 參考點(diǎn)周圍的區(qū)域all、 a12以及a13中的每一個(gè)中的各像素的像素值 進(jìn)行比較。由此，獲得它們之間的差值。將通過(guò)該比較獲得的各^f象素位 置處的差值轉(zhuǎn)換成相應(yīng)的絕對(duì)值，并在各區(qū)域中相加，從而獲得差值絕 對(duì)值和。具體來(lái)說(shuō)，如圖IOB所例示，獲得區(qū)域a10中的各像素與區(qū)域 all中的各像素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加，以獲得下 層上的差值絕對(duì)值和Acd。此外，獲得區(qū)域a10中的各像素與區(qū)域a12 中的各〗象素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加，以獲得下層 上的差值絕對(duì)值和AP1。此外，獲得區(qū)域a10中的各像素與區(qū)域a13中的 各像素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加，以獲得下層上的 差值絕對(duì)值和A)4。
類似地，在圖11中的流程圖的步驟S46處執(zhí)行的對(duì)上層的處理 中，將目標(biāo)點(diǎn)周圍的區(qū)域AIO中的各像素的像素值與各參考點(diǎn)周圍的 區(qū)域All、 A12以及A13中的每一個(gè)中的各像素的像素值進(jìn)行比較。由 此，獲得它們之間的差值。將通過(guò)該比較獲得的各像素位置處的差值轉(zhuǎn) 換成相應(yīng)的絕對(duì)值，并在各區(qū)域中相加，從而獲得差值絕對(duì)值和。具體 來(lái)說(shuō)，如圖12B所例示，獲得區(qū)域AIO中的各《象素與區(qū)域AU中的各像 素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加，以獲得上層上的差值 絕對(duì)值和Aa2。此外，獲得區(qū)域AIO中的各像素與區(qū)域A12中的各像素 之間的差值，并在區(qū)域中將差值的絕對(duì)值相加，以獲得上層上的差值絕 對(duì)值和AP2。此外，獲得區(qū)域A10中的各像素與區(qū)域A13中的各像素之間的差值，并在區(qū)域中將差值的絕對(duì)值相加，以獲得上層上的差值絕對(duì)
值和Ay2。
然后，將下層上的差值絕對(duì)值和Aotl、 Apl和Ayl相互比較，并 將最小的差值絕對(duì)值和確定為在下層上高度可靠的。在圖12B的示例中， 假設(shè)在下層上差值絕對(duì)值和Aal是最小的。在此情況下，在對(duì)下層的確 定處理中，將連接目標(biāo)點(diǎn)d10與參考點(diǎn)dll的運(yùn)動(dòng)矢量確定為在此情況 下選擇的目標(biāo)點(diǎn)d10的候選矢量中的最可靠候選矢量。
在確定了在下層上目標(biāo)點(diǎn)d10的最可靠候選矢量之后，對(duì)于在圖11 中的流程圖的步驟S41處獲得的候選矢量中被確定為高度可靠的候選矢 量，將表示下層上的評(píng)估值的計(jì)數(shù)值增加+1。該處理對(duì)應(yīng)于圖11中的流 程圖的步驟S44。
類似地，將上層上的差值絕對(duì)值和Aa2、 Ap2和Ay2相互比較，并 將最小的差值絕對(duì)值和確定為在上層上高度可靠的。在圖12B的示例中， 假設(shè)在上層上差值絕對(duì)值和Aa2是最小的。在此情況下，在對(duì)上層的確 定處理中，將連接目標(biāo)點(diǎn)d10與參考點(diǎn)dll的運(yùn)動(dòng)矢量確定為在此情況 下選擇的目標(biāo)點(diǎn)d10的候選矢量中的最可靠候選矢量。
在確定了在上層上目標(biāo)點(diǎn)d10的最可靠候選矢量之后，對(duì)于在圖11 中的流程圖的步驟S41處獲得的候選矢量中被確定為高度可靠的候選矢 量，將表示上層上的評(píng)估值的計(jì)數(shù)值增加+1。該處理對(duì)應(yīng)于圖11中的流 程圖的步驟S47。
然后，針對(duì)一個(gè)幀中的所有所選目標(biāo)像素，執(zhí)行以上述方式計(jì)算 可靠性的處理。然后，利用最終獲得的表示評(píng)估值的計(jì)數(shù)值，確定圖 U中的流程圖的步驟S41處提取的多個(gè)候選矢量的各自的可靠性。
在圖12A和12B的示例中，在對(duì)下層的處理中4皮確定為最可靠的候 選矢量與在對(duì)上層的處理中被確定為最可靠的候選矢量是同一矢量。然 而，在上層與下層之間，被確定為最可靠的候選矢量不一定相同。
利用以上述方式獲得的下層上的候選矢量的可靠性的評(píng)估值(計(jì) 數(shù)值)和上層上的候選矢量的可靠性的評(píng)估值(計(jì)數(shù)值)，在一個(gè)幀 的整個(gè)畫面中的候選矢量之中確定高度可靠的候選矢量。在圖11的流程圖中，描述了對(duì)下層和上層都執(zhí)行處理的示例。 然而，可以僅設(shè)定上層上的區(qū)域，以基于在上層上獲得的塊的平均像 素值的差值絕對(duì)值和來(lái)評(píng)估候選矢量的可靠性。
對(duì)下層和上層的描述在圖14和15中分別例示了對(duì)圖12A和 12B中例示的候選矢量的可靠性進(jìn)行評(píng)估的處理示例，分別作為對(duì)下 層的處理和對(duì)上層的處理。
即，在下層上，如圖14所例示，設(shè)定了區(qū)域a10、 all、 al2等， 每個(gè)區(qū)域包括8個(gè)像素乘以16個(gè)像素，并且分別以所選目標(biāo)像素dl0和 由從目標(biāo)像素d10延伸的候選矢量指示的參考像素dll、 d12以及d13 為中心。然后，獲得各區(qū)域中的像素的差值絕對(duì)值和，并進(jìn)行相互比較。
在上層上，如圖15所例示，設(shè)定了區(qū)域AIO、 All、 A12等，每 個(gè)區(qū)域包括24個(gè)像素乘以48個(gè)像素，并且分別以目標(biāo)像素d10和由從 目標(biāo)像素d10延伸的候選矢量指示的參考像素dll、 d12以及d13為中 心，并且這些像素被分組成每個(gè)均包括3個(gè)像素乘以3個(gè)像素的多個(gè)塊 單元。然后，獲得各區(qū)域中的塊的平均值的差值絕對(duì)值和，并進(jìn)4亍相互 比較。
以上述方式，針對(duì)評(píng)估值表中所示的每個(gè)候選運(yùn)動(dòng)矢量，獲得表 示可靠性的計(jì)數(shù)值，并且基于表示候選矢量的相應(yīng)可靠性的計(jì)數(shù)值來(lái) 縮減候選矢量。
評(píng)估值表和評(píng)估結(jié)果的示例這里，參照?qǐng)D16到20,將描述通 過(guò)評(píng)估值表獲得的候選矢量和評(píng)估結(jié)果的示例。
首先，圖16例示了針對(duì)一個(gè)幀的整個(gè)畫面檢測(cè)到的評(píng)估值表的 示例。圖16的示例例示了整個(gè)畫面在一個(gè)方向上運(yùn)動(dòng)的狀態(tài)。該示例 例示了在一個(gè)幀的整個(gè)畫面中發(fā)生了表示為水平方向(Vx)為-3 (即，3 個(gè)像素的運(yùn)動(dòng))且垂直方向(Vy)為0 (即，沒(méi)有運(yùn)動(dòng))的運(yùn)動(dòng)的情況。
在該示例中，評(píng)估值表數(shù)據(jù)在位置(-3，0)處具有峰值，這是正確的 運(yùn)動(dòng)矢量位置。然而，在其它矢量位置處也留有一定數(shù)量的運(yùn)動(dòng)矢量作 為寸吳選運(yùn)動(dòng)矢量。
圖17示出了從圖16所例示的狀態(tài)下的評(píng)估值表中的運(yùn)動(dòng)矢量中按頻率計(jì)數(shù)值的順序提取的候選矢量。在圖17的示例中，按頻率的降 序提取前20個(gè)候選矢量，并按頻率的降序?yàn)槠浞峙渚幪?hào)(id )0， 1， 2，...， 和19。
圖18示出了基于對(duì)與所選目標(biāo)像素相關(guān)的下層上的區(qū)域中的差 值絕對(duì)值和的確定而對(duì)圖17中的20個(gè)最頻繁候選矢量進(jìn)行高可靠性 計(jì)數(shù)得到的數(shù)值。在對(duì)下層的處理中，具有1以上的計(jì)數(shù)值的候選矢 4:中的最低頻候選矢量是id9。然而，在比id9頻率更高的候選矢量id4 和id6中，計(jì)數(shù)值為O。比id9頻率低的候選矢量都具有計(jì)數(shù)值0，即， 這些候選矢量被確定為在任何所選像素中不是高度可靠的。
在本示例中，選擇位于IO個(gè)坐標(biāo)位置處的按頻率的順序的前10 個(gè)候選矢量idO到id9作為最終候選矢量。將如此選擇的候選矢量的數(shù) 據(jù)發(fā)送到圖1中例示的運(yùn)動(dòng)矢量確定單元14，以確定最終運(yùn)動(dòng)矢量。
在圖18的示例中，僅對(duì)下層執(zhí)行確定。這樣，該示例對(duì)應(yīng)于圖9 中的流程圖的處理的結(jié)果。
圖19示出了基于對(duì)與所選目標(biāo)像素相關(guān)的上層上的區(qū)域中的差 值絕對(duì)值和的確定而對(duì)圖17中的20個(gè)最頻繁候選矢量進(jìn)行高可靠性 計(jì)數(shù)得到的數(shù)值。在對(duì)上層的處理中，位于3個(gè)坐標(biāo)位置處的候選矢 量idO、 id3和id7具有計(jì)數(shù)值。在所有其它候選矢量中，計(jì)數(shù)值為0， 即，其它候選矢量被確定為在任何所選像素中不是高度可靠的。
因此，在本示例中，選擇位于3個(gè)坐標(biāo)位置處的候選矢量idO、 id3和id7作為最終候選矢量。將如此選擇的候選矢量的數(shù)據(jù)發(fā)送到圖1 中例示的運(yùn)動(dòng)矢量確定單元14,以確定最終運(yùn)動(dòng)矢量。
在圖19的示例中，僅對(duì)上層執(zhí)行確定。這樣，該示例對(duì)應(yīng)于圖 11中的流程圖的一些處理(步驟S41、 S45、 S46、 S47和S48處的處理) 的結(jié)果。
圖20示出了基于下層上的確定的高可靠性計(jì)數(shù)而得到的數(shù)值和 基于上層上的確定的高可靠性計(jì)數(shù)而得到的數(shù)值，即，圖18和19的 組合。圖20的示例對(duì)應(yīng)于圖11中的流程圖的處理的結(jié)果。
對(duì)圖20所示的候選矢量的各計(jì)數(shù)值進(jìn)行評(píng)估，并提取預(yù)定數(shù)量的具有計(jì)數(shù)值的最頻繁候選矢量作為候選矢量，并將其發(fā)送到運(yùn)動(dòng)矢
量確定單元14。
選擇僅對(duì)下層進(jìn)行確定、僅對(duì)上層進(jìn)行確定以及對(duì)上層和下層這 兩層進(jìn)行確定中的哪一個(gè)優(yōu)選地根據(jù)實(shí)際圖像的狀態(tài)而變化。即，在 具有相對(duì)小的運(yùn)動(dòng)的圖像的情況下，可以通過(guò)僅使用下層來(lái)合適地評(píng) 估候選矢量的可靠性，從而縮減候選矢量。此外，在具有相對(duì)大的運(yùn) 動(dòng)的圖像的情況下，可以通過(guò)僅使用上層來(lái)合適地評(píng)估候選矢量的可 靠性，從而縮減候選矢量。
此外，通過(guò)組合使用下層和上層，可以處理相對(duì)小的運(yùn)動(dòng)和相對(duì) 大的運(yùn)動(dòng)。然而，在組合使用下層和上層時(shí)，應(yīng)當(dāng)執(zhí)行一些處理以基 于在這兩個(gè)層上獲得的兩種類型的計(jì)數(shù)值來(lái)確定候選矢量的最終范 圍。
通過(guò)如上所述地配置的本實(shí)施例的處理，可以對(duì)通過(guò)所選像素?cái)?shù) 據(jù)縮減的評(píng)估值表的數(shù)據(jù)執(zhí)行可靠性評(píng)估，并且可以合適地執(zhí)行確定 最終運(yùn)動(dòng)矢量的處理。具體來(lái)說(shuō)，確定一個(gè)幀的圖像中的運(yùn)動(dòng)矢量的 最終數(shù)量以在一定程度上反映基于評(píng)估的計(jì)數(shù)值而被確定為高度可靠 的矢量的數(shù)量。因此，當(dāng)一個(gè)圖像包括多個(gè)運(yùn)動(dòng)時(shí)，可以合適地執(zhí)行 運(yùn)動(dòng)矢量檢測(cè)。與將一個(gè)幀中的運(yùn)動(dòng)矢量的數(shù)量限制性地確定為按經(jīng) 驗(yàn)得到的常數(shù)值的現(xiàn)有技術(shù)示例相比，本實(shí)施例能夠根據(jù)實(shí)際圖像的 狀態(tài)自適應(yīng)地設(shè)定運(yùn)動(dòng)矢量的數(shù)量，并且特別地能夠執(zhí)行適合于具有 很多運(yùn)動(dòng)變化的圖像的運(yùn)動(dòng)矢量檢測(cè)。
運(yùn)動(dòng)矢量確定單元的結(jié)構(gòu)和操作的示例隨后，參照?qǐng)D21到23， 將描述圖1的結(jié)構(gòu)中例示的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定單元 14的結(jié)構(gòu)和操作的示例。
圖21例示了圖l的運(yùn)動(dòng)矢量確定單元14的結(jié)構(gòu)示例。運(yùn)動(dòng)矢量 確定單元14執(zhí)行如下處理對(duì)一個(gè)幀中的每個(gè)^(象素分配從位于前級(jí)的 運(yùn)動(dòng)矢量提取單元13提供的多個(gè)候選矢量中的一個(gè)。
在本示例中，當(dāng)將每個(gè)像素位置設(shè)定為目標(biāo)點(diǎn)時(shí)，在該目標(biāo)點(diǎn)周 圍設(shè)定作為由預(yù)定數(shù)量的像素形成的區(qū)域的固定塊，以確定運(yùn)動(dòng)矢量。
29參照?qǐng)D21，將對(duì)該結(jié)構(gòu)進(jìn)行描述。向運(yùn)動(dòng)矢量確定單元14的輸 入端子14a提供候選運(yùn)動(dòng)矢量的數(shù)據(jù)和與候選矢量對(duì)應(yīng)的圖像信號(hào)。 將該圖像信號(hào)提供給充當(dāng)幀存儲(chǔ)器的參考點(diǎn)存儲(chǔ)器211，并將一幀的 圖像信號(hào)存儲(chǔ)在其中。然后，在每個(gè)幀周期中將存儲(chǔ)在參考點(diǎn)存儲(chǔ)器 211中的圖像信號(hào)傳送到目標(biāo)點(diǎn)存儲(chǔ)器212。因此，存儲(chǔ)在參考點(diǎn)存儲(chǔ) 器211中的圖像信號(hào)和存儲(chǔ)在目標(biāo)點(diǎn)存儲(chǔ)器212中的圖像信號(hào)通常彼 此錯(cuò)開(kāi)一個(gè)幀周期。
然后，數(shù)據(jù)讀取單元213從存儲(chǔ)在目標(biāo)點(diǎn)存儲(chǔ)器212中的圖像信 號(hào)讀取以目標(biāo)點(diǎn)為中心的預(yù)定大小的固定塊的像素信號(hào)。類似地，數(shù)
據(jù)讀取單元213從存儲(chǔ)在參考點(diǎn)存儲(chǔ)器211中的圖像信號(hào)讀取以各參 考點(diǎn)為中心的預(yù)定大小的固定塊的像素信號(hào)。由數(shù)據(jù)讀取單元213基 于從運(yùn)動(dòng)矢量提取單元13 (圖1)提供的候選矢量的數(shù)據(jù)對(duì)由數(shù)據(jù)讀 取單元213讀取的目標(biāo)點(diǎn)和參考點(diǎn)(目標(biāo)像素和參考像素)的像素位 置進(jìn)行確定。即，如果例如存在IO個(gè)候選矢量，則將10個(gè)參考點(diǎn)確 定為從目標(biāo)點(diǎn)延伸的10個(gè)候選矢量的目的地。
然后，將已由數(shù)據(jù)讀取單元213讀取的、以目標(biāo)點(diǎn)為中心的固定 區(qū)域的像素信號(hào)和以各參考點(diǎn)為中心的固定區(qū)域的像素信號(hào)提供給評(píng) 估值計(jì)算單元214，以檢測(cè)這兩個(gè)固定區(qū)域的像素信號(hào)之間的差值。 按此方式，評(píng)估值計(jì)算單元214確定通過(guò)候選矢量連接到當(dāng)前被評(píng)估 的目標(biāo)點(diǎn)的所有參考點(diǎn)的固定區(qū)域的像素信號(hào)，并將這些像素信號(hào)與 以目標(biāo)點(diǎn)為中心的固定區(qū)域的像素信號(hào)進(jìn)行比較。
然后，基于該比較的結(jié)果，評(píng)估值計(jì)算單元214選擇具有一固定 區(qū)域的參考點(diǎn)，該固定區(qū)域最接近于以目標(biāo)點(diǎn)為中心的固定區(qū)域的像 素信號(hào)。
將連接所選參考點(diǎn)與目標(biāo)點(diǎn)的候選矢量的數(shù)據(jù)發(fā)送到矢量確定 單元215。矢量確定單元215執(zhí)行將候選矢量分配為從目標(biāo)點(diǎn)延伸的 運(yùn)動(dòng)矢量的確定處理，并從輸出端子15輸出所確定的候選矢量。
圖22的流程圖例示了圖21的矢量確定(分配)操作的示例。將 參照?qǐng)D22按順序進(jìn)行描述。首先基于評(píng)估值表的數(shù)據(jù)讀取候選矢量(步驟S121 )。確定與所讀取的候選矢量相對(duì)應(yīng)的目標(biāo)點(diǎn)的坐標(biāo)位置， 并從目標(biāo)點(diǎn)存儲(chǔ)器212讀取由位于該位置(目標(biāo)像素)處的像素及其 周邊像素構(gòu)成的固定塊的像素(步驟S122)。此外，確定與所讀取的 候選矢量相對(duì)應(yīng)的各參考點(diǎn)的坐標(biāo)位置，并從參考點(diǎn)存儲(chǔ)器211讀取 由位于該位置(參考像素)處的像素及其周邊像素構(gòu)成的固定塊的像 素(步驟S123)。
然后，計(jì)算各固定塊中的像素水平(像素值在此情況下為亮度 值)的差值的絕對(duì)值和(步驟S124)。至此為止的處理是針對(duì)由與當(dāng) 前目標(biāo)點(diǎn)相對(duì)應(yīng)的所有候選矢量指示的參考點(diǎn)而執(zhí)行的。
然后，將針對(duì)為參考點(diǎn)設(shè)定的各固定塊計(jì)算的差值絕對(duì)值和與為 目標(biāo)點(diǎn)設(shè)定的固定塊的差值絕對(duì)值和進(jìn)行比較，并尋找具有最小差值 的參考點(diǎn)。在以上處理中已經(jīng)確定了具有最小差值的參考點(diǎn)之后，確 定將連接所確定的參考點(diǎn)與目標(biāo)點(diǎn)的候選矢量分配為目標(biāo)點(diǎn)的運(yùn)動(dòng)矢 量(步驟S125 )。
圖23是例示了圖21的結(jié)構(gòu)的概要以及圖22的流程圖的處理的圖。
在該示例中，假設(shè)幀F(xiàn)10(目標(biāo)幀)包括目標(biāo)點(diǎn)d10，并且在幀 F10與在時(shí)間軸上位于其后的下一幀F(xiàn)ll (參考幀)之間存在多個(gè)候 選矢量Vll和V12。幀F(xiàn)ll包括通過(guò)候選矢量Vll和V12分別連接 到目標(biāo)點(diǎn)d10的參考點(diǎn)dll和d12。
在如上假設(shè)的圖23的狀態(tài)下，在圖22的步驟S122，將包括預(yù) 定數(shù)量的像素的固定塊B10固定地設(shè)定為以幀F(xiàn)10中的目標(biāo)點(diǎn)d10為 中心，并計(jì)算該固定塊BIO中的像素值的差值的絕對(duì)值和。類似地， 在圖22的步驟S123，將均包括預(yù)定數(shù)量的像素的固定塊Bll和B12 固定地設(shè)定為分別以幀F(xiàn)ll中的參考點(diǎn)dll和d12為中心，并分別計(jì) 算固定塊Bll和B12中的像素值的差值的相應(yīng)的絕對(duì)值和。
然后，執(zhí)行比較以確定固定塊Bll中的差值的絕對(duì)值和以及固定 塊B12中的差值的絕對(duì)值和中的哪一個(gè)較接近于固定塊B10中的差值 的絕對(duì)值和。例如，如果通過(guò)比較確定固定塊Bll中的差值的絕對(duì)值和較接近于固定塊BIO中的差值的絕對(duì)值和，則選擇連接固定塊Bll 的中央的參考點(diǎn)dll與目標(biāo)點(diǎn)d10的候選矢量Vll。將所選候選矢量 Vll分配為目標(biāo)點(diǎn)d10的運(yùn)動(dòng)矢量。
為了簡(jiǎn)化描述，在假設(shè)存在兩個(gè)候選矢量的情況下進(jìn)行了圖23 中的描述。然而，實(shí)際上，存在對(duì)于一個(gè)目標(biāo)點(diǎn)來(lái)說(shuō)有更大數(shù)量的候 選矢量的情況。此外，為了簡(jiǎn)化描述，僅例示了一個(gè)目標(biāo)點(diǎn)。然而， 實(shí)際上，如上所述，將一個(gè)幀中的所有像素或多個(gè)代表像素設(shè)定為目 標(biāo)點(diǎn)。
利用如此從候選矢量確定要選擇的矢量的處理，選擇連接其周邊 像素的狀態(tài)彼此接近的目標(biāo)點(diǎn)與參考點(diǎn)的矢量。因此，可以合適地選 擇被分配給各像素的運(yùn)動(dòng)矢量。
實(shí)施例的變型例的描述在上述實(shí)施例中，未對(duì)選擇目標(biāo)點(diǎn)的處 理給出具體描述。例如，可以將這些實(shí)施例配置成順序地選擇一個(gè)幀 中的所有像素作為目標(biāo)點(diǎn)，并且為每個(gè)像素檢測(cè)運(yùn)動(dòng)矢量。另選地， 這些實(shí)施例可以適用于選擇一個(gè)幀中的代表像素作為目標(biāo)點(diǎn)并檢測(cè)所 選像素的運(yùn)動(dòng)矢量。
此外，在選擇目標(biāo)點(diǎn)的參考點(diǎn)的處理中，圖6A中例示的搜索區(qū) SA等是一個(gè)示例。因此，也可以選擇多種搜索區(qū)。
此外，在上述實(shí)施例中，在從圖18到20所示的候選矢量的評(píng)估 結(jié)果選擇最終候選矢量的處理中，范圍不包括被確定為可靠的候選矢 量，即，排除了包括圖18中的連續(xù)計(jì)數(shù)值O等的范圍以選擇較高的范 圍。另選地，也可以去除具有除O以外的計(jì)數(shù)值的候選矢量。例如， 在選擇了前IO個(gè)候選矢量的圖18的示例中，可以排除具有小計(jì)數(shù)值 (如個(gè)位值)的候選矢量。
此外，在上述實(shí)施例中例示的各層上的各區(qū)域的像素尺寸是一個(gè) 示例。因此，這些區(qū)域可以具有其它尺寸。
此外，使用各區(qū)域中的信號(hào)來(lái)計(jì)算該區(qū)域中的各像素值的差值的 絕對(duì)值的和。另選地，可以通過(guò)其它算術(shù)運(yùn)算處理來(lái)確定這些區(qū)域之 間的相關(guān)度。例如，可以不將區(qū)域中的像素值的差值轉(zhuǎn)換成絕對(duì)值，而可以將差值直接相加以確定像素值的變化方向。此外，可以通過(guò)不 使用差值絕對(duì)值和的算術(shù)運(yùn)算處理來(lái)獲得兩個(gè)區(qū)域的相關(guān)度值，并且 可以基于相關(guān)度值的大小來(lái)進(jìn)行確定。
此外，在上述實(shí)施例中，已經(jīng)描述了使用亮度信號(hào)作為圖像信號(hào) 的像素值的示例。另選地，可以使用以像素單位獲得的其它信號(hào)分量， 諸如顏色信號(hào)和色差信號(hào)。
此外，在上述各實(shí)施例中，已經(jīng)描述了被配置成用于從圖像信號(hào) 檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)裝置的示例。另選地，可以將運(yùn)動(dòng)矢量 檢測(cè)裝置并入各種圖像處理裝置中。例如，可以將運(yùn)動(dòng)矢量檢測(cè)裝置 并入執(zhí)行高效編碼的編碼裝置中，由此使用運(yùn)動(dòng)矢量數(shù)據(jù)執(zhí)行編碼。 另選地，可以將運(yùn)動(dòng)矢量檢測(cè)裝置并入通過(guò)使用輸入(接收)的圖像 數(shù)據(jù)來(lái)顯示圖像的圖像顯示裝置或記錄圖像的圖像記錄裝置中，由此 使用運(yùn)動(dòng)矢量數(shù)據(jù)來(lái)提高圖像質(zhì)量。
此外，可以將根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行運(yùn)動(dòng)矢量檢測(cè)的各構(gòu) 成要素實(shí)現(xiàn)為程序。然后，可以將該程序安裝在各種信息處理裝置中， 例如安裝在執(zhí)行各種數(shù)據(jù)處理的計(jì)算機(jī)裝置中，以在從輸入到該信息 處理裝置的圖像信號(hào)中檢測(cè)運(yùn)動(dòng)矢量的處理中執(zhí)行與上述處理類似的 處理。
本發(fā)明包含與2008年7月30日在日本專利局提交的日本在先專 利申請(qǐng)JP2008-196612中7〉開(kāi)的主題有關(guān)的主題，通過(guò)引用將其全部?jī)?nèi) 容并入于此。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其它因素，可以想到 各種修改、組合、子組合以及變更，只要它們?cè)谒綑?quán)利要求書或其 等同物的范圍內(nèi)。
權(quán)利要求
1、一種運(yùn)動(dòng)矢量檢測(cè)裝置，包括評(píng)估值信息創(chuàng)建單元，被配置成基于由多個(gè)幀構(gòu)成的運(yùn)動(dòng)圖像數(shù)據(jù)中的時(shí)間軸上的一個(gè)幀中的目標(biāo)像素與時(shí)間軸上的另一幀中的搜索區(qū)中的參考像素的像素值相關(guān)度信息，創(chuàng)建運(yùn)動(dòng)矢量的評(píng)估值信息，該評(píng)估值信息用于評(píng)估所述參考像素是從所述目標(biāo)像素開(kāi)始的運(yùn)動(dòng)的候選目的地的可能性；運(yùn)動(dòng)矢量提取單元，被配置成基于由所述評(píng)估值信息創(chuàng)建單元?jiǎng)?chuàng)建的評(píng)估值信息來(lái)提取所述運(yùn)動(dòng)圖像數(shù)據(jù)的幀中的每個(gè)像素的候選運(yùn)動(dòng)矢量，針對(duì)每個(gè)所提取的候選運(yùn)動(dòng)矢量，將以所述一個(gè)幀中的所述目標(biāo)像素為中心的預(yù)定區(qū)域中的像素與以所述另一幀中的所述參考像素為中心的預(yù)定區(qū)域中的像素進(jìn)行比較，以檢查它們之間的相關(guān)度，基于在整個(gè)預(yù)定區(qū)域中執(zhí)行的比較的結(jié)果來(lái)評(píng)估所述評(píng)估值信息的各個(gè)候選矢量以檢查相關(guān)度，以及提取具有高評(píng)估值的運(yùn)動(dòng)矢量作為候選運(yùn)動(dòng)矢量；以及運(yùn)動(dòng)矢量確定單元，被配置成從由所述運(yùn)動(dòng)矢量提取單元作為候選運(yùn)動(dòng)矢量提取的運(yùn)動(dòng)矢量中確定運(yùn)動(dòng)矢量。
2、 根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述評(píng)估值信息創(chuàng)建單元在基于所述目標(biāo)點(diǎn)與其各周邊像 素之間的空間傾斜度狀態(tài)以及所述參考點(diǎn)與其各周邊像素之間的空間 傾斜度狀態(tài)而執(zhí)行的像素選擇的結(jié)果的基礎(chǔ)上，創(chuàng)建所述評(píng)估值信息， 并且其中所述運(yùn)動(dòng)矢量提取單元針對(duì)通過(guò)所述像素選擇而選擇的像 素的每個(gè)運(yùn)動(dòng)矢量，在以所述一個(gè)幀中的所述目標(biāo)像素為中心的預(yù)定 區(qū)域中的像素與以所述另一幀中的所述參考像素為中心的預(yù)定區(qū)域中 的像素之間執(zhí)行比較以檢查它們之間的相關(guān)度，該比較是在整個(gè)區(qū)域 中執(zhí)行的。
3、 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中在由所述運(yùn)動(dòng)矢量提取單元執(zhí)行的用于檢查預(yù)定區(qū)域中的 像素之間的相關(guān)度的比較中，計(jì)算以所述目標(biāo)像素為中心的預(yù)定區(qū)域 中的像素與以所述參考像素為中心的預(yù)定區(qū)域的像素之間的差值，并 在所述預(yù)定區(qū)域中將所述差值的絕對(duì)值相加以獲得差值絕對(duì)值和，并 且其中與最小差值絕對(duì)值和對(duì)應(yīng)的運(yùn)動(dòng)矢量被確定為候選運(yùn)動(dòng)矢量。
4、 根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)矢量檢測(cè)裝置， 其中包括第一數(shù)量的像素并且以所述目標(biāo)像素或所述參考像素為中心的區(qū)域和包括與第 一數(shù)量不同的第二數(shù)量的像素并且以所述目 標(biāo)像素或所述參考像素為中心的區(qū)域被設(shè)定為所述預(yù)定區(qū)域，并且 其中基于這兩個(gè)區(qū)域中的差值絕對(duì)值和來(lái)確定候選運(yùn)動(dòng)矢量。
5、 根據(jù)權(quán)利要求4所述的運(yùn)動(dòng)矢量檢測(cè)裝置， 其中包括第二數(shù)量的像素的所述區(qū)域是由塊的集合構(gòu)成的，每個(gè)塊包括預(yù)定數(shù)量的像素，并且其中以塊為單位對(duì)像素值進(jìn)行平均以比較塊單位的差值絕對(duì)值和。
6、 根據(jù)權(quán)利要求3所迷的運(yùn)動(dòng)矢量檢測(cè)裝置， 其中所述預(yù)定區(qū)域是由塊的集合構(gòu)成的，每個(gè)塊包括預(yù)定數(shù)量的像素，并且其中以塊為單位對(duì)像素值進(jìn)行平均以比較塊單位的差值絕對(duì)值和。
7、 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)矢量檢測(cè)裝置， 其中所述運(yùn)動(dòng)矢量提取單元基于所確定的候選運(yùn)動(dòng)矢量的運(yùn)動(dòng)方向和運(yùn)動(dòng)量對(duì)所確定的候選運(yùn)動(dòng)矢量進(jìn)行分類，對(duì)分類后的候選運(yùn) 動(dòng)矢量的數(shù)量進(jìn)行計(jì)數(shù)，并且將候選運(yùn)動(dòng)矢量縮減為按計(jì)數(shù)數(shù)量的降 序選擇的、預(yù)定數(shù)量的運(yùn)動(dòng)矢量的序列。
8、 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)矢量檢測(cè)裝置， 其中所述運(yùn)動(dòng)矢量確定單元將由所述運(yùn)動(dòng)矢量提取單元作為候選運(yùn)動(dòng)矢量提取的運(yùn)動(dòng)矢量分配給一個(gè)幀中的所有像素或代表像素， 檢查包括每個(gè)被分配了矢量的像素的位置及其周邊的區(qū)域與運(yùn)動(dòng)目的 地區(qū)域之間的相關(guān)度，并且將與相關(guān)度最高的區(qū)域?qū)?yīng)的運(yùn)動(dòng)矢量確 定為對(duì)應(yīng)像素的運(yùn)動(dòng)矢量。
9、 一種運(yùn)動(dòng)矢量檢測(cè)方法，包括以下步驟 基于由多個(gè)幀構(gòu)成的運(yùn)動(dòng)圖像數(shù)據(jù)中的時(shí)間軸上的一個(gè)幀中的目標(biāo)像素與時(shí)間軸上的另 一 幀中的搜索區(qū)中的參考像素的像素值相關(guān) 度信息，創(chuàng)建評(píng)估值表，該評(píng)估值表用于評(píng)估所述參考像素是從所述 目標(biāo)像素開(kāi)始的運(yùn)動(dòng)的候選目的地的可能性；基于所創(chuàng)建的評(píng)估值表來(lái)提取所述運(yùn)動(dòng)圖像數(shù)據(jù)的幀中的每個(gè)像素的候選運(yùn)動(dòng)矢量；作為在提取運(yùn)動(dòng)矢量的步驟中提取的候選運(yùn)動(dòng)矢量的選擇操作， 執(zhí)行以下操作在以所述一個(gè)幀中的所述目標(biāo)像素為中心的預(yù)定區(qū)域中的像素的差值之和與以所述另 一幀中的所述參考像素為中心的預(yù)定 區(qū)域中的像素的差值之和之間進(jìn)行比較，基于所述比較的結(jié)果來(lái)評(píng)估 所述評(píng)估值表的各個(gè)候選矢量，并將具有高評(píng)估值的運(yùn)動(dòng)矢量確定為候選運(yùn)動(dòng)矢量；以及從所述具有高評(píng)估值的運(yùn)動(dòng)矢量中確定運(yùn)動(dòng)矢量。
10、 一種安裝在信息處理裝置中以使得所述信息處理裝置執(zhí)行以 下處理的程序基于由多個(gè)幀構(gòu)成的運(yùn)動(dòng)圖像數(shù)據(jù)中的時(shí)間軸上的一個(gè)幀中的 目標(biāo)像素與時(shí)間軸上的另 一幀中的搜索區(qū)中的參考像素的像素值相關(guān) 度信息創(chuàng)建評(píng)估值表的處理，該評(píng)估值表用于評(píng)估所述參考像素是從 所述目標(biāo)像素開(kāi)始的運(yùn)動(dòng)的候選目的地的可能性；基于所創(chuàng)建的評(píng)估值表來(lái)提取所述運(yùn)動(dòng)圖像數(shù)據(jù)的幀中的每個(gè) 像素的候選運(yùn)動(dòng)矢量的處理；運(yùn)動(dòng)矢量評(píng)估處理，作為在提取運(yùn)動(dòng)矢量的步驟中提取的候選運(yùn) 動(dòng)矢量的選擇操作，執(zhí)行以下操作在以所述一個(gè)幀中的所述目標(biāo)像 素為中心的預(yù)定區(qū)域中的像素的差值之和與以所述另一幀中的所述參考像素為中心的預(yù)定區(qū)域中的像素的差值之和之間進(jìn)行比較，基于所 述比較的結(jié)果來(lái)評(píng)估所述評(píng)估值表的各個(gè)候選矢量，并將具有高評(píng)估值的運(yùn)動(dòng)矢量確定為候選運(yùn)動(dòng)矢量；以及運(yùn)動(dòng)矢量確定處理，從所述運(yùn)動(dòng)矢量評(píng)估處理中被確定為候選運(yùn) 動(dòng)矢量的具有高評(píng)估值的運(yùn)動(dòng)矢量中確定運(yùn)動(dòng)矢量。
全文摘要
運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法以及程序。該運(yùn)動(dòng)矢量檢測(cè)裝置包括評(píng)估值信息創(chuàng)建單元，根據(jù)包括多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)中的一個(gè)幀中的目標(biāo)像素與另一幀中的參考像素的相關(guān)度信息，創(chuàng)建評(píng)估值信息，該評(píng)估值信息用于評(píng)估所述參考像素是從所述目標(biāo)像素開(kāi)始的運(yùn)動(dòng)的候選目的地的可能性；運(yùn)動(dòng)矢量提取單元，通過(guò)使用評(píng)估值信息，提取幀中的每個(gè)像素的候選運(yùn)動(dòng)矢量，針對(duì)提取的候選運(yùn)動(dòng)矢量，將所述目標(biāo)像素周圍的區(qū)域中的像素與所述參考像素周圍的區(qū)域中的像素進(jìn)行比較，通過(guò)使用在整個(gè)區(qū)域中的比較的結(jié)果來(lái)評(píng)估評(píng)估值信息的候選矢量，以及提取具有高評(píng)估值的運(yùn)動(dòng)矢量作為候選運(yùn)動(dòng)矢量；和運(yùn)動(dòng)矢量確定單元，在所提取的運(yùn)動(dòng)矢量中確定運(yùn)動(dòng)矢量。
文檔編號(hào)H04N7/26GK101640798SQ200910160198
公開(kāi)日2010年2月3日 申請(qǐng)日期2009年7月30日 優(yōu)先權(quán)日2008年7月30日
發(fā)明者吉川和志, 武田直己, 石川貴規(guī), 近藤哲二郎, 鐵川弘樹(shù), 高橋健治 申請(qǐng)人:索尼株式會(huì)社