專利名稱：運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)矢量檢測(cè)裝置，并且更具體地涉及運(yùn)動(dòng)矢量檢測(cè)裝置和運(yùn)動(dòng)矢量
的處理方法、以及用于使得計(jì)算機(jī)執(zhí)行其中使用塊匹配方法的方法的程序。
背景技術(shù)：
眾所周知，當(dāng)處理動(dòng)態(tài)畫面圖像數(shù)據(jù)時(shí)，可以使用動(dòng)態(tài)畫面圖像數(shù)據(jù)的各幀之間 的運(yùn)動(dòng)矢量來壓縮動(dòng)態(tài)畫面圖像數(shù)據(jù)。作為用于檢測(cè)運(yùn)動(dòng)矢量的技術(shù)之一，使用通常稱為 塊匹配的技術(shù)。根據(jù)塊匹配技術(shù)，使用作為兩個(gè)輸入圖像的基準(zhǔn)幀和參考幀，并且確定基準(zhǔn) 幀中設(shè)置的基準(zhǔn)塊、和參考幀的搜索區(qū)域中設(shè)置的多個(gè)參考?jí)K的每個(gè)之間的相關(guān)度。然后， 基于指示確定的相關(guān)度的最高一個(gè)的一個(gè)參考?jí)K，計(jì)算相對(duì)于基準(zhǔn)塊的運(yùn)動(dòng)矢量。
在如剛剛描述的這種現(xiàn)有技術(shù)中，因?yàn)闉槊總€(gè)參考幀計(jì)算在參考幀中設(shè)置的多個(gè) 參考?jí)K的每個(gè)與基準(zhǔn)塊之間的相關(guān)度，所以處理量大，并且要求高功耗。因此，已經(jīng)提出基 于兩個(gè)輸入圖像改變參考幀中的搜索區(qū)域的大小的技術(shù)。例如，已經(jīng)提出一種運(yùn)動(dòng)矢量檢 測(cè)裝置，其中基于基準(zhǔn)幀的基準(zhǔn)塊和參考幀的預(yù)定位置處的塊之間的相關(guān)度，設(shè)置搜索區(qū) 域。例如，在日本專利公開No. 2000-078580中公開了如剛剛描述的這種運(yùn)動(dòng)矢量檢測(cè)裝置 之一 (圖2)。

發(fā)明內(nèi)容
在上述運(yùn)動(dòng)矢量檢測(cè)裝置中，可能基于基準(zhǔn)幀的基準(zhǔn)塊和參考幀的預(yù)定位置處的 塊之間的相關(guān)度設(shè)置具有預(yù)定大小的搜索區(qū)域。然而，在物品的邊緣等包括在基準(zhǔn)塊中的 情況下，計(jì)算低相關(guān)度并且設(shè)置大的搜索區(qū)域。因此，要求增加的處理量并且消耗增加的功率。 因此，希望提供一種運(yùn)動(dòng)矢量檢測(cè)裝置和運(yùn)動(dòng)矢量處理方法以及程序，通過其抑 制通過塊匹配的運(yùn)動(dòng)矢量檢測(cè)處理所需的功耗。 根據(jù)本發(fā)明的實(shí)施例，提供一種運(yùn)動(dòng)矢量檢測(cè)裝置，包括空間亮度差總和計(jì)算部 分、時(shí)間亮度差總和計(jì)算部分、搜索范圍計(jì)算部分、以及塊匹配計(jì)算部分。空間亮度差總和 計(jì)算部分配置為計(jì)算空間亮度差的絕對(duì)值的總和，所述空間亮度差是在基準(zhǔn)幀中設(shè)置的基 準(zhǔn)塊的各像素相對(duì)于預(yù)定像素的亮度差。時(shí)間亮度差總和計(jì)算部分配置為計(jì)算時(shí)間亮度差 的絕對(duì)值的總和，所述時(shí)間亮度差是基準(zhǔn)塊和對(duì)應(yīng)于所述基準(zhǔn)塊的參考幀中的對(duì)應(yīng)塊的對(duì) 應(yīng)像素之間的亮度差。搜索范圍計(jì)算部分配置為基于空間亮度差的絕對(duì)值的總和以及時(shí)間 亮度差的絕對(duì)值的總和，計(jì)算用于相對(duì)于基準(zhǔn)塊搜索運(yùn)動(dòng)矢量的參考幀的搜索范圍。塊匹 配計(jì)算部分配置為設(shè)置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考?jí)K，并且基 于設(shè)置的參考?jí)K和基準(zhǔn)塊之間的相關(guān)度執(zhí)行塊匹配，以便計(jì)算所述運(yùn)動(dòng)矢量。此外，提供一 種用于該運(yùn)動(dòng)矢量檢測(cè)裝置的處理方法、以及用于使得計(jì)算機(jī)執(zhí)行該處理方法的程序。使 用該運(yùn)動(dòng)矢量檢測(cè)裝置、處理方法和程序，基于空間亮度差的絕對(duì)值的總和以及時(shí)間亮度 差的絕對(duì)值的總和計(jì)算參考幀中的搜索范圍。
搜索范圍計(jì)算部分可以計(jì)算搜索范圍，使得當(dāng)空間亮度差的絕對(duì)值的總和的值增 加時(shí)，搜索范圍的大小減小，而當(dāng)時(shí)間亮度差的絕對(duì)值的總和的值增加時(shí)，搜索范圍的大小 增加。在該運(yùn)動(dòng)矢量檢測(cè)裝置的情況下，當(dāng)空間亮度差的絕對(duì)值的總和的值增加時(shí)，搜索范 圍的大小減小，而當(dāng)時(shí)間亮度差的絕對(duì)值的總和的值增加時(shí)，搜索范圍的大小增力B。在此情 況下，搜索范圍計(jì)算部分可以計(jì)算搜索范圍，使得搜索范圍的大小與空間亮度差的絕對(duì)值 的總和成反比地增加，而與時(shí)間亮度差的絕對(duì)值的總和成正比地增加。在該運(yùn)動(dòng)矢量檢測(cè) 裝置的情況下，搜索范圍的大小與空間亮度差的絕對(duì)值的總和成反比地增加，而與時(shí)間亮 度差的絕對(duì)值的總和成正比地增加。 空間亮度差總和計(jì)算部分可以相對(duì)于基準(zhǔn)塊計(jì)算水平方向和垂直方向上的空間 亮度差的絕對(duì)值的總和，作為空間亮度差的絕對(duì)值的總和，并且搜索范圍計(jì)算部分可以基 于水平和垂直方向上的空間亮度差的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和，計(jì)算 水平和垂直方向上的搜索范圍。在該運(yùn)動(dòng)矢量檢測(cè)裝置的情況下，計(jì)算相對(duì)于基準(zhǔn)塊的水 平方向和垂直方向上的空間亮度差的絕對(duì)值的總和，并且基于水平和垂直方向上的空間亮 度差的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和，計(jì)算水平和垂直方向上的搜索范 圍。在此情況下，空間亮度差總和計(jì)算部分可以基于相對(duì)于基準(zhǔn)塊中的預(yù)定像素的時(shí)間亮 度差的符號(hào)以及水平和垂直方向上的空間亮度差的符號(hào)，將水平和垂直方向上的空間亮度 差的絕對(duì)值加到正側(cè)空間亮度差總和或負(fù)側(cè)空間亮度差總和。在該運(yùn)動(dòng)矢量檢測(cè)裝置的情 況下，基于相對(duì)于基準(zhǔn)塊中的預(yù)定像素的時(shí)間亮度差的符號(hào)以及水平和垂直方向上的空間 亮度差的符號(hào)，將水平和垂直方向上的空間亮度差的絕對(duì)值加到正側(cè)空間亮度差總和或負(fù) 側(cè)空間亮度差總和。在此情況下，時(shí)間亮度差總和計(jì)算部分可以基于水平和垂直方向上的 空間亮度差的符號(hào)以及相對(duì)于基準(zhǔn)塊中的預(yù)定像素的時(shí)間亮度差的符號(hào)，將水平和垂直方 向上的時(shí)間亮度差的絕對(duì)值加到正側(cè)時(shí)間亮度差總和或負(fù)側(cè)時(shí)間亮度差總和。在該運(yùn)動(dòng)矢 量檢測(cè)裝置的情況下，基于水平和垂直方向上的空間亮度差的符號(hào)以及相對(duì)于基準(zhǔn)塊中的 預(yù)定像素的時(shí)間亮度差的符號(hào)，將水平和垂直方向上的時(shí)間亮度差的絕對(duì)值加到正側(cè)時(shí)間 亮度差總和或負(fù)側(cè)時(shí)間亮度差總和。在此情況下，搜索范圍計(jì)算部分可以包括正側(cè)搜索范 圍計(jì)算部分和負(fù)側(cè)搜索范圍計(jì)算部分。正側(cè)搜索范圍計(jì)算部分配置為基于水平和垂直方向 上的正側(cè)空間亮度差總和以及水平和垂直方向上的正側(cè)時(shí)間亮度差總和，計(jì)算水平和垂直 方向上在正側(cè)的搜索范圍。負(fù)側(cè)搜索范圍計(jì)算部分配置為基于水平和垂直方向上的負(fù)側(cè)空 間亮度差總和以及水平和垂直方向上的負(fù)側(cè)時(shí)間亮度差總和，計(jì)算水平和垂直方向上在負(fù) 側(cè)的搜索范圍。在該運(yùn)動(dòng)矢量檢測(cè)裝置的情況下，計(jì)算水平和垂直方向上的正側(cè)搜索范圍 和負(fù)側(cè)搜索范圍。 在空間亮度差總和計(jì)算部分基于水平和垂直方向上的空間亮度差的符號(hào)以及相 對(duì)于基準(zhǔn)塊中的預(yù)定像素的時(shí)間亮度差的符號(hào)、將水平和垂直方向上的空間亮度差的絕對(duì) 值加到正側(cè)空間亮度差總和或負(fù)側(cè)空間亮度差總和的情況下，所述運(yùn)動(dòng)矢量檢測(cè)裝置還可 以包括似然度計(jì)算部分。似然度計(jì)算部分配置為基于正側(cè)空間亮度差總和以及負(fù)側(cè)空間亮 度差總和，分別計(jì)算水平和垂直方向上的正側(cè)似然度和負(fù)側(cè)似然度。在該運(yùn)動(dòng)矢量檢測(cè)裝 置的情況下，基于正側(cè)空間亮度差總和以及負(fù)側(cè)空間亮度差總和，分別計(jì)算水平和垂直方 向上的正側(cè)似然度和負(fù)側(cè)似然度。在此情況下，搜索范圍計(jì)算部分可以包括正側(cè)搜索范圍 計(jì)算部分和負(fù)側(cè)搜索范圍計(jì)算部分。正側(cè)搜索范圍計(jì)算部分配置為基于空間亮度差的絕對(duì)值的總和、時(shí)間亮度差的絕對(duì)值的總和、以及水平和垂直方向上的正側(cè)似然度，計(jì)算水平和 垂直方向上在正側(cè)的搜索范圍。負(fù)側(cè)搜索范圍計(jì)算部分配置為基于空間亮度差的絕對(duì)值的 總和、時(shí)間亮度差的絕對(duì)值的總和、以及水平和垂直方向上的負(fù)側(cè)似然度，計(jì)算水平和垂直 方向上在負(fù)側(cè)的搜索范圍。在該運(yùn)動(dòng)矢量檢測(cè)裝置的情況下，基于空間亮度差的絕對(duì)值的 總和、時(shí)間亮度差的絕對(duì)值的總和、以及水平和垂直方向上的正側(cè)似然度和負(fù)側(cè)似然度，計(jì) 算水平和垂直方向上的正側(cè)搜索范圍和負(fù)側(cè)搜索范圍。 運(yùn)動(dòng)矢量檢測(cè)裝置還可以包括基準(zhǔn)亮度值產(chǎn)生部分，配置為基于基準(zhǔn)塊中的預(yù)定 像素的亮度值，產(chǎn)生基準(zhǔn)塊的基準(zhǔn)亮度值；以及有效性計(jì)算部分，配置為基于基準(zhǔn)塊的像素 的亮度值和基準(zhǔn)亮度值，計(jì)算基準(zhǔn)塊的每個(gè)像素的有效度。塊匹配計(jì)算部分包括相關(guān)計(jì)算 部分，配置為在依賴于搜索范圍確定的參考幀中的搜索區(qū)域中設(shè)置多個(gè)參考?jí)K，并且基于 在設(shè)置的參考?jí)K中對(duì)應(yīng)于基準(zhǔn)塊的像素位置的各像素的亮度值、和對(duì)應(yīng)于基準(zhǔn)塊的像素位 置的有效度，為每個(gè)參考?jí)K計(jì)算參考?jí)K相對(duì)于基準(zhǔn)塊的相關(guān)度。在該運(yùn)動(dòng)矢量檢測(cè)裝置的 情況下，基于對(duì)應(yīng)于基準(zhǔn)塊的像素位置的有效度，計(jì)算基準(zhǔn)塊和參考?jí)K之間的相關(guān)度。
可以配置運(yùn)動(dòng)矢量檢測(cè)裝置，使得搜索范圍計(jì)算部分將基于空間亮度差的絕對(duì)值 的總和以及時(shí)間亮度差的絕對(duì)值的總和計(jì)算的搜索范圍、以及預(yù)定范圍之一確定為搜索范 圍。在該運(yùn)動(dòng)矢量檢測(cè)裝置的情況下，基于空間亮度差的絕對(duì)值的總和以及時(shí)間亮度差的 絕對(duì)值的總和計(jì)算的搜索范圍、以及預(yù)定范圍之一被計(jì)算為搜索范圍。 該運(yùn)動(dòng)矢量檢測(cè)裝置、處理方法和程序能夠?qū)崿F(xiàn)可以抑制通過塊匹配技術(shù)的運(yùn)動(dòng) 矢量檢測(cè)處理中的功耗的出眾的優(yōu)點(diǎn)。


圖1是示出根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的功能配置的示例的框 圖； 圖2A和2B是圖示在相同的兩個(gè)運(yùn)動(dòng)對(duì)象包括在基準(zhǔn)幀和參考幀中的情況下、通 過圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的運(yùn)動(dòng)矢量的檢測(cè)的示例的示意圖； 圖3A和3B是圖示通過圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的基準(zhǔn)亮度值產(chǎn)生部分的基準(zhǔn)亮 度值的產(chǎn)生的示例的圖解視圖； 圖4是圖示通過圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的有效度計(jì)算部分的有效度的計(jì)算的示 例的圖解視圖； 圖5A和5B是圖示通過圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的亮度值差計(jì)算部分計(jì)算的差絕 對(duì)值、和通過權(quán)重計(jì)算部分計(jì)算的權(quán)重之間的關(guān)系的示例的圖解視圖； 圖6是圖示通過圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的運(yùn)動(dòng)矢量計(jì)算處理的處理過程的流程 圖； 圖7是示出根據(jù)本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置的框圖； 圖8是圖示由圖7的運(yùn)動(dòng)矢量檢測(cè)裝置定義的參考幀的搜索區(qū)域的示例的圖解視
圖； 圖9是示出圖7的運(yùn)動(dòng)矢量檢測(cè)裝置的搜索范圍產(chǎn)生部分的配置的第一示例的框 圖； 圖10是圖示由圖7的運(yùn)動(dòng)矢量檢測(cè)裝置非對(duì)稱地定義的參考幀的搜索范圍的示例的圖解視圖； 圖11是示出在非對(duì)稱地設(shè)置搜索范圍的情況下、圖7的運(yùn)動(dòng)矢量檢測(cè)裝置的搜索 范圍產(chǎn)生部分的配置的第二示例的框圖； 圖12是示出圖11中示出的搜索范圍產(chǎn)生部分的配置的第二示例的修改的框圖；
圖13是圖示在圖7的運(yùn)動(dòng)矢量檢測(cè)裝置的處理方法中的處理過程的示例的流程 圖； 圖14是示出根據(jù)本發(fā)明第三實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置的示例的框圖； 圖15是圖示圖14的運(yùn)動(dòng)矢量檢測(cè)裝置的分級(jí)搜索方法的示意圖； 圖16是示出根據(jù)本發(fā)明第四實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置的示例的框以及 圖17是示出根據(jù)本實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置中使用的圖像拾取裝置的配置的 示例的框圖。
具體實(shí)施例方式以下，結(jié)合本發(fā)明的優(yōu)選實(shí)施例描述本發(fā)明。按以下順序給出描述 1.第一實(shí)施例(塊匹配計(jì)算控制有效度應(yīng)用到每個(gè)像素的示例) 2.第二實(shí)施例(運(yùn)動(dòng)矢量檢測(cè)控制向上、向下、向左和向右控制搜索區(qū)域的示
例) 3.第三實(shí)施例(運(yùn)動(dòng)矢量檢測(cè)控制分級(jí)ME (運(yùn)動(dòng)估計(jì))的應(yīng)用的示例) 4.第四實(shí)施例(運(yùn)動(dòng)矢量檢測(cè)控制有效度應(yīng)用到每個(gè)像素的示例和控制搜索區(qū)
域的示例的組合) 〈1.第一實(shí)施例>[運(yùn)動(dòng)矢量檢測(cè)裝置的功能配置的示例] 圖1示出根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的功能配置的示例。參照?qǐng)D l，示出的運(yùn)動(dòng)矢量檢測(cè)裝置100包括基準(zhǔn)幀緩沖器110、基準(zhǔn)塊確定部分120、參考幀緩沖 器130、參考?jí)K確定部分140、基準(zhǔn)亮度值產(chǎn)生部分150、有效性計(jì)算部分160和塊匹配計(jì)算 部分170。 基準(zhǔn)幀緩沖器110將通過信號(hào)線101提供到此的圖像暫時(shí)存儲(chǔ)為當(dāng)前幀。該當(dāng)前 幀是例如動(dòng)態(tài)畫面的目前幀的圖像。基準(zhǔn)幀緩沖器110將當(dāng)前幀提供到基準(zhǔn)塊確定部分 120。 基準(zhǔn)塊確定部分120關(guān)于從基準(zhǔn)幀緩沖器110提供到其的當(dāng)前幀確定基準(zhǔn)塊的位 置，并且提取確定的基準(zhǔn)塊中的每個(gè)像素的亮度。要注意的是，當(dāng)前塊例如是預(yù)先由基準(zhǔn)塊 確定部分120定義的當(dāng)前幀的一部分或當(dāng)前幀的大小的區(qū)域。此外，基準(zhǔn)塊確定部分120 例如在當(dāng)前幀中以一個(gè)像素為單位連續(xù)移動(dòng)當(dāng)前塊，以便確定當(dāng)前塊的位置。此外，基準(zhǔn) 塊確定部分120例如在當(dāng)前幀中以塊為單位連續(xù)移動(dòng)當(dāng)前塊，以便確定當(dāng)前塊的位置。此 外，基準(zhǔn)塊確定部分120將當(dāng)前塊中的每個(gè)像素的確定的亮度值提供到基準(zhǔn)亮度值產(chǎn)生部 分150、有效性計(jì)算部分160和塊匹配計(jì)算部分170。此外，基準(zhǔn)塊確定部分120將當(dāng)前塊 的確定的位置提供到參考?jí)K確定部分140和塊匹配計(jì)算部分170。 參考幀緩沖器130將通過信號(hào)線102提供到其的圖像暫時(shí)存儲(chǔ)為參考幀。該參考幀是在當(dāng)前幀前一幀的圖像(前向參考)。參考幀緩沖器130將參考幀提供到參考?jí)K確定 部分140。 參考?jí)K確定部分140基于從基準(zhǔn)塊確定部分120提供到其的當(dāng)前塊的位置，確定 從參考幀緩沖器130提供到其的參考幀的參考?jí)K的位置。參考?jí)K確定部分140基于從基 準(zhǔn)塊確定部分120提供到其的當(dāng)前塊的位置，定義用于相對(duì)于參考幀中的基準(zhǔn)塊搜索運(yùn)動(dòng) 矢量的搜索區(qū)域。然后，參考?jí)K確定部分140確定定義的搜索區(qū)域中的參考?jí)K的位置。要 注意的是，搜索區(qū)域是例如由參考?jí)K確定部分140參考當(dāng)前塊的位置定義的固定大小的區(qū) 域。要注意的是，參考?jí)K確定部分140可連續(xù)確定參考?jí)K的位置，同時(shí)例如圍繞對(duì)應(yīng)于當(dāng)前 塊的位置螺旋地移動(dòng)該參考?jí)K的位置。參考?jí)K確定部分140將以如上所述的方式確定的參 考?jí)K的每個(gè)像素的亮度值和參考?jí)K的位置提供到塊匹配計(jì)算部分170。
基準(zhǔn)亮度值產(chǎn)生部分150基于從基準(zhǔn)塊確定部分120提供到其的整個(gè)當(dāng)前塊中或 預(yù)先確定的當(dāng)前塊的一部分中的各像素的亮度值，產(chǎn)生基準(zhǔn)亮度值。這里，該基準(zhǔn)亮度值是 要用作用于識(shí)別包括基準(zhǔn)塊中的運(yùn)動(dòng)對(duì)象的那些像素的基準(zhǔn)的亮度值。基準(zhǔn)亮度值產(chǎn)生部 分150產(chǎn)生基準(zhǔn)塊中的所有像素或一些像素的統(tǒng)計(jì)值作為基準(zhǔn)亮度值。統(tǒng)計(jì)值例如可以是 平均值或中間值。此外，基準(zhǔn)亮度值產(chǎn)生部分150例如產(chǎn)生基準(zhǔn)塊中的一個(gè)像素的亮度值 作為基準(zhǔn)亮度值。此外，基準(zhǔn)亮度值產(chǎn)生部分150提供如此產(chǎn)生的基準(zhǔn)亮度值到有效性計(jì) 算部分160。 有效性計(jì)算部分160基于基準(zhǔn)塊的每個(gè)像素的亮度值和基準(zhǔn)亮度值，計(jì)算基準(zhǔn)塊 的每個(gè)像素的有效度。有效性計(jì)算部分160包括亮度值差計(jì)算部分161和權(quán)重計(jì)算部分 162。 亮度值差計(jì)算部分161對(duì)于基準(zhǔn)塊的每個(gè)像素，計(jì)算從基準(zhǔn)亮度值產(chǎn)生部分150 提供到其的基準(zhǔn)亮度值和從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊的像素的亮度值之間的差 絕對(duì)值。亮度值差計(jì)算部分161根據(jù)以下表達(dá)式計(jì)算差絕對(duì)值D(i， j):
D(i， j) = I Ibase_Ic(i， j) I表達(dá)式1 其中Ibase是從基準(zhǔn)亮度值產(chǎn)生部分150提供的基準(zhǔn)亮度值，而Ic(i， j)是從基準(zhǔn) 塊確定部分120提供的基準(zhǔn)塊的每個(gè)像素的亮度值。要注意，(i， j)指示像素的位置，并且 i指示垂直方向的位置，而j指示水平方向的位置。 亮度值差計(jì)算部分161將以如上所述的方式計(jì)算的基準(zhǔn)塊的每個(gè)像素的差絕對(duì) 值提供到權(quán)重計(jì)算部分162。 權(quán)重計(jì)算部分162為基準(zhǔn)塊的每個(gè)像素計(jì)算權(quán)重。具體地，權(quán)重計(jì)算部分162基 于從亮度值差計(jì)算部分161提供的基準(zhǔn)塊的像素的差絕對(duì)值，計(jì)算作為基準(zhǔn)塊的每個(gè)像素 的有效度的權(quán)重。權(quán)重計(jì)算部分162將以此方式計(jì)算的基準(zhǔn)塊的每個(gè)像素的權(quán)重提供到塊 匹配計(jì)算部分170。 塊匹配計(jì)算部分170基于基準(zhǔn)塊和參考?jí)K之間的相關(guān)度執(zhí)行塊匹配，以便計(jì)算相 對(duì)于基準(zhǔn)塊的運(yùn)動(dòng)矢量。塊匹配計(jì)算部分170包括相關(guān)計(jì)算部分171、相關(guān)映射存儲(chǔ)部分 172、位置獲取部分173和運(yùn)動(dòng)矢量計(jì)算部分174。 相關(guān)計(jì)算部分171計(jì)算每個(gè)參考?jí)K相對(duì)于基準(zhǔn)塊的加權(quán)SAD(絕對(duì)差的和)作為 相關(guān)度。具體地，相關(guān)計(jì)算部分171將基準(zhǔn)塊的每個(gè)像素的亮度值、和對(duì)應(yīng)于基準(zhǔn)塊的像素 部分的參考?jí)K的每個(gè)像素的亮度值之間的差絕對(duì)值乘以對(duì)應(yīng)于像素位置的權(quán)重，以便計(jì)算像素的相關(guān)值。然后，相關(guān)計(jì)算部分171求和這種相關(guān)值以計(jì)算加權(quán)SAD。加權(quán)SAD隨著其 值減少，指示更高的相關(guān)度。具體地，相關(guān)計(jì)算部分171根據(jù)以下表達(dá)式計(jì)算加權(quán)SAD : 加權(quán)"1)= 2『(W)K(")-"")I表達(dá)式2 其中IJi， j)指示對(duì)應(yīng)于基準(zhǔn)塊的每個(gè)像素位置的像素的亮度值，而W(i， j)指示 對(duì)應(yīng)于基準(zhǔn)塊的每個(gè)像素位置的權(quán)重。 此外，相關(guān)計(jì)算部分171將每個(gè)參考?jí)K的計(jì)算的加權(quán)SAD作為相關(guān)度提供到相關(guān) 映射存儲(chǔ)部分172。 相關(guān)映射存儲(chǔ)部分172以相互相關(guān)聯(lián)的關(guān)系，暫時(shí)存儲(chǔ)從相關(guān)計(jì)算部分171提供 到其的參考?jí)K的相關(guān)度和從參考?jí)K確定部分140提供到其的參考?jí)K的位置。相關(guān)映射存儲(chǔ) 部分172將存儲(chǔ)在其中的所有參考?jí)K的位置和相關(guān)度提供到位置獲取部分173。
位置獲取部分173獲取從相關(guān)映射存儲(chǔ)部分172提供到其的所有參考?jí)K中具有最 高相關(guān)度的一個(gè)參考?jí)K的位置。換句話說，位置獲取部分173獲取具有最低加權(quán)SAD的參 考?jí)K的位置。在所有參考?jí)K的位置和相關(guān)度存儲(chǔ)在相關(guān)映射存儲(chǔ)部分172中的情況下，位 置獲取部分173獲取具有最高相關(guān)度的參考?jí)K的位置。位置獲取部分173將參考?jí)K的獲取 的位置提供到運(yùn)動(dòng)矢量計(jì)算部分174。 運(yùn)動(dòng)矢量計(jì)算部分174基于從位置獲取部分173提供到其的最高相關(guān)度的參考?jí)K
的位置、和從基準(zhǔn)塊確定部分120提供到其的基準(zhǔn)塊的位置，計(jì)算運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量計(jì)算
部分174將計(jì)算的運(yùn)動(dòng)矢量提供到信號(hào)線103。 現(xiàn)在，描述在本發(fā)明實(shí)施例中的基準(zhǔn)幀和參考幀的設(shè)置。[運(yùn)動(dòng)矢量的檢測(cè)的示例] 圖2A和2B圖示在相同兩個(gè)運(yùn)動(dòng)對(duì)象包括在基準(zhǔn)幀和參考幀中的情況下、通過根 據(jù)本發(fā)明的第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100的運(yùn)動(dòng)矢量的檢測(cè)的示例。具體地，圖2A 圖示作為動(dòng)態(tài)畫面的當(dāng)前幀的基準(zhǔn)幀200，而圖2B圖示作為在基準(zhǔn)幀之前一幀的幀的參考 幀220 (在前向參考的情況下)。 基準(zhǔn)幀200包括在其中顯示的運(yùn)動(dòng)體A 201、另一運(yùn)動(dòng)體B 202和基準(zhǔn)塊210。運(yùn)
動(dòng)體A 201和運(yùn)動(dòng)體B 202隨著時(shí)間過去在幀中運(yùn)動(dòng)?；鶞?zhǔn)塊210是由基準(zhǔn)塊確定部分
120確定的區(qū)域?；鶞?zhǔn)塊210包括運(yùn)動(dòng)體A 201的右下部分和背景圖像。 參考幀220包括在其上顯示的包括在基準(zhǔn)幀200中的運(yùn)動(dòng)體A 201和運(yùn)動(dòng)體B
202、搜索區(qū)域221和參考?jí)K230。搜索區(qū)域221是其中搜索由參考?jí)K確定部分140定義的
基準(zhǔn)塊210的運(yùn)動(dòng)的源的區(qū)域。參考?jí)K230包括運(yùn)動(dòng)體A 201的右下部分和運(yùn)動(dòng)體B 202
的部分。 在此情況下，運(yùn)動(dòng)矢量檢測(cè)裝置100設(shè)置對(duì)應(yīng)于在基準(zhǔn)塊210中包括的運(yùn)動(dòng)體A 201的像素的有效度為高級(jí)別，以便使得基準(zhǔn)塊210和參考?jí)K230之間的相關(guān)度最高。因 此，運(yùn)動(dòng)矢量檢測(cè)裝置IOO其后可以精確地檢測(cè)運(yùn)動(dòng)體A 201的運(yùn)動(dòng)矢量。
[基準(zhǔn)亮度值的產(chǎn)生的示例] 圖3A和3B圖示通過根據(jù)本發(fā)明的第一實(shí)施例的基準(zhǔn)亮度值產(chǎn)生部分150的基準(zhǔn) 亮度值的產(chǎn)生的示例。 圖3A圖示在基準(zhǔn)塊210的每個(gè)側(cè)的像素的數(shù)目是"5"的情況下、其中基準(zhǔn)塊210的中央像素的亮度值的示例?；鶞?zhǔn)塊210包括基準(zhǔn)塊的像素#1到#25、以及來自像素#1到 #25中位于基準(zhǔn)塊210的中心的基準(zhǔn)像素211。在像素#1到#25的每個(gè)中用括號(hào)指示的值 是像素的亮度值。這里，因?yàn)橄袼?13是基準(zhǔn)像素211，所以作為像素#13的亮度值的"150"
是基準(zhǔn)亮度值。 圖3B圖示在基準(zhǔn)塊210的每個(gè)側(cè)的像素的數(shù)目是"4"的情況下、其中基準(zhǔn)塊的中 心附近的像素的亮度值的統(tǒng)計(jì)值用作基準(zhǔn)亮度值的示例。這里，從像素#7、 #8、 #12和#13 產(chǎn)生基準(zhǔn)亮度值。例如，作為像素#7、#8、#12和#13的亮度值的平均值的"151.5"確定為
基準(zhǔn)亮度。 以此方式，基準(zhǔn)亮度值產(chǎn)生部分150基于來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊的所 有像素或一些像素的亮度值，產(chǎn)生基準(zhǔn)亮度值，并且將基準(zhǔn)亮度值提供到有效性計(jì)算部分 160。[有效度的計(jì)算的示例] 圖4圖示通過根據(jù)本發(fā)明的第一實(shí)施例的有效性計(jì)算部分160的有效度的計(jì)算的 示例。這里，取圖3A中示出的基準(zhǔn)塊210作為示例，描述其中有效度設(shè)置為高的值的像素 的分類技術(shù)。此外，基準(zhǔn)亮度值Ib^設(shè)為"150"，而閾值Dth設(shè)為"20"。
在該例子中，亮度值差計(jì)算部分161根據(jù)上面給出的表達(dá)式(1)，計(jì)算像素#1到 #25的每個(gè)的亮度值1。(i， j)和從基準(zhǔn)亮度值產(chǎn)生部分150提供到其的基準(zhǔn)亮度值Ibase之 間的差絕對(duì)值D(i， j)。然后，權(quán)重計(jì)算部分162判定像素#1到#25的每個(gè)的差絕對(duì)值D(i， j)是否低于閾值Dth。 在本示例中，像素#1、 #4和#15到#25判定為具有高于閾值Dth的亮度值的像素，
而其它像素#2、 #3和#5到#14判定為具有低于閾值Dth的亮度值的像素。 以此方式，基于基準(zhǔn)塊的每個(gè)像素的亮度值和基準(zhǔn)亮度值之間的差絕對(duì)值，區(qū)分
其有效度設(shè)為高的值的像素。[差絕對(duì)值和權(quán)重之間的關(guān)系的示例] 圖5A和5B圖示由根據(jù)本發(fā)明的第一實(shí)施例的亮度值差計(jì)算部分161計(jì)算的差絕 對(duì)值和由權(quán)重計(jì)算部分162計(jì)算的權(quán)重之間的關(guān)系的示例。具體地，圖5A和5B示出了這 樣的曲線圖，其中橫坐標(biāo)的軸指示差絕對(duì)值D，而縱坐標(biāo)的軸指示權(quán)重W。
更具體地，圖5A圖示這樣的示例，其中由亮度值差計(jì)算部分161計(jì)算的差絕對(duì)值 D低于閾值Dth，并且權(quán)重W是固定值。這里，在差絕對(duì)值D(i， j)低于閾值Dth的情況下，權(quán) 重計(jì)算部分162將值W^作為權(quán)重W(i， j)提供到相關(guān)計(jì)算部分171。另一方面，在差絕對(duì)
值D(i，j)高于閾值Dth的情況下，將低于值W^的另一值Wmin作為權(quán)重W(i，j)提供到相關(guān) 計(jì)算部分171。例如，值W隨和值Wmin分別設(shè)為"l"和"0"。 具體地，權(quán)重計(jì)算部分162根據(jù)以下表達(dá)式計(jì)算基準(zhǔn)塊的每個(gè)像素的權(quán)重W(i， j):<formula>formula see original document page 11</formula>
其中Wmin和W^是常數(shù)。 以此方式，為其差絕對(duì)值D低于閾值Dth的像素計(jì)算固定權(quán)重。因此，在通過相關(guān) 計(jì)算部分171的相關(guān)度計(jì)算中，可以提高下述基準(zhǔn)塊的每個(gè)像素的有效度，參考?jí)K的每個(gè)像素的亮度值相對(duì)于該基準(zhǔn)塊的每個(gè)像素的亮度值的差絕對(duì)值小于閾值。
圖5B圖示這樣的示例，其中在由亮度值差計(jì)算部分161計(jì)算的差絕對(duì)值D低于閾 值Dth的情況下，權(quán)重W與差絕對(duì)值D成反比地增加。這里，在差絕對(duì)值D(i， j)低于閾值 Dth的情況下，將與差絕對(duì)值D成反比地增加的權(quán)重W作為權(quán)重W(i， j)從權(quán)重計(jì)算部分162 提供到相關(guān)計(jì)算部分171。另一方面，在差絕對(duì)值D(i，j)高于閾值Dth的情況下，將指示最 低值的值Wmin作為權(quán)重W(i， j)提供到相關(guān)計(jì)算部分171。 在本示例中，權(quán)重計(jì)算部分162根據(jù)以下表達(dá)式計(jì)算基準(zhǔn)塊的每個(gè)像素的權(quán)重 W(i， j):
f 『誦 如果(D(i',力〉DJ ^0》')=^ mm 、 二 丫 表達(dá)式4其中Wmin和W。是常數(shù)。 以此方式，對(duì)于關(guān)于其差絕對(duì)值D低于閾值Dth的像素，可以計(jì)算與差絕對(duì)值D成 反比增加的權(quán)重。結(jié)果，在通過相關(guān)計(jì)算部分171的相關(guān)度計(jì)算中，當(dāng)基準(zhǔn)塊的每個(gè)像素 的亮度值和參考?jí)K中的每個(gè)像素的亮度值之間的差絕對(duì)值減少時(shí)，有效度可以設(shè)為更高的 值。[運(yùn)動(dòng)矢量檢測(cè)裝置的操作的示例] 現(xiàn)在，將參照附圖描述本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100的操作。 圖6圖示根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100的運(yùn)動(dòng)矢量計(jì)算處理的
處理過程的示例。 首先，在步驟S911 ，基準(zhǔn)塊確定部分120確定來自基準(zhǔn)幀緩沖器110的基準(zhǔn)幀中的
基準(zhǔn)塊。然后，在步驟S912，基準(zhǔn)亮度值產(chǎn)生部分150基于來自基準(zhǔn)塊確定部分120的整個(gè)
基準(zhǔn)塊或預(yù)先定義的基準(zhǔn)塊的部分的像素的亮度值，產(chǎn)生基準(zhǔn)亮度值。然后，在步驟S913，
亮度值差計(jì)算部分161計(jì)算來自基準(zhǔn)亮度值產(chǎn)生部分150的基準(zhǔn)亮度值和基準(zhǔn)塊的每個(gè)像
素的亮度值之間的差絕對(duì)值。然后，在步驟S914，權(quán)重計(jì)算部分162基于來自亮度值差計(jì)算
部分161的基準(zhǔn)塊的每個(gè)像素的差絕對(duì)值，為基準(zhǔn)塊的每個(gè)像素計(jì)算權(quán)重。 然后，在步驟S915，參考?jí)K確定部分140確定來自參考幀緩沖器130的參考幀中的
參考?jí)K。然后，在步驟S916，相關(guān)計(jì)算部分171基于基準(zhǔn)塊的像素的權(quán)重、基準(zhǔn)塊的像素的
亮度值和參考?jí)K的像素的亮度值，計(jì)算基準(zhǔn)塊和參考?jí)K之間的相關(guān)度。 然后，在步驟S917，將由相關(guān)計(jì)算部分171計(jì)算的相關(guān)度和參考?jí)K的位置以相互
相關(guān)聯(lián)的關(guān)系存儲(chǔ)在相關(guān)映射存儲(chǔ)部分172中。然后，在步驟S918，位置獲取部分173判
定關(guān)于在搜索范圍中確定的所有參考?jí)K的相關(guān)度和位置是否存儲(chǔ)在相關(guān)映射存儲(chǔ)部分172
中。然后，如果此時(shí)還沒有存儲(chǔ)關(guān)于所有參考?jí)K的相關(guān)度和位置，則處理返回步驟S915，使
得重復(fù)上述處理直到存儲(chǔ)了關(guān)于在搜索區(qū)域中設(shè)置的所有參考?jí)K的相關(guān)度和位置。 另一方面，如果存儲(chǔ)了關(guān)于所有參考?jí)K的相關(guān)度和位置，則在步驟S919由位置獲
取部分173獲取其相關(guān)度最高的參考?jí)K的位置。然后，在步驟S920，運(yùn)動(dòng)矢量計(jì)算部分174
基于來自位置獲取部分173的參考?jí)K的位置和基準(zhǔn)塊的位置，計(jì)算運(yùn)動(dòng)矢量。 然后，在步驟S921判定是否由運(yùn)動(dòng)矢量計(jì)算部分174關(guān)于所有基準(zhǔn)塊計(jì)算了運(yùn)動(dòng)
矢量。然后，如果此時(shí)還沒有關(guān)于所有基準(zhǔn)塊完成運(yùn)動(dòng)矢量的計(jì)算，則處理返回步驟S911，
在此確定新的基準(zhǔn)塊，此后執(zhí)行從步驟S912開始的各步驟的處理。有基準(zhǔn)塊計(jì)算了運(yùn)動(dòng)矢量，則結(jié)束運(yùn)動(dòng)矢量計(jì)算處理。 以此方式，在本發(fā)明的第一實(shí)施例的情況下，由有效性計(jì)算部分160計(jì)算的基準(zhǔn) 塊的每個(gè)像素的有效度反映在基準(zhǔn)塊和參考?jí)K之間的相關(guān)度的計(jì)算上。因此，可以改進(jìn)運(yùn) 動(dòng)矢量的檢測(cè)精度。
〈2.第二實(shí)施例> 圖7示出根據(jù)本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置。參照?qǐng)D7，示出的運(yùn) 動(dòng)矢量檢測(cè)裝置300包括對(duì)應(yīng)塊提取部分310、搜索范圍產(chǎn)生部分320、基準(zhǔn)幀緩沖器110、 基準(zhǔn)塊確定部分120、參考幀緩沖器130、參考?jí)K確定部分140和塊匹配計(jì)算部分870。塊匹 配計(jì)算部分870包括相關(guān)計(jì)算部分871、相關(guān)映射存儲(chǔ)部分872、位置獲取部分873和運(yùn)動(dòng) 矢量計(jì)算部分874。這里，基準(zhǔn)幀緩沖器110、基準(zhǔn)塊確定部分120和參考幀緩沖器130類 似于上面參照?qǐng)D1描述的那些部分，因此，這里省略它們的重復(fù)描述以避免冗余。
對(duì)應(yīng)塊提取部分310提取對(duì)應(yīng)于基準(zhǔn)塊的位置的參考幀中的對(duì)應(yīng)塊的所有像素 或預(yù)先定義的一些像素的亮度值。具體地，對(duì)應(yīng)塊提取部分310基于從基準(zhǔn)塊確定部分120 提供到其的基準(zhǔn)塊的位置，設(shè)置對(duì)應(yīng)塊的位置。然后，對(duì)應(yīng)塊提取部分310從由參考幀緩沖 器130提供到其的參考幀中的各像素的亮度值中提取如此設(shè)置的對(duì)應(yīng)塊中的各像素的亮 度值。此外，對(duì)應(yīng)塊提取部分310通過信號(hào)線311將對(duì)應(yīng)塊中的各像素的提取的亮度值提 供到搜索范圍產(chǎn)生部分320。 搜索范圍產(chǎn)生部分320基于對(duì)應(yīng)塊中的所有像素或一些像素的亮度值和基準(zhǔn)塊 中所有像素或一些像素的亮度值，產(chǎn)生用于計(jì)算相對(duì)于基準(zhǔn)塊的運(yùn)動(dòng)矢量的參考幀中的搜 索區(qū)域。具體地，搜索范圍產(chǎn)生部分320計(jì)算空間亮度差的絕對(duì)值的總和，所述空間亮度差 是關(guān)于在從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊中的所有像素或預(yù)先定義的一些像素的各 像素之間在空間上的亮度差。此外，搜索范圍產(chǎn)生部分320計(jì)算時(shí)間亮度差的絕對(duì)值的總 和，所述時(shí)間亮度差是來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊和來自對(duì)應(yīng)塊提取部分310的對(duì) 應(yīng)塊的對(duì)應(yīng)像素之間在時(shí)間基準(zhǔn)上的亮度差。然后，搜索范圍產(chǎn)生部分320基于空間亮度 差的絕對(duì)值的總和和時(shí)間亮度差的絕對(duì)值的總和，計(jì)算參考幀的搜索范圍。此外，搜索范圍 產(chǎn)生部分320通過信號(hào)線329將參考幀的計(jì)算的搜索范圍提供到參考?jí)K確定部分140。
參考?jí)K確定部分140基于從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊的位置和從搜索范 圍產(chǎn)生部分320提供的搜索范圍，定義參考幀中的搜索區(qū)域。然后，參考?jí)K確定部分140以 參照?qǐng)D1的上述方式連續(xù)確定搜索范圍內(nèi)的參考?jí)K。此外，參考?jí)K確定部分140將確定的 參考?jí)K中的各像素的亮度值提供到相關(guān)計(jì)算部分871，并且將參考?jí)K的位置存儲(chǔ)在相關(guān)映 射存儲(chǔ)部分872中。 塊匹配計(jì)算部分870基于參考?jí)K和基準(zhǔn)塊之間的相關(guān)度執(zhí)行塊匹配，以計(jì)算參考 塊的運(yùn)動(dòng)矢量。相關(guān)計(jì)算部分871對(duì)于每個(gè)參考?jí)K計(jì)算SAD作為相關(guān)度，所述SAD是來自 基準(zhǔn)塊確定部分120的基準(zhǔn)塊和來自參考?jí)K確定部分140的參考?jí)K的對(duì)應(yīng)像素之間的亮度 差的絕對(duì)值的總和。當(dāng)SAD具有減少的值時(shí)，這表示相關(guān)度具有增加的值。相關(guān)計(jì)算部分 871將為每個(gè)參考?jí)K計(jì)算的相關(guān)度存儲(chǔ)在相關(guān)映射存儲(chǔ)部分872中。 相關(guān)映射存儲(chǔ)部分872以相互相關(guān)聯(lián)的關(guān)系暫時(shí)存儲(chǔ)從相關(guān)計(jì)算部分871提供的 參考?jí)K的相關(guān)度、和從參考?jí)K確定部分140提供的參考?jí)K的位置。相關(guān)映射存儲(chǔ)部分872 將存儲(chǔ)在其中的所有參考?jí)K的相關(guān)度和位置提供到位置獲取部分873。
位置獲取部分873獲取從相關(guān)映射存儲(chǔ)部分872提供到其的所有參考?jí)K中展現(xiàn)最高相關(guān)度的一個(gè)參考?jí)K的位置。換句話說，位置獲取部分873獲取具有最低加權(quán)SAD的參考?jí)K的位置。具體地，當(dāng)關(guān)于所有參考?jí)K的相關(guān)度和位置存儲(chǔ)在相關(guān)映射存儲(chǔ)部分872中時(shí)，位置獲取部分873獲取展現(xiàn)最高相關(guān)度的參考?jí)K的位置。此外，位置獲取部分873將參考?jí)K的獲取的位置提供到運(yùn)動(dòng)矢量計(jì)算部分874。 運(yùn)動(dòng)矢量計(jì)算部分874基于從位置獲取部分873提供到其的并且具有最高相關(guān)度
的參考矢量的位置、和從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊的位置，計(jì)算運(yùn)動(dòng)矢量。 這里，參照附圖描述基于由搜索范圍產(chǎn)生部分320產(chǎn)生的搜索范圍和基準(zhǔn)塊的位
置定義的參考幀中的搜索區(qū)域的示例。[搜索區(qū)域的定義的示例] 圖8示出由根據(jù)本發(fā)明的第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100定義的參考幀中的搜索區(qū)域的示例。參照?qǐng)D8，示出參考幀中的搜索區(qū)域410和最大搜索區(qū)域430。這里，基準(zhǔn)塊的水平方向和垂直方向分別定義為x方向和y方向。 搜索區(qū)域410是由搜索范圍產(chǎn)生部分320和搜索區(qū)域基準(zhǔn)塊240產(chǎn)生的x方向上的搜索范圍Lx和y方向上的搜索范圍Ly定義的區(qū)域。搜索區(qū)域基準(zhǔn)塊240是在與參考幀中的基準(zhǔn)塊的位置相同位置處的塊。具體地，搜索區(qū)域基準(zhǔn)塊240設(shè)置為相對(duì)于基準(zhǔn)塊的運(yùn)動(dòng)矢量是"O"的位置。 x方向上的搜索范圍Lx指示其中參考基準(zhǔn)塊210、參考?jí)K可以在x方向上移動(dòng)到右側(cè)和左側(cè)的最大范圍。y方向上的搜索范圍Ly指示其中參考搜索區(qū)域基準(zhǔn)塊240、參考?jí)K可以在y方向上移動(dòng)到上側(cè)和下側(cè)的最大范圍。 最大搜索區(qū)域430是基于最大搜索范圍Lmax和搜索區(qū)域基準(zhǔn)塊240定義的區(qū)域。最大搜索范圍Lmax是基于圖像的分辨率和壓縮率確定的，并且設(shè)為例如32像素。
因?yàn)樗阉鞣秶a(chǎn)生部分320以此方式產(chǎn)生x方向上的搜索范圍Lx和y方向上的搜索范圍Ly，所以運(yùn)動(dòng)矢量檢測(cè)裝置300可以在搜索區(qū)域中相互獨(dú)立地定義x方向和y方向上的搜索范圍。此外，運(yùn)動(dòng)矢量檢測(cè)裝置300可以通過提供最大搜索范圍L^，避免搜索區(qū)域的擴(kuò)展超過定義的最大區(qū)域?，F(xiàn)在，參照?qǐng)D9描述產(chǎn)生x方向上的搜索范圍Lx和y方向上的搜索范圍Ly的搜索范圍產(chǎn)生部分320的配置的示例。[ono][搜索范圍產(chǎn)生部分的配置的第一示例] 圖9示出本發(fā)明的第二實(shí)施例中的搜索范圍產(chǎn)生部分320的配置的第一示例。參照?qǐng)D9，搜索范圍產(chǎn)生部分320包括Ft計(jì)算部分330、 Fs計(jì)算部分340和L計(jì)算部分370。
Ft計(jì)算部分330計(jì)算時(shí)間亮度差的總和作為時(shí)間亮度差總和Ft，所述時(shí)間亮度差是從信號(hào)線311提供的對(duì)應(yīng)塊和從信號(hào)線121提供的基準(zhǔn)塊中的對(duì)應(yīng)像素之間的亮度差。Ft計(jì)算部分330根據(jù)以下表達(dá)式計(jì)算時(shí)間亮度差總和Ft，并且將計(jì)算的時(shí)間亮度差總和Ft提供到L計(jì)算部分370。順便提及，F(xiàn)t計(jì)算部分330是時(shí)間亮度差總和部分的示例。
<formula>formula see original document page 14</formula>表達(dá)式5其中It(i， j)是時(shí)間亮度差，Ic(i， j)是基準(zhǔn)塊中的像素的亮度值，Ir(i， j)是參
考?jí)K中的像素的亮度值，i和j分別是每個(gè)塊的x方向的像素位置和y方向的像素位置，并且N是通過從每個(gè)塊中的不同像素的像素的數(shù)目減去"1"獲得的值。 以此方式，當(dāng)運(yùn)動(dòng)體移動(dòng)的速度增加時(shí)，基準(zhǔn)塊中包括的運(yùn)動(dòng)體和對(duì)應(yīng)塊中包括的相同運(yùn)動(dòng)體之間位置的差、以及相應(yīng)地根據(jù)上面給出的表達(dá)式計(jì)算的時(shí)間亮度差總和Ft可能具有高的值。另一方面，因?yàn)楫?dāng)運(yùn)動(dòng)體移動(dòng)的速度減小時(shí)、基準(zhǔn)塊和對(duì)應(yīng)塊之間的運(yùn)動(dòng)體的位置的差減小，所以時(shí)間亮度差總和Ft可能變低。從此，可以估計(jì)基準(zhǔn)塊中包括的運(yùn)動(dòng)體的速度。 Fs計(jì)算部分340計(jì)算空間亮度差的絕對(duì)值的總和作為空間亮度差總和，所述空間亮度差是相鄰像素到從信號(hào)線121提供的基準(zhǔn)塊中的像素之間的亮度差。順便提及，F(xiàn)s計(jì)算部分340是空間亮度差總和部分的示例。 Fs計(jì)算部分340分別計(jì)算相對(duì)于基準(zhǔn)塊的水平方向和垂直方向上的空間亮度差總和。Fs計(jì)算部分340包括Fx計(jì)算部分350和Fy計(jì)算部分360。 Fx計(jì)算部分350關(guān)于基準(zhǔn)塊中的各像素計(jì)算水平方向上的空間亮度差的絕對(duì)值的總和，作為x方向上的空間亮度差總和。具體地，F(xiàn)x計(jì)算部分350計(jì)算x方向上的相鄰像素到基準(zhǔn)塊中的像素之間的亮度差的總和，作為x方向上的空間亮度差總和Fx。 x方向上的空間亮度差總和Fx是表示x方向上的空間亮度差總和Fs的分量的值。Fx計(jì)算部分350將x方向上的計(jì)算的空間亮度差總和Fx提供到Lx計(jì)算部分380。順便提及，F(xiàn)x計(jì)算部分350是空間亮度差總和部分的示例。
Fy計(jì)算部分360關(guān)于基準(zhǔn)塊中的各像素計(jì)算垂直方向上的空間亮度差的絕對(duì)值的總和，作為y方向上的空間亮度差總和。具體地，F(xiàn)y計(jì)算部分360計(jì)算y方向上的相鄰像素到基準(zhǔn)塊中的像素之間的亮度差的總和，作為y方向上的空間亮度差總和Fy。 y方向上的空間亮度差總和Fy是表示y方向上的空間亮度差總和Fs的分量的值。Fy計(jì)算部分360將y方向上的計(jì)算的空間亮度差總和Fy提供到Ly計(jì)算部分390。順便提及，F(xiàn)y計(jì)算部分360是空間亮度差總和部分的示例。上述x方向上的空間亮度差總和Fx和y方向上的空間亮度差總和Fy可以由以下
表達(dá)式表不
加一
乂 \>0,/=0 〉 ， J其中l(wèi)ji， J)是關(guān)于基準(zhǔn)塊中的每個(gè)像素的X方向上的空間亮度差，而ly(i，
j)是關(guān)于基準(zhǔn)塊中的每個(gè)像素的y方向上的空間亮度差。 當(dāng)運(yùn)動(dòng)體移動(dòng)的速度增加時(shí)，包括在基準(zhǔn)塊中的運(yùn)動(dòng)體的圖像開始具有增加的模糊量，因此，根據(jù)上面給出的表達(dá)式計(jì)算的空間亮度差總和Fs可能具有低的值。另一方面，當(dāng)運(yùn)動(dòng)體移動(dòng)的速度減小時(shí)，包括在基準(zhǔn)塊中的運(yùn)動(dòng)體的圖像開始具有減小的模糊量，因此，空間亮度差總和Fs可能具有高的值。因此，可以估計(jì)包括在基準(zhǔn)塊中的運(yùn)動(dòng)體的速度。
L計(jì)算部分370基于來自Ft計(jì)算部分330的時(shí)間亮度差總和Ft和來自Fs計(jì)算部分340的空間亮度差總和Fs，計(jì)算關(guān)于基準(zhǔn)塊搜索運(yùn)動(dòng)矢量的參考幀中的搜索范圍。當(dāng)空間亮度差總和Fs增加時(shí)，該L計(jì)算部分370設(shè)置減小的搜索范圍，而當(dāng)時(shí)間亮度差總和Ft增加時(shí)，該L計(jì)算部分370設(shè)置增加的搜索范圍。換句話說，L計(jì)算部分370計(jì)算這樣的搜索 K =
PI
加q
表達(dá)式6范圍，其與空間亮度差總和Fs成反比地增加，而與時(shí)間亮度差總和Ft成正比增加。然后，L計(jì)算部分370計(jì)算以此方式計(jì)算的搜索范圍和預(yù)定范圍之一作為參考幀中的搜索范圍。具體地，L計(jì)算部分370基于以下函數(shù)G計(jì)算搜索范圍L :<formula>formula see original document page 16</formula>
l表達(dá)式7 其中L^是圖8中圖示的最大搜索范圍，而a是固定值，并且例如設(shè)為"1 "。從上面的表達(dá)式可知，如果a設(shè)為低的值，則搜索范圍變小，因此，可以抑制通過塊匹配的處理 L計(jì)算部分370通過信號(hào)線329將計(jì)算的搜索范圍L提供到參考?jí)K確定部分140。順便提及，L計(jì)算部分370是搜索范圍計(jì)算部分的示例。 此外，L計(jì)算部分370基于不同方向上的空間亮度值的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和，計(jì)算不同方向上的搜索范圍。L計(jì)算部分370包括Lx計(jì)算部分380和Ly計(jì)算部分390。 L,計(jì)算部分380計(jì)算圖8中示出的x方向上的搜索范圍L,。具體地，Lx計(jì)算部分380基于來自Ft計(jì)算部分330的時(shí)間亮度差總和Ft和來自Fx計(jì)算部分350的在x方向上的空間亮度差總和F,，計(jì)算x方向上的搜索范圍Lx。 Lx計(jì)算部分380通過信號(hào)線329將計(jì)算的x方向上的搜索范圍Lx提供到參考?jí)K確定部分140。 Ly計(jì)算部分390計(jì)算圖8中示出的y方向上的搜索范圍Ly。具體地，Ly計(jì)算部分390基于來自Ft計(jì)算部分330的時(shí)間亮度差總和Ft和來自Fy計(jì)算部分360的在y方向上的空間亮度差總和F"計(jì)算y方向上的搜索范圍Ly。 Ly計(jì)算部分390通過信號(hào)線329將計(jì)算的y方向上的搜索范圍Ly提供到參考?jí)K確定部分140。 這里，作為上述x方向上的搜索范圍Lx和y方向上的搜索范圍Ly的計(jì)算的示例，可以應(yīng)用以下表達(dá)式
、S乂
表達(dá)式8 因?yàn)橐源朔绞绞褂脮r(shí)間亮度差總和Ft和空間亮度差總和Fs的兩個(gè)參數(shù)可以精確地估計(jì)包括在基準(zhǔn)塊中的素材體的運(yùn)動(dòng)，所以可以定義符合基準(zhǔn)塊中的素材體的運(yùn)動(dòng)的搜索范圍。此外，通過相互分開地計(jì)算x方向和y方向的搜索范圍，可以定義最佳搜索范圍。這里應(yīng)該注意，盡管對(duì)稱地產(chǎn)生上述x方向和y方向上的搜索范圍，但是下面描述關(guān)于搜索區(qū)域基準(zhǔn)塊240分開地產(chǎn)生在向上和向下方向以及在向左和向右方向上的搜索范圍的示例。[搜索范圍的定義的示例] 圖10圖示在通過本發(fā)明的第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置300非對(duì)稱地定義的參考幀中的搜索區(qū)域的示例。在圖10中，圖示參考幀中的搜索區(qū)域420和最大搜索區(qū)域430。順便提及，參考幀中除了搜索區(qū)域420之外的組件與上面參照?qǐng)D8描述的那些組件類似，因此，這里省略它們的重復(fù)描述以避免冗余。 搜索區(qū)域420是由搜索區(qū)域基準(zhǔn)塊240、 x方向上在正側(cè)的搜索范圍Lx+和在負(fù)側(cè)的搜索范圍Lx—、以及y方向上在正側(cè)的搜索范圍Ly+和在負(fù)側(cè)的搜索范圍Ly—定義的區(qū)域。由搜索范圍產(chǎn)生部分320產(chǎn)生x方向上在正側(cè)的搜索范圍Lx+和在負(fù)側(cè)的搜索范圍Lx—、以及y方向上在正側(cè)的搜索范圍Ly+和在負(fù)側(cè)的搜索范圍Ly一。 x方向上在正側(cè)的搜索范圍Lx+指示其中參考搜索區(qū)域基準(zhǔn)塊240、參考?jí)K可以在x方向移動(dòng)到右側(cè)的最大范圍。x方向上在負(fù)側(cè)的搜索范圍Lr指示其中參考搜索區(qū)域基準(zhǔn)塊240、參考?jí)K可以在x方向移動(dòng)到左側(cè)的最大范圍。 y方向上在正側(cè)的搜索范圍Ly+指示其中參考搜索區(qū)域基準(zhǔn)塊240、參考?jí)K可以在y方向移動(dòng)到下側(cè)的最大范圍。y方向上在負(fù)側(cè)的搜索范圍Ly—指示其中參考搜索區(qū)域基準(zhǔn)塊240、參考?jí)K可以在y方向移動(dòng)到上側(cè)的最大范圍。 通過以此方式利用搜索范圍產(chǎn)生部分320在不同方向上單獨(dú)地產(chǎn)生正負(fù)側(cè)搜索范圍，在各個(gè)方向上參考搜索區(qū)域基準(zhǔn)塊240非對(duì)稱地定義搜索區(qū)域?，F(xiàn)在，下面描述其中非對(duì)稱地定義搜索區(qū)域的搜索范圍產(chǎn)生部分320的配置的示例。
[搜索范圍產(chǎn)生部分的配置的第二示例] 圖11示出根據(jù)本發(fā)明的第二實(shí)施例的、其中非對(duì)稱地產(chǎn)生搜索范圍的搜索范圍產(chǎn)生部分320的配置的第二示例。參照?qǐng)Dll，搜索范圍產(chǎn)生部分320包括Ft計(jì)算部分330、Fx計(jì)算部分350、 Fy計(jì)算部分360、 Lx計(jì)算部分380和Ly計(jì)算部分390。
Ft計(jì)算部分330包括Ftx—計(jì)算部分331、Ftx+計(jì)算部分332、Fty—計(jì)算部分333和Fty+計(jì)算部分334。 Fx計(jì)算部分350包括Fx—計(jì)算部分351和Fx+計(jì)算部分352。 Fy計(jì)算部分360包括Fy—計(jì)算部分361和Fy+計(jì)算部分362。 Lx計(jì)算部分380包括Lx—計(jì)算部分381和Lx+計(jì)算部分382。 Ly計(jì)算部分390包括Ly—計(jì)算部分391和Ly+計(jì)算部分392。
Ft計(jì)算部分330將x方向和y方向上的時(shí)間亮度差的絕對(duì)值加到在不同方向上的正側(cè)時(shí)間亮度差總和以及負(fù)側(cè)時(shí)間亮度差總和之一。具體地，F(xiàn)t計(jì)算部分330基于關(guān)于基準(zhǔn)塊中的所有像素或一些像素的時(shí)間亮度差的符號(hào)、和不同方向上的空間亮度差的符號(hào)，關(guān)于基準(zhǔn)塊中的所有像素或一些像素將不同方向上的時(shí)間亮度差的絕對(duì)值相加。順便提及，F(xiàn)t計(jì)算部分330是時(shí)間亮度差總和部分的示例。 Ftx—計(jì)算部分331基于關(guān)于各像素的x方向上的空間亮度差的符號(hào)和時(shí)間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中的各像素的x方向上的時(shí)間亮度差的絕對(duì)值加到x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx—。 Ftx—計(jì)算部分331將計(jì)算的x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx—提供到V計(jì)算部分381。 Ftx+計(jì)算部分332基于關(guān)于各像素的x方向上的空間亮度差的符號(hào)和時(shí)間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中的各像素的x方向上的時(shí)間亮度差的絕對(duì)值加到x方向上的正側(cè)時(shí)間亮度差總和Ftx+。 Ftx+計(jì)算部分332將計(jì)算的x方向上的正側(cè)時(shí)間亮度差總和FtX+提供到L/計(jì)算部分382。 Fty—計(jì)算部分333基于關(guān)于各像素的y方向上的空間亮度差的符號(hào)和時(shí)間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中的各像素的y方向上的時(shí)間亮度差的絕對(duì)值加到y(tǒng)方向上的負(fù)側(cè)時(shí)間亮度差總和Fty—。 Fty—計(jì)算部分333將計(jì)算的y方向上的負(fù)側(cè)時(shí)間亮度差總和Fty—提供到V計(jì)算部分391。 F/+計(jì)算部分334基于關(guān)于各像素的y方向上的空間亮度差的符號(hào)和時(shí)間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中的各像素的y方向上的時(shí)間亮度差的絕對(duì)值加到y(tǒng)方向上的正側(cè)時(shí)間亮度差總和F/+。 F/+計(jì)算部分334將計(jì)算的y方向上的正側(cè)時(shí)間亮度差總和Ft"提供到L/計(jì)算部分392。
這里，對(duì)于x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx—、 x方向上的正側(cè)時(shí)間亮度差總和 Ftx+、y方向上的負(fù)側(cè)時(shí)間亮度差總和Fty—和y方向上的正側(cè)時(shí)間亮度差總和F/+的計(jì)算，可 以使用以下表達(dá)式

<formula>formula see original document page 18</formula>j)可以由以下表達(dá)式表示
如果(-/乂 <o) 否則
<formula>formula see original document page 18</formula>如果(—//,<0) 否則
<formula>formula see original document page 18</formula> 以此方式，F(xiàn)t計(jì)算部分330使用基于關(guān)于基準(zhǔn)塊中的每個(gè)像素的空間亮度差的符 號(hào)和時(shí)間亮度差的符號(hào)估計(jì)的運(yùn)動(dòng)體的速度的方向，計(jì)算各方向上正側(cè)和負(fù)側(cè)的時(shí)間亮度 差的絕對(duì)值的總和。 Fx計(jì)算部分350關(guān)于基準(zhǔn)塊中的所有像素或一些像素，將x方向上的空間亮度差 的絕對(duì)值加到x方向上的正側(cè)空間亮度差總和以及負(fù)側(cè)空間亮度差總和之一。具體地，F(xiàn)x 計(jì)算部分350基于不同方向上的空間亮度差的符號(hào)和關(guān)于所有像素或一些像素的時(shí)間亮 度差的符號(hào)，關(guān)于基準(zhǔn)塊中的所有像素或一些像素將x方向上的空間亮度差相加。順便提 及，F(xiàn)x計(jì)算部分350是空間亮度差總和部分的示例。 Fx—計(jì)算部分351基于x方向上的空間亮度差的符號(hào)和關(guān)于像素的時(shí)間亮度差的 符號(hào)，關(guān)于基準(zhǔn)塊中的每個(gè)像素將x方向上的空間亮度差的絕對(duì)值加到x方向上的負(fù)側(cè)空 間亮度差總和Fx—。 Fx—計(jì)算部分351將計(jì)算的x方向上的負(fù)側(cè)空間亮度差總和Fx—提供到 Lx—計(jì)算部分381。 F/計(jì)算部分352基于x方向上的空間亮度差的符號(hào)和關(guān)于像素的時(shí)間亮度差的符 號(hào)，關(guān)于基準(zhǔn)塊中的每個(gè)像素將x方向上的空間亮度差的絕對(duì)值加到x方向上的正側(cè)空間 亮度差總和Fx+。 Fx+計(jì)算部分352將計(jì)算的x方向上的正側(cè)空間亮度差總和Fx+提供到Lx+ 計(jì)算部分382。 Fy計(jì)算部分360關(guān)于基準(zhǔn)塊中的所有像素或一些像素，將y方向上的空間亮度差 的絕對(duì)值加到y(tǒng)方向上的正側(cè)空間亮度差總和以及負(fù)側(cè)空間亮度差總和之一。具體地，F(xiàn)y 計(jì)算部分360基于不同方向上的空間亮度差的符號(hào)和關(guān)于所有像素或一些像素的時(shí)間亮 度差的符號(hào)，關(guān)于基準(zhǔn)塊中的像素將y方向上的空間亮度差相加。順便提及，F(xiàn)y計(jì)算部分 360是空間亮度差總和部分的示例。 Fy—計(jì)算部分361基于y方向上的空間亮度差的符號(hào)和關(guān)于像素的時(shí)間亮度差的 符號(hào)，關(guān)于基準(zhǔn)塊中的每個(gè)像素將y方向上的空間亮度差的絕對(duì)值加到y(tǒng)方向上的負(fù)側(cè)空間亮度差總和Fy—。 Fy—計(jì)算部分361將計(jì)算的y方向上的負(fù)側(cè)空間亮度差總和Fy—提供到 Ly—計(jì)算部分391。 Fy+計(jì)算部分362基于y方向上的空間亮度差的符號(hào)和關(guān)于像素的時(shí)間亮度差的符 號(hào)，關(guān)于基準(zhǔn)塊中的每個(gè)像素將y方向上的空間亮度差的絕對(duì)值加到y(tǒng)方向上的正側(cè)空間 亮度差總和Fy+。 Fy+計(jì)算部分362將計(jì)算的y方向上的正側(cè)空間亮度差總和Fy+提供到Ly+ 計(jì)算部分392。 可以根據(jù)以下表達(dá)式計(jì)算x方向上的負(fù)側(cè)空間亮度差總和Fx—、 x方向上的正側(cè)空 間亮度差總和Fx+、 y方向上的負(fù)側(cè)空間亮度差總和Fy—、和y方向上的正側(cè)空間亮度差總和 F二

A—
其中I,
尺+、
廣W'W, 薩 /=0,y=0
(i， j)、Ix+(i， j)、Iv—
(/，4
沈M
s則
表達(dá)式11
(i， j)和Iv+(i， j)可以由以下表達(dá)式表示:
表達(dá)式12
如果(-< 0) 否則
如果(-//, <0)
否則
o)
L(o /力.)) 以此方式，F(xiàn),計(jì)算部分350和Fy計(jì)算部分360使用基于關(guān)于基準(zhǔn)塊中的每個(gè)〗 的空間亮度差的符號(hào)和時(shí)間亮度差的符號(hào)估計(jì)的運(yùn)動(dòng)體的速度的方向，計(jì)算正側(cè)和負(fù)側(cè)的 空間亮度差的絕對(duì)值的總和。 Lx計(jì)算部分380計(jì)算x方向上在負(fù)側(cè)的搜索范圍Lx—和在正側(cè)的搜索范圍Lx+。 Lx—計(jì)算部分381基于x方向上的負(fù)側(cè)空間亮度差總和Fx—和x方向上的負(fù)側(cè)時(shí)間亮度差總 和Ftx—，計(jì)算x方向上在負(fù)側(cè)的搜索范圍Lx—。 Lx—計(jì)算部分381通過信號(hào)線329將x方向上 在負(fù)側(cè)的計(jì)算的搜索范圍Lx—提供到參考?jí)K確定部分140。順便提及，Lx—計(jì)算部分381是 負(fù)側(cè)搜索范圍計(jì)算部分的示例。 Lx+計(jì)算部分382基于x方向上的正側(cè)空間亮度差總和Fx+和x方向上的正側(cè)時(shí)間 亮度差總和Ftx+，計(jì)算x方向上在正側(cè)的搜索范圍Lx+。 Lx+計(jì)算部分382通過信號(hào)線329將 x方向上在正側(cè)的計(jì)算的搜索范圍L/提供到參考?jí)K確定部分140。順便提及，L/計(jì)算部分 382是正側(cè)搜索范圍計(jì)算部分的示例。 Ly計(jì)算部分390計(jì)算y方向上在負(fù)側(cè)的搜索范圍Ly—和在正側(cè)的搜索范圍Ly+。 Ly—計(jì)算部分391基于y方向上的負(fù)側(cè)空間亮度差總和Fy—和y方向上的負(fù)側(cè)時(shí)間亮度差總 和Fty—，計(jì)算y方向上在負(fù)側(cè)的搜索范圍Ly—。 Ly—計(jì)算部分391通過信號(hào)線329將y方向上 在負(fù)側(cè)的計(jì)算的搜索范圍Ly—提供到參考?jí)K確定部分140。順便提及，Ly—計(jì)算部分391是 負(fù)側(cè)搜索范圍計(jì)算部分的示例。
Ly+計(jì)算部分392基于y方向上的正側(cè)空間亮度差總和Fy+和y方向上的正側(cè)時(shí)間 亮度差總和Fty+，計(jì)算y方向上在正側(cè)的搜索范圍Ly+。 Ly+計(jì)算部分392通過信號(hào)線329將 y方向上在正側(cè)的計(jì)算的搜索范圍Ly+提供到參考?jí)K確定部分140。順便提及，Ly+計(jì)算部分 392是正側(cè)搜索范圍計(jì)算部分的示例。 可以根據(jù)以下表達(dá)式計(jì)算x方向上在負(fù)側(cè)的搜索范圍L,—和在正側(cè)的搜索范圍 Lx+、以及y方向上在負(fù)側(cè)的搜索范圍LY—和在正側(cè)的搜索范圍LY+ :
<formula>formula see original document page 20</formula> 以此方式，通過利用搜索范圍產(chǎn)生部分320產(chǎn)生在不同方向上在正側(cè)和負(fù)側(cè)的搜 索范圍，可以在不同方向非對(duì)稱地定義搜索區(qū)域。因此，因?yàn)榭梢员韧ㄟ^圖9的配置更適當(dāng) 地定義搜索范圍，所以可以以更高精確度檢測(cè)運(yùn)動(dòng)矢量。要注意的是，在本配置的情況下， 運(yùn)動(dòng)矢量檢測(cè)裝置300中的寄存器的數(shù)目大。因此，改進(jìn)下述修改以便減少寄存器的數(shù)目。
[對(duì)搜索范圍產(chǎn)生部分的配置的第二示例的修改] 圖12示出對(duì)本發(fā)明的第二實(shí)施例中非對(duì)稱地設(shè)置搜索范圍的搜索范圍產(chǎn)生部分 320的配置的第二示例的修改。 參照?qǐng)D12，基準(zhǔn)塊確定部分120包括P,計(jì)算部分510和Py計(jì)算部分520以代替 參照?qǐng)D11的上述配置中的Ft計(jì)算部分330，并且還包括參照?qǐng)D9的上述Ft計(jì)算部分330、 Fx計(jì)算部分350和Fy計(jì)算部分360。因?yàn)镕x—計(jì)算部分351、FX+計(jì)算部分352、Fy—計(jì)算部分 361和Fy+計(jì)算部分362類似于參照?qǐng)D11的上述那些部分，所以這里省略它們的重復(fù)描述以 避免冗余。此外，F(xiàn)t計(jì)算部分330、 Fx計(jì)算部分350和Fy計(jì)算部分360類似于參照?qǐng)D9的 上述那些部分，因此這里省略它們的重復(fù)描述以避免冗余。順便提及，P,計(jì)算部分510和 P y計(jì)算部分520是似然度計(jì)算部分的示例。 p x計(jì)算部分510基于x方向上的負(fù)側(cè)空間亮度差總和Fx—和正側(cè)空間亮度差總和 F/，計(jì)算x方向上的正側(cè)似然度和負(fù)側(cè)似然度。P,計(jì)算部分510包括Px—計(jì)算部分511和 p/計(jì)算部分512。 p x—計(jì)算部分511基于x方向上的負(fù)側(cè)空間亮度差總和Fx—和正側(cè)空間亮度差總 和F/，計(jì)算x方向上的負(fù)側(cè)似然度Px—。 Px—計(jì)算部分511將x方向上的計(jì)算的負(fù)側(cè)似然 度Px—提供到k—計(jì)算部分381。 p x+計(jì)算部分512基于x方向上的負(fù)側(cè)空間亮度差總和Fx—和正側(cè)空間亮度差總 和F/，計(jì)算x方向上的正側(cè)似然度Px+。 p/計(jì)算部分512將x方向上的計(jì)算的正側(cè)似然 度P/提供到L/計(jì)算部分3S2。 p y計(jì)算部分520基于y方向上的負(fù)側(cè)空間亮度差總和Fy—和正側(cè)空間亮度差總和 F/，計(jì)算y方向上的正側(cè)似然度和負(fù)側(cè)似然度。Py計(jì)算部分520包括Py—計(jì)算部分521和 Py+計(jì)算部分522。 p y—計(jì)算部分521基于y方向上的負(fù)側(cè)空間亮度差總和Fy—和正側(cè)空間亮度差總 和F/，計(jì)算y方向上的負(fù)側(cè)似然度Py—。 Py—計(jì)算部分521將y方向上的計(jì)算的負(fù)側(cè)似然 度Py—提供到Ly—計(jì)算部分391。 p v+計(jì)算部分522基于y方向上的負(fù)側(cè)空間亮度差總和Fv—和正側(cè)空間亮度差總和F/，計(jì)算y方向上的正側(cè)似然度Py
度Py+提供到Ly+計(jì)算部分392。 可以根據(jù)以下表達(dá)式計(jì)算x方向上的負(fù)側(cè)似然度P P x+、 y方向上的負(fù)側(cè)似然度P v—和y方向上的正側(cè)似然度P
P v+計(jì)算部分522將y方向上的計(jì)算的正側(cè)似然
x方向上的正側(cè)似然度
^ 一 、A
表達(dá)式14
max 以此方式，P x計(jì)算部分510和P y計(jì)算部分520使用正側(cè)亮度差總和以及負(fù)側(cè)亮 度差總和，以計(jì)算在包括在基準(zhǔn)塊中的運(yùn)動(dòng)體的向上或向下方向以及向左或向右方向上的 似然度。 Lx—計(jì)算部分381基于x方向上的負(fù)側(cè)空間亮度差總和Fx—、x方向上的負(fù)側(cè)時(shí)間亮 度差總和FtX—和x方向上的負(fù)側(cè)似然度Px—，計(jì)算x方向上在負(fù)側(cè)的搜索范圍L,。 Lx—計(jì)算 部分381通過信號(hào)線329將x方向上在負(fù)側(cè)的計(jì)算的搜索范圍Lx—提供到參考?jí)K確定部分 140。 Lx+計(jì)算部分382基于x方向上的正側(cè)空間亮度差總和Fx+、x方向上的正側(cè)時(shí)間亮 度差總和FtX+和x方向上的正側(cè)似然度P,+，計(jì)算x方向上在正側(cè)的搜索范圍L/。 L/計(jì)算 部分382通過信號(hào)線329將x方向上在正側(cè)的計(jì)算的搜索范圍Lx+提供到參考?jí)K確定部分 140。順便提及，Lx—計(jì)算部分381和Lx+計(jì)算部分382是搜索范圍計(jì)算部分的示例。
Ly—計(jì)算部分391基于y方向上的負(fù)側(cè)空間亮度差總和Fy—、y方向上的負(fù)側(cè)時(shí)間亮 度差總和F/—和y方向上的負(fù)側(cè)似然度Py—，計(jì)算y方向上在負(fù)側(cè)的搜索范圍Ly—。 Ly—計(jì)算 部分391通過信號(hào)線329將y方向上在負(fù)側(cè)的計(jì)算的搜索范圍Ly—提供到參考?jí)K確定部分 140。 Ly+計(jì)算部分392基于y方向上的正側(cè)空間亮度差總和Fy+、y方向上的正側(cè)時(shí)間亮 度差總和Ft"和y方向上的正側(cè)似然度Py+，計(jì)算y方向上在正側(cè)的搜索范圍Ly+。 Ly+計(jì)算 部分392通過信號(hào)線329將y方向上在正側(cè)的計(jì)算的搜索范圍Ly+提供到參考?jí)K確定部分 140。順便提及，Ly—計(jì)算部分391和Ly+計(jì)算部分392是搜索范圍計(jì)算部分的示例。
可以根據(jù)以下表達(dá)式計(jì)算上述x方向上在負(fù)側(cè)的搜索范圍L,—和在正側(cè)的搜索范 圍Lx+、以及y方向上在負(fù)側(cè)的搜索范圍Ly—和在正側(cè)的搜索范圍Ly+ :
f4_z;、1" 以此方式，通過提供P,計(jì)算部分510和Py計(jì)算部分520，與參照?qǐng)D11的上述配
置相比，可以減少在不同方向上在負(fù)側(cè)和正側(cè)的搜索范圍的計(jì)算中的處理量。[運(yùn)動(dòng)矢量檢測(cè)裝置的操作的示例] 現(xiàn)在，參照附圖描述運(yùn)動(dòng)矢量檢測(cè)裝置300的操作。 圖13圖示根據(jù)本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置300的處理方法的處理過 程的示例。 參照?qǐng)D13，首先，在步驟S931，基準(zhǔn)塊確定部分120確定來自基準(zhǔn)幀緩沖器110的基準(zhǔn)幀中的基準(zhǔn)塊。然后，在步驟S932， Fs計(jì)算部分340計(jì)算空間亮度差總和作為空間亮 度差的絕對(duì)值的總和，所述空間亮度差是來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊中的各像素之 間的亮度差。順便提及，在步驟S932的處理是空間亮度差總和計(jì)算過程的示例。
然后，在步驟S933，F(xiàn)t計(jì)算部分330計(jì)算時(shí)間亮度差總和作為時(shí)間亮度差的總和， 所述時(shí)間亮度差是來自對(duì)應(yīng)塊提取部分310的對(duì)應(yīng)塊和來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊 中相互對(duì)應(yīng)的各像素之間的亮度差。順便提及，在步驟S933的處理是時(shí)間亮度差總和計(jì)算 過程的示例。然后，在步驟S934， L計(jì)算部分370基于來自Ft計(jì)算部分330的時(shí)間亮度差 總和以及來自Fs計(jì)算部分340的空間亮度差總和，計(jì)算參考幀的搜索范圍。順便提及，在 步驟S934的處理是搜索范圍計(jì)算過程的示例。 然后，在步驟S935，參考?jí)K確定部分140確定來自參考幀緩沖器130的參考幀內(nèi) 的參考?jí)K。然后，在步驟S936，相關(guān)計(jì)算部分871基于基準(zhǔn)塊的各像素的亮度值和參考?jí)K 的各像素的亮度值，計(jì)算基準(zhǔn)塊和參考?jí)K之間的相關(guān)度。然后，在步驟S937，將由相關(guān)計(jì)算 部分871計(jì)算的相關(guān)度和參考?jí)K的位置以相互相關(guān)聯(lián)的關(guān)系存儲(chǔ)在相關(guān)映射存儲(chǔ)部分872 中。此后，在步驟S938，位置獲取部分873判定關(guān)于在搜索區(qū)域中確定的所有參考?jí)K的相關(guān) 度和位置是否存儲(chǔ)在相關(guān)映射存儲(chǔ)部分872中。然后，如果此時(shí)還沒有存儲(chǔ)關(guān)于所有參考 塊的相關(guān)度和位置，則處理返回步驟S935。因此，重復(fù)上述處理直到存儲(chǔ)了關(guān)于在搜索區(qū)域 中設(shè)置的所有參考?jí)K的相關(guān)度和位置。 另一方面，如果存儲(chǔ)了關(guān)于所有參考?jí)K的相關(guān)度和位置，則在步驟S939，位置獲取 部分873獲取展現(xiàn)最低相關(guān)度的一個(gè)參考?jí)K的位置。然后，在步驟S940，運(yùn)動(dòng)矢量計(jì)算部 分874基于來自位置獲取部分873的參考?jí)K的位置和基準(zhǔn)塊的位置，計(jì)算運(yùn)動(dòng)矢量。順便 提及，在步驟S935到940的處理是塊匹配計(jì)算過程的示例。 然后，在步驟S941判定是否關(guān)于所有基準(zhǔn)塊計(jì)算由運(yùn)動(dòng)矢量計(jì)算部分874計(jì)算
的運(yùn)動(dòng)矢量。然后，如果還沒有完成關(guān)于所有基準(zhǔn)塊的運(yùn)動(dòng)矢量的計(jì)算，則處理返回步驟
S941，在此確定新的基準(zhǔn)塊。然后，重復(fù)從步驟S942開始的各步驟的處理。另一方面，如果
完成了關(guān)于所有基準(zhǔn)塊的運(yùn)動(dòng)矢量的計(jì)算，則結(jié)束運(yùn)動(dòng)矢量計(jì)算處理。 以此方式，在本發(fā)明的第二實(shí)施例的情況下，因?yàn)榭梢酝ㄟ^提供搜索范圍產(chǎn)生部
分320適當(dāng)?shù)囟x關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量的搜索區(qū)域，所以可以改進(jìn)運(yùn)動(dòng)矢量的檢測(cè)的精
度。此外，因?yàn)樗阉鲄^(qū)域可以抑制為最小區(qū)域，所以可以減小通過塊匹配的處理量。因此，
可以減少運(yùn)動(dòng)矢量檢測(cè)裝置300的功耗。 〈3.第三實(shí)施例>[運(yùn)動(dòng)檢測(cè)器的配置的示例] 圖14示出根據(jù)本發(fā)明第三實(shí)施例的運(yùn)動(dòng)檢測(cè)器600的配置的示例。參照?qǐng)D14，運(yùn)
動(dòng)檢測(cè)器600執(zhí)行通過使用縮小(reduced)圖像分級(jí)檢測(cè)運(yùn)動(dòng)矢量估計(jì)運(yùn)動(dòng)的分級(jí)運(yùn)動(dòng)估
計(jì)。運(yùn)動(dòng)檢測(cè)器600包括基準(zhǔn)幀縮小圖像產(chǎn)生部分610、幀存儲(chǔ)器620、參考幀縮小圖像產(chǎn)
生部分630、第一運(yùn)動(dòng)矢量檢測(cè)部分640和第二運(yùn)動(dòng)矢量檢測(cè)部分650。 基準(zhǔn)幀縮小圖像產(chǎn)生部分610產(chǎn)生從信號(hào)線601提供的基準(zhǔn)幀的預(yù)定倍率的縮小
圖像。基準(zhǔn)幀縮小圖像產(chǎn)生部分610將產(chǎn)生的縮小圖像作為基準(zhǔn)幀縮小圖像提供到第一運(yùn)
動(dòng)矢量檢測(cè)部分640。 幀存儲(chǔ)器620暫時(shí)保留從信號(hào)線601提供到此的基準(zhǔn)幀。幀存儲(chǔ)器620將保留的基準(zhǔn)幀作為參考幀提供到參考幀縮小圖像產(chǎn)生部分630和第二運(yùn)動(dòng)矢量檢測(cè)部分650。
參考幀縮小圖像產(chǎn)生部分630產(chǎn)生從幀存儲(chǔ)器620提供到此的參考幀的預(yù)定倍率 的縮小圖像。參考幀縮小圖像產(chǎn)生部分630將產(chǎn)生的縮小圖像作為參考幀縮小圖像提供到 第一運(yùn)動(dòng)矢量檢測(cè)部分640。 第一運(yùn)動(dòng)矢量檢測(cè)部分640基于在基準(zhǔn)幀縮小圖像中設(shè)置的基準(zhǔn)塊和在參考幀 縮小圖像中設(shè)置的多個(gè)參考?jí)K之間的相關(guān)度，檢測(cè)基準(zhǔn)縮小圖像相對(duì)于基準(zhǔn)塊的運(yùn)動(dòng)矢 量。第一運(yùn)動(dòng)矢量檢測(cè)部分640將關(guān)于基準(zhǔn)幀縮小圖像中的基準(zhǔn)塊檢測(cè)的運(yùn)動(dòng)矢量提供到 第二運(yùn)動(dòng)矢量檢測(cè)部分650。例如，上面參照?qǐng)D7描述的運(yùn)動(dòng)矢量檢測(cè)裝置300可以應(yīng)用到 第一運(yùn)動(dòng)矢量檢測(cè)部分640。因此，因?yàn)榭梢愿咝У貦z測(cè)運(yùn)動(dòng)矢量，所以可以減少功耗。
第二運(yùn)動(dòng)矢量檢測(cè)部分650基于設(shè)置到基準(zhǔn)幀的基準(zhǔn)塊和設(shè)置到參考幀的多個(gè) 參考?jí)K之間的相關(guān)度，檢測(cè)相對(duì)于基準(zhǔn)塊的運(yùn)動(dòng)矢量。具體地，第二運(yùn)動(dòng)矢量檢測(cè)部分650 基于來自第一運(yùn)動(dòng)矢量檢測(cè)部分640的運(yùn)動(dòng)矢量定義搜索區(qū)域。然后，第二運(yùn)動(dòng)矢量檢測(cè) 部分650基于在定義的搜索區(qū)域中設(shè)置的多個(gè)參考?jí)K和在基準(zhǔn)幀中設(shè)置的基準(zhǔn)塊之間的 相關(guān)度，檢測(cè)相對(duì)于基準(zhǔn)幀中的基準(zhǔn)塊的運(yùn)動(dòng)矢量。此外，第二運(yùn)動(dòng)矢量檢測(cè)部分650將相 對(duì)于基準(zhǔn)幀的基準(zhǔn)塊檢測(cè)的運(yùn)動(dòng)矢量提供到信號(hào)線609。例如，上面參照?qǐng)D7描述的運(yùn)動(dòng)矢 量檢測(cè)裝置300可以應(yīng)用到第二運(yùn)動(dòng)矢量檢測(cè)部分650。 這里，參照?qǐng)D15簡(jiǎn)要描述通過第二運(yùn)動(dòng)矢量檢測(cè)部分650的、基于來自第一運(yùn)動(dòng) 矢量檢測(cè)部分640的運(yùn)動(dòng)矢量、檢測(cè)相對(duì)于基準(zhǔn)幀的基準(zhǔn)塊的運(yùn)動(dòng)矢量的分級(jí)搜索技術(shù)。 [OHO][運(yùn)動(dòng)矢量的檢測(cè)的示例] 圖15圖示本發(fā)明第三實(shí)施例中的運(yùn)動(dòng)檢測(cè)器600的分級(jí)搜索技術(shù)。參照?qǐng)D15，圖 示了基準(zhǔn)幀602、參考幀621、估計(jì)塊654、基準(zhǔn)縮小幀611、參考縮小幀631和運(yùn)動(dòng)矢量641 以及651到653?；鶞?zhǔn)幀602是動(dòng)態(tài)畫面的當(dāng)前幀的圖像。參考幀621是存儲(chǔ)在幀存儲(chǔ)器 620中的基準(zhǔn)幀602之前的圖像?；鶞?zhǔn)塊603是用于檢測(cè)運(yùn)動(dòng)矢量的基準(zhǔn)幀602的塊。
基準(zhǔn)縮小幀611是由基準(zhǔn)幀縮小圖像產(chǎn)生部分610產(chǎn)生的基準(zhǔn)幀602的縮小圖 像。參考縮小幀631是由參考幀縮小圖像產(chǎn)生部分630產(chǎn)生的參考幀621的縮小圖像。基 準(zhǔn)幀612是對(duì)應(yīng)于基準(zhǔn)塊603的基準(zhǔn)縮小幀611的塊。這里，假設(shè)基準(zhǔn)縮小幀611和參考 縮小幀631分別從基準(zhǔn)幀602和參考幀621縮小到1/N倍。 在該情況下，第一運(yùn)動(dòng)矢量檢測(cè)部分640相對(duì)于設(shè)置到基準(zhǔn)縮小幀611的基準(zhǔn)幀
612檢測(cè)運(yùn)動(dòng)矢量641。然后，第二運(yùn)動(dòng)矢量檢測(cè)部分650基于通過將由第一運(yùn)動(dòng)矢量檢測(cè)
部分640檢測(cè)的運(yùn)動(dòng)矢量641增加到n倍獲得的運(yùn)動(dòng)矢量651，確定估計(jì)塊654的位置。然
后，第二運(yùn)動(dòng)矢量檢測(cè)部分650檢測(cè)相對(duì)于估計(jì)塊654的位置的運(yùn)動(dòng)矢量652，并且基于運(yùn)
動(dòng)矢量651和運(yùn)動(dòng)矢量652計(jì)算相對(duì)于基準(zhǔn)幀602的基準(zhǔn)塊603的運(yùn)動(dòng)矢量653。 根據(jù)本發(fā)明的第三實(shí)施例，通過以此方式應(yīng)用運(yùn)動(dòng)矢量檢測(cè)裝置300到第一和第
二運(yùn)動(dòng)矢量檢測(cè)部分640和650，可以以高精確度檢測(cè)運(yùn)動(dòng)矢量。 〈4.第四實(shí)施例>[運(yùn)動(dòng)矢量檢測(cè)裝置的配置的示例] 圖16示出根據(jù)本發(fā)明的第四實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置700的配置的示例。參 照?qǐng)D16，除了上面參照?qǐng)D1描述的組件外，運(yùn)動(dòng)矢量檢測(cè)裝置700包括上面參照?qǐng)D7描述的 對(duì)應(yīng)塊提取部分310和搜索范圍產(chǎn)生部分320。運(yùn)動(dòng)矢量檢測(cè)裝置700中的對(duì)應(yīng)塊提取部分310和搜索范圍產(chǎn)生部分320類似于上面參照?qǐng)D7描述的那些部分，因此，這里省略它們 的重復(fù)描述以避免冗余。此外，運(yùn)動(dòng)矢量檢測(cè)裝置700的其他組件類似于上面參照?qǐng)D1描 述的那些組件，因此，這里省略它們的重復(fù)描述以避免冗余。 以此方式，在本發(fā)明的第四實(shí)施例中，因?yàn)樘峁┝擞行杂?jì)算部分160，所以即使 多個(gè)運(yùn)動(dòng)體包括在幀中，也可以以高精度檢測(cè)運(yùn)動(dòng)矢量。此外，可以優(yōu)化搜索區(qū)域以便減少 通過塊匹配的相關(guān)度的計(jì)算處理。 以此方式，在本發(fā)明的實(shí)施例的情況下，可以計(jì)算對(duì)應(yīng)于基準(zhǔn)塊的每個(gè)像素位置 的有效度，以便改進(jìn)相對(duì)于基準(zhǔn)塊的運(yùn)動(dòng)矢量的檢測(cè)精度。 要注意的是，參照?qǐng)D17描述這樣的示例，其中根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè) 裝置300和700應(yīng)用到圖像拾取裝置710。 圖17示出根據(jù)本發(fā)明實(shí)施例的圖像拾取裝置710的配置的示例。參照?qǐng)D17，圖像 拾取裝置710包括控制部分711、圖像拾取部分712、信號(hào)處理部分715、面部檢測(cè)部分716 和運(yùn)動(dòng)矢量檢測(cè)部分717。圖像拾取裝置710還包括模糊校正部分718、圖像存儲(chǔ)部分719、 總線721、用戶界面722、圖像壓縮-解壓縮部分725、存儲(chǔ)介質(zhì)726、輸入/輸出端子727、存 儲(chǔ)器728和振動(dòng)傳感器729。要注意的是，由直接通信或由通過圖像存儲(chǔ)部分719或總線 721的通信執(zhí)行不同塊之間的圖像信號(hào)的傳送。 控制部分711基于存儲(chǔ)在未示出的存儲(chǔ)器中的各種控制程序，控制圖像拾取裝置 710的各組件。 圖像拾取部分712包括光學(xué)系統(tǒng)713和圖像拾取設(shè)備714，并且將來自圖像拾取 對(duì)象的入射光光電轉(zhuǎn)換為電信號(hào)，并且將該電信號(hào)輸出到信號(hào)處理部分715。光學(xué)系統(tǒng)713 包括多個(gè)透鏡組(包括聚焦透鏡、變焦透鏡、模糊校正透鏡和模糊校正棱鏡)，并且將來自 通過透鏡組輸入的圖像拾取對(duì)象的入射光輸出到圖像拾取設(shè)備714。圖像拾取設(shè)備714將 從光學(xué)系統(tǒng)713輸出的入射光光電轉(zhuǎn)換，并且將得到的電信號(hào)輸出到信號(hào)處理部分715。要 注意的是，圖像拾取部分712可以光學(xué)地校正通過模糊校正透鏡的移動(dòng)或傾斜、模糊校正 棱鏡的變形或傾斜、圖像拾取設(shè)備714的移動(dòng)等造成和檢測(cè)的模糊。在控制部分711的控 制下執(zhí)行這種光學(xué)校正。 信號(hào)處理部分715對(duì)從圖像拾取設(shè)備714輸出的電信號(hào)執(zhí)行各種信號(hào)處理，并且 將通過信號(hào)處理獲得的圖像數(shù)據(jù)輸出到圖像存儲(chǔ)部分719、圖像壓縮-解壓縮部分725、用 戶界面722和面部檢測(cè)部分716。通過信號(hào)處理部分715的信號(hào)處理包括噪聲減小處理、電 平校正處經(jīng)理、A/D轉(zhuǎn)換處理和顏色校正處理。此外，信號(hào)處理部分715根據(jù)來自控制部分 711的指令，對(duì)從相關(guān)塊輸入的圖像執(zhí)行各種圖像處理。 面部檢測(cè)部分716檢測(cè)包括在對(duì)應(yīng)于輸入圖像數(shù)據(jù)的圖像中的人物的面部。
運(yùn)動(dòng)矢量檢測(cè)部分717通過圖像處理檢測(cè)每個(gè)塊的運(yùn)動(dòng)矢量，并且將對(duì)應(yīng)于檢測(cè) 的運(yùn)動(dòng)矢量的值輸出到控制部分711，其中將對(duì)應(yīng)于輸入圖像數(shù)據(jù)的圖像分為所述每個(gè)塊。 根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置300和700可以應(yīng)用到運(yùn)動(dòng)矢量檢測(cè)部分717。
模糊校正部分718基于模糊校正量等移動(dòng)對(duì)應(yīng)于輸入圖像的圖像的位置以校正 圖像的模糊，基于由運(yùn)動(dòng)矢量檢測(cè)部分717檢測(cè)的運(yùn)動(dòng)矢量計(jì)算所述模糊校正量等。要注 意的是，模糊校正部分718包括電子模糊校正部件和光學(xué)模糊校正部件。
要注意的是，將由模糊校正部分718校正其模糊的圖像輸出到圖像壓縮_解壓縮部分725。然后，圖像壓縮_解壓縮部分725對(duì)校正其模糊的圖像執(zhí)行圖像壓縮處理，并且 將得到的圖像記錄在存儲(chǔ)介質(zhì)726上。此外，將校正其模糊的圖像顯示在顯示部分723上。
圖像存儲(chǔ)部分719存儲(chǔ)通過圖像拾取裝置710的處理的對(duì)象的圖像數(shù)據(jù)。
總線721是用于傳輸圖像數(shù)據(jù)的共享總線。用戶界面722包括顯示部分723和選 擇接收部分724，并且將界面提供給使用圖像拾取裝置710的用戶。 顯示部分723顯示對(duì)應(yīng)于從信號(hào)處理部分715或圖像壓縮_解壓縮部分725輸出 的圖像數(shù)據(jù)的圖像。顯示部分723顯示例如作為由圖像拾取裝置710拾取的圖像拾取對(duì)象 的圖像的拾取的圖像。 選擇接收部分724將由用戶輸入的選擇信息轉(zhuǎn)換為電信號(hào)，并且將該電信號(hào)輸出 到控制部分711。例如，如果面部檢測(cè)部分716從由圖像拾取部分712輸出的拾取圖像中 檢測(cè)到面部，則由圖像拾取裝置710執(zhí)行基于從拾取圖像中檢測(cè)的面部的模糊校正處理。 以此方式，在拾取圖像包括面部的情況下，可能建立其中對(duì)面部執(zhí)行模糊校正處理的模式 (開(ON)設(shè)置)、或其中不對(duì)面部執(zhí)行模糊校正處理的另一模式(關(guān)(OFF)設(shè)置)。由選擇 接收部分724執(zhí)行這種開/關(guān)設(shè)置。 要注意的是，可以配置用戶界面722，使得例如顯示部分723和選擇接收部分724 集成地形成為觸摸面板，或者顯示部分723從液晶顯示(LCD)單元形成，而選擇接收部分 724形成為硬件鍵。 圖像壓縮-解壓縮部分725響應(yīng)于各種圖像處理，壓縮或解壓輸入到其的各種圖 像數(shù)據(jù)。例如，將由圖像壓縮_解壓縮部分725對(duì)其執(zhí)行壓縮處理的圖像數(shù)據(jù)輸出到存儲(chǔ) 介質(zhì)726，并且存儲(chǔ)在存儲(chǔ)介質(zhì)726上。此外，將由圖像壓縮-解壓縮部分725對(duì)其執(zhí)行解 壓縮處理的圖像數(shù)據(jù)輸出到圖像存儲(chǔ)部分719、顯示部分723和面部檢測(cè)部分716。要注意 的是，壓縮方法可以例如是JPEG(聯(lián)合圖像專家組)方法。 存儲(chǔ)介質(zhì)726是存儲(chǔ)從圖像壓縮_解壓縮部分725輸出的圖像數(shù)據(jù)并且將其中存 儲(chǔ)的圖像數(shù)據(jù)輸出到圖像壓縮-解壓縮部分725的圖像存儲(chǔ)介質(zhì)。要注意的是，作為圖像 存儲(chǔ)介質(zhì)，可用磁盤、光盤、半導(dǎo)體存儲(chǔ)介質(zhì)、磁帶等。此外，圖像存儲(chǔ)介質(zhì)包括外部可移除 存儲(chǔ)介質(zhì)和內(nèi)置存儲(chǔ)介質(zhì)的至少一個(gè)。 輸入/輸出端子727用于通過其將從圖像壓縮-解壓縮部分725輸出的圖像數(shù)據(jù) 輸出到如外部存儲(chǔ)介質(zhì)的外部裝置，并且通過其將從外部存儲(chǔ)介質(zhì)輸入的圖像數(shù)據(jù)輸出到 圖像壓縮-解壓縮部分725。 存儲(chǔ)器728是用于存儲(chǔ)各種類型的信息的易失性/非易失性存儲(chǔ)介質(zhì)。
振動(dòng)傳感器729檢測(cè)圖像拾取裝置710的振動(dòng)，并且檢測(cè)不依賴于圖像的模糊分 量(即，圖像拾取裝置710的主體的模糊分量)，并且將各種類型的檢測(cè)信息輸出到控制部 分711。例如可以使用回轉(zhuǎn)儀傳感器、速度傳感器或加速度傳感器實(shí)現(xiàn)振動(dòng)傳感器729。
以此方式，通過將根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置300和700應(yīng)用到圖像 拾取裝置710，可以抑制圖像拾取裝置的功耗。 以此方式，通過將根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100和700應(yīng)用到圖像
拾取裝置710，可以改進(jìn)通過圖像拾取裝置710的運(yùn)動(dòng)矢量的檢測(cè)精度。 要注意的是，盡管在本發(fā)明實(shí)施例的前面描述中，參考幀是距離基準(zhǔn)幀之前一幀
的幀，但是本發(fā)明也可以應(yīng)用到這樣的情況，其中參考幀是當(dāng)前幀，而基準(zhǔn)幀是距離參考幀之前一幀的幀。 要注意的是，盡管在上述的本發(fā)明實(shí)施例中，使用關(guān)于基準(zhǔn)塊的所有像素的亮度值，但是可以替代地僅使用基準(zhǔn)塊的一些像素的亮度值。 此外，要注意的是，本發(fā)明的實(shí)施例可以應(yīng)用于用于在圖像拾取裝置或圖像存儲(chǔ)
裝置(如攝像機(jī)或錄像機(jī))中的存儲(chǔ)處理中壓縮動(dòng)態(tài)畫面的圖像編碼處理。 此外，要注意的是，本發(fā)明的實(shí)施例可以應(yīng)用于在圖像拾取裝置或圖像存儲(chǔ)裝置
(如攝像機(jī)或錄像機(jī))中的再現(xiàn)處理或存儲(chǔ)處理中的模糊緩和處理，其中當(dāng)拾取動(dòng)態(tài)圖像
時(shí)檢測(cè)到模糊。 此外，要注意的是，本發(fā)明的實(shí)施例可以應(yīng)用于在圖像拾取裝置或圖像存儲(chǔ)裝置(如攝像機(jī)或錄像機(jī))中的再現(xiàn)處理或存儲(chǔ)處理中的噪聲減少處理，其中檢測(cè)到從圖像拾取處理部分導(dǎo)致的隨機(jī)噪聲。 此外，要注意的是，本發(fā)明的實(shí)施例可以應(yīng)用于圖像存儲(chǔ)裝置(如錄像機(jī))中的再現(xiàn)處理中的幀內(nèi)插處理，所述幀內(nèi)插處理用于通過幀的缺少降低時(shí)間方向上分辨率的缺少。 此外，要注意的是，本發(fā)明的實(shí)施例指示用于體現(xiàn)本發(fā)明的示例，并且具有與如權(quán)利要求中描述的本發(fā)明的不同特征的對(duì)應(yīng)關(guān)系。然而，本發(fā)明不限于各實(shí)施例，而是可以進(jìn)行各種修改而不背離本發(fā)明的精神和范圍。 此外，在本發(fā)明的實(shí)施例的描述中描述的處理過程可以理解具有如上所述的這樣一系列步驟的方法，或可以理解為用于使得計(jì)算機(jī)執(zhí)行該系列步驟的程序，或理解為用于存儲(chǔ)該程序的存儲(chǔ)介質(zhì)。作為存儲(chǔ)介質(zhì)，可用CD (致密盤)、MD (迷你盤)、DVD (數(shù)字多功能盤)、存儲(chǔ)卡、藍(lán)光盤(藍(lán)光盤(注冊(cè)商標(biāo)))等。 本申請(qǐng)包含涉及于2008年11月5日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2008-284628中公開的主題，在此通過引用并入其全部?jī)?nèi)容。
2權(quán)利要求
一種運(yùn)動(dòng)矢量檢測(cè)裝置，包括空間亮度差總和計(jì)算部分，配置為計(jì)算空間亮度差的絕對(duì)值的總和，所述空間亮度差是在基準(zhǔn)幀中設(shè)置的基準(zhǔn)塊的各像素相對(duì)于預(yù)定像素的亮度差；時(shí)間亮度差總和計(jì)算部分，配置為計(jì)算時(shí)間亮度差的絕對(duì)值的總和，所述時(shí)間亮度差是基準(zhǔn)塊和對(duì)應(yīng)于所述基準(zhǔn)塊的參考幀中的對(duì)應(yīng)塊的對(duì)應(yīng)像素之間的亮度差；搜索范圍計(jì)算部分，配置為基于空間亮度差的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和，計(jì)算相對(duì)于基準(zhǔn)塊用于搜索運(yùn)動(dòng)矢量的參考幀的搜索范圍；以及塊匹配計(jì)算部分，配置為設(shè)置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考?jí)K，并且基于設(shè)置的參考?jí)K和基準(zhǔn)塊之間的相關(guān)度執(zhí)行塊匹配，以便計(jì)算所述運(yùn)動(dòng)矢量。
2. 如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述搜索范圍計(jì)算部分計(jì)算搜索范 圍，使得當(dāng)空間亮度差的絕對(duì)值的總和的值增加時(shí)，搜索范圍的大小減小，而當(dāng)時(shí)間亮度差 的絕對(duì)值的總和的值增加時(shí)，搜索范圍的大小增加。
3. 如權(quán)利要求2所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述搜索范圍計(jì)算部分計(jì)算搜索范 圍，使得搜索范圍的大小與空間亮度差的絕對(duì)值的總和成反比地增加，而與時(shí)間亮度差的 絕對(duì)值的總和成正比地增加。
4. 如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述空間亮度差總和計(jì)算部分計(jì)算相 對(duì)于基準(zhǔn)塊的水平方向和垂直方向上的空間亮度差的絕對(duì)值的總和，作為空間亮度差的絕 對(duì)值的總和，并且所述搜索范圍計(jì)算部分基于水平和垂直方向上的空間亮度差的絕對(duì)值的總和以及時(shí) 間亮度差的絕對(duì)值的總和，計(jì)算水平和垂直方向上的搜索范圍。
5. 如權(quán)利要求4所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述空間亮度差總和計(jì)算部分基于水 平和垂直方向上的空間亮度差的符號(hào)、以及相對(duì)于基準(zhǔn)塊中的預(yù)定像素的時(shí)間亮度差的符 號(hào)，將水平和垂直方向上的空間亮度差的絕對(duì)值加到正側(cè)空間亮度差總和或負(fù)側(cè)空間亮度 差總和。
6. 如權(quán)利要求5所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述時(shí)間亮度差總和計(jì)算部分基于水 平和垂直方向上的空間亮度差的符號(hào)、以及相對(duì)于基準(zhǔn)塊中的預(yù)定像素的時(shí)間亮度差的符 號(hào)，將水平和垂直方向上的時(shí)間亮度差的絕對(duì)值加到正側(cè)時(shí)間亮度差總和或負(fù)側(cè)時(shí)間亮度 差總和。
7. 如權(quán)利要求6所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述搜索范圍計(jì)算部分包括 正側(cè)搜索范圍計(jì)算部分，配置為基于水平和垂直方向上的正側(cè)空間亮度差總和、以及水平和垂直方向上的正側(cè)時(shí)間亮度差總和，計(jì)算水平和垂直方向上在正側(cè)的搜索范圍，以 及負(fù)側(cè)搜索范圍計(jì)算部分，配置為基于水平和垂直方向上的負(fù)側(cè)空間亮度差總和、以及 水平和垂直方向上的負(fù)側(cè)時(shí)間亮度差總和，計(jì)算水平和垂直方向上在負(fù)側(cè)的搜索范圍。
8. 如權(quán)利要求5所述的運(yùn)動(dòng)矢量檢測(cè)裝置，還包括似然度計(jì)算部分，配置為基于正側(cè) 空間亮度差總和以及負(fù)側(cè)空間亮度差總和，分別計(jì)算水平和垂直方向上的正側(cè)似然度和負(fù) 側(cè)似然度。
9. 如權(quán)利要求8所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述搜索范圍計(jì)算部分包括 正側(cè)搜索范圍計(jì)算部分，配置為基于空間亮度差的絕對(duì)值的總和、時(shí)間亮度差的絕對(duì)值的總和、以及水平和垂直方向上的正側(cè)似然度，計(jì)算水平和垂直方向上在正側(cè)的搜索范 圍，以及負(fù)側(cè)搜索范圍計(jì)算部分，配置為基于空間亮度差的絕對(duì)值的總和、時(shí)間亮度差的絕對(duì) 值的總和、以及水平和垂直方向上的負(fù)側(cè)似然度，計(jì)算水平和垂直方向上在負(fù)側(cè)的搜索范 圍。
10. 如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，還包括基準(zhǔn)亮度值產(chǎn)生部分，配置為基于基準(zhǔn)塊中的預(yù)定像素的亮度值，產(chǎn)生基準(zhǔn)塊的基準(zhǔn) 亮度值；以及有效性計(jì)算部分，配置為基于基準(zhǔn)塊的像素的亮度值和基準(zhǔn)亮度值，計(jì)算基準(zhǔn)塊的每 個(gè)像素的有效度；所述塊匹配計(jì)算部分包括相關(guān)計(jì)算部分，配置為在依賴于搜索范圍確定的參考幀中的 搜索區(qū)域中設(shè)置多個(gè)參考?jí)K，并且基于在設(shè)置的參考?jí)K中對(duì)應(yīng)于基準(zhǔn)塊的像素位置的各像 素的亮度值、和對(duì)應(yīng)于基準(zhǔn)塊的像素位置的有效度，為每個(gè)參考?jí)K計(jì)算參考?jí)K相對(duì)于基準(zhǔn) 塊的相關(guān)度。
11. 如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中所述搜索范圍計(jì)算部分將基于空間 亮度差的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和計(jì)算的搜索范圍、以及預(yù)定范圍之 一確定為搜索范圍。
12. —種運(yùn)動(dòng)矢量檢測(cè)方法，包括以下步驟計(jì)算空間亮度差的絕對(duì)值的總和，所述空間亮度差是在基準(zhǔn)幀中設(shè)置的基準(zhǔn)塊的各像 素相對(duì)于預(yù)定像素的亮度差；計(jì)算時(shí)間亮度差的絕對(duì)值的總和，所述時(shí)間亮度差是基準(zhǔn)塊和對(duì)應(yīng)于所述基準(zhǔn)塊的參 考幀中的對(duì)應(yīng)塊的對(duì)應(yīng)像素之間的亮度差；基于空間亮度差的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和，計(jì)算相對(duì)于基準(zhǔn)塊 搜索運(yùn)動(dòng)矢量的參考幀的搜索范圍；以及設(shè)置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考?jí)K，并且基于設(shè)置的參考 塊和基準(zhǔn)塊之間的相關(guān)度執(zhí)行塊匹配，以便計(jì)算所述運(yùn)動(dòng)矢量。
13. —種程序，用于使得計(jì)算機(jī)執(zhí)行以下步驟計(jì)算空間亮度差的絕對(duì)值的總和，所述空間亮度差是在基準(zhǔn)幀中設(shè)置的基準(zhǔn)塊的各像 素相對(duì)于預(yù)定像素的亮度差；計(jì)算時(shí)間亮度差的絕對(duì)值的總和，所述時(shí)間亮度差是基準(zhǔn)塊和對(duì)應(yīng)于所述基準(zhǔn)塊的參 考幀中的對(duì)應(yīng)塊的對(duì)應(yīng)像素之間的亮度差；基于空間亮度差的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和，計(jì)算相對(duì)于基準(zhǔn)塊 搜索運(yùn)動(dòng)矢量的參考幀的搜索范圍；以及設(shè)置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考?jí)K，并且基于設(shè)置的參考 塊和基準(zhǔn)塊之間的相關(guān)度執(zhí)行塊匹配，以便計(jì)算所述運(yùn)動(dòng)矢量。
14. 一種運(yùn)動(dòng)矢量檢測(cè)裝置，包括空間亮度差總和計(jì)算部件，用于計(jì)算空間亮度差的絕對(duì)值的總和，所述空間亮度差是 在基準(zhǔn)幀中設(shè)置的基準(zhǔn)塊的各像素相對(duì)于預(yù)定像素的亮度差；時(shí)間亮度差總和計(jì)算部件，用于計(jì)算時(shí)間亮度差的絕對(duì)值的總和，所述時(shí)間亮度差是基準(zhǔn)塊和對(duì)應(yīng)于所述基準(zhǔn)塊的參考幀中的對(duì)應(yīng)塊的對(duì)應(yīng)像素之間的亮度差；搜索范圍計(jì)算部件，用于基于空間亮度差的絕對(duì)值的總和以及時(shí)間亮度差的絕對(duì)值的總和，計(jì)算相對(duì)于基準(zhǔn)塊搜索運(yùn)動(dòng)矢量的參考幀的搜索范圍；以及塊匹配計(jì)算部件，用于設(shè)置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考?jí)K，并且基于設(shè)置的參考?jí)K和基準(zhǔn)塊之間的相關(guān)度執(zhí)行塊匹配，以便計(jì)算所述運(yùn)動(dòng)矢量。
全文摘要
這里公開一種運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量處理方法和程序，包括空間亮度差總和計(jì)算部分；時(shí)間亮度差總和計(jì)算部分；搜索范圍計(jì)算部分；以及塊匹配計(jì)算部分。
文檔編號(hào)G06T7/20GK101739688SQ20091021185
公開日2010年6月16日 申請(qǐng)日期2009年11月5日 優(yōu)先權(quán)日2008年11月5日
發(fā)明者橫山正幸 申請(qǐng)人:索尼株式會(huì)社