專利名稱：運動矢量檢測裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明，涉及一種運動矢量檢測技術(shù)，例如為了用包含幀間預(yù)測模式的圖像編碼方式對動態(tài)圖像進(jìn)行編碼、對幀間的運動矢量進(jìn)行檢測的裝置和方法、以及可利用該運動矢量檢測裝置的圖像編碼裝置。
背景技術(shù)：
作為動態(tài)圖像的壓縮編碼方式的標(biāo)準(zhǔn)MPEG(Motion Picture ExpertsGroup運動圖像專家組)-4中，進(jìn)行使用了運動矢量動作補償預(yù)測編碼(例如，參照特許文獻(xiàn)1)。特許文獻(xiàn)1中所述的追蹤型運動矢量搜索方法，從某個搜索原點起按照給定的搜索模板對各搜索點上的差的絕對值的總和進(jìn)行計算，并將接下來的搜索模板的中心向差的絕對值的總和最小的搜索點移動、直到搜索模板中心的搜索點的差的絕對值的總和達(dá)到最小，從而對最佳點進(jìn)行追蹤。特許文獻(xiàn)1中提出如下技術(shù)方案在這種追蹤型運動矢量搜索方法中，為了防止搜索無用的運動矢量、提高搜索的效率，提出了對每個處理單位設(shè)定運動矢量可搜索次數(shù)進(jìn)行設(shè)定等、設(shè)定搜索的結(jié)束條件。
在上述的追蹤型的運動矢量搜索方法中，由于是從搜索原點出發(fā)，一邊將搜索點向旁邊移動一邊進(jìn)行搜索，因此存在以下技術(shù)問題，即延長了檢測運動矢量所需的時間。另外，若為了縮短搜索時間，如上所述設(shè)定搜索的結(jié)束條件，則有可能搜索在搜索原點附近的、局部的極小點就結(jié)束了，運動矢量的檢測精度降低，從而帶來的技術(shù)問題是碼量的增大和畫質(zhì)的降低。
特許文獻(xiàn)1特開2003-87799號公報。

發(fā)明內(nèi)容
本發(fā)明正是鑒于如上技術(shù)問題，其目的在于提供一種能夠縮短運動矢量檢測所需時間的技術(shù)。
本發(fā)明的方式一，是有關(guān)運動矢量檢測裝置。該運動矢量檢測裝置，是在第1圖像、和作為所述第1圖像的參照圖像第2圖像之間，檢測運動矢量的運動矢量檢測裝置，其具備多個運算部，該多個運算部在所述第1圖像、和所述第2圖像所包含的區(qū)塊之間，進(jìn)行匹配運算。所述多個運算部并行同時進(jìn)行多個匹配運算。
區(qū)塊間的匹配，可根據(jù)例如區(qū)塊所包含的各像素的像素值的差值來進(jìn)行。運算部運算出的指標(biāo)可為，各像素的像素值的差值越小該指標(biāo)越小。例如，可計算對各像素的像素值的差值平方和，也可計算各像素的像素值的差的絕對值總和。由于通過用多個運算部同時進(jìn)行多個匹配運算，能夠縮短運動矢量的檢測所需的時間，因此能夠提高編碼運動圖像的處理速度。另外，通過并行進(jìn)行多個匹配運算，能夠縮短存儲器訪問等的時間，從而縮短處理時間，因此效果更好。
當(dāng)稱構(gòu)成所述區(qū)塊位置的基準(zhǔn)的點為搜索點時，所述多個運算部，可在以包含于具有給定的模板的2維搜索區(qū)域中的多個搜索點為基準(zhǔn)位置得到的多個區(qū)塊、和所述第1圖像之間，進(jìn)行匹配運算。所述運動矢量檢測裝置，還可具備評價部，其對由所述多個運算部得到的運算結(jié)果進(jìn)行評價，檢測出付與最佳匹配結(jié)果的搜索點；以及，設(shè)定部，其根據(jù)由所述評價部得到的評價結(jié)果，設(shè)定接下次進(jìn)行匹配運算的搜索點。由于將2維搜索區(qū)域中包含的搜索點上的運算同時進(jìn)行，能以區(qū)域單位搜索最優(yōu)解，因此與現(xiàn)有方法中將逐個搜索點1維移動的方法相比，能用更短的時間在更廣的范圍中進(jìn)行搜索。從而，能夠縮短處理時間，并且提高運動矢量的檢測精度，并能降低碼量、提升畫質(zhì)。
所述設(shè)定部，以包含付與最佳匹配結(jié)果的搜索點的方式設(shè)定下一次的搜索區(qū)域，也可以將設(shè)定后的搜索區(qū)域中所包含的點設(shè)定為下一次的搜索點。這樣，能向著推測存在付與最佳匹配的搜索點的方向，適當(dāng)?shù)赝七M(jìn)搜索，因此能夠縮短處理時間，并提高運動矢量的檢測精度。
所述設(shè)定部，在所述搜索區(qū)域的中心點、和付與最佳匹配結(jié)果的搜索點的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。所述設(shè)定部，可在上一次的運算中付與最佳匹配結(jié)果的搜索點、和此次運算中付與最佳匹配結(jié)果的搜索點的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。這樣，能夠提高運動矢量的檢測精度。
所述評價部對運算結(jié)果進(jìn)行評價的結(jié)果滿足給定條件時，可結(jié)束搜索。例如，當(dāng)上一次的運算中付與最佳匹配的搜索點、與此次運算中付與最佳匹配的搜索點相同時，可結(jié)束搜索。另外，當(dāng)用匹配運算得到的指標(biāo)比個定的閾值還要好時，可結(jié)束搜索。
所述設(shè)定部，還可將上一次搜索以前由所述評價部得到的評價結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運動矢量、比所述第1圖像更以前或以后的圖像的運動矢量、及有關(guān)所述第1圖像的移動的信息的任意組合作為判斷基準(zhǔn)，設(shè)定所述搜索點。所述設(shè)定部，可根據(jù)由所述評價部得到的評價結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運動矢量、比所述第1圖像更以前或以后的圖像的運動矢量、及有關(guān)所述第1圖像的移動的信息的任意一個，可變地設(shè)定所述搜索區(qū)域的形狀。這樣，可以更高速、更高精度地檢測運動矢量。
本發(fā)明的另一種形式，是有關(guān)圖像編碼裝置。該圖像編碼裝置，是將動態(tài)圖像進(jìn)行編碼，生成編碼數(shù)據(jù)列的圖像編碼裝置，其具備運動矢量檢測部，其在構(gòu)成所述動態(tài)圖像的第1圖像、和作為所述第1圖像的參照圖像的第2圖像之間，檢測運動矢量；以及，編碼部，其利用所述運動矢量對所述第1圖像進(jìn)行編碼，所述運動矢量檢測部，具備多個運算部，該多個運算部在所述第1圖像、和所述第2圖像中包含的區(qū)塊之間，進(jìn)行匹配運算的。所述多個運算部同時并行進(jìn)行多個匹配運算。
本發(fā)明的另一種形式，是有關(guān)運動矢量檢測方法。該運動矢量檢測方法是在第1圖像、和作為所述第1圖像的參照圖像第2圖像之間，檢測運動矢量的運動矢量檢測方法，其特征是，具備在所述第2圖像中所包含的區(qū)塊位置的基準(zhǔn)的點稱為搜索點時，并行進(jìn)行在以包含于具有給定的模板的2維搜索區(qū)域中的多個搜索點為基準(zhǔn)位置得到的多個區(qū)塊、和所述第1圖像之間的匹配運算的步驟；對由所述運算步驟得到的運算結(jié)果進(jìn)行評價，檢測出付與最佳匹配結(jié)果的搜索點的步驟；以及根據(jù)由所述檢測步驟的檢測結(jié)果，設(shè)定下一個進(jìn)行匹配運算的搜索點的步驟。
再者，上述構(gòu)成要素的任意組合，或?qū)⒈景l(fā)明的表現(xiàn)在方法、裝置、系統(tǒng)、程序等之間進(jìn)行變換得到的結(jié)果，都包含于本發(fā)明中。
通過本發(fā)明，能夠提供一種縮短檢測運動矢量所需時間的技術(shù)。


圖1是表示本發(fā)明的實施方式中的圖像編碼裝置的整體結(jié)構(gòu)的圖。
圖2是表示輸入圖像的示例的圖。
圖3是表示參照圖像的示例的圖。
圖4是具體表示圖3所示的25個運算對象宏塊的圖。
圖5(a)、(b)，是用于對實施方式的運動矢量搜索方法進(jìn)行說明的圖。
圖6(a)、(b)、(c)，是用于對實施方式的運動矢量搜索方法進(jìn)行說明的圖。
圖7是用于對實施方式的運動矢量搜索方法進(jìn)行說明的圖。
圖8是表示實施方式的運動矢量檢測電路的結(jié)構(gòu)的圖。
圖9是表示實施方式運算部的結(jié)構(gòu)的圖。
圖10是表示實施方式中的運動矢量檢測方法的順序的流程圖。
圖中10-圖像編碼裝置、24-運動矢量檢測電路、26-運動補償電路、28-幀存儲器、30-編碼電路、32-解碼電路、34-輸出緩存、36-碼量控制電路、38-參照模式選擇電路、40-運算部、42-評價部、44-位置設(shè)定部、50-輸入圖像存放部、52-參照圖像存放部、54-時刻調(diào)整電路、56-差值運算電路。
具體實施例方式
本發(fā)明的實施方式中的圖像編碼裝置，進(jìn)行以MPEG-4為標(biāo)準(zhǔn)的圖像編碼。本實施方式的圖像編碼裝置，通過在對編碼對象圖像于參照圖像之間的運動矢量進(jìn)行檢測時，并行進(jìn)行多個區(qū)塊匹配來實現(xiàn)處理的高速化。另外，本實施方式中，新提出了一種通過同時進(jìn)行多個區(qū)塊匹配、令檢測精度更高的運動矢量搜索方法。
圖1表示本發(fā)明實施方式中的圖像編碼裝置10的整體結(jié)構(gòu)。圖像編碼裝置10，包含運動矢量檢測電路24、運動補償電路26、幀存儲器28、編碼電路30、解碼電路32、輸出緩存34、碼量控制電路36、以及參照模式選擇電路38。雖然該結(jié)構(gòu)既可用任意計算機的CPU、存儲器、其他的LSI以硬件方式來實現(xiàn)，軟件方面可由載入存儲器中的程序等以軟件方式來實現(xiàn)，但這里對由它們配合實現(xiàn)的功能模塊進(jìn)行說明。因此，這些功能模塊可只由硬件、只由軟件、或由這二者的組合以各種形式實現(xiàn)這一點，本領(lǐng)域的技術(shù)人員應(yīng)可以理解。
從外部輸入到圖像編碼裝置10中的圖像(以下，稱“輸入圖像”)，送入運動矢量檢測電路24。運動矢量檢測電路24，對在為了預(yù)測預(yù)先存儲于幀存儲器28中作為參照對象的圖像(以下，稱“參照圖像”)、與輸入圖像之間的運動矢量進(jìn)行檢測。運動補償電路26，從碼量控制電路36中獲取量化中使用的量化步驟的值，并決定其量化系數(shù)和宏塊匹配的預(yù)測模式。由運動矢量檢測電路24檢測出的運動矢量、和由運動補償電路26決定的量化系數(shù)及宏塊匹配預(yù)測模式，被送入編碼電路30。另外，運動補償電路26，將對宏塊的預(yù)測值、與實際的值之間的差值作為預(yù)測誤差送入編碼電路30。
編碼電路30，用量化系數(shù)將預(yù)測誤差編碼后送入輸出緩存34。編碼電路30，將量化后的預(yù)測誤差和量化系數(shù)送入編碼電路32。編碼電路32，根據(jù)量化后的預(yù)測誤差和量化系數(shù)進(jìn)行解碼，并將解碼后的預(yù)測誤差與由補償電路26得到的預(yù)測值之和作為解碼圖像送入幀存儲器28。當(dāng)該解碼圖像被在后續(xù)的圖像編碼處理中參照時，作為參照圖像送入矢量檢測電路24。碼量控制電路36，獲取輸出緩存34的蓄積量狀態(tài)，根據(jù)該蓄積量狀態(tài)生成下次量化中使用的量化步驟的值。
參照模式選擇電路38，在幀內(nèi)編碼、幀間前向預(yù)測編碼、幀間雙向預(yù)測編碼之間進(jìn)行幀預(yù)測模式的切換，并向其他電路輸出幀的參照模式信息。
用圖2至圖6，對本實施方式的運動矢量檢測方法進(jìn)行說明。運動矢量檢測電路24，通過區(qū)塊匹配檢測運動矢量。即，在輸入圖像中，搜索與作為編碼對象的宏塊(以下，稱“編碼對象宏塊”)之間的差值(預(yù)測誤差)最小的參照圖像的宏塊(以下，稱“預(yù)測宏塊”)。本實施方式中，作為區(qū)塊匹配的一個示例，運動矢量檢測電路24，計算出在編碼對象宏塊、與作為預(yù)測宏塊候補的宏塊之間、像素值的差的絕對值的總和，并將其值最小的宏塊作為預(yù)測宏塊。表示從編碼對象宏塊的位置向檢測到的預(yù)測宏塊的位置的運動的矢量，構(gòu)成該編碼對象宏塊的運動矢量。
圖2表示輸入圖像100的示例。設(shè)輸入圖像100中，縱4像素×橫4像素的正方形的宏塊102為編碼的對象。雖然一般來說MPEG-4中，將縱16像素×橫16像素的區(qū)域作為宏塊，但這里為了簡化附圖，設(shè)為4像素×橫4像素。設(shè)以左上端的像素位置代表編碼對象宏塊102的位置，用雙層圓表示。
圖3表示參照圖像110的示例。本實施方式中，為了對編碼對象宏塊102進(jìn)行編碼時的運動矢量進(jìn)行檢測，從參照圖像110之中，設(shè)定25個要與編碼對象宏塊102進(jìn)行區(qū)塊匹配運算的對象的宏塊(以下，簡稱為“運算對象宏塊”)，作為預(yù)測宏塊的候補，并將編碼宏塊102與25個運算對象宏塊之間的區(qū)塊匹配同時進(jìn)行。圖3的示例中，首先作為第1階段，以與輸入圖像100的編碼對象宏塊102的位置相同的位置(雙層圓的位置)為中心的、縱5像素×橫5像素的正方形區(qū)域116(以下，稱該區(qū)域為“搜索區(qū)域116”)中包含有25個像素位置(黑圓點的位置。以下稱該位置為“搜索點”)，將這25個像素位置作為左上像素得到25個縱4像素×橫4像素的宏塊，并將這25個宏塊設(shè)定為運算對象宏塊后，進(jìn)行區(qū)塊匹配。
圖4具體表示圖3所示的25個運算對象宏塊。運動矢量檢測電路24，在編碼對象宏塊102、與圖4所示的25個運算對象宏塊112a～112y之間對像素值的差的絕對值的總和或差值二次方之和等差值數(shù)據(jù)進(jìn)行運算，并從其中檢測出差值數(shù)據(jù)最小的運算對象宏塊。此時，由于運算對象宏塊112a～112y所包含的像素，全部位于區(qū)域114內(nèi)，因此在差值運算時，將區(qū)域114內(nèi)部的像素的像素值暫時存儲于本地存儲器中，并一邊依次從本底存儲器中讀出像素值，一邊同時并行進(jìn)行25個運算。
圖5(a)(b)，是用于對本實施方式的運動矢量搜索方法進(jìn)行說明的圖。本實施方式中，為了對圖2所示的編碼對象宏塊102的運動矢量進(jìn)行檢測，一邊移動圖3所示的搜索區(qū)域116一邊重復(fù)區(qū)塊匹配，并對與編碼對象宏塊102的差值最小的運算對象宏塊進(jìn)行搜索。以下，將第n階段的區(qū)塊匹配中差值最小的運算對象宏塊112的位置(由左上像素代表)稱為“第n最小點”，在圖中用記號“mn”表示。另外，將第n階段的區(qū)塊匹配的搜索區(qū)域116的中心位置稱為“第n中心點”，在圖中用記號“cn”表示。
如圖5(a)及圖5(b)所示，將圖3所示的第1階段的搜索區(qū)域116a中包含的25個運算對象宏塊112之中、與編碼對象宏塊102的差值最小的宏塊的位置，即第1最小點用“m1”表示。運動矢量檢測電路24，根據(jù)此第1階段的運算結(jié)果，設(shè)定第2階段的搜索區(qū)域。本實施方式中，運動矢量檢測電路24，以上次運算中得到的最小點為基準(zhǔn)，將包含最小點的區(qū)域作為下一個搜索區(qū)域。
圖5(a)的示例中，運動矢量檢測電路24，將連接第1中心點c1和第1最小點m1的矢量c1m1放大2倍后的位置，作為第2中心點c2。然后，對第2階段的搜索區(qū)域116b所包含的25個搜索點進(jìn)行區(qū)塊匹配。此時，可不必對第1階段已經(jīng)區(qū)塊匹配過的運算對象宏塊112進(jìn)行運算。這樣，由于通過將搜索區(qū)域116沿著上次運算中的搜索區(qū)域116的中心點和最小點的連結(jié)方向移動，能夠?qū)⑺阉鲄^(qū)域116沿著推測存在預(yù)測宏塊的方向適當(dāng)平滑移動、并同時進(jìn)行區(qū)塊匹配，因此能夠用較短時間對預(yù)測宏塊進(jìn)行高效搜索。另外，降低了用局部最小點結(jié)束搜索的可能性，從而能夠提高運動矢量的檢測精度。
圖5(b)所示的示例中，將第1最小點m1作為左上端的區(qū)域，作為第2階段的搜索區(qū)域16b。這樣，由于將上次運算中的最小點作為端點的區(qū)域，設(shè)定為搜索區(qū)域116，可以盡可能減少搜索點的重復(fù)，能以最少的運算次數(shù)在更多的搜索點上進(jìn)行區(qū)塊匹配，從而能用較短時間對預(yù)測宏塊進(jìn)行高效搜索。另外，降低了用局部最小點結(jié)束搜索的可能性，從而能夠提高運動矢量的檢測精度。
圖6(a)、(b)、(c)是用于說明本實施方式的運動矢量搜索方法的圖。在圖6(a)、圖6(b)及圖6(c)中，用“m2”表示在圖5(a)所示的第2階段的搜索區(qū)域116b中所包含的25個運算對象宏塊112中，與編碼對象宏塊102之間的差值最小的宏塊位置即第2最小點。
圖6(a)的示例中，運動矢量檢測電路24，與圖5(a)的示例同樣，將連結(jié)第2中心點c2與第2最小點m2的矢量c2m2放大2倍后的位置，作為第3中心點c3。雖然圖6(b)的示例中與圖6(a)的示例同樣，在連結(jié)第2中心點c2和第2最小點m2的方向上設(shè)定第3中心點c3，但設(shè)定第3階段搜索區(qū)域112c為包含第2最小點m2、并且盡可能不包含已經(jīng)運算完畢的搜索點。這樣，能一邊適當(dāng)?shù)卦O(shè)定搜索方向，一邊在更多的搜索點上進(jìn)行區(qū)塊匹配。圖6(c)的示例中，運動矢量檢測電路24，在連結(jié)第1最小點m1和第2最小點m2的方向上設(shè)定第3中心點c3。此示例中，也能將搜索區(qū)域、沿推測存在預(yù)測宏塊的方向適當(dāng)移動，并進(jìn)行搜索。
圖7也是用于對本實施方式的運動矢量搜索方法進(jìn)行說明的圖。圖7的示例中，搜索區(qū)域的形狀并不唯一，在各階段中根據(jù)給定條件而改變。例如，第2階段的搜索區(qū)域116b，其形狀在連結(jié)第1中心點c1與第1最小點m1的矢量c1m1方向上較長。即，推測存在預(yù)測宏塊的方向上搜索區(qū)域更廣。這樣，能夠提高運動矢量的檢測精度和檢測速度。第3階段的搜索區(qū)域116c也同樣，設(shè)定為在連結(jié)第2中心點c2與第2最小點m2的矢量c2m2的方向上更廣。搜索區(qū)域不限于長方形，可為任意形狀。
雖然用圖5～7說明的示例中，是根據(jù)前一的搜索結(jié)果決定下一次的搜索區(qū)域，但作為用于決定搜索區(qū)域的判斷基準(zhǔn)，也可為除此之外、比前一搜索結(jié)果更以前的搜索結(jié)果。例如，可根據(jù)連結(jié)第n中心點cn和第n最小點mn的矢量cnmn的總和，設(shè)定下一次的搜索區(qū)域。另外，也可將過去或未來幀的運動矢量信息、或同一幀內(nèi)其他宏塊的運動矢量的信息作為判斷基準(zhǔn)。例如，作為第1階段的搜索區(qū)域，可設(shè)定為以參照幀的對應(yīng)宏塊的運動矢量為中心得到的搜索區(qū)域。另外，作為第2階段以后的搜索區(qū)域，可設(shè)定為具有在參照幀的對應(yīng)宏塊的運動矢量的方向上較長的形狀的搜索區(qū)域。另外，也可根據(jù)參照幀的各宏塊的運動矢量的統(tǒng)計信息設(shè)定搜索區(qū)域。再有作為其他的判斷標(biāo)準(zhǔn)，也可根據(jù)同一幀內(nèi)其他宏塊的運動矢量的統(tǒng)計信息設(shè)定搜索區(qū)域。例如，可設(shè)定以其他宏塊的運動矢量的平均為中心得到的搜索區(qū)域，也可設(shè)定在其他宏塊的運動矢量的方向上較廣的搜索區(qū)域。也可取得運動矢量以外的信息、例如畫面移動等的信息，并將該信息作為判斷基準(zhǔn)。例如，可在取得表示圖像整體沿橫方向移動的信息時，設(shè)定橫向較長的搜索區(qū)域。如上所述，通過參照前一的搜索結(jié)果之外的、各種各樣的信息來對運動矢量進(jìn)行推測，能夠更高速并且高精度地檢測運動矢量。
運動矢量檢測電路24，按照上述的搜索方法，一邊移動搜索區(qū)域116一邊進(jìn)行區(qū)塊匹配，當(dāng)搜索到第(n-1)最小點與第n最小點相同時，結(jié)束搜索，并將第n最小點所表示的宏塊作為預(yù)測宏塊。運動矢量檢測電路24，也可在第(n-1)最小點與第n最小點間的距離小于給定閾值時結(jié)束搜索，也可設(shè)定其他的搜索結(jié)束條件。
圖8表示本實施方式的運動矢量檢測電路24的結(jié)構(gòu)。運動矢量檢測電路24，具有運算部40、評價部42、及位置設(shè)定部44。此結(jié)構(gòu)也可只用硬件、只用軟件、或用它們的組合，以各種各樣的形式實現(xiàn)。具體來說，上述運動矢量檢測電路24的功能可以如下結(jié)構(gòu)實現(xiàn)。
運算部40，在編碼對象宏塊102、與多個運算對象宏塊112之間并行進(jìn)行區(qū)塊匹配運算。評價部42，取得由運算部40得到的運算結(jié)果，對運算結(jié)果進(jìn)行評價。評價部42，從運算部40運算中的多個區(qū)塊匹配的結(jié)果之中，檢測出付與最小差值的搜索點，并將該最小點儲存于存儲器等中。評價部42，將此次運算中的最小點、與存儲的上次運算中的最小點進(jìn)行比較，若其二者相同，則將該點決定為預(yù)測宏塊，并傳遞給運動補償電路26及編碼電路30。若上次和此次的最小點不同，則將此次的最小點存儲，并指示在位置設(shè)定部44中設(shè)定下一次的搜索區(qū)域116。位置設(shè)定部44，接受來自評價部42的指示，按照上述的規(guī)則，設(shè)定下次的搜索區(qū)域116的位置。
圖9表示本實施方式的運算部40的結(jié)構(gòu)。運算部40，具有輸入圖像存放部50、參照圖像存放部52、時刻調(diào)整電路54、以及多個差值運算電路56。此結(jié)構(gòu)也可只用硬件、只用軟件、或用它們的組合，以各種各樣的形式實現(xiàn)。
輸入圖像存放部50，存放輸入圖像的編碼對象宏塊102。參照圖像存放部52，存放參照圖像的運算對象宏塊112。上述二者，可用幀存儲器28代替，也可利用幀存儲器28的一部分來實現(xiàn)。如圖4所述，參照圖像存放部52中，可存放區(qū)域114的像素值。時刻調(diào)整電路54，對將編碼對象宏塊102的像素值、和運算對象宏塊112的像素值輸入差值運算電路52中的時刻進(jìn)行調(diào)整。時刻調(diào)整電路54，在將存放于參照圖像存放部52中的區(qū)域114的像素值依次讀出時，利用計數(shù)器及觸發(fā)器等對時刻進(jìn)行調(diào)整，以將讀出的像素值提供給運算中使用的差值運算電路56。具體來說，多個觸發(fā)器中，存放有從參照圖像存放部52中匯總讀出的多個像素數(shù)據(jù)。然后，根據(jù)從輸入圖像存放部50中讀出圖像數(shù)據(jù)的時刻令計數(shù)器動作，并根據(jù)計數(shù)器的值，從存放于觸發(fā)器中的圖像數(shù)據(jù)之中，選擇必要的像素數(shù)據(jù)提供給各個差值運算電路56。
差值運算電路56a～56y，在編碼對象宏塊102和運算對象宏塊112a～112y之間進(jìn)行區(qū)塊匹配運算。差值運算電路56，可計算出編碼對象宏塊102與運算對象宏塊112的像素值的差值的絕對值，也可計算出差值的平方和，此外，也可計算出表示圖像間差值的任意量?，F(xiàn)有的搜索方法中，每次運算都必須將相同像素值讀入多次，而通過本實施方式，由于能向多個差值運算電路56中，同時供給區(qū)塊匹配所需的像素值，因此能大幅降低存儲器訪問量，從而提高處理速度。
圖10為表示本實施方式中的運動矢量檢測方法的順序的流程圖。首先，位置設(shè)定部44，設(shè)定第1階段的搜索區(qū)域116(S10)，差值運算電路56，將搜索區(qū)域116中包含的多個搜索點上的區(qū)塊匹配并行運算(S12)。評價部42對運算結(jié)果進(jìn)行評價，若根據(jù)給定條件，判斷為已經(jīng)檢測出最優(yōu)解時(S14為是)，則根據(jù)該最優(yōu)解設(shè)定運動矢量(S16)，并結(jié)束搜索。若評價部42，判斷為還未檢測出最優(yōu)解(S14為否)，則位置設(shè)定部44為了下一次匹配運算更新搜索區(qū)域116(S18)，用差值運算電路56再次執(zhí)行匹配運算(S12)。
以上，根據(jù)實施方式對本發(fā)明進(jìn)行了說明。此實施方式僅為示例，其各構(gòu)成要素或各處理步驟的組合可以衍生出各種變形例，而這些變形例也包含于本發(fā)明的范圍中，這點作為本領(lǐng)域的技術(shù)人員應(yīng)該可以理解。
運動矢量檢測電路24，可在實施方式所說明的并行執(zhí)行多個匹配的搜索模式、與現(xiàn)有的搜索模式間適當(dāng)切換來運行。例如，當(dāng)對數(shù)據(jù)量較大的動態(tài)圖像進(jìn)行實時編碼、或幀速率較高等情況下，如實施方式所述，通過多個差值運算電路56并行工作，提高處理速度；而另一方面，當(dāng)動態(tài)圖像的圖像量較小、在移動機器中CPU等的處理能力較低、或需要控制耗電量的情況下，也可減少動作的差值運算電路56。為了實現(xiàn)這種技術(shù)，圖像編碼裝置10可具備控制模塊，其根據(jù)動態(tài)圖像的圖像數(shù)據(jù)量、幀速率、機器的處理能力、和機器的動作模式等，改變運動矢量的檢測方法、或動作的差值運算電路56的數(shù)量等。
權(quán)利要求
1.一種運動矢量檢測裝置，在第1圖像、和作為所述第1圖像的參照圖像的第2圖像之間，檢測運動矢量，其特征在于具備多個運算部，其在所述第1圖像和所述第2圖像所包含的區(qū)塊之間，并行進(jìn)行匹配運算，所述多個運算部并行進(jìn)行多個匹配運算。
2.根據(jù)權(quán)利要求1所述的運動矢量檢測裝置，其特征在于所述多個運算部，同時進(jìn)行所述多個匹配運算。
3.根據(jù)權(quán)利要求1或2所述的運動矢量檢測裝置，其特征在于構(gòu)成所述區(qū)塊位置的基準(zhǔn)的點為搜索點時，所述多個運算部，在具有給定的模板的2維搜索區(qū)域中所包含的多個搜索點為基準(zhǔn)位置而得到的多個區(qū)塊、和所述第1圖像之間，進(jìn)行匹配運算，所述運動矢量檢測裝置，還具備評價部，其對由所述多個運算部得到的運算結(jié)果進(jìn)行評價，檢測出付與最佳匹配結(jié)果的搜索點；以及，設(shè)定部，其根據(jù)由所述評價部得到的評價結(jié)果，設(shè)定接下次進(jìn)行匹配運算的搜索點。
4.根據(jù)權(quán)利要求3所述的運動矢量檢測部，其特征在于所述設(shè)定部，以包含付與最佳匹配結(jié)果的搜索點的方式設(shè)定下一次的搜索區(qū)域，并將設(shè)定后的搜索區(qū)域中所包含的點設(shè)定為下一次的搜索點。
5.根據(jù)權(quán)利要求3所述的運動矢量檢測部，其特征在于所述設(shè)定部，在所述搜索區(qū)域的中心點和付與最佳匹配結(jié)果的搜索點的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。
6.根據(jù)權(quán)利要求3所述的運動矢量檢測部，其特征在于所述設(shè)定部，在上一次的運算中付與最佳匹配結(jié)果的搜索點、和此次運算中付與最佳匹配結(jié)果的搜索點的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。
7.根據(jù)權(quán)利要求3所述的運動矢量檢測部，其特征在于所述設(shè)定部，將上一次搜索以前由所述評價部得到的評價結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運動矢量、比所述第1圖像更以前或以后的圖像的運動矢量、及有關(guān)所述第1圖像的移動相關(guān)信息中的任一個作為判斷基準(zhǔn)，設(shè)定所述搜索點。
8.根據(jù)權(quán)利要求3所述的運動矢量檢測部，其特征在于所述設(shè)定部，根據(jù)由所述評價部得到的評價結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運動矢量、比所述第1圖像更以前或以后的圖像的運動矢量、及有關(guān)所述第1圖像的移動相關(guān)信息中的任一個，可變地設(shè)定所述搜索區(qū)域的形狀。
9.一種圖像編碼裝置，是將動態(tài)圖像編碼生成編碼數(shù)據(jù)列的圖像編碼裝置，其特征在于，具備運動矢量檢測部，其在構(gòu)成所述動態(tài)圖像的第1圖像、和作為所述第1圖像的參照圖像的第2圖像之間，檢測運動矢量；及編碼部，其利用所述運動矢量對所述第1圖像進(jìn)行編碼，其中，所述運動矢量檢測部具備多個運算部，該多個運算部在所述第1圖像、和所述第2圖像所包含的區(qū)塊之間，進(jìn)行匹配運算，所述多個運算部并行進(jìn)行多個匹配運算。
10.根據(jù)權(quán)利要求9所述的圖像編碼裝置，其特征在于所述多個運算部，同時進(jìn)行所述多個匹配運算。
11.一種運動矢量檢測方法，是在第1圖像、和作為所述第1圖像的參照圖像第2圖像之間，檢測運動矢量的檢測方法，其特征在于，包括在構(gòu)成所述第2圖像所包含的區(qū)塊位置的基準(zhǔn)的點為搜索點時，在具有給定的模板的2維搜索區(qū)域所包含的多個搜索點為基準(zhǔn)位置而得到的多個區(qū)塊、和所述第1圖像之間，并行進(jìn)行匹配運算的步驟；對所述運算步驟的運算結(jié)果進(jìn)行評價，檢測出付與最佳匹配結(jié)果的搜索點的步驟；以及根據(jù)由所述檢測步驟的檢測結(jié)果，設(shè)定下一次進(jìn)行匹配運算的搜索點的步驟。
全文摘要
在輸入圖像、與輸入圖像參照的參照圖像之間，檢測運動矢量的方法中，首先在參照圖像中，設(shè)定具有給定模板的2維搜索區(qū)域(S10)，然后在以搜索區(qū)域包含的多個搜索點為基準(zhǔn)位置得到的多個區(qū)塊、與輸入圖像的編碼對象區(qū)塊之間并行進(jìn)行匹配運算(S12)。評價運算的結(jié)果，若得到最佳匹配結(jié)果(S14為是)，則將其設(shè)定為運動矢量(S16)。若沒有得到最優(yōu)解(S14為否)，則根據(jù)評價結(jié)果，接著設(shè)定進(jìn)行匹配運算的搜索區(qū)域(S18)繼續(xù)搜索。從而，縮短檢測運動矢量所需的時間。
文檔編號H04N7/26GK1671210SQ200510056519
公開日2005年9月21日 申請日期2005年3月18日 優(yōu)先權(quán)日2004年3月18日
發(fā)明者鈴木滿, 岡田茂之, 山內(nèi)英樹 申請人:三洋電機株式會社