專利名稱：運(yùn)動(dòng)圖像編碼及譯碼裝置、方法、程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以塊為單位生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼技術(shù)和運(yùn)動(dòng)圖像編碼技術(shù)。
背景技術(shù)：
以往，作為以塊為單位進(jìn)行預(yù)測對象塊的預(yù)測信號(預(yù)測塊)的生成的現(xiàn)有的編碼方式，例如有在日本國的專利特開2002-354486號公報(bào)中記述的技術(shù)。這種技術(shù)就是通過對表示幀間運(yùn)動(dòng)的運(yùn)動(dòng)向量、根據(jù)該運(yùn)動(dòng)向量生成的預(yù)測塊和預(yù)測對象塊之間的誤差塊進(jìn)行熵編碼來減少時(shí)間方向的冗長度的技術(shù)。在此，所謂預(yù)測對象塊是以下進(jìn)行預(yù)測處理的輸入幀的分割塊。
為了提高包含細(xì)致的運(yùn)動(dòng)表現(xiàn)的圖像區(qū)域的時(shí)間預(yù)測性能，需要許多運(yùn)動(dòng)向量等的信息(以下，稱為“運(yùn)動(dòng)信息”)?？墒?，在上述以往的方式中，因?yàn)樾枰M(jìn)行運(yùn)動(dòng)信息的編碼，以運(yùn)動(dòng)信息為首的即所謂的附加信息的符號量增大。由此，成為難以提高編碼處理、譯碼處理中的處理效率的主要原因。
因而，本發(fā)明的課題就是通過抑止上述附加信息的符號量增大，來提高在編碼處理和譯碼處理中的處理效率。

發(fā)明內(nèi)容
本發(fā)明的運(yùn)動(dòng)圖像編碼裝置是以塊為單位進(jìn)行預(yù)測塊的生成的運(yùn)動(dòng)圖像編碼裝置，具備保持譯碼后的圖像的保持部件(存儲器)；把已輸入的編碼對象的圖像分割為多個(gè)預(yù)測對象塊的第1分割部件；在把上述預(yù)測對象塊變換以及編碼為像素?cái)?shù)比該預(yù)測對象塊的像素?cái)?shù)還少的低分辨塊后，通過對該低分辨度塊的編碼數(shù)據(jù)的進(jìn)行譯碼，生成譯碼低分辨塊的生成部件；把上述已生成的譯碼低分辨塊放大到和上述預(yù)測對象的像素?cái)?shù)相同的像素?cái)?shù)的塊的放大部件；通過根據(jù)規(guī)定的分割規(guī)則對經(jīng)上述放大的塊進(jìn)行分割而生成多個(gè)小塊的第2分割部件；使用上述譯碼后的圖像和上述已生成的小塊來生成該小塊的預(yù)測塊的預(yù)測部件；通過根據(jù)上述分割規(guī)則合并上述已生成的多個(gè)預(yù)測小塊而生成預(yù)測塊的合并部件。
本發(fā)明的運(yùn)動(dòng)圖像譯碼裝置是以塊為單位進(jìn)行預(yù)測塊的生成的運(yùn)動(dòng)圖像譯碼裝置，具備保持譯碼后的圖像的保持部件(例如存儲器)；對已輸入的編碼數(shù)據(jù)進(jìn)行譯碼，生成像素?cái)?shù)比預(yù)測塊的像素?cái)?shù)還低的低分辨塊的譯碼部件；把上述已生成的低分辨塊放大到和上述預(yù)測塊的像素?cái)?shù)相同像素?cái)?shù)的塊的放大部件；通過根據(jù)規(guī)定的分割規(guī)則分割該已被放大的塊而生成多個(gè)小塊的分割部件，使用上述譯碼后的圖像和上述已被分割的小塊來生成該小塊的預(yù)測小塊的預(yù)測部件；根據(jù)上述分割規(guī)則合并該已生成的多個(gè)預(yù)測小塊而生成預(yù)測塊的合并部件。
為了在運(yùn)動(dòng)圖像編碼裝置和運(yùn)動(dòng)圖像譯碼裝置之間進(jìn)行高精度的預(yù)測編碼，希望在運(yùn)動(dòng)圖像編碼裝置中，對像素?cái)?shù)比預(yù)測塊的像素?cái)?shù)還少的低分辨塊進(jìn)行壓縮編碼，把編碼數(shù)據(jù)發(fā)送到運(yùn)動(dòng)圖像譯碼裝置。在這一點(diǎn)上如果采用本發(fā)明，因?yàn)榈头直鎵K的像素?cái)?shù)比預(yù)測塊的像素?cái)?shù)還少，所以低分辨塊經(jīng)壓縮的編碼數(shù)據(jù)其附加信息的符號量比以往的運(yùn)動(dòng)信息還少。由此，降低附加信息的符號量增大，其結(jié)果，在編碼處理和譯碼處理中的處理效率提高。
特別是在運(yùn)動(dòng)圖像譯碼裝置中，首先，分割放大塊而得到小塊，根據(jù)小塊和譯碼后的圖像進(jìn)行預(yù)測小塊的生成。由此，能得到可以進(jìn)行運(yùn)動(dòng)圖像細(xì)致的區(qū)域的高精度的預(yù)測的多個(gè)預(yù)測小塊。而后，通過合并它們，生成預(yù)測塊。因而，在上述的處理效率提高的同時(shí)，可以進(jìn)行利用了符號量少的低分辨塊的高精度的預(yù)測。
希望上述的運(yùn)動(dòng)圖像編碼裝置進(jìn)一步具備把上述編碼對象的圖像分割為編碼對象塊的第3分割部件；以像素為單位減算經(jīng)上述分割的編碼對象塊和上述預(yù)測塊而生成誤差塊的減算部件；對上述已生成的誤差塊進(jìn)行編碼的編碼部件；對經(jīng)上述編碼的編碼數(shù)據(jù)進(jìn)行譯碼，從而生成譯碼誤差塊的譯碼部件；以像素為單位進(jìn)行上述預(yù)測塊和上述譯碼誤差塊的加算而生成譯碼塊；并把該譯碼塊輸出到上述保持部件的輸出部件。
另外，在運(yùn)動(dòng)圖像編碼裝置中，放大部件使用經(jīng)上述生成的譯碼低分辨塊的像素和與預(yù)測對象塊的上邊以及左邊相鄰的已譯碼塊的像素，生成像素?cái)?shù)和上述預(yù)測對象塊一樣的像素?cái)?shù)一樣的塊。
另外，在運(yùn)動(dòng)圖像編碼裝置中希望，生成部件由以下部分構(gòu)成根據(jù)規(guī)定的變換規(guī)則把上述預(yù)測對象塊變換為像素?cái)?shù)比該預(yù)測對象塊還少的低分辨預(yù)測對象塊的部件；進(jìn)行低分辨預(yù)測塊的生成的低分辨預(yù)測塊生成部件；以像素為單位對上述低分辨預(yù)測對象塊和上述低分辨預(yù)測塊進(jìn)行減算而生成低分辨誤差塊的部件；在對該低分辨誤差塊進(jìn)行了編碼后，通過對上述低分辨誤差塊的編碼數(shù)據(jù)進(jìn)行譯碼而生成譯碼低分辨誤差塊的部件；以像素為單位對上述譯碼低分辨誤差塊和上述低分辨預(yù)測塊進(jìn)行加算而復(fù)原上述低分辨塊的部件，上述低分辨預(yù)測塊生成部件的構(gòu)成包含生成和上述預(yù)測塊同樣像素?cái)?shù)的第2預(yù)測塊的部件；根據(jù)上述變換規(guī)則從該第2預(yù)測塊中生成上述低分辨預(yù)測塊的部件，上述生成裝置的構(gòu)成進(jìn)一步包含在上述低分辨誤差塊內(nèi)的所有的差分像素值是零的情況下，把上述第2預(yù)測塊作為上述預(yù)測塊輸出的部件。
希望上述運(yùn)動(dòng)圖像譯碼裝置進(jìn)一步具備對上述編碼數(shù)據(jù)進(jìn)行譯碼，生成誤差塊的生成部件；以像素為單位對上述預(yù)測塊和上述誤差塊進(jìn)行加算而生成譯碼塊，而后把該譯碼塊輸出到上述保持部件的輸出部件。
另外，在運(yùn)動(dòng)圖像譯碼裝置中希望，放大部件使用經(jīng)上述生成的低分辨塊的像素和與預(yù)測塊的上邊以及左邊相鄰的譯碼后的塊的像素，生成和上述預(yù)測塊具有像素?cái)?shù)的塊。
另外，在運(yùn)動(dòng)圖像譯碼裝置中希望，譯碼部件的構(gòu)成包含對上述已輸入的編碼數(shù)據(jù)進(jìn)行譯碼從而進(jìn)行低分辨誤差塊譯碼的部件；生成低分辨預(yù)測塊的低分辨預(yù)測塊生成部件；以像素為單位對上述低分辨誤差塊和上述低分辨預(yù)測塊進(jìn)行加算而生成上述低分辨塊的部件，上述低分辨預(yù)測塊生成部件的構(gòu)成包含生成和上述預(yù)測塊具有同樣像素?cái)?shù)的第2預(yù)測塊的部件；根據(jù)規(guī)定的規(guī)則從該第2預(yù)測塊中生成上述低分辨預(yù)測塊的部件，上述譯碼部件的構(gòu)成進(jìn)一步包含當(dāng)上述低分辨誤差塊內(nèi)的全部的差分像素值為零的情況下，把上述第2預(yù)測塊作為上述預(yù)測塊輸出的部件。
進(jìn)而，本發(fā)明的運(yùn)動(dòng)圖像編碼·譯碼技術(shù)不僅是裝置，也可以采用方法或者程序的形態(tài)，以下說明對其特征進(jìn)行說明的運(yùn)動(dòng)圖像編碼方法、運(yùn)動(dòng)圖像譯碼方法、運(yùn)動(dòng)圖像編碼程序以及運(yùn)動(dòng)圖像譯碼程序具有和運(yùn)動(dòng)圖像編碼裝置，以及運(yùn)動(dòng)圖像譯碼裝置的上述效果相同的效果。
即，本發(fā)明的運(yùn)動(dòng)圖像編碼方法是使用譯碼后的圖像以塊為單位生成預(yù)測塊的運(yùn)動(dòng)圖像編碼方法，包含把已輸入的編碼對象的圖像分割為多個(gè)預(yù)測對象塊的第1分割步驟；在把上述預(yù)測對象塊變換以及編碼為具有比該預(yù)測對象塊的像素?cái)?shù)還少的低分辨塊后，通過對該低分辨塊的編碼數(shù)據(jù)進(jìn)行譯碼，生成譯碼低分辨塊的生成步驟；使用上述譯碼后的圖像，把上述已生成的譯碼低分辨塊放大為和上述預(yù)測對象塊具有相同像素?cái)?shù)的塊的放大步驟；通過根據(jù)規(guī)定的分割規(guī)則分割上述已放大的塊，生成多個(gè)小塊的第2分割步驟；使用上述已譯碼圖像和上述已生成的小塊，生成該小塊的預(yù)測塊的預(yù)測步驟；通過根據(jù)上述分割規(guī)則合并上述已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并步驟。
本發(fā)明的運(yùn)動(dòng)圖像譯碼方法，是使用已譯碼圖像以塊為單位進(jìn)行預(yù)測塊的生成的運(yùn)動(dòng)圖像譯碼方法，包含對已輸入的編碼數(shù)據(jù)進(jìn)行譯碼，生成具有比預(yù)測塊像素?cái)?shù)少的低分辨塊的譯碼步驟；使用上述已譯碼圖像，把上述已生成的低分辨塊放大為和上述預(yù)測塊像素?cái)?shù)相同的塊的放大塊；通過根據(jù)規(guī)定的分割規(guī)則分割經(jīng)該放大后的塊，生成多個(gè)小塊的分割步驟；使用上述已譯碼圖像和經(jīng)上述分割后的小塊，生成該小塊的預(yù)測小塊的預(yù)測步驟；通過根據(jù)上述分割規(guī)則合并上述已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并步驟。
另外，本發(fā)明的運(yùn)動(dòng)圖像編碼程序使具備保持已譯碼圖像，和具有以塊為單位生成預(yù)測塊的功能的運(yùn)動(dòng)圖像編碼程序的保持部件的計(jì)算機(jī)執(zhí)行以下步驟把已輸入的編碼對象的圖像分割為多個(gè)預(yù)測對象塊的第1分割處理；在把上述預(yù)測對象塊變換以及編碼為比該預(yù)測對象塊的像素?cái)?shù)還少的低分辨塊后，通過對該低分辨塊的編碼數(shù)據(jù)進(jìn)行譯碼，生成譯碼低分辨塊的生成處理；使用上述已譯碼圖像，把上述已生成的譯碼低分辨塊放大為和上述預(yù)測對象塊像素?cái)?shù)相同的塊的放大處理；通過根據(jù)規(guī)定的分割規(guī)則分割經(jīng)上述放大的塊，生成多個(gè)小塊的第2分割處理；使用上述已譯碼圖像和經(jīng)上述生成的小塊，生成該小塊的預(yù)測小塊的預(yù)測處理；通過根據(jù)上述分割規(guī)則合并上述已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并處理。
本發(fā)明的運(yùn)動(dòng)圖像譯碼程序使具備保持已譯碼圖像，和具有以塊為單位生成預(yù)測塊的功能的運(yùn)動(dòng)圖像編碼程序的保持部件的計(jì)算機(jī)執(zhí)行以下步驟對已輸入的編碼數(shù)據(jù)進(jìn)行譯碼，生成像素?cái)?shù)比預(yù)測塊的像素?cái)?shù)還少的低分辨塊的譯碼處理；使用上述已譯碼圖像，把經(jīng)上述生成的低分辨塊放大為像素?cái)?shù)和上述預(yù)測塊像素?cái)?shù)相同的塊的放大處理；通過根據(jù)規(guī)定的分割規(guī)則分割該已放大的塊，生成對光小塊的分割處理；使用上述已譯碼圖像和經(jīng)上述分割后的小塊，生成該小塊的預(yù)測小塊的預(yù)測處理；通過根據(jù)上述分割規(guī)則合并該已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并處理。
為了實(shí)現(xiàn)上述目的，本發(fā)明的運(yùn)動(dòng)圖像譯碼裝置是以規(guī)定的塊為單位對成為譯碼對象的編碼數(shù)據(jù)進(jìn)行譯碼從而生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼裝置，其特征在于，具備保持已譯碼圖像的保持部件；通過對已輸入的編碼數(shù)據(jù)進(jìn)行熵譯碼，生成與上述譯碼塊的像素?cái)?shù)相比還少并且和該譯碼塊在時(shí)間、空間上處于同一位置的低分辨塊進(jìn)行了編碼的低分辨塊信息的熵譯碼部件；對用上述熵譯碼部件生成的低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成上述低分辨塊的低分辨塊譯碼部件；通過根據(jù)規(guī)定的分割規(guī)則分割由上述低分辨塊譯碼部件生成的低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割部件；生成多個(gè)低分辨分割塊的低分辨塊分割部件；根據(jù)被保持在上述保持部件中的已譯碼圖像，和由上述低分辨塊分割部件生成的低分辨分割塊，生成比該低分辨分割塊的像素?cái)?shù)還多并且和該低分辨分割塊在時(shí)間、空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成部件；通過根據(jù)與上述分割規(guī)則對應(yīng)的規(guī)定的合并規(guī)則合并由上述預(yù)測小塊生成部件生成的預(yù)測小塊而生成預(yù)測塊的塊合并步驟；另外，為了實(shí)現(xiàn)上述目的，本發(fā)明的運(yùn)動(dòng)圖像編碼裝置是以規(guī)定的塊單位對成為編碼對象的圖像進(jìn)行編碼而生成預(yù)測塊的運(yùn)動(dòng)圖像編碼裝置，其特征在于，具備保持已譯碼圖像的保持部件；把已輸入的圖像分割為多個(gè)編碼對象塊的編碼塊分割部件；通過對比由上述編碼塊分割部件分割后的編碼對象塊的像素?cái)?shù)還少，并且和該編碼對象塊在時(shí)間、空間上處于同一位置的低分辨塊而生成低分辨塊信息，對該低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成譯碼低分辨塊的譯碼低分辨塊生成部件；通過根據(jù)規(guī)定的分割規(guī)則分割由上述譯碼低分辨塊生成部件生成的譯碼低分辨塊，由此生成多個(gè)低分辨分割塊的低分辨塊分割部件；根據(jù)被保持在上述保持部件中的已譯碼圖像，和用上述低分辨塊分割部件生成的低分辨分割塊，生成比該低分辨分割塊的像素?cái)?shù)多，并且和該低分辨分割塊在時(shí)間、空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成部件；通過根據(jù)與上述分割規(guī)則對應(yīng)的規(guī)定的合并規(guī)則對由上述預(yù)測小塊生成部件生成的預(yù)測小塊進(jìn)行合并，由此生成預(yù)測塊的塊合并部件。
為了在運(yùn)動(dòng)圖像編碼裝置和運(yùn)動(dòng)圖像譯碼裝置之間進(jìn)行高精度的預(yù)測編碼，希望在運(yùn)動(dòng)圖像編碼裝置中，對于壓縮編碼了比編碼對象塊素?cái)?shù)還少的低分辨塊的低分辨塊信息進(jìn)行熵編碼并發(fā)送到運(yùn)動(dòng)圖像譯碼裝置。因?yàn)榈头直鎵K像素?cái)?shù)比編碼對象塊的像素?cái)?shù)還少，并且低分辨塊信息比在編碼對象塊的預(yù)測中需要的以往的預(yù)測信息還少，所以能夠避免附加信息的符號量增大，從而提高處理效率。
另外，在運(yùn)動(dòng)圖像譯碼裝置中希望，從低分辨塊信息中譯碼低分辨塊，把得到的低分辨塊分割為多個(gè)低分辨分割塊，根據(jù)各低分辨分割塊和已譯碼圖像，生成像素?cái)?shù)比低分辨分割塊像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間、空間上處于同一位置的預(yù)測小塊，通過合并該預(yù)測小塊而生成預(yù)測塊。這種情況下，通過進(jìn)一步分割低分辨塊而得到低分辨分割塊，根據(jù)低分辨分割塊和已譯碼圖像而生成預(yù)測小塊，由此得到能夠進(jìn)行運(yùn)動(dòng)圖像細(xì)致的區(qū)域的高精度的預(yù)測的預(yù)測小塊，通過合并該預(yù)測小塊能夠生成預(yù)測塊。即，能夠一邊使用符號量少的低分辨塊信息，一邊進(jìn)行高精度的預(yù)測，同時(shí)可以提高處理效率。
在本發(fā)明的運(yùn)動(dòng)圖像譯碼裝置中希望上述熵譯碼裝置通過熵譯碼上述編碼數(shù)據(jù)，進(jìn)一步生成包含在該編碼數(shù)據(jù)中的表示編碼對象塊和預(yù)測塊的誤差的誤差塊信息，上述運(yùn)動(dòng)圖像譯碼裝置進(jìn)一步具備通過對由上述熵譯碼裝置生成的誤差塊信息進(jìn)行譯碼，生成誤差塊的誤差塊譯碼部件；根據(jù)由上述塊合并部件生成的預(yù)測塊，和由上述誤差塊譯碼部件生成的誤差塊，生成譯碼塊的譯碼塊生成部件。
希望本發(fā)明的運(yùn)動(dòng)圖像編碼裝置進(jìn)一步具備通過以像素為單位求由上述編碼對象塊分割部件分割的編碼對象塊，和由上述塊合并部件生成的預(yù)測塊的誤差，生成表示該誤差的誤差塊的誤差塊生成部件；通過對由上述誤差塊生成部件生成的誤差塊進(jìn)行編碼而生成誤差塊信息的誤差塊編碼部件；通過對由上述誤差塊編碼部件生成的誤差塊信息進(jìn)行譯碼，生成譯碼誤差塊的誤差塊譯碼部件；根據(jù)由上述塊合并部件生成的預(yù)測塊，和由上述誤差塊譯碼部件生成的譯碼誤差塊，進(jìn)行譯碼塊生成的譯碼塊生成部件。
另外，希望本發(fā)明的運(yùn)動(dòng)圖像編碼裝置進(jìn)一步具備對由上述譯碼低分辨塊生成部件生成的低分辨塊信息以及由上述誤差塊編碼部件生成的誤差塊信息進(jìn)行熵編碼的熵編碼部件。
而且，本發(fā)明還可以作為運(yùn)動(dòng)圖像譯碼方法、運(yùn)動(dòng)圖像編碼方法、運(yùn)動(dòng)圖像譯碼程序、運(yùn)動(dòng)圖像編碼程序捕捉，可以敘述如下。它們起到和上述的運(yùn)動(dòng)圖像譯碼裝置、運(yùn)動(dòng)圖像編碼裝置同樣的效果。
本發(fā)明的運(yùn)動(dòng)圖像譯碼方法，是在具備保持已譯碼圖像的保持部件，并以規(guī)定的塊為單位對成為譯碼對象的編碼數(shù)據(jù)進(jìn)行譯碼從而生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼裝置中的運(yùn)動(dòng)圖像譯碼方法，其特征在于，包括通過對已輸入的譯碼對象的編碼數(shù)據(jù)進(jìn)行熵譯碼，生成對于像素?cái)?shù)比上述譯碼塊的像素?cái)?shù)還少，并且和該譯碼塊在時(shí)間、空間上處于同一位置的低分辨塊進(jìn)行了編碼的低分辨塊信息的熵譯碼步驟；對在上述熵譯碼步驟中生成的低分辨塊信息進(jìn)行譯碼，參照上述已譯碼的圖像生成上述低分辨塊的低分辨塊譯碼步驟；通過規(guī)定的分割規(guī)則分割在上述低分辨塊譯碼步驟中生成的低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割步驟；根據(jù)被保持在上述保持步驟中的已譯碼圖像、在上述低分辨塊分割步驟中生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊的像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間、空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成步驟；通過根據(jù)與上述分割規(guī)則對應(yīng)的規(guī)定的合并規(guī)則對在上述預(yù)測小塊生成步驟中生成的預(yù)測小塊進(jìn)行合并，生成預(yù)測塊的塊合并步驟。
本發(fā)明的運(yùn)動(dòng)圖像譯碼方法，是在具備保持已譯碼圖像的保持部件，并以規(guī)定的塊為單位對成為編碼對象的圖像進(jìn)行編碼從而生成預(yù)測塊的運(yùn)動(dòng)圖像編碼裝置中的運(yùn)動(dòng)圖像編碼方法，其特征在于，包括把已輸入的編碼對象的圖像分割為多個(gè)編碼對象塊的編碼塊分割步驟；通過對于像素?cái)?shù)比在上述編碼塊分割步驟中分割的編碼對象塊的像素?cái)?shù)還少，并且和該編碼對象塊在時(shí)間、空間上處于同一位置的低分辨塊進(jìn)行編碼從而生成低分辨塊信息，對該低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像而生成譯碼低分辨塊的譯碼低分辨塊生成步驟；通過根據(jù)規(guī)定的分割規(guī)則分割在上述譯碼低分辨塊生成步驟中生成的譯碼低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割步驟；根據(jù)被保持在上述保持部件中的已譯碼圖像、在上述低分辨塊分割步驟中生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊還多，并且和該低分辨分割塊在時(shí)間、空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成步驟；通過根據(jù)與上述分割規(guī)則對應(yīng)的規(guī)定的合并規(guī)則對在上述預(yù)測小塊生成步驟中生成的預(yù)先小塊進(jìn)行合并，生成預(yù)測小塊的塊合并步驟。
本發(fā)明的運(yùn)動(dòng)圖像譯碼程序，其特征在于，它使設(shè)置在具備保持已譯碼圖像的保持部件，并且以規(guī)定的塊為單位對成為譯碼對象的編碼數(shù)據(jù)進(jìn)行譯碼而生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼裝置上的計(jì)算機(jī)具有以下功能通過對已輸入的譯碼對象的編碼數(shù)據(jù)進(jìn)行熵譯碼，生成已進(jìn)行像素?cái)?shù)比上述譯碼塊的像素?cái)?shù)還少，并且和該譯碼塊在時(shí)間、空間上處于同一位置的低分辨塊的編碼的低分辨塊信息的熵譯碼部件；對由上述熵譯碼部件生成的低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成上述低分辨塊的低分辨塊譯碼部件；通過根據(jù)規(guī)定的分割規(guī)則對由上述低分辨塊譯碼部件生成的低分辨塊進(jìn)行分割，生成多個(gè)低分辨分割塊的低分辨塊分割部件；根據(jù)被保持在上述保持部件上的已譯碼圖像、由上述低分辨塊分割部件生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊還多并且和該低分辨分割塊在時(shí)間、空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成部件；通過根據(jù)與上述分割規(guī)則對應(yīng)的規(guī)定的合并規(guī)則合并由上述預(yù)測小塊生成部件生成的預(yù)測小塊，生成預(yù)測塊的塊合并部件。
本發(fā)明的運(yùn)動(dòng)圖像編碼程序，其特征在于，它使設(shè)置在具備保持已譯碼圖像的保持部件，并且以規(guī)定的塊為單位對成為譯碼對象的圖像進(jìn)行編碼從而生成預(yù)測塊的運(yùn)動(dòng)圖像編碼裝置上的計(jì)算機(jī)具有以下功能把已輸入的編碼對象的圖像分割為多個(gè)編碼對象塊的編碼塊分割部件；通過對于像素?cái)?shù)比由上述編碼對象塊分割裝置分割的編碼對象塊還少，并且和該編碼對象塊在時(shí)間、空間上處于同一位置的低分辨塊進(jìn)行編碼，生成低分辨塊信息，對該低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成譯碼低分辨塊的譯碼低分辨塊生成部件；通過根據(jù)規(guī)定的分割規(guī)則分割由上述譯碼低分辨塊生成部件生成的譯碼低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割部件；根據(jù)被保持在上述保持部件中的已譯碼圖像、由上述低分辨塊分割部件生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊的像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間、空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成步驟；通過根據(jù)與上述分割規(guī)則對應(yīng)的規(guī)定的合并規(guī)則合并由上述預(yù)測小塊生成部件生成的預(yù)先小塊，生成預(yù)測塊的塊合并部件。
如果采用本發(fā)明，因?yàn)楦郊有畔⒌姆柫吭龃笫艿揭种?，所以能夠提高在編碼處理和譯碼處理中的處理效率。


圖1是表示實(shí)施方式1中的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)的圖。
圖2是表示實(shí)施方式1中的運(yùn)動(dòng)圖像譯碼裝置的結(jié)構(gòu)的圖。
圖3是用于說明塊匹配的圖。
圖4是用于說明塊縮小處理的圖。
圖5是用于說明塊放大處理的第1圖。
圖6是用于說明塊放大處理的第2圖。
圖7是用于說明放大塊的4×4分割的圖。
圖8是用于說明放大塊的2×2分割的圖。
圖9是用于說明4×4小塊運(yùn)動(dòng)推斷處理的圖。
圖10是用于說明2×2小塊運(yùn)動(dòng)推斷處理的圖。
圖11是用于說明塊編碼處理的流程圖。
圖12是用于說明低分辨塊編碼/譯碼處理的流程圖。
圖13是用于說明小塊運(yùn)動(dòng)推斷處理的流程圖。
圖14是用于說明塊譯碼處理的流程圖。
圖15是用于說明低分辨塊譯碼處理的流程圖。
圖16是說明存儲用于通過計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)運(yùn)動(dòng)圖像編碼處理或者運(yùn)動(dòng)圖像譯碼處理的程序的數(shù)據(jù)存儲介質(zhì)的圖。
圖17是表示實(shí)施方式1的運(yùn)動(dòng)圖像編碼程序的結(jié)構(gòu)的圖。
圖18是表示實(shí)施方式1的運(yùn)動(dòng)圖像譯碼程序的結(jié)構(gòu)的圖。
圖19是用于說明伴隨塊分割的塊匹配的圖。
圖20是用于說明涉及塊尺寸的第4變形形態(tài)的圖。
圖21是用于說明第5變形形態(tài)中的塊放大處理的圖。
圖22是表示第5變形形態(tài)中的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)的圖。
圖23是表示第5變形形態(tài)中的運(yùn)動(dòng)圖像譯碼裝置的結(jié)構(gòu)的圖。
圖24是用于說明第6變形形態(tài)中的塊縮小處理的圖。
圖25是表示第8變形形態(tài)中的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)的圖。
圖26是表示第8變形形態(tài)中的運(yùn)動(dòng)圖像譯碼裝置的結(jié)構(gòu)的圖。
圖27是用于說明第8變形形態(tài)中的塊放大處理的圖。
圖28是說明實(shí)施方式2中的運(yùn)動(dòng)圖像譯碼裝置的圖。
圖29是說明實(shí)施方式2中的運(yùn)動(dòng)圖像編碼裝置的圖。
圖30是表示實(shí)施方式2中的塊譯碼處理流程的圖。
圖31是表示實(shí)施方式2中的低分辨塊譯碼處理流程的圖。
圖32是表示實(shí)施方式2中的小塊預(yù)測處理流程圖的圖。
圖33是表示實(shí)施方式2中的塊編碼處理流程的圖。
圖34是表示在實(shí)施方式2中的低分辨塊編碼/譯碼處理流程的圖。
圖35是用于說明分割塊預(yù)測處理的圖。
圖36是用于說明塊像素配置的圖。
圖37是實(shí)施方式2的運(yùn)動(dòng)圖像譯碼程序的結(jié)構(gòu)圖。
圖38是實(shí)施方式2的運(yùn)動(dòng)圖像編碼程序的結(jié)構(gòu)圖。
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施方式1。圖1是表示可以實(shí)現(xiàn)本發(fā)明的預(yù)測編碼的運(yùn)動(dòng)圖像編碼裝置(以下，簡稱為“編碼裝置100”)的結(jié)構(gòu)的圖。同樣，圖2是表示實(shí)現(xiàn)本發(fā)明所涉及的預(yù)測譯碼的運(yùn)動(dòng)圖像譯碼裝置(以下，稱其為“譯碼裝置200”)的結(jié)構(gòu)的圖。這些各裝置具有的構(gòu)成要素經(jīng)由總線以可以相互進(jìn)行信號輸入輸出的方式連接。另外，在兩圖中，在具有同一功能的構(gòu)成要素上標(biāo)注同一符號。
首先，參照圖1說明編碼裝置的構(gòu)成。編碼裝置100是用編碼塊分割單元251把輸入幀201分割為16×16像素的編碼對象塊(預(yù)測對象塊)202，而后，按照光柵掃描的順序?qū)Ψ指畹玫降亩鄠€(gè)編碼對象塊(預(yù)測對象塊)202進(jìn)行預(yù)測/編碼的裝置。
在此，所謂預(yù)測對象塊是在通過對輸入幀201進(jìn)行塊分割而得到的塊中成為下一預(yù)測對象的塊。所謂編碼對象塊是在通過對輸入幀201進(jìn)行塊分割得到的塊中成為下一編碼對象的塊。在本實(shí)施方式中，因?yàn)榘杨A(yù)測處理的對象塊和編碼處理的對象塊設(shè)置成同一尺寸，所以預(yù)測對象塊和編碼對象塊一致。另外，所謂預(yù)測塊是通過預(yù)測處理從過去譯碼的像素中生成的塊。
編碼對象塊(預(yù)測對象塊)202首先被輸入到譯碼低分辨塊生成單元252。譯碼低分辨塊生成單元252生成像素?cái)?shù)比預(yù)測對象塊202的像素?cái)?shù)還少的譯碼低分辨塊110，以及低分辨塊信息102。在運(yùn)動(dòng)推斷單元211中，按照光柵掃描順序輸入預(yù)測對象塊202。運(yùn)動(dòng)推斷單元211在輸入的預(yù)測對象塊202，和從被保存在幀存儲器153中的過去的譯碼幀中抽出的多個(gè)候補(bǔ)預(yù)測塊203之間執(zhí)行塊匹配處理，檢測1個(gè)低分辨塊預(yù)測用運(yùn)動(dòng)向量104。
在此，參照圖3說明塊匹配。所謂塊匹配是檢測預(yù)測對象塊的運(yùn)動(dòng)向量的技術(shù)。在塊匹配中，運(yùn)動(dòng)推斷單元211在過去被譯碼的譯碼幀520上設(shè)定查找范圍522，在查找范圍內(nèi)進(jìn)行檢索。以下，檢測和預(yù)測對象塊202的差分評價(jià)值為最小的塊105的位置。而后，從在譯碼幀上和預(yù)測對象塊202處于同一空間位置上的假想塊521中，把至檢測到的塊105為止的移動(dòng)量作為運(yùn)動(dòng)向量104。而且，作為差分評價(jià)值能適用在檢測對象的塊和編碼對象的塊之間對應(yīng)的像素的差分絕對值和，或者把運(yùn)動(dòng)向量的符號量的換算值加算在該差分絕對值上的值等。
運(yùn)動(dòng)補(bǔ)償單元133生成與低分辨塊預(yù)測用運(yùn)動(dòng)向量104對應(yīng)的低分辨預(yù)測塊106。具體地說，基于低分辨塊預(yù)測運(yùn)動(dòng)向量104，從被保存在幀存儲器153中的過去的譯碼幀520中，取得與8×8像素的塊對應(yīng)的像素，并把它作為低分辨預(yù)測塊106。圖4表示16×16像素大小的塊10和8×8像素大小的低分辨塊11的對應(yīng)關(guān)系。如圖4所示，8×8像素大小的低分辨塊11是從16×16像素大小的塊中每隔縱橫1行抽出像素的塊。
在此，通過像素抽出而生成低分辨塊具有提高在后述的小塊預(yù)測處理的預(yù)測性能的效果。即，因?yàn)榈头直鎵K的各像素保持著高頻成分，所以編碼裝置100在進(jìn)行運(yùn)動(dòng)檢測時(shí)，容易捕捉細(xì)致的特征。其結(jié)果，預(yù)測性能提高。
對于編碼對象塊(預(yù)測對象塊)202也是用縮小處理單元134，根據(jù)圖4所示的規(guī)則變換為像素?cái)?shù)比編碼對象塊202的像素?cái)?shù)還少的低分辨編碼對象塊(低分辨預(yù)測對象塊)205。減法單元213對在低分辨編碼對象塊(低分辨預(yù)測對象塊)205和低分辨預(yù)測塊106中的各像素進(jìn)行減算，生成低分辨誤差塊206。
變換單元214在把低分辨誤差塊206分割為4個(gè)4×4的塊后，對這些4×4的塊實(shí)施4×4離散余弦變換(DCTDiscrete CosineTransform)。而后，分別生成與16個(gè)低分辨誤差塊有關(guān)的變換系數(shù)207。量化單元215對變換系數(shù)207進(jìn)行量化，生成低分辨誤差塊的量化變換系數(shù)107。合并單元216整理運(yùn)動(dòng)向量104和低分辨誤差塊的量化變換系數(shù)107，作為低分辨塊信息102輸出到熵編碼單元255。
反量化單元136對量化變換系數(shù)107進(jìn)行反量化，生成低分辨誤差塊的譯碼量化變換系數(shù)108。反變換單元137對譯碼量化變換系數(shù)108進(jìn)行反DCT變換，生成譯碼低分辨誤差塊109。加法單元217加算在低分辨預(yù)測塊106和譯碼低分辨誤差塊109中的各像素，生成譯碼低分辨塊110。
放大塊生成單元154把譯碼低分辨塊110放大為圖5所示的放大塊127。即，放大塊生成單元154從被保存在幀存儲器153中的當(dāng)前幀的已譯碼像素中，把和成為現(xiàn)在預(yù)測對象的塊位置的上邊，以及左邊相鄰的塊的譯碼像素作為邊界譯碼像素群123取得，如圖5所示，配置在譯碼低分辨塊110的周圍。
接著，放大塊生成單元154用圖6所示的內(nèi)插計(jì)算處理計(jì)算用黑色方塊表示的像素的內(nèi)插值，生成放大塊127。通過該處理，8×8塊大小的譯碼低分辨塊110被放大成和通過后述的預(yù)測處理生成的預(yù)測塊同樣大小(16×16)的放大塊127。而且，當(dāng)預(yù)測對象的塊是現(xiàn)在幀的端塊的情況下，因?yàn)橄噜彽膲K不存在，所以放大塊生成單元154無法取得邊界譯碼像素群123。這種情況下，用譯碼低分辨塊110的邊界像素來代替它。
塊分割單元162如圖7的塊127a所示，把放大塊127分割為16個(gè)4×4的小塊112a。進(jìn)而，塊分割單元162如圖8的塊127b所示，把放大塊127分割為64個(gè)2×2的小塊112b。這些被分割的各小塊把1個(gè)4×4小塊112a，和與之在空間上處于同一位置的4個(gè)2×2小塊112b作為1組，順序輸入到小塊預(yù)測單元152。
小塊預(yù)測單元152由以下部分構(gòu)成通過塊匹配進(jìn)行小塊112的運(yùn)動(dòng)向量115的檢測的小塊運(yùn)動(dòng)向量推斷單元163；使用被檢測出的小塊運(yùn)動(dòng)向量115生成小塊112的預(yù)測小塊116的小塊運(yùn)動(dòng)補(bǔ)償單元164。在本實(shí)施方式中，小塊預(yù)測單元152使用這些功能生成各個(gè)2×2小塊112b的預(yù)測小塊116b。
更具體地說(1)小塊運(yùn)動(dòng)推斷單元163執(zhí)行4×4小塊的運(yùn)動(dòng)向量檢測處理。以下，在16個(gè)4×4小塊112a中，特別關(guān)注圖9所示的上端的塊112a1說明小塊預(yù)測單元152的功能，但對于其他15個(gè)4×4小塊，由于也只是空間上的塊位置不同，因而用同樣的順序進(jìn)行處理。圖9是用于說明在被16分割后的4×4小塊中，位于左上端的4×4小塊112a1的運(yùn)動(dòng)向量115a1的檢測方法的圖。小塊運(yùn)動(dòng)推斷單元163如果把4×4小塊112a輸入到小塊運(yùn)動(dòng)推斷單元163，則在過去譯碼的幀520(保存在幀存儲器153中)上設(shè)定查找范圍181a1。接著，根據(jù)給予的規(guī)則在查找范圍內(nèi)檢索，檢測和4×4小塊112a1的差分評價(jià)值(在小塊內(nèi)的像素的差分絕對值的總和)為最小的4×4小塊116a1的位置，把它作為4×4預(yù)測小塊116a1。而后，小塊運(yùn)動(dòng)推斷單元163把在和4×4小塊112a1在空間上處于同一位置的譯碼幀520上的4×4塊117a1，和被檢測出的4×4預(yù)測小塊116a1之間的運(yùn)動(dòng)量作為4×4小塊112a1的運(yùn)動(dòng)向量115a1。
而且，查找范圍181a1作為預(yù)先規(guī)定的大小，是設(shè)置成以在低分辨預(yù)測塊的生成中使用的編碼后的低分辨塊預(yù)測用運(yùn)動(dòng)向量104為中心的位置上。這是考慮到被檢測的4×4小塊的運(yùn)動(dòng)向量接近低分辨塊預(yù)測用運(yùn)動(dòng)向量104的可能性高的緣故，因而具有提高檢索精度和能夠設(shè)定小的查找范圍的效果。因而，對于屬于同一編碼對象塊的16個(gè)4×4小塊的查找范圍的中心點(diǎn)也一樣，被設(shè)定在表示低分辨塊預(yù)測用運(yùn)動(dòng)向量104的位置上。
(2)小塊運(yùn)動(dòng)推斷單元163檢測與在(1)中檢測運(yùn)動(dòng)向量的4×4小塊112a1屬于同一組的4個(gè)2×2小塊的運(yùn)動(dòng)向量。以下，在4個(gè)2×2小塊中，特別關(guān)注圖10所示的上端的塊112b1并進(jìn)行說明。圖10是用于說明在被64分割后的2×2小塊中，位于左上端的2×2小塊112b1的運(yùn)動(dòng)向量115b1的檢測方法的圖。小塊運(yùn)動(dòng)推斷單元163在把2×2小塊112b1輸入到小塊運(yùn)動(dòng)推斷單元163時(shí)，在過去譯碼的幀520(保存在幀存儲器153上)上設(shè)定查找范圍181b1。接著，根據(jù)規(guī)定的規(guī)則在查找范圍內(nèi)檢索，檢測和2×2小塊112b1的差分評價(jià)值(在小塊內(nèi)的像素的差分絕對值的總和)為最小的2×2小塊116b1的位置，把它作為2×2預(yù)測小塊116b1。而后，小塊運(yùn)動(dòng)推斷單元163把和2×2預(yù)測小塊112b1在空間上處于同一位置的譯碼幀520上的2×2塊117b1，和被檢測出的2×2小塊116b1之間的移動(dòng)量，作為2×2小塊112b1的運(yùn)動(dòng)向量115b1。進(jìn)而，對于剩下的3個(gè)2×2小塊，也用同樣的方法檢測2×2小塊的運(yùn)動(dòng)向量。
而且，查找范圍181b1作為預(yù)先規(guī)定的大小，設(shè)定在以和2×2小塊112b1屬于同一組的4×4小塊112a1的運(yùn)動(dòng)向量115a1為中心的位置上。這是因?yàn)榭紤]到被檢測的2×2小塊的運(yùn)動(dòng)向量在空間上處于同一位置，即，該運(yùn)動(dòng)向量接近屬于同一組的4×4小塊的運(yùn)動(dòng)向量近的可能性高的緣故，所以具有能夠把查找范圍設(shè)定得小的效果。因而，小塊運(yùn)動(dòng)推斷單元163對于屬于同一組的4個(gè)2×2小塊的查找范圍的中心點(diǎn)也一樣，被設(shè)定在用在空間上處于同一位置的4×4小塊的運(yùn)動(dòng)向量115a1所表示的位置上。
(3)被檢測到的4個(gè)2×2小塊的運(yùn)動(dòng)向量115b被輸入到小塊運(yùn)動(dòng)補(bǔ)償單元164。小塊運(yùn)動(dòng)補(bǔ)償單元164從譯碼幀520(保存在幀存儲器153中)中，取得與2×2小塊的運(yùn)動(dòng)向量115b對應(yīng)的預(yù)測小塊116b。這樣的小塊的預(yù)測單元152的處理因?yàn)橹皇褂米g碼裝置200可以從編碼數(shù)據(jù)中生成的數(shù)據(jù)執(zhí)行，所以即使在譯碼裝置200中也能夠得到同樣的處理效果。即，譯碼裝置200也能夠檢測和編碼裝置100同樣的運(yùn)動(dòng)向量。因而，各2×2小塊的運(yùn)動(dòng)向量不需要進(jìn)行編碼。
塊合并單元155通過把64個(gè)2×2預(yù)測小塊的每一個(gè)基于在塊分割單元162中的分割規(guī)則并列成分割前的原來的位置來進(jìn)行合并，由此生成16×16像素的預(yù)測塊118。減法單元253計(jì)算在編碼對象塊202和預(yù)測塊118中的各像素的差分值來生成誤差塊208。
誤差塊編碼單元254對誤差塊208進(jìn)行編碼生成誤差塊信息119，輸出到熵編碼單元255。如圖1所示，誤差塊編碼單元254把變換單元218和量化單元219作為其構(gòu)成要素。變換單元218以4×4單位對誤差塊208進(jìn)行離散余弦變換(DCT)，對于16個(gè)4×4塊的每一個(gè)，生成16個(gè)變換系數(shù)209。量化單元219對各變換系數(shù)209進(jìn)行量化，生成誤差塊信息(例如，量化變換系數(shù))119。
誤差塊譯碼單元156對誤差塊信息119進(jìn)行譯碼生成譯碼誤差塊121。如圖1所示，誤差塊譯碼單元156把反量化單元140和反變換單元141作為其構(gòu)成要素。反量化單元140對于16個(gè)4×4塊的每一個(gè)通過進(jìn)行16個(gè)量化變換系數(shù)119的反量化，生成譯碼量化變換系數(shù)120。反變換單元141通過對各4×4塊的譯碼量化變換系數(shù)120進(jìn)行反DCT變換，生成譯碼誤差塊121。
加法單元157對預(yù)測塊118和譯碼誤差塊121中的各像素進(jìn)行加算，生成譯碼塊122。生成的譯碼塊122被保存在幀存儲器153中，其結(jié)果，已譯碼圖像被更新。熵編碼單元255通過對低分辨塊信息102和誤差塊信息119進(jìn)行熵編碼而多路復(fù)用為編碼數(shù)據(jù)101。
以下，說明編碼裝置100的動(dòng)作。一并說明構(gòu)成本發(fā)明的運(yùn)動(dòng)圖像編碼方法的各步驟。圖11是用于說明預(yù)測編碼的對象塊的編碼處理的流程圖。而且，在圖11的塊編碼處理中，圖中括號內(nèi)表示后述的塊譯碼處理和其內(nèi)容以及處理結(jié)果是共用的步驟的符號。
首先，用編碼塊分割單元251分割輸入幀201后，則編碼裝置100得到編碼對象塊202。在S1中，譯碼低分辨塊生成單元252執(zhí)行圖12所示的低分辨塊編碼/譯碼處理。
在圖12的S101中，輸入下一編碼對象塊(預(yù)測對象塊)。在S102中，運(yùn)動(dòng)推斷單元211根據(jù)預(yù)測對象塊、被保存在幀存儲器中的過去譯碼的譯碼幀，檢測低分辨塊預(yù)測用運(yùn)動(dòng)向量。而且，運(yùn)動(dòng)向量的檢測方法因?yàn)樵谧g碼低分辨塊生成單元252的構(gòu)成說明中已敘述，故省略其說明。
在S103中，運(yùn)動(dòng)補(bǔ)償單元133從幀存儲器的譯碼幀中取得與低分辨塊預(yù)測用運(yùn)動(dòng)向量對應(yīng)的低分辨預(yù)測塊。在S104中，縮小處理單元134基于參照圖4說明的上述變換規(guī)則，把預(yù)測對象塊變換為低分辨預(yù)測對象塊。在S105中，減法單元213在低分辨預(yù)測對象塊和低分辨預(yù)測塊之間進(jìn)行各像素的減算，生成低分辨誤差塊。
在S106中，變換單元214在對低分辨誤差塊進(jìn)行DCT變換后，量化單元215進(jìn)行DCT系數(shù)的量化。其結(jié)果，生成低分辨誤差塊的量化變換系數(shù)。而且，在S106中的量化精度設(shè)定得比在后述的圖11的S8中的量化精度還高。這是由于有這樣的效果的緣故，即通過編碼裝置100提高低分辨塊的畫質(zhì)，能夠提高S3、S4中的2×2小預(yù)測塊檢測精度。
在圖12的S107中，反量化單元136和反變換單元137對低分辨誤差塊的量化變換系數(shù)進(jìn)行譯碼(反量化/反變換)。其結(jié)果，生成譯碼低分辨誤差塊。在S108中，加法單元217在低分辨預(yù)測塊和譯碼低分辨誤差塊之間進(jìn)行各像素的加算，生成譯碼低分辨塊。而后，合并單元216通過對運(yùn)動(dòng)向量和低分辨誤差塊的量化變換系數(shù)進(jìn)行合并而生成低分辨塊信息(S109)。
返回圖11，在S2中，放大塊生成單元154如圖5以及圖6所示，把譯碼低分辨塊放大為和預(yù)測塊同樣大小(16×16像素)的放大塊127。對于放大塊的生成方法，因?yàn)樵诜糯髩K生成單元154的功能說明中，已參照圖5、圖6進(jìn)行了說明故省略其說明。
在S3中，如圖7、圖8所示，塊分割單元162把放大塊分割為4×4小塊和2×2小塊。分割后的各小塊把1個(gè)4×4小塊，和在空間上與其處于同一位置的4個(gè)2×2小塊作為一組，輸入到小塊運(yùn)動(dòng)推斷單元163。
在S4中，小塊運(yùn)動(dòng)推斷單元163以上述組單位檢測4個(gè)2×2小塊的運(yùn)動(dòng)向量。小塊運(yùn)動(dòng)推斷處理對1個(gè)4×4小塊和4個(gè)2×2小塊分別執(zhí)行。按照該順序先對4×4小塊執(zhí)行處理，其后，對4個(gè)2×2小塊執(zhí)行處理。
在此，參照圖13說明小塊運(yùn)動(dòng)推斷處理。首先，在S41中輸入小塊，評價(jià)值E min被設(shè)定為最大整數(shù)值(初始值)(S42)。然后，在S43中，判斷小塊的大小。其后，執(zhí)行與該判定結(jié)果相應(yīng)的處理S441或者S442。即，在過去的譯碼幀520(保存在幀存儲器上)上，設(shè)定查找范圍的大小和查找范圍的中心位置(檢索中心點(diǎn))。
接著，從該中心點(diǎn)開始按照螺旋順序檢索在譯碼幀520的查找范圍內(nèi)的預(yù)測小塊的候補(bǔ)，其結(jié)果，特定上述評價(jià)值E min為最小的預(yù)測小塊。具體地說，小塊運(yùn)動(dòng)推斷單元163從幀存儲器153的譯碼幀中取得下一候補(bǔ)的預(yù)測小塊113(S45)，計(jì)算評價(jià)值(S46)。評價(jià)值E是在小塊和預(yù)測小塊之間的像素差分值的絕對值的總和。
在S47中，判定評價(jià)值E是否比評價(jià)值E min還小。當(dāng)評價(jià)值E比評價(jià)值E min小的情況下(S47YES)，在把評價(jià)值E min更新為評價(jià)值E的同時(shí)，小塊的運(yùn)動(dòng)向量被更新為從小塊的位置到預(yù)測小塊的現(xiàn)在候補(bǔ)塊的位置的移動(dòng)量(S48)。另一方面，當(dāng)評價(jià)值E在評價(jià)值E min或者以上的情況下(S47NO)，省略S48的處理，轉(zhuǎn)移到S49。
在S49中，判定在查找范圍內(nèi)的全部候補(bǔ)的預(yù)測小塊的檢索是否已結(jié)束。以后，在S49中判斷為在查找范圍內(nèi)的全部候補(bǔ)的預(yù)測小塊的檢索結(jié)束為止，重復(fù)執(zhí)行S45～S49的一連串的處理。而后，在判斷為上述檢索結(jié)束的時(shí)刻，小塊運(yùn)動(dòng)推斷處理結(jié)束。
返回圖11，在S5中，小塊運(yùn)動(dòng)補(bǔ)償單元164從幀存儲器153的譯碼幀中，分別取得與在S3和S4中檢測出的4條2×2小塊的運(yùn)動(dòng)向量對應(yīng)的2×2預(yù)測小塊116。S3～S5的各處理對16組的小塊執(zhí)行。
在S6中，塊合并單元155通過基于在S3中使用的分割規(guī)則，把64個(gè)2×2預(yù)測小塊排列成分割前的位置，由此合并為16×16像素的預(yù)測塊。在S7中，減法單元253在編碼對象塊和預(yù)測塊之間進(jìn)行各像素的減算，生成誤差塊。在S8中，誤差塊編碼單元254對誤差塊進(jìn)行編碼(變換/量化)，生成誤差塊信息(例如，量化變換系數(shù))。
在S9中，誤差塊譯碼單元156對上述誤差塊信息進(jìn)行譯碼(反量化/反變換)，生成譯碼誤差塊。在S10中，加法單元157在預(yù)測塊和譯碼誤差塊之間進(jìn)行各像素加算，生成譯碼塊。所生成的譯碼塊如果被保存在幀存儲器153的現(xiàn)在的譯碼幀中(S11)，則熵編碼單元255對低分辨塊信息和誤差塊信息進(jìn)行熵編碼(S12)，塊編碼處理結(jié)束。
以下，說明圖2所示的譯碼裝置200的結(jié)構(gòu)。譯碼裝置200是執(zhí)行塊單位的預(yù)測處理和編碼數(shù)據(jù)101的譯碼處理，并以塊單位按照光柵掃描順序重放譯碼塊122的裝置。在本實(shí)施方式中，通過預(yù)測處理生成的預(yù)測塊和譯碼塊的大小相同，都設(shè)置成16×16像素。
熵譯碼單元150在接收在作為譯碼對象的譯碼塊的生成中需要的編碼數(shù)據(jù)101的輸入后，通過熵譯碼，把編碼數(shù)據(jù)101分離為低分辨塊信息102和誤差塊信息119。低分辨塊譯碼單元151通過譯碼低分辨誤差信息102，生成像素?cái)?shù)比預(yù)測塊的像素?cái)?shù)還少的8×8像素的譯碼低分辨塊110。
分離單元131把低分辨塊信息102分離為低分辨塊預(yù)測用運(yùn)動(dòng)向量104和低分辨誤差塊信息(例如，低分辨誤差塊的量化變換系數(shù))107。運(yùn)動(dòng)補(bǔ)償單元133從被保存在幀存儲器153中的譯碼幀520中，取得與低分辨塊預(yù)測用運(yùn)動(dòng)向量104對應(yīng)的低分辨預(yù)測塊106。
反量化單元136對低分辨誤差塊的量化變換系數(shù)107進(jìn)行反量化處理，生成低分辨誤差塊的譯碼量化變換系數(shù)108。反變換單元137通過對譯碼量化變化系數(shù)108進(jìn)行反DCT變換，生成譯碼低分辨誤差塊109。加法單元135計(jì)算在低分辨預(yù)測塊106和譯碼低分辨誤差塊109中的各像素的加算值，生成譯碼低分辨塊110。
而且，放大塊生成單元154、塊分割單元162、小塊預(yù)測單元152以及塊合并單元155具有的各功能和處理結(jié)果與編碼裝置100的說明相同。因而，其說明以及用于說明的圖示省略。
另外，誤差塊譯碼單元156對誤差塊信息(例如，量化變換系數(shù))119進(jìn)行譯碼而生成譯碼誤差塊121。誤差塊譯碼單元156具有反量化單元140和反變換單元141。反量化單元140對量化變換系數(shù)119進(jìn)行反量化，生成譯碼量化變換系數(shù)120。反變換單元141對譯碼量化變換系數(shù)120進(jìn)行反DCT變換，生成譯碼誤差塊121。
加法單元157對于預(yù)測塊118的各像素計(jì)算和譯碼誤差塊121在空間上處于一致的位置的像素和該像素的加算值，由此生成譯碼塊122。譯碼塊122更新被保存在幀存儲器153中的已譯碼圖像。
接著，說明譯碼裝置200的動(dòng)作，一并說明構(gòu)成本發(fā)明的運(yùn)動(dòng)圖像譯碼方法的各步驟。而且，在圖14的塊譯碼處理中，在圖中括號內(nèi)表示圖11所示的塊編碼處理和其內(nèi)容以及處理結(jié)果共用的步驟的符號。
開始下一個(gè)塊的譯碼處理后，則首先在T1中，把在該塊的譯碼中需要的1塊量的編碼數(shù)據(jù)輸入到熵譯碼單元150(T1)。在T2中，熵譯碼單元150對輸入的編碼數(shù)據(jù)進(jìn)行熵譯碼，得到低分辨塊信息和誤差塊信息。在這些信息中，低分辨塊信息通過低分辨塊譯碼處理404，被輸入到低分辨塊譯碼單元151，被譯碼為譯碼低分辨塊。
在此，參照圖15說明在T3中的低分辨塊譯碼處理。在T31中，把低分辨塊信息輸入到分離單元131。分離單元131在T32中把低分辨塊信息分離為運(yùn)動(dòng)向量和低分辨誤差塊信息。在T33中，運(yùn)動(dòng)補(bǔ)償單元133從過去譯碼的譯碼幀520(保存在幀存儲器153中)中，取得與低分辨塊預(yù)測用運(yùn)動(dòng)向量104對應(yīng)的低分辨塊預(yù)測塊106。
在T34中，反量化單元136對作為低分辨誤差塊信息的量化變換系數(shù)107進(jìn)行反量化處理，生成譯碼量化變換系數(shù)108。進(jìn)而，反變換單元137對該譯碼量化變換系數(shù)108進(jìn)行反DCT變換，生成譯碼低分辨誤差塊109。在T35中，加法單元135對低分辨預(yù)測塊106和譯碼低分辨誤差塊109的各像素進(jìn)行加算，生成譯碼低分辨塊110。
返回圖14，如圖5以及圖6所示，放大塊生成單元154把譯碼低分辨塊110放大為和預(yù)測塊同樣大小(16×16像素)的放大塊127(T4)。作為放大塊的生成方法，因?yàn)樵诜糯髩K生成單元154的功能說明中已參照圖5、圖6進(jìn)行了說明故省略其說明。
在T5～T7中，塊分割單元162和小塊預(yù)測單元152把放大塊分割為64個(gè)2×2小塊，生成64個(gè)2×2預(yù)測小塊。而且，圖14的T5、T6的各處理因?yàn)楹蛨D11所示的S3、S4的各處理分別相同，所以省略其詳細(xì)說明。另外，T7的處理因?yàn)楹蛨D11的S5的處理相同，因而其說明省略。
在T8中，塊合并單元155基于在T5中的分割規(guī)則把在T6以及T7中生成的64個(gè)2×2預(yù)測小塊排列成分割前的原來的位置。由此，把上述預(yù)測小塊合并為16×16像素的預(yù)測塊。
在T9中，誤差塊譯碼單元156對誤差塊信息(例如量化變換系數(shù))進(jìn)行譯碼(反量化/反變換)，生成譯碼誤差塊。在T10中，加法單元157對預(yù)測塊和譯碼誤差塊的各像素進(jìn)行加算，生成譯碼塊。在T11中，把譯碼塊保存在幀存儲器153中，其結(jié)果，更新已譯碼圖像。
圖16(a)例示存儲有用于實(shí)現(xiàn)本實(shí)施方式中的圖像編碼處理的運(yùn)動(dòng)圖像編碼程序，以及用于實(shí)現(xiàn)同一圖像譯碼處理的運(yùn)動(dòng)圖像譯碼程序的軟盤的物理格式。另外，圖16(b)表示上述軟盤的正面和外觀和斷面構(gòu)造。軟盤FD被內(nèi)置于殼F內(nèi)，在該盤的表面上從外周向內(nèi)周以同心圓狀形成多條磁道Tr。這些磁道按照角度方向被分為16個(gè)扇形Se。在軟盤FD上所分割的區(qū)域上，作為數(shù)據(jù)記錄著上述程序。
當(dāng)向軟盤FD記錄上述程序時(shí)，如圖16(c)所示，是從計(jì)算機(jī)系統(tǒng)Cs通過軟盤驅(qū)動(dòng)器FDD進(jìn)行的。當(dāng)用軟盤FD內(nèi)的程序在計(jì)算機(jī)系統(tǒng)Cs中構(gòu)筑編碼裝置100或者譯碼裝置200時(shí)，軟盤驅(qū)動(dòng)器FDD從軟盤FD中讀出上述程序，轉(zhuǎn)送到計(jì)算機(jī)系統(tǒng)Cs中。
圖17是表示本發(fā)明的運(yùn)動(dòng)圖像編碼程序261的結(jié)構(gòu)的圖。運(yùn)動(dòng)圖像編碼程序261被記錄在記錄介質(zhì)260上。記錄介質(zhì)260例如是上述的軟盤，但也可以是光盤和IC卡、CD-ROM、DVD，或者半導(dǎo)體存儲器。在計(jì)算機(jī)系統(tǒng)Cs中，并不限于PC(Personal Computer個(gè)人計(jì)算機(jī))，還包含具備CPU，利用軟件進(jìn)行分辨信息處理和控制的DVD機(jī)、機(jī)頂盒、手機(jī)等。
以下，說明本發(fā)明的運(yùn)動(dòng)圖像編碼程序以及運(yùn)動(dòng)圖像譯碼程序的結(jié)構(gòu)。運(yùn)動(dòng)圖像編碼程序261如圖17所示，被存儲在形成于記錄介質(zhì)260上的程序存儲區(qū)域260a內(nèi)。運(yùn)動(dòng)圖像編碼程序261把綜合控制運(yùn)動(dòng)圖像編碼處理的主模塊261a；編碼對象塊分割模塊261b；譯碼低分辨塊生成模塊261c；低分辨塊放大模塊261d；大塊分割模塊261e；小塊預(yù)測模塊261f；塊合并模塊261g作為單元所具有。通過執(zhí)行這些模塊實(shí)現(xiàn)的功能和上述的運(yùn)動(dòng)圖像編碼裝置100的編碼塊分割單元251；譯碼低分辨塊生成單元252；大塊生成單元154；塊分割單元162；小塊預(yù)測單元152；塊合并單元155的各功能分別相同。
運(yùn)動(dòng)圖像譯碼程序161如圖18所示，被存儲在形成于記錄介質(zhì)160上的程序存儲區(qū)域160a內(nèi)。運(yùn)動(dòng)圖像譯碼程序161把總控制運(yùn)動(dòng)圖像譯碼處理的主模塊161a；熵譯碼模塊161b；低分辨塊譯碼模塊161c；低分辨塊放大模塊161d；放大塊分割模塊161e；小塊預(yù)測模塊161f；塊合并模塊161g作為單元所具有。通過執(zhí)行這些各模塊實(shí)現(xiàn)的功能和上述的運(yùn)動(dòng)圖像譯碼裝置200的熵譯碼單元150；低分辨塊譯碼單元151；放大塊生成單元154；塊分割單元162；小塊預(yù)測單元152；塊合并單元155的各功能分別相同。
而且，運(yùn)動(dòng)圖像編碼程序261的構(gòu)成可以是其一部分或者全部經(jīng)由通信線路等的傳送介質(zhì)傳送，用其他的設(shè)備接收并記錄(包含安裝)。對于運(yùn)動(dòng)圖像譯碼程序161也一樣，其構(gòu)成也可以是它的一部分或者全部經(jīng)由通信線路等的傳送介質(zhì)傳送，由其他的設(shè)備接收并記錄(包含安裝)。
而且，上述實(shí)施方式中記述的形態(tài)是本發(fā)明的運(yùn)動(dòng)圖像編碼/譯碼技術(shù)的優(yōu)選的一例，本發(fā)明并不限于這樣的形態(tài)。
(第1變形形態(tài))本形態(tài)涉及小塊的運(yùn)動(dòng)向量檢測方法。在上述實(shí)施方式中，是以在4×4小塊中為±32，在2×2小塊中是±1作為小塊的運(yùn)行向量檢測時(shí)的查找范圍。但也可以是不同的查找范圍。另外，對于小塊的運(yùn)動(dòng)向量成分的精度，不僅是整數(shù)值，還可以設(shè)置成實(shí)數(shù)值。在實(shí)數(shù)值中有1/2像素、1/4像素等，作為向量成分是實(shí)數(shù)值的情況下的預(yù)測像素的計(jì)算方法，例如可以適用在H.264(“Text of ISO/IEC 14496-10Advanced Video Coding 3rd Edition”，September 2004)中記述的方法。
另外，在上述實(shí)施方式中，對于在小塊的運(yùn)動(dòng)向量檢測時(shí)的查找范圍的中心點(diǎn)，在4×4小塊中設(shè)為低分辨塊預(yù)測用運(yùn)動(dòng)向量，在2×2小塊中設(shè)為在空間上處于同一位置的4×4小塊的運(yùn)動(dòng)向量。但是，如果是在編碼側(cè)和譯碼側(cè)能夠唯一確定的值，則并不限定于此。例如，也可以把0向量、通過中央值預(yù)測等的方法從相鄰小塊的運(yùn)動(dòng)向量中選定的預(yù)測向量設(shè)定為查找范圍的中心點(diǎn)。
進(jìn)而，雖然把檢測小塊的運(yùn)動(dòng)向量時(shí)的評價(jià)值作為像素差分值的絕對值和，但并不限于此，只要是在編碼側(cè)和譯碼側(cè)能夠唯一確定的評價(jià)方法即可。例如，也可以向像素差分值的平方和，或者與像素位置相應(yīng)的像素差分值的加權(quán)絕對值和(平方和)等變形。雖然把預(yù)測對象的譯碼幀限定為1幀，但也可以把多個(gè)已譯碼幀作為對象，從每個(gè)小塊不同的譯碼幀中生成預(yù)測小塊。此時(shí)，作為評價(jià)值如果使用像素差分值的絕對值和等，在編碼側(cè)和譯碼側(cè)相同的評價(jià)值，則不需要對譯碼幀的選擇信息進(jìn)行編碼，是高效率的。
(第2變形形態(tài))本形態(tài)涉及預(yù)測方法。作為預(yù)測方法，限定并說明了在時(shí)間方向的預(yù)測，但即使在使用了編碼對象塊或者譯碼塊相同的幀內(nèi)的已譯碼的已譯碼圖像分辨的空間方向的預(yù)測中，也能夠適用同樣的方法。即，也可以使用內(nèi)部預(yù)測放大上述的譯碼低分辨塊。更具體地說，譯碼裝置200對再分割了的譯碼低分辨塊的低分辨塊進(jìn)行分割，在使用同一幀內(nèi)相鄰的已譯碼的像素，例如從H.264(“Text of ISO/IEC 14496-10Advanced Video Coding 3rd Edition”，September 2004.)的多個(gè)內(nèi)部預(yù)測模式中確定了最佳的模式，預(yù)測與該譯碼低分辨塊相當(dāng)?shù)母叻直娑刃盘柕膲K的情況等也包含在本發(fā)明中。在這種情況下，因?yàn)椴恍枰魇镜貍魉透骺s小分割塊的預(yù)測模式，所以起到能夠以少量的輔助信息高精度地預(yù)測對象塊的優(yōu)異的效果。另外，組合上述的時(shí)間方向的預(yù)測和空間方向的預(yù)測也可以進(jìn)行高精度的預(yù)測。例如，在放大塊生成單元154執(zhí)行采用內(nèi)部預(yù)測的譯碼低分辨塊的放大處理，把該放大塊分割為小塊，執(zhí)行小塊預(yù)測單元152的處理的方法也有效。
(第3變形形態(tài))本形態(tài)涉及誤差塊的編碼。對預(yù)測塊和編碼對象塊之間的誤差塊的編碼處理不是必須的。即，可以省略誤差塊編碼單元254(圖1)和誤差塊譯碼單元156(圖1和圖2)。另外，也可以確定是否有針對每個(gè)編碼對象塊或者譯碼對象塊的編碼。對于誤差塊，以及低分辨誤差塊的具體的編碼/譯碼方法，并不限定在上述的方法。進(jìn)而，在上述實(shí)施方式中，是把編碼對象塊和預(yù)測對象塊大小設(shè)置為相同，但以不同的大小也可以實(shí)現(xiàn)本發(fā)明的預(yù)測方法。另外，誤差信號的編碼并不限于塊單位，也可以以畫面單位進(jìn)行。但是，在這種情況下，應(yīng)該準(zhǔn)備在低分辨塊的放大處理中使用的塊邊界的譯碼像素，并需要在執(zhí)行低分辨塊的放大處理前，執(zhí)行相鄰預(yù)測塊的生成處理和預(yù)測誤差信號的譯碼處理。
(第4變形形態(tài))本形態(tài)涉及塊大小。在上述實(shí)施方式中，設(shè)置低分辨塊預(yù)測用的運(yùn)動(dòng)向量對編碼對象塊和譯碼對象塊各是1個(gè)。但是，如圖19所示，把編碼對象塊分割為多個(gè)塊，對于以分割塊為單位實(shí)施塊匹配的方法，本發(fā)明的預(yù)測方法也可以適用。在這種情況下，在以編碼對象塊為單位確定小塊的大小的同時(shí)，對分割塊的大小信息和多個(gè)運(yùn)動(dòng)向量(104a，104b，104c，104d)進(jìn)行編碼。
進(jìn)而，在圖19的例子中，在4×4小塊的運(yùn)動(dòng)向量檢測時(shí)的查找范圍的中心點(diǎn)可以設(shè)定在從4條低分辨塊預(yù)測用的運(yùn)動(dòng)向量到在空間上處于同一位置的運(yùn)動(dòng)向量表示的位置上。
而且，在圖19中，是把分割方法設(shè)置成8×8單位，但并不限于此，可以適應(yīng)性地利用H.264(“Text of ISO/IEC 14496-10 AdvancedVideo Coding 3rd Edition”，September 2004.)所示那樣的分割方法。另外，對于編碼對象塊的大小和譯碼塊的大小來說并不限定在16×16。即，即使是32×32、8×8、4×4等不同的塊大小，也可以通過依照其大小相應(yīng)地變更小塊的大小來適用本發(fā)明。
在小塊預(yù)測單元152(圖6的S3和S4)中的小塊的大小也并不限定于4×4和2×2。例如，如圖20所示的5×5小塊112c和3×3小塊112d那樣，通過使向量小塊相互重疊，也可以放大小塊大小。小的塊大小因?yàn)榇嬖谝蛟趬K內(nèi)沒有特征的情況下使預(yù)測性能下降的趨勢，所以通過采用本形態(tài)，預(yù)計(jì)局部形的預(yù)測性能提高。而且，把小塊大小以5×5和4×4以及3×3和2×2的大小適應(yīng)性地切換的方法也有效。和它一樣，在執(zhí)行變換/量化時(shí)的塊大小也沒有限定。即，編碼裝置100以及譯碼裝置200例如以8×8塊和16×16塊為單位對誤差塊進(jìn)行變換/量化。
(第5變形形態(tài))本形態(tài)涉及譯碼低分辨塊的放大方法。在上述的實(shí)施方式中設(shè)為放大塊生成單元154從和預(yù)測塊的上邊和左邊相鄰的塊的譯碼像素中，取得為了放大譯碼低分辨塊而參照的邊界譯碼像素群123。但是，如圖21所示，也可以從相鄰的塊的譯碼低分辨塊的譯碼像素中取得邊界譯碼像素群123，生成放大塊。
圖22、圖23分別表示用于實(shí)現(xiàn)上述變形形態(tài)的編碼裝置300以及譯碼裝置400。編碼裝置300、譯碼裝置400和編碼裝置100、譯碼裝置200在以下方面不同。
(i)把譯碼低分辨塊110暫時(shí)保存在幀存儲器153中，(ii)把與相鄰塊在空間上對應(yīng)的譯碼低分辨塊的譯碼像素作為邊界譯碼像素合并為譯碼低分辨塊，(iii)把包含邊界譯碼像素的低分辨塊124(參照圖21)作為單位，輸入到放大塊生成單元154，通過如此構(gòu)成編碼裝置300以及譯碼裝置400，可以變更邊界譯碼像素。
而且，圖1和圖2所示的各裝置的特征、圖22和圖23所示的各裝置的特征可以根據(jù)條件適宜地組合。例如，各裝置在相鄰的塊的低分辨塊用運(yùn)動(dòng)向量和現(xiàn)在的預(yù)測對象的塊相同的情況下，把譯碼低分辨塊的譯碼像素作為邊界譯碼像素使用。在不同的情況，把譯碼幀的譯碼像素作為邊界譯碼像素使用。另外，也可以在以塊單位適宜地切換多個(gè)預(yù)測方法的編碼方式中，把現(xiàn)在的預(yù)測對象塊的相鄰塊的預(yù)測方法作為條件，變更邊界譯碼像素。
進(jìn)而，也可以不使用邊界譯碼像素，而如在幀一端進(jìn)行處理那樣，只從低分辨預(yù)測塊內(nèi)的像素中生成放大塊。另外，在上述實(shí)施方式中，是從現(xiàn)在幀的已譯碼圖像中抽出邊界譯碼像素的，但也可以使用在空間上處于同一位置的過去的譯碼幀的譯碼像素。邊界譯碼像素設(shè)為與預(yù)測對象的塊相鄰的像素，但如果是已譯碼的像素，則并不限于此，可以使用離開塊邊界的譯碼像素，或者使用從多個(gè)譯碼像素中生成的像素等。
(第6變形形態(tài))本形態(tài)涉及縮小方法。在上述的實(shí)施方式中，如圖4所示，雖然作為塊的縮小處理，采用了在縱/橫方向上以1行間隔進(jìn)行間隔剔除處理的方法，但并不限于此方法。例如，低分辨塊的像素?cái)?shù)只要在編碼裝置100和譯碼裝置200之間預(yù)先確定即可，可以設(shè)定成像素?cái)?shù)比譯碼塊(編碼對象塊)，的像素?cái)?shù)還少的任意形狀。例如，對于把圖4所示的低分辨預(yù)測塊106的各像素在縱橫方向上錯(cuò)開1像素的塊，和如圖24的低分辨預(yù)測塊1061那樣把像素?cái)?shù)設(shè)置成一半的塊，也可以適用本發(fā)明。
另外，在上述實(shí)施方式中，是只用間隔剔除處理實(shí)現(xiàn)塊的縮小，但也可以在對塊的像素實(shí)施了低通濾波處理后進(jìn)行間隔剔除處理。但是，為了提高運(yùn)動(dòng)檢索精度，對于成為向小塊運(yùn)動(dòng)推斷單元163輸入的候補(bǔ)預(yù)測塊113，也需要實(shí)施同一低通濾波處理。
(第7變形形態(tài))本形態(tài)涉及低分辨塊預(yù)測。在上述實(shí)施方式中，各裝置是從幀存儲器153中直接取得低分辨預(yù)測塊，但也可以從被保存在幀存儲器153中的過去的譯碼幀520中取得為了生成低分辨預(yù)測塊1061所需要的數(shù)據(jù)15。其后，在運(yùn)動(dòng)補(bǔ)償單元133內(nèi)部，生成圖3所示的16×16像素大小的預(yù)測塊105，也可以把預(yù)測塊105變換為8×8像素大小的低分辨預(yù)測塊106。
另外，在上述實(shí)施方式中，設(shè)各裝置把16×16像素的預(yù)測對象塊輸入到運(yùn)動(dòng)推斷單元211，但低分辨塊預(yù)測并不限于本實(shí)施例所述的方法，例如，也可以把對預(yù)測對象塊實(shí)施了圖4的變換規(guī)則的低分辨塊作為上述輸入。在這種情況下，通過選定低分辨塊預(yù)測用運(yùn)動(dòng)向量使低分辨預(yù)測塊和低分辨編碼對象塊(低分辨預(yù)測對象塊)的預(yù)測誤差變小，具有削減低分辨誤差塊的符號量的效果。
(第8變形形態(tài))本形態(tài)涉及多預(yù)測模式的編碼。在上述實(shí)施方式中，只把編碼對象塊(譯碼塊)的預(yù)測方法作為本發(fā)明的預(yù)測方法。但是，也可以設(shè)置成以編碼對象塊(譯碼塊)為單位，適宜地選擇如背景技術(shù)中記述的那樣，對多個(gè)運(yùn)動(dòng)向量進(jìn)行編碼的以往的塊預(yù)測方法，和涉及本發(fā)明的預(yù)測方法之一。
進(jìn)而，在上述的預(yù)測方法中，設(shè)用本發(fā)明的預(yù)測方法預(yù)測16×16塊內(nèi)的所有像素。但是，也可以分割16×16塊，以分割塊為單位適宜地切換本發(fā)明的預(yù)測方法，和使用了低分辨塊預(yù)測用運(yùn)動(dòng)向量的幀間預(yù)測方法。例如，圖25表示在把16×16編碼對象塊(預(yù)測塊)分割為4個(gè)8×8塊，以8×8為單位進(jìn)行適應(yīng)預(yù)測的情況下，可以進(jìn)行該實(shí)施的編碼裝置500。圖26表示同樣的譯碼裝置600。圖27表示在本形態(tài)中的譯碼低分辨塊以及放大塊。
圖25的編碼裝置500和圖1所示的編碼裝置100在以下方面不同。第1，放大塊生成單元1541以8×8為單位執(zhí)行譯碼低分辨塊的放大處理。即，放大塊生成單元1541以4×4為單位把譯碼低分辨塊擴(kuò)展為8×8擴(kuò)展塊，輸出到塊分割單元162。放大塊生成單元1541如圖27所示，把8×8譯碼低分辨塊110分割為4個(gè)4×4低分辨塊110a、110b、110c、110d。而后，以4×4塊為單位合并邊界譯碼像素群128a～128d，放大為8×8放大塊1271。被放大的8×8放大塊在塊分割單元165，如塊1271a和塊1271b所示那樣，被分割為4×4小塊和2×2小塊。而后，被輸入到小塊預(yù)測單元152。
而且，因?yàn)樵谶吔缱g碼像素群128a～128d中使用譯碼像素，所以在該適應(yīng)預(yù)測方式中，需要以8×8為單位執(zhí)行預(yù)測誤差的編碼處理。但是，在現(xiàn)有的編碼方式中，為了以通常的8×8為單位執(zhí)行預(yù)測誤差的編碼處理，只切換預(yù)測處理和誤差編碼處理的執(zhí)行單位，也能夠與上述適應(yīng)預(yù)測方式對應(yīng)。
第2，判定單元256以8×8塊為單位進(jìn)行預(yù)測方法和預(yù)測塊的選擇。向判定單元256輸入預(yù)測對象塊202，和運(yùn)動(dòng)補(bǔ)償單元1331使用低分辨塊預(yù)測用運(yùn)動(dòng)向量104從幀存儲器153中讀出的16×16預(yù)測塊105。其后，這些塊分別被分割為4個(gè)8×8編碼對象塊，和4分割了16×16預(yù)測塊后的低分辨預(yù)測塊選擇用8×8預(yù)測塊。
另一方面，從塊合并單元155向判定單元256輸入在本發(fā)明的小塊預(yù)測方法中生成的8×8預(yù)測塊118。判定單元256對2種預(yù)測塊，以8×8為單位計(jì)算和編碼對象塊的像素差分絕對值和，選擇值小的8×8預(yù)測塊，合并為16×16像素的預(yù)測塊126。而后，把選擇出的預(yù)測方式的選擇信息125輸出到合并單元2161。
第3，合并單元2161把選擇信息125與低分辨塊信息1021合并。當(dāng)選擇信息125選擇使用了低分辨塊預(yù)測用運(yùn)動(dòng)向量104的預(yù)測方式的情況下，在8×8塊大小的譯碼低分辨塊中，不需要對應(yīng)的4×4塊區(qū)域的信息。因此，在這樣的情況下，因?yàn)閷?yīng)的4×4低分辨誤差塊的量化變換系數(shù)全部為零，所以不與低分辨塊信息1021合并。
圖26的譯碼裝置600和圖1所示的譯碼裝置200在以下方面不同。第1，放大塊生成單元1541以8×8為單位執(zhí)行譯碼低分辨塊的放大處理。該方法因?yàn)槿缬脠D27說明的那樣，所以省略詳細(xì)說明，在譯碼一側(cè)，也需要在生成了8×8預(yù)測塊的時(shí)刻，執(zhí)行對應(yīng)的8×8預(yù)測誤差塊的譯碼處理，并譯碼8×8譯碼塊。
第2，開關(guān)159根據(jù)從低分辨塊信息1021分離出的選擇信息125，切換2種預(yù)測方式。但是，當(dāng)選擇信息125選擇使用了運(yùn)動(dòng)向量104的預(yù)測方式的情況下，在8×8譯碼低分辨塊中，在低分辨塊信息1021中不包含對應(yīng)的4×4塊區(qū)域的信息。即，低分辨誤差塊的量化系數(shù)全部為零。因此，對于該區(qū)域，不執(zhí)行相應(yīng)的4×4低分辨塊的譯碼處理，以及本發(fā)明的小塊預(yù)測處理。
而且，在第8變形例子中，也可以適用在上述第5變形例子中說明的塊放大方法，依照預(yù)測對象塊的相鄰塊的預(yù)測方法，能夠適應(yīng)地切換塊放大方法。
以下，參照

本發(fā)明的實(shí)施方式。
圖28表示實(shí)現(xiàn)本發(fā)明的預(yù)測譯碼的運(yùn)動(dòng)圖像譯碼裝置(以下稱為“譯碼裝置”)的結(jié)構(gòu)，圖29表示實(shí)現(xiàn)本發(fā)明的預(yù)測編碼的運(yùn)動(dòng)圖像編碼裝置(以下稱為“編碼裝置”)的結(jié)構(gòu)。而且，假設(shè)在圖28以及圖29中標(biāo)注有相同號碼的處理部分具有同樣的功能。
圖29的編碼裝置是在編碼塊分割單元251把輸入幀201分割為8×8的編碼對象塊202，按照光柵掃描順序?qū)υ诜指钪械玫降亩鄠€(gè)編碼對象塊202進(jìn)行編碼的裝置。和實(shí)施方式1一樣，因?yàn)榧词乖诒緦?shí)施方式中也是把預(yù)測對象的預(yù)測對象塊和編碼對象的編碼對象塊的塊大小設(shè)置成相同，所以預(yù)測對象塊和編碼對象塊一致。另外，所謂預(yù)測塊是從過去譯碼的像素中通過預(yù)測處理而生成的塊。而且，預(yù)測對象塊和編碼對象塊的塊大小不同也可以。編碼對象塊202首先被輸入譯碼低分辨塊生成單元252。
譯碼低分辨塊生成單元252是生成“像素?cái)?shù)比編碼對象塊(預(yù)測對象塊)202的像素?cái)?shù)還少的譯碼低分辨塊110”以及“低分辨塊信息102”的處理單元。在此，說明譯碼低分辨塊生成單元252的動(dòng)作。在運(yùn)動(dòng)推斷單元211中，按照光柵掃描順序輸入編碼對象塊(預(yù)測對象塊)202，運(yùn)動(dòng)推斷單元211在已輸入的編碼對象塊(預(yù)測對象塊)202和被保持在幀存儲器153中的多個(gè)候補(bǔ)預(yù)測塊203之間實(shí)施塊匹配處理，檢測1條運(yùn)動(dòng)向量104。運(yùn)動(dòng)向量預(yù)測/編碼單元212輸入檢測出的運(yùn)動(dòng)向量104，計(jì)算對各成分值減去預(yù)測向量的各成分的值后的差分運(yùn)動(dòng)向量103。預(yù)測運(yùn)動(dòng)向量通過把當(dāng)前塊的左、正上、右上(在幀以外的情況下，是左上)的相鄰3塊的運(yùn)動(dòng)向量作為對象根據(jù)中央值預(yù)測(針對每種成分)進(jìn)行計(jì)算。運(yùn)動(dòng)補(bǔ)償單元133從被保持在幀存儲器153中的已譯碼的譯碼幀520中，取得與運(yùn)動(dòng)向量104對應(yīng)的塊105。塊105由縮小處理單元134如圖36所示那樣，變換為縱橫每隔1行抽出了像素的低分辨預(yù)測塊106。進(jìn)而編碼對象塊(預(yù)測對象塊)202也一樣，用縮小處理單元134變換為像素?cái)?shù)比編碼對象塊(預(yù)測對象塊)202像素還少的低分辨編碼對象塊(低分辨預(yù)測對象塊)205。減法單元213對低分辨編碼對象塊(低分辨預(yù)測對象塊)205的各像素，計(jì)算和低分辨預(yù)測塊106在空間上位置一致的像素和該各像素的差分值，生成低分辨誤差塊206。變換單元214對低分辨誤差塊206進(jìn)行4×4離散余弦變換(DCT)，生成16個(gè)低分辨誤差塊的變換系數(shù)207。量化單元215對變換系數(shù)207進(jìn)行量化，生成低分辨誤差塊的量化變換系數(shù)107。合并單元216歸納差分運(yùn)動(dòng)向量103和低分辨誤差塊的量化變換系數(shù)107，作為低分辨塊信息102輸出到熵編碼單元255。反量化單元136對量化變換系數(shù)107進(jìn)行反量化，生成低分辨誤差塊的譯碼量化變換系數(shù)108。反變換單元137對譯碼量化變換系數(shù)108進(jìn)行反DCT變換，生成譯碼低分辨誤差塊109。加法單元217對低分辨預(yù)測塊106的各像素，進(jìn)行和譯碼低分辨誤差塊109在空間上位置一致的像素和該像素的加算值的計(jì)算，生成譯碼低分辨塊110。
以下，低分辨塊分割單元166把譯碼低分辨塊110和圖36的塊106一樣分割為2×2的低分辨分割塊112。各低分辨分割塊112被輸入到小塊預(yù)測單元158(相當(dāng)于圖1，圖2的152)。
小塊預(yù)測單元158是使用被保持在幀存儲器153中的已譯碼圖像，對低分辨分割塊112的每個(gè)，進(jìn)行4×4的預(yù)測小塊116的生成的處理單元。該小塊預(yù)測單元158的處理因?yàn)橹话岩炎g碼的圖像作為輸入實(shí)施，所以對于譯碼裝置也可以實(shí)施同樣的處理。在此，說明小塊預(yù)測單元158的動(dòng)作。被輸入到小塊預(yù)測單元158的4×4塊(稱為“候補(bǔ)預(yù)測小塊”)113被縮小處理單元134變換為像素?cái)?shù)少的候補(bǔ)縮小預(yù)測小塊114，而后被輸出到放大運(yùn)動(dòng)推斷單元138。放大運(yùn)動(dòng)推斷單元138對圖35所示的2×2低分辨分割塊112(112a～112d)、與低分辨分割塊的4個(gè)像素在空間上對應(yīng)的4個(gè)像素(候補(bǔ)縮小預(yù)測小塊114)之間進(jìn)行塊匹配，檢測低分辨分割塊的運(yùn)動(dòng)向量115(115a～115d)。此時(shí)的差分評價(jià)值設(shè)置成“低分辨分割塊的4個(gè)像素”和“在檢索的4×4塊(候補(bǔ)預(yù)測小塊113)的16個(gè)像素內(nèi)，和低分辨分割塊的4個(gè)像素在空間上對應(yīng)的4個(gè)像素(候補(bǔ)縮小預(yù)測小塊114)”的差分絕對值和(詳細(xì)內(nèi)容用圖32在以后敘述)。只把這樣的已譯碼圖像作為輸入值的差分評價(jià)值因?yàn)橛米g碼裝置也能計(jì)算，所以在譯碼裝置中也能夠檢測和編碼裝置一樣的運(yùn)動(dòng)向量。預(yù)測小塊取得單元139從幀存儲器153的譯碼幀520中取得與低分辨分割塊的運(yùn)動(dòng)向量115(115a～115d)對應(yīng)的4×4預(yù)測小塊116(116a～116d)。
以下，塊合并單元155如圖35左側(cè)所示那樣合并4個(gè)預(yù)測小塊116a～116d，生成8×8的預(yù)測小塊118(圖29)。減法單元253對于編碼對象塊202的各像素計(jì)算和預(yù)測小塊118在空間上位置一致的像素和該各像素的差分值，生成誤差塊208。
誤差塊編碼單元254是對誤差塊208進(jìn)行編碼生成誤差塊信息119，而后輸出到熵編碼單元255的處理單元。在此，說明誤差塊編碼單元254的動(dòng)作。變換單元218對誤差塊208進(jìn)行8×8離散余弦變換(DCT)，生成64個(gè)變換系數(shù)209。量化單元219對變換系數(shù)209進(jìn)行量化，生成誤差塊信息(量化變換系數(shù))119。
誤差塊譯碼單元156是對誤差塊信息119進(jìn)行譯碼并生成譯碼誤差塊121的處理單元。在此，說明誤差塊譯碼單元156的動(dòng)作。反量化單元140對量化變換系數(shù)119進(jìn)行反量化，生成譯碼量化變換系數(shù)120。反變換單元141對譯碼量化變換系數(shù)120進(jìn)行反DCT變換，生成譯碼誤差塊121。
接著，加法單元157對預(yù)測塊118的各像素計(jì)算和譯碼誤差塊121在空間上位置一致的像素和該像素的加算值，生成譯碼塊122。把生成的譯碼塊122保持在幀存儲器153的當(dāng)前的譯碼幀610中。最后，熵編碼單元255對低分辨塊信息102和誤差塊信息119進(jìn)行熵編碼，多路復(fù)用于編碼數(shù)據(jù)101上。
圖28的譯碼裝置是對編碼數(shù)據(jù)101進(jìn)行譯碼，以光柵掃描順序重放8×8譯碼塊122的裝置。相當(dāng)于1個(gè)8×8譯碼塊的編碼數(shù)據(jù)101首先被輸入到熵譯碼單元150。熵譯碼單元150通過熵譯碼生成低分辨塊信息102和誤差塊信息119。
低分辨塊譯碼單元151是對低分辨塊信息102進(jìn)行譯碼，生成像素?cái)?shù)比譯碼塊的像素?cái)?shù)還少的譯碼低分辨塊110的處理單元。在此，說明低分辨塊譯碼單元151的動(dòng)作。分離單元131把低分辨塊信息102分離為差分運(yùn)動(dòng)向量103和低分辨誤差塊信息(低分辨誤差塊的量化變換系數(shù))107。運(yùn)動(dòng)向量預(yù)測/譯碼單元132通過在差分運(yùn)動(dòng)向量103的各成分的值上加算預(yù)測運(yùn)動(dòng)向量的各成分的值來計(jì)算運(yùn)動(dòng)向量104。預(yù)測運(yùn)動(dòng)向量例如通過把當(dāng)前塊的左、正上、右上(在幀外的的情況下是左上)的相鄰的3塊運(yùn)動(dòng)向量作為對象根據(jù)中央值預(yù)測(針對每個(gè)成分)進(jìn)行計(jì)算。運(yùn)動(dòng)補(bǔ)償單元133從被保持在幀存儲器153中的已譯碼的譯碼幀520中，取得與運(yùn)動(dòng)向量104對應(yīng)的塊105。塊105由縮小處理單元134，如圖36所示那樣變換為縱橫每隔1行抽出了像素的低分辨預(yù)測塊106。反量化單元136對低分辨誤差塊的量化變換系數(shù)107進(jìn)行反量化，生成低分辨誤差塊的譯碼量化變換系數(shù)108。反量化單元137對譯碼量化變換系數(shù)108進(jìn)行反DCT變換，生成譯碼低分辨誤差塊109。加法單元135對低分辨預(yù)測塊106的各像素，計(jì)算和譯碼低分辨誤差塊109在空間上位置一致的像素和該像素的加算值，生成譯碼低分辨塊110。
接著，低分辨塊分割單元166和圖36的塊106一樣，把譯碼低分辨塊110分割為2×2的低分辨分割塊112。各低分辨分割塊112被輸入到小塊預(yù)測單元158。
小塊預(yù)測單元158(相當(dāng)于圖1、圖2的152)是使用被保持在幀存儲器153中的已譯碼圖像，對每個(gè)低分辨分割塊112生成4×4的預(yù)測小塊116的處理單元。在此，說明小塊預(yù)測單元158的動(dòng)作。放大運(yùn)動(dòng)推斷單元138在圖35所示的2×2的低分辨分割塊112(112a～112d)，和與低分辨分割塊的4個(gè)像素在空間上對應(yīng)的4個(gè)像素(候補(bǔ)縮小預(yù)測小塊114)之間實(shí)施塊匹配，檢測低分辨分割塊的運(yùn)動(dòng)向量115(115a～115d)。此時(shí)的差分評價(jià)值設(shè)置成在“低分辨分割塊的4個(gè)像素”和“在檢測的4×4塊(候補(bǔ)預(yù)測小塊113)的16個(gè)像素內(nèi)，和低分辨分割塊的4個(gè)像素在空間上對應(yīng)的4個(gè)像素(候補(bǔ)縮小預(yù)測小塊114)”的差分的絕對值和(詳細(xì)地說使用圖32在以后敘述)。只把這樣的已譯碼圖像作為輸入值的差分評價(jià)值因?yàn)樵谧g碼裝置中也可以計(jì)算，所以在譯碼裝置中也能夠檢測和編碼裝置一樣的運(yùn)動(dòng)向量。預(yù)測小塊取得單元139從幀存儲器153的譯碼幀520中取得與低分辨分割塊的運(yùn)動(dòng)向量115(115a～115d)對應(yīng)的4×4預(yù)測小塊116(116a～116d)。
接著，塊合并單元155如圖35的左側(cè)所示那樣合并4個(gè)預(yù)測小塊116a～116d，生成8×8的預(yù)測塊118(圖28)。
誤差塊譯碼單元156是對誤差塊信息(量化變換系數(shù))119進(jìn)行譯碼生成譯碼誤差塊121的處理單元。在此，說明誤差塊譯碼單元156的動(dòng)作。反量化單元140對量化變換系數(shù)119進(jìn)行反量化，生成譯碼量化變換系數(shù)120。反變換單元141對譯碼量化變換系數(shù)120進(jìn)行反DCT變換，生成譯碼誤差塊121。
接著，加法單元157對預(yù)測塊118的各像素，計(jì)算和譯碼誤差塊121在空間上位置一致的像素和該各像素的加算值，生成譯碼塊122。譯碼塊122被保持在幀存儲器153的當(dāng)前的譯碼幀610中。
圖30表示實(shí)現(xiàn)本發(fā)明的預(yù)測譯碼的運(yùn)動(dòng)圖像譯碼處理流程，圖33表示實(shí)現(xiàn)本發(fā)明的預(yù)測編碼的運(yùn)動(dòng)圖像編碼處理流程。而且，在圖30以及圖33中被附加有同樣號碼的處理是導(dǎo)出同樣處理結(jié)果的處理。
用圖30中說明實(shí)現(xiàn)本發(fā)明的預(yù)測編碼的運(yùn)動(dòng)圖像譯碼處理流程。如果開始下一譯碼塊的譯碼處理(處理401)，則首先，通過處理402，把在下一譯碼塊的譯碼中所需要的1塊量的編碼數(shù)據(jù)輸入到圖28的熵譯碼單元150。被輸入的編碼數(shù)據(jù)在處理403中由熵譯碼單元150實(shí)施熵譯碼，得到低分辨塊信息和誤差塊信息。其中低分辨塊信息在處理404中，用低分辨塊譯碼單元151實(shí)施低分辨塊譯碼處理，生成譯碼低分辨塊。
在此，使用圖31說明處理404的低分辨塊譯碼處理流程。如果開始低分辨塊譯碼處理(處理421)，則首先，分離單元131取得低分辨塊信息(處理422)，把該低分辨塊信息分離為差分運(yùn)動(dòng)向量和低分辨誤差塊信息(處理423)。在處理424中，運(yùn)動(dòng)向量預(yù)測/譯碼單元132通過在差分運(yùn)動(dòng)向量103的各成分的值上加算預(yù)測運(yùn)動(dòng)向量的各成分的值來計(jì)算(譯碼)運(yùn)動(dòng)向量104。預(yù)測運(yùn)動(dòng)向量例如通過把當(dāng)前塊的左、正上、右上(在幀之外的情況下是左上)的相鄰的3塊的運(yùn)動(dòng)向量作為對象根據(jù)中央值預(yù)測(針對每個(gè)成分)進(jìn)行計(jì)算。得到的運(yùn)動(dòng)向量為了在以后的譯碼塊的譯碼中進(jìn)行運(yùn)動(dòng)向量預(yù)測處理而被保持。
在下一處理425中，運(yùn)動(dòng)補(bǔ)償單元133從被保持在幀存儲器153中的已譯碼的譯碼幀520中，取得與運(yùn)動(dòng)向量104對應(yīng)的塊105。在下一處理426中，已取得的塊105由縮小處理單元134如圖36所示那樣變換為在縱橫每隔1行抽出了像素的低分辨預(yù)測塊106。
在下一處理427中，反量化單元136對低分辨誤差塊的量化變換系數(shù)107進(jìn)行反量化，生成低分辨誤差塊的譯碼量化變換系數(shù)108。而后，反變換單元137對譯碼量化變換系數(shù)108進(jìn)行反DCT變換，生成譯碼低分辨誤差塊109。而后，在處理428中，加法單元135對低分辨預(yù)測塊106的各像素，計(jì)算和譯碼低分辨誤差塊109在空間上位置一致的像素和該像素的加算值，生成譯碼低分辨塊110，結(jié)束低分辨塊譯碼處理(處理429)。
返回圖30說明。在處理405中，低分辨塊分割單元166把譯碼低分辨塊110分割為2×2的低分辨分割塊112。在處理406中，小塊預(yù)測單元158對4個(gè)低分辨分割塊112實(shí)施小塊預(yù)測處理。
在此，用圖32說明小塊預(yù)測處理流程。如果開始小塊預(yù)測處理(處理430)，則首先，在處理431中，作為初始值，把評價(jià)值E min設(shè)定為最大整數(shù)值，并設(shè)定在分割運(yùn)動(dòng)向量的0向量。接著，在處理432中，把低分辨分割塊112輸入到小塊預(yù)測單元158。接著在處理434的放大運(yùn)動(dòng)推斷處理中，用放大運(yùn)動(dòng)推斷單元138檢測低分辨分割塊的運(yùn)動(dòng)向量。
在該放大運(yùn)動(dòng)推斷處理中，在幀存儲器153的譯碼幀的查找范圍(在縱、橫方向上是±16像素)內(nèi)從其中心(0向量)按照螺旋順序抽出候補(bǔ)預(yù)測小塊，檢測評價(jià)值E min為最低的預(yù)測小塊位置。更具體地說，在處理4341中，從幀存儲器153的譯碼幀中取得下一候補(bǔ)的預(yù)測小塊，在處理4342中，已取得的候補(bǔ)預(yù)測小塊例如和圖36的塊106一樣被變換為低分辨預(yù)測塊的次元(像素?cái)?shù))。在處理4343中，計(jì)算評價(jià)值E(“低分辨分割塊的4個(gè)像素”和“在檢索的4×4塊的16像素內(nèi)，和低分辨分割塊的4個(gè)像素在空間上對應(yīng)的4個(gè)像素”的差分的絕對值和)，在處理4344中，判斷評價(jià)值E是否比評價(jià)值E min小。在此，當(dāng)評價(jià)值E比評價(jià)值E min小的情況下，在處理4345中，把評價(jià)值E min更新為評價(jià)值E，分割運(yùn)動(dòng)向量被更新為與評價(jià)值E對應(yīng)的分割運(yùn)動(dòng)向量。以后，直至查找范圍內(nèi)的全部的候補(bǔ)預(yù)測小塊的檢索結(jié)束為止重復(fù)進(jìn)行處理4341～處理4345。最后，在處理435中，預(yù)測小塊取得單元139通過從幀存儲器153的譯碼幀中取得與評價(jià)值E為最小的分割運(yùn)動(dòng)向量對應(yīng)的預(yù)測小塊，結(jié)束小塊預(yù)測處理(處理436)。通過以上的小塊預(yù)測處理生成4個(gè)預(yù)測小塊。
返回圖30說明。在處理406中生成的4個(gè)預(yù)測小塊在處理407中由塊合并單元155合并為預(yù)測塊。在下一處理408中，誤差塊譯碼單元156對誤差塊信息(量化變換系數(shù))進(jìn)行譯碼(反量化/反變換)，生成譯碼誤差塊。在下一處理409中，對各像素用加法單元157進(jìn)行預(yù)測塊和譯碼誤差塊的加算，生成譯碼塊。最后，在處理410中，把譯碼塊保持在幀存儲器153當(dāng)前的譯碼幀中，塊譯碼處理結(jié)束(處理411)。
以下，使用圖33說明實(shí)現(xiàn)本發(fā)明的預(yù)測編碼的編碼對象塊的編碼處理流程。最初，通過圖29的編碼塊分割單元251分割輸入幀201，得到編碼對象塊202。如果開始編碼對象塊202的編碼處理(處理441)，則首先，在處理442中，譯碼低分辨塊生成單元252執(zhí)行圖34的低分辨塊編碼/譯碼處理。
以下，用圖34說明低分辨塊編碼/譯碼處理。如果開始低分辨塊編碼/譯碼處理(處理451)，則首先，在處理452中，輸入其后的編碼對象塊，在處理453中，從編碼對象塊和幀存儲器的譯碼幀中檢測運(yùn)動(dòng)向量。而且，對于這里的運(yùn)動(dòng)向量的檢測方法，在圖29的譯碼低分辨塊生成單元252的構(gòu)成說明中已進(jìn)行了說明所以省略。在下一處理454中，從幀存儲器的譯碼幀中取得與運(yùn)動(dòng)向量對應(yīng)的塊。在以下處理455中，在預(yù)測運(yùn)動(dòng)向量生成后，在運(yùn)動(dòng)向量和預(yù)測運(yùn)動(dòng)向量之間對各成分進(jìn)行減算處理，生成差分運(yùn)動(dòng)向量。運(yùn)動(dòng)向量和生成的差分運(yùn)動(dòng)向量是為了在以后的編碼對象塊中進(jìn)行運(yùn)動(dòng)向量預(yù)測而保持。而且，對于這里的預(yù)測運(yùn)動(dòng)向量的生成方法，因?yàn)橐言趫D29的運(yùn)行向量預(yù)測/編碼單元212的構(gòu)成說明中進(jìn)行了說明所以省略。在以下的處理456中，編碼對象塊(預(yù)測對象塊)例如和圖36的塊106一樣，被變換為低分辨編碼對象塊(低分辨預(yù)測對象塊)，進(jìn)而在處理457中，與運(yùn)動(dòng)向量對應(yīng)的塊和上述編碼對象塊(預(yù)測對象塊)一樣，被變換為低分辨預(yù)測塊。
在處理458中，在低分辨編碼對象塊(低分辨預(yù)測對象塊)和低分辨預(yù)測塊之間對各像素進(jìn)行減算，生成低分辨誤差塊。在下一處理459中，進(jìn)行低分辨誤差塊的編碼(變換/量化)，生成低分辨誤差塊的量化變換系數(shù)。在以下的處理427中，進(jìn)行量化變換系數(shù)的譯碼(反量化/反變換)，生成譯碼低分辨誤差塊。在以下的處理428中，在低分辨預(yù)測塊和譯碼低分辨誤差塊之間對各像素進(jìn)行加算，生成譯碼低分辨塊。最后，在處理460中，進(jìn)行差分運(yùn)動(dòng)向量和量化變換系數(shù)的合并，生成低分辨塊信息，低分辨塊編碼/譯碼處理結(jié)束(處理461)。
返回圖3說明。在處理405中，低分辨塊分割單元166把生成的譯碼低分辨塊分割為低分辨分割塊。在處理406中，小塊預(yù)測單元158對分割成的低分辨分割塊進(jìn)行小塊預(yù)測處理，生成預(yù)測小塊。而且，在此，有關(guān)小塊預(yù)測處理(圖32)因?yàn)橐堰M(jìn)行了說明，故省略其說明。
在處理407中，塊合并單元155把生成的預(yù)測小塊合并為預(yù)測塊。在下一處理443中，減法單元253在編碼對象塊和預(yù)測塊之間實(shí)施各像素的減算處理，生成誤差塊。在下一處理444中，誤差塊編碼單元254進(jìn)行誤差塊編碼(變換/量化)，生成誤差塊信息(量化變換系數(shù))。在以下的處理408中，誤差塊譯碼單元156進(jìn)行誤差塊信息(量化變換系數(shù))的譯碼(反量化/反變換)，生成譯碼誤差塊。在下一處理409中，加法單元157在預(yù)測塊和譯碼誤差塊之間實(shí)施各像素的加算處理，生成譯碼塊。而后，在處理410中，在把生成的譯碼塊保持在幀存儲器153當(dāng)前的譯碼幀中后，在處理445中，熵編碼單元255進(jìn)行低分辨塊信息和誤差塊信息的熵編碼，而后塊編碼處理結(jié)束(處理446)。
圖16用于說明使用存儲有與上述實(shí)施方式的圖像編碼處理有關(guān)的運(yùn)動(dòng)圖像編碼程序、與圖像譯碼處理有關(guān)的運(yùn)動(dòng)圖像譯碼程序的軟盤等的存儲介質(zhì)，通過計(jì)算機(jī)系統(tǒng)實(shí)施時(shí)的圖。
圖16(b)表示從軟盤的正面看的外觀、斷面構(gòu)造以及軟盤，圖16(a)表示作為記錄介質(zhì)主體的軟盤的物理格式的例子。軟盤FD被內(nèi)置于殼F內(nèi)，在該盤的表面上以同心圓形狀從外周向內(nèi)周形成多條磁道Tr，各磁道在角度方向上被分割為16個(gè)扇區(qū)Se。因而，在存儲有上述程序的軟盤中，在分配給上述軟盤FD上的區(qū)域上記錄著作為上述程序的數(shù)據(jù)。
另外，圖16(c)表示用于在軟盤FD上進(jìn)行上述程序的記錄重放的構(gòu)成。當(dāng)把上述程序記錄在軟盤FD上的情況下，從計(jì)算機(jī)系統(tǒng)Cs中把作為上述程序的數(shù)據(jù)經(jīng)由軟盤驅(qū)動(dòng)器寫入。另外，當(dāng)用軟盤內(nèi)的程序在計(jì)算機(jī)系統(tǒng)中構(gòu)筑上述編碼裝置或者譯碼裝置的情況下，用軟盤驅(qū)動(dòng)器從軟盤中讀出程序，轉(zhuǎn)送到計(jì)算機(jī)系統(tǒng)。
而且，在上述說明中，作為數(shù)據(jù)記錄介質(zhì)使用軟盤進(jìn)行了說明，但即使使用光盤也同樣可以進(jìn)行。另外，記錄介質(zhì)并不限于此，只要是IC卡、ROM盒等能夠記錄程序的介質(zhì)，就可以同樣地實(shí)施。另外作為計(jì)算機(jī)，包含具備CPU采用軟件進(jìn)行處理和控制的DVD機(jī)、機(jī)頂盒、手機(jī)等。
以下，說明運(yùn)動(dòng)圖像譯碼程序以及運(yùn)動(dòng)圖像編碼程序的構(gòu)成。
如圖37所示，運(yùn)動(dòng)圖像譯碼程序161被存儲在形成于記錄介質(zhì)160上的程序存儲區(qū)域160a內(nèi)。運(yùn)動(dòng)圖像譯碼程序161的構(gòu)成具備綜合控制運(yùn)動(dòng)圖像譯碼處理的主模塊161a；用于執(zhí)行圖28的熵譯碼單元150的動(dòng)作的熵譯碼模塊161b；用于執(zhí)行圖28的低分辨塊譯碼單元151的動(dòng)作的低分辨塊譯碼模塊161c；用于執(zhí)行圖28的低分辨塊分割單元166的動(dòng)作的低分辨塊分割模塊161h；用于執(zhí)行圖28的小塊預(yù)測單元158的動(dòng)作的小塊預(yù)測模塊161i；用于執(zhí)行圖28的塊合并單元155的動(dòng)作的塊合并模塊161g。
如圖38所示，運(yùn)動(dòng)圖像編碼程序261被存儲在形成于記錄介質(zhì)260上的程序存儲區(qū)域260a內(nèi)。運(yùn)動(dòng)圖像編碼程序261的構(gòu)成具備綜合控制運(yùn)動(dòng)圖像編碼處理的主模塊261a；用于執(zhí)行圖29的編碼塊分割單元251的動(dòng)作的編碼塊分割模塊261b；用于執(zhí)行圖29的譯碼低分辨塊生成單元252的動(dòng)作的譯碼低分辨塊生成模塊261c；用于執(zhí)行圖29的低分辨塊分割單元166的動(dòng)作的低分辨塊分割模塊261h；用于執(zhí)行圖29的小塊預(yù)測單元158的動(dòng)作的小塊預(yù)測模塊261i；用于執(zhí)行圖29的塊合并單元155的動(dòng)作的塊合并模塊261g。
而且，上述運(yùn)動(dòng)圖像譯碼程序161的構(gòu)成還可以是其一部分或者全部經(jīng)由通信線路等的傳送介質(zhì)傳送，用其他設(shè)備接收并記錄(包含安裝)。同樣，運(yùn)動(dòng)圖像編碼程序261的構(gòu)成也可以是其一部分或者全部經(jīng)由通信線路等的傳送介質(zhì)傳送，用其他的設(shè)備接收并記錄(包含安裝)。
以上說明了本發(fā)明的實(shí)施方式，但也可以進(jìn)行以下那樣的變形，所有形態(tài)都包含在本發(fā)明中。
(1)與預(yù)測方法有關(guān)的變形形態(tài)在以上說明中，作為預(yù)測方法說明了限定于時(shí)間方向的預(yù)測，但對于使用編碼對象塊(預(yù)測對象塊)或者與譯碼塊在同一幀內(nèi)的經(jīng)過了譯碼的已譯碼圖像的在空間方向的預(yù)測也可以適用同樣的方法。即，以上述譯碼的分辨塊為基礎(chǔ)，在對再分割了該譯碼低分辨塊的低分辨分割塊使用同一幀內(nèi)的相鄰的已譯碼的像素，從例如，H.264(“Textof ISO/IEC 14496-10 Advanced Video Coding 3rd Edition”，September 2004.)的多個(gè)內(nèi)部預(yù)測模式中確定了最佳的模式后，對與該譯碼低分辨塊相當(dāng)?shù)母叻直娑刃盘柕膲K進(jìn)行預(yù)測的情況等也包含在本發(fā)明中。這種情況下，因?yàn)椴恍枰魇拘缘貍魉透鞯头直娣指顗K的預(yù)測模式，所以具有以少的輔助信息就能夠高精度地預(yù)測對象塊的良好的效果。另外，通過組合上述的時(shí)間方向的預(yù)測和空間方向的預(yù)測也可以進(jìn)行高精度的預(yù)測。
(2)與誤差塊的編碼有關(guān)的變形形態(tài)對預(yù)測塊和編碼對象塊之間的誤差塊進(jìn)行編碼不是必須的。即，誤差塊編碼單元254(圖29)和誤差塊譯碼單元156(圖28和圖29)的處理可以省略。另外，還可以對每個(gè)編碼對象塊或者譯碼塊確定編碼的有無。另外，對于誤差塊以及低分辨誤差塊的具體的編碼/譯碼方法，并不限于上述的方法。
(3)與多個(gè)預(yù)測模式的編碼有關(guān)的變形形態(tài)在上述的實(shí)施方式中，把適用于編碼對象塊的編碼處理的預(yù)測方法只作為本發(fā)明的預(yù)測方法，而對于未進(jìn)行編碼對象塊的縮小的以往的編碼方法來說，也可以適用本發(fā)明的預(yù)測方法。
(4)與塊大小有關(guān)的變形形態(tài)在以上說明中，是把編碼對象塊(預(yù)測對象塊)以及譯碼塊的大小設(shè)置成8×8，把低分辨塊的大小設(shè)置成4×4，把低分辨分割塊設(shè)置成2×2，但本發(fā)明的預(yù)測編碼并不限于這些尺寸。例如，把編碼對象塊以及譯碼塊的大小設(shè)置成和H.264一樣的16×16，把低分辨塊設(shè)置成8×8，把低分辨分割塊設(shè)置成2×2等，進(jìn)一步比4分割更細(xì)致地分割低分辨塊的情況本發(fā)明也有效。同樣，實(shí)施變換/量化的塊大小也未被限定。例如，如圖H.264那樣，把誤差塊分割為4×4塊，以4×4塊為單位進(jìn)行變換/量化也行。
(5)與縮小方法有關(guān)的變形形態(tài)在以上說明中，如圖36所示，把縮小處理設(shè)置成在縱/橫方向上間隔剔除1行的方法，但塊的縮小處理并不限于此方法。例如，低分辨塊如果在編碼裝置和譯碼裝置之間預(yù)先確定，則可以設(shè)置成像素?cái)?shù)比譯碼塊(編碼對象塊，預(yù)測對象塊)還少的任意的形狀，還包含把圖36的塊106的各像素在縱橫方向上錯(cuò)開1個(gè)像素的塊(圖36的塊1060)，和具有圖36的塊106的像素和塊1060的像素雙方的塊1062等。另外，可以適用在對塊實(shí)施了低通濾波處理后在縱橫方向上減少取樣(down sampling)的方法，和對4個(gè)相鄰像素進(jìn)行平均而變換為1個(gè)像素的方法等，適用于圖像縮小的各種方法。
(6)與縮小處理的實(shí)施順序有關(guān)的變形形態(tài)縮小處理單元可以省略。例如，縮小處理單元的功能在包含于運(yùn)動(dòng)補(bǔ)償單元和放大運(yùn)動(dòng)推斷單元中的情況下，和能夠進(jìn)行在評價(jià)中不包含不屬于低分辨塊的像素的處理的情況下，不需要縮小處理單元。另外，所謂采用低分辨塊譯碼單元的縮小處理和采用低分辨預(yù)測塊生成單元的縮小處理如果在譯碼裝置和編碼裝置之間預(yù)先規(guī)定，則也可以使用不同的方法。
(7)與放大運(yùn)動(dòng)推斷有關(guān)的變形形態(tài)在運(yùn)動(dòng)推斷處理中的查找范圍、查找順序以及查找開始點(diǎn)并不限定與上述的方法。查找范圍如果在編碼裝置和譯碼裝置中預(yù)先規(guī)定，則能夠設(shè)定的任意的范圍。對于查找順序也一樣，例如，并不只是從中心開始螺旋檢索，也可以適用從左上向右下按照光柵掃描順序檢索查找范圍的方法等。對于檢索開始點(diǎn)來說，也不只是0向量，例如還可以把預(yù)測向量作為中心設(shè)定查找范圍。另外，對于運(yùn)動(dòng)推斷/運(yùn)動(dòng)補(bǔ)償方法也不限定于檢測運(yùn)動(dòng)向量的塊匹配，即使是用仿射參數(shù)和透視投影變換參數(shù)等的運(yùn)動(dòng)參數(shù)進(jìn)行塊內(nèi)像素的預(yù)測值的計(jì)算的方法，本發(fā)明也可以適用。在這種情況下，不需要傳送用小塊預(yù)測單元檢測到的運(yùn)動(dòng)參數(shù)。第1實(shí)施例的小塊預(yù)測也同樣不限定于塊匹配。
(8)與分離單元、合并單元有關(guān)的變形形態(tài)圖28的分離單元131以及圖29的合并單元216不是必須的。例如，在圖28中，運(yùn)動(dòng)向量預(yù)測/譯碼單元132和反量化單元136可以直接從熵譯碼單元150接收數(shù)據(jù)。在圖29中，可以從運(yùn)動(dòng)向量預(yù)測/編碼單元212和量化單元215中直接把數(shù)據(jù)輸出到熵編碼單元255。
權(quán)利要求
1.一種運(yùn)動(dòng)圖像編碼裝置，是以塊為單位生成預(yù)測塊的運(yùn)動(dòng)圖像編碼裝置，其特征在于包括保持已譯碼圖像的保持部件；把已輸入的編碼對象圖像分割為多個(gè)預(yù)測對象塊的第1分割部件；在把上述預(yù)測對象塊變換以及編碼為像素?cái)?shù)比該預(yù)測對象塊的像素?cái)?shù)還少的低分辨塊后，通過譯碼該低分辨塊的編碼數(shù)據(jù)，生成譯碼低分辨塊的生成部件；把上述生成的譯碼低分辨塊放大為和上述預(yù)測對象塊相同像素?cái)?shù)的塊的放大部件；通過基于規(guī)定的分割規(guī)則分割上述被放大了的塊，生成多個(gè)小塊的第2分割部件；使用上述已譯碼圖像和上述生成的小塊，生成該小塊的預(yù)測小塊預(yù)測部件；通過基于上述分割規(guī)則合并上述已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并部件。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于還包括把上述編碼對象圖像分割為編碼對象塊的第3分割部件；以像素為單位進(jìn)行上述被分割的編碼對象塊和上述預(yù)測塊的減算來生成誤差塊的減算部件；對上述所生成的誤差塊進(jìn)行編碼的編碼部件；對上述已編碼的編碼數(shù)據(jù)進(jìn)行譯碼，生成譯碼誤差塊的譯碼部件；以像素為單位進(jìn)行上述預(yù)測塊和上述譯碼誤差塊的加算而生成譯碼塊，把該譯碼塊輸出到上述保持部件的輸出部件。
3.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于上述放大部件使用上述所生成的譯碼低分辨塊的像素和與預(yù)測對象塊的上邊以及左邊相鄰的已譯碼塊的像素，生成和上述預(yù)測對象塊同樣像素?cái)?shù)的塊。
4.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于上述生成部件的構(gòu)成包含基于規(guī)定的變換規(guī)則把上述預(yù)測對象塊變換為像素?cái)?shù)比該預(yù)測對象塊的像素?cái)?shù)還少的低分辨預(yù)測對象塊的部件；生成低分辨預(yù)測塊的低分辨預(yù)測塊生成部件；以像素為單位進(jìn)行上述低分辨預(yù)測對象塊和上述低分辨預(yù)測塊的減算而生成低分辨誤差塊的部件；在進(jìn)行該低分辨誤差塊的編碼后，通過對上述低分辨誤差塊的編碼數(shù)據(jù)進(jìn)行譯碼而生成譯碼低分辨誤差塊的部件；以像素為單位進(jìn)行上述譯碼低分辨誤差塊和上述低分辨預(yù)測塊的加算，復(fù)原上述低分辨塊的部件，上述低分辨預(yù)測塊生成部件的構(gòu)成包含生成和上述預(yù)測塊像素?cái)?shù)相同的第2預(yù)測塊的部件；基于上述變換規(guī)則從該第2預(yù)測塊中生成上述低分辨預(yù)測塊的部件，上述生成部件的構(gòu)成還包含當(dāng)上述低分辨誤差塊內(nèi)的全部的差分像素值為零的情況下，把上述第2預(yù)測塊作為上述預(yù)測塊進(jìn)行輸出的部件。
5.一種運(yùn)動(dòng)圖像譯碼裝置，是以塊為單位生成預(yù)測塊的運(yùn)動(dòng)圖象譯碼裝置，其特征在于還包括保持已譯碼圖像的保持部件；將已輸入的編碼數(shù)據(jù)進(jìn)行譯碼，生成像素?cái)?shù)比預(yù)測塊像素?cái)?shù)還少的低分辨塊的譯碼部件；把上述已生成的低分辨塊放大為和上述預(yù)測塊同樣像素?cái)?shù)的塊的放大部件；通過基于規(guī)定的分割規(guī)則分割該被放大的塊，生成多個(gè)小塊的分割部件；使用上述已譯碼圖像和上述分割后的小塊，生成該小塊的預(yù)測塊的預(yù)測部件；通過基于上述分割規(guī)則合并該已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并部件。
6.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)圖像譯碼裝置，其特征在于還包括譯碼上述編碼數(shù)據(jù)，生成誤差塊的生成部件；以像素為單位加算上述預(yù)測塊和上述誤差塊而生成譯碼塊，把該譯碼塊輸出到上述保持部件的輸出部件。
7.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)圖像譯碼裝置，其特征在于上述放大部件使用上述已生成的低分辨塊的像素和與預(yù)測塊的上邊以及左邊相鄰的已譯碼塊的像素，生成和上述預(yù)測塊同樣像素?cái)?shù)的塊。
8.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)圖像譯碼裝置，其特征在于上述譯碼部件的構(gòu)成包含對上述已輸入的編碼數(shù)據(jù)進(jìn)行譯碼并對低分辨誤差塊進(jìn)行譯碼的部件；生成低分辨預(yù)測塊的低分辨預(yù)測塊生成部件；以像素為單位加算上述低分辨誤差塊和上述低分辨預(yù)測塊而生成上述低分辨塊的部件，上述低分辨預(yù)測塊生成部件的構(gòu)成包含生成和上述預(yù)測塊同樣像素?cái)?shù)的第2預(yù)測塊的部件；基于規(guī)定的規(guī)則從該第2預(yù)測塊中生成上述低分辨預(yù)測塊的部件，上述譯碼部件的構(gòu)成還包含當(dāng)上述低分辨誤差塊內(nèi)的全部的差分像素值為零的情況下，把上述第2預(yù)測塊作為上述預(yù)測塊輸出的部件。
9.一種運(yùn)動(dòng)圖像編碼方法，是使用已譯碼圖像并以塊為單位生成預(yù)測塊的運(yùn)動(dòng)圖像編碼方法，其特征在于包括把已輸入的編碼對象的圖像分割為多個(gè)預(yù)測對象塊的第1分割步驟；把上述預(yù)測對象塊變換以及編碼為像素?cái)?shù)比該預(yù)測對象塊的像素?cái)?shù)還少的低分辨塊后，通過對該低分辨塊的編碼數(shù)據(jù)進(jìn)行譯碼，生成譯碼低分辨塊的生成步驟；把上述已生成的譯碼低分辨塊放大為和上述預(yù)測對象塊同樣像素?cái)?shù)的塊的放大步驟；通過基于規(guī)定的分割規(guī)則分割上述已放大的塊，生成多個(gè)小塊的第2分割步驟；使用上述已譯碼圖像和上述已生成的小塊，生成該小塊的預(yù)測小塊的預(yù)測步驟；通過基于上述分割規(guī)則合并上述已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并步驟。
10.一種運(yùn)動(dòng)圖像譯碼方法，是使用已譯碼圖像并以塊為單位生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼方法，其特征在于包括對已輸入的編碼數(shù)據(jù)進(jìn)行譯碼，生成像素?cái)?shù)比預(yù)測塊像素?cái)?shù)還少的低分辨塊的譯碼步驟；把上述已生成的低分辨塊放大為和上述預(yù)測塊同樣像素?cái)?shù)的塊的放大步驟；通過基于規(guī)定的分割規(guī)則分割該已放大的塊，生成多個(gè)小塊的分割步驟；使用上述已譯碼圖像和上述被分割的小塊，生成該小塊的預(yù)測小塊的預(yù)測步驟；通過基于上述分割規(guī)則合并上述生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并步驟。
11.一種運(yùn)動(dòng)圖像編碼程序，其特征在于使具備保持已譯碼圖像，和具有以塊為單位生成預(yù)測塊的功能的運(yùn)動(dòng)圖像編碼程序的保持部件的計(jì)算機(jī)執(zhí)行以下處理把已輸入的編碼對象的圖像分割為多個(gè)預(yù)測對象塊的第1分割處理；在把上述預(yù)測塊變換以及編碼為像素?cái)?shù)比該預(yù)測對象塊的像素?cái)?shù)還少的低分辨塊后，通過對該低分辨塊的編碼數(shù)據(jù)進(jìn)行譯碼，生成譯碼低分辨塊的生成處理；把上述已生成的譯碼低分辨塊放大為和上述預(yù)測對象塊同樣像素?cái)?shù)的塊的放大處理；通過基于規(guī)定的分割規(guī)則分割上述被放大的塊，生成多個(gè)小塊的第2分割處理；使用上述已譯碼圖像和上述已生成的小塊，生成該小塊的預(yù)測小塊的預(yù)測處理；通過基于上述分割規(guī)則合并上述生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并處理。
12.一種運(yùn)動(dòng)圖像譯碼程序，其特征在于使具備保持已譯碼圖像，和具有以塊為單位生成預(yù)測塊的功能的運(yùn)動(dòng)圖像譯碼程序的保持部件的計(jì)算機(jī)執(zhí)行以下處理對已輸入的編碼數(shù)據(jù)進(jìn)行譯碼，生成像素?cái)?shù)比預(yù)測塊的像素?cái)?shù)還少的低分辨塊的譯碼處理；把上述已生成的低分辨塊放大為和上述預(yù)測塊同樣像素?cái)?shù)的塊的放大處理；通過基于規(guī)定的分割規(guī)則分割該已放大的塊，生成多個(gè)小塊的分割處理；使用上述已譯碼圖像和上述已分割的小塊，生成該小塊的預(yù)測小塊的預(yù)測處理；通過基于上述分割規(guī)則合并該已生成的多個(gè)預(yù)測小塊，生成預(yù)測塊的合并處理。
13.一種運(yùn)動(dòng)圖像譯碼裝置，是以規(guī)定的塊為單位對成為譯碼對象的編碼數(shù)據(jù)進(jìn)行譯碼，生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼裝置，其特征在于包括保持已譯碼圖像的保持部件；通過對已輸入的編碼數(shù)據(jù)進(jìn)行熵譯碼，生成像素?cái)?shù)比上述譯碼塊的像素?cái)?shù)還少，并且編碼了和該譯碼塊在時(shí)間/空間上處于同一位置的低分辨塊的低分辨塊信息的熵譯碼部件；對由上述熵譯碼部件生成的低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成上述低分辨塊的低分辨塊譯碼部件；通過基于規(guī)定的分割規(guī)則分割由上述低分辨塊譯碼部件生成的低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割部件；根據(jù)被保持在上述保持部件上的已譯碼圖像，和由上述低分辨塊分割部件生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間/空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成部件；通過基于與上述分割規(guī)則相對應(yīng)的規(guī)定的合并規(guī)則合并由上述預(yù)測小塊生成部件生成的預(yù)測小塊，生成預(yù)測塊的塊合并部件。
14.根據(jù)權(quán)利要求13所述的運(yùn)動(dòng)圖像譯碼裝置，其特征在于上述熵譯碼部件通過對上述編碼數(shù)據(jù)進(jìn)行熵譯碼，進(jìn)一步生成包含在該編碼數(shù)據(jù)中表示編碼對象塊和預(yù)測塊的誤差的誤差塊信息，上述運(yùn)動(dòng)圖像譯碼裝置還包括通過對由上述熵譯碼裝置生成的誤差塊信息進(jìn)行譯碼，生成誤差塊的誤差塊譯碼部件；基于由上述塊合并部件生成的預(yù)測塊，和由上述誤差塊譯碼部件生成的誤差塊，生成譯碼塊的譯碼塊生成部件。
15.一種圖像編碼裝置，是以規(guī)定的塊為單位對成為編碼對象的圖像進(jìn)行編碼，生成預(yù)測塊的運(yùn)動(dòng)圖像編碼裝置，其特征在于包括保持已譯碼圖像的保持部件；把已輸入的圖像分割為多個(gè)編碼對象塊的編碼塊分割部件；通過對像素?cái)?shù)比由上述編碼塊分割部件分割的編碼對象塊的像素?cái)?shù)還少，并且和該編碼對象塊在時(shí)間/空間上處于同一位置的低分辨塊進(jìn)行編碼，生成低分辨塊信息，對該低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成譯碼低分辨塊的譯碼低分辨塊生成部件；通過基于規(guī)定的分割規(guī)則分割由上述譯碼低分辨塊生成部件生成的譯碼低分辨塊，生成多個(gè)低分辨分割塊的低分辨分割塊分割部件；根據(jù)被保持在上述保持部件中的已譯碼圖像，和由上述低分辨塊分割部件生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊的像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間/空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成部件；通過基于與上述分割規(guī)則相對應(yīng)的規(guī)定的合并規(guī)則合并由上述預(yù)測小塊生成部件生成的預(yù)測小塊，生成預(yù)測塊的塊合并部件。
16.根據(jù)權(quán)利要求15所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于還包括通過以像素為單位求由上述編碼塊分割部件分割的編碼塊，和用上述塊合并部件生成的預(yù)測塊的誤差，生成表示該誤差的誤差塊的誤差塊生成部件；通過對由上述誤差塊生成部件生成的誤差塊進(jìn)行編碼，生成誤差塊信息的誤差塊編碼部件；通過對由上述誤差塊編碼部件生成的誤差塊信息進(jìn)行譯碼，生成譯碼誤差塊的誤差塊譯碼部件；基于由上述塊合并部件生成的預(yù)測塊，和由上述誤差塊譯碼部件生成的譯碼誤差塊，生成譯碼塊的譯碼塊生成部件。
17.根據(jù)權(quán)利要求16所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于還包括對由上述譯碼低分辨塊生成部件生成的低分辨塊信息以及由上述誤差塊編碼部件生成的誤差塊信息進(jìn)行熵編碼，生成編碼數(shù)據(jù)的熵編碼部件。
18.一種運(yùn)動(dòng)圖像譯碼方法，是在具備保持已譯碼圖像的保持部件，以規(guī)定的塊為單位對成為譯碼對象的編碼數(shù)據(jù)進(jìn)行譯碼，生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼裝置中的運(yùn)動(dòng)圖像譯碼方法，其特征在于包括通過對已輸入的譯碼對象的編碼數(shù)據(jù)進(jìn)行熵譯碼，生成對像素?cái)?shù)比上述譯碼塊的像素?cái)?shù)還少，并且和該譯碼塊在時(shí)間/空間上處于同一位置的低分辨塊進(jìn)行了編碼的低分辨塊信息的熵譯碼步驟；對在上述熵譯碼步驟中生成的低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成上述低分辨塊的低分辨塊譯碼步驟；通過基于規(guī)定的分割規(guī)則分割在上述低分辨塊譯碼步驟中生成的低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割步驟；根據(jù)被保持在上述保持部件中的已譯碼圖像，和在上述低分辨塊分割步驟中生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊的像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間/空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成步驟；基于與上述分割規(guī)則相對應(yīng)的規(guī)定的合并規(guī)則合并在上述預(yù)測小塊生成步驟中生成的預(yù)測小塊，生成預(yù)測塊的塊合并步驟。
19.一種運(yùn)動(dòng)圖像編碼方法，是在具備保持已譯碼圖像的保持部件，以規(guī)定的塊為單位對成為編碼對象的圖像進(jìn)行編碼，生成預(yù)測塊的運(yùn)動(dòng)圖像編碼裝置中的運(yùn)動(dòng)圖像編碼方法，其特征在于包括把已輸入的編碼對象的圖像分割為多個(gè)編碼對象塊的編碼塊分割步驟；通過編碼像素?cái)?shù)比在上述編碼塊分割步驟中分割出的編碼對象塊還少，并且和該編碼對象塊在時(shí)間/空間上處于同一位置的低分辨塊，生成低分辨塊信息，對該低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成譯碼低分辨塊的譯碼低分辨塊生成步驟；通過基于規(guī)定的分割規(guī)則分割在上述譯碼低分辨塊生成步驟中生成的多個(gè)低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割步驟；根據(jù)被保持在上述保持部件中的已譯碼圖像，和在上述低分辨塊分割步驟中生成的低分辨分割塊，生成像素?cái)?shù)比低分辨分割塊的像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間/空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成步驟；通過基于與上述分割規(guī)則相對應(yīng)的規(guī)定的合并規(guī)則合并在上述預(yù)測小塊生成步驟中生成的預(yù)測小塊，生成預(yù)測塊的塊合并步驟。
20.一種運(yùn)動(dòng)圖像譯碼程序，它使設(shè)置在具備保持已譯碼圖像的保持部件，并以規(guī)定的塊為單位對成為譯碼對象的編碼數(shù)據(jù)進(jìn)行譯碼而生成預(yù)測塊的運(yùn)動(dòng)圖像譯碼裝置中的計(jì)算機(jī)具有以下部件的功能通過對已輸入的譯碼對象的編碼數(shù)據(jù)進(jìn)行熵譯碼，生成對像素?cái)?shù)比上述譯碼塊的像素?cái)?shù)還少，并且和該譯碼塊在時(shí)間/空間上處于同一位置的低分辨塊進(jìn)行了編碼的低分辨塊信息的熵譯碼部件；對由上述熵譯碼部件生成的低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成上述低分辨塊的低分辨塊譯碼部件；通過基于規(guī)定的分割規(guī)則分割由上述低分辨塊譯碼部件生成的低分辨塊，生成多個(gè)低分辨分割塊的低分辨分割塊分割部件；根據(jù)被保持在上述保持部件中的已譯碼圖像，和由上述低分辨塊分割部件生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊的像素?cái)?shù)還多，并且和該低分辨分割塊在時(shí)間/空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成部件；通過基于與上述分割規(guī)則相對應(yīng)的規(guī)定的合并規(guī)則合并由上述預(yù)測小塊生成部件生成的預(yù)測小塊，生成預(yù)測塊的塊合并部件。
21.一種運(yùn)動(dòng)圖像編碼程序，它使設(shè)置在具備保持已譯碼圖像的保持部件，并以規(guī)定的塊為單位對成為編碼對象的圖像進(jìn)行編碼從而生成預(yù)測塊的運(yùn)動(dòng)圖像編碼裝置中的計(jì)算機(jī)具有以下部件的功能把已輸入的編碼對象的圖像分割為多個(gè)編碼對象塊的編碼塊分割部件；通過對像素?cái)?shù)比由編碼塊分割部件分割的編碼對象塊的像素?cái)?shù)還少，并且和該編碼對象塊在時(shí)間/空間上處于同一位置的低分辨塊進(jìn)行編碼，生成低分辨塊，對該低分辨塊信息進(jìn)行譯碼，參照上述已譯碼圖像，生成譯碼低分辨塊的譯碼低分辨塊生成部件；通過基于規(guī)定的分割規(guī)則分割由上述譯碼低分辨塊生成部件生成的譯碼低分辨塊，生成多個(gè)低分辨分割塊的低分辨塊分割部件；根據(jù)被保持在上述保持部件中的譯碼后圖像，和由上述低分辨塊分割部件生成的低分辨分割塊，生成像素?cái)?shù)比該低分辨分割塊還多，并且和該低分辨分割塊在時(shí)間/空間上處于同一位置的預(yù)測小塊的預(yù)測小塊生成部件；通過基于與上述分割規(guī)則相對應(yīng)的規(guī)定的合并規(guī)則合并由上述預(yù)測小塊生成部件生成的預(yù)測小塊，生成預(yù)測塊的塊合并部件。
全文摘要
本發(fā)明提供運(yùn)動(dòng)圖像編碼裝置、方法、程序及運(yùn)動(dòng)圖像譯碼裝置、方法、程序。以塊為單位生成預(yù)測信號的運(yùn)動(dòng)圖像譯碼裝置(200)具備對編碼數(shù)據(jù)進(jìn)行譯碼，生成像素?cái)?shù)比預(yù)測塊的像素?cái)?shù)還少的低分辨塊的低分辨塊譯碼單元(151)。另外，具備使用已譯碼圖像，把由譯碼低分辨塊生成的低分辨塊放大為和預(yù)測塊同樣像素?cái)?shù)的塊的放大塊生成單元(154)。進(jìn)而，基于規(guī)定的分割規(guī)則分割放大塊，使用生成多個(gè)小塊的塊分割單元(162)、已譯碼圖像和上述多個(gè)小塊生成小塊的預(yù)測小塊的小塊預(yù)測單元(152)。
文檔編號H04N7/32GK1801946SQ20061000571
公開日2006年7月12日 申請日期2006年1月6日 優(yōu)先權(quán)日2005年1月7日
發(fā)明者鈴木芳典, 文仲丞, 小林充 申請人:株式會社Ntt都科摩