專利名稱：圖像編碼方法及圖像解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過對輸入圖像與預(yù)測圖像的差分信號進(jìn)行頻率變換及量化，將動(dòng)態(tài)圖像信號進(jìn)行壓縮編碼的圖像編碼方法，以及對這樣被壓縮編碼后的動(dòng)態(tài)圖像信號進(jìn)行解碼的圖像解碼方法。
背景技術(shù)：
在以被稱為H. 26x的ITU — T標(biāo)準(zhǔn)或被稱為MPEG — x的IS0/IEC標(biāo)準(zhǔn)為代表的現(xiàn)有的圖像編碼方法中，按照預(yù)先確定的單位來分割畫面，并按照該分割單位進(jìn)行編碼。例如，在H. 264/MPEG 一 4AVC方式(例如，參照非專利文獻(xiàn)I)中，按照被稱為宏塊的水平16像素、垂直16像素的單位對畫面(圖片-picture)進(jìn)行處理。并且，在進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，將宏塊分割為塊(最小為水平4像素、垂直4像素)，按每個(gè)塊使用不同的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并對與原信號之間的差分信號進(jìn)行頻率變換，將差分信號集中在低頻區(qū)域中并進(jìn)行 量化，由此能夠?qū)⑿畔嚎s。通常，關(guān)于變換塊的大小，較大者能夠有效利用相關(guān)性，從這一點(diǎn)講比較有利。現(xiàn)有技術(shù)文獻(xiàn)非專利文獻(xiàn)非專利文獻(xiàn)I
IS0/IEC 14496-10 “MPEG_4Part 10 Advanced Video Coding”發(fā)明概要發(fā)明要解決的問題但是，在上述現(xiàn)有的方式中，在宏塊內(nèi)又分割為小塊，對該每個(gè)小塊進(jìn)行運(yùn)動(dòng)補(bǔ)償。并且，按被分割后的每個(gè)小塊進(jìn)行頻率變換。具體地講，例如在將宏塊分割為水平4像素、垂直4像素單位的小塊的情況下，運(yùn)動(dòng)補(bǔ)償及頻率變換均是按照水平4像素、垂直4像素的單位進(jìn)行的。在這種情況下，只能利用受限制的空間內(nèi)的相關(guān)關(guān)系，很難通過頻率變換將差分信號集中在低頻區(qū)域中。因此，通過量化來削減信息的效率下降，其結(jié)果是存在導(dǎo)致編碼效率的下降的問題。另一方面，在使頻率變換的塊尺寸大于運(yùn)動(dòng)補(bǔ)償?shù)膲K尺寸的情況下，在頻率變換的塊中包含運(yùn)動(dòng)補(bǔ)償?shù)膲K的邊界。在這種情況下，在運(yùn)動(dòng)補(bǔ)償塊的邊界處有時(shí)產(chǎn)生陡峻的邊緣，因而很難通過頻率變換將差分信號集中在低頻區(qū)域中。因此，與前述相同地，通過量化來削減信息的效率下降，其結(jié)果是存在導(dǎo)致編碼效率的下降的問題。

發(fā)明內(nèi)容
本發(fā)明正是為了解決上述問題而提出的，其目的在于，提供一種圖像編碼方法及圖像解碼方法，在按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理來生成處理對象塊的預(yù)測圖像的情況下，能夠提高編碼效率。用于解決問題的手段
為了解決上述問題，本發(fā)明的一個(gè)方式的圖像編碼方法，按照每個(gè)塊對輸入圖像進(jìn)行編碼來生成圖像編碼信號，該圖像編碼方法包括預(yù)測步驟，按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成所述處理對象塊的預(yù)測圖像；比較步驟，將作為將所述處理對象塊進(jìn)行分割得到的區(qū)域的頻率變換處理的處理單位即變換單位和所述預(yù)測單位進(jìn)行比較，由此檢測所述預(yù)測單位的邊界之中位于所述變換單位內(nèi)的邊界；邊界濾波步驟，在所生成的所述預(yù)測圖像中，進(jìn)行針對所檢測到的所述邊界的濾波處理；差分步驟，通過計(jì)算所述濾波處理后的預(yù)測圖像與所述輸入圖像的差分，生成所述處理對象塊的差分圖像；以及變換步驟，按照每個(gè)所述變換單位進(jìn)行所述差分圖像的頻率變換處理。 這樣，即使是預(yù)測單位的邊界位于變換單位內(nèi)，也能夠?qū)υ撨吔邕M(jìn)行濾波處理。由此，能夠使在預(yù)測單位的邊界處產(chǎn)生的像素值的急劇變化變平滑，能夠減小輸入圖像與預(yù)測圖像的差分圖像的值。并且，不需要像現(xiàn)有技術(shù)那樣減小變換單位來使預(yù)測單位的邊界不位于變換單位內(nèi)，因而即使是在預(yù)測單位較小的情況下，也能夠增大變換單位。其結(jié)果是，能夠大幅削減編碼量，能夠提高編碼效率。并且，為了解決上述問題，本發(fā)明的一個(gè)方式的圖像解碼方法，對按照每個(gè)塊將圖像進(jìn)行編碼得到的圖像編碼信號進(jìn)行解碼，該圖像解碼方法包括逆變換步驟，按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)變換單位進(jìn)行逆頻率變換處理，由此生成所述處理對象塊的解碼差分圖像；預(yù)測步驟，按照將所述處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成所述處理對象塊的預(yù)測圖像；比較步驟，將所述變換單位和所述預(yù)測單位進(jìn)行比較，由此檢測所述預(yù)測單位的邊界之中位于所述變換單位內(nèi)的邊界；邊界濾波步驟，在所生成的所述預(yù)測圖像中，進(jìn)行針對所檢測到的所述邊界的濾波處理；以及相加步驟，將所述濾波處理后的預(yù)測圖像和所述解碼差分圖像相加，由此生成所述處理對象塊的解碼圖像。由此，能夠?qū)蒙鲜鰣D像編碼方法進(jìn)行編碼得到的圖像編碼信號進(jìn)行解碼。另外，也可以是，本發(fā)明以具有處理部的圖像編碼裝置來實(shí)現(xiàn)，該處理部執(zhí)行上述圖像編碼方法中包含的各個(gè)步驟的處理。并且，也可以是，本發(fā)明以具有處理部的圖像解碼裝置來實(shí)現(xiàn)，該處理部執(zhí)行上述圖像解碼方法中包含的各個(gè)步驟的處理。發(fā)明效果根據(jù)本發(fā)明，通過對位于變換單位內(nèi)的預(yù)測單位的邊界進(jìn)行濾波處理，能夠提高編碼效率。


圖IA是表示本發(fā)明的實(shí)施方式I的圖像編碼裝置的功能結(jié)構(gòu)的框圖。圖IB是表示本發(fā)明的實(shí)施方式I的圖像編碼方法的特征性處理流程的流程圖。圖2是表示處理對象塊的分割方法的一例的圖。圖3是用于說明運(yùn)動(dòng)補(bǔ)償?shù)氖疽鈭D。圖4是表示本發(fā)明的實(shí)施方式I的邊界濾波處理的流程的流程圖。圖5是表示與分割方法對應(yīng)的變換單位的一例的圖。圖6是用于說明處理對象邊界的圖。
圖7是用于說明包括處理對象邊界的圖像的特征的示意圖。圖8是用于說明濾波處理的圖。圖9A是表示本發(fā)明的實(shí)施方式2的圖像解碼裝置的功能結(jié)構(gòu)的框圖。圖9B是表示本發(fā)明的實(shí)施方式2的圖像解碼方法的特征性處理流程的流程圖。圖10是表示本發(fā)明的實(shí)施方式2的邊界濾波處理的流程的流程圖。圖11是表示本發(fā)明的實(shí)施方式3的濾波對象像素的確定方法的處理流程的流程圖。圖12是用于說明本發(fā)明的實(shí)施方式4的濾波處理的一例的示意圖。圖13是表示本發(fā)明的實(shí)施方式5的圖像編碼裝置的功能結(jié)構(gòu)的框圖。 圖14是表示本發(fā)明的實(shí)施方式5的邊界濾波部的動(dòng)作的流程圖。圖15是表示針對分割方法的變換單位的變換尺寸候選的一例的示意圖。圖16是表示變換尺寸的確定方法的處理流程的流程圖。圖17是表示本發(fā)明的實(shí)施方式6的圖像解碼裝置的功能結(jié)構(gòu)的框圖。圖18是表示本發(fā)明的實(shí)施方式6的濾波信息解碼處理的流程的流程圖。圖19是表示濾波信息中包含變換單位的信息時(shí)的解碼處理的流程的流程圖。圖20是表示本發(fā)明的實(shí)施方式7的圖像編碼方法的編碼序列的結(jié)構(gòu)圖。圖21是用于說明濾波信息在編碼序列中的記述方法的一例的示意圖。圖22是表示本發(fā)明的實(shí)施方式8的圖像編碼裝置的功能結(jié)構(gòu)的框圖。圖23是表示本發(fā)明的實(shí)施方式9的圖像解碼裝置的功能結(jié)構(gòu)的框圖。圖24是實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。圖25是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。圖26是表示電視機(jī)的結(jié)構(gòu)例的模塊圖。圖27是表示對作為光盤的記錄介質(zhì)進(jìn)行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。圖28是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。圖29是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。圖30是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。圖31是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。圖32是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。圖33是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。圖34是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。圖35是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。圖36是表示識別影像數(shù)據(jù)的步驟的圖。圖37是表示實(shí)現(xiàn)各實(shí)施方式的動(dòng)態(tài)圖像編碼方法及動(dòng)態(tài)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。圖38是表示切換驅(qū)動(dòng)頻率的結(jié)構(gòu)的圖。圖39是表示識別影像數(shù)據(jù)、切換驅(qū)動(dòng)頻率的步驟的圖。圖40是表示將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立了對應(yīng)的查找表的一例的圖。圖41A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。
圖41B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
具體實(shí)施例方式(實(shí)施方式I)圖IA是表示本發(fā)明的實(shí)施方式I的圖像編碼裝置100的功能結(jié)構(gòu)的框圖。圖像編碼裝置100按照每個(gè)塊對輸入圖像進(jìn)行編碼，并生成圖像編碼信號。如圖IA所示，圖像編碼裝置100具有幀存儲器101、運(yùn)動(dòng)檢測部102、參照圖片用存儲器103、編碼控制部104、邊界濾波部105、差分部106、變換部107、量化部108、可變長編碼部109、逆量化部110、逆變換部111、加法部112。幀存儲器101保存輸入圖像。并且，參照圖片用存儲器103保存重建圖像。另外，幀存儲器101和參照圖片用存儲器103也可以是與圖像編碼裝置100連接的外部存儲器。即，圖像編碼裝置100不一定具有幀存儲器101和參照圖片用存儲器103。并且，圖像編碼 裝置100也不需要將幀存儲器101和參照圖片用存儲器103分別設(shè)為獨(dú)立的存儲器，例如，也可以是以共用一個(gè)存儲器的形式來構(gòu)成幀存儲器101和參照圖片用存儲器103。運(yùn)動(dòng)檢測部102針對每個(gè)預(yù)測單位進(jìn)行運(yùn)動(dòng)估計(jì)，由此檢測每個(gè)預(yù)測單位的運(yùn)動(dòng)矢量MV。其中，預(yù)測單位是指將處理對象塊進(jìn)行分割得到的區(qū)域，即預(yù)測處理的處理單位。所檢測到的運(yùn)動(dòng)矢量MV被輸出給編碼控制部104和可變長編碼部109。編碼控制部104根據(jù)所檢測到的運(yùn)動(dòng)矢量，按照每個(gè)預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測圖像。具體地講，編碼控制部104首先按照每個(gè)預(yù)測單位，根據(jù)該預(yù)測單位的運(yùn)動(dòng)矢量從參照圖片用存儲器讀出參照圖像。并且，編碼控制部104將所讀出的各個(gè)預(yù)測單位的參照圖像進(jìn)行合成，由此生成運(yùn)動(dòng)補(bǔ)償圖像。這樣，由運(yùn)動(dòng)檢測部102和編碼控制部104生成預(yù)測圖像。即，運(yùn)動(dòng)檢測部102和編碼控制部104按照每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成處理對象塊的預(yù)測圖像。并且，編碼控制部104將所生成的預(yù)測圖像(運(yùn)動(dòng)補(bǔ)償圖像)MC輸出給邊界濾波部105。另外，編碼控制部104生成用于將處理對象塊進(jìn)行分割來得到預(yù)測單位的分割方法1C，并輸出給可變長編碼部109。邊界濾波部105將變換單位和預(yù)測單位進(jìn)行比較，由此檢測預(yù)測單位的邊界之中位于變換單位內(nèi)的邊界。并且，邊界濾波部105在所生成的預(yù)測圖像中進(jìn)行針對所檢測到的邊界的濾波處理。其中，變換單位是指將處理對象塊進(jìn)行分割得到的區(qū)域，也是頻率變換處理的處理單位。另外，針對邊界的濾波處理是指修正邊界附近的像素的像素值的處理，以便使與邊界垂直的方向上的像素值的變化變平滑。另外，優(yōu)選邊界濾波部105不進(jìn)行針對變換單位的邊界的濾波處理。S卩，優(yōu)選邊界濾波部105不對雖然是預(yù)測單位的邊界、但與變換單位的邊界重復(fù)的邊界進(jìn)行濾波處理。這是因?yàn)橥ǔＴ谏蓞⒄請D片時(shí)對于變換單位的邊界進(jìn)行解塊濾波(deblockingfilter)。濾波處理后的預(yù)測圖像PR被輸出給差分部106和加法部112。差分部106通過計(jì)算濾波處理后的預(yù)測圖像與輸入圖像的差分，生成處理對象塊的差分圖像。具體地講，差分部106在處理對象塊的各個(gè)像素中，計(jì)算濾波處理后的預(yù)測圖像與輸入圖像之間的像素值的差分值，并生成將計(jì)算出的差分值作為像素值的差分圖像。并且，該差分圖像RS被輸出給變換部107。變換部107按照每個(gè)變換單位進(jìn)行差分圖像的頻率變換處理。頻率變換處理例如是以DCT (Discrete Cosine Transform :離散余弦變換)為代表的正交變換處理。通過頻率變換處理而生成的變換系數(shù)被輸出給量化部108。量化部108對通過頻率變換處理而生成的變換系數(shù)進(jìn)行量化，由此生成量化系數(shù)QC0所生成的量化系數(shù)QC被輸出給可變長編碼部109和逆量化部110?？勺冮L編碼部109對量化系數(shù)QC和運(yùn)動(dòng)矢量MV和分割方法IC進(jìn)行可變長編碼，由此生成圖像編碼信號。逆量化部110對由量化部108生成的量化系數(shù)進(jìn)行逆量化。并且，逆變換部111對由逆量化部110進(jìn)行的逆量化的結(jié)果進(jìn)行逆頻率變換，由此生成解碼差分圖像。并且，這樣生成的解碼差分圖像DR被輸出給加法部112。 加法部112將解碼差分圖像和預(yù)測圖像進(jìn)行相加，由此生成重建圖像。并且，這樣生成的重建圖像DC被輸出給參照圖片用存儲器103。即，重建圖像DC被用作在以后進(jìn)行圖片的編碼時(shí)的參照圖像而保存在參照圖片用存儲器103中。下面，說明由如上所述構(gòu)成的圖像編碼裝置100執(zhí)行的圖像編碼方法。圖IB是表示本發(fā)明的實(shí)施方式I的圖像編碼方法的特征性處理流程的流程圖。在圖IB所示的流程圖開始之前，輸入圖像被保存在幀存儲器101中。并且，在參照圖片用存儲器103中已經(jīng)存儲有已編碼圖像的解碼圖像(重建圖像)，該重建圖像被用作在對處理對象塊進(jìn)行編碼時(shí)的參照圖片。被保存在幀存儲器101中的處理對象塊，按照由編碼控制部104指示的分割方法被分割為預(yù)測單位。下面，將預(yù)測單位稱為分割區(qū)域。圖2是表示本發(fā)明的實(shí)施方式I的處理對象塊的分割方法的一例的圖。在本實(shí)施方式中，如圖2 (a) (d)所示，處理對象塊被分割為8X8像素、4X4像素、8X2像素或者2X8像素的分割區(qū)域。S卩，由編碼控制部104指示的分割方法包括圖2Ca) (d)所示的4種方法。在這種狀態(tài)下，通過按每個(gè)分割區(qū)域進(jìn)行預(yù)測處理，生成處理對象塊的預(yù)測圖像(步驟S101)。該步驟SlOl相當(dāng)于預(yù)測步驟。具體地講，運(yùn)動(dòng)檢測部102針對每個(gè)分割區(qū)域進(jìn)行運(yùn)動(dòng)估計(jì)，由此檢測各個(gè)分割區(qū)域的運(yùn)動(dòng)矢量(步驟SlOla)。更具體地講，運(yùn)動(dòng)檢測部102對于各個(gè)分割區(qū)域的圖像，進(jìn)行針對在參照圖片用存儲器103中保存的參照圖片的運(yùn)動(dòng)檢測。在運(yùn)動(dòng)檢測中，在參照圖片內(nèi)的預(yù)先確定的范圍(例如水平方向±32像素、垂直方向±24像素的長方形的區(qū)域的范圍)中，檢測針對分割區(qū)域的圖像的評價(jià)值例如為最小的參照圖片內(nèi)的位置。運(yùn)動(dòng)檢測部102根據(jù)這樣檢測到的位置來檢測運(yùn)動(dòng)矢量。其中，評價(jià)值是用于確定參照圖片的值。作為評價(jià)值，例如能夠采用相互對應(yīng)的像素間的像素值的絕對值差分和。并且，作為評價(jià)值，例如也能夠采用絕對值差分和與運(yùn)動(dòng)矢量的編碼量的加權(quán)和等。運(yùn)動(dòng)檢測部102按照每種分割方法，針對各個(gè)分割區(qū)域的圖像進(jìn)行運(yùn)動(dòng)檢測，并檢測該分割區(qū)域的運(yùn)動(dòng)矢量。另外，運(yùn)動(dòng)檢測部102確定最佳的分割方法(例如在采用最小值作為最佳值的基準(zhǔn)的情況下，針對各個(gè)分割區(qū)域的評價(jià)值之和為最小的分割方法)。并且，運(yùn)動(dòng)檢測部102將所確定的分割方法輸出給編碼控制部104，將利用該分割方法進(jìn)行分割得到的各個(gè)分割區(qū)域的運(yùn)動(dòng)矢量MV輸出給可變長編碼部109。并且，所確定的分割方法和運(yùn)動(dòng)矢量被輸出給編碼控制部104。然后，編碼控制部104根據(jù)由運(yùn)動(dòng)檢測部102檢測到的運(yùn)動(dòng)矢量，生成處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測圖像(步驟SlOlb)。具體地講，編碼控制部104從參照圖片用存儲器103中讀出針對各個(gè)分割區(qū)域的參照圖像，將所讀出的參照圖像合成，由此生成預(yù)測圖像。所生成的預(yù)測圖像MC被輸出給邊界濾波部105。例如，在圖3中，在處理對象塊300被分割為分割區(qū)域301和分割區(qū)域302的情況下，編碼控制部104從參照圖片取得參照圖像303和參照圖像304，并生成處理對象塊300的預(yù)測圖像(運(yùn)動(dòng)補(bǔ)償圖像)。預(yù)測圖像被按照處理塊單位(例如水平16像素、垂直16像素)進(jìn)行處理。然后，邊界濾波部105在所生成的預(yù)測圖像中，對分割區(qū)域的邊界進(jìn)行濾波處理 (步驟S102)。關(guān)于該邊界濾波部105的動(dòng)作，將使用圖4 圖7進(jìn)行詳細(xì)說明。圖4是表示本發(fā)明的實(shí)施方式I的邊界濾波處理的流程的流程圖。具體地講，圖4是用于說明邊界濾波部105根據(jù)從編碼控制部104取得的分割方法，對預(yù)測圖像進(jìn)行濾波處理時(shí)的動(dòng)作的流程圖。邊界濾波部105從編碼控制部104取得預(yù)測圖像MC和與該預(yù)測圖像MC對應(yīng)的分割方法(步驟S401)。然后，邊界濾波部105判定分割區(qū)域的邊界是否位于變換單位內(nèi)(步驟S402)。即，邊界濾波部105將變換單位和分割區(qū)域進(jìn)行比較，由此檢測分割區(qū)域的邊界之中位于變換單位內(nèi)的邊界(下面，稱為“處理對象邊界”)。具體地講，邊界濾波部105根據(jù)與預(yù)測圖像MC對應(yīng)的分割方法來取得分割區(qū)域的形狀信息。并且，邊界濾波部105例如按照圖5所示，將預(yù)先根據(jù)分割方法而確定的變換單位和分割區(qū)域進(jìn)行比較，并判定分割區(qū)域的邊界是否位于變換單位內(nèi)。使用圖6更詳細(xì)地說明步驟S402的比較處理。圖6 Ca)是表示處理對象塊中的變換單位的邊界的圖。并且，圖6 (b)是表示處理對象塊中的分割區(qū)域的邊界的圖。并且，圖6 (c)是表示通過變換單位的邊界與分割區(qū)域的邊界的比較而檢測到的處理對象邊界的圖。在圖6 (c)中，處理對象邊界用陰影線示出。例如，如圖5所示，在分割方法和變換單位是一對一對應(yīng)的情況下，邊界濾波部105將針對分割方法的最小分割寬度和變換單位進(jìn)行比較，在最小分割寬度小于變換單位的一邊的長度的情況下，判定在變換單位內(nèi)產(chǎn)生參照圖像MC的分割區(qū)域的邊界。在此，在未檢測到處理對象邊界的情況下(步驟S402 :否)，在處理對象塊的預(yù)測圖像中不進(jìn)行濾波處理而結(jié)束邊界濾波處理。另一方面，在檢測到處理對象邊界的情況下(步驟S402 :是)，邊界濾波部105進(jìn)行針對處理對象邊界(例如圖6 (c)所示的處理對象邊界)的濾波處理(步驟S403)。在此，使用圖7和圖8詳細(xì)說明步驟S403的針對處理對象邊界的濾波處理。圖7是用于說明包括處理對象邊界的圖像的特征的示意圖。圖7 Ca)表示原圖像701和預(yù)測圖像702和差分圖像706。原圖像701是在幀存儲器101中保存的輸入圖像中所包含的處理對象塊的圖像。預(yù)測圖像702是通過對分割區(qū)域703、704、705分別進(jìn)行運(yùn)動(dòng)補(bǔ)償而得到的圖像。差分圖像706是表示原圖像701與預(yù)測圖像702的差分的圖像。如預(yù)測圖像702所示，在按照每個(gè)分割區(qū)域進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，在各個(gè)分割區(qū)域703、704、705中圖像的特性往往是不同的。因此，在原圖像701與預(yù)測圖像702的差分信號即差分圖像706中，能夠觀察到分割區(qū)域的邊界附近的像素的值增大這種特征。圖7 (b)表示在差分圖像706中包括物體邊界而且跨越分割區(qū)域的部分707的像素值的分布。并且，圖7 (c)表示包括與部分707相同的物體邊界、但是不跨越分割區(qū)域的部分708的像素值的分布。在圖7 (b)和(c)中，橫軸表示與分割區(qū)域的邊界垂直的方向的像素位置，縱軸表示像素值。在圖7 (b)中，在中央部分存在起因于分割區(qū)域的邊界的較大的值的變化，在右側(cè)附近能夠觀察到起因于物體邊界的平緩的值的變化。另一方面，在圖7 (C)中的右側(cè)附近能夠觀察到起因于物體邊界的平緩的值的變化。 其中，在圖7 (a)所示的用粗線包圍的兩個(gè)區(qū)域709是變換單位的情況下，對如圖7 (b)所示具有較大的差分值的圖像進(jìn)行變換處理。在以進(jìn)行圖像編碼時(shí)使用的DCT(Discrete Cosine Transform :離散余弦變換)為代表的正交變換處理中，能夠?qū)ψ匀粓D像中較多包含的、包括空間上的平緩的像素值的空間性變化的圖像(如圖7 (c)所示的包括起因于自然圖像的物體邊界的像素值的空間性變化的圖像)進(jìn)行高效變換，但是不能對如圖7(b)所示的包括表示急劇的像素值的變化的邊緣的圖像進(jìn)行高效變換。因此，在步驟S402，邊界濾波部105檢測如圖7 (d)所示的處理對象邊界710。并且，邊界濾波部105對預(yù)測圖像702之中的該處理對象邊界710附近的圖像進(jìn)行濾波處理。即，邊界濾波部105進(jìn)行針對處理對象邊界的濾波處理。其中，成為進(jìn)行濾波處理的對象的圖像不是差分圖像，而是預(yù)測圖像。這是因?yàn)樵趯斎雸D像與預(yù)測圖像的差分圖像進(jìn)行了濾波處理的情況下，很難將通過濾波處理而丟失的成分復(fù)原。例如，在進(jìn)行了將差分圖像之中比一定頻率高的頻率的頻率成分置換為零的濾波處理的情況下，即使以非常高的精度對濾波處理后的差分圖像進(jìn)行量化，也很難將通過濾波處理而丟失的高頻率的頻率成分復(fù)原。即，很難將接近輸入圖像的圖像復(fù)原。另一方面，在對預(yù)測圖像進(jìn)行了濾波處理的情況下，對濾波處理后的預(yù)測圖像與輸入圖像的差分圖像進(jìn)行頻率變換而得到的變換系數(shù)被量化。因此，在以非常高的精度進(jìn)行了量化的情況下，能夠?qū)⒔咏斎雸D像的圖像復(fù)原。如上所述，此處的濾波處理是以將自然圖像中不包含的急劇的邊緣變平滑為目的。使用圖8說明對與處理對象邊界相鄰接的像素進(jìn)行的濾波處理。圖8是用于說明濾波處理的圖。在圖8中示出了處理對象邊界附近的像素的像素值。其中，橫軸表示與處理對象邊界垂直的方向的像素的位置，縱軸表示像素值。像素P3、像素p2、像素pi、像素p0、像素q0、像素ql、像素q2、像素q3的像素值分別為p3、p2、pl、p0、q0、ql、q2、q30圖8 (a)表示輸入圖像的像素值，圖8 (b)表示預(yù)測圖像的像素值，圖8 (C)表示針對圖8 (b)中的處理對象邊界的附近的像素實(shí)施了濾波處理后的預(yù)測圖像的像素值。如圖8 Ca) (C)所示，濾波處理后的預(yù)測圖像與濾波處理前的參照圖像相比更接近輸入圖像。其結(jié)果是，差分圖像中包含的差分值減小，因而能夠高效地進(jìn)行變換處理，能夠高效地進(jìn)行編碼。如以上說明的那樣，邊界濾波部105按照用于使像素值的變化變平滑的規(guī)定的方法，對處理對象邊界的附近像素進(jìn)行濾波處理。并且，邊界濾波部105將濾波處理后的預(yù)測圖像PR輸出給差分部106和加法部112。返回到圖IB的說明。差分部106計(jì)算輸入圖像和預(yù)測圖像PR的對應(yīng)像素的像素值的差分值，并生成殘差圖像RS (步驟S103)。該殘差圖像RS相當(dāng)于差分圖像。變換部107對殘差圖像RS進(jìn)行頻率變換(步驟S104)。變換部107將通過頻率變換而得到的變換系數(shù)輸出給量化部108。另外，關(guān)于作為濾波處理的對象的、處理對象邊界的附近像素的確定方法，將在實(shí) 施方式3中進(jìn)行詳細(xì)說明，關(guān)于針對附近像素的濾波處理的方法將在實(shí)施方式4中進(jìn)行詳細(xì)說明。如上所述，本實(shí)施方式I的圖像編碼裝置100在對輸入圖像進(jìn)行編碼時(shí)，將輸入圖像分割為正方形區(qū)域即作為編碼處理的處理單位的塊(編碼單位)。并且，圖像編碼裝置100對于這樣分割出的塊，按照預(yù)先確定的分割方法再分割為多個(gè)分割區(qū)域。并且，圖像編碼裝置100針對各個(gè)分割區(qū)域進(jìn)行運(yùn)動(dòng)檢測及運(yùn)動(dòng)補(bǔ)償，由此生成處理對象塊的預(yù)測圖像。在此，圖像編碼裝置100檢測分割區(qū)域的邊界之中、與后級的針對差分信號的變換處理的處理單位即變換單位不一致的邊界，作為處理對象邊界。并且，圖像編碼裝置100在預(yù)測圖像中對處理對象邊界進(jìn)行濾波處理。通過進(jìn)行這種動(dòng)作，即使是預(yù)測單位(分割區(qū)域)的邊界位于變換單位內(nèi)，也能夠?qū)υ撨吔邕M(jìn)行濾波處理。由此，能夠使在預(yù)測單位的邊界處產(chǎn)生的像素值的急劇變化變平滑，能夠減小輸入圖像與預(yù)測圖像的差分圖像的值。并且，不需要像過去那樣減小變換單位來使預(yù)測單位(分割區(qū)域)的邊界不位于變換單位內(nèi)，因而即使是在預(yù)測單位較小的情況下，也能夠增大變換單位。其結(jié)果是，能夠大幅削減編碼量，能夠提高編碼效率。 在本實(shí)施方式中，僅對預(yù)測單位的邊界之中位于變換單位內(nèi)的預(yù)測單位的邊界進(jìn)行濾波處理。因此，與對預(yù)測單位的邊界全部進(jìn)行濾波處理的情況相比，能夠削減處理量。另外，在解碼圖像或者參照圖像中，也能夠抑制與針對變換單位的邊界進(jìn)行的編碼失真去除濾波(解塊濾波)重復(fù)地進(jìn)行濾波處理，能夠抑制由于多次濾波處理而造成的畫質(zhì)的惡化(圖像的模糊)。另外，關(guān)于分割方法和變換單位，不需要限定為圖5所示的分割方法和變換單位。例如，在諸如預(yù)測單位的一部分與變換單位的一部分相互重復(fù)的情況下，本實(shí)施方式的圖像編碼方法通過對位于變換單位內(nèi)的預(yù)測單位的邊界進(jìn)行濾波處理，能夠發(fā)揮與上述相同的效果。另外，在本實(shí)施方式中，圖像編碼裝置100針對位于變換單位內(nèi)的分割區(qū)域的邊界全部進(jìn)行濾波處理，但不一定需要全部進(jìn)行濾波處理。例如，在相互鄰接的兩個(gè)分割區(qū)域中，在從運(yùn)動(dòng)矢量相同、而且在參照圖片內(nèi)相鄰接的區(qū)域取得參照圖像的情況下，也可以跳過針對這兩個(gè)分割區(qū)域之間的邊界的濾波處理。這樣，能夠削減濾波處理的處理量，抑制預(yù)測圖像被過剩地實(shí)施濾波處理，能夠抑制起因于濾波處理的畫質(zhì)的惡化(圖像的模糊)。
另外，也可以將表示跳過濾波處理的信息記述為流的頭(header)信息。這樣，能夠根據(jù)圖像的特征控制濾波器的0N/0FF，能夠?qū)⒔獯a圖像的畫質(zhì)保持為高畫質(zhì)。另外，關(guān)于濾波頭信息的發(fā)送方法，將在其它實(shí)施方式中進(jìn)行詳細(xì)說明。另外，在圖IB的預(yù)測處理(步驟S101)中，也可以進(jìn)行面內(nèi)預(yù)測處理來取代運(yùn)動(dòng)檢測處理(步驟SlOla)和運(yùn)動(dòng)補(bǔ)償處理(步驟SlOlb)。S卩，在預(yù)測處理(步驟SlOl)中，編碼控制部104根據(jù)已編碼塊的重建圖像，按照每個(gè)預(yù)測單位進(jìn)行面內(nèi)預(yù)測，由此生成處理對象塊的面內(nèi)預(yù)測圖像作為預(yù)測圖像。在這種情況下，圖像編碼裝置100也可以不具有運(yùn)動(dòng)檢測部102。另外，圖像編碼裝置100不一定需要具有圖IA所示的全部處理部，例如，也可以是僅具有用于執(zhí)行圖IB所示的圖像編碼方法中包含的各個(gè)步驟的處理的處理部。(實(shí)施方式2)圖9A是表示本發(fā)明的實(shí)施方式2的圖像解碼裝置900的功能結(jié)構(gòu)的框圖。圖像 解碼裝置900對將對象圖像進(jìn)行編碼得到的圖像編碼信號進(jìn)行解碼，并生成解碼圖像。圖像解碼裝置900具有可變長解碼部901、逆量化部902、逆變換部903、加法部904、解碼控制部905、邊界濾波部906、運(yùn)動(dòng)補(bǔ)償部907、參照圖片用存儲器908。在本實(shí)施方式中，輸入編碼序列BS是由本發(fā)明的實(shí)施方式是圖像編碼裝置100生成的圖像編碼信號。即，輸入編碼序列BS是按照每個(gè)塊對輸入圖像進(jìn)行編碼而得到的圖像編碼號。參照圖片用存儲器908保存已解碼的圖像即解碼圖像。另外，參照圖片用存儲器908也可以是與圖像解碼裝置900連接的外部存儲器。即，圖像解碼裝置900不一定具有參照圖片用存儲器908。可變長解碼部901通過對輸入編碼序列BS進(jìn)行可變長解碼，取得量化系數(shù)和分割方法和運(yùn)動(dòng)矢量。分割方法是用于將處理對象塊分割為多個(gè)預(yù)測單位(分割區(qū)域)的方法。所取得的量化系數(shù)QC被輸出給逆量化部902，分割方法IC被輸出給解碼控制部905，運(yùn)動(dòng)矢量MV被輸出給運(yùn)動(dòng)補(bǔ)償部907。逆量化部902對量化系數(shù)進(jìn)行逆量化。并且，逆變換部903按照每個(gè)變換單位對逆量化部902的逆量化結(jié)果進(jìn)行逆頻率變換，由此生成解碼差分圖像。這樣生成的解碼差分圖像DR被輸出給加法部904。解碼控制部905取得處理對象塊的分割方法1C，并輸出給邊界濾波部906和運(yùn)動(dòng)補(bǔ)償部907。運(yùn)動(dòng)補(bǔ)償部907取得用于將處理對象塊分割為預(yù)測單位的分割方法。另外，運(yùn)動(dòng)補(bǔ)償部907按照根據(jù)所取得的分割方法進(jìn)行分割得到的每個(gè)預(yù)測單位來取得運(yùn)動(dòng)矢量。并且，運(yùn)動(dòng)補(bǔ)償部907根據(jù)所取得的運(yùn)動(dòng)矢量，按照每個(gè)預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測圖像。即，運(yùn)動(dòng)補(bǔ)償部907按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成處理對象塊的預(yù)測圖像。即，運(yùn)動(dòng)補(bǔ)償部907根據(jù)分割方法和運(yùn)動(dòng)矢量，從參照圖片用存儲器908取得參照圖像，由此生成處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像。在此，在處理對象塊被分割的情況下，按照每個(gè)分割區(qū)域(預(yù)測單位)來記述運(yùn)動(dòng)矢量。因此，運(yùn)動(dòng)補(bǔ)償部907按照該運(yùn)動(dòng)矢量對于每個(gè)分割區(qū)域取得參照圖像，并將所取得的參照圖像進(jìn)行合成，由此生成運(yùn)動(dòng)補(bǔ)償圖像。
例如，如圖3所示，在處理對象塊300被分割為分割區(qū)域301和分割區(qū)域302的情況下，運(yùn)動(dòng)補(bǔ)償部907從參照圖片用存儲器908取得參照圖像303和參照圖像304，并生成運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測圖像MC。并且，運(yùn)動(dòng)補(bǔ)償部907將預(yù)測圖像MC輸出給邊界濾波部906。邊界濾波部906將變換單位和預(yù)測單位進(jìn)行比較，由此檢測預(yù)測單位的邊界之中位于變換單位內(nèi)的邊界。并且，邊界濾波部906在所生成的預(yù)測圖像中進(jìn)行針對所檢測到的邊界的濾波處理。另外，關(guān)于變換單位，例如可以根據(jù)預(yù)測單位和變換單位的預(yù)先確 定的對應(yīng)關(guān)系來確定。并且，例如也可以相對于預(yù)測單位而獨(dú)立地確定變換單位。加法部904將濾波處理后的預(yù)測圖像和解碼差分圖像相加，由此生成處理對象塊的解碼圖像。下面，說明由如上所述構(gòu)成的圖像解碼裝置900執(zhí)行的圖像解碼方法。圖9B是表示本發(fā)明的實(shí)施方式2的圖像解碼方法的特征性處理流程的流程圖。在圖9B所示的流程圖開始之前，在參照圖片用存儲器908中已經(jīng)存儲有解碼圖像。該解碼圖像被用作對編碼序列進(jìn)行解碼時(shí)的參照圖片。首先，逆變換部903按照每個(gè)變換單位進(jìn)行逆頻率變換處理，由此生成上述處理對象塊的解碼差分圖像(步驟S901)。然后，運(yùn)動(dòng)補(bǔ)償部907按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成處理對象塊的預(yù)測圖像(步驟S902)。具體地講，運(yùn)動(dòng)補(bǔ)償部907首先按照每個(gè)預(yù)測單位來取得運(yùn)動(dòng)矢量(步驟S902a)。然后，運(yùn)動(dòng)補(bǔ)償部907根據(jù)所取得的運(yùn)動(dòng)矢量，按每個(gè)預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測圖像(步驟S902b)。邊界濾波部906在所生成的預(yù)測圖像中進(jìn)行針對預(yù)測單位的邊界的濾波處理(步驟S903)。關(guān)于該邊界濾波部906的動(dòng)作，使用圖10進(jìn)行說明。圖10是表示本發(fā)明的實(shí)施方式2的邊界濾波處理的流程的流程圖。具體地講，圖10是用于說明邊界濾波部906根據(jù)從解碼控制部905取得的分割方法，對預(yù)測圖像進(jìn)行濾波處理時(shí)的動(dòng)作的流程圖。邊界濾波部906從運(yùn)動(dòng)補(bǔ)償部907取得處理對象塊的預(yù)測圖像，再從解碼控制部905取得處理對象塊的分割方法(步驟S1001 )。然后，邊界濾波部906判定分割區(qū)域的邊界是否位于變換單位內(nèi)(步驟S1002)。即，邊界濾波部105將變換單位和分割區(qū)域進(jìn)行比較，由此檢測分割區(qū)域的邊界之中位于變換單位內(nèi)的邊界。具體地講，邊界濾波部906根據(jù)分割方法來取得分割區(qū)域的形狀信息。并且，邊界濾波部906例如按照圖5所示，將根據(jù)分割方法預(yù)先確定的變換單位和分割區(qū)域進(jìn)行比較，并判定分割區(qū)域的邊界是否位于變換單位內(nèi)。該比較處理與實(shí)施方式I的步驟S402相同，因而省略詳細(xì)說明。在此，在未檢測到處理對象邊界的情況下(步驟S1002 :否)，在處理對象塊的預(yù)測圖像中不進(jìn)行濾波處理，結(jié)束邊界濾波處理。另一方面，在檢測到處理對象邊界的情況下(步驟S1002 :是)，邊界濾波部906進(jìn)行針對處理對象邊界(例如圖6 (c)所示的處理對象邊界)的濾波處理(步驟S1003)。關(guān)于該步驟S1003的濾波處理，與實(shí)施方式I的步驟S403相同，因而省略詳細(xì)說明。邊界濾波部105將濾波處理后的預(yù)測圖像PR輸出給加法部904。然后，加法部904將解碼差分圖像DR和濾波處理后的預(yù)測圖像PR相加，由此生成處理對象塊的解碼圖像DC (步驟S904)。這樣生成的解碼圖像DC被輸出給參照圖片用存儲器908。即，解碼圖像DC是輸出圖像，并且是在以后進(jìn)行解碼時(shí)使用的參照圖片。如上所述，本發(fā)明的實(shí)施方式2的圖像解碼裝置900在對利用本發(fā)明的實(shí)施方式I的圖像編碼方法生成的編碼序列進(jìn)行解碼時(shí)，取得各個(gè)處理對象塊的分割信息。并且，圖像解碼裝置900按照該分割信息、以及在編碼序列中記述的運(yùn)動(dòng)矢量或者已經(jīng)被解碼的周圍運(yùn)動(dòng)矢量，按每個(gè)預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測圖像。在這樣生成的預(yù)測圖像中，針對位于預(yù)測單位內(nèi)的分割區(qū)域的邊界進(jìn)行濾波處理。并且，圖像解碼裝置900將濾波處理后的預(yù)測圖像和解碼差分圖像相加，由此生成解碼圖像。通過進(jìn)行這種動(dòng)作，能夠正確地對利用本發(fā)明的實(shí)施方式I的圖像編碼方法生成 的編碼序列進(jìn)行解碼。另外，關(guān)于分割方法和變換單位，不需要限定為圖5所示的分割方法和變換單位。在分割區(qū)域的邊界位于變換單位內(nèi)的情況下，能夠發(fā)揮與上述相同的效果。另外，在本實(shí)施方式中，圖像解碼裝置900與實(shí)施方式I相同地，針對位于變換單位內(nèi)的分割區(qū)域的邊界全部進(jìn)行濾波處理，但不一定需要全部進(jìn)行濾波處理。例如，在相互鄰接的兩個(gè)分割區(qū)域中，在從運(yùn)動(dòng)矢量相同、而且在參照圖片內(nèi)鄰接的區(qū)域取得參照圖像的情況下，也可以跳過針對這兩個(gè)分割區(qū)域之間的邊界的濾波處理。這樣，能夠削減濾波處理的處理量，抑制預(yù)測圖像被過剩地實(shí)施濾波處理，能夠抑制起因于濾波處理的畫質(zhì)的惡化(圖像的模糊)。另外，在表示跳過濾波處理的信息被記述在流的頭信息中的情況下，通過對該信息進(jìn)行解碼，能夠根據(jù)圖像的特征控制濾波器的0N/0FF，能夠?qū)⒔獯a圖像的畫質(zhì)保持為高畫質(zhì)。另外，關(guān)于濾波頭信息的發(fā)送方法，將在其它實(shí)施方式中進(jìn)行詳細(xì)說明。另外，與實(shí)施方式I相同地，關(guān)于作為濾波處理的對象的、處理對象邊界的附近像素的確定方法，將在實(shí)施方式3中進(jìn)行詳細(xì)說明，關(guān)于針對附近像素的濾波處理的方法將在實(shí)施方式4中進(jìn)行詳細(xì)說明。另外，圖像解碼裝置900不一定需要具有圖9A所示的全部處理部，例如，也可以是僅具有用于執(zhí)行圖9B所示的圖像解碼方法中包含的各個(gè)步驟的處理的處理部。(實(shí)施方式3)在本發(fā)明的實(shí)施方式3中，說明針對實(shí)施方式I及實(shí)施方式2中的處理對象邊界的濾波處理。尤其要詳細(xì)說明作為濾波處理的對象的像素即濾波對象像素的確定方法。在此，要進(jìn)行濾波處理的部分是位于變換單位內(nèi)的預(yù)測單位的邊界(處理對象邊界)。此時(shí)，關(guān)于處理對象邊界的附近的像素、即作為濾波處理的對象的像素即濾波對象像素的確定方法，使用圖8所示的在濾波處理方向上排列一列的像素p3、p2、pi、p0、q0、ql、q2、q3進(jìn)行詳細(xì)說明。另外，像素p3、p2、pl、p0、q0、ql、q2、q3的像素值分別為p3、p2、pl、p0、q0、ql、q2、q3。圖11是表示本發(fā)明的實(shí)施方式3的濾波對象像素的確定方法的處理流程的流程圖。首先，邊界濾波部105或者906 (下面代表性地記述邊界濾波部105)取得在流的頭信息中記述的表示濾波器的ON/OFF的濾波信息。并且，邊界濾波部105判定濾波信息是否是表示濾波器OFF的信息(步驟S1101)。在此，在濾波信息是表示濾波器OFF的信息的情況下(步驟SllOl :是)，邊界濾波部105確定為處理對象邊界的附近的全部像素都不是濾波對象像素(步驟S1102)。另一方面，在濾波信息是表示濾波器ON的信息的情況下(步驟SllOl :否)，邊界濾波部105將像素PO和像素q0確定為濾波對象像素(步驟S1103)。然后，邊界濾波部105將像素pi和像素PO的像素值的差分的絕對值與預(yù)先確定的閾值TH進(jìn)行比較(步驟S1104)。其中，閾值TH例如是根據(jù)(式I)賦予的值。數(shù)式ITH = O. 8 · (2(QP+0ffset)/6+l) (式 I)
其中，QP是表示量化精度的量化參數(shù)。并且，Offset表示調(diào)整參數(shù),被記述在文件頭信息中。另外，確定為在量化參數(shù)QP越大時(shí)閾值TH越大即可，不一定需要根據(jù)(式I)來確定。并且，閾值TH也可以記述在文件頭信息中。在此，在差分的絕對值小于閾值TH的情況下(步驟SI 104 :是)，邊界濾波部105還將像素Pl確定為濾波對象像素(步驟S1105)。另一方面，在差分的絕對值為閾值TH以上的情況下(步驟SI 104 :否)，進(jìn)入到后面的步驟SI 106。然后，邊界濾波部105與步驟S1104相同地將像素ql和像素q0的像素值的差分的絕對值與閾值TH進(jìn)行比較(步驟S1106)。其中，該閾值TH采用與步驟S1104相同的值。在此，在差分的絕對值小于閾值TH的情況下(步驟SI 106 :是)，邊界濾波部105還將像素ql確定為濾波對象像素(步驟S1107)，并結(jié)束濾波對象像素的確定處理。另一方面，在差分的絕對值為閾值TH以上的情況下(步驟S1106 :否)，原樣地結(jié)束濾波對象像素的確定處理。另外，作為一例，閾值TH是根據(jù)(式I)所示的量化參數(shù)QP而變化的值，但也可以是根據(jù)與處理對象邊界鄰接的預(yù)測單位間的運(yùn)動(dòng)矢量的差分而變化的值。例如，也可以確定為在運(yùn)動(dòng)矢量的X成分的差分的絕對值與Y成分的差分的絕對值之和MVD越大時(shí)，閾值TH越大。在運(yùn)動(dòng)矢量的差分較大的情況下，認(rèn)為處理對象邊界中的圖像特性的變化不同。因此，通過根據(jù)運(yùn)動(dòng)矢量的差分來改變閾值TH，能夠按照圖像的特性來確定濾波對象像素。并且，也可以確定為使閾值TH根據(jù)上述MVD和量化參數(shù)QP雙方而變化。利用上述的方法確定濾波對象像素。另外，在此邊界濾波部105只對像素p0、pl、q0、ql進(jìn)行是否確定為濾波對象像素的判定，但還可以對像素P2、像素q2進(jìn)行判定。在這種情況下，邊界濾波部105以鄰接像素是濾波對象像素(例如Pl)為前提，將差分的絕對值(例如|p2 - pi I )與閾值進(jìn)行比較，由此能夠判定是否確定為濾波對象像素。另外，在步驟S1101，對表示濾波器的0N/0FF的濾波信息被記述在流的頭信息中的情況進(jìn)行了說明，但不一定需要將這種濾波信息記述在頭信息中。例如，如果預(yù)先按照編碼方法、解碼方法來確定濾波器的0N/0FF，則也可以不在頭信息中記述濾波信息。在這種情況下，能夠削減頭信息。另外，例如也可以在頭信息中記述表示邊界像素?cái)?shù)的濾波信息。在這種情況下，在圖11中的步驟S1101，邊界濾波部105按照濾波信息所表示的像素?cái)?shù)來確定濾波對象像素。例如，在像素?cái)?shù)為I的情況下，邊界濾波部105可以將像素p0、q0確定為濾波對象像素。另夕卜，例如，在像素?cái)?shù)為2的情況下，邊界濾波部105可以將像素pl、p0、q0、ql確定為濾波對象像素。由此，能夠大幅削減邊界濾波部105的處理量。另外，關(guān)于頭信息的發(fā)送方法將在其它實(shí)施方式中詳細(xì)說明。(實(shí)施方式4)在本發(fā)明的實(shí)施方式4中，說明針對實(shí)施方式I及實(shí)施方式2中的處理對象邊界的濾波處理。具體地講，詳細(xì)說明針對在實(shí)施方式3中確定的濾波對象像素的濾波處理。在此，假設(shè)已經(jīng)按照實(shí)施方式3所示的方法確定了濾波對象像素。并且，使用圖8 所示的在濾波處理方向上排列一列的像素索引p3、p2、pl、p0、q0、ql、q2、q3來說明濾波處理。另外，像素 p3、p2、pl、p0、q0、ql、q2、q3 的像素值分別為 p3、p2、pl、p0、q0、ql、q2、q3。并且，下面說明由實(shí)施方式I的圖像編碼裝置100進(jìn)行濾波處理的情況。圖12是用于說明本發(fā)明的實(shí)施方式4的濾波處理的一例的示意圖。在圖12中，處理對象塊1200被分割為水平4像素、垂直8像素的分割區(qū)域1201和分割區(qū)域1202。處理對象塊1200是變換單位，分割區(qū)域1201和分割區(qū)域1202是預(yù)測單位。在這種情況下，編碼控制部104從參照圖片用存儲器103取得參照圖像1203和參照圖像1204。并且，編碼控制部104將參照圖像1203和參照圖像1204進(jìn)行合成，并生成處理對象塊的預(yù)測圖像(運(yùn)動(dòng)補(bǔ)償圖像)。例如，當(dāng)在所有的行中濾波對象像素是像素PO和qO的情況下，邊界濾波部105使用與參照圖像1203鄰接的參照圖像區(qū)域1205和與參照圖像1204鄰接的參照圖像區(qū)域1206進(jìn)行濾波處理。例如，邊界濾波部105將按照像素單位計(jì)算所重復(fù)的區(qū)域(處理對象塊1200之中用交叉影線示出的部分)而得到的平均值確定為濾波處理后的像素值。另外，在此，邊界濾波部105通過計(jì)算兩個(gè)參照圖像的平均值，確定與處理對象邊界鄰接的像素的像素值。但是，邊界濾波部105也可以進(jìn)行如(式2)所示的濾波處理。數(shù)式2p0 = p0a · d0+pOb · (l_d0)qO = q0b · d0+qOa · (l_d0)pi = pla · (I^plb · (I-(I1)(式 2)ql = qlb · (Ijqla · (I-(I1)p2 = p2a · d2+p2b · (l-d2)q2 = q2b · d2+q2a · (l-d2)其中，d0、dl、d2表示按照距處理對象邊界的每個(gè)距離而確定的濾波系數(shù)，取0.5 I之間的值。例如，d0 = 0.5，dl = 0.75，d2 = 0.875。這些數(shù)值可以預(yù)先確定為在圖像編碼方法或者圖像解碼方法中共同的值，也可以記述在流的頭信息中。在增大濾波器的強(qiáng)度(增強(qiáng)平滑度)的情況下，可以將濾波系數(shù)d0、dl、d2設(shè)為接近0. 5的值。另外，邊界濾波部105也可以按照將(式2)變形得到的(式3)，通過下移(shiftdown)及上移(shift up)來進(jìn)行濾波處理。例如，關(guān)于(式2)中的dO = O. 5, dl = O. 75,d2 = O. 875，在(式 3)中可以表現(xiàn)為 A =1,B = 1,C=I,D = 3, E = 2, F=I,G = 7, H =3,1 = I。這樣，在按照(式3)進(jìn)行濾波處理的情況下，能夠削減頭信息的信息量，而且能夠削減濾波處理的處理量。數(shù)式3p0 = (p0a · A) >> C+(pOb · B) >> CqO = (q0b · A) >> C+(qOa · B) >> Cpi = (pla · D) >> E+(plb · F) >> E (式 3) ql = (qlb · D) >> E+(qla · F) >> Ep2 = (p2a · G) >> H+(p2b · I) >> Hq2 = (q2b · G) >> H+(q2a · I) >> H通過上述示出的方法，邊界濾波部105能夠?qū)λ_定的濾波對象像素進(jìn)行濾波處理。另外，邊界濾波部105在從參照圖片用存儲器103取得參照圖像時(shí)，通過取得比分割區(qū)域(預(yù)測單位)大的區(qū)域的圖像，由此能夠減少存儲器訪問。另外，邊界濾波部105也可以利用與上述不同的方法進(jìn)行濾波處理。邊界濾波部105也可以按照例如(式4)進(jìn)行濾波處理。其中，像素ql、像素qO、像素p0及像素pi的濾波處理后的像素值分別表示為q’ l、q’0、p’0及p’ I。數(shù)式4p' O = C0j0 · pl+coa · pO+c0j2 · qO+c0j3 * qlp' I = clj0 · p2+cia · pl+clj2 · p0+clj3 · qO(式 4)q' 0 = c0j0 · ql+coa · qO+c0j2 · pO+c0j3 · piq' I = clj0 · q2+cia · ql+clj2 · q0+clj3 · ql其中，c0；0>c0；1> cQ，2、c0；3> c1；0> c1；1> c1；2> C13 表示濾波系數(shù)，例如用(式 5)表示。數(shù)式5
權(quán)利要求
1.ー種圖像編碼方法，按照每個(gè)塊對輸入圖像進(jìn)行編碼來生成圖像編碼信號，其特征在于， 該圖像編碼方法包括 預(yù)測步驟，按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成所述處理對象塊的預(yù)測圖像； 比較步驟，將作為將所述處理對象塊進(jìn)行分割得到的區(qū)域的頻率變換處理的處理單位即變換単位和所述預(yù)測單位進(jìn)行比較，由此檢測所述預(yù)測単位的邊界之中位于所述變換單位內(nèi)的邊界； 邊界濾波步驟，在所生成的所述預(yù)測圖像中，進(jìn)行針對所檢測到的所述邊界的濾波處理； 差分步驟，通過計(jì)算所述濾波處理后的預(yù)測圖像與所述輸入圖像的差分，生成所述處理對象塊的差分圖像；以及 變換步驟，按照每個(gè)所述變換單位進(jìn)行所述差分圖像的頻率變換處理。
2.根據(jù)權(quán)利要求I所述的圖像編碼方法，其特征在干， 在所述邊界濾波步驟中不進(jìn)行針對所述變換單位的邊界的濾波處理。
3.根據(jù)權(quán)利要求I或2所述的圖像編碼方法，其特征在干， 所述圖像編碼方法還包括 濾波信息記述步驟，將表示所述邊界濾波步驟中的濾波處理的方法的濾波信息記述在所述圖像編碼信號中。
4.根據(jù)權(quán)利要求I 3中任意ー項(xiàng)所述的圖像編碼方法，其特征在干， 所述預(yù)測步驟包括 運(yùn)動(dòng)檢測步驟，通過按照每個(gè)所述預(yù)測單位進(jìn)行運(yùn)動(dòng)估計(jì)，按每個(gè)所述預(yù)測単位檢測運(yùn)動(dòng)矢量；以及 運(yùn)動(dòng)補(bǔ)償步驟，通過根據(jù)所檢測到的所述運(yùn)動(dòng)矢量按每個(gè)所述預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成所述處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像作為所述預(yù)測圖像。
5.根據(jù)權(quán)利要求I 3中任意ー項(xiàng)所述的圖像編碼方法，其特征在干， 所述預(yù)測步驟包括 面內(nèi)預(yù)測步驟，通過根據(jù)已編碼塊的重建圖像按每個(gè)所述預(yù)測單位進(jìn)行面內(nèi)預(yù)測，生成所述處理對象塊的面內(nèi)預(yù)測圖像作為所述預(yù)測圖像。
6.根據(jù)權(quán)利要求I 3中任意ー項(xiàng)所述的圖像編碼方法，其特征在干， 所述預(yù)測步驟包括 運(yùn)動(dòng)檢測步驟，通過按照每個(gè)所述預(yù)測單位進(jìn)行運(yùn)動(dòng)估計(jì)，按每個(gè)所述預(yù)測単位檢測運(yùn)動(dòng)矢量； 運(yùn)動(dòng)補(bǔ)償步驟，通過根據(jù)所檢測到的所述運(yùn)動(dòng)矢量按每個(gè)所述預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成所述處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像； 面內(nèi)預(yù)測步驟，通過根據(jù)已編碼塊的重建圖像按每個(gè)所述預(yù)測單位進(jìn)行面內(nèi)預(yù)測，生成所述處理對象塊的面內(nèi)預(yù)測圖像；以及 編碼方法切換步驟，將所述運(yùn)動(dòng)補(bǔ)償圖像和所述面內(nèi)預(yù)測圖像進(jìn)行比較，并選擇所述運(yùn)動(dòng)補(bǔ)償圖像和所述面內(nèi)預(yù)測圖像中的一方作為所述預(yù)測圖像。
7.ー種圖像解碼方法，對按照每個(gè)塊將圖像進(jìn)行編碼得到的圖像編碼信號進(jìn)行解碼，其特征在干， 該圖像解碼方法包括 逆變換步驟，按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)變換單位進(jìn)行逆頻率變換處理，由此生成所述處理對象塊的解碼差分圖像； 預(yù)測步驟，按照將所述處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成所述處理對象塊的預(yù)測圖像； 比較步驟，將所述變換単位和所述預(yù)測單位進(jìn)行比較，由此檢測所述預(yù)測単位的邊界之中位于所述變換單位內(nèi)的邊界； 邊界濾波步驟，在所生成的所述預(yù)測圖像中，進(jìn)行針對所檢測到的所述邊界的濾波處理；以及 相加步驟，將所述濾波處理后的預(yù)測圖像和所述解碼差分圖像相加，由此生成所述處理對象塊的解碼圖像。
8.根據(jù)權(quán)利要求7所述的圖像解碼方法，其特征在干， 在所述邊界濾波步驟中不進(jìn)行針對所述變換單位的邊界的濾波處理。
9.根據(jù)權(quán)利要求7或8所述的圖像解碼方法，其特征在干， 所述圖像解碼方法還包括 濾波信息取得步驟，從所述圖像編碼信號中取得表示濾波處理的方法的濾波信息， 在所述邊界濾波步驟中，按照所取得的所述濾波信息表示的方法進(jìn)行針對所檢測到的所述邊界的濾波處理。
10.根據(jù)權(quán)利要求7 9中任意ー項(xiàng)所述的圖像解碼方法，其特征在干， 所述預(yù)測步驟包括 運(yùn)動(dòng)矢量取得步驟，按照每個(gè)所述預(yù)測單位從所述圖像編碼信號取得運(yùn)動(dòng)矢量；以及運(yùn)動(dòng)補(bǔ)償步驟，通過根據(jù)所取得的所述運(yùn)動(dòng)矢量按每個(gè)所述預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成所述處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像作為所述預(yù)測圖像。
11.根據(jù)權(quán)利要求7 9中任意ー項(xiàng)所述的圖像解碼方法，其特征在干， 所述預(yù)測步驟包括 面內(nèi)預(yù)測步驟，通過根據(jù)已解碼塊的圖像按每個(gè)所述預(yù)測單位進(jìn)行面內(nèi)預(yù)測，生成所述處理對象塊的面內(nèi)預(yù)測圖像作為所述預(yù)測圖像。
12.根據(jù)權(quán)利要求7 9中任意ー項(xiàng)所述的圖像解碼方法，其特征在干， 所述預(yù)測步驟包括 運(yùn)動(dòng)矢量取得步驟，按照每個(gè)所述預(yù)測單位從所述圖像編碼信號取得運(yùn)動(dòng)矢量；運(yùn)動(dòng)補(bǔ)償步驟，通過根據(jù)所取得的所述運(yùn)動(dòng)矢量按所述每個(gè)預(yù)測單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成所述處理對象塊的運(yùn)動(dòng)補(bǔ)償圖像； 面內(nèi)預(yù)測步驟，通過根據(jù)已解碼塊的圖像按所述每個(gè)預(yù)測單位進(jìn)行面內(nèi)預(yù)測，生成所述處理對象塊的面內(nèi)預(yù)測圖像；以及 解碼方法切換步驟，將所述運(yùn)動(dòng)補(bǔ)償圖像和所述面內(nèi)預(yù)測圖像進(jìn)行比較，并選擇所述運(yùn)動(dòng)補(bǔ)償圖像和所述面內(nèi)預(yù)測圖像中的一方作為所述預(yù)測圖像。
13.ー種圖像編碼裝置，按照每個(gè)塊對輸入圖像進(jìn)行編碼來生成圖像編碼信號，其特征在于， 該圖像編碼裝置包括 預(yù)測部，按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成所述處理對象塊的預(yù)測圖像； 比較部，將作為將所述處理對象塊進(jìn)行分割得到的區(qū)域的頻率變換處理的處理單位即變換單位和所述預(yù)測單位進(jìn)行比較，由此檢測所述預(yù)測単位的邊界之中位于所述變換單位內(nèi)的邊界； 邊界濾波部，在所生成的所述預(yù)測圖像中，進(jìn)行針對所檢測到的所述邊界的濾波處理； 差分部，通過計(jì)算所述濾波處理后的預(yù)測圖像與所述輸入圖像的差分，生成所述處理對象塊的差分圖像；以及 變換部，按照每個(gè)所述變換單位進(jìn)行所述差分圖像的頻率變換處理。
14.ー種圖像解碼裝置，對按照每個(gè)塊將圖像進(jìn)行編碼得到的圖像編碼信號進(jìn)行解碼，其特征在干， 該圖像解碼裝置包括 逆變換部，按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)變換單位進(jìn)行逆頻率變換處理，由此生成所述處理對象塊的解碼差分圖像； 預(yù)測部，按照將所述處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成所述處理對象塊的預(yù)測圖像； 比較部，將所述變換單位和所述預(yù)測單位進(jìn)行比較，由此檢測所述預(yù)測単位的邊界之中位于所述變換單位內(nèi)的邊界； 邊界濾波部，在所生成的所述預(yù)測圖像中，進(jìn)行針對所檢測到的所述邊界的濾波處理；以及 相加部，將所述濾波處理后的預(yù)測圖像和所述解碼差分圖像相加，由此生成所述處理對象塊的解碼圖像。
全文摘要
一種圖像編碼方法，按照每個(gè)塊對輸入圖像進(jìn)行編碼來生成圖像編碼信號，該圖像編碼方法包括預(yù)測步驟(S101)，按照將處理對象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測單位進(jìn)行預(yù)測處理，由此生成處理對象塊的預(yù)測圖像；比較步驟(S402)，將作為將處理對象塊進(jìn)行分割得到的區(qū)域的頻率變換處理的處理單位即變換單位和預(yù)測單位進(jìn)行比較，由此檢測預(yù)測單位的邊界之中位于變換單位內(nèi)的邊界；邊界濾波步驟(S403)，在所生成的預(yù)測圖像中，進(jìn)行針對所檢測到的所述邊界的濾波處理；差分步驟(S103)，通過計(jì)算濾波處理后的預(yù)測圖像與輸入圖像的差分，生成處理對象塊的差分圖像；以及變換步驟(S104)，按照每個(gè)變換單位進(jìn)行差分圖像的頻率變換處理。
文檔編號H04N7/32GK102835114SQ20118001852
公開日2012年12月19日 申請日期2011年4月12日 優(yōu)先權(quán)日2010年4月13日
發(fā)明者笹井壽郎, 西孝啟, 柴原陽司 申請人:松下電器產(chǎn)業(yè)株式會社