專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和程序，具體地，涉及即使在進(jìn)行具有整數(shù)像素精度的運(yùn)動補(bǔ)償處理的時候也能夠提高通過幀間預(yù)測產(chǎn)生的預(yù)測圖像的質(zhì)量的圖像處理裝置、圖像處理方法和程序。
背景技術(shù)：
近年來，以數(shù)字格式操作圖像信息的設(shè)備以及在那時，為了高效地傳送和累積信息，壓縮編碼圖像已經(jīng)得到廣泛應(yīng)用。該設(shè)備使用對圖像信息特定的冗余度并采用基于比如離散余弦變換之類的正交變換和運(yùn)動補(bǔ)償(例如，MPEG(運(yùn)動圖像專家組階段)標(biāo)準(zhǔn))壓縮圖像的方法。具體地說，MPEG 2(IS0/IEC 13818-2)被定義為通用的圖像編碼方法。MPEG 2是對于隔行掃描圖像和逐行掃描圖像和對于標(biāo)準(zhǔn)清晰度圖像和高清晰度圖像定義的標(biāo)準(zhǔn)。 MPEG 2現(xiàn)今廣泛地用于專業(yè)應(yīng)用和消費(fèi)者應(yīng)用。通過使用MPEG 2壓縮標(biāo)準(zhǔn)并向720X480 像素的標(biāo)準(zhǔn)分辨率隔行圖像分配4到8Mbps的編碼量(位速率)和向1920X 1088像素的高清晰度隔行圖像分配18到22Mbps的編碼量，可以實(shí)現(xiàn)高壓縮比和優(yōu)秀的圖像質(zhì)量。MPEG 2意在提供主要與廣播適應(yīng)的高分辨率編碼，因此，MPEG 2不支持具有低于 MPEG 1的編碼量的編碼量，也就是，壓縮比高于MPEG 1的壓縮比的編碼方法。但是，因?yàn)橐苿与娫捵兊酶鼜V泛地使用，這種編碼方法的需求正在增加。因此，已經(jīng)標(biāo)準(zhǔn)化了 MPEG 4編碼方法。例如，在1998年12月MPEG 4圖像編碼方法被批準(zhǔn)為國際標(biāo)準(zhǔn)IS0/IEC 14496-2。另外，近年來，為了編碼電視會議的圖像，已經(jīng)進(jìn)行了被稱為H. ^L(ITU-T Q6/16 VCEG)的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化。在H. ^L中，與比如MPEG 2和MPEG 4之類的現(xiàn)有的編碼標(biāo)準(zhǔn)比較，編碼和解碼操作需要大量計(jì)算。但是，已知H. 26L可以實(shí)現(xiàn)更高的編碼效率。此外，作為MPEG 4的活動的一部分，已經(jīng)進(jìn)行了被稱為增強(qiáng)-壓縮視頻編碼的聯(lián)合模型的標(biāo)準(zhǔn)化。 該增強(qiáng)-壓縮視頻編碼的聯(lián)合模型基于H. 26L并包括H. 26L不支持的功能，因此可以實(shí)現(xiàn)更高的編碼效率。在2003年3月，增強(qiáng)-壓縮視頻編碼的聯(lián)合模型被批準(zhǔn)為國際標(biāo)準(zhǔn)，作為H. 264和MPEG-4部分10 (高級視頻編碼；在下文中，稱為“AVC”)。另外，例如在H. ^4/AVC中，使用在各幀或各場之間的相關(guān)性執(zhí)行幀間預(yù)測。在幀間預(yù)測中執(zhí)行的運(yùn)動補(bǔ)償處理中，通過使用預(yù)存儲的可作為基準(zhǔn)的圖像的局部區(qū)域，使用幀間預(yù)測來生成預(yù)測圖像(下文稱為“幀間預(yù)測圖像”)。例如，如圖1所示，如果將預(yù)存儲的可作為基準(zhǔn)的圖像的五個幀選擇為基準(zhǔn)幀，則通過參考五個基準(zhǔn)幀之一的一部分來生成要進(jìn)行幀間預(yù)測的幀(原始幀)的幀間預(yù)測圖像的一部分(下文稱為“基準(zhǔn)圖像”)。注意，用作幀間預(yù)測圖像的一部分的基準(zhǔn)圖像的一部分的位置由基于原始幀和基準(zhǔn)幀的圖像所檢測到的運(yùn)動矢量來確定。更確切地，如圖2所示，當(dāng)基準(zhǔn)幀中的面部11沿著右下方向在原始圖像中移動并且如果其下部的大約1/3被隱藏時，指示左上方向(其與右下方向相反)的運(yùn)動矢量被檢測。由此，在通過運(yùn)動矢量指示的運(yùn)動移動部分11所獲得的位置處，參考基準(zhǔn)幀中面部11的部分13來生成原始幀中未隱藏的面部11的部分12。另外，在H. 264/AVC的運(yùn)動補(bǔ)償處理中，運(yùn)動矢量的分辨率可以增加到分?jǐn)?shù)像素的精度，比如1/2像素精度或1/4像素精度。在這種具有分?jǐn)?shù)像素精度的補(bǔ)償處理中，假定在兩個相鄰像素之間存在被稱為子像素的虛擬像素，且另外執(zhí)行用于產(chǎn)生子像素的處理(以下稱為“內(nèi)插”)。即，在具有分?jǐn)?shù)像素精度的運(yùn)動補(bǔ)償處理中，由于運(yùn)動矢量的最小分辨率是處于分?jǐn)?shù)位置的像素，因此進(jìn)行內(nèi)插以便生成處于分?jǐn)?shù)位置的像素。圖3圖示其中垂直方向和水平方向上的像素的數(shù)量通過內(nèi)插增大到原始數(shù)量的四倍的圖像的像素。注意，在圖3中，白色正方形表示處于整數(shù)位置的像素，而陰影正方形表示處于分?jǐn)?shù)位置的像素。另外，寫入在正方形中的字母表示正方形所指示的像素的像素值。通過內(nèi)插生成的并且位于分?jǐn)?shù)位置的像素的像素值b、h、j、a、d、f和r通過使用下列等式(1)來表示。b = (E-5F+20G+20H_5I+J)/32h = (A-5C+20G+20M-5R+T)/32j = (aa-5bb+20b+20s-5gg+hh)/32a = (G+b) /2d = (G+h) /2f = (b+j)/2r = (m+s) /2 …(1)注意，如同像素值b，可以計(jì)算出像素值aa、bb、S、gg和hh。如同像素值h，可以計(jì)算出像素值cc、dd、m、ee和ff。如同像素值a，可以計(jì)算出像素值c。如同像素值d，可以計(jì)算出像素值f、η、和q。如同像素值r，可以計(jì)算出像素值e、ρ和g。上述等式(1)用于例如H. ^4/AVC標(biāo)準(zhǔn)的內(nèi)插。這種等式根據(jù)標(biāo)準(zhǔn)而不同。然而， 等式的目的是相同的。此等式可以通過使用具有偶數(shù)數(shù)量的抽頭的FIR(Finit-dUrati0n Impulse Response)濾波器而加以實(shí)現(xiàn)。另外，在NPL 1和2中，描述了自適應(yīng)內(nèi)插濾波器(AIF)作為近來的研究報(bào)告。在使用這種AIF的運(yùn)動補(bǔ)償處理中，可以通過自適應(yīng)地改變具有偶數(shù)數(shù)量的抽頭并在內(nèi)插中使用的FIR濾波器的濾波系數(shù)來降低混疊(alias)和編碼失真的效果。由此，可降低運(yùn)動補(bǔ)償?shù)恼`差。注意，除了 AIF之外，近來已經(jīng)開發(fā)了自適應(yīng)環(huán)路濾波器(ALF)作為下一代視頻編碼技術(shù)(例如參見NPL3)。通過使用這種自適應(yīng)濾波器，針對每個幀進(jìn)行最佳的濾波處理。 由此，去塊濾波器不能完全去除的塊失真和量化引起的失真可以得到降低。引用列表非專利文獻(xiàn)NPL 1 Thomas Wedi and Hans Georg Musmann, Motion-and Aliasing-Compensated Prediction for Hybrid Video Coding, IEEE Transactions on circuits and systems for video technology, July 2003, Vol.13, No. 7NPL 2 :Yuri Vatis, Joern Ostermann, Prediction of P-and B-Frames Using aTwo-dimensional Non-separable Adaptive Wiener Interpolation Filter for H. 264/ AVC, ITU-T SG16 VCEG 30th Meeting, Hangzhou China, October 2006NPL 3 =Yi-Jen Chiu and L. Xu, “ Adaptive(Wiener)Filter for Video Compression, " ITU-T SG16 Contribution, C437, Geneva, April 2008

發(fā)明內(nèi)容
技術(shù)問題然而，在使用HR濾波器的具有整數(shù)像素精度的運(yùn)動補(bǔ)償處理和具有分?jǐn)?shù)像素精度的運(yùn)動補(bǔ)償處理中，基準(zhǔn)幀的像素值僅直接復(fù)制到幀間預(yù)測圖像中運(yùn)動矢量所對應(yīng)的位置。據(jù)此，在許多情況下，幀間預(yù)測圖像不完全與要進(jìn)行幀間預(yù)測的圖像相同。另外，由于需要將幀間預(yù)測圖像和要進(jìn)行幀間預(yù)測的圖像之間的差異發(fā)送至解碼方，因此編碼效率在差異很大的情況下減小。注意，幀間預(yù)測圖像不完全與要進(jìn)行幀間預(yù)測的圖像相同的原因之一在于存在當(dāng)基準(zhǔn)圖像被編碼時出現(xiàn)的量化誤差或者運(yùn)動矢量的誤差。使用AIF的具有分?jǐn)?shù)像素精度的運(yùn)動補(bǔ)償處理可以減小編碼失真。然而，由于AIF 是用于進(jìn)行內(nèi)插的濾波器，因此AIF不能應(yīng)用于未進(jìn)行內(nèi)插的具有整數(shù)像素精度的運(yùn)動補(bǔ)償處理。據(jù)此，本發(fā)明旨在即使在進(jìn)行具有整數(shù)像素精度的運(yùn)動補(bǔ)償處理的時候也增大幀間預(yù)測圖像的質(zhì)量。問題的解決方案根據(jù)本發(fā)明的第一方面，一種圖像處理裝置包括解碼部件，其用于對編碼圖像進(jìn)行解碼；濾波處理部件，其通過使用從對圖像進(jìn)行編碼的不同的圖像處理裝置發(fā)送的并且對應(yīng)于編碼圖像的濾波系數(shù)，對解碼部件解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理， 其中所述濾波系數(shù)是在圖像被編碼時獲得的以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與編碼處理前的圖像相類似；運(yùn)動補(bǔ)償部件，其用于對濾波處理部件所濾波的圖像與解碼部件所解碼的圖像之一進(jìn)行運(yùn)動補(bǔ)償；以及計(jì)算部件，其用于通過將運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償?shù)臑V波圖像和濾波處理部件所濾波的運(yùn)動補(bǔ)償圖像之一與解碼部件所解碼的圖像進(jìn)行相加，以生成解碼圖像。所述濾波處理部件可以對解碼部件所解碼的圖像進(jìn)行濾波處理，并且所述運(yùn)動補(bǔ)償部件可以對濾波處理部件所濾波的圖像進(jìn)行運(yùn)動補(bǔ)償。所述計(jì)算部件可以通過將所述解碼部件解碼的圖像與所述運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償?shù)臑V波圖像進(jìn)行相加以生成解碼圖像。所述運(yùn)動補(bǔ)償部件可以對解碼部件解碼的圖像進(jìn)行運(yùn)動補(bǔ)償，并且所述濾波處理部件可以對所述運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償圖像進(jìn)行濾波處理。所述計(jì)算部件可以通過將所述解碼部件解碼的圖像和所述濾波處理部件濾波的運(yùn)動補(bǔ)償圖像進(jìn)行相加以生成解碼圖像。所述濾波系數(shù)可以是在圖像被編碼時通過使用最小二乘法而獲得的，以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像之一與編碼前的圖像之間的差異的平方最小化。所述濾波系數(shù)和編碼圖像可以被無損編碼，并且以壓縮信息的形式從所述不同的圖像處理裝置予以發(fā)送。所述解碼部件可以對所述壓縮信息進(jìn)行無損解碼，從作為結(jié)果的信息中提取濾波系數(shù)和編碼圖像，并且對編碼圖像進(jìn)行解碼，并且所述濾波處理部件可以通過使用解碼部件提取出的濾波系數(shù)對解碼部件解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理。根據(jù)本發(fā)明的第一方面，一種用于在圖像處理裝置中使用的圖像處理方法包含 解碼步驟，其用于對編碼圖像進(jìn)行解碼；濾波處理步驟，其通過使用從對圖像進(jìn)行編碼的不同的圖像處理裝置發(fā)送的并且對應(yīng)于編碼圖像的濾波系數(shù)，對解碼步驟中解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理，其中所述濾波系數(shù)是在圖像被編碼時獲得的，以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與編碼處理前的圖像相類似；運(yùn)動補(bǔ)償步驟，其用于對濾波處理步驟中濾波的圖像與解碼步驟中解碼的圖像之一進(jìn)行運(yùn)動補(bǔ)償；以及計(jì)算步驟，其用于通過將解碼步驟中解碼的圖像與運(yùn)動補(bǔ)償步驟中運(yùn)動補(bǔ)償?shù)臑V波圖像和濾波處理步驟中濾波的運(yùn)動補(bǔ)償圖像之一進(jìn)行相加，以生成解碼圖像。根據(jù)本發(fā)明的第一方面，提供了一種用于使得計(jì)算機(jī)用作圖像處理裝置的程序。 所述圖像處理裝置包含解碼部件，其用于對編碼圖像進(jìn)行解碼；濾波處理部件，其通過使用從對圖像進(jìn)行編碼的不同的圖像處理裝置發(fā)送的并且對應(yīng)于編碼圖像的濾波系數(shù)，對解碼部件解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理，其中所述濾波系數(shù)是在圖像被編碼時獲得的，以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與編碼處理前的圖像相類似； 運(yùn)動補(bǔ)償部件，其用于對濾波處理部件所濾波的圖像與解碼部件所解碼的圖像之一進(jìn)行運(yùn)動補(bǔ)償；以及計(jì)算部件，其用于通過將解碼部件所解碼的圖像與運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償?shù)臑V波圖像和濾波處理部件所濾波的運(yùn)動補(bǔ)償圖像之一進(jìn)行相加，以生成解碼圖像。根據(jù)本發(fā)明的第二方面，一種圖像處理裝置包含濾波系數(shù)計(jì)算部件，其用于通過使用基準(zhǔn)圖像與運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像，計(jì)算使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與要編碼的圖像相類似的濾波器的濾波系數(shù)；濾波處理部件，其用于通過使用所述濾波系數(shù)計(jì)算部件計(jì)算出的濾波系數(shù)，對基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一進(jìn)行濾波處理；運(yùn)動補(bǔ)償部件，其用于通過使用濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一，檢測濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一進(jìn)行運(yùn)動補(bǔ)償；編碼部件，其通過使用運(yùn)動補(bǔ)償?shù)臑V波基準(zhǔn)圖像和濾波的運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像之間的差異，生成所述編碼圖像；以及發(fā)送部件，其用于發(fā)送所述編碼圖像和所述濾波系數(shù)。所述濾波系數(shù)計(jì)算部件可以基于要編碼的圖像和基準(zhǔn)圖像，計(jì)算使得基準(zhǔn)圖像與要編碼的圖像相類似的濾波器的濾波系數(shù)。所述濾波處理部件可以使用所述濾波系數(shù)對基準(zhǔn)圖像進(jìn)行濾波處理，并且所述運(yùn)動補(bǔ)償部件可以檢測要編碼的圖像與濾波的基準(zhǔn)圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波的基準(zhǔn)圖像進(jìn)行運(yùn)動補(bǔ)償。所述編碼部件可以通過使用運(yùn)動補(bǔ)償?shù)臑V波圖像和要編碼的圖像之間的差異來生成所述編碼圖像。所述運(yùn)動補(bǔ)償部件可以通過使用要編碼的圖像與基準(zhǔn)圖像來檢測要編碼的圖像與基準(zhǔn)圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對基準(zhǔn)圖像進(jìn)行運(yùn)動補(bǔ)償。所述濾波系數(shù)計(jì)算部件可以基于要編碼的圖像和運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像，計(jì)算使得運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像與要編碼的圖像相類似的濾波器的濾波系數(shù)，并且所述濾波處理部件通過使用濾波系數(shù)對運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像進(jìn)行濾波處理。所述編碼部件可以通過使用運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像和要編碼的圖像之間的差異來生成所述編碼圖像。所述濾波系數(shù)計(jì)算部件可以通過使用最小二乘法計(jì)算濾波系數(shù)，以使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像之一與要編碼的圖像之間的差異的平方最小化。所述濾波系數(shù)計(jì)算部件可以通過使用具有整數(shù)像素精度的運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像和基準(zhǔn)圖像之一的像素值以及具有分?jǐn)?shù)像素精度的運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像和基準(zhǔn)圖像之一的像素值來計(jì)算濾波系數(shù)。所述發(fā)送部件可以對編碼圖像和濾波系數(shù)進(jìn)行無損編碼，并且以壓縮信息的形式發(fā)送編碼圖像和濾波系數(shù)。根據(jù)本發(fā)明的第二方面，提供了一種用于圖像處理裝置的圖像處理方法。所述方法包含濾波系數(shù)計(jì)算步驟，其通過使用基準(zhǔn)圖像與運(yùn)動補(bǔ)償圖像之一和要編碼的圖像，計(jì)算使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償圖像之一與要編碼的圖像相類似的濾波器的濾波系數(shù)；濾波處理步驟，其通過使用所述濾波系數(shù)計(jì)算步驟中計(jì)算出的濾波系數(shù)，對基準(zhǔn)圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理；運(yùn)動補(bǔ)償步驟，其通過使用濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一，檢測濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一進(jìn)行運(yùn)動補(bǔ)償；編碼步驟，其通過使用運(yùn)動補(bǔ)償?shù)臑V波基準(zhǔn)圖像和濾波的運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像之間的差異，生成所述編碼圖像；以及發(fā)送步驟，其發(fā)送所述編碼圖像和所述濾波系數(shù)。根據(jù)本發(fā)明的第二方面，提供了一種用于使得計(jì)算機(jī)用作圖像處理裝置的程序。 所述圖像處理裝置包括濾波系數(shù)計(jì)算部件，其用于通過使用基準(zhǔn)圖像與運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像，計(jì)算使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與要編碼的圖像相類似的濾波器的濾波系數(shù)；濾波處理部件，其用于通過使用所述濾波系數(shù)計(jì)算部件計(jì)算出的濾波系數(shù)，對基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一進(jìn)行濾波處理；運(yùn)動補(bǔ)償部件，其用于通過使用濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像，檢測濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一進(jìn)行運(yùn)動補(bǔ)償；編碼部件，其通過使用運(yùn)動補(bǔ)償?shù)臑V波基準(zhǔn)圖像和濾波的運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像之間的差異，生成所述編碼圖像；以及發(fā)送部件，其用于發(fā)送所述編碼圖像和所述濾波系數(shù)。根據(jù)本發(fā)明的第一方面，對編碼圖像進(jìn)行解碼，并且通過使用從對圖像進(jìn)行編碼的不同的圖像處理裝置發(fā)送的并且對應(yīng)于編碼圖像的濾波系數(shù)，對解碼部件解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理，其中所述濾波系數(shù)是在圖像被編碼時獲得的以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與編碼處理前的圖像相類似。另外，對濾波處理部件所濾波的圖像與解碼部件所解碼的圖像之一進(jìn)行運(yùn)動補(bǔ)償。此后，通過將解碼的圖像與運(yùn)動補(bǔ)償?shù)臑V波圖像和濾波的運(yùn)動補(bǔ)償圖像之一進(jìn)行相加，以生成解碼圖像。根據(jù)本發(fā)明的第二方面，通過使用基準(zhǔn)圖像與運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像，計(jì)算使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與要編碼的圖像相類似的濾波器的濾波系數(shù)；并且通過使用計(jì)算出的濾波系數(shù)，對基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一進(jìn)行濾波處理。另外，通過使用濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一和要編碼的圖像，檢測濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一進(jìn)行運(yùn)動補(bǔ)償。此后，使用運(yùn)動補(bǔ)償?shù)臑V波基準(zhǔn)圖像和濾波的運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像之間的差異，生成所述編碼圖像；并且發(fā)送所述編碼圖像和所述濾波系數(shù)。
本發(fā)明的有益效果根據(jù)本發(fā)明，即使在進(jìn)行具有整數(shù)像素精度的運(yùn)動補(bǔ)償處理的時候，通過幀間預(yù)測所生成的預(yù)測圖像的質(zhì)量也可以得到提升。


圖1圖示現(xiàn)有幀間預(yù)測技術(shù)。
圖2詳細(xì)圖示現(xiàn)有幀間預(yù)測技術(shù)。
圖3圖示內(nèi)插。
圖4是根據(jù)本發(fā)明的圖像編碼裝置的配置的框圖。
圖5圖示可變塊大小。
圖6是根據(jù)本發(fā)明的圖像解碼裝置的配置的框圖。
圖7是根據(jù)本發(fā)明實(shí)施例的圖像編碼裝置的配置的示例的框圖。
圖8是圖7所示的圖像編碼裝置進(jìn)行的編碼處理的流程圖。
圖9是有關(guān)濾波系數(shù)計(jì)算單元和FIR濾波器的詳細(xì)配置的示例的框圖。
圖10是有關(guān)濾波系數(shù)計(jì)算單元和FIR濾波器的詳細(xì)配置的另一示例的框圖。
圖11是根據(jù)本發(fā)明實(shí)施例的圖像解碼裝置的配置的示例的框圖。
圖12是圖11所示的圖像解碼裝置進(jìn)行的解碼處理的流程圖。
圖13是與根據(jù)本發(fā)明的圖10所示的圖像解碼裝置對應(yīng)的配置的示例的框圖。
圖14圖示擴(kuò)展塊大小的示例。
圖15是根據(jù)本發(fā)明的電視接收器的主要配置的示例的框圖。
圖16是根據(jù)本發(fā)明的蜂窩電話的主要配置的示例的框圖。
圖17是根據(jù)本發(fā)明的硬盤記錄器的主要配置的示例的框圖。
圖18是根據(jù)本發(fā)明的相機(jī)的主要配置的示例的框圖。
具體實(shí)施例方式<1.發(fā)明的基礎(chǔ)〉首先參考圖4到圖6描述作為本發(fā)明的基礎(chǔ)裝置的圖像編碼裝置和圖像解碼裝置。圖4圖示作為本發(fā)明的基礎(chǔ)裝置的圖像編碼裝置的配置。圖像編碼裝置51包括 A/D轉(zhuǎn)換單元61、重排序屏幕緩沖器62、計(jì)算單元63、正交變換單元64、量化器單元65、無損編碼單元66、累積緩沖器67、逆量化器單元68、逆正交變換單元69、計(jì)算單元70、去塊濾波器71、幀存儲器72、開關(guān)73、幀內(nèi)預(yù)測單元74、運(yùn)動預(yù)測/補(bǔ)償單元75、已預(yù)測圖像選擇單元76和速率控制單元77。圖像編碼裝置51例如使用H. 264/AVC標(biāo)準(zhǔn)壓縮編碼圖像。A/D轉(zhuǎn)換單元61A/D轉(zhuǎn)換輸入圖像并將已轉(zhuǎn)換圖像輸出到存儲已轉(zhuǎn)換圖像的重排序屏幕緩沖器62中。此后，重排序屏幕緩沖器62根據(jù)GOP(畫面組)重排序用于顯示的以存儲的次序布置的幀的圖像，以便以要編碼幀的次序布置圖像。計(jì)算單元63從重排序屏幕緩沖器62讀取的圖像中減去由預(yù)測圖像選擇單元 76選擇的以下兩個預(yù)測圖像之一幀內(nèi)預(yù)測的圖像和通過幀間預(yù)測產(chǎn)生的預(yù)測圖像(以下稱為“幀間預(yù)測的圖像”)。此后，計(jì)算單元63將產(chǎn)生的差值輸出到正交變換單元64。正交變換單元64關(guān)于從計(jì)算單元63接收到的差值執(zhí)行正交變換，比如離散余弦變換或 Karhunen-Loeve變換，并輸出變換系數(shù)。量化器單元65量化從正交變換單元64輸出的變換系數(shù)。從量化器單元65輸出的量化的變換系數(shù)被輸入到無損編碼單元66。在無損編碼單元66中，關(guān)于量化的變換系數(shù)執(zhí)行無損編碼處理，比如可變長度編碼(例如，CAVLC(基于上下文的自適應(yīng)可變長度編碼))或算術(shù)編碼(例如，CABAC(基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)。因此，壓縮變換系數(shù)。在累積緩沖器67中積累產(chǎn)生的壓縮圖像，并隨后輸出。另外，從量化器單元65輸出的量化的變換系數(shù)還輸入到逆量化器單元68并進(jìn)行逆量化。此后，變換系數(shù)進(jìn)一步在逆正交變換單元69中經(jīng)歷逆正交變換。由計(jì)算單元70 將逆正交變換的輸出加到從預(yù)測圖像選擇單元76提供的幀間預(yù)測的圖像或幀內(nèi)預(yù)測的圖像。以這種方式，產(chǎn)生本地解碼的圖像。去塊濾波器71去除本地解碼的圖像的塊失真并將本地解碼的圖像提供到幀存儲器72。因此，累積本地解碼的圖像。另外，由去塊濾波器71 執(zhí)行去塊濾波器處理之前的圖像還被提供給幀存儲器72并累積。開關(guān)73將在幀存儲器72中累積的圖像輸出到運(yùn)動預(yù)測/補(bǔ)償單元75或幀內(nèi)預(yù)測單元74。在圖像編碼裝置51中，例如，將從重排序屏幕緩沖器62接收到的I畫面、B畫面和P畫面提供給幀內(nèi)預(yù)測單元74作為要經(jīng)歷幀內(nèi)預(yù)測的圖像。另外，將從重排序屏幕緩沖器62讀取的B畫面和P畫面提供給運(yùn)動預(yù)測/補(bǔ)償單元75作為要經(jīng)歷幀間預(yù)測的圖像。幀內(nèi)預(yù)測單元74使用要經(jīng)歷幀內(nèi)預(yù)測并從重排序屏幕緩沖器62讀取的圖像和經(jīng)由開關(guān)73從幀存儲器72提供的圖像來在所有候選幀內(nèi)預(yù)測模式中執(zhí)行幀內(nèi)預(yù)測處理。因此，幀內(nèi)預(yù)測單元74產(chǎn)生幀內(nèi)預(yù)測的圖像。注意，在H. ^4/AVC編碼標(biāo)準(zhǔn)中，作為用于亮度信號的幀內(nèi)預(yù)測模式，定義基于 4X4像素塊的預(yù)測模式、基于8X8像素塊的預(yù)測模式和基于16X 16像素塊的預(yù)測模式。 也就是說，定義基于宏塊的預(yù)測模式。另外，與用于亮度信號的幀內(nèi)預(yù)測模式獨(dú)立地定義用于色差信號的幀內(nèi)預(yù)測模式。基于宏塊定義用于色差信號的幀內(nèi)預(yù)測模式。另外，幀內(nèi)預(yù)測單元74對于所有候選幀內(nèi)預(yù)測模式中的每一個計(jì)算成本函數(shù)值。使用如在作為H. 264/AVC參考軟件的JM(聯(lián)合模型)中定義的高復(fù)雜度模式和低復(fù)雜度模式的技術(shù)之一計(jì)算成本函數(shù)值。更具體地說，當(dāng)采用高復(fù)雜度模式作為計(jì)算成本函數(shù)值的技術(shù)時，對于所有候選幀內(nèi)預(yù)測模式臨時執(zhí)行直到編碼處理的處理。因此，對于每一幀內(nèi)預(yù)測模式計(jì)算由以下等式( 定義的成本函數(shù)值。Cost (Mode) = D+ λ · R ... (2)D表示在初始圖像和解碼圖像之間的差異(失真)，R表示包括直到正交變換系數(shù)的產(chǎn)生的代碼量，且λ表示以量化參數(shù)QP的函數(shù)的形式的拉格朗日乘子。相反，當(dāng)采用低復(fù)雜度模式作為用于計(jì)算成本函數(shù)值的技術(shù)時，對所有的候選幀內(nèi)預(yù)測模式執(zhí)行幀內(nèi)預(yù)測的圖像的產(chǎn)生和報(bào)頭位(例如，指示幀內(nèi)預(yù)測模式的信息)的計(jì)算。因此，對于每一幀內(nèi)預(yù)測模式計(jì)算以下面等式C3)表示的成本函數(shù)。Cost (Mode) = D+QPtoQuant (QP) · Header_Bit …(3)D表示在初始圖像和解碼圖像之間的差異(失真)，Header_Bit表示用于幀內(nèi)預(yù)測模式的報(bào)頭位，且QPtoQimnt表示以量化參數(shù)QP的函數(shù)的形式提供的函數(shù)。在低復(fù)雜度模式中，可以僅對于所有幀內(nèi)預(yù)測模式中的每一個產(chǎn)生幀內(nèi)預(yù)測的圖像。不必執(zhí)行編碼處理。因此，可以減小計(jì)算量。幀內(nèi)預(yù)測單元74選擇在以這樣的方式計(jì)算的成本函數(shù)值之中提供最小值的幀內(nèi)預(yù)測模式作為最優(yōu)幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測單元74將以最優(yōu)幀內(nèi)預(yù)測模式產(chǎn)生的幀內(nèi)預(yù)測的圖像和其成本函數(shù)值提供到預(yù)測圖像選擇單元76。如果由預(yù)測圖像選擇單元76選擇了以最優(yōu)幀內(nèi)預(yù)測模式產(chǎn)生的幀內(nèi)預(yù)測的圖像，則幀內(nèi)預(yù)測單元74提供指示最優(yōu)幀內(nèi)預(yù)測模式的信息給無損編碼單元66。無損編碼單元66無損編碼該信息并使用該信息作為報(bào)頭信息的一部分。運(yùn)動預(yù)測/補(bǔ)償單元75對于所有候選的幀間預(yù)測模式中的每一個執(zhí)行運(yùn)動預(yù)測/ 補(bǔ)償處理。更具體地說，運(yùn)動預(yù)測/補(bǔ)償單元75基于從重排序屏幕緩沖器62讀取的待幀間預(yù)測的圖像和經(jīng)由開關(guān)73從幀存儲器72提供的用作參考圖像的圖像，檢測每一候選的幀間預(yù)測模式中的運(yùn)動矢量。此后，運(yùn)動預(yù)測/補(bǔ)償單元75基于運(yùn)動矢量關(guān)于參考圖像執(zhí)行運(yùn)動補(bǔ)償處理并產(chǎn)生運(yùn)動補(bǔ)償圖像。注意，在MPEG2標(biāo)準(zhǔn)中，塊大小固定(對于幀間運(yùn)動預(yù)測/補(bǔ)償處理的基于16 X 16 像素和在場間預(yù)測/補(bǔ)償處理中每個場的基于16X8像素)，并執(zhí)行運(yùn)動預(yù)測/補(bǔ)償處理。 相比之下，在H. ^4/AVC標(biāo)準(zhǔn)中，塊大小可變，并執(zhí)行運(yùn)動預(yù)測/補(bǔ)償處理。更具體地說，如圖5所示，在H. 264/AVC標(biāo)準(zhǔn)中，包括16X 16像素的宏塊被分為 16X16像素分區(qū)、16X8像素分區(qū)、8X16像素分區(qū)和8X8像素分區(qū)之一。每一分區(qū)可以具有獨(dú)立的運(yùn)動矢量信息。另外，如圖5所示，8X8像素分區(qū)可以分離為8X8像素子分區(qū)、 8X4像素子分區(qū)、4X8像素子分區(qū)和4X4像素子分區(qū)之一。每一子分區(qū)可以具有獨(dú)立的運(yùn)動矢量信息。因此，幀間預(yù)測模式包括用于基于16X 16像素、基于16X8像素、基于8X 16像素、基于8X8像素、基于8X4像素、基于4X8像素和基于4X4像素之一檢測運(yùn)動矢量的八個類型的模式。注意，運(yùn)動預(yù)測/補(bǔ)償單元75可以對要幀間預(yù)測的圖像和基準(zhǔn)圖像進(jìn)行內(nèi)插，并且檢測具有分?jǐn)?shù)像素精度的運(yùn)動矢量。可替換地，運(yùn)動預(yù)測/補(bǔ)償單元75可以在不進(jìn)行內(nèi)插的情況下檢測具有整數(shù)像素精度的運(yùn)動矢量。另外，運(yùn)動預(yù)測/補(bǔ)償單元75使用與由幀內(nèi)預(yù)測單元74采用的技術(shù)相同的技術(shù)對于所有候選的幀間預(yù)測模式中的每一個計(jì)算成本函數(shù)值。運(yùn)動預(yù)測/補(bǔ)償單元75選擇在計(jì)算的成本函數(shù)值之中最小化成本函數(shù)值的預(yù)測模式作為最優(yōu)幀間預(yù)測模式。此后，運(yùn)動預(yù)測/補(bǔ)償單元75將以最優(yōu)幀間預(yù)測模式產(chǎn)生的運(yùn)動補(bǔ)償圖像提供到預(yù)測圖像選擇單元76作為幀間預(yù)測的圖像。另外，運(yùn)動預(yù)測/補(bǔ)償單元75將最優(yōu)幀間預(yù)測模式的成本函數(shù)值提供到預(yù)測圖像選擇單元76。當(dāng)預(yù)測圖像選擇單元76選擇了以最優(yōu)幀間預(yù)測模式產(chǎn)生的幀間預(yù)測的圖像時，運(yùn)動預(yù)測/補(bǔ)償單元75將指示最優(yōu)幀間預(yù)測模式的信息和與最優(yōu)幀間預(yù)測模式相關(guān)聯(lián)的信息(例如，運(yùn)動矢量信息和參考幀信息)輸出到無損編碼單元66。無損編碼單元66關(guān)于從運(yùn)動預(yù)測/補(bǔ)償單元75接收到的信息執(zhí)行無損編碼處理，并將該信息插入到壓縮圖像的報(bào)頭部分中。預(yù)測圖像選擇單元76基于從幀內(nèi)預(yù)測單元74或運(yùn)動預(yù)測/補(bǔ)償單元75輸出的
12成本函數(shù)值，從最優(yōu)幀內(nèi)預(yù)測模式和最優(yōu)幀間預(yù)測模式選擇最優(yōu)預(yù)測模式。此后，預(yù)測圖像選擇單元76選擇用作所選的最優(yōu)預(yù)測模式中的預(yù)測圖像的幀內(nèi)預(yù)測的圖像和幀間預(yù)測的圖像之一，并將所選的預(yù)測圖像提供到計(jì)算單元63和70。在那時，預(yù)測圖像選擇單元76提供指示已經(jīng)選擇了幀內(nèi)預(yù)測的圖像的信息到幀內(nèi)預(yù)測單元74或提供指示已經(jīng)選擇了幀間預(yù)測的圖像的信息到運(yùn)動預(yù)測/補(bǔ)償單元75。速率控制單元77基于具有報(bào)頭部分并且作為壓縮信息在累積緩沖器67中累積的壓縮圖像，控制由量化器單元65執(zhí)行的量化操作的速率，以便不發(fā)生累積緩沖器67的上溢和下溢。由具有上述配置的圖像編碼裝置51編碼的壓縮信息被經(jīng)由預(yù)定傳輸路徑發(fā)送并由圖像解碼裝置解碼。圖6圖示這種圖像解碼裝置的配置。圖像解碼裝置101包括累積緩沖器111、無損解碼單元112、逆量化器單元113、逆正交變換單元114、計(jì)算單元115、去塊濾波器116、重排序屏幕緩沖器117、D/A轉(zhuǎn)換單元 118、幀存儲器119、開關(guān)120、幀內(nèi)預(yù)測單元121、運(yùn)動預(yù)測/補(bǔ)償單元122和開關(guān)123。累積緩沖器111累積發(fā)送的壓縮信息。無損解碼單元112使用與由無損編碼單元 66采用的無損編碼方法對應(yīng)的方法，無損解碼(變長度解碼或算術(shù)解碼)由圖4所示的無損編碼單元66無損編碼并從累積緩沖器111提供的壓縮信息。此后，無損解碼單元112從通過無損解碼獲得的信息提取圖像、指示最優(yōu)幀間預(yù)測模式或最優(yōu)幀內(nèi)預(yù)測模式的信息、 運(yùn)動矢量信息和參考幀信息。逆量化器單元113使用與由圖4所示的量化器單元65采用的量化方法對應(yīng)的方法逆量化由無損解碼單元112無損解碼的圖像。此后，逆量化器單元113將產(chǎn)生的變換系數(shù)提供到逆正交變換單元114。逆正交變換單元114使用與由圖4所示的正交變換單元64 采用的正交變換方法對應(yīng)的方法，關(guān)于從逆量化器單元113接收到的變換系數(shù)執(zhí)行第四級 (fourth-order)逆正交變換。逆正交變換輸出被加到從開關(guān)123提供的幀內(nèi)預(yù)測的圖像或幀間預(yù)測的圖像，并由計(jì)算單元115解碼。去塊濾波器116去除解碼圖像的塊失真并將產(chǎn)生的圖像提供到幀存儲器119。因此，累積圖像。同時，將圖像輸出到重排序屏幕緩沖器117。重排序屏幕緩沖器117重排序圖像。也就是說，為了編碼已經(jīng)由圖4所示的重排序屏幕緩沖器62改變的幀的次序改變回初始的顯示次序。D/A轉(zhuǎn)換單元118將從重排序屏幕緩沖器117提供的圖像D/A轉(zhuǎn)換，并將圖像輸出到顯示圖像的顯示器(沒有示出)。開關(guān)120從幀存儲器119讀取當(dāng)編碼圖像時在幀內(nèi)預(yù)測中用作參考圖像的圖像。 開關(guān)120輸出圖像到運(yùn)動預(yù)測/補(bǔ)償單元122。另外，開關(guān)120從幀存儲器119讀取用于幀內(nèi)預(yù)測的圖像，并提供讀出的圖像到幀內(nèi)預(yù)測單元121。幀內(nèi)預(yù)測單元121從無損解碼單元112接收指示通過解碼報(bào)頭信息獲得的最優(yōu)幀內(nèi)預(yù)測模式的信息。當(dāng)提供指示最優(yōu)幀內(nèi)預(yù)測模式的信息時，幀內(nèi)預(yù)測單元121使用從幀存儲器119接收到的圖像以在由信息指示的幀內(nèi)預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測處理。因此，幀內(nèi)預(yù)測單元121產(chǎn)生幀內(nèi)預(yù)測圖像。幀內(nèi)預(yù)測單元121輸出所產(chǎn)生的幀內(nèi)預(yù)測圖像到開關(guān) 123。運(yùn)動預(yù)測/補(bǔ)償單元122從無損解碼單元112接收通過無損解碼報(bào)頭信息(例如， 指示最優(yōu)幀間預(yù)測模式的信息、運(yùn)動矢量信息和參考圖像信息)獲得的信息。在接收指示最優(yōu)幀間預(yù)測模式的信息時，運(yùn)動預(yù)測/補(bǔ)償單元122使用與指示最優(yōu)幀間預(yù)測模式的信息一起提供的運(yùn)動矢量信息和參考幀信息，以由該信息指示的最優(yōu)幀間預(yù)測模式關(guān)于從幀存儲器119接收到的參考圖像執(zhí)行運(yùn)動補(bǔ)償處理。因此，運(yùn)動預(yù)測/補(bǔ)償單元122產(chǎn)生運(yùn)動補(bǔ)償圖像。此后，運(yùn)動預(yù)測/補(bǔ)償單元122輸出運(yùn)動補(bǔ)償圖像到開關(guān)123作為幀間預(yù)測的圖像。開關(guān)123將從運(yùn)動預(yù)測/補(bǔ)償單元122提供的幀間預(yù)測的圖像或從幀內(nèi)預(yù)測單元 121提供的幀內(nèi)預(yù)測的圖像提供到計(jì)算單元115。<2.實(shí)施例〉[圖像編碼裝置的配置的示例]接下來，圖7圖示根據(jù)本發(fā)明實(shí)施例的圖像編碼裝置的配置的示例。在參照圖7中的配置時將使用與在以上描述圖4的配置時使用的編號相同的編號。不重復(fù)相同的描述。圖7所示的圖像編碼裝置151的配置與圖4所示的配置的主要不同在于，圖像編碼裝置151包括運(yùn)動預(yù)測/補(bǔ)償單元161、預(yù)測圖像選擇單元164和無損編碼單元165代替運(yùn)動預(yù)測/補(bǔ)償單元75、預(yù)測圖像選擇單元76和無損編碼單元66，并進(jìn)一步包括濾波系數(shù)計(jì)算單元162和FIR濾波器163。更具體地說，類似于圖4所示的運(yùn)動預(yù)測/補(bǔ)償單元75，圖7所示的圖像編碼裝置 151的運(yùn)動預(yù)測/補(bǔ)償單元161以所有候選的幀間預(yù)測模式執(zhí)行運(yùn)動預(yù)測/補(bǔ)償處理。另外，類似于運(yùn)動預(yù)測/補(bǔ)償單元75，運(yùn)動預(yù)測/補(bǔ)償單元161對于所有候選的幀間預(yù)測模式計(jì)算成本函數(shù)值，并且選擇在計(jì)算的成本函數(shù)值之中提供最小值的幀間預(yù)測模式作為最優(yōu)幀間預(yù)測模式。然后，運(yùn)動預(yù)測/補(bǔ)償單元161將以最優(yōu)幀間預(yù)測模式產(chǎn)生的運(yùn)動補(bǔ)償圖像提供到濾波系數(shù)計(jì)算單元162和HR濾波器163。另外，類似于運(yùn)動預(yù)測/補(bǔ)償單元75，如果由預(yù)測圖像選擇單元164選擇了以最優(yōu)幀間預(yù)測模式產(chǎn)生的幀間預(yù)測的圖像，則運(yùn)動預(yù)測 /補(bǔ)償單元161將指示最優(yōu)幀間預(yù)測模式的信息和與最優(yōu)幀間預(yù)測模式相關(guān)聯(lián)的信息(例如，運(yùn)動矢量信息和參考幀信息)輸出到無損編碼單元165。濾波系數(shù)計(jì)算單元162通過使用從運(yùn)動預(yù)測/補(bǔ)償單元161提供的運(yùn)動補(bǔ)償圖像和從重排序屏幕緩沖器62輸出的并用于運(yùn)動補(bǔ)償圖像的運(yùn)動預(yù)測/補(bǔ)償處理的要幀間預(yù)測的圖像，計(jì)算用于使得FIR濾波器163所濾波的圖像與要幀間預(yù)測的圖像相類似的濾波系數(shù)。然后，濾波系數(shù)計(jì)算單元162將計(jì)算出的濾波系數(shù)提供給FIR濾波器163。另外，濾波系數(shù)計(jì)算單元162通過使用與運(yùn)動預(yù)測/補(bǔ)償單元161采用的方法相同的方法，計(jì)算^R濾波器163提供的濾波圖像的成本函數(shù)值。然后，濾波系數(shù)計(jì)算單元 162將濾波圖像提供至預(yù)測圖像選擇單元164作為幀間預(yù)測圖像。另外，濾波系數(shù)計(jì)算單元 162將幀間預(yù)測圖像的成本函數(shù)值提供至預(yù)測圖像選擇單元164。此外，如果預(yù)測圖像選擇單元164選擇以最佳幀間預(yù)測模式生成的幀間預(yù)測圖像，則濾波系數(shù)計(jì)算單元162將濾波系數(shù)輸出至無損編碼單元165。FIR濾波器163通過使用濾波系數(shù)計(jì)算單元162提供的濾波系數(shù)，對運(yùn)動預(yù)測/補(bǔ)償單元161提供的運(yùn)動補(bǔ)償圖像進(jìn)行由下列等式(4)表達(dá)的所謂的卷積運(yùn)算。以此方式， FIR濾波器163進(jìn)行濾波處理。
[算式1]
權(quán)利要求
1.一種圖像處理裝置，包含解碼部件，其用于對編碼圖像進(jìn)行解碼；濾波處理部件，其通過使用從對圖像進(jìn)行編碼的不同的圖像處理裝置發(fā)送的并且對應(yīng)于編碼圖像的濾波系數(shù)，對解碼部件解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理，其中所述濾波系數(shù)是在圖像被編碼時獲得的，以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與編碼處理前的圖像相類似；運(yùn)動補(bǔ)償部件，其用于對濾波處理部件所濾波的圖像與解碼部件所解碼的圖像之一進(jìn)行運(yùn)動補(bǔ)償；以及計(jì)算部件，其用于通過將運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償?shù)臑V波圖像和濾波處理部件所濾波的運(yùn)動補(bǔ)償圖像之一與解碼部件所解碼的圖像進(jìn)行相加，以生成解碼圖像。
2.如權(quán)利要求1所述的圖像處理裝置，其中，所述濾波處理部件對解碼部件所解碼的圖像進(jìn)行濾波處理，并且其中所述運(yùn)動補(bǔ)償部件對濾波處理部件所濾波的圖像進(jìn)行運(yùn)動補(bǔ)償，并且其中所述計(jì)算部件通過將所述解碼部件解碼的圖像與所述運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償?shù)臑V波圖像進(jìn)行相加以生成解碼圖像。
3.如權(quán)利要求1所述的圖像處理裝置，其中，所述運(yùn)動補(bǔ)償部件對解碼部件解碼的圖像進(jìn)行運(yùn)動補(bǔ)償，并且其中所述濾波處理部件對所述運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償?shù)膱D像進(jìn)行濾波處理，并且其中所述計(jì)算部件通過將所述解碼部件解碼的圖像和所述濾波處理部件濾波的運(yùn)動補(bǔ)償圖像進(jìn)行相加以生成解碼圖像。
4.如權(quán)利要求1所述的圖像處理裝置，其中，所述濾波系數(shù)是在圖像被編碼時通過使用最小二乘法而獲得的，以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像之一與編碼前的圖像之間的差異的平方最小化。
5.如權(quán)利要求1所述的圖像處理裝置，其中，所述濾波系數(shù)和編碼圖像被無損編碼，并且以壓縮信息的形式從所述不同的圖像處理裝置予以發(fā)送，并且其中所述解碼部件對所述壓縮信息進(jìn)行無損解碼，從作為結(jié)果的信息中提取濾波系數(shù)和編碼圖像，并且對編碼圖像進(jìn)行解碼，并且其中所述濾波處理部件使用解碼部件提取出的濾波系數(shù)對解碼部件解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理。
6.一種用于在圖像處理裝置中使用的圖像處理方法，包含解碼步驟，其用于對編碼圖像進(jìn)行解碼；濾波處理步驟，其通過使用從對圖像進(jìn)行編碼的不同的圖像處理裝置發(fā)送的并且對應(yīng)于編碼圖像的濾波系數(shù)，對解碼部件中解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理，其中所述濾波系數(shù)是在圖像被編碼時獲得的，以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償圖像之一與編碼處理前的圖像相類似；運(yùn)動補(bǔ)償步驟，其用于對濾波處理步驟中濾波的圖像與解碼步驟中解碼的圖像之一進(jìn)行運(yùn)動補(bǔ)償；以及計(jì)算步驟，其用于通過將解碼步驟中解碼的圖像與運(yùn)動補(bǔ)償步驟中運(yùn)動補(bǔ)償?shù)臑V波圖像和濾波處理步驟中濾波的運(yùn)動補(bǔ)償圖像之一進(jìn)行相加，以生成解碼圖像。
7.一種程序，其包含程序代碼，其用于使得計(jì)算機(jī)用作圖像處理裝置，所述圖像處理裝置包含解碼部件， 其用于對編碼圖像進(jìn)行解碼；濾波處理部件，其通過使用從對圖像進(jìn)行編碼的不同的圖像處理裝置發(fā)送的并且對應(yīng)于編碼圖像的濾波系數(shù)，對解碼部件解碼的圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理，其中所述濾波系數(shù)是在圖像被編碼時獲得的，以使得圖像的基準(zhǔn)圖像和運(yùn)動補(bǔ)償圖像之一與編碼處理前的圖像相類似；運(yùn)動補(bǔ)償部件，其用于對濾波處理部件所濾波的圖像與解碼部件所解碼的圖像之一進(jìn)行運(yùn)動補(bǔ)償；以及計(jì)算部件，其用于通過將解碼部件所解碼的圖像與運(yùn)動補(bǔ)償部件運(yùn)動補(bǔ)償?shù)臑V波圖像和濾波處理部件所濾波的運(yùn)動補(bǔ)償圖像之一進(jìn)行相加，以生成解碼圖像。
8.一種圖像處理裝置，其包含濾波系數(shù)計(jì)算部件，其用于通過使用基準(zhǔn)圖像與運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像，計(jì)算使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與要編碼的圖像相類似的濾波器的濾波系數(shù)；濾波處理部件，其用于通過使用所述濾波系數(shù)計(jì)算部件計(jì)算出的濾波系數(shù)，對基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一進(jìn)行濾波處理；運(yùn)動補(bǔ)償部件，其用于通過使用濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像，檢測濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波基準(zhǔn)圖像和基準(zhǔn)圖像之一進(jìn)行運(yùn)動補(bǔ)償；編碼部件，其通過使用運(yùn)動補(bǔ)償?shù)臑V波基準(zhǔn)圖像和濾波的運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像之間的差異，生成所述編碼圖像；以及發(fā)送部件，其用于發(fā)送所述編碼圖像和所述濾波系數(shù)。
9.如權(quán)利要求8所述的圖像處理裝置，其中，所述濾波系數(shù)計(jì)算部件基于要編碼的圖像和基準(zhǔn)圖像，計(jì)算使得基準(zhǔn)圖像與要編碼的圖像相類似的濾波器的濾波系數(shù)，并且其中所述濾波處理部件使用所述濾波系數(shù)對于所述基準(zhǔn)圖像進(jìn)行濾波處理，并且其中所述運(yùn)動補(bǔ)償部件通過使用要編碼的圖像與濾波的基準(zhǔn)圖像來檢測要編碼的圖像與濾波的基準(zhǔn)圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波的基準(zhǔn)圖像進(jìn)行運(yùn)動補(bǔ)償，并且其中所述編碼部件通過使用運(yùn)動補(bǔ)償?shù)臑V波圖像和要編碼的圖像之間的差異來生成所述編碼圖像。
10.如權(quán)利要求8所述的圖像處理裝置，其中，所述運(yùn)動補(bǔ)償部件通過使用要編碼的圖像與基準(zhǔn)圖像來檢測要編碼的圖像與基準(zhǔn)圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對基準(zhǔn)圖像進(jìn)行運(yùn)動補(bǔ)償，并且其中所述濾波系數(shù)計(jì)算部件基于要編碼的圖像和運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像，計(jì)算使得運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像與要編碼的圖像相類似的濾波器的濾波系數(shù)，并且其中所述濾波處理部件通過使用濾波系數(shù)對運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像進(jìn)行濾波處理，并且其中所述編碼部件通過使用濾波的運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像和要編碼的圖像之間的差異來生成所述編碼圖像。
11.如權(quán)利要求8所述的圖像處理裝置，其中，所述濾波系數(shù)計(jì)算部件使用最小二乘法計(jì)算濾波系數(shù)，以使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像之一與要編碼的圖像之間的差異的平方最小化。
12.如權(quán)利要求8所述的圖像處理裝置，其中，所述濾波系數(shù)計(jì)算部件通過使用具有整數(shù)像素精度的運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像和基準(zhǔn)圖像之一的像素值以及具有分?jǐn)?shù)像素精度的運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像和基準(zhǔn)圖像之一的像素值來計(jì)算濾波系數(shù)。
13.如權(quán)利要求8所述的圖像處理裝置，其中，所述發(fā)送部件對編碼圖像和濾波系數(shù)進(jìn)行無損編碼，并且以壓縮信息的形式發(fā)送編碼圖像和濾波系數(shù)。
14.一種用于圖像處理裝置的圖像處理方法，包含濾波系數(shù)計(jì)算步驟，其通過使用基準(zhǔn)圖像與運(yùn)動補(bǔ)償圖像之一和要編碼的圖像，計(jì)算使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償圖像之一與要編碼的圖像相類似的濾波器的濾波系數(shù)；濾波處理步驟，其通過使用所述濾波系數(shù)計(jì)算步驟中計(jì)算出的濾波系數(shù)，對基準(zhǔn)圖像和運(yùn)動補(bǔ)償圖像之一進(jìn)行濾波處理；運(yùn)動補(bǔ)償步驟，其通過使用濾波的基準(zhǔn)圖像和基準(zhǔn)圖像之一，檢測濾波的基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波的基準(zhǔn)圖像和基準(zhǔn)圖像之一進(jìn)行運(yùn)動補(bǔ)償；編碼步驟，其通過使用運(yùn)動補(bǔ)償?shù)臑V波的基準(zhǔn)圖像和濾波的運(yùn)動補(bǔ)償?shù)幕鶞?zhǔn)圖像之一與要編碼的圖像之間的差異，生成所述編碼圖像；以及發(fā)送步驟，其發(fā)送所述編碼圖像和所述濾波系數(shù)。
15.一種程序，包含程序碼，其用于使得計(jì)算機(jī)用作圖像處理裝置，所述圖像處理裝置包括濾波系數(shù)計(jì)算部件，其用于通過使用基準(zhǔn)圖像與運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像，計(jì)算使得基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一與要編碼的圖像相類似的濾波器的濾波系數(shù)；濾波處理部件，其用于通過使用所述濾波系數(shù)計(jì)算部件計(jì)算出的濾波系數(shù)，對基準(zhǔn)圖像和運(yùn)動補(bǔ)償基準(zhǔn)圖像之一進(jìn)行濾波處理；運(yùn)動補(bǔ)償部件，其用于通過使用濾波的基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像，檢測濾波的基準(zhǔn)圖像和基準(zhǔn)圖像之一與要編碼的圖像之間的運(yùn)動矢量，并且基于運(yùn)動矢量對濾波的基準(zhǔn)圖像和基準(zhǔn)圖像之一進(jìn)行運(yùn)動補(bǔ)償；編碼部件，其通過使用運(yùn)動補(bǔ)償?shù)臑V波基準(zhǔn)圖像和濾波的運(yùn)動補(bǔ)償基準(zhǔn)圖像之一和要編碼的圖像之間的差異，生成所述編碼圖像；以及發(fā)送部件，其用于發(fā)送所述編碼圖像和所述濾波系數(shù)。
全文摘要
圖像處理裝置、圖像處理方法和程序，其中即使在進(jìn)行整數(shù)精度的運(yùn)動補(bǔ)償?shù)臅r候也能夠改善幀間預(yù)測圖像的質(zhì)量。運(yùn)算單元(115)將逆正交變換單元(114)進(jìn)行逆正交變換并提供的變換系數(shù)添加至開關(guān)(214)提供的幀間圖像用于解碼。運(yùn)動預(yù)測/補(bǔ)償單元(212)對解碼圖像進(jìn)行運(yùn)動補(bǔ)償。FIR濾波器(213)通過使用圖像編碼裝置與壓縮圖像對應(yīng)地發(fā)送的并且在生成壓縮圖像時通過使用最小二乘法已經(jīng)獲得的濾波系數(shù)，對運(yùn)動補(bǔ)償?shù)膱D像進(jìn)行濾波。FIR濾波器(213)然后將濾波的圖像作為幀間預(yù)測圖像提供至開關(guān)(214)。此發(fā)明例如可應(yīng)用于通過使用H.264/AVC系統(tǒng)進(jìn)行解碼的圖像解碼裝置。
文檔編號H04N7/32GK102301719SQ20098015553
公開日2011年12月28日 申請日期2009年12月3日 優(yōu)先權(quán)日2008年12月3日
發(fā)明者田中潤一, 近藤健治 申請人:索尼公司