圖像處理設(shè)備和方法
【專利摘要】本發(fā)明涉及圖像處理設(shè)備和方法。提供了一種圖像處理設(shè)備，包括：區(qū)域確定單元，被配置為確定用作圖像的濾波的控制單位的控制塊的區(qū)域是否包括編碼圖像的幀中形成的多個(gè)片中的處理對(duì)象片的區(qū)域；控制信息創(chuàng)建單元，被配置為當(dāng)所述區(qū)域確定單元確定所述控制塊的區(qū)域包括處理對(duì)象片的區(qū)域時(shí)，針對(duì)包括處理對(duì)象片的控制塊的每個(gè)區(qū)域，創(chuàng)建代表是否針對(duì)包括處理對(duì)象片的控制塊的區(qū)域執(zhí)行濾波的濾波控制信息；和濾波單元，被配置為基于由所述控制信息創(chuàng)建單元?jiǎng)?chuàng)建的濾波控制信息，對(duì)圖像執(zhí)行濾波。
【專利說(shuō)明】圖像處理設(shè)備和方法
[0001]本申請(qǐng)為同一 申請(qǐng)人:于2010年7月21日提交的申請(qǐng)?zhí)枮?01010236939.X、發(fā)明名稱為“圖像處理設(shè)備和方法”的中國(guó)專利申請(qǐng)的分案申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及圖像處理設(shè)備和方法，更具體地講，涉及一種可以通過(guò)在編碼或解碼期間局部地控制濾波而抑制編碼效率降低的圖像處理設(shè)備和方法。
【背景技術(shù)】
[0003]近來(lái)，符合諸如MPEG (運(yùn)動(dòng)圖像專家組)的標(biāo)準(zhǔn)的設(shè)備已經(jīng)在商業(yè)上可用于從廣播中心等發(fā)送信息以及在顧客駐地接收信息。為了高效率地發(fā)送和積累信息，這種設(shè)備基于圖像信息的特有性冗余使用諸如離散余弦變換的正交變換和運(yùn)動(dòng)補(bǔ)償以數(shù)字方式處理并壓縮圖像信息。
[0004]特別地，定義為通用圖像編碼方案的MPEG2(IS0(國(guó)際標(biāo)準(zhǔn)化組織)/IEC(國(guó)際電工委員會(huì))13818-2)當(dāng)前用于廣泛的領(lǐng)域，諸如專業(yè)應(yīng)用和消費(fèi)者應(yīng)用、隔行掃描和逐行掃描圖像，并且是既包含標(biāo)準(zhǔn)分辨率圖像又包含高分辨率圖像的標(biāo)準(zhǔn)。根據(jù)MPEG2壓縮方案，例如，4至8Mbps的比特率被分配給720X480像素的標(biāo)準(zhǔn)分辨率隔行掃描圖像，18至22Mbps的比特率被分配給1920X1088像素的高分辨率隔行掃描圖像，從而能夠?qū)崿F(xiàn)高壓縮率和良好的圖像質(zhì)量。
[0005]雖然MPEG2主要針對(duì)適合于廣播的高質(zhì)量圖像編碼，但它無(wú)法提供具有比MPEGl低的比特率(即，具有更高的壓縮率)的編碼方案。隨著移動(dòng)電話被廣泛使用，可以預(yù)期對(duì)于這種編碼方案的需求在未來(lái)會(huì)增加。因此，已對(duì)MPEG4編碼方案進(jìn)行了標(biāo)準(zhǔn)化。作為圖像編碼方案，這種標(biāo)準(zhǔn)已經(jīng)于1998年12月在國(guó)際上作為IS0/IEC14496-2而被承認(rèn)。
[0006]另外，近來(lái)，為了對(duì)電視會(huì)議圖像進(jìn)行編碼，正在對(duì)H.26L (ITU-T(ITU電信標(biāo)準(zhǔn)化部門)Q6/16VCEG(視頻編碼專家組))進(jìn)行標(biāo)準(zhǔn)化。根據(jù)H.26L，已知與現(xiàn)有的編碼方案(諸如MPEG2或MPEG4)相比，為了執(zhí)行編碼和解碼需要大量的計(jì)算，但能夠?qū)崿F(xiàn)更高的編碼效率。另外，當(dāng)前，作為MPEG4活動(dòng)之一，通過(guò)包括H.26L不支持的附加功能，在H.26L的基礎(chǔ)上正在進(jìn)行為了實(shí)現(xiàn)更高編碼效率的標(biāo)準(zhǔn)化，作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型。作為蓋標(biāo)準(zhǔn)化的日程表，基于H.264和MPEG4PartlO (AVC (高級(jí)視頻編碼))的名稱的國(guó)際標(biāo)準(zhǔn)已于2003年3月被承認(rèn)。
[0007]近來(lái)，作為下一代視頻編碼技術(shù)，正在評(píng)議一種自適應(yīng)環(huán)路濾波(ALF)(例如，參見(jiàn) Y1-Jen Chiu 和 L.Xu, “Adaptive (Wiener) Filter for Video compression,，，ITU_T SG16Contribution, C437, Geneva, April2008)。這種自適應(yīng)濾波能夠通過(guò)針對(duì)每個(gè)巾貞執(zhí)行最優(yōu)濾波，減輕使用解塊濾波難以處理的塊失真或量化失真。
[0008]然而，通常，由于圖像在局部具有各種特征，所以最優(yōu)濾波系數(shù)在局部是不同的。在 Y1-Jen Chiu 和 L.Xu 的“Adaptive(Wiener)Filter for Video compression,” (ITU-TSG16Contribution, C437, Geneva, April2008)所公開(kāi)的方法中，由于將相同的濾波系數(shù)應(yīng)用于單個(gè)幀中的所有像素，所以可以就整個(gè)幀提高圖像質(zhì)量，但可能局部地降低圖像質(zhì)量。
[0009]在這點(diǎn)上，已提出了一種在圖像質(zhì)量局部地降低的區(qū)域中省略濾波的方法(例如，參見(jiàn)Takesh1.Chujoh等，“Block-based Adaptive Loop Filter, ^ITU-T SG16Q6VCEG Contribution, Al 18，Germany, July, 2008 以及 T.Chujoh, N.Wada 和 G.Yasuda, “Quadtree-basedAdaptive Loop Filter, ITU-T SG16Q6VCEG Contribution, VCEG-AK22(rl), Japan, Apri1，2009)。在這個(gè)方法中，圖像編碼設(shè)備通過(guò)與在圖像的區(qū)域上緊密排列的多個(gè)控制塊進(jìn)行匹配來(lái)控制是否針對(duì)每個(gè)控制塊執(zhí)行濾波。圖像編碼設(shè)備為每個(gè)塊建立標(biāo)記信息并基于該標(biāo)記信息執(zhí)行自適應(yīng)濾波。類似地，圖像解碼設(shè)備基于該標(biāo)記信息執(zhí)行自適應(yīng)濾波。
[0010]然而，已提出了一種通過(guò)把單個(gè)幀分成多個(gè)片(多片)，針對(duì)每個(gè)片執(zhí)行圖像編碼或解碼的方法。Takesh1.Chujoh 等的 “Block-based Adaptive Loop Filter” (ITU-TSG16Q6VCEG Contribution, Al 18, Germany, July, 2008)以及 T.Chujoh, N.Wada 和 G.Yasuda的“Quadtree-based Adaptive Loop Filter” (ITU-T SG16Q6VCEG Contribution, VCEG-AK22(rl), Japan, April, 2009)描述了一種為單一的整個(gè)幀建立多個(gè)塊并且創(chuàng)建和發(fā)送所有塊的標(biāo)記信息的方法，但是沒(méi)有描述如何在這種多片的情況下處理標(biāo)記信息以及如何創(chuàng)建和使用標(biāo)記信息。
[0011]Takesh1.Chujoh等的“Block-based Adaptive Loop Filter”( ITU-T SG16Q6VCEGContribution, Al18, Germany, July, 2008)以及 T.Chujoh, N.Wada 和 G.Yasuda 的“Quadtree-based Adaptive Loop Filter” (ITU-T SG16Q6VCEG Contribution, VCEG-AK22 (rl), Japan, April, 2009)僅描述了圖像編碼設(shè)備針對(duì)幀內(nèi)的單個(gè)片創(chuàng)建幀內(nèi)的所有塊的標(biāo)記信息。也就是說(shuō)，即使在多片的情況下，圖像編碼設(shè)備也要針對(duì)每個(gè)片創(chuàng)建幀內(nèi)的所有塊的標(biāo)記信息。
[0012]然而，除處理對(duì)象片之外的區(qū)域的塊的標(biāo)記信息不是必要的。創(chuàng)建的標(biāo)記信息被與圖像數(shù)據(jù)一起進(jìn)行編碼并被包括在圖像壓縮信息中。也就是說(shuō)，根據(jù)在Takesh1.Chujoh等的“Block-based Adaptive Loop Filter”( ITU-T SG16Q6VCEG Contribution, Al 18, Germany, July, 2008)以及 T.Chujoh, N.Wada 和 G.Yasuda 的“Quadtree-based Adaptive LoopFilter” (ITU-T SG16Q6VCEG Contribution, VCEG-AK22 (rl)，Japan, April, 2009)中公開(kāi)的方法，當(dāng)應(yīng)用多片時(shí)，圖像壓縮`信息可能不必要地增加，并且降低了編碼效率。

【發(fā)明內(nèi)容】

[0013]希望提供一種通過(guò)在編碼或解碼期間局部地控制濾波而抑制編碼效率降低的方法。
[0014]根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理設(shè)備，包括:區(qū)域確定裝置，被配置為確定用作圖像的濾波的控制單位的控制塊的區(qū)域是否包括編碼圖像的幀中形成的多個(gè)片中的處理對(duì)象片的區(qū)域；控制信息創(chuàng)建裝置，被配置為當(dāng)所述區(qū)域確定裝置確定所述控制塊的區(qū)域包括處理對(duì)象片的區(qū)域時(shí)，針對(duì)包括處理對(duì)象片的控制塊的每個(gè)區(qū)域，創(chuàng)建代表是否針對(duì)包括處理對(duì)象片的控制塊的區(qū)域執(zhí)行濾波的濾波控制信息；和濾波裝置，被配置為基于由所述控制信息創(chuàng)建裝置創(chuàng)建的濾波控制信息，對(duì)圖像執(zhí)行濾波。
[0015]該圖像處理設(shè)備還可以包括:片區(qū)域指定裝置，被配置為指定處理對(duì)象片的區(qū)域；和控制塊區(qū)域指定裝置，被配置為指定控制塊的區(qū)域，其中，所述區(qū)域確定裝置可確定由所述控制塊區(qū)域指定裝置指定的控制塊的區(qū)域是否包括由所述片區(qū)域指定裝置指定的處理對(duì)象片的區(qū)域。
[0016]該圖像處理設(shè)備還可以包括控制裝置，該控制裝置被配置為確定處理對(duì)象的控制塊的區(qū)域是否包括處理對(duì)象片的區(qū)域，并且在被確定為包括處理對(duì)象片的區(qū)域的控制塊的濾波控制信息的值代表執(zhí)行濾波時(shí)控制所述濾波裝置執(zhí)行濾波，其中，所述濾波裝置可在所述控制裝置的控制下對(duì)處理對(duì)象控制塊的區(qū)域執(zhí)行濾波。
[0017]該圖像處理設(shè)備還可以包括編碼裝置，該編碼裝置被配置為通過(guò)對(duì)圖像進(jìn)行編碼來(lái)創(chuàng)建編碼數(shù)據(jù)，其中，所述編碼裝置可對(duì)由所述控制信息創(chuàng)建裝置創(chuàng)建的濾波控制信息進(jìn)行編碼并把編碼的濾波控制信息加入到所述編碼數(shù)據(jù)。
[0018]該圖像處理設(shè)備還可以包括濾波系數(shù)計(jì)算裝置，該濾波系數(shù)計(jì)算裝置被配置為計(jì)算濾波的濾波系數(shù)，其中，所述編碼裝置對(duì)由所述濾波系數(shù)計(jì)算裝置計(jì)算的濾波系數(shù)進(jìn)行編碼并把編碼的濾波系數(shù)加入到所述編碼數(shù)據(jù)。
[0019]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理方法，包括下述步驟:在圖像處理設(shè)備的區(qū)域確定裝置中，確定用作圖像的濾波的控制單位的控制塊的區(qū)域是否包括編碼圖像的幀中形成的多個(gè)片中的處理對(duì)象片的區(qū)域；在圖像處理設(shè)備的控制信息創(chuàng)建裝置中，當(dāng)確定了所述控制塊的區(qū)域包括處理對(duì)象片的區(qū)域時(shí)，針對(duì)包括處理對(duì)象片的每個(gè)控制塊，創(chuàng)建代表是否針對(duì)包括處理對(duì)象片的控制塊的區(qū)域執(zhí)行濾波的濾波控制信息；以及在圖像處理設(shè)備的濾波裝置中，基于創(chuàng)建的濾波控制信息，對(duì)圖像執(zhí)行濾波。
[0020]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理設(shè)備，包括:控制裝置，被配置為針對(duì)用作圖像的濾波的控制單位的每個(gè)控制塊，確定圖像的該控制塊的區(qū)域是否包括圖像的幀中形成的多個(gè)片中的處理對(duì)象片區(qū)域，并且在代表是否針對(duì)被確定為包括處理對(duì)象片區(qū)域的控制塊執(zhí)行濾波的濾波控制信息的值代表執(zhí)行濾波時(shí)，執(zhí)行使得針對(duì)圖像的該控制塊的區(qū)域執(zhí)行濾波的控制；和濾波裝置，被配置為在所述控制裝置的控制下針對(duì)圖像的該控制塊的區(qū)域執(zhí)行濾波。
[0021]該圖像處理設(shè)備還可以包括解碼裝置，該解碼裝置被配置為通過(guò)對(duì)編碼數(shù)據(jù)進(jìn)行解碼而創(chuàng)建圖像，所述編碼數(shù)據(jù)是通過(guò)對(duì)所述圖像進(jìn)行編碼而獲得的，其中，所述解碼裝置對(duì)加入到所述編碼數(shù)據(jù)的編碼的濾波控制信息進(jìn)行解碼，所述控制裝置在通過(guò)所述解碼裝置中的解碼獲得的濾波控制信息的值代表執(zhí)行濾波時(shí)，執(zhí)行使得針對(duì)圖像的所述控制塊的區(qū)域執(zhí)行濾波的控制，并且所述濾波裝置在所述控制裝置的控制下針對(duì)圖像的所述控制塊的區(qū)域執(zhí)行濾波。
[0022]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理方法，包括下述步驟:在圖像處理設(shè)備的控制裝置中，針對(duì)用作圖像的濾波的控制單位的每個(gè)控制塊，確定圖像的該控制塊的區(qū)域是否包括圖像的幀中形成的多個(gè)片中的處理對(duì)象片區(qū)域，并且在代表是否針對(duì)被確定為包括處理對(duì)象片區(qū)域的控制塊執(zhí)行濾波的濾波控制信息的值代表執(zhí)行濾波時(shí)，執(zhí)行使得針對(duì)圖像的該控制塊的區(qū)域執(zhí)行濾波的控制；以及在圖像處理設(shè)備的濾波裝置中，在所述控制裝置的控制下針對(duì)圖像的該控制塊的區(qū)域執(zhí)行濾波。
[0023]根據(jù)本發(fā)明的實(shí)施例，確定用作圖像的濾波的控制單位的控制塊的區(qū)域是否包括編碼圖像的幀中形成的多個(gè)片中的處理對(duì)象片的區(qū)域。當(dāng)確定該控制塊的區(qū)域包括處理對(duì)象片的區(qū)域時(shí)，為包括處理對(duì)象片的每個(gè)控制塊創(chuàng)建代表是否針對(duì)包括處理對(duì)象片的控制塊的區(qū)域執(zhí)行濾波的濾波控制信息?；趧?chuàng)建的濾波控制信息，對(duì)圖像執(zhí)行濾波。
[0024]根據(jù)本發(fā)明的另一實(shí)施例，針對(duì)用作圖像的濾波的控制單位的每個(gè)控制塊，確定圖像的控制塊的區(qū)域是否包括圖像的幀中形成的多個(gè)片中的處理對(duì)象片的區(qū)域，并在代表是否針對(duì)被確定為包括處理對(duì)象片的區(qū)域的控制塊執(zhí)行濾波的濾波控制信息的值代表執(zhí)行濾波時(shí)，執(zhí)行使得針對(duì)圖像的控制塊的區(qū)域執(zhí)行濾波的控制。在控制裝置的控制下，針對(duì)圖像的控制塊的區(qū)域執(zhí)行濾波。
[0025]根據(jù)本發(fā)明的實(shí)施例，能夠?qū)D像進(jìn)行編碼或解碼。具體地，通過(guò)在編碼或解碼期間局部地控制濾波可以抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀通過(guò)分成多個(gè)部分而被編碼或解碼時(shí)，也可以抑制編碼效率的降低。
【專利附圖】

【附圖說(shuō)明】
[0026]圖1是示出根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備的主要結(jié)構(gòu)的例子的框圖。
[0027]圖2示出可變塊尺寸的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。
[0028]圖3是示出控制信息創(chuàng)建單元的主要結(jié)構(gòu)的例子的框圖。
[0029]圖4A、4B和4C示出ALF塊和濾波塊標(biāo)記。
[0030]圖5不出多片的例子。
[0031]圖6A和6B示出對(duì)片O的處理。
[0032]圖7A和7B示出對(duì)片I的處理。
[0033]圖8A和8B示出根據(jù)本發(fā)明實(shí)施例的對(duì)片I的處理。
[0034]圖9是示出自適應(yīng)濾波單元的主要結(jié)構(gòu)的例子的框圖。
[0035]圖10是示出編碼處理流程的例子的流程圖。
[0036]圖11是示出控制信息創(chuàng)建處理流程的例子的流程圖。
[0037]圖12是示出塊信息創(chuàng)建處理流程的例子的流程圖。
[0038]圖13是示出自適應(yīng)濾波處理流程的例子的流程圖。
[0039]圖14是示出根據(jù)本發(fā)明實(shí)施例的圖像解碼設(shè)備的主要結(jié)構(gòu)的例子的框圖。
[0040]圖15是示出解碼處理流程的例子的流程圖。
[0041]圖16是示出塊信息創(chuàng)建處理流程的另一例子的流程圖。
[0042]圖17A至17D示出ALF塊和濾波塊標(biāo)記的另一例子。
[0043]圖18示出ALF塊和濾波塊標(biāo)記的另一例子。
[0044]圖19示出多片的處理。
[0045]圖20是示出根據(jù)本發(fā)明實(shí)施例的個(gè)人計(jì)算機(jī)的主要結(jié)構(gòu)的例子的框圖。
[0046]圖21是示出根據(jù)本發(fā)明實(shí)施例的電視機(jī)的主要結(jié)構(gòu)的例子的框圖。
[0047]圖22是示出根據(jù)本發(fā)明實(shí)施例的移動(dòng)電話裝置的主要結(jié)構(gòu)的例子的框圖。
[0048]圖23是示出根據(jù)本發(fā)明實(shí)施例的硬盤記錄器的主要結(jié)構(gòu)的例子的框圖。
[0049]圖24是示出根據(jù)本發(fā)明實(shí)施例的照相機(jī)的主要結(jié)構(gòu)的例子的框圖。
[0050]圖25示出宏塊的例子。
【具體實(shí)施方式】
[0051]現(xiàn)在，將描述本發(fā)明的實(shí)施例。將按照下面的順序進(jìn)行描述。[0052]1、第一實(shí)施例(圖像編碼設(shè)備)
[0053]2、第二實(shí)施例(圖像解碼設(shè)備)
[0054]3、第三實(shí)施例(濾波塊標(biāo)記創(chuàng)建處理的變型例)
[0055]4、第四實(shí)施例(QALF)
[0056]5、第五實(shí)施例(個(gè)人計(jì)算機(jī))
[0057]6、第六實(shí)施例(電視機(jī))
[0058]7、第七實(shí)施例(移動(dòng)電話裝置)
[0059]8、第八實(shí)施例(硬盤記錄器)
[0060]9、第九實(shí)施例(照相機(jī))
[0061]1、第一實(shí)施例
[0062]裝置結(jié)構(gòu)
[0063]圖1示出作為根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的圖像編碼設(shè)備的結(jié)構(gòu)。
[0064]圖1中示出的圖像編碼設(shè)備100是基于例如H.264和MPEG4PartlO高級(jí)視頻編碼(以下表示為H.264/AVC)對(duì)圖像進(jìn)行壓縮編碼的編碼器，并采用自適應(yīng)環(huán)路濾波。
[0065]在圖1的例子中，圖像編碼設(shè)備100包括:A/D(模擬/數(shù)字)轉(zhuǎn)換單元101、畫(huà)面排序緩沖器102、計(jì)算單元103、正交變換單元104、量化單元105、可逆編碼器106和積累緩沖器107。另外，圖像編碼設(shè)備100包括:逆量化單元108、逆正交變換單元109、計(jì)算單元110和解塊濾波器111。另外，圖像編碼設(shè)備100包括:控制信息創(chuàng)建單元112、自適應(yīng)濾波單元113和幀存儲(chǔ)器114。另外，圖像編碼設(shè)備100包括:幀內(nèi)預(yù)測(cè)單元115、運(yùn)動(dòng)補(bǔ)償單元116、運(yùn)動(dòng)預(yù)測(cè)單元117和預(yù)測(cè)圖像選擇單元118。圖像編碼設(shè)備100還包括速率控制單元119。
[0066]A/D轉(zhuǎn)換單元101對(duì)輸入圖像進(jìn)行A/D轉(zhuǎn)換并把它輸出給畫(huà)面排序緩沖器102以將其存儲(chǔ)。畫(huà)面排序緩沖器102把按顯示順序存儲(chǔ)的幀的圖像排序成對(duì)應(yīng)于GOP (畫(huà)面組)結(jié)構(gòu)的編碼幀順序。
[0067]計(jì)算單元103從畫(huà)面排序緩沖器102讀取的圖像減去由預(yù)測(cè)圖像選擇單元118選擇的來(lái)自幀內(nèi)預(yù)測(cè)單元115的預(yù)測(cè)圖像或來(lái)自運(yùn)動(dòng)補(bǔ)償單元116的預(yù)測(cè)圖像，并把它們的差信息輸出給正交變換單元104。正交變換單元104根據(jù)來(lái)自計(jì)算單元103的差信息針對(duì)該差信息執(zhí)行正交變換(諸如離散余弦變換或Karhunen-Loeve變換)以輸出它的變換系數(shù)。量化單元105對(duì)從正交變換單元104輸出的變換系數(shù)進(jìn)行量化。
[0068]從量化單元105輸出的量化的變換系數(shù)被輸入到可逆編碼器106?？赡婢幋a器106通過(guò)執(zhí)行諸如可變長(zhǎng)度編碼或算術(shù)編碼的可逆編碼，對(duì)量化的變換系數(shù)進(jìn)行壓縮。
[0069]可逆編碼器106從幀內(nèi)預(yù)測(cè)單元115獲得代表幀內(nèi)預(yù)測(cè)等的信息，并從運(yùn)動(dòng)預(yù)測(cè)單元117獲得代表幀間預(yù)測(cè)模式的信息。以下，代表幀內(nèi)預(yù)測(cè)的信息也會(huì)被稱為幀內(nèi)預(yù)測(cè)模式信息。另外，代表幀間預(yù)測(cè)的信息模式的信息在以下會(huì)被稱為幀間預(yù)測(cè)模式信息。
[0070]可逆編碼器106從控制信息創(chuàng)建單元112獲得由自適應(yīng)濾波單元113執(zhí)行的自適應(yīng)濾波的控制信息。
[0071]可逆編碼器106對(duì)自適應(yīng)濾波的控制信息、代表幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)模式的信息、量化參數(shù)等以及量化的變換系數(shù)進(jìn)行編碼，并把它們?cè)O(shè)置(復(fù)用)為壓縮圖像的頭信息的一部分?？赡婢幋a器106把編碼的數(shù)據(jù)提供給積累緩沖器107以積累編碼的數(shù)據(jù)。[0072]例如，可逆編碼器106執(zhí)行可變長(zhǎng)度編碼或算術(shù)編碼的可逆編碼。作為可變長(zhǎng)度編碼的例子，可以使用由H.264/AVC方法定義的上下文自適應(yīng)可變長(zhǎng)度編碼(CAVLC)1^tS算術(shù)編碼的例子，可以使用上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)。
[0073]積累緩沖器107臨時(shí)存儲(chǔ)從可逆編碼器106提供的數(shù)據(jù)，并在預(yù)定定時(shí)把該數(shù)據(jù)作為例如通過(guò)H.264/AVC方法編碼的壓縮圖像而輸出給位于附圖中未示出的下一級(jí)的記錄器或傳輸線等。
[0074]另外，由量化單元105量化的變換系數(shù)還輸入到逆量化單元108。逆量化單元108根據(jù)與量化單元105的量化對(duì)應(yīng)的方法對(duì)量化的變換系數(shù)進(jìn)行逆量化，并把獲得的變換系數(shù)提供給逆正交變換單元109。
[0075]逆正交變換單元109使用與正交變換單元104的正交變換處理對(duì)應(yīng)的方法對(duì)提供的變換系數(shù)執(zhí)行逆正交變換。從逆正交變換得到的輸出被提供給計(jì)算單元110。計(jì)算單元110把從預(yù)測(cè)圖像選擇單元118提供的預(yù)測(cè)圖像與從逆正交變換單元109提供的逆正交變換結(jié)果(即恢復(fù)的差信息)相加，以獲得局部解碼的圖像(解碼圖像)。該相加結(jié)果被提供給解塊濾波器111。
[0076]解塊濾波器111從解碼圖像去除塊失真。解塊濾波器111把失真去除結(jié)果提供給控制信息創(chuàng)建單元112和自適應(yīng)濾波單元113。
[0077]控制信息創(chuàng)建單元112獲得從解塊濾波器111提供的解碼圖像和從畫(huà)面排序緩沖器102讀取的當(dāng)前輸入圖像，并根據(jù)它們創(chuàng)建在自適應(yīng)濾波單元113中執(zhí)行的自適應(yīng)濾波的控制信息。盡管將在下文描述控制信息的細(xì)節(jié)，但控制信息包括濾波系數(shù)、塊尺寸、濾波塊標(biāo)記等。
[0078]控制信息創(chuàng)建單元112把創(chuàng)建的控制信息提供給自適應(yīng)濾波單元113。另外，控制信息創(chuàng)建單元112還把創(chuàng)建的控制信息提供給可逆編碼器106。如上所述，控制信息可以被可逆編碼器106可逆地壓縮并被包括(復(fù)用)在圖像壓縮信息中。也就是說(shuō)，控制信息與圖像壓縮信息一起被發(fā)送給圖像解碼設(shè)備。
[0079]自適應(yīng)濾波單元113使用從控制信息創(chuàng)建單元112提供的控制信息的濾波塊標(biāo)記、塊尺寸說(shuō)明和濾波系數(shù)等，對(duì)從解塊濾波器111提供的解碼圖像執(zhí)行濾波。例如，維納(Wiener)濾波器可以用作這種濾波器。當(dāng)然，可以使用除Wiener濾波器以外的各種濾波器。自適應(yīng)濾波單元113把濾波結(jié)果提供給幀存儲(chǔ)器114并將它們作為參照?qǐng)D像進(jìn)行積累。
[0080]幀存儲(chǔ)器114在預(yù)定定時(shí)把積累的參照?qǐng)D像輸出給運(yùn)動(dòng)補(bǔ)償單元116和運(yùn)動(dòng)預(yù)測(cè)單元117。
[0081]在圖像編碼設(shè)備100中，例如，來(lái)自畫(huà)面排序緩沖器102的I畫(huà)面、B畫(huà)面和P畫(huà)面作為用于幀內(nèi)預(yù)測(cè)(也稱為幀內(nèi)處理)的圖像被提供給幀內(nèi)預(yù)測(cè)單元115。另外，從畫(huà)面排序緩沖器102讀取的B畫(huà)面和P畫(huà)面作為用于幀間預(yù)測(cè)(也稱為幀間處理)的圖像被提供給運(yùn)動(dòng)預(yù)測(cè)單元117。
[0082]幀內(nèi)預(yù)測(cè)單元115基于從畫(huà)面排序緩沖器102讀取的幀內(nèi)預(yù)測(cè)圖像和從幀存儲(chǔ)器114提供的參照?qǐng)D像，執(zhí)行所有候選的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理，以創(chuàng)建預(yù)測(cè)圖像。
[0083]在幀內(nèi)預(yù)測(cè)單元115中，關(guān)于應(yīng)用于相應(yīng)塊/宏塊的幀內(nèi)預(yù)測(cè)模式的信息被發(fā)送給可逆編碼器106并被編 碼為圖像壓縮信息中的頭信息的一部分。根據(jù)H.264圖像信息編碼方案，為亮度信號(hào)定義了幀內(nèi)4X4預(yù)測(cè)模式、幀內(nèi)8X8預(yù)測(cè)模式和幀內(nèi)16X16預(yù)測(cè)模式，并且針對(duì)色差信號(hào)可以為每個(gè)宏塊定義獨(dú)立于亮度信號(hào)的預(yù)測(cè)模式。在幀內(nèi)4X4預(yù)測(cè)模式中，為每個(gè)4X4亮度塊定義了單個(gè)幀內(nèi)預(yù)測(cè)模式。在幀內(nèi)8 X 8預(yù)測(cè)模式中，為每個(gè)8X8亮度塊定義了單個(gè)幀內(nèi)預(yù)測(cè)模式。在幀內(nèi)16X 16預(yù)測(cè)模式和色差信號(hào)中，為每一單個(gè)宏塊定義單個(gè)預(yù)測(cè)模式。
[0084]幀內(nèi)預(yù)測(cè)單元115針對(duì)創(chuàng)建預(yù)測(cè)圖像的幀內(nèi)預(yù)測(cè)模式計(jì)算代價(jià)函數(shù)值，并選擇給出計(jì)算的代價(jià)函數(shù)值的最小值的幀內(nèi)預(yù)測(cè)模式作為最優(yōu)幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)單元115把按照最優(yōu)幀內(nèi)預(yù)測(cè)模式產(chǎn)生的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元118。
[0085]運(yùn)動(dòng)預(yù)測(cè)單元117獲得從畫(huà)面排序緩沖器102提供的圖像信息(輸入圖像)和與從幀存儲(chǔ)器114提供的參照幀對(duì)應(yīng)的圖像信息(解碼圖像)以對(duì)圖像進(jìn)行幀間編碼，并計(jì)算運(yùn)動(dòng)矢量。運(yùn)動(dòng)預(yù)測(cè)單元117把代表計(jì)算的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量信息提供給可逆編碼器106。運(yùn)動(dòng)矢量信息被可逆編碼器106無(wú)損地壓縮并被包括在圖像壓縮信息中。也就是說(shuō)，運(yùn)動(dòng)矢量信息與圖像壓縮信息一起被發(fā)送給圖像解碼設(shè)備。
[0086]另外，運(yùn)動(dòng)預(yù)測(cè)單元117還把運(yùn)動(dòng)矢量信息提供給運(yùn)動(dòng)補(bǔ)償單元116。
[0087]運(yùn)動(dòng)補(bǔ)償單元116響應(yīng)于從運(yùn)動(dòng)預(yù)測(cè)單元117提供的運(yùn)動(dòng)矢量信息執(zhí)行運(yùn)動(dòng)補(bǔ)償以創(chuàng)建幀間預(yù)測(cè)圖像信息。運(yùn)動(dòng)補(bǔ)償單元116把創(chuàng)建的預(yù)測(cè)圖像信息提供給預(yù)測(cè)圖像選擇單元118。
[0088]預(yù)測(cè)圖像選擇單元118在幀內(nèi)編碼的情況下把幀內(nèi)預(yù)測(cè)單元115的輸出提供給計(jì)算單元103，并在幀間編碼的情況下把運(yùn)動(dòng)補(bǔ)償單元116的輸出提供給計(jì)算單元103。
[0089]速率控制單元119基于積累緩沖器107中積累的壓縮圖像，控制量化單元105中的量化動(dòng)作的速率，以免產(chǎn)生上溢或下溢。
[0090]根據(jù)MPEG (運(yùn)動(dòng)圖像專家組)2方案，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償?shù)膯挝皇沁\(yùn)動(dòng)補(bǔ)償塊，并且每個(gè)運(yùn)動(dòng)補(bǔ)償塊可以包括獨(dú)立的運(yùn)動(dòng)矢量信息。運(yùn)動(dòng)補(bǔ)償塊尺寸在幀運(yùn)動(dòng)補(bǔ)償模式的情況下可以包括16X16像素，或者在場(chǎng)運(yùn)動(dòng)補(bǔ)償模式的情況下可以包括針對(duì)第一場(chǎng)和第二場(chǎng)中的每個(gè)場(chǎng)的16X8像素。
[0091]相反，根據(jù)AVC (高級(jí)視頻編碼)方案，如圖2的上半部分所示，包括16 X 16像素的單個(gè)宏塊被分成16X16、16X8、8X16或8X8像素的幾種分區(qū)(partition)，每種分區(qū)可以具有獨(dú)立的運(yùn)動(dòng)矢量信息。另外，如圖2的下半部分所示，8X8分區(qū)可以被分成8X8、8X4、4X8或4X4像素的幾種子分區(qū)，每種子分區(qū)可以具有獨(dú)立的運(yùn)動(dòng)矢量信息。通過(guò)使用這種運(yùn)動(dòng)補(bǔ)償塊作為單位，執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償。
[0092]圖3是示出控制信息創(chuàng)建單元112的主要結(jié)構(gòu)的例子的框圖。
[0093]控制信息創(chuàng)建單元112創(chuàng)建在如上所述的自適應(yīng)濾波單元113中執(zhí)行的作為環(huán)路濾波的自適應(yīng)濾波(ALF:自適應(yīng)環(huán)路濾波)中使用的控制信息?？刂菩畔?chuàng)建單元112創(chuàng)建例如濾波系數(shù)、ALF塊尺寸和濾波塊標(biāo)記作為控制信息。
[0094]控制信息創(chuàng)建單元112具有濾波系數(shù)計(jì)算單元131和塊信息創(chuàng)建單元132。
[0095]濾波系數(shù)計(jì)算單元131獲得從解塊濾波器111提供的解碼圖像和從畫(huà)面排序緩沖器102讀取的當(dāng)前輸入圖像，并基于它們針對(duì)每個(gè)幀計(jì)算ALF的濾波系數(shù)。
[0096]塊信息創(chuàng)建單元132基于從解塊濾波器111提供的解碼圖像和由濾波系數(shù)計(jì)算單元131計(jì)算的濾波系數(shù)確定ALF塊尺寸，并為處理對(duì)象片內(nèi)的每個(gè)ALF塊創(chuàng)建濾波塊標(biāo)記。
[0097]這里，將描述ALF塊和濾波塊標(biāo)記。圖4A至4C示出ALF塊和濾波塊標(biāo)記。[0098]如上所述，在自適應(yīng)濾波中，為每個(gè)幀設(shè)置濾波系數(shù)。也就是說(shuō)，逐幀地執(zhí)行最優(yōu)濾波。然而，通常，幀圖像在整體上并不是均一的，而是在局部具有各種特征。因此，最優(yōu)濾波系數(shù)在局部上不同。因此，在使用如上所述為每幀確定的濾波系數(shù)進(jìn)行的濾波中，整個(gè)幀的圖像質(zhì)量會(huì)提高，但相反地局部的圖像質(zhì)量可能降低。
[0099]在這點(diǎn)上，設(shè)想了基于塊的自適應(yīng)環(huán)路濾波(BALF)，在BALF中，不對(duì)圖像質(zhì)量局部降低的區(qū)域執(zhí)行濾波。
[0100]圖4A的幀151示出解塊濾波之后的解碼圖像。如圖4B所示，塊信息創(chuàng)建單元132在幀151的整個(gè)區(qū)域上緊密地排列多個(gè)ALF塊152，ALF塊152是作為均被局部地執(zhí)行的自適應(yīng)濾波的控制單位的控制塊。盡管排列了 ALF塊152的區(qū)域可以不等于幀151的區(qū)域，但它至少包括該幀的整個(gè)區(qū)域。結(jié)果，幀151的區(qū)域被分成各ALF塊152的區(qū)域。
[0101]塊信息創(chuàng)建單元132確定ALF塊152的垂直尺寸(雙向箭頭154)和水平尺寸(雙向箭頭 153)?？梢允褂美?8X8、16X16、24X24、32X32、48X48、64X64、96X96 或128X128像素中的任何一個(gè)為每個(gè)片指定ALF塊尺寸。另外，用于指定該ALF塊尺寸的信息被稱為塊尺寸索引。
[0102]如果確定了塊尺寸，則幀尺寸被固定。因此，也確定了每單個(gè)幀的ALF塊的數(shù)量。
[0103]如圖4C中所示，塊信息創(chuàng)建單元132建立用于控制是否針對(duì)每個(gè)ALF塊152執(zhí)行濾波的濾波塊標(biāo)記155。例如，對(duì)于通過(guò)自適應(yīng)濾波提高了圖像質(zhì)量的區(qū)域，濾波塊標(biāo)記155被設(shè)置為值“1”，對(duì)于通過(guò)自適應(yīng)濾波降低了圖像質(zhì)量的區(qū)域，濾波塊標(biāo)記155被設(shè)置為值“O”。在濾波塊標(biāo)記155中，值“I”代表執(zhí)行濾波，值“O”代表不執(zhí)行濾波。
[0104]自適應(yīng)濾波單元113基于濾波塊標(biāo)記155的值，控制自適應(yīng)濾波。例如，自適應(yīng)濾波單元113對(duì)于濾 波塊標(biāo)記155設(shè)置為值“I”的ALF塊152的區(qū)域執(zhí)行濾波，而對(duì)于濾波塊標(biāo)記155設(shè)置為值“O”的ALF塊152的區(qū)域不執(zhí)行濾波。
[0105]另外，前述塊尺寸索引和濾波塊標(biāo)記可以包括圖像壓縮信息的片頭部(sliceheader)，并且可以從圖像編碼設(shè)備100發(fā)送到圖像解碼設(shè)備。與ALF塊的數(shù)量對(duì)應(yīng)的一個(gè)或多個(gè)濾波塊標(biāo)記可以按照例如光柵掃描的順序被包括在片頭部中。
[0106]因此，當(dāng)ALF塊尺寸減小時(shí)，能夠進(jìn)行更準(zhǔn)確的濾波控制，從而能夠更適當(dāng)?shù)夭僮鰽LF濾波。然而，當(dāng)ALF塊尺寸減小時(shí)，濾波塊標(biāo)記的比特量增加。也就是說(shuō)，當(dāng)ALF塊尺寸減小時(shí)，圖像壓縮信息的編碼效率降低。結(jié)果，在自適應(yīng)濾波的性能和圖像壓縮信息的編碼效率之間存在折衷關(guān)系。
[0107]根據(jù)下面的式(I)能夠計(jì)算ALF塊的數(shù)量。
[0108][式I]
[0109]NALFBL0CK=floor ((16 X Nmb^Nsize-1) /Nsize) X floor ((16 X Nmb^Nsize-1) /Nsize)
[0110]在式⑴中，Naubujcx表示ALF塊的數(shù)量。另外，NMBw表示畫(huà)面的水平方向的宏塊的數(shù)量，NMBh表示畫(huà)面的垂直方向的宏塊的數(shù)量。另外，Nsize表示ALF塊的一條邊的尺寸。另外，floor[x]表示舍去小數(shù)點(diǎn)后面的數(shù)字以獲得整數(shù)的函數(shù)。
[0111]然而，根據(jù)H.264/AVC，可以把單個(gè)幀分成多個(gè)片并把圖像壓縮信息輸出給每個(gè)片。圖5示出多片的例子。在圖5的例子中，幀151被分成三個(gè)片，包括片O、片I和片2。
[0112]圖像編碼設(shè)備通過(guò)以比這種幀更精細(xì)的片單位輸出圖像壓縮信息，以更短的間隔創(chuàng)建并輸出圖像壓縮信息。也就是說(shuō)，可以允許對(duì)該圖像壓縮信息進(jìn)行解碼的圖像解碼設(shè)備在更早的時(shí)間開(kāi)始圖像壓縮信息的解碼。換句話說(shuō)，可以縮短圖像輸入之后通過(guò)編碼和解碼直到圖像輸出的延遲時(shí)間。
[0113]描述BALF 的參考文獻(xiàn) Takesh1.Chujoh 等人的 “Block-based Adaptive LoopFilter” (ITU-T SG16Q6VCEG Contribution, AI18, Germany, July, 2008)并未公開(kāi)該多片。也就是說(shuō)，它并未描述針對(duì)整個(gè)幀設(shè)置ALF塊。為了創(chuàng)建濾波塊標(biāo)記，需要提供解塊濾波后的解碼圖像。因此，如果一次創(chuàng)建了整個(gè)幀的濾波塊標(biāo)記，則需要等待直到針對(duì)幀內(nèi)的所有片對(duì)圖像進(jìn)行編碼(直到獲得解塊濾波后的解碼圖像)。在這種情況下，由于延遲時(shí)間相應(yīng)地增加，逐片地處理圖像就沒(méi)有意義了。
[0114]因此，在多片的情況下，優(yōu)選地針對(duì)每個(gè)片建立ALF塊并創(chuàng)建濾波塊標(biāo)記，以抑制延遲時(shí)間增加。然而，如上所述，ALF塊是針對(duì)整個(gè)幀建立的。也就是說(shuō)，如上所述針對(duì)整個(gè)幀建立ALF塊。也就是說(shuō)，在每個(gè)片中針對(duì)整個(gè)幀建立ALF塊，需要注意的是，在除片區(qū)域以外的區(qū)域中可能建立了不必要的ALF塊。
[0115]例如，在圖5中，當(dāng)如圖6A中所示處理片O時(shí)，針對(duì)由如圖6B中所示的邊界線161表示的片O的區(qū)域，建立整個(gè)幀151的ALF塊152。
[0116]類似地，例如，在圖5的例子中，當(dāng)如圖7A中所示處理片I時(shí)，針對(duì)由如圖7B中所示的邊界線162表示的片I的區(qū)域，建立整個(gè)幀151的ALF塊152。
[0117]圖6B和圖7B中畫(huà)陰影線的ALF塊152是片O或片I的區(qū)域之外的塊，也是對(duì)于處理片O或片I的區(qū)域而言不必要的塊。
[0118]如上所述，在每個(gè)ALF塊中建立濾波塊標(biāo)記155。也就是說(shuō)，在多片的情況下，創(chuàng)建了不必要的濾波塊標(biāo)記，并且圖像壓縮信息的數(shù)據(jù)量增加，從而編碼效率會(huì)降低。
[0119]在這點(diǎn)上，圖3的控制信息創(chuàng)建單元112的塊信息創(chuàng)建單元132創(chuàng)建包括處理對(duì)象片區(qū)域的ALF塊和濾波塊標(biāo)記，以抑制編碼效率的降低。
[0120]例如，在圖5的例子中，當(dāng)如圖8A中所示處理片I時(shí)，塊信息創(chuàng)建單元132建立包括由如圖SB中所示的邊界線162表示的片I的區(qū)域的ALF塊152，并且僅針對(duì)這個(gè)ALF塊152創(chuàng)建濾波塊標(biāo)記。
[0121]結(jié)果，僅每個(gè)片所需的濾波塊標(biāo)記被加入到圖像壓縮信息。因此，與如上所述針對(duì)每個(gè)片創(chuàng)建整個(gè)幀的濾波塊標(biāo)記的情況相比，減少了濾波塊標(biāo)記的比特量，并且抑制了編碼效率的降低。另外，由于針對(duì)每個(gè)片創(chuàng)建包括控制信息的圖像壓縮信息，所以圖像解碼設(shè)備能夠開(kāi)始逐片的圖像解碼處理。因此，與針對(duì)每個(gè)幀創(chuàng)建濾波塊標(biāo)記的情況相比，可以抑制延遲時(shí)間的增加。
[0122]返回到圖3，塊信息創(chuàng)建單元132包括:處理對(duì)象片區(qū)域指定單元141、ALF塊設(shè)置單元142、處理對(duì)象ALF塊區(qū)域指定單元143、確定單元144和濾波塊標(biāo)記創(chuàng)建單元145。
[0123]處理對(duì)象片區(qū)域指定單元141指定作為解碼圖像提供的處理對(duì)象片區(qū)域在整個(gè)幀中的位置。
[0124]ALF塊設(shè)置單元142確定ALF塊尺寸并設(shè)置整個(gè)幀的ALF塊152。由于整個(gè)幀區(qū)域的尺寸是預(yù)先確定的，所以ALF塊設(shè)置單元142能夠基于確定的塊尺寸指定整個(gè)幀的ALF塊的數(shù)量。
[0125]處理對(duì)象ALF塊區(qū)域指定單元143從由ALF塊設(shè)置單元142設(shè)置的ALF塊152中逐個(gè)地選擇處理對(duì)象ALF塊，并指定所選擇的處理對(duì)象ALF塊的區(qū)域的位置。[0126]確定單元144確定處理對(duì)象ALF塊的區(qū)域是否包括處理對(duì)象片的區(qū)域。濾波塊標(biāo)記創(chuàng)建單元145創(chuàng)建確定單元144確定了包括處理對(duì)象片的區(qū)域的ALF塊的濾波塊標(biāo)記。濾波塊標(biāo)記創(chuàng)建單元145使用由濾波系數(shù)計(jì)算單元131計(jì)算的濾波系數(shù)針對(duì)處理對(duì)象ALF塊的區(qū)域執(zhí)行自適應(yīng)濾波，并基于濾波之后圖像質(zhì)量是否提高來(lái)確定濾波塊標(biāo)記的值。
[0127]濾波塊標(biāo)記創(chuàng)建單元145輸出控制信息，諸如濾波塊標(biāo)記或ALF塊尺寸。
[0128]圖9是示出圖1的自適應(yīng)濾波單元113的主要結(jié)構(gòu)的例子的框圖。
[0129]自適應(yīng)濾波單元113使用從控制信息創(chuàng)建單元112提供的控制信息，針對(duì)從解塊濾波器111提供的解碼圖像執(zhí)行濾波。
[0130]如圖9中所示，自適應(yīng)濾波單元113包括:控制器171、自適應(yīng)濾波器172和選擇器 173。
[0131]控制器171執(zhí)行對(duì)自適應(yīng)濾波器172和選擇器173的控制。例如，控制器171從控制信息創(chuàng)建單元112獲得控制信息。另外，控制器171把獲得的控制信息中包括的濾波系數(shù)提供給自適應(yīng)濾波器172并對(duì)它進(jìn)行設(shè)置。另外，控制器171基于控制信息中包括的ALF塊尺寸，指定要處理的ALF塊的區(qū)域的位置。另外，控制器171基于控制信息中包括的濾波塊標(biāo)記的值執(zhí)行對(duì)自適應(yīng)濾波器172的控制，以在必要的情況下針對(duì)每個(gè)ALF塊的區(qū)域執(zhí)行濾波，同時(shí)，控制器171執(zhí)行對(duì)選擇器173的操作的控制。
[0132]自適應(yīng)濾波器172使用由控制器171設(shè)置的濾波系數(shù)，針對(duì)從解塊濾波器111提供的解碼圖像中的由控制器171指定為處理對(duì)象ALF塊的區(qū)域執(zhí)行濾波。自適應(yīng)濾波器172把濾波結(jié)果提供給選擇器173。
[0133]選擇器173選擇由控制器171控制并從解塊濾波器111提供的解碼圖像(未經(jīng)受自適應(yīng)濾波的解碼圖像)和從自適應(yīng)濾波器172提供的解碼圖像(經(jīng)受了自適應(yīng)濾波的解碼圖像)中的任何一個(gè)，把它提供給幀存儲(chǔ)器114，并積累它作為參照?qǐng)D像。
[0134]也就是說(shuō)，自適應(yīng)濾波單元113僅對(duì)從解塊濾波器111提供的解碼圖像中根據(jù)濾波塊標(biāo)記執(zhí)行濾波的區(qū)域(確定可以通過(guò)濾波提高圖像質(zhì)量的區(qū)域)執(zhí)行濾波。
[0135]處理流程
[0136]接下來(lái)，將描述使用上述每個(gè)單元的處理流程。首先，將參照?qǐng)D10的流程圖描述由圖像編碼設(shè)備100執(zhí)行的編碼的處理流程。
[0137]在步驟SlOl中，A/D轉(zhuǎn)換單元101對(duì)輸入圖像執(zhí)行A/D轉(zhuǎn)換。在步驟S102中，畫(huà)面排序緩沖器102存儲(chǔ)A/D轉(zhuǎn)換后的圖像并把顯示每個(gè)畫(huà)面的序列排序成編碼序列。
[0138]在步驟S103中，計(jì)算單元103計(jì)算預(yù)測(cè)圖像和步驟S102的處理中的排序后圖像之間的差。預(yù)測(cè)圖像在幀間預(yù)測(cè)的情況下從運(yùn)動(dòng)補(bǔ)償單元116經(jīng)預(yù)測(cè)圖像選擇單元118提供給計(jì)算單元103，或者在幀內(nèi)預(yù)測(cè)的情況下從幀內(nèi)預(yù)測(cè)單元115經(jīng)預(yù)測(cè)圖像選擇單元118提供給計(jì)算單元103。
[0139]與原始圖像數(shù)據(jù)相比，差數(shù)據(jù)具有更小的數(shù)據(jù)量。因此，與不加改變地對(duì)圖像進(jìn)行編碼的情況相比，可以減少數(shù)據(jù)量。
[0140]在步驟S104中，正交變換單元104針對(duì)通過(guò)步驟S103創(chuàng)建的差信息執(zhí)行正交變換。具體地講，通過(guò)正交變換(諸如離散余弦變換或Karhunen-Loeve變換)輸出變換系數(shù)。在步驟S105中，量化單元105對(duì)變換系數(shù)進(jìn)行量化。在該量化中，如在下面描述的步驟SI 19的處理中所述地控制速率。[0141]如下所述，對(duì)如前所述的量化的差信息進(jìn)行局部解碼。也就是說(shuō)，在步驟S106中，逆量化單元108使用與量化單元105的特性對(duì)應(yīng)的特性，對(duì)由量化單元105量化了的變換系數(shù)執(zhí)行逆量化。在步驟S107中，逆正交變換單元109使用與正交變換單元104的特性對(duì)應(yīng)的特性，對(duì)由逆量化單元108逆量化了的變換系數(shù)執(zhí)行逆正交變換。
[0142]在步驟S108中，計(jì)算單元110把通過(guò)預(yù)測(cè)圖像選擇單元118輸入的預(yù)測(cè)圖像與經(jīng)局部解碼的差信息相加以創(chuàng)建局部解碼的圖像(與計(jì)算單元103的輸入對(duì)應(yīng)的圖像)。在步驟S109中，解塊濾波器111對(duì)由計(jì)算單元110輸出的圖像執(zhí)行濾波。結(jié)果，去除了塊失真。
[0143]當(dāng)針對(duì)單個(gè)片執(zhí)行了前述處理時(shí)，控制信息創(chuàng)建單元112在步驟SI 10中創(chuàng)建自適應(yīng)濾波中使用的控制信息?？刂菩畔?chuàng)建處理的細(xì)節(jié)將在下面詳細(xì)描述。
[0144]當(dāng)通過(guò)步驟SllO的處理創(chuàng)建了諸如ALF塊尺寸和濾波塊標(biāo)記的控制信息時(shí)，自適應(yīng)濾波單元113在步驟Slll中使用該控制信息針對(duì)步驟S109中的解塊濾波后的解碼圖像執(zhí)行自適應(yīng)濾波。該自適應(yīng)濾波的細(xì)節(jié)將在下面進(jìn)行描述。
[0145]在步驟S112中，幀存儲(chǔ)器114存儲(chǔ)在步驟Slll中經(jīng)受了自適應(yīng)濾波的圖像。
[0146]在步驟S113中，幀內(nèi)預(yù)測(cè)單元115執(zhí)行幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。在步驟S114中，運(yùn)動(dòng)預(yù)測(cè)單元117和運(yùn)動(dòng)補(bǔ)償單元116執(zhí)行幀間預(yù)測(cè)模式的幀間運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。
[0147]在步驟S115中，預(yù)測(cè)圖像選擇單元118根據(jù)處理對(duì)象幀的預(yù)測(cè)模式，選擇通過(guò)幀內(nèi)預(yù)測(cè)處理創(chuàng)建的預(yù)測(cè)圖像或通過(guò)幀間運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理創(chuàng)建的預(yù)測(cè)圖像中的任何一個(gè)。預(yù)測(cè)圖像選擇單元118把選擇的預(yù)測(cè)圖像提供給計(jì)算單元103和計(jì)算單元110。這個(gè)預(yù)測(cè)圖像用于如前所述的步驟S103和步驟S108中的運(yùn)算。
[0148]在步驟SI 16中，可逆編碼器106對(duì)從量化單元105輸出的量化的變換系數(shù)進(jìn)行編碼。也就是說(shuō)，使用諸如可變長(zhǎng)度編碼或算術(shù)編碼的可逆編碼來(lái)壓縮差圖像。在這種情況下，可逆編碼器106還對(duì)在步驟SllO中創(chuàng)建的控制信息、步驟S113的幀內(nèi)預(yù)測(cè)處理的幀內(nèi)預(yù)測(cè)模式信息、步驟S114的幀間運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的幀間預(yù)測(cè)模式等進(jìn)行編碼。
[0149]在步驟S117中，可逆編碼器106把諸如編碼的控制信息的元數(shù)據(jù)嵌入(記述)到片頭部中。當(dāng)對(duì)圖像解碼時(shí)讀取并使用該元數(shù)據(jù)。通過(guò)如上所述在片頭部中包括(復(fù)用)執(zhí)行解碼處理所需的元數(shù)據(jù)，可以使用比幀單位更精確的單位執(zhí)行解碼處理并抑制延遲時(shí)間的增加。
[0150]在步驟S118中，積累緩沖器107積累差圖像作為壓縮圖像。積累緩沖器107中積累的壓縮圖像被適當(dāng)?shù)刈x取并通過(guò)傳輸線發(fā)送到解碼側(cè)。
[0151]在步驟S119中，速率控制單元119基于積累緩沖器107中積累的壓縮圖像，執(zhí)行對(duì)量化單元105的量化操作的速率的控制，以免產(chǎn)生上溢或下溢。
[0152]接下來(lái)，在圖10的步驟SllO中，將參照?qǐng)D11的流程圖描述由控制信息創(chuàng)建單元112執(zhí)行的控制信息創(chuàng)建處理流程的例子。
[0153]當(dāng)開(kāi)始控制信息創(chuàng)建處理時(shí)，在步驟S131中，控制信息創(chuàng)建單元112的濾波系數(shù)計(jì)算單元131使用從畫(huà)面排序緩沖器102提供的輸入圖像和從解塊濾波器111提供的解塊濾波后的解碼圖像計(jì)算濾波系數(shù)。例如，濾波系數(shù)計(jì)算單元131確定使得輸入圖像和解碼圖像之間的殘差變得最小的濾波系數(shù)的值。[0154]當(dāng)計(jì)算出濾波系數(shù)時(shí)，塊信息創(chuàng)建單元132在步驟S132中執(zhí)行包括ALF塊尺寸或?yàn)V波塊標(biāo)記的塊信息的創(chuàng)建。塊信息創(chuàng)建處理的細(xì)節(jié)將在下面描述。當(dāng)創(chuàng)建了塊信息時(shí)，該處理返回到圖10的步驟S110，并且執(zhí)行步驟Slll及之后的處理。
[0155]另外，在步驟S131中計(jì)算的濾波系數(shù)可以逐幀地獲得。在這種情況下，可以僅針對(duì)幀內(nèi)的預(yù)定片(諸如幀內(nèi)具有例如O的識(shí)別號(hào)的預(yù)定值的片或幀內(nèi)最初處理的片等)執(zhí)行步驟S131的處理，并且可以在其它片中類似地使用該值。另外，任何圖像能夠用于計(jì)算濾波系數(shù)。例如，可以基于過(guò)去的幀圖像計(jì)算濾波系數(shù)。
[0156]接下來(lái)，將參照?qǐng)D12的流程圖描述在圖11的步驟S132中執(zhí)行的塊信息創(chuàng)建處理流程的例子。
[0157]當(dāng)開(kāi)始?jí)K信息創(chuàng)建處理時(shí)，處理對(duì)象片區(qū)域指定單元141在步驟S151中指定處理對(duì)象片區(qū)域。
[0158]通過(guò)識(shí)別對(duì)應(yīng)的片中包括的宏塊和識(shí)別該宏塊中包括的像素，可以識(shí)別對(duì)應(yīng)的處理對(duì)象片區(qū)域。處理對(duì)象片區(qū)域指定單元141從片頭部獲得對(duì)應(yīng)的片的前端宏塊地址。
[0159]這里，前端宏塊地址指的是從圖像的左上開(kāi)始按照光柵掃描的順序附屬于宏塊的號(hào)碼。如圖5中所示，圖像(幀151)內(nèi)的左上宏塊的地址設(shè)置為O。由于片O是從幀151的左上部開(kāi)始的，所以片O的前端宏塊156-1的宏塊地址是O。按照這個(gè)順序，片O的最后宏塊156-2的宏塊地址設(shè)置為EO。另外，與該片O類似，片I的前端宏塊157-1的宏塊地址設(shè)置為SI，并且最后宏塊157-2的宏塊地址設(shè)置為E1。另外，片2的前端宏塊158-1的宏塊地址設(shè)置為S2，并且最后宏塊158-2的宏塊地址設(shè)置為E2。
[0160]當(dāng)對(duì)相應(yīng)片進(jìn)行解碼時(shí)，每當(dāng)對(duì)于單個(gè)宏塊完成解碼處理時(shí)宏塊地址增加1，最終到達(dá)相應(yīng)片的最后宏塊。在片的最后宏塊中，設(shè)置標(biāo)記。結(jié)果，可以識(shí)別相應(yīng)片的所有宏塊地址，即，從前端宏塊地址到最·后宏塊地址。
[0161]然而，單個(gè)幀的圖像尺寸由AVC流(圖像壓縮信息)的SPS (序列參數(shù)集)中的宏塊數(shù)量表示。參數(shù)pic_height_in_map_units_minusl表示圖像的垂直方向的宏塊的數(shù)量。參數(shù)pic_width_in_mbs_minusl表示圖像的水平方向的宏塊的數(shù)量。
[0162]因此，宏塊的位置能夠根據(jù)宏塊地址由下面的式(2)和(3)表示。
[0163]mbx=宏塊地址 MOD pic_width_in_mbs_minusl …⑵
[0164]mby=floor[宏塊地址/pic_width_in_mbs_minusl]...(3)
[0165]在式(2)和(3)中，參數(shù)mbx代表宏塊從最左側(cè)起的位置，參數(shù)mby代表宏塊從最上側(cè)起的位置。另外，算子fl00r[z]代表舍去小數(shù)點(diǎn)后面的數(shù)字以產(chǎn)生整數(shù)的運(yùn)算。A MODB是計(jì)算通過(guò)將數(shù)字A除以數(shù)字B獲得的余數(shù)。
[0166]假設(shè)宏塊尺寸確定為16X16像素，宏塊的左上角像素的垂直方向和水平方向的位置被設(shè)置為(16Xmbx，16Xmby)。該宏塊包括相對(duì)于左上角像素的位置沿向下方向的16個(gè)像素和沿向右方向的16個(gè)像素。結(jié)果，能夠識(shí)別相應(yīng)片的所有像素。也就是說(shuō)，指定了處理對(duì)象片區(qū)域。
[0167]在圖12的步驟S152中，ALF塊設(shè)置單元142確定ALF塊尺寸。在步驟S153中，ALF塊設(shè)置單元142確定幀內(nèi)的ALF塊的數(shù)量。由于幀圖像尺寸是預(yù)先確定的，所以當(dāng)確定了 ALF塊尺寸時(shí)，可以使用幀的左上角作為原點(diǎn)計(jì)算在整個(gè)區(qū)域上排列ALF塊所需的ALF塊的數(shù)量(幀內(nèi)的ALF塊的數(shù)量)。由于在先前提供了 ALF塊的垂直和水平尺寸(像素?cái)?shù))的設(shè)置值，所以ALF塊設(shè)置單元142基于所述設(shè)置值確定ALF塊尺寸和ALF塊的數(shù)量，并在解碼圖像中排列ALF塊。
[0168]另外，基于下面的式(4)和(5)計(jì)算ALF塊的數(shù)量。
[0169]num_alf_block_x=floor[(16x(pic_width_in_mbs_minusl + l) + (alf_block_size-1))/alf_block_size]...(4)
[0170]num_aIf_b1 ck_y=f10r[(16x(pic_height_in_map_units_minusl + l) + (alf_block_size_l))/alf_block_size] …(5)
[0171]在式⑷和(5)中，參數(shù)num_alf_block_x和num_alf_block_y分別代表圖像中包括的ALF塊的水平數(shù)量和垂直數(shù)量。參數(shù)alf_block_Size代表ALF塊的一條邊的尺寸。這里，為了便于說(shuō)明，假設(shè)ALF塊是正方形。不言自明的是，ALF塊的水平和垂直尺寸可以彼此不同。
[0172]在步驟S154中，處理對(duì)象ALF塊區(qū)域指定單元143確定處理對(duì)象ALF塊區(qū)域。在步驟S155中，處理對(duì)象ALF塊區(qū)域指定單元143指定處理對(duì)象ALF塊的區(qū)域。
[0173]第i個(gè)ALF塊的位置在下面的式(6)和(7)中表示。
[0174]a I f _b I o ck_x=i (num_a I f _b I o ck_x-1)...(6)
[0175]alf_block_y=floor [i/(num_alf_block_x_l) ]...(7)
[0176]在式(6)和(7)中，參數(shù)alf_block_x和alf_block_y分別代表第i個(gè)ALF塊在水平方向和垂直方向上所處的位置。通過(guò)把參數(shù)alf_block_x和alf_block_y的每個(gè)值乘以參數(shù)alf_block_size，能夠獲得第i個(gè)ALF塊的左上角像素的位置。也就是說(shuō)，水平方向的位置設(shè)置為16Xalf_block_x,垂直方向的位置設(shè)置為16 X alf_block_y。因此,第i個(gè)ALF塊區(qū)域占據(jù)相對(duì)于左上角像素的alf_block_sizeXalf_block_size的范圍。
[0177]在步驟S156中，確定單元144確定在如上所述指定的處理對(duì)象ALF塊中是否包括處理對(duì)象片的區(qū)域。
[0178]如果確定在處理對(duì)象ALF塊的區(qū)域中包括處理對(duì)象片的區(qū)域，則處理前進(jìn)至步驟S157。在步驟S157中，因?yàn)樘幚韺?duì)象ALF塊是處理對(duì)象片所需的ALF塊，所以濾波塊標(biāo)記創(chuàng)建單元145針對(duì)該ALF塊創(chuàng)建濾波塊標(biāo)記。在步驟S158中，濾波塊標(biāo)記創(chuàng)建單元145輸出創(chuàng)建的濾波塊標(biāo)記。
[0179]如果步驟S158的處理結(jié)束，則處理前進(jìn)至步驟S159。另外，在步驟S156中，如果確定在處理對(duì)象ALF塊的區(qū)域中不包括處理對(duì)象片的區(qū)域，則該ALF塊對(duì)于處理對(duì)象片不是必需的，處理前進(jìn)至步驟S159。
[0180]在步驟S159中，處理對(duì)象ALF塊區(qū)域指定單元143確定是否已處理幀內(nèi)所有的ALF塊。如果確定尚未處理所有的ALF ik,則處理返回至步驟S154，并且通過(guò)把新的ALF塊設(shè)置為處理對(duì)象來(lái)重復(fù)后續(xù)處理。當(dāng)重復(fù)這個(gè)循環(huán)處理時(shí)，處理對(duì)象ALF塊區(qū)域指定單元143從左上的ALF塊開(kāi)始按照光柵掃描的順序從整個(gè)幀區(qū)域中排列的ALF塊組中逐個(gè)地選擇ALF塊作為處理對(duì)象ALF塊。
[0181]另外，在步驟S159中，如果確定處理了幀內(nèi)的所有ALF塊，則塊信息創(chuàng)建處理結(jié)束，并且處理返回至圖11的步驟S132。當(dāng)控制信息創(chuàng)建處理結(jié)束時(shí)，處理返回至圖10的步驟S110，并且執(zhí)行步 驟Slll及后面的處理。
[0182]另外，盡管在前面的描述中當(dāng)在整個(gè)幀圖像區(qū)域中排列ALF塊時(shí)把幀的左上點(diǎn)設(shè)置為原點(diǎn)，但這個(gè)原點(diǎn)的位置可以任意設(shè)置。例如，原點(diǎn)的位置可以設(shè)置為左下點(diǎn)、右下點(diǎn)、右上點(diǎn)或中心點(diǎn)。然而，原點(diǎn)的位置以及如何排列ALF塊需要被預(yù)先設(shè)置以便在編碼和解碼之間相同。
[0183]盡管在前面的描述中選擇處理對(duì)象ALF塊的順序被設(shè)置為從左上點(diǎn)開(kāi)始的光柵掃描順序，但選擇順序和開(kāi)始位置可以任意設(shè)置。
[0184]接下來(lái)，將參照?qǐng)D13的流程圖描述圖10的步驟Slll中執(zhí)行的自適應(yīng)濾波處理流程的例子。
[0185]當(dāng)開(kāi)始自適應(yīng)濾波時(shí)，把處理對(duì)象片的解碼圖像提供給自適應(yīng)濾波器172和選擇器173。在步驟S171中，控制器171指定處理對(duì)象片的區(qū)域。類似于圖12的步驟S151的處理，控制器171獲得片頭部的相應(yīng)片的前端宏塊地址，進(jìn)一步檢測(cè)代表最后宏塊的標(biāo)記，并指定從前端宏塊地址到最后宏塊地址的區(qū)域作為處理對(duì)象片的區(qū)域。
[0186]在步驟S172中，控制器171獲得由控制信息創(chuàng)建單元112創(chuàng)建的濾波系數(shù)，并在自適應(yīng)濾波器172中設(shè)置該濾波系數(shù)。在步驟S173中，控制器171獲得由控制信息創(chuàng)建單元112確定的ALF塊尺寸，并在整個(gè)幀區(qū)域中設(shè)置(排列)具有該ALF塊尺寸的ALF塊。
[0187]在步驟S174中，類似于圖12的步驟S154，控制器171確定如前所述建立的ALF塊組中未處理的ALF塊之一作為處理對(duì)象ALF塊。該ALF塊選擇順序在預(yù)先確定的并且與控制信息創(chuàng)建單元112的選擇順序相同。
[0188]在步驟S175中，類似于圖12的步驟S155，控制器171指定所確定的處理對(duì)象ALF塊的區(qū)域。
[0189]在步驟S176中，類似于圖12的步驟S156，控制器171確定在處理對(duì)象ALF塊的區(qū)域中是否包括處理對(duì)象片的區(qū)域。如果確定了包括處理對(duì)象片的區(qū)域，則處理前進(jìn)至步驟S177。
[0190]在步驟S177中，控制器171獲得在控制信息創(chuàng)建單元112中創(chuàng)建的處理對(duì)象ALF塊的濾波塊標(biāo)記。由于控制信息創(chuàng)建單元112如前所述創(chuàng)建濾波塊標(biāo)記，所以濾波塊標(biāo)記實(shí)際上僅被提供給包括處理對(duì)象片的區(qū)域的ALF塊。由于ALF塊的處理順序與控制信息創(chuàng)建單元112相同，所以按照ALF塊的處理順序提供濾波塊標(biāo)記。因此，通過(guò)按照該提供順序獲得(采用)濾波塊標(biāo)記，控制器171能夠獲得(采用)處理對(duì)象ALF塊的濾波塊標(biāo)記。
[0191]另外，提供濾波塊標(biāo)記的定時(shí)和使用控制器171獲得濾波塊標(biāo)記的定時(shí)可以不同。也就是說(shuō)，控制器171可以在例如內(nèi)部緩沖器等中臨時(shí)存儲(chǔ)從控制信息創(chuàng)建單元112提供的濾波塊標(biāo)記，并且在步驟S177的處理中從該緩沖器讀取濾波塊標(biāo)記。即使在這種情況下，控制器171也能夠僅通過(guò)使讀取濾波塊標(biāo)記的順序與從控制信息創(chuàng)建單元112提供濾波塊標(biāo)記的順序(即，該緩沖器中的積累順序)相同，來(lái)獲得處理對(duì)象ALF塊的濾波塊標(biāo)記。
[0192]在步驟S178中，控制器171確定濾波塊標(biāo)記的值是否是I。如果濾波塊標(biāo)記的值是1，則指示針對(duì)處理對(duì)象ALF塊的區(qū)域執(zhí)行濾波，處理前進(jìn)至步驟S179。在步驟S179中，自適應(yīng)濾波器172由控制器171控制，并且針對(duì)處理對(duì)象ALF塊執(zhí)行濾波。如果步驟S179的處理結(jié)束，則處理前進(jìn)至步驟S180。在這種情況下，在步驟S180中，選擇器173由控制器171控制，并且選擇自適應(yīng)濾波器172的輸出并把它輸出給幀存儲(chǔ)器114。換句話說(shuō)，在幀存儲(chǔ)器114中積累經(jīng)受了濾波的解碼圖像(的一部分區(qū)域)。當(dāng)步驟S180的處理結(jié)束時(shí)，處理前進(jìn)至步驟S181。
[0193]另外，在步驟S178中，如果濾波塊標(biāo)記的值是0，則指示不針對(duì)處理對(duì)象ALF塊的區(qū)域執(zhí)行濾波，省略步驟S179的處理，并且處理前進(jìn)至步驟S180。在這種情況下，在步驟S180中，選擇器173由控制器171控制，并且選擇解塊濾波器111的輸出并把它輸出給幀存儲(chǔ)器114。也就是說(shuō)，在幀存儲(chǔ)器114中積累未經(jīng)受濾波的解碼圖像(的一部分區(qū)域)。當(dāng)步驟S180的處理結(jié)束時(shí)，處理前進(jìn)至步驟S181。
[0194]另外，在步驟S176中，如果確定在處理對(duì)象ALF塊的區(qū)域中不包括處理對(duì)象片的區(qū)域，則處理對(duì)象ALF塊是與處理對(duì)象片無(wú)關(guān)的ALF塊。因此，省略步驟S177至S180的處理，并且處理前進(jìn)至步驟S181。
[0195]在步驟S181中，控制器171確定是否已處理了幀內(nèi)所有的ALF塊。如果確定存在任何未處理的ALF塊，則處理返回至步驟S174，并且針對(duì)新的處理對(duì)象ALF塊重復(fù)后續(xù)處理。當(dāng)重復(fù)這個(gè)循環(huán)處理時(shí)，控制器171從左上的ALF塊開(kāi)始按照光柵掃描的順序從在整個(gè)幀區(qū)域中排列的ALF塊組中逐個(gè)地選擇ALF塊作為處理對(duì)象ALF塊。
[0196]另外，在步驟S181中，如果確定已處理了幀內(nèi)所有的ALF塊，則自適應(yīng)濾波結(jié)束。處理返回至圖10的步驟S111，并且重復(fù)步驟S112及后面的處理。
[0197]通過(guò)如上所述執(zhí)行自適應(yīng)濾波，自適應(yīng)濾波單元113能夠基于幀內(nèi)的一部分ALF塊的濾波塊標(biāo)記，適當(dāng)?shù)貓?zhí)行幀中形成的多個(gè)片中的處理對(duì)象片所需的對(duì)處理對(duì)象片的濾波。結(jié)果，自適應(yīng)濾波單元113能夠減小未由處理對(duì)象片的解塊濾波處理的塊失真或量化失真。
[0198]如何排列ALF塊是預(yù)先確定的。因此，在整個(gè)幀區(qū)域中排列ALF塊的狀態(tài)下，可以根據(jù)ALF塊尺寸容易地獲得每個(gè)ALF塊的位置。因此，當(dāng)像現(xiàn)有技術(shù)一樣針對(duì)幀內(nèi)所有ALF塊創(chuàng)建了濾波塊標(biāo)記時(shí)，可以容易地指定與每個(gè)濾波塊標(biāo)記對(duì)應(yīng)的區(qū)域的位置。
[0199]然而，例如，在幀中具有多個(gè)片的多片情況下，可以想到使用幀內(nèi)的一部分ALF塊的濾波塊標(biāo)記針對(duì)處理對(duì)象片執(zhí)行濾波。在這種情況下，根據(jù)處理對(duì)象片的區(qū)域的位置(即，處理對(duì)象片是從幀內(nèi)的多個(gè)片中的任何一個(gè)選擇的)，與使用的濾波塊標(biāo)記對(duì)應(yīng)的區(qū)域的位置是不同的。
[0200]然而，根據(jù)現(xiàn)有技術(shù)的方法，未指定濾波塊標(biāo)記或處理對(duì)象片的位置。因此，可能無(wú)法適當(dāng)?shù)貓?zhí)行根據(jù)控制信息創(chuàng)建單元112中創(chuàng)建的濾波塊標(biāo)記的控制，并且可能無(wú)法適當(dāng)?shù)貓?zhí)行自適應(yīng)濾波。
[0201]如上所述，由于自適應(yīng)濾波單元113指定作為幀內(nèi)一部分區(qū)域的處理對(duì)象片區(qū)域的位置和與幀內(nèi)一部分ALF塊的濾波塊標(biāo)記對(duì)應(yīng)的區(qū)域的位置，所以可以適當(dāng)?shù)貓?zhí)行自適應(yīng)濾波。也就是說(shuō)，由于不需要不包括處理對(duì)象片區(qū)域的ALF塊的、不影響處理對(duì)象片的濾波塊標(biāo)記，所以自適應(yīng)濾波單元113能夠抑制圖像壓縮信息的編碼效率的降低。
[0202]另外，由于控制信息創(chuàng)建單元112如上所述僅針對(duì)包括處理對(duì)象片區(qū)域的ALF塊創(chuàng)建濾波塊標(biāo)記，所以可以防止創(chuàng)建不必要的濾波塊標(biāo)記并抑制圖像壓縮信息的編碼效率的降低。
[0203]另外，自適應(yīng)濾波單元113能夠通過(guò)使用與如上所述的控制信息創(chuàng)建單元112的方法相同的方法，容易地指定處理對(duì)象片的區(qū)域的位置和與濾波塊標(biāo)記對(duì)應(yīng)的區(qū)域的位置。[0204]另外，由于可逆編碼器106把包括ALF塊尺寸和濾波塊標(biāo)記的塊信息加入到編碼數(shù)據(jù)(例如，把它嵌入到片頭部中)，所以對(duì)這些編碼數(shù)據(jù)進(jìn)行解碼的圖像解碼設(shè)備也能夠基于與自適應(yīng)濾波單元113的塊信息類似的塊信息執(zhí)行濾波。
[0205]這里，“加入”指的是塊信息以任何方式與編碼數(shù)據(jù)關(guān)聯(lián)。例如，塊信息可以記述為編碼數(shù)據(jù)的語(yǔ)法，或者可以記述為用戶數(shù)據(jù)。另外，塊信息可以作為元數(shù)據(jù)與編碼數(shù)據(jù)連結(jié)。也就是說(shuō)，“加入”包括“嵌入”、“記述”、“復(fù)用”、“連結(jié)”等。
[0206]通過(guò)伴隨著如上所述的塊信息創(chuàng)建處理或自適應(yīng)濾波執(zhí)行編碼，僅那些必要的濾波塊標(biāo)記會(huì)被包括在圖像壓縮信息中。因此，圖像編碼設(shè)備100通過(guò)在編碼或解碼期間局部地控制濾波，能夠抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀被分成多個(gè)片并且針對(duì)每個(gè)片執(zhí)行使用自適應(yīng)濾波的編碼并輸出時(shí)，圖像編碼設(shè)備100也能夠抑制編碼效率的降低。
[0207]2、第二實(shí)施例
[0208]裝置結(jié)構(gòu)
[0209]接下來(lái)，將描述與本發(fā)明的第一實(shí)施例的圖像編碼設(shè)備100對(duì)應(yīng)的圖像解碼設(shè)備。圖14是示出作為根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的圖像解碼設(shè)備的結(jié)構(gòu)例子的框圖。
[0210]圖像解碼設(shè)備200對(duì)從圖像編碼設(shè)備100輸出的圖像壓縮信息進(jìn)行解碼以創(chuàng)建解碼圖像。
[0211]圖像解碼設(shè)備200包括:積累緩沖器201、可逆解碼單元202、逆量化單元203、逆正交變換單元204、計(jì)算單元205和解塊濾波器206。另外，圖像解碼設(shè)備200具有自適應(yīng)濾波單元207。另外，解碼設(shè)備200具有畫(huà)面排序緩沖器208和D/A(數(shù)字-模擬)轉(zhuǎn)換單元209。另外，圖像解碼設(shè)備200具有幀存儲(chǔ)器210、幀內(nèi)預(yù)測(cè)單元211、運(yùn)動(dòng)補(bǔ)償單元212和選擇器213。
[0212]積累緩沖器201積累發(fā)送來(lái)的圖像壓縮信息。可逆解碼單元202使用與可逆編碼器106的編碼方案對(duì)應(yīng)的解碼方案，對(duì)從積累緩沖器201提供的、由圖1的可逆編碼器106編碼的信息進(jìn)行解碼。
[0213]當(dāng)相應(yīng)的宏塊被幀內(nèi)編碼時(shí)，可逆解碼單元202對(duì)圖像壓縮信息的頭部中存儲(chǔ)的幀內(nèi)預(yù)測(cè)模式信息進(jìn)行解碼并把該信息發(fā)送給幀內(nèi)預(yù)測(cè)單元211。另外，當(dāng)相應(yīng)的宏塊被幀間編碼時(shí)，可逆解碼單元202對(duì)圖像壓縮信息的頭部中存儲(chǔ)的運(yùn)動(dòng)矢量信息進(jìn)行解碼并把該信息發(fā)送給運(yùn)動(dòng)補(bǔ)償單元212。
[0214]另外，可逆解碼單元202從圖像壓縮信息的片頭部提取用于自適應(yīng)濾波的控制信息(由控制信息創(chuàng)建單元112創(chuàng)建的控制信息)，對(duì)該控制信息進(jìn)行解碼，并把該信息提供給自適應(yīng)濾波單元207。
[0215]逆量化單元203使用與圖1的量化單元105的量化方案對(duì)應(yīng)的方案，對(duì)由可逆解碼單元202解碼的圖像執(zhí)行逆量化。逆正交變換單元204使用與圖1的正交變換單元104的正交變換方案對(duì)應(yīng)的方案，對(duì)逆量化單元203的輸出執(zhí)行逆正交變換。
[0216]計(jì)算單元205把從選擇器213提供的預(yù)測(cè)圖像與經(jīng)受了逆正交變換的差信息相力口，以創(chuàng)建解碼圖像。解塊濾波器206去除通過(guò)這種相加創(chuàng)建的解碼圖像的塊失真。
[0217]自適應(yīng)濾波單元207基于從可逆解碼單元202提供的控制信息中包括的諸如ALF塊尺寸、濾波塊標(biāo)記和濾波系數(shù)的信息，對(duì)從解塊濾波器206提供的圖像執(zhí)行濾波。自適應(yīng)濾波單元207執(zhí)行與圖1的自適應(yīng)濾波單元113相同的自適應(yīng)濾波。結(jié)果，自適應(yīng)濾波單元207能夠減小未由解塊濾波器206去除的塊失真或量化失真。
[0218]自適應(yīng)濾波單元207把濾波之后的圖像提供給幀存儲(chǔ)器210，積累該圖像作為參照?qǐng)D像信息，并把它輸出給畫(huà)面排序緩沖器208。
[0219]畫(huà)面排序緩沖器208對(duì)圖像執(zhí)行排序。也就是說(shuō)，按原始顯示序列來(lái)排序圖1的畫(huà)面排序緩沖器102的按編碼序列排序的幀序列。D/A轉(zhuǎn)換單元209對(duì)從畫(huà)面排序緩沖器208提供的圖像執(zhí)行D/A轉(zhuǎn)換，并將其輸出。例如，D/A轉(zhuǎn)換單元209把通過(guò)D/A轉(zhuǎn)換獲得的輸出信號(hào)輸出給顯示單元(未示出)以進(jìn)行顯示。
[0220]當(dāng)相應(yīng)幀被幀內(nèi)編碼時(shí)，幀內(nèi)預(yù)測(cè)單元211基于從可逆解碼單元202提供的信息創(chuàng)建預(yù)測(cè)圖像，并把創(chuàng)建的預(yù)測(cè)圖像輸出給選擇器213。
[0221]當(dāng)相應(yīng)幀被幀間編碼時(shí)，運(yùn)動(dòng)補(bǔ)償單元212基于從可逆解碼單元202提供的運(yùn)動(dòng)矢量信息，對(duì)幀存儲(chǔ)器210中存儲(chǔ)的參照?qǐng)D像信息執(zhí)行運(yùn)動(dòng)補(bǔ)償處理。
[0222]當(dāng)相應(yīng)宏塊被幀內(nèi)編碼時(shí)，選擇器213連接到幀內(nèi)預(yù)測(cè)單元211并把從幀內(nèi)預(yù)測(cè)單元211提供的圖像作為預(yù)測(cè)圖像提供給計(jì)算單元205。另外，當(dāng)相應(yīng)宏塊被幀間編碼時(shí)，選擇器213連接到運(yùn)動(dòng)補(bǔ)償單元212并把從運(yùn)動(dòng)補(bǔ)償單元212提供的圖像作為預(yù)測(cè)圖像提供給計(jì)算單元205。
[0223]處理流程
[0224]將參照?qǐng)D15的流程圖描述由圖像解碼設(shè)備200執(zhí)行的解碼處理流程的例子。
[0225]在步驟S201中，積累緩沖器210積累發(fā)送來(lái)的圖像。在步驟S202中，可逆解碼單元202對(duì)從積累緩沖器201提供的壓縮圖像進(jìn)行解碼。也就是說(shuō)，I畫(huà)面、P畫(huà)面和B畫(huà)面由圖1的可逆編碼器106編碼。
[0226]在這種情況下，運(yùn)動(dòng)矢量信息、參照幀信息、預(yù)測(cè)模式信息(代表幀內(nèi)預(yù)測(cè)模式或幀間預(yù)測(cè)模式的信息)等也被解碼。
[0227]也就是說(shuō)，當(dāng)預(yù)測(cè)模式信息是幀內(nèi)預(yù)測(cè)模式信息時(shí)，該預(yù)測(cè)模式信息被提供給幀內(nèi)預(yù)測(cè)單元211。當(dāng)預(yù)測(cè)模式信息是幀間預(yù)測(cè)模式信息時(shí)，與該預(yù)測(cè)模式信息對(duì)應(yīng)的參照幀信息和運(yùn)動(dòng)矢量信息被提供給運(yùn)動(dòng)補(bǔ)償單元212。
[0228]另外，可逆解碼單元202在步驟S202中從圖像壓縮信息的片頭部提取自適應(yīng)濾波的控制信息，并對(duì)其進(jìn)行解碼。解碼的控制信息被提供給自適應(yīng)濾波單元207。
[0229]在步驟S204中，逆量化單元203使用與圖1的量化單元105的特性對(duì)應(yīng)的特性，對(duì)在步驟S202中解碼的變換系數(shù)執(zhí)行逆量化。在步驟S205中，逆正交變換單元204使用與圖1的正交變換單元104的特性對(duì)應(yīng)的特性，對(duì)在步驟S204中經(jīng)受了逆量化的變換系數(shù)執(zhí)行逆正交變換。結(jié)果，與圖1的正交變換單元104的輸入(計(jì)算單元103的輸出)對(duì)應(yīng)的差信息被解碼。
[0230]在步驟S206中，計(jì)算單元205把下文描述的步驟S212中選擇的預(yù)測(cè)圖像與該差信息相加。結(jié)果，原始圖像被解碼。在步驟S207中，解塊濾波器206針對(duì)從計(jì)算單元205輸出的圖像執(zhí)行濾波。結(jié)果，去除了塊失真。
[0231]在步驟S208中，自適應(yīng)濾波單元207進(jìn)一步對(duì)經(jīng)受了解塊濾波的圖像執(zhí)行自適應(yīng)濾波。該自適應(yīng)濾波類似于由圖1的自適應(yīng)濾波單元113執(zhí)行的處理。也就是說(shuō)，使用從可逆解碼單元202提供的控制信息，以與參照?qǐng)D13的流程圖描述的方式相似的方式執(zhí)行該自適應(yīng)濾波。然而，從可逆解碼單元202提供的控制信息也是由圖1的控制信息創(chuàng)建單元112創(chuàng)建的，并且基本與由圖1的自適應(yīng)濾波單元113使用的從控制信息創(chuàng)建單元112提供的控制信息相同。
[0232]通過(guò)該自適應(yīng)濾波，可以減小未通過(guò)解塊濾波去除的塊失真或量化失真。
[0233]在步驟S209中，幀存儲(chǔ)器210存儲(chǔ)經(jīng)受了該濾波的圖像。
[0234]當(dāng)提供了幀內(nèi)預(yù)測(cè)模式信息時(shí)，幀內(nèi)預(yù)測(cè)單元211在步驟S210中執(zhí)行幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)。另外，當(dāng)提供了幀間預(yù)測(cè)模式信息時(shí)，運(yùn)動(dòng)補(bǔ)償單元212在步驟S211中執(zhí)行幀間預(yù)測(cè)模式的運(yùn)動(dòng)補(bǔ)償。
[0235]在步驟S212中，選擇器213選擇預(yù)測(cè)圖像。也就是說(shuō)，選擇器213選擇由幀內(nèi)預(yù)測(cè)單元211創(chuàng)建的預(yù)測(cè)圖像或由運(yùn)動(dòng)補(bǔ)償單元212創(chuàng)建的預(yù)測(cè)圖像中的任何一個(gè)，并把選擇的預(yù)測(cè)圖像提供給計(jì)算單元205。
[0236]例如，在幀內(nèi)編碼圖像的情況下，選擇器213選擇由幀內(nèi)預(yù)測(cè)單元211創(chuàng)建的預(yù)測(cè)圖像并把它提供給計(jì)算單元205。另外，在幀間編碼圖像的情況下，選擇器213選擇由運(yùn)動(dòng)補(bǔ)償單元212創(chuàng)建的預(yù)測(cè)圖像并把它提供給計(jì)算單元205。
[0237]在步驟S213中，畫(huà)面排序緩沖器208執(zhí)行排序。也就是說(shuō)，按原始顯示序列來(lái)排序由圖1的圖像編碼設(shè)備100的畫(huà)面排序緩沖器102為了編碼而排序的幀序列。
[0238]在步驟S214中，D/A轉(zhuǎn)換單元209對(duì)來(lái)自畫(huà)面排序緩沖器208的圖像執(zhí)行D/A轉(zhuǎn)換。該圖像被輸出給顯示單元(未示出)并在顯示單元上顯示。
[0239]這樣，在圖像解碼設(shè)備200中，可逆解碼單元202提取從圖像編碼設(shè)備100提供的控制信息并對(duì)其解碼，自適應(yīng)濾波單元207使用這種控制信息以與圖像編碼設(shè)備100的自適應(yīng)濾波單元113相似的方式執(zhí)行自適應(yīng)濾波。
[0240]如上所述，通過(guò)執(zhí)行自適應(yīng)濾波，可以允許自適應(yīng)濾波單元207基于幀內(nèi)的一部分ALF塊的濾波塊標(biāo)記適當(dāng)?shù)貓?zhí)行幀中形成的多個(gè)片中的處理對(duì)象片所需的濾波。結(jié)果，自適應(yīng)濾波單元207能夠去除處理對(duì)象片中的未由解塊濾波器去除的塊失真或量化失真。[0241 ] 也就是說(shuō)，類似于自適應(yīng)濾波單元113的情況，自適應(yīng)濾波單元207能夠基于僅提供給處理對(duì)象片所需的ALF塊的濾波塊標(biāo)記，適當(dāng)?shù)貙?duì)處理對(duì)象片執(zhí)行濾波。
[0242]因此，圖像解碼設(shè)備200能夠適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。也就是說(shuō)，圖像解碼設(shè)備200能夠通過(guò)在編碼或解碼期間局部地控制濾波來(lái)抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀被分成多個(gè)片并且使用自適應(yīng)濾波針對(duì)每個(gè)片對(duì)編碼的圖像壓縮信息進(jìn)行解碼并輸出時(shí)，也可以抑制編碼效率的降低。
[0243]3、第三實(shí)施例
[0244]處理對(duì)象ALF塊的另一例子
[0245]在前面的描述中，控制信息創(chuàng)建單元112針對(duì)至少包括處理對(duì)象片區(qū)域的所有ALF塊創(chuàng)建濾波塊標(biāo)記，并且由自適應(yīng)濾波單元113對(duì)至少包括處理對(duì)象片區(qū)域的所有ALF塊執(zhí)行濾波。
[0246]然而，例如，當(dāng)在ALF塊中僅包括處理對(duì)象片區(qū)域的單個(gè)像素時(shí)，濾波幾乎不影響處理對(duì)象片的圖像質(zhì)量。這樣，即使當(dāng)針對(duì)具有小比率的處理對(duì)象片區(qū)域的ALF塊執(zhí)行濾波時(shí)，也無(wú)法獲得充分的效果，并且處理(負(fù)荷)可能變得無(wú)用。
[0247]在這點(diǎn)上，可將僅包括預(yù)定比率以上的處理對(duì)象片區(qū)域的ALF塊設(shè)置為處理對(duì)象。這個(gè)用作閾值的預(yù)定比率可以任意設(shè)置。另外，這個(gè)值可以預(yù)先設(shè)置或者可以設(shè)置為根據(jù)圖像的內(nèi)容等而改變。
[0248]處理流程
[0249]將參照?qǐng)D16的流程圖描述在這種情況下的塊信息創(chuàng)建處理流程的例子。圖16的流程圖對(duì)應(yīng)于圖12的流程圖。
[0250]也就是說(shuō)，如圖16中所示，即使在這種情況下，也以與參照?qǐng)D12描述的情況基本相似的方式執(zhí)行塊信息創(chuàng)建處理。
[0251]因此，在這種情況下的控制信息創(chuàng)建單元112的結(jié)構(gòu)類似于圖3的情況。
[0252]圖16的步驟S351至S355的各個(gè)處理以與圖12的步驟S151至S155的各個(gè)處理類似的方式執(zhí)行。
[0253]然而，在圖16中，當(dāng)指定處理對(duì)象ALF塊的區(qū)域時(shí)，確定單元144在步驟S356中確定是否預(yù)定比率以上的處理對(duì)象ALF塊的區(qū)域是處理對(duì)象片區(qū)域。
[0254]如果確定預(yù)定比率以上的處理對(duì)象ALF塊的區(qū)域是處理對(duì)象片區(qū)域，則處理前進(jìn)至步驟S357。另外，在步驟S356中，如果確定處理對(duì)象ALF塊中包括的處理對(duì)象片區(qū)域小于預(yù)定比率，則處理前進(jìn)至步驟S359。
[0255]步驟S357至S359的各處理以與圖12中的步驟S157至S159的各處理相似的方式執(zhí)行。
[0256]這樣，與第一實(shí)施例相比，創(chuàng)建濾波塊標(biāo)記的條件可被設(shè)置為實(shí)質(zhì)上更有用的范圍。結(jié)果，圖像編碼設(shè)備100和圖像解碼設(shè)備200能夠進(jìn)一步抑制編碼效率的降低。
[0257]另外，盡管在前面的描述中逐片地執(zhí)行使用自適應(yīng)濾波的編碼或解碼，但本發(fā)明不限于此。如果數(shù)據(jù)單位小于幀單位，則可以以更精確的數(shù)據(jù)單位執(zhí)行編碼或解碼。
[0258]4、第四實(shí)施例
[0259]QALF 的說(shuō)明
[0260]如T.Chujoh N.Wada和 G.Yasuda 的“Quadtree-based Adaptive Loop Filter”(ITU-T SG16Q6VCEG Contribution, VCEG-AK22 (rl), Japan, April, 2009)中所公開(kāi)的，ALF塊可以具有四叉樹(shù)結(jié)構(gòu)。該技術(shù)稱為基于四叉樹(shù)的自適應(yīng)環(huán)路濾波(QALF)。在這個(gè)四叉樹(shù)結(jié)構(gòu)中，上層中的單個(gè)ALF塊區(qū)域在下層中分成四個(gè)區(qū)域。
[0261]圖17A至17D示出通過(guò)使用具有最大層數(shù)為3的四叉樹(shù)結(jié)構(gòu)表示ALF塊劃分，指定每個(gè)ALF塊中的濾波塊標(biāo)記的例子。
[0262]圖17A示出層0，層O是用作四叉樹(shù)結(jié)構(gòu)的基礎(chǔ)的ALF塊。在該四叉樹(shù)結(jié)構(gòu)中，每個(gè)ALF塊具有塊分割標(biāo)記，該塊分割標(biāo)記表示每個(gè)ALF塊是否在下層中被四分。圖17A中所示的ALF塊的塊分割標(biāo)記的值設(shè)置為“I”。也就是說(shuō)，這個(gè)ALF塊在下層(層I)中被四分。圖17B顯示層I。也就是說(shuō)，在層I中形成四個(gè)ALF塊。
[0263]當(dāng)塊分割標(biāo)記設(shè)置為“O”時(shí)，ALF塊不在下層中被四分。也就是說(shuō)，不再進(jìn)行劃分，并且針對(duì)該ALF塊創(chuàng)建濾波塊標(biāo)記。也就是說(shuō)，具有值為“O”的塊分割標(biāo)記的ALF塊也具有濾波塊標(biāo)記。在圖17B示出的“0-1”之中，左側(cè)的“O”代表相應(yīng)ALF塊的塊分割標(biāo)記，右側(cè)的“ I ”代表相應(yīng)ALF塊的濾波塊標(biāo)記。[0264]層I中的塊分割標(biāo)記被設(shè)置為“I”的兩個(gè)ALF塊在更下層(層2)中被四分。圖17C顯示層2。也就是說(shuō)，在層2中創(chuàng)建了 10個(gè)ALF塊。
[0265]類似地，也可以為層2中的塊分割標(biāo)記被設(shè)置為“O”的ALF塊分配濾波塊標(biāo)記。在圖17C中，一個(gè)ALF塊的塊分割標(biāo)記被設(shè)置為“I”。也就是說(shuō)，該ALF塊在更下層(層3)中被四分。圖17D顯示層3。也就是說(shuō)，在層3中創(chuàng)建了 13個(gè)ALF塊。
[0266]如圖17A至17D中所示通過(guò)四叉樹(shù)劃分獲得的ALF塊的最種配置示出于圖18中。這樣，在該四叉樹(shù)結(jié)構(gòu)中，ALF塊尺寸在每個(gè)層中是不同的。也就是說(shuō)，通過(guò)使用四叉樹(shù)結(jié)構(gòu)，ALF塊可以在幀內(nèi)具有不同的尺寸。
[0267]對(duì)每個(gè)ALF塊中的濾波塊標(biāo)記的控制類似于第一實(shí)施例中的情況。也就是說(shuō)，當(dāng)濾波塊標(biāo)記的值是“O”時(shí)，不對(duì)(圖18中畫(huà)陰影線的)ALF塊區(qū)域執(zhí)行濾波。
[0268]當(dāng)在小于幀的片區(qū)域中建立了 ALF塊時(shí)，也產(chǎn)生在多片情況下編碼效率會(huì)降低的問(wèn)題。因此,在通過(guò)改進(jìn)ALF塊的表現(xiàn)而獲得的QALF結(jié)構(gòu)中產(chǎn)生相同的問(wèn)題。
[0269]圖19示出使用QALF技術(shù)對(duì)圖5的片I的區(qū)域進(jìn)行編碼的例子。這里，由粗線421編碼區(qū)域代表片I的區(qū)域。類似于根據(jù)本發(fā)明第一實(shí)施例描述的BALF，圖19中畫(huà)陰影線的ALF塊不包括片I的區(qū)域并因此變?yōu)椴槐匾腁LF塊。
[0270]如現(xiàn)有技術(shù)中一樣，如果甚至在不必要的ALF塊中也提供濾波塊標(biāo)記，則圖像壓縮信息不必要地增加，并且編碼效率會(huì)降低。
[0271]即使在QALF的情況下，圖像編碼設(shè)備100也能夠使用與根據(jù)第一實(shí)施例描述的BALF相同的方式防止創(chuàng)建并在片頭部中包括不必要的濾波塊標(biāo)記。
[0272]也就是說(shuō)，在圖像編碼設(shè)備100和圖像解碼設(shè)備200中，識(shí)別出圖19中畫(huà)陰影線的塊不包括相應(yīng)的片(圖19中的片I)。在這點(diǎn)上，圖像編碼設(shè)備100針對(duì)包括相應(yīng)片的具有四叉樹(shù)結(jié)構(gòu)的ALF塊創(chuàng)建濾波塊標(biāo)記，并把它與圖像壓縮信息一起提供給圖像解碼設(shè)備200。因此，可以防止創(chuàng)建不必要的濾波塊標(biāo)記以及編碼效率的降低。
[0273]5、第五實(shí)施例
[0274]個(gè)人計(jì)算機(jī)
[0275]一系列前述處理可以在軟件和硬件中執(zhí)行。在這種情況下，例如，本發(fā)明可以在如圖20中所示的個(gè)人計(jì)算機(jī)中實(shí)現(xiàn)。
[0276]在圖20中，個(gè)人計(jì)算機(jī)500的CPU501根據(jù)存儲(chǔ)在R0M(只讀存儲(chǔ)器)502中的程序或從存儲(chǔ)單元513載入到RAM(隨機(jī)存取存儲(chǔ)器)503的程序執(zhí)行各種處理。RAM503適當(dāng)?shù)卮鎯?chǔ)在CPU501中執(zhí)行各種處理所需的數(shù)據(jù)。
[0277]CPU501、R0M502和RAM503經(jīng)總線504彼此連接?？偩€504也連接到輸入/輸出接口 510。
[0278]輸入/輸出接口 510連接到諸如鍵盤和鼠標(biāo)的輸入單元511、諸如CRT(陰極射線管)和LCD(液晶顯示器)的顯示單元、諸如揚(yáng)聲器的輸出單元512、諸如硬盤的存儲(chǔ)單元513和諸如調(diào)制解調(diào)器的通信單元514。通信單元514經(jīng)由包括互聯(lián)網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。
[0279]輸入/輸出接口 510在必要的情況下連接到驅(qū)動(dòng)器515，并且在必要的情況適當(dāng)安裝可移動(dòng)介質(zhì)521，諸如磁盤、光盤、光磁盤或半導(dǎo)體存儲(chǔ)器，從而從它們讀取的計(jì)算機(jī)程序安裝在存儲(chǔ)單元513中。[0280]當(dāng)在軟件中執(zhí)行一系列前述處理時(shí)，從網(wǎng)絡(luò)或記錄介質(zhì)安裝組成該軟件的程序。
[0281]例如，記錄介質(zhì)可以包括:與如圖20中所示的裝置主體分開(kāi)的、記錄為了向用戶傳送程序而分發(fā)的程序的可移動(dòng)介質(zhì)521，諸如磁盤(包括軟盤)、光盤(包括⑶-ROM(壓縮盤-只讀存儲(chǔ)器)、DVD(數(shù)字通用盤)等)、光磁盤(MD(迷你盤))或半導(dǎo)體存儲(chǔ)器；R0M502，在提前裝配在裝置主體中以存儲(chǔ)程序的情況下傳送給用戶；存儲(chǔ)單元513中包括的硬盤等。
[0282]由計(jì)算機(jī)執(zhí)行的程序可以根據(jù)這里描述的序列按時(shí)間順序處理，或者可以并行地處理，或者可以在必要的定時(shí)(例如，當(dāng)程序被調(diào)用時(shí))處理。
[0283]這里，用于描述記錄介質(zhì)中存儲(chǔ)的程序的步驟可以包括根據(jù)描述的序列按時(shí)間順序執(zhí)行的處理，或者并行地或分別地執(zhí)行的、不按時(shí)間順序處理的處理。
[0284]另外，在這里，系統(tǒng)指的是包括多個(gè)裝置(設(shè)備)的整個(gè)設(shè)備。
[0285]在前面的描述中，描述為單個(gè)設(shè)備(或處理單元)的結(jié)構(gòu)可以由多個(gè)設(shè)備(或處理單元)形成。相反，描述為多個(gè)設(shè)備(或處理單元)的結(jié)構(gòu)可以由單個(gè)設(shè)備(或處理單元)形成。另外，除了上述結(jié)構(gòu)以外的其它結(jié)構(gòu)可以加入到每個(gè)設(shè)備(或每個(gè)處理單元)的結(jié)構(gòu)。另外，如果從系統(tǒng)的觀點(diǎn)來(lái)說(shuō)結(jié)構(gòu)或操作基本上相同，則任何設(shè)備(或處理單元)的一部分結(jié)構(gòu)可以被包括在其它設(shè)備(或其它處理單元)的結(jié)構(gòu)中。也就是說(shuō)，本發(fā)明的實(shí)施例不限于上述內(nèi)容，而是可以在不脫離本發(fā)明的精神和范圍的情況下進(jìn)行各種改變。
[0286]例如，以上描述的圖像編碼設(shè)備100或圖像解碼設(shè)備200可以應(yīng)用于任何電子裝置。以下，將描述其例子。
[0287]6、第六實(shí)施例
[0288]電視機(jī)
[0289]圖21是示出使用根據(jù)本發(fā)明實(shí)施例的圖像解碼設(shè)備200的電視機(jī)的主要結(jié)構(gòu)的例子的框圖。
[0290]圖21中示出的電視機(jī)1000包括:地面波調(diào)諧器1013、視頻解碼器1015、視頻信號(hào)處理電路1018、圖形產(chǎn)生電路1019、面板驅(qū)動(dòng)電路1020和顯示面板1021。
[0291]地面波調(diào)諧器1013經(jīng)由天線接收地面模擬廣播的廣播波信號(hào)，對(duì)它進(jìn)行解調(diào)以獲得視頻信號(hào)，并把它提供給視頻解碼器1015。視頻解碼器1015對(duì)從地面波調(diào)諧器1013提供的視頻信號(hào)執(zhí)行解碼處理，并把得到的數(shù)字分量信號(hào)提供給視頻信號(hào)處理電路1018。
[0292]視頻信號(hào)處理電路1018對(duì)從視頻解碼器1015提供的視頻數(shù)據(jù)執(zhí)行諸如噪聲去除的預(yù)定處理，并把得到的視頻數(shù)據(jù)提供給圖形產(chǎn)生電路1019。
[0293]圖形產(chǎn)生電路1019產(chǎn)生在顯示面板1021上顯示的節(jié)目的視頻數(shù)據(jù)或基于經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用通過(guò)處理獲得的圖像數(shù)據(jù)，并把產(chǎn)生的視頻或圖像數(shù)據(jù)提供給面板驅(qū)動(dòng)電路1020。另外，圖形產(chǎn)生電路1019適當(dāng)?shù)貓?zhí)行如下處理:產(chǎn)生用于顯示用戶用來(lái)選擇項(xiàng)目的窗口的視頻數(shù)據(jù)(圖形)，并把通過(guò)將該圖形與節(jié)目的視頻數(shù)據(jù)進(jìn)行重疊而獲得的視頻數(shù)據(jù)提供給面板驅(qū)動(dòng)電路1020。
[0294]面板驅(qū)動(dòng)電路1020基于從圖形產(chǎn)生電路1019提供的數(shù)據(jù)，驅(qū)動(dòng)顯示面板1021，并在顯示面板1021上顯示上述節(jié)目視頻或各種窗口。
[0295]顯示面板1021由IXD (液晶顯示器)形成，用以在面板驅(qū)動(dòng)電路1020的控制下顯示節(jié)目視頻。[0296]另外，電視機(jī)1000還包括:音頻A/D (模擬/數(shù)字)轉(zhuǎn)換電路1014、音頻信號(hào)處理電路1022、回聲消除/音頻合成電路1023、音頻放大電路1024和揚(yáng)聲器1025。
[0297]地面波調(diào)諧器1013通過(guò)解調(diào)接收到的廣播波信號(hào)獲得音頻信號(hào)以及視頻信號(hào)。地面波調(diào)諧器1013把獲得的音頻信號(hào)提供給音頻A/D轉(zhuǎn)換電路1014。
[0298]音頻A/D轉(zhuǎn)換電路1014對(duì)從地面波調(diào)諧器1013提供的音頻信號(hào)執(zhí)行A/D轉(zhuǎn)換處理，并把得到的數(shù)字音頻信號(hào)提供給音頻信號(hào)處理電路1022。
[0299]音頻信號(hào)處理電路1022對(duì)從音頻A/D轉(zhuǎn)換電路1014提供的音頻數(shù)據(jù)執(zhí)行預(yù)定處理(諸如噪聲去除)，并把得到的音頻數(shù)據(jù)提供給回聲消除/音頻合成電路1023。
[0300]回聲消除/音頻合成電路1023把從音頻信號(hào)處理電路1022提供的音頻數(shù)據(jù)提供給音頻放大電路1024。
[0301]音頻放大電路1024對(duì)從回聲消除/音頻合成電路1023提供的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換處理和放大處理以把音頻調(diào)整至預(yù)定音量，并把音頻輸出給揚(yáng)聲器1025。
[0302]另外，電視機(jī)1000還具有數(shù)字調(diào)諧器1016和MPEG解碼器1017。
[0303]數(shù)字調(diào)諧器1016經(jīng)由天線接收數(shù)字廣播波信號(hào)(諸如地面數(shù)字廣播或BS (廣播衛(wèi)星)/CS (通信衛(wèi)星)數(shù)字廣播)，解調(diào)該信號(hào)以獲得MPEG-TS (運(yùn)動(dòng)圖像專家組-傳輸流)，并把它提供給MPEG解碼器1017。
[0304]MPEG解碼器1017解除施加于從數(shù)字調(diào)諧器1016提供的MPEG-TS的擾碼以提取作為再現(xiàn)對(duì)象(觀看對(duì)象)的節(jié)目數(shù)據(jù)流。MPEG解碼器1017對(duì)提取的流中包括的音頻包進(jìn)行解碼并把得到的音頻數(shù)據(jù)提供給音頻信號(hào)處理電路1022。同時(shí)，MPEG解碼器1017對(duì)流中包括的視頻包進(jìn)行解碼并把得到的視頻數(shù)據(jù)提供給視頻信號(hào)處理電路1018。MPEG解碼器1017經(jīng)由一路徑(未示出)把從MPEG-TS提取的EPG(電子節(jié)目指南)數(shù)據(jù)提供給CPU1032。
[0305]電視機(jī)1000使用前述圖像解碼設(shè)備200作為如前所述對(duì)視頻包進(jìn)行解碼的MPEG解碼器1017。另外，從廣播中心等發(fā)送的MPEG-TS由圖像編碼設(shè)備100編碼。
[0306]類似于圖像解碼設(shè)備200，MPEG解碼器1017適當(dāng)?shù)貙?duì)僅包括對(duì)圖像編碼設(shè)備100必要的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。因此，通過(guò)局部地控制濾波可以抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀分成多個(gè)片并且使用自適應(yīng)濾波對(duì)針對(duì)每個(gè)片編碼的圖像壓縮信息進(jìn)行解碼以將其輸出時(shí)，也可以抑制編碼效率的降低。
[0307]類似于從視頻解碼器1015提供的視頻數(shù)據(jù)，從MPEG解碼器1017提供的視頻數(shù)據(jù)在視頻信號(hào)處理電路1018中經(jīng)受預(yù)定處理，被適當(dāng)?shù)嘏c圖形產(chǎn)生電路1019中產(chǎn)生的視頻數(shù)據(jù)重疊，并經(jīng)由面板驅(qū)動(dòng)電路1020被提供給顯示面板1021以便顯示圖像。
[0308]類似于從音頻A/D轉(zhuǎn)換電路1014提供的音頻信號(hào)，從MPEG解碼器1017提供的音頻信號(hào)在音頻信號(hào)處理電路1022中經(jīng)受預(yù)定處理，經(jīng)由回聲消除/音頻合成電路1023被提供給音頻放大電路1024，并經(jīng)受D/A轉(zhuǎn)換處理或放大處理。結(jié)果，從揚(yáng)聲器1025輸出調(diào)整到預(yù)定音量的音頻。
[0309]電視機(jī)1000還具有麥克風(fēng)1026和A/D轉(zhuǎn)換電路1027。
[0310]A/D轉(zhuǎn)換電路1027通過(guò)設(shè)置在電視機(jī)1000中用于語(yǔ)音通信的麥克風(fēng)1026接收用戶的語(yǔ)音，對(duì)接收的語(yǔ)音信號(hào)執(zhí)行A/D轉(zhuǎn)換處理，并把得到的數(shù)字音頻數(shù)據(jù)提供給回聲消除/音頻合成電路1023。[0311]當(dāng)從A/D轉(zhuǎn)換電路1027提供電視機(jī)1000的用戶(用戶A)的語(yǔ)音數(shù)據(jù)時(shí)，回聲消除/音頻合成電路1023對(duì)用戶A的語(yǔ)音數(shù)據(jù)執(zhí)行回聲消除，把它們與另一音頻數(shù)據(jù)合成，并經(jīng)由音頻放大電路1024把得到的音頻數(shù)據(jù)提供給揚(yáng)聲器1025。
[0312]另外，電視機(jī)1000還包括音頻編解碼器1028、內(nèi)部總線1029、SDRAM(同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)1030、閃速存儲(chǔ)器1031、CPU1032、USB(通用串行總線)接口 1033和網(wǎng)絡(luò)接口 1034。
[0313]A/D轉(zhuǎn)換電路1027接收通過(guò)設(shè)置在電視機(jī)1000中用于語(yǔ)音通信的麥克風(fēng)1026接收的用戶的語(yǔ)音信號(hào)，對(duì)接收的語(yǔ)音信號(hào)執(zhí)行A/D轉(zhuǎn)換處理，并把得到的數(shù)字音頻數(shù)據(jù)提供給音頻編解碼器1028。
[0314]音頻編解碼器1028把從A/D轉(zhuǎn)換電路1027提供的音頻數(shù)據(jù)轉(zhuǎn)換成具有用于經(jīng)網(wǎng)絡(luò)傳輸?shù)念A(yù)定格式的數(shù)據(jù)，并經(jīng)由內(nèi)部總線1029把該數(shù)據(jù)提供給網(wǎng)絡(luò)接口 1034。
[0315]網(wǎng)絡(luò)接口 1034經(jīng)由安裝在網(wǎng)絡(luò)端子1035中的線纜連接到網(wǎng)絡(luò)。例如，網(wǎng)絡(luò)接口1034把從音頻編解碼器1028提供的音頻數(shù)據(jù)發(fā)送給連接到該網(wǎng)絡(luò)的另一裝置。另外，例如，網(wǎng)絡(luò)接口 1034通過(guò)網(wǎng)絡(luò)端子1035接收從經(jīng)由網(wǎng)絡(luò)連接的另一裝置發(fā)送的音頻數(shù)據(jù)，并通過(guò)內(nèi)部總線1029把該音頻數(shù)據(jù)提供給音頻編解碼器1028。
[0316]音頻編解碼器1028把從網(wǎng)絡(luò)接口 1034提供的音頻數(shù)據(jù)轉(zhuǎn)換成具有預(yù)定格式的數(shù)據(jù)，并把該數(shù)據(jù)提供給回聲消除/音頻合成電路1023。
[0317]回聲消除/音頻合成電路1023對(duì)從音頻編解碼器1028提供的音頻數(shù)據(jù)執(zhí)行回聲消除，并經(jīng)由音頻放大電路1024把通過(guò)使它們與另一音頻數(shù)據(jù)合成而獲得的音頻數(shù)據(jù)輸出給揚(yáng)聲器1025。
[0318]SDRAM1030存儲(chǔ)CPU1032執(zhí)行處理所需的各種數(shù)據(jù)。
[0319]閃速存儲(chǔ)器1031存儲(chǔ)由CPU1032執(zhí)行的程序。存儲(chǔ)在閃速存儲(chǔ)器1031中的程序在預(yù)定定時(shí)(諸如當(dāng)操作電視機(jī)1000時(shí))由CPU1032讀取。閃速存儲(chǔ)器1031還存儲(chǔ)通過(guò)數(shù)字廣播獲得的EPG數(shù)據(jù)或經(jīng)由網(wǎng)絡(luò)從預(yù)定服務(wù)器獲得的數(shù)據(jù)。
[0320]例如，閃速存儲(chǔ)器1031在CPU1032的控制下存儲(chǔ)包括經(jīng)由網(wǎng)絡(luò)從預(yù)定服務(wù)器獲得的內(nèi)容數(shù)據(jù)的MPEG-TS。例如，閃速存儲(chǔ)器1031在CPU1032的控制下經(jīng)由內(nèi)部總線1029把MPEG-TS提供給MPEG解碼器1017。
[0321]類似于從數(shù)字調(diào)諧器1016提供的MPEG-TS，MPEG解碼器1017處理MPEG-TS。這樣，電視機(jī)1000可以經(jīng)由網(wǎng)絡(luò)接收包括視頻和音頻的內(nèi)容數(shù)據(jù)?？梢允褂肕PEG解碼器1017對(duì)內(nèi)容數(shù)據(jù)進(jìn)行解碼，并且可以顯示或輸出視頻或音頻。
[0322]另外，電視機(jī)1000還包括用于接收從遙控器1051發(fā)送的紅外信號(hào)的光學(xué)接收器1037。
[0323]光學(xué)接收器1037從遙控器1051接收紅外光，并把通過(guò)對(duì)該光解碼而獲得的代表用戶操作的控制碼輸出給CPU1032。
[0324]CPU1032根據(jù)從光學(xué)接收器1037提供的控制碼，執(zhí)行閃速存儲(chǔ)器1031中存儲(chǔ)的程序并控制電視機(jī)1000的全部操作。電視機(jī)1000的每個(gè)部件和CPU1032經(jīng)由一路徑(未示出)彼此連接。
[0325]USB接口 1033向經(jīng)由安裝在USB端子1036中的USB線纜連接的電視機(jī)1000外部的裝置發(fā)送數(shù)據(jù)或從該裝置接收數(shù)據(jù)。網(wǎng)絡(luò)接口 1034經(jīng)由安裝在網(wǎng)絡(luò)端子1035中的線纜連接到網(wǎng)絡(luò)，并且也向連接到網(wǎng)絡(luò)的各種裝置發(fā)送除音頻數(shù)據(jù)以外的數(shù)據(jù)或從所述各種裝置接收除音頻數(shù)據(jù)以外的數(shù)據(jù)。
[0326]通過(guò)使用圖像解碼設(shè)備200作為MPEG解碼器1017，電視機(jī)1000能夠適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。結(jié)果，通過(guò)對(duì)于經(jīng)由天線接收的廣播信號(hào)或經(jīng)由網(wǎng)絡(luò)獲得的內(nèi)容數(shù)據(jù)的濾波進(jìn)行局部控制，電視機(jī)1000能夠抑制編碼效率的降低。
[0327]7、第七實(shí)施例
[0328]移動(dòng)電話
[0329]圖22是示出使用根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的移動(dòng)電話的主要結(jié)構(gòu)的例子的框圖。
[0330]圖22中示出的移動(dòng)電話1100包括:用于總體控制各部件的主控制單元1150、電源電路單元1151、操作輸入控制單元1152、圖像編碼器1153、照相機(jī)接口單元1154、IXD控制單元1155、圖像解碼器1156、復(fù)用器/解復(fù)用器單元1157、記錄再現(xiàn)單元1162、調(diào)制/解調(diào)電路單元1158和音頻編解碼器1159。這些單元經(jīng)由總線1160彼此連接。
[0331]另外，移動(dòng)電話1100包括:操作鍵1119、CXD(電荷耦合器件)照相機(jī)1116、液晶顯示器1118、存儲(chǔ)單元1123、收發(fā)器電路1163、天線1114、麥克風(fēng)1121和揚(yáng)聲器1117。
[0332]當(dāng)通過(guò)用戶的操作接通呼叫清除和電源鍵時(shí)，電源電路單元1151通過(guò)從電池組向每個(gè)部件供電，把移動(dòng)電話1100驅(qū)動(dòng)至可操作狀態(tài)。
[0333]移動(dòng)電話1100基于包括CPU、ROM、RAM等的主控制單元1150的控制，使用諸如語(yǔ)音呼叫模式或數(shù)據(jù)通信模式的各種模式執(zhí)行各種操作，諸如發(fā)送/接收音頻信號(hào)、電子郵件或圖像數(shù)據(jù)、拍攝圖像和記錄數(shù)據(jù)。
[0334]例如，在語(yǔ)音呼叫模式下，移動(dòng)電話1100使用音頻編解碼器1159把從麥克風(fēng)1121收集的語(yǔ)音信號(hào)轉(zhuǎn)換成數(shù)字音頻數(shù)據(jù)，使用調(diào)制/解調(diào)電路單元1158執(zhí)行譜擴(kuò)散處理，并使用收發(fā)器電路1163執(zhí)行數(shù)字-模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動(dòng)電話1100經(jīng)由天線1114向基站(未示出)發(fā)送通過(guò)這些轉(zhuǎn)換處理獲得的發(fā)送信號(hào)。發(fā)送給基站的發(fā)送信號(hào)(音頻信號(hào))經(jīng)由公共交換電話網(wǎng)絡(luò)被提供給被叫方的移動(dòng)電話。
[0335]例如，在語(yǔ)音呼叫模式下，移動(dòng)電話1100使用收發(fā)器電路1163放大通過(guò)天線1114接收的接收信號(hào)，執(zhí)行頻率轉(zhuǎn)換處理和模擬-數(shù)字轉(zhuǎn)換處理，使用調(diào)制/解調(diào)電路單元1158執(zhí)行譜逆擴(kuò)散處理，并使用音頻編解碼器1159把它轉(zhuǎn)換成模擬音頻信號(hào)。移動(dòng)電話1100把通過(guò)該轉(zhuǎn)換獲得的模擬音頻信號(hào)輸出給揚(yáng)聲器1117。
[0336]例如，當(dāng)在數(shù)據(jù)通信模式下發(fā)送電子郵件時(shí)，移動(dòng)電話1100接收通過(guò)使用操作輸入控制單元1152對(duì)操作鍵1119進(jìn)行操作而輸入的電子郵件文本數(shù)據(jù)。移動(dòng)電話1100使用主控制單元1150處理文本數(shù)據(jù)，并使用IXD控制單元1155在液晶顯示器1118上將該數(shù)據(jù)作為圖像顯示。
[0337]移動(dòng)電話1100使用主控制單元1150，基于由操作輸入控制單元1152接收的文本數(shù)據(jù)或用戶指令，產(chǎn)生電子郵件數(shù)據(jù)。移動(dòng)電話1100使用調(diào)制/解調(diào)電路單元1158對(duì)電子郵件數(shù)據(jù)執(zhí)行譜擴(kuò)散處理，并使用收發(fā)器電路1163執(zhí)行數(shù)字-模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動(dòng)電話1100經(jīng)由天線1114把通過(guò)這些轉(zhuǎn)換處理獲得的發(fā)送信號(hào)發(fā)送給基站(未示出)。發(fā)送給基站的發(fā)送信號(hào)(電子郵件)經(jīng)由網(wǎng)絡(luò)、郵件服務(wù)器等被提供給預(yù)定目的地。
[0338]例如，當(dāng)在數(shù)據(jù)通信模式下接收電子郵件時(shí)，移動(dòng)電話1100經(jīng)由天線1114使用收發(fā)器電路1163接收從基站發(fā)送的信號(hào)，放大該信號(hào)，并進(jìn)一步執(zhí)行頻率轉(zhuǎn)換處理和模擬-數(shù)字轉(zhuǎn)換處理。移動(dòng)電話1100使用調(diào)制/解調(diào)電路單元1158對(duì)該接收信號(hào)執(zhí)行譜逆擴(kuò)散處理，以恢復(fù)原始電子郵件數(shù)據(jù)。移動(dòng)電話1100使用LCD控制單元1155在液晶顯示器1118上顯示恢復(fù)的電子郵件數(shù)據(jù)。
[0339]另外，移動(dòng)電話1100可以使用記錄再現(xiàn)單元1162把接收的電子郵件數(shù)據(jù)記錄在存儲(chǔ)單元1123中。
[0340]這個(gè)存儲(chǔ)單元1123是任意的可重寫存儲(chǔ)介質(zhì)。存儲(chǔ)單元1123例如可以包括:諸如RAM或內(nèi)部閃速存儲(chǔ)器的半導(dǎo)體存儲(chǔ)器、硬盤或諸如磁盤、光磁盤、光盤、USB存儲(chǔ)器或存儲(chǔ)卡的可移動(dòng)介質(zhì)。當(dāng)然，可以使用其它存儲(chǔ)介質(zhì)。
[0341]例如，當(dāng)在數(shù)據(jù)通信模式下發(fā)送圖像數(shù)據(jù)時(shí)，移動(dòng)電話1100通過(guò)使用CXD照相機(jī)1116拍攝圖像來(lái)創(chuàng)建圖像數(shù)據(jù)。CXD照相機(jī)1116具有諸如透鏡或光圈的光學(xué)裝置和作為光電轉(zhuǎn)換元件的CCD。CCD照相機(jī)1116拍攝物體的圖像，把接收的光的強(qiáng)度轉(zhuǎn)換成電信號(hào)，并創(chuàng)建物體的圖像的圖像數(shù)據(jù)。CXD照相機(jī)1116通過(guò)照相機(jī)接口單元1154使用圖像編碼器1153對(duì)圖像數(shù)據(jù)進(jìn)行編碼，以把圖像數(shù)據(jù)轉(zhuǎn)換成編碼的圖像數(shù)據(jù)。
[0342]移動(dòng)電話1100使用圖像編碼設(shè)備100作為用于執(zhí)行這些處理的圖像編碼器1153。因此，類似于圖像編碼設(shè)備100，圖像編碼器1053能夠通過(guò)局部地控制濾波而抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀分成多個(gè)片并且使用自適應(yīng)濾波對(duì)每個(gè)片進(jìn)行編碼并輸出時(shí)，圖像編碼器1053也能夠抑制編碼效率的降低。
[0343]另外，同時(shí)，移動(dòng)電話1100使用音頻編解碼器1159對(duì)在CXD照相機(jī)1116的圖像拍攝期間由麥克風(fēng)1121收集的音頻信號(hào)進(jìn)行模擬-數(shù)字轉(zhuǎn)換，并進(jìn)一步對(duì)收集的音頻信號(hào)進(jìn)行編碼。
[0344]移動(dòng)電話1100根據(jù)預(yù)定方案使用復(fù)用器/解復(fù)用器單元1157對(duì)從圖像編碼器1153提供的編碼的圖像數(shù)據(jù)和從音頻編解碼器1159提供的數(shù)字音頻數(shù)據(jù)進(jìn)行復(fù)用。移動(dòng)電話1100使用調(diào)制/解調(diào)電路單元1158對(duì)得到的復(fù)用數(shù)據(jù)執(zhí)行譜擴(kuò)散處理，并使用收發(fā)器電路1163執(zhí)行數(shù)字-模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動(dòng)電話1100經(jīng)由天線1114把通過(guò)轉(zhuǎn)換處理獲得的發(fā)送信號(hào)發(fā)送給基站(未示出)。發(fā)送給基站的發(fā)送信號(hào)(圖像數(shù)據(jù))經(jīng)由網(wǎng)絡(luò)等被提供給被叫方。
[0345]另外，當(dāng)不發(fā)送圖像數(shù)據(jù)時(shí)，移動(dòng)電話1100可以使用IXD控制單元1155在液晶顯示器1118上顯示由CXD照相機(jī)1116產(chǎn)生的圖像數(shù)據(jù)，而不使用圖像編碼器1153。
[0346]例如，在數(shù)據(jù)通信模式下，當(dāng)運(yùn)動(dòng)畫(huà)面文件的數(shù)據(jù)鏈接到簡(jiǎn)化的主頁(yè)時(shí)，移動(dòng)電話1100使用收發(fā)器電路1163經(jīng)由天線1114接收從基站發(fā)送的信號(hào)，放大該信號(hào)，并執(zhí)行頻率轉(zhuǎn)換處理和模擬-數(shù)字轉(zhuǎn)換處理。移動(dòng)電話1100使用調(diào)制/解調(diào)電路單元1158對(duì)該接收信號(hào)執(zhí)行譜逆擴(kuò)散處理，以恢復(fù)原始復(fù)用數(shù)據(jù)。移動(dòng)電話1100使用復(fù)用器/解復(fù)用器單元1157分離該復(fù)用數(shù)據(jù)，并把它們分成編碼的圖像數(shù)據(jù)和音頻數(shù)據(jù)。
[0347]移動(dòng)電話1100通過(guò)使用圖像解碼器1156對(duì)編碼的圖像數(shù)據(jù)進(jìn)行解碼來(lái)創(chuàng)建再現(xiàn)運(yùn)動(dòng)畫(huà)面數(shù)據(jù)，并使用IXD控制單元1155在液晶顯示器1118上顯示它們。結(jié)果，例如，鏈接到簡(jiǎn)化的主頁(yè)的運(yùn)動(dòng)畫(huà)面文件中包括的運(yùn)動(dòng)畫(huà)面數(shù)據(jù)顯示在液晶顯示器1118上。[0348]移動(dòng)電話1100使用前述圖像解碼設(shè)備200作為用于執(zhí)行這種處理的圖像解碼器1156。因此，類似于圖像解碼設(shè)備200，圖像解碼器1156適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。因此，結(jié)果，通過(guò)局部地控制濾波可以抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀分成多個(gè)片并且使用自適應(yīng)濾波對(duì)針對(duì)每個(gè)片編碼的圖像壓縮信息進(jìn)行解碼并輸出時(shí)，也可以抑制編碼效率的降低。
[0349]在這種情況下，移動(dòng)電話1100使用音頻編解碼器1159把數(shù)字音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號(hào)，并把模擬音頻信號(hào)輸出給揚(yáng)聲器1117。結(jié)果，例如，再現(xiàn)了鏈接到簡(jiǎn)化的主頁(yè)的運(yùn)動(dòng)畫(huà)面文件中包括的音頻數(shù)據(jù)。
[0350]另外，類似于電子郵件，移動(dòng)電話1100可以使用記錄再現(xiàn)單元1162把鏈接到簡(jiǎn)化的主頁(yè)的接收數(shù)據(jù)記錄(存儲(chǔ))在存儲(chǔ)單元1123中。
[0351]在移動(dòng)電話1100中，主控制單元1150分析通過(guò)圖像拍攝由CXD照相機(jī)1116獲得的2維碼以獲得記錄在2維碼上的信息。
[0352]另外，移動(dòng)電話1100能夠使用紅外通信單元1181通過(guò)紅外線與外部裝置通信。
[0353]在移動(dòng)電話1100中，通過(guò)使用圖像編碼設(shè)備100作為圖像編碼器1153，例如對(duì)于通過(guò)對(duì)CCD照相機(jī)1116中產(chǎn)生的圖像數(shù)據(jù)進(jìn)行編碼而創(chuàng)建的編碼數(shù)據(jù)，通過(guò)局部地控制對(duì)該編碼數(shù)據(jù)的濾波，可以抑制編碼效率的降低。結(jié)果，移動(dòng)電話1100能夠向其它裝置提供具有極好編碼效率的編碼數(shù)據(jù)(圖像數(shù)據(jù))。
[0354]另外，在移動(dòng)電話1100中，通過(guò)使用圖像解碼設(shè)備200作為圖像解碼器1156，可以適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。結(jié)果，在移動(dòng)電話1100中，通過(guò)局部控制對(duì)于例如鏈接到簡(jiǎn)化的主頁(yè)的運(yùn)動(dòng)畫(huà)面文件的數(shù)據(jù)的濾波，可以抑制編碼效率的降低。
[0355]盡管在前面的描述中在移動(dòng)電話1100中使用CXD照相機(jī)1116，但替代CXD照相機(jī)1116，可以使用利用CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的圖像傳感器(CMOS圖像傳感器)。即使在這種情況下，類似于CXD照相機(jī)1116，移動(dòng)電話1100也能夠通過(guò)拍攝物體的圖像，創(chuàng)建關(guān)于物體的圖像的圖像數(shù)據(jù)。
[0356]盡管在前面的描述中以移動(dòng)電話1100作為示例，但圖像編碼設(shè)備100和圖像解碼設(shè)備200可以應(yīng)用于類似于移動(dòng)電話1100的具有圖像拍攝功能或通信功能的任何其它設(shè)備，諸如PDA(個(gè)人數(shù)字助理)、智能電話、UMPC(超移動(dòng)個(gè)人計(jì)算機(jī))、上網(wǎng)本或筆記本型個(gè)人計(jì)算機(jī)。
[0357]8、第八實(shí)施例
[0358]硬盤記錄器
[0359]圖23是示出使用根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的硬盤記錄器的主要結(jié)構(gòu)的例子的框圖。
[0360]圖23中示出的硬盤記錄器(HDD記錄器)1200是這樣一種設(shè)備，其用于在內(nèi)部硬盤中存儲(chǔ)從衛(wèi)星或地面天線等發(fā)送并由調(diào)諧器接收的廣播波信號(hào)(電視信號(hào))中包括的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)，并在與用戶指示對(duì)應(yīng)的定時(shí)把存儲(chǔ)的數(shù)據(jù)提供給用戶。
[0361]硬盤記錄器1200可以從例如廣播信號(hào)提取音頻信號(hào)和視頻信號(hào)，適當(dāng)?shù)貙?duì)它們進(jìn)行解碼，并把它們存儲(chǔ)在硬盤中。硬盤記錄器1200可以經(jīng)由例如網(wǎng)絡(luò)從其它裝置獲得音頻數(shù)據(jù)或視頻數(shù)據(jù)，對(duì)它們進(jìn)行解碼，并把它們存儲(chǔ)在內(nèi)部硬盤中。[0362]另外，硬盤記錄器1200可以對(duì)例如存儲(chǔ)在內(nèi)部硬盤中的音頻數(shù)據(jù)或視頻數(shù)據(jù)進(jìn)行解碼，把它們提供給監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示圖像，并從監(jiān)視器1260的揚(yáng)聲器輸出音頻。另外，硬盤記錄器1200可以對(duì)例如從使用調(diào)諧器獲得的廣播信號(hào)提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)或者經(jīng)由網(wǎng)絡(luò)從其它裝置獲得的音頻數(shù)據(jù)或視頻數(shù)據(jù)進(jìn)行解碼，把它們提供給監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示圖像，并從監(jiān)視器1260的揚(yáng)聲器輸出音頻。
[0363]當(dāng)然，可以進(jìn)行其它操作。
[0364]如圖23中所示，硬盤記錄器1200包括:接收器單元1221、解調(diào)單元1222、解復(fù)用器1223、音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。硬盤記錄器1200還包括:EPG數(shù)據(jù)存儲(chǔ)器1227、程序存儲(chǔ)器1228、工作存儲(chǔ)器1229、顯示轉(zhuǎn)換器1230、OSD (同屏顯示)控制單元1231、顯示控制單元1232、記錄再現(xiàn)單元1233、D/A轉(zhuǎn)換器1234和通信單元1235。
[0365]另外，顯示轉(zhuǎn)換器1230包括視頻編碼器1241。記錄再現(xiàn)單元1233包括編碼器1251和解碼器1252。
[0366]接收器單元1221從遙控器(未示出)接收紅外信號(hào)，把它轉(zhuǎn)換成電信號(hào)，并把它輸出給記錄器控制單元1226。記錄器控制單元1226例如由微處理器等構(gòu)成，并根據(jù)存儲(chǔ)在程序存儲(chǔ)器1228中的程序執(zhí)行各種處理。在這種情況下，記錄器控制單元1226根據(jù)需要使用工作存儲(chǔ)器1229。
[0367]通信單元1235連接到網(wǎng)絡(luò)并經(jīng)由網(wǎng)絡(luò)與其它設(shè)備通信。例如，通信單元1235由記錄器控制單元1226控制并與調(diào)諧器(未示出)通信以通常向調(diào)諧器輸出信道選擇控制信號(hào)。
[0368]解調(diào)單元1222解調(diào)從調(diào)諧器提供的信號(hào)并把它輸出給解復(fù)用器1223。解復(fù)用器1223把從解調(diào)單元1222提供的數(shù)據(jù)分離成音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)，并把它們分別輸出給音頻解碼器1224、視頻解碼器1225或記錄器控制單元1226。
[0369]音頻解碼器1224對(duì)輸入的音頻數(shù)據(jù)進(jìn)行解碼并把它們輸出給記錄再現(xiàn)單元1233。視頻解碼器1225對(duì)輸入的視頻數(shù)據(jù)進(jìn)行解碼并把它們輸出給顯示轉(zhuǎn)換器1230。記錄器控制單元1226把輸入的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲(chǔ)器1227以將它們存儲(chǔ)在EPG數(shù)據(jù)存儲(chǔ)器1227中。
[0370]顯示轉(zhuǎn)換器1230使用視頻編碼器1241把從視頻解碼器1225或記錄器控制單元1226提供的視頻數(shù)據(jù)編碼成例如NTSC(國(guó)家電視標(biāo)準(zhǔn)委員會(huì))類型視頻數(shù)據(jù)，并把它輸出給記錄再現(xiàn)單元1233。另外，顯示轉(zhuǎn)換器1230把從視頻解碼器1225或記錄器控制單元1226提供的視頻數(shù)據(jù)的屏幕尺寸轉(zhuǎn)換成與監(jiān)視器1260的尺寸對(duì)應(yīng)的尺寸，使用視頻編碼器1241把它們轉(zhuǎn)換成NTSC類型視頻數(shù)據(jù)，把它們轉(zhuǎn)換成模擬信號(hào)，并把它們輸出給顯示控制單元1232。
[0371]顯示控制單元1232在記錄器控制單元1226的控制下使從OSD控制單元1231輸出的OSD信號(hào)與從顯示轉(zhuǎn)換器1230輸入的視頻信號(hào)重疊，并把它輸出給監(jiān)視器1260的顯示單元以進(jìn)行顯示。
[0372]另外，從音頻解碼器1224輸出的音頻數(shù)據(jù)由D/A轉(zhuǎn)換器1234轉(zhuǎn)換成模擬信號(hào)并提供給監(jiān)視器1260。監(jiān)視器1260從內(nèi)部揚(yáng)聲器輸出這個(gè)音頻信號(hào)。[0373]記錄再現(xiàn)單元1233具有硬盤作為用于記錄視頻數(shù)據(jù)、音頻數(shù)據(jù)等的存儲(chǔ)介質(zhì)。
[0374]記錄再現(xiàn)單元1233使用編碼器1251對(duì)例如從音頻解碼器1224提供的音頻數(shù)據(jù)進(jìn)行編碼。另外，記錄再現(xiàn)單元1233使用編碼器1251對(duì)從顯示轉(zhuǎn)換器1230的視頻編碼器1241提供的視頻數(shù)據(jù)進(jìn)行編碼。記錄再現(xiàn)單元1233使用復(fù)用器把音頻數(shù)據(jù)的編碼數(shù)據(jù)與視頻數(shù)據(jù)的編碼數(shù)據(jù)合成。記錄再現(xiàn)單元1233對(duì)合成的數(shù)據(jù)執(zhí)行信道編碼，放大該數(shù)據(jù)，并使用記錄頭把該數(shù)據(jù)寫到硬盤上。
[0375]記錄再現(xiàn)單元1233使用再現(xiàn)頭再現(xiàn)記錄在硬盤上的數(shù)據(jù)，放大該數(shù)據(jù)，并使用解復(fù)用器把它分離成音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄再現(xiàn)單元1233使用解碼器1252對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。記錄再現(xiàn)單元1233對(duì)解碼的音頻數(shù)據(jù)進(jìn)行數(shù)字-模擬轉(zhuǎn)換，并把結(jié)果輸出給監(jiān)視器1260的揚(yáng)聲器。另外，記錄再現(xiàn)單元1233對(duì)解碼的視頻數(shù)據(jù)進(jìn)行數(shù)字-模擬轉(zhuǎn)換，并把結(jié)果輸出給監(jiān)視器1260的顯示單元。
[0376]記錄器控制單元1226基于由接收器單元1221從遙控器接收的紅外線信號(hào)所代表的用戶指示，從EPG數(shù)據(jù)存儲(chǔ)器1227讀取最新的EPG數(shù)據(jù)，并把它提供給OSD控制單元1231。OSD控制單元1231產(chǎn)生與輸入的EPG數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)，并把它輸出給顯示控制單元1232。顯示控制單元1232把從OSD控制單元1231輸入的視頻數(shù)據(jù)輸出給監(jiān)視器1260的顯示單元并顯示它。結(jié)果，EPG(電子節(jié)目指南)顯示在監(jiān)視器1260的顯示單元上。
[0377]另外，硬盤記錄器1200能夠經(jīng)由網(wǎng)絡(luò)(諸如互聯(lián)網(wǎng))獲得從其它裝置提供的各種數(shù)據(jù)，諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)或EPG數(shù)據(jù)。
[0378]通信單元1235由記錄器控制單元1226控制以經(jīng)由網(wǎng)絡(luò)獲得從其它裝置發(fā)送的諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)的編碼數(shù)據(jù)，并把它們提供給記錄器控制單元1226。記錄器控制單元1226把例如獲得的視頻數(shù)據(jù)或音頻數(shù)據(jù)的編碼數(shù)據(jù)提供給記錄再現(xiàn)單元1233并把它們存儲(chǔ)在硬盤中。在這種情況下，記錄器控制單元1226和記錄再現(xiàn)單元1233可以根據(jù)需要執(zhí)行重新編碼等。
[0379]另外，記錄器控制單元1226對(duì)獲得的視頻數(shù)據(jù)或音頻數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼，并把得到的視頻數(shù)據(jù)提供給顯示轉(zhuǎn)換器1230。類似于從視頻解碼器1225提供的視頻數(shù)據(jù)，顯示轉(zhuǎn)換器1230處理從記錄器控制單元1226提供的視頻數(shù)據(jù)，并使用顯示控制單元1232把該視頻數(shù)據(jù)提供給監(jiān)視器1260以顯示圖像。
[0380]另外，與圖像顯示同步地，記錄器控制單元1226可以經(jīng)由D/A轉(zhuǎn)換器1234把解碼的音頻數(shù)據(jù)提供給監(jiān)視器1260并從揚(yáng)聲器輸出該音頻。
[0381]另外，記錄器控制單元1226對(duì)獲得的EPG數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼并把解碼的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲(chǔ)器1227。
[0382]上述硬盤記錄器1200使用圖像解碼設(shè)備200作為嵌入在視頻解碼器1225、解碼器1252和記錄器控制單元1226中的解碼器。因此，類似于圖像解碼設(shè)備200，嵌入在視頻解碼器1225、解碼器1252和記錄器控制單元1226中的解碼器適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。因此，結(jié)果，通過(guò)局部控制濾波可以抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀分成多個(gè)片并且使用自適應(yīng)濾波對(duì)針對(duì)每個(gè)片編碼的圖像壓縮信息進(jìn)行解碼并輸出時(shí)，也可以抑制編碼效率的降低。
[0383]因此，硬盤記錄器1200能夠適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。結(jié)果，對(duì)于例如經(jīng)由調(diào)諧器或通信單元1235接收的視頻數(shù)據(jù)或記錄在記錄再現(xiàn)單元1233的硬盤上的視頻數(shù)據(jù)，硬盤記錄器1200能夠通過(guò)局部地控制對(duì)所述視頻數(shù)據(jù)的濾波，來(lái)抑制編碼效率的降低。
[0384]另外，硬盤記錄器1200使用圖像編碼設(shè)備100作為編碼器1251。因此，類似于圖像編碼設(shè)備100，編碼器1251通過(guò)局部地控制濾波能夠抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀分成多個(gè)片并且使用自適應(yīng)濾波對(duì)每個(gè)片進(jìn)行解碼并輸出時(shí)，編碼器1251也能夠抑制編碼效率的降低。
[0385]因此，硬盤記錄器1200通過(guò)局部地控制針對(duì)例如記錄在硬盤上的編碼數(shù)據(jù)的濾波，能夠抑制編碼效率的降低。結(jié)果，硬盤記錄器1200能夠更高效地使用硬盤的存儲(chǔ)區(qū)域。
[0386]盡管在前面的描述中例示了把視頻數(shù)據(jù)或音頻數(shù)據(jù)記錄在硬盤上的硬盤記錄器1200，但可以使用任何其它記錄介質(zhì)。例如，即使當(dāng)記錄器使用除硬盤以外的記錄介質(zhì)(諸如閃速存儲(chǔ)器、光盤或錄像帶)時(shí)，類似于前述的硬盤記錄器1200，也能夠使用圖像編碼設(shè)備100和圖像解碼設(shè)備200。
[0387]9、第九實(shí)施例
[0388]照相機(jī)
[0389]圖24是示出使用據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的照相機(jī)的主要結(jié)構(gòu)的例子的框圖。
[0390]圖24中示出的照相機(jī)1300拍攝物體的圖像并在IXD1316上顯示物體的圖像或把它作為圖像數(shù)據(jù)記錄在記錄介質(zhì)1333上。
[0391]透鏡塊1311把光(即，物體的像)輸入到CCD/CM0S1312。CCD/CM0S1312是使用CCD或CMOS的圖像傳感器，該圖像傳感器把接收的光的強(qiáng)度轉(zhuǎn)換成電信號(hào)并把它提供給照相機(jī)信號(hào)處理單元1313。
[0392]照相機(jī)信號(hào)處理單元1313把從(XD/CM0S1312提供的電信號(hào)轉(zhuǎn)換成色差信號(hào)(Y，Cr, Cb)并把它提供給圖像信號(hào)處理單元1314。圖像信號(hào)處理單元1314在控制器1321的控制下對(duì)從照相機(jī)信號(hào)處理單元1313提供的圖像信號(hào)執(zhí)行預(yù)定圖像處理，或者使用編碼器1341對(duì)圖像信號(hào)重新編碼。圖像信號(hào)處理單元1314把通過(guò)對(duì)圖像信號(hào)進(jìn)行編碼而創(chuàng)建的編碼數(shù)據(jù)提供給解碼器1315。另外，圖像信號(hào)處理單元1314獲得同屏顯示(OSD) 1320中產(chǎn)生的顯示數(shù)據(jù)并把它們提供給解碼器1315。
[0393]在前面的描述中，照相機(jī)信號(hào)處理單元1313適當(dāng)?shù)厥褂媒?jīng)由總線1317連接的DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)1318并把通過(guò)對(duì)圖像數(shù)據(jù)等進(jìn)行編碼而獲得的編碼數(shù)據(jù)存儲(chǔ)在 DRAM1318 中。
[0394]解碼器1315對(duì)從圖像信號(hào)處理單元1314提供的編碼數(shù)據(jù)進(jìn)行解碼，并把得到的圖像數(shù)據(jù)(解碼的圖像數(shù)據(jù))提供給LCD1316。另外，解碼器1315把從圖像信號(hào)處理單元1314提供的顯示數(shù)據(jù)提供給IXD1316。IXD1316適當(dāng)?shù)睾铣蓮慕獯a器1315提供的解碼的圖像數(shù)據(jù)的圖像與顯示數(shù)據(jù)的圖像，并顯示合成的圖像。
[0395]同屏顯示1320在控制器1321的控制下經(jīng)由總線1317把諸如包括符號(hào)、文字或圖形的圖標(biāo)或菜單窗口的顯示數(shù)據(jù)輸出給圖像信號(hào)處理單元1314。
[0396]控制器1321基于代表由用戶使用操作單元1322指示的內(nèi)容的信號(hào)執(zhí)行各種處理，并且還經(jīng)由總線1317控制圖像信號(hào)處理單元1314、DRAM1318、外部接口 1319、同屏顯示1320、介質(zhì)驅(qū)動(dòng)器1323等?？刂破?321執(zhí)行各種處理所需的程序或數(shù)據(jù)等存儲(chǔ)在閃速ROMl324 中。
[0397]例如，替代圖像信號(hào)處理單元1314或解碼器1315，控制器1321可以對(duì)存儲(chǔ)在DRAM1318中的圖像數(shù)據(jù)進(jìn)行編碼或?qū)Υ鎯?chǔ)在DRAM1318中的編碼數(shù)據(jù)進(jìn)行解碼。在這種情況下，控制器1321可以使用與圖像信號(hào)處理單元1314或解碼器1315的編碼或解碼方案相同的方案執(zhí)行編碼或解碼，或者可以使用與圖像信號(hào)處理單元1314或解碼器1315的編碼或解碼方案不同的方案執(zhí)行編碼或解碼。
[0398]例如，當(dāng)從操作單元1322指示了開(kāi)始圖像打印時(shí)，控制器1321從DRAM1318讀取圖像數(shù)據(jù)并經(jīng)由總線1317把圖像數(shù)據(jù)提供給連接到外部接口 1319的打印機(jī)1334以進(jìn)行打印。
[0399]例如，當(dāng)從操作單元1322指示了記錄圖像時(shí)，控制器1321從DRAM1318讀取編碼數(shù)據(jù)并經(jīng)由總線1317把編碼數(shù)據(jù)提供給安裝在介質(zhì)驅(qū)動(dòng)器1323中的記錄介質(zhì)1333以進(jìn)行存儲(chǔ)。
[0400]記錄介質(zhì)1333是任何可讀/可寫的可移動(dòng)介質(zhì)，諸如磁盤、光磁盤、光盤或半導(dǎo)體存儲(chǔ)器。記錄介質(zhì)1333的類型以及可移動(dòng)介質(zhì)的類型可以任意地從磁帶裝置、盤、存儲(chǔ)卡等之中選擇。當(dāng)然，可以使用非接觸式IC卡。
[0401]另外，介質(zhì)驅(qū)動(dòng)器1323和記錄介質(zhì)1333可以集成為一體并由諸如內(nèi)部硬盤驅(qū)動(dòng)器或SSD (固態(tài)驅(qū)動(dòng)器)的非便攜式存儲(chǔ)介質(zhì)構(gòu)成。
[0402]當(dāng)外部接口 1319由例如USB輸入/輸出端子等構(gòu)成用以打印輸出圖像時(shí)，外部接口 1319連接到打印機(jī)1334。另外，外部接口 1319根據(jù)需要連接到驅(qū)動(dòng)器1331，并且諸如磁盤、光盤或光磁盤的可移動(dòng)介質(zhì)1332適當(dāng)?shù)匕惭b在驅(qū)動(dòng)器1331中從而根據(jù)需要使從可移動(dòng)介質(zhì)1332讀取的計(jì)算機(jī)程序安裝到閃速R0M1324中。
[0403]另外，外部接口 1319具有連接到預(yù)定網(wǎng)絡(luò)(諸如LAN或互聯(lián)網(wǎng))的網(wǎng)絡(luò)接口?？刂破?321可以根據(jù)例如來(lái)自操作單元1322的指令從DRAM1318讀取編碼數(shù)據(jù)，并從外部接口 1319把編碼數(shù)據(jù)提供給經(jīng)由網(wǎng)絡(luò)連接的其它裝置。另外，控制器1321可以使用外部接口 1319經(jīng)由網(wǎng)絡(luò)獲得從其它裝置提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并把它們存儲(chǔ)在DRAM1318中或者把它們提供給圖像信號(hào)處理單元1314。
[0404]上述照相機(jī)1300使用圖像解碼設(shè)備200作為解碼器1315。因此，類似于圖像解碼設(shè)備200，解碼器1315適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。因此，結(jié)果，通過(guò)局部地控制濾波可以抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀分成多個(gè)片并且使用自適應(yīng)濾波對(duì)針對(duì)每個(gè)片編碼的圖像壓縮信息進(jìn)行解碼并輸出時(shí)，也可以抑制編碼效率的降低。
[0405]因此，照相機(jī)1300能夠適當(dāng)?shù)貙?duì)僅包括圖像編碼設(shè)備100所需的濾波塊標(biāo)記的圖像壓縮信息進(jìn)行解碼。結(jié)果，對(duì)于例如在CCD/CM0S1312中產(chǎn)生的圖像數(shù)據(jù)、從記錄介質(zhì)1333讀取的視頻數(shù)據(jù)的編碼數(shù)據(jù)或經(jīng)由網(wǎng)絡(luò)獲得的視頻數(shù)據(jù)的編碼數(shù)據(jù)，照相機(jī)1300能夠通過(guò)局部地控制對(duì)這些數(shù)據(jù)的濾波，抑制編碼效率的降低。
[0406]另外，照相機(jī)1300使用圖像編碼設(shè)備100作為編碼器1341。因此，類似于圖像編碼設(shè)備100，編碼器1341能夠通過(guò)局部地控制濾波而抑制編碼效率的降低。例如，即使當(dāng)圖像的每個(gè)幀分成多個(gè)片并且使用自適應(yīng)濾波對(duì)每個(gè)片進(jìn)行編碼并輸出時(shí)，編碼器1341也能夠抑制編碼效率的降低。[0407]因此，照相機(jī)1300能夠通過(guò)局部地控制針對(duì)例如記錄在DRAM1318或記錄介質(zhì)1333中的編碼數(shù)據(jù)或者提供給其它裝置的編碼數(shù)據(jù)的濾波，抑制編碼效率的降低。結(jié)果，照相機(jī)1300能夠更高效地使用DRAM1318或記錄介質(zhì)1333的存儲(chǔ)區(qū)域。另外，照相機(jī)1300能夠向其它裝置提供具有極好編碼效率的編碼數(shù)據(jù)(圖像數(shù)據(jù))。
[0408]另外，圖像解碼設(shè)備200的解碼方法可以應(yīng)用于控制器1321的解碼處理。類似地，圖像編碼設(shè)備100的編碼方法可以應(yīng)用于控制器1321的編碼。
[0409]另外，由照相機(jī)1300拍攝的圖像數(shù)據(jù)可以是運(yùn)動(dòng)畫(huà)面或靜止圖像。
[0410]當(dāng)然，圖像編碼設(shè)備100和圖像解碼設(shè)備200可以應(yīng)用于除前述設(shè)備以外的設(shè)備或系統(tǒng)。
[0411]另外，宏塊的尺寸不限于16X16像素。例如，能夠使用所有尺寸的宏塊，諸如圖25中示出的32X32像素。
[0412]盡管在前面的描述中標(biāo)記信息等被復(fù)用(記述)到比特流中，但是，例如，除了復(fù)用之外，還可以發(fā)送(記錄)標(biāo)記和圖像數(shù)據(jù)(或比特流)。將標(biāo)記鏈接(加入)到圖像數(shù)據(jù)(或比特流)的實(shí)施例是可行的。
[0413]鏈接(加入)指的是圖像數(shù)據(jù)(或比特流)和標(biāo)記彼此鏈接并且它們的物理位置的關(guān)系被任意設(shè)置的狀態(tài)。例如，圖像數(shù)據(jù)(或比特流)和標(biāo)記可以發(fā)送給不同的傳輸線。另外，圖像數(shù)據(jù)(或比特流)和標(biāo)記可以記錄在不同的記錄介質(zhì)中(或同一記錄介質(zhì)內(nèi)的不同記錄區(qū)域中)。另外，在圖像數(shù)據(jù)(或比特流)和標(biāo)記之間進(jìn)行鏈接的單位可以任意設(shè)置，例如，可以設(shè)置為編碼單位(諸如單個(gè)幀或多個(gè)幀)。
[0414]本申請(qǐng)包含與2009年7月31日提交到日本專利局的日本在先專利申請(qǐng)JP2009-179394中公開(kāi)的主題相關(guān)的主題，通過(guò)引用將其全部?jī)?nèi)容包含于此。
[0415]本領(lǐng)域技術(shù)人員應(yīng)該理解，在權(quán)利要求或其等同物的范圍內(nèi)，根據(jù)設(shè)計(jì)要求和其它因素可以進(jìn)行各種修改、組合、子組合和替換。
【權(quán)利要求】
1.一種圖像處理設(shè)備，其特征在于，具備: 過(guò)濾器部，在利用表示像素塊的尺寸的尺寸數(shù)據(jù)而求出的所述像素塊的位置中的像素被包含于作為濾波處理的對(duì)象的片中的情況下，對(duì)所述像素塊進(jìn)行所述濾波處理；以及編碼部，對(duì)所述尺寸數(shù)據(jù)進(jìn)行編碼。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其特征在于， 所述像素塊是四叉樹(shù)結(jié)構(gòu)。
3.如權(quán)利要求2所述的圖像處理設(shè)備，其特征在于， 所述四叉樹(shù)結(jié)構(gòu)是由表示所述像素塊是否在下層被4分割的信息定義的。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其特征在于， 直到所述像素塊無(wú)法被4分割為止，在各層中利用所述信息遞歸地對(duì)所述四叉樹(shù)結(jié)構(gòu)進(jìn)行定義。
5.如權(quán)利要求4所述的圖像處理設(shè)備，其特征在于， 所述四叉樹(shù)結(jié)構(gòu)具有3層以上的層結(jié)構(gòu)。
6.如權(quán)利要求1所述的圖像處理設(shè)備，其特征在于， 所述濾波處理是自適應(yīng)濾波處理。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，· 所述濾波器部在對(duì)所述像素塊進(jìn)行所述濾波處理的情況下，對(duì)所述像素塊進(jìn)行所述濾波處理， 所述編碼部在對(duì)所述像素塊進(jìn)行所述濾波處理的情況下，進(jìn)而針對(duì)對(duì)每個(gè)像素塊表示濾波處理的控制數(shù)據(jù)進(jìn)行編碼。
8.如權(quán)利要求1所述的圖像處理設(shè)備，其特征在于， 還具備傳送部，所述傳送部傳送由所述濾波器部進(jìn)行了濾波處理的所述像素塊。
9.如權(quán)利要求1所述的圖像處理設(shè)備，其特征在于， 還具備電源部，當(dāng)通過(guò)用戶的操作而呼叫清除和接通電源鍵時(shí)，通過(guò)從電池組向各處理部供電，將其啟動(dòng)為可操作狀態(tài)。
10.如權(quán)利要求1所述的圖像處理設(shè)備，其特征在于， 還具備接收?qǐng)D像數(shù)據(jù)的接收部， 所述濾波器部對(duì)由所述接收部接收到的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
11.如權(quán)利要求10所述的圖像處理設(shè)備，其特征在于， 所述接收部接收通過(guò)譜擴(kuò)散處理調(diào)制的圖像數(shù)據(jù)， 所述圖像處理設(shè)備還具備解調(diào)部，該解調(diào)部通過(guò)譜逆擴(kuò)散處理對(duì)由所述接收部接收到的、通過(guò)所述譜擴(kuò)散處理調(diào)制出的所述圖像數(shù)據(jù)進(jìn)行解調(diào)， 所述濾波器部對(duì)被所述解調(diào)部解調(diào)出的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
12.如權(quán)利要求11所述的圖像處理設(shè)備，其特征在于， 所述接收部接收通過(guò)譜擴(kuò)散處理調(diào)制出的、復(fù)用了所述圖像數(shù)據(jù)和其他數(shù)據(jù)的復(fù)用數(shù)據(jù)， 所述解調(diào)部通過(guò)所述譜逆擴(kuò)散處理對(duì)由所述接收部接收到的、通過(guò)所述譜擴(kuò)散處理調(diào)制出的所述復(fù)用數(shù)據(jù)進(jìn)行解調(diào)， 所述圖像處理設(shè)備還具備分離部，該分離部將由所述解調(diào)部解調(diào)出的所述復(fù)用數(shù)據(jù)分離為所述圖像數(shù)據(jù)和所述其他數(shù)據(jù)， 所述濾波器部對(duì)由所述分離部進(jìn)行分離而得到的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
13.一種圖像處理方法，其特征在于， 在利用表示像素塊的尺寸的尺寸數(shù)據(jù)而求出的所述像素塊的位置中的像素被包含于作為濾波處理的對(duì)象的片中的情況下，對(duì)所述像素塊進(jìn)行所述濾波處理。 對(duì)所述尺寸數(shù)據(jù)進(jìn)行編碼。
14.如權(quán)利要求13所述的圖像處理方法，其特征在于， 所述像素塊是四叉樹(shù)結(jié)構(gòu)。
15.如權(quán)利要求14所述的圖像處理方法，其特征在于， 所述四叉樹(shù)結(jié)構(gòu)是由表示所述像素塊是否在下層被4分割的信息定義的。
16.如權(quán)利要求15所述的圖像處理方法，其特征在于， 直到所述像素塊無(wú)法被4分割為止，在各層中利用所述信息遞歸地對(duì)所述四叉樹(shù)結(jié)構(gòu)進(jìn)行定義。
17.如權(quán)利要求16所 述的圖像處理方法，其特征在于， 所述四叉樹(shù)結(jié)構(gòu)具有3層以上的層結(jié)構(gòu)。
18.如權(quán)利要求13所述的圖像處理方法，其特征在于， 所述濾波處理是自適應(yīng)濾波處理。
19.如權(quán)利要求13所述的圖像處理方法，其特征在于， 進(jìn)一步接受控制是否對(duì)每個(gè)像素塊進(jìn)行濾波處理的控制數(shù)據(jù)， 在由所接受到的所述控制數(shù)據(jù)指示對(duì)所述像素塊進(jìn)行所述濾波處理的情況下，對(duì)所述像素塊進(jìn)行所述濾波處理。
20.如權(quán)利要求13所述的圖像處理方法，其特征在于， 對(duì)所述像素塊進(jìn)行解碼， 對(duì)被解碼出的所述像素塊進(jìn)行所述濾波處理。
21.如權(quán)利要求13所述的圖像處理方法，其特征在于， 當(dāng)通過(guò)用戶的操作呼叫清除和接通電源鍵時(shí)，通過(guò)從電池組向各處理部供電，將其啟動(dòng)為可操作狀態(tài)。
22.如權(quán)利要求13所述的圖像處理方法，其特征在于， 使被進(jìn)行了濾波處理的圖像顯示于顯示器。
23.如權(quán)利要求13所述的圖像處理方法，其特征在于， 接收?qǐng)D像數(shù)據(jù)， 對(duì)接收到的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
24.如權(quán)利要求23所述的圖像處理方法，其特征在于， 接收通過(guò)譜擴(kuò)散處理調(diào)制的圖像數(shù)據(jù)， 通過(guò)譜逆擴(kuò)散處理對(duì)接收到的、通過(guò)所述譜擴(kuò)散處理調(diào)制出的所述圖像數(shù)據(jù)進(jìn)行解調(diào)， 對(duì)被解調(diào)出的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
25.如權(quán)利要求24所述的圖像處理方法，其特征在于，接受通過(guò)譜擴(kuò)散處理調(diào)制出的、復(fù)用了所述圖像數(shù)據(jù)和其他數(shù)據(jù)的復(fù)用數(shù)據(jù)， 通過(guò)所述譜逆擴(kuò)散處理對(duì)接收到的、通過(guò)所述譜擴(kuò)散處理調(diào)制出的所述復(fù)用數(shù)據(jù)進(jìn)行解調(diào)， 將被解調(diào)出的所述復(fù)用數(shù)據(jù)分離為所述圖像數(shù)據(jù)和所述其他數(shù)據(jù)， 對(duì)進(jìn)行分離而得到的所述圖像數(shù)據(jù)`的像素塊進(jìn)行所述濾波處理。
【文檔編號(hào)】H04N19/60GK103716625SQ201310654588
【公開(kāi)日】2014年4月9日 申請(qǐng)日期:2010年7月21日 優(yōu)先權(quán)日:2009年7月31日
【發(fā)明者】近藤健治 申請(qǐng)人:索尼公司