圖像處理裝置及方法
【專利摘要】本公開(kāi)內(nèi)容涉及能夠抑制由于編碼/解碼造成的圖像質(zhì)量下降的圖像處理設(shè)備和方法。圖像處理設(shè)備包括：量化單元，當(dāng)正交變換處理針對(duì)當(dāng)前塊被跳過(guò)時(shí)，利用一個(gè)加權(quán)系統(tǒng)量化當(dāng)前塊的所有分量，并且當(dāng)正交變換處理針對(duì)當(dāng)前塊執(zhí)行時(shí)，利用量化矩陣來(lái)量化當(dāng)前塊的每個(gè)分量；編碼單元，編碼被量化單元量化的當(dāng)前塊的系數(shù)；以及發(fā)送單元，發(fā)送通過(guò)編碼單元編碼所獲得的當(dāng)前塊的編碼數(shù)據(jù)。本公開(kāi)內(nèi)容可以應(yīng)用到例如圖像處理設(shè)備。
【專利說(shuō)明】
圖像處理裝置及方法

【技術(shù)領(lǐng)域】
[0001]本公開(kāi)內(nèi)容涉及圖像處理設(shè)備及方法，更具體而言涉及能夠抑制圖像退化的圖像處理設(shè)備及方法。

【背景技術(shù)】
[0002]近年來(lái)，為了執(zhí)行信息的高效傳輸和存儲(chǔ)，通過(guò)采用編碼系統(tǒng)把圖像信息處理為數(shù)字的而且此時(shí)通過(guò)諸如離散余弦變換等正交變換以及利用作為圖像信息的特征的冗余性的運(yùn)動(dòng)補(bǔ)償來(lái)壓縮圖像而讓圖像接受壓縮編碼的設(shè)備已經(jīng)被廣泛使用。這種編碼系統(tǒng)的例子包括運(yùn)動(dòng)圖片專家組(MPEG)等。
[0003]特別地，MPEG2(IS0/IEC 13818-2)被定義為通用圖像編碼系統(tǒng)，并且覆蓋隔行(interlaced)掃描圖像和逐行(progressive)掃描圖像以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)。例如，MPEG2目前廣泛用在專業(yè)使用和消費(fèi)者使用的廣泛應(yīng)用中。通過(guò)使用MPEG2壓縮方法，在例如720X480像素的標(biāo)準(zhǔn)分辨率隔行掃描圖像的情況下，分配4至8Mbps的編碼量(位率)。此外，通過(guò)使用MPEG2壓縮方法，在例如1920 X 1088像素的高分辨率隔行掃描圖像的情況下，分配18至22Mbps的編碼量(位率)。由于這個(gè)原因，有可能實(shí)現(xiàn)高壓縮率和有利的圖像質(zhì)量。
[0004]MPEG2主要用于適于廣播的高圖像質(zhì)量編碼，但與具有低于MPEGl編碼量的編碼量(位率)(換句話說(shuō)，更高壓縮率)的編碼系統(tǒng)不兼容。隨著移動(dòng)終端的廣泛使用，預(yù)期對(duì)這種編碼系統(tǒng)的需求在未來(lái)將增加，響應(yīng)于此，MPEG4編碼系統(tǒng)的標(biāo)準(zhǔn)化已經(jīng)執(zhí)行。關(guān)于圖像編碼系統(tǒng)，規(guī)范是作為如ISO-1EC 14496-2的國(guó)際標(biāo)準(zhǔn)在1998年12月被批準(zhǔn)。
[0005]另外，近年來(lái)，稱為H.26L(ITU-T(國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)Q6/16VCEG (視頻編碼專家組))的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已經(jīng)發(fā)展，其目標(biāo)最初是視頻會(huì)議用途的圖像編碼。關(guān)于H.26L，已知它雖然與諸如MPEG2或MPEG4的常規(guī)編碼系統(tǒng)相比而言對(duì)于其編碼和解碼要求更大的計(jì)算量，但是實(shí)現(xiàn)了更高的編碼效率。而且，目前，作為MPEG4活動(dòng)的一部分，包括未被H.26L支持的功能的標(biāo)準(zhǔn)化已經(jīng)作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型(Joint Model ofEnhanced-Compress1n Video Coding)而被執(zhí)行,其中這個(gè)H.26L被作為實(shí)現(xiàn)更高編碼效率的基礎(chǔ)。
[0006]作為標(biāo)準(zhǔn)化時(shí)間表，2003年3月確立了被稱為H.264和MPEG-4部分10 (高級(jí)視頻編碼，下文中稱為AVC)的國(guó)際標(biāo)準(zhǔn)。
[0007]此外，作為H.264/AVC的擴(kuò)展，F(xiàn)RExt (保真度范圍擴(kuò)展)的標(biāo)準(zhǔn)化在2005年2月完成，其中FRExt包括商業(yè)使用必需的編碼工具，諸如RGB、4:2:2或4:4:4，以及在MPEG-2中定義的8 X 8DCT和量化度量。從而能夠利用H.264/AVC有利地表示甚至包括在電影中的電影噪聲的編碼系統(tǒng)已經(jīng)確立，這種系統(tǒng)用于諸如Blu-Ray Disc (注冊(cè)商標(biāo))的廣泛應(yīng)用。
[0008]但是，近年來(lái)對(duì)于以更高壓縮速率進(jìn)行編碼有增長(zhǎng)的需求，例如，對(duì)壓縮具有大約4000X2000像素的圖像的需求，這種圖像是高清晰圖像的四倍，或者對(duì)在諸如互聯(lián)網(wǎng)之類具有有限傳輸能力的環(huán)境中分發(fā)高清晰圖像的需求。因此，以上描述的ITU-T下的視頻編碼專家組(VCEG)，對(duì)提高編碼效率的研究已在持續(xù)地進(jìn)行。
[0009]因此，為了與AVC相比而言進(jìn)一步提高編碼效率，被稱為高效視頻編碼(HEVC)的編碼系統(tǒng)的標(biāo)準(zhǔn)化目前正由聯(lián)合協(xié)作團(tuán)隊(duì)-視頻編碼(JCTVC)進(jìn)行，該團(tuán)隊(duì)是ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)化團(tuán)隊(duì)(參見(jiàn)例如非專利文檔I)。
[0010]但是，非專利文檔I公開(kāi)的HEVC標(biāo)準(zhǔn)，采用稱為“幀內(nèi)變換跳過(guò)(Intra TransformSkipping) ”的技術(shù)(參見(jiàn)例如非專利文檔2)。
[0011]S卩，首先，關(guān)于變換跳過(guò)(Transform Skip，也稱為“正交變換跳過(guò)”)是否在序列中可被應(yīng)用的標(biāo)記，被發(fā)送到序列參數(shù)集(SPS)。
[0012]當(dāng)值為I是，有可能對(duì)4X4的亮度和色度正交變換塊應(yīng)用變換跳過(guò)。
[0013]關(guān)于TransformSkip的開(kāi)/關(guān)的標(biāo)記發(fā)送到每個(gè)塊。
[0014]關(guān)于對(duì)其應(yīng)用TransformSkip的塊,在熵編碼、量化、回路過(guò)濾處理等中沒(méi)有變化。
[0015]引用列表
[0016]非專利文檔
[0017]非專利文檔1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan,Thomas Wiegandj “Working Draft 4of High-Efficiency VideoCoding”，JCTVC_F803—d2，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino, IT, 14_22July，2011
[0018]非專利文檔2:Cuiling Lanj Jizheng Xuj Gary J.Sullivan, FengWuj “Intra transform skipping”，JCTVC-10408，Joint Collaborative Team onVideo Coding (JCT-VC) of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/WG 119thMeeting:Geneva, CHj27April-7May 2012


【發(fā)明內(nèi)容】

[0019]本發(fā)明要解決的問(wèn)題
[0020]但是，對(duì)其應(yīng)用TransformSkip的塊的系數(shù)是關(guān)于空間域的值，而對(duì)其不應(yīng)用TransformSkip的塊的系數(shù)是關(guān)于頻率域的值，因而兩個(gè)特性彼此不同。
[0021]為此，在不考慮這些特性的區(qū)別的情況下、對(duì)應(yīng)用了 TransformSkip的塊和未應(yīng)用TransformSkip的塊都執(zhí)行編碼過(guò)程時(shí)，存在編碼效率退化的問(wèn)題。
[0022]本公開(kāi)內(nèi)容就是考慮這種情形而開(kāi)發(fā)的，可以抑制由于編碼/解碼過(guò)程造成的圖像質(zhì)量下降。
[0023]對(duì)問(wèn)題的解決辦法
[0024]根據(jù)本公開(kāi)內(nèi)容的一方面，提供了一種圖像處理設(shè)備，包括:解碼單元，解碼編碼數(shù)據(jù)并生成量化系數(shù)；以及逆量化單元，使用被應(yīng)用到正交變換跳過(guò)塊的加權(quán)系數(shù)，來(lái)逆量化由解碼單元生成的正交變換跳過(guò)塊的量化系數(shù)，其中在所述正交變換跳過(guò)塊中正交變換處理被跳過(guò)。
[0025]逆量化單元可以使用一個(gè)加權(quán)系數(shù)。
[0026]逆量化單元可以利用該加權(quán)系數(shù)逆量化具有4X4塊尺寸的正交變換跳過(guò)塊的量化系數(shù)。
[0027]圖像處理設(shè)備還可以包括接收單元，該接收單元接收作為圖片參數(shù)集發(fā)送的、并且指示是否許可正交變換處理的跳過(guò)的跳過(guò)許可信息。
[0028]接收單元還可以接收所發(fā)送的加權(quán)系數(shù)，并且逆量化單元可以利用接收單元接收的加權(quán)系數(shù)來(lái)逆向量化正交變換跳過(guò)塊的量化系數(shù)。
[0029]逆量化單元可以利用量化矩陣來(lái)逆量化其中正交變換處理被執(zhí)行的非正交變換跳過(guò)塊的量化系數(shù)，所述量化矩陣與通過(guò)對(duì)加權(quán)系數(shù)執(zhí)行矩陣處理獲得的加權(quán)系數(shù)矩陣不同。
[0030]圖像處理設(shè)備還可以包括發(fā)送單元，該發(fā)送單元通過(guò)接收廣播信號(hào)提取期望的通道信號(hào)、并且通過(guò)解碼提取出信號(hào)來(lái)獲得編碼數(shù)據(jù)，并且解碼單元可以解碼發(fā)送單元從廣播信號(hào)獲得的編碼數(shù)據(jù)。
[0031]圖像處理設(shè)備還可以包括多路分解器，該多路分解器把所發(fā)送的編碼數(shù)據(jù)多路分解并分成視頻編碼數(shù)據(jù)和音頻編碼數(shù)據(jù)，并且解碼單元可以解碼由多路分解器分解的、與音頻編碼數(shù)據(jù)分離的視頻編碼數(shù)據(jù)。
[0032]圖像處理設(shè)備還可以包括再現(xiàn)單元，該再現(xiàn)單元再現(xiàn)視頻數(shù)據(jù)，所述視頻數(shù)據(jù)是通過(guò)針對(duì)編碼數(shù)據(jù)由解碼單元執(zhí)行解碼處理和由逆量化單元執(zhí)行逆量化處理獲得的。
[0033]圖像處理設(shè)備還可以包括對(duì)音頻數(shù)據(jù)執(zhí)行編碼和解碼的音頻編解碼器單元。
[0034]圖像處理設(shè)備還可以包括讀出記錄在存儲(chǔ)介質(zhì)上的編碼數(shù)據(jù)的再現(xiàn)單元，并且解碼單元可以解碼所述再現(xiàn)單元從存儲(chǔ)介質(zhì)讀出的編碼數(shù)據(jù)。
[0035]根據(jù)本公開(kāi)內(nèi)容的另一方面，提供了一種圖像處理方法，包括:解碼編碼數(shù)據(jù)并生成量化系數(shù)；以及利用被應(yīng)用到正向變換跳過(guò)塊的加權(quán)系數(shù)，來(lái)逆量化所生成的正交變換跳過(guò)塊的量化系數(shù)，其中在所述正向變換跳過(guò)塊中正交變換處理被跳過(guò)。
[0036]在本公開(kāi)內(nèi)容的另一方面，編碼數(shù)據(jù)被解碼，量化系數(shù)被生成，并且被應(yīng)用到正交變換跳過(guò)塊的加權(quán)系數(shù)被用來(lái)逆量化所生成的正交變換跳過(guò)塊的量化系數(shù)，其中所述正交變換跳過(guò)塊中正交變換處理被跳過(guò)。
[0037]另外，以上所述圖像處理設(shè)備可以是獨(dú)立設(shè)備或者可以是構(gòu)成一個(gè)圖像解碼設(shè)備的內(nèi)部塊。
[0038]本發(fā)明的效果
[0039]根據(jù)本公開(kāi)內(nèi)容，可以解碼圖像。特別地，有可能抑制由于解碼造成的圖像質(zhì)量下降。

【專利附圖】

【附圖說(shuō)明】
[0040]圖1是說(shuō)明圖像編碼設(shè)備的主要配置實(shí)例的框圖。
[0041]圖2是用于描述編碼單元的配置實(shí)例的圖。
[0042]圖3是說(shuō)明量化矩陣發(fā)送實(shí)例的圖。
[0043]圖4是說(shuō)明序列參數(shù)集實(shí)例的圖。
[0044]圖5是說(shuō)明接著圖4的序列參數(shù)集實(shí)例的圖。
[0045]圖6是說(shuō)明圖片參數(shù)集實(shí)例的圖。
[0046]圖7是說(shuō)明接著圖6的圖片參數(shù)集實(shí)例的圖。
[0047]圖8是用于描述量化條件實(shí)例的圖。
[0048]圖9是說(shuō)明序列參數(shù)集實(shí)例的圖。
[0049]圖10是說(shuō)明接著圖9的序列參數(shù)集實(shí)例的圖。
[0050]圖11是說(shuō)明圖片參數(shù)集實(shí)例的圖。
[0051]圖12是說(shuō)明接著圖11的圖片參數(shù)集實(shí)例的圖。
[0052]圖13是說(shuō)明正交變換跳過(guò)等的主要配置實(shí)例的框圖。
[0053]圖14是用于描述編碼過(guò)程的流程實(shí)例的流程圖。
[0054]圖15是用于描述正交變換跳過(guò)控制處理流程實(shí)例的流程圖。
[0055]圖16是用于描述正交變換處理流程實(shí)例的流程圖。
[0056]圖17用于描述量化處理流程實(shí)例的流程圖。
[0057]圖18用于描述去塊過(guò)濾處理流程實(shí)例的流程圖。
[0058]圖19是說(shuō)明圖像解碼設(shè)備的主要配置實(shí)例的框圖。
[0059]圖20是說(shuō)明逆正交變換跳過(guò)單元等的主要配置實(shí)例的框圖。
[0060]圖21是用于描述解碼過(guò)程的流程實(shí)例的流程圖。
[0061]圖22是用于描述逆量化處理流程實(shí)例的流程圖。
[0062]圖23是用于描述逆正交變換處理流程實(shí)例的流程圖。
[0063]圖24是說(shuō)明序列參數(shù)集的另一個(gè)實(shí)例的圖。
[0064]圖25是說(shuō)明圖片參數(shù)集的實(shí)例的圖。
[0065]圖26是用于描述跳過(guò)許可信息生成處理流程實(shí)例的流程圖。
[0066]圖27是用于描述跳過(guò)許可信息接收處理流程實(shí)例的流程圖。
[0067]圖28是說(shuō)明多視點(diǎn)圖像編碼系統(tǒng)的實(shí)例的圖。
[0068]圖29是說(shuō)明本技術(shù)適用的多視點(diǎn)圖像編碼設(shè)備的主要配置實(shí)例的圖。
[0069]圖30是說(shuō)明本技術(shù)適用的多視點(diǎn)圖像解碼設(shè)備的主要配置實(shí)例的圖。
[0070]圖31是說(shuō)明分級(jí)圖像編碼系統(tǒng)實(shí)例的圖。
[0071]圖32是說(shuō)明本技術(shù)適用的分級(jí)圖像編碼設(shè)備的主要配置實(shí)例的圖。
[0072]圖33是說(shuō)明本技術(shù)適用的分級(jí)圖像解碼設(shè)備的主要配置實(shí)例的圖。
[0073]圖34是說(shuō)明計(jì)算機(jī)的主要配置實(shí)例的框圖。
[0074]圖35是說(shuō)明電視裝置的示意性配置實(shí)例的框圖。
[0075]圖36是說(shuō)明移動(dòng)電話的示意性配置實(shí)例的框圖。
[0076]圖37是說(shuō)明記錄和再現(xiàn)設(shè)備的示意性配置實(shí)例的框圖。
[0077]圖38是說(shuō)明成像設(shè)備的示意性配置實(shí)例的框圖。
[0078]圖39是說(shuō)明可伸縮編碼利用實(shí)例的框圖。
[0079]圖40是說(shuō)明可伸縮編碼利用的另一個(gè)實(shí)例的框圖。
[0080]圖41是說(shuō)明可伸縮編碼利用的還有另一個(gè)實(shí)例的框圖。
[0081]圖42是說(shuō)明視頻機(jī)(video set)的示意性配置實(shí)例的框圖。
[0082]圖43是說(shuō)明視頻處理器的示意性配置實(shí)例的框圖。
[0083]圖44是說(shuō)明視頻處理器的示意性配置的另一個(gè)實(shí)例的框圖。

【具體實(shí)施方式】
[0084]下文中將描述用于執(zhí)行本公開(kāi)內(nèi)容的模式(下文中稱為實(shí)施例)。另外，描述以以下次序給出。
[0085]1.第一實(shí)施例(圖像編碼設(shè)備)
[0086]2.第二實(shí)施例(圖像解碼設(shè)備)
[0087]3.第三實(shí)施例(跳過(guò)許可信息的發(fā)送控制)
[0088]4.第四實(shí)施例(多視點(diǎn)圖像編碼/多視點(diǎn)圖像解碼設(shè)備)
[0089]5.第五實(shí)施例(分級(jí)圖像編碼/分級(jí)圖像解碼設(shè)備)
[0090]6.第六實(shí)施例(計(jì)算機(jī))
[0091]7.第七實(shí)施例(應(yīng)用實(shí)例)
[0092]8.第八實(shí)施例(可伸縮編碼的應(yīng)用實(shí)例)
[0093]9.第九實(shí)施例(集合/單元/模塊/處理器)
[0094]〈1.第一實(shí)施例>
[0095][圖像編碼設(shè)備]
[0096]圖1是說(shuō)明圖像編碼設(shè)備的主要配置實(shí)例的框圖。
[0097]在I說(shuō)明圖像編碼設(shè)備100利用例如高效視頻編碼(HEVC)的預(yù)測(cè)處理或者與其相符的系統(tǒng)編碼圖像數(shù)據(jù)。
[0098]如圖1所說(shuō)明的，圖像編碼設(shè)備100包括A/D轉(zhuǎn)換器101、屏幕重新布置緩沖區(qū)102、計(jì)算單元103、正交變換單元104、量化單元105、無(wú)損編碼單元106、累積緩沖區(qū)107、逆量化單元108,以及逆正交變換單元109。此外，圖像編碼設(shè)備100還包括計(jì)算單元110、去塊過(guò)濾器111、幀存儲(chǔ)器112、選擇單元113、幀內(nèi)預(yù)測(cè)單元114、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115、預(yù)測(cè)圖像選擇單元116，以及速率控制單元117。
[0099]圖像編碼設(shè)備100還包括正交變換跳過(guò)單元121。
[0100]A/D轉(zhuǎn)換器101對(duì)輸入的圖像數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，把轉(zhuǎn)換獲得的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))提供給屏幕重新布置緩沖區(qū)102，并且在其中存儲(chǔ)該圖像數(shù)據(jù)。屏幕重新布置緩沖區(qū)102把按顯示次序存儲(chǔ)的幀圖像重新布置成用于根據(jù)圖片組(GOP)結(jié)構(gòu)進(jìn)行編碼的幀的次序，并且把其中幀次序已經(jīng)重新布置的圖像提供給計(jì)算單元103。此外，屏幕重新布置緩沖區(qū)102把其中幀次序已經(jīng)重新布置的圖像提供給幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。
[0101]計(jì)算單元103從從屏幕重新布置緩沖區(qū)102讀出的圖像減去從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像，并且把差異信息提供給正交變換單元104。例如，在對(duì)圖像執(zhí)行幀內(nèi)編碼的情況下，計(jì)算單元103從從屏幕重新布置緩沖區(qū)102讀出的圖像減去從幀內(nèi)預(yù)測(cè)單元114提供的預(yù)測(cè)圖像。另外，在對(duì)圖像執(zhí)行幀間編碼的情況下，例如，計(jì)算單元103從從屏幕重新布置緩沖區(qū)102讀出的圖像減去從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像。
[0102]正交變換單元104對(duì)從計(jì)算單元103提供的差異信息執(zhí)行諸如離散余弦變換和Karhunen-Loeve變換的正交變換，并且把其變換系數(shù)提供給量化單元105。
[0103]量化單元105量化從正交變換單元104提供的變換系數(shù)。量化單元105基于從速率控制單元117提供的編碼量的目標(biāo)值的信息，設(shè)置量化參數(shù)并且執(zhí)行其量化。量化單元105把量化的變換系數(shù)提供給無(wú)損編碼單元106。
[0104]無(wú)損編碼單元106利用任何編碼系統(tǒng)來(lái)編碼被量化單元105量化的變換系數(shù)。由于系數(shù)數(shù)據(jù)是在速率控制單元117的控制下被量化，因此其編碼量是速率控制單元117設(shè)置的目標(biāo)值(或者近似該目標(biāo)值)。
[0105]此外，無(wú)損編碼單元106從幀內(nèi)預(yù)測(cè)單元114獲取指示幀內(nèi)預(yù)測(cè)模式等的信息并且從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115獲取指示幀間預(yù)測(cè)模式或差異運(yùn)動(dòng)矢量的信息。
[0106]無(wú)損編碼單元106根據(jù)編碼系統(tǒng)編碼這各種信息，包含(多路復(fù)用)這各種信息片段被作為編碼數(shù)據(jù)(也稱為編碼流)的首部信息的部分。無(wú)損編碼單元106把通過(guò)編碼獲得的編碼數(shù)據(jù)提供給累積緩沖區(qū)107并且在其中累積編碼數(shù)據(jù)。
[0107]例如，無(wú)損編碼單元106的編碼系統(tǒng)包括可變長(zhǎng)度編碼或計(jì)算編碼。例如，可變長(zhǎng)度編碼包括由H.264/AVC系統(tǒng)定義的上下文自適應(yīng)變長(zhǎng)編碼(CAVLC)等。例如，計(jì)算編碼包括上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)等。
[0108]累積緩沖區(qū)107暫時(shí)保持從無(wú)損編碼單元106提供的編碼數(shù)據(jù)。累積緩沖區(qū)107在預(yù)定時(shí)間把所保持的編碼數(shù)據(jù)輸出到例如在后面部分中未說(shuō)明的記錄設(shè)備(記錄介質(zhì))或傳輸路徑。即，累積緩沖區(qū)107也是用于發(fā)送編碼數(shù)據(jù)的發(fā)送單元。
[0109]被量化單元105量化的變換系數(shù)還提供給逆量化單元108。逆量化單元108以對(duì)應(yīng)于量化單元105進(jìn)行量化的方法來(lái)逆量化被量化的變換系數(shù)。逆量化單元108把獲得的變換系數(shù)提供給逆正交變換單元109。
[0110]逆正交變換單元109以對(duì)應(yīng)于正交變換單元104進(jìn)行正交變換處理的方法對(duì)從逆量化單元108提供的變換系數(shù)執(zhí)行逆正交變換。通過(guò)逆向正交變換處理獲得的輸出(恢復(fù)的差異值信息)提供給計(jì)算單元110。
[0111]計(jì)算單元110把通過(guò)預(yù)測(cè)圖像選擇單元116從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像添加到恢復(fù)的差異信息，該恢復(fù)的差異信息是從逆正交變換單元109提供的逆正交變換處理的結(jié)果，由此獲得本地解碼圖像(解碼圖像)。解碼圖像提供給去塊過(guò)濾器111或幀存儲(chǔ)器112。
[0112]去塊過(guò)濾器111適當(dāng)?shù)貙?duì)從計(jì)算單元110提供的解碼圖像執(zhí)行去塊過(guò)濾處理。例如,去塊過(guò)濾器111對(duì)解碼圖像執(zhí)行去塊過(guò)濾處理,除去解碼圖像的塊失真。
[0113]去塊過(guò)濾器111把過(guò)濾處理結(jié)果(過(guò)濾處理之后的解碼圖像)提供給幀存儲(chǔ)器112。另外，如上所述，從計(jì)算單元110輸出的解碼圖像可以不經(jīng)過(guò)去塊過(guò)濾器111就提供給幀存儲(chǔ)器112。即，有可能略去去塊過(guò)濾器111進(jìn)行的過(guò)濾處理。
[0114]幀存儲(chǔ)器112存儲(chǔ)要提供的解碼圖像并且在預(yù)定時(shí)間把所存儲(chǔ)的解碼圖像作為參考圖像提供給選擇單元113。
[0115]選擇單元113選擇從幀存儲(chǔ)器112提供的參考圖像的供應(yīng)目的地。例如，在幀間預(yù)測(cè)的情況下，選擇單元113把從幀存儲(chǔ)器112提供的參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元 115。
[0116]幀內(nèi)預(yù)測(cè)單元114利用當(dāng)前圖片內(nèi)的像素值執(zhí)行幀內(nèi)預(yù)測(cè)(屏幕內(nèi)預(yù)測(cè))，以生成預(yù)測(cè)圖像，當(dāng)前圖片是通過(guò)選擇單元113從幀存儲(chǔ)器112提供的參考圖像。幀內(nèi)預(yù)測(cè)單元114以事先準(zhǔn)備的多種幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)。
[0117]幀內(nèi)預(yù)測(cè)單元114在所有幀內(nèi)預(yù)測(cè)模式下生成預(yù)測(cè)圖像作為候選，并且利用從屏幕重新布置緩沖區(qū)102提供的輸入圖像來(lái)評(píng)估每個(gè)預(yù)測(cè)圖像的成本函數(shù)值，以選擇最優(yōu)模式。在選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式后，幀內(nèi)預(yù)測(cè)單元114把在最優(yōu)模式下生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元116。
[0118]此外，如上所述，幀內(nèi)預(yù)測(cè)單元114適當(dāng)?shù)匕阎甘舅捎玫膸瑑?nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式信息提供給無(wú)損編碼單元106，以編碼所提供的幀內(nèi)預(yù)測(cè)模式信息。
[0119]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115利用從屏幕重新布置緩沖區(qū)102提供的輸入圖像和選擇單元113從幀存儲(chǔ)器112提供的參考圖像執(zhí)行運(yùn)動(dòng)預(yù)測(cè)(幀間預(yù)測(cè))。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115根據(jù)檢測(cè)到的運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)補(bǔ)償處理并且生成預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115在事先準(zhǔn)備的多種幀間預(yù)測(cè)模式下執(zhí)行這種幀間預(yù)測(cè)。
[0120]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115在所有幀間預(yù)測(cè)模式下生成預(yù)測(cè)圖像作為候選。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115利用從屏幕重新布置緩沖區(qū)102提供的輸入圖像和所生成的差異運(yùn)動(dòng)矢量的信息來(lái)評(píng)估每個(gè)預(yù)測(cè)圖像的成本函數(shù)值，以選擇最優(yōu)模式。在選擇最優(yōu)幀間預(yù)測(cè)模式后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115把最優(yōu)模式下生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元116。
[0121]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115把指示所采用的幀間預(yù)測(cè)模式的信息、在解碼編碼數(shù)據(jù)時(shí)在幀間預(yù)測(cè)模式下執(zhí)行處理所需信息等提供給無(wú)損編碼單元106，并且編碼所提供的信息。例如，所需信息可以包括:生成的差異運(yùn)動(dòng)矢量的信息、指示預(yù)測(cè)運(yùn)動(dòng)矢量的索引的標(biāo)記(作為預(yù)測(cè)運(yùn)動(dòng)矢量信息)等等。
[0122]預(yù)測(cè)圖像選擇單元116選擇要提供給計(jì)算單元103或計(jì)算單元110的預(yù)測(cè)圖像的供應(yīng)源。例如，在幀內(nèi)編碼的情況下，預(yù)測(cè)圖像選擇單元116選擇幀內(nèi)預(yù)測(cè)單元114作為預(yù)測(cè)圖像的供應(yīng)源并且提供從幀內(nèi)預(yù)測(cè)單元114向計(jì)算單元103或計(jì)算單元110提供的預(yù)測(cè)圖像。此外，例如，在幀間編碼的情況下，預(yù)測(cè)圖像選擇單元116選擇運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115作為預(yù)測(cè)圖像的供應(yīng)源并且提供從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115向計(jì)算單元103或計(jì)算單元110提供的預(yù)測(cè)圖像。
[0123]基于在累積緩沖區(qū)107累積的編碼數(shù)據(jù)的編碼量，速率控制單元117控制量化單元105的量化速率,使得上溢或下溢不發(fā)生。
[0124]正交變換跳過(guò)單元121控制正交變換單元104中正交變換處理的執(zhí)行。此外，根據(jù)該控制，正交變換跳過(guò)單元121控制由量化單元105進(jìn)行的量化處理、逆量化單元108進(jìn)行的逆量化處理、逆正交變換單元109進(jìn)行的逆正交變換處理，以及去塊過(guò)濾器111進(jìn)行的去塊過(guò)濾處理。另外，正交變換跳過(guò)單元121向無(wú)損編碼單元106提供正交變換處理的跳過(guò)所必需的信息以及關(guān)于量化或去塊過(guò)濾器的信息，并且把所提供的信息從累積緩沖區(qū)107發(fā)送到解碼側(cè)。
[0125][編碼單元]
[0126]在AVC系統(tǒng)，規(guī)定了包括宏塊和子宏塊的分層結(jié)構(gòu)。但是，16像素X 16像素的宏塊對(duì)于大圖像巾貞(諸如超聞清晰(UHD ;4000像素X2000像素))不是最合適，這種大圖像幀是下一代編碼系統(tǒng)的主題。
[0127]因而，例如，在HEVC系統(tǒng)中規(guī)定如圖2所說(shuō)明的編碼單元(CU)。
[0128]⑶也被稱為編碼樹(shù)塊(CTB)，并且是圖片單元中圖像的部分區(qū)域，它充當(dāng)與AVC系統(tǒng)的宏塊相似的角色。AVC系統(tǒng)的宏塊具有16X16像素的固定尺寸，而CU的尺寸不是固定的，因此在每個(gè)序列中的圖像壓縮信息中規(guī)定。
[0129]例如，CU的最大尺寸(最大編碼單元(LCU))和最小尺寸(最小編碼單元(SCU))在要輸出的編碼數(shù)據(jù)所包括的序列參數(shù)集(序列參數(shù)集(SPS))中規(guī)定。
[0130]通過(guò)設(shè)置split_flag= 1、且不降至低于S⑶尺寸的范圍內(nèi)，每個(gè)IXU可以被進(jìn)一步劃分成更小的⑶。在圖2所說(shuō)明的例子，IXU的尺寸是128 X 128像素，而最大分層深度變成5。當(dāng)split_flag的值為“I”時(shí)，尺寸為2NX2N像素的⑶被分成多個(gè)⑶，其下一層且尺寸為NXN。
[0131]另外，⑶被劃分成預(yù)測(cè)單元(PU) ,PU是作為幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)的處理單元的區(qū)域(圖片單元中圖像的部分區(qū)域)，并且還被劃分成變換單元(TU)，TU是作為正交變換的處理單元的區(qū)域(圖片單元中圖像的部分區(qū)域)。目前，除了 4X4和8X8正交變換，HEVC系統(tǒng)還可以執(zhí)行16 X 16和32X32正交變換。
[0132]就像在以上的HEVC系統(tǒng)，在⑶被定義并且各種類型的處理以⑶為單位執(zhí)行的編碼系統(tǒng)的情況下，考慮AVC系統(tǒng)的宏塊對(duì)應(yīng)于LCUj^ (子塊)對(duì)應(yīng)于CU。此外，考慮AVC系統(tǒng)的運(yùn)動(dòng)補(bǔ)償塊對(duì)應(yīng)于PU。但是，由于⑶具有分層結(jié)構(gòu)，因此其最上層IXU的尺寸通常設(shè)置得比AVC系統(tǒng)的宏塊大，例如，128X128像素。
[0133]因此，下文，假設(shè)IXU也包括AVC系統(tǒng)的宏塊并且⑶也包括AVC系統(tǒng)的塊(子塊)。即，在以下描述中使用的“塊”指示圖片中的任何部分區(qū)域，并且對(duì)塊的尺寸、形狀、特性等沒(méi)有限制。換句話說(shuō)，任何區(qū)域(處理單元)，例如TU、PU、S⑶、⑶、IXU、子塊、宏塊或者片，都包括在“塊”中。當(dāng)然，除這些區(qū)域之外的部分區(qū)域(處理單元)也包括在其中。必要的時(shí)候，適當(dāng)?shù)卦谙拗瞥叽缁蛱幚韱卧那闆r下給出說(shuō)明。
[0134]接下來(lái)，將描述關(guān)于本技術(shù)的基本技術(shù)要素。
[0135][量化矩陣]
[0136]就像在AVC中一樣，正交變換系數(shù)的量化對(duì)HEVC中的每個(gè)正交變換處理單元執(zhí)行。量化矩陣用于量化，但量化矩陣是為每個(gè)尺寸的正交變換處理單元準(zhǔn)備的。但是，例如，當(dāng)諸如16X 16矩陣或32X32矩陣的大量化矩陣被發(fā)送時(shí)，存在編碼效率降低的問(wèn)題。
[0137]這里，如圖3所說(shuō)明的，大量化矩陣(或者大于預(yù)定尺寸的量化矩陣)，例如16X16矩陣或32X32矩陣，以8X8的尺寸發(fā)送并且被適用于每個(gè)正交變換尺寸的零階保持上采樣。另外，DC分量單獨(dú)地發(fā)送到對(duì)其應(yīng)用上采樣的矩陣。
[0138]在HEVC，如圖4至7所說(shuō)明的，關(guān)于量化矩陣的信息(縮放列表)發(fā)送到序列參數(shù)集(SPS)或者圖片參數(shù)集(PPS)。圖4和5是說(shuō)明序列參數(shù)集實(shí)例的圖。圖6和7是說(shuō)明圖片參數(shù)集實(shí)例的圖。
[0139][去塊過(guò)濾器]
[0140]就像在AVC中一樣，去塊過(guò)濾器在HEVC中的運(yùn)動(dòng)補(bǔ)償回路中定義。去塊過(guò)濾器執(zhí)行過(guò)濾處理，以減少在塊邊界發(fā)生的塊失真。
[0141]S卩，在去塊過(guò)濾處理，塊邊界被檢測(cè)，過(guò)濾器的類型或強(qiáng)度、偏移量等是基于在塊邊界的量化參數(shù)等決定的，由此執(zhí)行過(guò)濾處理。
[0142][模式選擇]
[0143]但是，選擇適當(dāng)?shù)念A(yù)測(cè)模式以便在AVC和HEVC編碼系統(tǒng)中實(shí)現(xiàn)更高的編碼效率是很重要的。
[0144]作為選擇方法的例子，可以使用被稱為H.264/MPEG-4/AVC的聯(lián)合模型(JM)的參考軟件中實(shí)現(xiàn)的方法(可以在 http://iphome.hh1.de/suehring/tml/index, htm 獲得)。
[0145]JM軟件使模式?jīng)Q定方法能夠從高復(fù)雜度模式和低復(fù)雜度模式這兩種模式當(dāng)中選擇，這些模式將在以下描述。任何模式下，都為每種預(yù)測(cè)模式“Mode”計(jì)算成本函數(shù)值，并且最小化成本函數(shù)值的預(yù)測(cè)模式被選作用于塊或宏塊的最優(yōu)模式。
[0146]在高復(fù)雜度模式下，成本函數(shù)由以下表達(dá)式(I)表示。
[0147]Cost (Mode e Ω ) = D+λ *R...(1)
[0148]這里，“ Ω ”代表用于編碼塊或宏塊的候選模式的通用集合，而“D”代表在預(yù)測(cè)模式下編碼被執(zhí)行時(shí)解碼圖像與輸入圖像之間的能量差?！?λ ”代表作為量化參數(shù)的函數(shù)給出的拉格朗日倍數(shù)?！癛”代表在該模式下編碼被執(zhí)行時(shí)包括正交變換系數(shù)在內(nèi)的總編碼量。
[0149]S卩，為了在高復(fù)雜度模式下執(zhí)行編碼，需要更大計(jì)算量，因?yàn)闀簳r(shí)的編碼處理需要在所有候選模式下都執(zhí)行一遍，以計(jì)算參數(shù)D和R。
[0150]在低復(fù)雜度模式下，成本函數(shù)由以下表達(dá)式(2)表示。
[0151]Cost (Mode e Ω ) = D+QP2Quant (QP) *HeaderBit...(2)
[0152]這里，“D”代表預(yù)測(cè)圖像與輸入圖像之間的能量差并且與高復(fù)雜度模式不同。“QP2Quant(QP) ”作為量化參數(shù)QP的函數(shù)給出，而“HeaderBit”是關(guān)于諸如運(yùn)動(dòng)矢量或模式之類屬于首部的信息的編碼量，不包括正交變換系數(shù)。
[0153]S卩，在低復(fù)雜度模式下，雖然有必要對(duì)相應(yīng)的候選模式執(zhí)行預(yù)測(cè)過(guò)程，但是，由于無(wú)需獲得解碼圖像，因此沒(méi)必要執(zhí)行編碼過(guò)程。因而，低復(fù)雜度模式可以利用比高復(fù)雜度模式更低的計(jì)算量來(lái)實(shí)現(xiàn)。
[0154][正交變換跳過(guò)]
[0155]順便提一下，非專利文檔2建議的“幀內(nèi)變換跳過(guò)”技術(shù)在HEVC標(biāo)準(zhǔn)中被采用。正交變換跳過(guò)(變換跳過(guò))是略去(即，跳過(guò))正交變換處理的技術(shù)。
[0156]一般而言，正交變換處理是對(duì)每塊的圖像數(shù)據(jù)(差異圖像數(shù)據(jù))執(zhí)行，以便把塊中的空間域信息轉(zhuǎn)換成頻率域信息，由此允許塊中的系數(shù)集中到較低的頻率，因此有可能增加偏置。因而，編碼效率提高。
[0157]但是，還可以考慮:根據(jù)塊中的設(shè)計(jì)，這種偏置不太有可能發(fā)生的情況。例如，與自然圖像相比，灰度或強(qiáng)邊很容易在諸如CG圖像或字幕的人工圖像中出現(xiàn)。為此，高頻成分很容易出現(xiàn)，并且即使執(zhí)行正交變換處理偏置也不可能出現(xiàn)。因此，通過(guò)允許在這種塊中跳過(guò)正交變換處理，有可能進(jìn)一步提高編碼效率。
[0158]另外，在以下的描述，正交變換處理的跳過(guò)被稱為正交變換跳過(guò)(變換跳過(guò))，并且對(duì)其應(yīng)用正交變換跳過(guò)的塊也被稱為正交變換跳過(guò)塊。此外，對(duì)其不應(yīng)用正交變換跳過(guò)(執(zhí)行正交變換)的塊也被稱為非正交變換跳過(guò)塊。
[0159]這種技術(shù)，首先，指示正交變換跳過(guò)(變換跳過(guò))是否可以在序列中應(yīng)用的標(biāo)記被發(fā)送到序列參數(shù)集(SPS)。
[0160]標(biāo)記(transform_skip_enabled_flag)發(fā)送到序列參數(shù)集(SPS),如圖5所說(shuō)明的，這個(gè)標(biāo)記是指示是否許可/禁用正交變換跳過(guò)(TransformSkip)的跳過(guò)許可信息。
[0161]這個(gè)跳過(guò)許可信息(transform_skip_enabled_flag)是例如用戶等設(shè)置的。當(dāng)這個(gè)值為I時(shí)，正交變換跳過(guò)(TransformSkip)可以應(yīng)用到4X4的亮度正交變換塊、或者4X4的色度正交變換塊。
[0162]然后,對(duì)每個(gè)塊確定正交變換跳過(guò)(TransformSkip)的開(kāi)/關(guān),并且發(fā)送其開(kāi)/關(guān)的標(biāo)記。
[0163][編碼效率]
[0164]不管正交變換的這種跳過(guò)控制，統(tǒng)一執(zhí)行熵編碼過(guò)程、量化處理、回路過(guò)濾處理等。即，就像非正交變換跳過(guò)塊一樣，熵編碼過(guò)程、量化處理、回路過(guò)濾處理等也對(duì)正交變換跳過(guò)塊執(zhí)行。
[0165]但是，量化矩陣是關(guān)于頻率域的加權(quán)系數(shù)。即，量化矩陣設(shè)計(jì)成應(yīng)用到正交變換系數(shù)塊。從而，當(dāng)這種量化矩陣應(yīng)用到具有空間域值(差異圖像數(shù)據(jù))的塊時(shí)，編碼效率會(huì)降低。S卩，圖像質(zhì)量會(huì)退化。
[0166]此外，如上所述，正交變換跳過(guò)應(yīng)用到其中高頻成分易于出現(xiàn)的圖像。因此，存在圖像在正交變換跳過(guò)塊上的內(nèi)容與非正交變換跳過(guò)塊上的內(nèi)容有很大區(qū)別的高可能性。即，塊失真在正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界很容易發(fā)生。
[0167]因此，就像其它邊界一樣，當(dāng)去塊過(guò)濾處理對(duì)正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界執(zhí)行時(shí)，編碼效率會(huì)降低。即，圖像質(zhì)量會(huì)退化。
[0168][根據(jù)正交變換跳過(guò)的控制]
[0169]因而，根據(jù)當(dāng)前塊是否是正交變換跳過(guò)(TransformSkip)塊，編碼過(guò)程被控制。更具體而言，編碼過(guò)程的量化處理(逆量化處理)和去塊處理被控制。
[0170][量化處理的控制]
[0171]例如，在量化處理的情況下，量化處理是利用量化矩陣、對(duì)其中正交變換執(zhí)行的非正交變換跳過(guò)塊執(zhí)行的，以及量化處理是利用一個(gè)加權(quán)系數(shù)代替量化矩陣、對(duì)其中正交變換被跳過(guò)的正交變換跳過(guò)塊執(zhí)行的。即，作為當(dāng)前塊的正交變換跳過(guò)塊的所有系數(shù)都是利用這一個(gè)加權(quán)系數(shù)量化的。
[0172]其條件在圖8說(shuō)明。例如，如圖8所說(shuō)明的，量化就像現(xiàn)有技術(shù)中那樣利用量化矩陣對(duì)非正交變換跳過(guò)塊(正交變換系數(shù)矩陣)執(zhí)行。
[0173]另一方面，4X4正交變換跳過(guò)塊(正交變換前的差值的矩陣)利用加權(quán)系數(shù)矩陣量化，該加權(quán)系數(shù)矩陣是通過(guò)一個(gè)加權(quán)系數(shù)的量化獲得的。當(dāng)然，真正的計(jì)算方法是任意的，但基本執(zhí)行與使用加權(quán)系數(shù)矩陣等效的計(jì)算。
[0174]加權(quán)系數(shù)是任意的。例如，加權(quán)系數(shù)可以包括標(biāo)量值。例如，量化矩陣的DC分量可以是加權(quán)系數(shù)。量化矩陣是關(guān)于頻率域的加權(quán)系數(shù)，但DC分量既是關(guān)于頻率域的值也是關(guān)于空間域的值。如果只存在具有這些特性的量化矩陣的DC分量，即使量化被應(yīng)用到正交變換跳過(guò)塊的每個(gè)系數(shù)也不可能導(dǎo)致編碼效率的降低，其中所述系數(shù)是關(guān)于空間域的值。
[0175]這種情況下，如圖8所說(shuō)明的，DC分量從量化矩陣提取，并且加權(quán)系數(shù)矩陣通過(guò)以4X4重新布置提取的DC分量而生成，由此利用該加權(quán)系數(shù)矩陣量化4X4正交變換跳過(guò)塊(正交變換前的差值的矩陣)。
[0176]另外，例如，與量化矩陣不同，加權(quán)系數(shù)可以任意生成。生成加權(quán)系數(shù)的方法是任意的。即使這種情況下，如圖8所說(shuō)明的，加權(quán)系數(shù)矩陣也是通過(guò)以4X4重新布置加權(quán)系數(shù)而生成的，由此利用該加權(quán)系數(shù)矩陣量化4X4正交變換跳過(guò)塊(正交變換前的差值的矩陣)。以這種方式，例如，與另外的部分相比，只有對(duì)其應(yīng)用正交變換跳過(guò)塊的一部分(例如，CG圖像)易于獨(dú)立于量化矩陣而利用加權(quán)系數(shù)來(lái)控制，以提高圖像質(zhì)量等。
[0177]另外，這種情況下，加權(quán)系數(shù)可以以相同方式計(jì)算，使得編碼側(cè)的值與解碼側(cè)的值相同，并且可以從編碼側(cè)發(fā)送到解碼側(cè)。
[0178]在發(fā)送加權(quán)系數(shù)的情況下，當(dāng)跳過(guò)許可信息(transform_skip_enabled_flag)的值是許可正交變換跳過(guò)的值(例如，I)時(shí)，應(yīng)用到正交變換跳過(guò)塊的標(biāo)量量化值(加權(quán)系數(shù))被傳送。為此，參考圖4至7描述的序列參數(shù)集和圖片參數(shù)集如下改變。
[0179]作為第一個(gè)變化，跳過(guò)許可信息(transform_skip_enabled_flag)比量化矩陣(scaling_list)更早發(fā)送。
[0180]作為第二個(gè)變化，跳過(guò)許可信息(transform_skip_enabled_flag)還發(fā)送到PPS,使得就解析而言SPS獨(dú)立于PPS。
[0181]S卩，SPS如圖9和10所說(shuō)明的那樣配置，PPS如圖11和12所說(shuō)明的那樣配置。
[0182]另外，利用例如應(yīng)用到位于當(dāng)前塊外圍的外圍塊的量化的量化矩陣的DC分量，力口權(quán)系數(shù)可以通過(guò)平均值等的計(jì)算生成。這種計(jì)算方法是任意的，并且可以不是平均值。
[0183]即使這種情況下，如圖8所說(shuō)明的，加權(quán)系數(shù)矩陣也是通過(guò)以4X4重新布置加權(quán)系數(shù)生成的，由此利用加權(quán)系數(shù)矩陣來(lái)量化4X4正交變換跳過(guò)塊(正交變換前的差值的矩陣)。以這種方式，加權(quán)系數(shù)是利用外圍塊的量化矩陣計(jì)算的，并且因此還有可能容易地在解碼側(cè)以與編碼側(cè)相同方式計(jì)算加權(quán)系數(shù)。即，加權(quán)系數(shù)的發(fā)送可以略去，編碼效率可以提高那個(gè)比率。
[0184][去塊過(guò)濾器的控制]
[0185]接下來(lái)將描述去塊過(guò)濾器的控制。為了讓正交變換跳過(guò)(TransformSkip)提高包括CG圖像或字幕的區(qū)域的編碼效率，考慮塊失真有可能發(fā)生在正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界。
[0186]因而，執(zhí)行正交變換跳過(guò)塊與非正交變換跳過(guò)塊是否跨塊邊界彼此接觸的檢測(cè)，并且按以下方式對(duì)正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界執(zhí)行去塊過(guò)濾器的強(qiáng)度調(diào)整，以便使去塊過(guò)濾容易執(zhí)行。
[0187]例如，當(dāng)去塊過(guò)濾處理應(yīng)用到正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界時(shí)，充當(dāng)塊邊界強(qiáng)度的邊界強(qiáng)度(bs)的值設(shè)置成“+I”。通過(guò)以這種方式增加bs值，進(jìn)行控制，以便應(yīng)用更強(qiáng)的過(guò)濾。即，更強(qiáng)的去塊過(guò)濾可以應(yīng)用到正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界。另外，代替把bs值設(shè)置成+1，bs值可以固定到例如2等大值。
[0188]此外，例如，過(guò)濾器強(qiáng)度調(diào)整是根據(jù)諸如bs值、α和β的參數(shù)來(lái)執(zhí)行的，但是強(qiáng)過(guò)濾器可以應(yīng)用到正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界，而不考慮這種過(guò)濾器強(qiáng)度的控制結(jié)果。因而，有可能對(duì)正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界更直接地應(yīng)用強(qiáng)去塊過(guò)濾器。
[0189]另外，例如，與β和tc相比，正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界可以設(shè)置為較小的偏移量。因而，有可能對(duì)正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界容易地應(yīng)用去塊過(guò)濾器。
[0190]通過(guò)如上所述應(yīng)用去塊過(guò)濾器的強(qiáng)度調(diào)整，有可能對(duì)正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界容易地應(yīng)用去塊過(guò)濾器、并且提高要輸出的圖像壓縮信息的效率。
[0191]另外，如上所述地考慮應(yīng)用去塊過(guò)濾器的多種方法，可以結(jié)合多種方法使用。當(dāng)然，除以上所述的那些方法之外的方法也可以包括在此類方法中。
[0192][正交變換跳過(guò)等的配置實(shí)例]
[0193]圖13是說(shuō)明正交變換跳過(guò)單元121等的主要配置實(shí)例的框圖。
[0194]如圖13所說(shuō)明的，正交變換跳過(guò)單元121配置為包括跳過(guò)編碼單元131和跳過(guò)確定單元132。
[0195]當(dāng)前塊是4X4塊時(shí)，跳過(guò)編碼單元131從正交變換單元104獲取當(dāng)前塊的正交變換系數(shù)和正交變換前的差值。不應(yīng)用正交變換跳過(guò)的情況下，跳過(guò)編碼單元131利用所提供的正交變換系數(shù)執(zhí)行編碼過(guò)程，生成其成本函數(shù)值。此外，在應(yīng)用正交變換跳過(guò)的情況下，跳過(guò)編碼單元131利用所提供的正交變換前的差值執(zhí)行編碼過(guò)程，生成其成本函數(shù)值。跳過(guò)編碼單元131把成本函數(shù)值提供給跳過(guò)確定單元132。
[0196]另外，當(dāng)前塊比4X4塊大時(shí)，跳過(guò)編碼單元131略去這種處理。這種情況下，跳過(guò)確定單元132向正交變換單元104提供發(fā)布執(zhí)行正交變換的指令的控制信號(hào)。正交變換單元104基于該控制執(zhí)行當(dāng)前塊的正交變換。
[0197]跳過(guò)確定單元132從無(wú)損編碼單元106獲取指示是否許可正交變換處理的跳過(guò)的跳過(guò)許可信息(transform_skip_enabled_flag)。這種跳過(guò)許可信息(transform_skip_enabled_flag)是事先由例如用戶等設(shè)置的、并且存儲(chǔ)在無(wú)損編碼單元106。跳過(guò)確定單元132向正交變換單元104提供指示是否許可對(duì)應(yīng)于跳過(guò)許可信息(transform_skip_enabled_flag)的正交變換跳過(guò)的控制信號(hào)。
[0198]例如，當(dāng)跳過(guò)許可信息(transform_skip_enabled_flag)指示正交變換跳過(guò)(例如，值為I)被許可時(shí)，跳過(guò)確定單元132向正交變換單元104提供許可正交變換跳過(guò)的控制信號(hào)。此外，當(dāng)跳過(guò)許可信息(transform_skip_enabled_flag)指示正交變換跳過(guò)(例如，值為O)被禁用時(shí)，跳過(guò)確定單元132向正交變換單元104提供禁止正交變換跳過(guò)的控制信號(hào)。
[0199]此外，跳過(guò)確定單元132基于跳過(guò)編碼單元131提供的成本函數(shù)值確定最優(yōu)模式。SP，它確定是否對(duì)當(dāng)前塊應(yīng)用正交變換跳過(guò)(TransformSkip)。跳過(guò)確定單元132向正交變換單元104、量化單元105、去塊過(guò)濾器111、逆量化單元108及逆正交變換單元109提供所確定的結(jié)果(指示確定的最優(yōu)模式的信息)作為控制信號(hào)。
[0200]此外，跳過(guò)確定單元132生成用于識(shí)別所確定的結(jié)果(正交變換跳過(guò)是否應(yīng)用到當(dāng)前塊)的跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)并且向無(wú)損編碼單元106提供和發(fā)送該跳過(guò)標(biāo)識(shí)信息。
[0201]關(guān)于從計(jì)算單元103獲取的正交變換前的差值，正交變換單元104生成在所有模式下都沒(méi)有被從跳過(guò)編碼單元131提供的控制信號(hào)禁用的當(dāng)前塊的正交變換系數(shù)和正交變換前的差值。正交變換單元104把生成的當(dāng)前塊的正交變換系數(shù)和正交變換前的差值提供給跳過(guò)編碼單元131。另外，當(dāng)正交變換跳過(guò)被控制信號(hào)禁用時(shí)，正交變換單元104僅把當(dāng)前塊的正交變換系數(shù)提供給跳過(guò)編碼單元131。
[0202]如上所述，當(dāng)在正交變換跳過(guò)單元121中確定了模式時(shí)，正交變換單元104獲取從跳過(guò)確定單元132提供的控制信號(hào)并且根據(jù)該控制執(zhí)行指定模式的處理。即，正交變換單元104執(zhí)行或跳過(guò)正交變換處理。執(zhí)行的情況下，正交變換單元向量化單元105提供正交變換系數(shù)，而跳過(guò)的情況下，向量化單元105提供正交變換前的差值。
[0203]以這種方式，正交變換單元104可以必要時(shí)適當(dāng)?shù)貓?zhí)行正交變換，以抑制編碼效率的降低，因此有可能抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0204]另外，正交變換單元104保持所有模式下要提供給跳過(guò)編碼單元131的當(dāng)前塊的正交變換系數(shù)和正交變換前的差值，并且根據(jù)這些系數(shù)和值，可以根據(jù)跳過(guò)確定單元132提供的控制信號(hào)，選擇在一個(gè)模式下提供給量化單元105的正交變換系數(shù)和正交變換前的差值。因而，有可能略去該處理并減小負(fù)載。
[0205]如圖13所說(shuō)明的，量化單元105配置為包括量化矩陣設(shè)置單元141、加權(quán)系數(shù)生成單元142和量化處理單元143。
[0206]量化矩陣設(shè)置單元141向加權(quán)系數(shù)生成單元142提供量化矩陣，該量化矩陣是由用戶等設(shè)置的。
[0207]加權(quán)系數(shù)生成單元142獲取從跳過(guò)確定單元132提供的控制信號(hào)。加權(quán)系數(shù)生成單元142基于該控制信號(hào)的控制向量化處理單元143提供量化矩陣或加權(quán)系數(shù)。
[0208]例如，當(dāng)不應(yīng)用正交變換跳過(guò)時(shí)，加權(quán)系數(shù)生成單元142向量化處理單元143提供量化矩陣，該量化矩陣在控制信號(hào)指定的模式下從量化矩陣設(shè)置單元141提供。
[0209]此外，例如，當(dāng)應(yīng)用正交變換跳過(guò)時(shí)，加權(quán)系數(shù)生成單元142生成加權(quán)系數(shù)并且把生成的加權(quán)系數(shù)提供給量化處理單元143。如上所述，生成加權(quán)系數(shù)的方法是任意的。例如，除了量化矩陣設(shè)置單元141提供的量化矩陣之外，從量化矩陣設(shè)置單元141提供的量化矩陣提取的DC分量可以設(shè)置為加權(quán)系數(shù)，還可以設(shè)置另一個(gè)加權(quán)系數(shù)，并且加權(quán)系數(shù)可以從外圍塊的量化矩陣的DC分量計(jì)算。
[0210]量化處理單元143利用從加權(quán)系數(shù)生成單元142提供的量化矩陣或加權(quán)系數(shù)以及從速率控制單元117提供的量化參數(shù)等，量化從正交變換單元104提供的正交變換系數(shù)或正交變換前的差值。
[0211]S卩，當(dāng)正交變換系數(shù)從正交變換單元104提供時(shí)，量化處理單元143利用量化矩陣、量化參數(shù)等量化當(dāng)前塊的正交變換系數(shù)。此外，當(dāng)正交變換前的差值從正交變換單元104提供時(shí)，量化處理單元143利用加權(quán)系數(shù)、量化參數(shù)等量化當(dāng)前塊的正交變換前的差值。
[0212]量化處理單元143把量化系數(shù)提供給無(wú)損編碼單元106和逆量化單元108。此外，必要時(shí)，量化處理單元143把關(guān)于例如加權(quán)系數(shù)等的量化參數(shù)提供和發(fā)送到無(wú)損編碼單元106。
[0213]因而，量化處理單元143可以適當(dāng)?shù)貓?zhí)行量化，以便抑制圖像質(zhì)量退化。從而，圖像編碼設(shè)備100可以抑制由于編碼/解碼造成的圖像質(zhì)量退化。換句話說(shuō)，圖像編碼設(shè)備100可以提聞編碼效率。
[0214]另外，量化處理單元143可以向逆量化單元108提供:量化矩陣或被應(yīng)用到量化處理的加權(quán)系數(shù)，連同例如量化系數(shù)。
[0215]另外，類似于逆量化單元108和逆正交變換單元109的處理單元也在以下描述的圖像解碼設(shè)備中形成，因此其描述也適用于逆量化單元108和逆正交變換單元109，因此對(duì)逆量化單元108和逆正交變換單元109的具體描述將不給出。
[0216]如圖13所說(shuō)明的，去塊過(guò)濾器111配置為包括邊界確定單元151、強(qiáng)度調(diào)整單元152以及過(guò)濾單元153。
[0217]邊界確定單元151獲取從跳過(guò)確定單元132提供的關(guān)于當(dāng)前塊的控制信號(hào)。另夕卜，邊界確定單元151獲取識(shí)別正交變換跳過(guò)是否應(yīng)用到當(dāng)前塊的外圍塊的跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)。邊界確定單元151基于這種信息確定當(dāng)前塊邊界是否是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界，并且把指示所確定的結(jié)果的控制信號(hào)提供給強(qiáng)度調(diào)整單元152。
[0218]強(qiáng)度調(diào)整單元152生成各種參數(shù)，諸如Bs值、α、β和tc，并且基于這些值和從邊界確定單元151提供的控制信號(hào)來(lái)確定去塊過(guò)濾器的強(qiáng)度。即，當(dāng)前塊邊界不是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界時(shí)，強(qiáng)度調(diào)整單元152基于各種參數(shù)的值(諸如生成的Bs值、α、β和tc)確定去塊過(guò)濾器的強(qiáng)度。此外，當(dāng)前塊邊界是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界時(shí)，例如，強(qiáng)度調(diào)整單元152還以如上所述任何方式基于控制信號(hào)使過(guò)濾器強(qiáng)度變強(qiáng)。
[0219]以這種方式，強(qiáng)度調(diào)整單元152通知過(guò)濾單元153所設(shè)定的過(guò)濾器強(qiáng)度。
[0220]利用強(qiáng)度調(diào)整單元152提供的過(guò)濾器強(qiáng)度，過(guò)濾單元153對(duì)計(jì)算單元110提供的塊邊界的去塊前過(guò)濾器像素值(pre-deblocking filter pixel value)執(zhí)行去塊過(guò)濾處理。過(guò)濾單元153向幀存儲(chǔ)器112提供去塊后的過(guò)濾器像素值以存儲(chǔ)在其中。這種信息在幀內(nèi)或幀間預(yù)測(cè)處理時(shí)使用。
[0221]因而，去塊過(guò)濾器111可以對(duì)正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界執(zhí)行過(guò)濾器處理，使更強(qiáng)的去塊過(guò)濾器被應(yīng)用。從而，圖像質(zhì)量退化被進(jìn)一步抑制。即，圖像編碼設(shè)備100可以抑制由于編碼/解碼造成的圖像質(zhì)量退化。換句話說(shuō)，圖像編碼設(shè)備100可以提聞編碼效率。
[0222][編碼過(guò)程流程]
[0223]接下來(lái)，描述如上所述由圖像編碼設(shè)備100執(zhí)行的個(gè)別處理操作流程。首先，將參考圖14的流程圖描述編碼過(guò)程流程實(shí)例。
[0224]在步驟S101，無(wú)損編碼單元106基于用戶的指令等生成指示是否許可正交變換處理的跳過(guò)的跳過(guò)許可信息(transform_skip_enabled_flag)。例如，跳過(guò)許可信息(transform_skip_enabled_flag)發(fā)送至丨J SPS0
[0225]在步驟S102，A/D轉(zhuǎn)換器101對(duì)輸入的圖像執(zhí)行A/D轉(zhuǎn)換。在步驟S103，屏幕重新布置緩沖區(qū)102存儲(chǔ)通過(guò)A/D轉(zhuǎn)換獲得的圖像并且把相應(yīng)的圖片從顯示次序重新布置成編碼次序。在步驟S104，幀內(nèi)預(yù)測(cè)單元114在幀內(nèi)預(yù)測(cè)模式下執(zhí)行幀內(nèi)預(yù)測(cè)處理。
[0226]在步驟S105，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)處理，其中運(yùn)動(dòng)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償是在幀間預(yù)測(cè)模式下執(zhí)行的。
[0227]在步驟S106，預(yù)測(cè)圖像選擇單元116基于從幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115輸出的每個(gè)成本函數(shù)值確定最優(yōu)模式。即，預(yù)測(cè)圖像選擇單元116選擇由幀內(nèi)預(yù)測(cè)單元114生成的預(yù)測(cè)圖像和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115生成的預(yù)測(cè)圖像之一
[0228]在步驟S107，計(jì)算單元103計(jì)算通過(guò)步驟S103的處理獲得的重新布置的圖像與通過(guò)步驟S106的處理選擇的預(yù)測(cè)圖像之間的差異。與原始圖像數(shù)據(jù)相比，差異數(shù)據(jù)的數(shù)據(jù)量減少了。從而，與圖像被直接編碼的情況相比，數(shù)據(jù)量可以壓縮。
[0229]在步驟S108，正交變換跳過(guò)單元121執(zhí)行正交變換跳過(guò)控制處理。
[0230]在步驟S109，根據(jù)步驟S108的處理結(jié)果，正交變換單元104對(duì)由步驟S107處理生成的差異信息執(zhí)行正交變換處理。
[0231]在步驟S110，根據(jù)步驟S108的處理結(jié)果，利用從速率控制單元117提供的量化參數(shù)，量化單元105量化通過(guò)步驟S109處理獲得的正交變換系數(shù)或正交變換前的差值。
[0232]通過(guò)步驟SllO的處理被量化的差異信息是如下本地解碼的。即，在步驟S111，根據(jù)步驟S108的處理結(jié)果，逆量化單元108對(duì)通過(guò)步驟SllI的處理生成的量化系數(shù)(也稱為量化系數(shù))執(zhí)行逆量化，其中量化系數(shù)具有對(duì)應(yīng)于量化單元105的那些特性。在步驟S112，根據(jù)步驟S108的處理結(jié)果，逆正交變換單元109對(duì)通過(guò)步驟Slll的處理獲得的正交變換系數(shù)或正交變換前的差值執(zhí)行逆正交變換。
[0233]由于步驟Slll和步驟S112中的每個(gè)處理操作的描述對(duì)應(yīng)于要在解碼過(guò)程執(zhí)行的類似處理操作，因此其具體描述將不給出。
[0234]在步驟S113，計(jì)算單元110把預(yù)測(cè)圖像添加到本地解碼的差異信息，以生成本地解碼圖像(對(duì)應(yīng)于輸入到計(jì)算單元103的圖像的圖像)。
[0235]在步驟SI 14，根據(jù)步驟S108的處理結(jié)果，去塊過(guò)濾器111適當(dāng)?shù)貙?duì)通過(guò)步驟SI 13的處理獲得的本地解碼圖像執(zhí)行去塊過(guò)濾處理。
[0236]在步驟S115，幀存儲(chǔ)器112存儲(chǔ)接受通過(guò)步驟S114進(jìn)行的去塊過(guò)濾處理的解碼圖像。另外，不接受由去塊過(guò)濾器111過(guò)濾的圖像也從計(jì)算單元110提供并存儲(chǔ)在幀存儲(chǔ)器112 中。
[0237]在步驟SI 16，無(wú)損編碼單元106通過(guò)步驟SllO編碼量化系數(shù)。即，針對(duì)對(duì)應(yīng)于差異圖像的數(shù)據(jù)執(zhí)行諸如可變長(zhǎng)度編碼或計(jì)算編碼的無(wú)損編碼。
[0238]此外，這個(gè)時(shí)候，無(wú)損編碼單元106編碼關(guān)于通過(guò)步驟S106選擇的預(yù)測(cè)圖像的預(yù)測(cè)模式的信息，并且把編碼信息添加到通過(guò)編碼差異圖像獲得的編碼數(shù)據(jù)。即，無(wú)損編碼單元106還編碼諸如從幀內(nèi)預(yù)測(cè)單元114提供的最優(yōu)幀內(nèi)預(yù)測(cè)模式信息或者根據(jù)從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的最優(yōu)幀間預(yù)測(cè)模式信息的信息，并且把編碼信息添加到編碼數(shù)據(jù)。
[0239]另外，無(wú)損編碼單元106還適當(dāng)?shù)鼐幋a關(guān)于正交變換或量化的信息并且把編碼信息添加到編碼數(shù)據(jù)。
[0240]在步驟S117，累積緩沖區(qū)107累積通過(guò)步驟S116獲得的編碼數(shù)據(jù)。在累積緩沖區(qū)107中累積的編碼數(shù)據(jù)被適當(dāng)?shù)刈x出并通過(guò)傳輸路徑或記錄介質(zhì)發(fā)送到解碼側(cè)。
[0241]在步驟S118，速率控制單元117基于通過(guò)步驟S117在累積緩沖區(qū)107中累積的編碼數(shù)據(jù)的編碼量(生成的編碼量)來(lái)控制量化單元105的量化操作速率，以便不造成上溢或下溢。此外，速率控制單元117把關(guān)于量化參數(shù)的信息提供給量化單元105。
[0242]當(dāng)步驟S118的處理結(jié)束時(shí)，編碼過(guò)程完成。
[0243][正交變換跳過(guò)控制處理流程]
[0244]接下來(lái)，將參考圖15的流程圖描述在圖14的步驟S108執(zhí)行的正交變換跳過(guò)控制處理流程實(shí)例。
[0245]當(dāng)正交變換跳過(guò)控制處理開(kāi)始時(shí)，跳過(guò)確定單元132在步驟S131基于跳過(guò)許可信息(transform_skip_enabled_f lag)確定是否許可執(zhí)行正交變換跳過(guò)的TransformSkip模式。
[0246]當(dāng)確定許可TransformSkip模式時(shí),處理前進(jìn)到步驟S132。在步驟S132,跳過(guò)確定單元132允許TransformSkip模式被包括在候選模式中。當(dāng)步驟S132的處理結(jié)束時(shí),處理前進(jìn)到步驟S134。
[0247]另外，當(dāng)在步驟S132中確定不許可TransformSkip模式時(shí),處理前進(jìn)到步驟S133。在步驟S133,跳過(guò)確定單元132從候選模式中除去TransformSkip模式。當(dāng)步驟S133的處理結(jié)束時(shí)，處理前進(jìn)到步驟S134。
[0248]在步驟S134，跳過(guò)編碼單元131選擇未處理的候選模式。在步驟S135，跳過(guò)編碼單元131確定選定模式是否是正交變換跳過(guò)(TransformSkip)模式。
[0249]當(dāng)確定是正交變換跳過(guò)(TransformSkip)模式時(shí),處理前進(jìn)到步驟S136。在步驟S136，跳過(guò)編碼單元131生成加權(quán)系數(shù)。當(dāng)步驟S136的處理結(jié)束時(shí)，處理前進(jìn)到步驟S139。
[0250]當(dāng)在步驟S135確定選定模式不是正交變換跳過(guò)(TransformSkip)模式時(shí),處理前進(jìn)到步驟S137。在步驟S137，跳過(guò)編碼單元131對(duì)當(dāng)前塊執(zhí)行正交變換。
[0251]在步驟S138，跳過(guò)編碼單元131獲取量化矩陣。
[0252]在步驟S139，跳過(guò)編碼單元131利用正交變換單元104獲得的正交變換系數(shù)或者正交變換前的差值來(lái)執(zhí)行編碼操作，并且生成關(guān)于當(dāng)前模式的成本函數(shù)值。
[0253]在步驟S140，跳過(guò)編碼單元131確定是否所有候選模式都已經(jīng)被處理。當(dāng)存在未處理的候選模式時(shí)，處理返回步驟S134并且重復(fù)執(zhí)行后續(xù)的處理操作。即，步驟S134至步驟S140中的每個(gè)處理都重復(fù)地執(zhí)行，直到關(guān)于所有模式都生成成本函數(shù)值。
[0254]當(dāng)步驟S140中確定所有候選模式都被處理時(shí)，處理前進(jìn)到步驟S141。在步驟S141，跳過(guò)確定單元132基于成本函數(shù)值確定最優(yōu)模式。
[0255]在步驟S142，跳過(guò)確定單元132基于最優(yōu)模式生成跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)。
[0256]當(dāng)步驟S142的處理結(jié)束時(shí)，正交變換跳過(guò)控制處理完成，并且處理返回到圖14所說(shuō)明的處理操作。
[0257][正交變換處理流程]
[0258]接下來(lái)，將參考圖16的流程圖描述要在圖14的步驟S108執(zhí)行的正交變換處理流程實(shí)例。
[0259]當(dāng)正交變換處理開(kāi)始時(shí)，正交變換單元104在步驟S151中確定由跳過(guò)確定單元132選擇的最優(yōu)模式是否是正交變換跳過(guò)(TransformSkip)模式。當(dāng)確定是正交變換跳過(guò)(TransformSkip)模式時(shí)，處理前進(jìn)到步驟S152。
[0260]在步驟S152，正交變換單元104跳過(guò)正交變換處理并且輸出當(dāng)前塊的正交變換前的差值。當(dāng)步驟S152的處理結(jié)束時(shí)，處理返回圖14所說(shuō)明的過(guò)程。
[0261]另外,在圖16的步驟S151,當(dāng)確定不是正交變換跳過(guò)(TransformSkip)模式時(shí),處理前進(jìn)到步驟S153。
[0262]在步驟S153，正交變換單元104對(duì)當(dāng)前塊的正交變換前的差值執(zhí)行正交變換。在步驟S154，正交變換單元104輸出所獲得的正交變換系數(shù)。當(dāng)步驟S154的處理結(jié)束時(shí)，處理返回圖14所說(shuō)明的過(guò)程。
[0263][量化處理流程]
[0264]接下來(lái)，將參考圖17的流程圖描述要在圖14的步驟SllO執(zhí)行的量化處理流程實(shí)例。
[0265]當(dāng)量化處理開(kāi)始時(shí)，加權(quán)系數(shù)生成單元142在步驟S161中確定由跳過(guò)確定單元132選擇的最優(yōu)模式是否是正交變換跳過(guò)(TransformSkip)模式。當(dāng)確定是正交變換跳過(guò)(TransformSkip)模式時(shí)，處理前進(jìn)到步驟S162。
[0266]在步驟S162，加權(quán)系數(shù)生成單元142生成加權(quán)系數(shù)。當(dāng)步驟S162的處理結(jié)束時(shí)，處理前進(jìn)到步驟S164。
[0267]另外，當(dāng)在步驟S161中確定不是正交變換跳過(guò)(TransformSkip)模式時(shí),處理前進(jìn)到步驟S163。
[0268]在步驟S163，加權(quán)系數(shù)生成單元142獲取量化矩陣。當(dāng)步驟S163的處理結(jié)束時(shí)，處理前進(jìn)到步驟S164。
[0269]在步驟S164，量化處理單元143利用在步驟S162中生成的加權(quán)系數(shù)和在步驟S163中獲取的量化矩陣，執(zhí)行當(dāng)前塊的正交變換系數(shù)或者正交變換前的系數(shù)差值的量化。在步驟S165，量化處理單元143把量化矩陣和所應(yīng)用的加權(quán)系數(shù)提供并發(fā)送到無(wú)損編碼單元106。當(dāng)步驟S165的處理結(jié)束時(shí)，量化處理完成，并且處理返回圖14所說(shuō)明的過(guò)程。
[0270][去塊過(guò)濾處理流程]
[0271]接下來(lái)，將參考圖18的流程圖描述要在圖14的步驟S114執(zhí)行的去塊過(guò)濾處理流程實(shí)例。
[0272]當(dāng)去塊過(guò)濾處理開(kāi)始時(shí)，強(qiáng)度調(diào)整單元152在步驟S171中獲取模式信息、運(yùn)動(dòng)矢量、參考幀信息等。
[0273]在步驟S172，強(qiáng)度調(diào)整單元152檢測(cè)TU、PU等的塊邊界。在步驟S173，強(qiáng)度調(diào)整單元152基于這種信息確定Bs值。在步驟S174，通過(guò)把兩個(gè)塊的量化參數(shù)定義為QP_P和QP_Q，強(qiáng)度調(diào)整單元152計(jì)算塊邊界中的量化參數(shù)(邊界QP)，如以下等式(3)那樣。
[0274]QP= (QP_P+QP_Q+1)?1...(3)
[0275]在步驟S175，強(qiáng)度調(diào)整單元152利用如上所述計(jì)算的邊界QP確定β偏移量值和tc偏移量值。在步驟S176，強(qiáng)度調(diào)整單元152通過(guò)處理計(jì)算出的偏移量值而確定過(guò)濾器(強(qiáng)、弱和關(guān)閉)。
[0276]在步驟S177，邊界確定單元151從跳過(guò)確定單元132獲取當(dāng)前塊的控制信號(hào)并且從無(wú)損編碼單元106獲取外圍塊的跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)。
[0277]在步驟S178，邊界確定單元151確定當(dāng)前塊邊界是否是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界。
[0278]當(dāng)確定當(dāng)前塊邊界是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界時(shí)，處理前進(jìn)到步驟S179。在步驟S179，強(qiáng)度調(diào)整單元152調(diào)整去塊過(guò)濾器的強(qiáng)度。當(dāng)步驟S179的處理結(jié)束時(shí)，處理前進(jìn)到步驟S180。
[0279]另外，當(dāng)步驟S178中確定當(dāng)前塊邊界不是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界時(shí)，處理前進(jìn)到步驟S180。
[0280]在步驟S180，過(guò)濾單元153執(zhí)行去塊過(guò)濾處理。當(dāng)步驟S180的處理結(jié)束時(shí)，去塊過(guò)濾處理完成，并且處理返回圖14所說(shuō)明的過(guò)程。
[0281]通過(guò)執(zhí)行如上所述的每個(gè)處理操作，圖像編碼設(shè)備100可以抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0282]<2.第二實(shí)施例>
[0283][圖像解碼設(shè)備]
[0284]接下來(lái)，將描述如上所述編碼的編碼數(shù)據(jù)(編碼流)的解碼。圖19是說(shuō)明對(duì)應(yīng)于圖1圖像編碼設(shè)備100的圖像解碼設(shè)備的主要配置實(shí)例的框圖。
[0285]圖19說(shuō)明的圖像解碼設(shè)備200利用對(duì)應(yīng)于其編碼系統(tǒng)的解碼方法解碼由圖像編碼設(shè)備100生成的編碼數(shù)據(jù)。
[0286]如圖19所說(shuō)明的，圖像解碼設(shè)備200包括累積緩沖區(qū)201、無(wú)損解碼單元202、逆量化單元203、逆正交變換單元204、計(jì)算單元205、去塊過(guò)濾器206、屏幕重新布置緩沖區(qū)207，以及D/A轉(zhuǎn)換器208。此外，圖像解碼設(shè)備200還包括幀存儲(chǔ)器209、選擇單元210、幀內(nèi)預(yù)測(cè)單元211、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212以及選擇單元213。
[0287]此外，圖像解碼設(shè)備200還包括逆正交變換跳過(guò)單元221。
[0288]累積緩沖區(qū)201還是接收發(fā)送到其的編碼數(shù)據(jù)的接收單元。累積緩沖區(qū)201接收并累積發(fā)送到其中的編碼數(shù)據(jù)，并且在預(yù)定時(shí)間把編碼數(shù)據(jù)提供給無(wú)損解碼單元202。解碼必需的信息片段，諸如預(yù)測(cè)模式信息，被添加到編碼數(shù)據(jù)。無(wú)損解碼單元202利用對(duì)應(yīng)于無(wú)損編碼單元106的編碼系統(tǒng)的方法，解碼從累積緩沖區(qū)201提供并由圖1的無(wú)損編碼單元106編碼的信息。無(wú)損解碼單元202把通過(guò)解碼獲得的差異圖像的量化系數(shù)數(shù)據(jù)提供給逆量化單元203。
[0289]此外，無(wú)損解碼單元202確定是選擇了幀內(nèi)預(yù)測(cè)模式還是選擇了幀間預(yù)測(cè)模式作為最優(yōu)預(yù)測(cè)模式，并且把關(guān)于最優(yōu)預(yù)測(cè)模式的信息提供給幀內(nèi)預(yù)測(cè)單元211和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212之一，其中最優(yōu)預(yù)測(cè)模式是被確定要選擇的模式。換句話說(shuō)，例如，在圖像編碼設(shè)備100中選擇幀內(nèi)預(yù)測(cè)模式作為最優(yōu)預(yù)測(cè)模式的情況下，關(guān)于最優(yōu)預(yù)測(cè)模式的信息提供給幀內(nèi)預(yù)測(cè)單元211。此外，例如，在圖像編碼設(shè)備100中選擇幀間預(yù)測(cè)模式作為最優(yōu)預(yù)測(cè)模式的情況下，關(guān)于最優(yōu)預(yù)測(cè)模式的信息提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。
[0290]另外，無(wú)損解碼單元202向逆量化單元203提供諸如像量化矩陣或量化參數(shù)的信息，這些信息是逆量化所需的。另外，無(wú)損解碼單元202向逆正交變換跳過(guò)單元221提供諸如像跳過(guò)許可信息(transform_skip_enabled_flag)或跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)的信息,這些信息是逆正交變換所需的。
[0291]利用對(duì)應(yīng)于圖1量化單元105的量化方法的方法，逆量化單元203基于逆正交變換跳過(guò)單元221的控制，對(duì)通過(guò)無(wú)損解碼單元202的解碼獲得的量化系數(shù)數(shù)據(jù)執(zhí)行逆量化。另外，逆量化單元203是類似于圖1圖像編碼設(shè)備100的逆量化單元108的處理單元。SP，逆量化單元203的描述也可以適用于逆量化單元108的描述。但是，有必要通過(guò)依賴于設(shè)備適當(dāng)?shù)馗淖兤鋪?lái)讀取數(shù)據(jù)的輸入/輸出目的地。
[0292]逆量化單元203向逆正交變換單元204提供所獲得的系數(shù)數(shù)據(jù)。
[0293]基于逆正交變換跳過(guò)單元221的控制，必要時(shí)，利用對(duì)應(yīng)于圖1中正交變換單元104的正交變換方法的方法，逆正交變換單元204執(zhí)行對(duì)要從逆量化單元203提供的系數(shù)數(shù)據(jù)(正交變換系數(shù)或者正交變換前的差值)的逆正交變換。另外，逆正交變換單元204是類似于圖1圖像編碼設(shè)備100的逆正交變換單元109的處理單元。即，逆正交變換單元204的描述也可以適用于逆正交變換單元109的描述。但是，有必要通過(guò)依賴于設(shè)備適當(dāng)?shù)馗淖兤鋪?lái)讀取數(shù)據(jù)的輸入/輸出目的地。
[0294]通過(guò)圖像編碼設(shè)備100的逆正交變換處理，逆正交變換單元204獲得對(duì)應(yīng)于正交變換之前的殘余數(shù)據(jù)的解碼殘余數(shù)據(jù)。通過(guò)逆正交變換獲得的解碼殘余數(shù)據(jù)被提供給計(jì)算單元205。另外，預(yù)測(cè)圖像通過(guò)選擇單元213從幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212提供給計(jì)算單元205。
[0295]計(jì)算單元205把解碼殘余數(shù)據(jù)和預(yù)測(cè)圖像相加，并且獲得對(duì)應(yīng)于預(yù)測(cè)圖像被圖像編碼設(shè)備100的計(jì)算單元103減去之前的圖像數(shù)據(jù)的解碼圖像數(shù)據(jù)。計(jì)算單元205把解碼圖像數(shù)據(jù)提供給去塊過(guò)濾器206。
[0296]去塊過(guò)濾器206對(duì)所提供的解碼圖像適當(dāng)?shù)貓?zhí)行去塊過(guò)濾處理并且把它提供給屏幕重新布置緩沖區(qū)207。通過(guò)對(duì)解碼圖像執(zhí)行去塊過(guò)濾處理，去塊過(guò)濾器206除去解碼圖像的塊失真。另外，去塊過(guò)濾器206是類似于圖1圖像編碼設(shè)備100的去塊過(guò)濾器111的處理單元。
[0297]去塊過(guò)濾器206向屏幕重新布置緩沖區(qū)207和幀存儲(chǔ)器209提供過(guò)濾處理結(jié)果(過(guò)濾處理之后的解碼圖像)。此外，從計(jì)算單元205輸出的解碼圖像可以不經(jīng)過(guò)去塊過(guò)濾器206就提供給屏幕重新布置緩沖區(qū)207或幀存儲(chǔ)器209。換句話說(shuō)，去塊過(guò)濾器206執(zhí)行的過(guò)濾處理可以被略去。
[0298]屏幕重新布置緩沖區(qū)207重新布置圖像。換句話說(shuō)，對(duì)于圖1中屏幕重新布置緩沖區(qū)102的編碼次序重新布置的幀次序以原始顯示次序被重新布置。D/A轉(zhuǎn)換器208D/A轉(zhuǎn)換從屏幕重新布置緩沖區(qū)207提供的圖像并且把該圖像輸出到圖中未示出的顯示器，以在其上顯示該圖像。
[0299]幀存儲(chǔ)器209存儲(chǔ)所提供的解碼圖像并且在預(yù)定時(shí)間或者基于來(lái)自外部(諸如幀內(nèi)預(yù)測(cè)單元211或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212)的請(qǐng)求把所存儲(chǔ)的解碼圖像作為參考圖像提供給選擇單元210。
[0300]選擇單元210選擇從幀存儲(chǔ)器209提供的參考圖像的供應(yīng)目的地。在解碼幀內(nèi)編碼的圖像的情況下，選擇單元210把從幀存儲(chǔ)器209提供的參考圖像提供給幀內(nèi)預(yù)測(cè)單元211。此外，在解碼幀間編碼的圖像的情況下，選擇單元210把從幀存儲(chǔ)器209提供的參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。
[0301]向幀內(nèi)預(yù)測(cè)單元211提供的是適當(dāng)?shù)貋?lái)自無(wú)損解碼單元202的、指示幀內(nèi)預(yù)測(cè)模式的信息等，這種信息是通過(guò)解碼首部信息獲得的。以圖1幀內(nèi)預(yù)測(cè)單元114中所使用的幀內(nèi)預(yù)測(cè)模式，幀內(nèi)預(yù)測(cè)單元211利用從幀存儲(chǔ)器209獲取的參考圖像執(zhí)行幀內(nèi)預(yù)測(cè)，并且生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元211把生成的預(yù)測(cè)圖像提供給選擇單元213。
[0302]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212從無(wú)損解碼單元202獲取通過(guò)解碼首部信息獲得的信息(最優(yōu)預(yù)測(cè)模式信息、參考圖像信息，等等)。
[0303]以從無(wú)損解碼單元202獲取的最優(yōu)預(yù)測(cè)模式指示的幀間預(yù)測(cè)模式，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212利用從幀存儲(chǔ)器209獲取的參考圖像執(zhí)行幀間預(yù)測(cè)，并且生成預(yù)測(cè)圖像。
[0304]選擇單元213把來(lái)自幀內(nèi)預(yù)測(cè)單元211的預(yù)測(cè)圖像或者來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212的預(yù)測(cè)圖像提供給計(jì)算單元205。此外，在計(jì)算單元205，利用運(yùn)動(dòng)矢量生成的預(yù)測(cè)圖像和來(lái)自逆正交變換單元204的解碼殘余數(shù)據(jù)(差異圖像信息)相加，并且原始圖像被解碼。換句話說(shuō)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212、無(wú)損解碼單元202、逆量化單元203、逆正交變換單元204和計(jì)算單元205也是利用運(yùn)動(dòng)矢量解碼編碼數(shù)據(jù)并且生成原始圖像的解碼單元。
[0305]逆正交變換跳過(guò)單元221通過(guò)無(wú)損解碼單元202獲取從編碼側(cè)提供的信息，并且基于該信息控制逆正交變換單元204中逆正交變換處理的執(zhí)行。此外，逆正交變換跳過(guò)單元221還控制由逆量化單元203進(jìn)行的逆量化處理和由去塊過(guò)濾器206進(jìn)行的去塊過(guò)濾處理。
[0306]因而，圖像解碼設(shè)備200可以適當(dāng)?shù)亟獯a編碼數(shù)據(jù)。從而，圖像解碼設(shè)備200可以實(shí)現(xiàn)編碼效率下降的抑制，并且可以實(shí)現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。
[0307][逆正交變換跳過(guò)單元等的配置實(shí)例]
[0308]圖20是說(shuō)明逆正交變換跳過(guò)單元221等的主要配置實(shí)例的框圖。
[0309]如圖20所說(shuō)明的，逆正交變換跳過(guò)單元221配置為包括TransfomSkipFlag緩沖區(qū)231和控制信號(hào)生成單元232。
[0310]TransfomSkipFlag緩沖區(qū)231獲取并在無(wú)損解碼單元202中保持從編碼數(shù)據(jù)(位流)提取出的跳過(guò)許可信息(transform_skip_enabled_flag)或跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)。TransfomSkipFlag緩沖區(qū)231在預(yù)定時(shí)間或者基于需求向控制信號(hào)生成單元232提供所保持的跳過(guò)許可信息(transform_skip_enabled_flag)或跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)。
[0311]控制信號(hào)生成單元232依賴于從TransfomSkipFlag緩沖區(qū)231提供的跳過(guò)許可信息(transform_skip_enabled_flag)或跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)生成控制信號(hào)，并且把該控制信號(hào)提供給逆量化單元203、逆正交變換單元204和去塊過(guò)濾器206。
[0312]例如，當(dāng)正交變換跳過(guò)被跳過(guò)許可信息(transform_skip_enabled_flag)禁用時(shí)，控制信號(hào)生成單元232如下方式提供控制信號(hào)。即，控制信號(hào)生成單元232提供指示逆量化單元203利用量化矩陣執(zhí)行逆量化的控制信號(hào)。此外，控制信號(hào)生成單元232提供指示逆正交變換單元204執(zhí)行逆正交變換的控制信號(hào)。另外，控制信號(hào)生成單元232提供通知去塊過(guò)濾器206當(dāng)前塊不是正交變換跳過(guò)塊的控制信號(hào)。
[0313]此外，例如，當(dāng)正交變換跳過(guò)被跳過(guò)許可信息(transform_skip_enabled_flag)許可、并且通過(guò)跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)識(shí)別出在當(dāng)前塊編碼時(shí)沒(méi)有應(yīng)用正交變換跳過(guò)時(shí)，控制信號(hào)生成單元232以如下方式提供控制信號(hào)。即，控制信號(hào)生成單元232提供指示逆量化單元203利用量化矩陣執(zhí)行逆量化的控制信號(hào)。此外，控制信號(hào)生成單元232提供指示逆正交變換單元204執(zhí)行逆正交變換的控制信號(hào)。另外，控制信號(hào)生成單元232提供通知去塊過(guò)濾器206當(dāng)前塊不是正交變換跳過(guò)塊的控制信號(hào)。即，控制信號(hào)生成單元232可以把跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)作為控制信號(hào)提供給去塊過(guò)濾器206。
[0314]此外，例如，當(dāng)正交變換跳過(guò)被跳過(guò)許可信息(transform_skip_enabled_flag)許可、并且通過(guò)跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)識(shí)別出在當(dāng)前塊編碼時(shí)應(yīng)用正交變換跳過(guò)時(shí)，控制信號(hào)生成單元232以如下方式提供控制信號(hào)。即，控制信號(hào)生成單元232提供指示逆量化單元203利用加權(quán)系數(shù)執(zhí)行逆量化的控制信號(hào)。此外，控制信號(hào)生成單元232提供指示逆正交變換單元204不執(zhí)行逆正交變換的控制信號(hào)。另外，控制信號(hào)生成單元232提供通知去塊過(guò)濾器206當(dāng)前塊是正交變換跳過(guò)塊的控制信號(hào)。即，控制信號(hào)生成單元232可以把跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)作為控制信號(hào)提供給去塊過(guò)濾器206。
[0315]如圖20所說(shuō)明的，逆量化單元203配置為包括量化矩陣緩沖區(qū)241、加權(quán)系數(shù)生成單元242、量化參數(shù)緩沖區(qū)243，以及逆量化單元244。
[0316]量化矩陣緩沖區(qū)241獲取并保持由無(wú)損解碼單元202從編碼數(shù)據(jù)的SPS等提取的量化矩陣。量化矩陣從編碼側(cè)發(fā)送并且在編碼時(shí)使用。量化矩陣緩沖區(qū)241在預(yù)定時(shí)間或者按需把所保持的量化矩陣提供給加權(quán)系數(shù)生成單元242。另外，當(dāng)編碼時(shí)應(yīng)用的加權(quán)系數(shù)從編碼側(cè)發(fā)送時(shí)，量化矩陣緩沖區(qū)241獲取加權(quán)系數(shù)并且把它提供給加權(quán)系數(shù)生成單元242，就像在量化矩陣中一樣。
[0317]加權(quán)系數(shù)生成單元242獲取從控制信號(hào)生成單元232提供的控制信號(hào)。加權(quán)系數(shù)生成單元242基于控制信號(hào)的控制掌握正交變換跳過(guò)是否在編碼時(shí)應(yīng)用到當(dāng)前塊，基于所掌握的信息把量化矩陣或加權(quán)系數(shù)提供給逆量化單元244。
[0318]例如，當(dāng)正交變換跳過(guò)在編碼時(shí)沒(méi)有應(yīng)用到當(dāng)前塊時(shí)，加權(quán)系數(shù)生成單元242向逆量化單元244提供由控制信號(hào)指定的模式的量化矩陣，這個(gè)量化矩陣是從量化矩陣緩沖區(qū)241提供的。
[0319]此外，例如，當(dāng)正交變換跳過(guò)在編碼時(shí)應(yīng)用到當(dāng)前塊時(shí)，加權(quán)系數(shù)生成單元242生成加權(quán)系數(shù)并且把生成的加權(quán)系數(shù)提供給逆量化單元244。
[0320]另外，生成加權(quán)系數(shù)的方法是任意的，只要該方法與編碼側(cè)的方法相同就可以。即，例如，在圖像編碼設(shè)備100，當(dāng)加權(quán)系數(shù)生成單元142提取從量化矩陣設(shè)置單元141提供的量化矩陣的DC分量并且把提取出的DC分量設(shè)置成加權(quán)系數(shù)時(shí)，加權(quán)系數(shù)生成單元242也類似地提取從量化矩陣緩沖區(qū)241提供的量化矩陣的DC分量并且也把提取出的DC分量設(shè)置成加權(quán)系數(shù)。
[0321]另外，在圖像編碼設(shè)備100，當(dāng)加權(quán)系數(shù)生成單元142設(shè)置與從量化矩陣設(shè)置單元141提供的量化矩陣分離的加權(quán)系數(shù)時(shí)，加權(quán)系數(shù)生成單元242也以相同方式設(shè)置與從量化矩陣緩沖區(qū)241提供的量化矩陣分離的加權(quán)系數(shù)。同時(shí)，當(dāng)編碼時(shí)應(yīng)用的加權(quán)系數(shù)從編碼側(cè)提供時(shí)，應(yīng)用該加權(quán)系數(shù)。
[0322]另外，在圖像編碼設(shè)備100，當(dāng)加權(quán)系數(shù)生成單元142從外圍塊的量化矩陣的DC分量計(jì)算加權(quán)系數(shù)時(shí)，加權(quán)系數(shù)生成單元242也以相同方式從外圍塊的量化矩陣的DC分量計(jì)算加權(quán)系數(shù)。
[0323]量化參數(shù)緩沖區(qū)243獲取并保持由無(wú)損解碼單元202從編碼數(shù)據(jù)的SPS等提取出的量化參數(shù)。量化參數(shù)從編碼側(cè)提供并且在編碼時(shí)使用。量化參數(shù)緩沖區(qū)243在預(yù)定時(shí)間或者按需把所保持的量化參數(shù)提供給逆量化單元244。
[0324]逆量化單元244獲取由無(wú)損解碼單元202從編碼數(shù)據(jù)提取的量化系數(shù)。逆量化單元244還從量化參數(shù)緩沖區(qū)243獲取量化參數(shù)并且從加權(quán)系數(shù)生成單元242獲取量化矩陣或加權(quán)系數(shù)。逆量化單元244利用它們逆量化量化系數(shù)。這種逆量化的方法對(duì)應(yīng)于圖像編碼設(shè)備100的量化處理單元143進(jìn)行量化的方法。
[0325]即，例如，當(dāng)正交變換跳過(guò)在編碼時(shí)沒(méi)有應(yīng)用到當(dāng)前塊時(shí)，逆量化單元利用量化矩陣和量化參數(shù)來(lái)逆量化量化系數(shù)，并且把所獲得的正交變換系數(shù)提供給逆正交變換單元204。
[0326]此外，例如，當(dāng)正交變換跳過(guò)在編碼時(shí)應(yīng)用到當(dāng)前塊時(shí)，逆量化單元利用加權(quán)系數(shù)和量化參數(shù)來(lái)逆量化量化系數(shù)，并且把所獲得的正交變換前的差值提供給逆正交變換單元204。
[0327]因而，逆量化單元203可以利用對(duì)應(yīng)于編碼時(shí)的量化方法適當(dāng)?shù)貓?zhí)行逆量化。SP，逆量化單元203可以通過(guò)圖像編碼設(shè)備100的量化單元105適當(dāng)?shù)啬媪炕炕禂?shù)。從而，逆量化單元203可以適當(dāng)?shù)貓?zhí)行逆量化，以便抑制圖像質(zhì)量退化。因此，圖像解碼設(shè)備200可以實(shí)現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。換句話說(shuō)，圖像解碼設(shè)備200可以提高編碼效率。
[0328]基于從控制信號(hào)生成單元232提供的控制信號(hào)，逆正交變換單元204對(duì)從逆量化單元244提供的逆量化系數(shù)適當(dāng)?shù)貓?zhí)行逆正交變換。
[0329]例如，當(dāng)前塊是在編碼時(shí)沒(méi)有對(duì)其應(yīng)用正交變換跳過(guò)的塊時(shí)，逆正交變換單元204基于控制信號(hào)掌握從逆量化單元244提供的逆量化系數(shù)是正交變換系數(shù)。即，以對(duì)應(yīng)于圖像編碼設(shè)備100中正交變換單元104的正交變換的方法，逆正交變換單元204對(duì)正交變換系數(shù)執(zhí)行逆正交變換。因而，充當(dāng)頻率域的值的逆量化系數(shù)被轉(zhuǎn)換成充當(dāng)空間域的值的正交變換前的差值(解碼殘余數(shù)據(jù))。逆正交變換單元204把解碼殘余數(shù)據(jù)提供給計(jì)算單元205。
[0330]此外，例如，當(dāng)前塊是在編碼時(shí)對(duì)其應(yīng)用正交變換跳過(guò)的塊時(shí)，逆正交變換單元204基于控制信號(hào)掌握從逆量化單元244提供的逆量化系數(shù)是正交變換前的差值。逆正交變換單元204把充當(dāng)空間域的值的正交變換前的差值提供給計(jì)算單元205，作為解碼殘余數(shù)據(jù)。
[0331]因而，以對(duì)應(yīng)于編碼時(shí)的正交變換方法，逆正交變換單元204可以適當(dāng)?shù)貓?zhí)行逆正交變換。S卩，例如，逆正交變換單元204可以對(duì)圖像編碼設(shè)備100的正交變換單元104生成的系數(shù)執(zhí)行適當(dāng)?shù)奶幚?。從而，逆正交變換單元204可以適當(dāng)?shù)貓?zhí)行逆正交變換，以便抑制圖像質(zhì)量退化。因此，圖像解碼設(shè)備200可以實(shí)現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。換句話說(shuō)，圖像解碼設(shè)備200可以提高編碼效率。
[0332]如圖20所說(shuō)明的，去塊過(guò)濾器206配置為包括邊界確定單元251、強(qiáng)度調(diào)整單元252，以及過(guò)濾單元253。
[0333]邊界確定單元251是類似于圖像編碼設(shè)備100的邊界確定單元151的處理單元。指示正交變換跳過(guò)是否在編碼時(shí)應(yīng)用到當(dāng)前塊的控制信號(hào)(例如，跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag))提供給邊界確定單元251。邊界確定單元251保持這種信息,確定當(dāng)前塊邊界是否是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界，并且把指示所確定結(jié)果的控制信號(hào)提供給強(qiáng)度調(diào)整單元252。
[0334]強(qiáng)度調(diào)整單元252是類似于圖像編碼設(shè)備100的強(qiáng)度調(diào)整單元152的處理單元。強(qiáng)度調(diào)整單元252生成各種參數(shù)，諸如Bs值、α、β和tc，并且基于這種值和從邊界確定單元251提供的控制信號(hào)確定去塊過(guò)濾器的強(qiáng)度。即，當(dāng)前塊邊界不是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界時(shí)，強(qiáng)度調(diào)整單元252基于諸如生成的Bs值、α、β和tc的各種參數(shù)確定去塊過(guò)濾器的強(qiáng)度。此外，當(dāng)前塊邊界是正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界時(shí)，強(qiáng)度調(diào)整單元252附加地基于控制信號(hào)，例如以類似于以上方式的任何方式，強(qiáng)化過(guò)濾器的強(qiáng)度。與強(qiáng)度調(diào)整單元152相同的方法可以用于過(guò)濾器強(qiáng)度的確定和調(diào)整。即，在編碼時(shí)所應(yīng)用的過(guò)濾器強(qiáng)度被再現(xiàn)。
[0335]強(qiáng)度調(diào)整單元252通知過(guò)濾單元253以這種方式設(shè)置的過(guò)濾器強(qiáng)度。
[0336]過(guò)濾單元253是類似于圖像編碼單元100的過(guò)濾單元153的處理單元。利用從強(qiáng)度調(diào)整單元252提供的過(guò)濾器強(qiáng)度，過(guò)濾單元253對(duì)從計(jì)算單元205提供的塊邊界的解碼殘余數(shù)據(jù)(去塊前的過(guò)濾器像素值)執(zhí)行去塊過(guò)濾處理。過(guò)濾單元253向屏幕重新布置緩沖區(qū)207或幀存儲(chǔ)器209提供去塊后的過(guò)濾器像素值，這個(gè)值是執(zhí)行去塊過(guò)濾處理獲得的。
[0337]因而，去塊過(guò)濾器206可以對(duì)正交變換跳過(guò)塊與非正交變換跳過(guò)塊之間的邊界執(zhí)行過(guò)濾處理，應(yīng)用更強(qiáng)的去塊過(guò)濾。從而，圖像質(zhì)量退化被進(jìn)一步抑制。即，圖像解碼設(shè)備200可以實(shí)現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。換句話說(shuō)，圖像解碼設(shè)備200可以實(shí)現(xiàn)編碼效率的提聞。
[0338][解碼過(guò)程流程]
[0339]接下來(lái)，將描述由以上所述圖像解碼設(shè)備200執(zhí)行的每個(gè)處理操作流程。首先，將參考圖21所說(shuō)明的流程圖描述解碼過(guò)程的流程實(shí)例。
[0340]當(dāng)解碼操作開(kāi)始時(shí)，累積緩沖區(qū)201在步驟S201中累積所發(fā)送的編碼數(shù)據(jù)。在步驟S202，無(wú)損解碼單元202解碼從累積緩沖區(qū)201提供的位流(編碼的差異圖像信息)。即，圖1所說(shuō)明的無(wú)損編碼單元106編碼的I圖片、P圖片和B圖片被解碼。
[0341]此時(shí)，包括在位流中的除差異圖像信息之外的各種類型的信息，諸如首部信息，也被解碼。在步驟S203，逆正交變換跳過(guò)單元221的TransformSkipFlag緩沖區(qū)231獲取在無(wú)損解碼單元202中提取出的跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)。逆正交變換跳過(guò)單元221的控制信號(hào)生成單元232基于跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)生成控制信號(hào)并且把該控制信號(hào)提供給加權(quán)系數(shù)生成單元242、逆正交變換單元204和邊界確定單元251。
[0342]在步驟S204，逆量化單元203逆量化通過(guò)步驟S202的處理操作獲得的量化系數(shù)。在步驟S205，必要時(shí)，逆正交變換單元204對(duì)在步驟S204中獲得的逆量化系數(shù)執(zhí)行逆正交變換。
[0343]在步驟S206，幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212執(zhí)行預(yù)測(cè)處理操作并且生成預(yù)測(cè)圖像。即，預(yù)測(cè)處理操作是在無(wú)損解碼單元202確定、并在編碼時(shí)應(yīng)用的預(yù)測(cè)模式下執(zhí)行的。更具體而言，例如，當(dāng)幀內(nèi)預(yù)測(cè)在編碼時(shí)被應(yīng)用時(shí)，幀內(nèi)預(yù)測(cè)單元211在幀內(nèi)預(yù)測(cè)模式下生成預(yù)測(cè)圖像，其中幀內(nèi)預(yù)測(cè)模式在編碼時(shí)被認(rèn)為是最優(yōu)模式。此外，例如，當(dāng)幀間預(yù)測(cè)在編碼時(shí)被應(yīng)用時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212在幀間預(yù)測(cè)模式下生成預(yù)測(cè)圖像，其中幀間預(yù)測(cè)模式在編碼時(shí)被認(rèn)為是最優(yōu)模式。
[0344]在步驟S207，計(jì)算單元205把在步驟S206生成的預(yù)測(cè)圖像添加到通過(guò)步驟S205中的逆正交變換獲得的差異圖像信息。以這種方式，原始圖像被解碼。
[0345]在步驟S208，去塊過(guò)濾器206對(duì)在步驟S205獲得的解碼圖像適當(dāng)?shù)貓?zhí)行去塊過(guò)濾處理操作。另外，去塊過(guò)濾處理操作是以與編碼時(shí)的去塊過(guò)濾處理操作相同方式執(zhí)行的。即，操作是與參考圖18所說(shuō)明流程圖描述操作的情況下相同方式執(zhí)行的，因此去塊過(guò)濾處理的具體描述不給出。換句話說(shuō)，以上參考圖18所說(shuō)明流程圖的描述可以用作去塊過(guò)濾處理的描述。
[0346]在步驟S209，屏幕重新布置緩沖區(qū)207重新布置在步驟S208中接受過(guò)濾處理的圖像。即，圖像編碼設(shè)備100的屏幕重新布置緩沖區(qū)102以原始顯示次序重新布置幀次序，以進(jìn)行編碼。
[0347]在步驟S210，D/A轉(zhuǎn)換器208對(duì)其中幀次序在步驟S209中重新布置的圖像執(zhí)行D/A轉(zhuǎn)換。圖像輸出到顯示器(未說(shuō)明)并且圖像被顯示。
[0348]在步驟S211，幀存儲(chǔ)器209存儲(chǔ)在步驟S209中接受過(guò)濾處理的圖像。
[0349]當(dāng)步驟S211的處理操作結(jié)束時(shí)，解碼過(guò)程完成。
[0350][逆量化處理流程]
[0351]接下來(lái)，將參考圖22所說(shuō)明的流程圖描述在圖21的步驟S204執(zhí)行的逆量化處理流程實(shí)例。
[0352]當(dāng)逆量化處理開(kāi)始時(shí)，加權(quán)系數(shù)生成單元242在步驟S231中確定當(dāng)前塊是否是正交變換跳過(guò)(TransformSkip)模式。
[0353]當(dāng)確定當(dāng)前塊是正交變換跳過(guò)(TransformSkip)模式時(shí),處理前進(jìn)到步驟S232。在步驟S232，加權(quán)系數(shù)生成單元242生成加權(quán)系數(shù)。當(dāng)步驟S232的處理結(jié)束時(shí)，處理前進(jìn)到步驟S234。
[0354]另外，當(dāng)在步驟S231中確定當(dāng)前塊不是正交變換跳過(guò)(TransformSkip)模式時(shí)，處理前進(jìn)到步驟S233。在步驟S233,加權(quán)系數(shù)生成單元242通過(guò)TransformSkipFlag緩沖區(qū)231獲取量化矩陣。當(dāng)步驟S233的處理結(jié)束時(shí)，處理前進(jìn)到步驟S234。
[0355]在步驟S234，逆量化單元244利用在步驟S232中生成的加權(quán)系數(shù)或者在步驟S233中生成的量化矩陣執(zhí)行逆量化。
[0356]當(dāng)步驟S234的處理結(jié)束時(shí)，逆量化處理完成，并且處理返回圖21所說(shuō)明的處理操作。
[0357][逆正交變換處理流程]
[0358]接下來(lái)，將參考圖23所說(shuō)明的流程圖描述在圖21的步驟S205執(zhí)行的逆正交變換處理流程實(shí)例。
[0359]當(dāng)逆正交變換處理開(kāi)始時(shí)，逆正交變換單元204在步驟S251中確定當(dāng)前塊是否是正交變換跳過(guò)(TransformSkip)模式。
[0360]當(dāng)確定當(dāng)前塊是正交變換跳過(guò)(TransformSkip)模式時(shí)，逆正交變換處理結(jié)束，并且處理返回圖21所說(shuō)明的處理操作。
[0361]另外，當(dāng)在步驟S251中確定當(dāng)前塊不是正交變換跳過(guò)(TransformSkip)模式時(shí)，處理前進(jìn)到步驟S252。在步驟S252，逆正交變換單元204對(duì)逆量化系數(shù)執(zhí)行逆正交變換。
[0362]當(dāng)步驟S252的處理結(jié)束時(shí)，逆正交變換處理完成，處理返回圖21所說(shuō)明的處理操作。
[0363]通過(guò)執(zhí)行如上所述的每個(gè)處理操作，圖像解碼設(shè)備200可以正確地解碼編碼數(shù)據(jù)，由此實(shí)現(xiàn)編碼效率下降的抑制和由于編碼/解碼造成的圖像質(zhì)量退化的抑制。
[0364]另外，上文描述了跳過(guò)許可信息(transform_skip_enabled_flag)被發(fā)送到SPS,但是發(fā)送跳過(guò)許可信息的方法不限于此。
[0365]例如，當(dāng)在一個(gè)序列中存在正交變換跳過(guò)(TransformSkip)無(wú)效的諸如像自然圖像的圖片、和諸如包括包含對(duì)其應(yīng)用正交變換跳過(guò)(TransformSkip)的塊的字幕的圖像的圖片時(shí)，如果正交變換跳過(guò)在序列單元中許可，則跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)必須發(fā)送到該序列中所有圖片的所有塊，因此是低效的。如果正交變換跳過(guò)被禁用，則不需要發(fā)送跳過(guò)標(biāo)識(shí)信息(TransformSkipFlag)。為此，特別地，隨著包含對(duì)其應(yīng)用正交變換跳過(guò)(TransformSkip)的塊的圖片比例變小，存在不必要地降低編碼效率的問(wèn)題。
[0366]因而，正交變換跳過(guò)不限于在序列單元中許可，優(yōu)選地在比序列單元更小的單元中許可。為此，跳過(guò)許可信息可以發(fā)送到位流的任何位置，諸如像除SPS之外的PPS或片首部。當(dāng)然，跳過(guò)許可信息可以與位流分開(kāi)發(fā)送。
[0367]另外，上文描述了跳過(guò)許可信息(transform_skip_enabled_flag)由用戶等設(shè)置，但是跳過(guò)許可信息(transform_skip_enabled_flag)的設(shè)置方法(許可/禁用正交變換跳過(guò)的控制方法)是任意的。例如，跳過(guò)許可信息可以根據(jù)要編碼的圖像內(nèi)容來(lái)設(shè)置。
[0368]例如，當(dāng)正交變換跳過(guò)在初始狀態(tài)下被禁用并且在電子節(jié)目指南(EGP)等中檢測(cè)到節(jié)目類型時(shí)，如果檢測(cè)到的類型是動(dòng)畫(huà)，則優(yōu)選地設(shè)置跳過(guò)許可信息(tranSf0rm_Skip_enabled_flag)，以便許可正交變換跳過(guò)。因而，正交變換跳過(guò)的許可/禁用的控制可以基于移動(dòng)圖像之外的信息來(lái)執(zhí)行。
[0369]此外，例如，CM(商業(yè)廣播)的檢測(cè)在許可正交變換跳過(guò)的狀態(tài)下(例如，節(jié)目是動(dòng)畫(huà)的情況下)執(zhí)行，正交變換跳過(guò)可以在CM廣播期間被禁用，并且正交變換跳過(guò)可以在節(jié)目廣播期間被許可。因而，正交變換跳過(guò)的許可/禁用的控制可以基于分析移動(dòng)圖圖像的內(nèi)容所獲得的分析結(jié)果來(lái)執(zhí)行。
[0370]當(dāng)然，接受這種控制處理的內(nèi)容(移動(dòng)圖像)不限于廣播內(nèi)容。例如，它可以是記錄在諸如像硬盤或Blu-ray (注冊(cè)商標(biāo))盤的記錄介質(zhì)中的內(nèi)容、以及通過(guò)諸如互聯(lián)網(wǎng)的電通信線路從外部下載(或者流化再現(xiàn)的)內(nèi)容。
[0371]〈3.第三實(shí)施例〉
[0372][跳過(guò)許可信息的發(fā)送控制]
[0373]但是，如上所述，正交變換跳過(guò)可以應(yīng)用到4X4亮度正交變換塊(亮度成分的TU)或者4X4色度正交變換塊(色度成分的TU)。
[0374]相反，例如，TU的最小尺寸由在HEVC等中被稱為log2_min_transform_block_size_minus2的語(yǔ)法指定。例如,在圖4所說(shuō)明的序列參數(shù)集(SPS),TU的最小尺寸是由從底部起第六行中指不的log2_min_transform_block_size_minus2指定的。
[0375]當(dāng)log2_min_transform_block_size_minus2 指定的最小尺寸大于 4X4 時(shí)，4X4的正交變換塊(TU)不存在。即，這種情況下，不可能應(yīng)用正交變換跳過(guò)(TransformSkip)。從而，不需要發(fā)送指示是否許可/禁用正交變換跳過(guò)(TransformSkip)的跳過(guò)許可信息(transform_skip_enabled_flag)。換句話說(shuō)，當(dāng)不管TU的最小尺寸大于4X4而發(fā)送跳過(guò)許可信息時(shí)，信息量不必要地增加，因此編碼效率會(huì)不必要地降低。
[0376]這里，如上所述，當(dāng)TU的最小尺寸大于4X4時(shí)，跳過(guò)許可信息的發(fā)送可以被略去。換句話說(shuō)，跳過(guò)許可信息可以只在TU的最小尺寸是4X4(或者更小)的情況下(只在存在具有尺寸4X4的TU的情況下)發(fā)送。
[0377][序列參數(shù)集中的發(fā)送]
[0378]跳過(guò)許可信息(transform_skip_enabled_flag)的發(fā)送方法是任意的。例如,跳過(guò)許可信息可以發(fā)送到序列參數(shù)集(SPS)。這種情況下SPS的語(yǔ)法的一些例子在圖24中說(shuō)明。
[0379]如圖24所說(shuō)明的，指示正交變換塊(TU)的最小尺寸的log2_min_transform_block_size_minus2 在圖 24 中從頂部起第五行中設(shè)置。log2_min_transform_block_size_minus2是指示對(duì)應(yīng)于SPS的序列中正交變換塊(TU)的最小尺寸的語(yǔ)法。
[0380]相反，如在圖24中從底部起第五行中所指示的，確認(rèn)TU的最小尺寸是否是 4 X 4 (if (log2_min_transform_block_size_minus2 = = O)),并且跳過(guò)許可信息(transform_skip_enabled_flag)只在TU的最小尺寸是4X4的情況下設(shè)置，如在圖24中從底部起第四行中所指示的。即，跳過(guò)許可信息只在TU的最小尺寸是4X4的情況下發(fā)送；否則，它被控制成使其不發(fā)送。另外，這種情況下，跳過(guò)許可信息(transform_skip_enabled_flag)只在 SPS 中發(fā)送。此外，當(dāng)跳過(guò)許可信息(transform_skip_enabled_flag)被設(shè)置時(shí)，該值是基于諸如任何信息(如，用戶指令)設(shè)置的。
[0381]此外，跳過(guò)許可信息的發(fā)送控制是由無(wú)損編碼單元106執(zhí)行的。從而，圖像編碼設(shè)備100可以僅必要時(shí)發(fā)送跳過(guò)許可信息，由此抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0382][到圖片參數(shù)集的發(fā)送]
[0383]此外,跳過(guò)許可信息(transform_skip_enabled_flag)可以發(fā)送到例如圖片參數(shù)集(PPS)。這種情況下的PPS的語(yǔ)法的一些例子在圖25中說(shuō)明。
[0384]如圖25所說(shuō)明的,指示正交變換塊(TU)的最小尺寸的pps_log2_min_transform_block_size_minus2是在圖25中從頂部起第三行中設(shè)置的。pps_log2_min_transform_block_size_minus2是指示對(duì)應(yīng)于PPS的圖片中正交變換塊(TU)的最小尺寸的語(yǔ)法。即，即使當(dāng)上述 log2_min_transform_block_size_minus2 在 SPS 中設(shè)置時(shí)，pps_log2_min_transform_block_size_minus2也可以在PPS中設(shè)置。但是，這種情況下，跳過(guò)許可信息(transform_skip_enabled_flag)只在 PPS 中發(fā)送。
[0385]相反，如在圖25中從頂部起第四行中指示的，確認(rèn)TU的最小尺寸是否是4X4(if (pps_log2_min_transform_block_size_minus2 = = O)),并且跳過(guò)許可信息(transform_skip_enabled_flag)只在TU的最小尺寸是4X4的情況下設(shè)置，如在圖25中從頂部起第五行中指示的。即，即使這種情況下，跳過(guò)許可信息也只在TU的最小尺寸是4X4的情況下發(fā)送；否則，它被控制成使其不發(fā)送。當(dāng)跳過(guò)許可信息(transform_skip_enabled_flag)被設(shè)置時(shí)，該值是基于諸如任何信息(像用戶指令)設(shè)置的。
[0386]即使這種情況下，跳過(guò)許可信息的發(fā)送控制也是由無(wú)損編碼單元106執(zhí)行的。從而，圖像編碼設(shè)備100可以僅必要時(shí)發(fā)送跳過(guò)許可信息，由此抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0387]另外，PPS中 pps_log2_min_transform_block_size_minus2 的語(yǔ)法的位置不限于圖25的例子。pps_log2_min_transform_block_size_minus2可以在跳過(guò)許可信息(transform_skip_enabled_flag)位置前面的位置設(shè)置。因而，它使得SPS和PPS就解析而言是獨(dú)立的，并且它們都可以獨(dú)立地被解碼。
[0388][發(fā)送到片首部]
[0389]另外，雖然沒(méi)有說(shuō)明，但是跳過(guò)許可信息(transform_skip_enabled_flag)可以發(fā)送到例如片首部。
[0390]在片首部，log2_min_transform_block_size_minus2沒(méi)有設(shè)置。在片中，設(shè)置該片所屬的圖片。SP，引用 PPS 的 pps_log2_min_transform_block_size_minus2。
[0391]在片首部，跳過(guò)許可信息是如下設(shè)置的。
[0392]if(pps_log2_min_transform_block_size_minus2 = = O){
[0393]transcorm_skip_enabled_flag
[0394]}
[0395]S卩，這種情況下，跳過(guò)許可信息(transform_skip_enabled_flag)以與PPS情況下相同方式設(shè)置。但是，這種情況下，跳過(guò)許可信息(transform_skip_enabled_flag)只在片首部中發(fā)送。
[0396]即使這種情況下，跳過(guò)許可信息也只在TU的最小尺寸是4X4的情況下發(fā)送；否貝1J，它被控制成使其不發(fā)送。此外，當(dāng)跳過(guò)許可信息(transform_skip_enabled_flag)被設(shè)置時(shí)，該值是基于諸如任何信息(像用戶指令)設(shè)置的。另外，跳過(guò)許可信息的發(fā)送控制是由無(wú)損編碼單元106執(zhí)行的。
[0397]從而，圖像編碼設(shè)備100可以僅必要時(shí)發(fā)送跳過(guò)許可信息，由此抑制編碼效率的降低，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0398]如上所述，跳過(guò)許可信息的發(fā)送控制可以在任意單元中執(zhí)行。當(dāng)然，它可以是除上述實(shí)例之外的單元。
[0399][跳過(guò)許可信息生成處理流程]
[0400]接下來(lái)，將參考圖26中的流程圖描述跳過(guò)許可信息生成處理流程實(shí)例，該處理如上所述控制跳過(guò)許可信息的發(fā)送。
[0401 ] 如果在正交變換處理之前執(zhí)行，這個(gè)處理操作可以在任何時(shí)間執(zhí)行，但是，例如，它可以在圖14中編碼過(guò)程的步驟SlOl中執(zhí)行。
[0402]當(dāng)跳過(guò)許可信息生成處理開(kāi)始時(shí)，無(wú)損編碼單元106在步驟S301中設(shè)置log2_min—transform—block—size—minus2ο
[0403]在步驟S302，無(wú)損編碼單元106確定正交變換塊(TU)的最小尺寸是否是4X4 (或更小)。
[0404]如果“O”被步驟S301 的處理設(shè)置成 log2_min_transform_block_size_minus2 的值，并且確定正交變換塊(TU)的最小尺寸是4X4(或更小)，則處理前進(jìn)到步驟S303。
[0405]在步驟S303,無(wú)損編碼單元106設(shè)置跳過(guò)許可信息(transform_skip_enabled_flag)。當(dāng)步驟S303的處理結(jié)束時(shí)，跳過(guò)許可信息生成處理完成，并且處理操作返回例如圖14中的編碼過(guò)程。
[0406]另外，如果“I”或更大被圖26的步驟S301的處理設(shè)置成log2_min_transform_block_size_minus2的值，并且確定正交變換塊(TU)的最小尺寸大于4X4，則步驟S303的處理(跳過(guò)許可信息(transform_skip_enabled_flag)的設(shè)置)被略去,跳過(guò)許可信息生成處理完成，并且處理操作返回例如圖14中的編碼過(guò)程。
[0407]如上所述，通過(guò)跳過(guò)許可信息生成處理，圖像編碼設(shè)備100可以抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0408]另外，圖26說(shuō)明了當(dāng)跳過(guò)許可信息發(fā)送到SPS時(shí)跳過(guò)許可信息生成處理流程的描述，但是該處理即使在跳過(guò)許可信息發(fā)送到PPS或片首部的時(shí)候也可以應(yīng)用。在跳過(guò)許可信息發(fā)送到PPS或片首部的情況下，由于處理操作的流程基本上與參考圖26所描述的處理操作的流程相似(除了在步驟S301中設(shè)置的語(yǔ)法是PPS的pps_log2_min_transform_block_size_minus2之外)，因此對(duì)其的描述將不給出。
[0409][圖像解碼設(shè)備中跳過(guò)許可信息的接收]
[0410]當(dāng)跳過(guò)許可信息的發(fā)送在圖像編碼設(shè)備100中如上所述地被控制時(shí)，存在跳過(guò)許可信息被發(fā)送的情況和跳過(guò)許可信息不被發(fā)送的情況。因此，以類似方式，圖像解碼設(shè)備200可以根據(jù)正交變換塊(TU)的最小尺寸的設(shè)置控制是否接受(是否接收)跳過(guò)許可信息。因而，圖像解碼設(shè)備200可以抑制不必要等待時(shí)間(例如等待未發(fā)送的跳過(guò)許可信息的時(shí)間)的增加。
[0411]即，就像在圖像編碼設(shè)備一樣，參考發(fā)送到SPS的log2_min_transform_block_size_minus2 和發(fā)送到 PPS 的 pps_log2_min_transform_block_size_minus2,圖像解碼設(shè)備200基于值(依賴于TU的最小尺寸是否是4X4)控制是否接收跳過(guò)許可信息。例如，這種控制是由圖像解碼設(shè)備200的無(wú)損解碼單元202執(zhí)行的。
[0412][跳過(guò)許可信息接收處理流程]
[0413]接下來(lái)，將參考圖27的流程圖描述跳過(guò)許可信息接收處理流程實(shí)例，該處理控制如上所述跳過(guò)許可信息的發(fā)送。這個(gè)處理操作可以在獲取跳過(guò)標(biāo)識(shí)信息(TransfomSkipFlag)之前(例如，在圖21的步驟S203之前)執(zhí)行。
[0414]當(dāng)跳過(guò)許可信息接收處理開(kāi)始時(shí)，無(wú)損解碼單元202在步驟S321中接收l(shuí)og2_min_transform_block_size_minus2o在步驟S322,無(wú)損解碼單元202基于接收到的值確定TU的最小尺寸是否是4 X 4 (或更小)。
[0415]如果log2_min_transform_block_size_minus2 的值是“O”并且確定 TU 的最小尺寸是4 X 4 (或更小)，則處理前進(jìn)到步驟S323。在步驟S323，無(wú)損解碼單元202執(zhí)行跳過(guò)許可信息(transform_skip_enabled_flag)的接收。當(dāng)步驟S323的處理結(jié)束時(shí),跳過(guò)許可信息接收處理完成，并且處理操作返回例如圖21中的解碼過(guò)程。
[0416]另外，如果在圖27 的步驟 S322 中 log2_min_transform_block_size_minus2 的值是“ I”或更大并且確定TU的最小尺寸大于4X4，則跳過(guò)許可信息接收處理完成，并且處理操作返回例如圖21中的解碼過(guò)程。
[0417]如上所述，通過(guò)跳過(guò)許可信息接收處理，圖像解碼設(shè)備200可以抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0418]另外，圖27說(shuō)明了當(dāng)跳過(guò)許可信息發(fā)送到SPS時(shí)跳過(guò)許可信息接收處理的流的描述，并且該描述即使在跳過(guò)許可信息發(fā)送到PPS或片首部的時(shí)候也適用，因?yàn)樘幚聿僮鞯牧鞒袒旧吓c參考圖27描述的處理操作的流程相似(除步驟S321中接收的語(yǔ)法是PPS的pps_log2_min_transform_block_size_minus2 之外)，因而對(duì)其的描述將不給出。
[0419]以上描述是基于HEVC編碼系統(tǒng)進(jìn)行的，但是本技術(shù)的范圍不限于此，本技術(shù)可以應(yīng)用到基于如非專利文檔2中建議的利用正交變換跳過(guò)(TransformSkip)的編碼系統(tǒng)的所有圖像信息編碼設(shè)備和解碼設(shè)備。
[0420]〈4.第四實(shí)施例〉
[0421][對(duì)多圖像點(diǎn)編碼/多視點(diǎn)圖像解碼的應(yīng)用]
[0422]以上所述的處理操作序列可以應(yīng)用到多視點(diǎn)圖像編碼/多視點(diǎn)圖像解碼。圖28說(shuō)明了多視點(diǎn)圖像編碼系統(tǒng)的實(shí)例。
[0423]如圖28所說(shuō)明的，多視點(diǎn)圖像包括來(lái)自多個(gè)視點(diǎn)的圖像，并且來(lái)自多個(gè)視點(diǎn)當(dāng)中預(yù)定視點(diǎn)的圖像被指定為基本視圖圖像。來(lái)自基本視圖圖像之外的每個(gè)視點(diǎn)的圖像被看作非基本視圖圖像。
[0424]在執(zhí)行像圖28這種多視點(diǎn)圖像編碼的情況下，量化參數(shù)的差異可以在單個(gè)的視圖(相同的視圖)中取得。
[0425](I)基本視圖:
[0426](1-1) dQP (基本視圖)=Current_CU_QP (基本視圖)_LCU_QP (基本視圖)
[0427](1-2) dQP (基本視圖)=Current_CU_QP (基本視圖)-Previsous_CU_QP (基本視圖)
[0428](1-3) dQP (基本視圖)=Current_CU_QP (基本視圖)_Slice_QP (基本視圖)
[0429](2)非基本視圖:
[0430](2-1) dQP (非基本視圖)=Current_CU_QP (非基本視圖)_LCU_QP (非基本視圖)
[0431](2-2) dQP (非基本視圖)=CurrentQP (非基本視圖)-PrevisousQP (非基本視圖)
[0432](2-3) dQP (非基本視圖)=Current_CU_QP (非基本視圖)_Slice_QP (非基本視圖)
[0433]在執(zhí)行多視點(diǎn)圖像編碼的情況下，量化參數(shù)的差異可以在單個(gè)的視圖(不同的視圖)中取得。
[0434](3)基本視圖/非基本視圖:
[0435](3-1) dQP (幀間視圖)=Slice_QP (基本視圖)_Slice_QP (非基本視圖)
[0436](3-2) dQP (幀間視圖)=LCU_QP (基本視圖)_LCU_QP (非基本視圖)
[0437](4)非基本視圖/非基本視圖:
[0438](4-1) dQP (幀間視圖)=Slice_QP (非基本視圖1) _Slice_QP (非基本視圖j)
[0439](4-2) dQP (幀間視圖)=LCU_QP (非基本視圖1) _LCU_QP (非基本視圖j)
[0440]這種情況下，以上所述的項(xiàng)⑴至⑷可以組合使用。例如，在非基本視圖，可以考慮以片級(jí)為基礎(chǔ)取得基本視圖與非基本視圖之間量化參數(shù)的差異的技術(shù)(組合使用3-1和2-3)和以LCU級(jí)為基礎(chǔ)取得基本視圖與非基本視圖之間量化參數(shù)的差異的技術(shù)(組合使用3-2和2-1)。從而，即使在執(zhí)行多視點(diǎn)編碼的情況下，也有可能通過(guò)重復(fù)應(yīng)用差異來(lái)提高編碼效率。
[0441]類似于以上所述的技術(shù)，還有可能設(shè)置關(guān)于上述每個(gè)dQP識(shí)別其值非O的dQP是否存在的標(biāo)記。
[0442][多視點(diǎn)圖像編碼設(shè)備]
[0443]圖29是說(shuō)明執(zhí)行上述多視點(diǎn)圖像編碼的多視點(diǎn)圖像編碼設(shè)備的圖。如圖29所說(shuō)明的，多視點(diǎn)圖像編碼設(shè)備600包括編碼單元601、編碼單元602以及多路復(fù)用器603。
[0444]編碼單兀601編碼基本視圖圖像并且生成基本視圖圖像編碼流。編碼單兀602編碼非基本視圖圖像并且生成非基本視圖圖像編碼流。多路復(fù)用器603多路復(fù)用在編碼單元601中生成的基本視圖圖像編碼流和在編碼單元602中生成的非基本視圖圖像編碼流，并且生成多視點(diǎn)圖像編碼流。
[0445]圖像編碼設(shè)備100 (圖1)可以應(yīng)用到多視點(diǎn)圖像編碼設(shè)備600的編碼單元601和編碼單元602。這種情況下，多視點(diǎn)圖像編碼設(shè)備600設(shè)置由編碼單元601設(shè)置的量化參數(shù)與由編碼單元602設(shè)置的量化參數(shù)之間的差值，并且發(fā)送該差值。
[0446]此外，正交變換跳過(guò)處理可以在編碼單元601和編碼單元602中各自對(duì)每個(gè)視圖獨(dú)立地執(zhí)行。此外，量化處理、去塊過(guò)濾處理等也可以在編碼單元601和編碼單元602中各自對(duì)每個(gè)視圖獨(dú)立地執(zhí)行。這種情況下，諸如量化矩陣、各種標(biāo)記和加權(quán)系數(shù)的信息包括在例如用于每個(gè)視圖的編碼流，因此信息從編碼單元601和編碼單元602提供給多路復(fù)用器603。所提供的信息在多路復(fù)用器603中多路復(fù)用，然后在被包括在多視點(diǎn)圖像編碼流中的狀態(tài)下發(fā)送到解碼側(cè)。
[0447]另外，關(guān)于一些或全部正交變換跳過(guò)處理、量化處理和去塊過(guò)濾處理，編碼單元601和編碼單元602某個(gè)的處理可以在另一個(gè)的處理中反映。另外，一些或全部信息，諸如包括跳過(guò)許可信息或跳過(guò)標(biāo)識(shí)信息在內(nèi)的關(guān)于正交變換處理的跳過(guò)的信息、關(guān)于量化的信息以及關(guān)于去塊過(guò)濾器的信息，可以在編碼單元601和編碼單元602中共享。例如，對(duì)編碼單元601中的基本視圖圖像執(zhí)行正交變換跳過(guò)處理、量化處理和去塊過(guò)濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元602、并且在編碼單元602執(zhí)行非基本視圖圖像的這種處理操作中反映。當(dāng)然，反過(guò)來(lái)，對(duì)編碼單元602中的非基本視圖圖像執(zhí)行正交變換跳過(guò)處理、量化處理和去塊過(guò)濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元601、并且在編碼單元601執(zhí)行的基本視圖圖像的這種處理操作中反映。
[0448][多視點(diǎn)圖像解碼設(shè)備]
[0449]圖30是說(shuō)明執(zhí)行上述多視點(diǎn)圖像解碼的多視點(diǎn)圖像解碼設(shè)備的圖。如圖30所說(shuō)明的，多視點(diǎn)圖像解碼設(shè)備610包括多路分解器611、解碼單元612以及解碼單元613。
[0450]多路分解器611解除多視點(diǎn)圖像編碼流的多路復(fù)用，其中基本視圖圖像編碼流和非基本視圖圖像編碼流被多路復(fù)用，并且提取基本視圖圖像編碼流和非基本視圖圖像編碼流。解碼單元612解碼由多路分解器611提取的基本視圖圖像編碼流并且獲得基本視圖圖像。解碼單元613解碼由多路分解器611提取的非基本視圖圖像編碼流并且獲得非基本視圖圖像。
[0451]圖像解碼設(shè)備200 (圖19)可以應(yīng)用到多視點(diǎn)圖像解碼設(shè)備610的解碼單元612和解碼單元613。這種情況下，多視點(diǎn)圖像解碼設(shè)備610的解碼單元612和解碼單元613利用多視點(diǎn)圖像編碼設(shè)備的編碼單元601設(shè)置的量化參數(shù)與編碼單元602設(shè)置的量化參數(shù)之間的差值設(shè)置量化參數(shù)，并且執(zhí)行逆量化。
[0452]此外，正交變換跳過(guò)處理可以在解碼單元612和解碼單元613中各自對(duì)每個(gè)視圖獨(dú)立地執(zhí)行。此外，逆量化處理、去塊過(guò)濾處理等也可以在解碼單元612和解碼單元613中各自對(duì)每個(gè)視圖獨(dú)立地執(zhí)行。這種情況下，諸如包括在多視點(diǎn)圖像編碼流中并且從編碼側(cè)發(fā)送的量化矩陣、各種標(biāo)記和加權(quán)系數(shù)的信息在多路分解器611中對(duì)每個(gè)視圖分離，然后在被包括在用于每個(gè)視圖的編碼流中的狀態(tài)下提供給解碼單元612和解碼單元613。
[0453]另外，關(guān)于一些或全部逆正交變換跳過(guò)處理、逆量化處理和去塊過(guò)濾處理，解碼單元612和解碼單元613可以彼此反映。另外，一些或全部信息，諸如包括跳過(guò)許可信息或跳過(guò)標(biāo)識(shí)信息在內(nèi)的關(guān)于逆正交變換處理的跳過(guò)的信息、關(guān)于逆量化的信息以及關(guān)于逆去塊過(guò)濾器的信息，可以在解碼單元612和解碼單元613中共享。例如，通過(guò)對(duì)解碼單元612中的基本視圖圖像編碼流執(zhí)行逆正交變換跳過(guò)處理、逆量化處理和去塊過(guò)濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給解碼單元613、并且在解碼單元613執(zhí)行的非基本視圖圖像的這種處理操作中反映(例如，重復(fù)處理略去)。當(dāng)然，反過(guò)來(lái)，通過(guò)對(duì)解碼單元613中的非基本視圖圖像執(zhí)行逆正交變換跳過(guò)處理、逆量化處理和去塊過(guò)濾處理獲得的一些或全部處理過(guò)的結(jié)果(或者所獲得的信息等)可以提供給解碼單元612、并且在解碼單元612執(zhí)行的基本視圖圖像的這種處理操作中反映(例如，重復(fù)處理略去)。
[0454]<5.第五實(shí)施例>
[0455][對(duì)分級(jí)圖像點(diǎn)編碼/分級(jí)圖像解碼的應(yīng)用]
[0456]以上所述處理操作的序列可以應(yīng)用到分級(jí)圖像編碼/分級(jí)圖像解碼。圖31說(shuō)明了多視點(diǎn)圖像編碼系統(tǒng)的實(shí)例。
[0457]如圖31所說(shuō)明的，分級(jí)圖像包括處于多個(gè)層(分辨率)中的圖像，并且多個(gè)分辨率中預(yù)定層的圖像被指定為基本層圖像。除基本層圖像之外的每層圖像被視為非基本層圖像。
[0458]在執(zhí)行如圖31所說(shuō)明的分級(jí)圖像編碼(空間可伸縮性)的情況下，量化參數(shù)的差異可以在每一層(相同的層)中取得。
[0459](I)基本層:
[0460](1-1) dQP (基本層)=Current_CU_QP (基本層)_LCU_QP (基本層)
[0461](1-2) dQP (基本層)=Current_CU_QP (基本層)-Previsous_CU_QP (基本層)
[0462](1-3) dQP (基本層)=Current_CU_QP (基本層)_Slice_QP (基本層)
[0463](2)非基本層:
[0464](2-1) dQP (非基本層)=Current_CU_QP (非基本層)_LCU_QP (非基本層)
[0465](2-2) dQP (非基本層)=CurrentQP (非基本層)-PrevisousQP (非基本層)
[0466](2-3) dQP (非基本層)=Current_CU_QP (非基本層)_Slice_QP (非基本層)
[0467]在分層編碼的情況下，量化參數(shù)的差異可以在每一層(不同的層)中取得。
[0468](3)基本層/非基本層:
[0469](3_l)dQP(幀間層)=Slice_QP(基本層)_Slice_QP(非基本層)
[0470](3-2) dQP (幀間層)=LCU_QP (基本層)_LCU_QP (非基本層)
[0471](4)非基本層/非基本層
[0472](4-1) dQP (幀間層)=Slice_QP (非基本層 i) _Slice_QP (非基本層 j)
[0473](4-2) dQP (幀間層)=LCU_QP (非基本層 i) _LCU_QP (非基本層 j)
[0474]這種情況下，以上所述的項(xiàng)⑴至⑷可以組合使用。例如，在非基本層，可以考慮以片級(jí)為基礎(chǔ)取得基本層與非基本層之間量化參數(shù)的差異的技術(shù)(組合使用3-1和2-3)和以LCU級(jí)為基礎(chǔ)取得基本層與非基本層之間量化參數(shù)的差異的技術(shù)(組合使用3-2和2-1)。從而，即使在執(zhí)行分層編碼的情況下也有可能通過(guò)重復(fù)應(yīng)用差異來(lái)提高編碼效率。
[0475]類似于以上所述技術(shù)，還有可能設(shè)置關(guān)于上述每個(gè)dQP識(shí)別其值非O的dQP是否存在的標(biāo)記。
[0476][分級(jí)圖像編碼設(shè)備]
[0477]圖32是說(shuō)明執(zhí)行上述分級(jí)圖像編碼的分級(jí)圖像編碼設(shè)備的圖。如圖32所說(shuō)明的，分級(jí)圖像編碼設(shè)備620包括編碼單元621、編碼單元622和多路復(fù)用器623。
[0478]編碼單元621編碼基本層圖像并且生成基本層圖像編碼流。編碼單元622編碼非基本層圖像并且生成非基本層圖像編碼流。多路復(fù)用器623多路復(fù)用在編碼單元621中生成的基本層圖像編碼流和在編碼單元622中生成的非基本層圖像編碼流，并且生成分級(jí)圖像編碼流。
[0479]圖像編碼設(shè)備100 (圖1)可以應(yīng)用到分級(jí)圖像編碼設(shè)備620的編碼單兀621和編碼單元622。這種情況下，分級(jí)圖像編碼設(shè)備620設(shè)置由編碼單元621設(shè)置的量化參數(shù)與由編碼單元622設(shè)置的量化參數(shù)之間的差值，并且發(fā)送該差值。
[0480]此外，正交變換跳過(guò)處理可以在編碼單元621和編碼單元622中各自對(duì)每一層獨(dú)立地執(zhí)行。此外，量化處理、去塊過(guò)濾處理等也可以在編碼單元621和編碼單元622中各自對(duì)每一層獨(dú)立地執(zhí)行。這種情況下，諸如量化矩陣、各種標(biāo)記和加權(quán)系數(shù)的信息包括在例如用于每一層的編碼流，因此信息從編碼單元621和編碼單元622提供給多路復(fù)用器623。所提供的信息在多路復(fù)用器623中被多路復(fù)用，然后在包括在分級(jí)圖像編碼流中的狀態(tài)下發(fā)送到解碼側(cè)。
[0481]另外，關(guān)于一些或全部正交變換跳過(guò)處理、量化處理和去塊過(guò)濾處理，編碼單元621和編碼單元622某個(gè)的處理可以在另一個(gè)當(dāng)中反映。另外，一些或全部信息，諸如包括跳過(guò)許可信息或跳過(guò)標(biāo)識(shí)信息在內(nèi)的關(guān)于正交變換處理的跳過(guò)的信息、關(guān)于量化的信息以及關(guān)于去塊過(guò)濾器的信息，可以在編碼單元621和編碼單元622中共享。例如，對(duì)編碼單元621中的基本層圖像執(zhí)行正交變換跳過(guò)處理、量化處理和去塊過(guò)濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元622、并且在編碼單元622執(zhí)行的非基本層圖像的這種處理操作中反映(例如，重復(fù)處理略去)。當(dāng)然，反過(guò)來(lái)，對(duì)編碼單元622中的非基本層圖像執(zhí)行正交變換跳過(guò)處理、量化處理和去塊過(guò)濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元621、并且在編碼單元621執(zhí)行的基本層圖像的這種處理操作中反映(例如，重復(fù)處理略去)。
[0482][分級(jí)圖像解碼設(shè)備]
[0483]圖33是說(shuō)明執(zhí)行上述分級(jí)圖像解碼的分級(jí)圖像解碼設(shè)備的圖。如圖33所說(shuō)明的，分級(jí)圖像解碼設(shè)備630包括多路分解器631、解碼單元632以及解碼單元633。
[0484]多路分解器631多路分解分級(jí)圖像編碼流，其中基本層圖像編碼流和非基本層圖像編碼流在其中被多路復(fù)用，并且提取基本層圖像編碼流和非基本層圖像編碼流。解碼單元632解碼多路分解器631提取的基本層圖像編碼流并且獲得基本層圖像。解碼單元613解碼多路分解器631提取的非基本層圖像編碼流并且獲得非基本層圖像。
[0485]圖像解碼設(shè)備200 (圖19)可以應(yīng)用到分級(jí)圖像解碼設(shè)備630的解碼單元632和解碼單元633。這種情況下，分級(jí)圖像解碼設(shè)備630的解碼單元632和解碼單元633利用由分級(jí)圖像編碼設(shè)備620的編碼單元621設(shè)置的量化參數(shù)與編碼單元622設(shè)置的量化參數(shù)之間的差值設(shè)置量化參數(shù)，并且執(zhí)行逆量化。
[0486]此外，正交變換跳過(guò)處理可以在解碼單元632和解碼單元633中各自對(duì)每個(gè)視圖獨(dú)立地執(zhí)行。此外，逆量化處理、去塊過(guò)濾處理等也可以在解碼單元632和解碼單元633中獨(dú)立地執(zhí)行。這種情況下，諸如包括在分級(jí)圖像編碼流中并且從編碼側(cè)發(fā)送的量化矩陣、各種標(biāo)記和加權(quán)系數(shù)的信息在多路分解器631中對(duì)每一層分離,然后在被包括在每一層的編碼流中的狀態(tài)下提供給解碼單元632和解碼單元633。
[0487]另外，關(guān)于一些或全部逆正交變換跳過(guò)處理、逆量化處理和去塊過(guò)濾處理，解碼單元632和解碼單元633可以彼此反映。另外，一些或全部信息，諸如包括跳過(guò)許可信息或跳過(guò)標(biāo)識(shí)信息之內(nèi)的關(guān)于逆正交變換處理的跳過(guò)的信息、關(guān)于逆量化的信息以及關(guān)于逆去塊過(guò)濾器的信息，可以在解碼單元632和解碼單元633中共享。例如，通過(guò)對(duì)解碼單元632中的基本層圖像編碼流執(zhí)行逆正交變換跳過(guò)處理、逆量化處理和去塊過(guò)濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給解碼單元633、并且在解碼單元633執(zhí)行的對(duì)非基本層圖像的這種處理操作中反映(例如，重復(fù)處理略去)。當(dāng)然，反過(guò)來(lái)，通過(guò)對(duì)解碼單元633中的非基本層圖像執(zhí)行逆正交變換跳過(guò)處理、逆量化處理和去塊過(guò)濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給解碼單元632、并且在解碼單元632執(zhí)行的對(duì)基本層圖像的這種處理操作中反映(例如，重復(fù)處理略去)。
[0488]此外，例如，通過(guò)諸如衛(wèi)星廣播、有線電視、互聯(lián)網(wǎng)或移動(dòng)電話的網(wǎng)絡(luò)介質(zhì)，本技術(shù)可以應(yīng)用到接收?qǐng)D像信息(位流)的圖像編碼設(shè)備和圖像解碼設(shè)備，其中圖像信息是通過(guò)像在MPEG、H.26x等中那樣諸如離散余弦變換的正交變換和運(yùn)動(dòng)補(bǔ)償來(lái)壓縮的。另外，本技術(shù)還可以應(yīng)用到壓縮圖像信息在諸如光或磁盤和閃存存儲(chǔ)器的存儲(chǔ)介質(zhì)上被處理時(shí)所使用的圖像編碼設(shè)備和圖像解碼設(shè)備。另外，本技術(shù)還可以應(yīng)用到包括在圖像編碼設(shè)備、圖像解碼設(shè)備等中的量化設(shè)備或逆量化設(shè)備。
[0489]<6.第六實(shí)施例>
[0490][計(jì)算機(jī)]
[0491]以上所述處理操作序列可以由硬件執(zhí)行或者由軟件執(zhí)行。在處理操作序列由軟件執(zhí)行的情況下，構(gòu)成軟件的程序安裝到計(jì)算機(jī)中。這里，計(jì)算機(jī)的實(shí)例包括結(jié)合到專用硬件中的計(jì)算機(jī)、通過(guò)安裝各種程序而能夠執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)，等等。
[0492]圖34是說(shuō)明計(jì)算機(jī)的硬件配置實(shí)例的框圖，在該計(jì)算機(jī)，上述處理操作序列由程序執(zhí)行。
[0493]圖34所說(shuō)明的計(jì)算機(jī)800，中央處理單元(CPU) 801、只讀存儲(chǔ)器(ROM) 802和隨機(jī)存取存儲(chǔ)器(RAM) 803通過(guò)總線804彼此連接。
[0494]輸入/輸出接口 810也連接到總線804。輸入/輸出接口 810連接到輸入單元811、輸出單元812、存儲(chǔ)單元813、通信單元814和驅(qū)動(dòng)器815。
[0495]輸入單元811包括鍵盤、鼠標(biāo)、麥克風(fēng)、觸摸面板、輸入終端等。輸出單元812包括例如顯示器、揚(yáng)聲器、輸出終端等。存儲(chǔ)單元813包括例如硬盤、RAM盤、非易失性存儲(chǔ)器等。通信單元814包括例如網(wǎng)絡(luò)接口。驅(qū)動(dòng)器815驅(qū)動(dòng)諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的可移動(dòng)介質(zhì)821。
[0496]具有上述配置的計(jì)算機(jī)，CPU 801可以例如通過(guò)輸入/輸出接口 810和總線804把存儲(chǔ)在存儲(chǔ)單元813中的程序加載到RAM 803中并執(zhí)行，由此執(zhí)行上述處理操作序列。讓CPU 801執(zhí)行各種處理操作所必要的數(shù)據(jù)等也適當(dāng)?shù)卮鎯?chǔ)在RAM 803中。
[0497]計(jì)算機(jī)(或CPU 801)執(zhí)行的程序可以通過(guò)記錄在例如可移動(dòng)介質(zhì)821中來(lái)應(yīng)用，其中可移動(dòng)介質(zhì)可以用作包裝介質(zhì)等。此外，程序可以通過(guò)諸如局域網(wǎng)、互聯(lián)網(wǎng)或數(shù)字衛(wèi)星廣播的有線或無(wú)線傳輸介質(zhì)提供。
[0498]計(jì)算機(jī)中，響應(yīng)于可移動(dòng)介質(zhì)821到驅(qū)動(dòng)器815的附連，程序可以通過(guò)輸入/輸出接口 810安裝到存儲(chǔ)單元813中。程序還可以由通信單元814通過(guò)有線或無(wú)線傳輸介質(zhì)接收并且可以安裝到存儲(chǔ)單元813中?；蛘撸绦蚩梢蕴崆鞍惭b到ROM 802或存儲(chǔ)單元813中。
[0499]另外，計(jì)算機(jī)執(zhí)行的程序可以按本文解釋的時(shí)間次序或者以并行方式或者按需(諸如在它們被調(diào)用的時(shí)候)被處理。
[0500]另外，在本說(shuō)明書(shū)，描述要記錄在記錄介質(zhì)中的程序的步驟不僅包括按本文所公開(kāi)的時(shí)間次序執(zhí)行的處理操作，還包括以并行方式或者單獨(dú)執(zhí)行(如果沒(méi)必要隨時(shí)間執(zhí)行的話)的處理操作。
[0501]此外，在本說(shuō)明書(shū)，一種系統(tǒng)代表多個(gè)部件元件(設(shè)備、模塊(部件)等)的集合，不是全部部件元件都需要布置在相同外殼中。因此，容納在不同外殼中并且通過(guò)網(wǎng)絡(luò)互連的多個(gè)設(shè)備是系統(tǒng)；并且其中多個(gè)模塊容納在單個(gè)外殼中的一個(gè)設(shè)備也是系統(tǒng)。
[0502]而且，以上所述例子中，描述為一個(gè)設(shè)備(或者一個(gè)處理單元)的任何配置都可以劃分成多個(gè)設(shè)備(或處理單元)。反過(guò)來(lái)，描述為多個(gè)設(shè)備(或處理單元)的任何配置都可以組合，以形成一個(gè)設(shè)備(或者一個(gè)處理單元)。而且，除以上所述配置之外的任何配置都當(dāng)然可以添加到每個(gè)設(shè)備(或者每個(gè)處理單元)的配置中。另外，一個(gè)設(shè)備(或者一個(gè)處理單元)的配置的一部分可以包括在另一個(gè)設(shè)備(或者另一個(gè)處理單元)的配置，只要作為整個(gè)系統(tǒng)的配置或操作基本上相同就可以。
[0503]本公開(kāi)內(nèi)容的優(yōu)選實(shí)施例已經(jīng)參考附圖具體進(jìn)行了描述，但是本公開(kāi)內(nèi)容的技術(shù)范圍不限于以上例子。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在權(quán)利要求中所述的技術(shù)主旨的范圍內(nèi)可以發(fā)生各種修改或變更、并且它們?cè)诒景l(fā)明的技術(shù)范圍內(nèi)。
[0504]例如，本技術(shù)可以采用云計(jì)算的配置，其中一個(gè)功能以共享方式被多個(gè)設(shè)備通過(guò)網(wǎng)絡(luò)合作處理。
[0505]另外，上述流程圖中描述的每個(gè)步驟不僅可以被一個(gè)設(shè)備執(zhí)行而且可以被多個(gè)設(shè)備以共享方式執(zhí)行。
[0506]此外，如果一個(gè)步驟包括多個(gè)處理操作，包括在一個(gè)步驟中的多個(gè)處理操作不僅可以被一個(gè)設(shè)備執(zhí)行、而且可以被多個(gè)設(shè)備以共享方式執(zhí)行。
[0507]根據(jù)以上實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備可以適用于諸如衛(wèi)星廣播的發(fā)送器或接收器的各種電子設(shè)備，諸如有線電視的有線廣播，通過(guò)互聯(lián)網(wǎng)的分發(fā)以及通過(guò)蜂窩通信到終端的分發(fā)，在諸如光盤、磁盤和閃存存儲(chǔ)器的介質(zhì)中記錄圖像的記錄設(shè)備，以及從這些存儲(chǔ)介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備。以下將描述四個(gè)應(yīng)用實(shí)例。
[0508]<7.第七實(shí)施例>
[0509][第一應(yīng)用實(shí)例:電視接收器]
[0510]圖35說(shuō)明了上述實(shí)施例適用的電視裝置的示意性配置實(shí)例。電視裝置900包括天線901、調(diào)諧器902、多路分解器903、解碼器904、視頻信號(hào)處理單元905、顯示單元906、音頻信號(hào)處理單元907、揚(yáng)聲器908、外部接口 909、控制單元910、用戶接口 911以及總線912。
[0511]調(diào)諧器902從通過(guò)天線901接收的廣播信號(hào)提取期望的通道信號(hào)，并且多路分解提取出的信號(hào)。調(diào)諧器902把通過(guò)解調(diào)獲得的編碼位流輸出到多路分解器903。S卩，調(diào)諧器902扮演電視裝置900的發(fā)送單元的角色，它接收通過(guò)編碼圖像獲得的編碼流。
[0512]多路分解器903從編碼的位流分離觀看的目標(biāo)節(jié)目的視頻流和音頻流，并且把每個(gè)分離出的流輸出到解碼器904。另外，多路分解器903從編碼位流提取諸如電子節(jié)目指南(EPG)的輔助數(shù)據(jù)，并且把提取出的數(shù)據(jù)提供給控制單元910。此外，在編碼位流被擾頻的時(shí)候，多路分解器903可以執(zhí)行解擾。
[0513]解碼器904解碼從多路分解器903輸入的視頻流和音頻流。另外，解碼器904把通過(guò)解碼過(guò)程生成的視頻數(shù)據(jù)輸出到視頻信號(hào)處理單元905。此外，解碼器904把通過(guò)解碼過(guò)程生成的音頻數(shù)據(jù)輸出到音頻信號(hào)處理單元907。
[0514]視頻信號(hào)處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并且在顯示單元906上顯示視頻圖像。另外，視頻信號(hào)處理單元905可以在顯示單元906上顯示通過(guò)網(wǎng)絡(luò)提供的應(yīng)用屏幕。此外，視頻信號(hào)處理單元905可以根據(jù)設(shè)置對(duì)視頻數(shù)據(jù)執(zhí)行附加的處理操作，諸如像噪聲去除。另外，視頻信號(hào)處理單元905可以生成圖形用戶界面(GUI)圖像的圖像，諸如像菜單、按鈕、光標(biāo)，并且把生成的圖像疊加到輸出圖像上。
[0515]顯示單元906被從視頻信號(hào)處理單元905提供的驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)，并且在顯示設(shè)備(例如，液晶顯示器、等離子體顯示器或者有機(jī)電致發(fā)光顯示器(OELD)(有機(jī)EL顯示器))的視頻顯示表面上顯示視頻圖像或圖像。
[0516]音頻信號(hào)處理單元907對(duì)從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如D/A轉(zhuǎn)換和放大的再現(xiàn)操作，并且從揚(yáng)聲器908輸出音頻。另外，音頻信號(hào)處理單元907可以對(duì)音頻數(shù)據(jù)執(zhí)行諸如噪聲去除的附加處理操作。
[0517]外部接口 909是配置為彼此連接電視裝置900和外部設(shè)備或網(wǎng)絡(luò)的接口。例如，通過(guò)外部接口 909接收的視頻流或音頻流可以被解碼器904解碼。即，外部接口 909還在電視裝置900中扮演發(fā)送單元的角色，它接收編碼的圖像的編碼流。
[0518]控制單元910具有諸如CPU的處理器以及諸如RAM和ROM的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要CPU執(zhí)行的程序、節(jié)目數(shù)據(jù)、EPG數(shù)據(jù)，以及通過(guò)網(wǎng)絡(luò)獲取的數(shù)據(jù)。在電視裝置900被激活時(shí)，存儲(chǔ)在存儲(chǔ)器中的程序被CPU讀取并執(zhí)行。通過(guò)執(zhí)行程序，CPU根據(jù)例如從用戶接口911輸入的操作信號(hào)控制電視裝置900的操作。
[0519]用戶接口 911連接到控制單元910。用戶接口 911具有例如用戶用來(lái)操作電視裝置900的按鈕和開(kāi)關(guān)，以及接收遙控信號(hào)的接收單元。用戶接口 911檢測(cè)用戶通過(guò)這些部件的操作、生成操作信號(hào)并且把生成的操作信號(hào)輸出到控制單元910。
[0520]總線912配置為把調(diào)諧器902、多路分解器903、解碼器904、視頻信號(hào)處理單元905、顯示單元906、音頻信號(hào)處理單元907、揚(yáng)聲器908、外部接口 909和控制單元910彼此連接。
[0521]具有這種配置的電視裝置900中，解碼器904具有根據(jù)以上實(shí)施例的圖像解碼設(shè)備的功能。因而，當(dāng)電視裝置900解碼圖像時(shí)，有可能實(shí)現(xiàn)編碼效率下降的抑制，并實(shí)現(xiàn)編碼/解碼造成的圖像質(zhì)量退化的抑制。
[0522][第二應(yīng)用實(shí)例:移動(dòng)電話]
[0523]圖36說(shuō)明了以上實(shí)施例適用的蜂窩電話的示意性配置實(shí)例。移動(dòng)電話920包括天線921、通信單元922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)單元926、圖像處理單元927、多路復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932以及總線933。
[0524]天線921連接到通信單元922。揚(yáng)聲器924和麥克風(fēng)925連接到音頻編解碼器923。操作單元932連接到控制單元931。總線933配置為把通信單元922、音頻編解碼器923、相機(jī)單元926、圖像處理單元927、多路復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931彼此連接。
[0525]移動(dòng)電話920以各種模式(諸如音頻通信模式、數(shù)據(jù)通信模式、拍攝模式和視頻電話模式)執(zhí)行各種操作，諸如音頻信號(hào)的發(fā)送和接收、電子郵件和圖像數(shù)據(jù)的發(fā)送和接收、圖像捕捉以及數(shù)據(jù)記錄。
[0526]在音頻通信模式，在麥克風(fēng)925生成的模擬音頻信號(hào)被提供給音頻編解碼器923。音頻編解碼器923把模擬音頻信號(hào)轉(zhuǎn)換成音頻數(shù)據(jù)，并且對(duì)轉(zhuǎn)換后的音頻數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換并壓縮其。另外，音頻編解碼器923把壓縮后的音頻數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制音頻數(shù)據(jù)并且生成發(fā)送信號(hào)。另外，通信單元922通過(guò)天線921把所生成的發(fā)送信號(hào)發(fā)送到基站(未說(shuō)明)。此外，通信單元922放大通過(guò)天線921接收的無(wú)線電信號(hào)并且對(duì)其執(zhí)行頻率轉(zhuǎn)換，并且獲得接收的信號(hào)。還有，通信單元922解調(diào)并解碼接收的信號(hào)、生成音頻數(shù)據(jù)并且把生成的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923解壓音頻數(shù)據(jù)并且對(duì)音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換，并且生成模擬音頻信號(hào)。另外，音頻編解碼器923把生成的音頻信號(hào)提供給揚(yáng)聲器924并且輸出音頻。
[0527]此外，在數(shù)據(jù)通信模式，例如，控制單元931根據(jù)用戶通過(guò)操作單元932的操作生成構(gòu)成電子郵件的文字?jǐn)?shù)據(jù)。另外，控制單元931在顯示單元930上顯示文字。而且，控制單元931根據(jù)通過(guò)操作單元932來(lái)自用戶的發(fā)送指令生成電子郵件數(shù)據(jù)，并且把生成的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制電子郵件數(shù)據(jù)并且生成發(fā)送信號(hào)。另外，通信單元922把生成的發(fā)送信號(hào)通過(guò)天線921發(fā)送到基站(未說(shuō)明)。此外，通信單元922放大通過(guò)天線921接收的無(wú)線電信號(hào)并且對(duì)其執(zhí)行頻率轉(zhuǎn)換，并且獲取接收的信號(hào)。還有，通信單元922解調(diào)并解碼接收的信號(hào)、恢復(fù)電子郵件數(shù)據(jù)，并且把恢復(fù)的電子郵件數(shù)據(jù)輸出到控制單元931。控制單元931在顯示單元930上顯示電子郵件的內(nèi)容，并且把電子郵件數(shù)據(jù)提供給記錄/再現(xiàn)單元929，以允許把數(shù)據(jù)寫到存儲(chǔ)介質(zhì)中。
[0528]記錄/再現(xiàn)單元929具有任意的可讀/可寫存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是內(nèi)置的存儲(chǔ)介質(zhì)，諸如RAM或閃存存儲(chǔ)器，還可以是外部附連的存儲(chǔ)介質(zhì)，諸如硬盤、磁盤、磁光盤、光盤和未分配空間位圖(USB)存儲(chǔ)器或者存儲(chǔ)卡。
[0529]另外，在拍攝模式中，例如，相機(jī)單元926捕捉物體的圖像、生成圖像數(shù)據(jù)，并且把生成的圖像數(shù)據(jù)輸出到圖像處理單元927。圖像處理單元927編碼從相機(jī)單元926輸入的圖像數(shù)據(jù)，并且把編碼流提供給記錄/再現(xiàn)單元929，以允許流寫到存儲(chǔ)介質(zhì)中。而且，在圖像顯示模式，記錄/再現(xiàn)單元929讀取存儲(chǔ)在存儲(chǔ)介質(zhì)中的編碼流并且把它輸出到圖像處理單元927。圖像處理單元927解碼從記錄/再現(xiàn)單元929輸入的編碼流并且把圖像數(shù)據(jù)提供給顯示單元930，以便在其上顯示圖像。
[0530]另外，在視頻電話模式，例如，多路復(fù)用/分離單元928多路復(fù)用圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流，并且把多路復(fù)用的流輸出到通信單元922。通信單元922編碼和調(diào)制該流，并生成發(fā)送信號(hào)。另外，通信單元922通過(guò)天線921把生成的發(fā)送信號(hào)發(fā)送到基站(未說(shuō)明)。此外，通信單元922放大通過(guò)天線921接收的無(wú)線電信號(hào)并且對(duì)其執(zhí)行頻率轉(zhuǎn)換，并且獲取接收信號(hào)。這些發(fā)送信號(hào)和接收的信號(hào)可以包括編碼位流。另外，通信單元922解調(diào)并解碼接收信號(hào)、恢復(fù)流并且把恢復(fù)的流輸出到多路復(fù)用/分離單元928。多路復(fù)用/分離單元928從輸入流分離視頻流和音頻流，把視頻流輸出到圖像處理單元927并且把音頻流輸出到音頻編解碼器923。圖像處理單元927解碼視頻流并生成視頻數(shù)據(jù)。視頻數(shù)據(jù)提供給顯示單元930，顯示單元930顯示一系列圖像。音頻編解碼器923解壓音頻流并對(duì)其執(zhí)行D/A轉(zhuǎn)換，并且生成模擬音頻信號(hào)。另外，音頻編解碼器923把生成的音頻信號(hào)提供給揚(yáng)聲器924并輸出音頻。
[0531]具有以上配置的移動(dòng)電話920中，圖像處理單元927具有根據(jù)以上實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能。從而，當(dāng)移動(dòng)電話920編碼和解碼圖像時(shí)，有可能抑制編碼效率的下降，并且抑制編碼/解碼造成的圖像質(zhì)量退化。
[0532][第三應(yīng)用實(shí)例:記錄和再現(xiàn)設(shè)備]
[0533]圖37說(shuō)明了以上實(shí)施例適用的記錄和再現(xiàn)設(shè)備的示意性配置實(shí)例。記錄和再現(xiàn)設(shè)備940編碼例如接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)并且在記錄介質(zhì)中記錄數(shù)據(jù)。另夕卜，記錄和再現(xiàn)設(shè)備940可以編碼例如從另一設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)并且在記錄介質(zhì)中記錄數(shù)據(jù)。此外，記錄和再現(xiàn)設(shè)備940根據(jù)例如用戶的指令在監(jiān)視器和揚(yáng)聲器上再現(xiàn)記錄在記錄介質(zhì)中的數(shù)據(jù)。此時(shí)，記錄和再現(xiàn)設(shè)備940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。
[0534]記錄和再現(xiàn)設(shè)備940包括調(diào)諧器941、外部接口 942、編碼器943、硬盤驅(qū)動(dòng)器(HDD) 944、盤驅(qū)動(dòng)器945、選擇器946、解碼器947、屏幕上顯示器(OSD) 948、控制單元949以及用戶接口 950。
[0535]調(diào)諧器941從通過(guò)天線(未說(shuō)明)接收的廣播信號(hào)提取期望的通信信號(hào)，并且解調(diào)提取出的信號(hào)。另外，調(diào)諧器941把通過(guò)解調(diào)獲得的編碼位流輸出到選擇器946。S卩，調(diào)諧器941在記錄和再現(xiàn)設(shè)備940中扮演發(fā)送單元的角色。
[0536]外部接口 942是彼此連接記錄和再現(xiàn)設(shè)備940與外部設(shè)備或網(wǎng)絡(luò)的接口。外部接口 942可以是IEEE1394接口、網(wǎng)絡(luò)接口、USB接口、閃存存儲(chǔ)器接口等。例如，通過(guò)外部接口 942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入到編碼器943。即，外部接口 942在記錄和再現(xiàn)設(shè)備940中扮演發(fā)送單元的角色。
[0537]當(dāng)從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未編碼時(shí)，編碼器943編碼視頻數(shù)據(jù)和音頻數(shù)據(jù)。另外，編碼器943把編碼的位流輸出到選擇器946。
[0538]HDD 944在內(nèi)部硬盤中記錄通過(guò)壓縮內(nèi)容數(shù)據(jù)，諸如視頻和音頻、各種節(jié)目以及其它數(shù)據(jù)，獲得的編碼的位流。另外，在視頻和音頻再現(xiàn)的時(shí)候，HDD 944從硬盤讀出這些類型的數(shù)據(jù)。
[0539]盤驅(qū)動(dòng)器945在附連的記錄介質(zhì)中記錄數(shù)據(jù)并從中讀出數(shù)據(jù)。附連到盤驅(qū)動(dòng)器945的記錄介質(zhì)可以是例如DVD盤(例如DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R及DVD+RW)或者Blu-ray (注冊(cè)商標(biāo))盤。
[0540]在視頻和音頻記錄的時(shí)候，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編碼位流并且把選定的編碼位流輸出到HDD 944或盤驅(qū)動(dòng)器945。另外，在視頻和音頻再現(xiàn)的時(shí)候，選擇器946把從HDD 944或盤驅(qū)動(dòng)器945輸入的編碼位流輸出到解碼器947。
[0541]解碼器947解碼編碼的位流并且生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。另外，解碼器947把生成的視頻數(shù)據(jù)輸出到OSD 948。此外，解碼器904把生成的音頻數(shù)據(jù)輸出到外部揚(yáng)聲器。
[0542]OSD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)并且顯示視頻圖像。另外，OSD 948可以在要顯示的視頻圖像上疊加⑶I圖像，諸如菜單、按鈕或光標(biāo)。
[0543]控制單元949具有諸如CPU的處理器以及諸如RAM和ROM的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要由CPU執(zhí)行的程序，以及節(jié)目數(shù)據(jù)。例如，在記錄和再現(xiàn)設(shè)備940激活的時(shí)候，存儲(chǔ)在存儲(chǔ)器中的程序被CPU讀取并執(zhí)行。通過(guò)執(zhí)行程序，CPU根據(jù)例如從用戶接口 950輸入的操作信號(hào)控制記錄和再現(xiàn)設(shè)備940的操作。
[0544]用戶接口 950連接到控制單元949。用戶接口 950具有例如用來(lái)由用戶操作記錄和再現(xiàn)設(shè)備940的按鈕和開(kāi)關(guān)，以及接收遙控信號(hào)的接收單元。用戶接口 950檢測(cè)用戶通過(guò)這些部件的操作、生成操作信號(hào)并且把生成的操作信號(hào)輸出到控制單元949。
[0545]具有以上配置的記錄和再現(xiàn)設(shè)備940中，編碼器943具有根據(jù)以上實(shí)施例的圖像編碼設(shè)備的功能。另外，解碼器947具有根據(jù)以上實(shí)施例的圖像解碼設(shè)備的功能。因而，當(dāng)在記錄和再現(xiàn)設(shè)備940中編碼和解碼圖像時(shí)，有可能抑制編碼效率的下降并抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0546][第四應(yīng)用實(shí)例:成像設(shè)備]
[0547]圖38說(shuō)明了以上實(shí)施例適用的成像設(shè)備的示意性配置實(shí)例。成像設(shè)備960捕捉物體的圖像、生成圖像、編碼圖像數(shù)據(jù)并且在記錄介質(zhì)中記錄圖像數(shù)據(jù)。
[0548]成像設(shè)備960包括光學(xué)塊961、成像單元962、信號(hào)處理單元963、圖像處理單元964、顯示單元965、外部接口 966、存儲(chǔ)器967、媒體驅(qū)動(dòng)器968、OSD 969、控制單元970、用戶接口 971以及總線972。
[0549]光學(xué)塊961連接到成像單元962。成像單元962連接到信號(hào)處理單元963。顯示單元965連接到圖像處理單元964。用戶接口 971連接到控制單元970?？偩€972配置為把圖像處理單元964、外部接口 966、存儲(chǔ)器967、媒體驅(qū)動(dòng)器968、OSD 969和控制單元970彼此連接。
[0550]光學(xué)塊961具有聚焦透鏡、光圈等。光學(xué)塊961在成像單元962的成像表面上形成物體的光學(xué)圖像。成像單元962具有諸如電荷耦合設(shè)備(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)的圖像傳感器并且通過(guò)光電轉(zhuǎn)換把在成像表面上形成的光學(xué)圖像轉(zhuǎn)換成作為電信號(hào)的圖像信號(hào)。另外，成像單元962把圖像信號(hào)輸出到信號(hào)處理單元963。
[0551]信號(hào)處理單兀963對(duì)從成像單兀962輸入的圖像信號(hào)執(zhí)行各種相機(jī)信號(hào)處理操作，諸如拐點(diǎn)校正、伽瑪校正和顏色校正。信號(hào)處理單元963把其中執(zhí)行了相機(jī)信號(hào)處理操作的圖像數(shù)據(jù)輸出到圖像處理單元964。
[0552]圖像處理單元964編碼從信號(hào)處理單元963輸入的圖像數(shù)據(jù)并且生成編碼數(shù)據(jù)。另外，圖像處理單元964把生成的編碼數(shù)據(jù)輸出到外部接口 966或者媒體驅(qū)動(dòng)器968。此外，圖像處理單元964解碼從外部接口 966或者媒體驅(qū)動(dòng)器968輸入的編碼數(shù)據(jù)并且生成圖像數(shù)據(jù)。還有，圖像處理單元964把生成的圖像數(shù)據(jù)輸出到顯示單元965。而且，圖像處理單元964可以把從信號(hào)處理單元963輸入的圖像數(shù)據(jù)輸出到顯示單元965并且顯示圖像。另夕卜，圖像處理單元964可以把從OSD 969獲取的顯示數(shù)據(jù)疊加到要輸出到顯示單元965的圖像上。
[0553]OSD 969生成諸如菜單、按鈕或光標(biāo)的⑶I圖像，并且把生成的圖像輸出到圖像處理單元964。
[0554]外部接口 966配置為例如USB輸入/輸出終端。例如，打印圖像時(shí)，外部接口 966把成像設(shè)備960和打印機(jī)彼此連接。另外，如果必要的話，外部接口 966與驅(qū)動(dòng)器彼此連接。驅(qū)動(dòng)器與諸如磁盤或光盤的可移動(dòng)介質(zhì)附連，并且從可移動(dòng)介質(zhì)讀出的程序可以安裝在成像設(shè)備960中。另外，外部接口 966可以配置為連接到諸如LAN或互聯(lián)網(wǎng)的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。S卩，外部接口 966在成像設(shè)備960中扮演發(fā)送單元的角色。
[0555]附連到媒體驅(qū)動(dòng)器968的記錄介質(zhì)可以是可讀/可寫可移動(dòng)介質(zhì)，諸如磁盤、磁光盤、光盤或半導(dǎo)體存儲(chǔ)器。另外，記錄介質(zhì)固定地附連到媒體驅(qū)動(dòng)器968，并且例如，諸如內(nèi)置硬盤驅(qū)動(dòng)器或固態(tài)驅(qū)動(dòng)器(SSD)的非便攜式存儲(chǔ)單元也可以配置。
[0556]控制單元970具有諸如CPU的處理器以及諸如RAM和ROM的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要由CPU執(zhí)行的程序，以及節(jié)目數(shù)據(jù)。例如，在成像設(shè)備960激活的時(shí)候，存儲(chǔ)在存儲(chǔ)器中的程序被CPU讀取并執(zhí)行。通過(guò)執(zhí)行程序，CPU根據(jù)例如從用戶接口 971輸入的操作信號(hào)控制成像設(shè)備960的操作。
[0557]用戶接口 971連接到控制單元970。用戶接口 971具有例如用來(lái)由用戶操作成像設(shè)備960的按鈕和開(kāi)關(guān)。用戶接口 971檢測(cè)用戶通過(guò)這些部件的操作、生成操作信號(hào)并且把生成的操作信號(hào)輸出到控制單元970。
[0558]具有以上配置的成像設(shè)備960中，圖像處理單元964具有根據(jù)以上實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能。從而，當(dāng)在成像設(shè)備960中編碼和解碼圖像時(shí)，有可能抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0559]<8.第八實(shí)施例>
[0560][可伸縮編碼的應(yīng)用實(shí)例:第一系統(tǒng)]
[0561]接下來(lái)，將描述已接受可伸縮編碼(或分級(jí)(圖像)編碼)的可伸縮編碼數(shù)據(jù)的應(yīng)用具體實(shí)例?？缮炜s編碼可以用于例如要發(fā)送的數(shù)據(jù)的選擇，就像圖39所說(shuō)明的例子那樣。
[0562]圖39所說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1000，分發(fā)服務(wù)器1002讀出存儲(chǔ)在可伸縮編碼數(shù)據(jù)存儲(chǔ)單元1001中的可伸縮的編碼數(shù)據(jù)并且通過(guò)網(wǎng)絡(luò)1003把可伸縮的編碼數(shù)據(jù)分發(fā)到終端設(shè)備，諸如個(gè)人計(jì)算機(jī)1004、AV設(shè)備1005、平板設(shè)備1006以及移動(dòng)電話1007。
[0563]此時(shí)，分發(fā)服務(wù)器1002根據(jù)終端設(shè)備和通信環(huán)境的性能選擇具有適當(dāng)質(zhì)量的編碼數(shù)據(jù)，并且發(fā)送選定的編碼數(shù)據(jù)。即使分發(fā)服務(wù)器1002發(fā)送具有比所需要的更高質(zhì)量的數(shù)據(jù)，終端設(shè)備也不一定獲得高質(zhì)量圖像，并且會(huì)造成延遲或上溢。此外，這種數(shù)據(jù)會(huì)占用比所需要的更多通信帶寬，或者會(huì)增加比所需要的更多的終端設(shè)備負(fù)載。相反，如果分發(fā)服務(wù)器1002發(fā)送具有比所需要的更低質(zhì)量的數(shù)據(jù)，終端設(shè)備不能在設(shè)備中獲得具有足夠質(zhì)量的圖像。因而，如果必要的話，分發(fā)服務(wù)器1002讀出存儲(chǔ)在可伸縮編碼數(shù)據(jù)存儲(chǔ)單元1001中的可伸縮編碼數(shù)據(jù)，作為具有適于某些條件的質(zhì)量的編碼數(shù)據(jù)，發(fā)送讀出的編碼數(shù)據(jù)，其中所述條件諸如終端設(shè)備和通信環(huán)境的性能。
[0564]例如，可伸縮編碼數(shù)據(jù)存儲(chǔ)單元1001存儲(chǔ)已接受可伸縮編碼的可伸縮編碼數(shù)據(jù)(BL+EL)1011?？缮炜s編碼數(shù)據(jù)(BL+EL) 1011是既包括基本層又包括增強(qiáng)層的編碼數(shù)據(jù)，是為了獲得基本層圖像和增強(qiáng)層圖像而被解碼的數(shù)據(jù)。
[0565]分發(fā)服務(wù)器1002根據(jù)發(fā)送數(shù)據(jù)的終端設(shè)備以及通信環(huán)境的性能選擇適當(dāng)?shù)膶樱⑶易x出該層的數(shù)據(jù)。例如，分發(fā)服務(wù)器1002從可伸縮編碼數(shù)據(jù)存儲(chǔ)單元1001讀出可伸縮編碼數(shù)據(jù)(BL+EL) 1011，并且把讀出的可伸縮編碼數(shù)據(jù)按照原樣發(fā)送到具有高處理能力的個(gè)人計(jì)算機(jī)1004或平板設(shè)備1006。相反，例如，分發(fā)服務(wù)器1002從擴(kuò)展編碼數(shù)據(jù)(BL+EL) 1011提取基本層的數(shù)據(jù)，并且把提取出的基本層的數(shù)據(jù)發(fā)送到具有低處理能力的AV設(shè)備1005或移動(dòng)電話1007，作為與可伸縮編碼數(shù)據(jù)(BL+EL)1011具有相同內(nèi)容但是比可伸縮編碼數(shù)據(jù)(BL+EL) 1011具有更低質(zhì)量的可伸縮編碼數(shù)據(jù)(BL) 1012。
[0566]以這種方式，可伸縮編碼數(shù)據(jù)的使用可以方便數(shù)據(jù)量的調(diào)整，由此抑制延遲或者上溢的發(fā)生，并且抑制終端設(shè)備或通信介質(zhì)上不必要的負(fù)載增加。此外，由于可伸縮編碼數(shù)據(jù)(BL+EL) 1011在各層之間具有減小的冗余性，因此，與具有相應(yīng)層的獨(dú)立編碼數(shù)據(jù)的情況相比，有可能減少數(shù)據(jù)量。因此，可伸縮編碼數(shù)據(jù)存儲(chǔ)單元1001的存儲(chǔ)區(qū)域可以更高效地被利用。
[0567]另外，諸如個(gè)人計(jì)算機(jī)1004和移動(dòng)電話1007的各種設(shè)備可以應(yīng)用到終端設(shè)備，因此終端設(shè)備的硬件性能可以是依賴設(shè)備的。此外，各種應(yīng)用還可以由終端設(shè)備執(zhí)行，因此應(yīng)用的軟件能力可以變化。此外，充當(dāng)通信介質(zhì)的網(wǎng)絡(luò)1003可以被用作任何通信線路網(wǎng)絡(luò)，這可以是有線的、無(wú)線的或者二者兼有，諸如互聯(lián)網(wǎng)或局域網(wǎng)(LAN)，并且具有各種數(shù)據(jù)傳輸能力。而且，這種性能和能力可以隨其它通信等變化。
[0568]因此，在數(shù)據(jù)發(fā)送開(kāi)始之前，分發(fā)服務(wù)器1002可以與數(shù)據(jù)要發(fā)送到其的終端設(shè)備通信，可以獲得關(guān)于該終端設(shè)備的能力的信息，諸如終端設(shè)備的硬件性能或者由終端設(shè)備執(zhí)行的應(yīng)用(軟件)的性能，以及關(guān)于通信環(huán)境的信息，諸如網(wǎng)絡(luò)1003的可用帶寬。然后，分發(fā)服務(wù)器1002可以基于所獲得的信息選擇適當(dāng)?shù)膶印?br> [0569]層的提取可以由終端設(shè)備執(zhí)行。例如。個(gè)人計(jì)算機(jī)1004可以解碼所發(fā)送的可伸縮編碼數(shù)據(jù)(BL+EL) 1011并且顯示基本層圖像或增強(qiáng)層圖像?；蛘?，例如，個(gè)人計(jì)算機(jī)1004可以從所發(fā)送的可伸縮編碼數(shù)據(jù)(BL+EL) 1011提取可伸縮編碼數(shù)據(jù)(BL) 1012、存儲(chǔ)提取出的可伸縮編碼數(shù)據(jù)或者把該數(shù)據(jù)發(fā)送到另一個(gè)設(shè)備，或者解碼數(shù)據(jù)，以顯示基本層圖像。
[0570]當(dāng)然，可伸縮編碼數(shù)據(jù)存儲(chǔ)單元1001的數(shù)目、分發(fā)服務(wù)器1002的數(shù)目、網(wǎng)絡(luò)1003的數(shù)目以及終端設(shè)備的數(shù)目是任意的。此外，雖然以上描述了分發(fā)服務(wù)器1002把數(shù)據(jù)發(fā)送到終端設(shè)備的實(shí)例，但是應(yīng)用實(shí)例不限于此。數(shù)據(jù)發(fā)送系統(tǒng)1000可以應(yīng)用到任何系統(tǒng)，只要該系統(tǒng)根據(jù)諸如終端設(shè)備和通信環(huán)境的能力的某些條件選擇并發(fā)送適當(dāng)?shù)膶?，其中向終端設(shè)備發(fā)送已被可伸縮編碼的編碼數(shù)據(jù)。
[0571]與以上參考圖1至31所述效果相同的效果可以通過(guò)圖39所說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1000應(yīng)用與對(duì)參考圖1至31所描述的分層編碼/分層解碼應(yīng)用的相同技術(shù)來(lái)獲得。
[0572][可伸縮編碼的應(yīng)用實(shí)例:第二系統(tǒng)]
[0573]可伸縮編碼還可以用于通過(guò)多種通信介質(zhì)發(fā)送，就像在例如圖40所說(shuō)明的例子中。
[0574]圖40所說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1100，廣播站1101通過(guò)地面廣播111發(fā)送基本層的可伸縮編碼數(shù)據(jù)(BL)1121。此外，廣播站1101通過(guò)任意網(wǎng)絡(luò)1112發(fā)送增強(qiáng)層的可伸縮編碼數(shù)據(jù)(EL) 1122，該任意網(wǎng)絡(luò)由有線通信網(wǎng)絡(luò)、無(wú)線通信網(wǎng)絡(luò)或者有線和無(wú)線通信網(wǎng)絡(luò)這二者配置(例如，數(shù)據(jù)被分組并發(fā)送)。
[0575]終端設(shè)備1102具有接收廣播站1101廣播的地面廣播1111并且接收通過(guò)地面廣播1111發(fā)送的基本層的可伸縮編碼數(shù)據(jù)(BL) 1121的功能。終端設(shè)備1102還具有用于通過(guò)網(wǎng)絡(luò)1112執(zhí)行通信并且接收通過(guò)網(wǎng)絡(luò)1112發(fā)送的增強(qiáng)層的可伸縮編碼數(shù)據(jù)(EL) 1122的通信功能。
[0576]例如，根據(jù)用戶指令等，通過(guò)解碼通過(guò)地面廣播1111獲取的基本層的可伸縮編碼數(shù)據(jù)(BL) 1121，終端設(shè)備1102獲取基本層的圖像，存儲(chǔ)所獲取的可伸縮編碼數(shù)據(jù)，或者把所獲取的數(shù)據(jù)發(fā)送到另一設(shè)備。
[0577]此外，根據(jù)用戶指令等，終端設(shè)備1102合成通過(guò)地面廣播1111獲取的基本層的可伸縮編碼數(shù)據(jù)(BL) 1121與通過(guò)網(wǎng)絡(luò)1112獲取的增強(qiáng)層的可伸縮編碼數(shù)據(jù)(EL) 1122，以便獲取可伸縮編碼數(shù)據(jù)(BL+EL)，解碼可伸縮編碼數(shù)據(jù)，以獲取或存儲(chǔ)增強(qiáng)層的圖像，或者把可伸縮編碼數(shù)據(jù)發(fā)送到另一設(shè)備。
[0578]如上所述，可伸縮編碼數(shù)據(jù)可以通過(guò)例如對(duì)每層不同的通信介質(zhì)發(fā)送。因而，負(fù)載可以分布，延遲或上溢的發(fā)生可以被抑制。
[0579]此外，依賴于情況，用于發(fā)送的通信介質(zhì)可以配置為對(duì)每一層是可選擇的。例如，它可以配置為:使其數(shù)據(jù)量相對(duì)大的基本層的可伸縮編碼數(shù)據(jù)(BL) 1121通過(guò)具有寬帶寬的通信介質(zhì)發(fā)送，而其數(shù)據(jù)量相對(duì)小的增強(qiáng)層的可伸縮編碼數(shù)據(jù)(EL) 1122通過(guò)具有窄帶寬的通信介質(zhì)發(fā)送。此外，例如，發(fā)送增強(qiáng)層的可伸縮編碼數(shù)據(jù)(EL) 1122的通信介質(zhì)可以配置為:根據(jù)網(wǎng)絡(luò)1112的可用帶寬，在網(wǎng)絡(luò)1112和地面廣播1111之間切換。這種相似性適用于任意層的數(shù)據(jù)。
[0580]通過(guò)這樣進(jìn)行控制，可以進(jìn)一步抑制數(shù)據(jù)發(fā)送負(fù)載的增加。
[0581]這里，層的數(shù)目是任意的，并且用于發(fā)送的通信介質(zhì)的數(shù)目也是任意的。此外，作為數(shù)據(jù)輸送目的地的終端設(shè)備1102的數(shù)目也是任意的。此外，雖然在以上給出的描述中已經(jīng)描述了廣播從廣播站1101執(zhí)行的例子，但是使用的例子不限于此。數(shù)據(jù)發(fā)送系統(tǒng)1100可以應(yīng)用到任意系統(tǒng)，只要該系統(tǒng)把被編碼(以可伸縮編碼的方式)的編碼數(shù)據(jù)分成以層為單位的多個(gè)部分，并且通過(guò)多條線路發(fā)送劃分的數(shù)據(jù)就可以。
[0582]于是，即使在圖40所說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1100，通過(guò)以與參考圖1至31所描述的對(duì)分層編碼/分層解碼的應(yīng)用相同方式來(lái)應(yīng)用本技術(shù)，也有可能獲得類似于以上參考圖1至31所述效果的效果。
[0583][可伸縮編碼的應(yīng)用實(shí)例:第三系統(tǒng)]
[0584]可伸縮編碼還可以用于存儲(chǔ)編碼數(shù)據(jù)，就像圖41所說(shuō)明的例子那樣。
[0585]圖41所說(shuō)明的成像系統(tǒng)1200中，成像設(shè)備1201把主體1211成像所獲取的圖像數(shù)據(jù)進(jìn)行可伸縮編碼并且把得到的圖像數(shù)據(jù)提供給可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202，作為可伸縮編碼數(shù)據(jù)(BL+EL) 1202。
[0586]根據(jù)情況，可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202以不同質(zhì)量存儲(chǔ)從成像設(shè)備1201提供的可伸縮編碼數(shù)據(jù)(BL+EL) 1202。例如，在正常時(shí)間的情況下，可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202從可伸縮編碼數(shù)據(jù)(BL+EL) 1202提取基本層的數(shù)據(jù)并且把提取出的基本層的數(shù)據(jù)存儲(chǔ)為具有低質(zhì)量和小數(shù)據(jù)量的基本層的可伸縮編碼數(shù)據(jù)(BL) 1222。相反，例如，在關(guān)注時(shí)間的情況下，可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202按照原樣存儲(chǔ)具有高質(zhì)量和大數(shù)據(jù)量的可伸縮編碼數(shù)據(jù)(BL+EL)1221。
[0587]以這種方式，可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202可以僅必要時(shí)以高圖像質(zhì)量存儲(chǔ)圖像。從而，在圖像質(zhì)量退化造成的圖像價(jià)值減小被抑制的同時(shí)，數(shù)據(jù)量的增加可以被抑制，由此存儲(chǔ)區(qū)域的使用效率可以提高。
[0588]例如，成像設(shè)備1201可以是監(jiān)控相機(jī)。當(dāng)被監(jiān)控的對(duì)象(例如，入侵者)在捕捉圖像中不可見(jiàn)時(shí)(例如，在正常時(shí)間的情況下)，有可能捕捉到的圖像的內(nèi)容不重要。因而，數(shù)據(jù)量減小是優(yōu)先的，圖像的圖像數(shù)據(jù)(可伸縮編碼數(shù)據(jù))以低質(zhì)量存儲(chǔ)。相反，當(dāng)被監(jiān)控的對(duì)象作為主體1211在捕捉到的圖像中可見(jiàn)時(shí)(在關(guān)注時(shí)間的情況下)，有可能捕捉到的圖像具有重要的內(nèi)容。因而，圖像質(zhì)量是優(yōu)先的，圖像的圖像數(shù)據(jù)(可伸縮編碼數(shù)據(jù))以高質(zhì)量存儲(chǔ)。
[0589]正常時(shí)間還是關(guān)注時(shí)間可以由例如可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202通過(guò)分析圖像來(lái)確定。此外，成像設(shè)備1201可以確定正常時(shí)間或者關(guān)注時(shí)間，并且可以向可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202發(fā)送確定結(jié)果。
[0590]這里，正常時(shí)間還是關(guān)注時(shí)間的確定標(biāo)準(zhǔn)可以是任意的，被認(rèn)為是確定標(biāo)準(zhǔn)的圖像可以具有任何內(nèi)容。當(dāng)然，圖像內(nèi)容之外的其它條件可以用作確定標(biāo)準(zhǔn)。例如，確定的標(biāo)準(zhǔn)可以根據(jù)所記錄的語(yǔ)音的尺寸、波形等來(lái)改變，可以對(duì)每個(gè)預(yù)定的時(shí)間改變，或者可以根據(jù)從外部提供的指令(諸如用戶的指令)來(lái)改變。
[0591]此外，雖然已經(jīng)給出了對(duì)兩種狀態(tài)(即，正常時(shí)間和關(guān)注時(shí)間)之間改變的例子的描述，但是狀態(tài)數(shù)目是任意的，狀態(tài)改變可以在三種或更多種狀態(tài)之間進(jìn)行，諸如正常時(shí)間、低關(guān)注時(shí)間、中等關(guān)注時(shí)間和高關(guān)注時(shí)間。但是，改變狀態(tài)的上限數(shù)目依賴于可伸縮編碼數(shù)據(jù)的層數(shù)。
[0592]另外，成像設(shè)備1201可以根據(jù)狀態(tài)確定可伸縮編碼的層數(shù)。例如，在正常時(shí)間，成像設(shè)備1201可以生成具有低質(zhì)量和小數(shù)據(jù)量的基本層的可伸縮編碼數(shù)據(jù)(BL) 1222，并且把生成的可伸縮編碼數(shù)據(jù)(BL) 1222提供給可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202。另外，例如，在關(guān)注時(shí)間，成像設(shè)備1201可以生成具有高質(zhì)量和大數(shù)據(jù)量的基本層的可伸縮編碼數(shù)據(jù)(BL+EL) 1221，并且把生成的可伸縮編碼數(shù)據(jù)(BL+EL) 1221提供給可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備 1202。
[0593]以上描述中，雖然監(jiān)控相機(jī)作為例子進(jìn)行了描述，但是成像系統(tǒng)1200可以在任何應(yīng)用中使用，應(yīng)用不限于監(jiān)控相機(jī)。
[0594]于是，即使在圖41所說(shuō)明的成像系統(tǒng)1200，通過(guò)以與參考圖1至31描述的應(yīng)用到分層編碼/分層解碼相同方式來(lái)應(yīng)用本技術(shù)，也有可能獲得類似于以上參考圖1至31所述效果的效果。
[0595]另外，本技術(shù)是以分段單元、從事先準(zhǔn)備的具有不同分辨率等的多種編碼數(shù)據(jù)選擇適當(dāng)?shù)臄?shù)據(jù)來(lái)使用，但還適用于諸如像MPEG/DASH的HTTP流數(shù)據(jù)。即，關(guān)于編碼和解碼的信息可以在多種編碼數(shù)據(jù)之間共享。
[0596]<9.第九實(shí)施例>
[0597][其它例子]
[0598]雖然在以上給出的描述中已經(jīng)描述了本技術(shù)適用的設(shè)備、系統(tǒng)等的例子，但是本技術(shù)不限于此。因而，本技術(shù)可以作為安裝到這種設(shè)備的所有配置來(lái)應(yīng)用，所述配置把這種系統(tǒng)配置為，例如作為系統(tǒng)LSI (大規(guī)模集成)等的處理器、使用多個(gè)處理器等的模塊、使用多個(gè)模塊等的單元，或者通過(guò)把其它功能添加到單元所獲取的裝置等(換句話說(shuō)，設(shè)備配置的一部分)。
[0599][視頻機(jī)]
[0600]本技術(shù)作為裝置應(yīng)用的一種例子將參考圖42來(lái)描述。圖42說(shuō)明了本技術(shù)適用的視頻機(jī)的示意性配置實(shí)例。
[0601]最近，電子設(shè)備的多種功能的實(shí)現(xiàn)在發(fā)展，在制造或開(kāi)發(fā)中，在配置的一部分為了出售、供應(yīng)等而提供的情況下，不僅具有一個(gè)功能的配置被應(yīng)用，而且具有多個(gè)功能的裝置被應(yīng)用，這種裝置是通過(guò)組合具有相關(guān)功能的多種配置獲取的，這是常見(jiàn)的。
[0602]圖42所說(shuō)明的視頻機(jī)1300具有這種多功能配置、并且是通過(guò)組合具有圖像編碼或圖像解碼(任意一個(gè)或二者兼有)功能的設(shè)備與具有該功能的其它功能的設(shè)備來(lái)獲得的。
[0603]如圖42所說(shuō)明的，視頻機(jī)1300包括模塊組，模塊組包括視頻模塊1311、外部存儲(chǔ)器1312、電源管理模塊1313、前端模塊1314等，以及具有連接模塊1321、相機(jī)1322、傳感器1323等相關(guān)功能的設(shè)備。
[0604]模塊被形成為具有功能的部件，通過(guò)把彼此相關(guān)的幾個(gè)部件功能布置到一起而具有統(tǒng)一性。雖然具體物理配置是任意的，但是，例如也可以考慮通過(guò)在配線板等上布置各自都具有功能的多個(gè)處理器、諸如電阻器或電容器的電子電路以及其它設(shè)備等以便集成到一起所獲得的模塊。此外，還可以考慮通過(guò)組合模塊與其它模塊、處理器等構(gòu)成新模塊。
[0605]在圖42所說(shuō)明的例子，視頻模塊1311是通過(guò)組合具有圖像處理功能的配置而獲得的，包括:應(yīng)用處理器；視頻處理器；寬帶調(diào)制解調(diào)器1333 ;及RF模塊1334。
[0606]處理器是通過(guò)在半導(dǎo)體芯片上集成具有預(yù)定功能的配置作為SoC(片上系統(tǒng))獲得的，并且例如還存在被稱為系統(tǒng)LSI (大規(guī)模集成)等的處理器。具有預(yù)定功能的配置可以是邏輯電路(硬件配置)，包括CPU、R0M、RAM等以及利用它們執(zhí)行的程序(軟件配置)的配置，或者組合上述兩種配置的配置。例如，它可以配置為使得處理器包括邏輯電路、CPU、ROM,RAM等，有些功能由邏輯電路(硬件配置)實(shí)現(xiàn)，其它功能由CPU執(zhí)行的程序(軟件配置)實(shí)現(xiàn)。
[0607]圖42所說(shuō)明的應(yīng)用處理器1331是執(zhí)行關(guān)于圖像處理應(yīng)用的處理器。為了實(shí)現(xiàn)預(yù)定功能，應(yīng)用處理器1331執(zhí)行的應(yīng)用可以不僅執(zhí)行計(jì)算過(guò)程，而且必要時(shí)控制視頻模塊1311內(nèi)部和外部(諸如視頻處理器1332)的配置。
[0608]視頻處理器1332是具有圖像編碼和圖像解碼(任何一個(gè)或二者兼有)功能的處理器。
[0609]寬帶調(diào)制解調(diào)器1333通過(guò)數(shù)字調(diào)制等把通過(guò)諸如互聯(lián)網(wǎng)或公共電話網(wǎng)絡(luò)的公共線路執(zhí)行的有線或無(wú)線(或者有線和無(wú)線)寬帶通信發(fā)送的數(shù)據(jù)(數(shù)字信號(hào))轉(zhuǎn)換成模擬信號(hào)，或者把寬帶通信接收的模擬信號(hào)解調(diào)，以轉(zhuǎn)換成數(shù)據(jù)(數(shù)字信號(hào))。例如，寬帶調(diào)制解調(diào)器1333處理任意信息，諸如視頻處理器1332處理的圖像數(shù)據(jù)、其中圖像數(shù)據(jù)被編碼的流、應(yīng)用程序以及設(shè)置數(shù)據(jù)。
[0610]RF模塊1334是對(duì)通過(guò)天線發(fā)送/接收的RF (射頻)信號(hào)執(zhí)行頻率轉(zhuǎn)換、調(diào)制/解調(diào)、放大、過(guò)濾器過(guò)程等的模塊。例如，RF模塊1334通過(guò)對(duì)由寬帶調(diào)制解調(diào)器1333生成的基帶信號(hào)執(zhí)行頻率轉(zhuǎn)換等生成RF信號(hào)。此外，例如，RF模塊1334通過(guò)對(duì)經(jīng)前端模塊1314接收的RF信號(hào)執(zhí)行頻率轉(zhuǎn)換等生成基帶信號(hào)。
[0611]此外，如圖42的虛線1341指示的，應(yīng)用處理器1331和視頻處理器1332可以集成，以便配置為一個(gè)處理器。
[0612]外部存儲(chǔ)器1312是部署在視頻模塊1311外面并且包括由視頻模塊1311使用的存儲(chǔ)設(shè)備的模塊。外部存儲(chǔ)器1312的存儲(chǔ)設(shè)備可以由任何物理配置實(shí)現(xiàn)。但是，一般而言，由于存儲(chǔ)設(shè)備被頻繁地用于存儲(chǔ)具有大容量的數(shù)據(jù)，如以幀為單位配置的圖像數(shù)據(jù)，因此存儲(chǔ)設(shè)備優(yōu)選地由以相對(duì)低成本具有大容量的半導(dǎo)體存儲(chǔ)器實(shí)現(xiàn)，諸如DRAM (動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)。
[0613]電源管理模塊1313管理并控制電力向視頻模塊1311(視頻模塊1311中的每種配置)的供應(yīng)。
[0614]前端模塊1314是為RF模塊1334提供前端功能(天線側(cè)的發(fā)送/接收端電路)的模塊。如在圖42所說(shuō)明的，例如，前端模塊1314包括天線單元1351、過(guò)濾器1352和放大單元1353。
[0615]天線單元1351包括發(fā)送/接收無(wú)線信號(hào)的天線及其外圍配置。天線單元1351發(fā)送作為無(wú)線信號(hào)從放大單元1353提供的信號(hào)并且向過(guò)濾器1352提供作為電信號(hào)(RF信號(hào))接收到的無(wú)線信號(hào)。過(guò)濾器1352對(duì)通過(guò)天線單元1351接收的RF信號(hào)執(zhí)行過(guò)濾器過(guò)程等并且把該過(guò)程之后的RF信號(hào)提供給RF模塊1334。放大單元1353放大從RF模塊1334提供的RF信號(hào)并且把放大的RF信號(hào)提供給天線單元1351。
[0616]連接模塊1321是具有與到外部的連接相關(guān)功能的模塊。連接模塊1321的物理配置是任意的。例如，連接模塊1321包括具有寬帶調(diào)制解調(diào)器1333對(duì)應(yīng)的通信規(guī)范之外的通信功能、外部輸入/輸出端子等配置。
[0617]例如，連接模塊1321可以配置為包括具有與無(wú)線電通信規(guī)范相符的通信功能的模塊以及發(fā)送/接收與這些規(guī)范相符的信號(hào)的天線，其中無(wú)線電通信規(guī)范諸如Bluetooth(注冊(cè)商標(biāo))、IEEE 802.11 (例如，W1-Fi (無(wú)線保真度；注冊(cè)商標(biāo)))、NFC(近場(chǎng)通信)和IrDA(紅外線數(shù)據(jù)聯(lián)盟)。此外，例如，連接模塊1321可以配置為包括具有與有線通信規(guī)范相符的通信功能的模塊以及與這些規(guī)范相符的端子，其中有線通信規(guī)范諸如USB (通用串行總線)和HDMI (注冊(cè)商標(biāo))(高清晰度多媒體接口)。此外，例如，連接模塊1321可以配置為具有模擬輸入/輸出端子等的附加數(shù)據(jù)(信號(hào))發(fā)送功能等。
[0618]此外，連接模塊1321可以配置為包括是數(shù)據(jù)(信號(hào))發(fā)送目的地的設(shè)備。例如，連接模塊1321可以配置為包括對(duì)諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的記錄介質(zhì)執(zhí)行數(shù)據(jù)讀取或數(shù)據(jù)寫入的驅(qū)動(dòng)器(不僅包括可移動(dòng)介質(zhì)的驅(qū)動(dòng)器，而且還包括硬盤、SSD(固態(tài)驅(qū)動(dòng)器)、NAS(網(wǎng)絡(luò)附連儲(chǔ)存器)等)。此外，連接模塊1321可以配置為包括圖像或音頻的輸出設(shè)備(監(jiān)視器、揚(yáng)聲器等)。
[0619]相機(jī)1322是具有給主體成像而獲取主體的圖像數(shù)據(jù)的功能的模塊。例如，通過(guò)相機(jī)1322執(zhí)行的成像過(guò)程獲取的圖像數(shù)據(jù)提供給視頻處理器1332并且被編碼。
[0620]傳感器1323是具有任意傳感器功能的模塊，其中傳感器諸如音頻處理器、超聲波傳感器、光學(xué)傳感器、亮度傳感器、紅外線傳感器、圖像傳感器、旋轉(zhuǎn)傳感器、角度傳感器、角速度傳感器、速度傳感器、加速度傳感器、傾斜傳感器、磁性識(shí)別傳感器、碰撞傳感器或者溫度傳感器。例如，被傳感器1323檢測(cè)的數(shù)據(jù)提供給應(yīng)用處理器1331并且被應(yīng)用等使用。
[0621]在以上給出的描述，描述為模塊的每種配置都可以由處理器實(shí)現(xiàn)，描述為處理器的每種配置都可以由模塊實(shí)現(xiàn)。
[0622]如隨后將描述的，本技術(shù)可以應(yīng)用到具有如上所述配置的視頻機(jī)1300的視頻處理器1332。從而，視頻機(jī)1300可以配置為本技術(shù)適用的裝置。
[0623][視頻處理器的配置]
[0624]圖43說(shuō)明了本技術(shù)適用的視頻處理器1332(圖42)的示意性配置實(shí)例。
[0625]在圖43所說(shuō)明的例子，視頻處理器1332具有接收視頻信號(hào)和音頻信號(hào)的輸入并且根據(jù)預(yù)定系統(tǒng)和功能編碼接收信號(hào)的功能，以及解碼編碼的視頻數(shù)據(jù)和編碼的音頻數(shù)據(jù)并且輸出視頻信號(hào)和音頻信號(hào)的功能。
[0626]如圖43所說(shuō)明的，視頻處理器1332包括:視頻輸入處理單元1401 ;第一圖像放大/減小單元1402 ;第二圖像放大/減小單元1403 ;視頻輸出處理單元1404 ;幀存儲(chǔ)器1405 ；以及存儲(chǔ)器控制單元1406。此外，視頻處理器1332還包括:編碼/解碼引擎1407 ;視頻ES (基本流)緩沖區(qū)1408A和1408B,以及音頻ES (基本流)緩沖區(qū)1409A和1409B。此外，視頻處理器1332還包括:音頻編碼器1410 ;音頻解碼器1411 ;多路復(fù)用器(MUX) 1412 ;多路分解器(DMUX) 1413 ;以及流緩沖區(qū)1414。
[0627]例如，視頻輸入處理單元1401獲取從連接模塊1321 (圖42)等輸入的視頻信號(hào)并且把獲取的視頻信號(hào)轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。第一圖像放大/減小單元1402對(duì)圖像數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換以及圖像放大/減小過(guò)程。第二圖像放大/減小單元1403通過(guò)視頻輸出處理單元1404根據(jù)輸出目的地的格式對(duì)圖像數(shù)據(jù)執(zhí)行圖像放大/減小過(guò)程、或者執(zhí)行類似于第一圖像放大/減小單元1402的格式轉(zhuǎn)換和圖像放大/減小過(guò)程等。視頻輸出處理單元1404對(duì)圖像數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、到模擬信號(hào)的轉(zhuǎn)換等等，并且把得到的信號(hào)作為再現(xiàn)視頻信號(hào)輸入到例如連接模塊1321 (圖42)等。
[0628]幀存儲(chǔ)器1405是用于圖像數(shù)據(jù)的存儲(chǔ)器，該存儲(chǔ)器被視頻輸入處理單元1401、第一圖像放大/減小單元1402、第二圖像放大/減小單元1403、視頻輸出處理單元1404和編碼/解碼引擎1407共享。幀存儲(chǔ)器1405實(shí)現(xiàn)為諸如DRAM的半導(dǎo)體存儲(chǔ)器。
[0629]存儲(chǔ)器控制單元1406接收從編碼/解碼引擎1407提供的同步信號(hào)并且控制對(duì)幀存儲(chǔ)器1405的訪問(wèn)，以便根據(jù)寫入到訪問(wèn)管理表1406A中的對(duì)幀存儲(chǔ)器1405的訪問(wèn)時(shí)間表進(jìn)行寫入/讀取。訪問(wèn)管理表1406A由存儲(chǔ)器控制單元1406根據(jù)由編碼/解碼引擎1407、第一圖像放大/減小單元1402、第二圖像放大/減小單元1403等執(zhí)行的過(guò)程來(lái)更新。
[0630]編碼/解碼引擎1407執(zhí)行圖像數(shù)據(jù)的編碼過(guò)程并且執(zhí)行視頻流的解碼過(guò)程，其中視頻流是通過(guò)編碼圖像數(shù)據(jù)獲取的數(shù)據(jù)。例如，編碼/解碼引擎1407編碼從幀存儲(chǔ)器1405讀取的圖像數(shù)據(jù)并且順序地把讀出的圖像數(shù)據(jù)作為視頻流寫入視頻ES緩沖區(qū)1408A。此夕卜，例如，編碼/解碼引擎1407順序地從視頻ES緩沖區(qū)1408B讀取視頻流、解碼讀出的視頻流，并且順序地把解碼的視頻流作為圖像數(shù)據(jù)寫入幀存儲(chǔ)器1405。在這種編碼或解碼過(guò)程，編碼/解碼引擎1407使用幀存儲(chǔ)器1405作為工作區(qū)域。此外，例如，在開(kāi)始每個(gè)宏塊的過(guò)程時(shí)，編碼/解碼引擎1407向存儲(chǔ)器控制單元1406輸出同步信號(hào)。
[0631]視頻ES緩沖區(qū)1408A緩沖由編碼/解碼引擎1407生成的視頻流并把視頻流提供給多路復(fù)用器(MUX) 1412。視頻ES緩沖區(qū)1408B緩沖從多路分解器(DMUX) 1413提供的視頻流并且把視頻流提供給編碼/解碼引擎1407。
[0632]音頻ES緩沖區(qū)1409A緩沖由音頻編碼器1410生成的音頻流并且把音頻流提供給多路復(fù)用器(MUX) 1412。音頻ES緩沖區(qū)1409B緩沖從多路分解器(DMUX) 1413提供的音頻流并且把音頻流提供給音頻解碼器1411。
[0633]音頻編碼器1410數(shù)字交換例如從連接模塊1321 (圖42)等輸入的音頻信號(hào)，并且例如根據(jù)諸如MPEG音頻系統(tǒng)或AC3 (Aud1Code number 3)系統(tǒng)的預(yù)定系統(tǒng)編碼該數(shù)字信號(hào)。音頻編碼器1410順序地把通過(guò)編碼音頻信號(hào)獲取的數(shù)據(jù)的音頻流寫入音頻ES緩沖區(qū)1409A。音頻解碼器1411解碼從音頻ES緩沖區(qū)1409B提供的音頻流、執(zhí)行解碼音頻流到例如模擬信號(hào)等的轉(zhuǎn)換，并且把轉(zhuǎn)換后的信號(hào)作為再現(xiàn)音頻信號(hào)例如提供給連接模塊1321(圖 42)等。
[0634]多路復(fù)用器(MUX) 1412多路復(fù)用視頻流和音頻流。多路復(fù)用方法(換句話說(shuō)，通過(guò)多路復(fù)用生成的位流的格式)是任意的。此外，在多路復(fù)用時(shí)，多路復(fù)用器(MUX) 1412可以把預(yù)定首部信息等添加到位流。換句話說(shuō)，多路復(fù)用器(MUX) 1412可以通過(guò)多路復(fù)用過(guò)程轉(zhuǎn)換流格式。例如，通過(guò)多路復(fù)用視頻流和音頻流，多路復(fù)用器(MUX) 1412把視頻流和音頻流轉(zhuǎn)換成作為具有發(fā)送格式的位流的傳輸流。此外，例如，通過(guò)多路復(fù)用視頻流和音頻流，多路復(fù)用器(MUX) 1412把視頻流和音頻流轉(zhuǎn)換成具有用于記錄格式的數(shù)據(jù)(文件數(shù)據(jù))。
[0635]多路分解器(DMUX) 1413多路分解位流，在位流中，視頻流和音頻流以對(duì)應(yīng)于多路復(fù)用器(MUX) 1412執(zhí)行的多路復(fù)用過(guò)程的方法被去多路復(fù)用。換句話說(shuō)，多路分解器(DMUX) 1413從流緩沖區(qū)1414讀取的位流提取視頻流和音頻流(視頻流和音頻流被分離)。換句話說(shuō)，多路分解器(DMUX) 1413可以通過(guò)多路分解過(guò)程轉(zhuǎn)換流格式(多路復(fù)用器(MUX) 1412執(zhí)行轉(zhuǎn)換的逆轉(zhuǎn)換)。例如，多路分解器(DMUX) 1413通過(guò)流緩沖區(qū)1414獲取例如從連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333等(圖42)等提供的傳輸流并且多路分解所獲取的傳輸流，由此把傳輸流轉(zhuǎn)換成視頻流和音頻流。此外，例如，多路分解器(DMUX) 1413獲取例如連接模塊1321 (圖42)通過(guò)流緩沖區(qū)1414從各種記錄介質(zhì)讀取的文件數(shù)據(jù)并且多路分解所獲取的文件數(shù)據(jù)，由此把文件數(shù)據(jù)轉(zhuǎn)換成視頻流和音頻流。
[0636]流緩沖區(qū)1414緩沖位流。例如，流緩沖區(qū)1414緩沖從多路復(fù)用器(MUX) 1412提供的傳輸流并且在預(yù)定時(shí)間或者基于從外部發(fā)送的請(qǐng)求把傳輸流例如提供給連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等。
[0637]此外，例如，流緩沖區(qū)1414緩沖從多路復(fù)用器(MUX) 1412提供的文件數(shù)據(jù)，并且在預(yù)定時(shí)間或者基于從外部發(fā)送的請(qǐng)求把文件數(shù)據(jù)例如提供給連接模塊1321(圖42)等。
[0638]此外，流緩沖區(qū)1414緩沖例如通過(guò)連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等獲取的傳輸流，并且在預(yù)定時(shí)間或者基于從外部發(fā)送的請(qǐng)求等把傳輸流提供給多路分解器(DMUX) 1413。
[0639]此外，流緩沖區(qū)1414緩沖例如連接模塊1321 (圖42)等從各種記錄介質(zhì)讀取的文件數(shù)據(jù)，并且在預(yù)定時(shí)間或者基于從外部發(fā)送的請(qǐng)求等把文件數(shù)據(jù)提供給多路分解器(DMUX)1413。
[0640]接下來(lái)，將描述具有這種配置的視頻處理器1332的操作例子。例如，從連接模塊1321(圖42)等輸入到視頻處理器1332的視頻信號(hào)被視頻輸入處理單元1401根據(jù)諸如4:2:2Y/Cb/Cr系統(tǒng)的預(yù)定系統(tǒng)轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并且順序地寫入幀存儲(chǔ)器1405。這種數(shù)字圖像數(shù)據(jù)被第一圖像放大/減小單元1402或第二圖像放大/減小單元1403讀取，并且格式轉(zhuǎn)換成諸如4:2: OY/Cb/Cr系統(tǒng)等的預(yù)定系統(tǒng)，并且對(duì)數(shù)字圖像數(shù)據(jù)執(zhí)行放大/減小過(guò)程，處理后的數(shù)字圖像數(shù)據(jù)再次寫入幀存儲(chǔ)器1405。這種圖像數(shù)據(jù)被編碼/解碼引擎1407編碼并且作為視頻流寫入視頻ES緩沖區(qū)1408A。
[0641]此外，從連接模塊1321 (圖42)等輸入到視頻處理器1332的音頻信號(hào)被音頻編碼器1410編碼并且作為音頻流寫入音頻ES緩沖區(qū)1409A。
[0642]存儲(chǔ)在視頻ES緩沖區(qū)1408A中的視頻流和存儲(chǔ)在音頻ES緩沖區(qū)1409A中的音頻流被多路復(fù)用器(MUX) 1412讀取、被多路復(fù)用，轉(zhuǎn)換成傳輸流、文件數(shù)據(jù)等。多路復(fù)用器(MUX) 1412生成的傳輸流緩沖到流緩沖區(qū)1414，然后例如通過(guò)連接模塊1321 (圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等輸出到外部網(wǎng)絡(luò)。此外，多路復(fù)用器(MUX) 1412生成的文件數(shù)據(jù)緩沖到流緩沖區(qū)1414，然后輸出到例如連接模塊1321 (圖42)等，并且記錄在各種記錄介質(zhì)中。
[0643]此外，例如通過(guò)連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等從外部網(wǎng)絡(luò)輸入到視頻處理器1332的傳輸流緩沖到流緩沖區(qū)1414，然后被多路分解器(DMUX) 1413多路分解。此外，例如通過(guò)連接模塊1321(圖42)等從那各種記錄介質(zhì)讀取并輸入到視頻處理器1332的文件數(shù)據(jù)緩沖到流緩沖區(qū)1414，然后被多路分解器(DMUX) 1413多路分解。換句話說(shuō)，輸入到視頻處理器1332的傳輸流或文件數(shù)據(jù)被多路分解器(DMUX) 1413分離成視頻流和音頻流。
[0644]音頻流通過(guò)音頻ES緩沖區(qū)1409B提供給音頻解碼器1411并且被解碼，音頻信號(hào)被再現(xiàn)。此外，視頻流寫入視頻ES緩沖區(qū)1408B，然后被編碼/解碼引擎1407順序讀取，被解碼并寫入幀存儲(chǔ)器1405。解碼圖像數(shù)據(jù)被第二圖像放大/減小單元1403放大或減小并且被寫入幀存儲(chǔ)器1405。然后，解碼圖像數(shù)據(jù)被視頻輸出處理單元1404讀取，具有轉(zhuǎn)換成諸如4:2:2Y/Cb/Cr系統(tǒng)的預(yù)定系統(tǒng)的格式，被進(jìn)一步轉(zhuǎn)換成模擬信號(hào)，視頻信號(hào)被再現(xiàn)并輸出。
[0645]本技術(shù)應(yīng)用到如此配置的視頻處理器1332的情況下，根據(jù)以上所述每種實(shí)施例的本技術(shù)可以應(yīng)用到編碼/解碼引擎1407。換句話說(shuō)，例如，編碼/解碼引擎1407可以配置為具有根據(jù)第一實(shí)施例的圖像編碼設(shè)備100 (圖1)或者根據(jù)第二實(shí)施例的圖像解碼設(shè)備200(圖19)的功能。通過(guò)如此配置，視頻處理器1332可以獲取與以上參考圖1至31所描述的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0646]此外，在編碼/解碼引擎1407，本技術(shù)(換句話說(shuō)，根據(jù)以上所述每種實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能)可以由諸如邏輯電路的硬件實(shí)現(xiàn)，可以由諸如內(nèi)置程序的軟件實(shí)現(xiàn)，或者可以同時(shí)由硬件和軟件實(shí)現(xiàn)。
[0647][視頻處理器的另一配置實(shí)例]
[0648]圖44是說(shuō)明本技術(shù)適用的視頻處理器1332(圖42)的示意性配置的另一實(shí)例圖。在圖44所說(shuō)明的例子的情況下，視頻處理器1332具有根據(jù)預(yù)定系統(tǒng)編碼/解碼視頻數(shù)據(jù)的功能。
[0649]更具體而言，如圖44所說(shuō)明的，視頻處理器1332包括:控制單元1511 ;顯示接口1512 ;顯示引擎1513 ;圖像處理引擎1514 ;以及內(nèi)部存儲(chǔ)器1515。此外，視頻處理器1332還包括:編解碼器引擎1516 ;存儲(chǔ)器接口 1517 ;多路復(fù)用器/多路分解器(MUX DMUX) 1518 ；網(wǎng)絡(luò)接口 1519 ;以及視頻接口 1520。
[0650]控制單元1511控制布置在視頻處理器1332的處理單元的操作，其中處理單元諸如顯示接口 1512、顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516。
[0651]如在圖44所說(shuō)明的，例如，控制單元1511包括主CPU 1531、子CPU 1532以及系統(tǒng)控制器1533。主CPU 1531執(zhí)行控制位于視頻處理器1332中每個(gè)處理單元的程序。主CPU1531根據(jù)程序等生成控制信號(hào)并且把該控制信號(hào)提供給每個(gè)處理單元(換句話說(shuō)，控制每個(gè)處理單元的操作)。子CPU 1532對(duì)主CPU 1531實(shí)現(xiàn)輔助角色。例如，子CPU 1532執(zhí)行主CPU 1531執(zhí)行程序的子過(guò)程、子例程等。系統(tǒng)控制器1533控制主CPU 1531和子CPU 1532的操作，諸如要主CPU 1531和子CPU 1532執(zhí)行程序的指定。
[0652]顯示接口 1512在控制單元1511的控制下把圖像數(shù)據(jù)輸出到例如連接模塊1321(圖42)等。例如，顯示接口 1512把作為數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)轉(zhuǎn)換成模擬信號(hào)并且把圖像數(shù)據(jù)輸出到連接模塊1321(圖42)的監(jiān)控設(shè)備等，作為數(shù)字?jǐn)?shù)據(jù)的再現(xiàn)視頻信號(hào)或圖像數(shù)據(jù)。
[0653]在控制單元1511的控制下，顯示引擎1513對(duì)圖像數(shù)據(jù)執(zhí)行各種轉(zhuǎn)換過(guò)程，諸如格式轉(zhuǎn)換、尺寸轉(zhuǎn)換以及色域轉(zhuǎn)換，以調(diào)整到顯示圖像等的監(jiān)控設(shè)備的硬件規(guī)范。
[0654]在控制單元1511的控制下，為了提高圖像數(shù)據(jù)的圖像質(zhì)量等，圖像處理引擎154執(zhí)行預(yù)定圖像處理，諸如過(guò)濾過(guò)程。
[0655]內(nèi)部存儲(chǔ)器1515是視頻處理器1332內(nèi)部的存儲(chǔ)器，被顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516共享。例如，內(nèi)部存儲(chǔ)器1515用于在顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516中執(zhí)行的數(shù)據(jù)互換。例如，內(nèi)部存儲(chǔ)器1515存儲(chǔ)從顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516提供的數(shù)據(jù)、并且必要時(shí)(例如，根據(jù)請(qǐng)求)把數(shù)據(jù)提供給顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516。雖然這個(gè)內(nèi)部存儲(chǔ)器1515可以由任何存儲(chǔ)設(shè)備實(shí)現(xiàn)，但是一般而言，內(nèi)部存儲(chǔ)器1515常用于存儲(chǔ)具有小容量的數(shù)據(jù)，諸如以塊或參數(shù)為單位配置的圖像數(shù)據(jù)，因而它優(yōu)選地由具有相對(duì)小容量(例如，與外部存儲(chǔ)器1312相比)和高響應(yīng)速度的半導(dǎo)體存儲(chǔ)器實(shí)現(xiàn)，諸如SRAM(靜態(tài)隨機(jī)存取存儲(chǔ)器)。
[0656]編解碼器引擎1516執(zhí)行與編碼或解碼圖像數(shù)據(jù)相關(guān)的過(guò)程。編解碼器引擎1516對(duì)應(yīng)的編碼/解碼系統(tǒng)是任意的，其數(shù)目可以是一個(gè)或兩個(gè)或更多個(gè)。例如，編解碼器引擎1516可以包括多個(gè)編碼/解碼系統(tǒng)的編解碼器功能、并且通過(guò)使用多個(gè)編碼/解碼系統(tǒng)中選定的一個(gè)來(lái)執(zhí)行圖像數(shù)據(jù)編碼或者編碼圖像數(shù)據(jù)的解碼。
[0657]在圖44所說(shuō)明的例子，例如，編解碼器引擎1516包括MPEG-2視頻1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265 (可伸縮)1544、HEVC/H.265 (多視圖)1545 和MPEG-DASH 1551，作為關(guān)于編解碼器的過(guò)程的功能塊。
[0658]MPEG-2視頻1541是根據(jù)MPEG-2系統(tǒng)編碼或解碼圖像數(shù)據(jù)的功能塊。AVC/H.2641542是根據(jù)AVC系統(tǒng)編碼或解碼圖像數(shù)據(jù)的功能塊。此外，HEVC/H.2651543是根據(jù)HEVC系統(tǒng)編碼或解碼圖像數(shù)據(jù)的功能塊。HEVC/H.265 (可伸縮)1544是根據(jù)HEVC系統(tǒng)可伸縮編碼或可伸縮解碼圖像數(shù)據(jù)的功能塊。HEVC/H.265 (多視圖)1545是根據(jù)HEVC系統(tǒng)多視點(diǎn)編碼或多視點(diǎn)解碼圖像數(shù)據(jù)的功能塊。
[0659]MPEG-DASH 1551是根據(jù)MPEG-DASH (經(jīng)HTTP的MPEG-動(dòng)態(tài)自適應(yīng)流媒體)系統(tǒng)發(fā)送/接收?qǐng)D像數(shù)據(jù)的功能塊。MPEG-DASH是通過(guò)使用HTTP (超文本傳輸協(xié)議)流化視頻的技術(shù)、并且具有從彼此不同分辨率等的多個(gè)編碼數(shù)據(jù)片段中適當(dāng)選擇其一的特性，其中數(shù)據(jù)是事先以片段為單位準(zhǔn)備并發(fā)送的。MPEG-DASH 1551執(zhí)行與規(guī)范相符的流生成、流發(fā)送控制等，對(duì)于編碼/解碼圖像數(shù)據(jù)，使用上述MPEG-2視頻1541或HEVC/H.265 (多視圖)1545。
[0660]存儲(chǔ)器接口 1517是外部存儲(chǔ)器1312的接口。從圖像處理引擎1514或編解碼器引擎1516提供的數(shù)據(jù)通過(guò)存儲(chǔ)器接口 1517提供給外部存儲(chǔ)器1312。此外，從外部存儲(chǔ)器1312讀出的數(shù)據(jù)通過(guò)存儲(chǔ)器接口 1517提供給視頻處理器1332(圖像處理引擎1514或編解碼器引擎1516)。
[0661]多路復(fù)用器/多路分解器(MUX DMUX) 1518多路復(fù)用或多路分解關(guān)于圖像的各種數(shù)據(jù)，諸如編碼數(shù)據(jù)、圖像數(shù)據(jù)或視頻信號(hào)的位流。多路復(fù)用/多路分解方法是任意的。例如，在多路復(fù)用過(guò)程時(shí)，多路復(fù)用器/多路分解器(MUX DMUX) 1518不僅可以把多個(gè)數(shù)據(jù)片段布置成一個(gè)、而且可以向數(shù)據(jù)添加預(yù)定首部信息等。此外，在多路分解過(guò)程時(shí)，多路復(fù)用器/多路分解器(MUX DMUX) 1518不僅可以把一個(gè)數(shù)據(jù)片段分成多個(gè)部分、而且可以向劃分的數(shù)據(jù)添加預(yù)定首部信息等。換句話說(shuō)，多路復(fù)用器/多路分解器(MUX DMUX) 1518通過(guò)多路復(fù)用/多路分解過(guò)程轉(zhuǎn)換數(shù)據(jù)格式。例如，通過(guò)多路復(fù)用位流，多路復(fù)用器/多路分解器(MUX DMUX) 1518可以把位流轉(zhuǎn)換成用于發(fā)送的格式的傳輸流、或者用于記錄的文件格式的數(shù)據(jù)(文件數(shù)據(jù))。很顯然，逆轉(zhuǎn)換可以通過(guò)多路分解過(guò)程執(zhí)行。
[0662]網(wǎng)絡(luò)接口 1519是專用接口，諸如寬帶調(diào)制解調(diào)器1333(圖42)或者連接模塊1321 (圖42)。視頻接口 1520是諸如連接模塊1321 (圖42)或相機(jī)1322(圖42)的專用接□。
[0663]接下來(lái)，將描述這種視頻處理器1332的操作例子。例如，當(dāng)傳輸流通過(guò)連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等從外部網(wǎng)絡(luò)接收時(shí)，傳輸流通過(guò)網(wǎng)絡(luò)接口1519提供給多路復(fù)用器/多路分解器(MUX DMUX) 1518，被多路分解，被編解碼器引擎1516解碼。對(duì)于通過(guò)編解碼器引擎1516執(zhí)行的解碼過(guò)程獲取的圖像數(shù)據(jù)，例如，預(yù)定圖像處理由圖像處理引擎1514執(zhí)行，預(yù)定轉(zhuǎn)換由顯示引擎1513執(zhí)行，得到的圖像數(shù)據(jù)通過(guò)顯示接口1512提供給例如連接模塊1321(圖42)等，圖像顯示在監(jiān)視器上。此外，例如，通過(guò)由編解碼器引擎1516執(zhí)行的解碼過(guò)程獲取的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被多路復(fù)用器/多路分解器(MUX DMUX) 1518多路復(fù)用，轉(zhuǎn)換成文件數(shù)據(jù)，通過(guò)視頻接口 1520輸出到例如連接模塊1321(圖42)等，在各種記錄介質(zhì)上記錄。
[0664]此外，例如，通過(guò)由連接模塊1321(圖42)等從圖中未示出的記錄介質(zhì)讀取的圖像數(shù)據(jù)獲取的編碼數(shù)據(jù)的文件數(shù)據(jù)，通過(guò)視頻接口 1520被提供給多路復(fù)用器/多路分解器(MUX DMUX) 1518，被多路分解，并且被編解碼器引擎1516解碼。通過(guò)由編解碼器引擎1516執(zhí)行的解碼過(guò)程獲取的圖像數(shù)據(jù)接受圖像處理引擎1514執(zhí)行的預(yù)定圖像處理，預(yù)定轉(zhuǎn)換由顯示引擎1513執(zhí)行，得到的圖像數(shù)據(jù)通過(guò)顯示接口 1512提供給例如連接模塊1321(圖42)等，圖像顯示在監(jiān)視器上。此外，例如，通過(guò)由編解碼器引擎1516執(zhí)行的解碼過(guò)程獲取的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被多路復(fù)用器/多路分解器(MUX DMUX)1518多路復(fù)用，轉(zhuǎn)換成傳輸流，通過(guò)網(wǎng)絡(luò)接口 1519提供給例如連接模塊1321 (圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等，發(fā)送到圖中未示出的另一設(shè)備。
[0665]此外，例如，視頻處理器1332的處理單元之間的圖像數(shù)據(jù)或其它數(shù)據(jù)的互換是利用內(nèi)部存儲(chǔ)器1515或外部存儲(chǔ)器1312執(zhí)行的。此外，例如，電源管理模塊1313控制電力向控制單元1511的供應(yīng)。
[0666]本技術(shù)應(yīng)用到如此配置的視頻處理器1332的情況下，根據(jù)以上所述每種實(shí)施例的本技術(shù)可以應(yīng)用到編解碼器引擎1516。換句話說(shuō)，例如，編解碼器引擎1516可以包括實(shí)現(xiàn)根據(jù)第一實(shí)施例的圖像編碼設(shè)備100(圖1)或者根據(jù)第二實(shí)施例的圖像解碼設(shè)備200(圖19)的功能塊。通過(guò)如此配置，視頻處理器1332可以獲取與以上參考圖1至31所描述的那些相同的優(yōu)點(diǎn)。
[0667]此外，在編解碼器引擎1516中，本技術(shù)(換句話說(shuō)，根據(jù)以上所述每種實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能)可以由諸如邏輯電路的硬件實(shí)現(xiàn)，可以由諸如內(nèi)置程序的軟件實(shí)現(xiàn)，或者可以同時(shí)由硬件和軟件實(shí)現(xiàn)。
[0668]如上所述，雖然已經(jīng)作為例子描述了視頻處理器1332的兩種配置，但是視頻處理器1332的配置是任意的、并且可以是以上所述兩種配置之外的配置。此外，這種視頻處理器1332可以由一個(gè)半導(dǎo)體芯片或多個(gè)半導(dǎo)體芯片配置。例如，視頻處理器1332可以由多個(gè)半導(dǎo)體被層壓的三維層壓LSI配置。此外，視頻處理器1332可以由多個(gè)LSI實(shí)現(xiàn)。
[0669][對(duì)設(shè)備的應(yīng)用實(shí)例]
[0670]視頻機(jī)1300可以在處理圖像數(shù)據(jù)的各種設(shè)備中設(shè)置。例如，視頻機(jī)1300可以在電視裝置900 (圖35)、移動(dòng)電話920 (圖36)、記錄和再現(xiàn)設(shè)備940 (圖37)、成像設(shè)備960 (圖38)等中設(shè)置。通過(guò)在其中設(shè)置視頻機(jī)1300，設(shè)備可以獲取與以上參考圖1至31所描述的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0671]此外，例如，視頻機(jī)1300可以在圖39說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1000的終端設(shè)備，諸如個(gè)人計(jì)算機(jī)1004、AV設(shè)備1005、平板設(shè)備1006和移動(dòng)電話1007，以及圖40所說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1100的廣播站1101和終端設(shè)備1102中以及圖41所說(shuō)明的成像系統(tǒng)1200的成像設(shè)備1201和可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202中設(shè)置。通過(guò)在其中設(shè)置視頻機(jī)1300，設(shè)備可以獲取與以上參考圖1至31所描述的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0672]此外，即使上述視頻機(jī)1300的一些配置是包括視頻處理器1332的，但還可以實(shí)現(xiàn)為本技術(shù)在其它情況下應(yīng)用的配置。例如，只有視頻處理器1332配置為本技術(shù)適用的視頻處理器。此外，如上所述，由虛線1341指示的處理器、視頻模塊1311等可以配置為本技術(shù)適用的處理器、模塊等。此外，例如，視頻模塊1311、外部存儲(chǔ)器1312、電源管理模塊1313和前端模塊1314可以組合，以便配置為本技術(shù)適用的視頻單元1361。在任何配置，都可以獲取與以上參考圖1至31所描述的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0673]換句話說(shuō)，類似于視頻機(jī)1300的情況，包括視頻處理器1332的任何配置可以在處理圖像數(shù)據(jù)的各種設(shè)備中設(shè)置。例如，虛線1341指示的視頻處理器1332、處理器和視頻模塊1311，或者視頻單元1361，可以在電視裝置900(圖35)、移動(dòng)電話920 (圖36)、記錄和再現(xiàn)設(shè)備940 (圖37)、成像設(shè)備960 (圖38)、圖39中說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1000的終端設(shè)備，諸如個(gè)人計(jì)算機(jī)1004、AV設(shè)備1005、平板設(shè)備1006和移動(dòng)電話1007，圖40所說(shuō)明的數(shù)據(jù)發(fā)送系統(tǒng)1100的廣播站1101和終端設(shè)備1102中以及圖41所說(shuō)明的成像系統(tǒng)1200的成像設(shè)備1201和可伸縮編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202等中設(shè)置。類似于視頻機(jī)1300的情況，通過(guò)設(shè)置本技術(shù)適用的任何配置，設(shè)備可以獲取與以上參考圖1至31所描述的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0674]另外，本說(shuō)明書(shū)已經(jīng)描述了諸如跳過(guò)許可信息或跳過(guò)標(biāo)識(shí)信息的各種信息被多路復(fù)用到編碼流中、并且編碼流從編碼側(cè)發(fā)送到解碼側(cè)的例子。但是，發(fā)送信息的技術(shù)不限于此。例如，信息可以作為與編碼位流關(guān)聯(lián)的獨(dú)立數(shù)據(jù)發(fā)送或記錄，而不多路復(fù)用到編碼的位流中。這里，術(shù)語(yǔ)“關(guān)聯(lián)”代表包括在位流中的圖像(片、塊等；可以是圖像的一部分)和對(duì)應(yīng)于該圖像的信息在解碼過(guò)程時(shí)彼此鏈接。換句話說(shuō)，信息可以在與圖像(或位流)的傳輸線路不同的傳輸線路上發(fā)送。此外，信息可以記錄在與圖像(或位流)的記錄介質(zhì)不同的記錄介質(zhì)(或者相同記錄介質(zhì)的不同存儲(chǔ)區(qū)域)上。此外，信息和圖像(或位流)可以在任意單元(諸如多個(gè)幀、一個(gè)幀或者幀的一部分)中彼此關(guān)聯(lián)。
[0675]本公開(kāi)內(nèi)容的優(yōu)選實(shí)施例已經(jīng)參考附圖具體描述，但是本公開(kāi)內(nèi)容的技術(shù)范圍不限于以上例子。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，各種修改或變更可以在權(quán)利要求所述的技術(shù)主旨的范圍內(nèi)發(fā)生、并且它們?cè)诒景l(fā)明的技術(shù)范圍內(nèi)。
[0676]本技術(shù)還可以具有以下配置:
[0677](I) 一種圖像處理設(shè)備，包括:量化單元，使用被應(yīng)用到正交變換跳過(guò)塊的加權(quán)系數(shù)以及量化所述正交變換跳過(guò)塊，其中在所述正交變換跳過(guò)塊中正交變換處理被跳過(guò)；以及編碼單元，編碼被量化單元量化的正交變換跳過(guò)塊的系數(shù)。
[0678](2) (I)中所描述的圖像處理設(shè)備，其中量化單元使用空間域值作為所述加權(quán)系數(shù)。
[0679](3) (2)中所描述的圖像處理設(shè)備，其中量化單元使用一個(gè)加權(quán)系數(shù)。
[0680](4) (2)中所描述的圖像處理設(shè)備，其中量化單元使用在量化正交變換塊時(shí)使用的量化矩陣的DC分量作為加權(quán)系數(shù)，其中在所述正交變換塊中執(zhí)行正交變換處理。
[0681](5) (2)中所描述的圖像處理設(shè)備，其中量化單元利用加權(quán)系數(shù)矩陣來(lái)量化所述正交變換跳過(guò)塊，所述加權(quán)系數(shù)矩陣是通過(guò)對(duì)量化矩陣的DC分量執(zhí)行矩陣處理所獲得的。
[0682](6) (I)中所描述的圖像處理設(shè)備，其中量化單元利用加權(quán)系數(shù)矩陣來(lái)量化所述正交變換跳過(guò)塊，所述加權(quán)系數(shù)矩陣是通過(guò)對(duì)所述加權(quán)系數(shù)執(zhí)行矩陣處理所獲得的。
[0683](7) (I)中所描述的圖像處理設(shè)備，還包括發(fā)送單元，該發(fā)送單元把所述加權(quán)系數(shù)作為序列參數(shù)集或圖片參數(shù)集發(fā)送。
[0684](8)⑴中所描述的圖像處理設(shè)備，還包括發(fā)送單元，該發(fā)送單元發(fā)送指示是否許可正交變換處理的跳過(guò)的跳過(guò)許可信息，作為圖片參數(shù)集或者作為片首部。
[0685](9) (8)中所描述的圖像處理設(shè)備，其中發(fā)送單元只在執(zhí)行正交變換的最小塊尺寸是4X4時(shí)才發(fā)送跳過(guò)許可信息。
[0686](10)⑴中所描述的圖像處理設(shè)備，還包括發(fā)送單元，該發(fā)送單元只在執(zhí)行正交變換的最小塊尺寸是4X4時(shí)才發(fā)送跳過(guò)許可信息作為序列參數(shù)集。
[0687](11) (10)中所描述的圖像處理設(shè)備，其中當(dāng)跳過(guò)許可信息是許可正交變換處理的跳過(guò)的值時(shí)，發(fā)送單元在跳過(guò)許可信息之后發(fā)送所述加權(quán)系數(shù)。
[0688](12) 一種圖像處理設(shè)備的圖像處理方法，其中圖像處理設(shè)備使用加權(quán)系數(shù)應(yīng)用到正交變換跳過(guò)塊，量化所述正交變換跳過(guò)塊，以及編碼所述量化的正交變換跳過(guò)塊的系數(shù)，其中在所述正交變換跳過(guò)塊中正交變換處理被跳過(guò)。
[0689](13) 一種圖像處理設(shè)備，包括:過(guò)濾單元，當(dāng)圖像經(jīng)歷編碼過(guò)程時(shí)，對(duì)局部解碼圖像執(zhí)行去塊過(guò)濾；控制單元，控制由過(guò)濾單元進(jìn)行的去塊過(guò)濾，以便針對(duì)正交變換處理被跳過(guò)的正交變換跳過(guò)塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過(guò)濾的強(qiáng)度；以及編碼單元，使用過(guò)濾單元執(zhí)行了去塊過(guò)濾的圖像，并且編碼該圖像。
[0690](14) 一種圖像處理設(shè)備的圖像處理方法，其中當(dāng)圖像經(jīng)歷編碼過(guò)程時(shí)，圖像處理設(shè)備對(duì)局部解碼圖像執(zhí)行去塊過(guò)濾，控制由過(guò)濾單元進(jìn)行的去塊過(guò)濾，以便針對(duì)正交變換處理被跳過(guò)的正交變換跳過(guò)塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過(guò)濾的強(qiáng)度，使用過(guò)濾單元執(zhí)行了去塊過(guò)濾的圖像，并且編碼該圖像。
[0691](15) 一種圖像處理設(shè)備，包括:解碼單元，對(duì)位流執(zhí)行解碼過(guò)程，以生成圖像；過(guò)濾單元，對(duì)解碼單元生成的圖像執(zhí)行去塊過(guò)濾；及控制單元，控制由過(guò)濾單元進(jìn)行的去塊過(guò)濾，以便針對(duì)正交變換處理被跳過(guò)的正交變換跳過(guò)塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過(guò)濾的強(qiáng)度。
[0692](16) 一種圖像處理設(shè)備的圖像處理方法，其中圖像處理設(shè)備對(duì)位流執(zhí)行解碼過(guò)程，以生成圖像,對(duì)所生成的圖像執(zhí)行去塊過(guò)濾,并且控制去塊過(guò)濾，以便針對(duì)正交變換處理被跳過(guò)的正交變換跳過(guò)塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過(guò)濾的強(qiáng)度。
[0693](21) —種圖像處理設(shè)備，包括:
[0694]解碼單元，解碼編碼數(shù)據(jù)并生成量化系數(shù)；及
[0695]逆量化單元，使用應(yīng)用到正交變換跳過(guò)塊的加權(quán)系數(shù)來(lái)逆量化由解碼單元生成的正交變換跳過(guò)塊的量化系數(shù)，其中在所述正交變換跳過(guò)塊中正交變換處理被跳過(guò)。
[0696](22)根據(jù)(21)的圖像處理設(shè)備，其中逆量化單元使用一個(gè)加權(quán)系數(shù)。
[0697](23)根據(jù)(22)的圖像處理設(shè)備，其中逆量化單元利用所述加權(quán)系數(shù)來(lái)逆量化具有4X4塊尺寸的正交變換跳過(guò)塊的量化系數(shù)。
[0698](24)根據(jù)(23)的圖像處理設(shè)備，還包括接收單元，該接收單元接收作為圖片參數(shù)集發(fā)送的、指示是否許可正交變換處理的跳過(guò)的跳過(guò)許可信息。
[0699](25)根據(jù)(24)的圖像處理設(shè)備，其中接收單元還接收所發(fā)送的加權(quán)系數(shù)，并且逆量化單元利用接收單元接收的加權(quán)系數(shù)來(lái)逆量化正交變換跳過(guò)塊的量化系數(shù)。
[0700](26)根據(jù)(21)的圖像處理設(shè)備，其中逆量化單元利用量化矩陣來(lái)逆量化非正交變換跳過(guò)塊的量化系數(shù)，其中所述量化矩陣與通過(guò)對(duì)加權(quán)系數(shù)執(zhí)行矩陣處理獲得的加權(quán)系數(shù)矩陣不同，其中在所述非正交變換跳過(guò)塊中執(zhí)行正交變換處理。
[0701](27)根據(jù)(24)的圖像處理設(shè)備，還包括發(fā)送單元，該發(fā)送單元通過(guò)接收廣播信號(hào)提取期望的通道信號(hào)，并且通過(guò)解碼提取出的信號(hào)獲得編碼數(shù)據(jù)，
[0702]其中解碼單元解碼發(fā)送單元從廣播信號(hào)獲得的編碼數(shù)據(jù)。
[0703](28)根據(jù)(24)的圖像處理設(shè)備，還包括多路分解器，該多路分解器多路分解所發(fā)送的編碼數(shù)據(jù)，以分成視頻編碼數(shù)據(jù)和音頻編碼數(shù)據(jù)，
[0704]其中解碼單元解碼被多路分解器分解的、與音頻編碼數(shù)據(jù)分離的視頻編碼數(shù)據(jù)。
[0705](29)根據(jù)(24)的圖像處理設(shè)備，還包括再現(xiàn)單元，該再現(xiàn)單元再現(xiàn)視頻數(shù)據(jù)，所述視頻數(shù)據(jù)是由解碼單元對(duì)編碼數(shù)據(jù)執(zhí)行解碼和由逆量化單元執(zhí)行逆量化處理獲得的。
[0706](30)根據(jù)(24)的圖像處理設(shè)備，還包括對(duì)音頻數(shù)據(jù)執(zhí)行編碼和解碼的音頻編解碼器單元。
[0707](31)根據(jù)(24)的圖像處理設(shè)備，還包括讀出記錄在存儲(chǔ)介質(zhì)上的編碼數(shù)據(jù)的再現(xiàn)單元，
[0708]其中解碼單元解碼再現(xiàn)單元從存儲(chǔ)介質(zhì)讀出的編碼數(shù)據(jù)。
[0709](32) —種圖像處理方法，包括:
[0710]解碼編碼數(shù)據(jù)并生成量化系數(shù)；以及
[0711]利用被應(yīng)用到其中正交變換處理被跳過(guò)的正交變換跳過(guò)塊的加權(quán)系數(shù)，來(lái)逆量化所生成的正交變換跳過(guò)塊的量化系數(shù)。
[0712]標(biāo)號(hào)列表
[0713]100 圖像編碼設(shè)備
[0714]104 正交變換單元
[0715]105 量化單元
[0716]106 無(wú)損編碼單元
[0717]108 逆量化單元
[0718]109 逆正交變換單元
[0719]111 去塊過(guò)濾器
[0720]121 正交變換跳過(guò)單元
[0721]131 跳過(guò)編碼單元
[0722]132 跳過(guò)確定單元
[0723]141 量化矩陣設(shè)置單元
[0724]142加權(quán)系數(shù)生成單元
[0725]143量化處理單元
[0726]151邊界確定單元
[0727]152強(qiáng)度調(diào)整單元
[0728]153過(guò)濾單元
[0729]200圖像解碼設(shè)備
[0730]202無(wú)損解碼單元
[0731]203逆量化單元
[0732]204逆正交變換單元
[0733]206去塊過(guò)濾器
[0734]221逆正交變換跳過(guò)單元
[0735]231TransformSkipFlag 緩沖區(qū)
[0736]232控制信號(hào)生成單元
[0737]241量化矩陣緩沖區(qū)
[0738]242加權(quán)系數(shù)生成單元
[0739]243量化參數(shù)緩沖區(qū)
[0740]244逆量化單元
[0741]251邊界確定單元
[0742]252強(qiáng)度調(diào)整單元
[0743]253過(guò)濾單元
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 解碼單元，解碼編碼數(shù)據(jù)并生成量化系數(shù)；以及 逆量化單元，使用被應(yīng)用正交變換跳過(guò)塊的加權(quán)系數(shù)，來(lái)逆量化由解碼單元生成的正交變換跳過(guò)塊的量化系數(shù)，其中在所述正交變換跳過(guò)塊中正交變換處理被跳過(guò)。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中逆量化單元使用一個(gè)加權(quán)系數(shù)。
3.如權(quán)利要求2所述的圖像處理設(shè)備，其中逆量化單元利用所述加權(quán)系數(shù)來(lái)逆量化具有4X4塊尺寸的正交變換跳過(guò)塊的量化系數(shù)。
4.如權(quán)利要求3所述的圖像處理設(shè)備，還包括接收單元，該接收單元接收作為圖片參數(shù)集發(fā)送的、并且指示是否許可正交變換處理的跳過(guò)的跳過(guò)許可信息。
5.如權(quán)利要求4所述的圖像處理設(shè)備，其中接收單元還接收所發(fā)送的加權(quán)系數(shù)，并且逆量化單元利用接收單元接收的加權(quán)系數(shù)來(lái)逆量化所述正交變換跳過(guò)塊的量化系數(shù)。
6.如權(quán)利要求1所述的圖像處理設(shè)備，其中逆量化單元利用量化矩陣逆來(lái)量化非正交變換跳過(guò)塊的量化系數(shù)，其中在所述非正交變換跳過(guò)塊中執(zhí)行正交變換處理，所述量化矩陣與通過(guò)對(duì)加權(quán)系數(shù)執(zhí)行矩陣處理獲得的加權(quán)系數(shù)矩陣不同。
7.如權(quán)利要求4所述的圖像處理設(shè)備，還包括發(fā)送單元，該發(fā)送單元通過(guò)接收廣播信號(hào)提取期望的通道信號(hào)、并且通過(guò)解碼提取出的信號(hào)獲得編碼數(shù)據(jù)， 其中解碼單元解碼由發(fā)送單元從廣播信號(hào)獲得的所述編碼數(shù)據(jù)。
8.如權(quán)利要求4所述的圖像處理設(shè)備，還包括多路分解器，該多路分解器多路分解所發(fā)送的編碼數(shù)據(jù)，以分成視頻編碼數(shù)據(jù)和音頻編碼數(shù)據(jù)， 其中解碼單元解碼通過(guò)多路分解器分解的、與音頻編碼數(shù)據(jù)分離的視頻編碼數(shù)據(jù)。
9.如權(quán)利要求4所述的圖像處理設(shè)備，還包括再現(xiàn)單元，該再現(xiàn)單元再現(xiàn)視頻數(shù)據(jù)，所述視頻數(shù)據(jù)是通過(guò)由解碼單元對(duì)所述編碼數(shù)據(jù)執(zhí)行解碼、并由逆量化單元執(zhí)行逆量化處理而獲得。
10.如權(quán)利要求4所述的圖像處理設(shè)備，還包括對(duì)音頻數(shù)據(jù)執(zhí)行編碼和解碼的音頻編解碼器單元。
11.如權(quán)利要求4所述的圖像處理設(shè)備，還包括讀出記錄在存儲(chǔ)介質(zhì)上的編碼數(shù)據(jù)的再現(xiàn)單元， 其中解碼單元解碼所述再現(xiàn)單元從存儲(chǔ)介質(zhì)讀出的編碼數(shù)據(jù)。
12.—種圖像處理方法，包括: 解碼編碼數(shù)據(jù)并生成量化系數(shù)；及 利用被應(yīng)用到正交變換跳過(guò)塊的加權(quán)系數(shù)，來(lái)逆量化所生成的正交變換跳過(guò)塊的量化系數(shù)，其中在所述正交變換跳過(guò)塊中正交變換處理被跳過(guò)。
【文檔編號(hào)】H04N19/12GK104380732SQ201380032817
【公開(kāi)日】2015年2月25日 申請(qǐng)日期:2013年6月21日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】佐藤數(shù)史, 森上義崇, 陸碩 申請(qǐng)人:索尼公司