本申請是同一申請人的申請日為2013年2月20日的、申請?zhí)枮?01380010684.7(pct/jp2013/054126)、發(fā)明名稱為“圖像處理設(shè)備和方法”的中國發(fā)明專利申請的分案申請。

本公開涉及圖像處理設(shè)備和方法。

背景技術(shù)：

在作為視頻編碼方案的標(biāo)準規(guī)范之一的h.264/avc(高級視頻編碼)中，高規(guī)格(highprofile)以上的規(guī)格允許利用因正交變換系數(shù)的分量而異的量化步長的圖像數(shù)據(jù)的量化。根據(jù)參考步長值和依據(jù)與正交變換的單位等同的大小限定的量化矩陣(也稱為位階列表)，可設(shè)定正交變換系數(shù)的各個分量的量化步長。

為每種預(yù)測模式(幀內(nèi)預(yù)測模式，幀間預(yù)測模式)和為每種變換單位大小(4×4,8×8)，準備量化矩陣的規(guī)定值。此外，允許用戶在序列參數(shù)集或圖像參數(shù)集中，指定與所述規(guī)定值不同的獨特量化矩陣。在不使用量化矩陣的情況下，對所有分量來說，用于量化的量化步長大小都相等。

在作為下一代視頻編碼方案正在進行標(biāo)準化并且是h.264/avc的后繼者的hevc(高效視頻編碼)中，引入了對應(yīng)于傳統(tǒng)宏塊的編碼單位(cu)的概念(例如，參見npl1)。編碼單位的大小的范圍由序列參數(shù)集中的稱為最大編碼單位(lcu)和最小編碼單位(scu)的為2的乘冪的一組值指定。此外，利用split_flag指定在由lcu和scu指定的范圍中的具體編碼單位大小。

在hevc中，一個編碼單位可被分成一個或多個正交變換單位，或者一個或多個變換單位(tu)?？捎玫淖儞Q單位大小是4×4、8×8、16×16和32×32任意之一。

同時，為了諸如傳輸期間的編碼量的減小之類的目的，量化矩陣(位階列表)的dc分量(也稱為直流分量)是以和其ac分量(也稱為交流分量)不同的數(shù)據(jù)的形式傳送的。具體地，以不同于ac系數(shù)(也稱為交流系數(shù))的dc系數(shù)(也稱為直流系數(shù))的形式，傳送位階列表的dc分量，所述ac系數(shù)是位階列表的ac分量。

為了減小傳輸期間的dc系數(shù)的編碼量，已提出從dc系數(shù)的值中減去常數(shù)(例如，8)，并利用有符號的指數(shù)golomb編碼，編碼作為結(jié)果的值(scaling_list_dc_coef_minus8)(例如，參見npl1)。

引文列表

非專利文獻

npl1:benjaminbross,fraunhoferhhi,woo-jinhan,gachonuniversity,jens-rainerohm,rwthaachen,garyj.sullivan,microsoft,thomaswiegand,fraunhoferhhi/tuberlin,jctvc-h1003,“highefficiencyvideocoding(hevc)textspecificationdraft6”,jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg117thmeeting:geneva,ch,21-30november,2011

技術(shù)實現(xiàn)要素：

然而，盡管上述方法便利了處理，但是擔(dān)心它不會提供足夠的壓縮效率。

鑒于上述情況，提出了本公開，本公開的一個目的是能夠抑制位階列表(scalinglist)的編碼量的增加。

本技術(shù)的一個方面提供一種圖像處理設(shè)備，包括：設(shè)定單元，被配置成通過將作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)加入位于量化矩陣的開始處的系數(shù)，設(shè)定位于量化矩陣的開始處的系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；向上轉(zhuǎn)換單元，被配置成對由所述設(shè)定單元設(shè)定的量化矩陣進行向上轉(zhuǎn)換以設(shè)定向上轉(zhuǎn)換量化矩陣；以及逆量化單元，被配置成利用向上轉(zhuǎn)換量化矩陣對通過解碼編碼數(shù)據(jù)而獲得的量化數(shù)據(jù)進行逆量化，在所述向上轉(zhuǎn)換量化矩陣中，已經(jīng)用所述置換系數(shù)置換了位于由所述向上轉(zhuǎn)換單元設(shè)定的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)。

所述設(shè)定單元通過將所述置換系數(shù)與為所述量化矩陣設(shè)定的初始值之間的差值加入所述初始值，設(shè)定所述置換系數(shù)。

所述設(shè)定單元利用所述置換差值系數(shù)和作為所述量化矩陣的系數(shù)之間的差值的差值系數(shù)來設(shè)定所述量化矩陣的系數(shù)。

集體地傳送所述置換差值系數(shù)和作為所述量化矩陣的系數(shù)之間的差值的所述差值系數(shù)。所述設(shè)定單元利用集體地傳送的置換差值系數(shù)和差值系數(shù)來設(shè)定所述量化矩陣的系數(shù)。

所述置換差值系數(shù)和作為所述量化矩陣的系數(shù)之間的差值的所述差值系數(shù)已被編碼。所述設(shè)定單元對編碼的所述置換差值系數(shù)和編碼的所述差值系數(shù)進行解碼。

所述向上轉(zhuǎn)換單元通過對大小被限制為不大于所述傳送大小的所述量化矩陣的矩陣元素執(zhí)行最鄰近插值處理，對所述量化矩陣進行向上轉(zhuǎn)換。

所述傳送大小是8×8。所述向上轉(zhuǎn)換單元通過對8×8大小的量化矩陣的矩陣元素執(zhí)行最鄰近插值處理，將8×8大小的量化矩陣向上轉(zhuǎn)換成16×16大小的量化矩陣。

所述向上轉(zhuǎn)換單元通過對8×8大小的量化矩陣的矩陣元素執(zhí)行最鄰近插值處理，將8×8大小的量化矩陣向上轉(zhuǎn)換成32×32大小的量化矩陣。

作為執(zhí)行解碼處理的處理單位的編碼單位和作為執(zhí)行變換處理的處理單位的變換單位具有分層結(jié)構(gòu)。所述圖像處理設(shè)備還包括解碼單元，所述解碼單元被配置成利用具有分層結(jié)構(gòu)的單位對編碼的數(shù)據(jù)執(zhí)行解碼處理以生成量化數(shù)據(jù)。所述向上轉(zhuǎn)換單元將所述量化矩陣從所述傳送大小向上轉(zhuǎn)換成作為執(zhí)行逆量化的處理單位的變換單位的大小。

本技術(shù)的一個方面提供一種圖像處理方法，包括：通過將作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)加入位于量化矩陣的開始處的系數(shù)，設(shè)定位于量化矩陣的開始處的系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；對設(shè)定的量化矩陣進行向上轉(zhuǎn)換以設(shè)定向上轉(zhuǎn)換量化矩陣；以及利用向上轉(zhuǎn)換量化矩陣對通過解碼編碼數(shù)據(jù)而獲得的量化數(shù)據(jù)進行逆量化，在所述向上轉(zhuǎn)換量化矩陣中，已經(jīng)用所述置換系數(shù)置換了位于所設(shè)定的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)。

本技術(shù)的另一方面提供了一種圖像處理設(shè)備，包括：設(shè)定單元，被配置成設(shè)定作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；量化單元，被配置成對圖像進行量化以生成量化數(shù)據(jù)；以及傳送單元，被配置成傳送通過對由所述量化單元生成的量化數(shù)據(jù)進行編碼而獲得的編碼數(shù)據(jù)、通過對所述置換系數(shù)進行編碼而獲得的置換系數(shù)數(shù)據(jù)以及通過對由所述設(shè)定單元設(shè)定的置換差值系數(shù)進行編碼而獲得的置換差值系數(shù)數(shù)據(jù)。

所述設(shè)定單元設(shè)定所述置換系數(shù)與為所述量化矩陣設(shè)定的初始值之間的差值。

所述設(shè)定單元設(shè)定作為所述量化矩陣的系數(shù)之間的差值的差值系數(shù)。所述傳送單元傳送通過對由所述設(shè)定單元設(shè)定的差值系數(shù)進行編碼而獲得的差值系數(shù)數(shù)據(jù)。

所述傳送單元集體地傳送所述置換系數(shù)數(shù)據(jù)和所述置換差值系數(shù)數(shù)據(jù)。

所述傳送單元按所述置換系數(shù)數(shù)據(jù)和所述置換差值系數(shù)數(shù)據(jù)的順序傳送所述置換系數(shù)數(shù)據(jù)和所述置換差值系數(shù)數(shù)據(jù)。

所述量化單元利用所述量化矩陣或所述向上轉(zhuǎn)換量化矩陣對圖像進行量化。

作為執(zhí)行編碼處理的處理單位的編碼單位和作為執(zhí)行變換處理的處理單位的變換單位具有分層結(jié)構(gòu)。所述圖像處理設(shè)備還包括編碼單元，所述編碼單元被配置成對由所述量化單元生成的量化數(shù)據(jù)進行編碼。

本技術(shù)的另一方面提供一種圖像處理方法，包括：設(shè)定作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；對圖像進行量化以生成量化數(shù)據(jù)；以及傳送通過對所生成的量化數(shù)據(jù)進行編碼而獲得的編碼數(shù)據(jù)、通過對所述置換系數(shù)進行編碼而獲得的置換系數(shù)數(shù)據(jù)以及通過對所設(shè)定的置換差值系數(shù)進行編碼而獲得的置換差值系數(shù)數(shù)據(jù)。

本技術(shù)的還一方面提供一種圖像處理設(shè)備，包括：解碼單元，被配置成對編碼數(shù)據(jù)進行解碼以生成量化數(shù)據(jù)；和逆量化單元，被配置成當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，利用與作為執(zhí)行逆量化的處理單位的塊大小相同的大小的缺省量化矩陣，對由所述解碼單元生成的量化數(shù)據(jù)進行逆量化。

所述逆量化單元通過對語法進行分析來逆量化所述量化數(shù)據(jù)，所述語法的語義被設(shè)定成當(dāng)所述量化矩陣參考數(shù)據(jù)匹配所述量化矩陣識別數(shù)據(jù)時參考所述缺省量化矩陣。

所述逆量化單元通過對語法進行分析來逆量化所述量化數(shù)據(jù)，所述語法的語義被設(shè)定成當(dāng)所述量化矩陣參考數(shù)據(jù)與所述量化矩陣識別數(shù)據(jù)之間的差值等于0時參考所述缺省量化矩陣。

本技術(shù)的還一方面提供一種圖像處理方法，包括：對編碼數(shù)據(jù)進行解碼以生成量化數(shù)據(jù)；和當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，利用與作為執(zhí)行逆量化的處理單位的塊大小相同的大小的缺省量化矩陣，對在所述解碼中生成的量化數(shù)據(jù)進行逆量化。

本技術(shù)的還一方面提供一種圖像處理設(shè)備，包括：編碼單元，被配置成對圖像進行編碼以生成編碼數(shù)據(jù)；和設(shè)定單元，被配置成將一種語法設(shè)定為由所述編碼單元生成的編碼數(shù)據(jù)的語法，所述語法的語義被設(shè)定成當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，參考與作為執(zhí)行量化的處理單位的塊大小相同的大小的缺省量化矩陣。

本技術(shù)的還一方面提供一種圖像處理方法，包括：對圖像進行編碼以生成編碼數(shù)據(jù)；和將一種語法設(shè)定為所生成的編碼數(shù)據(jù)的語法，所述語法的語義被設(shè)定成當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，參考與作為執(zhí)行量化的處理單位的塊大小相同的大小的缺省量化矩陣。

在本技術(shù)的一個方面中，通過將作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)加入位于量化矩陣的開始處的系數(shù)，設(shè)定位于量化矩陣的開始處的系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；對設(shè)定的量化矩陣進行向上轉(zhuǎn)換以設(shè)定向上轉(zhuǎn)換量化矩陣；以及利用向上轉(zhuǎn)換量化矩陣對通過解碼編碼數(shù)據(jù)而獲得的量化數(shù)據(jù)進行逆量化，在所述向上轉(zhuǎn)換量化矩陣中，已經(jīng)用所述置換系數(shù)置換了位于由所述向上轉(zhuǎn)換單元設(shè)定的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)。

在本技術(shù)的另一方面中，設(shè)定作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；對圖像進行量化以生成量化數(shù)據(jù)；以及傳送通過對生成的量化數(shù)據(jù)進行編碼而獲得的編碼數(shù)據(jù)、通過對所述置換系數(shù)進行編碼而獲得的置換系數(shù)數(shù)據(jù)以及通過對設(shè)定的置換差值系數(shù)進行編碼而獲得的置換差值系數(shù)數(shù)據(jù)。

在本技術(shù)的另一方面中，對編碼數(shù)據(jù)進行解碼以生成量化數(shù)據(jù)；和當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，利用與作為執(zhí)行逆量化的處理單位的塊大小相同的大小的缺省量化矩陣，對在解碼中生成的量化數(shù)據(jù)進行逆量化。

在本技術(shù)的還一方面中，對圖像進行編碼以生成編碼數(shù)據(jù)；和將一種語法設(shè)定為生成的編碼數(shù)據(jù)的語法，所述語法的語義被設(shè)定成當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，參考與作為執(zhí)行量化的處理單位的塊大小相同的大小的缺省量化矩陣。

根據(jù)本技術(shù)，可以處理圖像。具體來說，可以抑制量化矩陣的編碼量的增加。

附圖說明

圖1是圖解說明位階列表的例子的示圖。

圖2是圖解說明向上轉(zhuǎn)換的例子的示圖。

圖3是圖解說明在解碼器中如何使用位階列表的例子的示圖。

圖4是圖解說明位階列表的編碼的例子的示圖。

圖5是圖解說明利用本技術(shù)的位階列表的編碼例子的示圖。

圖6是圖解說明指數(shù)golomb碼的例子的示圖。

圖7包括圖解說明位階列表的語法的例子的示圖。

圖8是圖解說明默認矩陣的語法的例子的示圖。

圖9包括圖解說明默認矩陣的語義的例子的示圖。

圖10是圖解說明位階列表的語法的例子的示圖。

圖11是圖解說明利用本技術(shù)的位階列表的語法的例子的示圖。

圖12包括圖解說明現(xiàn)有技術(shù)中的位階列表的語法的例子的示圖。

圖13是圖解說明位階列表的語法的例子的示圖。

圖14是圖解說明圖像編碼設(shè)備的主要結(jié)構(gòu)的例子的方框圖。

圖15是圖解說明正交變換/量化單元的主要結(jié)構(gòu)的例子的方框圖。

圖16是圖解說明矩陣處理單元的主要結(jié)構(gòu)的例子的方框圖。

圖17是圖解說明下采樣的例子的示圖。

圖18是圖解重復(fù)部分的消除的例子的示圖。

圖19是圖解說明dpcm單元的主要結(jié)構(gòu)的例子的方框圖。

圖20是圖解說明量化矩陣編碼處理的流程的例子的流程圖。

圖21是圖解說明dpcm處理的流程的例子的流程圖。

圖22是圖解說明圖像解碼設(shè)備的主要結(jié)構(gòu)的例子的方框圖。

圖23是圖解說明逆量化/逆正交變換單元的主要結(jié)構(gòu)的例子的方框圖。

圖24是圖解說明矩陣生成單元的主要結(jié)構(gòu)的例子的方框圖。

圖25是圖解說明最近鄰插值處理的例子的示圖。

圖26是圖解說明逆dpcm單元的主要結(jié)構(gòu)的例子的方框圖。

圖27是圖解說明矩陣生成處理的流程的例子的流程圖。

圖28是圖解說明殘差信號解碼處理的流程的例子的流程圖。

圖29是圖解說明逆dpcm處理的流程的例子的流程圖。

圖30是圖解說明位階列表的語法的另一個例子的示圖。

圖31是圖解說明dpcm單元的另一種例證結(jié)構(gòu)的方框圖。

圖32是圖解說明dpcm處理的流程的另一個例子的流程圖。

圖33是圖解說明逆dpcm單元的另一種例證結(jié)構(gòu)的方框圖。

圖34是圖解說明逆dpcm處理的流程的另一個例子的流程圖。

圖35是圖解說明位階列表的語法的另一個例子的示圖。

圖36是圖解說明逆dpcm處理的流程的另一個例子的流程圖。

圖37是圖解說明位階列表的語法的另一個例子的示圖。

圖38是圖解說明dpcm單元的另一種例證結(jié)構(gòu)的方框圖。

圖39是圖解說明dpcm處理的另一個例子的流程圖。

圖40是圖解說明逆dpcm單元的另一種例證結(jié)構(gòu)的方框圖。

圖41是圖解說明逆dpcm處理的流程的另一個例子的流程圖。

圖42是延續(xù)自圖41的，圖解說明逆dpcm處理的流程的另一個例子的流程圖。

圖43包括圖解說明位階列表的語法的另一個例子的示圖。

圖44包括圖解說明位階列表的語法的另一個例子的示圖。

圖45包括圖解說明位階列表的語法的另一個例子的示圖。

圖46是圖解說明多視點圖像編碼方案的例子的示圖。

圖47是圖解說明本技術(shù)適用于的多視點圖像編碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。

圖48是圖解說明本技術(shù)適用于的多視點圖像解碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。

圖49是圖解說明分層圖像編碼方案的例子的示圖。

圖50是圖解說明本技術(shù)適用于的分層圖像編碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。

圖51是圖解說明本技術(shù)適用于的分層圖像解碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。

圖52是圖解說明計算機的主要結(jié)構(gòu)的例子的方框圖。

圖53是圖解說明電視機的主要結(jié)構(gòu)的例子的方框圖。

圖54是圖解說明移動終端的主要結(jié)構(gòu)的例子的方框圖。

圖55是圖解說明記錄/再現(xiàn)設(shè)備的主要結(jié)構(gòu)的例子的方框圖。

圖56是圖解說明成像設(shè)備的主要結(jié)構(gòu)的例子的方框圖。

圖57是圖解說明可縮放編碼的使用例子的方框圖。

圖58是圖解說明可縮放編碼的再一個使用例子的方框圖。

圖59是圖解說明可縮放編碼的另一個使用例子的方框圖。

具體實施方式

下面說明實現(xiàn)本公開的方式(下面稱為實施例)。在這方面，將按照以下順序進行說明。

1.第一實施例(本技術(shù)的例證應(yīng)用)

2.第二實施例(圖像編碼設(shè)備，圖像解碼設(shè)備：第一種方法)

3.第三實施例(圖像編碼設(shè)備，圖像解碼設(shè)備：第二種方法)

4.第四實施例(圖像編碼設(shè)備，圖像解碼設(shè)備：第三種方法)

5.第五實施例(圖像編碼設(shè)備，圖像解碼設(shè)備：第四種方法)

6.第六實施例(圖像編碼設(shè)備，圖像解碼設(shè)備：其它方法)

7.第七實施例(多視頻圖像編碼設(shè)備，多視點圖像解碼設(shè)備)

8.第八實施例(分層圖像編碼設(shè)備，分層圖像解碼設(shè)備)

9.第九實施例(計算機)

10.例證應(yīng)用

11.可縮放編碼的例證應(yīng)用

<1.第一實施例>

在本實施例中，將說明在本技術(shù)的第二實施例及之后的各個實施例中詳細說明的本技術(shù)的例證應(yīng)用。

<1-1.本技術(shù)的例證應(yīng)用>

首先，說明本技術(shù)適用于的代表性例子。本技術(shù)是與在當(dāng)編碼和解碼圖像數(shù)據(jù)時進行的量化處理和逆量化處理中使用的位階列表的編碼和解碼相關(guān)的技術(shù)。

圖像數(shù)據(jù)的編碼和解碼涉及系數(shù)數(shù)據(jù)的量化和逆量化。這種量化和逆量化是以具有預(yù)定大小的塊為單元進行的，并且使用大小與所述塊大小對應(yīng)的位階列表(或量化矩陣)。例如，在hevc(高效視頻編碼)中，利用諸如4×4,8×8,16×16和32×32之類的大小進行量化(或逆量化)。在hevc中，可以準備具有4×4和8×8大小的量化矩陣。

圖1圖解說明8×8位階列表的例子。如圖1中圖解所示，位階列表包括dc系數(shù)和ac系數(shù)。由1個值構(gòu)成的dc系數(shù)是量化矩陣的(0,0)系數(shù)，對應(yīng)于離散余弦變換(dct)的dc系數(shù)。ac系數(shù)是量化矩陣的除(0,0)系數(shù)外的系數(shù)，對應(yīng)于dct的除dc系數(shù)外的系數(shù)。注意，如圖1中圖解所示，ac系數(shù)用矩陣表示。即，ac系數(shù)還包括(0,0)系數(shù)(下面也稱為ac系數(shù)(0,0))，并且當(dāng)用于量化/逆量化時，位于量化矩陣的開始部分的(0,0)系數(shù)被dc系數(shù)置換。從而，dc系數(shù)也被稱為置換系數(shù)。在圖1中圖解所示的例子中，ac系數(shù)構(gòu)成8×8矩陣。

在hevc中，此外，8×8量化矩陣的向上轉(zhuǎn)換形式(向上轉(zhuǎn)換)被用于16×16或32×32量化(或逆量化)。

圖2圖解說明8×8位階列表到16×16位階列表的向上轉(zhuǎn)換的例子。如圖2中圖解所示，利用例如最近鄰插值處理，向上轉(zhuǎn)換位階列表。最近鄰插值處理的細節(jié)將在下面參考例如圖25說明。如圖2中圖解所示，對位階列表的ac系數(shù)進行向上轉(zhuǎn)換。隨后，用dc系數(shù)置換向上轉(zhuǎn)換的ac系數(shù)之中的(0,0)系數(shù)。

準備兩種8×8位階列表，即，用于到16×16的向上轉(zhuǎn)換的8×8位階列表(“16×16用8×8”)和用于到32×32的向上轉(zhuǎn)換的8×8位階列表(“32×32用8×8”)

用于編碼(利用編碼器)期間的量化的位階列表也用于解碼(利用解碼器)期間的逆量化。即，位階列表從編碼側(cè)(編碼器)被傳送給解碼側(cè)(解碼器)。圖3圖解說明位階列表的傳輸?shù)睦印?/p>

如圖3中圖解所示的例子中那樣，傳送如上所述的兩種8×8位階列表，即，用于到16×16大小的向上轉(zhuǎn)換的8×8位階列表，和用于到32×32大小的向上轉(zhuǎn)換的8×8位階列表。盡管圖中未示出，不過也可傳送4×4位階列表。

利用上述最近鄰插值處理，在解碼側(cè)(解碼器)把按照上述方式傳送的用于到16×16大小的向上轉(zhuǎn)換的8×8位階列表的ac系數(shù)向上轉(zhuǎn)換成16×16大小，并在用dc系數(shù)置換(0,0)系數(shù)之后，用于大小為16×16的塊的逆量化。

類似地，利用上述最近鄰插值處理，在解碼側(cè)(解碼器)也把按照上述方式傳送的用于到32×32大小的向上轉(zhuǎn)換的8×8位階列表的ac系數(shù)向上轉(zhuǎn)換成32×32大小，并在用dc系數(shù)置換(0,0)系數(shù)之后，用于大小為32×32的塊的逆量化。

<1-2.位階列表的編碼>

按照上述方式的位階列表(scalinglist)的傳輸會相應(yīng)地增大編碼量。從而，為了抑制編碼效率的降低，利用某種方法，對位階列表編碼，以減少位階列表的編碼量。圖4圖解說明位階列表的編碼的例子。具體地，如下傳送8×8位階列表。

在8×8矩陣到16×16矩陣的向上轉(zhuǎn)換的情況下：

(1)獲得8×8矩陣的(0,0)系數(shù)(即，ac系數(shù)(0,0))和預(yù)定的初始值“8”之間的差分。

(2)獲得8×8矩陣的系數(shù)(即，ac系數(shù))(按照掃描順序一維排列的系數(shù)序列中的相鄰系數(shù))之間的差分。

(3)獲得16×16矩陣的(0,0)系數(shù)(即，dc系數(shù))和預(yù)定的初始值“8”之間的差分。

(4)分別傳送在(1)和(2)中獲得的差分，和在(3)中獲得的差分。

在8×8矩陣到32×32矩陣的向上轉(zhuǎn)換的情況下：

(1)獲得8×8矩陣的(0,0)系數(shù)(即，ac系數(shù)(0,0))和預(yù)定的初始值“8”之間的差分。

(2)獲得8×8矩陣的系數(shù)(即，ac系數(shù))(按照掃描順序一維排列的系數(shù)序列中的相鄰系數(shù))之間的差分。

(3)獲得32×32矩陣的(0,0)系數(shù)(即，dc系數(shù))和預(yù)定的初始值“8”之間的差分。

(4)分別傳送在(1)和(2)中獲得的差分，和在(3)中獲得的差分。

不過，按照上述方式，差分是利用有符號的指數(shù)golomb編碼進行編碼的，并在(4)中被傳送。如上所述，在(1)中獲得的差分是ac系數(shù)(0,0)和初始值“8”之間的差分。從而，存在如果ac系數(shù)(0,0)的值不是接近于初始值“8”的值，那么編碼量會被增大的擔(dān)心。

例如，在圖4中，ac系數(shù)(0,0)的值為“12”，從而作為在(1)中獲得的差分，值“4”利用有符號的指數(shù)golomb編碼被編碼，并被傳送。即，在(1)中獲得的差分的傳輸需要7比特，編碼效率會被相應(yīng)地降低。如果在(1)中獲得的差分的值增大，那么編碼效率會進一步降低。對用于到16×16大小的向上轉(zhuǎn)換的8×8位階列表，和用于到32×32大小的向上轉(zhuǎn)換的8×8位階列表的情況來說，同樣如此。

同時，dct系數(shù)的能量通常集中在dc系數(shù)和鄰近的低次系數(shù)中。于是，一般地，對于dc系數(shù)和鄰近的系數(shù)，量化矩陣也具有較小的值。此外，如果顯著不同的值被用于各個頻率，那么量化誤差主觀地顯而易見。為了抑制圖像質(zhì)量的這種視覺惡化，對dc系數(shù)和相鄰系數(shù)使用連續(xù)值。

在向上轉(zhuǎn)換之后獲得的(0,1)系數(shù)，(1,0)系數(shù)和(1,1)系數(shù)對應(yīng)于向上轉(zhuǎn)換之前的ac系數(shù)(0,0)。此外在向上轉(zhuǎn)換之后獲得的(0,0)系數(shù)對應(yīng)于dc系數(shù)。

從而，在位階列表中，ac系數(shù)(0,0)的值和dc系數(shù)的值一般彼此接近。例如，mpeg2、avc和hevc默認矩陣可取具有這種關(guān)系的值。另外在圖4中圖解所示的例子中，dc系數(shù)的值和ac系數(shù)(0,0)的值相同，即“12”。從而，在(3)中獲得的差分的值，即，dc系數(shù)和初始值“8”之間的差分也為“4”。

即，獲得其值彼此接近的dc系數(shù)和ac系數(shù)(0,0)中的每一個與初始值之間的差分會增大它們之間的差分值，也會引起冗余?？梢哉J為存在進一步降低編碼效率的風(fēng)險。

為了解決該問題，利用以下方法，而不是利用圖4中圖解所示的方法，傳送位階列表。圖5圖解說明這種方法的例子。

在8×8矩陣到16×16矩陣的向上轉(zhuǎn)換的情況下：

(1)獲得8×8矩陣的(0,0)系數(shù)(即，ac系數(shù)(0,0))和16×16矩陣的(0,0)系數(shù)(即，dc系數(shù))之間的差分。

(2)獲得8×8矩陣的系數(shù)(即，ac系數(shù))(按照掃描順序一維排列的系數(shù)序列中的相鄰系數(shù))之間的差分。

(3)獲得16×16矩陣的(0,0)系數(shù)(即，dc系數(shù))和預(yù)定初始值“8”之間的差分。

(4)集體傳送在(1)-(3)中獲得的差分。

在8×8矩陣到32×32矩陣的向上轉(zhuǎn)換的情況下：

(1)獲得8×8矩陣的(0,0)系數(shù)(即，ac系數(shù)(0,0))和32×32矩陣的(0,0)系數(shù)(即，dc系數(shù))之間的差分。

(2)獲得8×8矩陣的系數(shù)(即，ac系數(shù))(按照掃描順序一維排列的系數(shù)序列中的相鄰系數(shù))之間的差分。

(3)獲得32×32矩陣的(0,0)系數(shù)(即，dc系數(shù))和預(yù)定初始值“8”之間的差分。

(4)集體傳送在(1)-(3)中獲得的差分。

類似于在圖4中圖解所示的方法，在(4)中，差分是利用指數(shù)golomb編碼進行編碼，從而作為指數(shù)golomb碼傳送的。

在差分作為指數(shù)golomb碼被傳送到的目的地，當(dāng)收到指數(shù)golomb碼時，收到的指數(shù)golomb碼被解碼，以獲得各個差分，對獲得的差分進行和上述(1)-(3)中的處理相反的處理，以確定各個系數(shù)(dc系數(shù)和ac系數(shù))。

<1-3.本技術(shù)的例證特征>

下面說明與上述傳輸方法相關(guān)的本技術(shù)的例證特征。

<1-3-1.ac系數(shù)(0,0)和dc系數(shù)之間的dpcm>

利用差分脈碼調(diào)制(dpcm)編碼位階列表，并傳送編碼的位階列表。在圖4中圖解所示的例子中，ac系數(shù)和dc系數(shù)是單獨dpcm編碼的，然而按照本技術(shù)的特征之一，如在圖5中圖解所示的例子中那樣，確定并傳送ac系數(shù)(0,0)和dc系數(shù)之間的差分(也稱為置換差分系數(shù))。

如上所述，ac系數(shù)(0,0)和dc系數(shù)一般取彼此接近的值。從而，ac系數(shù)(0,0)和dc系數(shù)之間的差分可能小于ac系數(shù)(0,0)和初始值“8”之間的差分。即，利用本技術(shù)，作為ac系數(shù)(0,0)和dc系數(shù)之間的差分的置換差分系數(shù)的傳輸更可能降低編碼量。

例如，在圖5中圖解所示的例子中，在(1)中獲得的差分的值為“0”。

圖6是圖解說明有符號的指數(shù)golomb編碼的例子的表格。如在圖6中圖解所示的表中所示，值“4”的指數(shù)golomb碼具有7比特的碼長，而值“0”的指數(shù)golomb碼具有1比特的碼長。即，與圖4中圖解所示的方法相比，圖5中圖解所示的方法能夠把編碼量減小6比特。

通常，傳輸8×8大小的量化矩陣需要約100比特～200比特的編碼量。從而，6比特約點總量的6％。高級語法中6％的編碼量的降低可以說是非常大的效果。

<1-3-2.dc系數(shù)和ac系數(shù)的集體傳輸>

圖7圖解說明位階列表的語法的例子。在圖7的a部分中例示的例子中，舉例說明了在圖4中圖解所示的例子的語法。具體地，在傳送ac系數(shù)(0,0)和初始值“8”之間的差分，以及ac系數(shù)之間的差分(scaling_list_delta_coef)之后，獨立地傳送dc系數(shù)和初始值“8”之間的差分(scaling_list_dc_coef_minus8)。

相反，本技術(shù)的特征之一在于dc系數(shù)和ac系數(shù)(0,0)之間的差分，和ac系數(shù)之間的差分按上述順序排列，并被一起傳送。具體地，如圖5中圖解所示，在一維排列按照預(yù)定掃描順序排列的dc系數(shù)和ac系數(shù)，并確定dc系數(shù)和初始值“8”之間的差分之后，確定系數(shù)序列中的相鄰系數(shù)之間的差分。此外，作為結(jié)果的差分(系數(shù)之間的差分)是按照獲得的順序，一維地排列的，并一起被傳送。

在圖7的b部分的例子中，例示了這種情況下的語法。具體地，最初，傳送dc系數(shù)和初始值“8”間的差分(scaling_list_dc_coef_minus8)，隨后傳送dc系數(shù)和ac系數(shù)(0,0)之間的差分，以及ac系數(shù)之間的差分(scaling_list_delta_coef)。即，dc系數(shù)和ac系數(shù)是集體編碼和傳送的。

按照這種方式，按照獲得的順序排列的差分的集體傳輸允許所述差分被傳送到的解碼側(cè)(解碼器)按照被傳送的順序來解碼差分，并獲得各個系數(shù)。即，能夠容易地解碼dpcm編碼的位階列表。更具體地，能夠降低處理負荷。另外，不再需要差分的重排，導(dǎo)致緩沖器容量的降低。此外，可按照被供給的順序解碼各個差分，從而抑制處理時間的增大。

<1-3-3.默認矩陣的傳輸>

圖8是圖解說明關(guān)于默認矩陣的傳輸?shù)恼Z法的例子的示圖。在現(xiàn)有技術(shù)中，如圖8中圖解所示，作為“0”，傳送初始系數(shù)(即，dc系數(shù))，以傳送指示默認矩陣的使用的信息。即，dc系數(shù)和初始值“8”之間的差分(scaling_list_dc_coef_minus8)的值為“-8”。不過，如圖6中圖解所示，值“-8”的指數(shù)golomb碼具有9比特的碼長。即，存在編碼效率會顯著降低的擔(dān)憂。通常，理想的是高級語法的比特數(shù)盡可能地小。另外，如圖8中圖解所示，歸因于語法的復(fù)雜性的增大，處理負荷會增大。

為了解決這些問題，不把初始系數(shù)設(shè)定為“0”，但是變更scaling_list_pred_matrix_id_delta的語義。更具體地，把scaling_list_pred_matrix_id_delta的語義從在圖9的a部分圖解所示的語義變更成在圖9的b部分中圖解所示的語義。即，在現(xiàn)有技術(shù)中，如在圖9的a部分中圖解所示，等于“0”的值指示參照緊接在前的矩陣(matrixid-1)。代替這種描述，如在圖9的b部分中圖解所示，等于“0”的scaling_list_pred_matrix_id_delta的值意味參照默認矩陣。

因而，用于傳輸指示默認矩陣的使用的信息的指數(shù)golomb碼的碼長可以等于1比特，并能夠抑制編碼效率的降低。此外，在現(xiàn)有技術(shù)中，如在圖10的a部分和b部分中圖解所示的語法對位階列表是必需的。如在圖11中圖解所示的例子中那樣，這種語法可被簡化。即，能夠降低在位階列表的編碼和解碼中涉及的處理負荷。

<1-4.利用本技術(shù)的語法的特征>

下面更具體地說明語法。

在圖10的a部分和b部分中圖解所示的現(xiàn)有技術(shù)的例子中，需要進行兩次默認值的確定，即，scaling_list_dc_coef_minus8和scaling_list_delta_coef。另外，對于scaling_list_delta_coef，在“for”循環(huán)當(dāng)中進行確定，當(dāng)usedefaultscalingmatrixflag＝1時，退出循環(huán)。此外，需要稱為“stopnow”的中間標(biāo)記，由于這種條件，還存在諸如把nextcoef代入scalinglist的值中的分枝。按照這種方式，現(xiàn)有技術(shù)的語法涉及復(fù)雜的處理。

因而在本技術(shù)中，和在圖11中圖解所示的例子中一樣，根據(jù)scaling_list_dc_coef_minus8計算的dc系數(shù)被代入nextcoef中，以把scaling_list_delta_coef的初始值設(shè)定為dc系數(shù)。

此外，在語義方面，在現(xiàn)有技術(shù)中用“+1”表示的scaling_list_pred_matrix_id_delta的值保持不變，值“0”被用作特殊值。

即，在現(xiàn)有技術(shù)中，當(dāng)scalinglist[0][2]要被解碼時(matrixid＝2)，如果scaling_list_pred_matrix_id_delta＝0，那么從refmatrixid＝matrixid-(1+scaling_list_pred_matrix_id_delta)獲得matrixid＝2。從而，獲得refmatrixid＝1，scalinglist[0][1]的值被復(fù)制。

相反，在本技術(shù)中，設(shè)定refmatrixid＝matrixid-scaling_list_pred_matrix_id_delta。當(dāng)scalinglist[0][2]要被解碼時(matrixid＝2)，如果要復(fù)制scalinglist[0][1](或者如果要獲得refmatrixid＝1)，那么可以設(shè)定scaling_list_pred_matrix_id_delta＝1。

因而，如圖11中圖解所示，關(guān)于位階列表的語法的行數(shù)可被顯著減少。另外，可以省略作為中間數(shù)據(jù)而要包含的兩個變量，即，usedefaultscalingmatrix和stopnow。此外，可不再需要在如圖10中圖解所示的“for”循環(huán)中產(chǎn)生的分枝。于是，能夠減小在位階列表的編碼和解碼中涉及的處理負荷。

<1-5.實現(xiàn)本技術(shù)的處理單元>

在把本技術(shù)應(yīng)用于位階列表的傳輸?shù)那闆r下，按照上述方式編碼和解碼位階列表。具體地，下面參考圖14說明的圖像編碼設(shè)備10編碼位階列表，并傳送編碼的位階列表，下面參考圖22說明的圖像解碼設(shè)備300接收并解碼編碼的位階列表。

位階列表由圖像編碼設(shè)備10的正交變換/量化單元(圖14)中的矩陣處理單元150(圖15)編碼。更具體地，位階列表由矩陣處理單元150中的熵編碼單元164(圖16)中的dpcm單元192和exp-g單元193(兩者都圖示于圖16中)編碼。即，dpcm單元192確定位階列表的系數(shù)(dc系數(shù)和ac系數(shù))之間的差分，exp-g單元193利用指數(shù)golomb編碼，對各個差分編碼。

為了利用如上所述的本技術(shù)對位階列表編碼，dpcm單元192可具有如在例如圖19中圖解所示的例證結(jié)構(gòu)，以及進行和在圖21中例示的例子中一樣的dpcm處理。此外，可以使用和在圖44的c部分或圖45的c部分中圖解說明的例子中一樣的語義。

換句話說，為了實現(xiàn)利用本技術(shù)的位階列表的編碼，只需要dpcm單元192和exp-g單元193，可酌情使用具有任何結(jié)構(gòu)的其它組件。按照實施例，可以設(shè)置必要的結(jié)構(gòu)，比如用于向上轉(zhuǎn)換位階列表的處理單元，和用于利用位階列表進行量化的處理單元。

此外，位階列表由圖像解碼設(shè)備300的逆量化/逆正交變換單元313(圖22)中的矩陣生成單元410(圖23)解碼。更具體地，位階列表由矩陣生成單元410中的熵解碼單元533(圖24)中的exp-g單元551和逆dpcm單元552(圖24)解碼。即，exp-g單元551解碼golomb碼，以獲得差分，逆dpcm單元552根據(jù)相應(yīng)差分，確定位階列表的各個系數(shù)(dc系數(shù)和ac系數(shù))。

為了利用如上所述的本技術(shù)來解碼編碼的位階列表，逆dpcm單元552可具有如例如在圖26中圖解所示的例證結(jié)構(gòu)，可進行和在圖29中圖解所示的例子中一樣的逆dpcm處理。此外，可以使用如在圖44的c部分或圖45的c部分中圖解說明的例子中一樣的語義。

換句話說，為了實現(xiàn)利用本發(fā)明的位階列表的解碼，只需要exp-g單元551和逆dpcm單元552，可酌情使用具有任何結(jié)構(gòu)的其它組件。按照實施例，可以設(shè)置必要的結(jié)構(gòu)，比如用于向上轉(zhuǎn)換位階列表的處理單元，和用于利用位階列表進行逆量化的處理單元。

下面說明本技術(shù)適用于的各個實施例，以便更詳細地說明本發(fā)明。

<2.第二實施例>

<2-1.語法：第一種方法>

(1)現(xiàn)有技術(shù)的語法

首先，圖12圖解說明現(xiàn)有技術(shù)中的量化矩陣(或者位階列表)的語法的例子。在實際使用中，通常傳送位階列表和其預(yù)測矩陣之間的差分矩陣，而不是位階列表。從而，在以下的語法等的說明中，假定位階列表的說明也適用于差分矩陣。

圖12的a部分圖解說明關(guān)于位階列表數(shù)據(jù)的語法(位階列表數(shù)據(jù)語法)，圖12的b部分圖解說明位階列表的語法(位階列表語法)。

(1-1)位階列表數(shù)據(jù)語法

如圖12的a部分中所示，關(guān)于位階列表數(shù)據(jù)的語法規(guī)定讀取指示是否提供位階列表的標(biāo)記(scaling_list_present_flag)，指示當(dāng)前模式是否是復(fù)制模式的標(biāo)記(scaling_list_pred_mode_flag)，指示在復(fù)制模式下要參照哪個位階列表的信息(scaling_list_pred_matrix_id_delta)等等。

(1-2)位階列表語法

如圖12的b部分中所示，位階列表的語法規(guī)定讀取從中減去常數(shù)(例如，8)的dc系數(shù)(scaling_list_dc_coef_minus8)，ac系數(shù)之間的差分值(scaling_list_delta_coef)等等，并且規(guī)定恢復(fù)dc系數(shù)和ac系數(shù)。

不過，存在盡管上述語法使處理更容易，但是不能提供dc系數(shù)的足夠壓縮效率的擔(dān)憂。

因而，為了獲得作為dc分量(直流分量)的系數(shù)的dc系數(shù)(也稱為直流系數(shù))的足夠壓縮效率，確定dc系數(shù)和另一系數(shù)之間的差分，并傳送差分值，而不是dc系數(shù)。即，差分值是用于計算dc系數(shù)的信息，換句話說，實質(zhì)上等同于dc系數(shù)。不過，差分值通常小于dc系數(shù)。于是，傳送差分值，而不是dc系數(shù)會導(dǎo)致編碼量的減小。

在下面的說明中，為了便于描述，位階列表(量化矩陣)具有8×8的大小。下面說明上述傳送dc系數(shù)和另一個系數(shù)之間的差分，而不是dc系數(shù)的方法的具體例子。

(2)第一種方法的語法

例如，利用dpcm(差分脈碼調(diào)制)，傳送65個系數(shù)，其中dc系數(shù)被視為位于8×8矩陣(ac系數(shù))的開始部分的元素(第一種方法)。

即，首先，計算預(yù)定常數(shù)和dc系數(shù)之間的差分，并用作dpcm數(shù)據(jù)的初始系數(shù)。隨后，計算dc系數(shù)和初始ac系數(shù)之間的差分，并用作dpcm數(shù)據(jù)的第二個系數(shù)。然后，計算初始ac系數(shù)和第二個ac系數(shù)之間的差分，并用作dpcm數(shù)據(jù)的第三個系數(shù)。隨后，計算和緊接在前的ac系數(shù)之間的差分，并用作dpcm數(shù)據(jù)的第四個系數(shù)，按照和上述方式類似的方式，確定dpcm數(shù)據(jù)的后續(xù)各個系數(shù)。從初始系數(shù)開始，順序傳送按照上述方式生成的dpcm數(shù)據(jù)的系數(shù)。

因而，當(dāng)8×8矩陣的(0,0)系數(shù)(ac系數(shù))的值和dc系數(shù)的值彼此接近時，能夠改善壓縮率。通過實現(xiàn)上述第一種方法，圖像編碼設(shè)備能夠按照和ac系數(shù)(交流系數(shù))的方式類似的方式，處理dc系數(shù)，ac系數(shù)是ac分量(也稱為交流分量)的系數(shù)。注意，為了實現(xiàn)上述第一種方法，上述系數(shù)被傳送給的圖像解碼設(shè)備只需要特別處理初始系數(shù)。具體地，圖像解碼設(shè)備需要從ac系數(shù)之中提取dc系數(shù)。

圖13圖解說明在上述情況下的位階列表的語法。在圖13中圖解所示的例子中，讀取系數(shù)之間的65個差分值(scaling_list_delta_coef)，然后在根據(jù)差分值確定的系數(shù)(nextcoef)之中，位于開始部分的系數(shù)(nextcoef)被用作dc系數(shù)(scaling_list_dc_coef)，而其它系數(shù)被用作ac系數(shù)(scalinglist[i])。

下面說明實現(xiàn)上述第一種方法的語法的圖像編碼設(shè)備。

<2-2.圖像編碼設(shè)備>

圖14是圖解說明按照本公開的實施例的圖像編碼設(shè)備10的例證結(jié)構(gòu)的方框圖。圖14中圖解所示的圖像編碼設(shè)備10是本技術(shù)適用于的圖像處理設(shè)備，被配置成編碼輸入的圖像數(shù)據(jù)，和輸出編碼的圖像數(shù)據(jù)。參見圖14，圖像編碼設(shè)備10包括a/d(模-數(shù))轉(zhuǎn)換單元11(a/d)、重排緩沖器12、減法單元13、正交變換/量化單元14、無損編碼單元16、累積緩沖器17、速率控制單元18、逆量化單元21、逆正交變換單元22、加法單元23、解塊濾波器24、幀存儲器25、選擇器26、幀內(nèi)預(yù)測單元30、運動搜索單元40和模式選擇單元50。

a/d轉(zhuǎn)換單元11把按模擬形式輸入的圖像信號轉(zhuǎn)換成數(shù)字形式的圖像數(shù)據(jù)，然后把數(shù)字圖像數(shù)據(jù)序列輸出給重排緩沖器12。

重排緩沖器12重排包含在從a/d轉(zhuǎn)換單元11輸入的圖像數(shù)據(jù)序列中的圖像。在按照供編碼處理之用的gop(圖像組)結(jié)構(gòu)重排圖像之后，重排緩沖器12把其圖像已被重排的圖像數(shù)據(jù)輸出給減法單元13、幀內(nèi)預(yù)測單元30和運動搜索單元40。

減法單元13被供給從重排緩沖器12輸入的圖像數(shù)據(jù)和由下面說明的模式選擇單元50選擇的預(yù)測圖像數(shù)據(jù)。減法單元13計算預(yù)測誤差數(shù)據(jù)，預(yù)測誤差數(shù)據(jù)表示從重排緩沖器12輸入的圖像數(shù)據(jù)和從模式選擇單元50輸入的預(yù)測圖像數(shù)據(jù)之間的差分，并把計算的預(yù)測誤差數(shù)據(jù)輸出給正交變換/量化單元14。

正交變換/量化單元14對從減法單元13輸入的預(yù)測誤差數(shù)據(jù)進行正交變換和量化，并把量化的變換系數(shù)數(shù)據(jù)(下面稱為量化數(shù)據(jù))輸出給無損編碼單元16和逆量化單元21。根據(jù)從速率控制單元18供給的速率控制信號，控制從正交變換/量化單元14輸出的量化數(shù)據(jù)的比特率。正交變換/量化單元14的詳細結(jié)構(gòu)將在下面進一步說明。

無損編碼單元16被供給從正交變換/量化單元14輸入的量化數(shù)據(jù)，用于在解碼側(cè)生成位階列表(或量化矩陣)的信息，和關(guān)于模式選擇單元50選擇的幀內(nèi)預(yù)測或幀間預(yù)測的信息。例如，關(guān)于幀內(nèi)預(yù)測的信息可包括指示每個塊的最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息。另外，關(guān)于幀間預(yù)測的信息例如可包括用于運動向量的逐塊預(yù)測的預(yù)測模式信息，差分運動向量信息，參考圖像信息等等。此外，用于在解碼側(cè)生成位階列表的信息可包括指示待傳送的位階列表(或者位階列表(量化矩陣)和其預(yù)測矩陣之間的差分矩陣)的最大大小的識別信息。

無損編碼單元16對量化數(shù)據(jù)進行無損編碼處理，從而產(chǎn)生編碼流。無損編碼單元16進行的無損編碼例如可以是變長編碼、算術(shù)編碼等。此外，無損編碼單元16把用于生成位階列表的信息復(fù)用到編碼流的報頭中(例如，序列參數(shù)集和圖像參數(shù)集)。無損編碼單元16還把上述關(guān)于幀內(nèi)預(yù)測或幀間預(yù)測的信息復(fù)用到編碼流的報頭中。之后，無損編碼單元16把產(chǎn)生的編碼流輸出給累積緩沖器17。

累積緩沖器17利用諸如半導(dǎo)體存儲器之類的存儲介質(zhì)，臨時保存從無損編碼單元16輸入的編碼流。之后，累積緩沖器17以與傳輸路徑(或者出自圖像編碼設(shè)備10的輸出線路)的帶寬對應(yīng)的速率，輸出累積的編碼流。

速率控制單元18監(jiān)視累積緩沖器17，以檢查容量的可用性。速率控制單元18按照累積緩沖器17的可用容量，生成速率控制信號，并把生成的速率控制信號輸出給正交變換/量化單元14。例如，當(dāng)累積緩沖器17的可用容量較低時，速率控制單元18生成降低量化數(shù)據(jù)的比特率的速率控制信號。另一方面，例如，當(dāng)累積緩沖器17的可用容量足夠高時，速率控制單元18生成增大量化數(shù)據(jù)的比特率的速率控制信號。

逆量化單元21對從正交變換/量化單元14輸入的量化數(shù)據(jù)，進行逆量化處理。之后，逆量化單元21把通過逆量化處理獲得的變換系數(shù)數(shù)據(jù)輸出給逆正交變換單元22。

逆正交變換單元22對從逆量化單元21輸入的變換系數(shù)數(shù)據(jù)，進行逆正交變換處理，從而恢復(fù)預(yù)測誤差數(shù)據(jù)。之后，逆正交變換單元22把恢復(fù)的預(yù)測誤差數(shù)據(jù)輸出給加法單元23。

加法單元23相加從逆正交變換單元22輸入的恢復(fù)的預(yù)測誤差數(shù)據(jù)，和從模式選擇單元50輸入的預(yù)測圖像數(shù)據(jù)，從而生成解碼圖像數(shù)據(jù)。之后，加法單元23把生成的解碼圖像數(shù)據(jù)輸出給解塊濾波器24和幀存儲器25。

解塊濾波器24進行減小因圖像的編碼而導(dǎo)致的塊效應(yīng)的濾波處理。解塊濾波器24對從加法單元23輸入的解碼圖像數(shù)據(jù)濾波，以除去(或者至少降低)塊效應(yīng)，并把濾波后的解碼圖像數(shù)據(jù)輸出給幀存儲器25。

幀存儲器25利用存儲介質(zhì)，保存從加法單元23輸入的解碼圖像數(shù)據(jù)和從解塊濾波器24輸入的濾波后的解碼圖像數(shù)據(jù)。

選擇器26從幀存儲器25讀取用于幀內(nèi)預(yù)測的待濾波的解碼圖像數(shù)據(jù)，并把讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀內(nèi)預(yù)測單元30。選擇器26還從幀存儲器25讀取用于幀間預(yù)測的濾波后的解碼圖像數(shù)據(jù)，并把讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)，提供給運動搜索單元40。

幀內(nèi)預(yù)測單元30根據(jù)從重排緩沖器12輸入的待編碼圖像數(shù)據(jù)，和經(jīng)選擇器26供給的解碼圖像數(shù)據(jù)，進行每種幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理。例如，幀內(nèi)預(yù)測單元30利用預(yù)定的成本函數(shù)，評估按每種幀內(nèi)預(yù)測模式獲得的預(yù)測結(jié)果。隨后，幀內(nèi)預(yù)測單元30選擇使成本函數(shù)值最小的幀內(nèi)預(yù)測模式，即，提供最高壓縮比的幀內(nèi)預(yù)測模式，作為最佳的幀內(nèi)預(yù)測模式。此外，幀內(nèi)預(yù)測單元30把指示最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息，預(yù)測圖像數(shù)據(jù)，和關(guān)于幀內(nèi)預(yù)測的信息，比如成本函數(shù)值，輸出給模式選擇單元50。

運動搜索單元40根據(jù)從重排緩沖器12供給的待編碼圖像數(shù)據(jù)，和經(jīng)選擇器26供給的解碼圖像數(shù)據(jù)，進行幀間預(yù)測處理(或幀間的預(yù)測處理)。例如，運動搜索單元40利用預(yù)定的成本函數(shù)，評估按每種預(yù)測模式獲得的預(yù)測結(jié)果。隨后，運動搜索單元40選擇使成本函數(shù)值達到最小的預(yù)測模式，即，提供最高壓縮比的預(yù)測模式，作為最佳預(yù)測模式。此外，運動搜索單元40按照最佳預(yù)測模式，生成預(yù)測圖像數(shù)據(jù)。運動搜索單元40把關(guān)于幀間預(yù)測的信息(它包括指示選擇的最佳預(yù)測模式的預(yù)測模式信息)，預(yù)測圖像數(shù)據(jù)，和諸如成本函數(shù)值的關(guān)于幀間預(yù)測的信息，輸出給模式選擇單元50。

模式選擇單元50比較從幀內(nèi)預(yù)測單元30輸入的幀內(nèi)預(yù)測的成本函數(shù)值，和從運動搜索單元40輸入的幀間預(yù)測的成本函數(shù)值。隨后，模式選擇單元50選擇幀內(nèi)預(yù)測和幀間預(yù)測中，成本函數(shù)值較小的預(yù)測技術(shù)。如果選擇幀內(nèi)預(yù)測，那么模式選擇單元50把關(guān)于幀內(nèi)預(yù)測的信息輸出給無損編碼單元16，還把預(yù)測圖像數(shù)據(jù)輸出給減法單元13和加法單元23。另一方面，如果選擇幀間預(yù)測，那么模式選擇單元50把關(guān)于幀間預(yù)測的上述信息輸出給無損編碼單元16，還把預(yù)測圖像數(shù)據(jù)輸出給減法單元13和加法單元23。

<2-3.正交變換/量化單元的例證結(jié)構(gòu)>

圖15是圖解說明圖14中圖解所示的圖像編碼設(shè)備10的正交變換/量化單元14的詳細結(jié)構(gòu)的例子的方框圖。參見圖15，正交變換/量化單元14包括選擇單元110、正交變換單元120、量化單元130、位階列表緩沖器140和矩陣處理單元150。

(1)選擇單元

選擇單元110從具有不同大小的多個變換單位中選擇用于待編碼的圖像數(shù)據(jù)的正交變換的變換單位(tu)。選擇單元110可選的變換單位的可能大小的例子包括用于h.264/avc(高級視頻編碼)的4×4和8×8，并且包括用于hevc(高效視頻編碼)的4×4、8×8、16×16和32×32。選擇單元110可按照例如待編碼圖像的大小或數(shù)量，圖像編碼設(shè)備10的性能等，選擇變換單位。選擇單元110的變換單位的選擇可由開發(fā)圖像編碼設(shè)備10的用戶手動調(diào)整。之后，選擇單元110把指定選擇的變換單位的大小的信息輸出給正交變換單元120、量化單元130、無損編碼單元16和逆量化單元21。

(2)正交變換單元

正交變換單元120以選擇單元110所選的變換單位為單位，對從減法單元13供給的圖像數(shù)據(jù)(即，預(yù)測誤差數(shù)據(jù))進行正交變換。正交變換單元120進行的正交變換可以是例如離散余弦變換(dct)、karhunen-loève變換等等。之后，正交變換單元120把通過正交變換處理獲得的變換系數(shù)數(shù)據(jù)輸出給量化單元130。

(3)量化單元

量化單元130利用與選擇單元110選擇的變換單位對應(yīng)的位階列表，量化由正交變換單元120生成的變換系數(shù)數(shù)據(jù)。此外，量化單元130按照從速率控制單元18供給的速率控制信號，切換量化步長，從而改變待輸出的量化數(shù)據(jù)的比特率。

此外，量化單元130使分別對應(yīng)于選擇單元110可選擇的多個變換單位的各組位階列表被保存在位階列表緩沖器140中。例如，和hevc中一樣，如果存在4種可能的變換單位大小，即，4×4、8×8、16×16和32×32，那么分別對應(yīng)于這4種大小的4組位階列表可被保存在位階列表緩沖器140中。注意，如果指定的位階列表被用于給定大小，那么可以只有指示使用該指定的位階列表(不使用用戶定義的位階列表)的標(biāo)記與所述給定大小關(guān)聯(lián)地被保存在位階列表緩沖器140中。

一般可以為編碼流的每個序列設(shè)定可被量化單元130使用的一組位階列表。另外，量化單元130可逐個圖像地更新為每個序列設(shè)定的一組位階列表。用于控制一組位階列表的這種設(shè)定和更新的信息可被插入例如序列參數(shù)集和圖像參數(shù)集中。

(4)位階列表緩沖器

位階列表緩沖器140利用諸如半導(dǎo)體存儲器之類的存儲介質(zhì)，臨時保存分別對應(yīng)于可由選擇單元110選擇的多個變換單位的一組位階列表。當(dāng)矩陣處理單元150進行下面說明的處理時，參照保存在位階列表緩沖器140中的該組位階列表。

(5)矩陣處理單元

矩陣處理單元150對用于編碼(量化)的位階列表編碼。之后，利用矩陣處理單元150生成的位階列表的編碼數(shù)據(jù)(下面稱為編碼位階列表數(shù)據(jù))被輸出給無損編碼單元16，并可被插入編碼流的報頭中。

<2-4.矩陣處理單元的詳細例證結(jié)構(gòu)>

圖16是圖解說明矩陣處理單元150的更詳細結(jié)構(gòu)的例子的方框圖。參見圖16，矩陣處理單元150包括預(yù)測單元161、差分矩陣生成單元162、差分矩陣大小變換單元163、熵編碼單元164、解碼單元165和輸出單元166。

(1)預(yù)測單元

預(yù)測單元161生成預(yù)測矩陣。如圖16中圖解所示，預(yù)測單元包括復(fù)制單元171和預(yù)測矩陣生成單元172。

在復(fù)制模式下，復(fù)制單元171復(fù)制先前傳送的位階列表，并利用復(fù)制的量化矩陣作為預(yù)測矩陣(或者預(yù)測待處理的正交變換單元的位階列表)。更具體地，復(fù)制單元171從解碼單元165中的存儲單元202，獲得先前傳送的位階列表的大小和列表id(listid)。大小是指示位階列表的大小(例如，從4×4到32×32)的信息。列表id是指示待量化的預(yù)測誤差數(shù)據(jù)的種類的信息。

例如，列表id包括指示待量化的預(yù)測誤差數(shù)據(jù)是利用經(jīng)過幀內(nèi)預(yù)測的預(yù)測圖像生成的亮度分量的預(yù)測誤差數(shù)據(jù)(intraluma)，利用經(jīng)過幀內(nèi)預(yù)測的預(yù)測圖像生成的色差分量(cr)的預(yù)測誤差數(shù)據(jù)(intracr)，利用經(jīng)過幀內(nèi)預(yù)測的預(yù)測圖像生成的色差分量(cb)的預(yù)測誤差數(shù)據(jù)(intracb)，或者利用經(jīng)過幀間預(yù)測的預(yù)測圖像生成的亮度分量的預(yù)測誤差數(shù)據(jù)(interluma)的識別信息。

復(fù)制單元171選擇先前傳送的大小和輸入到矩陣處理單元150的位階列表(待處理的正交變換單位的位階列表)相同的位階列表，作為待復(fù)制的位階列表，并把待復(fù)制的位階列表的列表id提供給輸出單元166，以把列表id輸出給在矩陣處理單元150之外的裝置(無損編碼單元16和逆量化單元21)。即，這種情況下，只有列表id被傳送給解碼側(cè)(或者被包含在編碼數(shù)據(jù)中)，作為指示通過復(fù)制先前傳送的位階列表而生成的預(yù)測矩陣的信息。從而，圖像編碼設(shè)備10能夠抑制位階列表的編碼量的增大。

此外，在正常模式下，預(yù)測矩陣生成單元172從解碼單元165中的存儲單元202，獲得先前傳送的位階列表，并利用該位階列表生成預(yù)測矩陣(或預(yù)測待處理的正交變換單位的位階列表)。預(yù)測矩陣生成單元172把生成的預(yù)測矩陣提供給差分矩陣生成單元162。

(2)差分矩陣生成單元

差分矩陣生成單元162生成差分矩陣(殘差矩陣)，差分矩陣是從預(yù)測單元161(預(yù)測矩陣生成單元172)供給的預(yù)測矩陣和輸入到矩陣處理單元150的位階列表之間的差分。如圖16中圖解所示，差分矩陣生成單元162包括預(yù)測矩陣大小變換單元181，計算單元182和量化單元183。

預(yù)測矩陣大小變換單元181變換(下面也稱為轉(zhuǎn)換)從預(yù)測矩陣生成單元172供給的預(yù)測矩陣的大小，以致預(yù)測矩陣的大小匹配輸入到矩陣處理單元150的位階列表的大小。

例如，如果預(yù)測矩陣的大小大于位階列表的大小，那么預(yù)測矩陣大小變換單元181向下轉(zhuǎn)換(下面也稱為下轉(zhuǎn)換)預(yù)測矩陣。更具體地，例如，當(dāng)預(yù)測矩陣具有16×16的大小，而位階列表具有8×8的大小時，預(yù)測矩陣大小變換單元181把預(yù)測矩陣向下轉(zhuǎn)換成8×8預(yù)測矩陣。注意，可以使用任何向下轉(zhuǎn)換方法。例如，預(yù)測矩陣大小變換單元181可以利用濾波器(通過計算)減少預(yù)測矩陣中的元素的數(shù)目(下面也稱為下采樣)。另一方面，預(yù)測矩陣大小變換單元181也可以通過例如如圖17中圖解所示，間除(thinout)一些元素(例如，二維元素中的僅僅偶數(shù)編號的元素(圖17中的純黑元素))，而不利用濾波器，減少預(yù)測矩陣中的元素的數(shù)目(下面也稱為子采樣)。

此外，例如，如果預(yù)測矩陣的大小小于位階列表的大小，那么預(yù)測矩陣大小變換單元181向上轉(zhuǎn)換(下面也稱為上轉(zhuǎn)換)預(yù)測矩陣。更具體地，例如，當(dāng)預(yù)測矩陣具有8×8的大小，而位階列表具有16×16的大小時，預(yù)測矩陣大小變換單元181把預(yù)測矩陣向上轉(zhuǎn)換成16×16預(yù)測矩陣。注意，可以使用任何向上轉(zhuǎn)換方法。例如，預(yù)測矩陣大小變換單元181可以利用濾波器(通過計算)增大預(yù)測矩陣中的元素的數(shù)目(下面也稱為上采樣)。另一方面，預(yù)測矩陣大小變換單元181也可以通過例如復(fù)制預(yù)測矩陣中的各個元素，而不利用濾波器，增大預(yù)測矩陣中的元素的數(shù)目(下面也稱為逆子采樣)。

預(yù)測矩陣大小變換單元181把已使其大小與位階列表的大小匹配的預(yù)測矩陣提供給計算單元182。

計算單元182從供給自預(yù)測矩陣大小變換單元181的預(yù)測矩陣中，減去輸入到矩陣處理單元150的位階列表，從而生成差分矩陣(殘差矩陣)。計算單元182把計算的差分矩陣提供給量化單元183。

量化單元183量化從計算單元182供給的差分矩陣。量化單元183把量化的差分矩陣提供給差分矩陣大小變換單元163。量化單元183還把用于量化的信息，比如量化參數(shù)，提供給輸出單元166，以把該信息輸出給在矩陣處理單元150外的裝置(無損編碼單元16和逆量化單元21)。注意，量化單元183可被省略(即，不一定進行差分矩陣的量化)。

(3)差分矩陣大小變換單元

如果需要，那么差分矩陣大小變換單元163把從差分矩陣生成單元162(量化單元183)供給的差分矩陣(量化數(shù)據(jù))的大小轉(zhuǎn)換成小于或等于傳輸中允許的最大大小(下面也稱為傳輸大小)的大小。所述最大大小可具有任何可選值，例如是8×8。

從圖像編碼設(shè)備10輸出的編碼數(shù)據(jù)經(jīng)例如傳輸路徑或存儲介質(zhì)，被傳送給對應(yīng)于圖像編碼設(shè)備10的圖像解碼設(shè)備，并由所述圖像解碼設(shè)備解碼。在所述傳輸期間，或者說在從圖像編碼設(shè)備10輸出的編碼數(shù)據(jù)中的差分矩陣(量化數(shù)據(jù))的大小(最大大小)的上限是在圖像編碼設(shè)備10中設(shè)定的。

如果差分矩陣的大小大于最大大小，那么差分矩陣大小變換單元163向下轉(zhuǎn)換差分矩陣，以致差分矩陣的大小變成小于或等于最大大小。

注意，類似于上面說明的預(yù)測矩陣的向下轉(zhuǎn)換，可以利用任何方法，向下轉(zhuǎn)換差分矩陣。例如，可以利用濾波器等，進行下采樣，或者可以進行涉及間除元素的子采樣。

此外，向下轉(zhuǎn)換的差分矩陣可具有小于最大大小的任意大小。不過，通常，轉(zhuǎn)換前后的大小之差越大，誤差越大。從而，差分矩陣最好被向下轉(zhuǎn)換到最大大小。

差分矩陣大小變換單元163把向下轉(zhuǎn)換的差分矩陣提供給熵編碼單元164。注意，如果差分矩陣的大小小于最大大小，那么上述向下轉(zhuǎn)換不是必需的，于是差分矩陣大小變換單元163把輸入的差分矩陣原樣提供給熵編碼單元164(即，差分矩陣的向下轉(zhuǎn)換被省略)。

(4)熵編碼單元

熵編碼單元164利用預(yù)定方法，對從差分矩陣大小變換單元163供給的差分矩陣(量化數(shù)據(jù))編碼。如圖16中圖解所示，熵編碼單元164包括重復(fù)判定單元(135°單元)191，dpcm(差分脈碼調(diào)制)單元192和exp-g單元193。

重復(fù)判定單元191判定從差分矩陣大小變換單元163供給的差分矩陣的對稱性。如果殘差(差分矩陣)代表135°對稱矩陣，那么例如，如圖18中圖解所示，重復(fù)判定單元191除去作為重復(fù)數(shù)據(jù)的對稱部分的數(shù)據(jù)(矩陣元素)。如果殘差不代表135°對稱矩陣，那么重復(fù)判定單元191省略數(shù)據(jù)(矩陣元素)的除去。重復(fù)判定單元191把如果需要，已從中除去對稱部分的差分矩陣的數(shù)據(jù)提供給dpcm單元192。

dpcm單元192進行從重復(fù)判定單元191供給的，如果需要，已從中除去對稱部分的差分矩陣的數(shù)據(jù)的dpcm編碼，從而生成dpcm數(shù)據(jù)。dpcm單元192把生成的dpcm數(shù)據(jù)提供給exp-g單元193。

exp-g單元193利用有符號或無符號的指數(shù)golomb碼(下面也稱為指數(shù)golomb碼)，對從dpcm單元192供給的dpcm數(shù)據(jù)編碼。exp-g單元193把編碼結(jié)果提供給解碼單元165和輸出單元166。

(5)解碼單元

解碼單元165從供給自exp-g單元193的數(shù)據(jù)，恢復(fù)位階列表。解碼單元165把關(guān)于恢復(fù)的位階列表的信息提供給預(yù)測單元161，作為先前傳送的位階列表。

如圖16中圖解所示，解碼單元165包括位階列表恢復(fù)單元201和存儲單元202。

位階列表恢復(fù)單元201解碼從熵編碼單元164(exp-g單元193)供給的指數(shù)golomb碼，以恢復(fù)待輸入到矩陣處理單元150的位階列表。例如，位階列表恢復(fù)單元201通過利用與熵編碼單元164的編碼方法對應(yīng)的方法，解碼指數(shù)golomb碼，并通過進行與差分矩陣大小變換單元163進行的大小變換相反的變換，和進行與量化單元183進行的量化對應(yīng)的逆量化，獲得差分矩陣。位階列表恢復(fù)單元201還從預(yù)測矩陣中減去獲得的差分矩陣，以恢復(fù)位階列表。

位階列表恢復(fù)單元201把恢復(fù)的位階列表提供給存儲單元202，以便與該位階列表的大小和列表id關(guān)聯(lián)地保存。

存儲單元202保存關(guān)于從位階列表恢復(fù)單元201供給的位階列表的信息。保存在存儲單元202中的關(guān)于位階列表的信息被用于生成稍后處理的其它正交變換單元的預(yù)測矩陣。即，存儲單元202把保存的關(guān)于位階列表的信息作為關(guān)于先前傳送的位階列表的信息，提供給預(yù)測單元161。

注意，代替保存關(guān)于按照上述方式恢復(fù)的位階列表的信息，存儲單元202可以與輸入的位階列表的大小和列表id關(guān)聯(lián)地保存輸入到矩陣處理單元150的位階列表。這種情況下，位階列表恢復(fù)單元201可被省略。

(6)輸出單元

輸出單元166把供給的各種信息提供給在矩陣處理單元150之外的各個裝置。例如，在復(fù)制模式下，輸出單元166把從復(fù)制單元171供給的預(yù)測矩陣的列表id，提供給無損編碼單元16和逆量化單元21。此外，例如，在正常模式下，輸出單元166把從exp-g單元193供給的指數(shù)golomb碼，和從量化單元183供給的量化參數(shù)，提供給無損編碼單元16和逆量化單元21。

輸出單元166還把指示在位階列表(或者位階列表和其預(yù)測矩陣之間的差分矩陣)的傳輸中允許的最大大小(傳輸大小)的識別信息，提供給無損編碼單元16，作為用于在解碼側(cè)生成位階列表的信息。如上所述，無損編碼單元16創(chuàng)建包含用于生成位階列表的信息的編碼流，并把該編碼流提供給解碼側(cè)?？深A(yù)先按等級、規(guī)格等，指定指示傳輸大小的識別信息。這種情況下，在編碼側(cè)的設(shè)備和解碼側(cè)的設(shè)備之間，預(yù)先共享關(guān)于傳輸大小的信息。從而，可以省略上面說明的識別信息的傳輸。

<2-5.dpcm單元的詳細例證結(jié)構(gòu)>

圖19是圖解說明dpcm單元192的更詳細結(jié)構(gòu)的例子的方框圖。參見圖19，dpcm單元192包括dc系數(shù)編碼單元211和ac系數(shù)dpcm單元212。

dc系數(shù)編碼單元211從供給自重復(fù)判定單元191的系數(shù)之中，獲得dc系數(shù)，從預(yù)定初始值(例如，8)中減去dc系數(shù)的值，以確定差分值，并把差分值用作初始(i＝0)差分值(scaling_list_delta_coef)。dc系數(shù)編碼單元211把計算的差分值(scaling_list_delta_coef(i＝0))，作為與正被處理的關(guān)注區(qū)域?qū)?yīng)的位階列表的初始系數(shù)，提供給exp-g單元193。

ac系數(shù)dpcm單元212從供給自重復(fù)判定單元191的系數(shù)之中，獲得ac系數(shù)，并從緊接在前的已處理系數(shù)中減去該ac系數(shù)的值，以確定差分值(scaling_list_delta_coef(i>0))。ac系數(shù)dpcm單元212把確定的差分值(scaling_list_delta_coef(i>0))，作為與正被處理的關(guān)注區(qū)域?qū)?yīng)的位階列表的系數(shù)，提供給exp-g單元193。注意，當(dāng)i＝1時，緊接在前的系數(shù)用i＝0表示。從而，“dc系數(shù)”是緊接在前的已處理系數(shù)。

這樣，dpcm單元192以位于位階列表(ac系數(shù))的開始部分的元素的形式，傳送dc系數(shù)。因而，能夠改善位階列表的編碼效率。

<2-6.量化矩陣編碼處理的流程>

下面參考圖20中圖解所示的流程圖，說明圖16中圖解所示的矩陣處理單元150執(zhí)行的量化矩陣編碼處理的流程的例子。

當(dāng)開始量化矩陣編碼處理時，在步驟s101，預(yù)測單元161獲得當(dāng)前區(qū)域(也稱為關(guān)注區(qū)域)的位階列表(或量化矩陣)，所述當(dāng)前區(qū)域是待處理的正交變換單位。

在步驟s102，預(yù)測單元161判定當(dāng)前模式是否是復(fù)制模式。如果判定當(dāng)前模式不是復(fù)制模式，那么預(yù)測單元161使處理進入步驟s103。

在步驟s103，預(yù)測矩陣生成單元172從存儲單元202獲得先前傳送的位階列表，并利用該位階列表生成預(yù)測矩陣。

在步驟s104，預(yù)測矩陣大小變換單元181判定在步驟s103中生成的預(yù)測矩陣的大小是否不同于在步驟s101中獲得的當(dāng)前區(qū)域(關(guān)注區(qū)域)的位階列表的大小。如果判定這兩個大小不同，那么預(yù)測矩陣大小變換單元181使處理進入步驟s105。

在步驟s105，預(yù)測矩陣大小變換單元181把在步驟s103中生成的預(yù)測矩陣的大小，轉(zhuǎn)換成在步驟s101中獲得的當(dāng)前區(qū)域的位階列表的大小。

當(dāng)步驟s105的處理完成時，預(yù)測矩陣大小變換單元181使處理進入步驟s106。如果在步驟s104判定預(yù)測矩陣的大小和位階列表的大小相同，那么預(yù)測矩陣大小變換單元181使處理跳過步驟s105的處理(或者說不進行步驟s105的處理)地進入步驟s106。

在步驟s106，計算單元182從預(yù)測矩陣中減去位階列表，從而計算預(yù)測矩陣和位階列表之間的差分矩陣。

在步驟s107，量化單元183量化在步驟s106中生成的差分矩陣。注意該處理可被省略。

在步驟s108，差分矩陣大小變換單元163判定量化的差分矩陣的大小是否大于傳輸大小(傳輸中允許的最大大小)。如果判定量化的差分矩陣的大小大于傳輸大小，那么差分矩陣大小變換單元163使處理進入步驟s109，并把差分矩陣向下轉(zhuǎn)換成傳輸大小或更小。

當(dāng)步驟s109的處理完成時，差分矩陣大小變換單元163使處理進入步驟s110。另外，如果在步驟s108，判定量化的差分矩陣的大小小于或等于傳輸大小，那么差分矩陣大小變換單元163使處理進入步驟s110，同時跳過步驟s109的處理(或者不進行步驟s109的處理)。

在步驟s110，重復(fù)判定單元191判定量化的差分矩陣是否有135°對稱性。如果判定量化的差分矩陣具有135°對稱性，那么重復(fù)判定單元191使處理進入步驟s111。

在步驟s111，重復(fù)判定單元191除去量化的差分矩陣中的重復(fù)部分(重復(fù)數(shù)據(jù))。在除去重復(fù)數(shù)據(jù)之后，重復(fù)判定單元191使處理進入步驟s112。

此外，如果在步驟s110，判定量化的差分矩陣沒有135°對稱性，那么重復(fù)判定單元191使處理進入步驟s112，同時跳過步驟s111的處理(或者不進行步驟s111的處理)。

在步驟s112，，dpcm單元192對如果需要，從中除去重復(fù)部分的差分矩陣進行dpcm編碼。

在步驟s113，exp-g單元193判定在步驟s112中生成的dpcm是否具有正號或負號。如果判定包含符號，那么exp-g單元193使處理進入步驟s114。

在步驟s114，exp-g單元193利用有符號的指數(shù)golomb編碼，對dpcm數(shù)據(jù)編碼。輸出單元166把生成的指數(shù)golomb碼輸出給無損編碼單元16和逆量化單元21。當(dāng)步驟s114的處理完成時，exp-g單元193使處理進入步驟s116。

此外，如果在步驟s113，判定不包含符號，那么exp-g單元193使處理進入步驟s115。

在步驟s115，exp-g單元193利用無符號的指數(shù)golomb編碼，對dpcm數(shù)據(jù)編碼。輸出單元166把生成的指數(shù)golomb碼輸出給無損編碼單元16和逆量化單元21。當(dāng)步驟s115的處理完成時，exp-g單元193使處理進入步驟s116。

此外，如果在步驟s102，判定當(dāng)前模式是復(fù)制模式，那么復(fù)制單元171復(fù)制以前傳送的位階列表，并利用復(fù)制的位階列表作為預(yù)測矩陣。輸出單元166把對應(yīng)于預(yù)測矩陣的列表id，輸出給無損編碼單元16和逆量化單元21，作為指示預(yù)測矩陣的信息。隨后，復(fù)制單元171使處理進入步驟s116。

在步驟s116，位階列表恢復(fù)單元201恢復(fù)位階列表。在步驟s117，存儲單元202保存在步驟s116中恢復(fù)的位階列表。

當(dāng)步驟s117的處理結(jié)束時，矩陣處理單元150終止量化矩陣編碼處理。

<2-7.dpcm處理的流程>

下面參考圖21中圖解所示的流程圖，說明在圖20的步驟s112中執(zhí)行的dpcm處理的流程的例子。

當(dāng)開始dpcm處理時，在步驟s131，dc系數(shù)編碼單元211確定dc系數(shù)和常數(shù)之間的差分。在步驟s132，ac系數(shù)dpcm單元212確定dc系數(shù)和初始ac系數(shù)之間的差分。

在步驟s133，ac系數(shù)dpcm單元212判定是否所有的ac系數(shù)已被處理。如果判定存在未處理的ac系數(shù)，那么ac系數(shù)dpcm單元212使處理進入步驟s134。

在步驟s134，ac系數(shù)dpcm單元212使處理對象改變成隨后的ac系數(shù)。在步驟s135，ac系數(shù)dpcm單元212確定先前處理的ac系數(shù)和正在處理的當(dāng)前ac系數(shù)之間的差分。當(dāng)步驟s135的處理結(jié)束時，ac系數(shù)dpcm單元212使處理返回步驟s133。

按照這種方式，只要在步驟s133，判定存在未處理的ac系數(shù)，ac系數(shù)dpcm單元212就重復(fù)執(zhí)行步驟s133-s135的處理。如果在步驟s133，判定不存在未處理的ac系數(shù)，那么ac系數(shù)dpcm單元212終止dpcm處理，使處理返回圖20。

如上所述，確定dc系數(shù)與ac系數(shù)之中的位于開始部分的ac系數(shù)之間的差分，并把所述差分，而不是dc系數(shù)傳送給圖像解碼設(shè)備。從而，圖像編碼設(shè)備10能夠抑制位階列表的編碼量的增大。

下面，說明按照本公開的實施例的圖像解碼設(shè)備的例證結(jié)構(gòu)。

<2-8.圖像解碼設(shè)備>

圖22是圖解說明按照本公開的實施例的圖像解碼設(shè)備300的例證結(jié)構(gòu)的方框圖。圖22中圖解所示的圖像解碼設(shè)備300是本技術(shù)適用于的、配置成對圖像編碼設(shè)備10生成的編碼數(shù)據(jù)解碼的圖像處理設(shè)備。參見圖22，圖像解碼設(shè)備300包括累積緩沖器311、無損解碼單元312、逆量化/逆正交變換單元313、加法單元315、解塊濾波器316、重排緩沖器317、d/a(數(shù)-模)轉(zhuǎn)換單元318、幀存儲器319、選擇器320和321、幀內(nèi)預(yù)測單元330和運動補償單元340。

累積緩沖器311利用存儲介質(zhì)，臨時保存經(jīng)傳輸路徑輸入的編碼流。

無損解碼單元312按照用于編碼的編碼方案，解碼從累積緩沖器311輸入的編碼流。另外，無損解碼單元312解碼在編碼流的報頭區(qū)中復(fù)用的信息。在編碼流的報頭區(qū)中復(fù)用的信息例如可包括用于生成上述位階列表的信息，和包含在塊報頭中的關(guān)于幀內(nèi)預(yù)測的信息和關(guān)于幀間預(yù)測的信息。無損解碼單元312把解碼的量化數(shù)據(jù)和用于生成位階列表的信息輸出給逆量化/逆正交變換單元313。無損解碼單元312還把關(guān)于幀內(nèi)預(yù)測的信息輸出給幀內(nèi)預(yù)測單元330。另外，無損解碼單元312把關(guān)于幀間預(yù)測的信息輸出給運動補償單元340。

逆量化/逆正交變換單元313對從無損解碼單元312輸入的量化數(shù)據(jù)進行逆量化和逆正交變換，從而生成預(yù)測誤差數(shù)據(jù)。之后，逆量化/逆正交變換單元313把生成的預(yù)測誤差數(shù)據(jù)輸出給加法單元315。

加法單元315相加從逆量化/逆正交變換單元313輸入的預(yù)測誤差數(shù)據(jù)和從選擇器321輸入的預(yù)測圖像數(shù)據(jù)，從而生成解碼圖像數(shù)據(jù)。之后，加法單元315把生成的解碼圖像數(shù)據(jù)輸出給解塊濾波器316和幀存儲器319。

解塊濾波器316對從加法單元315輸入的解碼圖像數(shù)據(jù)濾波，從而消除塊效應(yīng)，并把濾波后的解碼圖像數(shù)據(jù)輸出給重排緩沖器317和幀存儲器319。

重排緩沖器317重排從解塊濾波器316輸入的圖像，從而生成時序圖像數(shù)據(jù)序列。隨后，重排緩沖器317把生成的圖像數(shù)據(jù)輸出給d/a轉(zhuǎn)換單元318。

d/a轉(zhuǎn)換單元318把從重排緩沖器317輸入的數(shù)字形式的圖像數(shù)據(jù)轉(zhuǎn)換成模擬形式的圖像信號。之后，d/a轉(zhuǎn)換單元318把模擬圖像信號輸出給例如連接到圖像解碼設(shè)備300的顯示器(未圖示)，以顯示圖像。

幀存儲器319利用存儲介質(zhì)，保存從加法單元315輸入的待濾波的解碼圖像數(shù)據(jù)，和從解塊濾波器316輸入的濾波后的解碼圖像數(shù)據(jù)。

選擇器320按照無損解碼單元312獲得的模式信息，為圖像中的每個塊，在幀內(nèi)預(yù)測單元330和運動補償單元340之間切換從幀存儲器319供給的圖像數(shù)據(jù)將被輸出到的目的地。例如，如果指定幀內(nèi)預(yù)測模式，那么選擇器320把從幀存儲器319供給的待濾波的解碼圖像數(shù)據(jù)，作為參考圖像數(shù)據(jù)輸出給幀內(nèi)預(yù)測單元330。另外，如果指定幀間預(yù)測模式，那么選擇器320把從幀存儲器319供給的濾波后的解碼圖像數(shù)據(jù)，作為參考圖像數(shù)據(jù)輸出給運動補償單元340。

選擇器321按照無損解碼單元312獲得的模式信息，為圖像中的每個塊，在幀內(nèi)預(yù)測單元330和運動補償單元340之間切換待供給加法單元315的預(yù)測圖像數(shù)據(jù)將從中輸出的源。例如，如果指定幀內(nèi)預(yù)測模式，那么選擇器321把從幀內(nèi)預(yù)測單元330輸出的預(yù)測圖像數(shù)據(jù)提供給加法單元315。如果指定幀間預(yù)測模式，那么選擇器321把從運動補償單元340輸出的預(yù)測圖像數(shù)據(jù)提供給加法單元315。

幀內(nèi)預(yù)測單元330根據(jù)從無損解碼單元312輸入的關(guān)于幀內(nèi)預(yù)測的信息，和從幀存儲器319供給的參考圖像數(shù)據(jù)，進行像素值的畫面內(nèi)預(yù)測，并生成預(yù)測圖像數(shù)據(jù)。之后，幀內(nèi)預(yù)測單元330把生成的預(yù)測圖像數(shù)據(jù)輸出給選擇器321。

運動補償單元340根據(jù)從無損解碼單元312輸入的關(guān)于幀間預(yù)測的信息，和從幀存儲器319供給的參考圖像數(shù)據(jù)，進行運動補償處理，并生成預(yù)測圖像數(shù)據(jù)。之后，運動補償單元340把生成的預(yù)測圖像數(shù)據(jù)輸出給選擇器321。

<2-9.逆量化/逆正交變換單元的例證結(jié)構(gòu)>

圖23是圖解說明圖22中圖解所示的圖像解碼設(shè)備300的逆量化/逆正交變換單元313的主要結(jié)構(gòu)的例子的方框圖。參見圖23，逆量化/逆正交變換單元313包括矩陣生成單元410，選擇單元430，逆量化單元440和逆正交變換單元450。

(1)矩陣生成單元

矩陣生成單元410對提取自比特流并由無損解碼單元312供給的編碼位階列表數(shù)據(jù)解碼，并生成位階列表。矩陣生成單元410把生成的位階列表提供給逆量化單元440。

(2)選擇單元

選擇單元430從具有不同大小的多個變換單位中，選擇用于待解碼的圖像數(shù)據(jù)的逆正交變換的變換單位(tu)。選擇單元430可選擇的變換單位的可能大小的例子包括用于h.264/avc的4×4和8×8，并包括用于hevc的4×4，8×8，16×16和32×32。選擇單元430可根據(jù)例如包含在編碼流的報頭中的lcu、scu和split_flag，選擇變換單位。之后，選擇單元430把指定所選變換單位的大小的信息輸出給逆量化單元440和逆正交變換單元450。

(3)逆量化單元

逆量化單元440利用選擇單元430選擇的變換單元的位階列表，逆量化當(dāng)圖像被編碼時量化的變換系數(shù)數(shù)據(jù)。之后，逆量化單元440把逆量化的變換系數(shù)數(shù)據(jù)輸出給逆正交變換單元450。

(4)逆正交變換單元

逆正交變換單元450按照用于編碼的正交變換方案，以選擇的變換單位的單位，對逆量化單元440逆量化的變換系數(shù)數(shù)據(jù)進行逆正交變換，從而生成預(yù)測誤差數(shù)據(jù)。之后，逆正交變換單元450把生成的預(yù)測誤差數(shù)據(jù)輸出給加法單元315。

<2-10.矩陣生成單元的詳細例證結(jié)構(gòu)>

圖24是圖解說明圖23中圖解所示的矩陣生成單元410的詳細結(jié)構(gòu)的例子的方框圖。參見圖24，矩陣生成單元410包括參數(shù)分析單元531，預(yù)測單元532，熵解碼單元533，位階列表恢復(fù)單元534，輸出單元535和存儲單元536。

(1)參數(shù)分析單元

參數(shù)分析單元531分析從無損解碼單元312供給的與位階列表相關(guān)的各種標(biāo)記和參數(shù)。此外，按照分析結(jié)果，參數(shù)分析單元531把從無損解碼單元312供給的各種信息，比如差分矩陣的編碼數(shù)據(jù)，提供給預(yù)測單元532或熵解碼單元533。

例如，如果pred_mode等于0，那么參數(shù)分析單元531判定當(dāng)前模式是復(fù)制模式，并把pred_matrix_id_delta提供給復(fù)制單元541。此外，例如，如果pred_mode等于1，那么參數(shù)分析單元531判定當(dāng)前模式是全掃描模式(正常模式)，并把pred_matrix_id_delta和pred_size_id_delta提供給預(yù)測矩陣生成單元542。

此外，例如，如果residual_flag為真，那么參數(shù)分析單元531把從無損解碼單元312提供的位階列表的編碼數(shù)據(jù)(指數(shù)golomb碼)，提供給熵解碼單元533的exp-g單元551。參數(shù)分析單元531還把residual_symmetry_flag提供給exp-g單元551。

此外，參數(shù)分析單元531把residual_down_sampling_flag提供給位階列表恢復(fù)單元534的差分矩陣大小變換單元562。

(2)預(yù)測單元

預(yù)測單元532按照參數(shù)分析單元531的控制生成預(yù)測矩陣。如圖24中圖解所示，預(yù)測單元532包括復(fù)制單元541和預(yù)測矩陣生成單元542。

在復(fù)制模式下，復(fù)制單元541復(fù)制先前傳送的位階列表，并利用復(fù)制的位階列表作為預(yù)測矩陣。更具體地，復(fù)制單元541從存儲單元536，讀取先前傳送的對應(yīng)于pred_matrix_id_delta并且大小和當(dāng)前區(qū)域的位階列表相同的位階列表，利用讀取的位階列表作為預(yù)測圖像，并把預(yù)測圖像提供給輸出單元535。

在正常模式下，預(yù)測矩陣生成單元542利用先前傳送的位階列表，生成(或預(yù)測)預(yù)測矩陣。更具體地，預(yù)測矩陣生成單元542從存儲單元536，讀取先前傳送的與pred_matrix_id_delta和pred_size_id_delta對應(yīng)的位階列表，并利用讀取的位階列表生成預(yù)測矩陣。換句話說，預(yù)測矩陣生成單元542生成與圖像編碼設(shè)備10的預(yù)測矩陣生成單元172(圖16)生成的預(yù)測矩陣類似的預(yù)測矩陣。預(yù)測矩陣生成單元542把生成的預(yù)測矩陣提供給位階列表恢復(fù)單元534的預(yù)測矩陣大小變換單元561。

(3)熵解碼單元

熵解碼單元533從供給自參數(shù)分析單元531的指數(shù)golomb碼恢復(fù)差分矩陣。如圖24中圖解所示，熵解碼單元533包括exp-g單元551，逆dpcm單元552和逆重復(fù)判定單元553。

exp-g單元551對有符號或無符號的指數(shù)golomb碼解碼(下面，也稱為指數(shù)golomb解碼)，以恢復(fù)dpcm數(shù)據(jù)。exp-g單元551把恢復(fù)的dpcm數(shù)據(jù)連同residual_symmetry_flag一起提供給逆dpcm單元552。

逆dpcm單元552進行已從中除去重復(fù)部分的數(shù)據(jù)的dpcm解碼，從而根據(jù)dpcm數(shù)據(jù)生成殘差數(shù)據(jù)。逆dpcm單元552把生成的殘差數(shù)據(jù)連同residual_symmetry_flag一起提供給逆重復(fù)判定單元553。

如果residual_symmetry_flag為真，即，如果殘差數(shù)據(jù)是已從中除去重復(fù)對稱部分的數(shù)據(jù)(矩陣元素)的135°對稱矩陣的剩余部分，那么逆重復(fù)判定單元553恢復(fù)對稱部分的數(shù)據(jù)。換句話說，恢復(fù)135°對稱矩陣的差分矩陣。注意，如果residual_symmetry_flag不為真，即，如果殘差數(shù)據(jù)代表不是135°對稱矩陣的矩陣，那么逆重復(fù)判定單元553利用殘差數(shù)據(jù)作為差分矩陣，而不恢復(fù)對稱部分的數(shù)據(jù)。逆重復(fù)判定單元553把按照上述方式恢復(fù)的差分矩陣提供給位階列表恢復(fù)單元534(差分矩陣大小變換單元562)。

(4)位階列表恢復(fù)單元

位階列表恢復(fù)單元534恢復(fù)位階列表。如圖24中圖解所示，位階列表恢復(fù)單元534包括預(yù)測矩陣大小變換單元561，差分矩陣大小變換單元562，逆量化單元563和計算單元564。

如果從預(yù)測單元532(預(yù)測矩陣生成單元542)供給的預(yù)測矩陣的大小不同于待恢復(fù)的當(dāng)前區(qū)域的位階列表的大小，那么預(yù)測矩陣大小變換單元561轉(zhuǎn)換預(yù)測矩陣的大小。

例如，如果預(yù)測矩陣的大小大于位階列表的大小，那么預(yù)測矩陣大小變換單元561向下轉(zhuǎn)換預(yù)測矩陣。此外，例如，如果預(yù)測矩陣的大小小于位階列表的大小，那么預(yù)測矩陣大小變換單元561向上轉(zhuǎn)換預(yù)測矩陣。選擇和圖像編碼設(shè)備10的預(yù)測矩陣大小變換單元181(圖16)的方法相同的方法，作為轉(zhuǎn)換方法。

預(yù)測矩陣大小變換單元561把已使其大小和位階列表的大小匹配的預(yù)測矩陣提供給計算單元564。

如果residual_down_sampling_flag為真，即，如果傳送的差分矩陣的大小小于待逆量化的當(dāng)前區(qū)域的大小，那么差分矩陣大小變換單元562向上轉(zhuǎn)換差分矩陣，以把差分矩陣的大小增大到與待逆量化的當(dāng)前區(qū)域?qū)?yīng)的大小。可以使用任何向上轉(zhuǎn)換方法。例如，可以使用與圖像編碼設(shè)備10的差分矩陣大小變換單元163(圖16)進行的向下轉(zhuǎn)換方法對應(yīng)的方法。

例如，如果差分矩陣大小變換單元163已對差分矩陣進行了下采樣，那么差分矩陣大小變換單元562可對差分矩陣進行上采樣。另一方面，如果差分矩陣大小變換單元163已對差分矩陣進行了子采樣，那么差分矩陣大小變換單元562可對差分矩陣進行逆子采樣。

例如，差分矩陣大小變換單元562可進行如圖25中圖解所示的最近鄰插值處理(最近鄰)，而不是一般的線性插值。最近鄰插值處理能夠減小存儲容量。

因而，即使不傳送大小較大的位階列表，也不需要為從大小較小的位階列表的上采樣，保存在上采樣之后獲得的數(shù)據(jù)。另外，當(dāng)保存在上采樣期間的計算中涉及的數(shù)據(jù)時，中間緩沖器等不是必需的。

注意，如果residual_down_sampling_flag不為真，即，如果差分矩陣是以與當(dāng)用于量化處理時的大小相同的大小傳送的，那么差分矩陣大小變換單元562省略差分矩陣的向上轉(zhuǎn)換(或者可按系數(shù)1向上轉(zhuǎn)換差分矩陣)。

差分矩陣大小變換單元562把如果需要，按照上述方式向上轉(zhuǎn)換的差分矩陣提供給逆量化單元563。

逆量化單元563利用與圖像編碼設(shè)備10的量化單元183(圖16)進行的量化的方法對應(yīng)的方法，逆量化供給的差分矩陣(量化數(shù)據(jù))，并把逆量化的差分矩陣提供給計算單元564。注意，如果量化單元183被省略，即，如果從差分矩陣大小變換單元562供給的差分矩陣不是量化數(shù)據(jù)，那么可以省略逆量化單元563。

計算單元564相加從預(yù)測矩陣大小變換單元561供給的預(yù)測矩陣，和從逆量化單元563供給的差分矩陣，從而恢復(fù)當(dāng)前區(qū)域的位階列表。計算單元564把恢復(fù)的位階列表提供給輸出單元535和存儲單元536。

(5)輸出單元

輸出單元535把供給的信息輸出給在矩陣生成單元410之外的裝置。例如，在復(fù)制模式下，輸出單元535把從復(fù)制單元541供給的預(yù)測矩陣提供給逆量化單元440，作為當(dāng)前區(qū)域的位階列表。此外，例如，在正常模式下，輸出單元535把從位階列表恢復(fù)單元534(計算單元564)供給的當(dāng)前區(qū)域的位階列表提供給逆量化單元440。

(6)存儲單元

存儲單元536保存從位階列表恢復(fù)單元534(計算單元564)供給的位階列表，以及該位階列表的大小和列表id。保存在存儲單元536中的關(guān)于位階列表的信息被用于生成稍后被處理的其它正交變換單元的預(yù)測矩陣。換句話說，存儲單元536把保存的關(guān)于位階列表的信息作為關(guān)于先前傳送的位階列表的信息，提供給預(yù)測單元532。

<2-11.逆dpcm單元的詳細例證結(jié)構(gòu)>

圖26是圖解說明圖24中例示的逆dpcm單元552的詳細結(jié)構(gòu)的例子的方框圖。參見圖26，逆dpcm單元552包括初始設(shè)定單元571、dpcm解碼單元572和dc系數(shù)提取單元573。

初始設(shè)定單元571獲得sizeid和matrixid，并把各個變量設(shè)定成初始值。初始設(shè)定單元571把獲得和設(shè)定的信息提供給dpcm解碼單元572。

dpcm解碼單元572利用從初始設(shè)定單元571供給的初始設(shè)定等，從dc系數(shù)和ac系數(shù)的差分值(scaling_list_delta_coef)，確定各個系數(shù)(dc系數(shù)和ac系數(shù))。dpcm解碼單元572把確定的系數(shù)提供給dc系數(shù)提取單元573(scalinglist[i])。

dc系數(shù)提取單元573從供給自dpcm解碼單元572的系數(shù)(scalinglist[i])中提取dc系數(shù)。dc系數(shù)位于ac系數(shù)的開始部分。即，從dpcm解碼單元572供給的系數(shù)之中的初始系數(shù)(scalinglist[0])是dc系數(shù)。dc系數(shù)提取單元573提取位于開始部分的系數(shù)，作為dc系數(shù)，并把提取的系數(shù)輸出給逆重復(fù)判定單元553(dc_coef)。dc系數(shù)提取單元573把其它系數(shù)(scalinglist[i](i>0))輸出給逆重復(fù)判定單元553，作為ac系數(shù)。

因而，逆dpcm單元552能夠進行正確的dpcm解碼，從而能夠獲得dc系數(shù)和ac系數(shù)。即，圖像解碼設(shè)備300能夠抑制位階列表的編碼量的增大。

<2-12.量化矩陣解碼處理的流程>

下面參考圖27中圖解所示的流程圖，說明由具有上述結(jié)構(gòu)的矩陣生成單元410執(zhí)行的量化矩陣解碼處理的流程的例子。

當(dāng)開始量化矩陣解碼處理時，在步驟s301，參數(shù)分析單元531讀取區(qū)域0～3的量化值(qscale0～qscale3)。

在步驟s302，參數(shù)分析單元531讀取pred_mode。在步驟s303，參數(shù)分析單元531判定pred_mode是否等于0。如果判定pred_mode等于0，那么參數(shù)分析單元531判定當(dāng)前模式是復(fù)制模式，從而使處理進入步驟s304。

在步驟s304，參數(shù)分析單元531讀取pred_matrix_id_delta。在步驟s305，復(fù)制單元541復(fù)制已傳送的位階列表，并利用復(fù)制的位階列表作為預(yù)測矩陣。在復(fù)制模式下，預(yù)測矩陣被輸出為當(dāng)前區(qū)域的位階列表。當(dāng)步驟s305的處理完成時，復(fù)制單元541終止量化矩陣解碼處理。

此外，如果在步驟s303，判定pred_mode不等于0，那么參數(shù)分析單元531判定當(dāng)前模式是全掃描模式(正常模式)，從而使處理進入步驟s306。

在步驟s306，參數(shù)分析單元531讀取pred_matrix_id_delta，pred_size_id_delta和residual_flag。在步驟s307，預(yù)測矩陣生成單元542根據(jù)已傳送的位階列表，生成預(yù)測矩陣。

在步驟s308，參數(shù)分析單元531判定residual_flag是否為真。如果判定residual_flag不為真，那么不存在殘差矩陣，輸出在步驟s307生成的預(yù)測矩陣，作為當(dāng)前區(qū)域的位階列表。于是在這種情況下，參數(shù)分析單元531終止量化矩陣解碼處理。

此外，如果在步驟s308，判定residual_flag為真，那么參數(shù)分析單元531使處理進入步驟s309。

在步驟s309，參數(shù)分析單元531讀取residual_down_sampling_flag和residual_symmetry_flag。

在步驟s310，exp-g單元551和逆dpcm單元552解碼殘差矩陣的指數(shù)golomb碼，從而生成殘差數(shù)據(jù)。

在步驟s311，逆重復(fù)判定單元553判定residual_symmetry_flag是否為真。如果判定residual_symmetry_flag為真，那么逆重復(fù)判定單元553使處理進入步驟s312，恢復(fù)殘差數(shù)據(jù)的被除去的重復(fù)部分(或者說進行逆對稱處理)。當(dāng)按照上述方式生成為135°對稱矩陣的差分矩陣時，逆重復(fù)判定單元553使處理進入步驟s313。

此外，如果在步驟s311，判定residual_symmetry_flag不為真(或者說如果殘差數(shù)據(jù)是非135°對稱矩陣的差分矩陣)，那么逆重復(fù)判定單元553使處理進入步驟s313，同時跳過步驟s312的處理(或者說不進行逆對稱處理)。

在步驟s313，差分矩陣大小變換單元562判定residual_down_sampling_flag是否為真。如果判定residual_down_sampling_flag為真，那么差分矩陣大小變換單元562使處理進入步驟s314，把差分矩陣向上轉(zhuǎn)換成與待逆量化的當(dāng)前區(qū)域?qū)?yīng)的大小。在差分矩陣被向上轉(zhuǎn)換之后，差分矩陣大小變換單元562使處理進入步驟s315。

此外，如果在步驟s313，判定residual_down_sampling_flag不為真，那么差分矩陣大小變換單元562使處理進入步驟s315，同時跳過步驟s314的處理(或者說不向上轉(zhuǎn)換差分矩陣)。

在步驟s315，計算單元564相加差分矩陣和預(yù)測矩陣，從而生成當(dāng)前區(qū)域的位階列表。當(dāng)步驟s315的處理完成時，量化矩陣解碼處理終止。

<2-13.殘差信號解碼處理的流程>

下面參考圖28中圖解所示的流程圖，說明在圖27的步驟s310中執(zhí)行的殘差信號解碼處理的流程的例子。

當(dāng)開始殘差信號解碼處理時，在步驟s331，exp-g單元551對供給的指數(shù)golomb碼解碼。

在步驟s332，逆dpcm單元552對exp-g單元551通過解碼獲得的dpcm數(shù)據(jù)進行逆dpcm處理。

當(dāng)逆dpcm處理完成時，逆dpcm單元552終止殘差信號解碼處理，使處理返回圖27。

<2-14.逆dpcm處理的流程>

下面參考圖29中圖解所示的流程圖，說明在圖28的步驟s332中執(zhí)行的逆dpcm處理的流程的例子。

當(dāng)開始逆dpcm處理時，在步驟s351，初始設(shè)定單元571獲得sizeid和matrixid。

在步驟s352，初始設(shè)定單元571如下設(shè)定coefnum。

coefnum＝min((1<<(4+(sizeid<<1))),65)

在步驟s353，初始設(shè)定單元571如下設(shè)定變量i和變量nextcoef。

i＝0

nextcoef＝8

在步驟s354，dpcm解碼單元572判定變量i是否小于coefnum。如果變量i小于coefnum，那么初始設(shè)定單元571使處理進入步驟s355。

在步驟s355，dpcm解碼單元572讀取系數(shù)的dpcm數(shù)據(jù)(scaling_list_delta_coef)。

在步驟s356，dpcm解碼單元572利用讀取的dpcm數(shù)據(jù)，如下確定nextcoef，還確定scalinglist[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalinglist[i]＝nextcoef

在步驟s357，dc系數(shù)提取單元573判定sizeid是否大于1，并且變量i是否等于0(即，位于開始部分的系數(shù))。如果判定sizeid大于1，并且變量i代表位于開始部分的系數(shù)，那么dc系數(shù)提取單元573使處理進入步驟s358，利用該系數(shù)作為dc系數(shù)(dc_coef＝nextcoef)。當(dāng)步驟s358的處理完成時，dc系數(shù)提取單元573使處理進入步驟s360。

此外，如果在步驟s357判定sizeid小于或等于1，或者變量i不代表位于開始部分的系數(shù)，那么dc系數(shù)提取單元573使處理進入步驟s359，并使各個系數(shù)的變量i變化1，因為dc系數(shù)已被提取(scalinglist[(i-(sizeid)>1)？1；0]＝nextcoef)。如果步驟s359的處理完成，那么dc系數(shù)提取單元573使處理進入步驟s360。

在步驟s360，dpcm解碼單元572遞增變量i，以把處理對象改變成后續(xù)系數(shù)，隨后使處理返回步驟s354。

在步驟s354，重復(fù)進行步驟s354-s360的處理，直到判定變量i大于或等于coefnum為止。如果在步驟s354，判定變量i大于或等于coefnum，那么dpcm解碼單元572終止逆dpcm處理，并使處理返回圖28。

因此，dct系數(shù)和位于ac系數(shù)的開始部分的ac系數(shù)之間的差分能夠被正確地解碼。于是，圖像解碼設(shè)備300能夠抑制位階列表的編碼量的增大。

<3.第三實施例>

<3-1.語法：第二種方法>

傳送dc系數(shù)和另一個系數(shù)之間的差分，而不是dc系數(shù)的另一種方法可以是例如作為和8×8矩陣的dpcm數(shù)據(jù)不同的dpcm數(shù)據(jù)，傳送dc系數(shù)和8×8矩陣的(0,0)分量之間的差分(第二種方法)。例如，在8×8矩陣的dpcm傳輸之后，可以傳送dc系數(shù)和8×8矩陣的(0,0)分量之間的差分。

因而，類似于第一種方法，當(dāng)8×8矩陣的(0,0)系數(shù)(ac系數(shù))的值和dc系數(shù)的值彼此接近時，能夠更加改善壓縮率。

圖30圖解說明第二種方法中的位階列表的語法。在圖30中圖解所示的例子中，讀取系數(shù)之間的64個差分值(scaling_list_delta_coef)。最后，讀取dc系數(shù)和(0,0)系數(shù)(ac系數(shù))之間的差分(scaling_list_dc_coef_delta)，根據(jù)所述差分確定dc系數(shù)。

因而，在第二種方法中，用于解碼ac系數(shù)的語法可以類似于圖12中圖解所示的現(xiàn)有技術(shù)的語法。即，通過少量地變更現(xiàn)有技術(shù)的例子，可獲得第二種方法的語法，從而與第一種方法的語法相比，更加可行。

不過，在圖像解碼設(shè)備收到所有系數(shù)并且解壓縮所有dpcm數(shù)據(jù)之前，第二種方法不允許圖像解碼設(shè)備獲得dc系數(shù)，而第一種方法則允許圖像解碼設(shè)備在圖像解碼設(shè)備收到初始系數(shù)時就恢復(fù)dc系數(shù)。

下面說明實現(xiàn)上述第二種方法的語法的圖像編碼設(shè)備。

<3-2.dpcm單元的詳細例證結(jié)構(gòu)>

在第二種方法中，圖像編碼設(shè)備10具有基本上和上述第一種方法中的結(jié)構(gòu)類似的結(jié)構(gòu)。具體地，圖像編碼設(shè)備10具有如圖14中圖解所示的例子中一樣的結(jié)構(gòu)。此外，正交變換/量化單元14具有如圖15中圖解所示的例子中一樣的結(jié)構(gòu)。此外，矩陣處理單元150具有如圖16中圖解所示的例子中一樣的結(jié)構(gòu)。

圖31中圖解說明了第二例子中的dpcm單元192的例證結(jié)構(gòu)。如圖31中圖解所示，在第二例子中，dpcm單元192包括ac系數(shù)緩沖器611、ac系數(shù)編碼單元612、ac系數(shù)dpcm單元613和dc系數(shù)dpcm單元614。

ac系數(shù)緩沖器611保存從重復(fù)判定單元191供給的初始ac系數(shù)(即，(0,0)系數(shù))。ac系數(shù)緩沖器611在所有ac系數(shù)都已經(jīng)過dpcm處理之后的預(yù)定定時，或者響應(yīng)請求，把保存的初始ac系數(shù)(ac系數(shù)(0,0))提供給dc系數(shù)dpcm單元614。

ac系數(shù)編碼單元612獲得從重復(fù)判定單元191供給的初始ac系數(shù)(ac系數(shù)(0,0))，從常數(shù)(例如，8)中減去初始ac系數(shù)的值。ac系數(shù)編碼單元612把減法結(jié)果(差分)提供給exp-g單元193，作為ac系數(shù)的dpcm數(shù)據(jù)的初始系數(shù)(scaling_list_delta_coef(i＝0))。

ac系數(shù)dpcm單元613獲得從重復(fù)判定單元191供給的ac系數(shù)，對于第二個和隨后的ac系數(shù)，分別確定和緊接在前的ac系數(shù)的差分(dpcm)，并把確定的差分作為dpcm數(shù)據(jù)(scaling_list_delta_coef(i＝1～63))，提供給exp-g單元193。

dc系數(shù)dpcm單元614獲得從重復(fù)判定單元191供給的dc系數(shù)。dc系數(shù)dpcm單元614還獲得保持在ac系數(shù)緩沖器611中的初始ac系數(shù)(ac系數(shù)(0,0))。dc系數(shù)dpcm單元614從dc系數(shù)中減去初始ac系數(shù)(ac系數(shù)(0,0))，以確定它們之間的差分，并把確定的差分作為dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_dc_coef_delta)，提供給exp-g單元193。

如上所述，在第二種方法中，確定dc系數(shù)和另一個系數(shù)(初始ac系數(shù))之間的差分。隨后，在傳送作為ac系數(shù)之間的差分的ac系數(shù)的dpcm數(shù)據(jù)(scaling_list_delta_coef)之后，作為和ac系數(shù)的dpcm數(shù)據(jù)不同的dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_dc_coef_delta)，傳送該差分。因而，類似于第一種方法，圖像編碼設(shè)備10可改善位階列表的編碼效率。

<3-3.dpcm處理的流程>

另外，在第二種方法中，圖像編碼設(shè)備10按照和參考圖20中圖解所示的流程圖說明的第一種方法中的方式類似的方式，執(zhí)行量化矩陣編碼處理。

下面參考圖32中圖解所示的流程圖，說明在圖20的步驟s112中執(zhí)行的第二種方法中的dpcm處理的流程的例子。

當(dāng)開始dpcm處理時，在步驟s401，ac系數(shù)緩沖器611保持初始ac系數(shù)。

在步驟s402，ac系數(shù)編碼單元612從預(yù)定常數(shù)(例如，8)中減去初始ac系數(shù)，以確定它們之間的差分(初始dpcm數(shù)據(jù))。

步驟s403-s405的處理由ac系數(shù)dpcm單元613按照和圖21中的步驟s133-s135的處理類似的方式執(zhí)行。即，步驟s403-s405的處理被反復(fù)執(zhí)行，以生成所有ac系數(shù)的dpcm數(shù)據(jù)(和緊接在前的ac系數(shù)的差分)。

如果在步驟s430，判定所有的ac系數(shù)已被處理(即，如果不存在未處理的ac系數(shù))，那么ac系數(shù)dpcm單元63使處理進入步驟s406。

在步驟s406，dc系數(shù)dpcm單元614從dc系數(shù)中減去在步驟s401中保持的初始ac系數(shù)，從而確定它們之間的差分(dc系數(shù)的dpcm數(shù)據(jù))。

當(dāng)步驟s406的處理完成時，dc系數(shù)dpcm單元614終止dpcm處理，使處理返回圖20。

因而，dc系數(shù)和另一個系數(shù)之間的差分也被確定，并作為dpcm數(shù)據(jù)被傳送給圖像解碼設(shè)備。從而，圖像編碼設(shè)備10能夠抑制位階列表的編碼量的增大。

<3-4.逆dpcm單元的詳細例證結(jié)構(gòu)>

在第二種方法中，圖像解碼設(shè)備300具有基本上和第一方法中的結(jié)構(gòu)類似的結(jié)構(gòu)。具體地，在第二種方法中，圖像解碼設(shè)備300具有和在圖22中圖解所示的例子中一樣的結(jié)構(gòu)。此外，逆量化/逆正交變換單元313具有和在圖23中圖解所示的例子中一樣的結(jié)構(gòu)。此外，矩陣生成單元410具有和在圖24中圖解所示的例子中一樣的結(jié)構(gòu)。

圖33是圖解說明在第二種方法中，圖24中圖解所示的逆dpcm單元552的詳細結(jié)構(gòu)的例子的方框圖。參見圖33，逆dpcm單元552包括初始設(shè)定單元621、ac系數(shù)dpcm解碼單元622、ac系數(shù)緩沖器623和dc系數(shù)dpcm解碼單元624。

初始設(shè)定單元621獲得sizeid和matrixid，并把各個變量設(shè)定成初始值。初始設(shè)定單元621把獲得和設(shè)定的信息提供給ac系數(shù)dpcm解碼單元622。

ac系數(shù)dpcm解碼單元622獲得從exp-g單元551供給的ac系數(shù)的dpcm數(shù)據(jù)(scaling_list_delta_coef)。ac系數(shù)dpcm解碼單元622利用從初始設(shè)定單元621供給的初始設(shè)定等，解碼獲得的ac系數(shù)的dpcm數(shù)據(jù)，以確定ac系數(shù)。ac系數(shù)dpcm解碼單元622把確定的ac系數(shù)(scalinglist[i])提供給逆重復(fù)判定單元553。ac系數(shù)dpcm解碼單元622還把確定的ac系數(shù)之中的初始ac系數(shù)(scalinglist[0]，即，ac系數(shù)(0,0))提供給ac系數(shù)緩沖器623，以便保持。

ac系數(shù)緩沖器623保存從ac系數(shù)dpcm解碼單元622供給的初始ac系數(shù)(scalinglist[0]，即，ac系數(shù)(0,0))。ac系數(shù)緩沖器623在預(yù)定定時或者響應(yīng)請求，把初始ac系數(shù)(scalinglist[0]，即，ac系數(shù)(0,0))提供給dc系數(shù)dpcm解碼單元624。

dc系數(shù)dpcm解碼單元624獲得從exp-g單元551供給的dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_dc_coef_delta)。dc系數(shù)dpcm解碼單元624還獲得保存在ac系數(shù)緩沖器623中的初始ac系數(shù)(scalinglist[0]，即，ac系數(shù)(0,0))。dc系數(shù)dpcm解碼單元624利用初始ac系數(shù)，解碼dc系數(shù)的dpcm數(shù)據(jù)，以確定dc系數(shù)。dc系數(shù)dpcm解碼單元624把確定的dc系數(shù)(dc_coef)提供給逆重復(fù)判定單元553。

因而，逆dpcm單元552能夠進行正確的dpcm解碼，從而能夠獲得dc系數(shù)和ac系數(shù)。即，圖像解碼設(shè)備300能夠抑制位階列表的編碼量的增大。

<3-5.逆dpcm處理的流程>

另外在第二種方法中，圖像解碼設(shè)備300按照和上面參考圖27中圖解所示的流程圖說明的第一種方法中的方式類似的方式，執(zhí)行量化矩陣解碼處理。類似地，圖像解碼設(shè)備300按照和上面參考圖28中圖解所示的流程圖說明的第一種方法中的方式類似的方式，執(zhí)行殘差信號解碼處理。

下面參考圖34中圖解所示的流程圖，說明逆dpcm單元552執(zhí)行的逆dpcm處理的流程的例子。

當(dāng)開始逆dpcm處理時，在步驟s421，初始設(shè)定單元621獲得sizeid和matrixid。

在步驟s422，初始設(shè)定單元621如下設(shè)定coefnum。

coefnum＝min((1<<(4+(sizeid<<1))),64)

在步驟s423，初始設(shè)定單元621如下設(shè)定變量i和變量nextcoef。

i＝0

nextcoef＝8

在步驟s424，dpcm解碼單元572判定變量i是否小于coefnum。如果變量i小于coefnum，那么初始設(shè)定單元621使處理進入步驟s425。

在步驟s425，ac系數(shù)dpcm解碼單元622讀取ac系數(shù)的dpcm數(shù)據(jù)(scaling_list_delta_coef)。

在步驟s426，ac系數(shù)dpcm解碼單元622利用讀取的dpcm數(shù)據(jù)如下確定nextcoef，另外還確定scalinglist[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalinglist[i]＝nextcoef

注意，計算的初始ac系數(shù)(scalinglist[0]，即，ac系數(shù)(0,0))被保持在ac系數(shù)緩沖器623中。

在步驟s427，ac系數(shù)dpcm解碼單元622遞增變量i，以把待處理的對象改變成隨后的系數(shù)，然后使處理返回步驟s424。

在步驟s424，重復(fù)進行步驟s424-s427的處理，直到判定變量i大于或等于coefnum為止。如果在步驟s424中，判定變量i大于或等于coefnum，那么ac系數(shù)dpcm解碼單元622使處理進入步驟s428。

在步驟s428，dc系數(shù)dpcm解碼單元624判定sizeid是否大于1。如果判定sizeid大于1，那么dc系數(shù)dpcm解碼單元624使處理進入步驟s429，讀取dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_dc_coef_delta)。

在步驟s430，dc系數(shù)dpcm解碼單元624獲得保持在ac系數(shù)緩沖器623中的初始ac系數(shù)(scalinglist[0]，即，ac系數(shù)(0,0))，并如下利用初始ac系數(shù)，解碼dc系數(shù)(dc_coef)的dpcm數(shù)據(jù)。

dc_coef＝scaling_list_dc_coef_delta+scalinglist[0]

當(dāng)獲得dc系數(shù)(dc_coef)時，dc系數(shù)dpcm解碼單元624終止逆dpcm處理，并使處理返回圖28。

此外，如果在步驟s428，判定sizeid小于或等于1，那么dc系數(shù)dpcm解碼單元終止逆dpcm處理，并使處理返回圖28。

因而，dc系數(shù)和位于ac系數(shù)的開始部分的ac系數(shù)之間的差分能夠被正確解碼。于是，圖像解碼設(shè)備300能夠抑制位階列表的編碼量的增大。

<4.第四實施例>

<4-1.語法：第三種方法>

在上面說明的第二種方法中，dc系數(shù)也可限于小于初始ac系數(shù)(ac系數(shù)(0,0))的值(第三種方法)。

這確保dc系數(shù)的dpcm數(shù)據(jù)，即，通過從dc系數(shù)中減去初始ac系數(shù)而獲得的差分值可以是正值。從而可利用無符號的指數(shù)golomb碼，編碼該dpcm數(shù)據(jù)。于是，第三種方法可避免dc系數(shù)大于初始ac系數(shù)，但是與第一種方法和第二種方法相比，能夠減小編碼量。

圖35圖解說明第三種方法中的位階列表的語法。如圖35中圖解所示，這種情況下，dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_dc_coef_delta)局限于正值。

類似于第二種方法中的語法，上述第三種方法的語法可由圖像編碼設(shè)備10實現(xiàn)。不過，在第三種方法中，exp-g單元193可利用無符號的指數(shù)golomb碼，編碼dc系數(shù)的dpcm數(shù)據(jù)。注意，圖像編碼設(shè)備10可按照和第二種方法中的方式類似的方式，執(zhí)行諸如量化矩陣編碼處理和dpcm處理之類的處理。

此外，可按照和第二種方法類似的方式，用圖像解碼設(shè)備300實現(xiàn)第三種方法的語法。此外，圖像解碼設(shè)備300可按照和第二種方法中的方式類似的方式，執(zhí)行量化矩陣解碼處理。

<4-2.逆dpcm處理的流程>

下面參考圖36中圖解所示的流程圖，說明逆dpcm單元552進行的逆dpcm處理的流程的例子。

按照和圖34中的步驟s421-s429的處理類似的方式，進行步驟s451-s459的處理。

在步驟s460，dc系數(shù)dpcm解碼單元624獲得保持在ac系數(shù)緩沖器623中的初始ac系數(shù)(scalinglist[0]，即，ac系數(shù)(0,0))，并利用初始ac系數(shù)，如下解碼dc系數(shù)(dc_coef)的dpcm數(shù)據(jù)。

dc_coef＝scalinglist[0]-scaling_list_dc_coef_delta

當(dāng)獲得dc系數(shù)(dc_coef)時，dc系數(shù)dpcm解碼單元624終止逆逆dpcm處理，并使處理返回圖28。

此外，如果在步驟s458，判定sizeid小于或等于1，那么dc系數(shù)dpcm解碼單元624終止逆dpcm處理，并使處理返回圖28。

因而，dc系數(shù)和位于ac系數(shù)的開始部分的ac系數(shù)之間的差分能夠被正確解碼。于是，圖像解碼設(shè)備300能夠抑制位階列表的編碼量的增大。

<5.第五實施例>

<5-1.語法：第四種方法>

傳送dc系數(shù)和另一個系數(shù)之間的差分，而不是dc系數(shù)的另一種方法可以是例如只收集多個位階列表的dc系數(shù)，并通過獨立于各個位階列表的ac系數(shù)地獲得dc系數(shù)之間的差分來進行dpcm(第四種方法)。這種情況下，dc系數(shù)的dpcm數(shù)據(jù)是多個位階列表的多項數(shù)據(jù)的集合，并作為與各個位階列表的ac系數(shù)的dpcm數(shù)據(jù)不同的數(shù)據(jù)被傳送。

因而，例如當(dāng)位階列表(matrixid)的dc系數(shù)之間存在相關(guān)性時，能夠更加改善壓縮率。

圖37圖解說明第四種方法中的關(guān)于位階列表的dc系數(shù)的語法。這種情況下，在和用于各個位階列表的ac系數(shù)的那些循環(huán)不同的循環(huán)中處理dc系數(shù)，如在圖37中圖解所示的例子中所示，ac系數(shù)的處理和dc系數(shù)的處理需要彼此獨立。

這確保能夠?qū)崿F(xiàn)位階列表編碼和解碼處理的更加多樣的方法，不過可能增大dpcm處理和逆dpcm處理的復(fù)雜性。例如，可以容易地實現(xiàn)在復(fù)制模式下，只復(fù)制ac系數(shù)并使dc系數(shù)的值不同的處理。

其中dc系數(shù)被集體處理的位階列表的數(shù)目是任意數(shù)目。

<5-2.dpcm單元的詳細例證結(jié)構(gòu)>

在第四種方法中，圖像編碼設(shè)備10具有基本上和第一方法中的結(jié)構(gòu)類似的結(jié)構(gòu)。具體地，圖像編碼設(shè)備10具有和在圖14中圖解所示的例子中一樣的結(jié)構(gòu)。此外，正交變換/量化單元14具有和在圖15中圖解所示的例子中一樣的結(jié)構(gòu)。此外，矩陣處理單元150具有和在圖16中圖解所示的例子中一樣的結(jié)構(gòu)。

圖38中圖解說明第四種方法中的dpcm單元192的例證結(jié)構(gòu)。如圖38中圖解所示，這種情況下，dpcm單元192包括ac系數(shù)dpcm單元631、dc系數(shù)緩沖器632和dc系數(shù)dpcm單元633。

ac系數(shù)dpcm單元631進行從重復(fù)判定單元191供給的每個位階列表的各個ac系數(shù)的dpcm處理。具體地，對于每個位階列表，ac系數(shù)dpcm單元631從預(yù)定常數(shù)(例如，8)中減去初始ac系數(shù)，并從緊接在前的ac系數(shù)中減去正在處理的ac系數(shù)(當(dāng)前ac系數(shù))。ac系數(shù)dpcm單元631把對于每個位階列表生成的dpcm數(shù)據(jù)(scaling_list_delta_coef)提供給exp-g單元193。

dc系數(shù)緩沖器632保存從重復(fù)判定單元191供給的各個位階列表的dc系數(shù)。dc系數(shù)緩沖器632在預(yù)定定時，或者響應(yīng)請求，把保存的dc系數(shù)提供給dc系數(shù)dpcm單元單元633。

dc系數(shù)dpcm單元633獲得累積在dc系數(shù)緩沖器632中的dc系數(shù)。dc系數(shù)dpcm單元633確定獲得的dc系數(shù)的dpcm數(shù)據(jù)。具體地，dc系數(shù)dpcm單元633從預(yù)定常數(shù)(例如，8)中減去初始dc系數(shù)，并從緊接在前的dc系數(shù)中減去正在處理的dc系數(shù)(當(dāng)前dc系數(shù))。dc系數(shù)dpcm單元633把生成的dpcm數(shù)據(jù)(scaling_list_delta_coef)提供給exp-g單元193。

因而，圖像編碼設(shè)備10能夠改善位階列表的編碼效率。

<5-3.dpcm處理的流程>

另外在第四種方法中，圖像編碼設(shè)備10按照和上面參考圖20中圖解所示的流程圖說明的第一種方法中的方式類似的方式，執(zhí)行量化矩陣編碼處理。

下面參考圖39中圖解所示的流程圖，說明在圖20的步驟s112中執(zhí)行的第四種方法中的dpcm處理的流程的例子。

步驟s481-s485的處理由ac系數(shù)dpcm單元631按照和圖32中的步驟s401-s405的處理(第二種方法中的處理)類似的方式執(zhí)行。

如果在步驟s483，判定所有的ac系數(shù)都已被處理，那么ac系數(shù)dpcm單元631使處理進入步驟s486。

在步驟s486，ac系數(shù)dpcm單元631判定其中dc系數(shù)被集體dpcm編碼的所有位階列表(或者差分矩陣)是否都已被處理。如果判定存在未處理的位階列表(或者差分矩陣)，那么ac系數(shù)dpcm單元631使處理返回步驟s481。

如果在步驟s486，判定所有的位階列表(或者差分矩陣)都已被處理，那么ac系數(shù)dpcm單元631使處理進入步驟s487。

dc系數(shù)dpcm單元633按照和步驟s481-s485的處理相似的方式，對保存在dc系數(shù)緩沖器632中的dc系數(shù)，執(zhí)行步驟s487-s491的處理。

如果在步驟s489，判定保存在dc系數(shù)緩沖器632中的所有dc系數(shù)都已被處理，那么dc系數(shù)dpcm單元631終止dpcm處理，使處理返回圖20。

通過按照上述方式執(zhí)行dpcm處理，圖像編碼設(shè)備10能夠改善位階列表的編碼效率。

<5-4.逆dpcm單元的詳細例證結(jié)構(gòu)>

第四種方法中的圖像解碼設(shè)備300具有基本上和第一方法中的結(jié)構(gòu)類似的結(jié)構(gòu)。具體地，在第四種方法中，圖像解碼設(shè)備300也具有和在圖22中圖解所示的例子中一樣的結(jié)構(gòu)。此外，逆量化/逆正交變換單元313具有和在圖23中圖解所示的例子中一樣的結(jié)構(gòu)。此外，矩陣生成單元410具有和在圖24中圖解所示的例子中一樣的結(jié)構(gòu)。

圖40是圖解說明第四種方法中，在圖24中圖解說明的逆dpcm單元552的詳細結(jié)構(gòu)的例子的方框圖。參見圖40，逆dpcm單元552包括初始設(shè)定單元641、ac系數(shù)dpcm解碼單元642和dc系數(shù)dpcm解碼單元643。

初始設(shè)定單元641獲得sizeid和matrixid，并把各個變量設(shè)定成初始值。初始設(shè)定單元641把獲得和設(shè)定的信息提供給ac系數(shù)dpcm解碼單元642和dc系數(shù)dpcm解碼單元643。

ac系數(shù)dpcm解碼單元642獲得供給自exp-g單元551的ac系數(shù)的dpcm數(shù)據(jù)(scaling_list_delta_coef(ac))。ac系數(shù)dpcm解碼單元642利用從初始設(shè)定單元641供給的初始設(shè)定等，解碼獲得的ac系數(shù)的dpcm數(shù)據(jù)，從而確定ac系數(shù)。ac系數(shù)dpcm解碼單元642把確定的ac系數(shù)(scalinglist[i])提供給逆重復(fù)判定單元553。ac系數(shù)dpcm解碼單元642對多個位階列表執(zhí)行上面說明的處理。

dc系數(shù)dpcm解碼單元643獲得供給自exp-g單元551的dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_delta_coef(dc))。dc系數(shù)dpcm解碼單元643利用從初始設(shè)定單元641供給的初始設(shè)定等，解碼獲得的dc系數(shù)的dpcm數(shù)據(jù)，從而確定各個位階列表的dc系數(shù)。dc系數(shù)dpcm解碼單元643把確定的dc系數(shù)(scaling_list_dc_coef)提供給逆重復(fù)判定單元553。

因而，逆dpcm單元552能夠進行正確的dpcm解碼，從而能夠獲得dc系數(shù)和ac系數(shù)。即，圖像解碼設(shè)備300能夠抑制位階列表的編碼量的增大。

<5-5.逆dpcm處理的流程>

另外在第四種方法中，圖像解碼設(shè)備300按照和上面參考圖27中圖解所示的流程圖說明的第一種方法中的方式類似的方式，執(zhí)行量化矩陣解碼處理。類似地，圖像解碼設(shè)備300按照和上面參考圖28中圖解所示的流程圖說明的第一種方法中的方式類似的方式，執(zhí)行殘差信號解碼處理。

下面參考圖41和42中圖解所示的流程圖，說明逆dpcm單元552執(zhí)行的逆dpcm處理的流程的例子。

當(dāng)開始逆dpcm處理時，初始設(shè)定單元641和ac系數(shù)dpcm解碼單元642按照和在圖34的步驟s421-s427的處理中的方式類似的方式，執(zhí)行步驟s511-s517的處理。

如果在步驟s514，判定變量i大于或等于coefnum，那么ac系數(shù)dpcm解碼單元642使處理進入步驟s518。

在步驟s518，ac系數(shù)dpcm解碼單元642判定其中dc系數(shù)集體經(jīng)歷dpcm處理的所有位階列表(差分矩陣)是否都已被處理。如果判定存在未處理的位階列表(差分矩陣)，那么ac系數(shù)dpcm解碼單元642使處理返回步驟s511，重復(fù)進行隨后的處理。

此外，如果判定不存在未處理的位階列表(差分矩陣)，那么ac系數(shù)dpcm解碼單元642使處理進入圖42。

在圖42的步驟s521，初始設(shè)定單元641如下設(shè)定sizeid和變量nextcoef。

sizeid＝2

nextcoef＝8

此外，在步驟s522，初始設(shè)定單元641如下設(shè)定matrixid。

matrixid＝0

在步驟s523，dc系數(shù)dpcm解碼單元643判定sizeid是否小于4。如果判定sizeid小于4，那么dc系數(shù)dpcm解碼單元643使處理進入步驟s524。

在步驟s524，dc系數(shù)dpcm解碼單元643判定matrixid<(sizeid＝＝3)？2:6是否被滿足。如果判定matrixid<(sizeid＝＝3)？2:6被滿足，那么dc系數(shù)dpcm解碼單元643使處理進入步驟s525。

在步驟s525，dc系數(shù)dpcm解碼單元643讀取dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_delta_coef)。

在步驟s526，dc系數(shù)dpcm解碼單元643利用讀取的dpcm數(shù)據(jù)，如下確定nextcoef，還確定scaling_dc_coef。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scaling_dc_coef[sizeid-2][matrixid]＝nextcoef

在步驟s527，dc系數(shù)dpcm解碼單元643遞增matrixid，以把處理對象改變成隨后的dc系數(shù)(隨后的位階列表或殘差矩陣)，隨后使處理返回步驟s524。

如果在步驟s524，判定matrixid<(sizeid＝＝3)？2:6未被滿足，那么dc系數(shù)dpcm解碼單元643使處理進入步驟s528。

在步驟s528，dc系數(shù)dpcm解碼單元643遞增sizeid，以把處理對象改變成隨后的dc系數(shù)(隨后的位階列表或殘差矩陣)，隨后使處理返回步驟s523。

如果在步驟s523，判定sizeid大于或等于4，那么dc系數(shù)dpcm解碼單元643終止逆dpcm處理，并使處理返回圖28。

因而，dc系數(shù)之間的差分能夠被正確解碼。于是，圖像解碼設(shè)備300能夠抑制位階列表的編碼量的增大。

<6.第六實施例>

<6-1.其它語法：第一例子>

圖43圖解說明位階列表的語法的另一個例子。圖43對應(yīng)于圖12。在圖12中圖解所示的例子中，nextcoef的初始值被設(shè)定為預(yù)定常數(shù)(例如，8)。另一方面，如圖43中圖解所示，nextcoef的初始值可用dc系數(shù)的dpcm數(shù)據(jù)(scaling_list_dc_coef_minus8)重寫。

因而，能夠減小16×16位階列表和32×32位階列表中的初始ac系數(shù)(ac系數(shù)(0,0))的編碼量。

<6-2.其它語法：第二例子>

圖44圖解說明位階列表的語法的另一個例子。圖44對應(yīng)于圖12。

在圖12中圖解所示的例子中，當(dāng)作為指定復(fù)制模式下的參考目的地的信息的scaling_list_pred_matrix_id_delta的值為“0”時，參照領(lǐng)先于正在被處理的當(dāng)前位階列表一個位階列表的位階列表，當(dāng)scaling_list_pred_matrix_id_delta的值為“1”時，參照領(lǐng)先于正被處理的當(dāng)前位階列表兩個位階列表的位階列表。

相反，在圖44中圖解所示的例子中，如在圖44的c部分中所示，當(dāng)scaling_list_pred_matrix_id_delta(它是指定復(fù)制模式下的參考目的地的信息)的值為“0”時，參照默認的位階列表，而當(dāng)scaling_list_pred_matrix_id_delta的值為“1”時，參照緊接在前的位階列表。

這樣，變更scaling_list_pred_matrix_id_delta的語義能夠以在圖44的b部分中圖解所示的方式，簡化語法，從而能夠降低dpcm處理和逆dpcm處理的負荷。

<6-3.其它語法：第三例子>

圖45圖解說明位階列表的語法的另一個例子。圖45對應(yīng)于圖12。

在圖45中圖解所示的例子中，同時使用圖43中圖解所示的例子和在圖44中圖解所示的例子。

因而，在圖45中圖解所示的例子中，能夠減小16×16位階列表和32×32位階列表中的初始ac系數(shù)(ac系數(shù)(0,0))的編碼量。另外，能夠簡化語法，從而能夠降低dpcm處理和逆dpcm處理的負荷。

在上述實施例中，預(yù)定常數(shù)的值是任意的。另外，位階列表的大小也是任意的。

此外，盡管上面說明了關(guān)于位階列表、預(yù)測矩陣、或者它們之間的差分矩陣的大小變換處理，不過，大小變換處理可以是實際生成其大小已被變換的矩陣的處理，或者可以是在不實際生成矩陣的數(shù)據(jù)的情況下，設(shè)定如何從存儲器讀取矩陣中的各個元素的處理(矩陣數(shù)據(jù)的讀取控制)。

在上面說明的大小變換處理中，其大小已被變換的矩陣中的各個元素由其大小還未被變換的矩陣中的任意元素構(gòu)成。即，通過利用諸如讀取矩陣中的一些元素，或者多次讀取一個元素之類的某種方法，讀取保存在存儲器中的其大小還未被變換的矩陣中的元素，可以生成其大小已被變換的矩陣。換句話說，定義讀取各個元素的方法(或者進行矩陣數(shù)據(jù)的讀取控制)，以實質(zhì)實現(xiàn)上面說明的大小變換。該方法可消除諸如把其大小已被變換的矩陣數(shù)據(jù)寫入存儲器中之類的處理。另外，其大小已被變換的矩陣數(shù)據(jù)的讀取基本上取決于如何進行最近鄰插值等，于是，可以利用負荷較低的處理，比如選擇預(yù)先準備的多種選項中的一種適當(dāng)選項，實現(xiàn)大小變換。因而，上面說明的方法可降低大小變換的負荷。

即，上面說明的大小變換處理包括實際生成其大小已被變換的矩陣數(shù)據(jù)的處理，還包括矩陣數(shù)據(jù)的讀取控制。

注意，盡管在編碼和傳送差分矩陣的上下文中進行了上述說明，不過這僅僅是例證性的，可以編碼和傳送位階列表。換句話說，上面說明成待處理的系數(shù)的位階列表的ac系數(shù)和dc系數(shù)可以是位階列表和預(yù)測矩陣之間的差分矩陣的ac系數(shù)和dc系數(shù)。

另外，通過獲得關(guān)于位階列表的參數(shù)、標(biāo)記等(比如位階列表的大小和列表id)的信息與先前傳送的信息之間的差分，并傳送所述差分，可以減小所述信息的編碼量。

此外，盡管在向下轉(zhuǎn)換和傳送大小較大的量化矩陣或差分矩陣的上下文中進行了上述說明，不過這僅僅是例證性的，可以在使用于量化的量化矩陣的大小保持不變的同時，不向下轉(zhuǎn)換地傳送量化矩陣或差分矩陣。

本技術(shù)可適用于涉及量化和逆量化的任何種類的圖像編碼和解碼。

另外，本技術(shù)可適用于用于通過網(wǎng)絡(luò)介質(zhì)(比如衛(wèi)星廣播、有線電視、因特網(wǎng)或移動電話機)接收諸如mpeg或h.26x之類，利用諸如離散余弦變換之類的正交變換和運動補償，壓縮的圖像信息(比特流)的圖像編碼設(shè)備和圖像解碼設(shè)備。本技術(shù)也可適合于用于諸如光盤、磁盤和閃存之類存儲介質(zhì)上的處理的圖像編碼設(shè)備和圖像解碼設(shè)備。此外，本技術(shù)也可適用于包含在上述圖像編碼設(shè)備和圖像解碼設(shè)備等中的量化裝置和逆量化裝置。

<7.第七實施例>

<對多視點圖像編碼和多視點圖像解碼的應(yīng)用>

上述一系列處理可以應(yīng)用于多視點圖像編碼和多視點圖像解碼。圖46圖解說明多視點圖像編碼方案的例子。

如圖46中圖解所示，多視點圖像包括在多個視點(或視向(view))的圖像。多視點圖像中的多個視圖包括基本視圖(每個基本視圖是利用其圖像，而不利用另一個視圖的圖像來編碼和解碼的)和非基本視圖(每個非基本視圖是利用另一個視圖的圖像來編碼和解碼的)。每個非基本視圖可以利用基本視圖的圖像，或者利用任何其它非基本視圖的圖像進行編碼和解碼。

當(dāng)要編碼和解碼圖46中圖解所示的多視點圖像時，每個視圖的圖像被編碼和解碼。上面在上述實施例中說明的方法可應(yīng)用于每個視圖的編碼和解碼。這能夠抑制各個視圖的圖像質(zhì)量的降低。

此外，在每個視圖的編碼和解碼中，可以共享在上述實施例中說明的方法中使用的標(biāo)記和參數(shù)。這可抑制編碼效率的降低。

更具體地，例如，在各個視圖的編碼和解碼中，可以共享涉及位階列表的信息(例如，參數(shù)、標(biāo)記等)。

不必說，在各個視圖的編碼和解碼中，可共享任何其它必需的信息。

例如，當(dāng)要傳送包含在序列參數(shù)集(sps)或圖像參數(shù)集(pps)中的位階列表或者關(guān)于位階列表的信息時，如果這些參數(shù)集(sps和pps)在各個視圖之間被共享，那么位階列表或者關(guān)于位階列表的信息也相應(yīng)地被共享。這能夠抑制編碼效率的降低。

此外，可按照視圖之間的視差值，改變基本視圖的位階列表(或量化矩陣)中的矩陣元素。此外，可以傳送用于關(guān)于基本視圖的位階列表(量化矩陣)中的矩陣元素，調(diào)整非基本視圖矩陣元素的偏移值。因而，能夠抑制編碼量的增大。

例如，可以預(yù)先分別傳送每個視圖的位階列表。當(dāng)要為每個視圖改變位階列表時，可以只傳送指示與預(yù)先傳送的位階列表中的對應(yīng)一個位階列表的差分的信息。指示所述差分的信息是任意的，例如可以是以4×4或8×8為單位的信息，或者可以是矩陣之間的差分。

注意，如果盡管sps或pps不被共享，但在各個視圖之間共享位階列表或者關(guān)于位階列表的信息，那么可以參照其它視圖的sps或pps(即，可以使用其它視圖的位階列表或者關(guān)于位階列表的信息)。

此外，如果這樣的多視點圖像被表示成把yuv圖像和對應(yīng)于視圖之間的視差量的深度圖像(depth)作為分量的圖像，那么可以使用每個分量(y、u、v和depth)的對于圖像的獨立位階列表或者關(guān)于位階列表的信息。

例如，由于深度圖像(depth)是邊緣的圖像，因此位階列表不是必需的。從而，即使sps或pps指定位階列表的使用，位階列表也可能不被應(yīng)用于深度圖像(depth)(或者可把其中所有矩陣元素都相同(或單一)的位階列表應(yīng)用于深度圖像(depth))。

<多視點圖像編碼設(shè)備>

圖47是圖解說明用于進行上述多視點圖像編碼操作的多視點圖像編碼設(shè)備的示圖。如圖47中圖解所示，多視點圖像編碼設(shè)備700包括編碼單元701、編碼單元702和復(fù)用單元703。

編碼單元701編碼基本視圖的圖像，從而生成編碼的基本視圖圖像流。編碼單元702編碼非基本視圖的圖像，從而生成編碼的非基本視圖圖像流。復(fù)用單元703復(fù)用由編碼單元601生成的編碼的基本視圖圖像流，和由編碼單元702生成的編碼的非基本視圖圖像流，從而生成編碼的多視點圖像流。

圖像編碼設(shè)備10(圖14)可分別用于多視點圖像編碼設(shè)備700的編碼單元701和編碼單元702。即，能夠抑制每個視圖的編碼中的位階列表的編碼量的增大，并且能夠抑制每個視圖的圖像質(zhì)量的降低。另外，編碼單元701和編碼單元702可以利用相同的標(biāo)記或參數(shù)，進行諸如量化和逆量化之類的處理(即，標(biāo)記和參數(shù)可被共享)。因而，能夠抑制編碼效率的降低。

<多視點圖像解碼設(shè)備>

圖48是圖解說明進行上面說明的多視點圖像解碼操作的多視點圖像解碼設(shè)備的示圖。如圖48中圖解所示，多視點圖像解碼設(shè)備710包括分用單元711、解碼單元712和解碼單元713。

分用單元711分解其中復(fù)用編碼的基本視圖圖像流和編碼的非基本視圖圖像流的編碼的多視點圖像流，并提取編碼的基本視圖圖像流和編碼的非基本視圖圖像流。解碼單元712解碼分用單元711提取的編碼的基本視圖圖像流，從而獲得基本視圖的圖像。解碼單元713解碼分用單元711提取的編碼的非基本視圖圖像流，從而獲得非基本視圖的圖像。

圖像解碼設(shè)備300(圖22)可分別用于多視點圖像解碼設(shè)備710的解碼單元712和解碼單元713。即，能夠抑制每個視圖的解碼中的位階列表的編碼量的增大，并且能夠抑制每個視圖的圖像質(zhì)量的降低。另外，解碼單元712和解碼單元713可以利用相同的標(biāo)記或參數(shù)，進行諸如量化和逆量化之類的處理(即，標(biāo)記和參數(shù)可被共享)。因而，能夠抑制編碼效率的降低。

<8.第八實施例>

<對分層圖像編碼和分層圖像解碼的應(yīng)用>

上述一系列處理可適用于分層圖像編碼和分層圖像解碼(可縮放編碼和可縮放解碼)。圖49圖解說明分層圖像編碼方案的例子。

分層圖像編碼(可縮放編碼)是把圖像分成多層(分層)，以便提供具有關(guān)于預(yù)定參數(shù)的可縮放性功能的圖像數(shù)據(jù)，并對各層編碼的處理。分層圖像解碼(可縮放解碼)是對應(yīng)于分層圖像編碼的解碼處理。

如圖49中圖解所示，在圖像分層中，利用具有可縮放性功能的預(yù)定參數(shù)作為基準，一個圖像被分成多個子圖像(或?qū)?。即，分解成多層的圖像(或分層圖像)包括具有所述預(yù)定參數(shù)的不同值的多個分層(或?qū)?圖像。分層圖像中的多層包括基本層(每個基本層是利用其圖像，而不利用另一層的圖像來編碼和解碼的)和非基本層(也稱為增強層)，每個非基本層是利用另一層的圖像編碼和解碼的。每個非基本層可利用基本層的圖像，或者利用任何其它非基本層的圖像編碼和解碼。

通常，每個非基本層由該非基本層的圖像和另一層的圖像之間的差分圖像的數(shù)據(jù)(差分數(shù)據(jù))構(gòu)成，以便減小冗余。例如，在一個圖像被分解成兩層，即，一基本層和一非基本層(也稱為增強層)的情況下，僅僅利用基本層的數(shù)據(jù)，可以獲得質(zhì)量低于原始圖像的圖像，以及通過組合基本層的數(shù)據(jù)和非基本層的數(shù)據(jù)，可以獲得原始圖像(即，質(zhì)量較高的圖像)。

按照上述方式的圖像的分層可使按照狀況，具有各種質(zhì)量的圖像的獲取更容易。這確保可按照終端和網(wǎng)絡(luò)的能力，不實現(xiàn)轉(zhuǎn)碼地從服務(wù)器傳送圖像壓縮信息，以致只在基本層上的圖像壓縮信息被傳送給處理能力低的終端(比如移動電話機)，以再現(xiàn)具有低空間-時間分辨率或低質(zhì)量的運動圖像，除基本層之外的在增強層上的圖像壓縮信息還被傳送給處理能力高的終端(比如電視機和個人計算機)，以再現(xiàn)具有高空間-時間分辨率或高質(zhì)量的運動圖像。

當(dāng)要編碼和解碼如圖49中圖解所示的分層圖像時，每一層的圖像被編碼和解碼。上面在各個實施例中說明的方法可應(yīng)用于每一層的編碼和解碼。這能夠抑制各層的圖像質(zhì)量的降低。

此外，在各層的編碼和解碼之間，可以共享在上述各個實施例中說明的方法中使用的標(biāo)記和參數(shù)。這可抑制編碼效率的降低。

更具體地，例如，在各層的編碼和解碼中，可以共享涉及位階列表的信息(例如，參數(shù)、標(biāo)記等)。

不必說，在各層的編碼和解碼中，可以共享任何其它必需的信息。

分層圖像的例子包括在空間分辨率方面分層的圖像(也稱為空間分辨率可縮放性)(空間可縮放性)。在具有空間分辨率可縮放性的分層圖像中，圖像的分辨率因?qū)佣?。例如，空間分辨率最低的一層圖像被指定為基本層，與基本層相比，分辨率較高的一層圖像被指定為非基本層(增強層)。

非基本層(增強層)的圖像數(shù)據(jù)可以是與其它各層無關(guān)的數(shù)據(jù)，并且類似于基本層，可以只利用該圖像數(shù)據(jù)，獲得具有與該層的分辨率等同的分辨率的圖像。不過，非基本層(增強層)的圖像數(shù)據(jù)通常是與該層的圖像和另一層(例如，在該層下面一層的層)的圖像之間的差分圖像對應(yīng)的數(shù)據(jù)。這種情況下，只利用基本層的圖像數(shù)據(jù)，獲得具有與基本層的分辨率等同的分辨率的圖像，而通過組合該層的圖像數(shù)據(jù)和另一層(例如，在該層下面一層的層)的圖像數(shù)據(jù)，獲得具有與非基本層(增強層)的分辨率等同的分辨率的圖像。這能夠抑制層間的圖像數(shù)據(jù)的冗余。

在具有上述空間分辨率可縮放性的分層圖像中，圖像的分辨率因?qū)佣悺亩?，編碼和解碼各層的處理單位的分辨率也不同。因而，如果在各層的編碼和解碼中，共享位階列表(量化矩陣)，那么可以按照各層的分辨率比，向上轉(zhuǎn)換位階列表(量化矩陣)。

例如，假定基本層的圖像具有2k(例如，1920×1080)的分辨率，而非基本層(增強層)的圖像具有4k(例如，3840×2160)的分辨率。在這種情況下，例如，基本層的圖像(2k圖像)的16×16大小對應(yīng)于非基本層的圖像(4k圖像)的32×32大小。還按照分辨率比，酌情向上轉(zhuǎn)換位階列表(量化矩陣)。

例如，用于基本層的量化和逆量化的4×4量化矩陣被向上轉(zhuǎn)換成非基本層的量化和逆量化中的8×8，并被使用。類似地，基本層的8×8位階列表被向上轉(zhuǎn)換成非基本層中的16×16。類似地，向上轉(zhuǎn)換成基本層中的16×16并被使用的量化矩陣被向上轉(zhuǎn)換成非基本層中的32×32。

注意，向其提供可縮放性的參數(shù)并不局限于空間分辨率，參數(shù)的例子可包括時間分辨率(時間可縮放性)。在具有時間分辨率可縮放性的分層圖像中，圖像的幀速率因?qū)佣?。其它例子包括其中圖像數(shù)據(jù)的位深度因?qū)佣惖奈簧疃瓤煽s放性，和其中分量的格式因?qū)佣惖纳瓤煽s放性。

其它例子還包括其中圖像的信噪比(snr)因?qū)佣惖膕nr可縮放性。

考慮到圖像質(zhì)量的改善，理想地，圖像具有的信噪比越低，產(chǎn)生的量化誤差越小。為此，在snr可縮放性中，理想地，按照信噪比，不同的位階列表(非公共位階列表)被用于各層的量化和逆量化。因此，如上所述，如果在各層之間共享位階列表，那么可以傳送關(guān)于基本層的位階列表中的矩陣元素來調(diào)整增強層的矩陣元素的偏移值。更具體地，可逐層地傳送指示公共位階列表和實際使用的位階列表之間的差分的信息。例如，可在各層的序列參數(shù)集(sps)或圖像參數(shù)集(pps)中，傳送指示所述差分的信息。指示所述差分的信息是任意的。例如，所述信息可以是使元素表示兩個位階列表中的對應(yīng)元素之間的差分值的矩陣，或者可以是指示差分的函數(shù)。

[分層圖像編碼設(shè)備]

圖50是圖解說明進行上面說明的分層圖像編碼操作的分層圖像編碼設(shè)備的示圖。如圖50中圖解所示，分層圖像編碼設(shè)備720包括編碼單元721、編碼單元722和復(fù)用單元723。

編碼單元721編碼基本層的圖像，從而生成編碼的基本層圖像流。編碼單元722編碼非基本層的圖像，從而生成編碼的非基本層圖像流。復(fù)用單元723復(fù)用由編碼單元721生成的編碼的基本層圖像流，和由編碼單元722生成的編碼的非基本層圖像流，從而生成編碼的分層圖像流。

圖像編碼設(shè)備10(圖14)可用于分層圖像編碼設(shè)備720的編碼單元721和編碼單元722中的每一個。即，能夠抑制各層的編碼中的位階列表的編碼量的增大，并且能夠抑制各層的圖像質(zhì)量的降低。另外，編碼單元721和編碼單元722可利用相同的標(biāo)記和參數(shù)，進行諸如量化和逆量化之類的處理(即，標(biāo)記和參數(shù)可被共享)。因而，能夠抑制編碼效率的降低。

[分層圖像解碼設(shè)備]

圖51是圖解說明進行上面說明的分層圖像解碼操作的分層圖像解碼設(shè)備的示圖。如圖51中圖解所示，分層圖像解碼設(shè)備730包括分用單元731、解碼單元732和解碼單元733。

分用單元731分解其中復(fù)用編碼的基本層圖像流和編碼的非基本層圖像流的編碼的分層圖像流，并提取編碼的基本層圖像流和編碼的非基本層圖像流。解碼單元732解碼分用單元731提取的編碼的基本層圖像流，從而獲得基本層的圖像。解碼單元733解碼分用單元731提取的編碼的非基本層圖像流，從而獲得非基本層的圖像。

圖像解碼設(shè)備300(圖22)可用于分層圖像解碼設(shè)備730的解碼單元732和解碼單元733中的每一個。即，能夠抑制各層的解碼中的位階列表的編碼量的增大，并且能夠抑制各層的圖像質(zhì)量的降低。另外，解編碼單元732和編碼單元733可利用相同的標(biāo)記和參數(shù)，進行諸如量化和逆量化之類的處理(即，標(biāo)記和參數(shù)可被共享)。因而，能夠抑制編碼效率的降低。

<9.第九實施例>

<計算機>

上述一系列處理可用硬件執(zhí)行，或者也可用軟件執(zhí)行。這種情況下，所述一系列處理例如可被實現(xiàn)成如圖52中圖解所示的計算機。

在圖52中，計算機800中的cpu(中央處理器)801按照保存在rom(只讀存儲器)802中的程序，或者從存儲單元813加載到ram(隨機存取存儲器)803中的程序，執(zhí)行各種處理操作。ram803還酌情保存為cpu801執(zhí)行各種處理操作所需的數(shù)據(jù)等。

cpu801、rom802和ram803通過總線804互連。輸入/輸出接口810也連接到總線804。

輸入/輸出接口810連接到輸入單元811、輸出單元812、存儲單元813和通信單元814。輸入單元811包括鍵盤、鼠標(biāo)、觸摸面板、輸入終端等。輸出單元812包括所需的輸出裝置，比如揚聲器和包括crt(陰極射線管)、lcd(液晶顯示器)和oled(有機電致發(fā)光顯示器)的顯示器，輸出終端等。存儲單元813包括所需的存儲介質(zhì)，比如硬盤或閃存，和控制存儲介質(zhì)的輸入和輸出的控制單元。通信單元814包括所需的有線或無線通信裝置，比如調(diào)制解調(diào)器、lan接口、usb(通用串行總線)裝置和藍牙(注冊商標(biāo))裝置。通信單元814通過包括因特網(wǎng)在內(nèi)的網(wǎng)絡(luò)，與其它通信裝置進行通信處理。

此外如果需要，驅(qū)動器815也被連接到輸入/輸出接口810。諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器之類的可拆卸介質(zhì)821被酌情放入驅(qū)動器815中。按照例如cpu801的控制，驅(qū)動器815從放入其中的可拆卸介質(zhì)821，讀取計算機程序、數(shù)據(jù)等。讀取的數(shù)據(jù)和計算機程序被提供給ram803。從可拆卸介質(zhì)821讀取的計算機程序被酌情安裝在存儲單元813上。

當(dāng)用軟件執(zhí)行上述一系列處理時，從網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成所述軟件的程序。

如圖52中圖解所示，記錄介質(zhì)的例子包括與設(shè)備主體分離地分發(fā)的，以便向用戶交付程序的上面記錄所述程序的可拆卸介質(zhì)821，比如磁盤(包括軟盤)、光盤(包括cd-rom(光盤-只讀存儲器)和dvd(數(shù)字通用光盤))、磁光盤(包括md(小型光盤))、或者半導(dǎo)體存儲器。記錄介質(zhì)的其它例子包括以預(yù)先并入設(shè)備主體中的方式交付給用戶的上面記錄程序的裝置，比如rom802，和包含在存儲單元813中的硬盤。

注意，計算機800執(zhí)行的程序可以是按照這里記載的順序，時序地進行處理操作的程序，或者可以是并行地，或在需要的時刻，比如當(dāng)被調(diào)用時進行處理操作的程序。

另外，這里使用的描述保存在記錄介質(zhì)中的程序的步驟當(dāng)然包括按照記載的順序，時序地進行的處理操作，和并行地或者單獨地，而不一定時序地進行的處理操作。

此外，這里使用的術(shù)語“系統(tǒng)”指的是一組組成元件(裝置、模塊(組件)等)，而不管所有組成元件是否被容納在相同的機殼中。從而，容納在分離的機殼中，并通過網(wǎng)絡(luò)連接的多個裝置，和包括容納在單個機殼中的多個模塊的單一裝置被定義為系統(tǒng)。

另外，可把上面描述成單個設(shè)備(或處理單元)的結(jié)構(gòu)分成多個設(shè)備(或處理單元)。相反，也可把上面描述成多個設(shè)備(或處理單元)的結(jié)構(gòu)合并成單個設(shè)備(或處理單元)。另外，當(dāng)然可以向每個設(shè)備(或每個處理單元)的結(jié)構(gòu)中增加除上述結(jié)構(gòu)外的結(jié)構(gòu)。此外，也可把某個設(shè)備(或處理單元)的結(jié)構(gòu)的一部分包含在另一個設(shè)備(或另一個處理單元)的結(jié)構(gòu)中，如果就整個系統(tǒng)來說，所述設(shè)備(或處理單元)具有基本相同的結(jié)構(gòu)和/操作的話。換句話說，本技術(shù)的實施例并不局限于上述實施例，可以作出各種修改，而不脫離本技術(shù)的范圍。

盡管參考附圖，詳細說明了本公開的優(yōu)選實施例，不過，本公開的技術(shù)范圍并不局限于這里公開的例子。顯然本公開的技術(shù)領(lǐng)域的普通技術(shù)人員可實現(xiàn)各種變化或修改，而不脫離在權(quán)利要求書中限定的技術(shù)思想的范圍，應(yīng)明白這樣的變化或修改當(dāng)然也落在本公開的技術(shù)范圍之內(nèi)。

例如，本技術(shù)可以用其中多個設(shè)備通過網(wǎng)絡(luò)，分擔(dān)并且協(xié)同地處理單一功能的云計算結(jié)構(gòu)來實現(xiàn)。

另外，在上面的流程圖中說明的各個步驟可由一個設(shè)備執(zhí)行，或者可由多個設(shè)備分擔(dān)地執(zhí)行。

此外，如果一個步驟包括多個處理時，包含在所述一個步驟中的多個處理可由一個設(shè)備執(zhí)行，或者可由多個設(shè)備分擔(dān)地執(zhí)行。

按照上述實施例的圖像編碼設(shè)備10(圖14)和圖像解碼設(shè)備300(圖22)可應(yīng)用于各種電子設(shè)備(比如用于通過衛(wèi)星廣播，諸如有線電視之類的有線廣播，或者因特網(wǎng)輸送數(shù)據(jù)，或者用于通過蜂窩通信，往來于終端輸送數(shù)據(jù)的發(fā)射器或接收器)，把圖像記錄在諸如光盤、磁盤和閃存之類介質(zhì)上的記錄設(shè)備，和從存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備。下面說明4種例證應(yīng)用。

<10.例證應(yīng)用>

<第一例證應(yīng)用：電視接收機>

圖53圖解說明上述實施例適用于的電視機的示意結(jié)構(gòu)的例子。電視機900包括天線901、調(diào)諧器902、分用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口909、控制單元910、用戶接口911和總線912。

調(diào)諧器902從通過天線901接收的廣播信號中提取所需頻道的信號，并解調(diào)提取的信號。隨后，調(diào)諧器902把通過解調(diào)獲得的編碼比特流輸出給分用器903。換句話說，調(diào)諧器902起電視機900中的接收包括編碼圖像的編碼流的傳輸單元的作用。

分用器903把編碼比特流分離成待觀看的節(jié)目的視頻流和音頻流，并把通過分用獲得的各個流輸出給解碼器904。此外，分用器903從編碼比特流中提取輔助數(shù)據(jù)，比如epg(電子節(jié)目指南)，并把提取的數(shù)據(jù)提供給控制單元910。注意，如果編碼比特流被加擾，那么分用器903也可對編碼比特流進行解擾。

解碼器904解碼從分用器903輸入的視頻流和音頻流。隨后，解碼器904把通過解碼處理產(chǎn)生的視頻數(shù)據(jù)輸出給視頻信號處理單元905。解碼器904還把通過解碼處理產(chǎn)生的音頻數(shù)據(jù)輸出給語音信號處理單元907。

視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，使視頻被顯示在顯示單元906上。視頻信號處理單元905還使經(jīng)網(wǎng)絡(luò)提供的應(yīng)用屏幕被顯示在顯示單元906上。視頻信號處理單元905還按照設(shè)定，對視頻數(shù)據(jù)執(zhí)行諸如噪聲消除之類的附加處理。另外，視頻信號處理單元905還可生成gui(圖形用戶界面)圖像，比如菜單、按鈕或光標(biāo)，并把生成的圖像疊加在輸出圖像上。

顯示單元906由從視頻信號處理單元905供給的驅(qū)動信號驅(qū)動，把視頻或圖像顯示在顯示裝置(比如液晶顯示器、等離子體顯示器或oeld(有機電致發(fā)光顯示器)(有機el顯示器))的視頻表面上。

音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)進行諸如d/a轉(zhuǎn)換和放大之類的再現(xiàn)處理，使音頻從揚聲器908被輸出。音頻信號處理單元907還可對音頻數(shù)據(jù)進行諸如噪聲消除之類的附加處理。

外部接口909是連接電視機900與外部裝置或網(wǎng)絡(luò)的接口。例如，通過外部接口909接收的視頻流或音頻流可由解碼器904解碼。換句話說，外部接口909也起電視機900中的接收包括編碼圖像的編碼流的傳輸單元的作用。

控制單元910包括諸如cpu之類的處理器，和諸如ram和rom之類的存儲器。存儲器保存由cpu執(zhí)行的程序，程序數(shù)據(jù)，epg數(shù)據(jù)，通過網(wǎng)絡(luò)獲得的數(shù)據(jù)等。在啟動電視機900時，保存在存儲器中的程序由cpu讀取和執(zhí)行。cpu執(zhí)行所述程序，以按照從用戶接口911輸入的操作信號，控制電視機900的操作。

用戶接口911連接到控制單元910。用戶接口911例如包括允許用戶操作電視機900的按鈕和開關(guān)，遙控信號的接收單元，等等。用戶接口911通過上述組件，檢測用戶的操作，從而生成操作信號，并把生成的操作信號輸出給控制單元910。

總線912用于互連調(diào)諧器902、分用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口909和控制單元910。

在具有上述結(jié)構(gòu)的電視機900中，解碼器904具有按照上述實施例的圖像解碼設(shè)備300(圖22)的功能。因而，電視機900能夠抑制位階列表的編碼量的增大。

<第二例證應(yīng)用：移動電話機>

圖54圖解說明上述實施例適用于的移動電話機的示意結(jié)構(gòu)的例子。移動電話機920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風(fēng)925、相機單元926、圖像處理單元927、復(fù)用/分用單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932和總線933。

天線921連接到通信單元922。揚聲器924和麥克風(fēng)925連接到音頻編解碼器923。操作單元932連接到控制單元931?？偩€933用于互連通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、復(fù)用/分用單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931。

移動電話機920按各種操作模式，包括語音呼叫模式、數(shù)據(jù)通信模式、圖像拍攝模式和可視電話模式進行諸如傳輸和接收音頻信號、傳輸和接收電子郵件或圖像數(shù)據(jù)、拍攝圖像和記錄數(shù)據(jù)之類的操作。

在語音呼叫模式下，麥克風(fēng)925產(chǎn)生的模擬音頻信號被提供給音頻編解碼器923。音頻編解碼器923把模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù)，并對轉(zhuǎn)換后的音頻數(shù)據(jù)進行a/d轉(zhuǎn)換和壓縮。音頻編解碼器923隨后把壓縮的音頻數(shù)據(jù)輸出給通信單元922。通信單元922編碼和調(diào)制音頻數(shù)據(jù)，從而生成傳輸信號。通信單元922隨后把生成的傳輸信號通過天線921傳送給基站(未圖示)。此外，通信單元922放大通過天線921接收的無線信號，并對放大的信號進行頻率轉(zhuǎn)換，從而獲得接收信號。隨后，通信單元922解調(diào)和解碼接收信號，從而生成音頻數(shù)據(jù)，并把生成的音頻數(shù)據(jù)輸出給音頻編解碼器923。音頻編解碼器923展開音頻數(shù)據(jù)，并進行d/a轉(zhuǎn)換，從而生成模擬音頻信號。音頻編解碼器923隨后把生成的音頻信號提供給揚聲器924，從而使音頻被輸出。

此外，在數(shù)據(jù)通信模式下，例如，控制單元931按照用戶通過操作單元932的操作，生成形成電子郵件的文本數(shù)據(jù)。另外，控制單元931使文本被顯示在顯示單元930上。控制單元931還按照通過操作單元932，從用戶發(fā)出的傳輸指令，生成電子郵件數(shù)據(jù)，并把生成的電子郵件數(shù)據(jù)輸出給通信單元922。通信單元922編碼和調(diào)制電子郵件數(shù)據(jù)，從而產(chǎn)生傳輸信號。隨后，通信單元922把生成的傳輸信號通過天線921傳送給基站(未圖示)。另外，通信單元922放大通過天線921接收的無線信號，并對放大的信號進行頻率轉(zhuǎn)換，從而獲得接收信號。隨后，通信單元922解調(diào)和解碼接收信號，從而恢復(fù)電子郵件數(shù)據(jù)，并把恢復(fù)的電子郵件數(shù)據(jù)輸出給控制單元931。控制單元931使電子郵件的內(nèi)容被顯示在顯示單元930上，還使電子郵件數(shù)據(jù)被保存在記錄/再現(xiàn)單元929的存儲介質(zhì)中。

記錄/再現(xiàn)單元929包括期望的可讀/可寫存儲介質(zhì)。例如，存儲介質(zhì)可以是內(nèi)置存儲介質(zhì)，比如ram和閃存，或者外部存儲介質(zhì)，比如硬盤、磁盤、磁光盤、光盤、usb存儲器或存儲卡。

此外，在圖像拍攝模式下，例如，相機單元926拍攝被攝物體的圖像，從而生成圖像數(shù)據(jù)，并把生成的圖像數(shù)據(jù)輸出給圖像處理單元927。圖像處理單元927對從相機單元926輸入的圖像數(shù)據(jù)編碼，并使編碼流被保存在記錄/再現(xiàn)單元929的存儲介質(zhì)中。

此外，在可視電話模式下，例如，復(fù)用/分用單元928復(fù)用由圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流，并把復(fù)用流輸出給通信單元922。通信單元922編碼和調(diào)制所述流，從而生成傳輸信號。隨后，通信單元922把生成的傳輸信號通過天線921傳送給基站(未圖示)。另外，通信單元922放大通過天線921接收的無線信號，并對放大的信號進行頻率轉(zhuǎn)換，從而獲得接收信號。傳輸信號和接收信號可包括編碼比特流。通信單元922解調(diào)和解碼接收信號，從而恢復(fù)所述流，并把恢復(fù)的流輸出給復(fù)用/分用單元928。隨后，復(fù)用/分用單元928把輸入流分離成視頻流和音頻流，并把視頻流和音頻流分別輸出給圖像處理器927和音頻編解碼器923。圖像處理器927解碼視頻流，從而生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供給顯示單元930，由顯示單元930顯示一系列圖像。音頻編解碼器923展開音頻流，并進行d/a轉(zhuǎn)換，從而生成模擬音頻信號。音頻編解碼器923隨后把生成的音頻信號輸出給揚聲器924，以使音頻被輸出。

在具有上述結(jié)構(gòu)的移動電話機920中，圖像處理單元927具有按照上述實施例的圖像編碼設(shè)備10(圖14)的功能和圖像解碼設(shè)備300(圖22)的功能。因而，移動電話機920能夠抑制位階列表的編碼量的增大。

另外，盡管已給出了移動電話機920的說明，不過，和移動電話機920類似，本技術(shù)適用于的圖像編碼設(shè)備和圖像解碼設(shè)備可用于具有和移動電話機920類似的成像功能和通信功能的任何設(shè)備，比如pda(個人數(shù)字助手)、智能電話機、umpc(超級移動個人計算機)、上網(wǎng)本或筆記本個人計算機。

<第三例證應(yīng)用：記錄/再現(xiàn)設(shè)備>

圖55圖解說明上述實施例適用于的記錄/再現(xiàn)設(shè)備的示意結(jié)構(gòu)的例子。記錄/再現(xiàn)設(shè)備940對接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并把編碼的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質(zhì)上。此外，記錄/再現(xiàn)設(shè)備940還可對例如從另一個設(shè)備獲得的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并把編碼的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質(zhì)上。另外，記錄/再現(xiàn)設(shè)備940按照用戶發(fā)出的指令，利用監(jiān)視器和揚聲器再現(xiàn)記錄在記錄介質(zhì)上的數(shù)據(jù)。這種情況下，記錄/再現(xiàn)設(shè)備940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。

記錄/再現(xiàn)設(shè)備940包括調(diào)諧器941、外部接口942、編碼器943、hdd(硬盤驅(qū)動器)944、光盤驅(qū)動器945、選擇器946、解碼器947、osd(屏上顯示器)948、控制單元949和用戶接口950。

調(diào)諧器941從通過天線(未圖示)接收的廣播信號中提取所需頻道的信號，并解調(diào)提取的信號。調(diào)諧器941隨后把通過解調(diào)獲得的編碼比特流輸出給選擇器946。換句話說，調(diào)諧器941起記錄/再現(xiàn)設(shè)備940中的傳輸單元的作用。

外部接口942是連接記錄/再現(xiàn)設(shè)備940和外部裝置或網(wǎng)絡(luò)的接口。外部接口942可以是例如ieee1394接口、網(wǎng)絡(luò)接口、usb接口或閃存接口等。例如，通過外部接口942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入到編碼器943。換句話說，外部接口942起記錄/再現(xiàn)設(shè)備940中的傳輸單元的作用。

如果從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼，那么編碼器943對所述視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼。編碼器943隨后把編碼比特流輸出給選擇器946。

hdd944把包括壓縮的內(nèi)容數(shù)據(jù)(比如視頻和音頻)的編碼比特流、各種程序和其它數(shù)據(jù)記錄在內(nèi)部硬盤上。此外，當(dāng)再現(xiàn)視頻和音頻時，hdd944從硬盤上讀取上述數(shù)據(jù)。

光盤驅(qū)動器945把數(shù)據(jù)記錄在放入其中的記錄介質(zhì)上，和從放入其中的記錄介質(zhì)讀取數(shù)據(jù)。放入光盤驅(qū)動器945中的記錄介質(zhì)可以是例如dvd光盤(比如dvd-視頻、dvd-ram、dvd-r、dvd-rw、dvd+r或dvd+rw)，或者藍光(注冊商標(biāo))光盤。

當(dāng)記錄視頻和音頻時，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編碼比特流，并把選擇的編碼比特流輸出給hdd944或光盤驅(qū)動器945。當(dāng)再現(xiàn)視頻和音頻時，選擇器946把從hdd944或光盤驅(qū)動器945輸入的編碼比特流輸出給解碼器947。

解碼器947解碼編碼比特流，從而生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。解碼器947隨后把生成的視頻數(shù)據(jù)輸出給osd948。解碼器904還把生成的音頻數(shù)據(jù)輸出給外部揚聲器。

osd948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)，并顯示視頻。另外，osd948還可把諸如菜單、按鈕或光標(biāo)之類的gui圖像疊加在待顯示的視頻上。

控制單元949包括諸如cpu之類的處理器，和諸如ram和rom之類的存儲器。存儲器保存由cpu執(zhí)行的程序、程序數(shù)據(jù)等。當(dāng)記錄/再現(xiàn)設(shè)備940被啟動時，cpu讀取并執(zhí)行保存在存儲器中的程序。cpu執(zhí)行程序，從而按照從用戶接口950輸入的操作信號，控制記錄/再現(xiàn)設(shè)備940的操作。

用戶接口950連接到控制器949。用戶接口950包括例如允許用戶操作記錄/再現(xiàn)設(shè)備940的按鈕和開關(guān)，遙控信號的接收器等等。用戶接口950通過上述組件檢測用戶的操作，從而生成操作信號，并把生成的操作信號輸出給控制單元949。

在具有上述結(jié)構(gòu)的記錄/再現(xiàn)設(shè)備940中，編碼器943具有按照上述實施例的圖像編碼設(shè)備10(圖14)的功能。此外，解碼器947具有按照上述實施例的圖像解碼設(shè)備300(圖22)的功能。因而，記錄/再現(xiàn)設(shè)備940能夠抑制位階列表的編碼量的增大。

<第四例證應(yīng)用：成像設(shè)備>

圖56圖解說明上述實施例適用于的成像設(shè)備的示意結(jié)構(gòu)的例子。成像設(shè)備960拍攝被攝物體的圖像，從而生成圖像，對圖像數(shù)據(jù)編碼，并把編碼的圖像數(shù)據(jù)記錄在記錄介質(zhì)上。

成像設(shè)備960包括光學(xué)部件961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口966、存儲器967、介質(zhì)驅(qū)動器968、osd969、控制單元970、用戶接口971和總線972。

光學(xué)部件961連接到成像單元962。成像單元962連接到信號處理單元963。顯示單元965連接到圖像處理單元964。用戶接口971連接到控制單元970。總線972用于互連圖像處理單元964、外部接口966、存儲器967、介質(zhì)驅(qū)動器968、osd969和控制單元970。

光學(xué)部件961包括聚焦透鏡、光圈機構(gòu)等。光學(xué)部件961在成像單元962的像面上形成被攝物體的光學(xué)圖像。成像單元962包括諸如ccd或cmos圖像傳感器之類的圖像傳感器，并通過進行光電轉(zhuǎn)換，把在像面上形成的光學(xué)圖像轉(zhuǎn)換成作為電信號的圖像信號。成像單元962隨后把圖像信號輸出給信號處理單元963。

信號處理單元963對從成像單元962輸入的圖像信號進行各種相機信號處理操作，比如拐點校正、γ校正和顏色校正。信號處理單元963把經(jīng)過相機信號處理操作的圖像數(shù)據(jù)輸出給圖像處理單元964。

圖像處理單元964編碼從信號處理單元963輸入的圖像數(shù)據(jù)，從而生成編碼數(shù)據(jù)。圖像處理單元964隨后把生成的編碼數(shù)據(jù)輸出給外部接口966或介質(zhì)驅(qū)動器968。另外，圖像處理單元964解碼從外部接口966或介質(zhì)驅(qū)動器968輸入的編碼數(shù)據(jù)，從而生成圖像數(shù)據(jù)。圖像處理單元964隨后把生成的圖像數(shù)據(jù)輸出給顯示單元965。另外，圖像處理單元964還可把從信號處理單元963輸入的圖像數(shù)據(jù)輸出給顯示單元965，使圖像被顯示。另外，圖像處理單元964還可把從osd969獲得的顯示數(shù)據(jù)疊加在待輸出給顯示單元965的圖像上。

osd969生成諸如菜單、按鈕或光標(biāo)之類的gui圖像，并把生成的圖像輸出給圖像處理單元964。

外部接口966由例如usb輸入/輸出端口構(gòu)成。例如，當(dāng)打印圖像時，外部接口966連接成像設(shè)備960和打印機。此外，如果需要，驅(qū)動器也被連接到外部接口966。可拆卸介質(zhì)，比如磁盤或光盤被放入驅(qū)動器中，從可拆卸介質(zhì)讀取的程序可被安裝到成像設(shè)備960中。另外，外部接口966也可由連接到網(wǎng)絡(luò)，比如lan和因特網(wǎng)的網(wǎng)絡(luò)接口構(gòu)成。換句話說，外部接口966起成像設(shè)備960中的傳輸單元的作用。

放入介質(zhì)驅(qū)動器968中的記錄介質(zhì)可以是任何可讀/可寫的可拆卸介質(zhì)，比如磁盤、磁光盤、光盤或半導(dǎo)體存儲器。另一方面，記錄介質(zhì)可被固定地附接在介質(zhì)驅(qū)動器968上，可構(gòu)成內(nèi)置硬盤驅(qū)動器或不可移植的存儲單元，比如或ssd(固態(tài)驅(qū)動器)。

控制單元970包括諸如cpu之類的處理器，和諸如ram和rom之類的存儲器。存儲器保存由cpu執(zhí)行的程序，程序數(shù)據(jù)等。當(dāng)成像設(shè)備960被啟動時，cpu讀取并執(zhí)行保存在存儲器中的程序。cpu執(zhí)行程序，以按照從用戶接口971輸入的操作信號，控制成像設(shè)備960的操作。

用戶接口971連接到控制單元970。用戶接口971包括允許用戶操作成像設(shè)備960的按鈕、開關(guān)等。用戶接口971通過上述組件，檢測用戶的操作，從而生成操作信號，并把生成的操作信號輸出給控制單元970。

在具有上述結(jié)構(gòu)的成像設(shè)備960中，圖像處理單元964具有按照上述實施例的圖像編碼設(shè)備10(圖14)的功能和圖像解碼設(shè)備300(圖22)的功能。因而，成像設(shè)備960能夠抑制位階列表的編碼量的增大。

<7.可縮放編碼的例證應(yīng)用>

[第一系統(tǒng)]

下面說明已利用可縮放編碼(分層(圖像)編碼)而編碼的可縮放編碼數(shù)據(jù)的使用的具體例子。和圖57中圖解所示的例子中一樣，可縮放編碼可用于待傳送數(shù)據(jù)的選擇。

在圖57中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1000中，分發(fā)服務(wù)器1002讀取保存在可縮放編碼數(shù)據(jù)存儲單元1001中的可縮放編碼數(shù)據(jù)，并經(jīng)網(wǎng)絡(luò)1003把可縮放編碼數(shù)據(jù)分發(fā)給終端設(shè)備，比如個人計算機1004、av設(shè)備1005、平板設(shè)備1006和移動電話機1007。

這種情況下，分發(fā)服務(wù)器1002按照終端設(shè)備的性能、通信環(huán)境等，選擇具有期望質(zhì)量的編碼數(shù)據(jù)，并傳送選擇的編碼數(shù)據(jù)。即使分發(fā)服務(wù)器1002傳送質(zhì)量高于必需質(zhì)量的數(shù)據(jù)，終端設(shè)備也并不總是獲得高質(zhì)量圖像，并且可能導(dǎo)致延遲或上溢。另外，這種數(shù)據(jù)會不必要地占據(jù)更多的通信帶寬，或者會不必要地增大終端設(shè)備的負荷。相反，即使分發(fā)服務(wù)器1002傳送質(zhì)量低于必需質(zhì)量的數(shù)據(jù)，終端設(shè)備也不一定獲得具有足夠質(zhì)量的圖像。從而，如果需要，分發(fā)服務(wù)器1002讀取保存在可縮放編碼數(shù)據(jù)單元1001中的可縮放編碼數(shù)據(jù)，作為具有適合于終端設(shè)備的性能、通信環(huán)境等的質(zhì)量的編碼數(shù)據(jù)，并傳送讀取的編碼數(shù)據(jù)。

例如，假定可縮放編碼數(shù)據(jù)存儲單元1001保存已被可縮放編碼的可縮放編碼數(shù)據(jù)(bl+el)1011?？煽s放編碼數(shù)據(jù)(bl+el)1011是包括基本層和增強層的編碼數(shù)據(jù)，是被解碼以獲得基本層的圖像和增強層的圖像的數(shù)據(jù)。

分發(fā)服務(wù)器1002按照傳送數(shù)據(jù)的終端設(shè)備的性能、通信環(huán)境等，選擇適當(dāng)層，并讀取該層的數(shù)據(jù)。例如，分發(fā)服務(wù)器1002從可縮放編碼數(shù)據(jù)存儲單元1001，讀取高質(zhì)量可縮放編碼數(shù)據(jù)(bl+el)1011，并把讀取的可縮放編碼數(shù)據(jù)(bl+el)1011原樣傳送給具有高處理能力的個人計算機1004或平板設(shè)備1006。相反，例如，分發(fā)服務(wù)器1002從可縮放編碼數(shù)據(jù)(bl+el)1011中，提取基本層的數(shù)據(jù)，把提取的基本層的數(shù)據(jù)傳送給具有低處理能力的av設(shè)備1005和移動電話機1007，作為內(nèi)容與可縮放編碼數(shù)據(jù)(bl+el)1011相同、但是質(zhì)量比可縮放編碼數(shù)據(jù)(bl+el)低的可縮放編碼數(shù)據(jù)(bl)1012。

按照這種方式的可縮放編碼數(shù)據(jù)的使用使數(shù)據(jù)量的調(diào)整更容易，從而抑制延遲或上溢的發(fā)生，并且抑制終端設(shè)備或通信介質(zhì)的負荷的不必要增大。此外，可縮放編碼數(shù)據(jù)(bl+el)1011具有各層之間的減小的冗余，于是與具有各層的單獨編碼數(shù)據(jù)的數(shù)據(jù)相比，數(shù)據(jù)量較小。因而，能夠更有效地利用可縮放編碼數(shù)據(jù)存儲單元1001的存儲區(qū)。

注意，由于諸如個人計算機1004、av設(shè)備1005、平板設(shè)備1006和移動電話機1007之類的各種設(shè)備可用作終端設(shè)備，因此終端設(shè)備的硬件性能因設(shè)備而異。另外，由于終端設(shè)備可執(zhí)行各種應(yīng)用程序，因此應(yīng)用的軟件能力可變化。此外，充當(dāng)通信介質(zhì)的網(wǎng)絡(luò)1003可被實現(xiàn)成任何通信線路網(wǎng)，所述任何通信線路網(wǎng)可以是有線和/或無線通信線路網(wǎng)，比如因特網(wǎng)和lan(局域網(wǎng))，并且具有各種數(shù)據(jù)傳輸能力。這樣的性能和能力可隨其它通信等而變化。

因而，在開始數(shù)據(jù)的傳輸之前，分發(fā)服務(wù)器1002可以與將向其傳送數(shù)據(jù)的終端設(shè)備通信，并可獲得關(guān)于該終端設(shè)備的能力的信息，比如所述終端設(shè)備的硬件性能，或者所述終端設(shè)備執(zhí)行的應(yīng)用(軟件)的性能，以及關(guān)于通信環(huán)境的信息，比如網(wǎng)絡(luò)1003的可用帶寬。另外，分發(fā)服務(wù)器1002可根據(jù)獲得的信息，選擇適當(dāng)?shù)膶印?/p>

注意，層可由終端設(shè)備提取。例如，個人計算機1004可解碼傳送的可縮放編碼數(shù)據(jù)(bl+el)1011，并顯示基本層的圖像或增強層的圖像。另一方面，例如，個人計算機1004可從傳送的可縮放編碼數(shù)據(jù)(bl+el)1011中，提取基本層的可縮放編碼數(shù)據(jù)(bl)1012，保存提取的可縮放編碼數(shù)據(jù)(bl)1012，把提取的可縮放編碼數(shù)據(jù)(bl)1012傳送給另一個設(shè)備，或者解碼提取的可縮放編碼數(shù)據(jù)(bl)1012，以顯示基本層的圖像。

當(dāng)然，可縮放編碼數(shù)據(jù)存儲單元1001的數(shù)目，分發(fā)服務(wù)器1002的數(shù)目，網(wǎng)絡(luò)1003的數(shù)目和終端設(shè)備的數(shù)目是任意數(shù)目。另外，盡管說明了其中分發(fā)服務(wù)器1002向終端設(shè)備傳送數(shù)據(jù)的例子，不過使用例子并不局限于該例子。數(shù)據(jù)傳輸系統(tǒng)1000可以用在當(dāng)向終端設(shè)備傳送已使用可縮放編碼進行編碼的編碼數(shù)據(jù)時，按照終端設(shè)備的能力、通信環(huán)境等，選擇適當(dāng)層的任何系統(tǒng)中。

另外，本技術(shù)還可按照與應(yīng)用于上面參考圖49-圖51說明的分層編碼和分層解碼相似的方式，應(yīng)用于如上所述的圖57中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1000，從而獲得與上面參考圖49-圖51說明的優(yōu)點類似的優(yōu)點。

<第二系統(tǒng)>

如圖58中圖解所示的例子中一樣，可縮放編碼也可用于經(jīng)多種通信介質(zhì)的傳輸。

在圖58中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1100中，廣播站1101通過地面廣播1111，傳送基本層的可縮放編碼數(shù)據(jù)(bl)1121。廣播站1101還通過由通信網(wǎng)絡(luò)形成的預(yù)期網(wǎng)絡(luò)1112，傳送(例如，分包和傳送)增強層的可縮放編碼數(shù)據(jù)(el)1122，所述通信網(wǎng)絡(luò)可以是有線和/或無線通信網(wǎng)絡(luò)。

終端設(shè)備1102具有接收來自廣播站1101的地面廣播1111的功能，從而接收通過地面廣播1111傳送的基本層的可縮放編碼數(shù)據(jù)(bl)1121。終端設(shè)備1102還具有通過網(wǎng)絡(luò)1112進行通信的通信功能，從而接收通過網(wǎng)絡(luò)1112傳送的增強層的可縮放編碼數(shù)據(jù)(el)1122。

終端設(shè)備1102按照例如用戶指令等，解碼通過地面廣播1111獲得的基本層的可縮放編碼數(shù)據(jù)(bl)1121，從而獲得基本層的圖像，保存可縮放編碼數(shù)據(jù)(bl)1121，或者把可縮放編碼數(shù)據(jù)(bl)1121傳送給另一個設(shè)備。

此外，終端設(shè)備1102按照例如用戶指令等，組合通過地面廣播1111獲得的基本層的可縮放編碼數(shù)據(jù)(bl)1121，和通過網(wǎng)絡(luò)1112獲得的增強層的可縮放編碼數(shù)據(jù)(el)1122，從而獲得可縮放編碼數(shù)據(jù)(bl+el)，并解碼可縮放編碼數(shù)據(jù)(bl+el)，以獲得增強層的圖像，保存可縮放編碼數(shù)據(jù)(bl+el)，或者把可縮放編碼數(shù)據(jù)(bl+el)傳送給另一個設(shè)備。

如上所述，可以經(jīng)因?qū)佣惖耐ㄐ沤橘|(zhì)，傳送可縮放編碼數(shù)據(jù)。從而，可以分散負荷，并且能夠抑制延遲或上溢的發(fā)生。

此外，可按照狀況，為每一層選擇用于傳輸?shù)耐ㄐ沤橘|(zhì)。例如，可以通過具有較大帶寬的通信介質(zhì)，傳送數(shù)據(jù)量較大的基本層的可縮放編碼數(shù)據(jù)(bl)1121，可通過帶寬較窄的通信介質(zhì)，傳送數(shù)據(jù)量較小的增強層的可縮放編碼數(shù)據(jù)(el)1122。另一方面，例如，可按照網(wǎng)絡(luò)的可用帶寬，在網(wǎng)絡(luò)1112和地面廣播1111之間，切換經(jīng)其傳送增強層的可縮放編碼數(shù)據(jù)(el)1122的通信介質(zhì)。當(dāng)然，上述類似地適用于任意層的數(shù)據(jù)。

按照上述方式的控制能夠進一步抑制數(shù)據(jù)傳輸負荷的增大。

當(dāng)然，層數(shù)是任意的，用于傳輸?shù)耐ㄐ沤橘|(zhì)的數(shù)目也是任意的。另外，待被分發(fā)數(shù)據(jù)的終端設(shè)備1102的數(shù)目也是任意的。另外，盡管舉例說明了從廣播站1101廣播的情況，不過使用例子并不局限于這個例子。數(shù)據(jù)傳輸系統(tǒng)1100可應(yīng)用于以層為單位，把利用可縮放編碼進行編碼的數(shù)據(jù)分成多個片段，并通過多條線路傳送數(shù)據(jù)段的任何系統(tǒng)。

另外，本技術(shù)也可按照與應(yīng)用于上面參考圖49-圖51說明的分層編碼和分層解碼相似的方式，應(yīng)用于如上所述的圖58中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1100，從而獲得與上面參考圖49-圖51說明的優(yōu)點類似的優(yōu)點。

[第三系統(tǒng)]

如圖59中圖解所示的例子中一樣，可縮放編碼也可用于編碼數(shù)據(jù)的存儲。

在圖59中圖解所示的成像系統(tǒng)1200中，成像設(shè)備1201對通過拍攝被攝物體1211的圖像而獲得的圖像數(shù)據(jù)進行可縮放編碼，并把作為結(jié)果的數(shù)據(jù)作為可縮放編碼數(shù)據(jù)(bl+el)1221提供給可縮放編碼數(shù)據(jù)存儲設(shè)備1202。

可縮放編碼數(shù)據(jù)存儲設(shè)備1202按與狀況對應(yīng)的質(zhì)量，保存從成像設(shè)備1201供給的可縮放編碼數(shù)據(jù)(bl+el)1221。例如正常時，可縮放編碼數(shù)據(jù)存儲設(shè)備1202從可縮放編碼數(shù)據(jù)(bl+el)1221中提取基本層的數(shù)據(jù)，并保存提取的基本層的數(shù)據(jù)，作為質(zhì)量低并且數(shù)據(jù)量小的基本層的可縮放編碼數(shù)據(jù)(bl)1222。相反，例如關(guān)注時，可縮放編碼數(shù)據(jù)存儲設(shè)備1202原樣保存質(zhì)量高且數(shù)據(jù)量大的可縮放編碼數(shù)據(jù)(bl+el)1221。

因而，可縮放編碼數(shù)據(jù)存儲設(shè)備1202可以只有當(dāng)必需時，才高質(zhì)量地保存圖像。這能夠抑制數(shù)據(jù)量的增大，同時抑制由質(zhì)量的降低引起的圖像價值的降低，并且能夠提高存儲區(qū)的使用效率。

例如，假定成像設(shè)備1201是監(jiān)控相機。如果監(jiān)控對象(例如入侵者)未出現(xiàn)在拍攝的圖像中(正常時)，那么拍攝的圖像可能沒有重要的內(nèi)容。從而，優(yōu)先考慮數(shù)據(jù)量的降低，從而低質(zhì)量地保存圖像的圖像數(shù)據(jù)(可縮放編碼數(shù)據(jù))。相反，如果待監(jiān)控的對象作為對象1211出現(xiàn)在拍攝的圖像中(關(guān)注時)，那么拍攝的圖像可能具有重要的內(nèi)容。從而，優(yōu)先考慮圖像質(zhì)量，從而高質(zhì)量地保存圖像的圖像數(shù)據(jù)(可縮放編碼數(shù)據(jù))。

注意，通過分析圖像，可縮放編碼數(shù)據(jù)存儲設(shè)備1202例如可以判定正常時或關(guān)注時。另一方面，成像設(shè)備1201可判定正常時或關(guān)注時，并把判定結(jié)果傳送給可縮放編碼數(shù)據(jù)存儲設(shè)備1202。

注意，正常時或關(guān)注時的判定可以基于任意標(biāo)準，所述判定所基于的圖像可具有任何內(nèi)容。當(dāng)然，除圖像的內(nèi)容之外的條件可以用作判定標(biāo)準?？梢园凑绽缬涗浀囊纛l的大小、波形等，改變狀態(tài)，或者可以每隔預(yù)定時間，改變狀態(tài)。另一方面，可以按照諸如用戶指令之類的外部指令，改變狀態(tài)。

另外，盡管說明了在兩種狀態(tài)，即，正常時和關(guān)注時之間變化的例子，不過，狀態(tài)的數(shù)目是任意的，可在不止兩種狀態(tài)(比如正常時，關(guān)注時，更關(guān)注時和非常關(guān)注時)之間進行狀態(tài)改變。注意，待改變的狀態(tài)的上限數(shù)取決于可縮放編碼數(shù)據(jù)的層數(shù)。

此外，成像設(shè)備1201可被配置成按照狀態(tài)，確定可縮放編碼的層數(shù)。例如，正常時，成像設(shè)備1201可生成質(zhì)量低并且數(shù)據(jù)量小的基本層的可縮放編碼數(shù)據(jù)(bl)1222，并把生成的可縮放編碼數(shù)據(jù)(bl)1222提供給可縮放編碼數(shù)據(jù)存儲設(shè)備1202。此外，例如，關(guān)注時，成像設(shè)備1201可生成質(zhì)量高并且數(shù)據(jù)量大的基本層的可縮放編碼數(shù)據(jù)(bl+el)1221，并把生成的可擴展編碼數(shù)據(jù)(bl+el)1221提供給可擴展編碼數(shù)據(jù)存儲設(shè)備1202。

盡管舉例說明了監(jiān)控相機，不過，成像系統(tǒng)1200可以用在任何應(yīng)用中，可用在不同于監(jiān)控相機的應(yīng)用中。

另外，本技術(shù)也可按照與應(yīng)用于上面參考圖49-圖51說明的分層編碼和分層解碼相似的方式，應(yīng)用于如上所述的圖59中圖解所示的成像系統(tǒng)1200，從而獲得與上面參考圖49-圖51說明的優(yōu)點類似的優(yōu)點。

注意，本技術(shù)也適用于其中以片段為單位，從預(yù)先準備的具有不同分辨率的多個編碼數(shù)據(jù)中選擇并使用一項適當(dāng)?shù)木幋a數(shù)據(jù)的http流式傳輸，比如mpegdash。換句話說，也可在多個編碼數(shù)據(jù)之間共享關(guān)于編碼和解碼的信息。

當(dāng)然，本技術(shù)適用于的圖像編碼設(shè)備和圖像解碼設(shè)備也可適用于除上述設(shè)備之外的設(shè)備，或者適用于系統(tǒng)。

注意，這里說明了其中從編碼側(cè)向解碼側(cè)傳送量化矩陣(或者用于形成量化矩陣的系數(shù))的例子。傳送量化矩陣的技術(shù)可以是以與編碼比特流關(guān)聯(lián)的獨立數(shù)據(jù)的形式，傳送或記錄量化矩陣，而不把量化參數(shù)復(fù)用到編碼比特流中。這里使用的用語“關(guān)聯(lián)”意味在圖像被解碼時，允許包含在比特流中的圖像(它可以是圖像的一部分，比如切片或塊)與對應(yīng)于該圖像的信息相聯(lián)系。即，可通過與用于圖像(或者比特流)的傳輸路徑不同的傳輸路徑傳送所述信息。此外，信息可被記錄在與用于圖像(或者比特流)的記錄介質(zhì)不同的記錄介質(zhì)上(或者記錄在相同記錄介質(zhì)的不同記錄區(qū)域中)。此外，可按任意單位，比如多幀、一幀、或一幀的一部分，使信息和圖像(或者比特流)彼此相關(guān)。

注意，本技術(shù)還可以提供以下結(jié)構(gòu)。

(1)一種圖像處理設(shè)備，包括：

設(shè)定單元，被配置成通過將作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)加入位于量化矩陣的開始處的系數(shù)，設(shè)定位于量化矩陣的開始處的系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；

向上轉(zhuǎn)換單元，被配置成對由所述設(shè)定單元設(shè)定的量化矩陣進行向上轉(zhuǎn)換以設(shè)定向上轉(zhuǎn)換量化矩陣；以及

逆量化單元，被配置成利用向上轉(zhuǎn)換量化矩陣對通過解碼編碼數(shù)據(jù)而獲得的量化數(shù)據(jù)進行逆量化，在所述向上轉(zhuǎn)換量化矩陣中，已經(jīng)用所述置換系數(shù)置換了位于由所述向上轉(zhuǎn)換單元設(shè)定的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)。

(2)根據(jù)(3)到(9)中的任一項所述的圖像處理設(shè)備，其中

所述設(shè)定單元通過將所述置換系數(shù)與為所述量化矩陣設(shè)定的初始值之間的差值加入所述初始值，設(shè)定所述置換系數(shù)。

(3)根據(jù)(1)、(2)以及(4)到(9)中的任一項所述的圖像處理設(shè)備，其中

所述設(shè)定單元利用所述置換差值系數(shù)和作為所述量化矩陣的系數(shù)之間的差值的差值系數(shù)來設(shè)定所述量化矩陣的系數(shù)。

(4)根據(jù)(1)至(3)以及(5)到(9)中的任一項所述的圖像處理設(shè)備，其中

集體地傳送所述置換差值系數(shù)和作為所述量化矩陣的系數(shù)之間的差值的所述差值系數(shù)，并且

所述設(shè)定單元利用集體地傳送的置換差值系數(shù)和差值系數(shù)來設(shè)定所述量化矩陣的系數(shù)。

(5)根據(jù)(1)至(4)以及(6)到(9)中的任一項所述的圖像處理設(shè)備，其中

所述置換差值系數(shù)和作為所述量化矩陣的系數(shù)之間的差值的所述差值系數(shù)已被編碼，并且

所述設(shè)定單元對編碼的所述置換差值系數(shù)和編碼的所述差值系數(shù)進行解碼。

(6)根據(jù)(1)至(5)以及(7)到(9)中的任一項所述的圖像處理設(shè)備，其中

所述向上轉(zhuǎn)換單元通過對大小被限制為不大于所述傳送大小的所述量化矩陣的矩陣元素執(zhí)行最鄰近插值處理，對所述量化矩陣進行向上轉(zhuǎn)換。

(7)根據(jù)(1)至(6)以及(8)和(9)中的任一項所述的圖像處理設(shè)備，其中

所述傳送大小是8×8，并且

所述向上轉(zhuǎn)換單元通過對8×8大小的量化矩陣的矩陣元素執(zhí)行最鄰近插值處理，將8×8大小的量化矩陣向上轉(zhuǎn)換成16×16大小的量化矩陣。

(8)根據(jù)(1)至(7)以及(9)中的任一項所述的圖像處理設(shè)備，其中

所述向上轉(zhuǎn)換單元通過對8×8大小的量化矩陣的矩陣元素執(zhí)行最鄰近插值處理，將8×8大小的量化矩陣向上轉(zhuǎn)換成32×32大小的量化矩陣。

(9)根據(jù)(1)至(8)中的任一項所述的圖像處理設(shè)備，其中

作為執(zhí)行解碼處理的處理單位的編碼單位和作為執(zhí)行變換處理的處理單位的變換單位具有分層結(jié)構(gòu)，

所述圖像處理設(shè)備還包括解碼單元，所述解碼單元被配置成利用具有分層結(jié)構(gòu)的單位對編碼的數(shù)據(jù)執(zhí)行解碼處理以生成量化數(shù)據(jù)，并且

所述向上轉(zhuǎn)換單元將所述量化矩陣從所述傳送大小向上轉(zhuǎn)換成作為執(zhí)行逆量化的處理單位的變換單位的大小。

(10)一種圖像處理方法，包括：

通過將作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)加入位于量化矩陣的開始處的系數(shù)，設(shè)定位于量化矩陣的開始處的系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；

對設(shè)定的量化矩陣進行向上轉(zhuǎn)換以設(shè)定向上轉(zhuǎn)換量化矩陣；以及

利用向上轉(zhuǎn)換量化矩陣對通過解碼編碼數(shù)據(jù)而獲得的量化數(shù)據(jù)進行逆量化，在所述向上轉(zhuǎn)換量化矩陣中，已經(jīng)用所述置換系數(shù)置換了位于所設(shè)定的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)。

(11)一種圖像處理設(shè)備，包括：

設(shè)定單元，被配置成設(shè)定作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；

量化單元，被配置成對圖像進行量化以生成量化數(shù)據(jù)；以及

傳送單元，被配置成傳送通過對由所述量化單元生成的量化數(shù)據(jù)進行編碼而獲得的編碼數(shù)據(jù)、通過對所述置換系數(shù)進行編碼而獲得的置換系數(shù)數(shù)據(jù)以及通過對由所述設(shè)定單元設(shè)定的置換差值系數(shù)進行編碼而獲得的置換差值系數(shù)數(shù)據(jù)。

(12)根據(jù)(11)和(13)到(17)中的任一項所述的圖像處理設(shè)備，其中

所述設(shè)定單元設(shè)定所述置換系數(shù)與為所述量化矩陣設(shè)定的初始值之間的差值。

(13)根據(jù)(11)、(12)以及(14)到(17)中的任一項所述的圖像處理設(shè)備，其中

所述設(shè)定單元設(shè)定作為所述量化矩陣的系數(shù)之間的差值的差值系數(shù)，并且

所述傳送單元傳送通過對由所述設(shè)定單元設(shè)定的差值系數(shù)進行編碼而獲得的差值系數(shù)數(shù)據(jù)。

(14)根據(jù)(11)到(13)以及(15)到(17)中的任一項所述的圖像處理設(shè)備，其中

所述傳送單元集體地傳送所述置換系數(shù)數(shù)據(jù)和所述置換差值系數(shù)數(shù)據(jù)。

(15)根據(jù)(11)到(14)以及(16)和(17)中的任一項所述的圖像處理設(shè)備，其中

所述傳送單元按所述置換系數(shù)數(shù)據(jù)和所述置換差值系數(shù)數(shù)據(jù)的順序傳送所述置換系數(shù)數(shù)據(jù)和所述置換差值系數(shù)數(shù)據(jù)。

(16)根據(jù)(11)到(15)以及(17)中的任一項所述的圖像處理設(shè)備，其中

所述量化單元利用所述量化矩陣或所述向上轉(zhuǎn)換量化矩陣對圖像進行量化。

(17)根據(jù)(11)到(16)中的任一項所述的圖像處理設(shè)備，其中

作為執(zhí)行編碼處理的處理單位的編碼單位和作為執(zhí)行變換處理的處理單位的變換單位具有分層結(jié)構(gòu)，并且

所述圖像處理設(shè)備還包括編碼單元，所述編碼單元被配置成對由所述量化單元生成的量化數(shù)據(jù)進行編碼。

(18)一種圖像處理方法，包括：

設(shè)定作為置換系數(shù)與位于量化矩陣的開始處的系數(shù)之間的差值的置換差值系數(shù)，所述量化矩陣的大小被限制為不大于作為在傳送時允許的最大大小的傳送大小，所述置換系數(shù)被用于置換位于通過將所述量化矩陣向上轉(zhuǎn)換成與作為執(zhí)行逆量化的處理單位的塊大小相同的大小而獲得的向上轉(zhuǎn)換量化矩陣的開始處的系數(shù)；

對圖像進行量化以生成量化數(shù)據(jù)；以及

傳送通過對所生成的量化數(shù)據(jù)進行編碼而獲得的編碼數(shù)據(jù)、通過對所述置換系數(shù)進行編碼而獲得的置換系數(shù)數(shù)據(jù)以及通過對所設(shè)定的置換差值系數(shù)進行編碼而獲得的置換差值系數(shù)數(shù)據(jù)。

(19)一種圖像處理設(shè)備，包括：

解碼單元，被配置成對編碼數(shù)據(jù)進行解碼以生成量化數(shù)據(jù)；和

逆量化單元，被配置成當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，利用與作為執(zhí)行逆量化的處理單位的塊大小相同的大小的缺省量化矩陣，對由所述解碼單元生成的量化數(shù)據(jù)進行逆量化。

(20)根據(jù)(19)和(21)中的任一項所述的圖像處理設(shè)備，其中

所述逆量化單元通過對語法進行分析來逆量化所述量化數(shù)據(jù)，所述語法的語義被設(shè)定成當(dāng)所述量化矩陣參考數(shù)據(jù)匹配所述量化矩陣識別數(shù)據(jù)時參考所述缺省量化矩陣。

(21)根據(jù)(19)和(20)中的任一項所述的圖像處理設(shè)備，其中

所述逆量化單元通過對語法進行分析來逆量化所述量化數(shù)據(jù)，所述語法的語義被設(shè)定成當(dāng)所述量化矩陣參考數(shù)據(jù)與所述量化矩陣識別數(shù)據(jù)之間的差值等于0時參考所述缺省量化矩陣。

(22)一種圖像處理方法，包括：

對編碼數(shù)據(jù)進行解碼以生成量化數(shù)據(jù)；和

當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，利用與作為執(zhí)行逆量化的處理單位的塊大小相同的大小的缺省量化矩陣，對在所述解碼中生成的量化數(shù)據(jù)進行逆量化。

(23)一種圖像處理設(shè)備，包括：

編碼單元，被配置成對圖像進行編碼以生成編碼數(shù)據(jù)；和

設(shè)定單元，被配置成將一種語法設(shè)定為由所述編碼單元生成的編碼數(shù)據(jù)的語法，所述語法的語義被設(shè)定成當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，參考與作為執(zhí)行量化的處理單位的塊大小相同的大小的缺省量化矩陣。

(24)一種圖像處理方法，包括：

對圖像進行編碼以生成編碼數(shù)據(jù)；和

將一種語法設(shè)定為所生成的編碼數(shù)據(jù)的語法，所述語法的語義被設(shè)定成當(dāng)在拷貝量化矩陣的拷貝模式下，識別量化矩陣的參考目的地的量化矩陣參考數(shù)據(jù)匹配識別量化矩陣的量化矩陣識別數(shù)據(jù)時，參考與作為執(zhí)行量化的處理單位的塊大小相同的大小的缺省量化矩陣。

附圖標(biāo)記列表

10圖像編碼設(shè)備，14正交變換/量化單元，16無損編碼單元，150矩陣處理單元，192dpcm單元，211dc系數(shù)編碼單元，212ac系數(shù)dpcm單元，300圖像解碼單元，312無損解碼單元，313逆量化/逆正交變換單元，410矩陣生成單元，552逆dpcm單元，571初始設(shè)定單元，572dpcm解碼單元，573dc系數(shù)提取單元，611ac系數(shù)緩沖器，612ac系數(shù)編碼單元，613ac系數(shù)dpcm單元，614dc系數(shù)dpcm單元，621初始設(shè)定單元，622ac系數(shù)dpcm解碼單元，623ac系數(shù)緩沖器，624dc系數(shù)dpcm解碼單元，631ac系數(shù)dpcm單元，632dc系數(shù)緩沖器，633dc系數(shù)dpcm單元，641初始設(shè)定單元，642ac系數(shù)dpcm解碼單元，643dc系數(shù)dpcm解碼單元。