圖像處理設備和方法
【專利摘要】本公開涉及一種能夠抑制量化矩陣的編碼量的增大的圖像處理設備和方法。本公開的圖像處理設備包括：設定單元，所述設定單元被配置成設定對應于8×8變換單位的第一8×8量化矩陣，和用于設定對應于16×16變換單位的16×16量化矩陣的第二8×8量化矩陣；和編碼單元，所述編碼單元被配置成編碼圖像數(shù)據(jù)，從而生成比特流，所述比特流包括由設定單元設定的第一8×8量化矩陣，和由設定單元設定的第二8×8量化矩陣，作為參數(shù)。
【專利說明】圖像處理設備和方法
[0001]本申請是本申請是中國專利申請?zhí)枮?01280061142.8、申請日為2012年11月30日的PCT申請PCT/JP2012/081057的、名稱為“圖像處理設備和方法”的發(fā)明專利申請的分案申請。

【技術領域】
[0002]本公開涉及圖像處理設備和方法。

【背景技術】
[0003]在作為視頻編碼標準的H.264/AVC(高級視頻編碼)中，高規(guī)格以上的規(guī)格可以把其大小因正交變換系數(shù)的分量而異的量化步長用于圖像數(shù)據(jù)的量化。根據(jù)參考步長值和依據(jù)與正交變換的單位等同的大小限定的量化矩陣(也稱為位階列表)，可設定正交變換系數(shù)的每個分量的量化步長。
[0004]例如，分別為幀內預測模式的4X4大小的變換單位、幀間預測模式的4X4大小的變換單位、幀內預測模式的8X8大小的變換單位和幀間預測模式的8X8大小的變換單位，確定量化矩陣的規(guī)定值。此外，允許用戶在序列參數(shù)集或圖像參數(shù)集中，指定與所述規(guī)定值不同的獨特量化矩陣。如果不使用量化矩陣，那么對所有分量來說，用于量化的量化步長的值都相等。
[0005]在正在進行標準化的作為H.264/AVC的后繼者的下一代視頻編碼標準的HEVC (高效視頻編碼)中，介紹了對應于現(xiàn)有宏塊的CU(編碼單位)的概念(例如，參見NPL I)。編碼單位大小的范圍由序列參數(shù)集中的稱為LCU(最大編碼單位)和SCU(最小編碼單位)的為2的冪的一組值指定。利用split_flag指定在由IXU和SCU指定的范圍中的具體編碼單位大小。
[0006]在HEVC中，一個編碼單位可被分成一個或多個正交變換單位，或者一個或多個變換單位(TU)。4X4、8X8、16X16和32X32任意之一可以作用變換單位的大小。因而，對于每個這些候選變換單位大小，也可指定量化矩陣。
[0007]在H.264/AVC中，對于每個變換單位的大小，在每個圖像中只能夠指定一個量化矩陣。相反，已提出為每個變換單位的大小，在每個圖像中指定多個候選量化矩陣，并且就RD(率失真)優(yōu)化來說，為每個塊自適應地選擇量化矩陣(例如，參見NPL2)。
[0008]引文列表
[0009]非專利文獻
[0010]NPL 1:JCTVC-B205，“Test Model under Considerat1n”，Joint CollaborativeTeam on Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IECJTC1/SC29/WG112ndMeeting:Geneva，CH，21_28July 2010
[0011]NPL 2:VCEG-AD06，“Adaptive Quantizat1n Matrix Select1n on KTASoftware，，，ITU-Telecommunicat1ns Standardizat1n Sector STUDY GROUP 16Quest1n6Video Coding Experts Group (VCEG)30th Meeting:Hangzhou，China，23_240ctober 2006


【發(fā)明內容】

[0012]技術問題
[0013]然而，隨著變換單位的大小的增大，對應的量化矩陣的大小也增大，導致待傳送的量化矩陣的編碼量增大。另外，變換單位的大小的增大導致開銷增大，量化矩陣的切換會引起壓縮效率方面的問題。
[0014]鑒于這種情況，提出了本公開，本公開的目的是能夠抑制量化矩陣的編碼量的增大。
[0015]技術問題的解決方案
[0016]本公開的一個方面提供一種圖像處理設備，包括接收單元，所述接收單元被配置成接收通過對圖像進行編碼處理獲得的編碼數(shù)據(jù)，和量化矩陣，所述量化矩陣局限于小于或等于作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉拇笮?；解碼單元，所述解碼單元被配置成對接收單元接收的編碼數(shù)據(jù)進行解碼處理，從而生成量化數(shù)據(jù)；向上轉換單元，所述向上轉換單元被配置成把接收單元接收的量化矩陣從所述傳輸大小向上轉換成與塊大小相同的大小，所述塊大小是進行逆量化的處理單位；和逆量化單元，所述逆量化單元被配置成利用由向上轉換單元向上轉換的量化矩陣，逆量化由解碼單元生成的量化數(shù)據(jù)。
[0017]接收單元接收的量化矩陣可被配置成把與默認量化矩陣大小相同的大小作為傳輸大小。
[0018]接收單元接收的量化矩陣可被配置成把與默認量化矩陣的最大大小相同的大小作為傳輸大小。
[0019]所述傳輸大小可以是8 X 8，接收單元接收的量化矩陣可被配置成具有8 X 8大小。
[0020]向上轉換單元可通過對接收單元接收的量化矩陣中的矩陣元素，進行插值處理，來向上轉換局限于小于或等于傳輸大小的大小的量化矩陣。
[0021]向上轉換單元可通過對接收單元接收的量化矩陣中的矩陣元素，進行最近鄰插值處理，來向上轉換局限于小于或等于傳輸大小的大小的量化矩陣。
[0022]所述傳輸大小可以是8X8，向上轉換單元可通過對8X8大小的量化矩陣中的矩陣元素，進行最近鄰插值處理，把8X8大小的量化矩陣向上轉換成16X16大小的量化矩陣。
[0023]向上轉換單元可通過對8X8大小的量化矩陣中的矩陣元素，進行最近鄰插值處理，把8X8大小的量化矩陣向上轉換成32X32大小的量化矩陣。
[0024]向上轉換單元可通過對正方量化矩陣中的的矩陣元素，進行插值處理，把局限于小于或等于傳輸大小的大小的正方量化矩陣向上轉換成非正方量化矩陣。
[0025]所述傳輸大小可以是8X8，向上轉換單元可通過對8X8大小的量化矩陣中的矩陣元素進行插值處理，把8X8大小的量化矩陣向上轉換成8X32大小的量化矩陣或32X8大小的量化矩陣。
[0026]所述傳輸大小可以是8X8，向上轉換單元可通過對4X4大小的量化矩陣中的矩陣元素進行插值處理，把4X4大小的量化矩陣向上轉換成4X16大小的量化矩陣或16X4大小的量化矩陣。
[0027]所述傳輸大小可以是8X8，向上轉換單元可通過對8X8大小的量化矩陣中的矩陣元素進行插值處理，把8 X 8大小的量化矩陣向上轉換成2 X 32大小的量化矩陣、32 X 2大小的量化矩陣、1X16大小的量化矩陣、或者16X1大小的量化矩陣。
[0028]作為進行解碼處理的處理單位的編碼單元和作為進行變換處理的處理單位的變換單位可具有分層結構，解碼單元可利用具有分層結構的單元，對編碼數(shù)據(jù)進行解碼處理，向上轉換單元可把接收單元接收的量化矩陣從所述傳輸大小，向上轉換成作為進行逆量化的處理單位的變換單位的大小。
[0029]量化矩陣可被設定成具有按照作為進行逆量化的處理單位的塊大小而不同的矩陣元素的量化矩陣，接收單元可接收具有按照作為進行逆量化的處理單位的塊大小而不同的矩陣元素的量化矩陣，向上轉換單元利用具有按照作為進行逆量化的處理單位的塊大小而不同的矩陣元素的量化矩陣，向上轉換接收單元接收的量化矩陣。
[0030]所述傳輸大小可以是8X8，向上轉換單元在作為進行逆量化的處理單位的塊大小為16X16的情況下向上轉換第一量化矩陣，而在作為進行逆量化的處理單位的塊大小為32X32的情況下向上轉換第二量化矩陣，第二量化矩陣具有不同于第一量化矩陣的不同矩陣元素。
[0031]本發(fā)明的另一個方面提供一種圖像處理設備的圖像處理方法。所述圖像處理方法包括接收通過對圖像進行編碼處理獲得的編碼數(shù)據(jù)，和量化矩陣，所述量化矩陣局限于小于或等于作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉拇笮?；對接收的編碼數(shù)據(jù)進行解碼處理，從而生成量化數(shù)據(jù)；把接收的量化矩陣從所述傳輸大小向上轉換成與塊大小相同的大小，所述塊大小是進行逆量化的處理單位；和利用向上轉換的量化矩陣，逆量化生成的量化數(shù)據(jù)，其中所述圖像處理方法由所述圖像處理設備進行。
[0032]本發(fā)明的另一個方面提供一種信息處理設備，包括設定單元，所述設定單元被配置成設定用于從作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉脚c塊大小相同的大小的向上轉換的量化矩陣，所述塊大小是逆量化通過量化圖像而獲得的量化數(shù)據(jù)的處理單位；量化單元，所述量化單元被配置成利用由設定單元設定的量化矩陣，量化圖像，從而生成量化數(shù)據(jù)；編碼單元，所述編碼單元被配置成對量化單元生成的量化數(shù)據(jù)進行編碼處理，從而生成編碼數(shù)據(jù)；和傳輸單元，所述傳輸單元被配置成傳送由編碼單元生成的編碼數(shù)據(jù)，和由設定單元設定的量化矩陣，所述量化矩陣局限于小于或等于傳輸大小的大小。
[0033]所述傳輸大小可以是8X8，設定單元設定的量化矩陣可被配置成8X8。
[0034]量化矩陣可被配置成是用于從8X8大小到16X16大小或32X32大小的向上轉換的量化矩陣。
[0035]本公開的另一個方面提供一種圖像處理設備的圖像處理方法。所述圖像處理方法包括設定用于從作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉脚c塊大小相同的大小的向上轉換的量化矩陣，所述塊大小是逆量化通過量化圖像而獲得的量化數(shù)據(jù)的處理單位；利用設定的量化矩陣，量化圖像，從而生成量化數(shù)據(jù)；對生成的量化數(shù)據(jù)進行編碼處理，從而生成編碼數(shù)據(jù)；和傳送生成的編碼數(shù)據(jù)和設定的量化矩陣，所述量化矩陣局限于小于或等于傳輸大小的大小，其中所述圖像處理方法由所述圖像處理設備進行。
[0036]在本公開的一個方面，接收通過對圖像進行編碼處理獲得的編碼數(shù)據(jù)，和量化矩陣，所述量化矩陣局限于小于或等于作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉拇笮?；對接收的編碼數(shù)據(jù)進行解碼處理，從而生成量化數(shù)據(jù)；把接收的量化矩陣從所述傳輸大小向上轉換成與塊大小相同的大小，所述塊大小是進行逆量化的處理單位；和利用向上轉換的量化矩陣，逆量化生成的量化數(shù)據(jù)。
[0037]在本公開的另一個方面，設定用于從作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉脚c塊大小相同的大小的向上轉換的量化矩陣，所述塊大小是逆量化通過量化圖像而獲得的量化數(shù)據(jù)的處理單位；利用設定的量化矩陣，量化圖像，從而生成量化數(shù)據(jù)；對生成的量化數(shù)據(jù)進行編碼處理，從而生成編碼數(shù)據(jù)；和傳送生成的編碼數(shù)據(jù)和設定的量化矩陣，所述量化矩陣局限于小于或等于傳輸大小的大小。
[0038]本發(fā)明的有益效果
[0039]按照本公開，能夠處理圖像。特別地，能夠抑制量化矩陣的編碼量的增大。

【專利附圖】

【附圖說明】
[0040]圖1是圖解說明圖像編碼設備的主要例證結構的方框圖。
[0041]圖2是圖解說明正交變換/量化部分的主要例證結構的方框圖。
[0042]圖3是圖解說明矩陣處理部分的主要例證結構的方框圖。
[0043]圖4是圖解說明矩陣處理部分的主要例證結構的方框圖。
[0044]圖5是圖解說明下采樣的例子的示圖。
[0045]圖6是圖解說明如何消除重復部分的例子的示圖。
[0046]圖7是圖解說明量化矩陣編碼處理的流程的例子的流程圖。
[0047]圖8是圖解說明語法的例子的示圖。
[0048]圖9是圖解說明語法的例子的示圖。
[0049]圖10是圖解說明語法的例子的示圖。
[0050]圖11是圖解說明語法的例子的示圖。
[0051]圖12是圖解說明語法的例子的示圖。
[0052]圖13是圖解說明語法的例子的示圖。
[0053]圖14是圖解說明量化位階設定區(qū)域的例子的示圖。
[0054]圖15是圖解說明量化位階設定區(qū)域的例子的示圖。
[0055]圖16是圖解說明圖像解碼設備的主要例證結構的方框圖。
[0056]圖17是圖解說明逆量化/逆正交變換部分的主要例證結構的方框圖。
[0057]圖18是圖解說明矩陣生成部分的主要例證結構的方框圖。
[0058]圖19是圖解說明矩陣生成部分的主要例證結構的方框圖。
[0059]圖20是圖解說明最近鄰插值處理的例子的不圖。
[0060]圖21是圖解說明矩陣生成處理的流程的例子的流程圖。
[0061]圖22是圖解說明矩陣處理部分的另一種例證結構的方框圖。
[0062]圖23是圖解說明量化矩陣編碼處理的流程的另一個例子的流程圖。
[0063]圖24是圖解說明矩陣生成部分的另一個例證結構的方框圖。
[0064]圖25是圖解說明如何傳送差分矩陣的例子的示圖。
[0065]圖26是圖解說明如何進行向上轉換的例子的示圖。
[0066]圖27是圖解說明如何進行向上轉換的例子的示圖。
[0067]圖28是圖解說明多視點圖像編碼方案的例子的示圖。
[0068]圖29是圖解說明應用本技術的多視點圖像編碼設備的主要例證結構的示圖。
[0069]圖30是圖解說明應用本技術的多視點圖像解碼設備的主要例證結構的示圖。
[0070]圖31是圖解說明分層圖像編碼方案的例子的示圖。
[0071]圖32是圖解說明應用本技術的分層圖像編碼設備的主要例證結構的示圖。
[0072]圖33是圖解說明應用本技術的分層圖像解碼設備的主要例證結構的示圖。
[0073]圖34是圖解說明計算機的主要例證結構的方框圖。
[0074]圖35是圖解說明電視機的主要例證結構的方框圖。
[0075]圖36是圖解說明移動終端的主要例證結構的方框圖。
[0076]圖37是圖解說明記錄/再現(xiàn)設備的主要例證結構的方框圖。
[0077]圖38是圖解說明成像設備的主要例證結構的方框圖。
[0078]圖39是圖解說明可擴展編碼的使用例子的方框圖。
[0079]圖40是圖解說明可擴展編碼的再一個使用例子的方框圖。
[0080]圖41是圖解說明可擴展編碼的另一個使用例子的方框圖。

【具體實施方式】
[0081]下面，說明實現(xiàn)本公開的方式(下面稱為實施例)。注意，將按以下順序進行說明。
[0082]1.第一實施例(圖像編碼設備，圖像解碼設備)
[0083]2.第二實施例(圖像編碼設備，圖像解碼設備)
[0084]3.第三實施例(向上轉換)
[0085]4.第四實施例(多視點圖像編碼/多視點圖像解碼設備)
[0086]5.第五實施例(分層圖像編碼/分層圖像解碼設備)
[0087]6.第六實施例(計算機)
[0088]7.第七實施例(電視接收機)
[0089]8.第八實施例(移動電話機)
[0090]9.第九實施例(記錄/再現(xiàn)設備)
[0091]10.第十實施例(成像設備)
[0092]11.可擴展編碼的例證應用
[0093]〈1.第一實施例>
[0094][1-1.圖像編碼設備]
[0095]圖1是圖解說明按照本公開的實施例的圖像編碼設備10的結構例子的方框圖。圖1中圖解所示的圖像編碼設備10是應用本技術的圖像處理設備，用于編碼輸入的圖像數(shù)據(jù)，和輸出解碼的編碼數(shù)據(jù)。參見圖1，圖像編碼設備10包括A/D (模-數(shù))轉換部分11 (A/D)、重排緩沖器12、減法部分13、正交變換/量化部分14、無損編碼部分16、累積緩沖器17、速率控制部分18、逆量化部分21、逆正交變換部分22、加法部分23、解塊濾波器24、幀存儲器25、選擇器26、幀內預測部分30、運動搜索部分40和模式選擇部分50。
[0096]A/D轉換部分11把按模擬形式輸入的圖像信號轉換成數(shù)字形式的圖像數(shù)據(jù)，然后把數(shù)字圖像數(shù)據(jù)序列輸出給重排緩沖器12。
[0097]重排緩沖器12重排包含在從A/D轉換部分11輸入的圖像數(shù)據(jù)序列中的圖像。在按照供編碼處理使用的G0P(圖像組)結構重排圖像之后，重排緩沖器12把經(jīng)過重排的圖像數(shù)據(jù)輸出給減法部分13、幀內預測部分30和運動搜索部分40。
[0098]如下所述，從重排緩沖器12輸入的圖像數(shù)據(jù)和由模式選擇部分50選擇的預測圖像數(shù)據(jù)被提供給減法部分13。減法部分13計算預測誤差數(shù)據(jù)，預測誤差數(shù)據(jù)表示從重排緩沖器12輸入的圖像數(shù)據(jù)和從模式選擇部分50輸入的預測圖像數(shù)據(jù)之間的差分，并把計算的預測誤差數(shù)據(jù)輸出給正交變換/量化部分14。
[0099]正交變換/量化部分14對從減法部分13輸入的預測誤差數(shù)據(jù)進行正交變換和量化，并把量化的變換系數(shù)數(shù)據(jù)(下面稱為量化數(shù)據(jù))輸出給無損編碼部分16和逆量化部分21。根據(jù)從速率控制部分18供給的速率控制信號，控制從正交變換/量化部分14輸出的量化數(shù)據(jù)的比特率。正交變換/量化部分14的詳細結構將在下面進一步說明。
[0100]無損編碼部分16被供給從正交變換/量化部分14輸入的量化數(shù)據(jù)、用于在解碼器側生成量化矩陣的信息、和關于模式選擇部分50選擇的幀內預測或幀間預測的信息。例如，關于幀內預測的信息可包括指示每個塊的最佳幀內預測模式的預測模式信息。另外，關于幀間預測的信息例如可包括用于運動向量的逐塊預測的預測模式信息、差分運動向量信息、參考圖像信息等等。此外，用于在解碼器側生成量化矩陣的信息可包括指示待傳送的量化矩陣(或者量化矩陣和其預測矩陣之間的差分矩陣)的最大大小的識別信息。
[0101]無損編碼部分16對量化數(shù)據(jù)進行無損編碼處理，從而產生編碼流。無損編碼部分16進行的無損編碼例如可以是變長編碼、算術編碼等。此外，無損編碼部分16把用于生成下面詳細說明的量化矩陣的信息復用到編碼流中(例如，序列參數(shù)集、圖像參數(shù)集、切片報頭等)。此外，無損編碼部分16把上述關于幀內預測或幀間預測的信息復用到編碼流中。無損編碼部分16隨后把產生的編碼流輸出給累積緩沖器17。
[0102]累積緩沖器17利用諸如半導體存儲器之類的存儲介質，臨時累積從無損編碼部分16輸入的編碼流。隨后，累積緩沖器17以與傳輸路徑(或者出自圖像編碼設備10的輸出線路)的帶寬對應的速率，輸出累積的編碼流。
[0103]速率控制部分18檢查累積緩沖器17的容量的可用性。此外，速率控制部分18按照累積緩沖器17的可用容量，生成速率控制信號，并把生成的速率控制信號輸出給正交變換/量化部分14。例如，當累積緩沖器17的可用容量較低時，速率控制部分18生成用于降低量化數(shù)據(jù)的比特率的速率控制信號。另外，例如，當累積緩沖器17的可用容量足夠高時，速率控制部分18生成增大量化數(shù)據(jù)的比特率的速率控制信號。
[0104]逆量化部分21對從正交變換/量化部分14輸入的量化數(shù)據(jù)，進行逆量化處理。逆量化部分21把通過逆量化處理獲得的變換系數(shù)數(shù)據(jù)輸出給逆正交變換部分22。
[0105]逆正交變換部分22對從逆量化部分21輸入的變換系數(shù)數(shù)據(jù)進行逆正交變換處理，從而恢復預測誤差數(shù)據(jù)。隨后，逆正交變換部分22把恢復的預測誤差數(shù)據(jù)輸出給加法部分23。
[0106]加法部分23相加從逆正交變換部分22輸入的恢復的預測誤差數(shù)據(jù)，和從模式選擇部分50輸入的預測圖像數(shù)據(jù)，從而生成解碼圖像數(shù)據(jù)。隨后，加法部分23把生成的解碼圖像數(shù)據(jù)輸出給解塊濾波器24和幀存儲器25。
[0107]解塊濾波器24進行減小因圖像的編碼而導致的塊效應的濾波處理。解塊濾波器24對從加法部分23輸入的解碼圖像數(shù)據(jù)濾波以除去塊效應，并把濾波后的解碼圖像數(shù)據(jù)輸出給幀存儲器25。
[0108]幀存儲器25利用存儲介質，保存從加法部分23輸入的解碼圖像數(shù)據(jù)和從解塊濾波器24輸入的濾波后的解碼圖像數(shù)據(jù)。
[0109]選擇器26從幀存儲器25讀取用于幀內預測的待濾波的解碼圖像數(shù)據(jù)，并把讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀內預測部分30。選擇器26還從幀存儲器25讀取用于幀間預測的濾波后的解碼圖像數(shù)據(jù)，并把讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給運動搜索部分40。
[0110]幀內預測部分30根據(jù)從重排緩沖器12輸入的待編碼圖像數(shù)據(jù)和經(jīng)選擇器26供給的解碼圖像數(shù)據(jù)(即，參考圖像數(shù)據(jù))，進行每種幀內預測模式的幀內預測處理。例如，幀內預測部分30利用預定的成本函數(shù)，評估按每種幀內預測模式獲得的預測結果。隨后，幀內預測部分30選擇使成本函數(shù)值最小的幀內預測模式，即，提供最高壓縮比的幀內預測模式，作為最佳的幀內預測模式。此外，幀內預測部分30把關于幀內預測的信息，比如指示最佳幀內預測模式的預測模式信息和成本函數(shù)值，連同按選擇的幀內預測模式的預測圖像數(shù)據(jù)一起輸出給模式選擇部分50。
[0111]運動搜索部分40根據(jù)從重排緩沖器12供給的待編碼圖像數(shù)據(jù)和經(jīng)選擇器26供給的解碼圖像數(shù)據(jù)，進行幀間預測處理(幀間的預測處理)。例如，運動搜索部分40利用預定的成本函數(shù)，評估按每種預測模式獲得的預測結果。隨后，運動搜索部分40選擇使成本函數(shù)值達到最小的預測模式，即，提供最高壓縮比的預測模式，作為最佳預測模式。此外，運動搜索部分40把關于幀間預測的信息，比如指示選擇的最佳預測模式的預測模式信息和成本函數(shù)值，連同按選擇的幀間預測模式的預測圖像數(shù)據(jù)一起輸出給模式選擇部分50。
[0112]模式選擇部分50將從幀內預測部分30輸入的與幀內預測相關的成本函數(shù)值和從運動搜索部分40輸入的與幀間預測相關的成本函數(shù)值相比較。隨后，模式選擇部分50從幀內預測和幀間預測中，選擇成本函數(shù)值較小的預測技術。此外，如果選擇幀內預測，那么模式選擇部分50把關于幀內預測的信息輸出給無損編碼部分16，另外，把預測圖像數(shù)據(jù)輸出給減法部分13和加法部分23。如果選擇幀間預測，那么模式選擇部分50把關于幀間預測的信息輸出給無損編碼部分16，另外把預測圖像數(shù)據(jù)輸出給減法部分13和加法部分23。
[0113][1-2.正交變換/量化部分的例證結構]
[0114]圖2是圖解說明圖1中圖解所示的圖像編碼設備10的正交變換/量化部分14的詳細結構的例子的方框圖。參見圖2，正交變換/量化部分14包括選擇部分110、正交變換部分120、量化部分130、量化矩陣緩沖器140和矩陣處理部分150。
[0115](I)選擇部分
[0116]選擇部分110從具有不同大小的多個變換單位中，選擇用于待編碼的圖像數(shù)據(jù)的正交變換的變換單位(TU)。例如，選擇單元110可選的變換單位的候選大小包括用于H.264/AVC(高級視頻編碼)的4X4和8X8，并且包括用于HEVC(高效視頻編碼)的32X32。選擇部分110可按照例如待編碼圖像的大小或數(shù)量、設備的性能等選擇變換單位。由選擇部分110進行的變換單位的選擇可由開發(fā)設備的用戶手動調整。選擇部分110隨后把指定選擇的變換單位的大小的信息輸出給正交變換部分120、量化部分130、無損編碼部分16和逆量化部分21。
[0117](2)正交變換部分
[0118]正交變換部分120以選擇部分110所選變換單位為單位，對從減法部分供給的圖像數(shù)據(jù)(即，預測誤差數(shù)據(jù))進行正交變換。正交變換部分120進行的正交變換可以是例如離散余弦變換(DCT)、Karhunen-Loeve等等。正交變換部分120隨后把通過正交變換處理獲得的變換系數(shù)數(shù)據(jù)輸出給量化部分130。
[0119](3)量化部分
[0120]量化部分130利用與選擇部分110選擇的變換單位對應的量化矩陣，量化由正交變換部分120生成的變換系數(shù)數(shù)據(jù)。此外，量化部分130按照從速率控制部分18供給的速率控制信號，切換量化步長，從而改變待輸出的量化數(shù)據(jù)的比特率。
[0121]此外，量化部分130使分別對應于選擇部分110可選擇的多個變換單位之一的一組量化矩陣被保存在量化矩陣緩沖器140中。例如，和HEVC中一樣，如果存在4種候選的變換單位大小，即，4X4、8X8、16X16和32X32，那么分別對應于這4種大小之一的一組4個量化矩陣可被保存在量化矩陣緩沖器140中。注意，如果指定的量化矩陣被用于給定大小，那么指示該指定的量化矩陣被使用(用戶定義的量化矩陣不被使用)的標記可以與所述給定大小關聯(lián)地保存在量化矩陣緩沖器140中。
[0122]一般可以為編碼流的每個序列，設定可能被量化部分130使用的一組量化矩陣。量化部分130中逐個圖像地更新為每個序列設定的一組量化矩陣。用于控制一組量化矩陣的這種設定和更新的信息可被插入例如序列參數(shù)集和圖像參數(shù)集中。
[0123](4)量化矩陣緩沖器
[0124]量化矩陣緩沖器140利用諸如半導體存儲器之類的存儲介質，臨時保存分別對應于可由選擇部分110選擇的多個變換單位之一的一組量化矩陣。下面說明的矩陣處理部分150的處理參照保存在量化矩陣緩沖器140中的一組量化矩陣。
[0125](5)矩陣處理部分
[0126]矩陣處理部分150為編碼流的每個序列和為每個圖像，參照保存在量化矩陣緩沖器140中的量化矩陣的集合，并生成用于根據(jù)與一定大小的變換單位對應的量化矩陣，生成與一個或多個大小的另一個或其它變換單位對應的一個或多個量化矩陣的信息。量化矩陣的生成所基于的變換單位的大小一般可以是多個變換單位大小之中的最小大小。即，和HEVC中一樣，如果存在4種候選的變換單位大小，目卩，4\4、8\8、16父16和32X32，那么可以生成用于根據(jù)例如4X4量化矩陣，生成另一個大小的量化矩陣的信息。矩陣處理部分150生成的信息可包括例如后面說明的基礎矩陣信息和差分矩陣信息。隨后，矩陣處理部分150生成的信息被輸出給無損編碼部分16，并且可被插入編碼流的報頭中。
[0127]注意，這里主要說明了其中根據(jù)最小大小的量化矩陣，生成大小更大的量化矩陣的例子。不過，給出該例子并不是對本發(fā)明的限制，根據(jù)非最小大小的量化矩陣，可以生成大小更小的量化矩陣和/或大小更大的量化矩陣。
[0128][1-3.矩陣處理部分的詳細例證結構]
[0129]圖3是圖解說明圖2中圖解所示的正交變換/量化部分14的矩陣處理部分150的更詳細結構的例子的方框圖。參見圖3，矩陣處理部分150包括預測部分152和差分計算部分154。
[0130](I)預測部分
[0131]預測部分152獲得保存在量化矩陣緩沖器140中的量化矩陣的集合，并根據(jù)包含在獲得的集合中的第一量化矩陣，預測大小更大的第二量化矩陣(生成預測矩陣(也稱為預測量化矩陣))。
[0132]當根據(jù)4X4量化矩陣SLl生成預測矩陣PSL2時，預測部分152把生成的預測矩陣PSL2輸出給差分計算部分154。預測部分152還根據(jù)包含在量化矩陣的集合中的8X8量化矩陣SL2，預測例如16 X 16預測矩陣PSL3，并把預測矩陣PSL3輸出給差分計算部分154。預測部分152還根據(jù)包含在量化矩陣的集合中的16 X 16量化矩陣SL3，預測32X32預測矩陣PSL4，并把預測矩陣PSL4輸出給差分計算部分154。預測部分152還把指定預測矩陣PSL2、PSL3和PSL4的生成所基于的4X4量化矩陣SLl的基礎矩陣信息，輸出給無損編碼部分16。
[0133](2)差分計算部分
[0134]差分計算部分154計算分別表示從預測部分152輸入的預測矩陣PSL2、PSL3和PSL4和對應的量化矩陣SL2、SL3和SL4之間的差分(也稱為殘差)的差分矩陣(也稱為殘差矩陣)DSL2、DSL3和DSL4。
[0135]差分計算部分154隨后把指示差分矩陣DSL2、DSL3和DSL4的差分矩陣信息輸出給無損編碼部分16。
[0136]注意，如果指定的量化矩陣被用于給定大小，那么矩陣處理部分150只把指示使用指定的量化矩陣的標記發(fā)送給與對應大小關聯(lián)的無損編碼單元16，而不執(zhí)行給定大小的量化矩陣的預測，或者執(zhí)行差分計算。此外，如果預測矩陣和量化矩陣之間的差分為0，那么差分計算部分154可以只向無損編碼部分16輸出指示不存在差分的標記，而不是輸出差分矩陣信息。此外，如果在從一個圖像切換到另一個圖像的時候，量化矩陣未被更新，那么矩陣處理部分150可以只向無損編碼部分16輸出指示量化矩陣未被更新的標記。
[0137][1-4.矩陣處理部分的詳細例證結構]
[0138]圖4是圖解說明矩陣處理部分150的更詳細例證結構的方框圖。參見圖4，矩陣處理部分150包括預測部分161、差分矩陣生成部分162、差分矩陣大小變換部分63、熵編碼部分164、解碼部分165和輸出部分166。
[0139]本技術的重要特征如下。在編碼器側，對于較大大小(例如，32X32)的量化矩陣，生成并傳送大小較小(例如，16X16)的殘差矩陣(殘差信號)。在解碼器側，所述大小較小的殘差矩陣被放大(“上采樣”)，隨后被加入預測量化矩陣中。
[0140]可以構思以下方案。
[0141]方案1:
[0142]其中傳送充當閾值的最大量化矩陣，并為更大的大小進行上采樣的方案。這種方案能夠減少使用的存儲器，因為能夠指定解碼器保持的最大量化矩陣。這種情況下，可以從編碼器側傳送指示最大大小的識別信息，并在解碼器側使用。另外，可以按照在標準中定義的等級或規(guī)格，指定最大大小(例如，對于更聞的規(guī)格或等級，指定更大的大小)。
[0143]方案2:
[0144]為每個量化矩陣，傳送指示是否上采樣的識別信息，和待上采樣的層。這種方案可以用作壓縮的例證應用，盡管在不進行上采樣的情況下，這種方案使得解碼器必須支持最大大小的量化矩陣。
[0145]預測部分161生成預測矩陣。如圖4中圖解所示，預測部分161包括復制部分171和預測矩陣生成部分172。
[0146]在復制模式下，復制部分171創(chuàng)建在先傳送的量化矩陣的副本，并利用該副本作為預測矩陣(或者預測待處理的正交變換單位的量化矩陣)。更具體地，復制部分171從解碼部分165中的存儲部分202，獲得在先傳送的量化矩陣的大小和列表ID。所述大小是指示量化矩陣的大小(例如，4X4?32X32等)的信息。列表ID是指示待量化的預測誤差數(shù)據(jù)的種類的信息。
[0147]例如，列表ID包括指示量化對象是利用幀內預測的預測圖像生成的亮度分量的預測誤差數(shù)據(jù)(Intra Luma)，利用幀內預測的預測圖像生成的色差分量(Cr)的預測誤差數(shù)據(jù)(Intra Cr)，利用幀內預測的預測圖像生成的色差分量(Cb)的預測誤差數(shù)據(jù)(IntraCb)，或者利用幀間預測的預測圖像生成的亮度分量的預測誤差數(shù)據(jù)(Inter Luma)的識別信息。
[0148]復制部分171選擇大小和輸入矩陣處理部分150的量化矩陣(待處理的正交變換單位的量化矩陣)相同的在先傳送的量化矩陣，作為復制源量化矩陣，并把復制源量化矩陣的列表ID輸出給輸出部分166，以把列表ID輸出給在矩陣處理部分150之外的部分(無損編碼部分16和逆量化部分21)。即，在這種情況下，只有列表ID被傳送給解碼器側(被包含在編碼數(shù)據(jù)中)，作為指示利用在先傳送的量化矩陣的副本生成的預測矩陣的信息。因而，圖像編碼設備10能夠抑制量化矩陣的編碼量的增大。
[0149]此外，在正常情況下，預測矩陣生成部分172從解碼部分165中的存儲部分202，獲得在先傳送的量化矩陣，并利用該量化矩陣，生成預測矩陣(預測待處理的正交變換單位的量化矩陣)。預測矩陣生成部分172把生成的預測矩陣提供給差分矩陣生成部分162。
[0150]差分矩陣生成部分162生成差分矩陣(殘差矩陣)，差分矩陣是從預測部分161 (預測矩陣生成部分172)供給的預測矩陣和輸入矩陣處理部分150的量化矩陣之間的差分。如圖4中圖解所示，差分矩陣生成部分162包括預測矩陣大小變換部分181、計算部分182和量化部分183。
[0151]預測矩陣大小變換部分181變換(下面也稱為轉換)從預測矩陣生成部分172供給的預測矩陣的大小，以便匹配輸入矩陣處理部分150的量化矩陣的大小。
[0152]例如，如果預測矩陣的大小大于量化矩陣的大小，那么預測矩陣大小變換部分181減小預測矩陣的大小(下面也稱為向下轉換)。更具體地，例如，當預測矩陣具有16X16的大小，而量化矩陣具有8X8的大小時，預測矩陣大小變換部分181把預測矩陣向下轉換成8X8預測矩陣。注意，可以使用任何向下轉換方法。例如，預測矩陣大小變換部分181可以利用濾波器，(通過計算)減小(下面也稱為下采樣)預測矩陣中的元素的數(shù)目。另一方面，預測矩陣大小變換部分181也可以通過例如如圖5中圖解所示，間除一些元素(例如，二維元素中的僅僅偶數(shù)編號的元素(圖5中的黑色元素))，而不利用濾波器，減少預測矩陣中的元素的數(shù)目(下面也稱為子采樣)。
[0153]此外，例如，如果預測矩陣的大小小于量化矩陣的大小，那么預測矩陣大小變換部分181增大預測矩陣的大小(下面也稱為向上轉換)。更具體地，例如，當預測矩陣具有8X8的大小，而量化矩陣具有16X16的大小時，預測矩陣大小變換部分181把預測矩陣向上轉換成16X16預測矩陣。注意，可以使用任何向上轉換方法。例如，預測矩陣大小變換部分181可以利用濾波器，(通過進行計算)增大(下面也稱為上采樣)預測矩陣中的元素的數(shù)目。另一方面，預測矩陣大小變換部分181也可以通過例如創(chuàng)建預測矩陣中的各個元素的副本，而不利用濾波器，增大預測矩陣中的元素的數(shù)目(下面也稱為逆子采樣)。
[0154]預測矩陣大小變換部分181把其大小已被調整，以致與量化矩陣的大小匹配的預測矩陣提供給計算部分182。
[0155]計算部分182從供給自預測矩陣大小變換部分181的預測矩陣中，減去輸入矩陣處理部分150的量化矩陣，從而生成差分矩陣(殘差矩陣)。計算部分182把計算的差分矩陣提供給量化部分183。
[0156]量化部分183量化從計算部分182供給的差分矩陣。量化部分183把量化結果提供給差分矩陣大小變換部分163。量化部分183還把用于量化的信息，比如量化參數(shù)，提供給輸出部分166，以把該信息輸出給在矩陣處理部分150外的部分(無損編碼部分16和逆量化部分21)。注意，量化部分183可被省略(即，不一定進行差分矩陣的量化)。
[0157]如果需要，那么差分矩陣大小變換部分163把從差分矩陣生成部分162(量化部分183)供給的差分矩陣(量化數(shù)據(jù))的大小轉換成小于或等于允許傳輸?shù)淖畲蟠笮?下面也稱為傳輸大小)的大小。所述最大大小是任意的，例如可以是8X8。
[0158]從圖像編碼設備10輸出的編碼數(shù)據(jù)經(jīng)例如傳輸路徑或存儲介質，被傳送給對應于圖像編碼設備10的圖像解碼設備，并由所述圖像解碼設備解碼。在所述傳輸期間，即，在從圖像編碼設備10輸出的編碼數(shù)據(jù)中的差分矩陣(量化數(shù)據(jù))的大小(最大大小)的上限是在圖像編碼設備10中設定的。
[0159]如果差分矩陣的大小大于最大大小,那么差分矩陣大小變換部分163向下轉換差分矩陣，以致差分矩陣的大小變成小于或等于最大大小。
[0160]注意，類似于上面說明的預測矩陣的向下轉換，可以利用任何方法，進行這種向下轉換。例如，可以利用濾波器等，進行下采樣，或者可以進行涉及間除元素的子采樣。
[0161]向下轉換的差分矩陣可具有小于最大大小的任意大小。不過,通常,轉換前后的大小之差越大，誤差越大。從而，差分矩陣最好被向下轉換到最大大小。
[0162]差分矩陣大小變換部分163把向下轉換的差分矩陣提供給熵編碼部分164。注意，如果差分矩陣具有小于最大大小的大小，那么向下轉換不是必需的，于是差分矩陣大小變換部分163把輸入的差分矩陣按照原樣提供給熵編碼部分164 (即，差分矩陣的向下轉換被省略)。
[0163]熵編碼部分164利用預定方法，對從差分矩陣大小變換部分163供給的差分矩陣(量化數(shù)據(jù))編碼。如圖4中圖解所示，熵編碼部分164包括重復判定部分(135°部分)191、DPCM (差分脈碼調制)部分192和exp-G部分193。
[0164]重復判定部分191判定從差分矩陣大小變換部分163供給的差分矩陣的對稱性。如果殘差代表135°對稱矩陣，那么例如，如圖6中圖解所示，重復判定部分191除去作為重復數(shù)據(jù)的對稱部分的數(shù)據(jù)(矩陣元素)。如果殘差不代表135°對稱矩陣，那么重復判定部分191省略數(shù)據(jù)(矩陣元素)的除去。如果需要，重復判定部分191把已從中除去對稱部分的差分矩陣的數(shù)據(jù)提供給DPCM部分192。
[0165]如果需要，DPCM部分192對從重復判定部分191供給的已從中除去對稱部分的差分矩陣的數(shù)據(jù)進行DPCM編碼，從而生成DPCM數(shù)據(jù)。DPCM部分192把生成的DPCM數(shù)據(jù)提供給exp-G部分193。
[0166]exp-G部分193對從DPCM部分192供給的DPCM數(shù)據(jù)，進行有符號或無符號的指數(shù)Golomb編碼(下面也稱為擴展Golomb碼)。exp-G部分193把編碼結果提供給解碼部分165和輸出部分166。
[0167]解碼部分165從供給自exp-G部分193的數(shù)據(jù)，復原量化矩陣。解碼部分165把關于復原的量化矩陣的信息提供給預測部分161，作為在先傳送的量化矩陣。
[0168]如圖4中圖解所示，解碼部分165包括量化矩陣復原部分201和存儲部分202。
[0169]量化矩陣復原部分201解碼從熵編碼部分164 (exp-G部分193)供給的擴展Golomb碼，以復原待輸入矩陣處理部分150的量化矩陣。例如，量化矩陣復原部分201通過利用與熵編碼部分164的編碼方法對應的方法，解碼擴展Golomb碼，進行與差分矩陣大小變換部分163進行的大小變換相反的變換,進行與量化部分183進行的量化對應的逆量化，并從預測矩陣中減去獲得的差分矩陣，復原量化矩陣。
[0170]量化矩陣復原部分201把復原的量化矩陣提供給存儲部分202，并把復原的量化矩陣與該量化矩陣的大小和列表ID關聯(lián)地保存在存儲部分202中。
[0171]存儲部分202保存關于從量化矩陣復原部分201供給的量化矩陣的信息。關于保存在存儲部分202中的量化矩陣的信息被用于生成稍后處理的其它正交變換單位的預測矩陣。即，存儲部分202把保存的關于量化矩陣的信息作為關于在先傳送的量化矩陣的信息，提供給預測部分161。
[0172]注意，代替保存關于復原的量化矩陣的信息，存儲部分202可以與輸入矩陣處理部分150的量化矩陣的大小和列表ID關聯(lián)地保存所述輸入的量化矩陣。這種情況下，量化矩陣復原部分201可被省略。
[0173]輸出部分166把供給的各種信息提供給在矩陣處理部分150之外的各個部分。例如，在復制模式下，輸出部分166把從復制部分171供給的預測矩陣的列表ID提供給無損編碼部分16和逆量化部分21。此外，例如，在正常情況下，輸出部分166把從exp-G部分193供給的擴展Golomb碼和從量化部分183供給的量化參數(shù)，提供給無損編碼部分16和逆量化部分21。
[0174]輸出部分166還把指示量化矩陣(量化矩陣和其預測矩陣之間的差分矩陣)的允許傳輸?shù)淖畲蟠笮?傳輸大小)的識別信息，提供給無損編碼部分16，作為用于在解碼器側生成量化矩陣的信息。如上所述，無損編碼部分16創(chuàng)建包含用于生成量化矩陣的信息的編碼流，并把該編碼流提供給解碼器側。注意，可預先按等級、規(guī)格等，指定指示傳輸大小的識別信息。這種情況下，在編碼器側的設備和解碼器側的設備之間，預先共享關于傳輸大小的信息。從而，可以省略上面說明的識別信息的傳輸。
[0175]如上所述，矩陣處理部分150向下轉換待傳送的量化矩陣(差分矩陣)，以把量化矩陣的大小減小到小于或等于傳輸大小的大小。因而，圖像編碼設備10能夠抑制量化矩陣的編碼量的增大。
[0176][1-5.量化矩陣編碼處理的流程]
[0177]下面，參考圖7中圖解所示的流程圖，說明由圖4中圖解所示的矩陣處理部分150執(zhí)行的量化矩陣編碼處理的流程的例子。
[0178]當開始量化矩陣編碼處理時，在步驟S101，預測部分161獲得作為待處理的正交變換單位的當前區(qū)域(也稱為關注區(qū)域)的量化矩陣。
[0179]在步驟S102，預測部分161判定當前模式是否是復制模式。如果判定當前模式不是復制模式，那么預測部分161使處理進入步驟S103。
[0180]在步驟S103，預測矩陣生成部分172從存儲部分202獲得在先傳送的量化矩陣，并利用該量化矩陣生成預測矩陣。
[0181]在步驟S104，預測矩陣大小變換部分181判定在步驟S103中生成的預測矩陣的大小是否不同于在步驟SlOl中獲得的當前區(qū)域(關注區(qū)域)的量化矩陣的大小。如果判定兩個大小不同，那么預測矩陣大小變換部分181使處理進入步驟S105。
[0182]在步驟S105，預測矩陣大小變換部分181把在步驟S103中生成的預測矩陣的大小轉換成在步驟SlOl中獲得的當前區(qū)域的矩陣的大小。
[0183]當步驟S105的處理完成時，預測矩陣大小變換部分181使處理進入步驟S106。如果在步驟S104，判定預測矩陣的大小和量化矩陣的大小相同，那么預測矩陣大小變換部分181使處理進入步驟S106，同時省略步驟S105的處理(不進行步驟S105的處理)。
[0184]在步驟S106，計算部分182從預測矩陣中減去量化矩陣，從而計算預測矩陣和量化矩陣之間的差分矩陣。
[0185]在步驟S107，量化部分183量化在步驟S106中生成的差分矩陣。注意該處理可被省略。
[0186]在步驟S108，差分矩陣大小變換部分163判定量化的差分矩陣的大小是否大于傳輸大小(允許傳輸?shù)淖畲蟠笮?。如果判定量化的差分矩陣的大小大于傳輸大小，那么差分矩陣大小變換部分163使處理進入步驟S109，并把差分矩陣向下轉換成傳輸大小或更小。
[0187]當完成步驟S109的處理時，差分矩陣大小變換部分163使處理進入步驟S110。另外，如果在步驟S108，判定量化的差分矩陣的大小小于或等于傳輸大小，那么差分矩陣大小變換部分163使處理進入步驟SI 10，同時省略步驟S109的處理(不進行步驟S109的處理)。
[0188]在步驟S110，重復判定部分191判定量化的差分矩陣是否有135°對稱性。如果判定量化的差分矩陣具有135°對稱性，那么重復判定部分191使處理進入步驟S111。
[0189]在步驟S111，重復判定部分191除去量化的差分矩陣中的重復部分(重復數(shù)據(jù))。在除去重復數(shù)據(jù)之后，重復判定部分191使處理進入步驟S112。
[0190]如果在步驟S110，判定量化的差分矩陣沒有135°對稱性，那么重復判定部分191使處理進入步驟S112，同時省略步驟Slll的處理(不進行步驟Slll的處理)。
[0191]在步驟S112，如果需要，DPCM部分192對從中除去重復部分的差分矩陣進行DPCM編碼。
[0192]在步驟S113，exp-G部分193判定在步驟S112中生成的DPCM數(shù)據(jù)是否具有正符號或負符號。如果判定存在這樣的符號，那么exp-G部分193使處理進入步驟S114。
[0193]在步驟S114，exp-G部分193對DPCM數(shù)據(jù)，進行有符號的擴展Golomb編碼。輸出部分166把生成的擴展Golomb碼輸出給無損編碼部分16和逆量化部分21。當步驟S114的處理結束時，exp-G部分193使處理進入步驟S116。
[0194]此外，如果在步驟S113判定符號不存在，那么exp-G部分193使處理進入步驟S115。
[0195]在步驟S115，exp-G部分193對DPCM數(shù)據(jù)進行無符號的擴展Golomb編碼。輸出部分166把生成的擴展Golomb碼輸出給無損編碼部分16和逆量化部分21。當步驟S115的處理結束時，exp-G部分193使處理進入步驟S116。
[0196]如果在步驟S102，判定當前模式是復制模式，那么復制部分171創(chuàng)建在先傳送的量化矩陣的副本，并利用所述副本作為預測矩陣。輸出部分166把對應于預測矩陣的列表ID輸出給無損編碼部分16和逆量化部分21，作為指示預測矩陣的信息。隨后，復制部分171使處理進入步驟S116。
[0197]在步驟S116，量化矩陣復原部分201復原量化矩陣。在步驟S117，存儲部分202保存在步驟S116中復原的量化矩陣。
[0198]當步驟S117的處理結束時，矩陣處理部分150使量化矩陣編碼處理結束。
[0199]矩陣處理部分150按上述方式進行處理。因而，圖像編碼設備10能夠抑制量化矩陣的編碼量的增大。
[0200][1-6.語法]
[0201]圖8-圖13是圖解說明在應用本技術的情況下的語法的例子。如圖8-圖13中圖解所示，例如，關于量化矩陣的各種參數(shù)和標記被添加到編碼數(shù)據(jù)中，并被傳送給解碼器偵U。注意，可在編碼數(shù)據(jù)中的任意位置添加這些信息。另外，可以獨立于編碼數(shù)據(jù)地把這些信息傳送給解碼器側。
[0202][1-7.量化位階]
[0203]這里，將說明圖12中圖解說明的第一?第四量化位階。指定4種量化位階(QscaleO、Qscale1、Qscale2、Qscale3)。這些量化位階是可用于對量化矩陣中的各個元素的值進行量化，以減小編碼量的參數(shù)。
[0204]更具體地,例如，為8X8量化矩陣定義圖14和圖15中圖解所示的4個量化位階設定區(qū)域Al?A4。量化位階設定區(qū)域Al是用于對應于包括DC分量的低頻信號的元素組的區(qū)域。
[0205]量化位階設定區(qū)域A2和A3都是用于對應于中頻信號的元素組的區(qū)域。量化位階設定區(qū)域A4是用于對應于高頻信號的元素組的區(qū)域。可為每個上述區(qū)域，設定用于對量化矩陣中的元素的值進行量化的量化位階。
[0206]例如，參見圖15，關于量化位階設定區(qū)域Al的第一量化位階(QscaleO)等于“I”。這意味關于對應于低頻信號的元素組的量化矩陣的值不被量化。
[0207]相反，關于量化位階設定區(qū)域A2的第二量化位階(Qscalel)等于“2”。關于量化位階設定區(qū)域A3的第三量化位階(Qscale2)等于“3”。關于量化位階設定區(qū)域A4的第四量化位階(Qscale4)等于“4”。量化位階越大，量化引起的誤差的數(shù)越大。
[0208]不過通常，在高頻信號中，某種程度允許誤差。在理想的是獲得高編碼效率的情況下，用于量化矩陣的量化的如上的量化位階的設定可有效地減小量化矩陣的定義所需要的編碼量，而不會顯著惡化圖像質量。
[0209]注意，圖14和圖15中圖解所示的量化位階設定區(qū)域的配置只是一個例子。例如，可以為每個量化矩陣大小定義不同數(shù)目的量化位階設定區(qū)域(例如，大小越大，就可以定義越多的量化位階設定區(qū)域)。
[0210]此外，量化位階設定區(qū)域之間的邊界的位置并不局限于圖14中圖解所示的例子中的那些位置。通常，把量化矩陣變換成一維陣列的掃描模式是Z字形掃描。因此，最好使用如圖14中圖解所示的沿著從右上角到左下角延伸的區(qū)域邊界。
[0211]不過，按照量化矩陣中的元素之間的相關性、使用的掃描模式等，也可以使用沿垂直方向或水平方向延伸的區(qū)域邊界。即，可成任意角度地傾斜區(qū)域邊界，并且可從多個候選者中選擇成期望角度傾斜的模式。另外，可以依據(jù)編碼效率自適應地選擇量化位階設定區(qū)域的配置(區(qū)域的數(shù)目以及邊界的位置、傾斜等)。例如，當定義幾乎扁平的量化矩陣時，可以選擇數(shù)目較少的量化位階設定區(qū)域。
[0212]下面，說明按照本公開的實施例的圖像解碼設備的例證結構。
[0213][1-8.圖像解碼設備的例證整體結構]
[0214]圖16是圖解說明按照本公開的實施例的圖像解碼設備300的結構例子的方框圖。圖16中圖解所示的圖像解碼設備300是應用本技術的、用于對圖像編碼設備10生成的編碼數(shù)據(jù)解碼的圖像處理設備。參見圖16，圖像解碼設備300包括累積緩沖器311、無損解碼部分312、逆量化/逆正交變換部分313、加法部分315、解塊濾波器316、重排緩沖器317、D/A(數(shù)-模)轉換部分318、幀存儲器319、選擇器320和321、幀內預測部分330和運動補償部分340。
[0215]累積緩沖器311利用存儲介質，臨時保存經(jīng)傳輸路徑輸入的編碼流。
[0216]無損解碼部分312按照用于編碼的編碼方案，解碼從累積緩沖器311輸入的編碼流。另外，無損解碼部分312解碼在編碼流的報頭區(qū)中復用的信息。在編碼流的報頭區(qū)中復用的信息例如可包括用于生成量化矩陣的上述基礎矩陣信息和差分矩陣信息，以及包含在塊報頭中的關于幀內預測的信息和關于幀間預測的信息。無損解碼部分312把解碼的量化數(shù)據(jù)和解碼的用于生成量化矩陣的信息，輸出給逆量化/逆正交變換部分313。無損解碼部分312還把關于幀內預測的信息輸出給幀內預測部分330。另外，無損解碼部分312把關于幀間預測的信息輸出給運動補償部分340。
[0217]逆量化/逆正交變換部分313對從無損解碼部分312輸入的量化數(shù)據(jù)進行逆量化和逆正交變換，從而生成預測誤差數(shù)據(jù)。逆量化/逆正交變換部分313隨后把生成的預測誤差數(shù)據(jù)輸出給加法部分315。
[0218]加法部分315相加從逆量化/逆正交變換部分313輸入的預測誤差數(shù)據(jù)和從選擇器321輸入的預測圖像數(shù)據(jù)，從而生成解碼圖像數(shù)據(jù)。隨后，加法部分315把生成的解碼圖像數(shù)據(jù)輸出給解塊濾波器316和幀存儲器319。
[0219]解塊濾波器316對從加法部分315輸入的解碼圖像數(shù)據(jù)濾波，從而消除塊效應，并把濾波后的解碼圖像數(shù)據(jù)輸出給重排緩沖器317和幀存儲器319。
[0220]重排緩沖器317重排從解塊濾波器316輸入的圖像，從而生成時序圖像數(shù)據(jù)序列。隨后，重排緩沖器317把生成的圖像數(shù)據(jù)輸出給D/A轉換部分318。
[0221]D/A轉換部分318把從重排緩沖器317輸入的數(shù)字圖像數(shù)據(jù)轉換成模擬圖像信號。隨后，D/A轉換部分318把模擬圖像信號輸出給例如連接到圖像解碼設備300的顯示器(未示出)，以顯示圖像。
[0222]幀存儲器319利用存儲介質，保存從加法部分315輸入的待濾波的解碼圖像數(shù)據(jù)和從解塊濾波器316輸入的濾波后的解碼圖像數(shù)據(jù)。
[0223]選擇器320按照無損解碼部分312獲得的模式信息，為圖像中的每個塊，在幀內預測部分330和運動補償部分340之間，切換從幀存儲器319供給的圖像數(shù)據(jù)將被輸出到的目的地。例如，如果指定幀內預測模式，那么選擇器320把從幀存儲器319供給的待濾波的解碼圖像數(shù)據(jù)，作為參考圖像數(shù)據(jù)輸出給幀內預測部分330。另外，如果指定幀間預測模式，那么選擇器320把從幀存儲器319供給的濾波后的解碼圖像數(shù)據(jù)，作為參考圖像數(shù)據(jù)輸出給運動補償部分340。
[0224]選擇器321按照無損解碼部分312獲得的模式信息，為圖像中的每個塊，在幀內預測部分330和運動補償部分340之間，切換待供給加法部分315的預測圖像數(shù)據(jù)的輸出源。例如，如果指定幀內預測模式，那么選擇器321把從幀內預測部分330輸出的預測圖像數(shù)據(jù)提供給加法部分315。如果指定幀間預測模式，那么選擇器321把從運動補償部分340輸出的預測圖像數(shù)據(jù)提供給加法部分315。
[0225]幀內預測部分330根據(jù)從無損解碼部分312輸入的關于幀內預測的信息和從幀存儲器319供給的參考圖像數(shù)據(jù)，進行像素值的畫面內預測，從而生成預測圖像數(shù)據(jù)。隨后，幀內預測部分330把生成的預測圖像數(shù)據(jù)輸出給選擇器321。
[0226]運動補償部分340根據(jù)從無損解碼部分312輸入的關于幀間預測的信息和從幀存儲器319供給的參考圖像數(shù)據(jù)，進行運動補償處理，從而生成預測圖像數(shù)據(jù)。隨后，運動補償部分340把生成的預測圖像數(shù)據(jù)輸出給選擇器321。
[0227][1-9.逆量化/逆正交變換部分的例證結構]
[0228]圖17是圖解說明圖16中圖解所示的圖像解碼設備300的逆量化/逆正交變換部分313的主要結構的例子的方框圖。參見圖17，逆量化/逆正交變換部分313包括矩陣生成部分410、選擇部分430、逆量化部分440和逆正交變換部分450。
[0229](I)矩陣生成部分
[0230]對于編碼流的每個序列和對于每個圖像，矩陣生成部分410根據(jù)與一定大小的變換單位對應的量化矩陣，生成與一種或多種大小的另一個或其它變換單位對應的一個或多個量化矩陣。量化矩陣的生成所基于的變換單位的大小一般可以是變換單位的多種大小之中的最小大小。在這個實施例中，矩陣生成部分410利用關于大于4X4的大小的差分矩陣信息，根據(jù)最小大小的4X4量化矩陣，生成8X8、16X 16和32X32量化矩陣。
[0231]⑵選擇部分
[0232]選擇部分430從具有不同大小的多個變換單位中，選擇用于待解碼的圖像數(shù)據(jù)的逆正交變換的變換單位(TU)。例如，選擇部分430可選擇的變換單位的候選大小包括對H.264/AVC來說的4 X 4和8 X 8，包括對HEVC來說的4 X 4、8 X 8、16 X 16和32 X 32。選擇部分430可根據(jù)例如包含在編碼流的報頭中的IXU、S⑶和split_flag，選擇變換單位。選擇部分430隨后把指定所選變換單位的大小的信息輸出給逆量化部分440和逆正交變換部分450。
[0233](3)逆量化部分
[0234]逆量化部分440利用與選擇部分430選擇的變換單位對應的量化矩陣，逆量化在圖像被編碼時量化的系數(shù)數(shù)據(jù)。這里用于逆量化處理的量化矩陣包括由矩陣生成部分410生成的矩陣。例如，如果選擇部分430選擇具有8X8、16X 16或32X32大小的變換單位，那么由矩陣生成部分410根據(jù)4X4量化矩陣生成的量化矩陣可被用作與選擇的變換單位對應的量化矩陣。逆量化部分440隨后把經(jīng)逆量化的變換系數(shù)數(shù)據(jù)，輸出給逆正交變換部分 450。
[0235](4)逆正交變換部分
[0236]逆正交變換部分450按照用于編碼的正交變換方案，利用選擇的變換單位，對逆量化部分440逆量化的變換系數(shù)數(shù)據(jù)進行逆正交變換，從而生成預測誤差數(shù)據(jù)。逆正交變換部分450隨后把生成的預測誤差數(shù)據(jù)輸出給加法部分315。
[0237][1-10.矩陣生成部分的例證結構]
[0238]圖18是圖解說明圖17中圖解所示的逆量化/逆正交變換部分313的矩陣生成部分410的更詳細結構的例子的方框圖。參見圖18，矩陣生成部分410包括基礎矩陣獲取部分512、差分獲取部分514、預測部分516、重構部分518和量化矩陣緩沖器520。
[0239](I)基礎矩陣獲取部分
[0240]基礎矩陣獲取部分512獲得從無損解碼部分312輸入的基礎矩陣信息。在這個實施例中，如上所述，基礎矩陣信息例如是指定具有最小大小的4X4(或8X8)量化矩陣SLl的信息。隨后，基礎矩陣獲取部分512使利用獲得的基礎矩陣信息的指定的4X4量化矩陣SLl被保存在量化矩陣緩沖器520中。注意，如果對于每個序列或每個圖像獲得的矩陣種類標記等于“0”，那么基礎矩陣獲取部分512使指定的4X4量化矩陣被保存在量化矩陣緩沖器520中，而不獲得基礎矩陣信息。此外，如果對于每個圖像獲得的更新標記等于“0”，那么基礎矩陣獲取部分512不更新在在先的處理中保存在量化矩陣緩沖器520中的量化矩陣SL1?；A矩陣獲取部分512隨后把4X4量化矩陣SLl輸出給預測部分516。
[0241](2)差分獲取部分
[0242]差分獲取部分514獲得從無損解碼部分312輸入的差分矩陣信息(殘差矩陣信息)。在這個實施例中，如上所述，差分矩陣信息是指定分別表示根據(jù)4X4量化矩陣SLl預測的預測矩陣PSL2、PSL3和PSL4與量化矩陣SL2、SL3和SL4之間的差分的差分矩陣DSL2、DSL3和DSL4的信息。差分獲取部分514把利用差分矩陣信息指定的差分矩陣DSL2、DSL3和DSL4輸出給重構部分518。注意，如果對于每個序列或每個圖像獲得的矩陣種類標記等于“O”或者差分標記等于“0”，那么差分獲取部分514把對應大小的差分矩陣設定為0，而不獲得差分矩陣信息。此外，如果對于每個圖像獲得的更新標記等于“0”，那么差分獲取部分514不輸出關于對應大小的差分矩陣。
[0243](3)預測部分
[0244]預測部分516根據(jù)從基礎矩陣獲取部分512輸入的基礎矩陣，即，在本實施例中，根據(jù)4X4量化矩陣SLl，計算具有更大大小的8X8預測矩陣PSL2。預測部分516還根據(jù)利用計算的8X8預測矩陣PSL2由重構部分518重構的量化矩陣SL2，計算16X16預測矩陣PSL3。預測部分516還根據(jù)利用計算的16X 16預測矩陣PSL3由重構部分518重構的量化矩陣SL3，計算32 X 32預測矩陣PSL4。預測部分516把預測矩陣PSL2、PSL3和PLS4輸出給重構部分518。注意，預測部分516不為其矩陣種類標記等于“O”的大小生成預測矩陣，而是利用指定的量化矩陣計算更大大小的預測矩陣。此外，基礎矩陣獲取部分512也不為其更新標記等于“O”的大小生成預測矩陣，而是利用在在先的處理中生成的量化矩陣計算更大大小的預測矩陣。
[0245]⑷重構部分
[0246]重構部分518相加從預測部分516輸入的預測矩陣PSL2、PSL3和PSL4，和從差分獲取部分514輸入的差分矩陣DSL2、DSL3和DSL4，以分別重構量化矩陣SL2、SL3和SL4。
[0247]隨后，重構部分518使重構的8 X 8，16 X 16和32 X 32量化矩陣SL2，SL3和SL4被保存在量化矩陣緩沖器520中。注意，如果對于每個序列或每個圖像獲得的矩陣種類標記等于“0”，那么重構部分518使指定的量化矩陣被保存在量化矩陣緩沖器520中，作為對應大小的量化矩陣。此外，如果對于每個圖像獲得的更新標記等于“0”，那么基礎矩陣獲取部分512不更新在在先的處理中保存在量化矩陣緩沖器520中的具有對應大小的量化矩陣SL2, SL3 和 SL4。
[0248](5)量化矩陣緩沖器
[0249]量化矩陣緩沖器520臨時保存由基礎矩陣獲取部分512指定的量化矩陣SLl和由重構部分518重構的量化矩陣SL2、SL3和SL4。保存在量化矩陣緩沖器520中的量化矩陣SL1、SL2、SL3和SL4被逆量化部分440用于對量化的變換系數(shù)數(shù)據(jù)進行逆量化處理。
[0250][1-11.矩陣生成部分的詳細例證結構]
[0251]圖19是圖解說明圖18中圖解所示的矩陣生成部分410的更詳細結構的例子的方框圖。參見圖19，矩陣生成部分410包括參數(shù)分析部分531、預測部分532、熵解碼部分533、量化矩陣復原部分534、輸出部分535和存儲部分536。
[0252]參數(shù)分析部分531分析從無損解碼部分312供給的與量化矩陣相關的各種標記和參數(shù)。按照分析結果，參數(shù)分析部分531把從無損解碼部分312供給的各種信息，比如差分矩陣的編碼數(shù)據(jù)，提供給預測部分532或熵解碼部分533。
[0253]例如，如果pred_mode等于O,那么參數(shù)分析部分531判定當前模式是復制模式，把pred_matrix_id_delta提供給復制部分541。此外，例如，如果pred_mode等于I,那么參數(shù)分析部分531判定當前模式是全掃描模式(正常情況)，并把pred_matrix_id_delta和pred_size_id_delta提供給預測矩陣生成部分542。
[0254]此外,例如，如果residual_flag為真，那么參數(shù)分析部分531把從無損解碼部分312提供的量化矩陣的編碼數(shù)據(jù)(擴展Golomb碼)提供給熵解碼部分533的exp-G部分551 ο參數(shù)分析部分531還把residual_symmetry_f lag提供給exp-G部分551。
[0255]此外，參數(shù)分析部分531把residual_down_sampling_flag提供給量化矩陣復原部分534的差分矩陣大小變換部分562。
[0256]預測部分532按照參數(shù)分析部分531的控制生成預測矩陣。如圖19中圖解所示，預測部分532包括復制部分541和預測矩陣生成部分542。
[0257]在復制模式下，復制部分541創(chuàng)建在先傳送的量化矩陣的副本，并利用該副本作為預測矩陣。更具體地，復制部分541從存儲部分536讀取對應于pred_matrix_id_delta并且大小和當前區(qū)域的量化矩陣相同的在先傳送的量化矩陣，利用讀取的量化矩陣作為預測圖像，并把預測圖像提供給輸出部分535。
[0258]在正常情況下，預測矩陣生成部分542利用在先傳送的量化矩陣，生成(預測)預測矩陣。更具體地，預測矩陣生成部分542從存儲部分536讀取與pred_matrix_id_delta和pred_size_id_delta對應的在先傳送的量化矩陣,并利用讀取的量化矩陣，生成預測矩陣。換句話說，預測矩陣生成部分542生成與圖像編碼設備10的預測矩陣生成部分172 (圖4)生成的預測矩陣類似的預測矩陣。預測矩陣生成部分542把生成的預測矩陣提供給量化矩陣復原部分534的預測矩陣大小變換部分561。
[0259]熵解碼部分533從供給自參數(shù)分析部分531的擴展Golomb碼，復原差分矩陣。如圖19中圖解所示，熵解碼部分533包括exp-G部分551、逆DPCM部分552和逆重復判定部分 553。
[0260]exp-G部分551進行有符號或無符號的指數(shù)Golomb解碼(下面，也稱為擴展Golomb解碼),以復原DPCM數(shù)據(jù)。exp-G部分551把復原的DPCM數(shù)據(jù)，連同residual_symmetry_f lag 一起提供給逆 DPCM 部分 552。
[0261 ] 逆DPCM部分552對已從中除去重復部分的數(shù)據(jù)，進行DPCM解碼，從而根據(jù)DPCM數(shù)據(jù)生成殘差數(shù)據(jù)。逆DPCM部分552把生成的殘差數(shù)據(jù)，連同residual_symmetry_flag —起提供給逆重復判定部分553。
[0262]如果residual_symmetry_flag為真，即，如果殘差數(shù)據(jù)是已從中除去重復對稱部分的數(shù)據(jù)(矩陣元素)的135°對稱矩陣的剩余部分，那么逆重復判定部分553復原對稱部分的數(shù)據(jù)。換句話說，135°對稱矩陣的差分矩陣被復原。注意,如果residual_symmetry_flag不為真，S卩，如果殘差數(shù)據(jù)代表不是135°對稱矩陣的矩陣，那么逆重復判定部分553利用殘差數(shù)據(jù)作為差分矩陣，而不復原對稱部分的數(shù)據(jù)。逆重復判定部分553把按照上述方式復原的差分矩陣提供給量化矩陣復原部分534 (差分矩陣大小變換部分562)。
[0263]量化矩陣復原部分534復原量化矩陣。如圖19中圖解所示，量化矩陣復原部分534包括預測矩陣大小變換部分561，差分矩陣大小變換部分562、逆量化部分563和計算部分 564。
[0264]如果從預測部分532 (預測矩陣生成部分542)供給的預測矩陣的大小不同于當前區(qū)域的復原的量化矩陣的大小，那么預測矩陣大小變換部分561轉換預測矩陣的大小。
[0265]例如，如果預測矩陣的大小大于量化矩陣的大小，那么預測矩陣大小變換部分561向下轉換預測矩陣。此外，例如，如果預測矩陣的大小小于量化矩陣的大小，那么預測矩陣大小變換部分561向上轉換預測矩陣。選擇和圖像編碼設備10的預測矩陣大小變換部分181 (圖4)的轉換方法相同的轉換方法。
[0266]預測矩陣大小變換部分561把已使其大小和量化矩陣的大小匹配的預測矩陣提供給計算部分564。
[0267]如果residual_down_sampling_flag為真，即，如果傳送的差分矩陣的大小小于待逆量化的當前區(qū)域的大小，那么差分矩陣大小變換部分562把差分矩陣的大小向上轉換成與待逆量化的當前區(qū)域對應的大小。可以使用任何向上轉換方法。例如，可以使用與利用圖像編碼設備10的差分矩陣大小變換部分163 (圖4)進行的向下轉換方法對應的方法。
[0268]例如，如果差分矩陣大小變換部分163已對差分矩陣進行了下采樣，那么差分矩陣大小變換部分562可對差分矩陣進行上采樣。此外，如果差分矩陣大小變換部分163已對差分矩陣進行了子采樣，那么差分矩陣大小變換部分562可對差分矩陣進行逆子采樣。
[0269]例如，如圖20中圖解所示，差分矩陣大小變換部分562可利用最近鄰插值處理(最近鄰插值處理)，而不是一般的線性插值，進行插值。最近鄰插值處理能夠實現(xiàn)存儲容量的減小。
[0270]因而，即使不傳送大小較大的量化矩陣，當進行從大小較小的量化矩陣的上采樣時，也不需要保持上采樣后的數(shù)據(jù)。另外，中間緩沖器等不再是用于上采樣期間的計算的數(shù)據(jù)的存儲所必需的。
[0271]注意,如果residual_down_sampling_flag不為真，即，如果差分矩陣是以與當該差分矩陣被用于量化矩陣處理時的大小相同的大小傳送的，那么差分矩陣大小變換部分562省略差分矩陣的向上轉換(或者可按系數(shù)I向上轉換差分矩陣)。
[0272]如果需要，差分矩陣大小變換部分562把按照上述方式向上轉換的差分矩陣提供給逆量化部分563。
[0273]逆量化部分563利用與圖像編碼設備10的量化部分183(圖4)進行的量化的方法對應的方法，逆量化供給的差分矩陣(量化數(shù)據(jù))，并把逆量化的差分矩陣提供給計算部分564。注意，如果量化部分183被省略，即，如果從差分矩陣大小變換部分562供給的差分矩陣不是量化數(shù)據(jù)，那么可以省略逆量化部分563。
[0274]計算部分564相加從預測矩陣大小變換部分561供給的預測矩陣，和從逆量化部分563供給的差分矩陣，從而復原當前區(qū)域的量化矩陣。計算部分564把復原的量化矩陣提供給輸出部分535和存儲部分536。
[0275]輸出部分535把供給的信息提供給在矩陣生成部分410之外的部分。例如，在復制模式下，輸出部分535把從復制部分541供給的預測矩陣提供給逆量化部分440，作為當前區(qū)域的量化矩陣。此外，例如，在正常情況下，輸出部分535把從量化矩陣復原部分534 (計算部分564)供給的當前區(qū)域的量化矩陣提供給逆量化部分440。
[0276]存儲部分536保存從量化矩陣復原部分534 (計算部分564)供給的量化矩陣，以及量化矩陣的大小和列表ID。關于保存在存儲部分536中的量化矩陣的信息被用于生成稍后被處理的其它正交變換單位的預測矩陣。換句話說，存儲部分536把保存的關于量化矩陣的信息作為關于在先傳送的量化矩陣的信息，提供給預測部分532。
[0277]如上所述，矩陣生成部分410把大小小于或等于傳輸大小的量化矩陣(差分矩陣)向上轉換成與待逆量化的當前區(qū)域對應的大小。因而，圖像解碼設備300能夠抑制量化矩陣的編碼量的增大。
[0278][1-12.量化矩陣解碼處理的流程]
[0279]下面參考圖21中圖解所示的流程圖，說明由上述矩陣生成部分410進行的量化矩陣解碼處理的流程的例子。
[0280]當開始量化矩陣解碼處理時，在步驟S301，參數(shù)分析部分531讀取區(qū)域O?3的量化值(QscaleO ?Qscale3)。
[0281]在步驟S302，參數(shù)分析部分531讀取pred_mode。在步驟S303，參數(shù)分析部分531判定pred_mode是否等于O。如果判定pred_mode等于O,那么參數(shù)分析部分531判定當前模式是復制模式，從而使處理進入步驟S304。
[0282]在步驟S304,參數(shù)分析部分531讀取pred_matrix_id_delta。在步驟S305,復制部分541創(chuàng)建已傳送的量化矩陣的副本，并利用該副本作為預測矩陣。在復制模式下，預測矩陣被輸出為當前區(qū)域的量化矩陣。當完成步驟S305的處理時，復制部分541使量化矩陣解碼處理結束。
[0283]此外,如果在步驟S303中，判定pred_mode不等于O,那么參數(shù)分析部分531判定當前模式是全掃描模式(正常情況)，從而使處理進入步驟S306。
[0284]在步驟S306,參數(shù)分析部分 531 讀取 pred_matrix_id_delta、pred_size_id_delta和residual_flag。在步驟S307,預測矩陣生成部分542根據(jù)已傳送的量化矩陣,生成預測矩陣。
[0285]在步驟S308,參數(shù)分析部分531判定residual_flag是否為真。如果判定residual_flag不為真，那么不存在殘差矩陣，并且輸出在步驟S307中生成的預測矩陣，作為當前區(qū)域的量化矩陣。于是在這種情況下，參數(shù)分析部分531使量化矩陣解碼處理結束。
[0286]此外,如果在步驟S308,判定residual_flag為真，那么參數(shù)分析部分531使處理進入步驟S309。
[0287]在步驟S309,參數(shù)分析部分 531 讀取 residual_down_sampling_flag 和residual_symmetry_flag0
[0288]在步驟S310，exp-G部分551和逆DPCM部分552解碼殘差矩陣的擴展Golomb碼，從而生成殘差數(shù)據(jù)。
[0289]在步驟S311,逆重復判定部分553判定residual_symmetry_flag是否為真。如果判定residual_symmetry_flag為真,那么逆重復判定部分553使處理進入步驟S312,并且復原殘差數(shù)據(jù)的被除去的重復部分(進行逆對稱處理)。當按照上述方式生成為135°對稱矩陣的差分矩陣時，逆重復判定部分553使處理進入步驟S313。
[0290]此外，如果在步驟S311,判定residual_symmetry_flag不為真(如果殘差數(shù)據(jù)是非135°對稱矩陣的差分矩陣)，那么逆重復判定部分553使處理進入步驟S313，同時省略步驟S312的處理(不進行逆對稱處理)。
[0291]在步驟S313,差分矩陣大小變換部分562判定residual_down_sampling_f lag是否為真。如果判定residual_down_sampling_flag為真,那么差分矩陣大小變換部分562使處理進入步驟S314，把差分矩陣向上轉換成與待逆量化的當前區(qū)域對應的大小。在差分矩陣被向上轉換之后，差分矩陣大小變換部分562使處理進入步驟S315。
[0292]此外,如果在步驟S313判定residual_down_sampling_flag不為真,那么差分矩陣大小變換部分562使處理進入步驟S315，同時省略步驟S312的處理(不向上轉換差分矩陣)。
[0293]在步驟S315，計算部分564相加差分矩陣和預測矩陣，從而生成當前區(qū)域的量化矩陣。當步驟S315的處理完成時，量化矩陣解碼處理結束。
[0294]通過按照上述方式進行量化矩陣解碼處理，圖像解碼設備300能夠抑制量化矩陣的編碼量的增大。
[0295]<2.第二實施例>
[0296][2-1.矩陣處理部分的其它例子]
[0297]圖22是圖解說明本技術適用于的矩陣處理部分150的另一種例證結構的方框圖。
[0298]在圖22中圖解所示的例子中，矩陣處理部分150不包括在圖4中圖解所示的結構中包括的差分矩陣大小變換部分163。換句話說，量化部分183的輸出被提供給熵編碼部分164的重復判定部分191。
[0299]圖22中圖解所示的矩陣處理部分150還包括量化矩陣大小變換部分701。
[0300]量化矩陣大小變換部分701把輸入矩陣處理部分150的量化系數(shù)的大小轉換成小于或等于傳輸?shù)淖畲蟠笮?傳輸大小)。轉換后的大小是任意的，只要該大小小于或等于傳輸大小?？梢允褂帽M可能大的最小大小，以盡可能多地減少量化矩陣的編碼量。另外，量化矩陣大小變換部分701或預測矩陣大小變換部分181的處理可以只是向下轉換，從而使得能夠簡化(便利)量化矩陣大小變換部分701和預測矩陣大小變換部分181的處理。
[0301]這種情況下，預測矩陣大小變換部分181把預測矩陣的大小轉換成向下轉換的量化矩陣的大小。
[0302]注意，類似于第一實施例，這些轉換(向下轉換)方法是任意的，可以包括下采樣和子采樣。
[0303]S卩，在這種情況下，大小和由量化矩陣大小變換部分701轉換的量化矩陣相同的差分矩陣被編碼和傳送。
[0304]因而，類似于第一實施例，圖像編碼設備10能夠抑制量化矩陣的編碼量的增大。
[0305][2-2.量化矩陣編碼處理的流程的其它例子]
[0306]上述例證情況下的量化矩陣編碼處理的流程的例子如圖23的流程圖中圖解所
/Jn ο
[0307]具體地，當開始量化矩陣編碼處理時，在步驟S601，量化矩陣大小變換部分701獲得當前區(qū)域的量化矩陣。隨后，在步驟S602，量化矩陣大小變換部分701把量化矩陣向下轉換成預定大小。
[0308]按照和圖7中的步驟S102-S107的處理類似的方式，執(zhí)行步驟S603-S608的處理。不進行(省略)對應于圖7中的步驟S108和S109的處理，按照和圖7中的步驟SI 10-S117的處理類似的方式，執(zhí)行步驟S609-S616的處理。
[0309]矩陣處理部分150按照上述方式進行量化矩陣編碼處理。因而，類似于第一實施例，圖像編碼設備10能夠抑制量化矩陣的編碼量的增大。
[0310][2-3.矩陣生成部分的其它例子]
[0311]圖24是圖解說明圖像解碼設備300的矩陣生成部分410的另一種例證結構的方框圖。圖24中圖解所示的矩陣生成部分410是與圖22中圖解所示的矩陣處理部分150對應的處理部分。具體地，圖24中圖解所示的矩陣生成部分410解碼關于由圖22中圖解所示的矩陣處理部分150生成的量化矩陣的編碼數(shù)據(jù)(各種標記和參數(shù)，根據(jù)差分矩陣生成的擴展Golomb碼等)，從而復原當前區(qū)域的量化矩陣。
[0312]另外在這種情況下，矩陣生成部分410基本具有與圖19中圖解所示的例子中的結構類似的結構，不過和圖19中圖解所示的例子不同，不包括差分矩陣大小變換部分562。因而，從逆重復判定部分553輸出的差分矩陣被提供給逆量化部分563。
[0313]另外，在圖24中圖解所示的例子中，和圖19中圖解所示的例子不同，矩陣生成部分410還包括量化矩陣大小變換部分721。
[0314]量化矩陣大小變換部分721是對應于圖22中圖解所示的量化矩陣大小變換部分701的處理部分，用于進行與量化矩陣大小變換部分701的處理相反的處理。具體地，量化矩陣大小變換部分721把大小小于允許傳輸?shù)淖畲蟠笮?傳輸大小)的量化矩陣向上轉換成與待逆量化的當前區(qū)域對應的大小。
[0315]量化矩陣大小變換部分721通過相加預測矩陣和差分矩陣，獲得利用計算部分564生成的量化矩陣。量化矩陣的大小等于利用量化矩陣大小變換部分701的向下轉換而獲得的大小。量化矩陣大小變換部分721把量化矩陣的大小向上轉換成與待逆量化的當前區(qū)域對應的大小。量化矩陣大小變換部分721把向上轉換后的量化矩陣提供給輸出部分535，從而把向上轉換的量化矩陣提供給逆量化部分440，或者把向上轉換后的量化矩陣提供給存儲部分536，以便存儲。
[0316]因而，在這種情況下，矩陣生成部分410也把在被傳送之前，被向下轉換成小于或等于傳輸大小的大小的量化矩陣，向上轉換成與待逆量化的當前區(qū)域對應的大小。因而，圖像解碼設備300能夠抑制量化矩陣的編碼量的增大。
[0317]在這種例證情況下的量化矩陣解碼處理的流程基本類似于參考圖21中圖解所示的流程圖說明的流程，以下處理例外:代替在步驟S314中向上轉換殘差矩陣，量化矩陣大小變換部分721向上轉換利用步驟S315的處理生成的量化矩陣。
[0318]矩陣生成部分410按照上面說明的方式，進行量化矩陣解碼處理。因而，類似于第一實施例，圖像解碼設備300能夠抑制量化矩陣的編碼量的增大。
[0319]〈3.第三實施例〉
[0320][向上轉換]
[0321]圖25是圖解說明如何傳送差分矩陣的例子的示圖。待從圖像編碼設備10(圖1)傳送給圖像解碼設備300(圖16)的量化矩陣(量化矩陣和其預測矩陣之間的差分矩陣)的大小局限于小于或等于預定最大大小(傳輸大小)的大小。例如，待從圖像編碼設備10傳送給圖像解碼設備300的量化矩陣的大小局限于和預先準備的基礎矩陣(也稱為默認量化矩陣)的大小(也稱為默認量化矩陣大小)相同的大小。即，在這種情況下，傳輸大小等于默認量化矩陣大小的最大值。例如，如果4X4量化矩陣和8X8量化矩陣被設定為默認量化矩陣，那么傳輸大小為8X8。
[0322]具體地，如果量化處理中使用的量化矩陣大于傳輸大小，那么圖像編碼設備10把量化矩陣或預測矩陣向下轉換成傳輸大小或更小，或者把確定的差分矩陣向下轉換成傳輸大小或更小，從而生成大小小于或等于傳輸大小的差分矩陣。該向下轉換操作例如由差分矩陣變換部分163、預測矩陣大小變換部分181、量化矩陣大小變換部分701等進行。
[0323]圖像解碼設備300把傳送的差分矩陣或者根據(jù)差分矩陣確定的量化矩陣，向上轉換成與待逆量化的當前區(qū)域對應的大小，并在逆量化處理中使用經(jīng)向上轉換的矩陣。即，如果傳輸大小等于默認量化矩陣大小的最大值，那么圖像解碼設備300接收大小和默認量化矩陣大小相同的量化矩陣。例如，圖像解碼設備300接收大小和默認量化矩陣的最大大小相同的量化矩陣。圖像解碼設備300利用接收的量化矩陣或者利用通過量化矩陣的向上轉換而獲得的量化矩陣，進行逆量化處理。注意，該向上轉換操作例如由差分矩陣大小變換部分562、預測矩陣大小變換部分561、量化矩陣大小變換部分721等進行。
[0324]注意，圖像編碼設備10也可把與量化處理中使用的量化矩陣(差分矩陣)不同的，大小比允許傳輸?shù)淖畲蟠笮?傳輸大小)小的量化矩陣(差分矩陣)傳送給圖像解碼設備300。例如，圖像編碼設備10可準備具有不同大小的多個量化矩陣(差分矩陣)，從所述多個量化矩陣中選擇量化矩陣，并把選擇的量化矩陣用于量化處理。這種情況下，當利用準備的矩陣組之中的大小比傳輸大小大的量化矩陣進行量化處理時，圖像編碼設備10可傳送矩陣組中的大小小于傳輸大小的量化矩陣(差分矩陣)，而不是向下轉換量化矩陣。換句話說，在這種情況下，省略圖像編碼設備10的大小變換(向下轉換)操作。另外，圖像編碼設備10還可向上轉換大小小于傳輸大小的量化矩陣(差分矩陣)，并進行量化處理。另外在這種情況下，類似地，圖像編碼設備10的大小變換(向下轉換)操作被省略。
[0325]無論什么情況，都只傳送大小小于或等于傳輸大小的量化矩陣(差分矩陣)，而不管實際是否要進行大小變換(向下轉換)。即，圖像解碼設備300對傳送的量化矩陣進行到對應于待逆量化的當前區(qū)域(例如，CU或TU)的大小的大小變換(向上轉換)，而不管圖像編碼設備10是否已進行了大小變換(向下轉換)。
[0326]只有當量化處理中使用的大小和傳輸期間的大小相同時，圖像解碼設備300才省略量化矩陣(差分矩陣)的大小變換(向上轉換)(或者按系數(shù)I進行大小變換)。
[0327]例如，假定傳輸大小為8X8。在這種情況下，例如，以8X8正方矩陣或4X4正方矩陣的形式，傳送差分矩陣。例如，如在圖25的上部中圖解所示，當以8X8正方矩陣的形式，傳送差分矩陣時，圖像解碼設備300把差分矩陣向上轉換成與待逆量化的當前區(qū)域對應的大小，比如16 X 16正方矩陣或32X32正方矩陣。此外，例如，如在圖25的下部中圖解所示，當以4X4正方矩陣的形式傳送差分矩陣時，差分矩陣被向上轉換成與待逆量化的當前區(qū)域對應的大小，比如8X8正方矩陣。
[0328]當然，該差分矩陣也可被向上轉換成除在圖25中圖解所示的例子中的大小以外的大小(例如，64 X 64正方矩陣)。
[0329]注意，如果待逆量化的當前區(qū)域的大小等于傳送的量化矩陣的大小，那么省略該向上轉換(或者進行系數(shù)為I的大小變換)，從而原樣地以8 X 8差分矩陣的形式，使用8 X 8正方矩陣。另外，原樣地以4X4差分矩陣的形式，使用4X4正方矩陣。
[0330]例如，假定圖像編碼設備10利用4X4量化矩陣量化4 X 4塊，利用8 X 8量化矩陣量化8 X 8 ±夾，向上轉換8X8量化矩陣從而生成16 X 16量化矩陣，并利用16 X 16量化矩陣量化16X16塊，向上轉換8X8量化矩陣從而生成32X32量化矩陣，并利用32X32量化矩陣量化32X32塊，然后把4X4量化矩陣和8X8量化矩陣傳送給圖像解碼設備300。另外在這種情況下，類似于圖像編碼設備10，圖像解碼設備300利用接收的4X4量化矩陣量化4X4 ±夾，利用接收的8X8量化矩陣量化8X8塊。此外，類似于圖像編碼設備10，圖像解碼設備300向上轉換接收的8X8量化矩陣從而生成16X 16量化矩陣，并利用16X 16量化矩陣量化16X 16塊，向上轉換接收的8X8量化矩陣從而生成32X32量化矩陣，并利用32 X 32量化矩陣量化32 X 32塊。
[0331]下面，說明圖像解碼設備300如何進行大小變換(向上轉換)。圖26圖解說明如何進行向上轉換的例子。下面舉例說明差分矩陣大小變換部分562 (圖19)的處理。
[0332]具體的向上轉換方法是任意的。例如，可以利用最近鄰插值處理，實現(xiàn)向上轉換。最近鄰插值處理是通過創(chuàng)建插值前的矩陣中的對應元素的副本，插入元素的鄰近元素的處理。鄰近元素是與插值前的矩陣中的元素相鄰的元素，或者是在插值前的矩陣中的元素附近的元素。
[0333]例如，允許元素的數(shù)目分別在垂直方向和水平方向加倍的最近鄰插值處理(X2最近鄰插值處理)是根據(jù)插值前的矩陣中的各個元素，生成2 X 2正方矩陣的處理。具體地，利用插值前的矩陣中的每個元素，插入3個鄰近元素。例如，這3個鄰近元素包括插值前的矩陣中的該元素的右鄰元素、下鄰元素和右下鄰元素。對插值前的矩陣中的每個元素，進行上述處理，從而允許正方矩陣中的垂直元素的數(shù)目和水平元素的數(shù)目加倍。
[0334]在圖20中圖解所示的例子中，把最近鄰插值處理應用于4X4正方矩陣，從而生成8X8正方矩陣。在圖20中圖解所示的矩陣中，灰色矩形塊代表插值前的矩陣中的元素。創(chuàng)建每個灰色元素的副本，并分別插入每個元素的鄰近元素(用圖20中圖解所示的矩陣中的空白矩形塊表示)。
[0335]當然，其它元素(例如，上鄰元素，左鄰元素等)也可用作3個鄰近元素。最好，沿著對應于處理順序的方向插入元素。此外，盡管說明了把原始元素的副本用于插值，不過，可以利用某些計算來確定待插入的元素的值。不過，上述方式的副本的利用可減小插值的負荷(能夠使插值更容易)。
[0336]返回參見圖26，傳送的差分矩陣可被向上轉換成多種大小。例如，如圖26中圖解所示，8X8差分矩陣可被向上轉換成16X 16正方矩陣或32X32正方矩陣。
[0337]例如，通過利用X2最近鄰插值處理，8X8差分矩陣被向上轉換成16X 16差分矩陣。此外，把X 2最近鄰插值處理應用于16 X 16差分矩陣，從而把16 X 16差分矩陣向上轉換成32X32差分矩陣。當然，可以進一步重復X 2最近鄰插值處理，以實現(xiàn)到64X64或更大的正方矩陣的向上轉換。即，通過重復X2最近鄰插值處理，能夠實現(xiàn)到大小與已重復的X2最近鄰插值處理的次數(shù)對應的正方矩陣的向上轉換。
[0338]注意，通過最近鄰插值處理，可用任意系數(shù)放大矩陣，并且如上所述，所述系數(shù)并不局限于2。例如，分別在垂直方向和水平方向，允許元素的數(shù)目成為4倍的最近鄰插值處理(X4最近鄰插值處理)也是可行的。除了放大系數(shù)不同之外，按照基本和X2最近鄰插值處理類似的方式，實現(xiàn)X 4最近鄰插值處理。S卩，在X 4最近鄰插值處理中，根據(jù)插值前的矩陣中的各個元素，生成4X4正方矩陣，以致4X4正方矩陣使該元素位于其左上角。換句話說，根據(jù)插值前的矩陣中的一個元素，插入其15個鄰近元素。對插值前的矩陣中的每個元素進行上述處理，從而把正方矩陣中的縱向元素的數(shù)目和橫向元素的數(shù)目都變換成4倍。
[0339]在圖26中，如用虛線箭頭所示，通過應用X 4最近鄰插值處理，8 X 8差分矩陣可被向上轉換成32X32差分矩陣。具體地，一個8X8量化矩陣(或者差分矩陣)可被向上轉換，從而生成16X16量化矩陣(或者差分矩陣)和32X32量化矩陣(或者差分矩陣)，或者利用不同的8X8量化矩陣(或差分矩陣)的向上轉換，可以生成16X16量化矩陣(或者差分矩陣)和32X32量化矩陣(或者差分矩陣)。在前一情況下，4X4量化矩陣(或者差分矩陣)和8X8量化矩陣(或者差分矩陣)可從圖像編碼設備10被傳送給圖像解碼設備300。在后一情況下，4X4量化矩陣(或者差分矩陣)、可被向上轉換成16X16的8X8量化矩陣(或者差分矩陣)、和可被向上轉換成32X32的8X8量化矩陣(或者差分矩陣)可從圖像編碼設備10被傳送給圖像解碼設備300。
[0340]通過按照上述方式，利用最近鄰插值處理，差分矩陣大小變換部分562能夠容易地對差分矩陣進行大小變換。
[0341]另外，上面說明的最近鄰插值處理也可應用于到非正方矩陣的向上轉換。
[0342]例如，利用X 2最近鄰插值處理，8X8差分矩陣被變換成16X16正方矩陣，并通過間除(thinning)正方矩陣的某些行中的元素，被進一步變換成縱4 X橫16的非正方矩陣。
[0343]這種情況下，可提取16行中的4行，待間除的行是任意的。例如，可以提取每4行中的I行。另一方面，可以提取從上面開始的第I行、第5行、第9行和第13行。另一方面，例如，可以提取從上面開始的第3行、第7行、第11行和第15行?？梢灶A先確定待提取的行，或者可以利用某種方法，從16行中選擇任意4行(或者每4行中的I行)。
[0344]此外，例如，利用進行2次的X 2最近鄰插值處理，或者利用進行I次的X4最近鄰插值處理，8X8差分矩陣被變換成32X32正方矩陣。通過間除正方矩陣中的某些行中的元素，32 X 32正方矩陣被進一步變換成縱8 X橫32的非正方矩陣。
[0345]這種情況下，類似于上面說明的縱4X橫16的非正方矩陣，可以提取32行中的8行，待間除的行是任意的。例如，可以提取從上面開始的第I行、第5行、第9行、第13行、第17行、第21行、第25行和第29行?？梢灶A先確定待提取的行，或者可以利用某種方法，從32行中選擇任意8行(或者每4行中的I行)。
[0346]盡管說明了到縱橫比為1:4的非正方矩陣的變換，不過，變換后的矩陣可以具有任意縱橫比。例如，通過按照與逐行間除的情況類似的方式，逐列地而不是逐行地間除正方矩陣中的元素，正方矩陣的大小可被變換成縱橫比為4:1的非正方矩陣。
[0347]此外，例如，在“CE6.bIReport on Short Distance Intra Predict1nMethod” (JCTVC-E278, March 2011)中，提出了通過利用大小較小的非正方預測單元，改善編碼效率的短距離幀內預測方法。在短距離幀內預測方法中，在圖像中設定各種大小的預測單元，比如1X4像素、2X8像素、4X16像素、4X1像素、8X2像素和16X4像素。在這種情況下，預測單元的縱向大小和橫向大小中的哪個大小更大取決于預測單元的設定。
[0348]調整行或列的間除量，以便能夠實現(xiàn)到具有各種縱橫比的非正方矩陣的大小變換。例如，從16X 16正方矩陣中提取一行，以實現(xiàn)到縱橫比為1:16的非正方矩陣的大小變換。類似地，可以從32X32正方矩陣中，提取任意兩行，以實現(xiàn)到縱橫比為2:32的非正方矩陣的大小變換。
[0349]按照上述方式，利用最近鄰插值處理，差分矩陣大小變換部分562能夠容易地進行從差分矩陣到非正方矩陣的大小變換。
[0350]盡管說明了通過利用最近鄰插值處理和行(或列)的間除來實現(xiàn)到非正方矩陣的大小變換，不過，這不是對本技術的限制。例如，也可僅僅利用最近鄰插值處理，實現(xiàn)到非正方矩陣的大小變換。
[0351 ] 例如，如在圖27的A部分中圖解所示，可以只在水平方向，使4 X 4正方矩陣成為4倍(水平方向的X4最近鄰插值處理)，以實現(xiàn)到4X16非正方矩陣的大小變換。水平方向的X4最近鄰插值處理是根據(jù)插值前的矩陣中的每個元素，生成1X4非正方矩陣的處理。即，利用插值前的矩陣中的每個元素，插入3個鄰近元素。所述3個鄰近元素例如包括右鄰插值前的矩陣中的元素，水平排列的3個元素。對插值前的矩陣中的每個元素進行上述處理，從而允許僅僅正方矩陣中的水平元素的數(shù)目成為4倍。
[0352]此外，例如，如在圖27的A部分中圖解所示，可以只在垂直方向，使4X4正方矩陣成為4倍(垂直方向的X4最近鄰插值處理)，以實現(xiàn)到16X4非正方矩陣的大小變換。垂直方向的X4最近鄰插值處理是根據(jù)插值前的矩陣中的每個元素，生成4X1非正方矩陣的處理。即，利用插值前的矩陣中的每個元素，插入3個鄰近元素。所述3個鄰近元素例如包括在下方鄰近插值前的矩陣中的元素的、垂直排列的3個元素。對插值前的矩陣中的每個元素進行上述處理，從而允許僅僅正方矩陣中的垂直元素的數(shù)目成為4倍。
[0353]8X8正方矩陣也按照類似的方式，經(jīng)過大小變換。例如，如在圖27的部分B中圖解所示，8X8正方矩陣可在水平方向，經(jīng)歷X4最近鄰插值處理，以實現(xiàn)到8X32非正方矩陣的大小變換。此外，例如，如在圖27的部分B中圖解所示，8X8正方矩陣可在垂直方向，經(jīng)歷X4最近鄰插值處理，以實現(xiàn)到32X8非正方矩陣的大小變換。
[0354]按照上述方式，利用最近鄰插值處理，差分矩陣大小變換部分562能夠容易地進行從差分矩陣到非正方矩陣的大小變換。
[0355]注意，可對任意大小的矩陣，進行上面說明的利用最近鄰插值處理的大小變換。另夕卜，量化矩陣或預測矩陣也可按照對于差分矩陣的上述方式相似的方式，經(jīng)歷利用最近鄰插值處理的大小變換。即，量化矩陣大小變換部分也可容易地利用最近鄰插值處理對量化矩陣進行大小變換。上面所述類似于適用于預測矩陣大小變換部分561。
[0356]在上面的說明中，說明了對于量化矩陣、預測矩陣、或者量化矩陣和預測矩陣之間的差分矩陣的大小變換。所述大小變換處理可以是實際生成其大小已被變換的矩陣的處理，或者可以是設定如何從存儲器讀取矩陣中的各個元素，而不實際生成矩陣的數(shù)據(jù)的處理(矩陣數(shù)據(jù)的讀取控制)。
[0357]在上面說明的大小變換處理中，大小變換之后的矩陣中的各個元素由大小變換之前的矩陣中的任意元素構成。即，通過利用某種方法，例如讀取矩陣的一些元素或者多次讀取一個元素，讀取保存在存儲器中的大小變換之前的矩陣中的元素，可生成大小變換之后的矩陣。換句話說，定義讀取各個元素的方法(或者進行矩陣數(shù)據(jù)的讀取控制)，以實質實現(xiàn)上面說明的大小變換。借助這種方法，諸如把經(jīng)歷大小變換的矩陣數(shù)據(jù)寫入存儲器的處理變得不必要。此外，讀取經(jīng)過大小變換的矩陣數(shù)據(jù)的方法基本上取決于進行最近鄰插值處理的方式等，從而可以利用負荷相當?shù)偷奶幚?，比如選擇預先準備的多種選項中的一個適當選項來實現(xiàn)。因而，這種方法能夠實現(xiàn)大小變換的負荷的降低。
[0358]S卩，上面說明的包括實際生成經(jīng)歷大小變換的矩陣數(shù)據(jù)的處理的大小變換處理還包括矩陣數(shù)據(jù)的這種讀取控制。
[0359]在上面的說明中，向下轉換并傳送差分矩陣，或者傳送根據(jù)向下轉換的量化矩陣生成的差分矩陣。在本技術中，只要求提供關于量化矩陣的信息的編碼量的減小。從而，這些例子不是作為對本技術的限制給出的。例如，可省略預測處理，從而可向下轉換和傳送當前區(qū)域的量化矩陣，而不是差分矩陣。這種情況下，在解碼器側，只需要把傳送的量化矩陣向上轉換成與待逆量化的當前區(qū)域對應的大小。這種情況下，可以對或者可以不對待傳送的量化矩陣進行上面在第一到第三實施例中說明的利用DPCM編碼和解碼的編碼和解碼處理。應明白，要對待傳送的量化矩陣進行的編碼和解碼處理可以是任意種類的編碼和解碼處理，而不局限于上面說明的例子中的編碼和解碼處理。
[0360]另外，通過獲得諸如量化矩陣的大小和列表ID之類的關于量化矩陣的參數(shù)和標記的信息，和在先傳送的信息之間的差分，并傳送所述差分，可以減小所述信息的編碼量。
[0361]〈4.第四實施例〉
[0362][對多視點圖像編碼和多視點圖像解碼的應用]
[0363]上述一系列處理可以應用于多視點圖像編碼和多視點圖像解碼。圖28圖解說明多視點圖像編碼方案的例子。
[0364]如圖28中圖解所示，多視點圖像包括在多個視點的圖像，在所述多個視點之一的圖像被指定為基本視點的圖像。除基本視點的圖像以外的圖像被對待為非基本視點的圖像。
[0365]當要編碼和解碼如圖28中圖解所示的多視點圖像時，每個視點的圖像被編碼和解碼。第一到第三實施例中的上述方法可應用于每個視點的編碼和解碼。因而，能夠抑制量化矩陣的編碼量的增大。
[0366]此外，在每個視點的編碼和解碼之間，可以共享在第一到第三實施例中的上述方法中使用的標記和參數(shù)。例如，在每個視點的編碼和解碼之間，共享量化矩陣。當然，在每個視點的編碼和解碼之間，也可共享任何其它必需的信息。
[0367]例如，當要傳送包含在序列參數(shù)集(SPS)或圖像參數(shù)集(PPS)中的量化矩陣時，如果這些參數(shù)集(SPS和PPS)在各個視點之間被共享，那么量化矩陣也被共享。因而，能夠抑制量化矩陣的編碼量的增大。
[0368]此外，可按照視點之間的視差值，改變基本視點的量化矩陣中的矩陣元素。此外，可以傳送用于關于基本視點的量化矩陣中的矩陣元素，調整非基本視點矩陣元素的偏移值。因而，能夠抑制量化矩陣的編碼量的增大。
[0369]例如，可以預先分別傳送每個視點的量化矩陣。當要為每個視點改變量化矩陣時，可以只傳送指示與預先傳送的量化矩陣中的對應一個量化矩陣的差分的信息。指示所述差分的信息可以是任意信息，例如可以是以4X4或8X8為單位的信息，或者可以是矩陣之間的差分。
[0370]注意，如果盡管SPS或PPS不被共享，但在各個視點之間共享量化矩陣，那么可以參照其它視點的SPS或PPS (即，可以使用其它視點的量化矩陣)。
[0371]此外，如果這樣的多視點圖像被表示成把YUV圖像和對應于視點之間的視差量的深度圖像(D印th)作為分量的圖像，那么可以使用每個分量(￥、1￥和0印訪)的圖像的獨立量化矩陣。
[0372]例如，由于深度圖像(D印th)是邊緣的圖像，因此量化矩陣不是必需的。從而，即使SPS或PPS指定量化矩陣的使用，量化矩陣也可能不被應用于深度圖像(Depth)(或者把其中所有矩陣元素都相同(單一)的量化矩陣應用于深度圖像(Depth))。
[0373][多視點編碼設備]
[0374]圖29是圖解說明用于進行上述多視點圖像編碼操作的多視點圖像編碼設備的示圖。如圖29中圖解所示，多視點編碼設備600包括編碼單元601、編碼單元602和復用單元603。
[0375]編碼單元601編碼基本視點的圖像，從而生成編碼的基本視點圖像流。編碼單元602編碼非基本視點的圖像，從而生成編碼的非基本視點圖像流。復用單元603復用由編碼單元601生成的編碼的基本視點圖像流和由編碼單元602生成的編碼的非基本視點圖像流，從而生成編碼的多視點圖像流。
[0376]圖像編碼設備10(圖1)可用于多視點圖像編碼設備600的編碼單元601和編碼單元602中的每一個。即，例如，如上所述，編碼單元601和編碼單元602可以利用相同的量化矩陣，進行量化處理等。因而，能夠抑制量化矩陣的編碼量的增大。
[0377][多視點圖像解碼設備]
[0378]圖30是圖解說明進行上面說明的多視點圖像解碼操作的多視點圖像解碼設備的示圖。如圖30中圖解所示，多視點圖像解碼設備610包括解復用單元611、解碼單元612和解碼單元613。
[0379]解復用單元611對其中復用編碼的基本視點圖像流和編碼的非基本視點圖像流的編碼的多視點圖像流進行解復用，并提取編碼的基本視點圖像流和編碼的非基本視點圖像流。解碼單元612解碼解復用單元611提取的編碼的基本視點圖像流，從而獲得基本視點的圖像。解碼單元613解碼解復用單元631提取的編碼的非基本視點圖像流，從而獲得非基本視點的圖像。
[0380]圖像解碼設備300 (圖16)可用于多視點圖像解碼設備610的解碼單元612和解碼單元613中的每一個。即，例如，如上所述，解碼單元612和解碼單元613可以利用相同的量化矩陣，進行量化處理等。因而，能夠抑制量化矩陣的編碼量的增大。
[0381]〈5.第五實施例〉
[0382][對分層圖像編碼和分層圖像解碼的應用]
[0383]上述一系列處理適用于分層圖像編碼和分層圖像解碼。圖31圖解說明分層圖像編碼方案的例子。
[0384]如圖31中圖解所示，分層圖像包括多層的圖像，所述多層之一的圖像被指定為基本層的圖像。除基本層的圖像外的各個圖像被對待為非基本層(也稱為增強層)的圖像。
[0385]當要編碼和解碼如圖31中圖解所示的分層圖像時，每一層的圖像被編碼和解碼。上述方法可應用于每一層的編碼和解碼。因而，能夠抑制量化矩陣的編碼量的增大。
[0386]此外，在每一層的編碼和解碼之間，可以共享在第一到第三實施例中的上述方法中使用的標記和參數(shù)。例如，在每一層的編碼和解碼之間，共享量化矩陣。當然，在每一層的編碼和解碼之間，也可共享任何其它必需的信息。
[0387]這種分層圖像的例子包括在空間分辨率方向分層的圖像(也稱為具有空間分辨率可擴展性的圖像)(空間可擴展性)。在具有空間分辨率可擴展性的分層圖像中，圖像的分辨率因層而異。例如，空間分辨率最低的一層圖像被指定為基本層，與基本層相比，分辨率較高的一層圖像被指定為非基本層(或增強層)。
[0388]非基本層(增強層)的圖像數(shù)據(jù)可以是與其它各層無關的數(shù)據(jù)，并且類似于基本層，可以只利用該圖像數(shù)據(jù)，獲得具有對應層中的分辨率的圖像。不過，非基本層(增強層)的圖像數(shù)據(jù)通常是與對應層的圖像和另一層(例如，在對應層下面一層的層)的圖像之間的差分圖像對應的數(shù)據(jù)。這種情況下，只利用基本層的圖像數(shù)據(jù)，獲得具有與基本層對應的分辨率的圖像，而通過組合該層的圖像數(shù)據(jù)和另一層(例如，在該層下面一層的層)的圖像數(shù)據(jù)，獲得具有與非基本層(增強層)對應的分辨率的圖像。因而，能夠抑制各層之間的圖像數(shù)據(jù)的冗余。
[0389]在具有空間分辨率可擴展性的分層圖像中，圖像的分辨率因層而異。從而，各層的編碼和解碼處理的單元的分辨率也彼此不同。因而，如果在各層的編碼和解碼之間，共享量化矩陣，那么可以按照各層的分辨率比，向上轉換量化矩陣。
[0390]例如，假定基本層的圖像具有2K(例如，1920X1080)的分辨率，而非基本層(增強層)的圖像具有4Κ(例如，3840X2160)的分辨率。在這種情況下，例如，基本層的圖像(2Κ圖像)的16X16大小對應于非基本層的圖像(4Κ圖像)的32X32大小。還按照對應的分辨率比，酌情向上轉換量化矩陣。
[0391]例如，用于基本層的量化和逆量化的4X4量化矩陣被向上轉換成8X8，并用于非基本層的量化和逆量化。類似地，基本層的8X8量化矩陣被向上轉換成非基本層中的16X 16。類似地，向上轉換成16X16，并用在基本層中的量化矩陣被向上轉換成非基本層中的 32X32。
[0392]注意，提供可擴展性的參數(shù)并不局限于空間分辨率，例如可包括時間分辨率(時間可擴展性)。在具有時間分辨率可擴展性的分層圖像中，圖像的幀速率因層而異。其它例子包括其中圖像數(shù)據(jù)的位深度因層而異的位深度可擴展性，和其中分量的格式因層而異的色度可擴展性。
[0393]其它例子還包括其中圖像的信噪比(SNR)因層而異的SNR可擴展性。
[0394]考慮到圖像質量的改善，理想地，圖像具有的信噪比越低，產生的量化誤差越小。為此，在SNR可擴展性中，理想地，按照信噪比，不同的量化矩陣(非公共量化矩陣)被用于各層的量化和逆量化。因此，如上所述，如果在各層之間共享量化矩陣，那么可以傳送關于基本層的量化矩陣中的矩陣元素，調整增強層的矩陣元素的偏移值。更具體地，可逐層地傳送指示公共量化矩陣和實際使用的量化矩陣之間的差分的信息。例如，可以在針對各層的序列參數(shù)集(SPS)或圖像參數(shù)集(PPS)中，傳送指示所述差分的信息。指示所述差分的信息可以是任意的。例如，所述信息可以是使元素表示兩個量化矩陣中的對應元素之間的差分值的矩陣，或者可以是指示差分的函數(shù)。
[0395][分層圖像編碼設備]
[0396]圖32是圖解說明進行上面說明的分層圖像編碼操作的分層圖像編碼設備的示圖。如圖32中圖解所示，分層圖像編碼設備620包括編碼單元621、編碼單元622和復用單元 623。
[0397]編碼單元621編碼基本層的圖像，從而生成編碼的基本層圖像流。編碼單元622編碼非基本層的圖像，從而生成編碼的非基本層圖像流。復用單元623復用由編碼單元621生成的編碼的基本層圖像流和由編碼單元622生成的編碼的非基本層圖像流，從而生成編碼的分層圖像流。
[0398]圖像編碼設備10(圖1)可用于分層圖像編碼設備620的編碼單元621和編碼單元622中的每一個。即，例如，如上所述，編碼單元621和編碼單元622可以利用相同的量化矩陣進行量化處理等。因而，能夠抑制量化矩陣的編碼量的增大。
[0399][分層圖像解碼設備]
[0400]圖33是圖解說明進行上面說明的分層圖像解碼操作的分層圖像解碼設備的示圖。如圖33中圖解所示，分層圖像解碼設備630包括解復用單元631、解碼單元632和解碼單元633。
[0401]解復用單元631對其中復用編碼的基本層圖像流和編碼的非基本層圖像流的編碼的分層圖像流進行解復用，并提取編碼的基本層圖像流和編碼的非基本層圖像流。解碼單元632解碼解復用單元631提取的編碼的基本層圖像流，從而獲得基本層的圖像。解碼單元633解碼解復用單元631提取的編碼的非基本層圖像流，從而獲得非基本層的圖像。
[0402]圖像解碼設備300 (圖16)可用于分層圖像解碼設備630的解碼單元632和解碼單元633中的每一個。即，例如，如上所述，解碼單元632和解碼單元633可以利用相同的量化矩陣，進行量化處理等。因而，能夠抑制量化矩陣的編碼量的增大。
[0403]<6.第六實施例>
[0404][計算機]
[0405]上述一系列處理可用硬件執(zhí)行，或者也可用軟件執(zhí)行。在這種情況下，例如可構成如圖34中圖解所示的計算機。
[0406]在圖34中，計算機800中的CPU(中央處理器)801按照保存在R0M(只讀存儲器)802中的程序，或者從存儲單元813加載到RAM (隨機存取存儲器)803中的程序，執(zhí)行各種處理操作。為CPU 801執(zhí)行各種處理操作所需的數(shù)據(jù)也酌情被保存在RAM 803中。
[0407]CPU 80KROM 802和RAM 803通過總線804互連。輸入/輸出接口 810也連接到總線804。
[0408]輸入/輸出接口 810連接到輸入單元811、輸出單元812、存儲單元813和通信單元814。輸入單元811包括鍵盤、鼠標、觸摸面板、輸入終端等。輸出單元812包括所需的輸出裝置，比如揚聲器和包括CRT (陰極射線管)、LCD (液晶顯示器)和OLED (有機電致發(fā)光顯示器)的顯示器，輸出終端等。存儲單元813包括所需的存儲介質，比如硬盤或閃存，和控制存儲介質的輸入和輸出的控制單元。通信單元814包括所需的有線或無線通信裝置，比如調制解調器、LAN接口、USB(通用串行總線)裝置和藍牙(注冊商標)裝置。通信單元814通過包括因特網(wǎng)在內的網(wǎng)絡，與其它通信裝置進行通信處理。
[0409]此外，驅動器815也酌情被連接到輸入/輸出接口 810。諸如磁盤、光盤、磁光盤或半導體存儲器之類的可拆卸介質821被酌情放入驅動器815中。按照例如CPU 801的控制，驅動器815從放入其中的可拆卸介質821，讀取計算機程序、數(shù)據(jù)等。讀取的數(shù)據(jù)和計算機程序被提供給RAM803。從可拆卸介質821讀取的計算機程序被酌情安裝在存儲單元813上。
[0410]當用軟件執(zhí)行上述一系列處理時，從網(wǎng)絡或記錄介質安裝構成所述軟件的程序。
[0411]如圖34中圖解所示，記錄介質的例子包括與設備主體分離地分發(fā)的，以便向用戶交付程序的上面記錄所述程序的可拆卸介質821，比如磁盤(包括軟盤)、光盤(包括⑶-ROM (光盤-只讀存儲器)和DVD (數(shù)字通用光盤))、磁光盤(包括MD (小型光盤))、或者半導體存儲器。記錄介質的其它例子包括以預先嵌入設備主體的方式交付給用戶的上面記錄程序的設備，比如ROM 802，和包含在存儲單元813中的硬盤。
[0412]注意，計算機執(zhí)行的程序可以是按照這里記載的順序，時序地進行處理操作的程序，或者可以是并行地，或在需要的時刻，比如當被調用時進行處理操作的程序。
[0413]另外，這里使用的描述保存在記錄介質中的程序的步驟當然包括按照記載的順序，時序地進行的處理操作，和并行地或者單獨地，而不一定時序地進行的處理操作。
[0414]此外，這里使用的術語“系統(tǒng)”指的是包括多個裝置(設備)的整個設備。
[0415]另外，可把上面描述成單個設備(或處理部分)的結構分成多個設備(或處理部分)。相反，也可把上面描述成多個設備(或處理部分)的結構合并成單個設備(或處理部分)。另外，當然可以向每個設備(或每個處理部分)的結構中增加除上述結構外的結構。此外，也可把某個設備(或處理部分)的結構的一部分包含在另一個設備(或另一個處理部分)的結構中，只要就整修系統(tǒng)來說，所述設備(或處理部分)具有基本相同的結構和/操作。換句話說，本技術的實施例并不局限于上述實施例，可以作出各種修改，而不脫離本技術的范圍。
[0416]按照上述實施例的圖像編碼設備10(圖1)和圖像解碼設備300 (圖16)可應用于各種電子設備，比如用于通過衛(wèi)星廣播，諸如有線電視之類的有線廣播，或者因特網(wǎng)輸送數(shù)據(jù)，或者用于通過蜂窩通信，往來于終端輸送數(shù)據(jù)的發(fā)射器或接收器，把圖像記錄在諸如光盤、磁盤和閃存之類介質上的記錄設備，和從存儲介質再現(xiàn)圖像的再現(xiàn)設備。下面說明4種例證應用。
[0417]〈7.第七實施例〉
[0418][電視機]
[0419]圖35圖解說明上述實施例適用于的電視機的示意結構的例子。電視機900包括天線901、調諧器902、解復用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口 909、控制單元910、用戶接口 911和總線912。
[0420]調諧器902從通過天線901接收的廣播信號中提取所需頻道的信號，并解調提取的信號。隨后，調諧器902把通過解調獲得的編碼比特流輸出給解復用器903。換句話說，調諧器902充當電視機900中的接收包括編碼圖像的編碼流的傳輸單元。
[0421]解復用器903把編碼比特流中解復用成待觀看的節(jié)目的視頻流和音頻流，并把通過解復用獲得的各個流輸出給解碼器904。此外，解復用器903從編碼比特流中提取輔助數(shù)據(jù)，比如EPG(電子節(jié)目指南)，并把提取的數(shù)據(jù)提供給控制單元910。注意，如果編碼比特流被加擾時，解復用器903也對編碼比特流進行解擾。
[0422]解碼器904解碼從解復用器903輸入的視頻流和音頻流。隨后，解碼器904把由解碼處理獲得的視頻數(shù)據(jù)輸出給視頻信號處理單元905。解碼器904還把通過解碼處理產生的音頻數(shù)據(jù)輸出給語音信號處理單元907。
[0423]視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，使視頻被顯示在顯示單元906上。視頻信號處理單元905還使經(jīng)網(wǎng)絡提供的應用屏幕被顯示在顯示單元906上。視頻信號處理單元905還按照設定，對視頻數(shù)據(jù)執(zhí)行諸如噪聲消除之類的附加處理。另外，視頻信號處理單元905還可生成⑶I (圖形用戶界面)圖像，比如菜單、按鈕和光標，并把生成的圖像疊加在輸出圖像上。
[0424]顯示單元906由從視頻信號處理單元905供給的驅動信號驅動，把視頻或圖像顯示在顯示裝置(比如液晶顯示器、等離子體顯示器或OELD(有機電致發(fā)光顯示器)(有機EL顯示器))的視頻表面上。
[0425]音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)進行諸如D/A轉換和放大之類的再現(xiàn)處理，使音頻從揚聲器908被輸出。音頻信號處理單元907還可對音頻數(shù)據(jù)進行諸如噪聲消除之類的附加處理。
[0426]外部接口 909是連接電視機900與外部裝置或網(wǎng)絡的接口。例如，通過外部接口909接收的視頻流或音頻流可由解碼器904解碼。換句話說，外部接口 909也充當電視機900中的接收包括編碼圖像的編碼流的傳輸單元。
[0427]控制單元910包括諸如CPU之類的處理器，和諸如RAM和ROM之類的存儲器。存儲器保存由CPU執(zhí)行的程序，程序數(shù)據(jù)，EPG數(shù)據(jù)，通過網(wǎng)絡獲得的數(shù)據(jù)等。在啟動電視機900時，保存在存儲器中的程序由CPU讀取和執(zhí)行。CPU執(zhí)行所述程序，以按照從用戶接口911輸入的操作信號，控制電視機900的操作。
[0428]用戶接口 911連接到控制單元910。用戶接口 911例如包括允許用戶操作電視機900的按鈕和開關，遙控信號的接收單元，等等。用戶接口 911通過上述組件，檢測用戶的操作，從而生成操作信號，并把生成的操作信號輸出給控制單元910。
[0429]總線912用于互連調諧器902、解復用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909和控制單元910。
[0430]在具有上述結構的電視機900中，解碼器904具有按照上述實施例的圖像解碼設備300 (圖16)的功能。因而，電視機900能夠抑制量化矩陣的編碼量的增大。
[0431]〈8.第八實施例〉
[0432][移動電話機]
[0433]圖36圖解說明上述實施例適用于的移動電話機的示意結構的例子。移動電話機920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、相機單元926、圖像處理單元927、復用/解復用單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932和總線933。
[0434]天線921連接到通信單元922。揚聲器924和麥克風925連接到音頻編解碼器923。操作單元932連接到控制單元931?？偩€933用于互連通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、復用/解復用單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931。
[0435]移動電話機920按各種操作模式，包括語音通話模式、數(shù)據(jù)通信模式、圖像拍攝模式和電視電話模式進行諸如傳輸和接收音頻信號、傳輸和接收電子郵件或圖像數(shù)據(jù)、拍攝圖像和記錄數(shù)據(jù)之類的操作。
[0436]在語音通話模式下，麥克風925產生的模擬音頻信號被提供給音頻編解碼器923。音頻編解碼器923把模擬音頻信號轉換成音頻數(shù)據(jù)，并對轉換后的音頻數(shù)據(jù)進行A/D轉換和壓縮。隨后，音頻編解碼器923把壓縮的音頻數(shù)據(jù)輸出給通信單元922。通信單元922編碼和調制音頻數(shù)據(jù)，從而生成傳輸信號。隨后，通信單元922把生成的傳輸信號通過天線921傳送給基站(未例示)。此外，通信單元922放大通過天線921接收的無線信號，并對放大的信號進行頻率轉換，從而獲得接收信號。隨后，通信單元922解調和解碼接收信號，從而生成音頻數(shù)據(jù)，并把生成的音頻數(shù)據(jù)輸出給音頻編解碼器923。音頻編解碼器923展開音頻數(shù)據(jù)，并進行D/A轉換，從而生成模擬音頻信號。隨后，音頻編解碼器923把生成的音頻信號輸出給揚聲器924,從而使音頻被輸出。
[0437]此外，在數(shù)據(jù)通信模式下，控制單元931按照用戶通過操作單元932的操作，生成形成電子郵件的文本數(shù)據(jù)。另外，控制單元931使文本被顯示在顯示單元930上?？刂茊卧?31還按照通過操作單元932，從用戶發(fā)出的傳輸指令，生成電子郵件數(shù)據(jù)，并把生成的電子郵件數(shù)據(jù)輸出給通信單元922。通信單元922編碼和調制電子郵件數(shù)據(jù)，從而產生傳輸信號。隨后，通信單元922把生成的傳輸信號通過天線921傳送給至基站(未例示)。另夕卜，通信單元922放大通過天線921接收的無線信號，并對放大的信號進行頻率轉換，從而獲得接收信號。隨后，通信單元922解調和解碼接收信號，從而恢復電子郵件數(shù)據(jù)，并把恢復的電子郵件數(shù)據(jù)輸出給控制單元931。控制單元931使電子郵件的內容被顯示在顯示單元930上，還使電子郵件數(shù)據(jù)被保存在記錄/再現(xiàn)單元929的存儲介質中。
[0438]記錄/再現(xiàn)單元929包括期望的可讀/可寫存儲介質。例如，存儲介質可以是內置存儲介質，比如RAM和閃存，或者外部存儲介質，比如硬盤、磁盤、磁光盤、光盤、USB存儲器或存儲卡。
[0439]此外，在圖像拍攝模式下，例如，相機單元926拍攝被攝物體的圖像，從而生成圖像數(shù)據(jù)，并把生成的圖像數(shù)據(jù)輸出給圖像處理單元927。圖像處理單元927對從相機單元926輸入的圖像數(shù)據(jù)編碼，并使編碼流被保存在記錄/再現(xiàn)單元929的存儲介質中。
[0440]此外，在電視電話模式下，例如，復用/解復用單元928復用由圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流，并把復用流輸出給通信單元922。通信單元922編碼和調制所述流，從而生成傳輸信號。隨后，通信單元922把生成的傳輸信號通過天線921傳送給基站(未例示)。另外，通信單元922放大通過天線921接收的無線信號，并對放大的信號進行頻率轉換，從而獲得接收信號。傳輸信號和接收信號可包括編碼比特流。然后，通信單元922解調和解碼接收信號，從而恢復所述流，并把恢復的流輸出給復用/解復用單元928。復用/解復用單元928把輸入流解復用成視頻流和音頻流，并把視頻流和音頻流分別輸出給圖像處理器927和音頻編解碼器923。圖像處理器927解碼視頻流，從而生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供給顯示單元930，由顯示單元930顯示一系列圖像。音頻編解碼器923展開音頻流，并進行D/A轉換，從而生成模擬音頻信號。隨后，音頻編解碼器923把生成的音頻信號輸出給揚聲器924,以使音頻被輸出。
[0441]在具有上述結構的移動電話機920中，圖像處理單元927具有按照上述實施例的圖像編碼設備10(圖1)的功能和圖像解碼設備300 (圖16)的功能。因而，移動電話機920能夠抑制量化矩陣的編碼量的增大。
[0442]另外，盡管已給出了移動電話機920的說明，不過，和移動電話機920類似，本技術適用于的圖像編碼設備和圖像解碼設備可用于具有和移動電話機920類似的成像功能和通信功能的任何設備，比如PDA(個人數(shù)字助手)、智能電話機、UMPC(超級移動個人計算機)、上網(wǎng)本和筆記本個人計算機。
[0443]<9.第九實施例>
[0444][記錄/再現(xiàn)設備]
[0445]圖37圖解說明上述實施例適用于的記錄/再現(xiàn)設備的示意結構的例子。記錄/再現(xiàn)設備940對接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并把編碼的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質上。另外，記錄/再現(xiàn)設備940還可對例如從另一個設備獲得的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并把編碼的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質上。另外，記錄/再現(xiàn)設備940按照用戶發(fā)出的指令，利用監(jiān)視器和揚聲器再現(xiàn)記錄在記錄介質上的數(shù)據(jù)。這種情況下，記錄/再現(xiàn)設備940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。
[0446]記錄/再現(xiàn)設備940包括調諧器941、外部接口 942、編碼器943、HDD (硬盤驅動器)944、光盤驅動器945、選擇器946、解碼器947、OSD (屏上顯示器)948、控制單元949和用戶接口 950。
[0447]調諧器941從通過天線(未例示)接收的廣播信號中提取所需頻道的信號，并解調提取的信號。隨后，調諧器941把通過解調獲得的編碼比特流輸出給選擇器946。換句話說，調諧器941充當記錄/再現(xiàn)設備940中的傳輸單元。
[0448]外部接口 942是連接記錄/再現(xiàn)設備940和外部裝置或網(wǎng)絡的接口。外部接口942可以是例如IEEE 1394接口、網(wǎng)絡接口、USB接口或閃存接口等。例如，通過外部接口942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入編碼器943。換句話說，外部接口 942充當記錄/再現(xiàn)設備940中的傳輸單元。
[0449]如果從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼，那么編碼器943對所述視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼。隨后，編碼器943把編碼比特流輸出給選擇器946。
[0450]HDD 944把包括壓縮的內容數(shù)據(jù)，比如視頻和音頻的編碼比特流、各種程序和其它數(shù)據(jù)記錄在內部硬盤上。此外，當再現(xiàn)視頻和音頻時，HDD944從硬盤上讀取上述數(shù)據(jù)。
[0451]光盤驅動器945把數(shù)據(jù)記錄在放入其中的記錄介質上，和從放入其中的記錄介質讀取數(shù)據(jù)。放入光盤驅動器945中的記錄介質可以是例如DVD光盤(DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW等)，或者藍光(注冊商標)光盤。
[0452]當記錄視頻和音頻時，選擇器946選擇從調諧器941或編碼器943輸入的編碼比特流，并把選擇的編碼比特流輸出給HDD 944或光盤驅動器945。當再現(xiàn)視頻和音頻時，選擇器946把從HDD 944或光盤驅動器945輸入的編碼比特流輸出給解碼器947。
[0453]解碼器947解碼編碼比特流，從而生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。隨后，解碼器947把生成的視頻數(shù)據(jù)輸出給OSD 948。另外，解碼器904還把生成的音頻數(shù)據(jù)輸出給外部揚聲器。
[0454]OSD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)，并顯示視頻。另外，0SD948還可把諸如菜單、按鈕或光標之類的⑶I圖像疊加在顯示的視頻上。
[0455]控制單元949包括諸如CPU之類的處理器，和諸如RAM和ROM之類的存儲器。存儲器保存由CPU執(zhí)行的程序、程序數(shù)據(jù)等。當記錄/再現(xiàn)設備940被啟動時，CPU讀取并執(zhí)行保存在存儲器中的程序。CPU執(zhí)行程序，從而按照從用戶接口 950輸入的操作信號，控制記錄/再現(xiàn)設備940的操作。
[0456]用戶接口 950連接到控制器949。用戶接口 950包括例如允許用戶操作記錄/再現(xiàn)設備940的按鈕和開關，遙控信號的接收器等等。用戶接口 950通過上述組件檢測用戶的操作，從而生成操作信號，并把生成的操作信號輸出給控制單元949。
[0457]在具有上述結構的記錄/再現(xiàn)設備940中，編碼器943具有按照上述實施例的圖像編碼設備10(圖1)的功能。解碼器947具有按照上述實施例的圖像解碼設備300(圖16)的功能。因而，記錄/再現(xiàn)設備940能夠抑制量化矩陣的編碼量的增大。
[0458]<10.第十實施例>
[0459][成像設備]
[0460]圖38圖解說明上述實施例適用于的成像設備的示意結構的例子。成像設備960拍攝被攝物體的圖像，從而生成圖像，對圖像數(shù)據(jù)編碼，并把編碼的圖像數(shù)據(jù)記錄在記錄介質上。
[0461]成像設備960包括光學部件961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口 966、存儲器967、介質驅動器968、OSD 969、控制單元970、用戶接口 971和總線972。
[0462]光學部件961連接到成像單元962。成像單元962連接到信號處理單元963。顯示單元965連接到圖像處理單元964。用戶接口 971連接到控制單元970?？偩€972用于互連圖像處理單元964、外部接口 966、存儲器967、介質驅動器968、0SD 969和控制單元970。
[0463]光學部件961包括聚焦透鏡、光圈等。光學部件961在成像單元962的像面上形成被攝物體的光學圖像。成像單元962包括諸如CXD或CMOS之類的圖像傳感器，并通過進行光電轉換，把在像面上形成的光學圖像轉換成作為電信號的圖像信號。隨后，成像單元962把圖像信號輸出給信號處理單元963。
[0464]信號處理單兀963對從成像單兀962輸入的圖像信號進行各種相機信號處理操作，比如拐點校正、Y校正和顏色校正。信號處理單元963把經(jīng)過相機信號處理操作的圖像數(shù)據(jù)輸出給圖像處理單元964。
[0465]圖像處理單元964編碼從信號處理單元963輸入的圖像數(shù)據(jù)，從而生成編碼數(shù)據(jù)。圖像處理單元964把生成的編碼數(shù)據(jù)輸出給外部接口 966或介質驅動器968。另外，圖像處理單元964解碼從外部接口 966或介質驅動器968輸入的編碼數(shù)據(jù)，從而生成圖像數(shù)據(jù)。隨后，圖像處理單元964把生成的圖像數(shù)據(jù)輸出給顯示單元965。另外，圖像處理單元964還可把從信號處理單元963輸入的圖像數(shù)據(jù)輸出給顯示單元965，使圖像被顯示。另外，圖像處理單元964還可從OSD 969獲得的顯示用數(shù)據(jù)疊加在輸出給顯示單元965的圖像上。
[0466]OSD 969生成諸如菜單、按鈕或光標之類的⑶I圖像，并把生成的圖像輸出給圖像處理單元964。
[0467]外部接口 966由例如USB輸入/輸出端口構成。例如，當打印圖像時，外部接口 966連接成像設備960和打印機。此外，驅動器被酌情連接到外部接口 966?？刹鹦督橘|，比如磁盤或光盤被放入驅動器中，從可拆卸介質讀取的程序可被安裝到成像設備960中。另外，外部接口 966也可由連接到網(wǎng)絡，比如LAN和因特網(wǎng)的網(wǎng)絡接口構成。換句話說，外部接口966充當成像設備960中的傳輸單元。
[0468]放入介質驅動器968中的記錄介質可以是任何可讀/可寫的可拆卸介質，比如磁盤、磁光盤、光盤或半導體存儲器。另一方面，記錄介質可被固定地安裝在介質驅動器968上，可構成內置硬盤驅動器或不可移植的存儲部分，比如或SSD(固態(tài)驅動器)。
[0469]控制單元970包括諸如CPU之類的處理器，和諸如RAM和ROM之類的存儲器。存儲器保存由CPU執(zhí)行的程序，程序數(shù)據(jù)等。當成像設備960被啟動時，CPU讀取并執(zhí)行保存在存儲器中的程序。CPU執(zhí)行程序，以按照從用戶接口 971輸入的操作信號，控制成像設備960的操作。
[0470]用戶接口 971連接到控制單元970。用戶接口 971包括允許用戶操作成像設備960的按鈕、開關等。用戶接口 971通過上述組件，檢測用戶的操作，從而生成操作信號，并把生成的操作信號輸出給控制單元970。
[0471]在具有上述結構的成像設備960中，圖像處理單元964具有按照上述實施例的圖像編碼設備10(圖1)的功能和圖像解碼設備300 (圖16)的功能。因而，成像設備960能夠抑制量化矩陣的編碼量的增大。
[0472]當然，本技術適用于的圖像編碼設備和圖像解碼設備也可用于除上述設備以外的設備和系統(tǒng)。
[0473]<11.可擴展編碼的例證應用>
[0474][第一系統(tǒng)]
[0475]下面說明已被可擴展編碼(分層編碼)的可擴展編碼數(shù)據(jù)的使用的具體例子。和圖39中圖解所示的例子中一樣，可擴展編碼用于待傳送數(shù)據(jù)的選擇。
[0476]在圖39中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1000中，分發(fā)服務器1002讀取保存在可擴展編碼數(shù)據(jù)存儲單元1001中的可擴展編碼數(shù)據(jù)，并經(jīng)網(wǎng)絡1003，把可擴展編碼數(shù)據(jù)分發(fā)給終端設備，比如個人計算機1004、AV設備1005、平板設備1006和移動電話機1007。
[0477]這種情況下，分發(fā)服務器1002按照終端設備的性能、通信環(huán)境等，選擇具有期望質量的編碼數(shù)據(jù)，并傳送選擇的編碼數(shù)據(jù)。即使分發(fā)服務器1002傳送質量高于必需質量的數(shù)據(jù)，終端設備也并不總是獲得高質量圖像，并且可能導致延遲或上溢。另外，這種數(shù)據(jù)會不必要地占據(jù)更多的通信帶寬，或者會不必要地增大終端設備的負荷。相反，即使分發(fā)服務器1002傳送質量低于必需質量的數(shù)據(jù)，終端設備也不一定獲得具有足夠質量的圖像。從而，分發(fā)服務器1002酌情讀取保存在可擴展編碼數(shù)據(jù)單元1001中的可擴展編碼數(shù)據(jù)，作為具有適合于終端設備的性能、通信環(huán)境等的質量的編碼數(shù)據(jù)，并傳送讀取的編碼數(shù)據(jù)。
[0478]例如，假定可擴展編碼數(shù)據(jù)存儲單元1001保存已被可擴展編碼的可擴展編碼數(shù)據(jù)(BL+EL) 1011?？蓴U展編碼數(shù)據(jù)(BL+EL) 1011是包括基本層和增強層的編碼數(shù)據(jù)，并且是被解碼從而獲得基本層的圖像和增強層的圖像的數(shù)據(jù)。
[0479]分發(fā)服務器1002按照傳送數(shù)據(jù)的終端設備的性能、通信環(huán)境等，選擇適當層，并讀取該層的數(shù)據(jù)。例如，分發(fā)服務器1002從可擴展編碼數(shù)據(jù)存儲單元1001，讀取高質量可擴展編碼數(shù)據(jù)(BL+EL) 1011，并把讀取的可擴展編碼數(shù)據(jù)(BL+EL)1011原樣傳送給具有高處理能力的設備，即，個人計算機1004或平板設備1006。相反，例如，分發(fā)服務器1002從可擴展編碼數(shù)據(jù)(BL+EL)1011中，提取基本層的數(shù)據(jù)，把提取的基本層的數(shù)據(jù)傳送給具有低處理能力的設備，即，AV設備1005和移動電話機1007，作為內容與可擴展編碼數(shù)據(jù)(BL+EL) 1011相同，但是質量比可擴展編碼數(shù)據(jù)(BL+EL)低的可擴展編碼數(shù)據(jù)(BL) 1012。
[0480]按照這種方式的可擴展編碼數(shù)據(jù)的使用使數(shù)據(jù)量的調整更容易，從而抑制延遲或上溢的發(fā)生，并且抑制終端設備或通信介質的負荷的不必要增大。此外，可擴展編碼數(shù)據(jù)(BL+EL) 1011具有各層之間的減小的冗余，于是與具有各層的單獨編碼數(shù)據(jù)的數(shù)據(jù)相比，數(shù)據(jù)量較小。因而，能夠更有效地利用可擴展編碼數(shù)據(jù)存儲單元1001的存儲區(qū)。
[0481]注意，由于諸如個人計算機1004、AV設備1005、平板設備1006和移動電話機1007之類的各種設備可用作終端設備，因此終端設備的硬件性能因設備而異。另外，由于終端設備可執(zhí)行各種應用程序，因此應用程序的軟件能力可變化。此外，充當通信介質的網(wǎng)絡1003可被實現(xiàn)成任何通信線路網(wǎng)，所述任何通信線路網(wǎng)可以是有線和/或無線通信線路網(wǎng)，比如因特網(wǎng)和LAN(局域網(wǎng))，并且具有各種數(shù)據(jù)傳輸能力。這樣的性能和能力可隨其它通信等而變化。
[0482]因而，在開始數(shù)據(jù)的傳輸之前，分發(fā)服務器1002可以與將向其傳送數(shù)據(jù)的終端設備通信，從而可獲得關于該終端設備的能力的信息，比如所述終端設備的硬件性能或者所述終端設備執(zhí)行的應用程序(軟件)的性能，以及關于通信環(huán)境的信息，比如網(wǎng)絡1003的可用帶寬。另外，分發(fā)服務器1002可根據(jù)獲得的信息，選擇適當?shù)膶印?br> [0483]注意，終端設備可以提取層。例如，個人計算機1004可解碼傳送的可擴展編碼數(shù)據(jù)(BL+EL) 1011，并顯示基本層的圖像或增強層的圖像。另一方面，例如，個人計算機1004可從傳送的可擴展編碼數(shù)據(jù)(BL+EL)1011中，提取基本層的可擴展編碼數(shù)據(jù)(BL) 1012，保存提取的可擴展編碼數(shù)據(jù)(BL) 1012，把提取的可擴展編碼數(shù)據(jù)(BL) 1012傳送給另一個設備，或者解碼提取的可擴展編碼數(shù)據(jù)(BL) 1012，以顯示基本層的圖像。
[0484]當然，可擴展編碼數(shù)據(jù)存儲單元1001的數(shù)目，分發(fā)服務器1002的數(shù)目，網(wǎng)絡1003的數(shù)目和終端設備的數(shù)目可以是任意數(shù)目。另外，盡管說明了其中分發(fā)服務器1002向終端設備傳送數(shù)據(jù)的例子，不過可以得到其它使用例子。數(shù)據(jù)傳輸系統(tǒng)1000可以用在當向終端設備傳送已被可擴展編碼的編碼數(shù)據(jù)時，控制終端設備的能力、通信環(huán)境等，選擇適當層的任何系統(tǒng)中。
[0485]另外，本技術還可按照與應用于上面參考圖31-圖33說明的分層編碼和分層解碼相似的方式，應用于如上所述的圖39中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1000，從而獲得與上面參考圖31-圖33說明的優(yōu)點類似的優(yōu)點。
[0486][第二系統(tǒng)]
[0487]如圖40中圖解所示的例子中一樣，可擴展編碼也用于經(jīng)多種通信介質的傳輸。
[0488]在圖40中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1100中，廣播站1101通過地面廣播1111，傳送基本層的可擴展編碼數(shù)據(jù)(BL) 1121。廣播站1101還通過由通信網(wǎng)絡形成的預期網(wǎng)絡1112，傳送(例如，分包和傳送)增強層的可擴展編碼數(shù)據(jù)(EL) 1122，所述通信網(wǎng)絡可以是有線和/或無線通信網(wǎng)絡。
[0489]終端設備1102具有接收來自廣播站1101的地面廣播1111的功能，從而接收通過地面廣播1111傳送的基本層的可擴展編碼數(shù)據(jù)(BL) 1121。終端設備1102還具有通過網(wǎng)絡1112進行通信的通信功能，從而接收通過網(wǎng)絡1112傳送的增強層的可擴展編碼數(shù)據(jù)(EL)1122。
[0490]終端設備1102按照例如用戶指令等，解碼通過地面廣播1111獲得的基本層的可擴展編碼數(shù)據(jù)(BL)1121，從而獲得基本層的圖像，保存可擴展編碼數(shù)據(jù)(BL)1121，或者把可擴展編碼數(shù)據(jù)(BL) 1121傳送給另一個設備。
[0491]此外，終端設備1102按照例如用戶指令等，組合通過地面廣播1111獲得的基本層的可擴展編碼數(shù)據(jù)(BL) 1121和通過網(wǎng)絡1112獲得的增強層的可擴展編碼數(shù)據(jù)(EL) 1122，從而獲得可擴展編碼數(shù)據(jù)(BL+EL)，并解碼可擴展編碼數(shù)據(jù)(BL+EL)，以獲得增強層的圖像，保存可擴展編碼數(shù)據(jù)(BL+EL)，或者把可擴展編碼數(shù)據(jù)(BL+EL)傳送給另一個設備。
[0492]如上所述，可以經(jīng)因層而異的通信介質，傳送可擴展編碼數(shù)據(jù)。從而，可以分散負荷，并且能夠抑制延遲或上溢的發(fā)生。
[0493]此外，可按照狀況，為每一層選擇用于傳輸?shù)耐ㄐ沤橘|。例如，可以通過具有較大帶寬的通信介質傳送數(shù)據(jù)量較大的基本層的可擴展編碼數(shù)據(jù)(BL) 1121，可通過帶寬較窄的通信介質傳送數(shù)據(jù)量較小的增強層的可擴展編碼數(shù)據(jù)(EL) 1122。另一方面，例如，可按照網(wǎng)絡的可用帶寬，在網(wǎng)絡1112和地面廣播1111之間，切換經(jīng)其傳送增強層的可擴展編碼數(shù)據(jù)(EL) 1122的通信介質。當然，上述類似地適用于任意層的數(shù)據(jù)。
[0494]按照上述方式的控制能夠進一步抑制數(shù)據(jù)傳輸負荷的增大。
[0495]當然，層數(shù)是任意的，用于傳輸?shù)耐ㄐ沤橘|的數(shù)目也是任意的。另外，待被分發(fā)數(shù)據(jù)的終端設備1102的數(shù)目也是任意的。另外，盡管舉例說明了從廣播站1101廣播的情況，不過可以得到其它使用例子。數(shù)據(jù)傳輸系統(tǒng)1100可應用于以層為單位，把經(jīng)過可擴展編碼的編碼數(shù)據(jù)分成多個片段，并通過多條線路傳送數(shù)據(jù)段的任何系統(tǒng)。
[0496]另外，本技術也可按照與應用于上面參考圖31-圖33說明的分層編碼和分層解碼相似的方式，應用于如上所述的圖40中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1100，從而獲得與上面參考圖31-圖33說明的優(yōu)點類似的優(yōu)點。
[0497][第三系統(tǒng)]
[0498]如圖41中圖解所示的例子中一樣，可擴展編碼也用于編碼數(shù)據(jù)的存儲。
[0499]在圖41中圖解所示的成像系統(tǒng)1200中，成像設備1201對通過拍攝被攝物體1211的圖像而獲得的圖像數(shù)據(jù)進行可擴展編碼，并把作為結果的數(shù)據(jù)作為可擴展編碼數(shù)據(jù)(BL+EL) 1221，提供給可擴展編碼數(shù)據(jù)存儲設備1202。
[0500]可擴展編碼數(shù)據(jù)存儲設備1202按與狀況對應的質量，保存從成像設備1201供給的可擴展編碼數(shù)據(jù)(BL+EL) 1221。例如，在正常狀態(tài)下，可擴展編碼數(shù)據(jù)存儲設備1202從可擴展編碼數(shù)據(jù)(BL+EL) 1221中，提取基本層的數(shù)據(jù)，并保存提取的基本層的數(shù)據(jù)，作為質量低并且數(shù)據(jù)量小的基本層的可擴展編碼數(shù)據(jù)(BL) 1222。相反，例如，在特殊狀態(tài)下，可擴展編碼數(shù)據(jù)存儲設備1202原樣保存質量高并且數(shù)據(jù)量大的可擴展編碼數(shù)據(jù)(BL+EL) 1221。
[0501]因而，可擴展編碼數(shù)據(jù)存儲設備1202可以只有當必需時，才高質量地保存圖像。這能夠抑制數(shù)據(jù)量的增大，同時抑制由質量的降低引起的圖像價值的降低，并且能夠提高存儲區(qū)的使用效率。
[0502]例如，假定成像設備1201是監(jiān)控攝像頭。如果待監(jiān)控的對象(例如入侵者)未出現(xiàn)在拍攝的圖像中(正常狀態(tài))，那么拍攝的圖像可能沒有重要的內容。從而，優(yōu)先考慮數(shù)據(jù)量的降低，從而低質量地保存圖像的圖像數(shù)據(jù)(可擴展編碼數(shù)據(jù))。相反，如果待監(jiān)控的對象作為對象1211，出現(xiàn)在拍攝的圖像中(特殊狀態(tài))，那么拍攝的圖像可能具有重要的內容。從而，優(yōu)先考慮圖像質量，從而高質量地保存圖像的圖像數(shù)據(jù)(可擴展編碼數(shù)據(jù))。
[0503]注意，通過分析圖像，可擴展編碼數(shù)據(jù)存儲設備1202可以判定正常狀態(tài)或特殊狀態(tài)。另一方面，成像設備1201可判定正常狀態(tài)或特殊狀態(tài)，并把判定結果傳送給可擴展編碼數(shù)據(jù)存儲設備1202。
[0504]注意，正常狀態(tài)或特殊狀態(tài)的判定可以基于任意標準，所述判定所基于的圖像可具有任何內容。當然，除圖像的內容之外的條件可以用作判定標準?？梢园凑绽缬涗浀囊纛l的大小、波形等，改變模式，或者可以每隔預定時間，改變模式。另一方面，可以按照諸如用戶指令之類的外部指令，改變模式。
[0505]另外，盡管說明了在兩種狀態(tài)，即，正常狀態(tài)和特殊狀態(tài)之間變化的例子，不過，狀態(tài)的數(shù)目是任意的，可在不止兩種狀態(tài)，比如在正常狀態(tài)、不太特殊的狀態(tài)、特殊狀態(tài)和更特殊的狀態(tài)之間進行狀態(tài)改變。注意，待改變的狀態(tài)的上限數(shù)取決于可擴展編碼數(shù)據(jù)的層數(shù)。
[0506]此外，成像設備1201可按照狀態(tài)，確定可擴展編碼的層數(shù)。例如，在正常狀態(tài)下，成像設備1201可生成質量低并且數(shù)據(jù)量小的基本層的可擴展編碼數(shù)據(jù)(BL) 1222，并把生成的可擴展編碼數(shù)據(jù)(BL) 1222提供給可擴展編碼數(shù)據(jù)存儲設備1202。此外，例如，在特殊狀態(tài)下，成像設備1201可生成質量高并且數(shù)據(jù)量大的基本層的可擴展編碼數(shù)據(jù)(BL+EL) 1221，并把生成的可擴展編碼數(shù)據(jù)(BL+EL) 1221提供給可擴展編碼數(shù)據(jù)存儲設備1202。
[0507]盡管舉例說明了監(jiān)控攝像頭，不過，成像系統(tǒng)1200可以用在任何應用中，所述應用并不局限于監(jiān)控攝像頭。
[0508]另外，本技術也可按照與應用于上面參考圖31-圖33說明的分層編碼和分層解碼相似的方式，應用于如上所述的圖41中圖解所示的成像系統(tǒng)1200，從而獲得與上面參考圖31-圖33說明的優(yōu)點類似的優(yōu)點。
[0509]注意，本技術也適用于其中以片段為單位，從預先準備的具有不同分辨率的多個編碼數(shù)據(jù)中，選擇并使用一項適當?shù)木幋a數(shù)據(jù)的HTTP流式傳輸，比如MPEG DASH。換句話說，也可在多個編碼數(shù)據(jù)之間共享關于編碼和解碼的信息。
[0510]注意，這里說明了其中從編碼器側向編碼器側傳送量化矩陣和與量化矩陣相關的參數(shù)的例子。傳送量化矩陣和與量化矩陣相關的參數(shù)的技術可以是以與編碼比特流關聯(lián)的獨立數(shù)據(jù)的形式，傳送或記錄量化矩陣參數(shù)，而不把量化矩陣參數(shù)復用到編碼比特流中的技術。這里使用的用語“關聯(lián)”意味在圖像被解碼時，允許包含在比特流中的圖像(它可以是圖像的一部分，比如切片或塊)與對應于該圖像的信息相聯(lián)系。即，可通過與用于圖像(或者比特流)的傳輸路徑不同的傳輸路徑傳送所述信息。此外，信息可被記錄在與用于圖像(或者比特流)的記錄介質不同的記錄介質上(或者記錄在相同記錄介質的不同記錄區(qū)域中)。此外，可按任意單位，比如多幀、一幀、或一幀的一部分，使信息和圖像(或者比特流)彼此相關。
[0511]盡管參考附圖，詳細說明了本公開的優(yōu)選實施例，不過，本公開的技術范圍并不局限于這些例子。顯然本公開的【技術領域】的任何普通技術人員可在附加權利要求中記載的技術思想的范圍內，實現(xiàn)各種變化或修改，這些變化或修改也落在本公開的技術范圍之內。
[0512]注意，本技術也可提供以下結構。
[0513](I) 一種圖像處理設備，包括:
[0514]接收單元，所述接收單元被配置成接收編碼數(shù)據(jù)和量化矩陣，所述編碼數(shù)據(jù)是通過對圖像進行編碼處理獲得的，所述量化矩陣局限于小于或等于作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉拇笮。?br> [0515]解碼單元，所述解碼單元被配置成對接收單元接收的編碼數(shù)據(jù)進行解碼處理，從而生成量化數(shù)據(jù)；
[0516]向上轉換單元,所述向上轉換單元被配置成把接收單元接收的量化矩陣從所述傳輸大小向上轉換成與塊大小相同的大小，所述塊大小是進行逆量化的處理單位；和
[0517]逆量化單元，所述逆量化單元被配置成利用由向上轉換單元向上轉換的量化矩陣，逆量化由解碼單元生成的量化數(shù)據(jù)。
[0518](2)按照⑴和(3)-(19)任意之一所述的圖像處理設備，其中
[0519]接收單元接收的量化矩陣把與默認量化矩陣大小相同的大小作為傳輸大小。
[0520](3)按照⑴、⑵和(4)-(19)任意之一所述的圖像處理設備，其中
[0521]接收單元接收的量化矩陣把與默認量化矩陣的最大大小相同的大小作為傳輸大小。
[0522](4)按照(1)-(3)和(5)-(19)任意之一所述的圖像處理設備，其中
[0523]所述傳輸大小為8X8，和
[0524]接收單元接收的量化矩陣具有8X8大小。
[0525](5)按照⑴-⑷和(6)-(19)任意之一所述的圖像處理設備，其中
[0526]向上轉換單元通過對接收單元接收的量化矩陣中的矩陣元素，進行插值處理，來向上轉換局限于小于或等于傳輸大小的大小的量化矩陣。
[0527](6)按照(1)-(5)和(7)-(19)任意之一所述的圖像處理設備，其中
[0528]向上轉換單元通過對接收單元接收的量化矩陣中的矩陣元素，進行最近鄰插值處理，來向上轉換局限于小于或等于傳輸大小的大小的量化矩陣。
[0529](7)按照(1)-(6)和(8)-(19)任意之一所述的圖像處理設備，其中
[0530]所述傳輸大小為8X8，和
[0531]向上轉換單元通過對8X8大小的量化矩陣中的矩陣元素,進行最近鄰插值處理，把8X8大小的量化矩陣向上轉換成16X 16大小的量化矩陣。
[0532](8)按照(1)-(7)和(9)-(19)任意之一所述的圖像處理設備，其中
[0533]向上轉換單元通過對8X8大小的量化矩陣中的矩陣元素，進行最近鄰插值處理，把8X8大小的量化矩陣向上轉換成32X32大小的量化矩陣。
[0534](9)按照(I)-⑶和(10)-(19)任意之一所述的圖像處理設備，其中
[0535]向上轉換單元通過對正方量化矩陣中的的矩陣元素，進行插值處理，把局限于小于或等于傳輸大小的大小的正方量化矩陣向上轉換成非正方量化矩陣。
[0536](10)按照(1)-(9)和(11)-(19)任意之一所述的圖像處理設備，其中
[0537]所述傳輸大小為8X8，和
[0538]向上轉換單元通過對8X8大小的量化矩陣中的矩陣元素進行插值處理，把8X8大小的量化矩陣向上轉換成8X32大小的量化矩陣或32X8大小的量化矩陣。
[0539](11)按照(I)-(1)和(12)-(19)任意之一所述的圖像處理設備，其中
[0540]所述傳輸大小為8X8，和
[0541]向上轉換單元通過對4X4大小的量化矩陣中的矩陣元素進行插值處理，把4X4大小的量化矩陣向上轉換成4 X 16大小的量化矩陣或16X4大小的量化矩陣。
[0542](12)按照(I)-(Il)和(13)-(19)任意之一所述的圖像處理設備，其中
[0543]所述傳輸大小為8X8，和
[0544]向上轉換單元通過對8X8大小的量化矩陣中的矩陣元素進行插值處理，把8X8大小的量化矩陣向上轉換成2X32大小的量化矩陣、32X2大小的量化矩陣、IX 16大小的量化矩陣、或者16X1大小的量化矩陣。
[0545](13)按照(1)-(12)和(14)-(19)任意之一所述的圖像處理設備，其中
[0546]作為進行解碼處理的處理單位的編碼單位，和作為進行變換處理的處理單位的變換單位具有分層結構，
[0547]解碼單元利用具有分層結構的單元，對編碼數(shù)據(jù)進行解碼處理，和
[0548]向上轉換單元把接收單元接收的量化矩陣從所述傳輸大小，向上轉換成作為進行逆量化的處理單位的變換單位的大小。
[0549](14)按照(1)-(13)和(15)-(19)任意之一所述的圖像處理設備，其中
[0550]量化矩陣被設定成具有按照作為進行逆量化的處理單位的塊大小而不同的矩陣元素的量化矩陣，
[0551]接收單元接收具有按照作為進行逆量化的處理單位的塊大小而不同的矩陣元素的量化矩陣，和
[0552]向上轉換單元利用具有按照作為進行逆量化的處理單位的塊大小而不同的矩陣元素的量化矩陣，向上轉換接收單元接收的量化矩陣。
[0553](15)按照(1)-(14)和(16)-(19)任意之一所述的圖像處理設備，其中
[0554]所述傳輸大小為8X8，和
[0555]向上轉換單元在作為進行逆量化的處理單位的塊大小為16X 16的情況下向上轉換第一量化矩陣，而在作為進行逆量化的處理單位的塊大小為32X32的情況下向上轉換第二量化矩陣，第二量化矩陣具有不同于第一量化矩陣的矩陣元素。
[0556](16)按照(1)-(15)和(17)-(19)任意之一所述的圖像處理設備，其中
[0557]接收單元接收按照向上轉換的大小而不同的量化矩陣，和
[0558]向上轉換單元利用與向上轉換的大小對應的量化矩陣，進行向上轉換。
[0559](17)按照(1)-(16)、(18)和(19)任意之一所述的圖像處理設備，其中
[0560]接收單元接收用于向上轉換到第一大小的第一量化矩陣，和用于向上轉換到比第一大小大的第二大小的第二量化矩陣，和
[0561]在變換單位等于第一大小的情況下，向上轉換單元向上轉換接收單元接收的第一量化矩陣。
[0562](18)按照(17)所述的圖像處理設備，其中
[0563]在變換單位等于第二大小的情況下，向上轉換單元向上轉換接收單元接收的第二量化矩陣。
[0564](19)按照(17)或(18)所述的圖像處理設備，其中
[0565]第一大小為16X16,和
[0566]第二大小為32X32。
[0567](20) 一種圖像處理設備的圖像處理方法，包括:
[0568]接收編碼數(shù)據(jù)和量化矩陣，所述編碼數(shù)據(jù)是通過對圖像進行編碼處理獲得的，所述量化矩陣局限于小于或等于作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉拇笮。?br> [0569]對接收的編碼數(shù)據(jù)進行解碼處理，從而生成量化數(shù)據(jù)；
[0570]把接收的量化矩陣從所述傳輸大小向上轉換成與塊大小相同的大小，所述塊大小是進行逆量化的處理單位；和
[0571 ] 利用向上轉換的量化矩陣，逆量化生成的量化數(shù)據(jù)，
[0572]其中所述圖像處理方法由所述圖像處理設備進行。
[0573](21) —種圖像處理設備，包括:
[0574]設定單元，所述設定單元被配置成設定用于從作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉脚c塊大小相同的大小的向上轉換的量化矩陣，所述塊大小是逆量化通過量化圖像而獲得的量化數(shù)據(jù)的處理單位；
[0575]量化單元，所述量化單元被配置成利用由設定單元設定的量化矩陣，量化圖像，從而生成量化數(shù)據(jù)；
[0576]編碼單元，所述編碼單元被配置成對量化單元生成的量化數(shù)據(jù)進行編碼處理，從而生成編碼數(shù)據(jù)；和
[0577]傳輸單元，所述傳輸單元被配置成傳送由編碼單元生成的編碼數(shù)據(jù)，和由設定單元設定的量化矩陣，所述量化矩陣局限于小于或等于傳輸大小的大小。
[0578](22)按照(21)和(23)-(25)任意之一所述的圖像處理設備，其中
[0579]所述傳輸大小為8X8，和
[0580]設定單元設定的量化矩陣為8X8。
[0581](23)按照(21)、(22)、(24)和(25)任意之一所述的圖像處理設備，其中
[0582]量化矩陣是用于從8X8大小到16X16大小或32X32大小的向上轉換的量化矩陣。
[0583](24)按照(21)-(23)和(25)任意之一所述的圖像處理設備，其中
[0584]量化矩陣是用于向上轉換到32X32大小的量化矩陣。
[0585](25)按照(21)-(24)任意之一所述的圖像處理設備，其中
[0586]作為進行編碼處理的處理單位的編碼單位，和作為進行變換處理的處理單位的變換單位具有分層結構，
[0587]編碼單元利用具有分層結構的單元，對量化數(shù)據(jù)進行編碼處理。
[0588](26) 一種圖像處理設備的圖像處理方法，包括:
[0589]設定用于從作為允許傳輸?shù)淖畲蟠笮〉膫鬏敶笮〉脚c塊大小相同的大小的向上轉換的量化矩陣，所述塊大小是逆量化通過量化圖像而獲得的量化數(shù)據(jù)的處理單位；
[0590]利用設定的量化矩陣，量化圖像，從而生成量化數(shù)據(jù)；
[0591]對生成的量化數(shù)據(jù)進行編碼處理，從而生成編碼數(shù)據(jù)；和
[0592]傳送生成的編碼數(shù)據(jù)和設定的量化矩陣，所述量化矩陣局限于小于或等于傳輸大小的大小，
[0593]其中所述圖像處理方法由所述圖像處理設備進行。
[0594]附圖標記列表
[0595]10圖像編碼設備，14正交變換/量化部分，16無損編碼部分，150矩陣處理部分，152預測部分，154差分計算部分，161預測部分，162差分矩陣生成部分，163差分矩陣大小變換部分，164熵編碼部分，165解碼部分，166輸出部分，171復制部分，172預測矩陣生成部分，181預測矩陣大小變換部分，182計算部分，183量化部分，191重復判定部分，192DPCM部分193exp-G部分，201量化矩陣復原部分，202存儲部分，300圖像解碼設備，313逆量化/逆正交變換部分，410矩陣生成部分，531參數(shù)分析部分，532預測部分，533熵解碼部分，534量化矩陣復原部分，535輸出部分，536存儲部分，541復制部分，542預測矩陣生成部分，551exp-G部分，552逆DPCM部分，553逆重復判定部分，561預測矩陣大小變換部分，562差分矩陣大小變換部分，563逆量化部分，564計算部分，701量化矩陣大小變換部分，721量化矩陣大小變換部分。
【權利要求】
1.一種圖像處理設備，包括: 設定單元，所述設定單元被配置成設定對應于8 X 8變換單位的第一 8 X 8量化矩陣，和用于設定對應于16X 16變換單位的16X 16量化矩陣的第二 8X8量化矩陣；和 編碼單元，所述編碼單元被配置成編碼圖像數(shù)據(jù)，從而生成比特流，所述比特流包括由設定單元設定的第一 8X8量化矩陣，和由設定單元設定的第二 8X8量化矩陣，作為參數(shù)。
2.按照權利要求1所述的圖像處理設備，其中 設定單元設定用于設定對應于32X32變換單位的量化矩陣的第三8X8量化矩陣，和 編碼單元生成比特流，所述比特流包括由設定單元設定的第三8X8量化矩陣，作為參數(shù)。
3.按照權利要求2所述的圖像處理設備，其中編碼單元把第一8X8量化矩陣、第二8X8量化矩陣和第三8X8量化矩陣設定為比特流的圖像參數(shù)集。
4.按照權利要求3所述的圖像處理設備，還包括量化單元，所述量化單元被配置成利用通過對第二 8X8量化矩陣中的矩陣元素進行插值處理而生成的16X 16量化矩陣，來量化圖像數(shù)據(jù)，并被配置成生成量化數(shù)據(jù)， 其中所述編碼單元對量化單元生成的量化數(shù)據(jù)編碼，從而生成比特流。
5.按照權利要求4所述的圖像處理設備，其中量化單元利用通過對第二8X8量化矩陣中的矩陣元素進行最近鄰插值處理而生成的16X16量化矩陣，來量化圖像數(shù)據(jù)，并生成量化數(shù)據(jù)。
6.按照權利要求5所述的圖像處理設備，其中量化單元利用通過對第三8X8量化矩陣中的矩陣元素進行插值處理而生成的32X32量化矩陣，來量化圖像數(shù)據(jù)，并生成量化數(shù)據(jù)。
7.按照權利要求6所述的圖像處理設備，其中量化單元利用通過對第三8X8量化矩陣中的矩陣元素進行最近鄰插值處理而生成的32X32量化矩陣，來量化圖像數(shù)據(jù)，并生成量化數(shù)據(jù)。
8.按照權利要求7所述的圖像處理設備，其中在利用8X 8變換單位進行正交變換的情況下，量化單元利用第一 8X8量化矩陣來量化圖像數(shù)據(jù)。
9.按照權利要求8所述的圖像處理設備，還包括正交變換單元，所述正交變換單元被配置成利用8X8變換單位、16X 16變換單位或32X32變換單位，對圖像數(shù)據(jù)進行正交變換。
10.一種圖像處理方法，包括: 設定對應于8X8變換單位的第一 8X8量化矩陣，和用于設定對應于16 X 16變換單位的16X 16量化矩陣的第二 8X8量化矩陣；和 編碼圖像數(shù)據(jù)，從而生成比特流，所述比特流包括設定的第一 8X8量化矩陣和設定的第二 8X8量化矩陣，作為參數(shù)。
【文檔編號】H04N19/59GK104469376SQ201410668859
【公開日】2015年3月25日 申請日期:2012年11月30日 優(yōu)先權日:2011年12月19日
【發(fā)明者】田中潤一, 中神央二, 森上義崇 申請人:索尼公司