圖像處理設(shè)備和圖像處理方法
【專利摘要】【技術(shù)問題】在色域可伸縮性中，實現(xiàn)高預(yù)測精度同時減少編碼量的增加。【技術(shù)方案】提供了一種圖像處理裝置，所述圖像處理裝置包括：解碼單元，對相對于如下預(yù)測參數(shù)的先前值的差分進行解碼，其中所述預(yù)測參數(shù)是在根據(jù)第一層的圖像預(yù)測具有與所述第一層不同的色域的第二層的圖像時所使用的；以及預(yù)測單元，其使用利用所述解碼單元解碼后的差分所計算出的所述預(yù)測參數(shù)來根據(jù)所述第一層的圖像預(yù)測所述第二層的圖像。
【專利說明】圖像處理設(shè)備和圖像處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。

【背景技術(shù)】
[0002] 為了提高編碼效率使其超越Η. 264/AVC的目的，作為ITU-T(國際電信聯(lián)盟電信 標準化部）和ISO(國際標準化組織）/IEC(國際電工技術(shù)委員會）的聯(lián)合標準化組織的 JCTVC(聯(lián)合協(xié)作團隊視頻編碼）的被稱為HEVC(高效視頻編碼）的圖像編碼方案的標準化 當前正在進行中（例如，參見以下的非專利文獻1)。
[0003] 如諸如MPEG2 (運動圖像專家組2)和AVC(高級視頻編碼）的已知圖像編碼方案 那樣，HEVC不僅提供單個層的編碼而且還提供可伸縮視頻編碼。HEVC可伸縮視頻編碼技術(shù) 還被稱為SHVC(可伸縮HEVC)(例如，參見以下的非專利文獻2)。
[0004] 順便提及，可伸縮視頻編碼通常是分級地對傳輸粗略圖像信號的層和傳輸精細圖 像信號的層進行編碼的技術(shù)。在可伸縮視頻編碼中層級化的示例屬性主要包括以下三個：
[0005] -空間可伸縮性：對空間分辨率或圖像大小進行層級化。
[0006] -時間可伸縮性：對幀頻進行層級化。
[0007] -SNR(信噪比）可伸縮性：對SN比進行層級化。
[0008] 此外，盡管在標準中尚未采用，但還論述了位深度可伸縮性和色度格式可伸縮性。
[0009] 在非專利文獻3中，論述了對色域進行層級化的色域可伸縮性。例如，在高清晰度 (HD)電視中，通常使用1920X1080個像素的圖像大小、ITU-RBT. 709的色域和8位的位深 度。另一方面，在超高清晰度（UHD)電視中，正在研究使用4000X2000個像素或8000X4000 個像素的圖像大小、ITU-RBT. 2020的色域以及10或12位的位深度。通常，對于色域的轉(zhuǎn) 換，需要對三維像素矢量進行矩陣計算。然而，從將BT. 709和BT. 2020之間的關(guān)系近似為 針對各顏色成分獨立的線性關(guān)系的觀點，非專利文獻3提出了在基本層中使用BT. 709并且 在增強層中使用BT. 2020的情況下、利用簡單方法來根據(jù)基本層的像素值預(yù)測增強層的像 素值。
[0010] 引f列表
[0011] 非專利f獻
[0012] 非專利文獻I:BenjaminBross、Woo-JinHan、GaryJ.Sullivan、Jens-Rainer 0hm、GaryJ.SullivaruYe-KuiWang和ThomasWiegand所編著的"HighEfficiencyVideo Coding(HEVC)textspecificationdraftlO(forFDIS&Consent)，'（JCTVC-L1003v4, 2013 年 I月14日?23日）
[0013] 非專利文獻 2:JianleChen等人所編著的"Descriptionofscalablevideo codingtechnologyproposalbyQualcomm(configuration2)"（JCTVC-K0036, 2012 年 10 月10日?19日）
[0014] 非專利文獻 3:LouisKerofsky等人所編著的"ColorGamutScalableVideo Coding:NewResults"（JCTVC-L0334, 2013 年I月 14 日?23 日）


【發(fā)明內(nèi)容】

[0015] 摶術(shù)問是頁
[0016] 然而，在非專利文獻3所提出的方法中，由于在可以實現(xiàn)高預(yù)測精度的自適應(yīng)參 數(shù)模式中針對各圖片來對各顏色成分的增益和偏移進行編碼，因此編碼量增加。在移位模 式和固定參數(shù)模式中，沒有產(chǎn)生附加編碼參數(shù)，但預(yù)測精度略微劣化。
[0017] 因此，期望提供一種能夠在實現(xiàn)色域可伸縮性的高精度預(yù)測的同時抑制編碼量增 加的新結(jié)構(gòu)。
[0018] 解決向題的方案
[0019] 根據(jù)本發(fā)明的實施例，提供了一種圖像處理設(shè)備，包括：解碼部，被配置成對相對 于如下預(yù)測參數(shù)的先前值的差分進行解碼，其中所述預(yù)測參數(shù)是在根據(jù)第一層的圖像預(yù)測 具有與所述第一層不同的色域的第二層的圖像時所使用的；以及預(yù)測部，被配置成使用利 用由所述解碼部所解碼的差分而計算出的所述預(yù)測參數(shù)來根據(jù)所述第一層的圖像預(yù)測所 述第二層的圖像。
[0020] 上述圖像處理設(shè)備通?？梢詫崿F(xiàn)為對圖像解碼的圖像解碼裝置。
[0021] 根據(jù)本發(fā)明的實施例，提供了一種圖像處理方法，包括以下步驟：解碼相對于如下 預(yù)測參數(shù)的先前值的差，其中所述預(yù)測參數(shù)是在根據(jù)第一層的圖像預(yù)測具有與所述第一層 不同的色域的第二層的圖像時所使用的；以及使用利用解碼后的差所計算出的所述預(yù)測參 數(shù)，來根據(jù)所述第一層的圖像預(yù)測所述第二層的圖像。
[0022] 根據(jù)本發(fā)明的實施例，提供一種圖像處理設(shè)備，包括：預(yù)測部，被配置根據(jù)第一層 的圖像預(yù)測具有與所述第一層不同的色域的第二層的圖像，其中，在解碼所述第二層的圖 像時參考所述第一層的圖像；以及編碼部，被配置成對相對于所述預(yù)測部所使用的預(yù)測參 數(shù)的先前值的差分進行編碼。
[0023] 上述圖像處理設(shè)備通?？梢詫崿F(xiàn)為對圖像編碼的圖像編碼裝置。
[0024] 根據(jù)本發(fā)明的實施例，提供一種圖像處理方法，包括以下步驟：根據(jù)第一層的圖像 預(yù)測具有與所述第一層不同的色域的第二層的圖像，其中，在解碼所述第二層的圖像時參 考所述第一層的圖像；以及對相對于用于預(yù)測所述第二層的圖像的預(yù)測參數(shù)的先前值的差 分進行編碼。
[0025] 發(fā)明的有利效果
[0026] 根據(jù)本發(fā)明中的技術(shù)，可以在實現(xiàn)色域可伸縮性的高預(yù)測精度的同時抑制編碼量 的增加。

【專利附圖】

【附圖說明】
[0027] 圖1是示出可伸縮視頻編碼的說明圖。
[0028] 圖2是示出利用BT. 709和BT. 2020表示的色域的說明圖。
[0029] 圖3A是示出JCTVC-L0334所提出的色域預(yù)測的預(yù)測模式的表。
[0030] 圖3B是示出JCTVC-L0334所提出的預(yù)測參數(shù)的句法的第一說明圖。
[0031] 圖3C是示出JCTVC-L0334所提出的預(yù)測參數(shù)的句法的第二說明圖。
[0032] 圖4是示出根據(jù)實施例的圖像編碼裝置的示意結(jié)構(gòu)的框圖。
[0033] 圖5是示出根據(jù)實施例的圖像解碼裝置的示意結(jié)構(gòu)的框圖。
[0034] 圖6是示出圖4所示的EL編碼部的示例結(jié)構(gòu)的框圖。
[0035] 圖7是示出圖6所示的色域預(yù)測部的示例結(jié)構(gòu)的框圖。
[0036] 圖8是示出色域預(yù)測的編碼參數(shù)的句法的示例的說明圖。
[0037] 圖9是示出作為增益和偏移的差分的基礎(chǔ)的參數(shù)值的說明圖。
[0038] 圖10是示出各片的增益和偏移的編碼使用示例的說明圖。
[0039] 圖11是示出加權(quán)預(yù)測關(guān)聯(lián)參數(shù)的已知句法的說明圖。
[0040] 圖12是示出根據(jù)像素值所屬于的頻帶的預(yù)測參數(shù)的選擇性使用的說明圖。
[0041] 圖13是簡單表示根據(jù)參照圖12所述的方法而實現(xiàn)的預(yù)測模型的輝度成分的曲線 圖。
[0042] 圖14是示出根據(jù)參照圖12所述的方法的句法的示例的說明圖。
[0043] 圖15是示出根據(jù)像素所屬于的圖像區(qū)域的預(yù)測參數(shù)的選擇性使用的說明圖。
[0044] 圖16是示出根據(jù)參照圖15所述的方法的句法的示例的說明圖。
[0045] 圖17A是示出JCTVC-00194中所提出的、抑制層間預(yù)測的處理成本的方法的第一 說明圖。
[0046] 圖17B是示出JCTVC-00194中所提出的、抑制層間預(yù)測的處理成本的方法的第二 說明圖。
[0047] 圖17C是示出JCTVC-00194中所提出的、抑制層間預(yù)測的處理成本的方法的第三 說明圖。
[0048] 圖18A是示出抑制層間預(yù)測的處理成本的新方法的第一說明圖。
[0049] 圖18B是示出抑制層間預(yù)測的處理成本的新方法的第二說明圖。
[0050] 圖18C是示出抑制層間預(yù)測的處理成本的新方法的第三說明圖。
[0051] 圖19是示出根據(jù)參照圖18A?18C所述的方法的句法的示例的說明圖。
[0052] 圖20是示出根據(jù)實施例的編碼的示意處理流程的示例的流程圖。
[0053] 圖21是示出針對增強層的編碼處理中的色域預(yù)測處理的流程的第一示例的流程 圖。
[0054] 圖22是示出針對增強層的編碼處理中的色域預(yù)測處理的流程的第二示例的流程 圖。
[0055] 圖23是示出針對增強層的編碼處理中的色域預(yù)測處理的流程的第三示例的流程 圖。
[0056] 圖24是示出針對增強層的編碼處理中的色域預(yù)測處理的流程的第四示例的流程 圖。
[0057] 圖25A是示出已知層間預(yù)測的處理順序的示例的說明圖。
[0058] 圖25B是示出新層間預(yù)測的處理順序的示例的說明圖。
[0059] 圖26是示出圖5所示的EL解碼部的示例結(jié)構(gòu)的框圖。
[0060] 圖27是示出圖26所示的色域預(yù)測部的示例結(jié)構(gòu)的框圖。
[0061] 圖28是示出根據(jù)實施例的解碼時的示意處理流程的示例的流程圖。
[0062] 圖29是示出針對增強層的解碼處理中的色域預(yù)測處理的流程的第一示例的流程 圖。
[0063] 圖30是示出針對增強層的解碼處理中的色域預(yù)測處理的流程的第二示例的流程 圖。
[0064] 圖31是示出針對增強層的解碼處理中的色域預(yù)測處理的流程的第三示例的流程 圖。
[0065] 圖32是示出針對增強層的解碼處理中的色域預(yù)測處理的流程的第四示例的流程 圖。
[0066] 圖33是示出電視的示意結(jié)構(gòu)的示例的框圖。
[0067] 圖34是示出移動電話的示意結(jié)構(gòu)的示例的框圖。
[0068] 圖35是示出記錄/再現(xiàn)裝置的示意結(jié)構(gòu)的示例的框圖。
[0069] 圖36是示出攝像裝置的示意結(jié)構(gòu)的示例的框圖。
[0070] 圖37是示出可伸縮視頻編碼的使用的第一示例的說明圖。
[0071] 圖38是示出可伸縮視頻編碼的使用的第二示例的說明圖。
[0072] 圖39是示出可伸縮視頻編碼的使用的第三示例的說明圖。
[0073] 圖40是示出多視圖編解碼器的說明圖。
[0074] 圖41是示出多視圖編解碼器的圖像編碼裝置的示意結(jié)構(gòu)的框圖。
[0075] 圖42是示出多視圖編解碼器的圖像解碼裝置的示意結(jié)構(gòu)的框圖。

【具體實施方式】
[0076] 以下將參考附圖來詳細說明本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，利 用相同的附圖標記來表示具有基本相同的功能和結(jié)構(gòu)的元件并且省略了重復(fù)說明。
[0077] 將按以下順序進行說明。
[0078] 1.概述
[0079] 1-1.可伸縮視頻編碼
[0080] 1-2.色域可伸縮性
[0081] 1-3.編碼器的基本結(jié)構(gòu)示例
[0082] 1-4.解碼器的基本結(jié)構(gòu)示例
[0083] 2.實施例中的EL編碼部的結(jié)構(gòu)示例
[0084] 2-1.整體結(jié)構(gòu)
[0085] 2-2.色域預(yù)測部的具體結(jié)構(gòu)
[0086] 2-3.句法的示例
[0087] 3.根據(jù)實施例的編碼的處理流程
[0088] 3-1.示意流程
[0089] 3-2.色域預(yù)測處理
[0090] 4.實施例中的EL解碼部的結(jié)構(gòu)示例
[0091] 4-1.整體結(jié)構(gòu)
[0092] 4-2.色域預(yù)測部的具體結(jié)構(gòu)
[0093] 5.根據(jù)實施例的解碼的處理流程
[0094] 5-1.不意流程
[0095] 5-2.色域預(yù)測處理
[0096] 6.示例應(yīng)用
[0097] 6-1.各種產(chǎn)品的應(yīng)用
[0098] 6-2.可伸縮視頻編碼的各種用途
[0099] 6-3.其它
[0100] 7.結(jié)論
[0101] 〈1.概述〉
[0102] [1-1.可伸縮視頻編碼]
[0103] 在可伸縮視頻編碼中，對各自包含一系列圖像的多個層進行編碼。基本層是首先 進行編碼以表示最粗糙圖像的層?？梢詥为殞緦拥木幋a流進行解碼，而不對其它層的 編碼流進行解碼。除基本層以外的層是表示更精細的圖像的被稱為增強層的層。增強層的 編碼流是通過使用基本層的編碼流中所包含的信息來編碼的。因此，為了再現(xiàn)增強層的圖 像，要對基本層和增強層這兩者的編碼流進行解碼。在可伸縮視頻編碼中處理的層數(shù)可以 是大于或等于2的任意數(shù)。在對三層以上進行編碼的情況下，最低層是基本層并且其余層 是增強層。對于較高增強層的編碼流，可以使用較低增強層和基本層的編碼流中所包含的 信息來進行編碼和解碼。
[0104] 圖1示出經(jīng)歷了可伸縮視頻編碼的三個層L1、L2和L3。層Ll是基本層并且層L2 和L3是增強層。層L2相對于層Ll的空間分辨率比率為2:1并且層L3相對于層Ll的空 間分辨率比率為4:1。這里的分辨率比率僅是示例。例如，可以使用諸如1.5:1的非整數(shù) 的分辨率比率。層Ll的塊Bl是基本層的圖片中的編碼處理的處理單位。層L2的塊B2是 與塊Bl共通的場景所投影至的增強層的圖片中的編碼處理的處理單位。塊B2與層Ll的 塊Bl相對應(yīng)。層L3的塊B3是比與塊Bl和B2共通的場景所投影至的層高的增強層的圖 片中的編碼處理的處理單位。塊B3與層Ll的塊Bl和層L2的塊B2相對應(yīng)。
[0105] [1-2.色域可伸縮性]
[0106] 在圖1所例示的層結(jié)構(gòu)中，在共通場景所投影至的層之間，圖像的紋理相似。也就 是說，層Ll中的塊B1、層L2中的塊B2和層L3中的塊B3的紋理相似。因此，例如，在使用 塊Bl作為基準塊來預(yù)測塊B2或B3的像素、或者使用塊B2作為基準塊來預(yù)測塊B3的像素 的情況下，存在獲得高預(yù)測精度的可能性。層之間的這種預(yù)測被稱為層間預(yù)測。非專利文 獻2提出了層間預(yù)測的幾種方法。在這些方法中，使用基本層的解碼圖像（重構(gòu)圖像）作 為用以在幀內(nèi)BL預(yù)測中預(yù)測增強層的解碼圖像的基準圖像。在幀內(nèi)殘差預(yù)測和幀間殘差 預(yù)測中，使用基本層的預(yù)測誤差（殘差）圖像作為用以預(yù)測增強層的預(yù)測誤差圖像的基準 圖像。
[0107] 這里，例如，假定層Ll的圖像是HD電視圖像并且假定層L2的圖像是UHD電視圖 像。圖2是示出利用BT. 709和BT. 2020表示的色域的說明圖。參照圖2,示出了使用預(yù)定 約束條件來將三維顏色空間映射到二維平面的色域曲線圖。該曲線圖中的十字標記表示白 色被映射至的位置。該曲線圖中的短劃線表示利用BT. 709表示的顏色范圍。該曲線圖中 的實線表示利用BT. 2020表示的顏色范圍。該曲線圖中的虛線表示利用人的視力可以識 別出的顏色范圍。如通過圖2理解，BT. 2020與BT. 709相比可以表示更多的不同顏色。在 利用BT. 709表示層Ll的各像素并且利用BT. 2020表示層L2的各像素的情況下，在層間預(yù) 測時對基準圖像（層1的圖像）進行分辨率轉(zhuǎn)換（即，上采樣）或色域轉(zhuǎn)換。通常，通過將 3維像素矢量乘以3行和3列的轉(zhuǎn)換矩陣來執(zhí)行色域轉(zhuǎn)換。如非專利文獻3所述，可以將BT. 709和BT. 2020之間的關(guān)系近似為針對各顏色成分獨立的線性關(guān)系。因此，非專利文獻 3提出了降低色域轉(zhuǎn)換的計算復(fù)雜度以及色域轉(zhuǎn)換所需的時間的簡化方法。
[0108] 圖3A是示出非專利文獻3所提出的色域預(yù)測的預(yù)測模式的表。參照圖3A，預(yù)測模 式編號是和"2"其中之一，即存在預(yù)測模式的三種候選。在預(yù)測模式編號="0" 的情況下，如以下的等式（1)?（3)那樣，利用移位（位增量）根據(jù)顏色成分的BT. 709的 像素值（Y7Q9, U7Q9,V7tl9)來預(yù)測BT. 2020的像素值（Y2_ U2_V_)。在本說明書中將這種預(yù) 測模式稱為移位模式。
[0109] [數(shù)學(xué)式1]
[0110] Y2010 = Y709 << 2 (1)
[0111] U2010 = U709〈〈 2 (2)
[0112] V2010 =V709 < < 2 (3)
[0113] 在預(yù)測模式編號="1"或"2"的情況下，如以下的等式（4)?（6)那樣，通過使用 增益gi和偏移Oi (其中，i= 1，2, 3)的線性轉(zhuǎn)換，根據(jù)顏色成分的BT. 709的像素值來預(yù)測 BT. 2020的像素值。
[0114] [數(shù)學(xué)式2]
[0115] Y2010=gi* Υ7〇9+〇ι(4)
[0116] U2010 - g2 · U7CI9+〇2 (5)
[0117] V2010 = g3 · V709+〇3 (6)
[0118] 在預(yù)測模式編號="1"的情況下，使用預(yù)先指定作為增益和偏移的值的固定值。在 本說明書中將預(yù)測模式編號="1"的預(yù)測模式稱為固定參數(shù)模式。在預(yù)測模式編號="2" 的情況下，使用自適應(yīng)地指定作為增益和偏移的值的變量值。在本說明書中將預(yù)測模式編 號="2"的預(yù)測模式稱為自適應(yīng)參數(shù)模式。在選擇自適應(yīng)參數(shù)模式的情況下，另外將六種 預(yù)測參數(shù)（三個增益和三個偏移）編碼作為預(yù)測參數(shù)。
[0119] 圖3B和3C是示出非專利文獻3中所提出的預(yù)測參數(shù)的句法的說明圖。這里，圖3B 的第1行中的"PPs_extension_flag"是表示圖片參數(shù)集（PPS)是否包括針對色域預(yù)測所 擴展的句法的標志。另外，圖3B的第5行中的"color_pred_data〇 "是針對色域可伸縮性 的句法的函數(shù)，并且在圖3C中示出其內(nèi)容。這里，圖3C的第1行中的"color_prediction_ model"是表示所選擇的預(yù)測模式并取圖3A所例示的和"2"當中一個值的參數(shù)。 在自適應(yīng)參數(shù)模式（"color_prediction_model= 2"）的情況下，在第3行中指定與增益 的分母相對應(yīng)的位數(shù)（"numFractionBits")、在第5行中指定針對第i個顏色成分的增益 的分子（"color_prediction_gain[I]"）、以及在第6行中指定針對第i個顏色成分的偏 移（"color_prediction_偏移[I]"）。
[0120] 在三種預(yù)測模式中，自適應(yīng)參數(shù)模式是可以預(yù)期最高預(yù)測精度的模式。然而，在自 適應(yīng)參數(shù)模式中針對各圖片對上述的預(yù)測參數(shù)進行編碼的情況下，編碼量增加。因此，在以 下要說明的實施例中，將說明被配置為在色域可伸縮性方面對預(yù)測參數(shù)進行高效編碼從而 抑制編碼量的增加的結(jié)構(gòu)。
[0121] [1-3.編碼器的基本結(jié)構(gòu)示例]
[0122] 圖4是示出支持可伸縮視頻編碼的、根據(jù)實施例的圖像編碼裝置10的示意結(jié)構(gòu)的 框圖。參照圖4,圖像編碼裝置10包括基本層（BL)編碼部la、增強層（EL)編碼部lb、公共 存儲器2和多路復(fù)用部3。
[0123] BL編碼部Ia對基本層圖像編碼以生成基本層的編碼流。EL編碼部Ib對增強層 圖像編碼以生成增強層的編碼流。公共存儲器2存儲層之間共同使用的信息。多路復(fù)用部 3對BL編碼部Ia所生成的基本層的編碼流和EL編碼部Ib所生成的至少一個增強層的編 碼流進行多路復(fù)用以生成多層復(fù)用流。
[0124] [1-4.解碼器的基本結(jié)構(gòu)示例]
[0125] 圖5是示出支持可伸縮視頻編碼的、根據(jù)實施例的圖像解碼裝置60的示意結(jié)構(gòu)的 框圖。參照圖5,圖像解碼裝置60包括解多路復(fù)用部5、基本層（BL)解碼部6a、增強層（EL) 解碼部6b和公共存儲器7。
[0126] 解多路復(fù)用部5將多層復(fù)用流解多路復(fù)用成基本層的編碼流和至少一個增強層 的編碼流。BL解碼部6a從基本層的編碼流解碼基本層圖像。EL解碼部6b從增強層的編 碼流解碼增強層圖像。公共存儲器7存儲層之間共同使用的信息。
[0127] 在圖4所示的圖像編碼裝置10中，用以對基本層編碼的BL編碼部Ia的結(jié)構(gòu)和用 以對增強層編碼的EL編碼部Ib的結(jié)構(gòu)彼此類似?？梢酝ㄟ^使用公共存儲器2來緩存BL編 碼部Ia所生成或獲取的一些參數(shù)和圖像，并且這些參數(shù)和圖像被EL編碼部Ib重新使用。 在下一部分中，將詳細說明EL編碼部Ib的這種結(jié)構(gòu)。
[0128] 同樣，在圖5所示的圖像解碼裝置60中，用以對基本層解碼的BL解碼部6a的結(jié) 構(gòu)和用以對增強層解碼的EL解碼部6b的結(jié)構(gòu)彼此類似。可以通過使用公共存儲器7來緩 存BL解碼部6a所生成或獲取的一些參數(shù)和圖像，并且這些參數(shù)和圖像被EL解碼部6b重 新使用。此外，在下一部分中，將詳細說明EL解碼部6b的這種結(jié)構(gòu)。
[0129] 〈2.實施例中的EL編碼部的結(jié)構(gòu)示例〉
[0130] [2-1.整體結(jié)構(gòu)]
[0131] 圖6是示出圖4所示的EL編碼部Ib的示例結(jié)構(gòu)的框圖。參照圖6,EL編碼部Ib 包括排序緩存器11、相減部13、正交變換部14、量化部15、無損編碼部16、累積緩存器17、 速率控制部18、逆量化部21、逆正交變換部22、相加部23、回路濾波器24、幀存儲器25、選 擇器26和27、幀內(nèi)預(yù)測部30、幀間預(yù)測部35和色域預(yù)測部40。
[0132] 排序緩存器11對一系列圖像數(shù)據(jù)中所包括的圖像排序。在根據(jù)編碼處理基于 GOP(圖片組）結(jié)構(gòu)對圖像排序之后，排序緩存器11將已排序的圖像數(shù)據(jù)輸出至相減部13、 幀內(nèi)預(yù)測部30、幀間預(yù)測部35和色域預(yù)測部40。
[0133] 將從排序緩存器11輸入的圖像數(shù)據(jù)和后面所述的幀內(nèi)預(yù)測部30或幀間預(yù)測部35 所輸入的預(yù)測圖像數(shù)據(jù)供給至相減部13。相減部13計算作為預(yù)測圖像數(shù)據(jù)和從排序緩存 器11輸入的圖像數(shù)據(jù)之間的差分的預(yù)測誤差數(shù)據(jù)，并將所計算出的預(yù)測誤差數(shù)據(jù)輸出至 正交變換部14。
[0134] 正交變換部14對從相減部13輸入的預(yù)測誤差數(shù)據(jù)進行正交變換。正交變換部14 要進行的正交變換例如可以是離散余弦變換（DCT)或卡洛南-洛伊變換（Karhunen-Loeve 變換）。在HEVC中，針對被稱為變換單位（TU)的每個塊進行正交變換。TU是通過劃分編 碼單位（CU)而形成的塊。正交變換部14將通過正交變換處理所獲取的變換系數(shù)數(shù)據(jù)輸出 至量化部15。
[0135] 向量化部15供給從正交變換部14輸入的變換系數(shù)數(shù)據(jù)和來自以下要說明的速率 控制部18的速率控制信號。量化部15在根據(jù)速率控制信號所確定的量化步驟中對變換系 數(shù)數(shù)據(jù)進行量化。量化部15將量化后的變換系數(shù)數(shù)據(jù)（以下稱為量化數(shù)據(jù)）輸出至無損 編碼部16和逆量化部21。
[0136] 無損編碼部16對從量化部15輸入的量化數(shù)據(jù)進行無損編碼處理以生成增強層的 編碼流。無損編碼部16對解碼編碼流時要參考的各種參數(shù)進行編碼，并且將編碼參數(shù)插入 編碼流的頭區(qū)域中。通過無損編碼部16編碼的參數(shù)可以包括以下要說明的與幀內(nèi)預(yù)測有 關(guān)的信息和與幀間預(yù)測有關(guān)的信息。可以進一步對與色域預(yù)測有關(guān)的預(yù)測參數(shù)進行編碼。 然后，無損編碼部16將所生成的編碼流輸出至累積緩存器17。
[0137] 累積緩存器17使用諸如半導(dǎo)體存儲器的存儲介質(zhì)來臨時累積從無損編碼部16輸 入的編碼流。然后，累積緩存器17以根據(jù)傳輸路徑的頻帶的速率將所累積的編碼流輸出至 傳輸部（未示出）（例如，通信接口或至外圍裝置的接口）。
[0138] 速率控制部18監(jiān)測累積緩存器17的空閑空間。然后，速率控制部18根據(jù)累積緩 存器17上的空閑空間生成速率控制信號，并將所生成的速率控制信號輸出至量化部15。例 如，在累積緩存器17上的空閑空間不多的情況下，速率控制部18生成用于降低量化數(shù)據(jù)的 位速率的速率控制信號。此外，例如，在累積緩存器17上的空閑空間足夠大的情況下，速率 控制部18生成用于增加量化數(shù)據(jù)的位速率的速率控制信號。
[0139] 逆量化部21、逆正交變換部22和相加部23形成本地解碼器。在量化部15所使用 的量化步驟中，逆量化部21對增強層的量化數(shù)據(jù)進行逆量化，由此恢復(fù)變換系數(shù)數(shù)據(jù)。然 后，逆量化部21將恢復(fù)后的變換系數(shù)數(shù)據(jù)輸出至逆正交變換部22。
[0140] 逆正交變換部22對從逆量化部21輸入的變換系數(shù)數(shù)據(jù)進行逆正交變換處理，由 此恢復(fù)預(yù)測誤差數(shù)據(jù)。與正交變換相同，針對每個TU進行逆量化變換。然后，逆正交變換 部22將恢復(fù)后的預(yù)測誤差數(shù)據(jù)輸出至相加部23。
[0141] 相加部23將從逆正交變換部22輸入的恢復(fù)后的預(yù)測誤差數(shù)據(jù)和從幀內(nèi)預(yù)測部30 或幀間預(yù)測部35輸入的預(yù)測圖像數(shù)據(jù)相加，由此生成解碼圖像數(shù)據(jù)（增強層的重構(gòu)圖像）。 然后，相加部23將所生成的解碼圖像數(shù)據(jù)輸出至回路濾波器24和幀存儲器25。
[0142] 為了提高圖像質(zhì)量的目的，回路濾波器24包括濾波器組。去塊濾波器（DF)是用于 減少對圖像編碼時發(fā)生的塊失真的濾波器。樣本自適應(yīng)偏移（SAO)濾波器是用于將自適應(yīng) 地確定的偏移值與每個像素值相加的濾波器。自適應(yīng)回路濾波器（ALF)是用于使經(jīng)過SAO 的圖像與原始圖像之間的誤差最小化的濾波器。回路濾波器24對從相加部23輸入的解碼 圖像數(shù)據(jù)進行濾波并將濾波后的解碼圖像數(shù)據(jù)輸出至幀存儲器25。
[0143] 幀存儲器25使用存儲介質(zhì)來存儲從相加部23輸入的增強層的解碼圖像數(shù)據(jù)、從 回路濾波器24輸入的增強層的濾波后的解碼圖像數(shù)據(jù)和從色域預(yù)測部40輸入的基本層的 基準圖像數(shù)據(jù)。
[0144] 選擇器26從幀存儲器25讀取用于幀內(nèi)預(yù)測的、濾波之前的解碼圖像數(shù)據(jù)，并將所 讀取的解碼圖像數(shù)據(jù)作為基準圖像數(shù)據(jù)供給至幀內(nèi)預(yù)測部30。此外，選擇器26從幀存儲 器25讀取用于幀間預(yù)測的、濾波后的解碼圖像數(shù)據(jù)，并將所讀取的解碼圖像數(shù)據(jù)作為基準 圖像數(shù)據(jù)供給至幀間預(yù)測部35。在通過幀內(nèi)預(yù)測部30或幀間預(yù)測部35進行層間預(yù)測時， 選擇器26將基本層的基準圖像數(shù)據(jù)供給至幀內(nèi)預(yù)測部30或幀間預(yù)測部35。
[0145] 在幀內(nèi)預(yù)測模式中，選擇器27將從幀內(nèi)預(yù)測部30輸出的作為幀內(nèi)預(yù)測的結(jié)果的 預(yù)測圖像數(shù)據(jù)輸出至相減部13,并且還將與幀內(nèi)預(yù)測有關(guān)的信息輸出至無損編碼部16。此 夕卜，在幀間預(yù)測模式中，選擇器27將從幀間預(yù)測部35輸出的作為幀間預(yù)測的結(jié)果的預(yù)測圖 像數(shù)據(jù)輸出至相減部13,并且還將與幀間預(yù)測有關(guān)的信息輸出至無損編碼部16。選擇器27 根據(jù)成本函數(shù)值的大小來切換幀間預(yù)測模式和幀內(nèi)預(yù)測模式。
[0146] 幀內(nèi)預(yù)測部30基于增強層的原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)對HEVC的每個預(yù)測單 位（PU)進行幀內(nèi)預(yù)測處理。例如，幀內(nèi)預(yù)測部30根據(jù)使用預(yù)定的成本函數(shù)設(shè)置的預(yù)測模 式中的各候選模式來評價預(yù)測結(jié)果。接著，幀內(nèi)預(yù)測部30選擇成本函數(shù)值最小的預(yù)測模式 (即壓縮率最高的預(yù)測模式）作為最佳預(yù)測模式。幀內(nèi)預(yù)測部30根據(jù)該最佳預(yù)測模式生成 增強層的預(yù)測圖像數(shù)據(jù)。幀內(nèi)預(yù)測部30可以包括作為在增強層中所設(shè)置的預(yù)測模式中的 一種層間預(yù)測的幀內(nèi)BL預(yù)測。在幀內(nèi)BL預(yù)測中，使用與增強層的預(yù)測目標塊相對應(yīng)的基 本層中的同位置塊作為基準塊，并且基于基準塊的解碼圖像來生成預(yù)測圖像。幀內(nèi)預(yù)測部 30可以包括作為一種層間預(yù)測的幀內(nèi)殘差預(yù)測。在幀內(nèi)殘差預(yù)測中，基于作為基本層中的 同位置塊的基準塊的預(yù)測誤差圖像來預(yù)測幀內(nèi)預(yù)測的預(yù)測誤差，并且生成已對預(yù)測誤差進 行了預(yù)測和相加的預(yù)測圖像。幀內(nèi)預(yù)測部30將與幀內(nèi)預(yù)測有關(guān)的信息、成本函數(shù)值和預(yù)測 圖像數(shù)據(jù)輸出至選擇器27,其中，與幀內(nèi)預(yù)測有關(guān)的信息包括表示所選擇的最佳預(yù)測模式 的預(yù)測模式信息。
[0147] 幀間預(yù)測部35基于增強層的原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)對HEVC的每個預(yù)測單 位（PU)進行幀間預(yù)測處理。例如，幀間預(yù)測部35根據(jù)使用預(yù)定的成本函數(shù)設(shè)置的預(yù)測模 式中的各候選模式來評價預(yù)測結(jié)果。接著，幀間預(yù)測部35選擇成本函數(shù)值最小的預(yù)測模式 (即壓縮率最高的預(yù)測模式）作為最佳預(yù)測模式。幀間預(yù)測部35根據(jù)該最佳預(yù)測模式生成 增強層的預(yù)測圖像數(shù)據(jù)。幀間預(yù)測部35可以包括作為一種層間預(yù)測的幀間殘差預(yù)測。在 幀間殘差預(yù)測中，基于基本層中的作為同位置塊的基準塊的預(yù)測誤差圖像來預(yù)測幀內(nèi)預(yù)測 的預(yù)測誤差，并且生成已對預(yù)測誤差進行了預(yù)測和相加的預(yù)測圖像。幀間預(yù)測部35將與幀 間預(yù)測有關(guān)的信息、成本函數(shù)值和預(yù)測圖像數(shù)據(jù)輸出至選擇器27,其中，與幀間預(yù)測有關(guān)的 信息包括表示所選擇的最佳預(yù)測模式的預(yù)測模式信息和運動信息。
[0148] 色域預(yù)測部40根據(jù)基本層與增強層之間的分辨率比率來對公共存儲器2中緩存 的基本層的圖像（解碼圖像或預(yù)測誤差圖像）進行上采樣。在增強層的圖像與基本層的圖 像具有不同的色域的情況下，色域預(yù)測部40將基本層的上采樣圖像的色域轉(zhuǎn)換成與增強 層的圖像相同的色域。在本實施例中，假定針對基本層和增強層的色域之間的各顏色成分 獨立的線性關(guān)系，色域預(yù)測部40通過根據(jù)基本層的圖像近似預(yù)測增強層的圖像來對色域 進行轉(zhuǎn)換?？梢詫⒗蒙蝾A(yù)測部40對色域進行轉(zhuǎn)換的基本層的圖像存儲在幀存儲器25 中，以用作利用幀內(nèi)預(yù)測部30或幀間預(yù)測部35的層間預(yù)測中的基準圖像。色域預(yù)測部40 生成用于預(yù)測色域的幾個參數(shù)。色域預(yù)測部40所生成的參數(shù)例如包括表示預(yù)測模式的預(yù) 測模式參數(shù)。在選擇自適應(yīng)參數(shù)模式作為預(yù)測模式的情況下，色域預(yù)測部40所生成的參數(shù) 包括各顏色成分的預(yù)測參數(shù)，即增益和偏移。此外，色域預(yù)測部40計算相對于預(yù)測參數(shù)的 先前值的差分并將所計算出的差分輸出至無損編碼部16?？梢岳脽o損編碼部16對預(yù)測 模式參數(shù)以及預(yù)測參數(shù)的差分編碼。
[0149] [2-2.色域預(yù)測部的具體結(jié)構(gòu)]
[0150] 圖7是示出圖6所示的色域預(yù)測部40的結(jié)構(gòu)示例的框圖。參照圖7,色域預(yù)測部 40包括上采樣部41、預(yù)測模式設(shè)置部42、參數(shù)計算部43和色域轉(zhuǎn)換部44。
[0151] (1)上采樣部
[0152] 上采樣部41根據(jù)基本層與增強層之間的分辨率比率對從公共存儲器2獲取的基 本層的圖像進行上采樣。更具體地，上采樣部41通過利用預(yù)定義的濾波器系數(shù)對基本層的 圖像進行濾波來計算根據(jù)分辨率比率順次掃描的各插值像素的插值像素值。因而，可以使 用作基準塊的基本層的圖像的空間分辨率增加至達到與增強層的分辨率相同的分辨率。上 采樣部41將上采樣之后的圖像輸出至參數(shù)計算部43和色域轉(zhuǎn)換部44。
[0153] (2)預(yù)測模式設(shè)置部
[0154] 預(yù)測模式設(shè)置部42設(shè)置在色域預(yù)測部40中的用于色域預(yù)測的預(yù)測模式的候選當 中預(yù)定義或動態(tài)選擇的預(yù)測模式。預(yù)測模式的候選可以包括上述的移位模式、固定參數(shù)模 式和自適應(yīng)參數(shù)模式。在實施例中，預(yù)測模式設(shè)置部42可以針對每個圖片設(shè)置最佳預(yù)測模 式。在另一實施例中，預(yù)測模式設(shè)置部42可以針對每個片設(shè)置最佳預(yù)測模式。一個圖片可 以具有一個或多個片。在又一實施例中，預(yù)測模式設(shè)置部42可以針對每個序列設(shè)置預(yù)測模 式并在一個序列中的多個圖片和多個片中維持相同的預(yù)測模式。預(yù)測模式設(shè)置部42可以 評價預(yù)測模式的每個候選的編碼效率或預(yù)測精度，并且選擇最佳預(yù)測模式。預(yù)測模式設(shè)置 部42將表示所設(shè)置的預(yù)測模式的預(yù)測模式參數(shù)輸出至無損編碼部16。
[0155] (3)參數(shù)計算部
[0156] 在通過預(yù)測模式設(shè)置部42設(shè)置了自適應(yīng)參數(shù)模式或者通過預(yù)測模式設(shè)置部42 評價自適應(yīng)參數(shù)模式的編碼效率或預(yù)測精度時，參數(shù)計算部43計算自適應(yīng)參數(shù)模式中要 使用的預(yù)測參數(shù)。這些參數(shù)包括等式（4)?（6)中所表示的增Sgi和偏移〇i(其中，i= 1，2, 3)。這里，下標i表示三種顏色成分中的每一個。增益gi是與基本層的像素值相乘的 系數(shù)。偏移Oi是與基本層的像素值和增益gi的乘積相加的數(shù)值。例如，參數(shù)計算部43可 以針對每個顏色成分計算如下的增益和偏移，其中利用該增益和偏移，從上采樣部41輸入 的上采樣之后的基本層的圖像最接近從排序緩存器11輸入的原始圖像。
[0157] 在預(yù)測模式設(shè)置部42將自適應(yīng)參數(shù)模式設(shè)置為預(yù)測模式的情況下，參數(shù)計算部 43計算相對于增益和偏移的先前值的差分。這里，在針對每個圖片計算增益和偏移的情況 下，先前值例如可以是針對先前圖片所計算的值。在針對每個片計算增益和偏移的情況下， 先前值可以是針對位于先前圖片的相同位置處的片（同位置片）所計算的值。在先前圖片 或位于先前圖片的相同位置處的片中設(shè)置了移位模式的情況下，參數(shù)計算部43可以使用 與移位量相對應(yīng)的增益和偏移的值作為差分的基礎(chǔ)。在先前圖片或位于先前圖片的相同位 置處的片中設(shè)置了固定參數(shù)模式的情況下，參數(shù)計算部43可以使用預(yù)定義且固定的增益 和偏移的值作為差分的基礎(chǔ)。參數(shù)計算部43將所計算的增益和偏移的差分輸出至無損編 碼部16。增益的值可以包括分數(shù)值。因而，預(yù)測模式設(shè)置部42可以將增益的值分解成其分 母和分子，計算分母與分子之間的各差分，并且將各差分輸出至無損編碼部16。預(yù)測模式設(shè) 置部42可以將增益的分母的值限制成僅為2的整數(shù)冪，以提高編碼效率并降低計算成本。 在這種情況下，可以使用分母的值的以2為底的對數(shù)作為預(yù)測參數(shù)。
[0158] (4)色域轉(zhuǎn)換部
[0159] 色域轉(zhuǎn)換部44根據(jù)預(yù)測模式設(shè)置部42所設(shè)置的預(yù)測模式將從上采樣部41輸入 的上采樣之后的基本層的圖像的色域轉(zhuǎn)換成與增強層的圖像的色域相同的色域。例如，在 設(shè)置了移位模式的情況下，色域轉(zhuǎn)換部44通過根據(jù)等式（1)?（3)將上采樣之后的基本層 的像素向左偏移預(yù)定的移位量Iishift，來計算預(yù)測像素值。例如，在從HD電視圖像轉(zhuǎn)換成UHD 電視圖像時，移位量nshift可以是2或4。在設(shè)置了固定參數(shù)模式的情況下，色域轉(zhuǎn)換部44 通過根據(jù)等式（4)?（6)將上采樣之后的基本層的像素值乘以固定增益并且進一步與固定 偏移相加，來計算預(yù)測像素值。在設(shè)置了自適應(yīng)參數(shù)模式的情況下，色域轉(zhuǎn)換部44使用參 數(shù)計算部43自適應(yīng)地計算出的增益和偏移代替固定的增益和偏移來計算預(yù)測像素值。從 而，生成用于層間預(yù)測的基準圖像。色域轉(zhuǎn)換部44將這樣生成的用于層間預(yù)測的基準圖像 (進行了色域轉(zhuǎn)換的基本層的圖像）存儲在幀存儲器25中。
[0160] [2-3.句法的示例]
[0161] (1)基本示例
[0162] 從預(yù)測模式設(shè)置部42輸出的預(yù)測模式參數(shù)和從參數(shù)計算部43輸出的預(yù)測參數(shù) (各顏色成分的增益和偏移）的差分可以由圖6所示的無損編碼部16編碼，并且可以被插 入到增強層的編碼流中。圖8是示出用于色域預(yù)測的編碼參數(shù)的句法的示例的說明圖。
[0163] 例如，圖8所示的句法可以包括在PPS中或者可以包括在片頭中。這里，句法的第 1行中的"color_gamut_prediction_flag"是表示PPS或片頭是否包括針對色域預(yù)測擴展 的句法的標志。另外，第3行中的"color_prediction_model"是表示預(yù)測模式設(shè)置部42 所設(shè)置的預(yù)測模式的預(yù)測模式參數(shù)。如參照圖3A所述的，當預(yù)測模式參數(shù)等于"0"時，預(yù) 測模式為移位模式。當預(yù)測模式參數(shù)等于"1"時，預(yù)測模式為固定參數(shù)模式。當預(yù)測模式 參數(shù)等于"2"時，預(yù)測模式為自適應(yīng)參數(shù)模式。預(yù)測模式不限于這些示例，而可以使用其它 種類的預(yù)測模式。在預(yù)測模式參數(shù)表示自適應(yīng)參數(shù)模式的情況下，對第5行之后的預(yù)測參 數(shù)進行編碼。這里，第10行中的"delta_luma_log2_gain_denom"是輝度成分的增益的分 母的值的以2為底的對數(shù)與其先前值之間的差分。另外，第11行中的"delta_luma_gain_ C〇l〇r_gamut"是輝度成分的增益的分子的值與其先前值之間的差分。另外，第12行中的 "delta_luma_offset_color_gamut"是輝度成分的偏移的值與其先前值之間的差分。在第 5行中的"luma_gain_color_gamut_flag"表示零的情況下，可以不對輝度成分的預(yù)測參數(shù) 的差分編碼。在這種情況下，還可以將預(yù)測參數(shù)的先前值無改變地（即，零差分）用在最新 的圖片或片中。另外，第15行中的"deIta_chroma_log2_gain_denom"是色差成分的增益的 分母的值的以2為底的對數(shù)與其先前值之間的差分。圖8中示出了將共同的分母用于兩個 色差成分的示例。然而，針對兩個色差成分可以單獨使用分母，或者輝度成分的增益的分母 和色差成分的增益的分母可以是共同的。另外，第17行中的"delta_chroma_gain_color_ gamut[j]"是第j(其中，j= 1，2)個色差成分的增益的分母的值與其先前值之間的差分。 另外，第18行中的"(16]^3_(3111'01]^_83；[11_(30101'_831]1111：[]_]"是第]_(其中，]_ = 1，2)個色差成 分的偏移的分子的值與其先前值之間的差分。在第7行中的"chroma_gain_color_gamut_ flag"表示零的情況下，可以不對色差成分的預(yù)測參數(shù)的差分編碼。在這種情況下，還可以 將預(yù)測參數(shù)的先前值無改變地（即，零差分）用在最新的圖片或片中。
[0164] 在圖8的示例中，針對每個PPS或片頭對預(yù)測模式參數(shù)"color_prediction_ model"編碼。在這種情況下，即使在最新的圖片或片的預(yù)測模式參數(shù)表示自適應(yīng)參數(shù)模式 的情況下，預(yù)測模式參數(shù)也可能不被認為是針對作為差分的基礎(chǔ)的先前圖片或位于先前圖 片的相同位置處的片表示自適應(yīng)參數(shù)模式。例如，在先前預(yù)測模式參數(shù)表示移位模式的情 況下，圖8的句法中的具有前綴"delta_"的差分參數(shù)分別表示通過從預(yù)測參數(shù)的最新值 (增益或偏移）中減去與移位量相對應(yīng)的參數(shù)值而計算出的差分。例如，在移位量nshift等 于2的情況下，相應(yīng)增益的值為"22 = 4"。與移位量nshift無關(guān)地，相應(yīng)增益的值可以為零。 在先前預(yù)測模式參數(shù)表示固定參數(shù)模式的情況下，圖8的句法中的差分參數(shù)分別表示通過 從預(yù)測參數(shù)的最新值（增益或偏移）中減去固定參數(shù)值（增益gi_fiMd或偏移〇i_fixJ而計算 出的差分。不對增益ggy和偏移〇i_fixed編碼并且將這兩者預(yù)先存儲在編碼器和解碼器中。 在先前預(yù)測模式參數(shù)表示自適應(yīng)參數(shù)模式的情況下，圖8的句法中的差分參數(shù)分別表示通 過從預(yù)測參數(shù)的最新值（增益或偏移）中減去先前參數(shù)值（增益或偏移 〇UffCT)而計 算出的差分。圖9以表格式示出這里描述的增益和偏移的差分的基礎(chǔ)。在序列的開始等中 不存在先前值的情況下，差分的基礎(chǔ)可以為零或固定參數(shù)值（增益gi_fiMd或〇i_fixJ。
[0165] (2)每個序列中的預(yù)測模式參數(shù)的編碼
[0166] 在圖8中，可以在每個序列中對第1行中的擴展標志"color_gamut_prediction_ flag"和第3行中的預(yù)測模式參數(shù)"C〇l〇r_prediCti〇n_m〇del"編碼并且可以將這兩者插入 序列參數(shù)集（SPS)中。在這種情況下，在一個序列中維持相同的預(yù)測模式。在一個序列中 預(yù)測模式?jīng)]有改變的情況下，如圖9所示，無需切換依賴于先前預(yù)測模式的差分的基礎(chǔ)。因 此，減輕了差分計算的復(fù)雜度并且容易安裝裝置。此外，還可以減少擴展標志和預(yù)測模式參 數(shù)的編碼量。
[0167] (3)針對各片的預(yù)測參數(shù)的編碼
[0168] 如參照圖3B和3C所述的，在已知方法中，針對每個圖片對用于色域預(yù)測的預(yù)測參 數(shù)和預(yù)測模式參數(shù)進行編碼并且將這兩者插入PPS中。然而，在假定針對圖像的各局部區(qū) 域使用不同色域的情況下，針對每個片對預(yù)測參數(shù)和預(yù)測模式參數(shù)的差分進行編碼是有益 的。例如，在圖10所示的示例中，將基本層圖像頂Bjj分成四個瓦片（tile)TB1、TB2、TB3和 TB4。將增強層圖像IMei劃分成四個瓦片TE1、TE2、Te3和Te4。四個瓦片示出利用不同攝像頭 拍攝的視頻。例如，基本層圖像IMbi可以是來自安裝于四個地點的攝像頭的合成視頻的低 分辨率版本，并且增強層圖像IMei可以是同一合成視頻的高分辨率版本。例如，假定使用 BT. 2020作為瓦片Te2和Te4中的色域，并且假定使用BT. 709作為基本層和增強層的其它瓦 片中的色域。在這種情況下，通過對與瓦片Te2和Te4相對應(yīng)的片的片頭中的預(yù)測模式參數(shù) 和預(yù)測參數(shù)進行編碼，可以針對每個瓦片預(yù)測最佳色域并且可以提高編碼效率。
[0169] (4)用于加權(quán)預(yù)測的句法的重新使用
[0170] 圖8中所例示的色域預(yù)測的預(yù)測參數(shù)的句法和與HEVC中所引入的加權(quán)預(yù)測相關(guān) 聯(lián)的參數(shù)的句法相似。加權(quán)預(yù)測是為了提高應(yīng)用了淡入或淡出等效果的視頻中的幀間預(yù)測 的預(yù)測精度而引入的技術(shù)。圖11是示出非專利文獻1中所定義的加權(quán)預(yù)測關(guān)聯(lián)參數(shù)的句 法的說明圖。
[0171] 在圖 11 中，第 2 行中的"luma_log2_weight_denom"和第 4行中的"delta_chroma_ log2_weight_denom"關(guān)于加權(quán)預(yù)測中可使用的LO基準巾貞和LI基準巾貞，分別共通地指定輝 度成分和色差成分的權(quán)重的分母的值。第5行?第20行關(guān)于LO基準幀指定其余的加權(quán)預(yù) 測關(guān)聯(lián)參數(shù)。在可以進行雙向預(yù)測的情況下，第21行?第38行關(guān)于Ll基準幀指定其余的 加權(quán)預(yù)測關(guān)聯(lián)參數(shù)。在非專利文獻1中說明了各個參數(shù)的含義。
[0172] 以下的表1示出圖11所示的加權(quán)預(yù)測關(guān)聯(lián)參數(shù)與圖8所例示的色域預(yù)測的參數(shù) 之間的映射的示例。從表1可以理解，在圖8所例示的色域預(yù)測的參數(shù)中，可以將除擴展 標志 "color_gamut_prediction_flag" 和預(yù)測模式參數(shù) "color_prediction_model" 以外 的所有參數(shù)映射到用于加權(quán)預(yù)測的任何參數(shù)。例如，各個參數(shù)的任務(wù)不同，這是因為加權(quán)預(yù) 測關(guān)聯(lián)參數(shù)的值不必表示相對于先前值的差分，但相互映射的參數(shù)的類型相同。由于在色 域預(yù)測中僅存在一個基準巾貞（基本層圖像），因此不需要變量"num_ref_idx_10_active_ minusl"和與基準幀編號相對應(yīng)的索引i。
[0173]表 1
[0174]
[0175]

【權(quán)利要求】
1. 一種圖像處理設(shè)備，包括： 解碼部，被配置成對相對于如下預(yù)測參數(shù)的先前值的差分進行解碼，其中所述預(yù)測參 數(shù)是在根據(jù)第一層的圖像預(yù)測具有與所述第一層不同的色域的第二層的圖像時所使用的； 以及 預(yù)測部，被配置成使用利用由所述解碼部所解碼的所述差分而計算出的所述預(yù)測參數(shù) 來根據(jù)所述第一層的圖像預(yù)測所述第二層的圖像。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述預(yù)測參數(shù)包括與所述第一層的像 素值相乘的增益以及偏移。
3. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述解碼部針對每個片對所述預(yù)測參 數(shù)的差分進行解碼。
4. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述解碼部從具有與加權(quán)預(yù)測關(guān)聯(lián)參 數(shù)共同的句法的頭中解碼所述差分。
5. 根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中， 使用從與所述加權(quán)預(yù)測關(guān)聯(lián)參數(shù)共同的所述句法中的針對L0基準幀的部分所解碼的 差分來計算所述預(yù)測參數(shù)的第一版本， 使用從與所述加權(quán)預(yù)測關(guān)聯(lián)參數(shù)共同的所述句法中的針對L1基準幀的部分所解碼的 差分來計算所述預(yù)測參數(shù)的第二版本，以及 所述預(yù)測部選擇性地使用所述所述預(yù)測參數(shù)的第一版本和所述所述預(yù)測參數(shù)的第二 版本來預(yù)測所述第二層的圖像。
6. 根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述預(yù)測部根據(jù)像素值所屬的頻帶來 在所述所述預(yù)測參數(shù)的第一版本和所述所述預(yù)測參數(shù)的第二版本之間選擇要使用的版本。
7. 根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述預(yù)測部根據(jù)像素所屬的圖像區(qū)域 來在所述所述預(yù)測參數(shù)的第一版本和所述所述預(yù)測參數(shù)的第二版本之間選擇要使用的版 本。
8. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 在所述第二層的位深度比所述第一層的位深度深的情況下，所述解碼部還對如下控制 參數(shù)進行解碼，其中所述控制參數(shù)表示是否與色域轉(zhuǎn)換同時執(zhí)行預(yù)測所述第二層的圖像時 的移位，以及 在所述控制參數(shù)表示與所述色域轉(zhuǎn)換同時執(zhí)行預(yù)測所述第二層的圖像時的移位的情 況下，所述預(yù)測部不是與上采樣同時而是與所述色域轉(zhuǎn)換同時執(zhí)行所述移位。
9. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，在所述第二層的空間分辨率高于所述 第一層的空間分辨率的情況下，所述預(yù)測部使用所述預(yù)測參數(shù)來對所述第一層的圖像的色 域進行轉(zhuǎn)換，然后通過對轉(zhuǎn)換后的圖像進行上采樣來預(yù)測所述第二層的圖像。
10. -種圖像處理方法，包括以下步驟： 解碼相對于如下預(yù)測參數(shù)的先前值的差分，其中所述預(yù)測參數(shù)是在根據(jù)第一層的圖像 預(yù)測具有與所述第一層不同的色域的第二層的圖像時所使用的；以及 使用利用解碼后的差分所計算出的所述預(yù)測參數(shù)，來根據(jù)所述第一層的圖像預(yù)測所述 第二層的圖像。
11. 一種圖像處理設(shè)備，包括： 預(yù)測部，被配置根據(jù)第一層的圖像預(yù)測具有與所述第一層不同的色域的第二層的圖 像，其中，在解碼所述第二層的圖像時參考所述第一層的圖像；以及 編碼部，被配置成對相對于所述預(yù)測部所使用的預(yù)測參數(shù)的先前值的差分進行編碼。
12. 根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述預(yù)測參數(shù)包括與所述第一層的 像素值相乘的增益和偏移。
13. 根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述編碼部針對每個片對所述預(yù)測 參數(shù)的差分進行編碼。
14. 根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述編碼部將所述差分編碼在具有 與加權(quán)預(yù)測關(guān)聯(lián)參數(shù)共同的句法的頭中。
15. 根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中， 所述預(yù)測部選擇性地使用所述預(yù)測參數(shù)的第一版本和所述預(yù)測參數(shù)的第二版本來預(yù) 測所述第二層的圖像，以及 所述編碼部將以所述所述預(yù)測參數(shù)的第一版本所計算出的差分編碼至與所述加權(quán)預(yù) 測關(guān)聯(lián)參數(shù)共同的所述句法中的針對L0基準幀的部分，并且將以所述所述預(yù)測參數(shù)的第 二版本所計算出的差分編碼至與所述加權(quán)預(yù)測關(guān)聯(lián)參數(shù)共同的所述句法中的針對L1基準 幀的部分。
16. 根據(jù)權(quán)利要求15所述的圖像處理設(shè)備，其中，所述預(yù)測部根據(jù)像素值所屬的頻帶 來在所述所述預(yù)測參數(shù)的第一版本和所述所述預(yù)測參數(shù)的第二版本之間選擇要使用的版 本。
17. 根據(jù)權(quán)利要求15所述的圖像處理設(shè)備，其中，所述預(yù)測部根據(jù)像素所屬的圖像區(qū) 域來在所述所述預(yù)測參數(shù)的第一版本和所述所述預(yù)測參數(shù)的第二版本之間選擇要使用的 版本。
18. 根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，在所述第二層的位深度比所述第一 層的位深度深的情況下，所述編碼部還對如下控制參數(shù)進行編碼，其中所述控制參數(shù)表示 是否與色域轉(zhuǎn)換同時執(zhí)行預(yù)測所述第二層的圖像時的移位。
19. 根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，在所述第二層的空間分辨率高于所 述第一層的空間分辨率的情況下，所述預(yù)測部使用所述預(yù)測參數(shù)來對所述第一層的圖像的 色域進行轉(zhuǎn)換，然后通過對轉(zhuǎn)換后的圖像進行上采樣來預(yù)測所述第二層的圖像。
20. -種圖像處理方法，包括以下步驟： 根據(jù)第一層的圖像預(yù)測具有與所述第一層不同的色域的第二層的圖像，其中，在解碼 所述第二層的圖像時參考所述第一層的圖像；以及 對相對于用于預(yù)測所述第二層的圖像的預(yù)測參數(shù)的先前值的差分進行編碼。
【文檔編號】H04N19/70GK104380739SQ201480001387
【公開日】2015年2月25日 申請日期:2014年3月14日 優(yōu)先權(quán)日:2013年4月5日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司