多層視頻譯碼中的基于三維查找表的色域可縮放性的制作方法
【專利說明】多層視頻譚碼中的基于Ξ維查找表的色域可縮放性
[0001] 相關(guān)申請案
[0002] 本申請案主張2013年10月14日提交的美國臨時申請案第61/890,843號的權(quán)益，其 內(nèi)容W全文引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003] 本發(fā)明設(shè)及視頻譯碼。
【背景技術(shù)】
[0004] 數(shù)字視頻能力可并入到多種多樣的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù)碼 相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線 電電話(所謂的"智能電話"）、視頻電話會議裝置、視頻串流裝置等。數(shù)字視頻裝置實施視頻 譯碼技術(shù)，例如描述于W下各項中的那些技術(shù)：由MPEG-2、MPEG-4、ITU-T Η. 263、ITU-T H.264/MPEG-4第10部分高級視頻譯碼(AVC)定義的標(biāo)準(zhǔn)、高效視頻譯碼化EVC)標(biāo)準(zhǔn)，W及此 些標(biāo)準(zhǔn)的擴展。視頻裝置可通過實施此些視頻譯碼技術(shù)可來更高效地發(fā)射、接收、編碼、解 碼和/或存儲數(shù)字視頻信息。
[0005] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測和/或時間（圖片間)預(yù)測W減少或去除視頻 序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（即，視頻帖或視頻帖的一部分） 可分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元(CU)和/或譯碼節(jié)點。使用關(guān)于同一圖 片中的相鄰塊中的參考樣本的空間預(yù)測來編碼圖片的經(jīng)帖內(nèi)譯碼（I)切片中的視頻塊。圖 片的經(jīng)帖間編碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本 的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可被稱作帖，且參考圖 片可被稱作參考帖。
[0006] 空間或時間預(yù)測導(dǎo)致待譯碼塊的預(yù)測性塊。殘差數(shù)據(jù)表示待譯碼原始塊與預(yù)測性 塊之間的像素差。根據(jù)指向形成預(yù)測塊的參考樣本塊的運動向量和指示經(jīng)譯碼塊與預(yù)測性 塊之間的差的殘差數(shù)據(jù)來編碼經(jīng)帖間譯碼塊。根據(jù)帖內(nèi)譯碼模式和殘差數(shù)據(jù)來編碼經(jīng)帖內(nèi) 譯碼塊。為了進一步壓縮，可將殘差數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘差變換系數(shù)， 可接著量化所述殘差變換系數(shù)?？蓲呙枰婚_始按二維陣列排列的經(jīng)量化變換系數(shù)，W便產(chǎn) 生變換系數(shù)的一維向量，且可應(yīng)用賭譯碼來實現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0007] -般來說，本發(fā)明描述用于多層視頻譯碼中的基于Ξ維(3D)查找表的色域可縮放 性的技術(shù)。舉例來說，所述多層視頻譯碼可根據(jù)高效視頻譯碼化EVC)標(biāo)準(zhǔn)，包含可縮放視頻 譯碼擴展、多視圖視頻譯碼擴展和3D視頻譯碼（即，多視圖視頻譯碼加深度)擴展或其它多 層視頻譯碼標(biāo)準(zhǔn)中的任一者。用于色域可縮放性的技術(shù)可由視頻編碼器和/或視頻解碼器 用W在用于視頻數(shù)據(jù)的較低層的色域不同于用于視頻數(shù)據(jù)的較高層的色域時產(chǎn)生層間參 考圖片。
[0008] 舉例來說，視頻編碼器和/或視頻解碼器可首先使用用于色域可縮放性的3D查找 表執(zhí)行色彩預(yù)測W將用于較低層的參考圖片的色彩數(shù)據(jù)轉(zhuǎn)換到用于較高層的色域，且接著 基于轉(zhuǎn)換的色彩數(shù)據(jù)產(chǎn)生層間參考圖片。根據(jù)本發(fā)明中描述的技術(shù)，視頻編碼器和/或視頻 解碼器產(chǎn)生至少一個3D查找表，其具有針對亮度分量與針對第一色度分量和第二色度分量 不同的大小。視頻編碼器和/或視頻解碼器可針對3D查找表的亮度維度使用不同數(shù)目的片 段來產(chǎn)生此不對稱3D查找表。W此方式，可減小表的總大小，同時維持良好的譯碼性能。
[0009] 在一個實例中，本發(fā)明是針對一種處理多層視頻數(shù)據(jù)的方法，所述方法包括:針對 色域可縮放性產(chǎn)生至少一個3D查找表，其中所述至少一個3D查找表具有針對亮度分量與針 對第一色度分量和第二色度分量中的每一者不同的大小;使用所述至少一個3D查找表來執(zhí) 行色彩預(yù)測，W將用于視頻數(shù)據(jù)的較低層的第一色域中的參考圖片的色彩數(shù)據(jù)轉(zhuǎn)換到用于 視頻數(shù)據(jù)的較高層的第二色域；W及基于所述經(jīng)轉(zhuǎn)換的色彩數(shù)據(jù)，為所述視頻數(shù)據(jù)的較高 層產(chǎn)生至少一個層間參考圖片。
[0010] 在另一實例中，本發(fā)明是針對一種用于處理多層視頻數(shù)據(jù)的視頻處理裝置，所述 裝置包括:存儲器，其經(jīng)配置W存儲所述多層視頻數(shù)據(jù)；W及一或多個處理器，其與所述存 儲器通信。所述一或多個處理器經(jīng)配置針對色域可縮放性產(chǎn)生至少一個3D查找表，其中 所述至少一個3D查找表具有針對亮度分量與針對第一色度分量和第二色度分量不同的大 小;使用所述至少一個3D查找表來執(zhí)行色彩預(yù)測，W將用于所述視頻數(shù)據(jù)的較低層的第一 色域中的參考圖片的色彩數(shù)據(jù)轉(zhuǎn)換到用于所述視頻數(shù)據(jù)的較高層的第二色域;且基于所述 經(jīng)轉(zhuǎn)換的色彩數(shù)據(jù)，為所述視頻數(shù)據(jù)的較高層產(chǎn)生至少一個層間參考圖片。
[0011] 在另一實例中，本發(fā)明是針對一種用于處理多層視頻數(shù)據(jù)的視頻處理裝置，所述 裝置包括：用于針對色域可縮放性產(chǎn)生至少一個3D查找表的裝置，其中所述至少一個3D查 找表具有針對亮度分量與針對第一色度分量和第二色度分量不同的大小；用于使用所述至 少一個3D查找表來執(zhí)行色彩預(yù)測W將用于所述視頻數(shù)據(jù)的較低層的第一色域中的參考圖 片的色彩數(shù)據(jù)轉(zhuǎn)換到用于所述視頻數(shù)據(jù)的較高層的第二色域的裝置；W及用于基于所述經(jīng) 轉(zhuǎn)換的色彩數(shù)據(jù)為所述視頻數(shù)據(jù)的較高層產(chǎn)生至少一個層間參考圖片的裝置。
[0012] 在另一實例中，本發(fā)明是針對一種存儲用于處理多層視頻數(shù)據(jù)的指令的計算機可 讀存儲媒體，所述指令在被執(zhí)行時，致使一或多個處理器:針對色域可縮放性產(chǎn)生至少一個 3D查找表，其中所述至少一個3D查找表具有針對亮度分量與針對第一色度分量和第二色度 分量不同的大小;使用所述至少一個3D查找表來執(zhí)行色彩預(yù)測，W將用于所述視頻數(shù)據(jù)的 較低層的第一色域中的參考圖片的色彩數(shù)據(jù)轉(zhuǎn)換到用于所述視頻數(shù)據(jù)的較高層的第二色 域；W及基于所述經(jīng)轉(zhuǎn)換的色彩數(shù)據(jù)，為所述視頻數(shù)據(jù)的較高層產(chǎn)生至少一個層間參考圖 片。
[0013] 附圖和W下描述中陳述一或多個實例的細節(jié)。其它特征、目標(biāo)和優(yōu)點將從所述描 述和圖式且從所附權(quán)利要求書而顯而易見。
【附圖說明】
[0014] 圖1是說明可利用用于基于3D查找表的色域可縮放性的技術(shù)的實例視頻編碼和解 碼系統(tǒng)的框圖。
[0015] 圖2是展示在Ξ個不同維度上的可縮放性的實例的概念說明。
[0016] 圖3是展示可縮放視頻譯碼位流的實例結(jié)構(gòu)的概念說明。
[0017] 圖4是W位流次序展示實例可縮放視頻譯碼存取單元的概念說明。
[0018] 圖5是說明實例可縮放視頻譯碼擴展到肥VC(SHVC)編碼器的框圖。
[0019]圖6是說明樣本視頻序列的實例色域的曲線圖。
[0020] 圖7是說明從高清化D)色域BT.709到超高清(UHD)色域BT. 2020的轉(zhuǎn)換的框圖。
[0021] 圖8是說明包含色彩預(yù)測處理單元的色域可縮放譯碼器的框圖，當(dāng)基礎(chǔ)層色域和 增強層色域不同時，所述色彩預(yù)測處理單元可產(chǎn)生層間參考圖片。
[0022] 圖9是展示針對色域可縮放性的實例3D查找表的概念說明。
[0023] 圖10是展示使用針對色域可縮放性的3D查找表的Ξ線性內(nèi)插法的概念說明。
[0024] 圖11是說明可實施在多層視頻譯碼中使用基于3D查找表的色域可縮放性的技術(shù) 的視頻編碼器的實例的框圖。
[0025] 圖12是說明可實施在多層視頻譯碼中使用基于3D查找表的色域可縮放性的技術(shù) 的視頻解碼器的實例的框圖。
[00%]圖13是說明使用基于3D查找表的色域可縮放性產(chǎn)生層間參考圖片的實例操作的 流程圖。
【具體實施方式】
[0027] 本發(fā)明描述用于多層視頻譯碼中的基于Ξ維(3D)查找表的色域可縮放性的技術(shù)。 所述多層視頻譯碼可根據(jù)高效視頻譯碼化EVC)標(biāo)準(zhǔn)，包含可縮放視頻譯碼擴展、多視圖視 頻譯碼擴展、3D視頻譯碼（即，多視圖視頻譯碼加深度)擴展或到皿VC的其它多層視頻譯碼 擴展中的任一者。所述技術(shù)可由視頻編碼器和/或視頻解碼器用來在用于視頻數(shù)據(jù)的較低 層的色域不同于用于所述視頻數(shù)據(jù)的較高層的色域時，產(chǎn)生層間參考圖片。
[0028] 色域包括可為圖片再現(xiàn)的色彩的完整范圍，例如在視頻數(shù)據(jù)的圖片、切片、塊或?qū)?中。按照慣例，在多層視頻譯碼中，視頻數(shù)據(jù)的較低層(例如基礎(chǔ)層)和所述視頻數(shù)據(jù)的較高 層(例如增強層)包含同一色域(例如高清化D)色域BT. 709)中的色彩數(shù)據(jù)。在此情況下，視 頻編碼器和/或視頻解碼器可為所述視頻數(shù)據(jù)的較高層產(chǎn)生層間參考圖片，作為用于所述 視頻數(shù)據(jù)的較低層的處于相同位置的參考圖片的經(jīng)上取樣版本。
[0029] 然而，在一些實例中，視頻數(shù)據(jù)的較低層可包含第一色域(例如BT.709)中的的色 彩數(shù)據(jù)，且所述視頻數(shù)據(jù)的較高層可包含不同的第二色域(例如超高清(UHD)色域BT.2020) 中的色彩數(shù)據(jù)。在此實例中，為了為所述視頻數(shù)據(jù)的較高層產(chǎn)生層間參考圖片，視頻編碼器 和/或視頻解碼器必須首先執(zhí)行色彩預(yù)測，W將用于所述視頻數(shù)據(jù)的較低層的第一色域中 的參考圖片的色彩數(shù)據(jù)轉(zhuǎn)換到用于所述視頻數(shù)據(jù)的較高層的第二色域。
[0030] 視頻編碼器和/或視頻解碼器可使用針對色域可縮放性的3D查找表來執(zhí)行色彩預(yù) 巧。。在一些實例中，可針對色彩分量中的每一者（即，亮度(Y)分量、第一色度化)分量和第二 色度(V)分量)產(chǎn)生單獨的3D查找表。3D查找表中的每一者包含亮度(Y)維度、第一色度化） 維度和第二色度(V)維度，且使用Ξ個獨立色彩分量(Y，U，V)來編索引。
[0031] 按照慣例，3D查找表始終對稱，使得3D查找表針對亮度分量、第一色度分量和第二 色度分量具有相同大小。此外，按照慣例，3D查找表始終是平衡的，使得3D查找表的每一維 度的大小始終相同。運導(dǎo)致具有高計算復(fù)雜度和高發(fā)信成本的較大的表大小。舉例來說，表 大小可至多達9X9X9或17X17X17。
[0032] 根據(jù)本發(fā)明中描述的技術(shù)，視頻編碼器和/或視頻解碼器產(chǎn)生至少一個3D查找表， 其具有針對亮度分量與針對第一色度分量和第二色度分量中的每一者不同的大小。視頻編 碼器和/或視頻解碼器可針對3D查找表的亮度尺寸使用不同數(shù)目的片段來產(chǎn)生此不對稱3D 查找表。舉例來說，視頻編碼器和/或視頻解碼器可產(chǎn)生3D查找表，W針對亮度分量具有比 針對第一和第二色度分量中的每一者大的大小，即片段較多。在一個實例中，3D查找表可具 有至多達8x2x2的大小。W此方式，可減小所述表的總大小，同時W針對亮度分量具有比針 對第一和第二色度分量高的分辨率維持良好譯碼性能。
[0033] 在一些實例中，3D查找表中的每一者可具有相同大小Mx化K，其中3D查找表的亮度 維度的大小(^0不同于3D查找表的第一色度尺寸的大小(N)和3D查找表的第二色度維度的 大小化）中的每一者。舉例來說，亮度維度的大小可大于色度維度的大小，M〉N且M〉K，且3D查 找表的色度維度的大小可相同，N=K。在一個實例中，3D查找表中的每一者可具有相同大小 8x2x2〇
[0034] 在其它實例中，亮度分量3D查找表(LUTy)可具有第一大小，例如MxMxM或Mx化K，其 不同于第一色度分量3D查找表化UTu)的第二大小，例如化化N，W及第二色度分量3D查找表 化UTv)的第Ξ大小，例如ΚχΚχΚ。舉例來說，亮度分量3D查找表的大小可大于色度分量3D查 找表的大小。第一和第二色度分量3D查找表可為相同大小或不同大小。在一個實例中，LUTy 可具有大小8x2x2，且LUTu和LUTv中的每一者可具有大小2x2x2。
[0035] 在另一實例中，亮度分量3D查找表的精度也可不同于第一色度分量3D查找表和第 二色度分量3D查找表中的每一者的精度。舉例來說，亮度分量3D查找表的精度可高于色度 分量3D查找表的精度。在一些情況下，為了進一步降低復(fù)雜性，視頻編碼器和/或視頻解碼 器可僅產(chǎn)生亮度分量3D查找表，使用亮度分量3D查找表來執(zhí)行亮度分量預(yù)測，且使用一維 (1D)線性映射或分段線性映射來執(zhí)行第一和第二色度分量預(yù)測。
[0036] 作為另一實例，根據(jù)本發(fā)明的技術(shù)，視頻編碼器和/或視頻解碼器可通過將較多片 段用于3D查找表的與用作3D查找表的表索引的色彩分量相關(guān)聯(lián)的維度，產(chǎn)生不平衡的3D查 找表。舉例來說，亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量， 具有比第一色度維度和第二色度維度中的每一者大的亮度維度。在此實例中，LUTy可具有 大小MxNxN，其中M〉N。可類似地確定第一和第二色度分量3D查找表的大小。舉例來說，LUTu 可基于所述表索引處正使用的第一色度分量具有大小NxMxN，且LUTv可具有基于所述表索 引處所使用的第二色度分量的大小NxNxM。^此方式，可減小所述表中的每一者的總大小， 同時W用作所述表索引的色彩分量的較高分辨率維持良好譯碼性能。
[0037] 視頻譯碼標(biāo)準(zhǔn)包含ITU-T H.26UIS0/IEC MPEG-1 視覺、ITU-T H.262或IS0/IEC MPEG-2視覺、ITU-T H.263JS0/IEC MPEG-4視覺和ITU-T H.264(也被稱為IS0/IEC MPEG- 4AVC)，包含其可縮放視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴展。
[003引新視頻譯碼標(biāo)準(zhǔn)（即，肥VC)的設(shè)計已由ITU-T視頻譯碼專家組(VCEG)和IS0/IEC運 動圖片專家組(MPEG)的視頻譯碼聯(lián)合合作小組(JCT-VC)定案。布洛斯(Bross)等人的被稱 作肥VC工作草案10 (WD10)的肥VC草案說明書/'高效視頻譯碼化EVC)文本說明書草案10 (針 對抑IS和最后調(diào)用）（Hi曲 efficiency video coding(肥VC)text specification 化aft 10(for 抑IS化ast Call)r(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11 的視頻譯碼聯(lián)合 合作小組(1押-￥0，瑞±日內(nèi)瓦第12次會議，2013年1月14日到23日，JCTVC-L1003v34)可從 http://phenix.int-evry.fr/jet/doc_end_user/documents/12_Geneva/wg1l/JCTVC-L1003-v34.zip獲得。定案的肥VC標(biāo)準(zhǔn)被稱作肥VC版本1。
[0039] 王（Wang)等人的瑕疵報告"高效視頻譯碼化EVC)缺陷報告化igh efficiency video coding化EVC)Defect R邱OTtr (ITU-T SG16WP3與ISO/IEC JTC1/SC29/WG11 的關(guān)于 視頻譯碼的聯(lián)合合作小組(JCT-VC)，第14次會議:奧地利維也納，2013年7月25日至化月2日， JCTYC-N1003vl)可從 http://phenix int-e vry.fr/jct/doc_end_user/documents/14_ Vienna/wgll/JCTVC-N1003-vl.zip獲得。最終標(biāo)準(zhǔn)文獻作為ITU-T Η. 26 5系列Η公布:視聽 和多媒體系統(tǒng)、視聽服務(wù)的基礎(chǔ)架構(gòu)-移動視頻的譯碼、高效視頻譯碼，國際電信聯(lián)盟(ITU) 的電信標(biāo)準(zhǔn)化部口，2013年4月。
[0040] 皿VC (MV-皿VC)的多視圖擴展W及針對較高級3D視頻譯碼的另一皿VC擴展（3D- 肥VC)正由JCT-3V開發(fā)。被稱作MV-HEVC工作草案5 (WD5)且在塔克(Tech)等人的"MV-肥VC草 案文本5(MV-HEVC Draft Text 5Γ(ΙΤυ-Τ SG16WP3和IS0/IEC JTC1/SC29/WG11 的3D視頻 譯碼擴展開發(fā)聯(lián)合合作小組(JCT-3V)，第5次會議:奧地利維也納，2013年7月27日至化月2 日，JCT3V-E1004v6)中所描述的MV-皿VC的草案規(guī)范可從ht1:p : //phenix. int-ev:ry.打/ jct/doc_end_user/do 州 ments/5_Vienna/w 邑 11/JCT3Y-E1004-V6. zip 得到。被稱作 3D-HEVC 工作草案l(WDl)且在塔克（Tech)等人的"3D-皿VC草案文本1(3D-皿VC Draft Text 1Γ (ITU-T SG 16WP 3和ISO/IEC JTC1/^SC29/WG 11的3D視頻譯碼擴展開發(fā)聯(lián)合合作小組 (JCT-3V)，第5次會議:奧地利維也納，2013年7月27日到8月2日，JCT3V-E1001V3)中所描述 的3D-肥VC的草案規(guī)范可從http : //phenix . it-sudparis . eu/jct2/doc_end_use;r/ documents/5_Vi enna/wgl 1 /JCT3V-E1001 -v3. z ip 得到。
[0041 ]對皿VC的可縮放擴展（SHVC)由JCT-VC開發(fā)。畑en等人的被稱作細VC工作草案3 (WD3)的甜VC的草案規(guī)范"甜VC Draft 3"ατυ-Τ SG16WP3與IS0/IEC JTC1/SC29/WG11 的關(guān) 于視頻譯碼的聯(lián)合合作小組(JCT-VC)，第14次會