模式依賴幀內(nèi)平滑的簡(jiǎn)化的制作方法
【專利摘要】本發(fā)明包括一種含有處理器的裝置，所述處理器用于確定是否基于查找表(LUT)對(duì)預(yù)測(cè)單元(PU)使用幀內(nèi)平滑濾波器，其中LUT包括用于指示不應(yīng)該在任何大小為8x8像素且與方向預(yù)測(cè)模式關(guān)聯(lián)的PU塊上應(yīng)用幀內(nèi)平滑濾波器的數(shù)據(jù)。本發(fā)明也包括一種方法，所述方法包括生成參考樣本，確定PU塊的大小和基于PU塊的大小選擇參考樣本，其中對(duì)大小為8x8像素且與方向預(yù)測(cè)模式關(guān)聯(lián)的PU塊不選擇經(jīng)濾波的參考樣本。
【專利說明】模式依賴幀內(nèi)平滑的簡(jiǎn)化
[0001] 相關(guān)申請(qǐng)案交叉申請(qǐng)
[0002] 本發(fā)明要求2012年1月19日由李貴春（Guichun Li)等人遞交的發(fā)明名稱為 "模式依賴巾貞內(nèi)平滑的簡(jiǎn)化（Simplification of Mode Dependent Intra Smoothing)"的第 61/588355號(hào)美國(guó)臨時(shí)專利申請(qǐng)案的在先申請(qǐng)優(yōu)先權(quán)，該在先申請(qǐng)的內(nèi)容以引入的方式并 入本文本中，如全文再現(xiàn)一般。
[0003] 關(guān)于由聯(lián)邦政府贊助的研究或開發(fā)的聲明
[0004] 不適用。
[0005] 縮微平片附件的引用 [0006] 不適用。

【背景技術(shù)】
[0007] 即使在影片相對(duì)較短的情況下也需要對(duì)大量的視頻數(shù)據(jù)進(jìn)行描述，當(dāng)數(shù)據(jù)要在帶 寬容量受限的通信網(wǎng)絡(luò)中流過或以其他方式傳送時(shí)，這樣可能會(huì)造成困難。因此，視頻數(shù)據(jù) 通常要先壓縮然后在現(xiàn)代電信網(wǎng)絡(luò)中傳送。視頻壓縮設(shè)備通常在源處使用軟件和/或硬 件，以在傳送之前對(duì)視頻數(shù)據(jù)進(jìn)行編碼，從而減少用來表示數(shù)字視頻圖像所需的數(shù)據(jù)量。接 著，壓縮的數(shù)據(jù)在目的地處由視頻解壓設(shè)備接收，該視頻解壓設(shè)備用于對(duì)視頻數(shù)據(jù)進(jìn)行解 碼。在有限的網(wǎng)絡(luò)資源以及對(duì)更高視頻質(zhì)量的需求不斷增加的情況下，需要改進(jìn)壓縮和解 壓技術(shù)，所述改進(jìn)的技術(shù)基本上無需增加比特率就可以改進(jìn)圖像質(zhì)量。


【發(fā)明內(nèi)容】

[0008] 在一項(xiàng)實(shí)施例中，本發(fā)明包括一種含有處理器的裝置，所述處理器用于確定是否 基于查找表（LUT)對(duì)預(yù)測(cè)單元（PU)使用幀內(nèi)平滑濾波器，其中LUT包括用于指示不應(yīng)對(duì)大 小為8x8像素且與方向預(yù)測(cè)模式關(guān)聯(lián)的PU塊應(yīng)用幀內(nèi)平滑濾波器的數(shù)據(jù)。
[0009] 在另一項(xiàng)實(shí)施例中，本發(fā)明包括一種方法，所述方法包括生成參考樣本，確定PU 塊的大小以及基于I 3U塊的大小選擇參考樣本，其中對(duì)大小為8x8像素且與方向預(yù)測(cè)模式關(guān) 聯(lián)的PU塊不選擇經(jīng)濾波的參考樣本。
[0010] 在又一項(xiàng)實(shí)施例中，本發(fā)明包括一種含有存儲(chǔ)器和處理器的裝置，所述存儲(chǔ)器包 含指令，所述處理器用于通過生成參考樣本，確定PU塊的大小以及基于塊的大小選擇經(jīng) 濾波和未經(jīng)濾波的參考樣本來執(zhí)行指令，其中對(duì)大小為8x8像素且與方向預(yù)測(cè)模式關(guān)聯(lián)的 PU塊不選擇經(jīng)濾波的參考樣本。
[0011] 結(jié)合附圖和權(quán)利要求書，可從以下的詳細(xì)描述中更清楚地理解這些和其他特征。

【專利附圖】

【附圖說明】
[0012] 為了更完整地理解本發(fā)明，現(xiàn)可參考以下簡(jiǎn)要描述，結(jié)合附圖和詳細(xì)描述，其中相 同參考標(biāo)號(hào)表不相同部分。
[0013] 圖1是多個(gè)幀內(nèi)預(yù)測(cè)模式的示意圖。
[0014] 圖2是為幀內(nèi)預(yù)測(cè)選擇參考樣本的方法的實(shí)施例的示意圖。
[0015] 圖3為網(wǎng)元的實(shí)施例的示意圖。

【具體實(shí)施方式】
[0016] 首先應(yīng)該理解的是，盡管下面提供了一種或多種實(shí)施例的示例性實(shí)施方式，本發(fā) 明公開的系統(tǒng)和/或方法可通過多種當(dāng)前已知的或存在的技術(shù)實(shí)施。本發(fā)明決不應(yīng)限于下 文所說明的所述說明性實(shí)施方案、圖式和技術(shù)，包含本文所說明并描述的示范性設(shè)計(jì)和實(shí) 施方案，而是可以在所附權(quán)利要求書的范圍以及其均等物的完整范圍內(nèi)修改。
[0017] 視頻媒體通常涉及相對(duì)較快地連續(xù)顯示一系列靜態(tài)圖像或幀，從而讓觀察者感覺 到運(yùn)動(dòng)。每個(gè)幀可以包含多個(gè)圖像元素或像素，每個(gè)圖像元素或像素可以表示幀中的單個(gè) 參考點(diǎn)。在數(shù)字處理期間，每個(gè)像素可以被分配一個(gè)整數(shù)值（例如，〇、1、…或255)，所述 整數(shù)值表示對(duì)應(yīng)參考點(diǎn)處的圖像質(zhì)量或特征，例如，亮度或色度。單個(gè)幀中的多組像素（例 如，宏塊，編碼單元（CU)或預(yù)測(cè)單元（PU))通?？梢耘c相同幀內(nèi)的其他宏塊進(jìn)行相關(guān)，使得 一些宏塊內(nèi)的像素值可能僅略有不同并且/或者呈現(xiàn)出重復(fù)的紋理（texture)?，F(xiàn)代視頻 壓縮方法使用各種技術(shù)來利用這些空間相關(guān)性，這些技術(shù)統(tǒng)稱為幀內(nèi)預(yù)測(cè)。幀內(nèi)預(yù)測(cè)可以 降低相同幀內(nèi)相鄰和/或鄰近宏塊（下文中簡(jiǎn)稱為塊）之間的空間冗余，從而在無需大幅 降低圖像質(zhì)量的情況下壓縮視頻數(shù)據(jù)。各種約定的視頻/圖像編碼標(biāo)準(zhǔn)描述了不同形式的 幀內(nèi)預(yù)測(cè)，例如國(guó)際電信聯(lián)盟（ITU)電信標(biāo)準(zhǔn)化部門（ITU-T)H. 264(下文中簡(jiǎn)稱為H. 264)， 該內(nèi)容以引入的方式并入本文本中，如全文再現(xiàn)一般。
[0018] 實(shí)際上，幀內(nèi)預(yù)測(cè)可以由視頻編碼器/解碼器（編解碼器）來實(shí)現(xiàn)，以從一個(gè)或多 個(gè)先前編碼/解碼的鄰近塊中插入一個(gè)預(yù)測(cè)塊，從而創(chuàng)建一個(gè)當(dāng)前塊的近似。因此，編碼器 和解碼器可以獨(dú)立地插入預(yù)測(cè)塊，從而使得幀和/或圖像的絕大部分能夠根據(jù)相對(duì)少量的 參考?jí)K的通信進(jìn)行重建，所述參考?jí)K例如，位于幀的左上角（并從此處延伸）的塊。然而， 僅靠幀內(nèi)預(yù)測(cè)不能為現(xiàn)代視頻重現(xiàn)質(zhì)量良好的圖像，而且編碼器和解碼器可能會(huì)交換錯(cuò)誤 校正信息例如殘余信息來校正預(yù)測(cè)塊和當(dāng)前塊之間的差異。譬如，編碼器可以從當(dāng)前塊中 減去預(yù)測(cè)塊來生成一個(gè)殘余塊，然后在將該殘留塊編碼成編碼數(shù)據(jù)流之前將它變換、量化 和掃描。收到編碼數(shù)據(jù)流后，解碼器將重建的殘余塊添加到獨(dú)立生成的預(yù)測(cè)塊中來重建當(dāng) 前塊。盡管重建的當(dāng)前塊可能是原始當(dāng)前塊的不完美的版本，例如由于幀內(nèi)編碼壓縮的有 損性質(zhì)導(dǎo)致，它們之間的差異是肉眼難以察覺的。因此，在沒有降低重建圖像質(zhì)量的情況下 減少了大量的比特。
[0019] 殘余塊可能包括預(yù)測(cè)塊和當(dāng)前塊之間的少許差異，因此，許多殘余塊的離散值例 如像素?cái)?shù)據(jù)可能包含0和/或接近0的系數(shù)，例如，在預(yù)測(cè)塊相同和/或接近相同當(dāng)前塊的 區(qū)域。此外，殘余塊的變換、量化和/或掃描會(huì)去除數(shù)據(jù)流中的0和/或接近0的系數(shù)，從 而導(dǎo)致視頻數(shù)據(jù)的進(jìn)一步壓縮。所以，對(duì)原始圖像更精確的預(yù)測(cè)可以保證編碼效率。為了 保證編碼效率，約定的視頻/圖像編碼標(biāo)準(zhǔn)在幀內(nèi)預(yù)測(cè)中使用多種預(yù)測(cè)模式來提高預(yù)測(cè)精 確度，例如每中預(yù)測(cè)模式可以生成一個(gè)唯一的紋理。例如，高性能視頻編碼（HEVC)視頻壓 縮標(biāo)準(zhǔn)（也稱為H. 265)在統(tǒng)一幀內(nèi)預(yù)測(cè)（UIP)方案中使用多種預(yù)測(cè)模式。
[0020] 圖1是HEVC UIP方案中使用的多種幀內(nèi)預(yù)測(cè)模式100的示意圖。對(duì)于亮度塊，幀 內(nèi)預(yù)測(cè)模式100包括最多36個(gè)幀內(nèi)預(yù)測(cè)模式，其中包含3個(gè)非方向模式和33個(gè)方向模式。 非方向模式包括平面預(yù)測(cè)模式，幀內(nèi)平均（DC)預(yù)測(cè)模式和從亮度到色度（LM)預(yù)測(cè)模式。平 面預(yù)測(cè)模式通過假設(shè)一個(gè)塊的振幅表面來進(jìn)行預(yù)測(cè)，所述振幅表面從該塊的邊界衍生出水 平和垂直的斜面。DC預(yù)測(cè)模式通過假設(shè)一個(gè)平坦的塊表面來進(jìn)行預(yù)測(cè)，所述平坦的塊表面 有一個(gè)與塊邊界平均值相匹配的值。LM預(yù)測(cè)模式通過假設(shè)塊的色度值來進(jìn)行預(yù)測(cè)，所述色 度值匹配該塊的亮度值。方向模式基于相鄰塊進(jìn)行預(yù)測(cè)，如圖1所示。
[0021] 在使用中，編碼器可以為每個(gè)當(dāng)前塊選擇產(chǎn)生最精確預(yù)測(cè)的預(yù)測(cè)模式。例如，幀內(nèi) 預(yù)測(cè)模式100中為每個(gè)模式計(jì)算絕對(duì)誤差和（SAE)，并選擇SAE最小的模式。越多的幀內(nèi)預(yù) 測(cè)模式通?？梢员ＷC更為精確的幀內(nèi)預(yù)測(cè)。例如，最近的研究表明，相對(duì)于使用少于36種 幀內(nèi)預(yù)測(cè)模式的約定，例如H. 264僅使用9種幀內(nèi)預(yù)測(cè)模式，使用36種幀內(nèi)預(yù)測(cè)模式例如 幀內(nèi)預(yù)測(cè)模式100的約定可以更精確地預(yù)測(cè)復(fù)雜的紋理。雖然公開了 36種幀內(nèi)預(yù)測(cè)模式， 但需要注意任何其他合適數(shù)量的預(yù)測(cè)模式都可以使用，這取決于塊的大小和/或幀內(nèi)預(yù)測(cè) 方案。
[0022] 可以利用多種幀內(nèi)平滑方案來提高預(yù)測(cè)精確度。例如，在一個(gè)方案中，編解碼器可 以為每個(gè)當(dāng)前塊確定是否應(yīng)用平滑濾波器，以及基于幀內(nèi)預(yù)測(cè)模式確定應(yīng)用哪一個(gè)平滑濾 波器。具體而言，平滑濾波器可以應(yīng)用于參考樣本，然后用于幀內(nèi)預(yù)測(cè)。此方案被稱為模式 依賴幀內(nèi)平滑（MDIS)。MDIS也包含多種方法。例如，一種MDIS方法可以明確指出預(yù)測(cè)樣 本是否被濾波。編碼器通過給檢測(cè)所有潛在幀內(nèi)預(yù)測(cè)模式的率失真（RD)成本來做平滑決 定。另一種MDIS方法僅通過檢測(cè)經(jīng)濾波或者未經(jīng)濾波的預(yù)測(cè)樣本的RD成本來確定最佳的 幀內(nèi)預(yù)測(cè)模式，這種MDIS過程相對(duì)較快。
[0023] 基于塊的幀內(nèi)編碼壓縮標(biāo)準(zhǔn)例如高級(jí)視頻編碼（AVC)、關(guān)鍵【技術(shù)領(lǐng)域】（KTA)和 HEVC測(cè)試模型（HM)等可以使用正方形塊作為預(yù)測(cè)單元（PU)。一個(gè)PU是預(yù)測(cè)的一個(gè)基本 單元。一個(gè)正方形PU的水平側(cè)（長(zhǎng)度）和垂直側(cè)（高度）具有相同的像素?cái)?shù)。基于正方 形PU的MDIS方案可以根據(jù)查找表（LUT)來確定一個(gè)濾波器的開啟/關(guān)閉（0N/0FF)狀態(tài) 和/或其類型。表1描述了一個(gè)典型的LUT，該LUT在HM5.0中使用，依據(jù)本杰明?布羅斯 等人于2011年11月21-30日在日內(nèi)瓦的聯(lián)合協(xié)作小組第七次會(huì)議關(guān)于ITU-T SG16WP3和 IS0/IEC JTC1/SC29/WG11 視頻編碼（JCT-VC) (7th Meeting of the Joint Collaborative Team on Video Coding(JCT-VC)Of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG11)上提出 的"WD5:高性能視頻編碼工作草案 5"（"WD5:Working Draft5of High-Efficiency Video Coding"），Doc.JCTVC-G1103_d9,在此以引用的方式并入本文本中。表I包含了多個(gè)濾波 器決定條目，每個(gè)條目可由正方形PU的大小和幀內(nèi)預(yù)測(cè)模式進(jìn)行索引。各行對(duì)應(yīng)幀內(nèi)預(yù)測(cè) 中一個(gè)正方形I 3U的可能大小，每行代表一個(gè)唯一的正方形PU的大?。ɡ?，4x4,8x8等）。 各列對(duì)應(yīng)UIP方案中可以使用的36種預(yù)測(cè)模式。0列代表平面模式，1列代表DC模式，2-34 列代表方向幀內(nèi)預(yù)測(cè)模式，其中2-34列中每列代表一個(gè)根據(jù)圖1進(jìn)行編號(hào)（2-34)的方向 預(yù)測(cè)模式，35列代表LM模式。表1中的條目對(duì)應(yīng)濾波器決定并代表每個(gè)決定的數(shù)值分配。 在本文中，對(duì)于每個(gè)濾波器決定，值1表示關(guān)聯(lián)的幀內(nèi)平滑濾波器是開啟的，值〇表示幀內(nèi) 平滑濾波器是關(guān)閉的。例如，對(duì)于方向預(yù)測(cè)模式是4的8x8正方形PU，可以進(jìn)行幀內(nèi)平滑； 對(duì)于方向預(yù)測(cè)模式是5的32x32正方形PU，可以不進(jìn)行幀內(nèi)平滑，等等。
[0024]

【權(quán)利要求】
1. 一種裝置，其特征在于，所述裝置包括： 一個(gè)處理器，所述處理器被配置為： 確定是否基于查找表（LUT)對(duì)預(yù)測(cè)單元（PU)使用幀內(nèi)平滑濾波器， 其中LUT包括用于指示不應(yīng)該對(duì)大小為8x8像素且與方向預(yù)測(cè)模式關(guān)聯(lián)的PU塊應(yīng)用 幀內(nèi)平滑濾波器的數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，LUT進(jìn)一步包括用于指示不應(yīng)該對(duì)大小為 8x8像素且與平面預(yù)測(cè)模式關(guān)聯(lián)的PU塊應(yīng)用幀內(nèi)平滑濾波器的數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2所述的裝置，其特征在于，LUT進(jìn)一步包括： 用于指示不應(yīng)該對(duì)任何大小為8x8像素且與幀內(nèi)平均（DC)模式關(guān)聯(lián)的PU塊應(yīng)用幀內(nèi) 平滑濾波器的數(shù)據(jù)；以及 用于指示不應(yīng)該對(duì)任何大小為8x8像素且與從亮度到色素（LM)模式關(guān)聯(lián)的PU塊應(yīng)用 幀內(nèi)平滑濾波器的數(shù)據(jù)。
4. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，LUT是一個(gè)高性能視頻編碼（HEVC)模式 依賴幀內(nèi)平滑（MDIS) LUT。
5. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，LUT包括36列，O列包含與平面模式關(guān)聯(lián) 的數(shù)據(jù)，1列包含與幀內(nèi)DC模式關(guān)聯(lián)的數(shù)據(jù)，2-34列包含與方向幀內(nèi)模式關(guān)聯(lián)的數(shù)據(jù)，其中 35列包含與幀內(nèi)LM模式關(guān)聯(lián)的數(shù)據(jù)。
6. 根據(jù)權(quán)利要求5所述的裝置，其特征在于，LUT進(jìn)一步包括： 多個(gè)與PU塊大小關(guān)聯(lián)的行；以及 多個(gè)將行和列關(guān)聯(lián)的單元， 其中每個(gè)單元包含值1用于表示給對(duì)應(yīng)大小的PU塊應(yīng)用幀內(nèi)平滑濾波器或者值O用 于表示不給對(duì)應(yīng)大小的PU塊應(yīng)用幀內(nèi)平滑濾波器；以及 所述LUT描述如下：
7. 根據(jù)權(quán)利要求5所述的裝置，其特征在于，LUT進(jìn)一步包括： 多個(gè)與PU塊大小關(guān)聯(lián)的行；以及 多個(gè)將行和列關(guān)聯(lián)的單元， 其中每個(gè)單元包含值1用于表示給對(duì)應(yīng)大小的PU塊應(yīng)用幀內(nèi)平滑濾波器或者值O用 于表示不給對(duì)應(yīng)大小的PU塊應(yīng)用幀內(nèi)平滑濾波器；以及 所述LUT描述如下：
8. -種方法，其特征在于，所述方法包括： 生成參考樣本； 確定預(yù)測(cè)單元（PU)塊的大??；以及 根據(jù)PU塊的大小選擇所述參考樣本， 其中對(duì)大小為8x8像素且與方向預(yù)測(cè)模式關(guān)聯(lián)的PU塊不選擇經(jīng)濾波的參考樣本。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，生成并選擇所述參考樣本是視頻編碼過 程的一部分。
10. 根據(jù)權(quán)利要求8所述的方法，其特征在于，生成并選擇所述參考樣本是視頻解碼過 程的一部分。
11. 根據(jù)權(quán)利要求8所述的方法，其特征在于，生成并選擇所述參考樣本是高性能視頻 編碼（HEVC)模式依賴幀內(nèi)平滑（MDIS)過程的一部分。
12. 根據(jù)權(quán)利要求11所述的方法，其特征在于，對(duì)于大小為8x8像素的PU塊，只選擇未 經(jīng)濾波的參考樣本。
13. 根據(jù)權(quán)利要求11所述的方法，其特征在于，只有當(dāng)塊的大小為8x8像素且與平 面預(yù)測(cè)模式關(guān)聯(lián)時(shí)，選擇經(jīng)濾波的參考樣本。
14. 根據(jù)權(quán)利要求11所述的方法，其特征在于，通過應(yīng)用一個(gè)三系數(shù)（3抽頭）濾波器 來創(chuàng)建經(jīng)濾波的參考樣本。
15. -種裝置，其特征在于，所述裝置包括： 包含指令的存儲(chǔ)器；以及 通過以下方法執(zhí)行指令的處理器： 生成參考樣本； 確定預(yù)測(cè)單元（PU)塊的大??；以及 基于I3U塊的大小選擇經(jīng)濾波和未經(jīng)濾波的參考樣本， 其中對(duì)大小為8x8像素且與方向預(yù)測(cè)模式關(guān)聯(lián)的PU塊不選擇經(jīng)濾波的參考樣本。
16. 根據(jù)權(quán)利要求15所述的裝置，其特征在于，生成并選擇所述參考樣本是高性能視 頻編碼（HEVC)模式依賴幀內(nèi)平滑（MDIS)過程的一部分。
17. 根據(jù)權(quán)利要求15所述的裝置，其特征在于，基于PU塊的大小選擇參考樣本包括從 HEVC MDIS查找表（LUT)獲得數(shù)據(jù)。
18. 根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述LUT進(jìn)一步包括： 多個(gè)與預(yù)測(cè)模式關(guān)聯(lián)的列， 多個(gè)與PU塊大小關(guān)聯(lián)的行；以及 多個(gè)將行和列關(guān)聯(lián)的單元， 其中每個(gè)單元包含值1用于表示給對(duì)應(yīng)大小的PU塊選擇經(jīng)濾波的參考樣本或者值O 用于表示不給對(duì)應(yīng)大小的PU塊選擇經(jīng)濾波的參考樣本；以及 所述LUT描述如下：
19. 根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述LUT進(jìn)一步包括： 多個(gè)與預(yù)測(cè)模式關(guān)聯(lián)的列， 多個(gè)與PU塊大小關(guān)聯(lián)的行；以及 多個(gè)將行和列關(guān)聯(lián)的單元， 其中每個(gè)單元包含值1用于表示給對(duì)應(yīng)大小的PU塊選擇經(jīng)濾波的參考樣本或者值O 用于表示不給對(duì)應(yīng)大小的PU塊選擇經(jīng)濾波的參考樣本；以及 所述LUT描述如下：
20. 根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述經(jīng)濾波的參考樣本存儲(chǔ)在第一個(gè) 緩沖器，所述未經(jīng)濾波的參考樣本存儲(chǔ)在第二個(gè)緩沖器，基于PU塊的大小選擇所述參考樣 本進(jìn)一步包括基于所述LUT數(shù)據(jù)的第一個(gè)緩沖器和第二個(gè)緩沖器之間的切換。
【文檔編號(hào)】H04N19/18GK104380730SQ201380006070
【公開日】2015年2月25日 申請(qǐng)日期:2013年1月18日 優(yōu)先權(quán)日:2012年1月19日
【發(fā)明者】李貴春, 劉凌志, 楠·林, 鄭建鏵, 菲利普·張, 宋理 申請(qǐng)人:華為技術(shù)有限公司