變換單元分割的殘差樹結(jié)構(gòu)的制作方法
【專利摘要】在一個實施例中，一種方法包括接收關(guān)于視頻內(nèi)容的編譯單元（CU）的預(yù)測單元（PU）。PU可分割成多個PU分割類型。該方法對PU確定PU分割類型，并且基于PU分割類型來確定殘差樹結(jié)構(gòu)，以用于將CU分割成變換單元（TU）。殘差樹包括使節(jié)點成為兩個的二進(jìn)制分割。對于PU分割類型的TU分割是基于殘差樹結(jié)構(gòu)和殘差樹結(jié)構(gòu)中的期望的分割級別來確定的。該方法隨后在變換操作中使用TU分割。
【專利說明】變換單元分割的殘差樹結(jié)構(gòu)
[0001]相關(guān)申請交叉引用
[0002]本申請要求2011 年 8 月 8 日提交的 “Residual Tree Structure of TransformUnit Partitioning for HEVC”的美國臨時申請N0.61/515，978的優(yōu)先權(quán)，其全部內(nèi)容通過引用合并于此。
【背景技術(shù)】
[0003]視頻壓縮系統(tǒng)對于大多數(shù)壓縮操作采用塊處理。塊是相鄰像素的組，并且在壓縮操作方面可以被視為一個編譯單元。理論上，更大的編譯單元優(yōu)選地利用直接相鄰像素之間的校正。例如運動圖像專家組(MPEG)-1、MPEG-2和MPEG-4的各種視頻壓縮標(biāo)準(zhǔn)使用4x4、8x8和16x16的塊大小(稱為宏塊(MB))。這些標(biāo)準(zhǔn)通常在宏塊中使用固定變換大小(例如，4x4或8x8)。然而，如果使用了多于一個的變換大小，則宏塊級參數(shù)可能需要指出要使用哪個變換大小。因為宏塊級參數(shù)需要被編碼，所以包括該參數(shù)會增加開銷。
[0004]高效率視頻編譯(HEVC)也是基于塊的混合空間和時間預(yù)測編譯方案。HEVC將輸入圖像分割為被稱為最大編譯單元(LCU)的方形塊，如圖1中所示。每個LCU可以被分割為被稱為編譯單元(CU)的較 小方形塊。圖2示出了 CU的LCU分割的示例。LCU100首先被分割成四個⑶102。每個⑶102還可以進(jìn)一步被分為四個更小的⑶102，該四個更小的⑶102是CU102的大小的四分之一?？梢曰谔囟?zhǔn)則，諸如可能施加的對CU可以被分割的次數(shù)的限制，該分割過程進(jìn)行重復(fù)。如所示，⑶102-1、102-3和102-4是IXU100的大小的四分之一。進(jìn)而，CU102-2 被分為四個 CU102-5、102-6、102-7 和 102-8。
[0005]四叉樹數(shù)據(jù)表示用于描述IXU100如何被分割為⑶102。圖3示出了圖1a中所示的LCU分割的四叉樹104。四叉樹104的每個節(jié)點在該節(jié)點進(jìn)一步被分為四個子節(jié)點時被指派標(biāo)志“1”，在并且不被劃分時被指派標(biāo)志“O”。標(biāo)志被稱為劃分比特(例如I)或者停止比特(例如0)，并且被編譯在壓縮比特流中。
[0006]因為IXU100被劃分為4個⑶，所以節(jié)點106-1在最高⑶級處包括標(biāo)志“I”。在中間⑶級，標(biāo)志指示⑶102是否被進(jìn)一步劃分為四個⑶。在該情況下，因為⑶102-2已經(jīng)被劃分為四個⑶102-5到102-8，所以節(jié)點106-3包括標(biāo)志“I”。因為這些⑶102沒有被劃分，所以節(jié)點106-2、106-4和106-5包括標(biāo)志“O”。節(jié)點106-6、106-7、106-8和106-9在最低⑶級，并且因此，對于這些節(jié)點來說，因為對應(yīng)的⑶102-5到102-8沒有被劃分，所以標(biāo)志位“O”或“I”是沒有必要的。圖3中所示的四叉樹104的四叉樹數(shù)據(jù)表示可以由二進(jìn)制數(shù)據(jù)“10100”來表示，其中每個比特表示四叉樹104的節(jié)點106。二進(jìn)制數(shù)據(jù)向編碼器和解碼器指示LCU分割，并且該二進(jìn)制數(shù)據(jù)需要被編譯并且作為開銷被傳送。
[0007]HEVC使用方形或者非方形的塊變換。每個⑶102可以包括一個或多個預(yù)測單元(PU)。可以用于執(zhí)行空間預(yù)測或時間預(yù)測。
[0008]圖4示出了 PU的⑶分割的示例。如所示，⑶102已經(jīng)被分割為四個1^202-1到202-4。與對宏塊施加僅一個8x8或4x4的變換的現(xiàn)有技術(shù)標(biāo)準(zhǔn)不同，可以對CU102施加不同大小的塊變換集合。例如，圖4中所示的PU202的CU分割可以與圖5中所示的變換單元(TU)集合204相關(guān)聯(lián)。在圖5中，PU202-1被分割成四個TU204-5到204-8。而且，TU204-2、204-3和204-4與對應(yīng)的PU202-2到202-4的大小相同。因為⑶內(nèi)的每個塊變換的大小和位置可能變化，所以需要稱為殘差四叉樹(RQT)的另一個四叉樹數(shù)據(jù)表示來描述TU分割。圖6示出了 RQT的示例。以與如關(guān)于IXU分割的四叉樹104所描述的類似方式得到RQT。例如，如果⑶102被劃分為多于一個的TU204，則RQT的每個節(jié)點可以包括標(biāo)志“ I”。因為⑶102被劃分為四個TU204，所以節(jié)點206-1包括標(biāo)志“I”。而且，因為TU204-1被劃分為四個TU204-5到204-8，所以節(jié)點206-2具有標(biāo)志“I”。因為TU204_2、204_3和204-4沒有劃分，所以所有其他節(jié)點206具有標(biāo)志“O”。對于RQT數(shù)據(jù)表示，二進(jìn)制數(shù)據(jù)“11000”也必須被編碼并且作為開銷被傳送。
[0009]RQT使每個節(jié)點分支成四個其他節(jié)點。每當(dāng)TU被分割時，TU都被分割成四個TU。這需要四叉樹表示，其包括針對被劃分的每個節(jié)點的四個分支。具有四個分支增加了需要被編碼和傳送的數(shù)據(jù)量。而且，分割成四個TU可能沒有效地表示運動信息。

【發(fā)明內(nèi)容】

[0010]在一個實施例中，一種方法包括接收關(guān)于視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)。I3U可分割成多個PU分割類型。該方法對于I3U確定PU分割類型，并且基于PU分割類型來確定殘差樹結(jié)構(gòu)，以將CU分割成變換單元(TU)。殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割?；跉埐顦浣Y(jié)構(gòu)和殘差樹結(jié)構(gòu)中的期望的分割級別來確定對于PU分割類型的TU分割。然后，該方法在變換操作中使用TU分割。
[0011]在一個實施例中，提供了一種裝置，包括:一個或多個計算機(jī)處理器；以及包括指令的計算機(jī)可讀存儲介質(zhì)，當(dāng)該指令被執(zhí)行時，控制一個或多個計算機(jī)處理器被配置為用于:接收關(guān)于視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)，其中，PU可分割成多個PU分割類型；對I3U確定PU分割類型；基于I3U分割類型來確定殘差樹結(jié)構(gòu)，以將CU分割成變換單元(TU)，殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割；基于殘差樹結(jié)構(gòu)和殘差樹結(jié)構(gòu)中的期望的分割級別來確定對于I3U分割類型的TU分割；以及在變換操作中使用TU分割。
[0012]在一個實施例中，提供了一種用于解碼視頻內(nèi)容的方法，該方法包括:接收編碼視頻內(nèi)容的比特流；由計算設(shè)備針對視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)來確定PU分割類型，其中，PU可分割成多個分割類型；由計算設(shè)備基于分割類型來確定殘差樹結(jié)構(gòu)，以將CU分割成變換單元(TU)，該殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割；由計算設(shè)備基于殘差樹結(jié)構(gòu)和殘差樹結(jié)構(gòu)中的期望的分割級別來確定對于PU分割類型的TU分割；以及在解碼視頻內(nèi)容中的變換操作中使用TU分割。
[0013]在一個實施例中，提供了一種配置為解碼視頻內(nèi)容的裝置，包括:一個或多個計算機(jī)處理器；以及包括指令的非瞬時計算機(jī)可讀存儲介質(zhì)，當(dāng)該指令由一個或多個計算機(jī)處理器執(zhí)行時，控制一個或多個計算機(jī)處理器被配置為用于:接收編碼視頻內(nèi)容的比特流；針對視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)確定PU分割類型，其中，I3U可分割成多個PU分割類型；基于I3U分割類型來確定殘差樹結(jié)構(gòu)，以將CU分割成變換單元(TU)，該殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割；基于殘差樹結(jié)構(gòu)和殘差樹結(jié)構(gòu)中的期望的分割級別來確定對于PU分割類型的TU分割；以及在解碼所述視頻內(nèi)容中的變換操作中使用TU分割。[0014]下面的【具體實施方式】和附圖提供了對具體實施例的特征和優(yōu)點的更加詳細(xì)的理解。
【專利附圖】

【附圖說明】
[0015]圖1示出了最大編譯單元(IXU)的示例。
[0016]圖2示出了 IXU分割的示例。
[0017]圖3示出了圖2中所示的IXU分割的四叉樹。
[0018]圖4示出了 PU的⑶分割的示例。
[0019]圖5示出了變換單元(TU)集合的PU分割。
[0020]圖6示出了 RQT的示例。
[0021]圖7描繪了根據(jù)一個實施例的用于編碼和解碼視頻內(nèi)容的系統(tǒng)的示例。
[0022]圖8描繪了根據(jù)一個實施例的用于2Nx2N的⑶的五個可能的I3U分割。
[0023]圖9描繪了根據(jù)一個實施例的用于殘差樹的可能的分割的第一示例。
[0024]圖10描繪了根據(jù)一個實施例的殘差樹結(jié)構(gòu)的第二示例。
[0025]圖11示出了根據(jù)一個實施例的殘差樹結(jié)構(gòu)的第三示例。
[0026]圖12描繪了根據(jù)一個實施例的可能的I3U分割的第四示例。
[0027]圖13描繪了根據(jù)一個實施例的用于說明信令的編碼器和解碼器的更具體的示例。
[0028]圖14描繪了根據(jù)一個實施例的用于確定TU分割的方法的簡化流程圖。
[0029]圖15描繪了根據(jù)一個實施例的用于確定在解碼器處的TU分割的簡化流程圖。
[0030]圖16A描繪了根據(jù)一個實施例的編碼器的示例。
[0031]圖16B描繪了根據(jù)一個實施例的解碼器的示例。
[0032]【具體實施方式】
[0033]這里描述的是用于視頻壓縮系統(tǒng)的技術(shù)。在下面的描述中，為了解釋的目的，闡述了多個示例和具體細(xì)節(jié)以便于提供對具體實施例的全面理解。由權(quán)利要求所限定的具體實施例可以僅包括這些示例中的特征中的一些或全部或者結(jié)合下面描述的其他特征，并且可以進(jìn)一步包括這里描述的特征和概念的修改和等同物。
[0034]圖7描繪了根據(jù)一個實施例的用于編碼和解碼視頻內(nèi)容的系統(tǒng)700的不例。系統(tǒng)700包括編碼器702和解碼器704，二者都將在下面更詳細(xì)地描述。
[0035]編碼器702和解碼器704分別包括殘差樹結(jié)構(gòu)管理器706_1和706_2。殘差樹結(jié)構(gòu)管理器706使用殘差樹(RT)來確定對于編譯單元(CU)的可能的變換單元(TU)分割。在一個實施例中，殘差樹允許對預(yù)測單元(PU)的二進(jìn)制分割。變換單元、預(yù)測單元和編譯單元可以是可能以不同命名法命名的視頻內(nèi)容的單元。二進(jìn)制分割將PU劃分成兩個TU。在該情況下，殘差樹使用節(jié)點的二進(jìn)制分支劃分，而不是成為四個TU的分支劃分，如在【背景技術(shù)】中關(guān)于殘差四叉樹(RQT)所述。而且，殘差樹可以以正交劃分來分割TU。例如，一些TU可以被劃分為兩個TU，并且一些TU可以被劃分為四個TU。
[0036]圖8描繪了根據(jù)一個實施例的對于2Nx2N的⑶的五個可能的I3U分割。在802，PU與⑶大小相同。在804，⑶被分割成2NxN的2個PU。⑶水平地被劃分為2個矩形。在806，⑶被分割成Nx2N的2個PU。在該情況下的⑶被垂直分割為2個PU。在808，⑶被分割成2Nx0.5N的第一 PU和2Nxl.5N的第二 PU。在該情況下，PU具有不同的大小。在810，CU被分割成2Nx0.5N的第一 PU和2Nxl.5N的第二 PU。在該情況下，I3U也具有不同的大小，但是⑶被垂直分割。盡管描述了這些分割，但是應(yīng)該理解，可以認(rèn)識到其他分割。
[0037]殘差樹結(jié)構(gòu)管理器706基于圖8中所不的分割形成TU的殘差樹結(jié)構(gòu)。將描述不同示例；但是可以認(rèn)識到其他示例。
[0038]圖9描繪了根據(jù)一個實施例的殘差樹的可能I3U分割的第一示例。在902，示出了不同的可能PU分割。圖9示出了 PU分割下的RT的不同級別。該級別可以是執(zhí)行分割的數(shù)量。例如，對于每個級別的增加，從前一級別執(zhí)行了進(jìn)一步的分割。在一個示例中，在904，示出了 PU的級別O分割。在該情況下，所有的以2Nx2N的TU大小開始。
[0039]在906，示出了 RT的級別I分割。對于2Nx2N的I3U,在906_1，級別O中的每個節(jié)點被分支為4個節(jié)點，每個節(jié)點表示NxN的TU。
[0040]在906-2，對于2NxN的PU，級別O的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示2NxN的TU。在該情況下，2Nx2N的TU被水平分割為2個矩形TU。因此，具體實施例提供了節(jié)點的二進(jìn)制分支。
[0041]在906-3，對于Nx2N的PU，級別O的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示Nx2N的TU。在該情況下，I3U被垂直分割成2個矩形TU。這也是節(jié)點的二進(jìn)制分支。
[0042]在906-4，對于2Nx0.5N的PU，級別O的每個節(jié)點被分支成4個節(jié)點，每個節(jié)點表示2Nx0.5N的TU。在該情況下，2Nx2N的TU被水平分割成4個TU。
[0043]在906-5，對于0.5Nx2N的PU，級別O的每個節(jié)點被分支成4個節(jié)點，每個節(jié)點表示0.5Nx2N的TU。在該情況下，2Nx2N的TU被垂直分割成4個TU。
[0044]在908，示出了殘差樹的級別2分害I]。在908-1，對于2Nx2N的PU，級別I的每個節(jié)點被分支成4個節(jié)點，每個節(jié)點表示0.5Nx0.5N的TU。示出的虛線指示I個TU成為4個TU的分割。在908-1中示出的每個TU可以被分割成4個TU。
[0045]在908-2，對于2NxN的PU，級別I的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示2Nx0.5N (或者在908-6所示的NxN)的TU。如908-2中虛線所示，I個TU被水平劃分為2個TU。根據(jù)906-2的其他TU也以該方式被劃分。在另一實施例中，每個TU可以被劃分成2個方形TU，如908-6中所示。
[0046]在908-3，對于Nx2N的PU，級別I的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示0.5Nx2N(或者在908-7所示的NxN)的TU。在908-2，虛線示出了 TU被垂直分割為2個TU。根據(jù)906-3的其他TU也以相同的方式被分割。在另一實施例中，在908-7，TU可以被分割成NxN的2個方形TU。
[0047]在908-4，對于2Nx0.5N的PU，級別I的每個節(jié)點被分支為4個節(jié)點，每個節(jié)點表示Nx0.25N的TU。如虛線所示，I個TU被劃分為Nx0.25N的4個TU。根據(jù)906-4的其他TU也以相同的方式被分割。
[0048]在908-5，對于0.5Nx2N的PU，級別I的每個節(jié)點被分支成4個節(jié)點，每個節(jié)點表示0.25NxN的TU。虛線示出了 TU被分割成4個0.25NxN的TU。根據(jù)906-5的其他TU也以相同的方式被分割為4個TU。
[0049]分割可以繼續(xù)到其他級別。對于所有5個PU分割，上述級別中的每個節(jié)點被分支為4個節(jié)點，每個節(jié)點表示父TU大小在水平和垂直方向都除以2的TU。[0050]在一個示例中，殘差樹結(jié)構(gòu)管理器706使用諸如殘差樹深度為I的默認(rèn)設(shè)定來確定TU分割。例如，默認(rèn)設(shè)定選擇5個TU分割，如在904-1、906-2、906-3、906-4和906-5粗體所示。在該情況下，TU分割被設(shè)置為等于能夠適合當(dāng)前CU內(nèi)的所有的最大可能TU。具體地說，可以使用下述:
[0051]1、對于2Nx2N的PU，使用殘差樹級別O的TU分割，以及
[0052]2、對于2NxN、Nx2N、2Nx0.5N或0.5Nx2N的PU，使用殘差樹級別I的TU分割。
[0053]具體實施例還可以使用其他默認(rèn)分割。
[0054]圖10示出了根據(jù)一個實施例的殘差樹結(jié)構(gòu)的第二示例。在該示例中，使用對于2Nx0.5N和0.5Nx2N的I3U其他級別的二進(jìn)制分割。例如，在1002，級別O的TU被水平分割為2Nx0.5N的2個TU。而且，在1004，級別O的TU被垂直分割成0.5Nx2N的2個TU。上面的2個示例示出了 TU的二進(jìn)制分割。
[0055]下面總結(jié)了級別0、1、2、3和其他級別的分割。
[0056]1、級別 O
[0057]?所有五個殘差樹開始于2Nx2N的TU。
[0058]2、級別 I[0059]?對于2Nx2N的PU,級別O的每個節(jié)點被分支成4個節(jié)點，每個節(jié)點表示NxN的TU0
[0060]?對于2NxN的PU,級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2NxN的TU0
[0061]?對于Nx2N的PU,級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示Nx2N的TU0
[0062]?對于2Nx0.5N的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2NxN的TUo
[0063]?對于0.5Nx2N的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示Nx2N的TUo
[0064]3、級別 2
[0065]?對于2Nx2N的PU,級別I的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示0.5ΝχΟ.5Ν 的 TU0
[0066]?對于2ΝχΝ的PU，級別I的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2ΝχΟ.5Ν的TUo
[0067]?對于Νχ2Ν的PU，級別I的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示0.5Νχ2Ν的TUo
[0068]?對于2ΝχΟ.5Ν的PU,級別I的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2ΝχΟ.5Ν 的 TU0
[0069]?對于0.5Νχ2Ν的PU,級別I的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示0.5Νχ2Ν 的 TU0
[0070]4、其他級別
[0071]?對于所有五個分割，上述級別的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示父TU大小在水平和垂直方向上都除以2的TU。[0072]當(dāng)殘差樹深度被設(shè)置為默認(rèn)值時，諸如1，可以使用下述:
[0073]1、對于2Nx2N的PU，使用殘差樹級別O的TU分割。
[0074]2、對于2NxN的PU或Nx2N的PU，使用殘差樹級別I的TU分割。
[0075]3、對于2Nx0.5N的PU或0.5Nx2N的PU，使用級別I節(jié)點都已分支的殘差樹級別2的TU分割。
[0076]圖11示出了根據(jù)一個實施例的殘差樹結(jié)構(gòu)的第三示例。在該示例中，級別I的TU大小等于I3U大小，除了 2NX2N的PU類型。例如，在1102，對于2NxN的PU，級別O的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示2NxN的TU。在1104，對于Nx2N的PU，級別O的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示Nx2N的TU。在1106，對于2Nx0.5N的PU，級別O的每個節(jié)點被分支為2個節(jié)點，一個節(jié)點表示2Nx0.5N的TU，并且另一個節(jié)點表示2Nxl.5N的TU。在1108，對于0.5Nx2N的PU，級別O的每個節(jié)點被分支為2個節(jié)點，一個節(jié)點表示0.5Nx2N的TU，并且另一個節(jié)點表示1.5Nx2N的TU。在這四種情況下，殘差樹使用二進(jìn)制分割來分割TU。而且，TU大小等于PU大小。
[0077]下面總結(jié)了級別0、1、2和其他級別的分割:
[0078]1、級別 O
[0079]?所有五個殘差樹開始于2Nx2N的TU。
[0080]2、級別 I
[0081]?對于2Nx2N的PU,級別O的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示NxN的TU0
[0082]?對于2NxN的PU,級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2NxN的TU0
[0083]?對于Nx2N的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示Nx2N的TU0
[0084]?對于2Nx0.5N的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，一個節(jié)點表示2ΝχΟ.5Ν的TU,另一個節(jié)點表示2Νχ1.5Ν的TU0
[0085]?對于0.5Νχ2Ν的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，一個節(jié)點表示0.5Νχ2Ν的TU,另一個節(jié)點表示1.5Νχ2Ν的TU0
[0086]3、級別 2
[0087]?對于2Νχ2Ν的PU，級別I的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示0.5ΝχΟ.5Ν 的 TU0
[0088]?對于2ΝχΝ的PU，級別I的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2ΝχΟ.5Ν(或 NxN)的 TU。
[0089]?對于Νχ2Ν的PU，級別I的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示0.5Νχ2Ν(或 NxN)的 TU。
[0090]?對于2ΝχΟ.5Ν的PU，級別I的2Nxl.5Ν的節(jié)點被分支成三個節(jié)點，每個節(jié)點表示Nx0.5Ν 的 TU0
[0091]?對于0.5Νχ2Ν的PU，級別I的1.5Νχ2Ν的節(jié)點被分支成三個節(jié)點，每個節(jié)點表示0.5ΝχΝ 的 TU0
[0092]4、其他級別[0093]?對于所有五個分割，上述級別的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示父TU大小在水平和垂直方向上都除以2的TU。
[0094]而且，當(dāng)殘差樹深度被設(shè)置為默認(rèn)值時，諸如1，可以使用下述:
[0095]1、對于2Nx2N的PU，使用殘差樹級別O的TU分割。
[0096]2、對于2NxN的PU、Nx2N的PU、2Nx0.5N的PU或0.5Nx2N的PU，使用殘差樹級別I的TU分割。
[0097]圖12描繪了根據(jù)一個實施例的可能PU分割的第四示例。在該示例中，殘差樹一起劃分高級別的所有節(jié)點。例如，在1202、1204、1206和1208示出了二進(jìn)制分割。在1202，對于2NxN的PU，級別O的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示2NxN的TU。在1204，對于Nx2N的PU，級別O的每個節(jié)點被分支為2個節(jié)點，每個節(jié)點表示Nx2N的TU。在1206，對于2Nx0.5N的PU，級別I的2個節(jié)點中的每一個被分支為2個節(jié)點，每個節(jié)點表示2Nx0.5N的TU。在1208，對于0.5Nx2N的PU，級別I的2個節(jié)點中的每一個被分支為2個節(jié)點，每個節(jié)點表示0.5Nx2N的TU。
[0098]下面總結(jié)了級別0、1、2和其他級別的分割:
[0099]1、級別 O
[0100]?所有五個RT開始于2Nx2N的TU。
[0101]2、級別 I
[0102]?對于2Nx2N的PU,級別O的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示NxN的TU0 [0103]?對于2NxN的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2NxN的TU0
[0104]?對于Nx2N的PU,級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示Nx2N的TU0
[0105]?對于2Nx0.5N的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示2NxN的TUo
[0106]?對于0.5Nx2N的PU，級別O的每個節(jié)點被分支成兩個節(jié)點，每個節(jié)點表示Nx2N的TUo
[0107]3、級別 2
[0108]?對于2Nx2N的PU，級別I的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示0.5ΝχΟ.5Ν 的 TU0
[0109]?對于2ΝχΝ的PU，級別I的兩個節(jié)點中的每個被分支成兩個節(jié)點，每個節(jié)點表示2ΝχΟ.5Ν 的 TU0
[0110]?對于Νχ2Ν的PU，級別I的兩個節(jié)點中的每個被分支成兩個節(jié)點，每個節(jié)點表示
0.5Νχ2Ν 的 TU0
[0111]?對于2ΝχΟ.5Ν的PU,級別I的兩個節(jié)點中的每個被分支成兩個節(jié)點，每個節(jié)點表示 2ΝχΟ.5Ν 的 TU0
[0112]?對于0.5Νχ2Ν的PU,級別I的兩個節(jié)點中的每個被分支成兩個節(jié)點，每個節(jié)點表示 0.5ΝχΝ 的 TU0
[0113]4、其他級別[0114]?對于所有五個分割，上述級別的每個節(jié)點被分支成四個節(jié)點，每個節(jié)點表示父TU大小在水平和垂直方向上都除以2的TU。
[0115]而且，當(dāng)殘差樹深度被設(shè)置為默認(rèn)值時，諸如1，可以使用下述:
[0116]1、對于2Nx2N的PU，使用殘差樹級別O的TU分割。
[0117]2、對于2NxN的PU或Nx2N的PU，使用殘差樹級別I的TU分割。
[0118]3、對于2Nx0.5N的PU或0.5Nx2N的PU，使用級別I節(jié)點都已分支的殘差樹級別2的TU分割。 [0119]在一個示例中，執(zhí)行編碼器702和解碼器704之間的信令以向解碼器指示要使用哪個TU分割。圖13描繪了根據(jù)一個實施例的用于說明信令的編碼器702和解碼器704的更詳細(xì)的示例。I3U類型確定管理器1302確定PU分割，諸如上述I3U分割。在一個示例中，PU類型確定管理器1302確定2NxN的PU分割，并且將其輸出至TU分割管理器1304。
[0120]然后，TU分割管理器1304確定要使用哪個TU分割。例如，TU分割管理器1304可以分析預(yù)測殘差以選擇TU分割來最小化CU的編譯成本。在另一示例中，TU分割管理器1304可以接收關(guān)于視頻內(nèi)容的編譯過程的編譯信息。然后，TU分割管理器1304可以基于編譯信息來選擇要使用哪個TU分割。在一個示例中，TU分割管理器1304分析運動信息以確定TU分割。例如，TU分割管理器1304確定在TU中對類似運動信息進(jìn)行分組的TU分割。然后，TU分割管理器1304將表示所選擇的TU分割的級別輸出至編譯器1306。編譯器1306將選擇的級別編譯在發(fā)送到解碼器704的比特流中。例如，可以將級別0、1、2或其他級別編譯在比特流中。
[0121]解碼器704中的接收機(jī)1308接收比特流。接收機(jī)1308可以確定在比特流中編譯的級別。例如，分割確定管理器1310隨后確定對I3U應(yīng)用的TU分割。例如，I3U類型確定管理器1310確定當(dāng)前⑶的I3U類型。分割確定管理器1310接收PU類型，并且然后使用從編碼器102發(fā)送的殘差樹信息來確定對當(dāng)前CU應(yīng)用的TU分割。例如，如果編碼器702用信號發(fā)送級別I并且PU是2NxN的PU，則分割確定管理器1310使用2NxN的TU分割。
[0122]在另一實施例中，編碼器702和解碼器704可以隱含地確定TU分割。例如，如果使用殘差樹深度被設(shè)置為I的默認(rèn)值，則可以使用如上關(guān)于圖9-12所述的默認(rèn)分割。例如，編碼器702和解碼器704可以被編程用于圖9-12中所述的可能TU分割之一。當(dāng)使用默認(rèn)深度I時，那么編碼器702和解碼器704可以確定PU類型并且自動地使用上述的默認(rèn)分割。
[0123]圖14描繪了根據(jù)一個實施例的用于確定TU分割的方法的簡化流程圖1400。在1402，殘差樹結(jié)構(gòu)管理器706-1確定PU類型。在1404，殘差樹結(jié)構(gòu)管理器706-1確定要應(yīng)用的殘差樹的級別。例如，殘差樹結(jié)構(gòu)管理器706-1分析正在被編碼的視頻內(nèi)容的編譯信息以確定殘差樹和TU分割。在1406，殘差樹結(jié)構(gòu)管理器706-1根據(jù)所確定的TU分割來對當(dāng)前⑶進(jìn)行分割。在1408，殘差樹結(jié)構(gòu)管理器706將選擇的級別編譯在比特流中。而且，如果編碼器702和解碼器704隱含地確定級別，則編碼器702可以不將級別編碼在比特流中。
[0124]圖15描繪了根據(jù)一個實施例用于確定在解碼器704處的TU分割的簡化流程圖1500。在1502，殘差樹結(jié)構(gòu)管理器706-2確定當(dāng)前PU的I3U類型。在1504，殘差樹結(jié)構(gòu)管理器706-2確定殘差樹的級別。例如，該級別可以從編碼器702用信號發(fā)送或者可以使用默認(rèn)值。在1506，殘差樹結(jié)構(gòu)管理器706-2確定TU分割。例如，I3U類型和殘差樹的級別用于確定要對當(dāng)前I3U應(yīng)用哪個TU分割。
[0125]因此，具體實施例提供了允許節(jié)點的二進(jìn)制劃分的殘差樹。這允許TU被劃分成2個TU而不是4個TU。這可以允許TU被更有效地用于編譯。
[0126]現(xiàn)在將描述編碼器和解碼器的一般操作。圖16A描繪了根據(jù)一個實施例的編碼器702的示例。應(yīng)該理解，本領(lǐng)域技術(shù)人員基于這里的公開和教導(dǎo)將認(rèn)識到所述的編碼過程的各種變形。
[0127]對于當(dāng)前PU，X，通過空間預(yù)測或時間預(yù)測來獲得預(yù)測W，X’。然后，從當(dāng)前中減去預(yù)測PU，得到殘差PU，e?？臻g預(yù)測塊1604可以包括每PU的不同空間預(yù)測方向，諸如水平、垂直、45度對角線、135度對角線、DC (flat averaging，扁平平均)以及平面。
[0128]時間預(yù)測塊1606通過運動估計操作來執(zhí)行時間預(yù)測。運動估計操作在參考圖像中搜素當(dāng)前PU的最佳匹配預(yù)測。最佳匹配預(yù)測由運動矢量(MV)和相關(guān)聯(lián)的參考圖像(refldx)來描述。運動矢量和相關(guān)聯(lián)的參考圖像被包括在編譯比特流中。
[0129]變換塊1606以殘差PU，e來執(zhí)行變換操作。變換塊1606接收如上所述的TU分割以執(zhí)行變換操作。變換塊1606在變換域中輸出殘差PU，E0
[0130]然后，量化器1608對殘差PU，E的變換系數(shù)進(jìn)行量化。量化器1608將變換系數(shù)轉(zhuǎn)換為可能值的有限數(shù)。熵編譯塊1610對量化的系數(shù)進(jìn)行熵編碼，得到要傳送的最后的壓縮比特?？梢允褂貌煌撵鼐幾g方法，諸如上下文自適應(yīng)可變長度編譯(CAVLC)或者上下文自適應(yīng)二進(jìn)制算術(shù)編譯(CABAC )。
[0131]而且，在編碼器702的解碼過程中，去量化器1612對殘差PU的量化變換系數(shù)進(jìn)行去量化。然后，去量化器1612輸出殘差PU的去量化的變換系數(shù)E’。反變換塊1614接收去量化的變換系數(shù)，其然后被反變換后，得到重建的殘差PU，e，。反變換塊1614接收上述的TU分割來執(zhí)行變換操作。重建的PU，e’然后被添加到對應(yīng)的空間或時間的預(yù)測X’，以形成新重建的PU，x’ ’。循環(huán)濾波器1616對重建的PU，x’ ’執(zhí)行解塊化(de-block)，以降低塊化噪音。此外，在對解碼圖像完成去塊化濾波過程之后，循環(huán)濾波器1616可以執(zhí)行采樣自適應(yīng)偏移過程，以補償在重建的像素和原始像素之間的像素值偏移。而且，循環(huán)濾波器1606可以對重建的PU執(zhí)行自適應(yīng)濾波，以最小化輸入和輸出圖像之間的編譯失真。此外，如果重建的圖像是參考圖像，則參考圖像被存儲在參考緩沖器1618中以用于將來的時間預(yù)測。
[0132]圖16B描繪了根據(jù)一個實施例的解碼器704的示例。應(yīng)該理解，本領(lǐng)域技術(shù)人員基于這里的公開和教導(dǎo)將認(rèn)識到所述的解碼過程的各種變形。解碼器704從編碼器702接收編碼視頻內(nèi)容的輸入比特。
[0133]熵解碼塊1630對輸入比特流執(zhí)行熵解碼以生成殘差的量化變換系數(shù)。去量化器1632對殘差PU的量化變換系數(shù)進(jìn)行去量化。然后，去量化器1632輸出殘差的去量化的變換系數(shù)E’。反變換塊1634接收去量化的變換系數(shù)，其然后被反變換，得到重建的殘差W，e’。反變換塊1634接收如上所述的TU分割以執(zhí)行變換操作。
[0134]然后，重建的PU，e’被添加到對應(yīng)的空間或時間的預(yù)測X’，以形成新重建的PU，X’’。循環(huán)濾波器1636對重建的PU，X’’執(zhí)行解塊化，以降低塊化噪音。此外，在對解碼圖像完成去塊化濾波過程之后，循環(huán)濾波器1636可以執(zhí)行采樣自適應(yīng)偏移過程，以補償在重建的像素和原始像素之間的像素值偏移。而且，循環(huán)濾波器1636可以對重建的PU執(zhí)行自適應(yīng)濾波，以最小化輸入和輸出圖像之間的編譯失真。此外，如果重建的圖像是參考圖像，則參考圖像被存儲在參考緩沖器1638中以用于將來的時間預(yù)測。
[0135]預(yù)測PU，x’是通過空間預(yù)測或時間預(yù)測獲得的?？臻g預(yù)測塊1640可以接收每PU的解碼空間預(yù)測方向，諸如水平、垂直、45度對角線、135度對角線、DC (扁平平均)以及平面。使用空間預(yù)測方向來確定預(yù)測PU, X’。
[0136]時間預(yù)測塊1642通過運動估計操作來執(zhí)行時間預(yù)測。解碼的運動矢量用于確定預(yù)測PU，X’。在運動估計操作中可以使用內(nèi)插。
[0137]具體實施例可以在非瞬時計算機(jī)可讀存儲介質(zhì)中實現(xiàn)，以便由或結(jié)合指令執(zhí)行系統(tǒng)、裝置、系統(tǒng)或機(jī)器來使用。計算機(jī)可讀存儲介質(zhì)包含用于控制計算機(jī)系統(tǒng)來執(zhí)行具體實施例所述的方法的指令。當(dāng)指令被一個或多個計算機(jī)處理器執(zhí)行時，可以操作用于執(zhí)行具體實施例中所述的。
[0138]如說明書這里以及所附權(quán)利要求中所使用的，“a”、“an”、“the”(一、所述)包括多個引用，除非上下文明確另外規(guī)定。而且，如說明書這里以及所附權(quán)利要求中通篇所使用的，“在……中”的含義包括“在……中”和“在……上”，除非上下文明確另外規(guī)定。
[0139]上面的描述圖示說明了各種實施例以及特定實施例的各方面可如何被實現(xiàn)的示例。上面的示例和實施例不應(yīng)該被視為僅有的實施例，而是呈現(xiàn)來圖示說明所附權(quán)利要求所限定的特定實施例的靈活性和優(yōu)點。基于上面的公開和所附的權(quán)利要求，其他的配置、實施例、實現(xiàn)和等價物也是可以利用的 ，而不會背離權(quán)利要求所限定的在此的范圍。
【權(quán)利要求】
1.一種方法，包括: 接收關(guān)于視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)，其中，所述PU能分割成多個分割類型； 由計算設(shè)備來對所述PU確定PU分割類型； 由所述計算設(shè)備基于所述PU分割類型來確定殘差樹結(jié)構(gòu)以用于將所述CU分割成變換單元(TU)，所述殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割； 由所述計算設(shè)備基于所述殘差樹結(jié)構(gòu)和所述殘差樹結(jié)構(gòu)中的期望的分割級別來確定所述I3U分割類型的TU分割；以及 在變換操作中使用所述TU分割。
2.如權(quán)利要求1所述的方法，其中: 對于2NxN的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2NX2N的節(jié)點分割成兩個2NxN的節(jié)點，并且 對于Nx2N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成兩個Nx2N的節(jié)點。
3.如權(quán)利要求1所述的方法，其中: 對于2Nx0.5N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2NxN的節(jié)點分割成兩個2Nx0.5N的節(jié)點，并且 對于0.5Nx2N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將Nx2N的節(jié)點分割成兩個0.5Nx2N的節(jié)點。
4.如權(quán)利要求1所述的方法，其中: 對于2Nx0.5N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成2Nx0.5N的第一節(jié)點和2Nxl.5N的第二節(jié)點，并且 對于0.5Nx2N的I3U分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成0.5Nx2N的第一節(jié)點和1.5Nx0.5N的第二節(jié)點。
5.如權(quán)利要求1所述的方法，進(jìn)一步包括從編碼器向解碼器用信號發(fā)送所述期望的級別。
6.如權(quán)利要求1所述的方法，其中，編碼器和解碼器隱含地獨立確定期望的級別。
7.如權(quán)利要求1所述的方法，其中，當(dāng)使用所述殘差樹的默認(rèn)深度時，用于每個PU分割類型的所述殘差樹的期望的級別是固定的。
8.如權(quán)利要求1所述的方法，其中，所述殘差樹結(jié)構(gòu)包括以TU的二進(jìn)制分割和TU的四叉樹分割分支的節(jié)點。
9.一種裝置，包括: 一個或多個計算機(jī)處理器；以及 非瞬時計算機(jī)可讀存儲介質(zhì)，所述非瞬時計算機(jī)可讀存儲介質(zhì)包括指令，當(dāng)所述指令由所述一個或多個計算機(jī)處理器執(zhí)行時，控制所述一個或多個計算機(jī)處理器被配置為用于: 接收關(guān)于視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)，其中，所述PU能分割成多個分割類型； 對所述I3U確定PU分割類型；基于所述PU分割類型來確定殘差樹結(jié)構(gòu)以用于將所述CU分割成變換單元(TU)，所述殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割； 基于所述殘差樹結(jié)構(gòu)和所述殘差樹結(jié)構(gòu)中的期望的分割級別來確定所述PU分割類型的TU分割；以及 在變換操作中使用所述TU分割。
10.如權(quán)利要求9所述的裝置，其中: 對于2NxN的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2NX2N的節(jié)點分割成兩個2NxN的節(jié)點，并且 對于Nx2N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成兩個Nx2N的節(jié)點。
11.如權(quán)利要求9所述的裝置，其中: 對于2Nx0.5N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2NxN的節(jié)點分割成兩個2Nx0.5N的節(jié)點，并且 對于0.5Nx2N的PU分割 類型，所述殘差樹結(jié)構(gòu)中的級別將Nx2N的節(jié)點分割成兩個0.5Nx2N的節(jié)點。
12.如權(quán)利要求9所述的裝置，其中: 對于2Nx0.5N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成2Nx0.5N的第一節(jié)點和2Nxl.5N的第二節(jié)點，并且 對于0.5Nx2N的I3U分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成0.5Nx2N的第一節(jié)點和1.5Nx0.5N的第二節(jié)點。
13.如權(quán)利要求9所述的裝置，其中，當(dāng)使用所述殘差樹的默認(rèn)深度時，用于每個分割類型的所述殘差樹的期望的級別是固定的。
14.如權(quán)利要求9所述的裝置，其中，所述殘差樹結(jié)構(gòu)包括以TU的二進(jìn)制分割和TU的四叉樹分割分支的節(jié)點。
15.一種用于解碼視頻內(nèi)容的方法，所述方法包括: 接收編碼的視頻內(nèi)容的比特流； 由計算設(shè)備對關(guān)于所述視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)確定PU分割類型，其中，所述I3U能分割成多個I3U分割類型； 由所述計算設(shè)備基于所述PU分割類型來確定殘差樹結(jié)構(gòu)以用于將所述CU分割成變換單元(TU)，所述殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割； 由所述計算設(shè)備基于所述殘差樹結(jié)構(gòu)和所述殘差樹結(jié)構(gòu)中的期望的分割級別來確定所述I3U分割類型的TU分割；以及 在解碼所述視頻內(nèi)容中的變換操作中使用所述TU分割。
16.如權(quán)利要求15所述的方法，其中，確定TU分割包括從編碼器接收期望的級別。
17.如權(quán)利要求15所述的方法，其中，確定所述TU分割包括從編碼器隱含地獨立確定期望的級別。
18.如權(quán)利要求15所述的方法，其中: 對于2NxN的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成兩個2NxN的節(jié)點，并且對于Nx2N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成兩個Nx2N的節(jié)點。
19.如權(quán)利要求15所述的方法，其中: 對于2Nx0.5N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2NxN的節(jié)點分割成兩個2Nx0.5N的節(jié)點，并且 對于0.5Nx2N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將Nx2N的節(jié)點分割成兩個0.5Nx2N的節(jié)點。
20.如權(quán)利要求15所述的方法，其中: 對于2Nx0.5N的PU分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成2Nx0.5N的第一節(jié)點和2Nxl.5N的第二節(jié)點，并且 對于0.5Nx2N的I3U分割類型，所述殘差樹結(jié)構(gòu)中的級別將2Nx2N的節(jié)點分割成0.5Nx2N的第一節(jié)點和1.5Nx0.5N的第二節(jié)點。
21.—種被配置為解碼視頻內(nèi)容的裝置,包括: 一個或多個計算機(jī)處理器；以及 非瞬時計算機(jī)可讀存儲介質(zhì)，所述非瞬時計算機(jī)可讀存儲介質(zhì)包括指令，當(dāng)所述指令由所述一個或多個計算機(jī)處理器執(zhí)行時，控制所述一個或多個計算機(jī)處理器被配置為用于: 接收編碼的視頻內(nèi)容的比特流； 對關(guān)于所述視頻內(nèi)容的編譯單元(CU)的預(yù)測單元(PU)確定PU分割類型，其中，所述PU能分割成多個I3U分割類型；` 基于所述PU分割類型來確定殘差樹結(jié)構(gòu)以用于將所述CU分割成變換單元(TU)，所述殘差樹包括使節(jié)點成為兩個TU的二進(jìn)制分割； 基于所述殘差樹結(jié)構(gòu)和所述殘差樹結(jié)構(gòu)中的期望的分割級別來確定所述PU分割類型的TU分割；以及 在解碼所述視頻內(nèi)容中的變換操作中使用所述TU分割。
【文檔編號】H04N19/17GK103733628SQ201280038848
【公開日】2014年4月16日 申請日期:2012年8月8日 優(yōu)先權(quán)日:2011年8月8日
【發(fā)明者】王利民, 方雪, 金在勛, 孔維穎, 克里特·帕努索波內(nèi) 申請人:摩托羅拉移動有限責(zé)任公司