高靈活變尺寸塊幀內預測編碼的制作方法
【專利摘要】本發(fā)明公開了一組用于16×16和32×32幀內編碼塊的分割模式，對于幀內編碼的16×16和32×32塊，可以根據其中任意一種分割模式將當前16×16或32×32塊分割，然后對其中的每一個分割塊執(zhí)行變尺寸塊幀內預測和變換編碼。對于一個當然的16×16或32×32塊，編碼器通過率失真優(yōu)化的方法選擇最優(yōu)的分割模式，首先將分割模式信息編入碼流，然后對當前分割模式下每一個分割塊執(zhí)行幀內預測和變換編碼，然后將幀內預測信息和變換編碼信息編入碼流。解碼器則解碼分割模式信息，然后從碼流中逐個恢復當前分割模式下每一個分割塊的編碼信息，然后對每一個分割塊執(zhí)行相應的幀內預測和變換重構。
【專利說明】 高靈活變尺寸塊幀內預測編碼
【技術領域】
[0001]本發(fā)明屬于數字視頻壓縮領域，具體涉及到視頻信號高靈活變尺寸塊幀內預測編碼。
【背景技術】
[0002]數字視頻是通過對時域和空域連續(xù)的自然場景進行時域和空域連續(xù)采樣所得。如圖1所示，數字視頻由一系列時域上的視頻幀所組成，每個視頻幀表示自然場景在某個時間的空域采樣，它由二維均勻采樣的視覺像素組成。每個像素由一系列描述像素亮度和色彩的數字組成，在視頻編碼中，最廣泛被使用的格式是YUV格式，這種格式中，每個像素由一個亮度分量Y，兩個色差分量U和V組成，一般對U和V分量水平和垂直方向各進行一次下采樣，這樣每相鄰的4個像素共用I個U和I個V分量，這就是YUV4:2:0格式。
[0003]最廣泛被使用的視頻編碼技術是塊基混合運動補償DCT變換視頻編碼技術，其中最有代表性的是MPEG和VCEG正在聯合制定的國際標準HEVC。如圖2所示，HEVC編碼器首先把輸入幀被劈分成一個個NxN (其中N為2的冪次，其最小為8，最大可以到64)的塊，稱為最大編碼單元(IXU)，然后從左到右，從上到下依次對IXU進行編碼。在HEVC中，基本的預測-變換-編碼單位稱為編碼單元(⑶)，對于一個大小為2Nx2N的IXU，可以把它作為一個CU直接進行預測-變換-編碼，也可以把它以四分樹的方式劈分為4個大小為NxN的單元進行預測-變換-編碼，而對于每個NxN的單元，它也既可以作為一個CU進行預測-變換-編碼，也可以繼續(xù)以四分樹的方式劈分為4個更小的單元進行編碼。圖3所示既是一個LCU的編碼劈分圖，圖中LCU被劈分為4個等尺寸CU，而4個CU中的第一個、第三個和第四個又分別進行了繼續(xù)的劈分。CU最小為8x8，最大可以和LCU等尺寸。對每個待編碼的CU，首先從已編碼的重構幀中計算出一個對當前塊的預測，并與當前塊相減，殘差依次執(zhí)行DCT變換、量化，然后反量化、反DCT變換得到重構宏塊，存入重構幀序列中，用于對其后編碼的CU產生預測信號。由于精確的DCT變換是浮點變換，所以實際中一般用DCT變換的整數近似或者KLT變換的整數近似來代替。
[0004]⑶的預測有2種，第一種是幀內預測，即只使用當前編碼幀的已重構的像素對當前CU進行預測。當前最流行的幀內預測技術是幀內方向預測技術。幀內方向預測直接以CU為單位進行。HEVC中所使用的角度幀內預測如圖4所示。圖4所示白色黑框塊是當前編碼⑶，左邊和上邊的灰色條帶是當前⑶左上的已重構像素，他們用來生成當前⑶的預測信號。每一個幀內方向預測模式說明一個當然的預測方向，對于如圖4所示編碼CU中的某一行或某一列(用豎狀網格表示)，根據預測方向找到左上重構塊中的相應的像素，如圖4中黑色像素塊所示，作為當前行或列的預測。圖4右側所示的列預測因為左邊靠上的重構像素不存在，所以在實際的預測開始前，需要根據當前預測方向從當前塊上邊的重構像素根據當前幀內預測方向映射過去，如圖5所示。在HEVC中共有33種不同的方向預測模式，如圖6所示。除了 HEVC中所使用的角度幀內預測技術以外，還有多種其他的幀內預測技術，如逐行或逐列方向幀內預測技術，還有三星提出的任意角度幀內預測技術。[0005]CU的第二種預測是幀間預測，這時當前塊的預測從時域上在當前幀前或當前幀后的重構幀中的選取。在ffiVC中，預測以預測單元(PU)為基本單位。一個2Nx2N大小的⑶有4種PU劃分模式，它既可以作為單一的執(zhí)行運動補償，也可以分割成幾個分別執(zhí)行不同的運動補償，如圖7所示。對于一個任意形狀的運動補償過程如圖8、圖9、圖10和圖11所不。顯不時間為t的巾貞是當如編碼巾貞，黑色塊是當如編碼塊。顯不時間為t_to、t-2*t0、t+t0幀是重構幀，其中具有點狀邊界的灰色塊是與當前編碼塊同一空域位置的塊。顯示時間為t-t0、t-2*t0、t+t0幀都可以作為當前編碼塊的預測。在圖8中，運動向量MVO指向當前塊的前向預測塊BLKO。在圖9中，運動向量MVI指向當前塊的后向預測塊BLKI。在圖10中，運動向量MV指向當前塊的前向預測塊BLKO，MV的反方向指向后向預測塊BLK1，BLKO和BLKl的平均作為當前塊的預測。在圖11中，運動向量MVO指向當前塊的前向預測塊BLK0，運動向量MVl指向當前塊的后向預測塊BLK1，BLKO和BLKl的平均作為當前塊的預測。在前向預測、后向預測和對稱預測中，只有一個運動參數(包括運動向量和參考圖像)需要編碼，而在雙向預測模式中，2個運動參數需要編碼。對于每種時域補償模式，編碼器通過率失真優(yōu)化的運動估計過程得到最優(yōu)的運動參數，并將其編入碼流。
[0006]在得到預測以后，將當前塊與預測塊相減，得到殘差塊，然后對殘差塊依次執(zhí)行DCT變換或其他正交變換，然后量化、熵編碼，然后再反量化、反變換、和預測塊相加得到重構塊，并用于后續(xù)編碼塊的預測。在ffiVC中，變換以變換單元(TU)為單位進行。對于幀內預測，TU與實際的預測尺寸同尺寸，即如果一個2Nx2N塊實際執(zhí)行了 2Nx2N的幀內預測，那么它也直接執(zhí)行2Nx2N 二維可分離變換。對于時域預測，則使用變尺寸塊變換。HEVC中所使用的四分樹結構變尺寸塊變換如圖12所示，一個2Nx2N的CU可以有2種變換分割模式，即直接2Nx2N變換或者分割成4個NxN單元，4個NxN單元中的每一個都可以獨立進行四分樹結構的變尺寸塊變換。TU的最小單元是4x4。
[0007]本發(fā)明描述了一種高度靈活的幀內塊變尺寸塊幀內預測變換編碼模式，與簡單的四分樹結構的變尺寸塊幀內預測編碼相比，本發(fā)明能在相同視頻質量條件下節(jié)省超過5%的碼率。

【發(fā)明內容】

[0008]在本發(fā)明中，僅僅正方形幀內編碼塊可以執(zhí)行變尺寸塊幀內預測變換編碼，而所有NxM(N幸M)長方形塊僅僅能進行直接的NxM幀內預測編碼，即首先執(zhí)行某種NxM幀內預測，然后執(zhí)行NxM變換，然后量化熵編碼，最后反量化、反變換后加上預測構成重構。圖13、圖14和圖15是一個4Nx4N幀內編碼塊所有可能的分割幀內預測變換編碼模式。
[0009]當N=2時，當前8x8塊僅有2種編碼模式，即直接的8x8幀內預測編碼，或圖15所示四分樹分割模式幀內預測編碼。編碼器通過率失真優(yōu)化的方法，在兩種模式中選擇其中一種模式，將模式信息寫入碼流，然后執(zhí)行相應的分割模式幀內預測編碼。
[0010]當N=4或8且當前塊是亮度塊時，當前4Nx4N塊除了可以直接執(zhí)行4Nx4N幀內預測編碼以外，還可以執(zhí)行圖13、圖14和圖15中任意一種分割模式幀內預測變換編碼。當某個子分割塊是正方形塊時，它如果有允許的分割模式，那么也可以執(zhí)行分割模式幀內預測變換編碼。編碼器通過率失真優(yōu)化的方法，在10種模式中選擇其中一種模式，將模式信息寫入碼流，然后執(zhí)行相應的分割模式幀內預測編碼。[0011]當N=4或8且當前塊是色度塊時，當前4Nx4N塊除了可以直接執(zhí)行4Nx4N幀內預測編碼以外，還可以執(zhí)行圖13和圖15中任意一種分割模式幀內預測變換編碼。當某個子分割塊是正方形塊時，它如果有允許的分割模式，那么也可以執(zhí)行分割模式幀內預測變換編碼。編碼器通過率失真優(yōu)化的方法，在6種模式中選擇其中一種模式，將模式信息寫入碼流，然后執(zhí)行相應的分割模式幀內預測編碼。
[0012]當N大于8時，當前4Nx4N塊一般不直接進行4Nx4N幀內預測編碼，因為尺寸大于32x32的變換太復雜而在當前條件下不實用。所以N大于8的4Nx4N塊只有一種編碼模式，即圖15所示的四分樹分割模式幀內預測變換編碼。
【專利附圖】

【附圖說明】
[0013]圖1為數字視頻示例,其中指示I表示時域采樣,指示2表示空域采樣。
[0014]圖2為塊基運動補償DCT變換視頻編碼器，其中指示I表示劈分為IXU，指示2表示中貞內預測信息，指示3表示運動參數信息,指示4表示控制信息,指示5表示量化DCT系數，指示6表示編碼碼流。
[0015]圖3是IXU通過四分樹遞歸的劈分為⑶。
[0016]圖4是角度幀內預測示意圖。
[0017]圖5是角度幀內預測中左上不可用像素的映射計算示意圖。
[0018]圖6是角度幀內預測所有方向模式示意圖。
[0019]圖7是⑶劈分為PU的所有方式。
[0020]圖8是時域前向預測示意圖。
[0021]圖9是時域后向預測示意圖。
[0022]圖10是時域對稱預測示意圖。
[0023]圖11是時域雙向預測示意圖。
[0024]圖12是⑶劈分為PU的4種方式。
[0025]圖13是本發(fā)明所述用于亮度或色度16x16或32x32幀內編碼塊的四種分割模式。
[0026]圖14是本發(fā)明所述用于亮度16x16或32x32幀內編碼塊的四種分割模式。
[0027]圖15是本發(fā)明所述用于大于等于8的正方形幀內編碼塊的一種分割模式。
[0028]圖16是本發(fā)明所述視頻編碼器。
[0029]圖17是本發(fā)明所述視頻解碼器。
[0030]實施方式
[0031]圖16是包含本發(fā)明的一個視頻編碼器。編碼器首先把輸入視頻幀劃分為大小為64x64的IXU，然后對IXU進行從左到右、從上到下的順序編碼。
[0032]對每個LCU，編碼器可以將其作為一個編碼單元對其直接編碼，也可以將其以四分樹形式劈分為四個更小的編碼單元進行編碼。而這些32x32單元又可以進一步進行劈分，一般來說，編碼單元最小可到8x8。對于一個編碼單元，編碼器可以選擇將其編碼為幀內塊，也可以選擇將其編碼為幀間塊。對于一個大小為4Nx4N的編碼單元，其亮度分量大小為4Nx4N,而兩個色度分量大小為2Nx2N。在本編碼器中，亮度分量和色度分量分別進行進一步的變尺寸塊劈分幀內預測編碼。在本發(fā)明中，僅僅大于等于8x8的正方形塊有更多的分割模式，而所有大小為NxM (N古M或N=M=4)的塊僅僅能進行直接的NxM幀內預測編碼，即首先執(zhí)行某種NxM幀內預測，然后執(zhí)行NxM變換，然后量化熵編碼，最后反量化、反變換后加上預測構成重構。
[0033]對于每個8x8幀內編碼分量，它僅有兩種編碼模式，即直接的8x8幀內預測編碼和圖15所示四分樹形式劈分為四個4x4塊進行幀內模式編碼。編碼器通過計算率失真花費決定8x8分量采用的編碼模式，并將其編入碼流，然后編碼幀內預測模式和殘差信息。
[0034]對于每個16x16幀內編碼分量(可以是亮度分量，也可以是色度分量)，編碼器首先直接進行16x16幀內預測編碼，即首先進行某種16x16幀內預測，然后對殘差進行變換量化編碼，最后得到16x16分量的重構。編碼器通過率失真優(yōu)化的方法得到直接16x16幀內預測編碼的最小率失真花費。然后編碼器根據本發(fā)明所述的16x16塊分割模式(對于亮度是圖13、圖14和圖15中9種，對于色度，只有圖13和圖15中5種)中的任意一種，對當前16x16塊進行分割，然后對每個分割塊進行變尺寸塊幀內預測變換編碼。編碼器算出每種分割模式下的總率失真花費，然后和直接幀內預測編碼模式比較，選出最好的分割編碼模式，然后將分割模式信息編入碼流，然后以這種分割模式對當前16x16幀內分量進行編碼。當16x16分量的某一個分割模式中包含8x8分割時,8x8分割塊分量執(zhí)行本發(fā)明所述的變尺寸塊分割幀內預測編碼。
[0035]對于每個32x32幀內編碼分量(可以是亮度分量，也可以是色度分量)，編碼器首先直接進行32x32幀內預測編碼，即首先進行某種32x32幀內預測，然后對殘差進行變換量化編碼，然后得到32x32分量的重構。編碼器通過率失真優(yōu)化的方法得到直接32x32幀內預測編碼的最小率失真花費。然后編碼器根據本發(fā)明所述的32x32塊分割模式(對于亮度是圖13、圖14和圖15中9種，對于色度，只有圖13和圖15中5種)中的任意一種，對當前32x32分量進行分割，然后對每個分割塊進行變尺寸塊幀內預測變換編碼。編碼器算出每種分割模式下的總率失真花費，和直接幀內預測編碼模式比較，選出最好的分割編碼模式，然后將分割模式信息編入碼流，然后以這種分割模式對當前32x32幀內編碼分量進行編碼。當32x32分量的某一個分割模式中包含16x16分割時，16x16分割分量塊執(zhí)行本發(fā)明所述的變尺寸塊分割幀內預測編碼。
[0036]對于每個64x64分量，它只有一種編碼模式，即根據圖15所示分割模式，將其分割為四個32x32分量，然后按本發(fā)明所述方法對每個32x32分量進行變尺寸塊分割幀內預測編碼。
[0037]圖17所示是包含本發(fā)明的視頻解碼器，它是圖16的逆。解碼器從左到右、從上到下對每個LCU進行解碼。對于每個LCU，解碼器讀取信息，得到其分割編碼模式，然后將其分割為編碼單元進行編碼。然后解碼器讀取碼流決定一個編碼單元的編碼模式。如果這個編碼單元是幀內編碼單元，那么解碼器對其亮度分量和色度分量分別進行變尺寸塊幀內預測解碼。對于一個64x64幀內編碼分量，解碼器將其分割為四個32x32分量進行解碼。對于一個32x32分量,解碼器首先解碼其分割模式信息,然后根據分割模式將其分割為若干子塊分量對其進行解碼。對于一個16x16分量，解碼器首先解碼其分割模式信息，然后根據分割模式將其分割為若干子塊分量對其進行解碼。對于一個8x8分量，解碼器首先解碼其分割模式信息，然后根據分割模式將其分割為若干子塊分量對其進行解碼。而對于大小為NxM (N古M或N=M=4)的塊，解碼器則直接解碼其預測信息和殘差信息，然后得到這個塊的重構。[0038]雖然本發(fā)明只描述了一種實現，但本算法可以被協(xié)商到多種實現中。如對于幀內預測技術，本發(fā)明并不局限于ffiVC所采納的角度幀內預測技術，其他幀內預測技術也可以使用。本發(fā)明也并不局限于最大編碼單元尺寸，除了上面所描述的64X64LCU，本發(fā)明也可用于128xl28IXU，或32x32IXU等。對于亮度分量的分割類型，也可以只采用圖13和圖15兩類共5種，這樣性能會損失0.6%，但可以和色度采用一樣的分割類型。
【權利要求】
1.視頻編解碼器對N=4或8的4Nx4N幀內編碼亮度塊的執(zhí)行變尺寸塊幀內預測變換編碼。當前4Nx4N塊除了可以直接執(zhí)行4Nx4N幀內預測編碼以外，還可以執(zhí)行圖13、圖14和圖15中任意一種分割模式幀內預測變換編碼。
2.視頻編解碼器對N=4或8的4Nx4N幀內編碼亮度或色度塊的執(zhí)行變尺寸塊幀內預測變換編碼。當前4Nx4N塊除了可以直接執(zhí)行4Nx4N幀內預測編碼以外，還可以執(zhí)行圖13和圖15中任意一種分割模式幀內預測變換編碼。
3.視頻編解碼器對N大于8的4Nx4N幀內編碼塊的執(zhí)行變尺寸塊幀內預測變換編碼。當前4Nx4N塊只有一種編碼模式，即圖15所示的四分樹分割模式幀內預測變換編碼。由于只有一種編碼模式，所以編碼器不需要編碼模式信息。
4.如權利要求1、2和3所示，當某種子分割塊是正方形塊時，那么這個分割塊也可以執(zhí)行進一步的變尺寸塊幀內預測編碼。8x8幀內編碼塊僅有2種編碼模式，即直接的8x8幀內預測編碼，或圖15所示四分樹分割模式巾貞內預測編碼。而NxM (N古M或N=M=4)塊僅有一種編碼模式，即直接進行NxM幀內預測，然后對殘差進行NxM變換編碼。
5.如權利要求1、2和3所示，視頻編碼器對于一個當然的4Nx4N幀內編碼塊進行編碼。如果當前4Nx4N塊存在多種分割編碼模式，那么編碼器通過計算率失真花費選擇最優(yōu)的分割模式，并將所選分割模式信息和相應所有子塊的分割模式信息(如果是正方形塊且有多種分割編碼模式)、幀內預測模式及量化變換系數一起編碼入碼流，而解碼器則通過解碼模式信息和每個子塊的編碼信息恢復4Nx4N塊的重構。
【文檔編號】H04N19/154GK103491380SQ201310326728
【公開日】2014年1月1日 申請日期:2013年7月29日 優(yōu)先權日:2013年7月29日
【發(fā)明者】朱洪波 申請人:朱洪波