本申請是申請人于2013年7月22日向中國專利局提交的申請?zhí)枮?01280006137.7、申請日為2012年9月6日、發(fā)明名稱為“用于引導合并候選塊的方法和使用該方法的設備”的發(fā)明專利申請的分案申請。
本發(fā)明涉及一種編碼和解碼視頻的方法,并且尤其涉及一種導出合并候選塊的方法以及使用該方法的裝置。
背景技術:
近來,在各種應用領域中對諸如高清晰度(hd)視頻和超高清晰度(uhd)視頻的具有高分辨率和高質量的視頻的需求不斷增加。隨著視頻的分辨率和質量變得更高,視頻的大小與現(xiàn)有的視頻相比相對地增加,因此,在該視頻利用諸如現(xiàn)有的布線或者無線寬帶網(wǎng)絡被傳輸或者被存儲在現(xiàn)有存儲介質中的情況下,傳輸成本和存儲成本將增加。為了解決因為分辨率和質量變得更高而產(chǎn)生的這些問題,可以使用高效率的視頻壓縮技術。
視頻壓縮技術包括各種技術,諸如:用于從當前畫面之前或者之后的畫面來預測包括在當前畫面中的像素值的(畫面)間預測技術、用于通過使用在當前畫面內(nèi)的像素信息來預測包括在當前畫面中的像素值的(畫面)內(nèi)預測技術,以及用于將較短代碼分配給高出現(xiàn)頻率值并且將較長代碼分配給低出現(xiàn)頻率值的熵編碼技術,并且,通過使用這種視頻壓縮技術,視頻數(shù)據(jù)可以被高效地壓縮,以進行傳輸或者存儲。
技術實現(xiàn)要素:
技術問題
本發(fā)明的第一目的是提供一種利用并行處理來導出合并候選的方法。
本發(fā)明的第二目的是提供一種用于執(zhí)行利用并行處理來導出合并候選的方法的裝置。
技術方案
根據(jù)用于實現(xiàn)如上所述的本發(fā)明的第一目的的本發(fā)明的一個方面,提供一種獲得合并候選塊的方法。該方法可以包括對運動估計區(qū)域(mer)相關信息進行解碼;確定預測目標塊和空間合并候選塊是否被包括在相同的mer中;以及在預測目標塊和空間合并候選塊包括在相同mer中時,如果確定不使用空間合并候選塊的合并候選塊,則決定空間合并候選塊為不可用的合并候選塊。該方法還可以包括:如果預測目標塊和空間合并候選塊被包括在相同mer中,則根據(jù)mer的大小和預測目標塊的大小來適應性地確定空間合并候選塊。如果mer的大小是8×8并且預測目標塊的大小是8×4或者4×8,可以利用包括位于mer外部的點的塊來代替預測目標塊的空間合并候選塊中的至少之一。該方法還可以包括確定空間合并候選塊是否包括在仍未被解碼的mer中。該方法還可以包括:如果預測目標塊和空間合并候選塊被包括在相同mer中,則利用包括在其它mer中的塊來代替空間合并候選塊。根據(jù)包括在相同mer中的空間合并候選塊的位置,所代替的空間合并候選塊可以是被適應性地代替為包括在與預測目標塊不同的mer中的空間合并候選塊。mer相關信息可以是有關mer的大小的信息并且在畫面單元中傳輸。確定預測目標塊和空間合并候選塊是否包括在相同的mer中可以包括根據(jù)基于預測目標塊的位置信息、空間合并候選塊的位置信息以及mer的大小信息的確定式來確定預測目標塊和空間合并候選塊是否被包括在相同的mer中。
根據(jù)上述用于實現(xiàn)本發(fā)明的第二目的的本發(fā)明的另一方面,提供一種圖像解碼裝置。該裝置可以包括:熵解碼單元,用于對運動估計區(qū)域相關信息進行解碼;以及預測單元,用于確定預測目標塊和空間合并候選塊是否被包括在相同的mer中,并且如果預測目標塊和空間合并候選塊被包括在相同的mer中,則將該空間合并候選塊決定為不可用的合并候選塊。該預測單元可以是在預測目標塊和空間合并候選塊包括在相同mer中的情況下根據(jù)mer的大小和預測目標塊的大小來適應性地確定空間合并候選塊的預測單元。如果mer的大小是8×8并且預測目標塊的大小是8×4或者4×8,則預測單元可以利用包括位于該mer外部的點的塊來代替該預測目標塊的空間合并候選塊中的至少之一。該預測單元可以確定空間合并候選塊模塊是否包括在仍未被解碼的mer中。該預測單元可以是在預測目標塊和空間合并候選塊被包括在相同的mer中時利用包括在其它mer中的塊來代替空間合并候選塊的預測單元。根據(jù)包括在相同mer中的空間合并候選塊的位置,所代替的空間合并候選塊可以是被適應性地代替為包括在與預測目標塊不同的mer中的空間合并候選塊。mer相關信息可以是有關mer的大小的信息并且被在畫面單元中傳輸。預測單元可以是基于根據(jù)預測目標塊的位置信息、空間合并候選塊的位置信息以及mer的大小信息的確定式來確定預測目標塊和空間合并候選塊是否包括在相同的候選塊mer中的預測單元。
技術效果
根據(jù)本發(fā)明的示例性實施例中描述的獲得合并候選塊的方法以及使用該方法的裝置,并行處理可以通過并行地執(zhí)行獲得合并候選塊的方法來實現(xiàn),從而,可以降低計算量以及實施的復雜度。
附圖說明
圖1是圖示根據(jù)本發(fā)明的示例性實施例的視頻編碼器的框圖。
圖2是圖示根據(jù)本發(fā)明的另一示例性實施例的視頻解碼器的框圖。
圖3是圖示根據(jù)本發(fā)明的示例性實施例的用于應用合并模式和跳躍模式的候選塊的概念視圖。
圖4是圖示根據(jù)本發(fā)明的示例性實施例的決定合并候選塊的方法的概念視圖。
圖5是圖示根據(jù)本發(fā)明的示例性實施例的根據(jù)mer的大小來決定合并候選塊的方法的概念視圖。
圖6是圖示確定當前塊的空間合并候選塊是否是可獲得的方法的概念視圖。
圖7是圖示根據(jù)本發(fā)明的示例性實施例的在合并模式中獲取空間合并候選塊的方法的流程圖。
圖8是圖示根據(jù)本發(fā)明的示例性實施例的應用合并模式的間預測的方法的流程圖。
具體實施方式
雖然可以做出各種變形例和示例性實施例,但是在本文中僅參考附圖充分描述特定的示例性實施例。然而,本發(fā)明不應該被理解為僅僅限于在本文中提出的示例性實施例而是應該被理解為覆蓋落入本發(fā)明的范圍和技術術語的所有變形例、等效例或者替換例。在該附圖的各處,相同附圖標記指代相同的元件。
要理解的是:盡管可能在本文中使用術語“第一”、“第二”等描述各種元件,但是這些元件不應該被這些術語限制。這些術語僅僅被用于將一個元件與其它區(qū)分開。這些術語僅僅被用于將一個元件與另一元件區(qū)分開。例如,在不脫離本發(fā)明的教示的情況下,第一元件可以被稱為第二元件,并且類似地,第二元件可以被稱為第一元件。術語“和/或”包括多個關聯(lián)的列出項的組合或者多個關聯(lián)的列出項中的任一個。
要理解的是:在特征或者元件被稱為被“連接”或者“耦接”到另一個特征或者元件時,它可以直接地連接或者耦接到另一個元件或者可以有居間元件。相反,在特征或者元件被稱為被“直接地連接”或者“直接地耦接”到另一個元件時,要理解的是:不存在居間元件。
本文所使用的術語僅僅是用于描述特定的實施例并且不意味著限制本發(fā)明的示例性實施例。除非上下文另外清楚地指出,單數(shù)形式“一”、“一個”以及“這個”意味著也包括復數(shù)形式。要理解的是:盡管術語“包括”或者“包含”在被用于本文中時指定所陳述的特征、整體、步驟、操作、元件、部件或者它們的任何組合的存在,但是不排除一個或更多其它特征、整體、步驟、操作、元件、部件或者它們的任何組合的存在或者附加。
以下參考附圖詳細地描述本發(fā)明。以下,相同的附圖標記在附圖各處被用于指代相同部分并且省略相同部分的重復說明。
圖1是圖示根據(jù)本發(fā)明的示例性實施例的視頻編碼器的框圖。
參考圖1,視頻編碼器100可以包括畫面分割模塊110、間預測模塊120、內(nèi)預測模塊125、變換模塊130、量化模塊135、重新布置模塊160、熵編碼模塊165、解量化模塊140、逆變換模塊145、濾波模塊150以及存儲器155。
圖1中示出的每個模塊被分別地示出,以便提供視頻編碼器中的功能的不同特征,而不意味著表示每個模塊作為分離的硬件或者軟件部件單元被配置。即,為了說明的目的,每個模塊作為各個元件被列出,而各模塊中的至少兩個模塊可以被合并為一個元件,或者一個模塊可以被分成多個元件來執(zhí)行功能,并且其中各個模塊被合并或者劃分的實施例沒有脫離本發(fā)明的本質而被包括在本發(fā)明的權利要求范圍內(nèi)。
此外,一部分元件可以不是用于執(zhí)行本發(fā)明中的實質的功能的不可缺少的元件,而僅僅是用于提高性能的選擇性的元件。本發(fā)明可以僅僅利用對實施本發(fā)明的本質是必要的元件并且排除僅以提高性能所使用的元件來被實施,并且僅包括實質的元件并且排除僅用于提高性能的選擇性的元件的配置也被包括在本發(fā)明的權利要求范圍內(nèi)。
畫面分割模塊110可以將輸入畫面拆分為至少一個處理單元。在這里,處理單元可以是預測單元(pu)、變換單元(tu)或者譯碼單元(cu)。畫面分割模塊110可以將一個畫面拆分成多個譯碼單元、預測單元以及變換單元的組合,并且可以基于預定標準(例如成本函數(shù)),通過選擇譯碼單元、預測單元以及變換單元的一個組合來編碼該畫面。
例如,一個畫面可以被分割成多個譯碼單元。為了分割該譯碼單元,可以使用諸如四叉樹形結構的遞歸樹形結構,并且具有作為根的畫面或者最大譯碼單元的被拆分為其它譯碼單元的譯碼單元可以被拆分為具有數(shù)量和所拆分的譯碼單元一樣多的子節(jié)點。不再根據(jù)某一限制被進一步拆分的譯碼單元變?yōu)槿~節(jié)點。換句話說,在假設對于一個譯碼單元僅僅正方形分割(squarepartitioning)是可用時,一個譯碼單元可以被拆分為四個不同的譯碼單元。
以下,在本發(fā)明的示例性實施例中,譯碼單元不僅可以被用來指用于編碼的單元而且可以指用于解碼的單元。
預測單元在一個譯碼單元內(nèi)利用具有相同大小的正方形或者矩形的形狀被分割。
在基于譯碼單元來生成用于執(zhí)行內(nèi)預測的預測單元時,如果譯碼單元不是最小的譯碼單元,則可以在不以n×n單元的形式被拆分為多個預測單元的情況下執(zhí)行內(nèi)預測。
預測模塊可以包括:用于執(zhí)行間預測的間預測模塊120和用于執(zhí)行內(nèi)預測的內(nèi)預測模塊125。對于預測單元,預測模塊可以確定是否執(zhí)行間預測或者是否執(zhí)行內(nèi)預測,并且可以確定根據(jù)每個預測方法的特定信息(例如內(nèi)預測模式、運動向量、參考畫面等)。在這里,用于執(zhí)行預測的處理單元以及用于確定預測方法的處理單元以及特定的細節(jié)可以不相同。例如,預測方法和預測模式可以在預測單元中被確定并且預測可以在變換單元中被執(zhí)行。所生成的預測塊和初始塊之間的剩余值(剩余塊)可以被輸入到變換模塊130。此外,用于預測的預測模式信息、運動向量信息等可以與要被發(fā)送到解碼器的剩余值一起被在熵編碼模塊135中進行編碼。在使用特定的編碼模式時,可能不通過預測模塊120、125生成預測塊,而是初始塊因為要被發(fā)送到解碼器而被編碼。
間預測模塊可以基于當前畫面之前或之后的畫面中的至少一個畫面的信息在預測單元上進行預測。間預測模塊可以包括參考畫面插值模塊、運動預測模塊以及運動補償模塊。
參考畫面插值模塊可以被從存儲器155提供參考畫面信息,并且可以根據(jù)參考畫面以小于整個像素單元的形式生成像素信息。在亮度像素的情況下,可以使用基于dct的8抽頭插值濾波器,其中,濾波系數(shù)被改變以生成比整個像素單元小1/4像素的單元的像素信息。在色度信號的情況下,可以使用基于dct的4抽頭插值濾波器,其中濾波系數(shù)被改變以生成比整個像素單元小1/8像素的單元的像素信息。
運動預測模塊可以基于通過參考畫面差值模塊進行插值的參考畫面來執(zhí)行運動預測。對于獲取運動向量的方法,可以使用諸如fbma(完全基于搜索的塊匹配算法)、tss(三級搜索)或者nts(新三級檢索算法)的各種方法。運動向量可以基于被插值的像素在1/2或者1/4像素的單元中具有運動向量值。運動預測模塊可以通過改變運動預測方法來預測當前的預測單元。作為運動預測方法,可以使用諸如跳躍模式、合并模式或者高級運動向量預測(amvp)模式的各種方法。
根據(jù)本發(fā)明的示例性實施例,在執(zhí)行間預測時,運動估計區(qū)域(mer)可以被限定為并行地執(zhí)行預測。例如,在使用合并模式或者跳躍模式來執(zhí)行間預測時,可以確定預測目標塊和空間合并候選塊是否包括在相同mer中,并且在預測目標塊和空間合并候選塊不包括在相同mer中時,可以通過確定空間合并候選塊是否包括在仍然未被解碼的mer內(nèi)來確定合并候選塊,或者可以確定空間合并候選塊不可得到。以下,在本發(fā)明的示例性實施例中,描述在執(zhí)行間預測時預測單元的操作。
間預測單元可以基于關于與當前塊相鄰的參考像素的信息來生成預測單元,其中參考像素是當前畫面內(nèi)的像素。如果當前預測單元的相鄰塊是間預測在其上被執(zhí)行使得參考像素是間預測在其上被執(zhí)行的像素的塊,則包括在間預測在其上被執(zhí)行的塊內(nèi)的參考像素可以利用內(nèi)預測在其上被執(zhí)行的相鄰塊的參考像素來代替。換句話說,在參考像素不可用時,不可用的參考像素可以利用可用的參考像素中的至少一個參考像素來代替。
內(nèi)預測可以具有根據(jù)預測方向使用關于參考像素的信息的定向預測模式以及在執(zhí)行預測時不使用方向信息的非定向模式。用于預測關于亮度樣本的信息的模式和用于預測關于色度樣本的信息的模式可以是不同的。此外,用于亮度樣本的內(nèi)預測模式的信息或者預測的亮度信號的信息可以被用于預測關于色度樣本的信息。
如果在執(zhí)行內(nèi)預測時預測單元的大小和變換單元的大小相同,則可以對基于處于預測單元的左側的像素、處于左上部區(qū)域的像素以及處于上部區(qū)域上的像素的預測單元執(zhí)行內(nèi)預測。然而,在當執(zhí)行內(nèi)預測時預測單元的大小和變換單元的大小不同的情況下,可以通過使用基于該變換單元的參考像素來執(zhí)行內(nèi)預測。此外,可以使用僅相對于最小譯碼單元的nxn分割的內(nèi)預測。
在內(nèi)預測方法中,根據(jù)預測模式,模式依賴內(nèi)平滑(mdis)濾波器可以被應用到參考像素,以生成預測塊。應用到參考像素的mdis濾波期的種類可以不同。為了執(zhí)行內(nèi)預測,當前預測單元的內(nèi)預測模式可以從相鄰當前預測單元的預測單元的內(nèi)預測模式來預測。當通過使用從相鄰的預測單元所預測的模式信息來預測當前預測單元的預測模式時,如果當前預測單元的內(nèi)預測模式和相鄰的預測單元是相同的,則可以使用預定的標記信息來發(fā)送當前預測單元和相鄰預測單元的預測模式相同的信息,并且如果當前預測單元和相鄰預測單元的預測模式是不同的,則可以通過熵編碼來解碼當前塊的預測模式信息。
此外,剩余塊包括剩余值信息,該剩余值信息是基于在預測模塊120、125中生成的預測單元執(zhí)行預測的預測單元與預測單元的初始塊之間的差。所生成的剩余塊可以被輸入到變換模塊130。變換模塊130可以通過使用諸如離散余弦變換(dct)或者離散正弦變換(dst)的變換方法來變換包括初始塊和在預測模塊120,125中生成的預測單元的剩余值信息的剩余塊。是否應用dct或者dst以便變換剩余塊可以基于用于生成剩余塊的預測單元的內(nèi)預測模式信息來被確定。
量化模塊135可以對由變換模塊130變換為頻域的值進行量化。依據(jù)圖像的重要性或者塊,可以改變量化參數(shù)。由量化模塊135輸出的值可以被提供到解量化模塊140和重新布置模塊160。
重新布置模塊160可以重新布置關于剩余值的量化系數(shù)值。
重新布置模塊160可以通過系數(shù)掃描方法將二維陣列的塊形式的系數(shù)修改為一維向量的形式。例如,在重新布置模塊160中,可以通過使用對角線掃描模式從dc系數(shù)到高頻域中的系數(shù)進行掃描,以將其重新布置為一維向量形式。根據(jù)變換單元的大小和內(nèi)預測模式,代替對角線掃描模式,可以使用在列方向上掃描塊形式的二維系數(shù)的垂直掃描模式或者在行方向上掃描塊形式中的二維系數(shù)的水平掃描模式。換句話說,根據(jù)變換單元的大小和內(nèi)預測模式可以確定使用對角線掃描模式、垂直掃描模式以及水平掃描模式之間的哪一個掃描模式。
熵編碼模塊165基于從重新布置模塊160輸出的值來執(zhí)行熵編碼。熵編碼可以使用諸如例如指數(shù)哥倫布、上下文自適應二進制算術編碼(cabac)的各種編碼方法。
熵編碼單元165可以對來自重新布置模塊160和預測模塊120、125的諸如譯碼單元的剩余系數(shù)信息和塊類型信息、預測模式信息、分割單元信息、預測單元信息、傳輸單元信息、運動向量信息、參考畫面信息、塊的插值信息、濾波信息、mer信息等的各種信息。
熵編碼單元165可以通過使用諸如cabac的熵編碼方法來對從重新布置模塊160輸入的譯碼單元中的系數(shù)值執(zhí)行熵編碼。
解量化模塊140和逆變換模塊145對由量化模塊135量化的值進行解量化,并且逆向地變換由變換模塊130變換的值。由解量化模塊140和逆變換模塊145生成的剩余值可以被添加到通過包括在預測模塊120、125中的運動估計模塊、運動補償模塊和內(nèi)預測模塊預測的預測單元,以生成重構塊。
濾波模塊150可以包括解塊濾波器、偏移校正模塊以及自適應環(huán)路濾波器(alf)中的至少之一。
解塊濾波器可以除去由于在重構畫面中的各塊之間的邊界而生成的塊失真。為了確定是否執(zhí)行解塊濾波,可以基于包括在塊內(nèi)的幾列或者幾行內(nèi)的像素來確定是否對當前塊應用解塊濾波。當對塊應用解塊濾波時,可以依據(jù)所需要的解塊濾波強度來應用強濾波器或者弱濾波器。同樣地,在應用解塊濾波器中,在執(zhí)行垂直濾波以及水平濾波時,水平方向濾波和垂直方向濾波可以被并行地處理。
偏移校正模塊可以針對執(zhí)行了解塊濾波的圖像以像素單元來校正相對于原始畫面的偏移。為了執(zhí)行相對于特定畫面的偏移校正,可以使用將包括在圖像內(nèi)的像素分成預定數(shù)量的區(qū)域、確定偏移要在其上被執(zhí)行的區(qū)域以及將偏移應用到相應的區(qū)域或者通過考慮每個像素的邊緣信息來應用該偏移的方法。
自適應環(huán)路濾波器(alf)可以基于所濾波的重構圖像和原始圖像的比較來執(zhí)行濾波。在將包括在圖像中的像素分成預定組并且確定要被應用到相應組的濾波器后,可以將該濾波應用到確定為與各自的濾波器不同的每一組。關于是否應用alf的信息可以通過譯碼單元(cu)被發(fā)送并且要被應用的alf的大小和系數(shù)對于每個塊可以是不同的。alf可以具有各種形狀,因此濾波器中的許多系數(shù)對于每個濾波器可以是不同的。alf的濾波相關信息(濾波器系數(shù)信息、alf接通/關斷信息、濾波形狀信息等)可以被包括并且以比特流中設置的預定參數(shù)進行傳輸。
存儲器155可以存儲從濾波模塊150輸出的重構塊或者畫面,并且在執(zhí)行間預測時,所存儲的重構塊或者畫面可以被提供到預測模塊120、125。
圖2是示出根據(jù)本發(fā)明的另一示例性實施例的圖像解碼器的框圖。
參考圖2,視頻解碼器可以包括熵解碼模塊210、重新布置模塊215、解量化模塊220、逆變換模塊225、預測模塊230、235、濾波模塊240以及存儲器245。
在視頻比特流被從視頻編碼器輸入時,所輸入的比特流可以以與視頻編碼器中的處理順序相反的順序被解碼。
熵解碼模塊210可以按照在視頻編碼器的熵編碼模塊中執(zhí)行熵編碼相反的順序來執(zhí)行熵解碼。用于在通過熵解碼模塊210解碼的信息中生成預測塊的信息可以被提供到預測模塊230、235,并且在熵解碼模塊中被熵解碼的剩余值可以被輸入到重新布置模塊215。
熵解碼模塊210可以解碼與由編碼器執(zhí)行內(nèi)預測和間預測有關的信息。如上所述,在具有用于視頻編碼器中的內(nèi)預測和間預測的預定約束時,與當前塊的內(nèi)預測和間預測有關的信息可以基于該約束通過執(zhí)行熵解碼來提供。
重新布置模塊215可以基于編碼器的重新布置方法來執(zhí)行通過熵解碼模塊210進行了熵解碼的比特流的重新布置。表示為一維向量形式的系數(shù)可以被重構并且以二維塊形式被重新布置。
解量化模塊220可以基于從編碼器和重新布置系數(shù)塊提供的量化參數(shù)來執(zhí)行解量化。
逆變換模塊225可以對相對于由變換模塊執(zhí)行的dct和dst的由視頻編碼器執(zhí)行的量化的結果執(zhí)行逆dct和逆dst。逆變換可以基于由視頻編碼器確定的傳輸單元來執(zhí)行。在視頻編碼器的變換模塊中,dct和dst可以根據(jù)諸如預測方法、當前塊的大小以及預測方向的多個信息來選擇性地執(zhí)行,并且視頻解碼器的逆變換模塊225可以基于在視頻編碼器的變換模塊中執(zhí)行的變換信息來執(zhí)行逆變換。
預測模塊230、235可以基于與生成從熵解碼模塊210提供的預測塊有關的信息以及先前解碼的塊或者從存儲器245提供的畫面的信息來生成預測塊。
預測模塊230、235可以包括預測單元確定模塊、間預測模塊以及內(nèi)預測模塊。預測單元確定模塊可以接收諸如預測單元信息、內(nèi)預測方法的預測模式信息以及從熵解碼器輸入的間預測方法的運動預測相關信息的各種信息,基于所接收的信息來區(qū)分當前譯碼單元中的預測單元,并且確定是在預測單元上執(zhí)行間預測還是在預測單元上執(zhí)行內(nèi)預測。間預測單元通過使用由視頻編碼器提供的當前預測單元的間預測需要的信息,基于包括當前預測單元的當前畫面的先前畫面和后續(xù)畫面之間的至少一個畫面中包括的信息,來執(zhí)行對于當前預測單元的間預測。
為了執(zhí)行間預測,基于譯碼單元可以確定包括在相應的譯碼單元中的預測單元中的運動預測方法是跳躍模式、合并模式還是amvp模式。
根據(jù)本發(fā)明的示例性實施例,在執(zhí)行間預測時,運動估計區(qū)域(mer)可以被限定為并行地執(zhí)行該預測。例如,在使用合并或者跳躍來執(zhí)行間預測時,可以確定預測目標塊和空間合并候選塊是否被包括在相同mer中。在預測目標塊和空間合并候選塊不被包括在相同mer中時,通過確定空間合并候選塊是否被包括在仍未被解碼的mer中,空間合并候選塊可以被確定為不可用的,或者空間合并候選塊可以被確定為合并候選塊。在本發(fā)明的示例性實施例中詳細地描述了預測模塊的操作。
內(nèi)預測模塊可以基于當前畫面內(nèi)的像素信息來生成預測塊。在預測單元是用于執(zhí)行內(nèi)預測的預測單元時,可以基于由視頻編碼器提供的預測單元的內(nèi)預測模式信息來執(zhí)行內(nèi)預測。內(nèi)預測模塊可以包括該mdis濾波器、參考像素插值模塊以及dc濾波器。mdis濾波器是用于對當前塊的參考像素執(zhí)行濾波的模塊,并且是否應用濾波可以根據(jù)當前預測單元的預測模式來被確定和應用。通過使用預測單元的預測模式和由視頻編碼器提供的mdis濾波信息可以對當前塊的參考像素執(zhí)行濾波。在當前塊的預測模式是不執(zhí)行濾波的模式時,可以不應用mdis濾波器。
在預測單元的預測模式是用于基于內(nèi)插參考像素的像素值來執(zhí)行內(nèi)預測的預測單元時,參考像素差值模塊可以通過內(nèi)插參考像素在小于整數(shù)值的像素單元中生成參考像素。在當前預測單元的預測模式是在沒有內(nèi)插參考像素的情況下成預測塊的預測模式時,可以不插入?yún)⒖枷袼?。如果當前塊的預測模式是dc模式,則dc濾波器可以通過濾波來生成預測塊。
重構塊或者畫面可以被提供到濾波模塊240。濾波模塊240可以包括解塊濾波器、偏移校正模塊以及alf。
關于解塊濾波器是否被應用到相應塊或者畫面以及如果解塊濾波器被應用則是應用強濾波器還是弱濾波器的信息可以從視頻編碼器提供。視頻解碼器的解塊濾波器可以被從視頻編碼器提供關于解塊濾波器的信息并且對視頻解碼器中的相應塊執(zhí)行解塊濾波。與視頻編碼器相同,垂直解塊濾波和水平解塊濾波首先被執(zhí)行,而垂直解塊和水平解塊中的至少之一可以在交疊區(qū)域中被執(zhí)行。在垂直解塊濾波和水平解塊濾波的交疊區(qū)域中,可以執(zhí)行先前沒有被執(zhí)行的垂直解塊濾波或者水平解塊濾波。通過該解塊濾波處理,解塊濾波的并行處理成為可能。
偏移校正模塊可以基于應用到圖像的偏移校正的類型和偏移值信息來在重構畫面上執(zhí)行偏移校正。
alf可以基于比較原始圖像和經(jīng)過濾波的重構圖像的值來執(zhí)行濾波。可以基于關于是否應用alf的信息、關于從解碼器提供的alf系數(shù)的信息將alf應用到譯碼單元。alf信息可以被包括在要被提供的特定的參數(shù)集內(nèi)。
存儲器245可以存儲要被用作參考畫面或者參考塊的重構畫面或者塊,并且重構畫面可以被提供到輸出模塊。
如上所述,盡管譯碼單元被用于指代示例性實施例中的譯碼的單元,但是譯碼單元可以是用于不僅執(zhí)行編碼也執(zhí)行解碼的單元。以下,根據(jù)本發(fā)明的示例性實施例的圖3至圖11中描述的預測方法可以通過諸如包括在圖1和圖2內(nèi)的預測模塊的元件來執(zhí)行。
圖3是示出根據(jù)本發(fā)明的示例性實施例的用于應用合并模式和跳躍模式的候選塊的概念視圖。
以下,為了說明的目的,描述了本發(fā)明的示例性實施例中的合并模式;然而,相同的方法可以被應用到跳躍模式并且這種實施例也被包括在本發(fā)明中的權利要求的范圍內(nèi)。
參考圖3,為了通過合并模式來執(zhí)行間預測,可以使用空間合并候選塊300、305、310、315、320和時間合并候選塊350、355。
在位于相對于預測目標塊的位置的預測目標塊的左上部的點(xp,yp)具有預測目標塊的寬度npsw和預測目標塊的高度spsh時,空間合并候選塊300、305、310、315、320中的每個塊可以是包括點(xp-1,yp+npsh-minpusize)的第一塊300、包括點(xp+npsw-minpusize,yp-1)的第二塊305、包括點(xp+npsw,yp-1)的第三塊310、包括點(xp-1,yp+npsh)的第四塊315以及包括點(xp-minpusize,yp-1)的第五塊320中之一。
時間合并候選可以使用多個候選塊和第一col塊(配置塊)350可以是包括位于col畫面(配置畫面)的點(xp+npsw,yp+npsh)的塊。如果第一col塊350不存在或者不可用(例如,如果第一col塊不執(zhí)行間預測),則作為替代可以使用包括位于col畫面的點(xp+(npsw>>1),yp+(npsh>>1))的第二col塊355。
根據(jù)本發(fā)明的示例性實施例,為了在執(zhí)行運動預測時并行地使用合并模式執(zhí)行間預測,可以確定是否使用相對于某一區(qū)域的合并候選塊。例如,為了確定用于執(zhí)行合并模式的合并候選塊,相對于具有某一大小的預定區(qū)域,可以確定合并候選塊是否與預測目標塊一起位于預定區(qū)域內(nèi),以確定是否使用合并候選塊或者利用其它合并候選塊來代替,從而相對于預定區(qū)域并行地執(zhí)行運動預測。以下將描述本發(fā)明的示例性實施例中的使用合并模式的并行運動預測方法。
圖4是示出根據(jù)本發(fā)明的示例性實施例的確定合并候選塊的方法的概念視圖。
參考圖4,假設最大譯碼單元(lcu)被拆分為四個運動估計區(qū)域(mer)。
如果第一預測塊pu0被包括在第一mer(mer0)中,相似于圖4,在通過使用合并模式對第一預測塊pu0執(zhí)行間預測時,五個空間合并候選塊400、405、410、415、420可以作為空間合并候選塊存在。五個合并候選塊400、405、410、415、420可以位于不包括在第一mer(mer0)內(nèi)的位置中,并且可以是在其上已經(jīng)執(zhí)行編碼/解碼的塊。
第二預測塊(pui)是包括在第二mer(mer1)中的預測塊并且用于使用合并模式來執(zhí)行間預測的空間合并候選塊430、435、440、445、450中的四個合并候選塊430、435、445、450可以是位于第二mer(mer1)內(nèi)的塊和屬于當前執(zhí)行預測的相同mer的塊。剩余一個合并候選塊440可以是處于當前的mer的右側的塊和包括在其上還未執(zhí)行編碼/解碼的lcu或者mer中的塊。
根據(jù)本發(fā)明的示例性實施例,在當前塊的合并候選塊和當前塊屬于相同mer時,當前塊的合并候選塊被排除并且處于另一個位置中的至少一個塊的運動信息可以根據(jù)當前塊的大小和mer大小作為合并候選塊被增加。
包括處于在垂直或者水平方向上的其它mer中的點的塊可以被添加為合并候選塊。替換地,屬于處于最靠近候選塊的位置中的其它mer的塊可以被添加為合并候選塊。替換地,根據(jù)當前塊的形式和大小在預定位置中的塊可以被添加為合并候選塊。
例如,如果合并候選塊435位于第二預測單元(pu1)的上側并且合并候選塊450位于第二預測單元的左上側,包括位于垂直方向上的第二mer的外部的點的塊455、460可以作為代替的合并候選塊被使用。對于位于第二預測單元的左側的合并候選塊430和位于第二預測單元的左下側的合并候選塊445,包括在水平方向上的mer外部的點的塊465、470可以作為代替的合并候選塊被使用。在塊與當前預測單元一起被包括在相同mer中并且因此不能作為合并候選塊被使用時,合并候選塊可以根據(jù)合并候選塊的位置利用包括在其它mer中的點的其它塊來代替。
如果是第三預測塊(pu2),與第三預測塊一起包括在相同mer中的合并候選塊475可以被代替為使用由位于在垂直方向上的上側的塊480。此外,作為本發(fā)明的另一個示例性實施例,通過利用包括在不是垂直或者水平方向上的方向中的其它mer中的塊來代替空間合并候選塊的位置,可以代替合并候選塊的位置,并且該示例性實施例也被包括在本發(fā)明的權利要求范圍內(nèi)。
可以執(zhí)行以下步驟,以便執(zhí)行用于確定合并候選塊的方法。
1)對運動估計區(qū)域(mer)相關信息進行解碼的步驟
mer相關信息可以包括關于mer的大小的信息??梢曰陉P于mer的大小和預測目標塊的大小的信息來確定預測目標塊是否被包括在mer中。
2)確定預測目標塊和空間合并候選塊是否被包括在相同的mer中的步驟
在預測目標塊和空間合并候選塊被包括在相同的mer中的情況下,可以執(zhí)行后面的步驟,以根據(jù)mer的大小和預測目標塊的大小來適應性地確定空間合并候選塊。
3)在預測目標塊和空間合并候選塊被包括在相同的mer中時確定空間合并候選塊不可用的步驟
在預測目標塊和空間合并候選塊被包括在相同的mer中時,空間合并候選塊可以被確定為不可用,并且包括在相同的mer中的空間合并候選可以利用其它候選塊來代替。此外,如下所述,在利用合并模式的間預測中可以不使用被確定為不可用的合并候選塊。
根據(jù)本發(fā)明的另一個示例性實施例,也可以應用不使用包括在與預測目標塊相同的mer中的合并候選塊的方法。
例如,在合并候選塊中,包括在編碼/解碼已經(jīng)在其上執(zhí)行并且與預測當前在其上執(zhí)行的當前mer不同的mer中的塊對于并行地應用合并模式的間預測是可用的。該塊可以被用作利用合并模式的間預測候選塊。然而,屬于預測當前被執(zhí)行的mer的塊可以不作為用于利用合并模式的間預測的間預測候選塊而使用。編碼/解碼未被執(zhí)行的塊也可以不作為間預測候選塊被使用。該示例性實施例也包括在本發(fā)明的權利要求范圍內(nèi)。
圖5是示出根據(jù)本發(fā)明的示例性實施例的基于mer的大小來確定合并候選塊的方法的概念視圖。
參考圖5,根據(jù)mer的大小和當前預測單元的大小可以適應性地確定合并候選。例如,在對應于合并候選a、b、c、d、e的位置之一的合并候選被與當前預測單元包括在相同的mer中的情況下,合并候選塊被確定為不可用。在這里,在其它位置處的至少一個塊的運動信息可以根據(jù)當前塊的大小和mer的大小作為合并候選塊被添加。
在圖5中,假設mer的大小是8×8并且預測目標塊是4×8。在mer大小是8×8時,包括在預測目標塊中的塊a屬于與預測目標塊相同的mer并且塊b、c、d以及e被包括在與預測目標塊不同的mer中。
如果是塊a,該塊可以用包括在不同的mer中的塊(例如,塊a’)的位置來被代替。因此,根據(jù)本發(fā)明的示例性實施例,在當前塊的合并候選塊和當前塊屬于相同mer時,當前塊的合并候選塊可以從用于合并候選塊的塊中被排除,使得可以根據(jù)當前塊的大小和mer大小將在其它位置中的至少一個塊的運動信息添加為合并候選塊。
根據(jù)本發(fā)明的示例性實施例,mer的大小信息可以被包括在要被發(fā)送的高等級句法信息中。
以下的表格1與傳輸在高等級句法中的關于mer的大小信息的方法相關。
<表格1>
參考表格1,基于諸如畫面參數(shù)集的包括在高等級句法結構中的句法要素log2_parallel_merge_level_minus2可以獲取mer的大小信息。句法要素log2_parallel_merge_level_minus2也可以被包括在畫面參數(shù)集之外的高等級句法結構中,并且該示例性實施例也被包括在本發(fā)明的權利要求范圍內(nèi)。
以下的表格2描述log2_parallel_merge_level_minus2的值和mer的大小之間的關系。
<表格2>
參考表格2,log2_parallel_merge_level_minus2的值可以具有從0到4內(nèi)的值,并且mer尺寸的大小可以根據(jù)句法要素的值來不同地指定。在mer是0時,它與沒有使用mer而使用合并模式來執(zhí)行間預測的相同。
在本發(fā)明的示例性實施例中,包括mer的大小信息的句法要素可以被表示并且用作術語“mer大小信息句法要素”,并且如表格2中的限定mer大小信息句法要素是一個示例,并且可以使用各種不同的方法來指定mer大小,并且這種句法要素表達方法也被包括在本發(fā)明的權利要求范圍內(nèi)。
圖6是示出確定當前塊的空間合并候選塊是否可用的方法的概念視圖。
參考圖6,基于預測目標塊600和與預測目標塊600相鄰的空間合并候選塊650的位置、以及mer大小信息句法要素,可以確定空間合并候選塊的可用性。
在假設(xp,yp)處于預測目標塊的左上部的點并且(xn,yn)是處于合并候選塊的左上部的點時,通過以下的數(shù)學式1和數(shù)學式2可以確定空間合并候選塊是否可用。
<數(shù)學式1>
(xp>>(log2_parallel_merge_level_minus2+2))
==(xn>>(log2_parallel_merge_level_minus2+2))
<數(shù)學式2>
(yp>>(log2_parallel_merge_level_minus2+2))
==(yn>>(log2_parallel_merge_level_minus2+2))
上述數(shù)學式1和數(shù)學式2是用于確定合并候選塊和預測目標塊是否被包括在相同的mer中的示例性式子。此外,可以通過使用除了上述確定方法之外的只要沒有脫離本發(fā)明的本質的方法來確定合并候選塊和預測目標塊是否被包括在相同的mer中。
圖7是示出根據(jù)本發(fā)明的示例性實施例的在合并模式中獲取空間合并候選塊的方法的流程圖。
參考圖7,對mer相關信息進行解碼(步驟s700)。
如上所述,mer相關信息可以是句法要素信息并且可以被包括在高等級句法結構中?;诮獯a的mer相關信息,可以確定空間合并候選塊和預測目標塊是否被包括在相同的mer中或者在不同的mer中。
確定空間合并候選塊和預測目標塊是否被包括在相同的mer中(步驟s710)。
根據(jù)本發(fā)明的示例性實施例,在當前塊的合并候選塊和當前塊被包括在相同的mer中時,當前塊的合并候選塊可以被排除,并且根據(jù)當前塊的大小和mer大小可以將在與合并候選塊不同的位置中的至少一個塊的運動信息添加為合并候選塊(步驟s720)。根據(jù)本發(fā)明的另一個示例性實施例,在空間合并候選塊和預測目標塊被包括在相同的mer中時,代替使用包括在該mer中的空間合并候選塊作為合并候選塊,包括在具有其它位置的其它mer中的塊可以代替空間合并候選塊來執(zhí)行間預測。
此外,在另一個示例性實施例中,在空間合并候選塊和預測目標塊被包括在相同mer中時,如上所述,包括在mer中的空間合并候選塊可以不被用作合并候選塊。
在空間合并候選塊和預測候選塊不被包括在相同的mer中時,基于相應的空間合并候選塊來執(zhí)行間預測(步驟s730)。
圖8是示出根據(jù)本發(fā)明的示例性實施例的使用合并模式的間預測的方法的流程圖。
參考圖8,從空間合并候選得出運動預測相關信息(步驟s800)。
可以從預測目標塊的相鄰預測單元來得出空間合并候選塊。為了得出空間合并候選塊,可以提供預測單元的寬度和高度信息、mer信息、單個mcl標記(singlemclflag)信息以及關于分割的位置的信息。基于上述輸入信息,根據(jù)空間合并候選的位置可以得出關于空間合并候選的可用性的信息(可用標記n(availableflagn))、參考畫面信息(refidxl0、refidxl1)、列表使用信息(predflagl0n、predflagl1n)以及運動向量信息(mvl0n、mvl1n)??臻g合并候選可以是與預測目標塊相鄰的多個塊。
根據(jù)本發(fā)明的一個示例性實施例,空間合并候選塊可以被劃分為如下的三種:1)不包括在相同mer中并且已經(jīng)被編碼或者解碼的空間合并候選塊,2)包括在相同mer中的空間合并候選塊,以及3)在其上編碼和解碼還未被處理的空間合并候選塊。
根據(jù)本發(fā)明的示例性實施例,為了在mer的單元中并行地執(zhí)行間預測,在用于執(zhí)行間預測的空間合并候選塊中,不包括在相同mer中并且已經(jīng)被編碼或者解碼的空間合并候選塊可以被用作空間合并候選塊。此外,代替包括在相同mer中的空間合并候選塊的位置的空間合并候選塊可以被用作空間合并候選塊。換句話說,根據(jù)本發(fā)明的示例性實施例,在當前塊的合并候選塊和當前塊被包括在相同mer中時,當前塊的合并候選塊可以被排除并且在其它位置中的至少一個塊的運動信息可以根據(jù)當前塊的大小和mer大小添加為合并候選塊。如上所述,可以通過包括解碼mer(運動估計區(qū)域)相關的信息的步驟、確定預測目標塊和空間合并候選塊是否包括在相同的mer中的步驟,以及在預測目標塊和空間合并候選塊包括在相同mer中時確定用于利用合并模式的間預測空間合并候選塊是不可用的步驟,來執(zhí)行確定合并候選塊的方法。
根據(jù)本發(fā)明的另一個示例性實施例,在用于執(zhí)行間預測的空間合并候選塊中,僅是不包括在相同mer中并且已被編碼或者解碼的空間合并候選塊可以被用來執(zhí)行間預測。
得出時間合并候選的參考畫面指數(shù)值(步驟s810)。
時間合并候選的參考畫面指數(shù)值是包括時間合并候選(col塊)的col畫面的索引值,并且可以通過如下的特定的條件被得出。例如,在處于預測目標塊的左上部的點是(xp,yp),預測目標塊的寬度是npsw以及預測目標塊的高度是npsh時,如果1)存在對應于位置(xp-1,yp+npsh-1)的預測目標塊的相鄰預測單元、2)用于得出參考畫面索引的相鄰預測單元的分割索引值為0、3)用于得出參考畫面索引的相鄰預測單元不是使用內(nèi)預測模式執(zhí)行預測的塊,以及4)預測目標塊和用于得出參考畫面索引的相鄰預測單元沒有被包括在相同mer(運動估計區(qū)域)中,則時間合并候選塊的參考畫面索引值可以被確定為與相鄰預測單元(以下被稱為“用于得出參考畫面索引的相鄰預測單元”)的參考畫面索引值相同的值。如果沒有滿足上述條件,則時間合并候選的參考畫面索引值可以被設置為0。
確定時間合并候選塊并且從時間合并候選塊得出運動預測相關信息(步驟s820)。
為了確定時間合并候選塊(col塊)并基于確定的時間合并候選塊(col塊)得出運動預測相關信息,可以基于諸如例如col塊對預測目標塊是否可用、或者預測目標塊的位置是否相對于lcu(例如,預測目標塊的位置是否位于相對于lcu的底邊界或右邊界)的情況來確定用于得出時間預測運動向量的col塊的位置。通過基于確定的col塊的參考畫面信息和運動預測向量信息得出運動預測相關信息,可以從時間合并候選塊(col塊)得出運動預測相關信息。
構建合并候選塊列表(步驟s830)。
合并候選塊列表可以通過包括空間合并候選和時間合并候選中至少之一來被構建。包括在合并候選列表中的空間合并候選和時間合并候選可以利用固定的優(yōu)先級來布置。
合并候選列表可以通過包括固定數(shù)量的合并候選來被構建。在合并候選不足以生成固定數(shù)量的合并候選時,可以通過結合合并候選的運動預測相關信息來生成合并候選,或者通過添加零向量作為合并候選來生成合并候選列表。
如上所述,得出合并候選的上述方法不僅可以被用于使用合并模式的幀間預測方法中,而且也可以被用于使用跳躍模式的幀間預測模式中,并且該示例性實施例也包括在本發(fā)明的權利要求范圍內(nèi)。
雖然已經(jīng)參考示例性實施例描述本公開,但本領域技術人員將理解的是:在不脫離由以下權利要求限定的本發(fā)明的精神和范圍下,可以做出各種改變以及變形。