專利名稱：用于視頻編解碼的降低了復(fù)雜度的模板匹配預(yù)測方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明整體地涉及視頻的編碼和解碼，更具體地，涉及用于視頻編解碼的降低了復(fù)雜度的模板匹配預(yù)測方法和裝置。
背景技術(shù)：
亞像素(sub-pel)運(yùn)動補(bǔ)償廣泛地運(yùn)用在當(dāng)前視頻編碼器和解碼器中。例如，·在國際標(biāo)準(zhǔn)化組織/國際電工委員會(IS0/IEC)、運(yùn)動圖片專家組-4(MPEG-4)第10部分、高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟、電信部門(ITU-T)H. 264建議(下文簡寫為“MPEG-4AVC標(biāo)準(zhǔn)”)中，使用的是達(dá)到1/4像素精度的運(yùn)動補(bǔ)償。這一方案在本文中稱為“現(xiàn)有第一技術(shù)方法”。請看圖1，根據(jù)MPEG-4AVC標(biāo)準(zhǔn)并通過因數(shù)4(即1/4像素矢量)對幀進(jìn)行的上采樣通常是由參考數(shù)字100表示。該上采樣首先涉及應(yīng)用6抽頭維納(Wiener)濾波器生成半像素，然后包括應(yīng)用雙線性濾波器生成1/4像素。由視頻編碼專家組(VCEG)提出的現(xiàn)有第二技術(shù)方法涉及針對具有混疊偽影的序列使用1/8像素補(bǔ)償來進(jìn)一步提高編碼效率。除了使用固定內(nèi)插(interpolation)濾波器之外，為了更好地處理混疊、量化和運(yùn)動估計(jì)誤差，相機(jī)噪聲，等等，已經(jīng)考慮了自適應(yīng)的內(nèi)插方案。自適應(yīng)的內(nèi)插方案針對各亞像素位置動態(tài)估計(jì)內(nèi)插濾波器系數(shù)以便提高編碼效率。在考慮了所有復(fù)雜內(nèi)插方案的情況下，在解碼器處以亞像素精度內(nèi)插所有參考幀并存儲這樣的內(nèi)插得到的幀是沒有意義的，因?yàn)橹挥幸恍﹣喯袼匚恢帽仨毐粌?nèi)插。這樣的方案將很可能引起解碼器處的高內(nèi)存消耗以及高計(jì)算復(fù)雜度。在解碼器處動態(tài)執(zhí)行運(yùn)動補(bǔ)償?shù)囊粋€方法就是由基于MPEG-4AVC標(biāo)準(zhǔn)的關(guān)鍵技術(shù)域(KTA)軟件改進(jìn)所執(zhí)行的方法。模板匹配預(yù)測(TMP)是用于通過避免傳送運(yùn)動/移位信息(運(yùn)動矢量、參考指數(shù)和移位矢量)來提高幀間和幀內(nèi)預(yù)測二者的編碼效率的一種技術(shù)。模板匹配預(yù)測是以視頻圖片中存在有很多重復(fù)圖樣的假設(shè)為基礎(chǔ)的。因此，模板匹配通過匹配相鄰像素而對整個解碼視頻圖片中的類似圖樣進(jìn)行搜索。最后的預(yù)測通常是幾個最佳匹配的平均值。模板匹配可以使用于幀間和幀內(nèi)預(yù)測二者。然而，模板匹配預(yù)測的缺點(diǎn)在于，對于編碼器和解碼器都必須執(zhí)行相同的搜索。因此，模板匹配預(yù)測可能會極大地增加解碼器的復(fù)雜度。
_7] 幀間預(yù)測中的模板匹配預(yù)測幀間預(yù)測中的模板匹配預(yù)測是在不發(fā)送運(yùn)動矢量的情況下預(yù)測目標(biāo)像素的一種方法。在給定幀的目標(biāo)塊的情況下，在該目標(biāo)塊內(nèi)的目標(biāo)像素通過從一組參考樣本中尋找到最佳像素來確定，其中，該最佳像素的相鄰像素與目標(biāo)像素的相鄰像素具有最聞的相關(guān)性。該目標(biāo)像素的那些相鄰像素稱為模板。在現(xiàn)有技術(shù)中，該模板通常從該目標(biāo)像素的已重建的周圍像素中取出。請看圖2，用于幀間預(yù)測的模板匹配預(yù)測方案的示例通常通過參考標(biāo)號200表示。模板匹配預(yù)測方案200涉及具有搜索域211、在搜索域211內(nèi)的預(yù)測212以及相對于預(yù)測212的鄰域213的已重建的參考幀210。模板匹配預(yù)測方案200還涉及具有目標(biāo)塊251、相對于目標(biāo)塊251的模板252以及已重建的域253的當(dāng)前幀250。在幀間預(yù)測的情況下，該模板匹配處理可以被視為在解碼器側(cè)處的運(yùn)動矢量搜索。這里，模板匹配的執(zhí)行非常類似于傳統(tǒng)的運(yùn)動估計(jì)技術(shù)。即，通過計(jì)算參考幀中相應(yīng)地移位的模板形域的成本函數(shù)來評估運(yùn)動矢量。然后使用該模板的最佳運(yùn)動矢量來預(yù)測目標(biāo)域。只有已經(jīng)存在有重建信號或至少存在有預(yù)測信號的圖像中的那些域被訪問用于搜索。因此，該解碼器可以在沒有附加輔助信息的情況下執(zhí)行該模板匹配處理并預(yù)測該目標(biāo)域。模板匹配可以在不傳送運(yùn)動矢量的情況下預(yù)測目標(biāo)塊內(nèi)的像素。根據(jù)預(yù)期，如果目標(biāo)塊及其模板之間有很高的相關(guān)性，那么模板匹配預(yù)測的預(yù)測性能就比得上傳統(tǒng)塊匹配方案的預(yù)測性能。在現(xiàn)有技術(shù)中，該模板通常從該目標(biāo)像素的已重建空間相鄰像素取出。鄰近像素與目標(biāo)像素之間有時候存在較低的相關(guān)性。因此，模板匹配預(yù)測的性能可能比傳統(tǒng)的塊匹配方案性能低。 _0] 幀內(nèi)預(yù)測中的模板匹配預(yù)測在幀內(nèi)預(yù)測中，模板匹配是可用的非局部預(yù)測方法中的一種，因?yàn)樵擃A(yù)測可以由遠(yuǎn)離該目標(biāo)塊的像素所生成。在幀內(nèi)模板匹配中，模板定義類似于幀內(nèi)模板匹配的定義。然而，一個不同點(diǎn)在于搜索范圍受限于當(dāng)前圖片的已解碼部分。請看圖3，用于幀內(nèi)預(yù)測的模板匹配預(yù)測方案的示例通常通過參考標(biāo)號300表示。模板匹配預(yù)測方案300涉及圖片377的已解碼部分310。圖片377的已解碼部分310具有搜索域311、在搜索域311內(nèi)的候選預(yù)測312以及相對于候選預(yù)測312的鄰域313。模塊匹配預(yù)測方案300還涉及圖片377的未解碼部分320。圖片377的未解碼部分320具有目標(biāo)塊321以及相對于目標(biāo)塊321的模板322。為了簡明起見，以下說明是基于幀內(nèi)模塊匹配的。然而，本領(lǐng)域和相關(guān)領(lǐng)域的一般的技術(shù)人員應(yīng)理解，幀內(nèi)模板的對應(yīng)物可以較為容易地延伸。與解碼器處的模板匹配預(yù)測有關(guān)的問題是，因?yàn)槟０迤ヅ湫枰诮獯a器處執(zhí)行搜索并且模板匹配在不需要任何約束的情況下執(zhí)行這樣的搜索，因此，需要在解碼器處以亞像素精度針對所有參考幀執(zhí)行亞像素內(nèi)插并且存儲這樣的內(nèi)插得到的幀，盡管事實(shí)是僅有一些亞像素位置必須被內(nèi)插。這就可能增加了相當(dāng)大的復(fù)雜度，例如包括在該解碼器處的存儲復(fù)雜度和計(jì)算復(fù)雜度。

發(fā)明內(nèi)容
通過本發(fā)明解決了現(xiàn)有技術(shù)的這些和其他瑕疵和缺點(diǎn)，本發(fā)明涉及用于視頻編解碼的降低了復(fù)雜度的模板匹配預(yù)測方法和裝置。根據(jù)本發(fā)明的一個方面，提供了一種裝置。該裝置包括視頻編碼器，該視頻編碼器用于通過使用模板匹配預(yù)測來編碼圖片中的至少一個圖像塊。通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測。根據(jù)本發(fā)明的另一個方面，提供了一種在視頻編碼器內(nèi)使用的方法。該方法包括通過使用模板匹配預(yù)測來編碼圖片中的至少一個圖像塊。通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測。
根據(jù)本發(fā)明的又一個另外的方面，提供了一種裝置。該裝置包括視頻解碼器，該視頻解碼器用于通過使用模板匹配預(yù)測來解碼圖片中的至少一個圖像塊。通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測。根據(jù)本發(fā)明的另一個方面，提供了一種在視頻解碼器內(nèi)使用的方法。該方法包括通過使用模板匹配預(yù)測來解碼圖片中的至少一個圖像塊。通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測。本發(fā)明的這些和其他方面、特點(diǎn)和優(yōu)點(diǎn)通過示例性實(shí)施例的詳細(xì)說明將變得更清楚明白，請結(jié)合附圖閱讀以下說明。


根據(jù)以下示例性圖示可以更好地了解本發(fā)明，其中圖I是示出根據(jù)MPEG-4AVC標(biāo)準(zhǔn)通過因數(shù)4(用于1/4像素矢量)對幀進(jìn)行上采樣的圖示。圖2是示出用于幀間預(yù)測的模板匹配預(yù)測方案的示例的圖示。圖3是示出用于幀內(nèi)預(yù)測的模板匹配預(yù)測方案的示例的圖示。圖4是示出根據(jù)本發(fā)明的一個實(shí)施例的本發(fā)明可以應(yīng)用到其上的示例性視頻編碼器的框圖。圖5是示出根據(jù)本發(fā)明的一個實(shí)施例的本發(fā)明可以應(yīng)用到其上的示例性視頻解碼器的框圖。圖6是示出根據(jù)本發(fā)明的一個實(shí)施例通過使用降低了復(fù)雜度的模板匹配來編碼圖片的圖像數(shù)據(jù)的示例性方法的流程圖；以及圖7是示出根據(jù)本發(fā)明的一個實(shí)施例通過使用降低了復(fù)雜度的模板匹配來解碼圖片的圖像數(shù)據(jù)的示例性方法的流程圖。
具體實(shí)施例方式本發(fā)明涉及用于視頻編解碼的降低了復(fù)雜度的模板匹配預(yù)測方法和裝置。本說明示例了本發(fā)明的原理，因此，應(yīng)該理解的是，盡管本文沒有明確地說明或示出，本發(fā)明領(lǐng)域的技術(shù)人員應(yīng)該可以設(shè)想體現(xiàn)本發(fā)明原理并包括在其宗旨和范圍之內(nèi)的各種安排。本文所敘述的所有示例和條件性語言都旨在用于教學(xué)目的，以便幫助讀者理解本發(fā)明人在現(xiàn)有技術(shù)基礎(chǔ)上所得出的原理和構(gòu)思，而不應(yīng)解釋為對這種具體描述的示例和條件的限制。此外，本文的所有說明所敘述的本發(fā)明的原理、性質(zhì)、具體實(shí)施例及其具體示例都旨在包括其結(jié)構(gòu)上和功能上的等同物。此外，這種等同物旨在同時包括當(dāng)前已知的等同物以及未來要提出的等同物，即執(zhí)行相同功能的所開發(fā)的任何元件(不論結(jié)構(gòu)如何)。因此，例如，本領(lǐng)域的技術(shù)人員應(yīng)該理解，本發(fā)明所提出的框圖指體現(xiàn)本發(fā)明原理的示例性電路的概念圖。類似地，可以理解的是，任何流程圖表、流程圖解、狀態(tài)轉(zhuǎn)換圖和虛擬代碼等等，都指可以在可讀計(jì)算機(jī)介質(zhì)中大體上表示的并因此由計(jì)算機(jī)或處理器執(zhí)行的各種不同的處理，無論這種計(jì)算機(jī)或處理器是否已明確示出。
本圖表中所顯示的不同元件的功能可以通過使用專用硬件以及可以聯(lián)合適當(dāng)軟件來執(zhí)行軟件命令的硬件來提供。當(dāng)由處理器所提供時，該功能可以由單專用處理器、單共享處理器或多個單處理器所提供，其中，一些處理器可以共享。此外，術(shù)語“處理器”或“控制器”的顯式使用不應(yīng)構(gòu)想為專門指可以執(zhí)行軟件的硬件，并且可暗含地包括而不限于數(shù)字信號處理器(“DSP”)的硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機(jī)存取存儲器(“RAM”)以及非易失性存儲器。還可以包括其他傳統(tǒng)的和/或常用的硬件。類似地，圖表中所顯示的任何開關(guān)都只是概念式的，這些功能可以通過程序邏輯、專用邏輯、程序控制和專用邏輯的相互作用或者甚至通過手動來執(zhí)行，通過上下文可以更具體地了解執(zhí)行者可以選擇的特定技術(shù)。在本文的權(quán)利要求中，表示為實(shí)現(xiàn)特定功能的方法的任何元件都旨在包括任何一種實(shí)現(xiàn)該功能的方式，例如包括a)實(shí)現(xiàn)該功能的電路元件的組合；或幻任何形式的軟件，包括固件或微代碼等等，它們結(jié)合用于執(zhí)行該軟件的適當(dāng)?shù)碾娐芬员銓?shí)現(xiàn)該功能。對于由這些權(quán)利要求所限定的本發(fā)明的原理，存在這樣的事實(shí)，即，由不同的所詳述的手段提供的功能根據(jù)權(quán)利要求所要求的方式結(jié)合且集合在一起。因此可以認(rèn)為，可以提供那些功能的 任何手段都等同于本文所示出的那些手段。本發(fā)明的說明書中提及的“一個實(shí)施例”或“實(shí)施例”及其它的變形指結(jié)合該實(shí)施例所描述的特定特點(diǎn)、結(jié)構(gòu)、特征等包括在本發(fā)明的至少一個實(shí)施例內(nèi)。因此，出現(xiàn)在通篇說明書中各部分的詞組“在一個實(shí)施例中”或“在實(shí)施例中”以及其它變形不一定都指代同
一實(shí)施例。應(yīng)該理解的是，例如，在“A/B”、“A和/或B”以及“A和B中的至少一個”的情況下，以下的和/或”以及“其中至少一個”中的任何一個的使用都旨在包括只選擇第一列舉選項(xiàng)(A)、只選擇第二例舉選項(xiàng)(B)或選擇該兩個選項(xiàng)(A和B)。做為另外一個示例，在“A、B和/或C”以及“A、B和C中的至少一個”的情況下，這樣的詞組都旨在包括只選擇該第一例舉選項(xiàng)(A)、只選擇第二例舉選項(xiàng)(B)、只選擇第三例舉選項(xiàng)(C)、只選擇第一和第二例舉選項(xiàng)(A和B)、只選擇第一和第三例舉選項(xiàng)(A和C)、只選擇第二和第三例舉選項(xiàng)(B和C)或選擇三項(xiàng)(A、B和C)。正如本領(lǐng)域和相關(guān)領(lǐng)域一般的技術(shù)人員可以顯而易見地容易理解的，其可以延伸用于所例舉的更多的項(xiàng)。此外，正如本文所使用的，詞“圖片(picutre) ”和“圖像(image) ”可以交替使用，并指來自視頻序列的靜態(tài)圖像或圖片。眾所周知，圖片可以是幀或場。此外，正如本文所使用的，詞“發(fā)信號通知(signal) ”指向相應(yīng)的解碼器指示某事。例如，編碼器可以發(fā)信號通知搜索的特定類型(整像素搜索、半像素搜索或者1/4像素搜索)和/或搜索范圍(相鄰運(yùn)動矢量、小搜索范圍或大搜索范圍)和/或?yàn)V波器類型(雙線性濾波器或如在標(biāo)準(zhǔn)運(yùn)動補(bǔ)償中使用的內(nèi)插濾波器)，以便使解碼器清楚了解使用在編碼器側(cè)的搜索的特定類型和/或搜索范圍和/或?yàn)V波器類型。通過這種方式，相同類型的搜索和/或搜索范圍和/或?yàn)V波器類型可以都使用在編碼器側(cè)和解碼器側(cè)。應(yīng)該理解的是，可以通過各種方式完成發(fā)信號通知。例如，一個或多個語法元素、標(biāo)志等可以用來將信息發(fā)信號通知給相應(yīng)的解碼器。此外，正如本文所使用的，詞組“標(biāo)準(zhǔn)運(yùn)動補(bǔ)償”和“標(biāo)準(zhǔn)運(yùn)動估計(jì)”分別指運(yùn)動補(bǔ)償和運(yùn)動估計(jì)，其中，這種補(bǔ)償或估計(jì)根據(jù)現(xiàn)有的視頻編碼標(biāo)準(zhǔn)和/或現(xiàn)有的視頻編碼建議(與本發(fā)明原理相反)執(zhí)行。因此，例如，詞組“標(biāo)準(zhǔn)運(yùn)動估計(jì)”可以用來指例如根據(jù)MPEG-4AVC標(biāo)準(zhǔn)來執(zhí)行的傳統(tǒng)的運(yùn)動估計(jì)處理。此外，還注意到，詞組“標(biāo)準(zhǔn)運(yùn)動補(bǔ)償”和“常規(guī)運(yùn)動補(bǔ)償”在本文中可交替使用，且詞組“標(biāo)準(zhǔn)運(yùn)動估計(jì)”和“常規(guī)運(yùn)動估計(jì)”在本文中可交替使用。眾所周知，運(yùn)動估計(jì)是確定運(yùn)動矢量的處理，該運(yùn)動矢量描述了從一個二維圖像到另外一個二維圖像(通常來自視頻序列中的相鄰幀)的變換。請看圖4，本發(fā)明原理可以應(yīng)用到其上的示例性視頻編碼器通常由參考標(biāo)號400表示。視頻編碼器400包括幀排序緩沖器410，緩沖器410具有與組合器485的非反相輸入端存在有信號通信關(guān)系的輸出端。組合器485的輸出端以信號通信的方式與變換器和量化器425的第一輸入端連接。變換器和量化器425的輸出端以信號通信的方式與熵編碼器445的第一輸入端以及逆變換器和逆量化器450的第一輸入端連接。熵編碼器445的輸出端以信號通信的方式與組合器490的第一非反相輸入端連接。該組合器490的輸出端以信號通信的方式與輸出緩沖器435的第一輸入端連接。編碼器控制器405的第一輸出端以信號通信的方式與巾貞排序緩沖器410的第二輸入端、逆變換器和逆量化器450的第二輸入端、圖片類型判定模塊415的輸入端、宏塊類型 (MB-型)判定模塊420的第一輸入端、巾貞內(nèi)預(yù)測模塊460的第二輸入端、去塊濾波器465的第二輸入端、運(yùn)動補(bǔ)償器470的第一輸入端、運(yùn)動估計(jì)器和模板匹配預(yù)測模塊475的第一輸入端以及參考圖片緩沖器480的第二輸入端連接。編碼器控制器405的第二輸出端以信號通信的方式與輔助增強(qiáng)信息(SEI)插入器430的第一輸入端、變換器和量化器425的第二輸入端、熵編碼器445的第二輸入端、輸出緩沖器435的第二輸入端，以及序列參數(shù)集(SPS)和圖片參數(shù)集(PPS)的插入器440的輸入端連接。SEI插入器430的輸出端以信號通信的方式與組合器490的第二非反相輸入端連接。圖片類型判定模塊415的第一輸出端以信號通信的方式與幀排序緩沖器410的第三輸入端連接。圖片類型判定模塊415的第二輸出端以信號通信的方式與宏塊類型判定模塊420的第二輸入端連接。序列參數(shù)集(SPS)和圖片參數(shù)集(PPS)的插入器440的輸出端以信號通信的方式與組合器490的第三非反相輸入端連接。逆量化器和逆變換器450的輸出端以信號通信的方式與組合器419的第一非反相輸入端連接。組合器419的輸出端以信號通信的方式與幀內(nèi)預(yù)測模塊460的第一輸入端以及去塊濾波器465的第一輸入端連接。去塊濾波器465的輸出端以信號通信的方式與參考圖片緩沖器480的第一輸入端連接。該參考圖片緩沖器480的輸出端以信號通信的方式與運(yùn)動估計(jì)器和模板匹配預(yù)測模塊475的第二輸入端以及運(yùn)動補(bǔ)償器470的第三輸入端連接。運(yùn)動估計(jì)器和模板匹配預(yù)測模塊475的第一輸出端以信號通信的方式與運(yùn)動補(bǔ)償器470的第二輸入端連接。運(yùn)動估計(jì)器和模板匹配預(yù)測模塊475的第二輸出端以信號通信的方式與熵編碼器445的第三輸入端連接。運(yùn)動補(bǔ)償器470的輸出端以信號通信的方式與開關(guān)497的第一輸入端連接。幀內(nèi)預(yù)測模塊460的輸出端以信號通信的方式與開關(guān)497的第二輸入端連接。宏塊類型判定模塊420的輸出端以信號通信的方式與開關(guān)497的第三輸入端連接。開關(guān)497的第三輸入端確定了開關(guān)的“數(shù)據(jù)”輸入(被比作控制輸入端，即第三輸入端)是由運(yùn)動補(bǔ)償器470還是幀內(nèi)預(yù)測模塊460來提供。開關(guān)497的輸出端以信號通信的方式與組合器419的第二非反相輸入端以及組合器485的反相輸入端連接。幀排序緩沖器410的第一輸入端以及編碼器控制器405的輸入端可作為編碼器400的輸入端用于接收輸入圖片。此外，輔助增強(qiáng)信息(SEI)插入器430的第二輸入端可作為編碼器400的輸入端，用于接收元數(shù)據(jù)。輸出緩沖器435的輸出端可作為編碼器400的輸出端，用于輸出比特流。請看圖5，本發(fā)明原理中可以應(yīng)用到其上的示例性視頻解碼器通常由參考標(biāo)號500表示。視頻解碼器500包括輸入緩沖器510，緩沖器510具有與熵解碼器445的第一輸入端以信號通信方式連接的輸出端。熵解碼器545的第一輸出端以信號通信的方式與逆變換器和逆量化器550的第一輸入端連接。逆變換器和逆量化器550的輸出端以信號通信的方式與組合器525的第二非反相輸入端連接。組合器525的輸出端以信號通信的方式與 去塊濾波器565的第二輸入端以及巾貞內(nèi)預(yù)測模塊560的第一輸入端連接。去塊濾波器565的第二輸出端以信號通信的方式與參考圖片緩沖器580的第一輸入端連接。參考圖片緩沖器580的輸出端以信號通信的方式與運(yùn)動補(bǔ)償器和模板匹配預(yù)測模塊570的第二輸入端連接。熵解碼器545的第二輸出端以信號通信的方式與運(yùn)動補(bǔ)償器和模板匹配預(yù)測模塊570的第三輸入端、去塊濾波器565的第一輸入端以及巾貞內(nèi)預(yù)測器560的第三輸入端連接。該熵解碼器545的第三輸出端以信號通信的方式與解碼器控制器505的輸入端連接。解碼器控制器505的第一輸出端以信號通信的方式與熵解碼器545的第二輸入端連接。解碼器控制器405的第二輸出端以信號通信的方式與逆變換器和逆量化器550的第二輸入端連接。解碼器控制器505的第三輸出端以信號通信的方式與去塊濾波器565的第三輸入端連接。熵解碼器505的第四輸出端以信號通信的方式與幀內(nèi)預(yù)測器560的第二輸入端、運(yùn)動補(bǔ)償器和模板匹配預(yù)測模塊570的第一輸入端，以及參考圖片緩沖器580的第二輸入端連接。該運(yùn)動補(bǔ)償器的輸出端和模板匹配預(yù)測模塊570以信號通信的方式與開關(guān)597的第一輸入端連接。該巾貞內(nèi)預(yù)測模塊560的輸出端以信號通信的方式與開關(guān)597的第二輸入端連接。開關(guān)597的輸出端以信號通信的方式與組合器525的第一非反相輸入端連接。輸入緩沖器510的輸入端可以作為解碼器500的輸入端，用于輸入比特流。去塊濾波器565的第一輸出端可以作為解碼器500的輸出端,用于輸出輸出圖片。因此，如上所述，本發(fā)明涉及用于視頻編解碼的降低了復(fù)雜度的模板匹配預(yù)測方法和裝置。應(yīng)該理解的是，本文所披露的方法和裝置降低了解碼器的復(fù)雜度，同時還維持了模板匹配預(yù)測的編碼效率。此外，本發(fā)明還可以降低編碼器的復(fù)雜度。如上所述，模塊匹配預(yù)測(TMP)可通過避免傳送運(yùn)動/移位信息(運(yùn)動矢量、參考指數(shù)和移位矢量)來提高幀間和幀內(nèi)預(yù)測二者的編碼效率。然而，模板匹配預(yù)測的缺點(diǎn)在于，對于編碼器和解碼器都必須執(zhí)行相同的搜索。這意味著解碼器復(fù)雜度可能極大地提高。根據(jù)本發(fā)明，公開了通過約束針對模板匹配預(yù)測的相應(yīng)設(shè)置來簡化模板匹配預(yù)測的方法和裝置。有利地，根據(jù)本發(fā)明這種簡化后的模板匹配預(yù)測降低了解碼器的復(fù)雜度。解碼復(fù)雜度同時包括內(nèi)存消耗以及計(jì)算的復(fù)雜度。特別地，在本發(fā)明的一個實(shí)施例中，將模板匹配預(yù)測限制為低于亞像素精度。在另外一個實(shí)施例內(nèi)，使用更少的搜索點(diǎn)(即，搜索更少的位置)。在另外一個實(shí)施例中，使用更簡單的亞像素內(nèi)插方案。通常地，模板匹配預(yù)測根據(jù)本發(fā)明可考慮包括以下步驟(I)限定TMP搜索精度；(2)如果TMP搜索精度大于整像素精度，那么亮度/色度的亞像素位置通過編碼器以TMP精度被內(nèi)插。(3)在給定幀的目標(biāo)塊的情況下，由編碼器針對內(nèi)插得到的幀中的一組參考樣本中的最佳像素執(zhí)行搜索，其中，最佳像素的相鄰像素與目標(biāo)像素的相鄰像素具有最高的相關(guān)性。(4)最佳像素被用作該塊的模板匹配預(yù)測。
在第一實(shí)施例中，提出了將模板匹配預(yù)測限制為以比其它常規(guī)運(yùn)動補(bǔ)償方法更低的亞像素精度進(jìn)行搜索。該限制不會降低編碼效率太多，因?yàn)閷⒁獙哪０迤ヅ漕A(yù)測中獲得的幾個最佳匹配取平均值，并且已經(jīng)發(fā)現(xiàn)該取平均值和亞像素在減少混疊方面起到類似的作用。在一個實(shí)施例中，在編碼器處，亞像素位置在常規(guī)運(yùn)動搜索和模板匹配預(yù)測之前針對整個幀被內(nèi)插。然后常規(guī)運(yùn)動搜索和模板匹配預(yù)測之間的判定以比特流的形式發(fā)送出去。在解碼器處，取決于是常規(guī)運(yùn)動搜索還是模板匹配預(yù)測被使用，運(yùn)動補(bǔ)償可以針對每個目標(biāo)塊被動態(tài)地執(zhí)行。在一個具體的子實(shí)施例中，將模板匹配預(yù)測搜索限制為只在整像素精度下被允許。例如，在這樣的情況下，內(nèi)插精度可以以(例如常規(guī)運(yùn)動搜索所需要的)亞像素執(zhí)行，但是，TMP搜索可以被限制為只以整像素網(wǎng)格進(jìn)行。因此，如果模板匹配預(yù)測被選擇用于塊，則在解碼器處不需要針對該塊的任何內(nèi)插。如果色度分辨率與亮度分辨率不相同(例如，在YUV4:2:0的情況下)，則色度運(yùn)動矢量(MV)就是亮度運(yùn)動矢量的一半且運(yùn)動矢量搜索只針對亮度執(zhí)行，因?yàn)楫?dāng)色度運(yùn)動矢量處在半像素精度時，可以使色度運(yùn)動矢量近似為最接近整像素。在第二實(shí)施例中，建議將模板匹配預(yù)測限制為較少的(更少的)搜索點(diǎn)。在一個實(shí)施例中，模板匹配預(yù)測只搜索一組候選位置。這些候選位置可以在具有良好預(yù)測中心(諸如當(dāng)前塊的運(yùn)動矢量預(yù)測因子(motion vector predictor))的小搜索范圍內(nèi)，或者來源于空間/時間相鄰像素的運(yùn)動矢量。這基于如下推測當(dāng)前像素非?？赡茴愃朴谙噜徬袼刂械哪切?，且模板匹配預(yù)測通常使用那些像素作為模板。在第三實(shí)施例中，建議將不太復(fù)雜的亞像素內(nèi)插方法用于模板匹配預(yù)測。在一個子實(shí)施例中，允許亮度分量為整像素精度，且色度分量為半像素精度。對于半像素內(nèi)插，使用雙線性濾波器。這基于類似第一方案的理論，即取平均值和亞像素對混疊的減少具有類似作用，因此，不要求有非常復(fù)雜的亞像素內(nèi)插濾波器。以上方案可以單獨(dú)應(yīng)用或一起應(yīng)用。此外，以上方案可以高階語法被發(fā)送，高階語法例如是條帶頭(slice header)、圖像參數(shù)集(PPS)、序列參數(shù)集(SPS)、網(wǎng)絡(luò)提取層(NAL)單元頭以及輔助增強(qiáng)信息(SEI)消息等等。語法表I示出了根據(jù)本發(fā)明一個實(shí)施例的用于條帶頭的示例性語法。表I
權(quán)利要求
1.一種裝置，包括 視頻編碼器(400)，用于通過使用模板匹配預(yù)測來編碼圖片中的至少一個圖像塊，其中，通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測。
2.根據(jù)權(quán)利要求I所述的裝置，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索約束為比標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法所使用的精度更低的亞像素精度，該標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個，以及，將針對所述模板匹配預(yù)測而執(zhí)行的所述模板匹配預(yù)測運(yùn)動矢量搜索約束為比現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個中的、在相應(yīng)解碼器處缺少必需的運(yùn)動搜索的編碼模式所使用的精度更低的亞像素精度。
3.根據(jù)權(quán)利要求2所述的裝置，其中，在執(zhí)行所述模板匹配預(yù)測運(yùn)動矢量搜索和標(biāo)準(zhǔn)運(yùn)動估計(jì)方法中的任一個之前，亞像素位置針對整個所述圖片被內(nèi)插，內(nèi)插得到的亞像素位置中的至少一些被用于所述模板匹配預(yù)測運(yùn)動矢量搜索。
4.根據(jù)權(quán)利要求3所述的裝置，其中，在通過使用所述模板匹配預(yù)測運(yùn)動矢量搜索的結(jié)果來對所述圖像塊進(jìn)行編碼和通過使用所述標(biāo)準(zhǔn)運(yùn)動估計(jì)方法的結(jié)果來對所述圖像塊進(jìn)行編碼之間作出判定，并且該判定的結(jié)果被編碼以供傳送到相應(yīng)的解碼器。
5.根據(jù)權(quán)利要求I所述的裝置，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為與結(jié)合標(biāo)準(zhǔn)運(yùn)動估計(jì)方法而執(zhí)行的運(yùn)動估計(jì)方法相比搜索更少的位置，該標(biāo)準(zhǔn)運(yùn)動估計(jì)方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個。
6.根據(jù)權(quán)利要求5所述的裝置，其中，所述更少的位置對應(yīng)于搜索范圍，其中，該搜索范圍的中心對應(yīng)于所述圖像塊的運(yùn)動矢量預(yù)測因子。
7.根據(jù)權(quán)利要求5所述的裝置，其中，所述更少的位置是由相對于所述圖像塊的空間相鄰像素和時間相鄰像素中的至少一個的運(yùn)動矢量確定的。
8.根據(jù)權(quán)利要求I所述的裝置，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為將與標(biāo)準(zhǔn)內(nèi)插方案相比而言較不復(fù)雜的亞像素內(nèi)插方案用于針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索，該標(biāo)準(zhǔn)內(nèi)插方案對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個。
9.根據(jù)權(quán)利要求2所述的裝置，其中，所述圖像塊的亮度分量被以整像素精度內(nèi)插，且所述圖像塊的色度分量被以半像素精度內(nèi)插。
10.一種用在視頻編碼器中的方法，包括 通過使用模板匹配預(yù)測來編碼圖片中的至少一個圖像塊(615，620，640，641，642)，其中，通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測(615，625，640)。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索約束為比標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法所使用的精度更低的亞像素精度，該標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個，以及，將針對所述模板匹配預(yù)測而執(zhí)行的所述模板匹配預(yù)測運(yùn)動矢量搜索約束為比現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個中的、在相應(yīng)解碼器處缺少必需的運(yùn)動搜索的編碼模式所使用的精度更低的亞像素精度(615)。
12.根據(jù)權(quán)利要求11所述的方法，其中，在執(zhí)行所述模板匹配預(yù)測運(yùn)動矢量搜索和標(biāo)準(zhǔn)運(yùn)動估計(jì)方法中的任一個之前，亞像素位置針對整個所述圖片被內(nèi)插(625)，內(nèi)插得到的亞像素位置中的至少一些被用于所述模板匹配預(yù)測運(yùn)動矢量搜索(640，642)。
13.根據(jù)權(quán)利要求12所述的方法，其中，在通過使用所述模板匹配預(yù)測運(yùn)動矢量搜索的結(jié)果來對所述圖像塊進(jìn)行編碼或通過使用所述標(biāo)準(zhǔn)運(yùn)動估計(jì)方法的結(jié)果來對所述圖像塊進(jìn)行編碼之間作出判定出38，645，650)，并且該判定的結(jié)果被編碼以供傳送到相應(yīng)的解碼器(655,652)。
14.根據(jù)權(quán)利要求10所述的方法，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為與結(jié)合標(biāo)準(zhǔn)運(yùn)動估計(jì)方法而執(zhí)行的運(yùn)動估計(jì)方法相比搜索更少的位置(640)，該標(biāo)準(zhǔn)運(yùn)動估計(jì)方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個。
15.根據(jù)權(quán)利要求14所述的方法，其中，所述更少的位置對應(yīng)于搜索范圍，其中，該搜索范圍的中心對應(yīng)于所述圖像塊的運(yùn)動矢量預(yù)測因子(640)。
16.根據(jù)權(quán)利要求14所述的方法，其中，所述更少的位置是由相對于所述圖像塊的空間相鄰像素和時間相鄰像素中的至少一個的運(yùn)動矢量確定的(640)。
17.根據(jù)權(quán)利要求10所述的方法，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為將與標(biāo)準(zhǔn)內(nèi)插方案相比而言較不復(fù)雜的亞像素內(nèi)插方案用于針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索(625)，該標(biāo)準(zhǔn)內(nèi)插方案對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個。
18.根據(jù)權(quán)利要求17所述的方法，其中，所述圖像塊的亮度分量被以整像素精度內(nèi)插，且所述圖像塊的色度分量被以半像素精度內(nèi)插￠25)。
19.一種裝置,包括 視頻解碼器(500)，用于通過使用模板匹配預(yù)測來解碼圖片中的至少一個圖像塊，其中，通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測。
20.根據(jù)權(quán)利要求19所述的裝置，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索約束為比標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法所使用的精度更低的亞像素精度，該標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個，以及，將針對所述模板匹配預(yù)測而執(zhí)行的所述模板匹配預(yù)測運(yùn)動矢量搜索約束為比現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個中的、在相應(yīng)解碼器處缺少必需的運(yùn)動搜索的編碼模式所使用的精度更低的亞像素精度。
21.根據(jù)權(quán)利要求20所述的裝置，其中，在通過使用所述模板匹配預(yù)測運(yùn)動矢量搜索的結(jié)果來對所述圖像塊進(jìn)行編碼或通過使用所述標(biāo)準(zhǔn)運(yùn)動估計(jì)方法的結(jié)果來對所述圖像塊進(jìn)行編碼之間的判定的結(jié)果被解碼，并且，由所述視頻解碼器(500)使用該結(jié)果來確定是應(yīng)用所述模板匹配預(yù)測運(yùn)動矢量搜索還是應(yīng)用所述標(biāo)準(zhǔn)運(yùn)動估計(jì)方法來解碼所述圖像塊。
22.根據(jù)權(quán)利要求21所述的裝置，其中，當(dāng)所述判定的結(jié)果指示出所述圖像塊是通過使用所述模板匹配預(yù)測運(yùn)動矢量搜索的結(jié)果而被編碼的時，只允許以整像素分辨率進(jìn)行所述模板匹配預(yù)測運(yùn)動矢量搜索。
23.根據(jù)權(quán)利要求19所述的裝置，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為與結(jié)合標(biāo)準(zhǔn)運(yùn)動估計(jì)方法而執(zhí)行的運(yùn)動估計(jì)方法相比搜索更少的位置，該標(biāo)準(zhǔn)運(yùn)動估計(jì)方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個。
24.根據(jù)權(quán)利要求23所述的裝置，其中，所述更少的位置對應(yīng)于搜索范圍，其中，該搜索范圍的中心對應(yīng)于所述圖像塊的運(yùn)動矢量預(yù)測因子。
25.根據(jù)權(quán)利要求23所述的裝置，其中，所述更少的位置是由相對于所述圖像塊的空間相鄰像素和時間相鄰像素中的至少一個的運(yùn)動矢量確定的。
26.根據(jù)權(quán)利要求19所述的裝置，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為將與標(biāo)準(zhǔn)內(nèi)插方案相比而言較不復(fù)雜的亞像素內(nèi)插方案用于針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索，該標(biāo)準(zhǔn)內(nèi)插方案對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個。
27.根據(jù)權(quán)利要求26所述的裝置，其中，所述圖像塊的亮度分量被以整像素精度內(nèi)插，且所述圖像塊的色度分量被以半像素精度內(nèi)插。
28.一種用在視頻解碼器中的方法，包括 通過使用模板匹配預(yù)測來解碼圖片中的至少一個圖像塊(715，745，750，770)，其中，通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測(715，745，750)。
29.根據(jù)權(quán)利要求28所述的方法，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索約束為比標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法所使用的精度更低的亞像素精度，該標(biāo)準(zhǔn)運(yùn)動補(bǔ)償方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個，以及，將針對所述模板匹配預(yù)測而執(zhí)行的所述模板匹配預(yù)測運(yùn)動矢量搜索約束為比現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個中的、在相應(yīng)解碼器處缺少必需的運(yùn)動搜索的編碼模式所使用的精度更低的亞像素精度(715，745)。
30.根據(jù)權(quán)利要求29所述的方法，其中，在通過使用所述模板匹配預(yù)測運(yùn)動矢量搜索的結(jié)果來編碼所述圖像塊或通過使用所述標(biāo)準(zhǔn)運(yùn)動估計(jì)方法的結(jié)果來編碼所述圖像塊之間的判定的結(jié)果被解碼(730，740)，并且，由所述視頻解碼器使用該結(jié)果來確定是應(yīng)用所述模板匹配預(yù)測運(yùn)動矢量搜索(745，750)還是應(yīng)用所述標(biāo)準(zhǔn)運(yùn)動估計(jì)方法(755，760，765)來解碼所述圖像塊。
31.根據(jù)權(quán)利要求30所述的方法，其中，當(dāng)所述判定的結(jié)果指示出所述圖像塊是通過使用所述模板匹配預(yù)測運(yùn)動矢量搜索的結(jié)果而被編碼的時，只允許以整像素分辨率進(jìn)行所述模板匹配預(yù)測運(yùn)動矢量搜索(745)。
32.根據(jù)權(quán)利要求28所述的方法，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為與結(jié)合標(biāo)準(zhǔn)運(yùn)動估計(jì)方法而執(zhí)行的運(yùn)動估計(jì)方法相比搜索更少的位置，該標(biāo)準(zhǔn)運(yùn)動估計(jì)方法對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個(715，750)。
33.根據(jù)權(quán)利要求32所述的方法，其中，所述更少的位置對應(yīng)于搜索范圍，其中該搜索范圍的中心對應(yīng)于所述圖像塊的運(yùn)動矢量預(yù)測因子(750)。
34.根據(jù)權(quán)利要求32所述的方法，其中，所述更少的位置是由相對于所述圖像塊的空間相鄰像素和時間相鄰像素中的至少一個的運(yùn)動矢量確定的(750)。
35.根據(jù)權(quán)利要求28所述的方法，其中，所述一個或多個約束標(biāo)準(zhǔn)包括將所述模板匹配預(yù)測約束為將與標(biāo)準(zhǔn)內(nèi)插方案相比而言較不復(fù)雜的亞像素內(nèi)插方案用于針對所述模板匹配預(yù)測而執(zhí)行的模板匹配預(yù)測運(yùn)動矢量搜索(715，745)，該標(biāo)準(zhǔn)內(nèi)插方案對應(yīng)于現(xiàn)有視頻編碼標(biāo)準(zhǔn)和現(xiàn)有視頻編碼建議中的至少一個。
36.根據(jù)權(quán)利要求35所述的方法，其中，所述圖像塊的亮度分量被以整像素精度內(nèi)插，且所述圖像塊的色度分量被以半像素精度內(nèi)插(745)。
37.一種編碼了視頻信號數(shù)據(jù)的計(jì)算機(jī)可讀存儲介質(zhì)，包括 通過使用模板匹配預(yù)測而編碼的圖片中的至少一個圖像塊，其中，通過使用降低了執(zhí)行所述模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束所述模板匹配預(yù)測。
全文摘要
提供了用于視頻編解碼的降低了復(fù)雜度的模板匹配預(yù)測方法和裝置。編碼方法通過使用模板匹配預(yù)測來編碼圖片中的至少一個圖像塊(615，620，640，641，642)，其中，通過使用降低了執(zhí)行該模板匹配預(yù)測的復(fù)雜度的一個或多個約束標(biāo)準(zhǔn)來可選地約束該模板匹配預(yù)測(615，625，640)。
文檔編號H04N7/26GK102804774SQ201180006641
公開日2012年11月28日 申請日期2011年1月19日 優(yōu)先權(quán)日2010年1月19日
發(fā)明者鄭云飛, 尹鵬, 呂小安, 許茜, 約珥·索 申請人:湯姆遜許可證公司