專利名稱：用于多層視頻傳輸?shù)淖赃m應(yīng)內(nèi)插濾波器的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理和視頻壓縮。更具體地，本公開的實(shí)施例涉及多層視頻傳輸。 多層視頻傳輸?shù)氖纠詫?shí)施例包括但不限于2D可伸縮編碼(scalable coding)、2D兼容的 3D以及幀兼容的3D。
背景技術(shù)：
為了在消費(fèi)者中促進(jìn)對立體(3D)內(nèi)容的迅速采用，理想的家用3D系統(tǒng)應(yīng)該是可以以對諸如機(jī)頂盒、DVD和藍(lán)光碟播放器的現(xiàn)有播放設(shè)備進(jìn)行最小改動(dòng)或者不進(jìn)行改動(dòng)而實(shí)現(xiàn)的家用3D系統(tǒng)。理想的家用3D系統(tǒng)也應(yīng)該最大限度地與現(xiàn)有的具有3D功能的顯示器相兼容，諸如三星(Samsung)和三菱(Mitsubishi)的DLP (參見參考文獻(xiàn)1，其全部內(nèi)容通過引用合并于此)顯示器、一些等離子顯示器、以及基于偏振的和幀順序的(frame sequential) LCD 顯不器。對于全分辨率3D內(nèi)容的期望已經(jīng)產(chǎn)生了一些系統(tǒng)，例如MPEG-4AVC/H. 264視頻編碼標(biāo)準(zhǔn)(參見參考文獻(xiàn)3，其全部內(nèi)容通過引用合并于此)的多視圖視頻編碼(Multiview Video Coding, MVC)擴(kuò)展，以利用兩個(gè)或者更多個(gè)層，其中，基礎(chǔ)層代表一個(gè)視圖而每個(gè)增強(qiáng)層代表附加的視圖，所有這些層均處于原始分辨率。H. 264/AVC 的可伸縮視頻編碼(Scalable Video Coding, SVC)擴(kuò)展([2]中的附錄G)定義了用于2D視頻編碼的多層視頻編碼系統(tǒng)。SVC擴(kuò)展提供了各種類型的可伸縮性 空間可伸縮性、質(zhì)量可伸縮性、時(shí)間可伸縮性或者以上各項(xiàng)的任意組合。例如，在空間可伸縮性中，基礎(chǔ)層比特流攜帶較低空間分辨率的視頻信號，而增強(qiáng)層比特流攜帶附加的信息， 使得當(dāng)一起解碼增強(qiáng)層比特流與基礎(chǔ)層比特流時(shí)，可獲得較高空間分辨率的視頻信號。再例如，在質(zhì)量可伸縮性中，增強(qiáng)層比特流攜帶附加信息，該附加信息可改進(jìn)基礎(chǔ)層比特流所攜帶的視頻信號的質(zhì)量。本公開中的教導(dǎo)可進(jìn)一步改進(jìn)諸如SVC系統(tǒng)的2D可伸縮視頻系統(tǒng)的編碼性能，這一點(diǎn)在隨后的描述中將變得明顯。


并入本說明書中并構(gòu)成本說明書一部分的附圖示出了本公開的一個(gè)或多個(gè)實(shí)施例，并與示例實(shí)施例的描述一起用于說明本公開的原理和實(shí)現(xiàn)。圖1示出了用于立體內(nèi)容的傳輸?shù)乃讲蓸?并排排列。圖2示出了幀兼容3D系統(tǒng)架構(gòu)。
10
圖3示出了編碼側(cè)的幀兼容3D系統(tǒng)架構(gòu)的圖。圖4示出了解碼側(cè)的幀兼容3D系統(tǒng)架構(gòu)的圖。圖5示出了在給定用于水平采樣+并排壓縮排列的基礎(chǔ)層的情況下對增強(qiáng)層的預(yù)測處理。圖6示出ID自適應(yīng)濾波器的示例。圖7示出根據(jù)本公開實(shí)施例的改進(jìn)的參考處理單元。圖8示出編碼器處的選擇性參考處理。圖9示出基礎(chǔ)層視頻的濾波。圖10示出多層幀兼容3D視頻系統(tǒng)。
具體實(shí)施例方式概述本公開的實(shí)施例涉及圖像處理和視頻壓縮。全部內(nèi)容通過引用合并于此的美國臨時(shí)申請第61/170，995號公開了一種使得能夠?qū)D像或視頻信號進(jìn)行經(jīng)指導(dǎo)的處理(guided processing)的系統(tǒng)，這種經(jīng)指導(dǎo)的處理可用在視頻壓縮或后處理(post processing)應(yīng)用中。例如，處理可為利用特定的濾波器或者機(jī)制對圖像進(jìn)行濾波或或內(nèi)插(分級)，該特定的濾波器或者機(jī)制可以導(dǎo)致某些期望的性能或行為。全部內(nèi)容通過引用合并于此的美國臨時(shí)申請第61/223,027號公開了一種 FCFR(frame-compatible full-resolution,幀兼容全分辨率)3D系統(tǒng)。幀兼容配置的各種方法允許使用各種濾波、采樣以及排列方法。例如，采樣可為水平的、垂直的或五點(diǎn)式的(quincunx)。類似地，排列(arrangement)可包括并排的(side-by-side)、上下的 (over—under)、Pfttf 白勺(line—interleaved)、棋盤式封裝白勺(checkerboard packing)、等等。圖1中示出了示例性的幀配置(水平采樣/并排排列)。在圖1中，左視圖的幀和右視圖的幀被水平子采樣，并被并排封裝為一個(gè)視頻幀。除了其它可能性之外，幀采樣/排列的附加示例還包括以下的可能性。此外，也可以對視圖進(jìn)行不對稱的子采樣。-五點(diǎn)式采樣/棋盤式交織排列-水平采樣/列交織排列-垂直采樣/行交織排列-垂直采樣/上下排列-五點(diǎn)式采樣/并排排列采樣減小了幀分辨率，因此會(huì)使高質(zhì)量3D內(nèi)容的用戶體驗(yàn)劣化?？梢栽谧硬蓸悠陂g施加濾波，以緩和某些潛在問題(例如圖形失真，aliasing)并改進(jìn)視頻質(zhì)量。然而，在很多應(yīng)用中，全分辨率立體內(nèi)容的傳輸與3D系統(tǒng)的迅速采用及運(yùn)用是相關(guān)的。根據(jù)美國臨時(shí)申請第61/223，027號中描述的幀兼容3D系統(tǒng)的某些方面(參見圖 2-5)，基礎(chǔ)層對應(yīng)于之前已經(jīng)使用上述各種采樣方法及排列中的任意一個(gè)而被子采樣并被復(fù)用的兩個(gè)視圖。為了實(shí)現(xiàn)全分辨率視頻傳輸，將增強(qiáng)層用于傳送與兩個(gè)視圖的較高分辨率有關(guān)的丟失的視頻信息(例如一些高頻信息)。由基礎(chǔ)層和增強(qiáng)層代表的視頻信號高度相關(guān)。因此，為了促進(jìn)增強(qiáng)層的有效壓縮，當(dāng)對增強(qiáng)層視頻進(jìn)行編碼時(shí)，可以將基礎(chǔ)層重構(gòu)的視頻用作預(yù)測。此外，如圖2至圖4所示， 可以引入預(yù)處理級，以在將基礎(chǔ)層信息用作增強(qiáng)層的潛在預(yù)測前處理該基礎(chǔ)層信息。這種預(yù)處理可以包括全局運(yùn)動(dòng)補(bǔ)償校正、固定或自適應(yīng)內(nèi)插機(jī)制等等，其中固定或自適應(yīng)內(nèi)插機(jī)制導(dǎo)致系統(tǒng)所使用的采樣及排列方法的特性。例如，處理可包括可分離(s印arable)或不可分離的(non-sparable)內(nèi)插濾波器，邊緣自適應(yīng)內(nèi)插機(jī)制，基于小波(wavelet)、細(xì)帶(bandlet)或脊波(ridgetlet)方法的濾波器，等等。預(yù)處理方法的設(shè)計(jì)和選擇可以是編碼器決策的一部分，或者，可基于具有諸如成本、復(fù)雜度和編碼/質(zhì)量性能的各種考慮的用戶輸入。為了清楚并易于閱讀起見，在圖2中示出了根據(jù)上述美國臨時(shí)申請第61/223，027 號的3D系統(tǒng)架構(gòu)的高級別框圖。在編碼側(cè)，在基礎(chǔ)層編碼器O20)與增強(qiáng)層編碼器(230) 之間示出了參考處理單元(reference processing unit,RPU)例如3D RPU)，而在解碼側(cè)，在基礎(chǔ)層解碼器(250)與增強(qiáng)層解碼器(260)之間示出了 RPU(MO)(例如3D RPU)。 也參見其全部內(nèi)容通過引用合并于此的美國臨時(shí)申請第61/170，995號。參考處理單元 (210)獲得參考畫面和要被編碼的當(dāng)前畫面，并執(zhí)行參考畫面的定向處理，以使得參考畫面盡可能地與當(dāng)前畫面類似。以此方式，利用了這兩個(gè)畫面之間可能存在的相關(guān)性。如圖2所示，3D RPU(210)產(chǎn)生稍后進(jìn)一步描述的元數(shù)據(jù)信息，并且，通常，這個(gè)預(yù)處理級的作用是處理和調(diào)節(jié)基礎(chǔ)層視頻的特性，以便與增強(qiáng)層視頻的特性更匹配。例如，這可通過考慮諸如濾波(例如，銳化濾波器或低通濾波器)的預(yù)處理機(jī)制、或者諸如全局/區(qū)域運(yùn)動(dòng)補(bǔ)償/紋理映射的甚至其它更復(fù)雜的方法來完成。本領(lǐng)域技術(shù)人員將理解，遍及本公開中描述的方法也可應(yīng)用于包括多于一個(gè)增強(qiáng)層的3D視頻系統(tǒng)和2D可伸縮視頻系統(tǒng)。 圖10示出了這種系統(tǒng)的示例，例如具有兩個(gè)增強(qiáng)層的幀兼容3D視頻系統(tǒng)。在本公開的其余部分中，討論了基于內(nèi)插濾波器的技術(shù)。此外，也提出了將內(nèi)插與其它預(yù)處理步驟相組合的考慮。根據(jù)第一方面，提供了一種多層視頻編碼系統(tǒng)，包括基礎(chǔ)層，包括基礎(chǔ)層視頻編碼器；與基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，該至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻編碼器；以及編碼器處理模塊，用于對基礎(chǔ)層視頻編碼器的輸出進(jìn)行濾波以形成經(jīng)處理的編碼器輸出，以及將該經(jīng)處理的編碼器輸出作為增強(qiáng)層估計(jì)而輸入至增強(qiáng)層視頻編碼器。根據(jù)第二方面，提供了一種多層視頻系統(tǒng)，包括基礎(chǔ)層，包括基礎(chǔ)層視頻編碼器和基礎(chǔ)層視頻解碼器；與基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，該至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻編碼器和增強(qiáng)層視頻解碼器；編碼器處理模塊，用于對基礎(chǔ)層視頻編碼器的輸出進(jìn)行濾波以形成經(jīng)處理的編碼器輸出，以及將該經(jīng)處理的編碼器輸出作為增強(qiáng)層估計(jì)而輸入至增強(qiáng)層視頻編碼器；以及解碼器處理模塊，用于處理基礎(chǔ)層視頻解碼器的輸出，以形成經(jīng)處理的解碼器輸出以重構(gòu)增強(qiáng)層，以及將該經(jīng)處理的解碼器輸出輸入至增強(qiáng)層視頻解碼器。根據(jù)第三方面，提供了一種多層視頻解碼系統(tǒng)，包括基礎(chǔ)層，包括基礎(chǔ)層視頻解碼器；與基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，該至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻解碼器；以及解碼器處理模塊，用于處理基礎(chǔ)層視頻解碼器的輸出以形成解碼器處理輸出，以及將該解碼器處理輸出輸入至增強(qiáng)層視頻解碼器，該解碼器處理模塊包括用于重構(gòu)增強(qiáng)層視頻信號的自適應(yīng)濾波器，以及一個(gè)或更多個(gè)解碼濾波器緩沖器，在一個(gè)或更多個(gè)解碼濾波器緩沖器處，針對在先信號而導(dǎo)出的自適應(yīng)濾波器被存儲(chǔ)并用于未來視頻信號的解碼。
根據(jù)第四方面，提供了一種多層視頻系統(tǒng)，包括基礎(chǔ)層，包括基礎(chǔ)層視頻編碼器和基礎(chǔ)層視頻解碼器；與基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，該至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻編碼器和增強(qiáng)層視頻解碼器；編碼器處理模塊，用于對基礎(chǔ)層視頻編碼器的輸出進(jìn)行處理以形成編碼器處理輸出，以及將該編碼器處理輸出輸入至增強(qiáng)層視頻編碼器，該編碼器處理模塊包括基于基礎(chǔ)層視頻信號而估計(jì)增強(qiáng)層視頻信號的自適應(yīng)濾波器；解碼器處理模塊，用于處理基礎(chǔ)層視頻解碼器的輸出以形成解碼器處理輸出，以及將該解碼器處理輸出輸入至增強(qiáng)層視頻解碼器，該解碼器包括基于基礎(chǔ)層視頻信號而重構(gòu)增強(qiáng)層視頻信號的自適應(yīng)濾波器；一個(gè)或更多個(gè)編碼濾波器緩沖器，在一個(gè)或更多個(gè)編碼濾波器緩沖器處，針對在先信號而導(dǎo)出的自適應(yīng)濾波器被存儲(chǔ)并用于未來視頻信號的編碼；以及一個(gè)或更多個(gè)解碼濾波器緩沖器，在一個(gè)或更多個(gè)解碼濾波器緩沖器處，針對在先信號而導(dǎo)出的自適應(yīng)濾波器被存儲(chǔ)并用于未來視頻信號的解碼。根據(jù)第五方面，提供了一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)增強(qiáng)層視頻信號；使用固定濾波器對基礎(chǔ)層視頻信號進(jìn)行濾波， 以估計(jì)增強(qiáng)層視頻信號；建立編碼準(zhǔn)則；基于編碼準(zhǔn)則，針對自適應(yīng)濾波和固定濾波二者， 建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器 ’傳達(dá)(signal)表現(xiàn)最佳的濾波器；采用表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼；對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼，以形成解碼視頻信號；處理基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的表現(xiàn)最佳的濾波器，用于增強(qiáng)層視頻解碼；以及對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。根據(jù)第六方面，提供了一種多層視頻編碼方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對基礎(chǔ)層視頻信號進(jìn)行運(yùn)動(dòng)預(yù)測，以形成預(yù)測的基礎(chǔ)層視頻信號；對預(yù)測的基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)增強(qiáng)層視頻信號；使用固定濾波器對預(yù)測的基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)增強(qiáng)層視頻信號；建立編碼準(zhǔn)則；基于編碼準(zhǔn)則，針對自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器；傳達(dá)表現(xiàn)最佳的濾波器；以及采用表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼。根據(jù)第七方面，提供了一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對基礎(chǔ)層視頻信號進(jìn)行運(yùn)動(dòng)預(yù)測，以形成預(yù)測的基礎(chǔ)層視頻信號； 對預(yù)測的基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)增強(qiáng)層視頻信號；建立編碼準(zhǔn)則；基于編碼準(zhǔn)則，針對自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器；傳達(dá)表現(xiàn)最佳的濾波器；采用表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼；對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼；處理基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的表現(xiàn)最佳的濾波器，用于增強(qiáng)層視頻解碼；以及對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。根據(jù)第八方面，提供了一種多層視頻編碼方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；使用固定濾波器對基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)增強(qiáng)層視頻信號；以及建立編碼準(zhǔn)則，以評估增強(qiáng)層視頻信號估計(jì)的質(zhì)量；如果固定濾波滿足編碼準(zhǔn)則，則傳達(dá)固定濾波器進(jìn)行；以及采用固定濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼；否則，對基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)增強(qiáng)層視頻信號；基于編碼準(zhǔn)則，針對自適應(yīng)濾波和固定濾波二者， 建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器；傳達(dá)表現(xiàn)最佳的濾波器；以及采用表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼。根據(jù)第九方面，提供了一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；使用固定濾波器對基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)增強(qiáng)層視頻信號；以及建立編碼準(zhǔn)則，以評估增強(qiáng)層視頻信號估計(jì)的質(zhì)量；如果固定濾波滿足編碼準(zhǔn)則，則傳達(dá)固定濾波器；以及采用固定濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼；否則，對基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)增強(qiáng)層視頻信號；基于編碼準(zhǔn)則，建立增強(qiáng)層視頻信號的質(zhì)量；基于編碼準(zhǔn)則，針對自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器；傳達(dá)表現(xiàn)最佳的濾波器；以及采用表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼；對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼； 對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼；處理基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的濾波器，用于增強(qiáng)層視頻解碼；以及對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。根據(jù)第十方面，提供了一種多層視頻編碼方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視頻畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其中，相鄰區(qū)域與增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或多個(gè)圖像特性準(zhǔn)則；針對增強(qiáng)層視頻畫面的當(dāng)前區(qū)域，選擇與用于對滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器相同的濾波器；傳達(dá)所選擇的濾波器；以及采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼。根據(jù)第十一方面，提供了一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視頻畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其中，相鄰區(qū)域與增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或多個(gè)圖像特性準(zhǔn)則；針對增強(qiáng)層視頻畫面的當(dāng)前區(qū)域，選擇與用于對滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器相同的濾波器；傳達(dá)所選擇的濾波器；采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼；對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼，以形成基礎(chǔ)層解碼視頻信號；處理基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的濾波器，用于增強(qiáng)層視頻解碼；以及對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼，以形成解碼第二視圖。根據(jù)第十二方面，提供了一種多層視頻編碼方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視頻畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其中，相鄰區(qū)域
14與增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或多個(gè)圖像特性準(zhǔn)則；建立一個(gè)或更多個(gè)濾波器特性準(zhǔn)則；從一組濾波器中，針對增強(qiáng)層視頻畫面的當(dāng)前區(qū)域選擇若干濾波器，這若干濾波器與用于對滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器滿足相同的一個(gè)或更多個(gè)濾波器特性準(zhǔn)則；傳達(dá)所選擇的若干濾波器；以及采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼。根據(jù)第十三方面，提供了一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視頻畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其中，相鄰區(qū)域與增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或多個(gè)圖像特性準(zhǔn)則；建立一個(gè)或更多個(gè)濾波器特性準(zhǔn)則；從一組濾波器中，針對增強(qiáng)層視頻畫面的當(dāng)前區(qū)域選擇若干濾波器，這若干濾波器與用于對滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器滿足相同的一個(gè)或更多個(gè)濾波器特性準(zhǔn)則；傳達(dá)所選擇的若干濾波器；采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于增強(qiáng)視頻層編碼；對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼，以形成解碼視頻信號；處理基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的濾波器，用于增強(qiáng)層視頻解碼；以及對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。在本申請的描述、附圖和權(quán)利要求書中示出了本公開的其它方面。在下文中，給出了對自適應(yīng)內(nèi)插濾波器的導(dǎo)出處理的簡要回顧。隨后的是在幀兼容的或2D兼容的3D(立體或多視圖)傳輸系統(tǒng)、或者2D可伸縮傳輸系統(tǒng)的示例性環(huán)境下應(yīng)用自適應(yīng)濾波器的細(xì)節(jié)。1.自適應(yīng)內(nèi)插濾波器綜述先前已廣泛研究了自適應(yīng)內(nèi)插濾波器(AIF)(參見參考文獻(xiàn)4-7，其全部內(nèi)容通過引用合并于此)，以改進(jìn)運(yùn)動(dòng)預(yù)測處理的準(zhǔn)確性，其中運(yùn)動(dòng)預(yù)測處理在諸如H. ^4/AVC(參見參考文獻(xiàn)3，其全部內(nèi)容通過引用合并于此)的很多視頻編碼系統(tǒng)中被用于減小時(shí)間冗余。遍及本公開中，將自適應(yīng)濾波器定義為，其系數(shù)基于預(yù)定義編碼準(zhǔn)則而被自適應(yīng)地估計(jì)的濾波器。由于自適應(yīng)濾波器的系數(shù)是基于傳入的視頻信號的統(tǒng)計(jì)信息而導(dǎo)出的，因此，這些系數(shù)可被應(yīng)用于通過從基礎(chǔ)層進(jìn)行內(nèi)插而獲得增強(qiáng)層的更準(zhǔn)確的預(yù)測信號。參考圖6，盡管作為示例將假定使用ID濾波器來根據(jù)基礎(chǔ)層(陰影像素)對增強(qiáng)層(白像素)進(jìn)行內(nèi)插，然而以下處理可容易地?cái)U(kuò)展為導(dǎo)出任意抽頭長度(tap length)的 2D不可分離濾波器。在本公開中，術(shù)語“抽頭長度”表示濾波器抽頭的數(shù)目。
L-I (χ, y) = Σ h^ .B、x + n- FOj y) (1)
=ο其中，h(n)是第η個(gè)濾波器系數(shù)，L是濾波器抽頭長度，F(xiàn)O = 是濾波器偏移
(filter (^作⑷，而會(huì)氏力和^叉，y)分別代表位置(x, y)處的內(nèi)插的增強(qiáng)層像素與基礎(chǔ)層?；谑诡A(yù)定義失真測量最小化，來自適應(yīng)導(dǎo)出濾波器系數(shù)h(n)。假定將誤差平方和(Sum of Squared Error)作為失真測量，那么通過使如下SSE最小化來導(dǎo)出濾波器系數(shù)
權(quán)利要求
1.一種多層視頻編碼系統(tǒng)，包括基礎(chǔ)層，包括基礎(chǔ)層視頻編碼器；與所述基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，所述至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻編碼器；以及編碼器處理模塊，用于對所述基礎(chǔ)層視頻編碼器的輸出進(jìn)行濾波以形成經(jīng)處理的編碼器輸出，以及將所述經(jīng)處理的編碼器輸出作為增強(qiáng)層估計(jì)而輸入至所述增強(qiáng)層視頻編碼ο
2.一種多層視頻系統(tǒng)，包括基礎(chǔ)層，包括基礎(chǔ)層視頻編碼器和基礎(chǔ)層視頻解碼器；與所述基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，所述至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻編碼器和增強(qiáng)層視頻解碼器；編碼器處理模塊，用于對所述基礎(chǔ)層視頻編碼器的輸出進(jìn)行濾波以形成經(jīng)處理的編碼器輸出，以及將所述經(jīng)處理的編碼器輸出作為增強(qiáng)層估計(jì)而輸入至所述增強(qiáng)層視頻編碼器；以及解碼器處理模塊，用于處理所述基礎(chǔ)層視頻解碼器的輸出，以形成經(jīng)處理的解碼器輸出以重構(gòu)所述增強(qiáng)層，以及將所述經(jīng)處理的解碼器輸出輸入至所述增強(qiáng)層視頻解碼器。
3.如權(quán)利要求1或2所述的多層視頻系統(tǒng)，其中，所述編碼器處理模塊包括對基礎(chǔ)層視頻輸出進(jìn)行濾波并估計(jì)增強(qiáng)層視頻信號的自適應(yīng)濾波器。
4.如權(quán)利要求3所述的多層視頻系統(tǒng)，其中，基于被輸入至所述基礎(chǔ)層視頻編碼器和所述增強(qiáng)層視頻編碼器的輸入視頻信號的統(tǒng)計(jì)信息，導(dǎo)出所述自適應(yīng)濾波器的系數(shù)。
5.如權(quán)利要求3所述的多層視頻系統(tǒng)，其中，基于增強(qiáng)層視頻信號與估計(jì)的增強(qiáng)層視頻信號之間的失真測量，導(dǎo)出所述自適應(yīng)濾波器的系數(shù)。
6.如權(quán)利要求3所述的多層視頻系統(tǒng)，其中，與輸入視頻信號的分區(qū)相對應(yīng)的濾波器系數(shù)是使用針對該分區(qū)的相鄰分區(qū)而導(dǎo)出的濾波器來預(yù)測的。
7.如權(quán)利要求1或2所述的多層視頻系統(tǒng)，其中，所述編碼器處理模塊包括自適應(yīng)濾波器和固定濾波器。
8.如權(quán)利要求7所述的多層視頻系統(tǒng)，其中，所述編碼器處理模塊基于編碼準(zhǔn)則，在所述自適應(yīng)濾波器和所述固定濾波器中選擇表現(xiàn)最佳的濾波器。
9.如權(quán)利要求3所述的多層視頻系統(tǒng)，其中，所述編碼器處理模塊包括一維自適應(yīng)濾波器、二維自適應(yīng)濾波器、具有不同抽頭長度的自適應(yīng)濾波器以及具有不同的系數(shù)對稱性的自適應(yīng)濾波器中的一個(gè)或更多個(gè)。
10.如權(quán)利要求1或2所述的多層視頻系統(tǒng)，其中，所述基礎(chǔ)層視頻編碼器和所述增強(qiáng)層視頻編碼器中的每個(gè)都接收表明第一視圖和第二視圖的兩個(gè)輸入。
11.如權(quán)利要求10所述的多層視頻系統(tǒng)，還包括自適應(yīng)濾波器，其中，針對所述第一視圖和所述第二視圖中的每個(gè)以及所述第一視圖和所述第二視圖的每個(gè)顏色分量，單獨(dú)地導(dǎo)出所述自適應(yīng)濾波器的系數(shù)。
12.如權(quán)利要求10所述的多層視頻系統(tǒng)，其中，針對所述第一視圖和所述第二視圖二者和/或所述第一視圖和所述第二視圖的全部或一些顏色分量，聯(lián)合地導(dǎo)出所述自適應(yīng)濾波器的系數(shù)。
13.如權(quán)利要求10所述的多層視頻系統(tǒng)，其中，針對所述第一視圖和所述第二視圖中的每個(gè)的兩個(gè)色度分量或者所述第一視圖和所述第二視圖二者的兩個(gè)色度分量，使用相同的濾波器。
14.一種多層視頻編碼系統(tǒng)，包括 基礎(chǔ)層，包括基礎(chǔ)層視頻編碼器；與所述基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，所述至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻編碼器；以及編碼器處理模塊，用于對所述基礎(chǔ)層視頻編碼器的輸出進(jìn)行處理以形成編碼器處理輸出，以及將所述編碼器處理輸出輸入至所述增強(qiáng)層視頻編碼器，所述編碼器處理模塊包括用于基于基礎(chǔ)層視頻信號估計(jì)增強(qiáng)層視頻信號的自適應(yīng)濾波器，以及一個(gè)或更多個(gè)編碼濾波器緩沖器，在所述一個(gè)或更多個(gè)編碼濾波器緩沖器處，針對在先信號而導(dǎo)出的自適應(yīng)濾波器被存儲(chǔ)并用于未來視頻信號的編碼。
15.一種多層視頻解碼系統(tǒng)，包括 基礎(chǔ)層，包括基礎(chǔ)層視頻解碼器；與所述基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，所述至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻解碼器；以及解碼器處理模塊，用于處理所述基礎(chǔ)層視頻解碼器的輸出以形成解碼器處理輸出，以及將所述解碼器處理輸出輸入至所述增強(qiáng)層視頻解碼器，所述解碼器處理模塊包括用于重構(gòu)增強(qiáng)層視頻信號的自適應(yīng)濾波器，以及一個(gè)或更多個(gè)解碼濾波器緩沖器，在所述一個(gè)或更多個(gè)解碼濾波器緩沖器處，針對在先信號而導(dǎo)出的自適應(yīng)濾波器被存儲(chǔ)并用于未來視頻信號的解碼。
16.一種多層視頻系統(tǒng)，包括基礎(chǔ)層，包括基礎(chǔ)層視頻編碼器和基礎(chǔ)層視頻解碼器；與所述基礎(chǔ)層相關(guān)聯(lián)的至少一個(gè)增強(qiáng)層，所述至少一個(gè)增強(qiáng)層包括增強(qiáng)層視頻編碼器和增強(qiáng)層視頻解碼器；編碼器處理模塊，用于對所述基礎(chǔ)層視頻編碼器的輸出進(jìn)行處理以形成編碼器處理輸出，以及將所述編碼器處理輸出輸入至所述增強(qiáng)層視頻編碼器，所述編碼器處理模塊包括用于基于基礎(chǔ)層視頻信號而估計(jì)增強(qiáng)層視頻信號的自適應(yīng)濾波器；解碼器處理模塊，用于處理所述基礎(chǔ)層視頻解碼器的輸出以形成解碼器處理輸出，以及將所述解碼器處理輸出輸入至所述增強(qiáng)層視頻解碼器，所述解碼器包括用于基于所述基礎(chǔ)層視頻信號而重構(gòu)增強(qiáng)層視頻信號的自適應(yīng)濾波器；一個(gè)或更多個(gè)編碼濾波器緩沖器，在所述一個(gè)或更多個(gè)編碼濾波器緩沖器處，針對在先信號而導(dǎo)出的自適應(yīng)濾波器被存儲(chǔ)并用于未來視頻信號的編碼；以及一個(gè)或更多個(gè)解碼濾波器緩沖器，在所述一個(gè)或更多個(gè)解碼濾波器緩沖器處，針對在先信號而導(dǎo)出的自適應(yīng)濾波器被存儲(chǔ)并用于未來視頻信號的解碼。
17.如權(quán)利要求16所述的多層視頻系統(tǒng)，其中，所述基礎(chǔ)層視頻編碼器和所述增強(qiáng)層視頻編碼器中的每個(gè)都接收表明第一視圖和第二視圖的兩個(gè)輸入，針對所述第一視圖或所述第二視圖中的每個(gè)單獨(dú)地維護(hù)或者聯(lián)合地維護(hù)所述一個(gè)或更多個(gè)編碼器濾波器緩沖器和所述一個(gè)或更多個(gè)解碼器濾波器緩沖器。
18.如權(quán)利要求16所述的多層視頻系統(tǒng)，其中，所述基礎(chǔ)層視頻編碼器和所述增強(qiáng)層視頻編碼器中的每個(gè)都接收表明一個(gè)或更多個(gè)顏色分量的視頻信號，針對所述一個(gè)或更多個(gè)顏色分量中的每個(gè)單獨(dú)地維護(hù)或者聯(lián)合地維護(hù)所述一個(gè)或更多個(gè)編碼器濾波器緩沖器和所述一個(gè)或更多個(gè)解碼器濾波器緩沖器。
19.如權(quán)利要求16所述的多層視頻系統(tǒng)，其中，針對所述基礎(chǔ)層和所述至少一個(gè)增強(qiáng)層中的每個(gè)單獨(dú)地維護(hù)或者聯(lián)合地維護(hù)所述一個(gè)或更多個(gè)編碼器濾波器緩沖器和所述一個(gè)或更多個(gè)解碼器濾波器緩沖器。
20.如權(quán)利要求4-19中的任意一個(gè)所述的多層視頻系統(tǒng)，其中處理基礎(chǔ)層視頻信號，以形成經(jīng)處理的基礎(chǔ)層視頻信號；以及基于所述經(jīng)處理的基礎(chǔ)層視頻信號，導(dǎo)出所述自適應(yīng)濾波器。
21.如權(quán)利要求20所述的多層視頻系統(tǒng)，其中，所述經(jīng)處理的基礎(chǔ)層視頻信號是對所述基礎(chǔ)層視頻信號的運(yùn)動(dòng)預(yù)測。
22.如權(quán)利要求21所述的多層視頻系統(tǒng)，其中，全局地或局部地執(zhí)行所述運(yùn)動(dòng)預(yù)測。
23.如權(quán)利要求21所述的多層視頻系統(tǒng)，其中，迭代執(zhí)行自適應(yīng)濾波和運(yùn)動(dòng)預(yù)測的組合，直至所獲得的濾波器不會(huì)改變、滿足質(zhì)量準(zhǔn)則、完成特定次數(shù)的迭代、或以上各情形的組合為止。
24.如權(quán)利要求4所述的多層視頻系統(tǒng)，其中，所述增強(qiáng)層還包括基于在先編碼的增強(qiáng)層視頻的當(dāng)前增強(qiáng)層視頻的時(shí)間預(yù)測器。
25.如權(quán)利要求24所述的多層視頻系統(tǒng)，其中，所述增強(qiáng)層估計(jì)是基于視頻塊的，基于 RPU預(yù)測器預(yù)測一些塊，基于時(shí)間預(yù)測器預(yù)測一些塊，以及基于以上各項(xiàng)的組合預(yù)測一些塊。
26.如權(quán)利要求25所述的多層視頻系統(tǒng)，其中，執(zhí)行迭代的增強(qiáng)層編碼，其中通過從計(jì)算中至少部分地排除基于時(shí)間預(yù)測器預(yù)測的增強(qiáng)層塊以及對應(yīng)的基礎(chǔ)層塊， 計(jì)算所述自適應(yīng)濾波器；將計(jì)算出的自適應(yīng)濾波器用于對所述增強(qiáng)層再次編碼；以及對增強(qiáng)層編碼進(jìn)行再次迭代，直至能夠?qū)崿F(xiàn)的編碼增益在預(yù)定義閾值以下或者執(zhí)行特定次數(shù)的迭代為止。
27.如權(quán)利要求25所述的多層視頻系統(tǒng)，其中，執(zhí)行預(yù)分析以識別使用時(shí)間預(yù)測器可能預(yù)測到的增強(qiáng)層視頻塊。
28.如權(quán)利要求3-27中的任意一個(gè)所述的多層視頻系統(tǒng)，其中，對基礎(chǔ)層視頻應(yīng)用自適應(yīng)濾波，以及傳達(dá)對應(yīng)的自適應(yīng)濾波器系數(shù)。
29.如權(quán)利要求觀所述的多層視頻系統(tǒng)，其中，將基礎(chǔ)層視頻濾波應(yīng)用于RPU處理循環(huán)的外部或內(nèi)部。
30.一種多層視頻編碼方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理所述基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對所述基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)所述增強(qiáng)層視頻信號；使用固定濾波器對所述基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)所述增強(qiáng)層視頻信號；建立編碼準(zhǔn)則；基于所述編碼準(zhǔn)則，針對所述自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器； 傳達(dá)所述表現(xiàn)最佳的濾波器；以及采用所述表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼。
31.一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號； 對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對所述基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)所述增強(qiáng)層視頻信號； 使用固定濾波器對所述基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)所述增強(qiáng)層視頻信號； 建立編碼準(zhǔn)則；基于所述編碼準(zhǔn)則，針對所述自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器； 傳達(dá)所述表現(xiàn)最佳的濾波器；采用所述表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼； 對所述基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼，以形成解碼視頻信號； 處理所述基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的表現(xiàn)最佳的濾波器，用于增強(qiáng)層視頻解碼；以及對所述增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。
32.—種多層視頻編碼方法，包括 對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對所述基礎(chǔ)層視頻信號執(zhí)行運(yùn)動(dòng)預(yù)測，以形成預(yù)測的基礎(chǔ)層視頻信號； 對所述預(yù)測的基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)所述增強(qiáng)層視頻信號； 使用固定濾波器對所述預(yù)測的基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)所述增強(qiáng)層視頻信號；建立編碼準(zhǔn)則；基于所述編碼準(zhǔn)則，針對所述自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器； 傳達(dá)所述表現(xiàn)最佳的濾波器；以及采用所述表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼。
33.一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼；處理所述基礎(chǔ)層視頻信號； 對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；對所述基礎(chǔ)層視頻信號執(zhí)行運(yùn)動(dòng)預(yù)測，以形成預(yù)測的基礎(chǔ)層視頻信號； 對所述預(yù)測的基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)所述增強(qiáng)層視頻信號； 使用固定濾波器對所述預(yù)測的基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)所述增強(qiáng)層視頻信號；建立編碼準(zhǔn)則；基于所述編碼準(zhǔn)則，針對所述自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器； 傳達(dá)所述表現(xiàn)最佳的濾波器；采用所述表現(xiàn)最佳的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼； 對所述基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼； 處理基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的表現(xiàn)最佳的濾波器，用于增強(qiáng)層視頻解碼；以及對所述增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。
34.一種多層視頻編碼方法，包括 對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；使用固定濾波器對所述基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)所述增強(qiáng)層視頻信號；以及建立編碼準(zhǔn)則，以評估增強(qiáng)層視頻信號估計(jì)的質(zhì)量； 如果固定濾波滿足所述編碼準(zhǔn)則，則 傳達(dá)所述固定濾波器；以及采用所述固定濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼； 否則，對所述基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)所述增強(qiáng)層視頻信號； 基于所述編碼準(zhǔn)則，針對所述自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器； 傳達(dá)所述表現(xiàn)最佳的濾波器；以及采用所述表現(xiàn)最佳的濾波器和所述經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼。
35.一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號； 對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼；使用固定濾波器對所述基礎(chǔ)層視頻信號進(jìn)行濾波，以估計(jì)所述增強(qiáng)層視頻信號；以及建立編碼準(zhǔn)則，以評估增強(qiáng)層視頻信號估計(jì)的質(zhì)量； 如果固定濾波滿足所述編碼準(zhǔn)則，則 傳達(dá)所述固定濾波器；以及采用所述固定濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼； 否則，對所述基礎(chǔ)層視頻信號進(jìn)行自適應(yīng)濾波，以估計(jì)所述增強(qiáng)層視頻信號； 基于所述編碼準(zhǔn)則，針對所述自適應(yīng)濾波和固定濾波二者，建立增強(qiáng)層視頻信號估計(jì)的質(zhì)量；基于所建立的估計(jì)的質(zhì)量，選擇表現(xiàn)最佳的濾波器； 傳達(dá)所述表現(xiàn)最佳的濾波器；以及采用所述表現(xiàn)最佳的濾波器和所述經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼；對所述基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼； 處理基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的濾波器，用于增強(qiáng)層視頻解碼；以及對所述增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。
36.一種多層視頻編碼方法，包括 對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼； 建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視顏畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其與所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則；針對所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域，選擇與用于對所述滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器相同的濾波器； 傳達(dá)所選擇的濾波器；以及采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼。
37.一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號； 對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼； 建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視頻畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其與所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則；針對所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域，選擇與用于對所述滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器相同的濾波器； 傳達(dá)所選擇的濾波器；采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼； 對所述基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼，以形成基礎(chǔ)層解碼視頻信號；處理所述基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的濾波器，用于增強(qiáng)層視頻解碼；以及對所述增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼，以形成解碼第二視圖。
38.一種多層視頻編碼方法，包括 對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號；對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼； 建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視頻畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其與所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則； 建立一個(gè)或更多個(gè)濾波器特性準(zhǔn)則；從一組濾波器中，針對所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域選擇若干濾波器，所述若干濾波器與用于對所述滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器滿足相同的一個(gè)或更多個(gè)濾波器特性準(zhǔn)則； 傳達(dá)所選擇的若干濾波器；以及采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼。
39.一種多層視頻方法，包括對基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻編碼； 處理所述基礎(chǔ)層視頻信號； 對增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻編碼； 建立一個(gè)或更多個(gè)圖像特性準(zhǔn)則；識別增強(qiáng)層視頻畫面的當(dāng)前區(qū)域的若干相鄰區(qū)域，其與所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則； 建立一個(gè)或更多個(gè)濾波器特性準(zhǔn)則；從一組濾波器中，針對所述增強(qiáng)層視頻畫面的當(dāng)前區(qū)域選擇若干濾波器，所述若干濾波器與用于對所述滿足相同的一個(gè)或更多個(gè)圖像特性準(zhǔn)則的若干相鄰區(qū)域進(jìn)行濾波的那些濾波器滿足相同的一個(gè)或更多個(gè)濾波器特性準(zhǔn)則； 傳達(dá)所選擇的若干濾波器；采用所選擇的濾波器和經(jīng)處理的基礎(chǔ)層視頻信號，用于所述增強(qiáng)視頻層編碼； 對所述基礎(chǔ)層視頻信號進(jìn)行基礎(chǔ)層視頻解碼，以形成解碼視頻信號； 處理所述基礎(chǔ)層解碼視頻信號；采用經(jīng)處理的基礎(chǔ)層解碼視頻信號和所傳達(dá)的濾波器，用于增強(qiáng)層視頻解碼；以及對所述增強(qiáng)層視頻信號進(jìn)行增強(qiáng)層視頻解碼。
40.如權(quán)利要求36-39中的任意一個(gè)所述的多層視頻方法，其中，所述相鄰區(qū)域是時(shí)間鄰域、空間鄰域、或時(shí)間且空間的鄰域。
41.如權(quán)利要求1-14或16-29中的任意一個(gè)所述的多層視頻系統(tǒng)，其中，所述基礎(chǔ)層和所述至少一個(gè)增強(qiáng)層接收幀兼容3D視頻信號、2D兼容的3D視頻信號或2D可伸縮視頻信號。
42.一種編碼器，用于根據(jù)權(quán)利要求30、32、34、36、38或40中的一個(gè)或更多個(gè)所述的方法來對視頻信號進(jìn)行編碼。
43.一種設(shè)備，用于根據(jù)權(quán)利要求30、32、34、36、38或40中的一個(gè)或更多個(gè)所述的方法來對視頻信號進(jìn)行編碼。
44.一種系統(tǒng)，用于根據(jù)權(quán)利要求30、32、34、36、38或40中的一個(gè)或更多個(gè)所述的方法來對視頻信號進(jìn)行編碼。
45.一種包含指令的集合的計(jì)算機(jī)可讀介質(zhì)，所述指令使計(jì)算機(jī)執(zhí)行如權(quán)利要求 30-42中的一個(gè)或更多個(gè)所述的方法。
46.一種如權(quán)利要求30、32、34、36、38、40中的一個(gè)或更多個(gè)所述的方法的用途，用于對視頻信號進(jìn)行編碼。
47.一種如權(quán)利要求31、32、33、35、37、39或40中的一個(gè)或更多個(gè)所述的方法，用于對視頻信號進(jìn)行解碼。
全文摘要
描述了用于多層視頻傳輸?shù)淖赃m應(yīng)內(nèi)插濾波器。也提出了在幀兼容3D視頻傳輸系統(tǒng)或2D兼容的3D視頻傳輸系統(tǒng)、以及2D可伸縮視頻傳輸系統(tǒng)的環(huán)境下具有其它預(yù)處理步驟的這種自適應(yīng)濾波器的組合。
文檔編號H04N7/26GK102598660SQ201080013282
公開日2012年7月18日 申請日期2010年4月20日 優(yōu)先權(quán)日2009年4月20日
發(fā)明者亞歷山德羅斯·圖拉皮斯, 佩沙拉·V·帕哈拉瓦達(dá), 葉琰 申請人:杜比實(shí)驗(yàn)室特許公司