專利名稱：用中間層運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)產(chǎn)生編碼的視頻序列的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼系統(tǒng)，具體地涉及可縮放(scalable)視頻編碼系統(tǒng)，可結(jié)合 視頻編碼標(biāo)準(zhǔn)H. 264/AVC或新的MPEG視頻編碼系統(tǒng)一起使用。
背景技術(shù)：
標(biāo)準(zhǔn)H. ^4/AVC是IUT-T視頻編碼專家組VCEG和IS0/IEC運(yùn)動(dòng)圖像專家組(MPEG) 的視頻標(biāo)準(zhǔn)化計(jì)劃的結(jié)果。該標(biāo)準(zhǔn)化計(jì)劃的主要目標(biāo)是提供一種具有非常良好的壓縮行 為、同時(shí)產(chǎn)生網(wǎng)絡(luò)友好的視頻表征的清晰視頻編碼概念，包括例如視頻電話的具有“通話特 征”的應(yīng)用以及沒有通話特征的應(yīng)用(存儲(chǔ)、廣播、流傳輸)。除了上述標(biāo)準(zhǔn)IS0/IEC 14496-10之外，還存在與該標(biāo)準(zhǔn)有關(guān)的多種出版 物。僅作為示例，參考“The Emerging H. 264-AVC standard", Ralf Schafer, Thomas Wiegand and Heiko Schwarz, EBU Technical Review, January 2003。此夕卜，專家出 版 物"Overview of the H. 264/AVC VideoCoding Standard，，，Thomas ffiegand, Gary J. Sullivan, Gesle Bjontegaardand Ajay Lothra, IEEE Transactions on Circuits and Systems for VideoTechnology, July 2003出片反· “Context—based adaptive BinaryArithmethic Coding in the H. 264/AVC Video Compression Standard，，，Detlev Marpe,Heiko Schwarz and Thomas ffiegand,IEEE Transactionson Circuits and Systems for Video Technology, September 2003，包括視頻編碼標(biāo)準(zhǔn)的不同方面的概述。然而，為了更好地理解，將參考圖9至11給出視頻編碼/解碼算法的概述。圖9示出了視頻編碼器的完整結(jié)構(gòu)，視頻編碼器通常包括兩個(gè)不同級(jí)。通常，第一 級(jí)通常進(jìn)行有關(guān)視頻的操作，產(chǎn)生輸出數(shù)據(jù)，然后輸出數(shù)據(jù)經(jīng)過第二級(jí)的熵編碼，第二級(jí)在 圖9中由80表示。數(shù)據(jù)是數(shù)據(jù)81a、量化變換系數(shù)81b以及運(yùn)動(dòng)數(shù)據(jù)81c，其中，將這些數(shù) 據(jù)81a、81b、81c提供給熵編碼器80，以在熵編碼器80的輸出處產(chǎn)生編碼的視頻信號(hào)。具體地，將輸入視頻信號(hào)分別分割劃分為宏塊，其中每個(gè)宏塊具有16X16象素。 然后，選擇宏塊與片組和片的關(guān)聯(lián)，根據(jù)該關(guān)聯(lián)，由圖8所示的操作塊網(wǎng)絡(luò)來處理每個(gè)片的 每個(gè)宏塊。應(yīng)該注意，當(dāng)視頻圖像中存在不同的片時(shí)，可能高效并行處理宏塊。經(jīng)由圖8中 的塊編碼器控制82來執(zhí)行宏塊與片組和片的關(guān)聯(lián)。存在不同的片，這些片定義如下I片1片是其中片的所有宏塊都是使用幀內(nèi)預(yù)測(cè)來編碼的片。P片除了 I片的編碼類型之外，P片的某些宏塊也可利用每個(gè)預(yù)測(cè)塊的至少一個(gè) 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)信號(hào)，使用幀間預(yù)測(cè)來編碼。B片除了 P片中可用的編碼類型之外，B片的某些宏塊也可利用每個(gè)預(yù)測(cè)塊的兩個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)信號(hào)，使用幀間預(yù)測(cè)來編碼。上述三種編碼類型與早期的標(biāo)準(zhǔn)中的編碼類型非常類似，但是如下面所述的，使 用參考圖像。下面片的兩種編碼類型在標(biāo)準(zhǔn)H. 264/AVC中是新的SP片該片也被稱為切換P片，其編碼成可在不同預(yù)編碼圖像之間有效地切換。SI片SI片也被稱為切換I片，其使SP片中的宏塊精確地適應(yīng)直接隨機(jī)存取和錯(cuò) 誤恢復(fù)目的?？偠灾呛陦K序列，如果不使用靈活宏塊排序FMO的屬性，則按照光柵掃描 的順序?qū)ζM(jìn)行處理，標(biāo)準(zhǔn)中同樣定義了 FM0。如圖11所示，可將圖像分割為一個(gè)或多個(gè) 片。因此，圖像是一個(gè)或多個(gè)片的集合。在這點(diǎn)上，由于可根據(jù)比特流來分析(解析)片的 語法單元，所以片是彼此獨(dú)立的，其中，可在片所表示的圖像范圍內(nèi)正確地對(duì)采樣值進(jìn)行解 碼，只要所用的參考圖像在編碼器和解碼器中是相同的。然而，需要來自其它片的某些信息 來在片邊界上應(yīng)用解塊濾波器(deblocking filter)。FMO特性通過使用片組的概念，來修改將圖像劃分為片的方式。每個(gè)片組是由宏塊 到片組的映射所定義的宏塊的集合，宏塊到片組的映射由圖像參數(shù)集的內(nèi)容和來自片頭的 某些信息規(guī)定。該宏塊到片組的映射包括圖像中每個(gè)宏塊的片組標(biāo)識(shí)號(hào)，該標(biāo)識(shí)號(hào)規(guī)定了 有關(guān)宏塊所屬的片組。可將每個(gè)片組劃分為一個(gè)或多個(gè)片，因此片是相同片組中的宏塊的 序列，該序列按照特定片組的宏塊集合中的光柵抽樣的順序來處理。取決于片編碼器的類型，可以以一個(gè)或多個(gè)編碼器類型來發(fā)送每個(gè)宏塊。在所有 片編碼器類型中，支持被稱為intra_4x4或intra_16X16類型的幀內(nèi)編碼，此外，還支持色度預(yù) 測(cè)模式和I_rcM預(yù)測(cè)模式。intra_4x4模式基于獨(dú)立的每個(gè)4X4色度塊的預(yù)測(cè)，并且非常適用于對(duì)具有突出 細(xì)節(jié)的圖像部分進(jìn)行編碼。另一方面，intra_16X16模式執(zhí)行整個(gè)16X16色度塊的預(yù)測(cè)，并 更適用于對(duì)圖像的“柔和，，區(qū)域進(jìn)行編碼。除了這兩個(gè)色度預(yù)測(cè)類型之外，還執(zhí)行獨(dú)立的色度預(yù)測(cè)。作為intra_4x4* intra_16X16的備選，I_4X4編碼類型使得編碼器簡(jiǎn)單地省略預(yù)測(cè)以及變換編碼，而直接發(fā)送 編碼的采樣的值。Ι—κ 模式具有以下目的其是編碼器精確地表征采樣的值。其提供一種 精確地表征非常異常的圖像內(nèi)容的值而不放大數(shù)據(jù)的方式。此外，其可以確定比特?cái)?shù)的確 切邊界，編碼器需要具有該確切邊界以處理宏塊而不損失編碼效率。與在變換域中執(zhí)行幀內(nèi)預(yù)測(cè)的早期的視頻編碼標(biāo)準(zhǔn)(即H.沈3+和MPEG-4Visual) 相反，H. ^4/AVC中的幀內(nèi)預(yù)測(cè)總是通過參考分別在要預(yù)測(cè)的塊的左側(cè)和上方的先前編碼 的塊的相鄰采樣，在空間域中執(zhí)行的(圖10)。在出現(xiàn)傳輸錯(cuò)誤的某些情況下，這會(huì)引起錯(cuò) 誤傳播，其中，由于幀內(nèi)編碼的宏塊中的運(yùn)動(dòng)補(bǔ)償而發(fā)生該錯(cuò)誤傳播。因此，可用信號(hào)通知 受限的幀內(nèi)編碼模式，受限的幀內(nèi)編碼模式僅能夠預(yù)測(cè)幀內(nèi)編碼的相鄰宏塊。在使用intra_4x4模式時(shí)，預(yù)測(cè)空間相鄰采樣的每個(gè)4X4塊。通過使用相鄰塊中 先前解碼的采樣，來預(yù)測(cè)4X4塊的16個(gè)采樣?？蓪?duì)每個(gè)4X4塊使用9種預(yù)測(cè)模式之一。 除了 “DC預(yù)測(cè)”(其中一值用于預(yù)測(cè)整個(gè)4X4塊)之外，規(guī)定8個(gè)方向預(yù)測(cè)模式。這些模 式適用于預(yù)測(cè)圖像中的方向結(jié)構(gòu)，例如不同角度的邊緣。除了幀內(nèi)宏塊編碼類型之外，將不同預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償編碼類型規(guī)定為P宏塊類 型。每個(gè)P宏塊類型與將宏塊具體分為塊形式相對(duì)應(yīng)，塊形式用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。語法支持以16 X 16、16 X 8、8 X 8或者8 X 16采樣的小塊尺寸進(jìn)行劃分。在8 X 8采樣的劃分中，對(duì) 于每個(gè)8X8劃分，發(fā)送附加的語法單元。該語法單元規(guī)定了是否將各個(gè)8X8劃分進(jìn)一步 劃分為8X4、4X8或者4X4亮度采樣和相應(yīng)的色度采樣。通過將各個(gè)參考圖像的區(qū)域移動(dòng)由平移矢量和圖像參考指標(biāo)規(guī)定的量，獲得每個(gè) 預(yù)測(cè)編碼的MXM小塊的預(yù)測(cè)信號(hào)。因此，如果使用四個(gè)8X8劃分來編碼宏塊，并且在將每 個(gè)8X8劃分進(jìn)一步劃分為四個(gè)4X4劃分時(shí)，可在所謂運(yùn)動(dòng)場(chǎng)內(nèi)傳輸單個(gè)P宏塊的最大量 為16的運(yùn)動(dòng)矢量。在H. 264/AVC中，量化參數(shù)片QP用于確定變換系數(shù)的量化。該參數(shù)可假定52個(gè) 值。設(shè)置這些值，使得量化參數(shù)增加1則意味著量化器步長(zhǎng)寬度增加大約12%。這意味著 量化參數(shù)增加6則使量化器步長(zhǎng)寬度恰好增加因子2。應(yīng)該注意，步長(zhǎng)大小改變大約12% 也意味著比特率減少大約12%。塊的量化變換系數(shù)通常以Z字形路徑來采樣，并通過使用熵編碼方法來處理。按 照光柵掃描順序來采樣色度分量的2X 2DC次數(shù)，并且可通過使用16比特整數(shù)值的加法和 移位運(yùn)算來實(shí)現(xiàn)H. ^4/AVC中的所有逆變換運(yùn)算。參考圖9，對(duì)于視頻序列中的每個(gè)圖像，首先逐個(gè)圖像將輸入信號(hào)劃分為16X16 象素的宏塊。然后，將每個(gè)圖像提供給減法器84，減法器84減去由包含在編碼器中的解碼 器85提供的原始圖像。然后對(duì)減法結(jié)果(即空間域的殘留信號(hào))進(jìn)行變換、縮放和量化 (塊86)，以獲得線81b熵的量化變換系數(shù)。為了產(chǎn)生要饋入減法器84的減法信號(hào)，首先再 次對(duì)量化變換系數(shù)進(jìn)行縮放和逆變換(塊87)，以提供給加法器88，加法器88的輸出饋入 解塊濾波器89，其中，例如，在解塊濾波器的輸出處監(jiān)視將要由解碼器進(jìn)行解碼的輸出視頻 信號(hào)，以用于控制目的(輸出90)。通過使用輸出90處的解碼的輸出信號(hào)，在塊91中執(zhí)行運(yùn)動(dòng)估計(jì)。對(duì)于塊90中的 運(yùn)動(dòng)估計(jì)，從圖9中可見，提供原始視頻信號(hào)的圖像。標(biāo)準(zhǔn)允許兩種不同的運(yùn)動(dòng)估計(jì)，即前 向運(yùn)動(dòng)估計(jì)和后向運(yùn)動(dòng)估計(jì)。在前向運(yùn)動(dòng)估計(jì)中，關(guān)于前一圖像來估計(jì)當(dāng)前圖像的運(yùn)動(dòng)。 然而，在后向運(yùn)動(dòng)估計(jì)中，使用將來的圖像來估計(jì)當(dāng)前圖像的運(yùn)動(dòng)。將運(yùn)動(dòng)估計(jì)的結(jié)果(塊 91)提供給運(yùn)動(dòng)補(bǔ)償塊92，特別地，在開關(guān)93切換到幀間預(yù)測(cè)模式時(shí)，就像在圖9的情況下 一樣，運(yùn)動(dòng)補(bǔ)償塊92執(zhí)行運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)。然而，如果開關(guān)93切換到幀內(nèi)預(yù)測(cè)，則使用 塊490來執(zhí)行幀內(nèi)預(yù)測(cè)。因此，由于對(duì)于幀內(nèi)預(yù)測(cè)，不執(zhí)行運(yùn)動(dòng)補(bǔ)償，所以不需要運(yùn)動(dòng)數(shù)據(jù)。運(yùn)動(dòng)估計(jì)塊91分別產(chǎn)生運(yùn)動(dòng)數(shù)據(jù)和運(yùn)動(dòng)場(chǎng)，其中，將分別包括運(yùn)動(dòng)矢量的運(yùn)動(dòng)數(shù) 據(jù)和運(yùn)動(dòng)場(chǎng)發(fā)送到解碼器，從而可執(zhí)行相應(yīng)的逆預(yù)測(cè)，即使用變換系數(shù)和運(yùn)動(dòng)數(shù)據(jù)的重構(gòu)。 應(yīng)該注意，在前向預(yù)測(cè)中，可分別根據(jù)緊接的前一圖像和多個(gè)在前的圖像來計(jì)算運(yùn)動(dòng)矢量。 除此之外，還應(yīng)該注意，在后向預(yù)測(cè)中，可使用緊接的相鄰的將來圖像，當(dāng)然也可使用其它 的將來圖像，來計(jì)算當(dāng)前圖像。圖9所示的視頻編碼概念的缺點(diǎn)在于，其未提供簡(jiǎn)單的可縮放性的可能。如本領(lǐng) 域公知的，術(shù)語“可縮放性(scalability)，，表示編碼器/解碼器概念，其中，編碼器提供縮 放的數(shù)據(jù)流?？s放的數(shù)據(jù)流包括基本縮放層以及一個(gè)或多個(gè)增強(qiáng)縮放層?；究s放層包括 要編碼的信號(hào)的表征，通常具有較低質(zhì)量，但同時(shí)具有較低數(shù)據(jù)率。增強(qiáng)縮放層包含視頻信 號(hào)的另一表征，其提供相對(duì)于基本縮放層有提高質(zhì)量的表征，典型地伴隨著基本縮放層的 視頻信號(hào)表征。另一方面，當(dāng)然，增強(qiáng)縮放層具有各自的比特需求，因此用于表示要編碼的信號(hào)的比特?cái)?shù)隨每個(gè)增強(qiáng)層而增加。取決于設(shè)計(jì)和可能性，解碼器僅對(duì)基本縮放層進(jìn)行解碼，以提供由解碼信號(hào)表示 的圖像的相當(dāng)差質(zhì)量的表征。然而，隨著每次“增加”另一縮放層，解碼器可逐步提高信號(hào) 的質(zhì)量(在有損比特率的情況下)。取決于實(shí)現(xiàn)方式和編碼器到解碼器的傳輸通道，由于典型地基本縮放層的比特率 很低而有限的傳輸通道足夠，所以傳輸至少一個(gè)基本縮放層。如果傳輸通道不再有更多的 帶寬，則僅傳輸基本縮放層而不傳輸增強(qiáng)縮放層。結(jié)果，解碼器可只產(chǎn)生圖像信號(hào)的低質(zhì)量 表征。與數(shù)據(jù)率太高而使得傳輸系統(tǒng)不太可能的未縮放情況相比，低質(zhì)量表征是有利的。如 果傳輸通道運(yùn)動(dòng)傳輸一個(gè)或多個(gè)增強(qiáng)層，則編碼器將向解碼器傳輸一個(gè)或多個(gè)增強(qiáng)層，因 此可根據(jù)請(qǐng)求，逐步地提高輸出視頻信號(hào)的質(zhì)量。關(guān)于視頻序列的編碼，可區(qū)分兩種不同的縮放。一種縮放是時(shí)間縮放，因此未傳輸 視頻序列的所有視頻幀，而是為了減小數(shù)據(jù)率，例如，僅傳輸了每第二個(gè)幀、每第三個(gè)幀、每 第四個(gè)幀等。另一種縮放是SNR縮放(SNR=信噪比)，其中，基本縮放層和第一、第二、第 三、...增強(qiáng)縮放層包括所有的時(shí)間信息，但是具有不同的質(zhì)量。因此，基本縮放層具有低數(shù) 據(jù)率，但是具有低信噪比，其中，可通過每次增加一個(gè)增強(qiáng)縮放層來逐步地提高該信噪比。圖9所示的編碼器概念的問題在于，它是基于殘留值僅由減法器84產(chǎn)生、然后被 處理的事實(shí)。在圖9所示的通過使用塊86、87、88、93、94和84而形成閉合回路的設(shè)置中， 基于預(yù)測(cè)算法來計(jì)算這些殘留值，其中，量化參數(shù)進(jìn)入閉合回路，即進(jìn)入塊86、87。如果現(xiàn)在 實(shí)現(xiàn)簡(jiǎn)單的SNR縮放，即例如首先用粗量化步來量化預(yù)測(cè)殘留信號(hào)，然后通過使用增強(qiáng)層， 用細(xì)量化器步長(zhǎng)來逐步量化預(yù)測(cè)殘留信號(hào)，這將具有以下結(jié)果。由于逆量化和預(yù)測(cè)，特別 地，關(guān)于一方面使用原始圖像且另一方面使用量化圖像而進(jìn)行的運(yùn)動(dòng)估計(jì)(塊91)和運(yùn)動(dòng) 補(bǔ)償(塊92)，將在編碼器和解碼器中導(dǎo)致量化器步長(zhǎng)的“發(fā)散”。這導(dǎo)致在解碼器一側(cè)產(chǎn) 生增強(qiáng)縮放層非常困難。此外，在解碼器一側(cè)處理增強(qiáng)縮放層變得不可能，至少是關(guān)于在標(biāo) 準(zhǔn)H. 264/AVC中定義的單元不可能。因此，原因是圖9所示的視頻編碼器中的閉合回路包 含量化。在Mn Diego2003年12月2日到5日的第九屆JVT會(huì)議介紹的HsikoSctiwarz， Detlev Marpe 和 Thomas Wiegand 的題為“SNR-ScalableExtension of H. ^4/AVC，，的標(biāo)準(zhǔn) 化文獻(xiàn)JVT-I 032tl中，介紹了對(duì)H. ^4/AVC的可縮放擴(kuò)展，其中包括關(guān)于時(shí)間和信噪比的 可縮放性(具有相等或不同時(shí)間精度)。因此，引入了時(shí)間子帶劃分的提升表征，這允許使 用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的公知方法。在 J.-R. Ohm, "Complexity and delay analysis of MCTF interframewavelet structures”，I SO/1 EC JTCl/WG11 Doc. M8520, July 2002 中描述了其中提升表征用于小 波分析和小波合成的基于小波的視頻編碼算法。在D. Taubman, "Successive refinement of video fundamental issues, past efforts and new directions，，，Proc. of SPIE (VCIP，03)，vol. 5150，pp. 649-663，2003中可以找到與可縮放性有關(guān)的評(píng)述，然而，其 中需要顯著的編碼器結(jié)構(gòu)改變。根據(jù)本發(fā)明，一方面實(shí)現(xiàn)了編碼器/解碼器的概念，另一方 面，可縮放的可能性可基于與標(biāo)準(zhǔn)一致的單元，尤其是對(duì)于運(yùn)動(dòng)補(bǔ)償。在詳細(xì)參考圖3的編碼器/解碼器機(jī)構(gòu)之前，首先，參考圖4來分別描述編碼器一側(cè)的基本提升方案和解碼器一側(cè)的逆提升方案。在W. Sweldens，“A custom design construction of biorthogonal wavelets", J. Appl. Comp. Harm. Anal. , vol. 3 (no. 2), pp.186-200,1996 禾口 I.Daubechies and W. Sweldens, "Factoring wavelet transforms into IiftingSt印s”，J. Fourier Anal. Appl.，vol. 4 (no. 3)，pp. 247-269，1998 可找到與提 升方案和小波變換的組合的背景技術(shù)有關(guān)的詳細(xì)解釋。通常，提升方案包括三步，即多相分 解步驟、預(yù)測(cè)步驟和更新步驟。分解步驟包括將輸入側(cè)的數(shù)據(jù)流劃分為下分支40a的相同第一拷貝以及上分支 40b的相同拷貝。此外，將上分支40b的相同拷貝延遲一時(shí)間級(jí)(廣)，使得具有奇數(shù)索引k 的采樣s2k+1與具有偶數(shù)索引^t的采樣分別經(jīng)過各個(gè)抽取器和下采樣器42a、42b。抽取器 42a和42b分別通過去除每第二個(gè)采樣，來減少上和下分支40b、40a中的采樣數(shù)。涉及預(yù)測(cè)步驟的第二區(qū)域II包括預(yù)測(cè)算子43和減法器44。表示更新步驟的第三 區(qū)域包括更新算子45和加法器46。在輸出側(cè)，存在兩個(gè)歸一化器47、48，用于歸一化高通 信號(hào)hk (歸一化器47)和歸一化低通信號(hào)Ik (歸一化器48)。具體地，多相分解導(dǎo)致給定信號(hào)s [k]的奇偶采樣的劃分。由于相關(guān)性結(jié)構(gòu)典型地 示出了局部特性，所以奇偶多相分量高度相關(guān)。因此，在最后的步驟中，通過使用整數(shù)采樣 來執(zhí)行奇數(shù)采樣的預(yù)測(cè)(P)。每個(gè)奇數(shù)采樣s。dd[k] = s[2k+l]的相應(yīng)預(yù)測(cè)算子(P)是相鄰 偶數(shù)采樣= s [2k]的線性組合，即
P(^even)W = Σ 肌 ^ + /1。 作為預(yù)測(cè)步驟的結(jié)果，奇數(shù)采樣由它們各自的預(yù)測(cè)殘留值替代h [k] = Sodd [k] -P (Seven) [k]。應(yīng)該注意，預(yù)測(cè)步驟等效于執(zhí)行兩個(gè)通道的濾波器組的高通濾波，如在 I. Daubechies and W. Sweldens, "Factoring wavelet transformsinto lifting steps，，， J. Fourier Anal. Appl. vol 4 (no. 3)，pp. 247-269，1998 中所示。在提升方案的第三步驟中，通過用預(yù)測(cè)殘留值h[k]的線性組合來替代偶數(shù)采樣 sCTm[k]，來執(zhí)行低通濾波。各個(gè)更新算子U給出如下11(/0[眾]=2>/咖 + /1 ° 通過用以下值替代偶數(shù)采樣l[k] = seven[k]+U (h) [k]給出的信號(hào)s[k]最終可由l[k]和h[k]表示，其中，每個(gè)信號(hào)具有二分之一采樣 率。由于更新步驟和預(yù)測(cè)步驟都是完全可逆的，所以可將相應(yīng)的變換解釋為嚴(yán)格采樣理想 重構(gòu)濾波器組。實(shí)際上，可以看出，可由一個(gè)或多個(gè)預(yù)測(cè)步驟和一個(gè)或多個(gè)更新步驟的序列 來實(shí)現(xiàn)任意雙正交族的小波濾波器。對(duì)于低通和高通分量的歸一化，如已經(jīng)解釋的，給歸一 化器47和48提供適當(dāng)選擇的縮放因子F1和Fh。圖4在右手邊示出了與合成濾波器組相對(duì)應(yīng)的逆提升方案。該方案只包括以相反 順序以及相反符號(hào)來應(yīng)用預(yù)測(cè)和更新算子，之后通過使用奇偶多相分量來進(jìn)行重構(gòu)。具體 地，圖4所示的右邊的解碼器也包括第一解碼器區(qū)域I、第二解碼器區(qū)域II以及第三解碼器 區(qū)域III。第一解碼器區(qū)域抵消更新算子45的效果。這通過向更新算子45提供由另一歸 一化器50歸一化的高通信號(hào)來實(shí)現(xiàn)。然后，與圖4的加法器46相反地，將解碼器側(cè)的更新算子45的輸出信號(hào)提供給減法器52。相應(yīng)地，處理預(yù)測(cè)器43的輸出信號(hào)，然后將該輸出 信號(hào)提供給加法器53，而不是與編碼器側(cè)一樣提供給減法器?，F(xiàn)在，在每個(gè)分支中進(jìn)行因 子2的信號(hào)上采樣(塊Ma、Mb)。然后，將上分支向?qū)硪莆灰粋€(gè)采樣，這等效于延遲下分 支，來在加法器55中執(zhí)行上分支和下分支上的數(shù)據(jù)流的加法，以在合成濾波器組的輸出處 獲得重構(gòu)的信號(hào)％?？煞謩e由預(yù)測(cè)器43和更新算子45來實(shí)現(xiàn)多個(gè)小波。如果要實(shí)現(xiàn)所謂hair小波， 則預(yù)測(cè)算子和更新算子給出如下PHair(seven) [k]=s[2k]和￠/脈 WW = | 啉]，使得h[k]=s[2k+l]-s[2k]以及/[幻=42幻 + 丄岈眾]二丄(對(duì)2幻 + 對(duì)狄 + 1])2 2分別與hair濾波器的非歸一化高通和低通(分析)輸出信號(hào)相對(duì)應(yīng)。在5/3雙正交樣條小波的情況下，該小波的低通和高通分析濾波器分別具有5和 3個(gè)濾波器抽頭，其中，相應(yīng)的縮放函數(shù)是二階B樣條。在諸如JPEG200的靜止圖像的編碼 器應(yīng)用中，該小波用于時(shí)間子帶編碼器方案。在提升情況下，5/3變換的相應(yīng)預(yù)測(cè)和更新算 子給出如下P5/3(Seven= j(s[2k] + s[2k + 2])以及f/V3(/0[A:] =+ h[k -1])圖3示出了在編碼器一側(cè)和解碼器一側(cè)都具有示范性的四個(gè)濾波器級(jí)的編碼器/ 解碼器結(jié)構(gòu)的方框圖。從圖3可見，編碼器的第一濾波器級(jí)、第二濾波器級(jí)、第三濾波器級(jí) 和第四濾波器級(jí)是相同的。解碼器的濾波器級(jí)也是相同的。在編碼器一側(cè)，每個(gè)濾波器級(jí) 包括后向預(yù)測(cè)Mi(l60以及前向預(yù)測(cè)Μη61作為中心單元。后向預(yù)測(cè)器60在原理上與圖4的 預(yù)測(cè)器43相對(duì)應(yīng)，而前向預(yù)測(cè)器61與圖4的更新算子相對(duì)應(yīng)。與圖4相反，應(yīng)該注意，圖4涉及采樣流，其中采樣具有奇數(shù)索引業(yè)+1，而另一采樣 具有偶數(shù)索引2k。然而，如已經(jīng)參考圖1所解釋的，圖3中的注釋涉及一組圖像而不是一組 采樣。如果圖像分別具有多個(gè)采樣和圖像，則完全饋入該圖像。然后，饋入下一圖像等。因 此，不再有奇數(shù)和偶數(shù)采樣，而只有奇數(shù)和偶數(shù)圖像。根據(jù)本發(fā)明，將針對(duì)奇數(shù)和偶數(shù)采樣 所描述的提升方案分別應(yīng)用于每個(gè)都具有多個(gè)采樣的奇數(shù)和偶數(shù)圖像?，F(xiàn)在，圖4的逐個(gè) 采樣預(yù)測(cè)器43變?yōu)楹笙蜻\(yùn)動(dòng)補(bǔ)償預(yù)測(cè)60，而逐個(gè)采樣更新算子45變?yōu)橹饌€(gè)圖像前向運(yùn)動(dòng) 補(bǔ)償預(yù)測(cè)61。應(yīng)該注意，針對(duì)兩個(gè)相繼的有關(guān)圖像來計(jì)算運(yùn)動(dòng)濾波，運(yùn)動(dòng)濾波包括運(yùn)動(dòng)矢量且 表示塊60和61的系數(shù)，并將其作為輔助信息從編碼器發(fā)送到解碼器。然而，本發(fā)明概念 的主要優(yōu)點(diǎn)在于，結(jié)合圖9所描述的且在標(biāo)準(zhǔn)H. 264/AVC中標(biāo)準(zhǔn)化的單元91、92可容易地 用于計(jì)算運(yùn)動(dòng)場(chǎng)Mitl和運(yùn)動(dòng)場(chǎng)Μη。因此，對(duì)于本發(fā)明概念，不需要使用新的預(yù)測(cè)器/更新算 子，而可將在針對(duì)功能和效率所檢查的視頻標(biāo)準(zhǔn)中提到的已有算法用于前向或后向的運(yùn)動(dòng) 補(bǔ)償。具體地，圖3所示的所用濾波器組的一般結(jié)構(gòu)示出了在輸入64處饋入的具有16 個(gè)圖像組的視頻信號(hào)的時(shí)間分解。該分解是視頻信號(hào)的二元時(shí)間分解，其中，在圖3所示的實(shí)施例中，需要四極24 = 16個(gè)圖像(表示組大小為16個(gè)圖像)來實(shí)現(xiàn)最小時(shí)間分辨率的 表征，該表征即輸出28a和輸出28b處的信號(hào)。因此，如果將16個(gè)圖像分組，則導(dǎo)致16個(gè) 圖像的延遲，這使圖3所示的具有四級(jí)的概念對(duì)于交互式應(yīng)用更加困難。因此，如果目的是 交互式應(yīng)用，則優(yōu)選地形成更小的圖像組，例如四個(gè)或八個(gè)圖像的組。然后，相應(yīng)地減小延 遲，從而可能用于交互式應(yīng)用。在不需要交互的情況下，例如用于存儲(chǔ)等的情況下，可相應(yīng) 地增加組中圖像數(shù)目，即組大小，例如增加到32個(gè)、64個(gè)圖像等。在這種方式下，使用基于hair運(yùn)動(dòng)補(bǔ)償提升方案的交互式應(yīng)用，該應(yīng)用包括 H. 264/AVC中的后向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(Mitl)，并還包括更新步驟，更新步驟包括前向運(yùn)動(dòng)補(bǔ)償 (Mil)。如H. ^4/AVC所示的，預(yù)測(cè)步驟和更新步驟都使用運(yùn)動(dòng)補(bǔ)償過程。此外，不僅使用運(yùn) 動(dòng)補(bǔ)償，還使用由圖9中的附圖標(biāo)記89所表示的解塊濾波器89。第二濾波器級(jí)還包括下采樣器66a、66b、減法器69、后向預(yù)測(cè)器67、前向預(yù)測(cè)器68 以及加法器70和另一處理裝置，該另一處理裝置用于在所述另一處理裝置的輸出處輸出 第二級(jí)的第一和第二高通圖像，并在加法器70的輸出處輸出第二級(jí)的第一和第二低通圖 像。此外，圖3的編碼器包括第三級(jí)和第四級(jí)，其中，將16個(gè)圖像的組饋入第四級(jí)輸入 64。在也被稱為HP4的第四級(jí)高通輸出72處，輸出用量化參數(shù)Q量化且相應(yīng)處理的八個(gè)高 通圖像。相應(yīng)地，在第四濾波器級(jí)的低通輸出73處，輸出八個(gè)低通圖像，這八個(gè)低通圖像饋 入第三濾波器級(jí)的輸入74。該級(jí)同樣用于在也被稱為HP3的高通輸出75處產(chǎn)生四個(gè)高通 圖像，并在低通輸出76處產(chǎn)生四個(gè)低通圖像，這四個(gè)低通圖像饋入第二濾波器級(jí)的輸入10 并被分解。特別地，應(yīng)該注意，由濾波器級(jí)處理的圖像組并不一定必須是來源于原始視頻序 列的視頻圖像，而可以是由下一更高濾波器級(jí)在濾波器級(jí)的低通輸出處輸出的低通圖像。此外，還應(yīng)該注意，當(dāng)簡(jiǎn)單地省略第四濾波器級(jí)并將圖像組饋入輸入74時(shí)，圖3所 示針對(duì)16個(gè)圖像的編碼器概念可容易地減少為針對(duì)八個(gè)圖像。以相同的方式，可通過添加 第五濾波器級(jí)、然后在第五濾波器級(jí)的高通輸出處輸出16個(gè)高通圖像、并將第五濾波器級(jí) 的輸出處的十六個(gè)低通圖像饋入第四濾波器級(jí)的輸入74，將圖3所示的概念擴(kuò)展為針對(duì)32 圖像組。編碼器一側(cè)的樹式概念同樣適用于解碼器一側(cè)，但是不像編碼器一側(cè)一樣從高級(jí) 到低級(jí)，而是在解碼器一側(cè)從低級(jí)到高級(jí)。因此，示意地被稱為網(wǎng)絡(luò)抽象層100的從傳輸介 質(zhì)接收數(shù)據(jù)流，所接收的比特流首先經(jīng)過另一逆處理裝置的另一逆處理，在裝置30a的輸 出處獲得第一級(jí)的第一高通圖像的重構(gòu)版本，并在圖3的塊30b的輸出處獲得第一級(jí)低通 圖像的重構(gòu)版本。然后，與圖4的右半部相同，經(jīng)由預(yù)測(cè)器61，首先將前向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)反 轉(zhuǎn)，然后從低通信號(hào)的重構(gòu)版本中減去預(yù)測(cè)器61的輸出信號(hào)(減法器101)。減法器101的輸出信號(hào)饋入后向補(bǔ)償預(yù)測(cè)器60，產(chǎn)生預(yù)測(cè)結(jié)果，在加法器102中 將預(yù)測(cè)結(jié)果與高通圖像的重構(gòu)版本相加。然后，通過使用上采樣器l(Ma、104b，使兩個(gè)信號(hào) (即下分支103a、上分支10 中的信號(hào))變?yōu)殡p倍采樣率，然后根據(jù)實(shí)現(xiàn)方式，使上分支的 信號(hào)延遲或“加速”。應(yīng)該注意，僅通過插入與圖像的采樣數(shù)相對(duì)應(yīng)的數(shù)目的零，由橋104a、 104b來執(zhí)行上采樣。以z-1示出的單元使上分支10 相對(duì)于下分支103a的圖像延遲移動(dòng) 使得兩個(gè)第二級(jí)低通圖像依次出現(xiàn)在相對(duì)于加法器106的輸出側(cè)。
第一和第二第二級(jí)低通圖像的重構(gòu)版本然后饋入解碼器一側(cè)的第二級(jí)逆濾波器， 通過逆濾波器組的相同實(shí)現(xiàn)，再次與發(fā)送的第二級(jí)高通圖像組合，在第二級(jí)的輸出101處 獲得四個(gè)第三級(jí)低通圖像序列。四個(gè)第三級(jí)低通圖像然后在第三級(jí)的逆濾波器級(jí)中與發(fā)送 的第三級(jí)高通圖像組合，在逆第三級(jí)濾波器的輸出110處獲得序列格式的八個(gè)第四級(jí)低通 圖像。在逆第四級(jí)濾波器中，這八個(gè)第四級(jí)低通圖像再次與經(jīng)由輸入HP4從傳輸介質(zhì)100接 收的八個(gè)第四級(jí)高通圖像組合，在逆第四級(jí)濾波器的輸出112處獲得16個(gè)圖像的重構(gòu)組。因此，在分析濾波器組的每一級(jí)中，將兩個(gè)圖像(原始圖像或者表示低通信號(hào)并 在下一更高級(jí)中產(chǎn)生的圖像)分解為低通信號(hào)和高通信號(hào)。低通信號(hào)可以當(dāng)作輸入圖像的 共有特性的表征，而高通信號(hào)可當(dāng)作輸入圖像之間的差異的表征。在合成濾波器組的相應(yīng) 級(jí)中，通過使用低通信號(hào)和高通信號(hào)，再次重構(gòu)兩個(gè)輸入圖像。由于在合成步驟中執(zhí)行分析步驟的逆運(yùn)算，所以分析/合成濾波器組(當(dāng)然沒有 量化)確保了理想的重構(gòu)。損耗僅發(fā)生在其它處理裝置中的量化中，例如^aJ6b、18。如果非常精精細(xì)地執(zhí) 行量化，則可實(shí)現(xiàn)良好的信噪比。然而，如果非常粗略地執(zhí)行量化，則實(shí)現(xiàn)相對(duì)差的信噪比， 但是具有低的比特率，即要求低。沒有SNR可縮放性，利用圖3所示的概念，已經(jīng)實(shí)現(xiàn)了時(shí)間縮放控制。因此，使用 時(shí)間縮放控制120，其形成為在輸入側(cè)分別獲得高通和低通輸出以及其它處理裝置Q6a、 26bU8,…)的輸出，以從這些部分?jǐn)?shù)據(jù)流TPl、HPl、HP2、HP3、HP4中產(chǎn)生縮放的數(shù)據(jù)流， 該縮放的數(shù)據(jù)流具有基本縮放層的第一低通圖像和第一高通圖像。然后，第二高通圖像的 處理版本容納在第一增強(qiáng)縮放層中。第三級(jí)高通圖像的處理版本會(huì)被容納在第二增強(qiáng)縮放 層中，而第四級(jí)高通圖像的處理版本會(huì)被引入第三增強(qiáng)縮放層。因此，僅根據(jù)基本縮放層， 解碼器可產(chǎn)生具有較低時(shí)間質(zhì)量的低級(jí)低通圖像序列，即每個(gè)圖像組的兩個(gè)第一級(jí)低通圖 像。隨著每個(gè)增強(qiáng)縮放層的添加，可一直使每組的重構(gòu)圖像數(shù)目翻倍。解碼器的功能典型 地由縮放控制來控制，縮放控制形成為檢測(cè)在數(shù)據(jù)流中包含多少縮放層以及解碼器在解碼 期間要考慮多少縮放層。Heiko Schwarz,Detlev Marpe and Thomas Wiegand^ 2003 ^Ξ 12 ^ 8 HM 12 H 在Waikoloa Hawaii 的第十屆 JVT會(huì)議中介紹的題為“SNRIcalable Extension of H. 264/ AVC”的JVT文獻(xiàn)JVT-J 035示出了圖3和圖4所示的時(shí)間分解方案的SNR可縮放擴(kuò)展。具 體地，將時(shí)間縮放層劃分為各個(gè)“SNR縮放子層”，其中，用第一粗量化器步長(zhǎng)來量化某個(gè)時(shí) 間縮放層，來獲得SNR基本層。然后，執(zhí)行逆量化，并從原始信號(hào)中減去逆量化的結(jié)果信號(hào)， 獲得差值信號(hào)，然后用細(xì)量化器步長(zhǎng)對(duì)差值信號(hào)進(jìn)行量化，獲得第二縮放層。然而，用細(xì)量 化器步長(zhǎng)對(duì)第二縮放層進(jìn)行再次量化，從原始信號(hào)中減去再次量化后獲得的信號(hào)，獲得另 一差值信號(hào)，在用細(xì)量化器步長(zhǎng)進(jìn)行量化之后，該差值信號(hào)分別表示第二 SNR縮放層和SNR 增強(qiáng)層。因此，可以發(fā)現(xiàn)，基于運(yùn)動(dòng)步長(zhǎng)時(shí)間濾波(MCTF)的上述可縮放性方案已經(jīng)提供了 關(guān)于時(shí)間可縮放性以及SNR可縮放性的高度靈活性。但是還有一個(gè)問題，即多個(gè)縮放層的 總比特率仍然遠(yuǎn)大于在不能夠縮放的情況下編碼最高質(zhì)量的圖像時(shí)所實(shí)現(xiàn)的比特率。由于 不同縮放層的輔助信息，可縮放的編碼器也許永遠(yuǎn)不能夠獲得未縮放情況下的比特率。然 而，具有多個(gè)縮放層的數(shù)據(jù)流的比特率應(yīng)該盡可能地接近未縮放情況的比特率。
此外，可縮放性概念應(yīng)該對(duì)于所有可縮放性類型都提供高度靈活性，這意味著關(guān) 于時(shí)間和空間的高度靈活性以及關(guān)于SNR的高度靈活性。在具有低分辨率的圖像已足夠但是希望更高時(shí)間分辨率的情況下，高靈活性尤其 重要。例如，當(dāng)圖像中存在快速改變，例如在團(tuán)體性運(yùn)動(dòng)的視頻中，除了球之外，還有許多人 同時(shí)運(yùn)動(dòng)時(shí)，會(huì)產(chǎn)生這種情況。已有可縮放性概念的另一缺點(diǎn)是它們針對(duì)所有縮放層使用相同的運(yùn)動(dòng)數(shù)據(jù)，這限 制了可縮放性的靈活性，或者分別導(dǎo)致非最佳的運(yùn)動(dòng)預(yù)測(cè)以及運(yùn)動(dòng)預(yù)測(cè)的殘留信號(hào)增加。另一方面，兩個(gè)不同縮放層的完全不同運(yùn)動(dòng)數(shù)據(jù)的傳輸導(dǎo)致大量開銷，尤其是在 考慮相對(duì)較低的SNR縮放層時(shí)，其中，相對(duì)粗略地執(zhí)行了量化，而整個(gè)比特流中的運(yùn)動(dòng)數(shù)據(jù) 部分變得顯著。因此，由附加比特率來補(bǔ)償靈活的可縮放性概念，其中不同的運(yùn)動(dòng)數(shù)據(jù)和不 同的縮放層變?yōu)榭赡埽沁@對(duì)于所有努力都是致力于減小比特率的事實(shí)尤其不利。此外， 用于傳輸運(yùn)動(dòng)數(shù)據(jù)的附加比特與運(yùn)動(dòng)預(yù)測(cè)殘留值的比特相比，在較低縮放層中尤其突出。 然而，精確地說，由于在較低縮放層中，致力于獲得充分可接受的質(zhì)量，即至少使用充分合 理的量化參數(shù)，同時(shí)致力于獲得較低比特率，所以這是尤其惱人的。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種提供較低數(shù)據(jù)率并仍然顯示出靈活性的可縮放的視頻 編碼器系統(tǒng)的概念。該目的由根據(jù)權(quán)利要求1的用于產(chǎn)生編碼的視頻序列的設(shè)備、根據(jù)權(quán)利要求15的 用于產(chǎn)生編碼的視頻虛夸列的方法、根據(jù)權(quán)利要求16的用于對(duì)編碼的視頻序列進(jìn)行解碼 的設(shè)備、根據(jù)權(quán)利要求21的用于對(duì)編碼的視頻序列進(jìn)行解碼的方法、根據(jù)權(quán)利要求22的計(jì) 算機(jī)程序或者根據(jù)權(quán)利要求23的計(jì)算機(jī)可讀介質(zhì)來實(shí)現(xiàn)。本發(fā)明基于以下認(rèn)識(shí)關(guān)于不同SNR或空間縮放層，通過在增強(qiáng)縮放層的增強(qiáng)運(yùn) 動(dòng)補(bǔ)償中的增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)的計(jì)算中使用基本運(yùn)動(dòng)數(shù)據(jù)，節(jié)約了數(shù)據(jù)率，同時(shí)具有靈活性。因 此，根據(jù)本發(fā)明，在增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)的計(jì)算中，并不是沒有基本層的運(yùn)動(dòng)數(shù)據(jù)，而是將基本層 的運(yùn)動(dòng)數(shù)據(jù)并入計(jì)算中。這里，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，使用自適應(yīng)概念，即對(duì)于圖像的不同塊，可以不 同方式考慮基本運(yùn)動(dòng)數(shù)據(jù)，并且對(duì)于一個(gè)塊，當(dāng)預(yù)測(cè)沒有減少數(shù)據(jù)時(shí)，完全可省略利用基本 運(yùn)動(dòng)數(shù)據(jù)作為預(yù)測(cè)器的增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)。以具有與塊相關(guān)聯(lián)且指示給解碼器的信號(hào)標(biāo) 志信息的比特流，來傳輸是否使用基本運(yùn)動(dòng)數(shù)據(jù)而執(zhí)行了增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)以及預(yù)測(cè)的類 型。因而，解碼器能夠借助于在解碼器中已經(jīng)重構(gòu)的基本運(yùn)動(dòng)數(shù)據(jù)來重構(gòu)塊的運(yùn)動(dòng)數(shù)據(jù)，其 中，必須借助并且借助的方式由逐個(gè)塊傳輸?shù)谋忍亓髦械男盘?hào)標(biāo)志信息表示。取決于實(shí)現(xiàn)方式，可在增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)的實(shí)際計(jì)算中考慮基本運(yùn)動(dòng)數(shù)據(jù)，增強(qiáng)運(yùn)動(dòng) 數(shù)據(jù)隨后可由增強(qiáng)運(yùn)動(dòng)補(bǔ)償器使用。然而，根據(jù)本發(fā)明，還優(yōu)選地與基本運(yùn)動(dòng)數(shù)據(jù)無關(guān)地， 計(jì)算增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)，僅在對(duì)增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行后處理以獲得實(shí)際傳輸?shù)皆鰪?qiáng)圖像編碼器的 增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)時(shí)使用基本運(yùn)動(dòng)數(shù)據(jù)。因此，根據(jù)本發(fā)明，在高靈敏度方面，執(zhí)行增強(qiáng)運(yùn)動(dòng)數(shù) 據(jù)的獨(dú)立計(jì)算，其中，對(duì)于編碼器一側(cè)的運(yùn)動(dòng)預(yù)測(cè)，與從基本運(yùn)動(dòng)數(shù)據(jù)計(jì)算出的增強(qiáng)運(yùn)動(dòng)數(shù) 據(jù)無關(guān)地使用增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)，而基本運(yùn)動(dòng)數(shù)據(jù)僅用于計(jì)算任意類型的殘留信號(hào)，以減少傳 輸增強(qiáng)運(yùn)動(dòng)矢量所需的比特。
在本發(fā)明的優(yōu)選實(shí)施例中，由中間層殘留值預(yù)測(cè)來補(bǔ)充運(yùn)動(dòng)數(shù)據(jù)中間層預(yù)測(cè)，以 在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的殘留值中盡可能好地利用不同縮放層之間的冗余，并將冗余用于減小數(shù) 據(jù)率。在本發(fā)明的優(yōu)選實(shí)施例中，通過在縮放層中執(zhí)行的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，還在較低層 (例如基本層)到較高層(例如增強(qiáng)層)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)之后，利用殘留圖像的中間縮放層 預(yù)測(cè)，來獲得比特率減小?？梢园l(fā)現(xiàn)，在相同的時(shí)間縮放層中，優(yōu)選地關(guān)于分辨率和關(guān)于信噪比(SNR)而縮 放的單獨(dú)考慮的其它縮放層的殘留值也在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)之后的殘留值之間具有相關(guān)性。根 據(jù)本發(fā)明，有利地在針對(duì)增強(qiáng)縮放層，在編碼器一側(cè)設(shè)置與解碼器一側(cè)的中間層組合器相 對(duì)應(yīng)的中間層預(yù)測(cè)器的情況下使用這些相關(guān)性。優(yōu)選地，自適應(yīng)地設(shè)置該中間層預(yù)測(cè)器，以 便針對(duì)每個(gè)宏塊，判決中間層預(yù)測(cè)是否值得，或者預(yù)測(cè)會(huì)導(dǎo)致比特率增加。在關(guān)于后繼的熵 編碼器，預(yù)測(cè)殘留信號(hào)大于增強(qiáng)層的原始運(yùn)動(dòng)補(bǔ)償殘留信號(hào)時(shí)，會(huì)出現(xiàn)后一種情況。然而， 多數(shù)情況下不會(huì)發(fā)生這種情況，因此激活中間層預(yù)測(cè)器，并顯著地減小比特率。


現(xiàn)在參考附圖來解釋本發(fā)明的優(yōu)選實(shí)施例，其中圖Ia是本發(fā)明的編碼器的優(yōu)選實(shí)施例；圖Ib是圖Ia的基本圖像編碼器的細(xì)節(jié)表示；圖Ic是中間層預(yù)測(cè)標(biāo)志的功能的討論；圖Id是運(yùn)動(dòng)數(shù)據(jù)標(biāo)志的描述；圖Ie是圖Ia的增強(qiáng)運(yùn)動(dòng)補(bǔ)償器的優(yōu)選實(shí)施方式；圖If是圖2的增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)確定裝置1078的優(yōu)選實(shí)施方式；圖Ig是用于計(jì)算增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)和如果需要?jiǎng)t為了信號(hào)通知和殘留數(shù)據(jù)傳輸而進(jìn) 行的增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)處理的三個(gè)優(yōu)選實(shí)施例的整體表示；圖2是本發(fā)明解碼器的優(yōu)選實(shí)施例；圖3是具有四極的解碼器的方框圖；圖4是示出了時(shí)間子帶濾波器組的提升分解的方框圖；圖fe是圖4所示的提升方案的功能的表示；圖恥是單向預(yù)測(cè)(hair小波)和雙向預(yù)測(cè)(5/3變換)的兩個(gè)優(yōu)選提升規(guī)定的表 示；圖5c是用于任意選擇要由提升方案處理的兩個(gè)圖像的具有運(yùn)動(dòng)步長(zhǎng)和參考標(biāo)記 的預(yù)測(cè)和更新算子的優(yōu)選實(shí)施例；圖5d是可逐個(gè)宏塊將原始圖像信息插入高通圖像的幀內(nèi)模式的表示；圖6a是用于信號(hào)通知宏塊模式的示意表示；圖6b是根據(jù)本發(fā)明優(yōu)選實(shí)施例，用于以空間可縮放性來對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行上采樣 的示意表示；圖6c是運(yùn)動(dòng)矢量差的數(shù)據(jù)流語法的示意表示；圖6d是根據(jù)本發(fā)明優(yōu)選實(shí)施例的殘留值語法增強(qiáng)的示意表示；圖7是例如8個(gè)圖像的圖像組的時(shí)間移位的整體視圖8是16個(gè)圖像的圖像組的低通圖像的優(yōu)選時(shí)間設(shè)置；圖9是根據(jù)針對(duì)宏塊的標(biāo)準(zhǔn)H. ^4/AVC，示出了編碼器的基本編碼器結(jié)構(gòu)的整體 框圖；圖10是包括分別在當(dāng)前語法單元C的左邊和上邊的兩個(gè)相鄰象素單元A和B的 環(huán)境設(shè)置；以及圖11是圖像分為片的劃分的表示。
具體實(shí)施例方式圖Ia示出了用于產(chǎn)生編碼的視頻序列的設(shè)備的優(yōu)選實(shí)施例，該視頻序列具有基 本縮放層和增強(qiáng)縮放層。具有8、16或任意數(shù)目圖像的圖像組的原始視頻序列饋入輸入 1000。在輸出側(cè)，編碼的視頻序列包含基本縮放層1002和增強(qiáng)縮放層1004。增強(qiáng)縮放層 1004和基本縮放層1002可提供給比特流復(fù)用器，該復(fù)用器在輸出側(cè)產(chǎn)生單個(gè)可縮放的比 特流。然而，取決于實(shí)施方式，兩個(gè)縮放層的分離傳輸也是可以的，并且在一些情況下是有 用的。圖Ia示出了用于產(chǎn)生基本縮放層和增強(qiáng)縮放層這兩個(gè)縮放層的編碼器。為了獲得 編碼器，如果需要，則產(chǎn)生一個(gè)或多個(gè)其它增強(qiáng)層，重復(fù)增強(qiáng)縮放層的功能，其中，總是由緊 接的更低的增強(qiáng)縮放層給更高增強(qiáng)縮放層提供數(shù)據(jù)，如圖1所示，由基本縮放層1002給增 強(qiáng)縮放層1004提供數(shù)據(jù)。在詳細(xì)參考諸如SNR可縮放性或空間可縮放性或者空間和SNR可縮放性的組合可 縮放性之類的不同縮放類型之前，首先來示出本發(fā)明的基本原理。首先，編碼器包括基本運(yùn) 動(dòng)補(bǔ)償器或基本運(yùn)動(dòng)估計(jì)器1006，用于計(jì)算基本運(yùn)動(dòng)數(shù)據(jù)，基本運(yùn)動(dòng)數(shù)據(jù)表示宏塊在當(dāng)前 圖像中相對(duì)于基本運(yùn)動(dòng)補(bǔ)償器1006在輸入側(cè)獲得的圖像組中另一圖像怎樣運(yùn)動(dòng)。已知用 于計(jì)算運(yùn)動(dòng)數(shù)據(jù)的技術(shù)，尤其是用于計(jì)算宏塊的運(yùn)動(dòng)矢量的技術(shù)，宏塊是數(shù)字視頻圖像中 的象素區(qū)域。優(yōu)選地，如在視頻編碼標(biāo)準(zhǔn)H. ^4/AVC標(biāo)準(zhǔn)化一樣，使用運(yùn)動(dòng)補(bǔ)償計(jì)算。因而， 考慮后一圖像的宏塊，并確定宏塊相對(duì)于前一圖像怎樣“運(yùn)動(dòng)”。該運(yùn)動(dòng)(在xy方向)由二 維運(yùn)動(dòng)矢量表示，該矢量是由塊1006針對(duì)每個(gè)宏塊計(jì)算的，并經(jīng)由運(yùn)動(dòng)數(shù)據(jù)線1008提供給 基本圖像編碼器1010。然后，針對(duì)下一圖像來計(jì)算宏塊怎樣從前一圖像運(yùn)動(dòng)到下一圖像。在一種實(shí)施方式中，在某種程度上表示從第二到第三圖像的運(yùn)動(dòng)的新的運(yùn)動(dòng)矢量 可再次作為二位矢量來傳輸。然而，為了效率的原因，優(yōu)選地僅傳輸運(yùn)動(dòng)矢量差，運(yùn)動(dòng)矢量 差表示宏塊從第二到第三圖像的運(yùn)動(dòng)矢量與宏塊從第一到第二圖像的運(yùn)動(dòng)矢量之間的差。 可選地，還可使用并不是參考緊接的先前圖像而是參考其它先前圖像的運(yùn)動(dòng)矢量差。然后將塊1006所計(jì)算的運(yùn)動(dòng)數(shù)據(jù)提供給基本運(yùn)動(dòng)預(yù)測(cè)器1012，基本運(yùn)動(dòng)預(yù)測(cè)器 1012設(shè)計(jì)用于使用運(yùn)動(dòng)數(shù)據(jù)和圖像組來計(jì)算殘差圖像的基本序列。因此，基本運(yùn)動(dòng)預(yù)測(cè)器 執(zhí)行運(yùn)動(dòng)補(bǔ)償。在某種程度上，分別由運(yùn)動(dòng)補(bǔ)償器和運(yùn)動(dòng)估計(jì)器進(jìn)行運(yùn)動(dòng)補(bǔ)償。然后將殘 差圖像的基本序列提供給基本圖像編碼器?；緢D像編碼器形成為在其輸出處提供基本縮 放層1002。此外，本發(fā)明的編碼器包括增強(qiáng)運(yùn)動(dòng)補(bǔ)償器或增強(qiáng)運(yùn)動(dòng)估計(jì)器1014，用于檢測(cè)增 強(qiáng)運(yùn)動(dòng)數(shù)據(jù)。將這些增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)提供給增強(qiáng)運(yùn)算預(yù)測(cè)器1016，增強(qiáng)運(yùn)動(dòng)預(yù)測(cè)器1016在輸 出側(cè)產(chǎn)生殘差圖像的增強(qiáng)序列，并將增強(qiáng)序列提供給下游的中間層預(yù)測(cè)器1018。因此，增強(qiáng) 運(yùn)動(dòng)預(yù)測(cè)器執(zhí)行運(yùn)動(dòng)補(bǔ)償，在某種程度上，分別由運(yùn)動(dòng)補(bǔ)償器和運(yùn)動(dòng)估計(jì)器來進(jìn)行運(yùn)動(dòng)補(bǔ)
中間層預(yù)測(cè)器形成為計(jì)算輸出側(cè)的增強(qiáng)預(yù)測(cè)殘差圖像。取決于實(shí)現(xiàn)方式，除了從 塊1016獲得的數(shù)據(jù)，即殘差圖像的增強(qiáng)序列之外，中間層預(yù)測(cè)器還使用經(jīng)由點(diǎn)狀的旁路線 1020由塊1012提供的殘差圖像的基本序列。可選地，塊1018還使用在塊1012的輸出處提 供并由插值器1022插值的殘差圖像的插值序列。此外，可選地，中間層預(yù)測(cè)器還可在基本 圖像編碼器1010的輸出IOM處提供殘差圖像的重構(gòu)基本序列。從圖Ia可見，該殘差圖像 的重構(gòu)基本序列可以是插值1022的，或者未插值1020的。因此，通常，中間層預(yù)測(cè)器使用 殘差圖像的基本序列來工作，其中，例如，通過塊1012的輸出處的殘差圖像的基本序列的 重構(gòu)或插值，來得到中間層預(yù)測(cè)器輸入10 處的信息。在中間層預(yù)測(cè)器1018的下游是增強(qiáng)圖像編碼器10 ，增強(qiáng)圖像編碼器10 形成 為對(duì)增強(qiáng)預(yù)測(cè)殘差圖像進(jìn)行編碼以獲得編碼的增強(qiáng)縮放層1004。在本發(fā)明的優(yōu)選實(shí)施例中，中間層預(yù)測(cè)器形成為從中間層預(yù)測(cè)器1018從增強(qiáng)運(yùn) 動(dòng)預(yù)測(cè)器1016獲得的各個(gè)信號(hào)中逐個(gè)宏塊且逐個(gè)圖像地減去在其輸出10 處的信號(hào)。在 該減法中獲得的結(jié)果信號(hào)表示增強(qiáng)預(yù)測(cè)殘差圖像的圖像的宏塊。在本發(fā)明的優(yōu)選實(shí)施例中，自適應(yīng)地形成中間層預(yù)測(cè)器。對(duì)于每個(gè)宏塊，提供中間 層預(yù)測(cè)標(biāo)志1030，該標(biāo)志1030表示中間層預(yù)測(cè)器必須執(zhí)行預(yù)測(cè)，或者在另一狀態(tài)下表示不 必執(zhí)行預(yù)測(cè)，但是要將增強(qiáng)運(yùn)動(dòng)預(yù)測(cè)器1016的輸出處的相應(yīng)宏塊在沒有預(yù)測(cè)的情況下提 供給增強(qiáng)圖像編碼器1(^8。該自適應(yīng)的實(shí)現(xiàn)方式具有以下優(yōu)點(diǎn)中間層預(yù)測(cè)僅在有用時(shí)才 執(zhí)行，即在與未執(zhí)行中間層預(yù)測(cè)、而直接對(duì)增強(qiáng)運(yùn)動(dòng)預(yù)測(cè)器1016的輸出數(shù)據(jù)進(jìn)行編碼的情 況相比預(yù)測(cè)殘留信號(hào)導(dǎo)致較低輸出圖像速率的情況下才執(zhí)行中間層預(yù)測(cè)。在空間可縮放性的情況下，抽取器1032設(shè)置在增強(qiáng)縮放層和基本縮放層之間，形 成為將在其輸入處的具有某種空間分辨率的視頻序列轉(zhuǎn)換為在其輸出處的具有較低分辨 率的視頻序列。如果想要完全的SNR可縮放性，則意味著如果兩個(gè)縮放層的基本圖像編碼 器1010和10 分別利用不同的量化參數(shù)1034和1036進(jìn)行操作，則不設(shè)置抽取器1032。 這在圖Ia中通過旁路線1038示意地示出了。此外，在空間可縮放性的情況下，必須設(shè)置插值器1022。在完全的SNR可縮放性的 情況下，不設(shè)置插值器1022。而是，采用旁路線1020，如圖Ia所示。在一個(gè)實(shí)施方式中，增強(qiáng)運(yùn)動(dòng)補(bǔ)償器1014形成為完整地計(jì)算各個(gè)運(yùn)動(dòng)場(chǎng)，或者直 接或在上采樣器1042的上采樣之后，使用基本運(yùn)動(dòng)補(bǔ)償器1006所計(jì)算的運(yùn)動(dòng)場(chǎng)(旁路線 1040)。在空間可縮放性的情況下，必須設(shè)置上采樣器1042，將基本運(yùn)動(dòng)數(shù)據(jù)的運(yùn)動(dòng)矢量上 采樣到更高的分辨率，即縮放。如果增加分辨率是基本分辨率的高和寬的兩倍，則增強(qiáng)層中 的宏塊(16X16亮度采樣)覆蓋與基本層中的子宏塊(8X8亮度采樣)相對(duì)應(yīng)的圖像區(qū)域。因此，為了能夠使用增強(qiáng)縮放層的宏塊的基本運(yùn)動(dòng)矢量，使基本運(yùn)動(dòng)矢量的χ分 量和y分量加倍，即以因子2進(jìn)行縮放。這將參考圖6b詳細(xì)進(jìn)行討論。然而，如果只有SNR可縮放性，則對(duì)于所有縮放層而言運(yùn)動(dòng)場(chǎng)都是相同的。因此， 僅必須計(jì)算一次，并可在低縮放層計(jì)算之后，由每個(gè)更高縮放層直接使用。對(duì)于中間層預(yù)測(cè)，也可使用基本運(yùn)動(dòng)預(yù)測(cè)1012的輸出處的信號(hào)。可選地，可使用 線IOM上的重構(gòu)信號(hào)。由開關(guān)1044來選擇這兩個(gè)信號(hào)中的哪一個(gè)用于預(yù)測(cè)。線IOM上 的信號(hào)與塊1012的輸出處的信號(hào)的不同之處在于，該信號(hào)已經(jīng)經(jīng)過了量化。這意味著線IOM上的信號(hào)與塊1012的輸出處的信號(hào)相比具有量化誤差。對(duì)于中間層預(yù)測(cè)而選擇性地 使用線IOM上的信號(hào)在單獨(dú)使用SNR可縮放性或結(jié)合空間可縮放性使用SNR可縮放性時(shí) 尤其有用，因?yàn)閴K1018處的輸出信號(hào)包含由第一縮放層產(chǎn)生的量化誤差，然后在輸入1036 處由增強(qiáng)圖像編碼器以典型的細(xì)量化器步長(zhǎng)和改變的量化參數(shù)2進(jìn)行量化，然后寫入增強(qiáng) 縮放層1004，所以由基本圖像編碼器1010所產(chǎn)生的量化誤差將“伴隨”到更高縮放層。與中間層預(yù)測(cè)標(biāo)志1030類似地，將運(yùn)動(dòng)數(shù)據(jù)標(biāo)志1048饋入圖像編碼器，因此與此 有關(guān)的相應(yīng)信息包含在增強(qiáng)縮放層1004中，然后由解碼器使用，下面將參考圖2來進(jìn)行討 論。如果使用理想空間可縮放性，可使用基本運(yùn)動(dòng)預(yù)測(cè)器1012的輸出信號(hào)，即殘差圖 像的基本序列，代替基本殘差圖像的重構(gòu)序列。基于實(shí)現(xiàn)方式，可手動(dòng)地或基于預(yù)測(cè)效益函數(shù)(prediction benefitfunction)來 進(jìn)行該開關(guān)的控制。這里，應(yīng)該注意，優(yōu)選地，自適應(yīng)地設(shè)計(jì)所有預(yù)測(cè)，即運(yùn)動(dòng)預(yù)測(cè)、增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè) 和中間層殘留值預(yù)測(cè)。這意味著例如對(duì)于殘差圖像的基本序列的圖像中的每個(gè)宏塊或子宏 塊，并不一定要有運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)殘留值。因此，盡管被稱為“殘差圖像”，殘差圖像的基本序 列的圖像還可分別包含未預(yù)測(cè)的宏塊和子宏塊。當(dāng)圖像中出現(xiàn)新的對(duì)象時(shí)會(huì)發(fā)生這種情 況。這里，由于預(yù)測(cè)殘留信號(hào)變得大于圖像中的原始信號(hào)，所以運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)無用。在這種 情況下，在塊1016中的增強(qiáng)運(yùn)動(dòng)預(yù)測(cè)中，將停用針對(duì)該塊(例如宏塊或子宏塊)的預(yù)測(cè)算 子和最終的更新算子。此外，為了清楚，提到了殘差圖像的基本序列，但是也許僅僅殘差圖像的基本序列 的單個(gè)殘差圖像具有單個(gè)實(shí)際上包括運(yùn)動(dòng)預(yù)測(cè)殘留信號(hào)的塊。然而，在典型的應(yīng)用中，每個(gè) 殘差圖像實(shí)際上包含大量具有運(yùn)動(dòng)預(yù)測(cè)殘留信號(hào)的塊。在本發(fā)明中，這同樣應(yīng)用于殘差圖像的增強(qiáng)序列。因而，增強(qiáng)層的情況與基本層 的情況類似。因此，在本發(fā)明中，殘差圖像的增強(qiáng)序列是圖像序列，其中，在極限情況下，僅 僅單個(gè)“殘差圖像”的單個(gè)塊具有運(yùn)動(dòng)預(yù)測(cè)殘留值，而在該圖像的所有其它塊以及所有其它 “殘差圖像”中，由于對(duì)于所有這些圖像/塊，已經(jīng)停用了運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、如果不必要的話還 有運(yùn)動(dòng)補(bǔ)償更新，所以實(shí)際上不存在殘留誤差。根據(jù)本發(fā)明，這同樣適用于計(jì)算增強(qiáng)預(yù)測(cè)殘差圖像的中間層預(yù)測(cè)器。典型地，增強(qiáng) 預(yù)測(cè)殘差圖像出現(xiàn)在序列中。然而，優(yōu)選地，自適應(yīng)地形成中間層預(yù)測(cè)器。例如，如果發(fā)現(xiàn) 從基本層到增強(qiáng)層的基本層的殘留數(shù)據(jù)預(yù)測(cè)僅對(duì)于單個(gè)“殘差圖像”的單個(gè)塊有用，而對(duì)于 該圖像的所有其它塊、甚至對(duì)于增強(qiáng)預(yù)測(cè)殘差圖像的序列的其它圖像，停用中間層殘留數(shù) 據(jù)預(yù)測(cè)，則在本發(fā)明上下文中，為了清楚，將該序列稱為增強(qiáng)預(yù)測(cè)殘差圖像。在這點(diǎn)上，應(yīng)該 注意，當(dāng)在基本層中的殘差圖像的相應(yīng)塊中，已經(jīng)計(jì)算了運(yùn)動(dòng)補(bǔ)償殘留值，并且對(duì)于與該塊 相對(duì)應(yīng)的塊(例如在相同的χ、y位置)，在增強(qiáng)序列的殘差圖像中已經(jīng)執(zhí)行了運(yùn)動(dòng)補(bǔ)償預(yù) 測(cè)時(shí)，中間層預(yù)測(cè)器可僅預(yù)測(cè)殘留數(shù)據(jù)，因此，在該塊中，由于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，在增強(qiáng)層中存 在殘差。僅在所考慮的兩個(gè)塊中均存在實(shí)際的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)殘留值時(shí)，中間層預(yù)測(cè)器才優(yōu) 選地變?yōu)榛顒?dòng)的，來使用基本層的圖像中的殘差值的塊作為增強(qiáng)層的圖像中的殘差值的塊 的預(yù)測(cè)器，然后僅向增強(qiáng)圖像編碼器發(fā)送該預(yù)測(cè)的殘留值，即，所考慮的圖像的該塊中的增 強(qiáng)預(yù)測(cè)殘差數(shù)據(jù)。
下面，參考圖Ib來分別討論基本圖像編碼器100或增強(qiáng)圖像編碼器10 和任意 圖像編碼器的詳細(xì)視圖。在輸入側(cè)，圖像編碼器接收殘差圖像組并逐個(gè)宏塊地將其提供給 變換器1050。然后在塊1052中對(duì)變換的宏塊進(jìn)行縮放，并使用量化參數(shù)1034、1036、...來 量化。在塊1052的輸出處，輸出所用的量化參數(shù)，即宏塊的所用量化器步長(zhǎng)以及宏塊的 頻譜值的量化指標(biāo)。然后將該信息提供給圖Ib中未示出的熵編碼器級(jí)，熵編碼器級(jí)包括 Huffman編碼器或優(yōu)選地包括運(yùn)算編碼器，其根據(jù)H. 264/AVC,利用已知的CABAC概念來工 作。還將裝置1052的輸出信號(hào)提供給塊1054，塊IOM執(zhí)行逆縮放和重新量化，以將量化指 標(biāo)和量化參數(shù)再次轉(zhuǎn)換為數(shù)字值，然后將數(shù)字值提供給塊1056的逆變換，以獲得重構(gòu)的殘 差圖像組，現(xiàn)在，與原始的殘差圖像組相比，在變換塊1050的輸入處存在量化誤差，量化誤 差取決于量化參數(shù)和量化器步長(zhǎng)。取決于開關(guān)1044的控制，將一個(gè)信號(hào)或另一個(gè)信號(hào)提供 給插值器1022或中間層預(yù)測(cè)器1018，以便執(zhí)行本發(fā)明的殘留值預(yù)測(cè)。圖Ic示出了中間層預(yù)測(cè)器標(biāo)志1030的簡(jiǎn)單實(shí)現(xiàn)方式。如果中間層預(yù)測(cè)標(biāo)志置位， 則激活中間層預(yù)測(cè)器1018。然而，如果該標(biāo)志未置位，則停用中間層預(yù)測(cè)器，從而針對(duì)該宏 塊或從屬于該宏塊的子宏塊來執(zhí)行同時(shí)的操作。原因也許是預(yù)測(cè)的編碼器增益實(shí)際上是編 碼器損耗，這意味著在塊1016的輸出處的相應(yīng)宏塊的傳輸在隨后的熵編碼中提供了比使 用預(yù)測(cè)殘留值更好的編碼器增益。圖Id示出了運(yùn)動(dòng)數(shù)據(jù)標(biāo)志1048的簡(jiǎn)單實(shí)現(xiàn)方式。如果標(biāo)志置位，則從基本層的上 采樣運(yùn)動(dòng)數(shù)據(jù)中得到增強(qiáng)層的運(yùn)動(dòng)數(shù)據(jù)。在SNR可縮放性的情況下，不需要上采樣器1042。 這里，當(dāng)標(biāo)志1048置位時(shí)，可直接從基本運(yùn)動(dòng)數(shù)據(jù)中得到增強(qiáng)層的運(yùn)動(dòng)數(shù)據(jù)。應(yīng)該注意， 該運(yùn)動(dòng)數(shù)據(jù)“得到”可以是直接接收運(yùn)動(dòng)數(shù)據(jù)或?qū)嶋H預(yù)測(cè)，其中，塊1014從塊1014所計(jì)算 機(jī)的增強(qiáng)縮放層的相應(yīng)運(yùn)動(dòng)矢量中減去從基本層獲得的運(yùn)動(dòng)矢量，以便獲得運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè) 值。經(jīng)由圖Ia所示的輸出，將增強(qiáng)層的運(yùn)動(dòng)數(shù)據(jù)(如果未執(zhí)行任何預(yù)測(cè))或預(yù)測(cè)的殘留值 (如果執(zhí)行了實(shí)際的預(yù)測(cè))提供給增強(qiáng)圖像編碼器1028，因此它們最終將包含在增強(qiáng)縮放 層比特流1004中。然而，如果執(zhí)行從縮放了或未縮放的基本縮放層完全接收運(yùn)動(dòng)數(shù)據(jù)，則 不必將增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)寫入增強(qiáng)縮放層比特流1004。在增強(qiáng)縮放層比特流中用運(yùn)動(dòng)數(shù)據(jù)標(biāo)志 1048來通知該事實(shí)就足夠了。圖2示出了用于對(duì)編碼的視頻序列進(jìn)行解碼的設(shè)備，該序列包括基本縮放層1002 和增強(qiáng)縮放層1004。增強(qiáng)縮放層1004和基本縮放層1002可來源于比特流解復(fù)用器，該解復(fù) 用器對(duì)具有相應(yīng)的縮放層的可縮放比特流進(jìn)行解復(fù)用，從共同的比特流中提取基本縮放層 1002和增強(qiáng)縮放層1004。將基本縮放層1002提供給基本圖像解碼器1060，基本圖像解碼 器1060形成為對(duì)基本縮放層進(jìn)行解碼，以獲得解碼的殘差圖像的基本序列和基本運(yùn)動(dòng)數(shù) 據(jù)，并將其提供給輸出線1062。然后將線1062處的輸出信號(hào)提供給基本運(yùn)動(dòng)組合器1064， 基本運(yùn)動(dòng)組合器1064抵消在塊1012中的編碼器中引入的基本運(yùn)動(dòng)預(yù)測(cè)器，在輸出側(cè)輸出 解碼的第一縮放層的圖像。此外，本發(fā)明的解碼器包括增強(qiáng)圖像解碼器1066，用于對(duì)增強(qiáng)縮 放層1004進(jìn)行解碼，以在輸出線1068處獲得增強(qiáng)預(yù)測(cè)殘差圖像。此外，輸出線1068包括 運(yùn)動(dòng)數(shù)據(jù)信息，例如運(yùn)動(dòng)數(shù)據(jù)標(biāo)志1070，如果實(shí)際上在增強(qiáng)縮放層1004中存在增強(qiáng)運(yùn)動(dòng)數(shù) 據(jù)或增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)殘留值，則還包括這些增強(qiáng)運(yùn)算數(shù)據(jù)?，F(xiàn)在，線1062上的解碼的基本序 列由插值器1070進(jìn)行插值，或者不變地(線107 提供給中間層組合器1074，以便抵消由 圖Ia的中間層預(yù)測(cè)器1018所執(zhí)行的中間層預(yù)測(cè)。因此，中間層組合器形成為組合增強(qiáng)預(yù)測(cè)殘差圖像和插值了的(1070)或未插值的(107 與線1062上的解碼的基本序列有關(guān)的 信息，以獲得殘差圖像的增強(qiáng)序列，最終將該序列提供給增強(qiáng)運(yùn)動(dòng)組合器1076，與基本運(yùn)動(dòng) 組合器1064相同，增強(qiáng)運(yùn)動(dòng)組合器1076抵消在增強(qiáng)層中執(zhí)行的運(yùn)動(dòng)補(bǔ)償。增強(qiáng)運(yùn)動(dòng)組合 器1076與運(yùn)動(dòng)數(shù)據(jù)確定裝置1078相連，提供用于塊1076中的運(yùn)動(dòng)組合的運(yùn)動(dòng)數(shù)據(jù)。運(yùn)動(dòng) 數(shù)據(jù)實(shí)際上可以是增強(qiáng)圖像解碼器在輸出1068處提供的增強(qiáng)層的完整增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)?？?選地，增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)還可以是運(yùn)動(dòng)數(shù)據(jù)殘留值。在兩種情況下，經(jīng)由增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)線1080， 將相應(yīng)數(shù)據(jù)提供給運(yùn)動(dòng)數(shù)據(jù)確定裝置1078。然而，如果運(yùn)動(dòng)數(shù)據(jù)標(biāo)志1070用信號(hào)通知對(duì)于 增強(qiáng)層未傳輸增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)，則取決于直接的(1084)或由上采樣器1086的上采樣之后的 所用可縮放性，從基本層中獲取所需運(yùn)動(dòng)數(shù)據(jù)。此外，在塊內(nèi)的中間層預(yù)測(cè)的情況下，即沒有運(yùn)動(dòng)數(shù)據(jù)殘留值的情況下，在解碼器 一側(cè)提供增強(qiáng)運(yùn)動(dòng)組合器1076與基本運(yùn)動(dòng)組合器1064之間的相應(yīng)連接，取決于空間可縮 放性，該連接具有插值器1090，或在僅使用SNR可縮放性時(shí)，該連接具有旁路線。在兩層之 間的可選塊內(nèi)預(yù)測(cè)的情況下，僅將預(yù)測(cè)殘留信號(hào)發(fā)送到該宏塊內(nèi)的增強(qiáng)層，這由比特流中 的相應(yīng)信號(hào)化信息表示。在這種情況下，除了下面所述的功能之外，增強(qiáng)運(yùn)動(dòng)組合器還執(zhí)行 該宏塊的累加，即執(zhí)行宏塊殘留值與來自較低縮放層的宏塊值之間的組合，并將所組合的 宏塊提供給實(shí)際的逆運(yùn)動(dòng)補(bǔ)償處理。下面，參考圖3至5d，分別來解釋基本運(yùn)動(dòng)預(yù)測(cè)器1012或增強(qiáng)運(yùn)動(dòng)預(yù)測(cè)器1016的 優(yōu)選實(shí)施例，即增強(qiáng)運(yùn)動(dòng)組合器1076或基本運(yùn)動(dòng)補(bǔ)償器1064?；旧?，可使用任何運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)算法，這意味著也包括圖9的92處所示的運(yùn)動(dòng) 補(bǔ)償算法。因此，傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償算法也遵從圖1所示的系統(tǒng)，然而，其中，停用圖4以附圖 標(biāo)記45所示的更新算子U。這導(dǎo)致將圖像組分別轉(zhuǎn)換為原始圖像、和殘留圖像以及預(yù)測(cè)殘 留信號(hào)或者基于其的殘差信號(hào)。然而，如果在以已知運(yùn)動(dòng)補(bǔ)償方案實(shí)現(xiàn)了如圖4所示的更 新算子有效且被計(jì)算的增強(qiáng)，如圖5a至5d所示，則正常的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)計(jì)算變?yōu)樗^的 MCTF處理，該處理還被稱為運(yùn)動(dòng)補(bǔ)償時(shí)間濾波。這里，由于原始圖像與由更新算子加權(quán)的預(yù) 測(cè)殘留信號(hào)組合，所以傳統(tǒng)運(yùn)動(dòng)補(bǔ)償?shù)恼D像和中間圖像通過更新運(yùn)算分別變?yōu)榈屯▓D 像。如已經(jīng)參考圖Ia和2所述的，在本發(fā)明的優(yōu)選實(shí)施例中，針對(duì)每個(gè)縮放層來執(zhí)行 MCTF處理，其中，優(yōu)選地按照參考圖3至fe以及7至8所述的方式來執(zhí)行MCTF處理。下面，參考圖4以及隨后的圖來描述運(yùn)動(dòng)補(bǔ)償濾波器的優(yōu)選地實(shí)施例。如已 經(jīng)解釋的，運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器(MCTF)由常見提升方案組成，該方案包括三步，即多相分 解、預(yù)測(cè)和更新。圖4示出了相應(yīng)的分析/合成濾波器組結(jié)構(gòu)。在分析一側(cè)，通過對(duì)預(yù)測(cè)殘 留值使用預(yù)測(cè)算子P和高通信號(hào)H，將給定信號(hào)的奇數(shù)采樣濾除偶數(shù)采樣的線性組合。通過 使用更新算子，將預(yù)測(cè)殘留值h的線性組合與輸入信號(hào)s的偶數(shù)采樣相加，來形成相應(yīng)的低 通信號(hào)1。圖fe示出了圖4所示的變量h和1的等式關(guān)系以及算子P和U的基本實(shí)施例。由于可完全逆轉(zhuǎn)預(yù)測(cè)步驟和更新步驟，所以可將相應(yīng)的變換當(dāng)作嚴(yán)格采樣的理想 重構(gòu)濾波器組。合成濾波器組包括預(yù)測(cè)算子和更新算子以與求和過程相反的符號(hào)、按照相 反的順序的應(yīng)用，其中，使用偶數(shù)和奇數(shù)多相分量。對(duì)于高通/低通分量的歸一化，使用相 應(yīng)的縮放因子F1和Fh。不一定要使用這些縮放因子，但是在編碼期間選擇了量化器步長(zhǎng)時(shí) 可使用這些縮放因子。
f[x,k]示出了空間坐標(biāo)χ = (x，y)T的視頻信號(hào)，其中，k是時(shí)間坐標(biāo)。如圖恥的 左手邊所示，給出了使用hair小波的提升表征的時(shí)間分解的預(yù)測(cè)算子P和更新算子U。對(duì) 于5/3變換，相應(yīng)的算子如圖恥的右手邊所示。通過如圖5c所示修改預(yù)測(cè)算子和更新算 子，獲得對(duì)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波的增強(qiáng)。具體地，參見參考指標(biāo)r>0，其允許一般的圖像自適 應(yīng)運(yùn)動(dòng)補(bǔ)償濾波。通過這些參考指標(biāo)，可確保在圖4所示的場(chǎng)景中，不僅兩個(gè)時(shí)間緊隨的圖 像被分解為高通圖像和低通圖像，而且可利用序列的第三圖像，按照運(yùn)動(dòng)補(bǔ)償?shù)姆绞綄?duì)第 一圖像進(jìn)行濾波。可選地，參考指標(biāo)的適當(dāng)選擇使得可將序列的同一個(gè)圖像用作運(yùn)動(dòng)矢量 的基準(zhǔn)。這意味著參考指標(biāo)允許在八個(gè)圖像的序列中，所有運(yùn)動(dòng)矢量與序列的第四個(gè)圖像 相關(guān)聯(lián)，從而通過圖4中的濾波方案，通過處理這八個(gè)圖像，最終獲得單個(gè)低通圖像，并且 產(chǎn)生七個(gè)高通圖像(增強(qiáng)圖像)，并且在一個(gè)增強(qiáng)圖像與每個(gè)運(yùn)動(dòng)矢量相關(guān)聯(lián)的情況下，所 有運(yùn)動(dòng)矢量與原始序列的同一個(gè)圖像相關(guān)聯(lián)。因此，如果將序列的同一個(gè)圖像用作對(duì)多個(gè)其它圖像進(jìn)行濾波的基準(zhǔn)，則這導(dǎo)致 時(shí)間分辨率縮放并不遵循因子2，這對(duì)于某些應(yīng)用是有利的。總是將同一個(gè)圖像，即八個(gè)圖 像的序列的第四個(gè)圖像饋入圖4的分析濾波器組的下分支。低通圖像在每次濾波中都是相 同的，即最終產(chǎn)生圖像序列的所希望的單個(gè)低通圖像。當(dāng)更新參數(shù)為零時(shí)，基本圖像僅僅是 “通過”下分支。與之相比較，高通圖像總是取決于原始序列的相應(yīng)另一個(gè)圖像和預(yù)測(cè)算子， 其中，在預(yù)測(cè)中使用與該輸入圖像相關(guān)聯(lián)的運(yùn)動(dòng)矢量。因此，在這種情況下，最終獲得的低 通圖像與原始圖像序列的某個(gè)圖像相關(guān)聯(lián)，并且每個(gè)高通圖像與原始序列的圖像相關(guān)聯(lián)， 其中，原始圖像與序列的所選基本圖像(饋入圖4的分析濾波器組的下分支的圖像)的偏 差對(duì)應(yīng)于序列(運(yùn)動(dòng)補(bǔ)償)。當(dāng)每個(gè)更新參數(shù)Mc^M11, M21和M31等于零時(shí)，這導(dǎo)致饋入第四 級(jí)的下分支73的圖像僅僅是“通向”底部。以某種方式，將低通圖像TPl “重復(fù)地”饋入濾 波器組，而由參考指標(biāo)控制的其它圖像一個(gè)接一個(gè)地引入圖3的輸入64。從上述等式可見，運(yùn)動(dòng)補(bǔ)償濾波的預(yù)測(cè)和更新算子分別提供兩個(gè)不同小波的不同 預(yù)測(cè)。當(dāng)使用hair小波時(shí)，實(shí)現(xiàn)了單向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。然而，如果使用5/3樣條小波，則兩 個(gè)算子規(guī)定了雙向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。由于與單向預(yù)測(cè)相比，雙向補(bǔ)償預(yù)測(cè)通常減少預(yù)測(cè)殘留值的能量，但是增加運(yùn)動(dòng) 矢量速率，所以希望在單項(xiàng)和雙向預(yù)測(cè)之間動(dòng)態(tài)地切換，這意味著可根據(jù)基于圖像的控制 信號(hào)，在hair小波的提升表征和5/3樣條小波之間切換。針對(duì)時(shí)間濾波并不使用閉合反饋 回路的本發(fā)明概念可容易地逐個(gè)宏塊地在兩個(gè)小波之間切換，從而支持靈活性和數(shù)據(jù)流節(jié) 約，這可最優(yōu)地以信號(hào)自適應(yīng)方式執(zhí)行。為了表示運(yùn)動(dòng)場(chǎng)或通常的預(yù)測(cè)數(shù)據(jù)場(chǎng)Mp和Mu，理想地，可使用H. ^4/AVC中已有 的B片的語法。通過級(jí)聯(lián)配對(duì)的圖像分解級(jí)，獲得二值樹結(jié)構(gòu)，其將2"個(gè)圖像的組分為2114個(gè)殘留 圖像和單個(gè)低通(或中間)圖像，如圖7針對(duì)八個(gè)圖像的組所示的。具體地，圖7示出了在 第一級(jí)濾波器的輸出22處的第一級(jí)高通圖像HPl以及在第一級(jí)濾波器的輸出對(duì)處的第一 級(jí)低通圖像。圖7還示出了從第二級(jí)獲得的在第二級(jí)濾波器的輸出16處的兩個(gè)低通圖像 TP2以及高通圖像，作為第二級(jí)圖像。第三級(jí)低通圖像被提供給第三級(jí)濾波器的輸出76，而 第三級(jí)高通圖像以已處理的形式被提供給輸出75。八個(gè)圖像的組最初可包括八個(gè)視頻圖 像，其中使用圖3的解碼器而不使用第四濾波器級(jí)。然而，如果八個(gè)圖像的組是八個(gè)低通圖像的組，如在第四級(jí)濾波器的輸出73處所用的，則可將本發(fā)明的MCTF分解分別用作基本運(yùn) 動(dòng)預(yù)測(cè)器、增強(qiáng)運(yùn)動(dòng)預(yù)測(cè)器，并用作基本運(yùn)動(dòng)組合器或增強(qiáng)運(yùn)動(dòng)組合器。因此，通常，在分解2n個(gè)圖像的組中，傳輸Qn+1_2)個(gè)運(yùn)動(dòng)場(chǎng)描述、Olri)殘留圖像 以及單個(gè)低通(或中間)圖像。優(yōu)選地，分別通過基本控制參數(shù)和增強(qiáng)控制參數(shù)來控制基本運(yùn)動(dòng)補(bǔ)償器和增強(qiáng)運(yùn) 動(dòng)補(bǔ)償器，來計(jì)算量化參數(shù)(1034或1036)和運(yùn)動(dòng)信息的最佳組合，該組合基于某一速率 是固定的。根據(jù)以下方法來執(zhí)行計(jì)算以獲得關(guān)于某一最大比特率的最佳比。因此，可以發(fā) 現(xiàn)，對(duì)于較低的比特率，即相對(duì)粗略的量化參數(shù)，運(yùn)動(dòng)矢量比采用相對(duì)精細(xì)的量化參數(shù)的更 高縮放層更加重要。因此，對(duì)于粗量化因而低比特率的情況，計(jì)算比更高縮放層少的運(yùn)動(dòng)數(shù) 據(jù)。因此，優(yōu)選地，在更高縮放層中，變?yōu)樽雍陦K模式來計(jì)算大量運(yùn)動(dòng)數(shù)據(jù)，以用于高比特率 的良好質(zhì)量和最佳情況，而不是較低比特率，其中，運(yùn)動(dòng)數(shù)據(jù)關(guān)于殘留數(shù)據(jù)的重要性比更高 縮放層的情況成比例地增加。這將在下面加以討論。給定圖像A和B，它們是原始圖像或表示在先前的分析級(jí)中產(chǎn)生的低通信號(hào)的圖 像。此外，提供亮度采樣a[]和b□的相應(yīng)陣列。如下逐個(gè)宏塊地估計(jì)運(yùn)動(dòng)描述Mitl:對(duì)于圖像B中所有可能的宏塊和宏塊i的子宏塊劃分，通過使拉格朗日函數(shù)
權(quán)利要求
1.一種用于對(duì)具有基本縮放層(100 和增強(qiáng)縮放層(1004)的編碼的視頻序列進(jìn)行解 碼的設(shè)備，包括基本圖像解碼器(1060)，用于對(duì)基本縮放層進(jìn)行解碼，以獲得殘差圖像的解碼基本序 列和基本運(yùn)動(dòng)數(shù)據(jù)；增強(qiáng)圖像解碼器(1066)，用于對(duì)增強(qiáng)縮放層進(jìn)行解碼以獲得與殘差圖像的增強(qiáng)序列有 關(guān)的信息以及與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息；增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)計(jì)算器(1078)，用于通過估計(jì)與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，并由于與增 強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的評(píng)估信息，通過使用與基本運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，來計(jì)算增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)； 以及增強(qiáng)運(yùn)動(dòng)組合器(1076)，形成為通過使用殘差圖像的增強(qiáng)序列和增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)，來獲 得增強(qiáng)縮放層的圖像序列；其中，增強(qiáng)圖像解碼器(1066)形成為提供預(yù)測(cè)信號(hào)標(biāo)志(1100,1106)以及來自增強(qiáng)縮 放層的增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)殘留信號(hào)，增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)計(jì)算器(1078)形成為基于預(yù)測(cè)信號(hào)標(biāo)志(1100，1106)，將增強(qiáng)運(yùn)動(dòng)數(shù)據(jù) 殘留信號(hào)與基本運(yùn)動(dòng)數(shù)據(jù)或分辨率轉(zhuǎn)換的基本運(yùn)動(dòng)數(shù)據(jù)組合，以獲得增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)。
2.一種用于對(duì)具有基本縮放層(100 和增強(qiáng)縮放層(1004)的編碼的視頻序列進(jìn)行解 碼的方法，包括步驟對(duì)基本縮放層進(jìn)行解碼(1060)，以獲得殘差圖像的解碼基本序列和基本運(yùn)動(dòng)數(shù)據(jù)； 對(duì)增強(qiáng)縮放層進(jìn)行解碼(1066)以獲得與殘差圖像的增強(qiáng)序列有關(guān)的信息以及與增強(qiáng) 運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息；通過估計(jì)與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，并由于與增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)有關(guān)的評(píng)估信息，通過 使用與基本運(yùn)動(dòng)數(shù)據(jù)有關(guān)的信息，來計(jì)算(1078)增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)；以及通過使用殘差圖像的增強(qiáng)序列和增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)，執(zhí)行增強(qiáng)運(yùn)動(dòng)組合(1076)，來獲得增 強(qiáng)縮放層的圖像序列；其中，對(duì)增強(qiáng)縮放層進(jìn)行解碼的步驟(1066)提供預(yù)測(cè)信號(hào)標(biāo)志(1100,1106)以及來自 增強(qiáng)縮放層的增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)殘留信號(hào)，計(jì)算增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)的步驟(1078)基于預(yù)測(cè)信號(hào)標(biāo)志(1100，1106)，將增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)殘 留信號(hào)與基本運(yùn)動(dòng)數(shù)據(jù)或分辨率轉(zhuǎn)換的基本運(yùn)動(dòng)數(shù)據(jù)組合，以獲得增強(qiáng)運(yùn)動(dòng)數(shù)據(jù)。
全文摘要
用中間層運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)產(chǎn)生編碼的視頻序列的設(shè)備和方法，在基本層(1002)和增強(qiáng)層的可縮放視頻編碼以及運(yùn)動(dòng)補(bǔ)償(1006，1014)中，通過使用基本層(1002)的運(yùn)動(dòng)數(shù)據(jù)來執(zhí)行增強(qiáng)層(1004)的運(yùn)動(dòng)數(shù)據(jù)的預(yù)測(cè)(1014，1016)，以獲得可縮放的概念，一方面，這提供了計(jì)算不同層的運(yùn)動(dòng)數(shù)據(jù)的最大靈活性，另一方面，這實(shí)現(xiàn)了較低的比特率。
文檔編號(hào)H04N7/50GK102055985SQ20111003257
公開日2011年5月11日 申請(qǐng)日期2005年9月21日 優(yōu)先權(quán)日2004年10月15日
發(fā)明者德特勒夫·馬爾佩, 托馬斯·威甘德, ?？啤な┩叽?申請(qǐng)人:弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會(huì)