專利名稱：用于平滑在誤差掩蔽期間產(chǎn)生的人為產(chǎn)物的解碼器裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻解碼器，其執(zhí)行誤差掩蔽以便減少由于丟失或損壞的數(shù)據(jù)引起的誤差。
背景技術(shù)：
在許多情況中，視頻流經(jīng)受壓縮(編碼)以有利于存儲和傳輸。并非偶然地，這樣編碼的視頻流導(dǎo)致在傳輸期間因?yàn)樾诺勒`差和/或網(wǎng)絡(luò)擁塞而使得數(shù)據(jù)丟失或被損壞。在解碼時(shí)，數(shù)據(jù)的丟失/損壞使其自身表示為丟失的像素值。為了減少引起這種丟失/損壞的像素值的人為因素，解碼器將通過估計(jì)來自相同圖像的其他宏塊或來自其他圖像的丟失/損壞像素值來“掩蔽”這樣的丟失/損壞像素值。術(shù)語掩蔽稍稍有些用詞不當(dāng)，因?yàn)榻獯a器不是實(shí)際地掩蔽丟失/損壞的像素值。
不管誤差掩蔽如何重要，對于實(shí)時(shí)應(yīng)用，大多數(shù)解碼器通常僅執(zhí)行最簡單和最快速的掩蔽算法。對于大多數(shù)實(shí)時(shí)應(yīng)用，存在兩種不同的方式來實(shí)現(xiàn)誤差掩蔽。一種方式提出通過復(fù)制其正確解碼的相鄰宏塊之一來代替丟失的宏塊。這種方式應(yīng)用于經(jīng)常可見到在重構(gòu)的圖像中出現(xiàn)塊狀人工產(chǎn)物的低質(zhì)量系統(tǒng)。第二種方式試圖通過基于正確解碼的相鄰宏塊的邊界上的像素值內(nèi)插丟失宏塊的內(nèi)容來平滑塊狀人工產(chǎn)物。兩種不同的方案適合后一種類別(1)用公共平均值替換宏塊/塊中的所有像素；和(2)通過基于到宏塊/塊邊界的像素距離的加權(quán)預(yù)測來替換每個(gè)像素值。由于沒有標(biāo)準(zhǔn)來區(qū)分平坦區(qū)域和輪廓區(qū)域，因此這種掩蔽方式往往模糊重構(gòu)的圖像，而引起相反的人工產(chǎn)物。
因此，需要一種掩蔽方法，其在減少由丟失/損壞的像素值的衍生處理引起的塊狀人工產(chǎn)物時(shí)實(shí)現(xiàn)簡單性和高性能。

發(fā)明內(nèi)容
簡單而言，根據(jù)本發(fā)明原理的優(yōu)選實(shí)施例，一種符合ISO/ITU H.264視頻壓縮標(biāo)準(zhǔn)的視頻解碼器包括誤差掩蔽級，用于掩蔽在具有丟失/損壞的數(shù)據(jù)的解碼宏塊內(nèi)的誤差。誤差掩蔽級通過根據(jù)先前發(fā)送的沒有誤差的宏塊估計(jì)丟失/損壞的像素值來執(zhí)行這種誤差掩蔽。由誤差掩蔽級產(chǎn)生的宏塊被輸入到解碼器中的解塊濾波器，所述解塊濾波器對由不精確的誤差掩蔽處理人工引起的轉(zhuǎn)變進(jìn)行解塊。換句話說，誤差掩蔽級在通過解塊濾波器濾波之前執(zhí)行誤差掩蔽。這種方法的優(yōu)點(diǎn)有兩個(gè)。第一，通過使用解塊濾波器來改善誤差掩蔽方法的結(jié)果，從而可以以低復(fù)雜性需要實(shí)現(xiàn)高質(zhì)量。第二，在解塊之前進(jìn)行誤差校正避免了當(dāng)嘗試平滑有錯(cuò)和正確解碼的塊之間的轉(zhuǎn)變時(shí)擴(kuò)展有錯(cuò)誤的像素值。
根據(jù)本發(fā)明的另一方面，誤差掩蔽級改變解塊濾波器的參數(shù)。具體地，誤差掩蔽級改變解塊濾波器的參數(shù)，以便對由恢復(fù)丟失的宏塊人工引起的轉(zhuǎn)變強(qiáng)加最大濾波強(qiáng)度。


圖1描述了根據(jù)本發(fā)明原理的提供誤差掩蔽的解碼器的方框示意圖；和圖2以流程圖的形式描述了由圖1的解碼器操作來實(shí)現(xiàn)誤差掩蔽的處理。
具體實(shí)施例方式
圖1圖解說明了根據(jù)本發(fā)明原理的、用以實(shí)現(xiàn)誤差掩蔽的、符合ISO/ITUH.264壓縮標(biāo)準(zhǔn)的視頻解碼器10的方框示意圖。解碼器10包括熵(entropy)解碼級12，用于接收輸入位流，所述輸入位流表示由上游編碼器(未示出)按照H.264壓縮標(biāo)準(zhǔn)壓縮(編碼)的視頻信號。熵解碼級12解碼所述輸入流以便生成(a)變換系數(shù)，(b)運(yùn)動矢量和參考幀索引，和(c)控制數(shù)據(jù)。定標(biāo)/反變換級14接收用以反變換和定標(biāo)的變換系數(shù)，以便重新生成預(yù)測誤差。預(yù)測誤差反映了編碼器處的原始圖像與解碼器能夠基于先前發(fā)送的數(shù)據(jù)獲得的估計(jì)圖像之間的差異。由定標(biāo)/反變換級14產(chǎn)生的預(yù)測誤差傳遞到求和塊射18，用以與通過塊間或塊內(nèi)預(yù)測而獲得的估計(jì)圖像相加。
對于在塊間預(yù)測模式中編碼的輸入宏塊，運(yùn)動補(bǔ)償級16根據(jù)包括運(yùn)動矢量和參考幀索引的輸入信息產(chǎn)生估計(jì)的圖像，所述參考幀索引是在輸入位流中發(fā)送的并且對應(yīng)于先前存儲在解碼器緩沖器中的參考幀。來自運(yùn)動補(bǔ)償級16的輸出傳遞到求和塊18，用以與由定標(biāo)/反變換級14產(chǎn)生的誤差預(yù)測相加，以便產(chǎn)生重構(gòu)的圖像。在從求和塊18輸出的重構(gòu)圖像中的每個(gè)宏塊傳遞到誤差掩蔽級20，該誤差掩蔽級20檢測所述宏塊是否具有丟失或損壞的像素值。如果所述宏塊具有丟失或損壞的像素值，則誤差掩蔽級20將以估計(jì)的像素值來代替已丟失或損壞的那些像素值。由誤差掩蔽級20輸出的誤差掩蔽的宏塊在解塊濾波器22處經(jīng)受解塊。根據(jù)本發(fā)明的原理，解塊濾波器22具有可調(diào)整的參數(shù)，從而允許改變對掩蔽的圖像執(zhí)行的濾波強(qiáng)度。解塊濾波器22產(chǎn)生解碼器10的輸出圖像。在這一點(diǎn)上，位流中被標(biāo)記為參考圖像的那些圖像被存儲在參考幀緩沖器中，以便用作到運(yùn)動補(bǔ)償塊16的一個(gè)輸出。
對于在塊內(nèi)預(yù)測模式中編碼的輸入宏塊，塊內(nèi)預(yù)測級24將根據(jù)在編碼的輸入位流上發(fā)送的塊內(nèi)預(yù)測模式來產(chǎn)生估計(jì)的圖像。由塊內(nèi)預(yù)測級24產(chǎn)生的估計(jì)圖像傳遞到求和塊18，用以與由定標(biāo)/反變換級14產(chǎn)生的誤差預(yù)測相加，以便產(chǎn)生重構(gòu)的圖像。由求和塊18輸出的每個(gè)塊間預(yù)測的宏塊與由求和塊輸出的每個(gè)塊內(nèi)預(yù)測的宏塊一樣，在誤差掩蔽級20處經(jīng)受誤差掩蔽，并且隨后被解塊濾波器22解塊。
圖2以流程圖形式圖解說明了圖1的解碼器10內(nèi)的誤差掩蔽級20承擔(dān)的步驟，用以實(shí)現(xiàn)誤差掩蔽和調(diào)整解塊濾波器22的參數(shù)以對由誤差掩蔽引起的轉(zhuǎn)變實(shí)現(xiàn)最大值濾波。在圖2的步驟100期間，誤差掩蔽級20通過對從圖1的求和塊18接收的每個(gè)連續(xù)輸入宏塊執(zhí)行誤差檢測來啟動誤差掩蔽。當(dāng)在步驟120沒有檢測到誤差時(shí)，誤差掩蔽級結(jié)束誤差掩蔽處理(圖2的步驟125)，并且向解塊濾波器22輸出接收到的沒有糾正的宏塊。在沒有對接收到的宏塊進(jìn)行任何誤差掩蔽的情況下，誤差掩蔽級不對圖1的解塊濾波器22的參數(shù)進(jìn)行調(diào)整。
如果在步驟120確定存在誤差，則在圖2的步驟140期間，圖1的誤差掩蔽級20確定從圖1的求和塊18接收的宏塊是否已經(jīng)被塊內(nèi)編碼。具有誤差的塊內(nèi)編碼的塊在步驟160期間經(jīng)受空間誤差掩蔽，而塊間編碼的塊在步驟180期間經(jīng)受時(shí)間掩蔽。
存在多種空間誤差掩蔽的技術(shù)，包括●塊復(fù)制(BC)使用這一方式，丟失/損壞的宏塊的替換物是從其正確解碼的相鄰宏塊之一獲得的。
●像素域內(nèi)插(PDI)從正確編碼的相鄰宏塊的邊界處的像素值內(nèi)插丟失/損壞宏塊數(shù)據(jù)。存在兩者不同的方式來實(shí)現(xiàn)PDI。例如，宏塊內(nèi)的所有像素可被內(nèi)插為公共平均值?；蛘撸诘胶陦K邊界的像素距離通過加權(quán)預(yù)測來獲得每個(gè)像素值。
●多向內(nèi)插(MDI)多向內(nèi)插技術(shù)構(gòu)成PDI技術(shù)的改進(jìn)版本，因?yàn)镸DI技術(shù)沿著邊緣方向提供內(nèi)插。MDI的實(shí)現(xiàn)要求在定向內(nèi)插之前估計(jì)丟失/損壞像素值附近的主輪廓(contour)的方向。
●最大平滑恢復(fù)(MSR)在離散余弦變換(DCT)域中，低頻分量用于誤差掩蔽，以便提供與相鄰像素的平滑連接。當(dāng)使用數(shù)據(jù)劃分編碼時(shí)，MSR技術(shù)使用正確的接收到的DCT系數(shù)，而不是丟棄損壞的宏塊/塊內(nèi)的所有數(shù)據(jù)。
●凸集投影(POCS)根據(jù)這一技術(shù)，在快速傅立葉變換(FFT)域中，根據(jù)具有丟失/損壞的像素值的宏塊周圍的較大區(qū)域的分類來執(zhí)行適應(yīng)性濾波。這種適應(yīng)性濾波包括在對細(xì)尖區(qū)域應(yīng)用邊緣濾波的同時(shí)，對平滑區(qū)域應(yīng)用低通濾波。這一過程包括濾波迭代，并且?guī)讉€(gè)先驗(yàn)約束將應(yīng)用于已處理過的圖像。
除了上述技術(shù)，通過下列方式也可以有利地實(shí)現(xiàn)空間誤差掩蔽。對于每個(gè)識別的宏塊，從相鄰宏塊得到至少一種塊內(nèi)預(yù)測模式。當(dāng)根據(jù)ISO/ITUH.264視頻壓縮標(biāo)準(zhǔn)編碼圖像時(shí)，兩種塊內(nèi)編碼類型可用于編碼每個(gè)宏塊(1)對于塊內(nèi)16×16類型，對于整個(gè)宏塊得到單一塊內(nèi)預(yù)測模式；(2)對于塊內(nèi)4×4類型，對于宏塊內(nèi)的4×4像素的每個(gè)子宏塊得到塊內(nèi)預(yù)測模式。(在這種情況下，每個(gè)編碼的宏塊存在十六種塊內(nèi)預(yù)測模式)。隨后應(yīng)用所得到的塊內(nèi)預(yù)測模式來產(chǎn)生丟失的像素值。得到的塊內(nèi)預(yù)測模式被應(yīng)用來估計(jì)丟失或損壞像素值的處理對應(yīng)于在解碼期間用來估計(jì)(預(yù)測)未編碼的值以減少編碼效果的衍生處理。換句話說，現(xiàn)有技術(shù)利用通常在空間誤差掩蔽用途的編碼中使用的塊內(nèi)預(yù)測模式信息。當(dāng)關(guān)于特定宏塊的編碼數(shù)據(jù)丟失或者損壞時(shí)，從相鄰宏塊得到的塊內(nèi)預(yù)測模式可以提供關(guān)于用于空間誤差掩蔽的最佳內(nèi)插方向的重要信息。使用用于空間誤差掩蔽的這種塊內(nèi)預(yù)測模式比具有類似復(fù)雜性的傳統(tǒng)空間誤差掩蔽技術(shù)產(chǎn)生好得多的性能。
與空間誤差掩蔽相反，時(shí)間掩蔽嘗試恢復(fù)編碼的運(yùn)動信息、即參考圖片索引和運(yùn)動矢量，以便根據(jù)先前發(fā)送的宏塊來估計(jì)丟失的像素值。從相同宏塊恢復(fù)預(yù)測誤差是不可行的，因?yàn)檫@一信息被毫無冗余地編碼。與空間掩蔽不同，時(shí)間掩蔽的基本原理在大多數(shù)公開的算法中幾乎都是相同的。因?yàn)樵谝粋€(gè)或多個(gè)參考幀中搜索丟失宏塊的丟失運(yùn)動矢量的計(jì)算代價(jià)非常高，因此通常僅考慮有限的候選集。用于考慮的可能運(yùn)動矢量包括●零運(yùn)動假設(shè)丟失的塊沒有改變其在兩個(gè)連續(xù)幀之間的位置，并且通過簡單復(fù)制前一幀上布置的塊來執(zhí)行時(shí)間掩蔽。
●全局運(yùn)動假設(shè)丟失的塊經(jīng)受全局運(yùn)動，并且在大多數(shù)情況下可以通過估計(jì)照相機(jī)運(yùn)動參數(shù)被正確地近似。
●局部運(yùn)動假設(shè)空間相鄰的塊的運(yùn)動是高度相關(guān)的，因此根據(jù)關(guān)于其相鄰塊可用的局部運(yùn)動信息可以恢復(fù)丟失塊的運(yùn)動。
在步驟160期間的空間誤差掩蔽或者步驟180期間的時(shí)間掩蔽之后，圖1的誤差掩蔽級20調(diào)整圖1的解塊濾波器22的參數(shù)，以便對由丟失的宏塊的恢復(fù)人為引起的轉(zhuǎn)變強(qiáng)制最大強(qiáng)度濾波。如由H.264標(biāo)準(zhǔn)定義的，解塊濾波器22的強(qiáng)度適應(yīng)4×4像素塊之間的每個(gè)邊緣的特性。根據(jù)下列參數(shù)來實(shí)現(xiàn)所述適應(yīng)●在解碼器10處計(jì)算的邊界強(qiáng)度值(Bs)。
●在解碼器10處計(jì)算的、受解塊濾波器22影響的任意塊對之間的量化參數(shù)(QP)平均值●在片斷首標(biāo)中發(fā)送的濾波器偏移A和B。
范圍為0到4的邊界強(qiáng)度值指明了應(yīng)用于兩個(gè)4×4像素塊之間的邊緣的濾波的強(qiáng)度。當(dāng)Bs＝0時(shí)，邊緣保持不被濾波。當(dāng)Bs＝4時(shí)，邊緣被最強(qiáng)的濾波強(qiáng)度平滑。其他參數(shù)、即QP平均值以及濾波器偏移A和B被聯(lián)合用來確定區(qū)分實(shí)際輪廓和人為因素轉(zhuǎn)變的閾值。大值的這些參數(shù)增加了濾波轉(zhuǎn)變的數(shù)量。
根據(jù)本發(fā)明原理，所選擇的誤差掩蔽算法在計(jì)算、返回期望的邊界強(qiáng)度值之后將改變邊界強(qiáng)度值、或者任何輸入?yún)?shù)。在多對掩蔽塊之間的邊緣上和/或在掩蔽塊和正確接收的掩蔽塊之間的邊緣上可以實(shí)現(xiàn)邊界強(qiáng)度值的變化。最后是否適于增加解塊濾波器的強(qiáng)度和采用什么值取決于為誤差掩蔽所選的特定技術(shù)。
在圖解性的實(shí)施例中，在掩蔽的多對塊之間的邊緣上獨(dú)立地選擇最大邊界強(qiáng)度值(4)。特定的誤差掩蔽技術(shù)也可以改變?nèi)我鈱K之間的QP平均值和/或在損壞片斷的首標(biāo)上發(fā)送的偏移值。改變QP平均值將增加濾波轉(zhuǎn)變的數(shù)量。在圖解性的實(shí)施例中，所有參數(shù)被強(qiáng)制為它們的最大值，即對于QP平均為51，對于偏移A和B為6。
上面描述了這樣一種技術(shù)，即在符合H.264的解碼器中實(shí)現(xiàn)誤差掩蔽，并且根據(jù)執(zhí)行誤差掩蔽的類型來改變解塊的強(qiáng)度。
權(quán)利要求
1.一種符合ISO/ITU H.264的視頻解碼器，包括解塊濾波器，誤差掩蔽級，用于接收解碼的宏塊，以便通過根據(jù)先前發(fā)送的宏塊估計(jì)它們的像素值來掩蔽在具有丟失/損壞的數(shù)據(jù)的宏塊中的誤差，從而產(chǎn)生誤差掩蔽的宏塊，所述誤差掩蔽的宏塊被輸入到解塊濾波器，所述解塊濾波器通過對誤差掩蔽的宏塊進(jìn)行解塊來避免擴(kuò)展錯(cuò)誤像素值。
2.根據(jù)權(quán)利要求1所述的解碼器，其中誤差掩蔽級根據(jù)誤差掩蔽來改變由解塊濾波器執(zhí)行的解塊的強(qiáng)度。
3.根據(jù)權(quán)利要求2所述的解碼器，其中誤差掩蔽級通過修改掩蔽的宏塊與沒有誤差(正確接收)的宏塊之間的轉(zhuǎn)變上的邊界強(qiáng)度值來修改解塊濾波器的強(qiáng)度。
4.根據(jù)權(quán)利要求2所述的解碼器，其中誤差掩蔽級通過修改掩蔽的宏塊對之間的轉(zhuǎn)變上的邊界強(qiáng)度值來修改解塊濾波器的強(qiáng)度。
5.根據(jù)權(quán)利要求2所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊與正確接收的宏塊之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
6.根據(jù)權(quán)利要求2所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊對之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
7.根據(jù)權(quán)利要求3所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊與正確接收的宏塊之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
8.根據(jù)權(quán)利要求4所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊對之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
9.根據(jù)權(quán)利要求2所述的解碼器，其中誤差掩蔽級改變用于解塊濾波器的、一對偏移值A(chǔ)和B中的每一個(gè)。
10.根據(jù)權(quán)利要求9所述的解碼器，其中誤差掩蔽級通過修改掩蔽的宏塊與沒有誤差(正確接收)的宏塊之間的轉(zhuǎn)變上的邊界強(qiáng)度值來修改解塊濾波器的強(qiáng)度。
11.根據(jù)權(quán)利要求9所述的解碼器，其中誤差掩蔽級通過修改掩蔽的宏塊對之間的轉(zhuǎn)變上的邊界強(qiáng)度值來修改解塊濾波器的強(qiáng)度。
12.根據(jù)權(quán)利要求9所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊與正確接收的宏塊之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
13.根據(jù)權(quán)利要求9所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊對之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
14.根據(jù)權(quán)利要求10所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊與正確接收的宏塊之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
15.根據(jù)權(quán)利要求10所述的解碼器，其中誤差掩蔽級修改掩蔽的宏塊對之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
16.一種用于平滑解碼的宏塊中的轉(zhuǎn)變的方法，包括步驟檢測解碼的宏塊是否具有歸因于丟失/損壞像素值的誤差；如果有，則通過根據(jù)先前發(fā)送的宏塊估計(jì)丟失/損壞像素值來掩蔽誤差，以便產(chǎn)生誤差掩蔽的宏塊；和通過解塊濾波器濾波誤差掩蔽的宏塊，以便平滑由誤差掩蔽算法人為引起的轉(zhuǎn)變。
17.根據(jù)權(quán)利要求16所述的方法，還包括步驟根據(jù)誤差掩蔽來改變由解塊濾波器執(zhí)行的解塊的強(qiáng)度。
18.根據(jù)權(quán)利要求17所述的方法，其中修改解塊濾波器的強(qiáng)度的步驟包括修改掩蔽的宏塊與沒有誤差(正確接收)的宏塊之間的轉(zhuǎn)變上的邊界強(qiáng)度值。
19.根據(jù)權(quán)利要求17所述的方法，其中修改解塊濾波器的強(qiáng)度的步驟包括修改掩蔽的宏塊對之間的轉(zhuǎn)變上的邊界強(qiáng)度值。
20.根據(jù)權(quán)利要求17所述的方法，還包括步驟修改掩蔽的宏塊與正確接收的宏塊之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
21.根據(jù)權(quán)利要求17所述的方法，還包括步驟修改掩蔽的宏塊對之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
22.根據(jù)權(quán)利要求18所述的方法，誤差掩蔽級修改掩蔽的宏塊與正確接收的宏塊之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
23.根據(jù)權(quán)利要求17所述的方法，還包括步驟修改掩蔽的宏塊對之間的、用于解塊濾波器的量化參數(shù)(QP)平均值。
24.根據(jù)權(quán)利要求17所述的方法，還包括步驟改變用于解塊濾波器的、一對偏移值A(chǔ)和B中的每一個(gè)。
全文摘要
在解碼期間通過解碼器(10)中存在的誤差掩蔽級(20)來掩蔽編碼宏塊中的誤差。由誤差掩蔽級產(chǎn)生的誤差掩蔽的宏塊在被解碼器輸出之前經(jīng)受解塊濾波器(22)的解塊濾波，以便避免擴(kuò)展錯(cuò)誤像素值。誤差掩蔽級(20)根據(jù)誤差掩蔽技術(shù)控制解塊濾波器(22)改變解塊濾波器的強(qiáng)度，以便對由丟失的宏塊的恢復(fù)人為引起的轉(zhuǎn)變施加最大強(qiáng)度。
文檔編號H04N7/68GK1720729SQ03825791
公開日2006年1月11日 申請日期2003年7月9日 優(yōu)先權(quán)日2003年1月10日
發(fā)明者克里斯蒂娜·戈米拉 申請人:湯姆森特許公司