專利名稱：對(duì)圖象序列的噪聲濾除的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)圖象序列的噪聲濾除。本發(fā)明還涉及編碼圖象序列，其中圖象序列被噪聲濾除。
圖象序列通常包含噪聲是熟知的，這個(gè)噪聲可能是在圖象獲取的初始階段期間，或在處理與傳輸運(yùn)行期間，或甚至在存儲(chǔ)階段期間引起的。這個(gè)噪聲不單惡化序列的質(zhì)量，也惡化以后可能的壓縮運(yùn)行(例如，MPEG，小波，分位數(shù)等等)的性能。為此，在盡可能多地減小噪聲而又不會(huì)不可接受地影響圖象質(zhì)量方面，有很大的興趣。
為了減小噪聲，濾波運(yùn)行是必須的。這樣的濾波運(yùn)行可以導(dǎo)致圖象的模糊和“重影”的影響，這導(dǎo)致對(duì)于觀看者的不可接受的質(zhì)量。這是由于幾乎所有的圖象都具有帶有邊緣，輪廓等等的詳細(xì)的區(qū)域。
本發(fā)明的一個(gè)目的是提供有利的濾波。為此，本發(fā)明提供用于對(duì)圖象序列進(jìn)行噪聲濾除的方法和設(shè)備，以及用于編碼圖象序列的方法和設(shè)備，正如在獨(dú)立的權(quán)利要求中被規(guī)定的。有利的實(shí)施例在所附權(quán)利要求中被限定。
在本發(fā)明的第一實(shí)施例中，確定在圖象序列的至少一個(gè)圖象中的統(tǒng)計(jì)特性，以及根據(jù)從至少一個(gè)圖象得出的一組原先的象素?cái)?shù)值計(jì)算至少一個(gè)濾波的象素?cái)?shù)值，其中原先的象素?cái)?shù)值在統(tǒng)計(jì)特性的控制下被加權(quán)。本發(fā)明提供執(zhí)行自適應(yīng)濾波的簡(jiǎn)單的方法，它優(yōu)選地被應(yīng)用于壓縮系統(tǒng)的預(yù)處理級(jí)。統(tǒng)計(jì)特性可以通過任何已知的(或還未知的)計(jì)算，例如在至少一個(gè)圖象的子組中的方差或相關(guān)(或它們的近似)，而容易地被得出。
在本發(fā)明的另一個(gè)實(shí)施例中，計(jì)算步驟包括在統(tǒng)計(jì)特性的控制下加權(quán)原先的象素?cái)?shù)值組，得出加權(quán)的象素?cái)?shù)值組，以及把加權(quán)的象素?cái)?shù)值組提供給靜態(tài)濾波器，在該靜態(tài)濾波器中，至少一個(gè)濾波的象素?cái)?shù)值從加權(quán)的象素?cái)?shù)值組中被算出。這個(gè)實(shí)施例尤其具有優(yōu)點(diǎn)濾波的自適應(yīng)性可通過使用分開的加權(quán)步驟被得出，以及靜態(tài)濾波器與加權(quán)相組合地被使用。代替使用可變?yōu)V波器，它的實(shí)施方案是更復(fù)雜的，本發(fā)明提供簡(jiǎn)單的象素?cái)?shù)值的適配，它與靜態(tài)濾波器相組合導(dǎo)致自適應(yīng)濾波。
有利地，統(tǒng)計(jì)特性包括原先的象素?cái)?shù)值組的空間和/或時(shí)間擴(kuò)散。在本實(shí)施例中，自適應(yīng)是基于為得出濾波的象素?cái)?shù)值而被處理的象素?cái)?shù)值的“擴(kuò)散”的計(jì)算。擴(kuò)散是基于在象素?cái)?shù)值之間的差別的度量，擴(kuò)散優(yōu)選地是作為絕對(duì)差值的和值被計(jì)算的，給定的絕對(duì)差值是通過從給定的原先的象素值中減去平均象素值而得出的。本地“擴(kuò)散”，即，從其中計(jì)算濾波的象素?cái)?shù)值的、原先的象素組的擴(kuò)散，是圖象的本地活動(dòng)性的良好的指示。這樣，根據(jù)被處理的象素的統(tǒng)計(jì)特性，有可能本地地控制濾波器的強(qiáng)度，以避免在圖象內(nèi)容是關(guān)鍵的地方處(例如在邊緣處)的贗像。在預(yù)濾波中，即，在進(jìn)入編碼環(huán)路以前，在運(yùn)動(dòng)物體附近以及特別是在運(yùn)動(dòng)邊緣處的缺陷，通過根據(jù)圖象的本地統(tǒng)計(jì)性質(zhì)的自適應(yīng)性，而被消除，以便完成空間濾波以及空間時(shí)間濾波，能夠非常有效地對(duì)抗高斯噪聲，而不在圖象序列中產(chǎn)生不可接受的贗像。這在應(yīng)用平均濾波器時(shí)特別正確。中值濾波減小高斯噪聲和難對(duì)付的噪聲。
有利地，通過對(duì)于原先的象素組中的每個(gè)象素取原先的象素?cái)?shù)值的一個(gè)部分α和中心的象素?cái)?shù)值的一個(gè)部分1-α的組合，而得出加權(quán)象素?cái)?shù)值。事實(shí)上，α表示原先的象素?cái)?shù)值占中心象素?cái)?shù)值的量。在α＝0的情形下，所有的原先的象素?cái)?shù)值具有與中心象素?cái)?shù)值的相同的數(shù)值，即，不考慮不同于中心象素?cái)?shù)值的所有原先的象素?cái)?shù)值。這是在本地?cái)U(kuò)散很高時(shí)優(yōu)選的情形。在α＝1的情形下，所有的原先的象素?cái)?shù)值保持它們的原先的數(shù)值。這是在本地?cái)U(kuò)散很低時(shí)優(yōu)選的情形。通常，擴(kuò)散越高，α越低。在本實(shí)施例中，控制信號(hào)只包含一個(gè)數(shù)值，即α，這樣，實(shí)施方案可被保持為盡可能小。
本地?cái)U(kuò)散最好配備有查找表，它的輸出控制加權(quán)。查找表提供簡(jiǎn)單和快速的達(dá)到加權(quán)的控制。
本發(fā)明中的優(yōu)選的濾波運(yùn)行包括中值濾波和平均濾波。當(dāng)例如在空間時(shí)間平均濾波中使用時(shí)間方向上的擴(kuò)散時(shí)，最好使用第二查找表用于時(shí)間方向，因?yàn)樵跁r(shí)間方向上的象素?cái)?shù)值常常與空間方向上的象素?cái)?shù)值不同地互相相關(guān)。而且，在時(shí)間方向上的象素與空間方向上象素不太相關(guān)；所以，有利地在與空間方向上的象素?cái)?shù)值相比較，在總的結(jié)果中減小在時(shí)間方向上相鄰的象素的加權(quán)。
在使用時(shí)間方向的情形下，時(shí)間移位的原先的象素?cái)?shù)值優(yōu)選地包括在同一個(gè)幀中來自不同的區(qū)(具有不等的奇偶校驗(yàn))的兩個(gè)原先的象素?cái)?shù)值以及先前的幀的至少一個(gè)原先的象素?cái)?shù)值。這個(gè)實(shí)施例比起存儲(chǔ)在不同的幀的、具有相同的奇偶校驗(yàn)的區(qū)的象素?cái)?shù)值來說，節(jié)省存儲(chǔ)器，因?yàn)樵诤竺娴那樾蜗?，至少兩個(gè)幀需要被存儲(chǔ)來使得兩個(gè)區(qū)是可提供的。
而且，可以使用濾波的時(shí)間移位的象素?cái)?shù)值，而不是時(shí)間移位的原先的象素?cái)?shù)值，來減小濾波器的實(shí)施方案的帶寬要求。
美國(guó)專利5,621,468揭示了被用作為圖象編碼設(shè)備中的預(yù)濾波的運(yùn)動(dòng)自適應(yīng)空間時(shí)間濾波方法，它通過按照想要的時(shí)間截止頻率和運(yùn)動(dòng)分量的速度使用具有頻帶限制特性的濾波器，而沿著運(yùn)動(dòng)分量的軌跡，而不用時(shí)間折疊地處理視頻幀信號(hào)在空間時(shí)間域上時(shí)間頻帶限制。
美國(guó)專利4,682,230揭示了自適應(yīng)中值濾波系統(tǒng)，它濾波輸入信號(hào)的樣本。另一個(gè)電路估值輸入信號(hào)中噪聲的相對(duì)密度，產(chǎn)生提供給自適應(yīng)中值濾波器的控制信號(hào)。自適應(yīng)濾波器選擇地以具有自中值數(shù)值的樣本替換當(dāng)前的樣本。如果當(dāng)前的樣本/中值距離超過處理的M片內(nèi)的距離，則中值數(shù)值的樣本被耦合到輸出端，否則，當(dāng)前的樣本被耦合到輸出。M片是涉及在按照它們的數(shù)值存儲(chǔ)的樣本表中樣本的相對(duì)位置的通用術(shù)語(yǔ)。中間的以及上部的和下部的量是特定的情形，分別表示在該表中一半、四分之三和四分之一地方的數(shù)值。M片內(nèi)的距離是在上部的M片數(shù)值與下部的M片數(shù)值之間的差值，以及是在當(dāng)前樣本的地點(diǎn)處圖象的對(duì)比度的度量。
美國(guó)專利5,793,435揭示了使用可變系數(shù)空間時(shí)間濾波器的視頻的去交織。交織的視頻信號(hào)被輸入到視頻存儲(chǔ)器，它又提供一個(gè)參考和多個(gè)偏移視頻信號(hào)，代表要被內(nèi)插的象素以及空間上和時(shí)間上相鄰的象素。作為輔助信號(hào)連同交織的視頻被發(fā)送的、或從連同交織的視頻被發(fā)送的運(yùn)動(dòng)衰落得出的、或直接從交織的視頻信號(hào)得出的、系數(shù)索引號(hào)被提供給系數(shù)存儲(chǔ)器，以便選擇一組濾波器系數(shù)。參考和偏移信號(hào)連同空間時(shí)間內(nèi)插濾波器(諸如FIR濾波器)的濾波器系數(shù)一起被加權(quán)，以便產(chǎn)生內(nèi)插的視頻信號(hào)。內(nèi)插的視頻信號(hào)與參考視頻信號(hào)相交織，被適當(dāng)?shù)匮訒r(shí)以補(bǔ)償濾波器處理時(shí)間，產(chǎn)生漸進(jìn)的視頻信號(hào)。
現(xiàn)在參照此后描述的實(shí)施例，將明白和闡述本發(fā)明的上述的和其它方面。
在附圖中

圖1顯示按照本發(fā)明的編碼器的實(shí)施例；圖2顯示如圖3和4所示的自適應(yīng)濾波器的輸入樣本；圖3顯示按照本發(fā)明的自適應(yīng)空間中值濾波器的實(shí)施例；圖4顯示按照本發(fā)明的自適應(yīng)空間平均濾波器的實(shí)施例；圖5顯示如圖6所示的自適應(yīng)空間時(shí)間平均濾波器的第一組輸入樣本；圖6顯示按照本發(fā)明的自適應(yīng)空間時(shí)間平均濾波器的實(shí)施例；以及圖7顯示如圖6所示的自適應(yīng)空間時(shí)間平均濾波器的第二組輸入樣本。
圖上只顯示對(duì)于了解本發(fā)明所必須的那些單元。
圖1顯示按照本發(fā)明的編碼器1的實(shí)施例，它包括輸入單元10、計(jì)算單元11、查找表12、加權(quán)級(jí)13、濾波器14和編碼單元15。輸入視頻信號(hào)V1被提供到編碼器1以及在輸入單元10中被接收。在計(jì)算單元11中，從被表示為Pt，Mi的一組原先的象素?cái)?shù)值中得出本地?cái)U(kuò)散S。擴(kuò)散計(jì)算的結(jié)果被提供到查找表12，得出控制信號(hào)α。在加權(quán)級(jí)13中，象素?cái)?shù)值Pt，Mi被加權(quán)，得出加權(quán)的象素?cái)?shù)值Pt，Ni。加權(quán)的象素?cái)?shù)值Pt，Ni在濾波器14中被濾波，得出濾波的象素?cái)?shù)值Pt’。多個(gè)象素?cái)?shù)值Pt’構(gòu)成濾波的視頻信號(hào)。按照本發(fā)明的有利的實(shí)施例，濾波器14包括空間中值濾波器，空間平均濾波器，空間時(shí)間平均濾波器或它們的組合。由多個(gè)濾波的象素?cái)?shù)值Pt’組成的濾波的視頻信號(hào)在編碼單元15中被編碼，以便得到編碼的視頻信號(hào)V2。編碼單元15優(yōu)選地是MPEG編碼器。
圖2顯示按照本發(fā)明的自適應(yīng)濾波器(諸如圖3所示的空間中值濾波器或圖4所示的空間平均濾波器)的示例性輸入樣本。這些輸入樣本也可被使用來顯示在一個(gè)場(chǎng)內(nèi)輸入樣本的優(yōu)選的例子。虛線表示第一場(chǎng)的圖象線，以及連續(xù)線表示幀的第二場(chǎng)的圖象線。樣本Pt處在計(jì)算的輸出樣本的位置。為了計(jì)算一個(gè)濾波的亮度樣本，五個(gè)樣本Pt，M1，M2，M3和M4被用作為輸入。在MPEG編碼器中，它是本發(fā)明的優(yōu)選的應(yīng)用領(lǐng)域，按照CCIR 4∶2∶2格式，水平的彩色子采樣通常在輸入端發(fā)生。所以，在彩色樣本(對(duì)于U和V的Ptc，M1c，M2c，M3c和M4c)之間的水平距離是亮度樣本的兩倍。因?yàn)閷?shí)驗(yàn)表明來自彩色樣本的額外的增益是最小的，彩色中值處理可以跳過，而不會(huì)很大地影響質(zhì)量。
中值濾波本身對(duì)于它的保留單值步驟邊緣的能力在技術(shù)上是已知的，所以，它廣泛地被使用于二維圖象噪聲平滑。中值濾波器的實(shí)施方案需要非常簡(jiǎn)單的數(shù)字非線性運(yùn)算取長(zhǎng)度n的采樣的和量化的信號(hào)；在該信號(hào)上，有一個(gè)跨越m個(gè)信號(hào)樣本點(diǎn)的窗口滑動(dòng)。濾波器輸出被設(shè)置等于這些m個(gè)信號(hào)樣本的中值數(shù)值以及是與窗口的中心處的樣本有關(guān)的。M個(gè)標(biāo)量Xi(i＝1，...，m)的中值可被定義為Xmed，以使得對(duì)于所有的Y有Σi=1m|Xmed-Xi|≤Σi=1m|Y-Xi|---(1)]]>為了結(jié)果得出唯一的數(shù)值，m必須是奇數(shù)值。假設(shè)從具有由下式表示的雙指數(shù)密度函數(shù)的總體中取一個(gè)隨機(jī)樣本{X1，...，Xm}f(x)=γe-γ|x-δ|2---(2)]]>其中γ是縮放因子以及δ是最大位置參量。使得以下的或然率函數(shù)的數(shù)值最大化的δ的數(shù)值L(δ)=Πi=1mγe-γ|x1-δ|2---(3)]]>被稱為基于隨機(jī)樣本{X1，...，Xm}的、對(duì)于δ的最大或然率估值。通過取(3)式的對(duì)數(shù)，可以看到，最大或然率估值顯然等于Med[X1，...，Xm]。因此，中值是在最大或然率的意義上位置參量的最佳估值，如果輸入分布是如(2)式中的雙指數(shù)的話。同樣地，平均值是對(duì)于高斯分布的最大或然率估值。
傳統(tǒng)上，當(dāng)中值濾波器被使用于二維圖象時(shí)，在圖象的每個(gè)點(diǎn)上的強(qiáng)度用被包含在以該點(diǎn)為中心的、m*m窗口內(nèi)的那些點(diǎn)的強(qiáng)度的中值代替。大家知道，中值濾波器，比起線性濾波器來說，對(duì)于平滑帶有難對(duì)付的噪聲分布的圖象是更有效的，因?yàn)橥ㄟ^中值濾波，分離物被拒絕。按照上述的性質(zhì)，當(dāng)輸入的噪聲的分布具有較大的拖尾(例如，難對(duì)付的噪聲)，中值濾波器有助于產(chǎn)生對(duì)于濾波的噪聲的更低的方差，但具有較低的性能時(shí)，例如，在具有高斯分布的不相關(guān)的(白色)圖象噪聲的情形下的平均濾波器；另外當(dāng)存在高斯噪聲或脈沖式噪聲時(shí)，后者不能像只存在沖擊式噪聲時(shí)那樣被完全抑制。
一般認(rèn)為，中值濾波器對(duì)于它們的保留圖象的單值步驟邊緣(寬度(m+1)/2)的能力是又吸引力的，而平均濾波器不可避免地趨向于模糊的邊緣，但對(duì)抗高斯噪聲是更有效的。在本發(fā)明的一個(gè)實(shí)施例中，以實(shí)際的硬件的、簡(jiǎn)易的實(shí)施方案通過使用分開的中值濾波器而被得出。這樣的分開的濾波器通過接連地應(yīng)用沿著不同的方向的一維中值濾波而執(zhí)行中值濾波運(yùn)算。雖然結(jié)果并不等同于完全的二維中值濾波(使用m*m窗口)，但可以看到，分開的濾波器提供與二維中值濾波器可比較的性能。然而，主要的優(yōu)點(diǎn)在于，在完全的二維中值濾波器中，中心的單元是m2個(gè)點(diǎn)的中值；通過分開地沿著行和列完成m個(gè)點(diǎn)的中值，可以得到計(jì)算上節(jié)省的因子。分開的中值濾波器因此在技術(shù)上是已知的。
雖然中值具有良好的保留邊緣的能力，但如果它被直接應(yīng)用到圖象數(shù)據(jù)上時(shí)，則會(huì)出現(xiàn)奇特的影響，如模糊和在運(yùn)動(dòng)部件周圍的“拖尾”和“陰影”。特別是為了使得這些不想要的影響最小化，本發(fā)明提供自適應(yīng)中值濾波器，該濾波器是基于圖象的本地統(tǒng)計(jì)特性自適應(yīng)的。
圖3顯示按照本發(fā)明的、自適應(yīng)中值濾波器的一個(gè)實(shí)施例。圖2所示的輸入樣本Pt，Mi被提供給計(jì)算單元21和加權(quán)級(jí)23。在計(jì)算單元2 1中，從輸入樣本計(jì)算空間擴(kuò)散Sspat，該擴(kuò)散Sspat被提供給查找表22。根據(jù)擴(kuò)散Sspat，從查找表22得出控制信號(hào)α。控制信號(hào)α被提供給加權(quán)級(jí)23，在其中輸入象素?cái)?shù)值Pt，Mi被加權(quán)，得出被調(diào)整的象素?cái)?shù)值Pt，Ni。應(yīng)當(dāng)指出，在本實(shí)施例中，中心的象素Pt不受加權(quán)影響。在中值濾波器24中，從調(diào)整的象素?cái)?shù)值Pt，Ni取中值，得出濾波的象素?cái)?shù)值Pt’。中值濾波器24包括三個(gè)分開的中值濾波器240，241和242。這些分開的中值濾波器240，241，242一起形成總的中值濾波器。下面討論本實(shí)施例的運(yùn)行。
五個(gè)輸入樣本Pt，M1，M2，M3和M4的空間擴(kuò)散Sspat被如下地計(jì)算Mave=(Pt+M1+M2+M3+M4)5---(4)]]>Sspat=abs(Mave-Pt)+Σi=14abs(Mave-Mi)4---(5)]]>亮度的擴(kuò)散的輸出通過查找表22被轉(zhuǎn)換成用于加權(quán)級(jí)23的控制參量α。在優(yōu)選實(shí)施例中，查找表22的內(nèi)容是可以從外部的源下載的。示例性查找表22被給出為Sspat＞10α＝0.5Sspat＞15α＝0.35 (6)Sspat＞20α＝0.2被調(diào)整的象素?cái)?shù)值然后被得出為N1＝αM1+(1-α)PtN2＝αM2+(1-α)PtN3＝αM3+(1-α)Pt(7)N4＝αM4+(1-α)Pt根據(jù)這些被調(diào)整的象素?cái)?shù)值，在濾波器24中按照下式計(jì)算中值Pt′＝Med[Med(N1，N2，Pt)，Pt，Med(N3，N4，Pt)](8)正如本領(lǐng)域技術(shù)人員將會(huì)看到的，中值可以替換地由下式得出Pt′＝Med[N1，N2，Pt，N3，N4)] (10)
按照本發(fā)明的中值濾波器(例如，如上面討論的中值濾波器24)的優(yōu)點(diǎn)在于，在邊緣附近得到逐漸的濾波，這樣，序列中惱人的影響被避免，或至少被減小。當(dāng)擴(kuò)散Sspat是更大時(shí)，即，例如在邊緣附近處，高的空間活動(dòng)性，則α是較小的，這樣，原先的中心象素被分配以較高的加權(quán)因子，以及中值濾波器24的濾波是較弱的。
圖4顯示按照本發(fā)明的、自適應(yīng)空間平均濾波器的一個(gè)實(shí)施例。計(jì)算單元31和查找表32類似于圖3所示的計(jì)算單元21和查找表22。查找表32被耦合到加權(quán)級(jí)33，在其中輸入樣本Pt，Mi被加權(quán)，得出調(diào)整的象素?cái)?shù)值Pt，Ni，它們被提供給空間平均濾波器34。
如前所述，空間平均濾波器是用于高斯分布的最大或然率估值。因?yàn)樵谝曨l序列中存在的噪聲通常是由于不同的源(獲取、預(yù)放大、放大、發(fā)送和處理運(yùn)行)的影響的和值，在許多情形下可以假設(shè)，噪聲分布是高斯的(中心極限定理)。在這些情形下，平均濾波是優(yōu)選的。通過在編碼設(shè)備的預(yù)濾波級(jí)中使用按照本發(fā)明的自適應(yīng)平均濾波，達(dá)到有效的噪聲濾除，這導(dǎo)致重大的比特速率減小。然而，必須注意最終得到的圖象的質(zhì)量，因?yàn)榭臻g和時(shí)間邊緣的模糊不可避免地發(fā)生。本發(fā)明的、有關(guān)平均濾波器的一個(gè)目的是控制這樣的模糊，以便達(dá)到對(duì)于濾波序列的可接受的質(zhì)量。對(duì)于自適應(yīng)空間平均濾波器，可以利用基于圖象的本地統(tǒng)計(jì)特性(擴(kuò)散/活動(dòng)性)的自適應(yīng)性，正如已對(duì)于中值濾波器描述的。結(jié)果是自適應(yīng)空間平均濾波器，它較好地保留圖象的質(zhì)量。
調(diào)整的象素?cái)?shù)值的計(jì)算類似于前面對(duì)于自適應(yīng)中值濾波器描述的計(jì)算。在這種情形下，色度的濾波也可以跳過，因?yàn)樗鼘?duì)最后結(jié)果的貢獻(xiàn)是很小的。
自適應(yīng)空間平均濾波器的輸出可被計(jì)算為Pt′′=(N1+N2+N3/2+N4/2+Pt)4---(11)]]>應(yīng)當(dāng)指出，象素N3和N4被除以因子2，減小它們?cè)谧詈笃骄鶗r(shí)的加權(quán)因子，因?yàn)樗鼈兊絇t的距離比起到N1和N2是加倍的，因?yàn)闉V波被應(yīng)用到一個(gè)場(chǎng)內(nèi)，所以，它們是“不太相關(guān)的”。
當(dāng)存在非常低的噪聲水平時(shí)，圖象看起來比起原先的平滑得多；無(wú)論如何，通過查找表的正確的調(diào)整，這個(gè)影響可以被統(tǒng)計(jì)地控制，得到在噪聲減小與視頻序列的良好的質(zhì)量之間的良好的折衷。
圖5顯示在空間和時(shí)間方向上的輸入樣本，在該圖上，t表示時(shí)間。在幀F(xiàn)0，取一組象素Pt，Mi，類似于圖2的亮度象素。另外，在本實(shí)施例中，在先前的幀F(xiàn)-1和將來的幀F(xiàn)1中，從帶有同一個(gè)奇偶校驗(yàn)的場(chǎng)中取象素?cái)?shù)值Pt1和Pt2。這里，考慮七個(gè)象素的一個(gè)窗口現(xiàn)在的場(chǎng)的五個(gè)象素，具有相同的奇偶校驗(yàn)的先前的場(chǎng)的一個(gè)象素和具有相同的奇偶校驗(yàn)的將來的場(chǎng)的一個(gè)象素。有利地，包括在時(shí)間方向上的濾波運(yùn)行，因?yàn)榭臻g和時(shí)間噪聲經(jīng)常存在的。噪聲水平的減小對(duì)于運(yùn)動(dòng)估值是有用的，倘若運(yùn)動(dòng)估值本身被認(rèn)為和被認(rèn)識(shí)到與預(yù)處理部分嚴(yán)格有關(guān)的，因此不會(huì)受到濾波的圖象的增加的平滑度太大的影響，否則，運(yùn)動(dòng)矢量的質(zhì)量是壞的，導(dǎo)致?lián)p害最后結(jié)果的、某些附加的編碼噪聲。
圖6顯示按照本發(fā)明的空間時(shí)間平均濾波器的實(shí)施例。為了減小惱人的影響，諸如“拖尾”，“陰影”，或只是運(yùn)動(dòng)物體的模糊，使用自適應(yīng)步驟，以便執(zhí)行有效的和不圖象破壞的、平均空間時(shí)間濾波。在這種情形下，自適應(yīng)性也是基于圖象的本地統(tǒng)計(jì)特性，即使現(xiàn)在必須作出在屬于同一個(gè)場(chǎng)的象素與屬于具有相同的奇偶校驗(yàn)的、先前的或下一個(gè)場(chǎng)的象素之間的區(qū)別。本實(shí)施例包括應(yīng)用計(jì)算空間擴(kuò)散的計(jì)算單元41，它類似于圖3和4所示的計(jì)算單元21和31。計(jì)算單元41被耦合到查找表43。在本示例性實(shí)施例中，屬于同一個(gè)場(chǎng)(Pt，Mi)的象素的擴(kuò)散與屬于具有相同的奇偶校驗(yàn)的、不同的場(chǎng)的象素(Pt，Pt1，Pt2)的擴(kuò)散被分開地計(jì)算。換句話說，在空間方向上的擴(kuò)散的計(jì)算是與在時(shí)間方向上的擴(kuò)散的計(jì)算分開的。為了計(jì)算時(shí)間擴(kuò)散Stemp，實(shí)施例包括第二計(jì)算單元42。
時(shí)間擴(kuò)散被如下地計(jì)算Pt,ave=(Pt+Pt1+Pt2)3---(12)]]>Stemp=abs(Pt,ave-Pt)+Σj=12abs(Pt,ave-Pij)2---(13)]]>
時(shí)間擴(kuò)散的結(jié)果通過時(shí)間查找表44被轉(zhuǎn)換成對(duì)于執(zhí)行的時(shí)間象素?cái)?shù)值Pt，Pt1和Pt2加的權(quán)運(yùn)算所必須的控制參量α’。
在控制參量α(空間)和α’(時(shí)間)計(jì)算后，加權(quán)運(yùn)算在空間和時(shí)間方向上被執(zhí)行，在空間方向上按照公式(5)以及在時(shí)間方向上下式執(zhí)行WP1＝α′Pt1+(1-α′)Pt(14)WP2＝α′Pt2+(1-α′)Pt最后，空間-時(shí)間平均濾波器47的輸出按照下式被計(jì)算Pt′′′=(N1+N2+N3/2+N4/2+Pt+WP1/a+WP2/a)4+2/a---(15)]]>應(yīng)當(dāng)指出，加權(quán)的象素?cái)?shù)值WP1和WP2被除以控制參量α?？刂茀⒘喀潦菑牟檎冶?5得出的，它是≥1的數(shù)，取決于在三個(gè)象素Pt，Pt1和Pt2中的本地時(shí)間擴(kuò)散擴(kuò)散越高，α越大，這樣，先前的和下一個(gè)象素在平均時(shí)的加權(quán)是較小的。通過正確地調(diào)整查找表45，有可能控制在時(shí)間方向上濾波器的強(qiáng)度，以便得到圖象的良好的質(zhì)量，再一次利用圖象時(shí)間內(nèi)容的自適應(yīng)性，以便減小與邊緣模糊相聯(lián)系的惱人的影響。
所描述的濾波器屬于有限沖擊響應(yīng)(FIR)濾波器類別。FIR結(jié)構(gòu)需要在存儲(chǔ)器中保持現(xiàn)在的F0，將來的F1和以前的F-1原先的幀，用于濾波運(yùn)行。為了節(jié)省存儲(chǔ)器，最好使用過去的幀的、具有不等的奇偶校驗(yàn)的象素，如圖7所示。在這種情形下，只需要現(xiàn)在的F0和以前的幀F(xiàn)-1。就濾波器的實(shí)施方案而論，這允許減小存儲(chǔ)器尺寸，而不會(huì)很大地影響濾波圖象的最終結(jié)果的質(zhì)量。不用先前的原先的幀，可以使用以前濾波的幀。在對(duì)于圖7的先前的幀取濾波的幀的情形下，得出無(wú)限沖擊響應(yīng)(IIR)。這種結(jié)構(gòu)對(duì)于存儲(chǔ)器使用和帶寬具有優(yōu)點(diǎn)。
其中實(shí)施按照本發(fā)明的噪聲濾波的、編碼圖象序列的設(shè)備的例子是MPEG-2編碼器，數(shù)字視頻記錄器(例如，DVD視頻記錄，數(shù)字-VHS，HDD VCR)等等。
按照本發(fā)明的自適應(yīng)濾波器也可在運(yùn)動(dòng)補(bǔ)償編碼環(huán)內(nèi)被應(yīng)用。有利地，自適應(yīng)濾波器與編碼環(huán)內(nèi)的時(shí)間濾波器相組合被使用于預(yù)濾波級(jí)。
在本發(fā)明的實(shí)施例中，至少兩個(gè)自適應(yīng)噪聲濾波器被組合，例如，空間中值濾波器和自適應(yīng)空間平均濾波器，其中濾波由圖象序列的特性被控制?？梢约由显肼暪乐灯?，用來分析現(xiàn)在的噪聲的水平。這樣的噪聲估值器是感興趣的工具，用來控制自適應(yīng)濾波器。有利地，噪聲估值器被安排來識(shí)別存在的噪聲的統(tǒng)計(jì)特性，以便在中值和空間和/或空間時(shí)間平均濾波器之間及時(shí)地動(dòng)態(tài)切換。
應(yīng)當(dāng)指出，上述的實(shí)施例是說明而不是限制本發(fā)明，且本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)許多替換的實(shí)施例，而不背離所附權(quán)利要求的范圍。在權(quán)利要求中，放置在括號(hào)之間的標(biāo)號(hào)將不認(rèn)為是對(duì)權(quán)利要求的限定。詞組“包括”并不排除除權(quán)利要求中列出的以外的、其它的元件或步驟的存在。本發(fā)明可借助于包括幾個(gè)不同的元件的硬件和借助于適當(dāng)?shù)鼐幊痰挠?jì)算機(jī)來實(shí)施。在列舉幾個(gè)裝置的設(shè)備權(quán)利要求中，這些裝置的幾個(gè)裝置可以用同一種硬件項(xiàng)目來實(shí)施。某些方法在互相不同的從屬權(quán)利要求中被闡述的事實(shí)并不表示，這些方法的組合不具備同樣的優(yōu)點(diǎn)。
總括地，提供了對(duì)圖象序列的噪聲濾除，其中確定至少一個(gè)圖象中的統(tǒng)計(jì)特性以及根據(jù)從至少一個(gè)圖象得出的一組原先的象素?cái)?shù)值來計(jì)算至少一個(gè)濾波的象素?cái)?shù)值，其中原先的象素?cái)?shù)值在統(tǒng)計(jì)特性的控制下被加權(quán)。
權(quán)利要求
1.一種對(duì)圖象序列(V1)進(jìn)行噪聲濾除的方法，其特征在于，該方法包括確定(11)圖象序列(V1)的至少一個(gè)圖象的統(tǒng)計(jì)特性；以及根據(jù)從至少一個(gè)圖象得出的一組原先的象素?cái)?shù)值(Pt，Mi)來計(jì)算(14)至少一個(gè)濾波的象素?cái)?shù)值(Pt’)，其中原先的象素?cái)?shù)值(Pt，Mi)在統(tǒng)計(jì)特性(11)的控制(12，α)下被加權(quán)(13)。
2.如權(quán)利要求1的方法，其中計(jì)算步驟包括在統(tǒng)計(jì)特性(11)的控制(12，α)下加權(quán)(13)原先的象素?cái)?shù)值(Pt，Mi)組，以得出加權(quán)的象素?cái)?shù)值(Pt，Ni)組；以及把加權(quán)的象素?cái)?shù)值(Pt，Ni)組提供給靜態(tài)濾波器，在該靜態(tài)濾波器中，從加權(quán)的象素?cái)?shù)值(Pt，Ni)組中計(jì)算至少一個(gè)濾波的象素?cái)?shù)值(Pt’)。
3.如權(quán)利要求1的方法，其中統(tǒng)計(jì)特性(11)包括原先的象素?cái)?shù)值(Pt，Mi)組的空間和/或時(shí)間擴(kuò)散(S)。
4.如權(quán)利要求3的方法，其中空間和/或時(shí)間擴(kuò)散(S)是絕對(duì)差值的和值，給定的絕對(duì)差值是通過從給定的原先的象素?cái)?shù)值(Pt，Mi)中減去平均象素?cái)?shù)值而得出的。
5.如權(quán)利要求1的方法，其中原先的象素?cái)?shù)值(Pt，Mi)組包括中心象素?cái)?shù)值(Pt)和空間上和或時(shí)間上周圍的象素?cái)?shù)值(Mi)，其中由于噪聲濾波，中心象素?cái)?shù)值(Pt)被濾波的象素?cái)?shù)值(Pt’)代替。
6.如權(quán)利要求2的方法，其中加權(quán)的象素?cái)?shù)值(Pt，Ni)組是通過對(duì)于在原先的象素?cái)?shù)值(Pt，Mi)組中的每個(gè)象素取原先的象素?cái)?shù)值(Pt，Mi)組的一部分α和中心象素?cái)?shù)值的一部分1-α的組合，而得到的。
7.如權(quán)利要求1的方法，其中統(tǒng)計(jì)特性(11)被提供給查找表(12)，從該查找表(12)得出控制信號(hào)(α)，該控制信號(hào)(α)控制加權(quán)(13)。
8.如權(quán)利要求2的方法，其中至少一個(gè)濾波的象素?cái)?shù)值(Pt’)是通過計(jì)算(14)加權(quán)的象素?cái)?shù)值(Pt，Ni)組的中值而得出的。
9.如權(quán)利要求2的方法，其中至少一個(gè)濾波的象素?cái)?shù)值(Pt’)是通過計(jì)算(14)加權(quán)的象素?cái)?shù)值(Pt，Ni)組的平均值而得出的。
10.如權(quán)利要求9的方法，該方法包括確定(41)從原先的象素?cái)?shù)值組(Pt，Mi，Pt1，Pt2)中的空間移位的原先的象素?cái)?shù)值(Pt，Mi)計(jì)算的空間擴(kuò)散(Sspat)；確定(42)從原先的象素?cái)?shù)值組(Pt，Mi，Pt1，Pt2)中的時(shí)間移位的原先的象素?cái)?shù)值(Pt，Pt1，Pt2)計(jì)算的時(shí)間擴(kuò)散(Stemp)；以及在空間擴(kuò)散(Sspat)的控制(43)下加權(quán)(46)空間移位的原先的象素?cái)?shù)值(Pt，Mi)，以及在時(shí)間擴(kuò)散(Stemp)的控制(44，45)下加權(quán)(46)時(shí)間移位的原先的象素?cái)?shù)值(Pt，Pt1，Pt2)。
11.如權(quán)利要求10的方法，其中加權(quán)的時(shí)間移位的原先的象素?cái)?shù)值(WP1，WP2)被除以(a)，減小它們?cè)跒V波(47)中的加權(quán)因子。
12.如權(quán)利要求10的方法，其中時(shí)間移位的原先的象素?cái)?shù)值包括來自同一個(gè)幀(F0)的不同的場(chǎng)的兩個(gè)原先的象素?cái)?shù)值(Pt1，Pt2)和先前的幀(F-1)的至少一個(gè)原先的象素?cái)?shù)值。
13.如權(quán)利要求12的方法，其中使用濾波的時(shí)間移位的象素?cái)?shù)值，而不是時(shí)間移位的原先的象素?cái)?shù)值。
14.一種編碼(1)圖象序列(V1)的方法，其中圖象序列(V1)按照如權(quán)利要求1中要求的方法被噪聲濾波。
15.一種用于對(duì)圖象序列進(jìn)行噪聲濾除的設(shè)備，設(shè)備包括計(jì)算裝置(11)，用于確定圖象序列(V1)的至少一個(gè)圖象中的統(tǒng)計(jì)特性；以及濾波裝置(14)，用于根據(jù)從至少一個(gè)圖象得出的一組原先的象素?cái)?shù)值(Pt，Mi)來計(jì)算至少一個(gè)濾波的象素?cái)?shù)值(Pt’)，其中原先的象素?cái)?shù)值(Pt，Mi)在統(tǒng)計(jì)特性(11)的控制(12，α)下被加權(quán)(13)。
16.一種用于編碼(1)圖象序列(V1)的設(shè)備，該設(shè)備包括如權(quán)利要求15的用于噪聲濾波的設(shè)備。
全文摘要
提供了對(duì)圖象序列(V1)進(jìn)行的噪聲濾除,其中確定(11)圖象序列(V1)的至少一個(gè)圖象的統(tǒng)計(jì)特性(S),以及根據(jù)從至少一個(gè)圖象得出的一組原先的象素?cái)?shù)值(P
文檔編號(hào)G06T5/00GK1383673SQ01801689
公開日2002年12月4日 申請(qǐng)日期2001年5月25日 優(yōu)先權(quán)日2000年6月15日
發(fā)明者W·H·A·布魯爾斯, L·卡米齊奧蒂, G·德哈安, R·P·克萊霍爾斯特, A·范德維爾夫 申請(qǐng)人:皇家菲利浦電子有限公司