專利名稱：用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法。
背景技術(shù)：
電視信號發(fā)展到了數(shù)字信號階段，產(chǎn)生了一系列的編解碼的標(biāo)準(zhǔn)，例如MPEG2、MPEG4等。這些標(biāo)準(zhǔn)都是基于分塊的DCT變換然后進(jìn)行量化壓縮的，其中必然存在信息的損失。這種信息的損失會在圖像的解碼重建過程中產(chǎn)生一些失真的現(xiàn)象，例如塊效應(yīng)，幀間的閃爍，圖像邊緣的閃爍不定，都是由于DCT變換壓縮引起的。這些失真根據(jù)不同的現(xiàn)象給了不同的名稱，通常稱之為噪聲，例如塊噪聲、蚊式噪聲等。有很多的方法被用來處理這些噪聲，并且由于編碼格式的統(tǒng)一，所以這些噪聲一般都是在解碼重建后進(jìn)行處理的，稱之為后期處理算法。
經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，中國專利名稱為噪聲檢測器、噪聲檢測方法、信號處理器和信號處理方法，申請?zhí)枮?0122465，該專利提出了一種通過提取圖像信號的高頻成份檢測圖像信號的大振幅邊緣周圍作為噪聲的小振幅邊緣的噪聲檢測電路，以及根據(jù)噪聲檢測電路的結(jié)果對噪聲信號進(jìn)行水平方向和/或垂直方向平滑處理的信號處理電路，并通過這種方式去除蚊式噪聲和振鈴。該專利僅采用幀內(nèi)的圖像信息進(jìn)行噪聲的檢測和平滑，容易造成圖像中細(xì)節(jié)的模糊，尤其是連續(xù)的運動細(xì)節(jié)的模糊。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，使其采用幀內(nèi)邊緣檢測和幀間運動自適應(yīng)的方法檢測蚊式噪聲，并對其進(jìn)行中值濾波，有效地保護(hù)了圖像中的細(xì)節(jié)成分，從而提高整體的處理效果。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明包括兩個大的方面，即先對圖像進(jìn)行幀內(nèi)處理，然后對經(jīng)過幀內(nèi)處理的連續(xù)的三幀圖像進(jìn)行幀間處理，所述的對圖像進(jìn)行幀內(nèi)處理，具體為先使用Laplace算子對圖像進(jìn)行邊緣檢測，得到每個像素的邊緣信息，如果某一像素為邊緣像素或者它周圍的四個像素中有兩個以上的邊緣像素，保留其值不變；否則，用一個中值濾波器對該像素進(jìn)行濾波處理。所述的對經(jīng)過幀內(nèi)處理的連續(xù)的三幀圖像進(jìn)行幀間處理，具體為首先進(jìn)行運動檢測，根據(jù)相鄰幀之間的差異，判斷當(dāng)前幀中的像素是否運動，如果該像素是運動像素，則保留其值不變；如果是非運動像素，則將三幀中的對應(yīng)點進(jìn)行中值濾波的結(jié)果作為該像素的濾波結(jié)果。
蚊式噪聲是一種時域上的噪聲，本發(fā)明所述的蚊式噪聲的定義如下蚊式噪聲是在運動物體和背景的交界處亮度和色度的波動閃爍。從單幀的圖像來看，蚊式噪聲表現(xiàn)為物體邊緣處的模糊或背景上的一些靠近物體邊緣上的斑紋；從運動的圖像來看，蚊式噪聲表現(xiàn)為在物體邊緣附近不規(guī)則的波動。蚊式噪聲的產(chǎn)生主要是由于幀間編碼時，幀與幀之間的預(yù)測誤差編碼采用了不同的量化步長，這樣在一個幀序列里，同一個物體的編碼可能會不同，從而產(chǎn)生了亮度或色度值的波動。一般我們把邊緣處的這種波動稱為蚊式噪聲，各種蚊式噪聲的處理算法也是針對邊緣處的這種波動來進(jìn)行的。
以下對本發(fā)明方法作進(jìn)一步的說明，具體內(nèi)容如下1、使用Laplace算子進(jìn)行邊緣檢測圖像的邊緣可以定義為圖像局部特性的不連續(xù)性，例如亮度的突變，顏色的突變，紋理結(jié)構(gòu)的突變等。一般來說圖像中的邊緣是具有不同平均灰度等級的兩個區(qū)域之間的邊界。因而，圖像邊緣處的灰度的一階導(dǎo)數(shù)幅度會較大。大多數(shù)邊緣檢測技術(shù)應(yīng)用某種形式的梯度算子。本發(fā)明邊緣檢測是以像素灰度的二階差分為檢測依據(jù)的。
本發(fā)明采用的是Laplace算子，Laplace算子 是一個二階微分算子，在數(shù)字圖像中可以用差分來近似Δ2ft(m，n)＝ft(m+1，n)+ft(m-1，n)+ft(m，n+1)+ft(m，n-1)-4ft(m，n)(1)其中ft(m，n)表示第t幀圖像中處于第m行第n列的像素的灰度，ft(m+1，n)、ft(m-1，n)、ft(m，n+1)和ft(m，n-1)分別表示同一幀中與像素(m，n)十字相鄰的四個像素的灰度，Δ2ft(m，n)表示以上像素經(jīng)Laplace算子運算的結(jié)果。
為了邊緣檢測的效果更好，可對Laplace算子進(jìn)行一些修正，如公式(2)所示。
Δ2ft(m，n)＝|ft(m+1，n)-ft(m，n)|+|ft(m-1，n)-ft(m，n)|+|ft(m，n+1)-ft(m，n)|+|ft(m，n-1)-ft(m，n)|(2)邊緣檢測可描述如下采用公式(2)對原序列中第t幀的像素(m，n)加載Laplace算子，得到其二階梯度Δ2ft(m，n)；如果(m，n)比邊緣檢測門限高，則(m，n)為邊緣像素，否則不是邊緣像素。邊緣檢測的門限是自適應(yīng)確定的，邊緣檢測門限的計算方法如公式(3)所示。
edg_threshold(m,n)=1(2N+1)2Σi=-NNΣj=-NNΔ2ft(m+i,n+j)···(3)]]>其中(2N+1)為邊緣檢測門限計算窗口的尺寸，edg_threshold(m，n)為像素(m，n)的邊緣檢測門限。如果Δ2ft(m，n)＞edg_threshold(m，n)，則(m，n)為邊緣像素，其邊緣信息edge(m，n)＝1，否則edge(m，n)＝0。
2、幀內(nèi)濾波用邊緣信息決定幀內(nèi)濾波的模式。幀內(nèi)濾波分為兩個模式中值濾波模式和保留模式。首先計算在像素(m，n)周圍十字形窗口內(nèi)邊緣像素的數(shù)目，如公式(4)所示。再按公式(5)對像素(m，n)進(jìn)行幀內(nèi)濾波。如果edg(m，n)＝1或者edge_sum(m，n)＞2，則保留其值不做處理；其它情況則使用中值濾波器對其進(jìn)行濾波。
edge_sum(m，n)＝edge(m，n)+edge(m-1，n)+edge(m+1，n)+edge(m，n-1)+edge(m，n+1) (4) 其中median表示對括號內(nèi)的幾個變量取中值的運算， 表示對像素(m，n)的灰度進(jìn)行幀內(nèi)濾波的結(jié)果。
3、運動檢測運動檢測由兩個部分組成，具體為幀間差異計算和運動判斷。
用于運動檢測的連續(xù)的三幀圖像中的像素灰度分別用 和 表示，其中 表示當(dāng)前幀中第m行第n列的像素的灰度， 表示在時間上超前于(m，n)一個幀周期的像素的灰度， 表示在時間上滯后于 一個幀周期的像素的灰度，它們都是幀內(nèi)濾波的結(jié)果。當(dāng)前幀中的像素(m，n)的灰度以及它周圍的鄰域內(nèi)的像素灰度分別和前后幀對應(yīng)的像素灰度進(jìn)行比較，并將對應(yīng)點差值的絕對值求和，分別得到差值prediff(m，n)和postdiff(m，n)，如公式(6)和(7)所示。如果這兩個差值有一個或者兩個都大于門限，則判斷(m，n)為運動像素，運動信息motion(m，n)＝1，否則為非運動像素，motion(m，n)＝0。幀間差異的計算如下，對于當(dāng)前幀中的像素(m，n)，其灰度用 表示，使用下面兩個公式得到兩個差值prediff(m,n)=Σi=-MMΣj=-MM|f^t(m+i,n+j)-f^t+1(m+i,n+j)|···(6)]]>postdiff(m,n)=Σi=-MMΣj=-MM|f^t-1(m+i,n+j)-f^t-1(m+i,n+j)|···(7)]]>其中幀間差異計算的窗口尺寸為2M+1，prediff(m，n)和postdiff(m，n)分別為當(dāng)前幀與前一幀的差異，及當(dāng)前幀與后一幀的差異。公式(6)和(7)的兩個差值分別與門限比較，門限根據(jù)當(dāng)前幀中的像素(m，n)的灰度 來確定，如公式(8)所示。運動信息motion(m，n)的計算如公式(9)所示。
其中mov_threshold(m，n)表示對當(dāng)前幀像素(m，n)設(shè)定的運動檢測門限。
幀間差異大于設(shè)定的檢測門限，則判斷像素 是運動的，即其運動信息motion(m，n)＝1，否則motion(m，n)＝0。
4、幀間濾波根據(jù)運動檢測的結(jié)果決定幀間處理的方式，即決定對當(dāng)前幀中像素的濾波方式。如果(m，n)是運動像素，即motion(m，n)＝1，那么該點保留幀內(nèi)處理的結(jié)果；否則做時域上的中值濾波，即用前后幀和當(dāng)前幀同一點的三個像素值中值濾波的結(jié)果來代替當(dāng)前點的像素值。即ft*(m,n)=f^t(m,n)motion(m,n)=1median[f^t+1(m,n),f^t(m,n),f^t-1(m,n)]motion(m,n)=0···(10)]]>其中ft*(m，n)表示對第t幀進(jìn)行幀間濾波的結(jié)果， 表示對像素(m，n)進(jìn)行幀內(nèi)濾波的結(jié)果，median表示對括號內(nèi)的幾個變量取中值的運算，motion(m，n)表示第t個經(jīng)過幀內(nèi)處理的幀中，第m行第n列像素的運動狀態(tài)，motion(m，n)＝1表示該像素是運動像素，否則為止像素。
本發(fā)明涉及的蚊式噪聲降噪方法，其幀內(nèi)處理部分考慮了對圖像邊緣細(xì)節(jié)的保護(hù)，幀間處理部分考慮了對運動部分的保護(hù)，在有效去除蚊式噪聲的同時，最大限度地保護(hù)了圖像的細(xì)節(jié)和清晰度，減少了現(xiàn)有技術(shù)中只采用幀內(nèi)的水平和垂直濾波對圖像的細(xì)節(jié)及運動成分造成的損失，提高了輸出圖像的視覺質(zhì)量。


圖1本發(fā)明原理圖具體實施方式
結(jié)合本發(fā)明的內(nèi)容提供以下實施例如圖所示，圖1為本發(fā)明涉及的蚊式噪聲降噪算法原理圖。降噪過程如下(1)幀延遲單元I和II幀延遲單元I將輸入的視頻信號延遲一幀，幀延遲單元II以幀延遲單元I的輸出為輸入，并將其延遲一幀，即如果輸入的視頻信號為第(t+1)幀圖像，幀延遲單元I的輸出即為第(t)幀圖像，幀延遲單元II的輸出即為第(t-1)幀圖像。
(2)邊緣檢測單元I、II、III采用Laplace算子，根據(jù)公式(2)分別對輸入的第(t+1)幀圖像、第t幀圖像和第(t-1)幀圖像進(jìn)行邊緣檢測，并按公式(3)計算每個邊緣檢測門限，確定第(t+1)幀圖像、第t幀圖像和第(t-1)幀圖像中各像素的邊緣信息。
(3)幀內(nèi)濾波單元I、II、III根據(jù)第(t+1)幀圖像、第t幀圖像和第(t-1)幀圖像中各像素的邊緣信息，幀內(nèi)濾波單元I、II、III按公式(4)和(5)對第(t+1)幀圖像、第t幀圖像和第(t-1)幀圖像中各像素進(jìn)行幀內(nèi)濾波處理，得到幀內(nèi)濾波結(jié)果 和 (4)運動檢測模塊采用公式(6)和(7)分別計算 與 的差異prediff(m，n)， 與 的差異postdiff(m，n)，并采用公式(8)計算運動檢測門限，按公式(9)確定 中的像素的運動信息motion(m，n)。(5)幀間濾波單元根據(jù)公式(10)對 進(jìn)行幀間濾波，得到最終的蚊式噪聲降噪結(jié)果作為視頻輸出信號。
具體實施內(nèi)容如下
首先按照公式(2)計算輸入圖像中各個像素的經(jīng)過Laplace算子的結(jié)果，并按照公式(3)計算各個像素邊緣檢測的門限，在實施例中，選定邊緣檢測的門限計算窗口為3×3窗口，即公式(3)中N＝1。如上所述提取輸入圖像的邊緣，確定各個像素的邊緣信息。按照公式(5)對輸入圖像進(jìn)行幀內(nèi)濾波，得到幀內(nèi)濾波的結(jié)果。選定幀間差異的計算窗口為3×3窗口，即公式(6)和(7)中的M＝1。采用公式(6)和(7)計算連續(xù)的三幀輸入圖像的幀內(nèi)濾波結(jié)果之間的差異，按照公式(8)計算運動檢測的門限，并根據(jù)公式(9)和(10)完成幀間濾波，得到輸出圖像。
本發(fā)明采用以上算法對10幀經(jīng)MPEG2壓縮的PAL制圖像序列進(jìn)行了處理。解碼后的視頻序列為4:2:0格式，亮度信號和色度信號分開處理，最后合成彩色圖像。在進(jìn)行蚊式噪聲降噪前，MPEG2解碼圖像的信噪比為31.181，降噪后，信噪比為31.523。降噪后邊緣附近的閃爍現(xiàn)象得到了有效的抑制，并且圖像中的細(xì)節(jié)成分沒有受到影響。
權(quán)利要求
1.一種用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征在于，先對圖像進(jìn)行幀內(nèi)處理，然后對經(jīng)過幀內(nèi)處理的連續(xù)的三幀圖像進(jìn)行幀間處理，所述的對圖像進(jìn)行幀內(nèi)處理，具體為先使用Laplace算子對圖像進(jìn)行邊緣檢測，得到每個像素的邊緣信息，如果某一像素為邊緣像素或者它周圍的四個像素中有兩個以上的邊緣像素，保留其值不變；否則，用一個中值濾波器對該像素進(jìn)行濾波處理；所述的對經(jīng)過幀內(nèi)處理的連續(xù)的三幀圖像進(jìn)行幀間處理，具體為首先進(jìn)行運動檢測，根據(jù)相鄰幀之間的差異，判斷當(dāng)前幀中的像素是否運動，如果該像素是運動像素，則保留其值不變；如果是非運動像素，則將三幀中的對應(yīng)點進(jìn)行中值濾波的結(jié)果作為該像素的濾波結(jié)果。
2.根據(jù)權(quán)利要求1所述的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征是，所述的邊緣檢測是以像素灰度的二階差分為檢測依據(jù)的。
3.根據(jù)權(quán)利要求1或者2所述的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征是，邊緣檢測的門限是自適應(yīng)確定的，邊緣檢測的門限計算公式為edg_threshold(m,n)=1(2N+1)2Σi=-NNΣi=-NNΔ2ft(m+i,n+j)]]>其中Δ2ft(m，n)為第t幀圖像中第m行第n列像素(m，n)的二階差分，(2N+1)為邊緣檢測門限計算窗口的尺寸，edg_threshold(m，n)為像素(m，n)的邊緣檢測門限，如果Δ2ft(m，n)＞edg_threshold(m，n)則像素(m，n)的邊緣信息edg(m，n)＝1，否則edg(m，n)＝0。
4.如權(quán)利要求1所述的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征是，用邊緣信息決定幀內(nèi)濾波的模式，如下式所示edge_sum(m，n)＝edge(m，n)+edge(m-1，n)+edge(m+1，n)+edge(m，n-1)+edge(m，n+1) 其中edg(m，n)表示像素(m，n)的邊緣信息，edge_sum(m，n)表示像素(m，n)及其鄰域內(nèi)邊緣像素的數(shù)目，median表示對括號內(nèi)的幾個變量取中值的運算， 表示對像素(m，n)進(jìn)行幀內(nèi)濾波的結(jié)果。
5.根據(jù)權(quán)利要求1所述的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征是，所述的運動檢測由兩個部分組成，具體為幀間差異計算和運動判斷。
6.根據(jù)權(quán)利要求5所述的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征是，幀間差異的計算由以下兩個公式完成，prediff(m,n)=Σi=-MMΣj=-MM|f^t(m+i,n+j)-f^t+1(m+i,n+j)]]>postdiff(m,n)=Σi=-MMΣj=-MM|f^t-1(m+i,n+j)-f^t-1(m+i,n+j)]]>其中幀間差異計算的窗口尺寸為2M+1，prediff(m，n)和postdiff(m，n)分別為當(dāng)前幀與前一幀的差異，及當(dāng)前幀與后一幀的差異。
7.根據(jù)權(quán)利要求5所述的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征是，運動判斷的門限是根據(jù)像素的灰度計算的，如以下公式所示 其中mov_threshold(m，n)表示對當(dāng)前幀像素(m，n)設(shè)定的運動檢測門限， 表示對像素(m，n)進(jìn)行幀內(nèi)濾波的結(jié)果。
8.如果權(quán)利要求6或者7所述的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，其特征是，幀間差異大于設(shè)定的檢測門限，則判斷像素 是運動的，即其運動信息motion(m，n)＝1，否則motion(m，n)＝0。
9.根據(jù)權(quán)利要求1所述的采用邊緣檢測、運動檢測和中值濾波進(jìn)行蚊式噪聲降噪的算法，其特征是，根據(jù)運動檢測的結(jié)果決定幀間處理的方式，幀間處理按照以下公式進(jìn)行ft*(m,n)=f^t(m,n)motion(m,n)=1median[f^t+1(m,n),f^t(m,n),f^t-1(m,n)]motion(m,n)=0]]>其中ft*(m，n)表示對第t幀進(jìn)行幀間濾波的結(jié)果， 表示對像素(m，n)進(jìn)行幀內(nèi)濾波的結(jié)果，median表示對括號內(nèi)的幾個變量取中值的運算，motion(m，n)表示第t個經(jīng)過幀內(nèi)處理的幀中，第m行第n列像素的運動狀態(tài)，motion(m，n)＝1表示該像素是運動像素，否則為靜止像素。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的用邊緣檢測、運動檢測和中值濾波去除蚊式噪聲的方法，即先對圖像進(jìn)行幀內(nèi)處理，然后對經(jīng)過幀內(nèi)處理的連續(xù)的三幀圖像進(jìn)行幀間處理。具體為使用Laplace算子對圖像進(jìn)行邊緣檢測，得到每個像素的邊緣信息，如果某一像素為邊緣像素或者它周圍的四個像素中有兩個以上的邊緣像素，保留其值不變；否則，用一個中值濾波器對該像素進(jìn)行濾波處理；進(jìn)行運動檢測，根據(jù)相鄰幀之間的差異，判斷當(dāng)前幀中的像素是否運動，如果該像素是運動像素，則保留其值不變；如果是非運動像素，則將三幀中的對應(yīng)點進(jìn)行中值濾波的結(jié)果作為該像素的濾波結(jié)果。本發(fā)明最大限度地保護(hù)了圖像的細(xì)節(jié)和清晰度，提高了輸出圖像的視覺質(zhì)量。
文檔編號H04N7/26GK1761286SQ20051003097
公開日2006年4月19日 申請日期2005年11月3日 優(yōu)先權(quán)日2005年11月3日
發(fā)明者鄭世寶, 董云朝, 王嘉 申請人:上海交通大學(xué)