專利名稱：用于減少視頻圖像處理中的運動失真和噪聲的方法和設備的制作方法
技術領域：
本發(fā)明涉及減少視頻圖像處理過程中運動失真和噪聲的方法和設備，尤其是用于逐幀地在時間上以每個像素的方式濾波視頻圖像的方法和設備。
我們都知道現(xiàn)有技術采用時間濾波器(也稱為“遞歸濾波器”)對數(shù)字數(shù)據(jù)(它代表視頻圖像的每個幀)進行濾波以減少視頻圖像中的噪聲。采用硬件或者軟件的方式可以實現(xiàn)時間濾波器，硬件方面主要采用乘法器或者查找表來實現(xiàn)的，查找表用于保持代表像素差值的增益系數(shù)的數(shù)據(jù)。通過運算幀或者矩陣中每個單一像素、在時間上對每個視頻幀存儲每個單一像素的像素值、確定目前的或者輸入幀的像素的像素值與前鄰的或者已經(jīng)濾波的幀的像素的像素值之間的差、把這個差值一部分與前鄰的或者已經(jīng)濾波的幀的像素的像素值(依賴于濾波器或增益系數(shù))相加獲得針對幀中每個像素的新的已經(jīng)濾波的像素值、存儲并且顯示或者輸出這個新像素值，時間濾波器將可以進行噪聲降低。加到前鄰的幀的像素的像素值的數(shù)量，是這個差值的分數(shù)的部分，并且通過函數(shù)者選擇來確定這個數(shù)量。例如，函數(shù)者可能選擇四幀進行平均，這樣使加到前鄰的幀的像素的像素值的數(shù)量，將為這個差值的0.25(或者1/4)。如果函數(shù)者選擇八幀進行平均，這樣使加到前鄰的幀的像素的像素值的數(shù)量，將為這個差值的0.125(或者1/8)。因此要求的平均等級越高，則加到前面像素值的差值的分數(shù)就越小。換言之，時間濾波過程就是對輸入像素值的連續(xù)(running)平均過程。
簡單的時間濾波器的缺點在于不能夠區(qū)分活動圖像中噪聲與運動，因此無論是由于不希望的噪聲所引起的還是由于可接受的運動所引起的像素差值的改變，都會導致濾波。當對由于運動所引起的像素差值進行平均時，則已經(jīng)濾波的視頻圖像在出現(xiàn)運動的地方就會有模糊和斑點。因此時間濾波器降低噪聲的同時也非本意地降低了活動圖像的清晰度。
綜上所述，就希望提供隨著視頻圖像中運動量調整濾波量的濾波器。
本發(fā)明的一個目的是提供用于獲得具有減少運動失真和減少噪聲的得到改善了的視頻圖像的一種方法和設備。
本發(fā)明的另一個目的是提供用于當圖像正在運動或者圖像的一部分正在運動時減少圖像的濾波量的方法和設備。當圖像正在運動時降低時間濾波就減少了圖像的運動的部分中的模糊和斑點而保持對圖像的非運動的部分中很好的噪聲濾波。
本發(fā)明的另一個目的是提供這樣的方法和設備這個方法和設備可以最大地濾波靜止圖像或者圖像的靜止部分的噪聲。
通過用于減少顯示的視頻圖像的像素中的噪聲的一個方法和設備，就可以實現(xiàn)上述目的和其他未特殊提出的目的，這個方法和設備根據(jù)具有目前濾波的像素值的第一幀和具有最近剛獲取的未濾波的像素值的第二幀，來濾波視頻圖像中的像素的像素值。一個示意性的方法包括以下步驟(a)在存儲器中存儲數(shù)字數(shù)據(jù)，這些數(shù)字數(shù)據(jù)代表了已經(jīng)濾波的幀中每個像素的 圖像濾波值或(在第一周期后)的多個濾波值，每個像素具有由數(shù)字數(shù)據(jù)的一組比特所表示的一個像素值；(b)獲取代表第二幀或隨后幀中每個像素的圖像值的數(shù)字數(shù)據(jù)，每個像素具有由數(shù)字數(shù)據(jù)的一組比特所表示的一個未濾波的像素值；(c)根據(jù)掃描技術，在這個視頻圖像中像素之間選擇所關心的像素；(d)計算(i)這個所關心的像素或者所選擇的像素與(ii)這個所關心的像素周圍的核心(kernel)或者矩陣中的像素的之間差值，這些差值的每個都是所存儲幀中像素的初始或者已經(jīng)濾波的像素值與下一幀中相同像素位置的輸入的或者未濾波的像素值之間的差；(e)對所關心的像素周圍的核心(kernel)或者矩陣中像素的差值進行平均(空間濾波器)，得到降低了濾波噪聲的運動值；(f)根據(jù)根據(jù)所關心的濾波量并且按照與每個所關心像素相關的運動值，計算針對在這個幀或者矩陣中所關心像素的濾波等級；以及(g)把這個計算出的所關心像素的值與所存儲的圖像初始的或者已經(jīng)濾波的值相加，產(chǎn)生新的存儲圖像的已經(jīng)濾波的值。
對輸入的幀圖像的每個未濾波的輸入像素值重復這個時間(遞歸)和運動濾波處理過程。
然后這個新的已經(jīng)濾波的像素值將被顯示或者輸出成為處理的圖像。這樣，就產(chǎn)生了代表了已經(jīng)濾波的像素值的新一幀數(shù)字數(shù)據(jù)，它代替了第二幀的未濾波的像素值。這個新幀被輸出或者顯示，并且對下一幀未濾波的像素值重復這個全部處理過程。
下面的說明將公開本發(fā)明的附加目的和優(yōu)點，并且尤其通過說明或者通過體驗本發(fā)明將使本發(fā)明的附加目的和優(yōu)點更加明顯。通過在附加權利要求中所特別聲明的方式以及組合，將可以實現(xiàn)并且獲得本發(fā)明的目的和優(yōu)點。
通過下面結合附圖所作的詳細地說明，將會更加清楚本發(fā)明的上述和其他的目的、特征以及優(yōu)點。這些附圖是

圖1示出像素濾波模型的方框圖，這個像素濾波模型用于減少視頻圖像的每個像素中的噪聲和運動失真，運動值控制這個濾波函數(shù)；圖2示出像素濾波模型的方框圖，這個像素濾波模型用于減少視頻圖像的每個像素中的噪聲和運動失真，通過空間濾波器值用作輸入到時間濾波器的輸入，運動值也控制這個濾波函數(shù)，并且這個控制是以運動值控制信號為基礎的；圖3示出了示意性的時間或者遞歸濾波器的標準模型的方框圖，它們主要在現(xiàn)有領域中使用；圖4A示出濾波器函數(shù)的一個曲線圖，這個濾波器函數(shù)的曲線圖表示根據(jù)減少噪聲的運動控制的一個查找表的一系列輸出值的一個例子，輸入是像素差值，“D”(x軸)，而輸出(y軸)是加法器的輸入；圖4B是控制裝置的曲線選擇(x軸)與用來控制時間濾波器傳遞函數(shù)的運動值(y軸)的示圖；圖4C是用作被處理的像素差值的用于控制裝置的空間輸入選擇(x軸)，與用作濾波器函數(shù)裝置的輸入的運動值(y軸)的示圖；圖5A示出本發(fā)明的像素矩陣或者核心的一個實施例的示圖，其中示出了5×5核心；圖5B示出本發(fā)明的核心的一個實施例的示圖，其中示出了3×3核心；下面將參考示圖，在這些示圖中，為本發(fā)明的各種各樣的單元標出數(shù)字標記，并且將討論本發(fā)明，以便本領域技術人員能夠制造和使用本發(fā)明。應當明白下面說明僅出于舉例說明本發(fā)明，因此不能被認為是對附屬權利要求書的局限。
本發(fā)明是用于減少視頻圖像處理中運動失真和噪聲的方法和裝置，其中在有運動的區(qū)域中一個視頻圖像中濾波的數(shù)量取決于在這個視頻圖像的那個區(qū)域中所檢測到的運動的數(shù)量。
從大量的畫面元素(稱為“像素”)產(chǎn)生一個視頻圖像，對這些畫面元素進行管理以形成成像圖形。這些圖像圖形可以或者是彩色或者是灰度等級圖像，它們具有數(shù)字數(shù)據(jù)所表示的像素的亮度和色度。利用來自這個數(shù)字數(shù)據(jù)的一組比特，代表視頻圖像的每個像素，并且把每組比特稱作“像素值”。像素值確定在視頻圖像中可以從幀到幀地改變的特定像素的亮度和色度或者灰度等級。例如，當視頻圖像是逐幀漸進地變暗時，則在這個視頻圖像中的像素針對這個視頻圖像的每個幀將具有不同的像素值。當一個幀中的像素位置的像素值與另外一幀相同位置的像素值相減，就得到了像素差值。
這個設備包括結合時間濾波器的空間濾波器，因此在定域的區(qū)域中，利用空間濾波器濾波所產(chǎn)生的結果，控制通過時間濾波器所進行的濾波的數(shù)量。換言之，當空間濾波器(處理的核心數(shù)據(jù))經(jīng)過時間(從幀到幀的時間數(shù)據(jù))檢測到在所感興趣的像素周圍有顯著運動時，則針對那個像素的時間濾波器(也稱為“遞歸濾波器”)就采用減少或最小濾波那個像素的輸入圖像的方式來過濾這個視頻圖像，這樣也減少了運動失真。另一方面，如果空間濾波器經(jīng)過時間檢測到在所感興趣的像素周圍有非常少運動時，則就對時間濾波器進行調整對那個像素進行最大噪聲濾波。這樣，隨在這個視頻圖像中所檢測到的運動量，調整時間濾波器所進行的濾波量。針對每幀圖像數(shù)據(jù)的圖像矩陣的每個像素都重復這樣的處理過程。
在空間濾波器中使用來自視頻圖像中一組像素(或核心)的差值，來確定“運動值”，它們與對這個視頻圖像所要進行的時間濾波量相對應。下面是這個處理過程的詳細說明。詳細說明圖1示出視頻圖像濾波器10的時間像素濾波模型的方框圖，這個視頻圖像濾波器10用于減少視頻圖像中每幀的每個像素中的噪聲和運動失真。Xi(t)表示輸入圖像幀的像素值，而Xo(t)表示輸出圖像幀的像素值。按時間順序，Xi(t)表示濾波之前一幀視頻圖像中的像素，而Xo(t)表示已經(jīng)濾波之后的同一幀的視頻圖像中的像素。符號Xo(t-1)表示剛剛才顯示的像素值，即通過以前濾波過程得到的最近所存儲的像素值。當把一幀最近得到的值的像素值Xi(t)送入視頻圖像濾波器10時，減法器14計算像素輸入值Xi(t)與最近所存儲的像素值Xo(t-1)之間的差，得到視頻圖像的輸入圖像幀中每個像素的像素差值“D”。然后空間濾波器18對這些差值進行空間濾波，得到運動值“M”?？刂茊卧?2接收到這個運動值并且產(chǎn)生用于控制濾波函數(shù)26的一個信號。濾波函數(shù)26受到用戶所選擇的輸入“A”以及控制單元22基于運動的控制，這個輸入“A”是用戶根據(jù)所關心的視頻圖像濾波器10的濾波量進行選擇的。然后濾波函數(shù)26向加法器30輸出得到的信號值(“輸出差值”)，加法器30把這個得到的信號值與所存儲的像素值Xo(t-1)相加，得到當前輸出的一個輸出像素值Xo(t)，并且把這個輸出像素值Xo(t)存儲到存儲器34中，這個輸出能夠被顯示或者用于其他處理。
圖2示出視頻圖像濾波器10的像素濾波模式的附加特性。把表示為“D”的像素差值輸入到空間濾波器18和濾波函數(shù)26。當出現(xiàn)大量運動時，使用具有小濾波系數(shù)的差值將能夠把不希望的噪聲加到輸出。圖2示出了這些差值被在加權平均單元38中穿入并且與空間濾波運動值混合。當空間濾波器平均核心中(或者所需要的像素)像素的差值時，空間濾波器18就產(chǎn)生了運動值“M”。然后把這個運動值“M”輸入到控制單元22和加權平均單元38。加權平均單元38從控制信號并根據(jù)運動值“M”和原值“D”選擇輸入的不同比例，以計算濾波器函數(shù)26的輸入。這個控制過程對差值和運動值進行加權平均，包括(i)，所關心的像素(或者運動值“M”)周圍的差值的平均；(ii)，所關心的像素的差值；以及(iii)，(i)和(ii)的某個比例或者組和的值。當出現(xiàn)大量運動時，通過調整具有小濾波系數(shù)的像素差值，加權平均單元就能夠避免把不希望的噪聲加給輸出。
圖2示出控制單元22接收來自空間濾波器18的運動值“M”并且確定將送到加權平均單元38和濾波函數(shù)26的控制信號。這些控制信號的一部分使加權平均單元38選擇(通過一個查找表和乘法器)從“D”和“M”輸入所得到的混合信號，并且使加權平均單元信號送到濾波函數(shù)26。根據(jù)來自空間濾波器信號的數(shù)據(jù)混合、來自控制單元的基于運動“M”的輸入信號以及用戶所確定的輸入“A”，濾波函數(shù)26輸出信號。這些輸入到濾波函數(shù)26的輸入信號被用來產(chǎn)生矩陣的每個像素的時間和空間濾波器的輸出值。這樣，圖2更加詳細地示出了如何利用差值“D”和空間信息“M”對時間濾波器進行控制，以減少噪聲和運動失真。
圖3示出現(xiàn)有技術的時間濾波器110的方框圖，有助于理解本發(fā)明。圖3示出來自目前幀的像素值輸入Xi(t)；來自目前幀的像素值輸出Xo(t)；以及來自剛剛才顯示的幀的存儲的像素值Xo(t-1)。在這個時間濾波器中，減法器114取Xi(t)與Xo(t)之間的差并且把這些差值送到乘法器或者查找表118。乘法器118把這個差值與用戶所選擇的數(shù)值“A”相乘。然后，把乘法器118的輸出送到加法器122，得到輸出像素值Xo(t)。下面公式(采用上述圖3的符號)示出了現(xiàn)有技術的時間濾波器的典型功能Xo(t)＝A[Xi(t)-Xo(t-1)]+Xo(t-1)如結合圖1和2所述，本發(fā)明提供了隨視頻圖像中運動量的不同而改變加給剛才顯示的幀的像素值Xo(t-1)的一個信號。換言之，本發(fā)明通過為時間濾波器110增加硬件來更改時間濾波器110，以便控制送到乘法器118的差值和用戶輸入“A”。隨運動值“M”而增加或者減少時間濾波。
通過測試和實驗，改進控制和濾波函數(shù)所使用的數(shù)據(jù)值，從而優(yōu)化處理過程。它們是非-線性方程和控制信息。圖4A、4B、4C是這個信息的一種形式的例子。圖4A是曲線族，每個曲線具有不同的用于各個像素差的濾波量。圖4B示出一組控制輸出，根據(jù)像素周圍的運動量選擇不同濾波級別(圖4A)。圖4C是另外一組控制輸出，從不同的像素改變比例、經(jīng)過空間濾波的像素改變的增量以及空間濾波器大小中選擇，用于在濾波器函數(shù)中使用。
再結合圖1或2，根據(jù)所關心的像素周圍和包括這個像素的一組差值，計算本發(fā)明的運動值“M”。這組像素或者核心被用于空間濾波器中，以便產(chǎn)生運動值“M”。圖5A和5B分別示出兩個不同大小的核心，即，5×5和3×3。每個核心代表了這樣的像素在這些像素處，所關心的像素與該所關心的像素周圍的選擇出的像素之間的像素差值被存儲。例如，圖5A示出像素K1、K2、K3、等，其中空間濾波器18(見圖1和2)計算所關心的像素X(n)周圍像素的平均的像素差值，產(chǎn)生運動值“M”。
利用圖2的設備，采用掃描技術，即按順序濾波像素的技術，對一幀的每個像素進行濾波。用于減少將要顯示成視頻圖像的像素中噪聲的方法包括下面步驟(a)在存儲器中存儲數(shù)字數(shù)據(jù)，這些數(shù)字數(shù)據(jù)代表了已經(jīng)濾波的視頻圖像的第一幀中每個像素的彩色或者灰度等級成像，每個像素具有由數(shù)字數(shù)據(jù)的一組比特所表示的一個已經(jīng)濾波的像素值；
(b)獲取代表這個視頻圖像的第二幀中每個像素的彩色或者灰度等級成像的數(shù)字數(shù)據(jù)，每個像素具有由數(shù)字數(shù)據(jù)的一組比特所表示的一個未濾波的像素值；(c)根據(jù)掃描技術，在這個視頻圖像中像素之間選擇所關心的像素；(d)計算這個所關心的像素與這個所關心的像素周圍像素的差值，這些差值的每個都是第一幀中像素值與第二幀中相同像素的像素值之間的差；(e)對所關心的像素周圍的像素的差值進行平均，得到運動值；以及(f)根據(jù)這個運動值，時間濾波該所關心的像素的像素值。
對第二幀的每個像素重復進行步驟(c)、(d)、(e)以及(f)，得到新的一幀顯示的像素數(shù)據(jù)。
如圖2所示，步驟(f)還可以包括對差值和運動值進行加權的平均的步驟，對差值和運動值進行加權的該平均包括(i)，得到所關心的像素周圍的差值的平均；(ii)，計算所關心的像素的差值；以及(iii)，計算(i)和(ii)的某種組和的值。
應當知道，上述的安排僅用于顯示本發(fā)明的原理的應用的目的。在不脫離本發(fā)明的實質和范圍下，本領域技術人員可以提出各種各樣的更改和其他安排，并且附屬的權利要求致力于涵蓋這樣的更改和其他安排。
權利要求
1.用于減少目前輸出、顯示或者處理的視頻圖像的像素中噪聲和運動失真的設備，這個設備根據(jù)具有目前濾波的像素值的視頻圖像的第一幀和具有最近剛獲取的未濾波的像素值的視頻圖像的第二幀，來濾波視頻圖像中的像素的像素值，這個設備包括顯示器，用于顯示該視頻圖像的已經(jīng)濾波的像素值；存儲器，用于存儲已經(jīng)濾波的該第一幀視頻圖像，其中該第一幀是由數(shù)字數(shù)據(jù)來表示的并且這個第一幀的每個像素具有由這個數(shù)字數(shù)據(jù)的一組比特所表示的像素值；減法器，用于通過(i)接收第一幀已經(jīng)濾波的像素值和第二幀未濾波的像素值，以及(ii)計算第一幀已經(jīng)濾波的像素值和第二幀未濾波的像素值之間的差，產(chǎn)生差值；空間濾波器裝置，用于通過平均所關心像素的周圍所選擇出像素的差值，計算所關心像素的運動值；濾波函數(shù)(filter function)裝置，用于根據(jù)該運動值產(chǎn)生所關心像素的輸出差值；以及加法器，用于把該輸出差值與第一幀的已經(jīng)濾波的所關心像素的像素值相加。
2.權利要求1的設備，其中該濾波函數(shù)裝置包括乘法器或者存儲查找表，這個乘法器或者存儲查找表用于把所關心像素的運動值與由運動值本身所確定的一個分數(shù)相乘，其中這個乘法器產(chǎn)生輸出差值使得隨圖像運動的增加而減小濾波函數(shù)乘法器。
3.權利要求1的設備，其中時間濾波器包括查找表，這個查找表用于根據(jù)所關心像素的差值和所關心像素周圍的像素的核心的運動值，產(chǎn)生輸出差值。
4.權利要求1的設備，其中該空間濾波器裝置所選擇的像素包括與從一組中選擇出的所關心像素相關的像素差值的核心，這組是由5×5的像素差值矩陣和3×3的像素差值矩陣或者其他最適合圖像分辨率的矩陣形式以及用于測量定位的圖像運動的圖像類型所構成的。
5.權利要求4的設備，其中空間濾波器裝置平均在這個核心矩陣中像素的差值。
6.權利要求1的設備，其中所關心像素包括根據(jù)掃描技術所選擇出的視頻圖像的像素。
7.權利要求1的設備還包括控制單元和加權平均單元，這個加權平均單元接收來自控制單元的控制信號，其中控制單元所導出的該控制信號選擇該差值和該運動值的不同的加權和比例，兩個信號都已經(jīng)被以相同的相對幅度標定。
8.權利要求7的設備，其中的加權平均單元還包括第一輸入端，用于接收由該減法器產(chǎn)生的差值；第二輸入端，用于接收由空間濾波器裝置產(chǎn)生的運動值；和根據(jù)該差值和來自該空間濾波器的運動值，用于計算該濾波函數(shù)裝置所用的輸入和比率的電路。
9.權利要求7的設備，還包括具有一個輸入端的濾波函數(shù)單元，其中的濾波函數(shù)單元輸入端接收由控制單元產(chǎn)生的控制信號以及由加權平均單元處理的差值。
10.用于減少在被處理顯示的視頻圖像的像素中噪聲和運動失真的方法，該方法根據(jù)具有目前濾波的像素值的視頻圖像的第一幀和具有最近剛獲取的未濾波的像素值的該視頻圖像的第二幀，來濾波視頻圖像中的像素的像素值，該方法包括步驟(a)在存儲器中存儲數(shù)字數(shù)據(jù)，這些數(shù)字數(shù)據(jù)代表了第一幀中每個像素的彩色或者灰度等級成像，每個像素具有由數(shù)字數(shù)據(jù)的一組比特所表示的一個已經(jīng)濾波的像素值；(b)獲取代表第二幀中每個像素的彩色或者灰度等級成像的數(shù)字數(shù)據(jù)，每個像素具有由數(shù)字數(shù)據(jù)的一組比特所表示的一個未濾波的像素值；(c)根據(jù)掃描技術，在這個視頻圖像中像素之間選擇所關心的像素；(d)計算(i)這個所關心的像素以及(ii)這個所關心的像素周圍像素的差值，這些差值的每個都是第一幀中已經(jīng)濾波的像素值與第二幀中相同像素的未濾波的像素值之間的差；(e)對所關心的像素周圍的像素的差值求平均，得到核心改變或者運動值；以及(f)根據(jù)這個運動值，時間濾波該所關心的像素的未濾波的像素值。
11.權利要求10的方法還包括對第二幀的每個像素重復進行步驟(c)、(d)、(e)以及(f)，得到新的一幀已經(jīng)濾波、處理并且顯示的像素數(shù)據(jù)的步驟。
12.權利要求10的方法其中步驟(f)還可以包括對該差值和運動值進行加權平均的步聚。
13權利要求12的方法，其中進行加權平均包括(i)，獲得所關心的像素周圍的差值的平均；(ii)，計算所關心的像素的差值；以及(iii)，計算(i)和(ii)的某種組和的值，從而控制信號根據(jù)該運動值選擇用于進行遞歸濾波的上述信號之一。
14.權利要求10的方法，其中步驟(f)還包括產(chǎn)生所關心的像素的輸出差值并且把這個輸出差值與該第一幀的這個所關心像素已經(jīng)濾波的像素值相加的步驟。
15.權利要求14的方法，其中產(chǎn)生該輸出差值的步驟還包括以下步驟產(chǎn)生具有表列數(shù)據(jù)的查找表，這些表列數(shù)據(jù)對應于涉及一定范圍的不同運動值的輸出差值；獲取該運動值作為輸入到這個查找表的輸入；以及按照這個輸入運動值從這個查找表中產(chǎn)生該輸出差值。
16.權利要求14的方法其中產(chǎn)生該輸出差值的步驟還包括選擇所關心的像素的差值的步驟。
17.權利要求14的方法其中產(chǎn)生該輸出差值的步驟還包括選擇所關心的像素周圍的像素的平均差值的步驟。
18.權利要求14的方法其中產(chǎn)生該輸出差值的步驟還包括根據(jù)所關心像素的差值與所關心的像素周圍的像素的平均差值的組合，計算一個值的步驟。
全文摘要
用于減少處理或者顯示的視頻圖像的像素中噪聲和運動失真的方法和設備,根據(jù)具有目前存儲(濾波)的像素值的第一幀和具有最近剛獲取的但還未濾波的像素值的第二幀,濾波視頻圖像的像素值,設備包括用于計算所關心像素的運動值的空間濾波器,用于根據(jù)該運動值產(chǎn)生所關心像素的輸出差值的濾波函數(shù)裝置以及加法器。根據(jù)視頻圖像中的運動量來濾波視頻圖像的每個像素。
文檔編號H04N5/14GK1259823SQ99127719
公開日2000年7月12日 申請日期1999年11月12日 優(yōu)先權日1998年11月12日
發(fā)明者約瑟夫·阿爾利德, 拉里·安德頓, 巴里·K·漢諾威, 史蒂文·柯蒂斯 申請人:Oec醫(yī)療系統(tǒng)公司