專利名稱：圖像噪聲去除方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于去除在對被數(shù)字化且以規(guī)定形式壓縮編碼過的靜態(tài)圖像或運(yùn)動 圖像進(jìn)行解碼再現(xiàn)時(shí)產(chǎn)生的噪聲的圖像噪聲去除方法及裝置。
背景技術(shù)：
近年來，靜態(tài)圖像或運(yùn)動圖像的壓縮技術(shù)進(jìn)展顯著，被廣泛應(yīng)用于如下領(lǐng)域向 光盤、硬盤、固體存儲器等記錄介質(zhì)記錄 再生圖像的領(lǐng)域、或經(jīng)由因特網(wǎng)等通信路徑傳送 圖像或廣播等領(lǐng)域。作為靜態(tài)圖像的壓縮方式熟知的方式是JPEG(Joint Photographic Experts Group)方式，作為運(yùn)動圖像的壓縮方式熟知的方式是MPEG(Moving Picture Experts Group)方式，但是除此之外還提出了各種方式并被實(shí)用化。眾所周知，伴隨著用于對圖像數(shù)據(jù)進(jìn)行壓縮 擴(kuò)展的編碼 解碼處理而圖像上會 產(chǎn)生原圖像中不存在的各種噪聲。作為代表的噪聲有被稱為塊噪聲和蚊式噪聲的噪聲。塊 噪聲是在數(shù)據(jù)壓縮時(shí)由將一幀圖像區(qū)域分割為多個(gè)塊并按照各塊獨(dú)立處理所引起的在塊 邊界附近發(fā)生的噪聲。另一方面，蚊式噪聲是在壓縮時(shí)通過離散余弦變換(DCT)對圖像數(shù) 據(jù)進(jìn)行頻率分解并去除高頻成分而引起的噪聲(在傅立葉解析中一般稱為吉布斯現(xiàn)象)。 這些噪聲都是在越為了進(jìn)行效率好的記錄 傳送而提高壓縮率時(shí)越顯著，以往就研究和開 發(fā)了去除或抑制這樣的噪聲的各種方法(例如，參考專利文獻(xiàn)1、2等)。雖然去除視覺上不適、礙眼的上述噪聲在靜態(tài)圖像處理和運(yùn)動圖像處理中都是非 常重要的技術(shù)之一，但是在為了改善畫質(zhì)而要提高噪聲的去除效果時(shí)，卻存在除噪聲以外 的本來必要的圖像信息的一部分丟失、圖像不自然、不生動的情況。另外，一般，在要進(jìn)行高 度的噪聲去除時(shí)，會引起如下的問題處理復(fù)雜、電路規(guī)模增大、成本提高或電路基板尺寸 變大。本申請發(fā)明者尤其在數(shù)字音頻領(lǐng)域中常年從事如下的研究嘗試著將可處理連續(xù) 時(shí)間特性的采樣值控制理論更詳細(xì)地說將采樣值控制導(dǎo)入處理數(shù)字音頻信號的數(shù)字/ 模擬(D/A)變換技術(shù)或采樣率變換技術(shù)等中(參照專利文獻(xiàn)3、4等)。該技術(shù)不是只將原 始數(shù)字信號的采樣作為離散時(shí)間信號的技術(shù)，而是如下的技術(shù)通過設(shè)計(jì)在還考慮采樣間 含有的模擬頻率特性的情況下進(jìn)行D/A變換或采樣率變換時(shí)的數(shù)字濾波器，謀求作為模擬 音頻的在聽覺上的音質(zhì)最優(yōu)或成為與其接近的狀態(tài)。換言之，上述濾波技術(shù)是在已知采樣頻率和量化位數(shù)的限制下追求盡量接近原始 模擬音頻的音質(zhì)的自然聲音的嘗試。此外，該濾波器被稱為“YY濾波器”，并已在移動電話 用或便攜式音樂播放器用的IC等中實(shí)用化。本申請發(fā)明者鑒于上述近年來圖像壓縮技術(shù)的進(jìn)展及與此相伴的畫質(zhì)改善的必 要性，推進(jìn)將作為上述技術(shù)的基本內(nèi)容的采樣值最優(yōu)化的方法應(yīng)用于圖像的噪聲去除 的嘗試，且已經(jīng)公開了應(yīng)用在靜態(tài)圖像的噪聲去除中的例子(參考非專利文獻(xiàn)1)或應(yīng)用在 運(yùn)動圖像的噪聲去除中的例子(參考非專利文獻(xiàn)2)。根據(jù)這樣現(xiàn)有圖像噪聲去除的研究可 知，雖然確認(rèn)了通過將采樣值最優(yōu)化方法應(yīng)用于圖像的噪聲去除能夠有效去除塊噪聲，但是卻存在如下的問題原本不是噪聲的信息部分被視作噪聲而去除，或者相反地將噪聲 誤判為圖像信息的一部分而保留下來并未去除。專利文獻(xiàn)1 日本特開2005-295371號公報(bào)專利文獻(xiàn)2 日本特開2006-140818號公報(bào)專利文獻(xiàn)3 日本特開2001-127637號公報(bào)專利文獻(xiàn)4 日本特開2001-358561號公報(bào)非專利文獻(xiàn)1 掛水、永原、小林、山本、「7 4 ？ 〗J夕 夕* 3 > 才義 JPEG ^ 乂一夕文 笑 4 寸父 7° 卟卜- r 一 夕.H00 才e A 夕一文(Noise Reduction of JPEG Images by Sampled-DataH°° Optimal ￡ Filters)」、SICE Annual Conference 2005, PP. 1080-1085非專利文獻(xiàn)2 小林、永原、山本、「寸> >值制御理論d石MPEG動畫們)人< 除去」、第51回〉7 f △制御情報(bào)學(xué)會研究発表講演會論文集、2007年5月16日

發(fā)明內(nèi)容
本發(fā)明是鑒于上述課題而實(shí)現(xiàn)的，其目的在于提供一種能夠在抑制對圖像本來具 有的信息內(nèi)容的影響的情況下，有效去除伴隨著編碼 解碼而在運(yùn)動圖像或靜態(tài)圖像中產(chǎn) 生的塊噪聲或蚊式噪聲的圖像去除噪聲方法及裝置。為了解決上述課題而形成的第一發(fā)明的圖像噪聲去除方法，用于去除在對以規(guī)定 形式壓縮編碼后的圖像數(shù)據(jù)進(jìn)行解碼來再現(xiàn)圖像時(shí)產(chǎn)生的噪聲，該圖像噪聲去除方法的特 征在于，包括a)推測步驟，針對構(gòu)成一幅或一幀圖像的壓縮編碼/解碼后的狀態(tài)的圖像數(shù)據(jù)， 調(diào)查數(shù)字頻率響應(yīng)來推測壓縮編碼前的圖像的模擬頻率特性；b)參數(shù)設(shè)定步驟，根據(jù)所述推測步驟的推測結(jié)果來變更后述數(shù)字濾波器的參數(shù)； 和c)處理步驟，利用采樣值濾波器對解碼后且數(shù)字/模擬變換前的圖像數(shù)據(jù)進(jìn)行 濾波處理，其中，所述采樣值濾波器具有對下述計(jì)算式基于規(guī)定條件并通過控制來求 解或者通過與此相當(dāng)?shù)膰?yán)密的計(jì)算來求解而計(jì)算出的參數(shù)，所述計(jì)算式是通過將下述條件 式近似變換到有限維離散時(shí)間系統(tǒng)中而得到的計(jì)算式，所述條件式是為了按照使原始模擬 圖像信號與通過模擬/數(shù)字變換、編碼/解碼及數(shù)字/模擬變換后得到的模擬圖像信號之 間的誤差減小的方式設(shè)計(jì)數(shù)字濾波器而設(shè)定的條件式。另外，第二發(fā)明是用于實(shí)施上述第一發(fā)明的圖像噪聲去除方法的圖像噪聲去除裝 置，用于去除在對以規(guī)定形式壓縮編碼后的圖像數(shù)據(jù)進(jìn)行解碼來再現(xiàn)圖像時(shí)產(chǎn)生的噪聲， 該圖像噪聲去除裝置的特征在于，具備a)推測單元，其針對構(gòu)成一幅或一幀圖像的壓縮編碼/解碼后的狀態(tài)的圖像數(shù) 據(jù)，調(diào)查數(shù)字頻率響應(yīng)來推測壓縮編碼前的圖像的模擬頻率特性；b)參數(shù)設(shè)定單元，其根據(jù)所述推測單元的推測結(jié)果來變更后述數(shù)字濾波器的參 數(shù)；和c)處理單元，其利用采樣值濾波器對解碼后且數(shù)字/模擬變換前的圖像數(shù)據(jù)進(jìn) 行濾波處理，其中，所述采樣值濾波器具有對下述計(jì)算式基于規(guī)定條件并通過控制來
5求解或者通過與此相當(dāng)?shù)膰?yán)密的計(jì)算來求解而計(jì)算出的參數(shù)，所述計(jì)算式是通過將下述條 件式近似變換到有限維離散時(shí)間系統(tǒng)中而得到的計(jì)算式，所述條件式是為了按照使原始模 擬圖像信號與通過模擬/數(shù)字變換、編碼/解碼及數(shù)字/模擬變換后得到的模擬圖像信號 之間的誤差減小的方式設(shè)計(jì)數(shù)字濾波器而設(shè)定的條件式。在本發(fā)明的圖像噪聲去除方法及裝置中，例如能夠?qū)⒃肼暼コ奶幚韺ο笞鳛橐?JPEG方式壓縮編碼的靜態(tài)圖像或以MPEG方式壓縮編碼的運(yùn)動圖像。另外，在本發(fā)明的圖像噪聲去除方法及裝置中，上述推定步驟(推定單元)能夠針 對構(gòu)成一幅(靜態(tài)圖像的情況下)或一幀(運(yùn)動圖像的情況下)的壓縮編碼/解碼后的狀 態(tài)下的圖像數(shù)據(jù)執(zhí)行FFT(快速傅立葉變化)處理。更具體地說，將壓縮編碼前的圖像的模 擬頻率特性假設(shè)為具有規(guī)定次數(shù)的衰減特性的低通濾波器，例如通過FFT計(jì)算該低通濾波 器的截止頻率。另外，也可以代替使用FFT，準(zhǔn)備具有頻率特性互不相同的濾波器的濾波器組，針 對圖像數(shù)據(jù)找出通過這些濾波器后得到的信號強(qiáng)度(振幅值)最大的圖像數(shù)據(jù)來調(diào)查數(shù)字 頻率特性，從而求出合適的截止頻率。在此，上述規(guī)定次數(shù)可以是2次、3次或其以上的高次，也可以假設(shè)最簡單的1次衰 減特性。通過本申請發(fā)明者的研究確認(rèn)了，原圖像的模擬頻率特性與1次衰減特性相當(dāng)近 似，并不依賴于一幅靜態(tài)圖像或運(yùn)動圖像的一幀份的圖像的信息內(nèi)容，信息內(nèi)容的不同表 現(xiàn)在截止頻率上。因此，即使在上述那樣相當(dāng)簡化后的即運(yùn)算處理本身簡單的假設(shè)下判斷 原圖像的模擬頻率特性，也能充分確保該判斷的適當(dāng)性。在本發(fā)明的圖像噪聲去除方法及裝置中，關(guān)于噪聲去除的方法本身考慮數(shù)字化前 的原圖像的模擬頻率特性，利用以使用了 標(biāo)準(zhǔn)的評價(jià)基準(zhǔn)使噪聲最小化的方法，其本身 就與現(xiàn)有的數(shù)字音頻的噪聲去除或靜態(tài)圖像 運(yùn)動圖像的噪聲去除中所利用的方法有較大 不同。但是，在現(xiàn)有的靜態(tài)圖像 運(yùn)動圖像的噪聲去除方法中，數(shù)字濾波器的參數(shù)(一般 指濾波器系數(shù))沒有反映原圖像的模擬頻率特性的不同，對此，在本發(fā)明中，根據(jù)壓縮編碼 /解碼后的狀態(tài)下的圖像，推測原圖像的即壓縮前且模擬/數(shù)字變換之前的模擬頻率特性， 并基于該推測結(jié)果使數(shù)字濾波器的參數(shù)即該特性自適應(yīng)地變化。因此，針對圖像上所表現(xiàn) 的微小部分判斷其與周圍環(huán)境的不同是否為噪聲的基準(zhǔn)，根據(jù)原圖像的模擬頻率特性而被 變更。此外，上述處理步驟及處理單元中的濾波處理也可以針對配置在一幅或一幀圖像 的水平方向及垂直方向上的圖像數(shù)據(jù)分別實(shí)施。另外，雖然可以以一幅或一幀的圖像為單位確定數(shù)字濾波器的參數(shù)，但為了更適 當(dāng)?shù)厝コ恍枰脑肼?，保留不是噪聲的信息，?yōu)選在一幅或一幀圖像中也使數(shù)字濾波器 的參數(shù)自適應(yīng)變化。S卩，作為第一發(fā)明的圖像噪聲去除方法優(yōu)選的一個(gè)方式可以為在所述推測步驟 中，將一幅或一幀圖像劃分為視作壓縮編碼前的圖像的模擬頻率特性類似的小區(qū)域，并按 每個(gè)該小區(qū)域推測模擬頻率特性，在所述參數(shù)設(shè)定步驟中，按每個(gè)所述小區(qū)域變更所述數(shù) 字濾波器的參數(shù)。在此，上述小區(qū)域可以是圖像內(nèi)的二維范圍，但在實(shí)用上也可以設(shè)為水平方向或 垂直方向的一維范圍。例如，也可以在依次掃描排列在一幅或一幀圖像的水平方向或垂直方向上的圖像數(shù)據(jù)時(shí)，將該水平方向的1行、垂直方向的1行中數(shù)據(jù)值的變化在規(guī)定閾值以 上的地方設(shè)為小區(qū)域的邊界，將該邊界的前后設(shè)為不同的小區(qū)域。其中，為了在脈沖狀的噪 聲重疊的情況下不將這樣的噪聲設(shè)為小區(qū)域的邊界，或者在橫穿細(xì)條紋進(jìn)行掃描的情況下 不使小區(qū)域的范圍變得過窄，除了適當(dāng)設(shè)定閾值以外，也可將閾值以上的數(shù)據(jù)變化點(diǎn)前后 的值也加入到判斷是否為小區(qū)域的邊界的基準(zhǔn)中。另外，由于在本發(fā)明的圖像噪聲去除方法及裝置中，采樣值濾波器是線性濾波 器，故在只用該濾波器進(jìn)行濾波的情況下，在去除高頻噪聲時(shí)尤其是高頻成分多的圖像上 的邊緣可能會變得模糊。因此，為了避免這種問題，優(yōu)選與采樣值濾波器一起使用￡ -分 離非線性濾波器，區(qū)別高頻噪聲和原信號的邊緣部分且只去除噪聲。(發(fā)明效果)根據(jù)第一發(fā)明的圖像噪聲去除方法及第二發(fā)明的圖像噪聲去除裝置，能夠在盡量 保留原圖像中原來就含有的信息、例如難以判別為塊噪聲或蚊式噪聲的微小區(qū)域的信息的 同時(shí)，可靠地去除上述噪聲。由此，能夠使例如在以MPEG方式等提高壓縮率時(shí)容易出現(xiàn)的 塊噪聲或蚊式噪聲不明顯，并能夠?qū)崿F(xiàn)不損傷原圖像的良好性的高品質(zhì)。另外，采樣值濾波器作為濾波器的構(gòu)成與一般的數(shù)字濾波器一樣，抽頭數(shù)越少 電路規(guī)模越小，另外，在原圖像的模擬頻率特定的推測中使用的FFT或?yàn)V波器組等處理本 身并不復(fù)雜。由此，能夠避免用于噪聲去除的成本大幅度增加，而且容易實(shí)現(xiàn)LSI化，因此 適于小型化。


圖1是用于設(shè)計(jì)本發(fā)明的圖像噪聲去除方法中利用的濾波器K(z)的誤差系統(tǒng)模 型的框圖。圖2是作為應(yīng)用本發(fā)明的噪聲去除方法的對象的一個(gè)例子的數(shù)字運(yùn)動圖像處理 系統(tǒng)模型的示意框圖。圖3是基于本發(fā)明的一個(gè)實(shí)施例的圖像噪聲去除裝置的示意框圖。圖4是表示本實(shí)施例的圖像噪聲去除裝置中的噪聲去除處理的步驟的流程圖。圖5是表示本實(shí)施例的圖像噪聲去除裝置中的構(gòu)成一幀圖像的圖像數(shù)據(jù)的傳輸 順序的示意圖。圖6是說明并行進(jìn)行本實(shí)施例的圖像噪聲去除裝置中的噪聲去除處理的情況下 的處理順序的示意圖。圖7是表示本發(fā)明的圖像噪聲去除處理前及處理后的圖像的一個(gè)例子的圖。圖8是表示本發(fā)明的圖像噪聲去除處理前及處理后的圖像的其他例子的圖。圖9是表示本發(fā)明的圖像噪聲去除處理前及處理后的圖像的其他例子的圖。圖10是本發(fā)明其他實(shí)施例的圖像噪聲去除裝置的示意框圖。圖11是表示本發(fā)明其他實(shí)施例的圖像噪聲去除方法中的自適應(yīng)型處理的順序的 流程圖。圖12是本發(fā)明其他實(shí)施例的圖像噪聲去除方法中的自適應(yīng)型處理的說明圖。圖13是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，是Barbaba的原 圖像。
7
圖14是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，表示針對圖13 的固定型濾波處理結(jié)果的圖。圖15是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，表示針對圖13 的自適應(yīng)型濾波處理結(jié)果的圖。圖16是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，是Woman的原圖像。圖17是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，是表示針對圖 16的固定型濾波處理結(jié)果的圖像。圖18是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，是表示針對圖 16的自適應(yīng)型濾波處理結(jié)果的圖像。圖19是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，是Text的原圖 像。圖20是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，是表示針對圖 19的固定型濾波處理結(jié)果的圖像。圖21是表示本發(fā)明的圖像噪聲去除處理的仿真結(jié)果的一個(gè)例子，是表示針對圖 19的自適應(yīng)型濾波處理結(jié)果的圖像。符號說明11_濾波器，12-采樣器，13-加法運(yùn)算器，14-數(shù)字濾波器，15-零次保 持元件，16、18_延遲元件，17-減法運(yùn)算器，20,30-數(shù)據(jù)總線，21、31_幀存儲器，22.32-R/W 控制部，23-頻率特性分析部，24,36-濾波器系數(shù)確定部，25,37-濾波處理部，33-小區(qū)域推 測部，34-濾波器組(filter bank)，35-頻率特性推測部。
具體實(shí)施例方式以下，參照附圖對本發(fā)明的圖像噪聲去除方法及裝置的一個(gè)實(shí)施例(以下稱為 “第一實(shí)施例”)進(jìn)行說明。圖2是表示應(yīng)用本發(fā)明的圖像噪聲去除方法的對象的一個(gè)例子的數(shù)字運(yùn)動圖像 處理系統(tǒng)模型的示意框圖。原信號首先在抽樣部1中以規(guī)定的抽樣頻率抽樣后成為離散 時(shí)間信號。該信號在接下來的編碼部2中以規(guī)定位數(shù)量化后成為數(shù)字信號，并且例如按照 MPEG方式等規(guī)定算法被數(shù)據(jù)壓縮，壓縮后的數(shù)據(jù)或者通過傳送/記錄系統(tǒng)3傳送到傳送路 徑上，或者記錄在記錄介質(zhì)中。通過傳送路徑或經(jīng)過記錄 再生(或存儲 讀取)的過程所 得到的數(shù)據(jù)，在解碼部4中通過解碼處理進(jìn)行數(shù)據(jù)擴(kuò)展，并且數(shù)字信號被變換為模擬信號， 進(jìn)而離散時(shí)間信號通過保持部5被變換為連續(xù)時(shí)間信號后作為復(fù)原信號輸出。如圖2所示，抽樣部1、編碼部2及傳送/記錄系統(tǒng)3的一部分包含在記錄裝置或 發(fā)送裝置中，傳送/記錄系統(tǒng)3的剩余部分、解碼部4及保持部5包含在再生裝置或接收裝 置中。在利用了采樣值控制理論的噪聲去除、即濾波中，按照作為向上述數(shù)字運(yùn)動圖像 處理系統(tǒng)輸入的原信號和作為輸出的復(fù)原信號盡可能接近的方式設(shè)計(jì)解碼部4，即，按照兩 者誤差盡可能小的方式設(shè)計(jì)解碼部4。當(dāng)前考慮圖1所示的誤差系統(tǒng)模型。該圖是用于去 除圖像噪聲的濾波器K(z)設(shè)計(jì)的框圖。在圖1中，下側(cè)的信號路徑是數(shù)字運(yùn)動圖像處理系統(tǒng)，上側(cè)的信號路徑是用于設(shè)
8計(jì)非因果性濾波器的時(shí)間延遲的系統(tǒng)。即，作為連續(xù)時(shí)間信號的原信號w在A/D變換部所 含有的濾波器11中進(jìn)行頻帶限制之后，在數(shù)字運(yùn)動圖像處理系統(tǒng)中由采樣器12以采樣周 期h進(jìn)行采樣而成為離散時(shí)間信號(數(shù)字信號)。在濾波器11中高頻成分被去除而維持原 信號《的基本頻率成本，在此將該模擬頻率特性表示為F (s)。另外，將抽樣作為理想采樣用 Sh表不。對數(shù)字信號進(jìn)行編碼(壓縮) 解碼(擴(kuò)展)處理，在該處理過程中，在加法運(yùn)算 器13中，頻率特性符合W(z)傳遞函數(shù)的噪聲被加到數(shù)字信號中。這是將塊噪聲或蚊式噪 聲等模型化后的信號，該傳遞特性W(z)具有高通濾波器的特性。對附加有噪聲的信號，在 傳遞特性為K(z)的數(shù)字濾波器14中執(zhí)行噪聲去除及基于原信號的頻率特性F(s)的信號 修正，在零次保持元件15中恢復(fù)為連續(xù)時(shí)間信號。在此，在該零次保持元件15的后級插入 有采樣周期h的1/2的延遲元件16，以保證設(shè)計(jì)出的濾波器系數(shù)以采樣點(diǎn)為中心在過去方 向和未來方向上對稱(參照非專利文獻(xiàn)2)。另一方面，上側(cè)的時(shí)間延遲系統(tǒng)中，對原信號賦予采樣間隔整數(shù)倍的延遲元件 18(e_mhs)，通過減法運(yùn)算器17取出經(jīng)上述處理系統(tǒng)后的復(fù)原信號與延遲后的原信號的誤差 信號e。按照該誤差信號e盡可能小的方式確定數(shù)字濾波器14的傳遞函數(shù)K(z)，并需要求 出實(shí)現(xiàn)該目的的參數(shù)。由此，預(yù)先將從原信號w及噪聲d變換為誤差信號e的系統(tǒng)設(shè)為
及T6d。此時(shí)，如下定義傳遞函數(shù)為K(z)的數(shù)字濾波器14的設(shè)計(jì)問題。即，在被賦予傳遞函數(shù)F(s)、W(z)、延遲步幅m、常數(shù)、> 0時(shí)，設(shè)計(jì)滿足數(shù)學(xué)式1 的數(shù)字濾波器。[數(shù)學(xué)式1] 該(1)式是為了設(shè)計(jì)本發(fā)明中的數(shù)字濾波器而設(shè)定的條件式。其問題正是采樣 值最優(yōu)化問題，通過應(yīng)用采樣值控制理論，從而可用計(jì)算機(jī)容易地得到最優(yōu)濾波器 K(z)。關(guān)于其具體的方法，可利用專利文獻(xiàn)1、2及非專利文獻(xiàn)2等中本申請發(fā)明者公開的 方法，由此可求出數(shù)字濾波器的濾波器系數(shù)。以往，雖然在本申請發(fā)明者提出的圖像噪聲去除方法中考慮了傳遞函數(shù)F(s)即 原信號w的模擬頻率信號穩(wěn)定即恒定，但是在編碼 解碼過程中所附加的噪聲W(z)本來依 存原信號的值，并且其依存原信號的模擬頻率特性F(s)。因此，在原信號的模擬頻率特性從 假設(shè)的狀態(tài)偏移時(shí)，會發(fā)生如下不良情況數(shù)字濾波器14不會理想地動作，圖2的誤差系統(tǒng) 中的誤差信號e變大，即再現(xiàn)后的圖像上出現(xiàn)的噪聲未被除去而殘留或者錯(cuò)誤地去除不是 噪聲的信息部分。最優(yōu)選的是掌握記錄側(cè)或發(fā)送側(cè)中的原信號的模擬頻率特性，但當(dāng)然在 再生側(cè)或接收側(cè)無法直接獲知原信號的模擬頻率特性。因此，在本發(fā)明的圖像噪聲去除方 法及裝置中，其最大的特征是通過從所提供的壓縮數(shù)據(jù)圖像中推測原信號的模擬頻率特性 F(s)，并基于該推測結(jié)果修正數(shù)字濾波器的傳遞特性K(z)，從而提高了噪聲去除的效果。在該第一實(shí)施例中，假設(shè)模擬頻率特性F(s)是具有下述(2)式所示的1次衰減特 性的低通濾波器，并通過推測該低通濾波器的截止頻率來推測F(s)。F(s) = coc/(s+coc)... (2)在此，使F(s)具有1次衰減特性的理由在于對各種圖像進(jìn)行FFT并試著調(diào)查頻率成分的結(jié)果，確認(rèn)了不依賴于圖像的信息內(nèi)容而幾乎都表現(xiàn)出1次衰減特性；若為1次衰 減特性則參數(shù)數(shù)目少，容易推測截止頻率《 c，有利于縮短運(yùn)算時(shí)間。截止頻率的推測例如能夠按照以下的順序進(jìn)行。首先，對實(shí)施解碼處理后的 一幅靜態(tài)圖像或運(yùn)動圖像的一幀份的圖像(以下僅稱為一幀圖像)執(zhí)行FFT。接下來，將對 一幀圖像得到的FFT數(shù)據(jù)的各列的最大值提取出來，通過最小二乘法求出水平方向的截止 頻率《ch。另外，將對同一幀圖像得到的FFT數(shù)據(jù)的各行的最大值提取出來，通過最小二乘 法求出垂直方向的截止頻率《cv。在此，表1示出為了畫質(zhì)評價(jià)用等對以往熟知的幾種標(biāo)準(zhǔn)的靜態(tài)圖像推算截止頻 率coch、cocv的推算結(jié)果。[表 1] 從該結(jié)果可知，截止頻率《 ch、《cv幾乎在0.001 0.01 [rad/sec]的范圍內(nèi)。因 此，在此預(yù)先設(shè)計(jì)以截止頻率"c = 0.001，0.02，0.03，…，0. 01[rad/sec]的模擬頻率特 性F(s)為前提的10種數(shù)字濾波器(將各傳遞函數(shù)設(shè)為1(1(2)、1(2(2)、1(3(2)、…、Kltl(z))。 并且，如下述表(2)所示，根據(jù)由實(shí)際處理的圖像推測出的截止頻率《ch、《cv的值來切換 使用的數(shù)字濾波器。[表 2] 通過進(jìn)行以上的處理，能夠利用適合要再現(xiàn)的圖像的模擬頻率特性的適當(dāng)?shù)膫鬟f 特性進(jìn)行濾波，故既能可靠地去除伴隨著編碼/解碼的塊噪聲或蚊式噪聲，又能避免不必 要地去除了原圖像含有的貌似噪聲的信息。
10
圖3是本實(shí)施例的圖像噪聲去除裝置的示意框圖，圖4是表示該裝置中的噪聲去 除順序的流程圖。本實(shí)施例的圖像噪聲去除裝置包括用于緩存解碼后的一幅或一幀份的圖像數(shù)據(jù) (像素值數(shù)據(jù))的幀存儲器21、控制向該幀存儲器21讀寫數(shù)據(jù)的R/W控制部22、接受從幀 存儲器21被讀取到數(shù)據(jù)總線20上的數(shù)據(jù)并分析頻率特性的頻率特性分析部23、根據(jù)該分 析結(jié)果確定數(shù)字濾波器的濾波器系數(shù)的濾波器系數(shù)確定部24、及針對從幀存儲器21讀取 出的數(shù)據(jù)執(zhí)行濾波處理的濾波處理部25等。在濾波器系數(shù)確定部24中預(yù)先以表格形式等準(zhǔn)備有表2所示的信息，如上述表2 示出反映原信號的模擬頻率特性的截止頻率《c和使用的數(shù)字濾波器的傳遞函數(shù)K(z)之 間的關(guān)系。由此，能夠根據(jù)截止頻率簡單求出濾波器特性(即濾波器系數(shù))。此外，更 嚴(yán)密的情況下，也可以對應(yīng)多個(gè)(例如10或20個(gè))截止頻率預(yù)先分別計(jì)算濾波器系數(shù)，在 被賦予某一截止頻率時(shí)，通過根據(jù)已經(jīng)得到的濾波器系數(shù)進(jìn)行適當(dāng)?shù)牟逖a(bǔ)處理來求出濾波 器系數(shù)即可。此時(shí)的插補(bǔ)處理可以是線性插補(bǔ)，但是更優(yōu)選利用拉格朗日插補(bǔ)。首先，在由未圖示的解碼部執(zhí)行了擴(kuò)展處理后的一幀(或一幅)圖像數(shù)據(jù)經(jīng)由數(shù) 據(jù)總線20寫入到幀存儲器21中時(shí)(步驟S1)，通過R/W控制部22的控制從幀存儲器21中 以規(guī)定的順序讀取出圖像數(shù)據(jù)，并將其送到頻率特性分析部23中。頻率特性分析部23對 圖像數(shù)據(jù)執(zhí)行上述的FFT處理，求出水平方向、垂直方向各自的截止頻率coch、cocv(步驟 S2)。濾波器系數(shù)確定部24根據(jù)如上述預(yù)先準(zhǔn)備的信息選擇與截止頻率《ch、《cv對應(yīng)的 傳遞函數(shù)K(z)，由此按照垂直方向、水平方向確定使用的數(shù)字濾波器(采樣值濾波器) (步驟S3)。濾波處理部25對從幀存儲器21讀取出的解碼后的圖像數(shù)據(jù)執(zhí)行使用如上述確定 出的數(shù)字濾波器的濾波處理。由此，去除了伴隨著編碼/解碼的噪聲(步驟S4)。通過未圖 示的D/A變換部將實(shí)施了這樣的噪聲去除處理后的圖像數(shù)據(jù)變換為模擬信號，或者變換為 規(guī)定形式的數(shù)字信號串輸出(步驟S5)。在該實(shí)施例的圖像噪聲去除裝置中，由濾波處理部25進(jìn)行噪聲去除時(shí)，與采樣值 濾波器一起使用分離非線性濾波器。由于上述的采樣值濾波器結(jié)果成為線性的
低通濾波器，故在與噪聲頻率成分相同的頻帶中存在原信號時(shí)，也會同時(shí)去除該原信號的 高頻成分。由于這樣的高頻成分多存在于圖像內(nèi)的文字部分或物體邊界等的邊緣，故在直 接執(zhí)行上述濾波處理時(shí)，邊緣會模糊，尤其難以看清文字等。因此，通過分離非線性濾 波器來區(qū)分邊緣和噪聲，在判斷為邊緣的部分不進(jìn)行基于采樣值濾波器的濾波處理。e -分離非線性濾波器進(jìn)行將FIR濾波器擴(kuò)展后的非線性處理，在下述(3)式中定 義。[數(shù)學(xué)式2] 其中丄幾幻&^彡！^彡隊(duì))為FIR濾波器的系數(shù)，x、y分別為輸入和輸出，e為常 數(shù)的閾值。￡“分離非線性濾波器在噪聲的振幅比夾持原信號的邊緣的信號的變化幅度小 的前提下，根據(jù)基于閾值￡的大小來區(qū)別噪聲和信號的邊緣。并且，只在振幅小的部分、即 視作噪聲的概率高的部分進(jìn)行基于FIR濾波器的處理，從而能夠在不會使原信號的邊緣變 得不清晰的情況下進(jìn)行噪聲去除(關(guān)于分離非線性濾波器的詳細(xì)記載參考非專利文獻(xiàn) 1)。在上述的圖像噪聲去除裝置中，進(jìn)行步驟S2中的截止頻率的確定或步驟S4中的 濾波處理時(shí)，通過如下并行進(jìn)行數(shù)據(jù)處理，可謀求處理效率的提高?，F(xiàn)在，如圖5所示，構(gòu)成一幀圖像的數(shù)據(jù)作為整體按照從上面的行向下面的行、在 各行中從左向右、逐像素的順序傳輸。此外，在運(yùn)動圖像的情況下，按每一幀傳輸這樣的圖 像數(shù)據(jù)。另外，在輸入側(cè)如上述發(fā)送解碼后的圖像數(shù)據(jù)，在輸出側(cè)也如上述輸出圖像數(shù)據(jù)。在并行處理中，不是在接收了一幀圖像的所有數(shù)據(jù)之后執(zhí)行截止頻率確定處理或 濾波處理，而是一邊接收數(shù)據(jù)一邊從接收到的行開始依次執(zhí)行處理。將對1行份的圖像數(shù) 據(jù)進(jìn)行處理所需的時(shí)間設(shè)為t，將接收1行份的圖像數(shù)據(jù)所需的時(shí)間設(shè)為T。在將整數(shù)p 設(shè)為T /T的整數(shù)部分時(shí)，由于在接收到一幀內(nèi)的第P+1行的圖像數(shù)據(jù)的時(shí)刻結(jié)束了第一行 的處理，故在第P+1行的處理中可使用在第一行處理中使用的緩存器及運(yùn)算電路(用于推 測及濾波器處理的電路)。因此，具體如下。S卩，如圖6(a)所示，為了進(jìn)行處理，作為硬件除了預(yù)先準(zhǔn)備存儲 一幀份圖像的幀存儲器之外，還預(yù)先準(zhǔn)備P個(gè)運(yùn)算處理電路。并且，將輸入來的圖像數(shù)據(jù) 逐個(gè)像素依次存儲到幀存儲器中。如圖6(a)所示，若在幀存儲器中匯齊了第一行的所有 圖像數(shù)據(jù)，則讀取該數(shù)據(jù)并提供給運(yùn)算處理電路仏，開始第一行的處理。同樣地，若在幀存 儲器中匯齊了第二行的所有圖像數(shù)據(jù)，則通過下一運(yùn)算處理電路氏開始第二行處理，通過 E3、……等分別開始第三行、第四行、……、的處理。即，并行處理P行份的圖像數(shù)據(jù)。并 且，在第P+1行的圖像數(shù)據(jù)全部被輸入到幀存儲器中時(shí)，運(yùn)算處理電路￡工已經(jīng)結(jié)束了第一 行的運(yùn)算處理。因此，在該行的圖像數(shù)據(jù)的處理中可使用在第一行中使用的運(yùn)算處理電路
Ei o上述處理是水平方向的處理，處理方向和數(shù)據(jù)的傳輸方向一致，但是關(guān)于垂直方 向的處理而言其處理方向與數(shù)據(jù)的傳輸方向不同，故不進(jìn)行如上述的并行處理。另外，在按 照水平方向的處理一垂直方向的處理的順序依次進(jìn)行處理的情況下，還需要考慮實(shí)施水平 方向的處理后發(fā)送來的圖像數(shù)據(jù)的順序與輸入來的圖像數(shù)據(jù)的順序不同。因此，垂直方向 的處理是按每個(gè)像素執(zhí)行并行化而不是按每行執(zhí)行并行化。具體如下。此外，在此m為濾 波器的抽頭數(shù)。S卩，如圖6(b)所示，為了進(jìn)行處理作為硬件除了預(yù)先準(zhǔn)備存儲一幀份圖像的幀存 儲器之外，還預(yù)先準(zhǔn)備P個(gè)運(yùn)算處理電路。并且，將在水平方向上處理后發(fā)送來的圖像數(shù)據(jù) 依次存儲到幀存儲器中。若第m+1行的圖像數(shù)據(jù)貯存到幀存儲器中，則開始第一行的圖像 數(shù)據(jù)的處理。即，從幀存儲器向運(yùn)算處理電路Ep+1發(fā)送第一行第一列的圖像數(shù)據(jù)，開始處理。 然后在T秒之后，利用運(yùn)算處理電路Ep+2開始第一行第二列的圖像數(shù)據(jù)的處理。同樣地，每 隔T秒延遲，逐列地分配給其他運(yùn)算處理電路開始處理。由于在從處理開始t ( = Tp)秒 后結(jié)束了第一行第一列的處理，故對第一行第P+1的圖像數(shù)據(jù)再次分配Ep+1。若第二行數(shù)據(jù)全部存儲到緩存器中，則開始第二行第一列的處理。并且，同樣地進(jìn)行一幀所有圖像數(shù)據(jù)的處理。此外，通過上述并行處理，在輸出的運(yùn)動圖像中產(chǎn)生距輸入的運(yùn)動圖像大致(p+m) T i+mT秒的時(shí)間延遲。但是，上述的數(shù)字濾波器(采樣值濾波器)一般可由幾個(gè)抽 頭左右較少的抽頭數(shù)實(shí)現(xiàn)，故該時(shí)間延遲短，即使在流媒體中在視覺上的感覺上也是幾乎 可忽略的程度。由此，不必等待一幀的圖像數(shù)據(jù)全部匯齊，就可執(zhí)行截止頻率確定處理或?yàn)V波處 理。尤其在處理大尺寸的圖像的情況下，在對整體圖像的數(shù)據(jù)依次執(zhí)行處理時(shí)非?；ㄙM(fèi)時(shí) 間，尤其在如流媒體那樣需要進(jìn)行實(shí)時(shí)處理的情況下不利，但是如上述那樣通過并行進(jìn)行 數(shù)據(jù)處理可謀求處理效率的提高。當(dāng)然，例如在移動電話用等一幀圖像的像素?cái)?shù)較少的情 況下，即使不進(jìn)行并行處理也能縮短處理時(shí)間、縮小電路規(guī)模并且控制也簡單。圖7 9示出在利用本發(fā)明的一個(gè)實(shí)施例的圖像噪聲去除方法進(jìn)行了靜態(tài)圖像的 噪聲去除的情況下的仿真結(jié)果的一個(gè)例子。這些圖像作為評價(jià)用標(biāo)準(zhǔn)圖像都是公知的，(a) 都是圖像噪聲去除處理前的圖像，(b)都是圖像噪聲去除處理后的圖像。在圖7(a)所示的處理前圖像中，由于塊噪聲或蚊式噪聲，尤其人物的面部或背景 的椅子周圍(圖像左上部)變粗糙。與此相對，如圖7(b)所示可知，通過噪聲去除處理降低 了這樣的噪聲。另外，在利用現(xiàn)有方法進(jìn)行這種噪聲去除處理時(shí)，在噪聲多的情況下多會產(chǎn) 生斜口的條紋模樣的波紋，但是在本發(fā)明的圖像噪聲去除處理中可避免這樣波紋的發(fā)生?？梢钥闯?，在圖8(a)所示的處理前圖像中，人物和背景建筑的周圍蚊式噪聲明 顯，但是在圖8(b)所示的處理后圖像中，干凈地去除了這樣的噪聲。并且，還可以看出，即 使通過這樣的處理，圖像整體也不會模糊，保存了人物或建筑物等邊界部分的邊緣。另外，可以看出，在圖9(a)所示的處理前圖像中，寫有文字的黑板上帶有噪聲，但 是在圖9(b)所示的處理后圖像中，去除了這樣的噪聲，文字變得清晰。由此可知，本發(fā)明的 圖像噪聲去除方法根據(jù)其特性可以認(rèn)為能夠有效應(yīng)用在例如文字自動識別等領(lǐng)域中。在基于上述第一實(shí)施例的圖像噪聲去除裝置中，針對一幅圖像分別求出水平方向 的截止頻率和垂直方向的截止頻率，并利用與該截止頻率對應(yīng)的特性的、即具有濾波器系 數(shù)的數(shù)字濾波器實(shí)施噪聲去除處理。因此，雖然水平方向的濾波器特性和垂直方向的濾波 器特性不同，但是在一幅圖像中的水平方向的濾波器特性和垂直方向的濾波器特性分別恒 定。這種濾波處理針對各種圖像都能得到平均的良好的性能。另一方面，例如在平坦的背景中存在人物等的圖像的情況下，一般地，在背景部分 和人物部分，原信號的模擬頻率特性大不相同。因此，尤其是針對這樣的圖像，設(shè)想若在一 幅圖像中對按照原信號的頻率特性相似的部分應(yīng)用最優(yōu)特性的數(shù)字濾波器，則能夠更有效 地去除噪聲。以下說明的第二實(shí)施例的圖像噪聲去除裝置不是以圖像為單位，而是按照一 幅或一幀圖像中的細(xì)小區(qū)域(小區(qū)域)改變?yōu)V波器特性。圖10是該第二實(shí)施例的圖像噪聲去除裝置的示意框圖，圖11是表示該裝置中的 特征處理順序的流程圖，圖12是該處理的說明圖。第二實(shí)施例的圖像噪聲去除裝置包括用于緩存解碼后的一幅或一幀份的圖像數(shù) 據(jù)的幀存儲器31、對數(shù)據(jù)向該幀存儲器31的讀寫進(jìn)行控制的R/W控制部32、接受從幀存儲 器31被讀取到數(shù)據(jù)總線30上的數(shù)據(jù)并推測頻率特性類似的小區(qū)域的范圍的小區(qū)域推測部33、用于按每個(gè)小區(qū)域含有的多個(gè)數(shù)據(jù)分析頻率特性的濾波器組34及頻率特性推測部 35、根據(jù)該分析結(jié)果確定數(shù)據(jù)濾波器的濾波器系數(shù)的濾波器系數(shù)確定部36、針對從幀存儲 器31讀取出的數(shù)據(jù)執(zhí)行濾波處理的濾波處理部37等。濾波器組34中并排設(shè)置了分別具 有不同通帶的多個(gè)帶通濾波器，頻率特性推測部35通過分析分別通過了多個(gè)帶通濾波器 的數(shù)據(jù)來判斷哪個(gè)頻帶的成分最多并確定截止頻率。例如，在幀存儲器31中存儲有一幅或一幀圖像數(shù)據(jù)的狀態(tài)下，如圖5所示在水平 方向上順序讀取圖像數(shù)據(jù)并將其輸入到小區(qū)域推測部33中。小區(qū)域推測部33觀測圖像數(shù) 據(jù)的值、即像素值，判斷其變化量是否超過了預(yù)先確定的閾值a。在一條水平掃描的過程 中，將像素值的變化量超過閾值a的地方視作小區(qū)域的邊界，將從某一邊界到下一邊界之 間作為一個(gè)小區(qū)域?qū)Υ?步驟S10)。即，由于認(rèn)為像素值變化大的地方是原信號的頻率特 性變化大的部分，故認(rèn)為如上述設(shè)定出的小區(qū)域是頻率特性比較接近的范圍。例如，在水平 方向上順序掃描像素時(shí)，若像素值如圖12所示那樣變化，則將其變化量超過閾值a的位置 作為邊界而劃分為小區(qū)域1、小區(qū)域2及小區(qū)域3。該閾值a也可以與應(yīng)用上述的分 離非線性濾波器時(shí)的閾值a相同。如圖12所示，忽略像素值變化較小的脈沖性的噪聲。另外，由于如后述那樣按每 個(gè)小區(qū)域改變?yōu)V波器特性，因此若容許僅為某一點(diǎn)或僅為極少數(shù)點(diǎn)的小區(qū)域，則難以設(shè)定 合適的濾波器特性。因此，發(fā)生像素值超過閾值a這種變化之后，在像素值未超過閾值a 的狀態(tài)持續(xù)了規(guī)定點(diǎn)數(shù)的情況下，將該地方設(shè)為小區(qū)域，另一方面，若在發(fā)生了像素值超過 閾值a的變化之不足規(guī)定點(diǎn)數(shù)的情況下再次發(fā)生了像素值超過閾值a的變化，則不將該 區(qū)域視作小區(qū)域而進(jìn)行將其從濾波處理對象中去除的處理。另外，在圖像的端部可以容許 1點(diǎn)或極少數(shù)點(diǎn)的小區(qū)域。濾波器組34及頻率特性推測部35針對1個(gè)小區(qū)域含有的多個(gè)圖像數(shù)據(jù)調(diào)查頻率 特性，求出截止頻率(步驟S11)。因此，圖12的例子中，在小區(qū)域1和小區(qū)域2中，截止 頻率可能不同。濾波器系數(shù)確定部36為了選擇與按每個(gè)小區(qū)域求出的截止頻率相應(yīng) 的數(shù)字濾波器的傳遞函數(shù)K(z)而計(jì)算濾波器系數(shù)(步驟S12)。濾波器系數(shù)也可以與上述 第一實(shí)施例同樣利用表2所示的表格求出，還可以根據(jù)多個(gè)截止頻率和濾波器系數(shù)之間的 對應(yīng)關(guān)系進(jìn)行插補(bǔ)處理求出。如上述，在一幀或一幅圖像中確定出小區(qū)域的范圍及與其對應(yīng)的濾波器特性(濾 波器系數(shù))之后，濾波處理部37針對各像素值邊切換為按每個(gè)小區(qū)域確定出的濾波器特性 邊執(zhí)行利用了數(shù)字濾波器的濾波處理(步驟S13)。在結(jié)束水平方向的處理之后，接著對垂 直方向也執(zhí)行同樣的處理，從而能良好地去除伴隨著編碼/解碼的噪聲。如上述第一實(shí)施例中的說明，即使在該第二實(shí)施例的圖像噪聲去除裝置中，通過 進(jìn)行并行處理從而硬件增加卻可提高處理速度是當(dāng)然的。如上述，在第二實(shí)施例的圖像噪聲去除裝置中，由于在一幀或一幅圖像中自適應(yīng) 地即根據(jù)原信號的模擬頻率特性的推測結(jié)果變更了濾波器特性，故例如對一般為低頻的平 坦的背景部分和相對為高頻的人物等可分別進(jìn)行適當(dāng)?shù)脑肼暼コ?。根?jù)本申請發(fā)明者的 研究，與進(jìn)行了第一實(shí)施例的固定的濾波器特性下的濾波處理(以下稱為“固定型濾波處 理”)的情況相比，在第二實(shí)施例的自適應(yīng)濾波器特性下的濾波處理(以下稱為“自適應(yīng)型 濾波處理”)中，雖然蚊式噪聲等的殘留會稍許增加，但是卻具有原圖像中存在的細(xì)微的條紋或濃淡等不易消失、成為更自然的畫質(zhì)的傾向。作為固定型濾波處理和自適應(yīng)型濾波處理的效果之差的一個(gè)評價(jià)方法，在表3中 示出計(jì)算了以未壓縮的原始靜態(tài)圖像(BMP形式的文件)為基準(zhǔn)的平方誤差的結(jié)果。[表 3] 平方誤差E(Y)的計(jì)算式為如下所示的(4)式。其中，乂^，!!^^^，!!!]分別是原始 靜態(tài)圖像以及濾波處理后的圖像的[n，m]位置的像素值。[數(shù)學(xué)式3]
…(4)雖然根據(jù)圖像的種類不同效果會有差別，但是自適應(yīng)型比固定型的平方誤差小， 可以說接近原始圖像。圖13 圖21示出通過固定型濾波處理和自適應(yīng)型濾波處理進(jìn)行了靜態(tài)圖像的噪 聲去除的情況下的仿真結(jié)果的一個(gè)例子。圖13、圖16及圖19是用于評價(jià)的Barbar^Woman 及Text的原圖像，圖14、圖17及圖20是針對Barbara、Woman及Text的原圖像進(jìn)行固定 型濾波處理后的圖像，圖15、圖18及圖21是針對Barbar^Woman及Text的原圖像進(jìn)行自 適應(yīng)型濾波處理后的圖像。分別比較圖14和圖15、圖17和圖18可知，與固定型相比，自適應(yīng)型更良好地表現(xiàn) 了人物的面部的皮膚表面的凹凸等。因此，人物表情等的表現(xiàn)力優(yōu)越。另外，比較圖20和圖 21可知，在自適應(yīng)型中良好地表現(xiàn)了寫有文字的平板部的凹凸，相對于此，在固定型中該凹 凸幾乎消失。由此可以說，即使規(guī)定型的情況下乍一看畫質(zhì)良好但存在成為不生動的圖像 的傾向。原理上，在固定型濾波器處理中，由于對圖像整體實(shí)施了一樣的處理，故存在圖像 的細(xì)小部分(即上述的皮膚表面的細(xì)小的凹凸等)會被均勻化，存在細(xì)小的部分消失的傾 向。相對于此，在自適應(yīng)型濾波處理中，由于在一幅圖像中對每一部分實(shí)施了不同的濾波器 特性的處理，故在一定程度上保存了細(xì)小的部分。不過，對于蚊式噪聲等不能達(dá)到固定型所 實(shí)現(xiàn)的去除程度，故一般在這樣的噪聲非常明顯的圖像中會應(yīng)用固定型的處理。由此可以 考慮根據(jù)對象圖像的種類來切換自適應(yīng)型濾波處理和固定型濾波處理的方法。此外，上述實(shí)施例只是本發(fā)明的一個(gè)例子，當(dāng)然即使在本發(fā)明宗旨的范圍內(nèi)適當(dāng) 地進(jìn)行變形或修正、追加也會包括在本申請的保護(hù)范圍內(nèi)。
權(quán)利要求
一種圖像噪聲去除方法，用于去除在對以規(guī)定形式壓縮編碼后的圖像數(shù)據(jù)進(jìn)行解碼來再現(xiàn)圖像時(shí)產(chǎn)生的噪聲，該圖像噪聲去除方法的特征在于，包括a)推測步驟，針對構(gòu)成一幅或一幀圖像的壓縮編碼/解碼后的狀態(tài)的圖像數(shù)據(jù)，調(diào)查數(shù)字頻率響應(yīng)來推測壓縮編碼前的圖像的模擬頻率特性；b)參數(shù)設(shè)定步驟，根據(jù)所述推測步驟的推測結(jié)果來變更后述數(shù)字濾波器的參數(shù)；和c)處理步驟，利用采樣值H∞濾波器對解碼后且數(shù)字/模擬變換前的圖像數(shù)據(jù)進(jìn)行濾波處理，其中，所述采樣值H∞濾波器具有對下述計(jì)算式基于規(guī)定條件并通過H∞控制來求解或者通過與此相當(dāng)?shù)膰?yán)密的計(jì)算來求解而計(jì)算出的參數(shù)，所述計(jì)算式是通過將下述條件式近似變換到有限維離散時(shí)間系統(tǒng)中而得到的計(jì)算式，所述條件式是為了按照使原始模擬圖像信號與通過模擬/數(shù)字變換、編碼/解碼及數(shù)字/模擬變換后得到的模擬圖像信號之間的誤差減小的方式設(shè)計(jì)數(shù)字濾波器而設(shè)定的條件式。
2.根據(jù)權(quán)利要求1所述的圖像噪聲去除方法，其特征在于，針對在一幅或一幀圖像的水平方向及垂直方向上排列的圖像數(shù)據(jù)，分別進(jìn)行所述處理 步驟中的濾波處理。
3.根據(jù)權(quán)利要求1所述的圖像噪聲去除方法，其特征在于，在所述推測步驟中，將一幅或一幀圖像劃分為視作壓縮編碼前的圖像的模擬頻率特性 類似的小區(qū)域，并按每個(gè)該小區(qū)域推測模擬頻率特性，在所述參數(shù)設(shè)定步驟中，按每個(gè)所述小區(qū)域變更所述數(shù)字濾波器的參數(shù)。
4.根據(jù)權(quán)利要求3所述的圖像噪聲去除方法，其特征在于，在所述推測步驟中，依次掃描排列在一幅或一幀圖像的水平方向或垂直方向上的圖像 數(shù)據(jù)，其數(shù)據(jù)值的變化在規(guī)定閾值以上時(shí)作為小區(qū)域的邊界。
5.根據(jù)權(quán)利要求1或3所述的圖像噪聲去除方法，其特征在于，在所述推測步驟中，將壓縮編碼前的圖像的模擬頻率特性假設(shè)為具有規(guī)定次數(shù)的衰減 特性的低通濾波器來計(jì)算截止頻率。
6.根據(jù)權(quán)利要求5所述的圖像噪聲去除方法，其特征在于，所述規(guī)定次數(shù)是1次。
7.根據(jù)權(quán)利要求1所述的圖像噪聲去除方法，其特征在于，在所述處理步驟中，與所述采樣值濾波器一起使用￡ -分離非線性濾波器。
8.根據(jù)權(quán)利要求1所述的圖像噪聲去除方法，其特征在于，處理對象是以JPEG方式壓縮編碼的靜態(tài)圖像。
9.根據(jù)權(quán)利要求1所述的圖像噪聲去除方法，其特征在于，處理對象是以MPEG方式壓縮編碼的運(yùn)動圖像。
10.一種圖像噪聲去除裝置，用于去除在對以規(guī)定形式壓縮編碼后的圖像數(shù)據(jù)進(jìn)行解 碼來再現(xiàn)圖像時(shí)產(chǎn)生的噪聲，該圖像噪聲去除裝置的特征在于，具備a)推測單元，其針對構(gòu)成一幅或一幀圖像的壓縮編碼/解碼后的狀態(tài)的圖像數(shù)據(jù)，調(diào) 查數(shù)字頻率響應(yīng)來推測壓縮編碼前的圖像的模擬頻率特性；b)參數(shù)設(shè)定單元，其根據(jù)所述推測單元的推測結(jié)果來變更后述數(shù)字濾波器的參數(shù)；和c)處理單元，其利用采樣值濾波器對解碼后且數(shù)字/模擬變換前的圖像數(shù)據(jù)進(jìn)行濾 波處理，其中，所述采樣值濾波器具有對下述計(jì)算式基于規(guī)定條件并通過控制來求解或者通過與此相當(dāng)?shù)膰?yán)密的計(jì)算來求解而計(jì)算出的參數(shù)，所述計(jì)算式是通過將下述條件式 近似變換到有限維離散時(shí)間系統(tǒng)中而得到的計(jì)算式，所述條件式是為了按照使原始模擬圖 像信號與通過模擬/數(shù)字變換、編碼/解碼及數(shù)字/模擬變換后得到的模擬圖像信號之間 的誤差減小的方式設(shè)計(jì)數(shù)字濾波器而設(shè)定的條件式。
11.根據(jù)權(quán)利要求10所述的圖像噪聲去除裝置，其特征在于，所述處理單元對排列在一幅或一幀圖像的水平方向及垂直方向上的圖像數(shù)據(jù)分別進(jìn) 行濾波處理。
12.根據(jù)權(quán)利要求10所述的圖像噪聲去除裝置，其特征在于，所述推測單元將一幅或一幀圖像劃分為視作壓縮編碼前的圖像的模擬頻率特性類似 的小區(qū)域，并按每個(gè)該小區(qū)域推測模擬頻率特性，所述參數(shù)設(shè)定單元按每個(gè)所述小區(qū)域變更所述數(shù)字濾波器的參數(shù)。
13.根據(jù)權(quán)利要求12所述的圖像噪聲去除裝置，其特征在于，所述推測單元依次掃描排列在一幅或一幀圖像的水平方向或垂直方向上的圖像數(shù)據(jù)， 其數(shù)據(jù)值的變化在規(guī)定閾值以上時(shí)作為小區(qū)域的邊界。
14.根據(jù)權(quán)利要求10或12所述的圖像噪聲去除裝置，其特征在于，所述推測單元將壓縮編碼前的圖像的模擬頻率特性假設(shè)為具有規(guī)定次數(shù)的衰減特性 的低通濾波器來計(jì)算截止頻率。
15.根據(jù)權(quán)利要求14所述的圖像噪聲去除裝置，其特征在于，所述規(guī)定次數(shù)是1次。
16.根據(jù)權(quán)利要求10所述的圖像噪聲去除裝置，其特征在于，所述處理單元與所述采樣值濾波器一起使用￡ _分離非線性濾波器。
17.根據(jù)權(quán)利要求10所述的圖像噪聲去除裝置，其特征在于，處理對象是以JPEG方式壓縮編碼的靜態(tài)圖像。
18.根據(jù)權(quán)利要求10所述的圖像噪聲去除裝置，其特征在于，處理對象是以MPEG方式壓縮編碼的運(yùn)動圖像。
全文摘要
本發(fā)明提供一種圖像噪聲去除方法及裝置。其中，對解碼后的狀態(tài)下的一幀份的圖像數(shù)據(jù)進(jìn)行FFT分析，按照水平方向、垂直方向來求出假設(shè)原信號為1次衰減特性時(shí)的截止頻率(S1、S2)。選擇預(yù)先按照與不同截止頻率對應(yīng)地具有不同參數(shù)的方式設(shè)計(jì)的采樣值H∞濾波器(數(shù)字濾波器)(步驟S3)，利用該濾波器在解碼后的圖像數(shù)據(jù)的水平方向及垂直方向上分別進(jìn)行濾波處理(S4)。由于按每一幀圖像考慮了原圖像的模擬頻率特性的不同，故不易去除原圖像中存在的貌似噪聲的信息，能夠有效地去除隨著編碼/解碼的蚊式噪聲或塊噪聲。
文檔編號H04N1/409GK101878640SQ200880118470
公開日2010年11月3日 申請日期2008年11月26日 優(yōu)先權(quán)日2007年11月30日
發(fā)明者小林陽, 山本裕, 永原正章 申請人:國立大學(xué)法人京都大學(xué)