專利名稱：用于減少由邊緣引起的偽影的圖像處理裝置和方法
技術領域：
本發(fā)明的實施例涉及用于減少在包括多個視頻幀的圖像信號或視頻信號中的偽影(artefact)的圖像處理裝置和方法。進一步的實施例涉及用于實施所述方法的計算機程序和存儲這樣的計算機程序的計算機可讀非臨時性存儲介質(zhì)。
背景技術：
數(shù)字靜止圖像和視頻信號呈現(xiàn)出不同的類型的偽影，其中偽影是通過應用到數(shù)字圖像信號上的諸如濾波、時域和頻域之間的轉換、壓縮/解壓縮的信號處理技術而生成的。一種類型的偽影是在圖像場景中出現(xiàn)的在邊緣的至少一個邊上的振鈴(ringing)。振鈴也稱蚊式噪聲(mosquito noise)，是源自在前面的信號處理中的頻帶限制。振鈴在靜止圖像 和包含多個視頻幀的視頻流中都出現(xiàn)。另一種類型的偽影是作為圖像馬賽克化出現(xiàn)的組塊化(blocking)。組塊化可源自諸如JPEG、MPEGU MPEG2、MPEG4以及其它基于塊的壓縮方案。減少這些偽影的常規(guī)技術在編碼域或基帶域中起作用。在編碼域中起作用的去塊(de-blocking)和去振鈴(de-ringing)方案需要訪問在解碼器端并不總是可得到的編碼器信息。相反，基帶方法并不一定需要編碼器信息，但趨于連同組塊偽影和振鈴偽影一起，減少在減少的偽影的附近的圖像的紋理和銳度。減少振鈴和組塊偽影的一個常用方法是識別塊邊界和圖像邊緣并對與檢測到的邊界或邊緣垂直的圖片進行低通。這樣的處理低通了在邊緣和塊邊界的附近的區(qū)域。在這個區(qū)域內(nèi)的紋理被平滑化，造成了作為模糊而出現(xiàn)的多余的二級偽影。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供用于減少在描述靜止圖像或視頻的圖像信號中的由邊緣引起的偽影、同時例如通過避免在邊緣附近的紋理被模糊而將對圖像/視頻質(zhì)量的不利效果保持為低的圖像處理裝置及相應的方法。本發(fā)明的另一個目的是提供用于實施所述方法的計算機程序和計算機可讀非臨時性存儲介質(zhì)。該目的通過獨立的權利要求的主題實現(xiàn)。從屬權利要求定義了進一步的實施例。通過結合附圖的對實施例的如下說明，本發(fā)明的細節(jié)和優(yōu)點將變得更加明顯。除非它們相互排斥，否則，各個實施例的特征可以結合。


圖IA是帶有根據(jù)本發(fā)明的一實施例的圖像處理裝置的電子設備的示意框圖，其中圖像處理裝置用于減少由邊緣引起的偽影。圖IB是示出了圖IA的圖像處理裝置的細節(jié)的示意框圖。圖IC示出了根據(jù)參考離散小波變換的一個實施例的圖IB的圖像處理單元的小波分解單元的細節(jié)。
圖ID是根據(jù)參考小波包分解(wavelet package decomposition)的一個實施例的圖IB的圖像處理單元的小波分解單元的示意框圖。圖IE示出了圖ID的小波分解單元的效果。圖IF示出了繪有用于討論本發(fā)明的相關效果的輪廓線、塊邊界和紋理對細節(jié)和逼近信號的效果的圖。圖IG是示出了根據(jù)參考小波包分解的一個實施例的圖IB的圖像處理單元的小波合成單元的細節(jié)的示意框圖。圖2A是根據(jù)與去塊有關的一個實施例的圖像處理單元的示意框圖。
圖2B是包括了用于討論本發(fā)明的相關效果的測試圖像的對角線細節(jié)的圖。圖2C是示出了用于討論本發(fā)明的相關效果的測試圖像的垂直細節(jié)的圖。圖2D是示出了用于討論本發(fā)明的相關效果的測試圖像的水平細節(jié)的圖。圖3A是示出了圖2的圖像處理單元的塊檢測單元的細節(jié)的框圖。圖3B是示出了根據(jù)本發(fā)明的一個實施例的用于檢測塊角落的濾波器的圖。圖3C是圖3B的濾波器的三維圖。圖3D是示出了根據(jù)一個實施例的用于檢測垂直塊邊界的濾波器的圖。圖3E是圖3D的濾波器的三維圖。圖3F是示出了根據(jù)一個實施例的用于檢測水平塊邊界的濾波器的圖。圖3G是圖3F的濾波器的三維圖。圖4A是示出了用于討論本發(fā)明的相關效果的移動塊的示意圖。圖4B示出了用于討論與移動塊的檢測有關的實施例的效果的帶有垂直和水平細節(jié)的圖。圖4C是定義用于檢測移動垂直塊邊界的濾波器的示意圖。圖4D是定義用于檢測移動水平塊邊界的濾波器的示意圖。圖5A是示出了具有水平和垂直塊邊界的圖像部分的示意圖。圖5B是示出了根據(jù)與水平塊邊界有關的一個實施例的通過均等化(equalizing)的偽影減少的示意圖。圖5C是示出了根據(jù)與垂直塊邊界有關的一個實施例的通過均等化的偽影減少的示意圖。圖是示出了根據(jù)與邊界交叉點有關的一個實施例的通過均等化的偽影減少的示意圖。圖6A是說明一個實施例的效果的帶有垂直塊邊界的示例性圖片。圖6B是根據(jù)與垂直塊邊界有關的一個實施例使用去塊從圖6A的圖片獲得的圖片。圖6C是說明一個實施例的效果的帶有水平塊邊界的示例性圖片。圖6D是根據(jù)與水平塊邊界有關的一個實施例使用去塊從圖6A的圖片獲得的圖片。圖6E是說明一個實施例的效果的帶有邊界交叉點的示例性圖片。圖6F是根據(jù)與邊界交叉點有關的一個實施例使用去塊從圖6A的圖片獲得的圖片。
圖7A是示出了用于討論根據(jù)一個實施例的能量均等化的效果的一行像素的圖。圖7B是示出了用于討論根據(jù)另一個實施例的能量均等化的效果的一行像素的圖。圖8A是根據(jù)與去振鈴有關的一個實施例的圖像處理單元的示意框圖。圖SB是根據(jù)結合了去振鈴和去塊的一個實施例的圖像處理單元的示意框圖。
圖9A是示出了根據(jù)一個實施例的圖8A和SB的圖像處理單元的邊緣檢測單元的細節(jié)的示意框圖。圖9B是示出了圖9A的邊緣檢測單元的閾值單元的細節(jié)的示意框圖。圖IOA至圖IOF是示出了圖9A的邊緣檢測單元的操作模式的示例性圖片。圖IlA和IlB示出了圖9B的閾值單元的操作模式。圖12A和12B是示出了圖9A的邊緣檢測單元的滯后單元的效果的圖片。圖13A和13B是示出了與將去振鈴應用于未去塊信號有關的一個實施例的效果的圖片。圖14A和14B是示出了與在去塊后執(zhí)行去振鈴有關的一個實施例的效果的圖片。圖15是示出了用于討論本發(fā)明的相關效果的沿邊緣的子區(qū)域的示意圖。圖16A和16B是示出了根據(jù)不考慮先前均等化的一個實施例的去振鈴單元的操作模式的示意圖。圖17A和17B是示出了根據(jù)考慮先前均等化的一個實施例的去振鈴單元的操作模式的示意圖。圖18A和18B示出了執(zhí)行去振鈴前后的示例性圖片的一部分的水平細節(jié)。圖19A和19B示出了執(zhí)行去振鈴前后的圖18A和18B的示例性圖片的一部分。圖20A是示出了用于討論銳度增強的效果的子頻帶邊緣峰化的圖。圖20B是示出了第一垂直細節(jié)的子頻帶邊緣峰化的圖。圖20C是示出了第二垂直細節(jié)的子頻帶邊緣峰化的圖。圖21是根據(jù)另一個實施例的圖像處理單元的操作方法的簡化流程圖。優(yōu)詵實施例的說明圖I示出了用于處理從圖像數(shù)據(jù)源接收到的壓縮的源圖像數(shù)據(jù)VIDc和/或未壓縮的源圖像數(shù)據(jù)VID的電子設備900。電子設備900可能是如電視裝置或計算機的意在固定使用的設備。根據(jù)另一個實施例，電子設備900是如手機、電子書、平板設備、個人數(shù)字助理或智能手機的便攜設備。圖像數(shù)據(jù)源可能是攝像頭單元、廣播接收單元或存儲單元。圖像數(shù)據(jù)源可能是電子設備900的一個不可分割的組成部分，或根據(jù)另一實施例，是通過有線連接線或以無線方式連接到電子設備900的另一電子設備的一個不可分割的組成部分。壓縮的源圖像數(shù)據(jù)VIDc可表示對包含多個視頻幀的靜止圖像或視頻流作描述的壓縮的圖像數(shù)據(jù)。壓縮的源圖像數(shù)據(jù)VIDc可導致將例如JPEG(聯(lián)合攝影專家組)或MPEG(運動圖像專家組)的壓縮方案應用在原始圖像/視頻數(shù)據(jù)上。根據(jù)其它實施例，將未壓縮的源圖像數(shù)據(jù)VID提供給電子設備900。電子設備900包括一個可將合適的解壓縮方案應用在壓縮的源圖像數(shù)據(jù)VIDc上以提供解壓縮的輸入數(shù)據(jù)信號VidI的圖像處理單元100。圖像處理單元100減少在解壓縮的輸入數(shù)據(jù)信號VidI或未壓縮的源圖像數(shù)據(jù)VID中的由邊緣引起的偽影。在下面，術語“輸入數(shù)據(jù)信號”意在包括未壓縮的源圖像數(shù)據(jù)VID和解壓縮的輸入數(shù)據(jù)VidI。圖像處理單元100執(zhí)行小波分解以獲得至少一個細節(jié)信號(detail signal)和至少一個逼近信號(approximation signal),每一個細節(jié)和逼近信號描述在另一個頻率范圍內(nèi)的輸入數(shù)據(jù)信號。按照在有關領域中的通用術語，每一個“細節(jié)信號”或高頻“頻帶”由各自的細節(jié)分量描述，每一個“逼近信號”或低頻“頻帶”由各自的逼近系數(shù)給出。圖像處理單元100將不連續(xù)檢測方案應用在一個或多個細節(jié)和逼近信號上，以識別不連續(xù)性和容易產(chǎn)生由邊緣引起的偽影的區(qū)域。不連續(xù)可以是例如像素塊的對象輪廓線或邊界的成像場景中的邊緣，其中分配給相同的像素塊的像素的像素值是來自例如可以是壓縮/解壓縮程序的一部分的、在先前的不理想的面向塊的轉換中的相同的塊操作或運動評估處理。偽影易發(fā)生區(qū)域可能是與圖像內(nèi)容中的輪廓線直接毗鄰的區(qū)域和/或與塊邊界直接毗鄰的區(qū)域。在識別的偽影易產(chǎn)生區(qū)域內(nèi)，圖像處理單元100將偽影減少方案應用于源于小波變換的一個或多個細節(jié)和逼近信號。
例如，圖像處理單元100應用去振鈴方案以減少振鈴偽影和/或應用去塊方案以減少組塊偽影。偽影減少方案可以基于使毗鄰檢測到的邊緣/邊界的偽影易產(chǎn)生區(qū)域中的能量或像素值與離邊緣/邊界更大距離的邊緣/邊界的一側或兩側上的參考區(qū)域的能量或像素值均等化的方法。邊緣/邊界和參考區(qū)域之間的距離可能大于一個像素、兩個像素或三個像素。距離可小于塊尺寸的2倍，例如16或8個像素。根據(jù)一個實施例，均等化可以以將參考區(qū)域的一個圖案投射到偽影易產(chǎn)生區(qū)域的方式執(zhí)行。偽影減少方案可應用到細節(jié)和逼近信號或頻帶的全部或一部分。根據(jù)一個實施例，均等化是專門應用到細節(jié)信號中的一個或多個。根據(jù)另一個實施例，圖像處理單元100將偽影減少方案專門應用到已經(jīng)用來檢測各自的偽影易產(chǎn)生區(qū)域的那些信號頻帶。圖像處理單元100進一步應用小波合成方案以結合校正的細節(jié)和逼近信號以及其它沒有執(zhí)行偽影減少方案的細節(jié)和逼近信號，以產(chǎn)生輸出數(shù)據(jù)信號VidO。圖像處理單元100可將輸出數(shù)據(jù)信號VidO提供給輸出單元995。輸出單元995可以是用于基于輸出數(shù)據(jù)信號VidO顯示圖像或影片的顯示器、用于存儲輸出數(shù)據(jù)信號VidO的存儲單元、或用于將輸出數(shù)據(jù)信號VidO傳輸?shù)搅硪粋€電子設備的數(shù)據(jù)接口單元。圖IB示出了圖IA的圖像處理單元100的一個實施例的細節(jié)。解壓縮單元105應用一個合適的解壓縮方案來解壓縮接收到的壓縮的源圖像數(shù)據(jù)VIDc并輸出解壓縮的輸入數(shù)據(jù)信號VidI。小波分解單元110執(zhí)行一維、二維或三維小波分解以將可能是解壓縮的輸入數(shù)據(jù)信號VidI或未壓縮的源圖像數(shù)據(jù)VID的輸入數(shù)據(jù)信號分解為至少一個細節(jié)信號和至少一個逼近信號。舉例來說，小波分解單元110對輸入數(shù)據(jù)信號應用高通濾波器以產(chǎn)生細節(jié)信號和產(chǎn)生逼近信號的低通濾波器。小波分解單元110可包括一個帶有一個高通濾波器和一個低通濾波器的濾波器級，或包括多個濾波器級，其中每一個濾波器級包括一個高通濾波器和低通濾波器，以通過在前一信號級的輸出信號中的一個上應用濾波器來取得進一步的逼近信號和進一步的細節(jié)信號。細節(jié)和逼近信號中的至少一個被提供給不連續(xù)檢測單元120。不連續(xù)檢測單元120可掃描一個或多個塊邊界的細節(jié)和逼近信號和/或可掃描一個或多個成像場景中的邊緣的細節(jié)和逼近信號，例如對象輪廓線。偽影減少單元140將不連續(xù)型特定偽影減少方案應用于細節(jié)和逼近信號中的至少一個，例如，應用于用于各自可能的偽影區(qū)域的檢測到的那些信號。根據(jù)一個實施例，圖像處理單元100可進一步包括增強細節(jié)和逼近信號中的至少一個的銳度信息的銳度增強單元180。小波合成單元190應用小波合成方案來將這些執(zhí)行偽影減少方案的細節(jié)和逼近信號與沒有執(zhí)行偽影減少方案的細節(jié)和逼近信號結合，以生成一個校正的輸出數(shù)據(jù)信號VidO。圖IC和ID示出了圖IB的小波分解單元110的一個實施例的細節(jié)。小波分解用于將一個給定的連續(xù)時間信號分成不同尺度的分量，其中每個尺度的分量被分配給一個頻率范圍(頻帶)。每個尺度的分量能夠使用與其尺度相匹配的分辨率來研究。小波變換是由小波來表示信號。小波是已知作為“子小波”的尺度化和轉換后的副本或已知作為“母小波”的快速衰減的振蕩波形。小波變換優(yōu)于傳統(tǒng)的傅里葉變換，在于它表示具有不連續(xù)性和尖峰的函數(shù)并且準確地解構和重建有限的、非周期的和/或非平穩(wěn)的信號。小波解壓縮單元110可執(zhí)行連續(xù)小波變換(CWT)、離散小波變換(DWT)或小波包分解(WPD)。 根據(jù)圖IC的實施例，小波分解單元110執(zhí)行DWT并可包括一些成對排列的濾波器
單元112，其中每一個濾波器對被分配給一個濾波器級Sl、S2、Sn，n= 1，2，.......每一個
濾波器對的濾波器單元112中的一個是脈沖響應為I的低通濾波器，同一濾波器對的另一個濾波器單元112是脈沖響應為h的高通濾波器，其中每一個濾波器對的頻率范圍互補。第
一級SI的濾波器對的輸入信號是小波分解單元110的輸入數(shù)據(jù)信號。級S2、S3，......(η
=2)的每一個濾波器對的兩個濾波器單元112接收前一級Sn的低通濾波器單元112輸出的逼近信號。每一個濾波器對的濾波器單元112可以是具有各自的采樣頻率的大約1/4 (即η /2)對稱的頻率特性的正交鏡像濾波器。分解可以重復一次或多次，以進一步提高逼近系數(shù)的頻率分辨率。小波分解單元110通過將數(shù)據(jù)輸入信號VidI通過濾波器單元112執(zhí)行DWT。具有脈沖響應I的低通濾波器單元112的輸出信號來自數(shù)據(jù)輸入信號與脈沖響應I的卷積，并給出了各自的濾波器級的逼近信號。具有脈沖響應h的高通濾波器單元112的輸出信號來自數(shù)據(jù)輸入信號與脈沖響應h的卷積，并表示各自的濾波器級的細節(jié)信號。根據(jù)一個實施例，提供下采樣單元114來拋棄濾波器單元112的各自的輸出信號的采樣的一半。濾波器單元112的每一個輸出信號都有各自的輸入信號的頻率范圍的一半，即頻率分辨率翻倍。與典型的小波變換應用類似，此實施例通過拋棄每一個第二樣本值來提供濾波器單元112的輸出信號的子采樣，以利用在線性操作的情況下子采樣是不變的。然而，根據(jù)另一個實施例，小波分解單元110不提供子采樣來支持非線性處理。通過放棄子采樣，信息不會丟失。此外，放棄子采樣允許利用輸入數(shù)據(jù)信號的本地相關。最后，子采樣頻帶將去除相位信息，這是在移動序列的情況下非常有用的。圖ID是指執(zhí)行小波包分解(WPD)的小波分解單元110的一個實施例。輸入數(shù)據(jù)信號通過比離散小波變換更多的濾波器。雖然在DWT中每一級是通過僅僅將前一逼近系數(shù)(即低通濾波器路徑的輸出)通過低通濾波器和高通濾波器來計算的，但應用小波包分解，就進一步分解了細節(jié)分量和逼近系數(shù)(即低通濾波器單元和高通濾波器單元112的輸出)，以實現(xiàn)四級或更多級的分解。對η級來說，WH)生成了 2"個不同組的系數(shù)(或節(jié)點)，η =1,2,.......此外，一些實施例可提供子采樣單元114，而其它實施例不提供。圖IE是指提供二級、二維小波包分解(WPD)的小波分解單元110的一個實施例。由WPD的前兩級獲得的四個信號(“信道”)由HHp HL1, LH1和LL1表示。字母H表示高通濾波器的輸出，字母L表不第一級的低通濾波器的輸出。LpH1表不第二級的濾波器的輸出。一般而言，信號LL示出了逼近，信號LH示出了水平細節(jié)，信號HL示出了垂直細節(jié)，信號HH示出了對角線細節(jié)。每一個級都可能被分配到圖片的尺寸，即第一級被分配到垂直圖片尺寸，第二級被分配到水平圖片尺寸。圖IE示出了對原始圖像應用二維小波分解在第二級后產(chǎn)生四個信號LLp LH1,HL1, HH1的一個示例，其中第三級將第二級的LL1頻帶解壓縮成四個進一步的信號LL2、LH2,HL2, HH20根據(jù)本發(fā)明，小波分解單元110通常適合應用二維小波分解，通過它將描述靜止圖像或視頻幀的輸入數(shù)據(jù)信號分解成四個細節(jié)和逼近信號。也能夠不應用二維小波分解兩次，而應用一維小波分解，其中在每一個級執(zhí)行在兩個頻帶中的分解。其它實施例提供了三維小波分解。 根據(jù)一個實施例，迭代地應用小波分解，例如，通過在至少兩級的多個頻帶中使用至少兩個小波分解的多級(級聯(lián))，輸入視頻的輸入視頻幀被迭代地分解。至少是特定級的最低頻帶被分解成后一級的至少兩個頻帶。根據(jù)在圖IE中示出的實施例，LL1頻帶可被分解成后一級的頻帶LL2、LH2、HL2、HH2。小波分解單元110可通過控制信號CTRL配置。例如，用戶可選擇(例如依賴于塊偽影減少精度的理想水平的)分解和濾波器級的數(shù)目。小波分解單元110可以應用幾種類型的小波中的一個。例如，小波分解單元110可配置為應用Le Gall 5/3和Daubechies 9/7小波中的一個。根據(jù)一個實施例，小波的長度，至少對于高通的部分來說，比在選擇的壓縮/解壓縮方案中使用的相應塊尺寸短。例如，小波有少于8個的抽頭，以避免穿過在根據(jù)JPEG、MPEGl、MPEG2或MPEG4方案壓縮的圖像中的一個以上的塊邊界。根據(jù)一個實施例，由各自的濾波器單元執(zhí)行的濾波器函數(shù)的每一個尺寸被選擇為小于相應的塊尺寸。塊尺寸可以由在前一處理級(例如，壓縮/解壓縮級)使用的塊尺寸給出。對于很多壓縮/解壓縮方案來說，塊尺寸是8X8像素。根據(jù)一個實施例，小波分解單元110的濾波器單元112可配置，以使它們可以適應不同的塊尺寸/被不同的塊尺寸選擇。圖IF示出了與圖片的特征及它們在細節(jié)和逼近信號中的表示有關的圖。頂行是指成像場景中的典型的對象輪廓邊緣，中間行是指塊邊界，底行是指紋理區(qū)域。左側欄示出了在各自的圖片特征附近的圖片中的能量或發(fā)光的空間梯度。中間欄示出了高通信道(細節(jié)信號)的梯度，右側欄示出了根據(jù)左側欄從各自的輸入數(shù)據(jù)信號推導出的各自的低通信道(逼近信號)的梯度。關于塊邊界(中間行)，想法是利用邊界與在圖像幀中的內(nèi)容之間的相關性。特別地，已經(jīng)認知到，有可能使小波域的活動均等化，而不是在它或甚至在原始圖像中使用低通濾波器。已知的去塊算法只是塊邊界適配器，換句話說，它們用塊邊界的大小改變?yōu)V波器的類型。它們在紋理區(qū)域工作不好，因為它們低通了太多紋理或它們留下了偽影。相反，目前的實施例在塊邊界及利用與紋理區(qū)域相比在小波域的塊邊界中/塊邊界處有更多的內(nèi)在活動的周邊區(qū)域是同時自適應的。小波分解后，可以使用例如在由小波分解得到的至少有兩個頻率信道的至少一個高頻信道中的至少一個評價信號執(zhí)行塊檢測。塊邊界可利用塊格規(guī)律和塊邊界之間的相關性來識別。根據(jù)一個實施例，利用有關如何在小波域中表示塊邊界的知識來檢測塊邊界。關于在成像場景(頂行)中的如輪廓線的圖像邊緣，想法是將它們與塊邊界區(qū)別開并對它們進行不同的處理。邊緣處理可以基于在檢測到的邊緣的同一側的相鄰塊之間的均等化方案，而塊邊界處理涉及關于塊邊界兩側的均等化方案。使用根據(jù)本發(fā)明提出的小波，可以同時容易地執(zhí)行在小波域中的其它任務，如噪聲減少和銳度增強。銳度增強單元180在去塊之后和小波合成之前執(zhí)行圖像的銳度增強。替換銳度增強單元180或者除銳度增強單元180之外，用于小波域中的處理頻帶和/或輸入視頻幀的圖像處理的其它圖像處理設備可以在其它實施例中提供，特別是在小波合成前的噪聲減少、顏色飽和度增強、色度增強、亮度增強和/或對比度增強。圖IG示出了圖IB的小波合成單元190的一個實施例的細節(jié)。小波合成單元190包括逆濾波頻帶的逆濾波器單元192和疊加逆濾波器單元192的輸出以執(zhí)行逆小波變換的求和單元195。小波合成與小波分解單元110的小波分解是互補的，并輸出圖像輸出信號 VidO0取決于下采樣是否已執(zhí)行，小波合成單元190可包括上采樣單元194以補償在分解端的下采樣。小波合成單元190給小波逆變換提供去塊的和進一步未處理的細節(jié)和逼近信號或頻帶。圖2A示出了與在塊邊界附近發(fā)生的由不連續(xù)性引起的偽影的減少相關的圖IB的圖像處理單元的一個實施例。塊檢測單元121評估由小波分解單元110輸出的細節(jié)和逼近信號(頻帶)中的一個或多個作為評估信號。根據(jù)一個實施例，塊檢測單元121評估第一級高頻帶(細節(jié)信號)或從第一階高頻帶導出的子頻帶，并輸出描述識別的塊邊界的塊位置信息。去塊單元141接收塊位置信息和小波分解單元110輸出的信號中的至少一些，例如，至少一些推導出位置信息的那個信號或那些信號。去塊單元141執(zhí)行使位于識別的邊界處的能量與分配給相鄰塊的參考像素的能量均等化的均等化處理。根據(jù)一個實施例，相鄰的像素和塊是那些直接毗鄰識別的塊邊界的那些。根據(jù)其它實施例，可以考慮不直接毗鄰塊邊界但毗鄰直接毗鄰塊邊界的塊的進一步的像素和塊。根據(jù)一個實施例，塊檢測單元121基于由第一小波迭代得到的細節(jié)信號來評估塊位置信息，第一小波迭代已提供了很多的塊位置信息，如圖2B、2C、2D所示。圖2B可視地示出了測試圖像的塊格(block grid)的對角線細節(jié)，圖2C是指塊格的垂直細節(jié)示于圖2C，圖2D是塊格的水平細節(jié)。圖2B、2C、2D的圖像是來自原始測試圖像與Le Gall 5/3濾波器的卷積，它們比典型塊小。每一個細節(jié)信號有其自身的特點，所以可以應用不同的程序。此外，相關的量在本質(zhì)上也能提供一個塊效應級。然后，可使用這個信息以在小波域中應用較平滑或較強的去塊算法，以導致更頻繁或更不頻繁地迭代小波分解。圖3A示出了圖2A的塊檢測單元121的細節(jié)，圖3B至3G示出了其操作模式。一個使用高通濾波器的在像素行和像素列上都有效的濾波可以應用，以生產(chǎn)出描述對角線細節(jié)的信號。在一個塊存在的情況下，對角線細節(jié)通常示出了一個完美的塊的四個塊角落。這種空間格局在典型的圖像場景中不是太常見。此外，在塊內(nèi)也應該有一些活動。然而，在塊角落處的能量大于在里面的一個能量，并呈現(xiàn)一種特定模式。因此，根據(jù)一個實施例，圖2A的塊檢測單元121可利用細節(jié)信號與完美的塊的塊角落的相關性。第一加權單元122a可加權位于8X8格的角落處的四個像素組，以突出在相關的HH細節(jié)信號中的邊緣質(zhì)量。根據(jù)一個實施例，每個像素組的像素排列以形成一個正方形。每個像素組可包括四個像素或更多，例如九個像素?？梢詫υ诿總€方塊內(nèi)的對角線像素的值求和，并且可以對每一個像素組計算兩個對角線之和的差值?？梢詫λ膫€對角線之差的絕對值求和。應用在一個逼近或細節(jié)信號上，所生成的值(塊角落，Block Corner)在四個邊都排列為8X8格的情況下是高的。例如，值“塊角落”可使用下面的公式計算，其中HH(n，m)是指由小波分解單元110獲得的詳細的對角線細節(jié)信號A = HH(x-4, y-4) -HH (χ-3, y-4) +ΗΗ(χ-3, y-3) -HH (χ-4, y-3)B = HH(x_4，y+4)-HH(χ-3, y+4) +HH(χ-3, y+5)-HH(χ-4, y+5)C = HH(x+4, y-4) -HH (x+5, y-4) +HH(x+5, y-3) -HH (x+4, y-3)D = HH(x+4, y+4)-HH(x+5, y+4) +HH(x+5, y+5)-HH(x+4, y+5)塊角落(x，y)= a| + |b| + |c| + |d在一個塊存在的情況下，第一加權單元122a產(chǎn)生一個輸出信號，其中塊角落甚至在紋理區(qū)域也非常顯眼。在那之后，為了找到塊的最有可能的位置，對每一個8X8區(qū)域，第一搜索單元123a搜索最大活動并存儲各自的行和列的偏移。有了對圖像的每一個8X8區(qū)域的偏移量的了解，然后就可以定義更常見的行偏移(DROfTset)、列偏移(DCOfTset)及其作為整體比例的可靠性(DRCOffset %和DCOffset % )。垂直系數(shù)可能來自與高通濾波器的行卷積和與低通濾波器的列卷積。由于這個原因，普遍的方向是垂直的，所以它是適于檢測垂直塊邊界。例如，第二加權單元122b可執(zhí)行線突出濾波，并可以使用下面的公式計算與圖3D、3E中所示的完美塊邊界的相關性。A = -HL (X，y_4)+HL (X，y-3)B = HL (x，y+4)-HL (x，y+5)垂直塊邊界(x，y)= A| + |B這個迭代提供了圖3D，并且由此，在第二搜索單元123b中的每一個1X8區(qū)域中的最大活動計算可計算出最常見的列偏移(VCOffset)及其可靠性(VC0ffset% )。水平系數(shù)完全是垂直系數(shù)的正交版本。事實上，低通濾波是在行上，高通濾波被應用到列。這個濾波指出了如水平塊邊界的水平結構。按下面的公式計算相關量A = -LH(χ-4, y)+LH(χ-3, y)B = LH(x+4, y)-LH(x+5, y)水平塊邊界(x,y) = A| + |B第三加權單元122c和第三搜索單元123c可以計算在每一個8X1區(qū)域中的給出最常見的行偏移(HROfTset)及其可靠性(HR0fTset% )的最大活動。與完美塊邊界的相關性示于圖3F、3G中。此時，有了對第一小波迭代的細節(jié)系數(shù)的組塊知識，前面的結果可能被合并成一個，指出圖像中的塊效應量。例如，合并單元124可評估以下的關系以提供可靠的結果塊等級=2if DROffset = HROffset with DROffset%, HROffset% >75% Λ DCOffset = VCOffset with DC0ffset%, VC0ffset% >75%塊等級=Iif DROffset = HRO ffset with DROffset%, HROffset% >
50%Λ DCOffset = VCOffset with DCOffset%, VCO ffset%>50%塊等級=O其它根據(jù)另一個實施例，塊邊界可能在低頻帶被發(fā)現(xiàn)。然而，由于塊邊界有高頻內(nèi)容，并且由于在低頻帶圖片信息與塊邊界信息合并，所以它們通常是在高頻帶更容易檢測到。根據(jù)另一個實施例，塊檢測單元121既使用高頻帶又使用低頻帶。 塊檢測單元121的另一個實施例應用動態(tài)塊格檢測處理以允許處理在壓縮側的宏塊的概念。在一些壓縮視頻流中，例如在MPEG-1/2/4編碼的視頻流中，組塊偽影以它們與8X8編碼塊不對齊的方式一個幀一個幀地進行傳遞。圖4A示出了在左側的四個8 X 8編碼塊，運動評估評估該四個8 X 8編碼塊在下一個視頻幀將轉移到右側和底側。如右側所示，在下一個視頻幀中的塊可出現(xiàn)關于16X16宏塊轉移，并且塊邊界能夠出現(xiàn)宏塊內(nèi)的任何地方。在一組宏塊內(nèi)，相關的塊格可以彼此不同。根據(jù)該實施例，塊檢測單元121掃描在每一個16X16宏塊中的塊邊界。例如，塊檢測單元121掃描在水平和垂直方向上的至少四個像素的塊邊界。塊檢測單元121可以在垂直和水平細節(jié)信號中搜索與完美塊邊界的相關性以分別獲得每一個宏塊的塊格。根據(jù)一個實施例，塊檢測單元使用4X2濾波器來為每一個宏塊內(nèi)的每一個位置評估至少表示活動程度的第一值Ml、通常在塊邊界有最大值的第二值M2和通常在塊邊界有最小值的第三值M3。根據(jù)一個示例，濾波器抽頭為水平系數(shù)有圖4C的配置，為垂直系數(shù)有圖4D的配置。塊檢測單元121可計算M1、M2、M3值并可基于M1、M2、M3的值確定塊邊界是否存在Mi= a| + |b| + |c| + |d| + |e| + |f| + |g| + |hM2 = IA-B H C-D H E-F H G-HM3= A+B I +1 C+D | +1E+F | +1G+H根據(jù)另一個實施例，第二值M2在各自的宏塊中被適應于活動性(activity)，以使M2對塊邊界檢測更可靠。該適應可考慮由如宏塊內(nèi)的紋理的其它結構暗示的偏差。例如，最后第二值M2設置為等于宏塊內(nèi)的那個值M2，其中比例M3 M2超過基于第一值Ml的預定閾值。如果超過一個的第二值M2滿足比率的要求，那么與最小的第三值M3聯(lián)系的第二值M2可以被選擇。如果超過一個的第二值M2既符合比例要求又被分配給相同的最小的第三值M3，那么最頻繁的位置可被選擇，換句話說，比其它位置更多次適合這個測試的位置可被選擇。根據(jù)另一個實施例，常數(shù)可設置為等于O. 5。圖4B示出了一個示例性圖片的部分，其中塊檢測單元接收左側所描繪的水平細節(jié)和在中間描繪的垂直細節(jié)，并在右側描繪的宏塊內(nèi)評估移動的塊邊界的位置。亮的區(qū)域對應于高活動性，暗的區(qū)域對應于低活動性。圖2A的去塊單元141使用檢測到的塊位置信息來使檢測到的塊邊界的能量與同一頻帶的相鄰區(qū)域的能量均等化。所獲得的處理頻帶示出了在圖像信號中減少了的組塊偽影。一般來說，均等化只在高頻帶(細節(jié)信號)中完成，但不在最低頻帶(逼近信號)中完成。然而，有關塊邊界的信息可繼續(xù)傳遞到其它頻帶，即，從特定頻帶獲得的塊位置信息也能用于另一個頻帶的均等化。
圖5A至是指由去塊單元141執(zhí)行的去塊的細節(jié)。圖5A示出了在其中塊邊界已經(jīng)識別的由小波分解得到的高頻帶的圖像的部分。圖像部分分為沒有任何塊邊界的區(qū)域A、B、C、D和塊邊界已經(jīng)識別的圖像區(qū)域E、F、G、H、I。塊邊界可能已經(jīng)被放大以產(chǎn)生寬度大于一個像素的塊邊界區(qū)域E、F、G、H、I。區(qū)域E、I、F表示垂直塊邊界，區(qū)域G、I、H表示水平塊邊界，區(qū)域I表示塊區(qū)域交叉點。用于去塊的總體思路是使檢測到的塊邊界的能量與塊邊界的兩側的相鄰區(qū)域的能量均等化。圖5B示出了水平塊邊界410(即沿區(qū)域G、I、H的塊邊界)的去塊。去塊單元141使檢測到的塊邊界的能量與在塊邊界的兩側的參考區(qū)域的能量均等化。參考區(qū)域直接毗鄰塊邊界。根據(jù)一個實施例，參考區(qū)域排列在與檢測到的塊邊界垂直的方向上。例如，水平塊邊界410的像素G1的能量與區(qū)域A、C的相鄰像素的能量均等化，例如與垂直于塊邊界410的列412的像素并包括像素G1的能量均等化。根據(jù)一個實施例，去塊單元使用至少直接毗鄰的像素仏和仏的能量進行像素匕的均等化。在其它實施例中，在兩個相鄰區(qū)域A和C中的列412的兩個或兩個以上的直接毗鄰像素的能量被用于均等化。例如，在兩個相鄰的參考區(qū)域A和C中的所述列412的所有像素的能量被用于均等化。兩個相鄰的參考區(qū)·域可能對應于塊，例如8X8塊。根據(jù)另一個實施例，像素G1的能量的均等化是基于完整區(qū)域A和C以及塊邊界區(qū)域G的所有像素，其中A和C可對應于塊，例如8X8塊。均等化可考慮或也可不考慮采取更遠的區(qū)域，例如進一步的毗鄰塊。基于列或行的均等化可能支持保持正交的紋理。根據(jù)一個實施例，為了使檢測到的塊邊界的能量均等化，直接相鄰的區(qū)域、相鄰區(qū)域的部分或塊的能量的均值、中間值、最大值或最小值可以被使用。其它實施例依賴于它們與塊邊界的距離加權像素值，例如與距離成反比。圖5C示出了在垂直塊邊界420處的去塊的示例。一般來說，程序與就圖5C的水平塊邊界410所討論的是相同的?？紤]檢測到的塊邊界420的某個像素F3，去塊單元可基于鄰近像素、特別是在垂直于塊邊界420的方向上擴展的行422的像素的能量，使這個像素F3的能量均等化。例如，在一個實施例中，兩個直接毗鄰的像素C3和D3的能量被用于均等化。其它實施例可以提供考慮在區(qū)域C和D的行422的兩個或兩個以上(或全部)像素的能量來均等化。在另一個實施例中，去塊單元使用完整區(qū)域C和D的所有像素的能量來均等化。區(qū)域C和D可能對應于塊，例如8x8塊。圖示出了在區(qū)域I的塊邊界交叉點處的去塊的一個實施例。塊邊界交叉點的像素I5的能量可以通過使用來自相鄰區(qū)域A、B、C、D的像素的能量來均等化，例如基于基本上排列在所述塊邊界交叉點的平分線431、432的方向上的像素。例如，對于像素I5的能量的均等化，相鄰像素A5、B5, C5和D5的能量被使用。根據(jù)其它實施例，區(qū)域A、B、C、D的更多像素的能量被使用，例如最接近像素I5或邊界交叉點的像素的能量被使用，或者在另一個實施例中，那些區(qū)域或塊的所有像素或像素的能量被使用。在另一個實施例中，像素I5的能量通過使用同一行435和同一列436的像素的能量來均等化。由于這一個行435和這一個列436的像素還毗鄰塊邊界，一個實施例提供了先如上參照圖5B和5C解釋的那樣使它們均等化。在隨后的步驟中，像素I5的能量或塊邊界交叉點的所有像素的能量通過使用包括引入所述塊邊界交叉點的行和列的像素的垂直塊邊界和水平塊邊界的那些相鄰區(qū)域來被均等化。
根據(jù)另一個實施例，去塊單元使塊邊界交叉點的像素的能量與完整區(qū)域A、B、C、D的能量均等化，其中這些區(qū)域可能對應于塊(例如8x8塊)和/或完整區(qū)域E、F、G、H。圖6A至6E示出了說明由圖2A的去塊單元141執(zhí)行的去塊效果的示例性圖像。圖6A示出了垂直塊邊界清晰可見的圖像。在圖6B所示的圖像中，這些塊邊界是可見度差很多的，其中垂直塊邊界已如上所述通過去塊被平滑化了。圖6C示出了水平塊邊界清晰可見的圖像，其中水平塊邊界在圖6D所示的圖像中已經(jīng)通過去塊被平滑化了。圖6E示出了對角線細節(jié)清晰可見的圖像，即包括水平和垂直塊邊界和塊邊界交叉點，其中對角線細節(jié)在圖6F所示的圖像中已經(jīng)通過去塊被平滑化了。圖7A和7B示出了不同數(shù)量的像素行。區(qū)域B涉及塊邊界。區(qū)域B的尺寸涉及提供了在第一小波迭代中的兩個像素的塊邊界擴張的小波類型，例如Le Gall 5/3小波。進一步進行分解造成了更大的擴張，然后可考慮更大的塊邊界區(qū)域B。
在下面的解釋中，如在集合理論中公知的那樣，區(qū)域由大寫字母A表示，小寫字母a表示屬于對應的大寫字母的像素的一階絕對矩(或能量)。能量計算的三個不同的示例(有進一步的示例)是
權利要求
1.一種圖像處理單元(100),包括 小波分解單元(110)，所述小波分解單元(110)被配置為在描述圖像的輸入數(shù)據(jù)信號上應用小波分解，在其中生成至少一個逼近信號和至少一個細節(jié)信號； 不連續(xù)檢測單元(120)，所述不連續(xù)檢測單元(120)被配置為檢測從所述逼近和細節(jié)信號中選擇的至少一個評估信號中的不連續(xù)性，所述不連續(xù)性包括圖像邊緣和塊邊界；和 偽影減少單元(140)，所述偽影減少單元(140)被配置為通過使圖像區(qū)域的像素值均等化以獲得至少一個校正的逼近或細節(jié)信號來減少由邊緣引起的偽影，其中圖像區(qū)域由在至少一個所述逼近和細節(jié)信號中檢測到的不連續(xù)性識別。
2.根據(jù)權利要求I所述的圖像處理單元，還包括 小波合成單元(190)，所述小波合成單元(190)被配置為結合所述至少一個校正的逼近或細節(jié)信號以及進一步的由所述小波分解單元(110)輸出的逼近和/或細節(jié)信號以產(chǎn)生輸出數(shù)據(jù)信號。
3.根據(jù)權利要求I所述的圖像處理單元，其中 所述不連續(xù)檢測單元(120)包括塊檢測單元(121)，所述塊檢測單元(121)被配置為識別在至少一個評估信號的第一評估信號中的塊邊界，其中所述第一評估信號是細節(jié)信號，所述塊檢測單元(121)被配置為掃描高活動性區(qū)域之間的相關性。
4.根據(jù)權利要求3所述的圖像處理單元，其中 所述塊檢測單元(121)被配置為在與其它宏塊無關地在單個宏塊內(nèi)識別塊邊界。
5.根據(jù)權利要求3所述的圖像處理單元，其中 所述偽影減少單元(140)包括去塊單元(141)，所述去塊單元(141)被配置為使在檢測到的塊邊界處的能量與所述的細節(jié)和逼近信號中的至少一個的相鄰區(qū)域的能量均等化以得到去塊細節(jié)或逼近信號，其中在所述檢測到的塊邊界附近的偽影被減少。
6.根據(jù)權利要求5所述的圖像處理單元，其中 所述去塊單元(141)被配置為使在檢測到的塊邊界處的能量與被排列在與所述檢測到的塊邊界垂直的方向上的兩個直接相鄰的區(qū)域的能量均等化。
7.根據(jù)權利要求I所述的圖像處理單元，其中 所述不連續(xù)檢測單元(120)包括被配置為檢測在所述至少一個評估信號的第二評估信號中的圖像邊緣的圖像邊緣檢測單元(125)，所述圖像邊緣檢測單元(125)包括微分單元(126)和自適應閾值單元(127)，所述微分單元(126)被配置為從圖像來獲得梯度圖，所述自適應閾值單元(127)被配置為將與位置和活動有關的閾值應用在所述梯度圖上以獲得所述圖像的二進制邊緣圖。
8.根據(jù)權利要求7所述的圖像處理單元，其中 所述第二評估信號是逼近信號。
9.根據(jù)權利要求7所述的圖像處理單元，其中 所述圖像邊緣檢測單元(125)包括滯后單元(128)，所述滯后單元(128)被配置為通過以降低的閾值掃描與檢測到的邊緣毗鄰的所述梯度圖中的項來評估由所述閾值單元(127)輸出的所述二進制邊緣圖的邊緣。
10.根據(jù)權利要求7所述的圖像處理單元，其中 所述偽影減少單元(140)包括去振鈴單元(145)，所述去振鈴單元(145)被配置為接收所述二進制邊緣圖并將均等化能量的均等化方案應用在毗鄰邊緣的第一邊的第一子區(qū)域，所述邊緣是由所述邊緣圖使用排列在所述第一邊并毗鄰所述第一子區(qū)域的參考子區(qū)域來識別的。
11.根據(jù)權利要求10所述的圖像處理單元，其中 所述去振鈴單元(145)被配置為使用排列在所述第一邊、Btt鄰所述第一子區(qū)域和邊緣的參考子區(qū)域使能量在所述第一子區(qū)域內(nèi)均等化。
12.根據(jù)權利要求10所述的圖像處理單元，其中 所述子區(qū)域對應于8X8像素的塊。
13.根據(jù)權利要求I所述的圖像處理單元，其中 所述逼近和細節(jié)信號對應于小波包分解的頻帶。
14.根據(jù)權利要求I所述的圖像處理單元，其中 所述偽影減少單元(140)被配置為通過確定相應區(qū)域的像素值的絕對值之和、相應區(qū)域的像素值的平方值之和、或者加了或沒加相鄰區(qū)域的均值的連貫的像素對的絕對差異之和來確定區(qū)域的能量。
15.一種圖像處理單元的操作方法，所述方法包括 由小波分解方案將描述圖像的輸入數(shù)據(jù)信號分解成至少一個逼近信號和至少一個細節(jié)信號； 檢測從所述逼近和細節(jié)信號中選擇的至少一個評估信號中的不連續(xù)性；和 使由所述檢測到的不連續(xù)性識別的區(qū)域的能量與相鄰區(qū)域的能量均等化以獲得至少一個校正的逼近或細節(jié)信號。
16.根據(jù)權利要求15所述的方法，還包括 組合所述至少一個校正的逼近或細節(jié)信號以及進一步的由所述小波分解得到的逼近和/或細節(jié)信號以產(chǎn)生輸出數(shù)據(jù)信號。
17.根據(jù)權利要求15所述的方法，其中 所述逼近和細節(jié)信號對應于小波包分解的頻帶。
18.—種包括程序代碼裝置的計算機程序，用于當計算機程序在計算機上執(zhí)行時導致計算機執(zhí)行如權利要求15所述的方法步驟。
19.一種在其上存儲有指令的計算機可讀非臨時性介質(zhì)，當指令在計算機上執(zhí)行時導致計算機執(zhí)行如權利要求15所述的方法。
全文摘要
本發(fā)明公開了用于減少由邊緣引起的偽影的圖像處理裝置和方法。本發(fā)明涉及圖像處理。小波分解單元(110)在圖像或視頻數(shù)據(jù)信號上應用小波分解，并生成逼近和細節(jié)信號。不連續(xù)檢測單元(120)檢測從逼近和細節(jié)信號中選擇的評估信號中的比如塊邊界和/或圖像輪廓線的不連續(xù)性。偽影減少單元(140)通過使圖像區(qū)域的像素值均等化以獲得至少一個校正的逼近或細節(jié)信號來減少由邊緣引起的偽影，其中圖像區(qū)域由在一個或多個逼近和細節(jié)信號中檢測到的不連續(xù)性識別。校正的逼近和細節(jié)信號支持圖像數(shù)據(jù)信號的重建，其中重建的圖像顯示出減少的組塊與振鈴偽影。
文檔編號H04N7/26GK102957909SQ20121024628
公開日2013年3月6日 申請日期2012年7月13日 優(yōu)先權日2011年7月20日
發(fā)明者皮爾喬治奧·薩托爾, 法蘭斯科·米謝林 申請人:索尼公司