專利名稱：用于圖像幀的降噪方法和單元的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于當(dāng)前圖像幀中的降噪方法以及用于降低當(dāng)前圖像幀中的噪聲的降噪單元。本發(fā)明還涉及圖像捕獲裝置。本發(fā)明還涉及圖像顯示裝置以及計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
現(xiàn)今，在許多電子裝置和消費(fèi)者裝置中，使用成像技術(shù)以便提供信息或多媒體娛樂。為了確保所傳送的圖像信息的高質(zhì)量再現(xiàn)，通常使用降噪方法。常規(guī)技術(shù)會(huì)遇到運(yùn)動(dòng)偽影的問題，尤其是在低對(duì)比度的圖像區(qū)域中更是如此。在那些區(qū)域中，這些算法不能區(qū)別期望的圖像內(nèi)容和
噪聲干擾。結(jié)果，由時(shí)間(temporal)降噪濾波器造成運(yùn)動(dòng)偽影。噪聲水平越高，常規(guī)技術(shù)所遇到的問題越嚴(yán)重。
除了運(yùn)動(dòng)偽影之外，還可能面臨如何保持所討論圖像的自然印象(impression)的才兆戰(zhàn)。

發(fā)明內(nèi)容
本發(fā)明的目標(biāo)是避免這樣的問題。
該目標(biāo)是通過分別根據(jù)權(quán)利要求1、 27、 37、 38和39的方法、降噪單元、圖像捕獲裝置、圖像顯示裝置和計(jì)算機(jī)程序產(chǎn)品而實(shí)現(xiàn)的。進(jìn)一步的實(shí)施例被限定在從屬權(quán)利要求中。
本發(fā)明的進(jìn)一步細(xì)節(jié)將通過考慮附圖和隨后描述而變得顯而易見。


圖1示出了本發(fā)明的一個(gè)實(shí)施例的主要步驟，圖2示出了本發(fā)明的進(jìn)一步實(shí)施例的框圖，圖3示出了本發(fā)明的進(jìn)一步實(shí)施例的框圖，圖4示出了本發(fā)明的進(jìn)一步實(shí)施例的框圖，
圖5示出了用于確定像素的像素權(quán)重因子(weight factor)的實(shí)施
例，圖6示出了用于確定像素的像素權(quán)重因子的進(jìn)一步實(shí)施例，
圖7到ll是用于說明根據(jù)本發(fā)明實(shí)施例的堆積(piling)過程的圖
示，
圖12A、 12B示例性地示出了用于根據(jù)像素值確定像素閾值的曲線
圖，
圖13A-C關(guān)于不同取心(coring)結(jié)構(gòu)說明了本發(fā)明的實(shí)施例。
圖14A、 B是用于關(guān)于塊權(quán)重因子說明本發(fā)明實(shí)施例的示意框圖。
圖15是用于關(guān)于顏色權(quán)重因子說明本發(fā)明實(shí)施例的示意框圖。
圖16是用于關(guān)于累積權(quán)重因子說明本發(fā)明實(shí)施例的示意圖。
圖17A、 17B示出了用于確定堆積值的實(shí)施例的框圖。
圖18示出了根據(jù)本發(fā)明實(shí)施例的降噪單元的框圖。
圖19A-19D是用于關(guān)于所謂的噪聲掩蓋(noise concealment )的子
過程說明本發(fā)明實(shí)施例的示意框圖，
圖20是用于關(guān)于其整體結(jié)構(gòu)進(jìn)一步說明本發(fā)明實(shí)施例的示意框圖。圖21是用于在圖像處理方法和系統(tǒng)的意義上說明本發(fā)明實(shí)施例的
更詳細(xì)示意框圖。
圖22A、B是用于關(guān)于預(yù)處理方面說明本發(fā)明實(shí)施例的進(jìn)一步細(xì)節(jié)的示意框圖。
具體實(shí)施例方式
下面描述本發(fā)明的實(shí)施例。重要的是注意，下面所有描述的實(shí)施例以及其性質(zhì)和技術(shù)特征可以任何方式進(jìn)行組合，即不存在某些描述的實(shí)施例、性質(zhì)和技術(shù)特征不能與其他實(shí)施例、性質(zhì)和技術(shù)特征進(jìn)行組合的限制。
在圖1中，在步驟SIOO,將當(dāng)前圖像幀內(nèi)的像素的當(dāng)前像素值與至少一個(gè)相鄰圖像幀中的像素的對(duì)應(yīng)像素值進(jìn)行比較，所述至少一個(gè)相鄰圖像幀在圖像幀的序列或集合中在時(shí)域上與當(dāng)前圖像幀相鄰。所述圖像幀被布置成序列或集合并且可能被作為圖像捕獲裝置的用于靜止圖像的數(shù)字照相機(jī)或攝像機(jī)獲取。圖像幀還可能被稱為"圖像"或"幀"。相鄰圖像幀是在該序列中相對(duì)于當(dāng)前圖像幀的先前圖像幀或接下來(nex t )的圖像幀。在該序列中在當(dāng)前圖像幀之前或當(dāng)前圖像幀之后的、但不必是該圖像幀序列或集合中的直接鄰居的圖像幀也可能被稱為"相
8鄰"圖像幀。
像素的對(duì)應(yīng)像素值被視為是具有與該像素的當(dāng)前像素值相同類型信息的像素值，例如對(duì)應(yīng)像素值以及當(dāng)前像素值都可能表示亮度或色度或者另一用于描述相同測量類別的值。
在步驟S102,確定當(dāng)前像素值和對(duì)應(yīng)像素值之間的像素差。更進(jìn)一步，檢查該像素差是否低于像素閾值。所述像素閾值取決于對(duì)應(yīng)像素值和/或當(dāng)前像素值。
在步驟S104,根據(jù)當(dāng)前像素值和對(duì)應(yīng)像素值確定堆積值。
措辭"堆積值(piled-up value)"指的是根據(jù)當(dāng)前像素值和對(duì)應(yīng)像素值計(jì)算的值，該值可能是例如當(dāng)前像素值和對(duì)應(yīng)像素值的平均值或加權(quán)平均值或加權(quán)中值。還可能使用其他統(tǒng)計(jì)算符，其中當(dāng)前像素值和對(duì)應(yīng)像素值兩者的影響都存在。
換言之，當(dāng)來自不同圖像幀的像素值差異不太大時(shí)，對(duì)像素值進(jìn)行平均。利用這種方法，能夠避免因連續(xù)圖像幀之間的運(yùn)動(dòng)所致的偽影。如果對(duì)象在圖像幀的區(qū)域內(nèi)移動(dòng)，則對(duì)象區(qū)中的連續(xù)圖像幀的像素值會(huì)顯著不同。在這種情況下，如果應(yīng)用堆積值操作或平均值操作，則該運(yùn)動(dòng)會(huì)極大地影響堆積值操作。這還可能導(dǎo)致移動(dòng)對(duì)象在最終圖像中不再可見的后果，原因在于不移動(dòng)的背景會(huì)對(duì)堆積值具有強(qiáng)得多的影響。如果在用于堆積值操作的某個(gè)時(shí)間間隔期間，例如移動(dòng)對(duì)象在該像素處僅存在該時(shí)間間隔的十分之 一 ，則背景的像素值可能用于最終堆積值的9/10而移動(dòng)對(duì)象的像素值僅用于最終平均像素值的1/10。在這個(gè)實(shí)施例中，在這種情況下將不存在堆積值計(jì)算，使得具有移動(dòng)對(duì)象的當(dāng)前圖像將保持與其最初被拍攝的一樣。所述闊值可以被存儲(chǔ)在查找表(LUT)中。堆積值的確定在本說明書中也被稱為"堆積(piling)"。
用于區(qū)分圖像內(nèi)容與噪聲的閾值可以對(duì)應(yīng)于圖像噪聲水平(noiselevel)。因而，當(dāng)選擇閾值時(shí)可以把噪聲統(tǒng)計(jì)量考慮在內(nèi)。例如，圖像噪聲可能不是高斯分布的，即噪聲方差或其他類似統(tǒng)計(jì)量不是恒定的而是泊松分布的，即其方差與圖像像素值成比例。因而，可能自適應(yīng)地選擇閾值。然而，閾值還可能被選擇為對(duì)于所有像素值是恒定的，在TV傳輸中所出現(xiàn)的才莫擬高斯白噪聲(Analog WhiteGaussian Noise, AWGN)的情況下尤其如此。
在進(jìn)一步的實(shí)施例中，確定像素權(quán)重因子，其取決于像素差；其中在確定堆積值的步驟中，像素權(quán)重因子被用來減小對(duì)應(yīng)像素值對(duì)堆積值的影響。在本說明書內(nèi)，"像素權(quán)重因子"還被稱為"來自像素的堆積因子"。
所謂的取心技術(shù)有時(shí)候被用來分離噪聲與圖像內(nèi)容。輸入通常是差信號(hào)，將該輸入與閾值進(jìn)行比較。根據(jù)比較結(jié)果，取心過程的輸出將支
持(in favour of)噪聲或者圖像內(nèi)容。邏輯或硬取心是取心技術(shù)的其中一種變型。其實(shí)施簡單。其輸出具有兩種狀態(tài)真(l)或假(O)。軟取心或模糊取心是取心技術(shù)的另一種變型。其輸出具有在真(1)和假(G)之間的過渡狀態(tài)以致通常能夠很好地避免脈沖噪聲。此外，由于過渡狀態(tài)，對(duì)閾值的要求通常不像硬取心技術(shù)那樣苛刻。存在其他種類的也能夠應(yīng)用于相同目的的取心技術(shù)。
取心技術(shù)可能還被用來識(shí)別失效的運(yùn)動(dòng)補(bǔ)償。
在進(jìn)一步的實(shí)施例中，把當(dāng)前圖像幀和該至少一個(gè)相鄰圖像幀劃分成多個(gè)塊；基于包括該像素的相應(yīng)塊的當(dāng)前像素值確定當(dāng)前塊堆積值；基于所述相應(yīng)塊的對(duì)應(yīng)像素值確定對(duì)應(yīng)塊堆積值；將當(dāng)前塊堆積值與對(duì)應(yīng)塊堆積值進(jìn)行比較；并且如果當(dāng)前塊堆積值和對(duì)應(yīng)塊堆積值之間的塊
差低于預(yù)定塊閾值，則確定該堆積值。通過這個(gè)實(shí)施例，可以有效地降低圖像幀內(nèi)的脈沖噪聲，原因在于脈沖噪聲不會(huì)導(dǎo)致大的塊差。
對(duì)應(yīng)塊堆積值被視為是具有與當(dāng)前塊堆積值相同類型信息的塊堆積值，例如對(duì)應(yīng)塊堆積值以及當(dāng)前塊堆積值都可能表示亮度或色度或者另一用于描述相同測量類別的值。塊堆積值可能是塊平均值或塊中值或者另 一描述塊中像素值的平均的統(tǒng)計(jì)值。
逐塊處理與逐像素處理相比通常對(duì)噪聲不那么敏感，因?yàn)樗鼉A向于評(píng)估所討論的兩個(gè)塊的所有像素，例如對(duì)兩個(gè)塊的所有像素的絕對(duì)差一起進(jìn)行相加。同時(shí)，降低了單個(gè)像素的影響。
該塊可以從圖像的左上部移到右下部。為了避免塊偽影(blockingartefact),可以疊加這些塊。為了節(jié)省計(jì)算負(fù)荷，可以^吏用中間運(yùn)動(dòng)估計(jì)結(jié)果，例如匹配準(zhǔn)則的SAD (SAD-絕對(duì)差之和)(若適用的話)。優(yōu)選的是根據(jù)通過空間降噪濾波器所預(yù)先濾波的圖像來計(jì)算SAD。代替SAD，還能夠應(yīng)用其他中間運(yùn)動(dòng)估計(jì)結(jié)果，例如MSE (均方誤差)或互相關(guān)系數(shù)。
如果運(yùn)動(dòng)估計(jì)沒有被應(yīng)用于幀堆積系統(tǒng)，或者中間運(yùn)動(dòng)估計(jì)結(jié)果由于與數(shù)據(jù)傳輸有關(guān)的ASIC設(shè)計(jì)問題而不便于從前端傳輸?shù)胶蠖?，則能夠在單獨(dú)的步驟中計(jì)算SAD值。即，根據(jù)輸入數(shù)據(jù)或其他類似度量來直接計(jì)算SAD。
在進(jìn)一步的實(shí)施例中，根據(jù)塊差來確定塊權(quán)重因子；其中在確定堆積值的步驟中，塊權(quán)重因子被用來減小對(duì)應(yīng)像素值對(duì)堆積值的影響。該塊權(quán)重因子在本說明書內(nèi)也被稱為來自塊的堆積因子。塊堆積值可能是該塊的像素的像素值的絕對(duì)差之和。如同逐像素處理，逐塊處理結(jié)果還經(jīng)過取心技術(shù)。
在進(jìn)一步的實(shí)施例中，當(dāng)前像素值和對(duì)應(yīng)像素值描述像素的亮度。在進(jìn)一步的實(shí)施例中，當(dāng)前像素值和對(duì)應(yīng)像素值描述像素的色度。在進(jìn)一步的實(shí)施例中，為每個(gè)像素提供多個(gè)像素值，所述多個(gè)像素值描述像素在色空間模型中的色值，其中如果像素的該多個(gè)像素值的每個(gè)像素值之間的色差低于相應(yīng)閾值，則確定該多個(gè)像素值的每個(gè)像素值的堆積值。
像素的對(duì)應(yīng)色值被視為是具有與該像素的當(dāng)前色值相同類型信息的色值，例如對(duì)應(yīng)色值以及當(dāng)前色值都可能表示特殊的測量類別，例如HSV(色調(diào)、飽和度、值)的色調(diào)值或飽和度值或者YUV色空間的Cb-或Cr-色度值或者另 一用于描述相同測量類別的值。
在進(jìn)一步的實(shí)施例中，根據(jù)色差來確定顏色權(quán)重因子；其中在確定堆積值的步驟中，顏色權(quán)重因子被用來減小對(duì)應(yīng)像素值對(duì)堆積值的影響。該顏色權(quán)重因子在本說明書內(nèi)也^R稱為來自顏色的堆積因子。
可以利用顏色信息來幫助區(qū)別期望的圖像內(nèi)容和噪聲干擾。為了這個(gè)目的，能夠利用顏色恒常性原理或色差度量，例如CIEAE'簡寫為dE',即在由CIE Lab/Luv坐標(biāo)表示的兩個(gè)顏色之間的歐幾里德距離或直線距離[注意CIE-國際照明委員會(huì)]?？梢詫?duì)顏色分量進(jìn)行強(qiáng)的濾波以降低顏色噪聲的影響，其中利用對(duì)人類視覺系統(tǒng)的知識(shí)。區(qū)別決策是借助于對(duì)人類視覺系統(tǒng)的知識(shí)而做出的，并且與圖像素材無關(guān)。根據(jù)所討論的兩個(gè)顏色像素(color pixel)計(jì)算的"色差，，與"閾值"之間的比較結(jié)果被應(yīng)用來區(qū)別期望的圖像內(nèi)容和噪聲干擾。
在進(jìn)一步的實(shí)施例中，色空間(例如YUV色空間)的亮度值、第一色度值和笫二色度值被用作所述多個(gè)像素值的相應(yīng)像素值。通過使用YCba色空間，與在RGB和HSV空間中相比能夠更有效地降低噪聲。因而，"色差"是從YCbCr色空間計(jì)算的。
在進(jìn)一步的實(shí)施例中，基于像素值之差、基于塊堆積值之差以及基 于色值之差確定累積權(quán)重因子，其中在確定堆積值的步驟中，累積權(quán)重 因子被用來減小對(duì)應(yīng)像素值對(duì)堆積值的影響。累積權(quán)重因子在本說明書 內(nèi)也被稱為"總堆積因子"。
在進(jìn)一步的實(shí)施例中，如果顏色權(quán)重值的分辨率低于像素權(quán)重值的 分辨率，則顏色權(quán)重因子被上采樣至像素權(quán)重因子的分辨率。"上采樣"
必須處理不同的輸入圖像格式，例如4:2:2。根據(jù)輸入圖像格式，累積 權(quán)重因子例如就U分量和V分量進(jìn)行下采樣，例如在4: 2: 2格式的情況 下按2進(jìn)行下采樣(dow雄mple by 2 )。
在進(jìn) 一 步的實(shí)施例中，不移動(dòng)對(duì)象的圖像幀的前序列 (pre-sequence)被存儲(chǔ)，通過對(duì)圖像幀的前序列的一個(gè)像素的像素值 進(jìn)行平均而生成降噪圖像，通過比較圖像幀的前序列的像素的像素值來 確定像素值的方差，并且根據(jù)該方差確定像素閾值。利用這個(gè)實(shí)施例， 確定簡單可靠的像素閾值，該閾值取決于像素值。
在進(jìn)一步的實(shí)施例中，估計(jì)該序列的圖像幀之間的運(yùn)動(dòng)并且補(bǔ)償該 運(yùn)動(dòng)以便空間對(duì)準(zhǔn)該序列中的連續(xù)圖像，由于像素調(diào)整到圖像中的對(duì) 象，這導(dǎo)致更好的降噪。這可能通過利用關(guān)于當(dāng)前幀的運(yùn)動(dòng)內(nèi)插/傳播 來執(zhí)行。在另一種情形下，可能關(guān)于當(dāng)前幀在該序列中的每個(gè)幀之間估 計(jì)該運(yùn)動(dòng)。通過使用這個(gè)直接估計(jì)，運(yùn)動(dòng)補(bǔ)償?shù)馁|(zhì)量可能得以提高，并 且因此降噪圖像的整體質(zhì)量也可能得以提高。這種情形例如可以應(yīng)用于 軟件實(shí)施例中，其中用戶可以選擇該序列中的任何幀進(jìn)行降噪并且一旦 完成了此就能夠應(yīng)用空間對(duì)準(zhǔn)。對(duì)于硬件實(shí)施方式而言，由于諸如幀存 儲(chǔ)器等之類的硬件限制，第一情形(即空間對(duì)準(zhǔn)連續(xù)圖像)可能是可應(yīng) 用的。
在進(jìn)一步的實(shí)施例中，在比較當(dāng)前像素值和對(duì)應(yīng)像素值的步驟之前， 對(duì)像素值進(jìn)行空間濾波。
在進(jìn)一步的實(shí)施例中，確定圖像幀的像素的堆積值的差值，并且如 果該差值低于差異閾值，則在圖像幀的相鄰像素的堆積值之間執(zhí)行空間 降噪。該差值可能是方差值?？臻g降噪在本說明書中也被稱為"噪聲掩 蓋(noise concealment)"。噪聲掩蓋意指對(duì)非堆積或4支少堆積區(qū)域 的空間降噪。空間降噪能夠由任何邊緣保持濾波器來實(shí)現(xiàn)。然而，已知
12的空間降噪方法會(huì)造成圖像銳度損失。期望的是掩蓋噪聲并且使圖像銳 度損失保持盡可能小。
通常，僅在高頻區(qū)域中遇到圖像銳度損失問題。因此，可能檢測高 頻信號(hào)區(qū)域。
一種方法是檢查方差值或本領(lǐng)域技術(shù)人員已知的類似度 量。如果方差值很大，則斷定所討論的圖像區(qū)域含有高頻信號(hào)。否則， 所討論的圖像區(qū)域僅含有低頻信號(hào)。
能夠在重疊或非重疊窗口中計(jì)算該方差或類似度量。為了提高高頻
信號(hào)區(qū)域檢測的可靠性，能夠根據(jù)按比例縮小(down-scaled)的圖像 計(jì)算方差或類似度量。
空間降噪可以僅;故應(yīng)用于低頻區(qū)域。在高頻信號(hào)的區(qū)域中，不應(yīng)用 或應(yīng)用較少的空間降噪，這起到銳度保持乃至增強(qiáng)的作用。
在進(jìn)一步的實(shí)施例中，空間降噪量是基于差值的。
在進(jìn)一步的實(shí)施例中，確定當(dāng)前圖像幀中的紋理區(qū)域和均勻區(qū)域； 并且紋理區(qū)域的累積權(quán)重因子是基于兩個(gè)差(即像素差和塊差)的。
在進(jìn)一步的實(shí)施例中，確定當(dāng)前圖像幀中的紋理區(qū)域和均勻區(qū)域并 且均勻區(qū)域的累積權(quán)重因子是基于像素差、塊差和色差的。
可能造成顏色才莫式干4尤(color pattern disturbance )。這才羊的l貞
色模式干擾通常僅在平坦圖像區(qū)域中才明顯。為了糾正這個(gè)問題，可以 識(shí)別均勻區(qū)域或紋理區(qū)域。從像素差和塊差導(dǎo)出均勻區(qū)域的堆積因子， 而從像素差、SAD和色度差導(dǎo)出紋理區(qū)域的堆積因子。
在進(jìn)一步的實(shí)施例中，存儲(chǔ)該序列的多個(gè)圖像幀的權(quán)重因子并且確 定堆積值的步驟Sl04是基于該多個(gè)圖像幀的像素值和權(quán)重因子。
在進(jìn)一步的實(shí)施例中，存儲(chǔ)在前圖像幀的堆積值，并且確定當(dāng)前圖 像幀的堆積值的步驟S104是基于在前圖像幀的堆積值。因此不必存儲(chǔ) 整個(gè)參考幀使得能夠降低存儲(chǔ)器要求。
在進(jìn)一步的實(shí)施例中，在比較當(dāng)前像素值和對(duì)應(yīng)像素值的步驟之前，
生成具有參照像素值的參考幀，該參考幀被視為該序列的第 一圖像幀。 在進(jìn) 一 步的實(shí)施例中，確定堆積值的步驟S1 0 4是基于參考幀的參考
像素值。所謂的"遞歸方法"不要求保存所有幀，這就導(dǎo)致低存儲(chǔ)器要 求。對(duì)于遞歸方法，先前堆積結(jié)果凈皮保存并且將^皮應(yīng)用于與當(dāng)前幀的幀 堆積。遞歸幀堆積方法具有兩種變型。開始時(shí)，參考幀被用來初始化先 前堆積結(jié)果。在進(jìn)一 步的實(shí)施例中，像素閾值基于參考幀的參考像素值。 在進(jìn) 一 步的實(shí)施例中，像素閾值基于在前圖像幀的堆積值。
在圖2中，描繪了用于降低當(dāng)前圖像幀中的噪聲的降噪單元200。 該降噪單元包括像素比較器202,被配置成比較當(dāng)前圖像幀內(nèi)的像素 的當(dāng)前像素值與至少 一 個(gè)相鄰圖像幀中的該像素的對(duì)應(yīng)像素值；以及處 理器204,被配置成如果當(dāng)前像素值和對(duì)應(yīng)像素值之間的像素差低于像 素閾值則確定當(dāng)前像素值和對(duì)應(yīng)像素值的堆積值，其中像素閾值取決于 對(duì)應(yīng)像素值和/或當(dāng)前像素值。
降噪單元200可能被實(shí)現(xiàn)為數(shù)字或模擬電路。換言之，當(dāng)來自不同 圖像幀的像素值相差不太大時(shí)，如關(guān)于圖1已經(jīng)討論的，對(duì)像素值進(jìn)行 平均。能夠避免因連續(xù)圖像幀之間的運(yùn)動(dòng)引起的偽影。
根據(jù)進(jìn)一步的實(shí)施例，像素比較器202被進(jìn)一步配置成根據(jù)像素差 來確定像素權(quán)重因子；并且處理器204被進(jìn)一步配置成基于像素權(quán)重因 子來確定堆積值以便減小對(duì)應(yīng)像素值對(duì)堆積值的影響。
根據(jù)進(jìn)一步的實(shí)施例，降噪單元200包括塊比較器，該塊比較器被 配置成將當(dāng)前圖像幀和該至少一個(gè)相鄰圖像幀劃分成多個(gè)塊、并且根據(jù) 包括該像素的當(dāng)前圖像幀的相應(yīng)塊的當(dāng)前像素值確定當(dāng)前塊堆積值以 及根據(jù)包括該像素的相鄰圖像幀的該相應(yīng)塊的對(duì)應(yīng)像素值確定對(duì)應(yīng)塊 堆積值、并且比較當(dāng)前塊堆積值和對(duì)應(yīng)塊堆積值。
根據(jù)進(jìn)一步的實(shí)施例，降噪單元200可以包括塊比較器，該塊比較 器被配置成接收當(dāng)前圖像幀的當(dāng)前塊堆積值、接收相鄰圖像幀的對(duì)應(yīng)塊 堆積值并且被進(jìn)一步配置成比較當(dāng)前塊堆積值和對(duì)應(yīng)塊堆積值。
根據(jù)進(jìn)一步的實(shí)施例，塊比較器被進(jìn)一步配置成根據(jù)當(dāng)前塊堆積值 和對(duì)應(yīng)塊堆積值之間的塊差來確定塊權(quán)重因子；并且處理器被進(jìn)一步配 置成基于塊權(quán)重因子來確定堆積值以便減小對(duì)應(yīng)像素值對(duì)堆積值的影 響。
根據(jù)進(jìn)一步的實(shí)施例，降噪單元200包括顏色比較器，該顏色比較 器被配置成將當(dāng)前圖像幀內(nèi)的像素的當(dāng)前色值和至少一個(gè)相鄰圖像幀 中的該像素的對(duì)應(yīng)色值進(jìn)行比較；其中該處理器被進(jìn)一步配置成如果當(dāng) 前色值和對(duì)應(yīng)色值之間的色差低于顏色閾值則確定堆積值。
根據(jù)進(jìn)一步的實(shí)施例，顏色比較器被進(jìn)一步配置成根據(jù)當(dāng)前色值和 對(duì)應(yīng)色值之間的色差來確定顏色權(quán)重因子；并且該處理器被進(jìn)一步配置成基于顏色權(quán)重因子來確定堆積值以便減小對(duì)應(yīng)像素值對(duì)堆積值的影 響。
根據(jù)進(jìn)一步的實(shí)施例，降噪單元200包括查找表，該查找表被配置 成存儲(chǔ)與像素值相關(guān)的閾值。
根據(jù)進(jìn)一步的實(shí)施例，降噪單元20G包括運(yùn)動(dòng)估計(jì)及運(yùn)動(dòng)補(bǔ)償機(jī)構(gòu)。
根據(jù)進(jìn)一步的實(shí)施例，降噪單元200包括噪聲掩蓋機(jī)構(gòu)，該噪聲掩 蓋機(jī)構(gòu)被配置成確定圖像幀的像素的堆積值的差值并且如果該差值低 于差異閾值則執(zhí)行圖像幀的相鄰像素的堆積值之間的空間降噪。
在圖3中，描繪了圖像顯示裝置300，例如電視機(jī)或監(jiān)視器，其包 括顯示器302和如上所描述的降噪單元200。例如在視頻游戲應(yīng)用中或 在顯示影片中，圖像顯示裝置300能夠使用降噪單元的降噪來顯示具有 較少噪聲的圖像。
在圖4中，描繪了圖像捕獲裝置400,例如視頻圖像捕獲裝置，其 包括被配置成生成圖像幀序列的光學(xué)設(shè)備402以及如上所描述的降噪單 元200。圖像捕獲裝置400可以使用降噪單元200的降噪來在存儲(chǔ)芯片 404上存儲(chǔ)降噪圖像。
根據(jù)進(jìn)一步的實(shí)施例，提供包括程序代碼的計(jì)算機(jī)程序產(chǎn)品，所述 程序代碼當(dāng)被加載到處理器內(nèi)時(shí)被配置成執(zhí)行上面描述的方法。
圖5和6示出了逐像素處理。"像素1"和"像素2"是來自待堆積 的兩個(gè)幀的兩個(gè)像素。將它們差的絕對(duì)值與閾值/LUT值進(jìn)行比較。然后， 使比較結(jié)果經(jīng)受取心處理500。這意味著對(duì)參考幀的每個(gè)像素做出模糊 決策。使用選定的色空間YUV (可選地可以使用HSV色空間[色調(diào)、飽和 度、值]的V分量)，基于像素的決策是基于YUV色空間的亮度通道的。 亮度通道代表圖像集合中所描繪的場景的黑到白(black-to-white)表 示(典型地為8位；覆蓋從0到255的值范圍)。由于大多數(shù)信號(hào)信息 被存儲(chǔ)在Y通道中(色度通道含有低范圍的值)的事實(shí)；將使用這個(gè)數(shù) 據(jù)來解釋實(shí)際的處理。
圖6示出了兩個(gè)圖像(兩者均來自圖像集合 一個(gè)是參考圖像(例 如圖像Yn被視為參考圖像))的基于像素的處理。
假設(shè)運(yùn)動(dòng)補(bǔ)償獲得了 "完美結(jié)果"(整體和局部運(yùn)動(dòng)都被完美補(bǔ)償)， 則在這種情況下兩個(gè)信號(hào)被完全對(duì)準(zhǔn)。圖7描繪了在'通過運(yùn)動(dòng)估計(jì)和 補(bǔ)償而完全對(duì)準(zhǔn)，的假設(shè)下的這種情況。
15兩者的差
分信號(hào)的絕對(duì)值(參見圖6;信號(hào)III),能夠假設(shè)留在信號(hào)III中的 僅有信號(hào)分量代表噪聲。差分信號(hào)示于圖8中。
使用基于對(duì)應(yīng)信號(hào)處的亮度值的自適應(yīng)閾值(查找表；LUT)。降噪 能力的總性能很大程度取決于這個(gè)LUT的精確設(shè)計(jì)。如圖6中可見，將 被用來選擇與亮度相關(guān)的閾值的亮度值是參考幀的空間濾波(降噪)版 本。這樣做的目的是為了對(duì)LUT被應(yīng)用在其上的亮度值進(jìn)行空間平滑。 通過應(yīng)用這個(gè)濾波器，能夠避免LUT閾值的局部不連續(xù)性。
如果在圖9中取決于亮度值的閾值被應(yīng)用于剩余噪聲分量，則所有 這些值應(yīng)當(dāng)小于自適應(yīng)閾值。(根據(jù)亮度值的)自適應(yīng)閾值也示于圖9 中。
可以看到，與亮度值無關(guān)，剩余噪聲分量小于這些閾值。這意味著 所有那些像素可以被完全'堆積，。在這種情況下，所有那些像素的基 于像素的決策準(zhǔn)則為1 (權(quán)重=1 )。在根據(jù)圖6所描繪的信號(hào)路徑的正 確處理之后，將從噪聲分量中減去與亮度相關(guān)的閾值。由于所有值都低 于自適應(yīng)閾值，所以這個(gè)減去的結(jié)果是負(fù)的。即使它未示于圖9中，但 是低于零的那些逐像素結(jié)果(減去之后為負(fù)值)將被截取(clip)到零 (并且因此在應(yīng)用'軟取心，塊之后這個(gè)基于像素的決策的最終決策值仍 將為1，即"全堆積，，那些像素)。
在基于像素的準(zhǔn)則的第 一示例中已經(jīng)假設(shè)待堆積的這兩個(gè)圖像是完 全對(duì)準(zhǔn)的(任何整體和/或局部的運(yùn)動(dòng)都已被補(bǔ)償)。第二示例示例性 示出了如果這兩個(gè)圖像是'未完全對(duì)準(zhǔn)的，(例如由于上面提及的原因； 例如不正確的運(yùn)動(dòng)估計(jì)和補(bǔ)償或者根本沒有補(bǔ)償)時(shí)基于像素的準(zhǔn)則的 性能。
對(duì)于第二示例，圖10B示出'未對(duì)準(zhǔn)圖像，。由于閾值取決于經(jīng)過 空間濾波的參考幀的亮度值的事實(shí)，它們具有已經(jīng)用于圖IOA所示的第 一示例的相同值。
通過應(yīng)用圖6所描繪的信號(hào)路徑，圖11中能夠看到差分信號(hào)的絕對(duì)值。
示出了由于非對(duì)準(zhǔn)信號(hào)(在一些像素位置上的一些非對(duì)準(zhǔn)信號(hào))， 差分值高于LUT閾值(由偏移e表示；還參見圖6,信號(hào)IV)。這進(jìn)而 指示空間對(duì)準(zhǔn)不足并且這些位置和像素值應(yīng)小心處理。如果'全堆積，那些像素(兩個(gè)亮度值的加權(quán)平均)，則效果是邊緣變得模糊和/或運(yùn) 動(dòng)偽影可能出現(xiàn)在結(jié)果中。
使用硬取心技術(shù)，逐像素的決策將不堆積那些像素(這將由權(quán)重=0
表示)。但如圖6中可見，存在軟取心塊600。軟取心負(fù)責(zé)將剩余差分 信號(hào)s (還參見圖6,信號(hào)IV)映射到例如從O到1的整個(gè)范圍。
為了合并已經(jīng)用來獲得( 一個(gè)或多個(gè))圖像的傳感器和/或人類視覺 系統(tǒng)(HVS)的噪聲敏感度的一些先驗(yàn)知識(shí)，與值相關(guān)的閾值可以被建 模/設(shè)計(jì)/指定以便合并這個(gè)附加信息，其效果是就可靠區(qū)分噪聲和期望 的信號(hào)而言決策會(huì)更加精確、魯棒得多。
可以應(yīng)用以下步驟從而獲得與強(qiáng)度相關(guān)的先驗(yàn)方差。穩(wěn)定光源被用 于成像。選擇成像對(duì)象以使得所得到的圖像能夠代表整個(gè)值范圍，例如 對(duì)于8位數(shù)據(jù)范圍而言該值從0到255。數(shù)字圖像捕獲裝置可以被安裝 到三腳架上并且拍攝大量的無運(yùn)動(dòng)圖像，例如20幅以上圖像。每個(gè)單 獨(dú)圖像可能表現(xiàn)出某種嚴(yán)重噪聲。這些單獨(dú)圖像被平均以獲得其噪聲水 平可忽略的參考圖像。參考圖像可以用于兩個(gè)目的作為用于噪聲方差 估計(jì)的無噪聲圖像以及其像素值被用作與值相關(guān)的閾值的索引 (index)。利用這種方法，像素值閾值可能關(guān)于用于對(duì)應(yīng)系統(tǒng)的實(shí)際 圖像捕獲裝置(例如傳感器特性)進(jìn)行適配。
用參考圖像和噪聲圖像估計(jì)噪聲方差(或其它統(tǒng)計(jì)結(jié)果，像例如絕 對(duì)差的標(biāo)準(zhǔn)偏差)。在大圖像尺寸的情況下，存在許多具有相同像素值 的像素。對(duì)于每個(gè)像素值，計(jì)算其噪聲水平。對(duì)于8位數(shù)據(jù)范圍，總共 生成256個(gè)噪聲水平(從0到255 )。在圖12A中，描繪了對(duì)應(yīng)曲線圖。
在下一步驟，與數(shù)據(jù)值相關(guān)的曲線(也稱作查找表LUT)通過使用 低通濾波器(優(yōu)選地為遞歸濾波器)進(jìn)行平滑。平滑后的方差曲線示于 圖12B中。還可能使用與數(shù)據(jù)值相關(guān)的曲線而無需低通濾波。
由于遞歸濾波器的性質(zhì)，在數(shù)據(jù)范圍邊界處的方差值缺失了 (數(shù)據(jù) 范圍的上邊界)。即使低通濾波器不造成缺失值，在數(shù)據(jù)范圍邊界處的 方差值仍可能較小，因?yàn)榕c其它種類的像素相比存在更少的極暗或極亮 像素。例如，標(biāo)準(zhǔn)電視信號(hào)的像素值從16變化到235。為了在數(shù)據(jù)范圍 的邊界區(qū)處獲得可靠的方差值，能夠使用外插技術(shù)來生成這些值。
在應(yīng)用外插技術(shù)之后，獲得整個(gè)數(shù)據(jù)范圍的與數(shù)據(jù)值相關(guān)的閾值。 也能夠使用其它噪聲水平估計(jì)方法和后處理技術(shù)。圖13A到13C示出了如何可以應(yīng)用映射的一些示例性特性曲線。通 過在應(yīng)用自適應(yīng)閾值后使用軟取心，能夠避免二元決策'全堆積，和'不 堆積'之間的突變，這尤其就降噪能力而言產(chǎn)生結(jié)果的更加平滑的總印象。
在利用以下方程應(yīng)用軟取心之后，能夠總結(jié)基于像素的處理的最終 決策，而軟取心曲線的實(shí)際形狀由殘差s的函數(shù)(f (s))根據(jù)比率的定 義方程(1 )來建模
"0 :=1
(1)
在圖14A和14B中描繪逐塊處理的實(shí)施例。逐塊處理與逐^象素處理 相比通常對(duì)噪聲不那么敏感，因?yàn)樗鼉A向于評(píng)估所討論的兩個(gè)塊的所有 像素，例如對(duì)兩個(gè)塊的所有像素的差一起進(jìn)行相加。同時(shí)，降低了單個(gè) 像素的影響。
該塊通常從圖像的左上部移到右下部。為了避免塊偽影，應(yīng)當(dāng)疊加 這些塊(例如滑動(dòng)窗口)。為了節(jié)省計(jì)算負(fù)荷，可以使用中間運(yùn)動(dòng)估計(jì) 結(jié)果，例如匹配準(zhǔn)則的SAD (SAD—色對(duì)差之和)(若適用的話)，并且 運(yùn)動(dòng)估計(jì)已經(jīng)成為預(yù)處理塊的一部分。優(yōu)選的是根據(jù)由空間降噪濾波器 所預(yù)先濾波的圖像來計(jì)算SAD,因?yàn)镾AD對(duì)噪聲干擾很敏感。代替SAD, 還能夠應(yīng)用其他中間運(yùn)動(dòng)估計(jì)結(jié)果，例如MSE (均方誤差)或互相關(guān)系 數(shù)或者兩個(gè)塊之間的DC偏移。
如果沒有運(yùn)動(dòng)估計(jì)被作為預(yù)處理步驟應(yīng)用于幀堆積系統(tǒng)，或者中間 運(yùn)動(dòng)估計(jì)結(jié)果由于與數(shù)據(jù)傳輸有關(guān)的ASIC設(shè)計(jì)問題而不便于從前端傳 輸?shù)胶蠖耍瑒t能夠在單獨(dú)的步驟中計(jì)算SAD值。即，根據(jù)輸入數(shù)據(jù)或本 領(lǐng)域技術(shù)人員已知的其他類似度量來直接計(jì)算SAD。
如同逐像素處理，逐塊處理結(jié)果也經(jīng)受取心技術(shù)，如圖14A所描繪 的取心塊1400。關(guān)于軟取心塊1410 (圖14B)的^f吏用的細(xì)節(jié)在討論逐4象 素處理的部分中進(jìn)行解釋。
圖15以示意方式說明了用于顏色的特征/堆積因子pc的構(gòu)成?？梢?看出，對(duì)于兩個(gè)不同的圖l象或幀，組合兩個(gè)相應(yīng)顏色通道(例如b和r )。生用于顏色的特征/堆積因子pc。
可以利用顏色信息來幫助區(qū)別期望的圖像內(nèi)容和噪聲干擾。為了這
個(gè)目的，能夠利用顏色恒常性原理或色差度量-CIE AE'簡寫為dE',即在由CIE Lab/Luv坐標(biāo)表示的兩個(gè)顏色之間的歐幾里德距離或直線距離[注意CIE=國際照明委員會(huì)]?？梢詫?duì)顏色分量進(jìn)行強(qiáng)的濾波以降低顏色噪聲的影響，其中再次利用對(duì)人類視覺系統(tǒng)的知識(shí)。區(qū)別決策是借助于對(duì)人類一見覺系統(tǒng)的知識(shí)而做出的，并且與圖像素材(imagematerial )無關(guān)。根據(jù)所討論的兩個(gè)顏色像素計(jì)算的"色差，，與"閾值"之間的比較結(jié)果被應(yīng)用來區(qū)別期望的圖像內(nèi)容和噪聲干擾。
使用YCb"色空間，與在RGB和HSV空間中相比能夠更有效地降低噪多。因而，"色差，，是從YCbCr色空間計(jì)算的。
根據(jù)本發(fā)明的實(shí)施例，用于圖像處理的方法和系統(tǒng)可以基于堆積因子p的概念，該堆積因子p可以被稱為總或整體堆積因子。圖16以示意方式說明了堆積因子P或整體或總堆積因子P的構(gòu)成。如圖16所示，總堆積因子p形成為組合，例如形成為一組特征因子或"局部"堆積因子的值的乘積。這些特征因子可以是來自像素的特征/堆積因子pp、來自塊的特征/堆積因子pb、以及來自顏色的特征/堆積因子pc。然而，根據(jù)本發(fā)明的其它實(shí)施例，提及的特征/堆積因子PP、 pb、 pc或圖16的任何子集都可能足以構(gòu)成總或整體堆積因子P。然而，根據(jù)本發(fā)明的其它實(shí)施例，可以擴(kuò)大這組特征/堆積因子。
為了實(shí)際確定堆積值或?yàn)榱硕逊e幀，不同的結(jié)構(gòu)是可能的。
這樣的結(jié)構(gòu)的實(shí)施例是堆積圖(piling map)方法。這種方法尤其與硬取心技術(shù)有關(guān)，因?yàn)閮H需要對(duì)1和0進(jìn)行計(jì)數(shù)。對(duì)于每個(gè)像素，對(duì)堆積因子進(jìn)行計(jì)數(shù)。這種計(jì)數(shù)從通常在參考幀(幀0)和其直接鄰近幀(幀1 )之間的第一個(gè)分離結(jié)果開始，而止于最后幀。所計(jì)數(shù)的數(shù)量意指能夠堆積多少幀而不造成運(yùn)動(dòng)偽影。如果該數(shù)量等于1,則其意味著沒有其它幀能夠與參考幀進(jìn)行堆積。對(duì)于這種方法，必須為每個(gè)像素存儲(chǔ)計(jì)數(shù)結(jié)果，因?yàn)橛?jì)數(shù)結(jié)果可能隨像素而不同。
這樣的結(jié)構(gòu)的進(jìn)一步實(shí)施例是堆積圖的后處理的方法。它也被稱為決策圖方法，其類似于上面描述的堆積圖方法。代替簡單計(jì)數(shù)，對(duì)于每個(gè)幀，首先由排序(rank-order)濾波器(優(yōu)選地是遞歸中值濾波器)處理為1或0的堆積因子，以使得能夠?qū)⒚}沖噪聲保持得盡可能不可見。然后對(duì)處理后的堆積決策進(jìn)行計(jì)數(shù)。
在借助于堆積圖方法或決策圖方法進(jìn)行計(jì)數(shù)之后，所有幀被加權(quán)并且被一起相加。如果所討論的兩個(gè)像素不應(yīng)當(dāng)被堆積，則加權(quán)因子等于
0;相反，加權(quán)因子等于l。將相加結(jié)果除以計(jì)數(shù)數(shù)量，所述計(jì)數(shù)數(shù)量已經(jīng)從堆積圖或決策圖中導(dǎo)出。
這樣的結(jié)構(gòu)的另 一個(gè)實(shí)施例是遞歸方法。該遞歸方法不要求所有幀都被保存。因此，與堆積圖和決策圖方法相比其對(duì)存儲(chǔ)器的要求更低。對(duì)于遞歸方法，先前堆積結(jié)果被保存并且^皮應(yīng)用于與當(dāng)前幀的幀堆積。遞歸幀堆積方法具有兩種變型。開始時(shí)，參考幀被用來初始化先前的堆
積結(jié)果。
在圖17A所示的第一變型中，可以^吏用通過加權(quán)相加三個(gè)輸入的遞歸方法。該第一變型使用參考幀ref (通常為幀0，并且標(biāo)記為x( 0))、標(biāo)記為x( t )的實(shí)際幀圖像或者實(shí)際運(yùn)動(dòng)補(bǔ)償?shù)膱D像、以及標(biāo)記為y( t-1 )的先前堆積結(jié)果。加權(quán)因子等于堆積因子。在圖17A中，n代表當(dāng)前幀的號(hào)，ref代表參考幀。參考幀被用來初始化y (t)。
在圖17B所示的第二變型中，可以使用通過加權(quán)相加兩個(gè)輸入的遞歸方法。它需要兩個(gè)輸入實(shí)際圖像或者實(shí)際運(yùn)動(dòng)補(bǔ)償?shù)膱D像、以及先前堆積結(jié)果。符號(hào)具有與圖17A中的相同意義。
從第二幀起，第二變型不堆積通常有噪聲的參考幀。因而，對(duì)于第二變型而言能夠預(yù)期更有效的降噪。此外，不需要存儲(chǔ)參考幀以致與第一變型相比能夠降低存儲(chǔ)器要求。
圖18示出了降噪單元2 00的實(shí)施例的簡化整體結(jié)構(gòu)。這個(gè)框圖描繪了單獨(dú)的三個(gè)模塊1802、 18(M和1806以及NC (噪聲掩蓋)系數(shù)估計(jì)塊1810的互連。這些模塊群是堆積因子/權(quán)重塊1802、亮度處理塊1804以及顏色處理塊1806。
堆積因子/權(quán)重塊1802確定累積的權(quán)重因子或堆積因子。'堆積因子，具有與Y分量(亮度)相同的空間分辨率，即使色度分量已經(jīng)被空間子采樣也是如此。非常普遍的是使用YUV色空間的YUV 4: 2: 2表示，而色度分量按因子二進(jìn)行空間(水平)子采樣。為了提供與Y分量相同的分辨率，必須上采樣那些顏色堆積因子。
亮度處理塊1804可以包括兩個(gè)功能模塊。第一功能模塊是遞歸濾波1820而第二功能模塊是噪聲掩蓋1822。
20顏色處理塊1806中的顏色處理類似于亮度處理。在這個(gè)實(shí)施例中，'下采樣，塊1830已經(jīng)被添加到該信號(hào)路徑并且噪聲掩蓋的方式是不同的。下采樣塊1830可能用于4:2:2或4:2:0格式，但不會(huì)用于4:4:4格式。
在噪聲掩蓋塊1810中計(jì)算將用于處理亮度和/或色度信號(hào)的噪聲掩蓋量，即噪聲掩蓋系數(shù)(NC系數(shù))。
噪聲掩蓋意味著對(duì)非堆積或堆積較少區(qū)域的空間降噪。空間降噪能夠通過任何邊緣保持濾波器實(shí)現(xiàn)。然而，已知的空間降噪方法造成圖像銳度損失。期望的是掩蓋噪聲并且將圖像銳度損失保持得盡可能小。
通常，僅在高頻區(qū)域中遇到圖像銳度損失問題。因而，應(yīng)當(dāng)檢測高頻信號(hào)區(qū)域。 一種方法是檢查方差值或本領(lǐng)域技術(shù)人員已知的類似度量。如果方差值很大，則斷定所討論的圖像區(qū)域含有高頻信號(hào)。否則，所討論的圖像區(qū)域僅含有低頻信號(hào)。
能夠在重疊或非重疊窗口中計(jì)算該方差或類似度量。為了提高高頻信號(hào)區(qū)域檢測的可靠性，能夠從按比例縮小的圖像中計(jì)算方差或類似度量。
空間降噪僅被應(yīng)用于低頻區(qū)域。在高頻信號(hào)的區(qū)域中，不應(yīng)用或應(yīng)用較少的空間降噪，這起到銳度保持乃至增強(qiáng)的作用。
如果對(duì)于在"實(shí)施噪聲掩蓋(1)"或"不實(shí)施噪聲掩蓋(0)，，之間的轉(zhuǎn)換而言沒有過渡狀態(tài)，即采用硬取心塊1900,則排序?yàn)V波器(優(yōu)選地為中值濾波器1910)應(yīng)當(dāng)被應(yīng)用以便盡可能地防止造成脈沖噪聲。如果平滑曲線被用來決定由高頻信號(hào)度量(例如方差)所控制的噪聲掩蓋量(軟取心)，則能夠省略這樣的非線性濾波。
圖19A示出了利用硬取心技術(shù)的噪聲掩蓋方法。
雖然圖19A描繪了三個(gè)輸入，但是這三個(gè)輸入通常并且也優(yōu)選地為相同的從而使得能夠降低圖像存儲(chǔ)器要求。
利用軟取心技術(shù)的噪聲掩蓋方法示于圖19B中。它類似于利用硬取心技術(shù)的噪聲掩蓋方法，除了硬取心由軟取心替代以及省略了中值濾波器。
圖19A所示的方法能夠更好地保持圖像銳度。然而，它造成脈沖干擾的印象。圖19B所示的方法與圖19A所示的相比具有較低復(fù)雜度，并且能夠抑制脈沖干擾。然而，它造成銳度損失的印象。關(guān)于如何計(jì)算該系數(shù)的詳細(xì)描述可以從圖19C中看到。NC系數(shù)計(jì)算純粹基于亮度分量Y并且與噪聲掩蓋閾值thresholdNC進(jìn)行比較。圖19D描繪了噪聲掩蓋塊1822的進(jìn)一步實(shí)施例。與圖18的整體功能視圖對(duì)應(yīng)的實(shí)施例的更詳細(xì)視圖示于圖20中。Y(n)和Y(n+l)代表所討論的兩個(gè)圖像的Y分量，其中n為幀號(hào)。類似地，Cr (n)和。(n+l)代表所討論的兩個(gè)圖像的RMY (V)分量；Cb (n)和Cb (n+l)代表所討論的兩個(gè)圖像的BMY (U)分量。索引"n，，被用來除以堆積系數(shù)，該堆積系數(shù)指的是圖16的右部分。
開始時(shí)，即11=1,還沒有中間幀堆積結(jié)果。因而，LUT由應(yīng)當(dāng)通過空間降噪濾波器預(yù)先濾波的參考幀圖像尋址。從11 = 2起，LUT由中間幀堆積結(jié)果尋址。
nc (n)代表噪聲掩蓋結(jié)果。fp (n)和"堆積系數(shù)"來自幀堆積部分。
使用非二元(實(shí)際上該決策能夠被視為是'模糊的，，覆蓋從O...l的范圍)權(quán)重的原因在于以下事實(shí)二元決策/權(quán)重可能導(dǎo)致結(jié)果中'椒鹽，類的噪聲。使用最終二元準(zhǔn)則可能起因于以下事實(shí)對(duì)于給定的像素，所有單獨(dú)準(zhǔn)則可能都指示不滿足單獨(dú)的條件(=〉不堆積這個(gè)像素)，但唯獨(dú)因?yàn)樵摐?zhǔn)則被應(yīng)用于其上的值稍微大于準(zhǔn)則閾值。在這個(gè)幀堆積系統(tǒng)中使用的所有閾值都已經(jīng)被非常精確地選擇。
幀堆積系統(tǒng)的 一個(gè)方面是抑制圖像噪聲并且同時(shí)防止造成運(yùn)動(dòng)偽影。所公開的幀堆積系統(tǒng)集成了不同技術(shù)。它可以由運(yùn)動(dòng)估計(jì)過程(作為前端部)和幀堆積過程(作為后端部)組成。這例證于圖21、 22A、22B中，示出了前端和后端結(jié)構(gòu)。
圖21借助于示意框圖說明了本發(fā)明從方法的角度以及從系統(tǒng)的角度看的進(jìn)一步實(shí)施例，其中分別增加了附加預(yù)處理步驟SO和單元0、以及預(yù)處理步驟S4和單元4。預(yù)處理步驟SO或單元Q接收?qǐng)D像II，或幀的集合、系列或序列S，作為原始數(shù)據(jù)。在預(yù)處理之后，根據(jù)步驟SO或單元0，輸入圖像或幀II的集合、系列或序列S被獲得，其被供應(yīng)到幀堆積步驟S2或單元2，步驟S2或單元2的產(chǎn)物是幀堆積的圖像或幀，作為后續(xù)步驟S3或單元3中的輸出圖像或幀01，所述幀堆積的圖像或幀然后根據(jù)圖21的實(shí)施例可以被供應(yīng)到后處理步驟S4或單元4以便生成經(jīng)過后處理的輸出圖像或幀or。
22圖22A和22B說明了包含運(yùn)動(dòng)估計(jì)S0-1和運(yùn)動(dòng)補(bǔ)償SO-2的概念的后處理步驟SO和單元0。應(yīng)當(dāng)注意，可選地或附加地，可以包含其它預(yù)處理步驟或單元。然而，還應(yīng)當(dāng)注意，預(yù)處理步驟或單元不是必需的，因?yàn)楸景l(fā)明的概念在其可以被使用而沒有預(yù)處理的意義上例如在運(yùn)動(dòng)估計(jì)/補(bǔ)償?shù)囊饬x上來說是有利的。
該預(yù)處理可以是例如
* 色空間轉(zhuǎn)換，或者
*關(guān)于參考幀的運(yùn)動(dòng)估計(jì)和補(bǔ)償系統(tǒng)，或者
*所有/單獨(dú)信號(hào)分量的空間濾波(降噪)(參見主題來自顏色的堆積因子)
*根本不處理，或者
*任何其它種類的典型預(yù)處理步驟/技術(shù)
*和/或上述的任何組合。
權(quán)利要求
1、用于當(dāng)前圖像幀中的降噪方法，其中所述當(dāng)前圖像幀是圖像幀序列的一部分，該方法包括比較所述當(dāng)前圖像幀內(nèi)的像素的當(dāng)前像素值與至少一個(gè)相鄰圖像幀中的該像素的對(duì)應(yīng)像素值；如果所述當(dāng)前像素值和所述對(duì)應(yīng)像素值之間的像素差低于像素閾值，則確定所述當(dāng)前像素值和所述對(duì)應(yīng)像素值的堆積值，其中所述像素閾值取決于所述對(duì)應(yīng)像素值和/或所述當(dāng)前像素值。
2、 根據(jù)權(quán)利要求l的方法，進(jìn)一步包括根據(jù)像素差確定像素權(quán)重因子；其中在確定堆積值的步驟中，所述像素權(quán)重因子被用來減小所述對(duì)應(yīng)像素值對(duì)所述堆積值的影響。
3、 根據(jù)權(quán)利要求1或2中任一項(xiàng)的方法，進(jìn)一步包括將當(dāng)前圖像幀和該至少 一 個(gè)相鄰圖像幀劃分成多個(gè)塊；基于包括該像素的相應(yīng)塊的當(dāng)前像素值，確定當(dāng)前塊堆積值；基于所述相應(yīng)塊的對(duì)應(yīng)像素值，確定對(duì)應(yīng)塊堆積值；比較所述當(dāng)前塊堆積值和所述對(duì)應(yīng)塊堆積值；如果所述當(dāng)前塊堆積值和以前的塊堆積值之間的塊差低于預(yù)定塊閾<直，則確定該堆積i直。
4、 根據(jù)權(quán)利要求3的方法，進(jìn)一步包括根據(jù)塊差確定塊權(quán)重因子；其中在確定堆積值的步驟中，所述塊權(quán)重因子被用來減小所述對(duì)應(yīng)像素值對(duì)所述堆積值的影響。
5、 根據(jù)權(quán)利要求3或4中任一項(xiàng)的方法，其中所述塊堆積值是該塊的像素的像素值的絕對(duì)差之和。
6、 根據(jù)權(quán)利要求1-5中任一項(xiàng)的方法，其中當(dāng)前像素值和對(duì)應(yīng)像素值描述該像素的亮度。
7、 根據(jù)權(quán)利要求1-5中任一項(xiàng)的方法，其中當(dāng)前像素值和對(duì)應(yīng)像素值描述該像素的色度。
8、 根據(jù)權(quán)利要求1-7中任一項(xiàng)的方法，其中為每個(gè)像素提供多個(gè)像素值，所述多個(gè)像素值描述該像素在色空間模型中的色值，其中如果像素的所述多個(gè)像素值的每個(gè)像素值之間的色差低于相應(yīng)闊值，則確定所述多個(gè)像素值的每個(gè)像素值的堆積值。
9、 根據(jù)權(quán)利要求8的方法，進(jìn)一步包括根據(jù)色差確定顏色權(quán)重因子；其中在確定堆積值的步驟中，所述顏 色權(quán)重因子被用來減小所述對(duì)應(yīng)像素值對(duì)所述堆積值的影響。
10、 根據(jù)權(quán)利要求9的方法，其中色空間的亮度值、第一色度值和第二色度值被用作所述多個(gè)像素值的相應(yīng)像素值。
11、 根據(jù)權(quán)利要求8-10中任一項(xiàng)的方法，進(jìn)一步包括 基于像素值之差、基于塊堆積值之差以及基于色值之差，確定累積權(quán)重因子；其中在確定堆積值的步驟中，所述累積權(quán)重因子被用來減小 所述對(duì)應(yīng)像素值對(duì)所述堆積值的影響。
12、 根據(jù)權(quán)利要求9-11中任一項(xiàng)的方法，進(jìn)一步包括如果顏色權(quán)重值的分辨率低于像素權(quán)重值的分辨率，則將顏色權(quán)重 因子上采樣至像素權(quán)重因子的分辨率。
13、 根據(jù)權(quán)利要求1-12中任一項(xiàng)的方法，進(jìn)一步包括 存儲(chǔ)不移動(dòng)對(duì)象的圖像幀的前序列；通過對(duì)所述圖像幀的前序列的 一個(gè)像素的像素值進(jìn)行平均來生成 降噪圖像；通過比較所述圖像幀的前序列的像素的像素值來確定像素值的方差；并且根據(jù)所述方差確定像素閾值。
14、 根據(jù)權(quán)利要求1-13中任一項(xiàng)的方法，進(jìn)一步包括 在比較當(dāng)前像素值和對(duì)應(yīng)像素值的步驟之前，估計(jì)和補(bǔ)償該序列的圖像幀之間的運(yùn)動(dòng)。
15、 根據(jù)權(quán)利要求1-14中任一項(xiàng)的方法，進(jìn)一步包括 在比較當(dāng)前像素值和對(duì)應(yīng)像素值的步驟之前，對(duì)像素值進(jìn)行空間濾波。
16、 根據(jù)權(quán)利要求1-15中任一項(xiàng)的方法，進(jìn)一步包括 確定圖像幀的像素的堆積值的差值；如果該差值低于差異閾值，則在圖像幀的相鄰像素的堆積值之間執(zhí) 行空間降噪。
17、 根據(jù)權(quán)利要求16的方法，其中該差值是方差值。
18 、根據(jù)權(quán)利要求16或17中任一項(xiàng)的方法，其中空間降噪量是基 于該差值的。
19、 根據(jù)權(quán)利要求1-18中任一項(xiàng)的方法，進(jìn)一步包括 確定當(dāng)前圖像幀中的紋理區(qū)域和均勻區(qū)域；基于紋理區(qū)域的像素差和塊差來確定累積權(quán)重因子。
20、 根據(jù)權(quán)利要求1-19中任一項(xiàng)的方法，進(jìn)一步包括 確定當(dāng)前圖像幀中的紋理區(qū)域和均勻區(qū)域；基于像素差、塊差以及色差來確定均勻區(qū)域的累積權(quán)重因子。
21、 根據(jù)權(quán)利要求1-20中任一項(xiàng)的方法，進(jìn)一步包括 存儲(chǔ)該序列的多個(gè)圖像幀的權(quán)重因子；其中確定堆積值的步驟基于所述多個(gè)圖像幀的像素值和權(quán)重因子。
22、 根據(jù)權(quán)利要求1-20中任一項(xiàng)的方法，進(jìn)一步包括存儲(chǔ)在前圖像幀的堆積值；其中確定當(dāng)前圖像幀的堆積值的步驟是 基于所述在前圖像幀的堆積值的。
23、 根據(jù)權(quán)利要求1-22中任一項(xiàng)的方法，進(jìn)一步包括 在比較當(dāng)前像素值和對(duì)應(yīng)像素值的步驟之前，生成具有參照像素值的參考幀，該參考幀被視為該序列的第一圖像幀。
24、 根據(jù)權(quán)利要求2 3的方法，其中確定堆積值的步驟基于參考幀 的參考像素值。
25、 根據(jù)權(quán)利要求1-24中任一項(xiàng)的方法，其中像素閾值基于參考 幀的參考像素值。
26、 根據(jù)權(quán)利要求22-25中任一項(xiàng)的方法，其中像素閾值基于在前 圖像幀的堆積值。
27、 用于降低當(dāng)前圖像幀中的噪聲的降噪單元，包括像素比較器，其被配置成比較所述當(dāng)前圖像幀內(nèi)的像素的當(dāng)前像素 值與至少 一 個(gè)相鄰圖像幀中的該像素的對(duì)應(yīng)像素值；處理器，其被配置成如果所述當(dāng)前像素值和對(duì)應(yīng)像素值之間的像素 差低于像素闊值則確定所述當(dāng)前像素值和所述對(duì)應(yīng)像素值的堆積值，其 中所述像素閾值取決于所述對(duì)應(yīng)像素值和/或所述當(dāng)前像素值。
28、 根據(jù)權(quán)利要求27的降噪單元，其中像素比較器被進(jìn)一步配置 成根據(jù)像素差來確定像素權(quán)重因子；并且處理器被進(jìn)一步配置成基于像 素權(quán)重因子來確定所述堆積值以便減小所述對(duì)應(yīng)像素值對(duì)所述堆積值 的影響。
29、 根據(jù)權(quán)利要求27-28中任一項(xiàng)的降噪單元，進(jìn)一步包括塊比較器，其被配置成將所述當(dāng)前圖像幀和所述至少一個(gè)相鄰圖像 幀劃分成多個(gè)塊，并且根據(jù)包括該像素的所述當(dāng)前圖像幀的相應(yīng)塊的當(dāng) 前像素值確定當(dāng)前塊堆積值以及根據(jù)包括該像素的相鄰圖像幀的該相 應(yīng)塊的對(duì)應(yīng)像素值確定對(duì)應(yīng)塊堆積值，并且比較所述當(dāng)前塊堆積值和所 述對(duì)應(yīng)塊堆積值。
30、 根據(jù)權(quán)利要求27-28中任一項(xiàng)的降噪單元，進(jìn)一步包括 塊比較器，其被配置成接收當(dāng)前圖像幀的當(dāng)前塊堆積值，接收相鄰圖像幀的對(duì)應(yīng)塊堆積值并且被進(jìn)一步配置成比較當(dāng)前塊堆積值和對(duì)應(yīng) 塊堆積值。
31、 根據(jù)權(quán)利要求29-30中任一項(xiàng)的降噪單元，其中所述塊比較器 被進(jìn)一步配置成根據(jù)當(dāng)前塊堆積值和對(duì)應(yīng)塊堆積值之間的塊差來確定 塊權(quán)重因子；并且所述處理器被進(jìn)一步配置成基于塊權(quán)重因子來確定堆 積值以便減小所述對(duì)應(yīng)像素值對(duì)所述堆積值的影響。
32、 根據(jù)權(quán)利要求27-31中任一項(xiàng)的降噪單元，進(jìn)一步包括顏色比較器，其被配置成將當(dāng)前圖像幀內(nèi)的像素的當(dāng)前色值和至少 一個(gè)相鄰圖像幀中的該像素的對(duì)應(yīng)色值進(jìn)行比較；其中該處理器被進(jìn)一 步配置成如果所述當(dāng)前色值和所述對(duì)應(yīng)色值之間的色差低于顏色閾值 則確定所述堆積值。
33、 根據(jù)權(quán)利要求32的降噪單元，其中所述顏色比較器被進(jìn)一步 配置成根據(jù)當(dāng)前色值和對(duì)應(yīng)色值之間的色差來確定顏色權(quán)重因子；并且 該處理器被進(jìn)一步配置成基于顏色權(quán)重因子來確定所述堆積值以便減 小所述對(duì)應(yīng)像素值對(duì)所述堆積值的影響。
34、 根據(jù)權(quán)利要求27-33中任一項(xiàng)的降噪單元，進(jìn)一步包括 查找表，其被配置成存儲(chǔ)與像素值相關(guān)的閾值。
35、 根據(jù)權(quán)利要求27-34中任一項(xiàng)的降噪單元，進(jìn)一步包括 運(yùn)動(dòng)估計(jì)及運(yùn)動(dòng)補(bǔ)償一幾構(gòu)。
36、 根據(jù)權(quán)利要求27-25中任一項(xiàng)的降噪單元，進(jìn)一步包括 噪聲掩蓋機(jī)構(gòu)，其被配置成確定該圖像幀的像素的堆積值的差值并且如果該差值低于差異閾值則執(zhí)行該圖像幀的相鄰像素的堆積值之間 的空間降噪。
37、 圖像捕獲裝置，包括光學(xué)設(shè)備，其被配置成生成圖像幀序列；以及根據(jù)權(quán)利要求27-36中任一項(xiàng)的降噪單元。
38、 圖像顯示裝置，包括 顯示器；以及根據(jù)權(quán)利要求27-36中任一項(xiàng)的降噪單元。
39、 包括程序代碼的計(jì)算機(jī)程序產(chǎn)品，所述程序代碼當(dāng)被加載到處 理器中時(shí)被配置成執(zhí)行根據(jù)權(quán)利要求1-26中任一項(xiàng)的方法。
全文摘要
用于當(dāng)前圖像幀中的降噪的方法，其中當(dāng)前圖像幀是圖像幀序列的一部分，包括比較當(dāng)前圖像幀內(nèi)的像素的當(dāng)前像素值與至少一個(gè)相鄰圖像幀中的該像素的對(duì)應(yīng)像素值；如果當(dāng)前像素值和對(duì)應(yīng)像素值之間的像素差低于像素閾值，則確定當(dāng)前像素值和對(duì)應(yīng)像素值的堆積值，其中像素閾值取決于對(duì)應(yīng)像素值和/或當(dāng)前像素值，還提供了用于塊和顏色處理的對(duì)應(yīng)方法以及降噪單元。
文檔編號(hào)H04N5/21GK101658027SQ200880011153
公開日2010年2月24日 申請(qǐng)日期2008年3月20日 優(yōu)先權(quán)日2007年3月31日
發(fā)明者C·昂魯, M·西迪奎, Z·雷 申請(qǐng)人:索尼德國有限責(zé)任公司