專利名稱：圖像處理裝置、圖像處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及一種圖像處理裝置、圖像處理方法以及程序，并且更具體地涉及一種能夠例如精確地從圖像中檢測(cè)出其中顯示運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)區(qū)域以及其中顯示非運(yùn)動(dòng)對(duì)象的靜止區(qū)域中的至少一個(gè)的圖像處理裝置、圖像處理方法以及程序。
背景技術(shù)：
存在例如用于通過從圖像中檢測(cè)運(yùn)動(dòng)區(qū)域和靜止區(qū)域而在運(yùn)動(dòng)區(qū)域和靜止區(qū)域之間執(zhí)行不同的降噪處理的降噪技術(shù)(例如參見日本專利申請(qǐng)?zhí)卦S公開No.2001-160909)。根據(jù)降噪技術(shù)，圖像被劃分為多個(gè)塊，并且利用塊匹配等來為所述多個(gè)塊中的每一個(gè)檢測(cè)指示塊運(yùn)動(dòng)的運(yùn)動(dòng)向量。此外，基于為每個(gè)塊檢測(cè)的運(yùn)動(dòng)向量，檢測(cè)該塊是運(yùn)動(dòng)區(qū)、域還是靜止區(qū)域。被檢測(cè)為運(yùn)動(dòng)區(qū)域的塊經(jīng)過用于降低在空間方向上的噪聲的第一降噪處理，而被檢測(cè)為靜止區(qū)域的塊經(jīng)過用于降低在時(shí)間方向上的噪聲的第二降噪處理。

發(fā)明內(nèi)容
然而，在上述降噪技術(shù)中，因?yàn)橛糜谥甘驹趫D像上產(chǎn)生的噪聲量的噪聲量增加，因此每個(gè)塊的運(yùn)動(dòng)向量由于噪聲而被錯(cuò)誤地檢測(cè)。因此，例如，可能出現(xiàn)以下問題要被檢測(cè)為靜止區(qū)域的塊被檢測(cè)為運(yùn)動(dòng)區(qū)域，并且所檢測(cè)的塊經(jīng)過第一降噪處理。而且，相反，可能出現(xiàn)以下問題要被檢測(cè)為運(yùn)動(dòng)區(qū)域的塊被檢測(cè)為靜止區(qū)域，并且所檢測(cè)的塊經(jīng)過第二降噪處理。相應(yīng)地，為了有效地降低圖像上的噪聲，可能需要精確地檢測(cè)圖像上的運(yùn)動(dòng)區(qū)域和靜止區(qū)域。本公開是考慮到上述環(huán)境而構(gòu)思的，從而精確地檢測(cè)圖像上的運(yùn)動(dòng)區(qū)域和靜止區(qū)域中的至少一個(gè)。根據(jù)本公開的實(shí)施例，提供了一種圖像處理裝置，包括均勻性檢測(cè)器，被配置為基于構(gòu)成輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域；差異計(jì)算部分，被配置為計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異；噪聲電平檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差，檢測(cè)用于指示構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及運(yùn)動(dòng)檢測(cè)器，被配置為基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中對(duì)象是運(yùn)動(dòng)的區(qū)域。所述圖像處理裝置還可以包括噪聲屬性檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的靜止區(qū)域的每個(gè)像素對(duì)應(yīng)的差異，檢測(cè)用于指示在靜止區(qū)域中產(chǎn)生的噪聲的屬性的噪聲屬性信息。所述噪聲屬性檢測(cè)器可以對(duì)通過將與構(gòu)成靜止區(qū)域的每個(gè)像素對(duì)應(yīng)的差異分離為預(yù)定的頻率分量而獲得的多個(gè)功率電平的最大值進(jìn)行檢測(cè)，作為所述噪聲屬性信息，所述最大值是為每個(gè)頻率分量獲得的。所述圖像處理裝置還可以包括降噪部分，被配置為基于所述噪聲屬性信息和所述噪聲電平中的至少一個(gè)，來降低在第一圖像中產(chǎn)生的噪聲。所述降噪部分可以包括第一校正量計(jì)算部分，被配置為基于所述噪聲屬性信息來計(jì)算用于降低在靜止區(qū)域中產(chǎn)生的噪聲的第一校正量；第二校正量計(jì)算部分，被配置為基于所述噪聲電平來計(jì)算用于降低在運(yùn)動(dòng)區(qū)域中產(chǎn)生的噪聲的第二校正量；混合部分，被配置為混合第一校正量和第二校正量；以及校正部分，被配置為基于通過在混合部分中混合而獲得的第三校正量來校正第一圖像的每個(gè)像素的像素值。
所述噪聲電平檢測(cè)器可以將與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差中最頻的方差檢測(cè)作為噪聲電平。根據(jù)本公開的實(shí)施例，提供了一種用于被配置為處理要輸入的圖像的圖像處理裝置的圖像處理方法，所述方法包括通過所述圖像處理裝置，基于構(gòu)成所輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域；計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異；基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差，檢測(cè)用于指示在構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中對(duì)象是運(yùn)動(dòng)的區(qū)域。根據(jù)本公開的實(shí)施例，提供了一種使得計(jì)算機(jī)起如下作用的程序均勻性檢測(cè)器，被配置為基于構(gòu)成所輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域；差異計(jì)算部分，被配置為計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異；噪聲電平檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差，檢測(cè)用于指示在構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及運(yùn)動(dòng)檢測(cè)器，被配置為基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中對(duì)象是運(yùn)動(dòng)的區(qū)域。根據(jù)本公開的實(shí)施例，基于構(gòu)成所輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域，計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異，基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差，檢測(cè)用于指示在構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中對(duì)象是運(yùn)動(dòng)的區(qū)域。根據(jù)本公開的實(shí)施例，可以精確地檢測(cè)圖像上的運(yùn)動(dòng)區(qū)域和靜止區(qū)域中的至少一個(gè)。本公開的這些和其它目的、特征和優(yōu)點(diǎn)將從如在附圖中例示的本公開最佳實(shí)施例的以下詳細(xì)描述中變得更為明顯。


圖I是示出根據(jù)第一實(shí)施例的圖像處理裝置的配置示例的框圖；圖2是示出檢測(cè)噪聲電平的分布圖(histogram)的示例的圖；圖3是示出運(yùn)動(dòng)電平的示例的圖；圖4是具體示出噪聲屬性檢測(cè)器的配置示例的框圖；圖5是示出功率電平的分布圖的示例的圖；圖6A到6D是示出噪聲屬性信息的示例的圖；圖7A到7D是示出噪聲屬性信息的另一示例的圖；圖8是具體示出時(shí)間方向NR部分的配置示例的框圖；圖9示出了其中基于沿時(shí)間方向的降噪而降低噪聲的狀態(tài)的示例；圖10是具體示出空間方向NR部分的配置示例的框圖；圖11是示出其中根據(jù)噪聲電平確定epsilon的狀態(tài)的示例的圖；圖12是具體示出混合部分的配置示例的框圖；圖13是示出其中確定表示混合部分所進(jìn)行的混合的程度的狀態(tài)的示例的圖；圖14是用于解釋由圖I所示的圖像處理裝置執(zhí)行的圖像處理的流程圖；圖15是示出根據(jù)第二實(shí)施例的圖像處理裝置的配置示例的框圖；以及圖16是示出計(jì)算機(jī)的配置示例的框圖。具體實(shí)現(xiàn)方式下文中，將描述本公開的實(shí)施例(下文中稱為實(shí)施例)。將按照以下順序給出說明。I.第一實(shí)施例(通過根據(jù)噪聲電平在靜止區(qū)域和運(yùn)動(dòng)區(qū)域之間進(jìn)行區(qū)分而執(zhí)行運(yùn)動(dòng)自適應(yīng)降噪的示例)2.第二實(shí)施例(通過根據(jù)噪聲電平在靜止區(qū)域和運(yùn)動(dòng)區(qū)域之間進(jìn)行區(qū)分而執(zhí)行運(yùn)動(dòng)補(bǔ)償降噪的示例)3.修改I.第一實(shí)施例[圖像處理裝置21的配置示例]圖I圖示了根據(jù)第一實(shí)施例的圖像處理裝置21的配置示例。此外，圖像處理裝置21例如布置在執(zhí)行成像的成像部分(未示出)和存儲(chǔ)運(yùn)動(dòng)圖像的硬盤(未示出)之間，所述運(yùn)動(dòng)圖像包括多個(gè)幀，每個(gè)幀是通過成像而獲取的。然后，圖像處理裝置21執(zhí)行噪聲去除處理，以便去除(降低)在通過成像部分成像而獲取的第n幀n中產(chǎn)生的噪聲，并且將去除了噪聲的幀n提供至硬盤以存儲(chǔ)。在該實(shí)施例中，盡管將描述在幀(的圖像)中產(chǎn)生的噪聲去除，但仍可以例如去除一場(chǎng)(的圖像)中的噪聲。、圖像處理裝置21包括差異計(jì)算部分41、均勻性檢測(cè)器42、噪聲電平檢測(cè)器43、運(yùn)動(dòng)電平檢測(cè)器44、噪聲屬性檢測(cè)器45、時(shí)間方向NR(降噪)部分46、空間方向NR部分47、混合部分48、以及校正部分49。差異計(jì)算部分41例如接收通過未示出的成像部分成像而獲取的幀n-1和幀n。差異計(jì)算部分41從巾貞n上的亮度(luminance)值Y (x, y)中減去巾貞n-1上的亮度值Y(x，y)'，并將通過該減法獲得的差異值diffy(x，y)通過時(shí)間方向NR部分46提供給噪聲電平檢測(cè)器43作為幀差異信號(hào)。在此情況下，在幀n的左上角被設(shè)置為原點(diǎn)(0，0)、水平方向的坐標(biāo)被設(shè)置為X以及垂直方向的坐標(biāo)被設(shè)置為y的情況下，例如，亮度值Y(x，y)表示位置(x，y)中的像素p(x,y)的亮度值。這也類似地應(yīng)用于亮度值Y (x，yV。盡管在第一實(shí)施例中，作為幀n上的像素的像素值，將描述其中校正亮度值Y(x，
y)以去除噪聲的情況，成為校正目標(biāo)的像素值不限于亮度值Y(x，y)。也就是說，例如，與亮度值Y (x，y) 一起或者取代亮度值Y (x，y)，色彩差異等可以是校正目標(biāo)。均勻性檢測(cè)器42從未示出的成像部分接收幀n。均勻性檢測(cè)器42連續(xù)地關(guān)注要提供的幀n上的每個(gè)像素p (x，y)，并且檢測(cè)所關(guān)注的目標(biāo)像素p (x，y)的均勻性f (x，y)。也就是說，例如，均勻性檢測(cè)器42使用以下表達(dá)式⑴來計(jì)算以目標(biāo)像素p (x，y)為中心的塊(下文中也稱為目標(biāo)像素P (x，y)的塊)的亮度平均AveO。AV60 = . IlY K f)■ ( I)這里，目標(biāo)像素p(x，y)的塊包括以目標(biāo)像素p(x，y)為中心的MXN(寬度X長(zhǎng)度)像素，并且亮度平均AveO表示在目標(biāo)像素p (x，y)的塊中包括的MXN像素的亮度值Y(x, y)的平均。均勻性檢測(cè)器42通過以下表達(dá)式(2)基于所計(jì)算的亮度平均AveO以及在目標(biāo)像素P(x，y)的塊中包括的MXN像素的亮度值Y(x，y)來計(jì)算目標(biāo)像素p(x，y)的空間方差
VarO0VarO = II Y x. v; AveOI…(鳴這里，空間方差varO表示目標(biāo)像素p(x，y)的亮度值Y(x，y)的方差。此外，由于空間方差varO較小，因此幀n上的目標(biāo)像素p(x，y)的塊(所表示的區(qū)域)成為其中每個(gè)像素的亮度值Y(x，y)均勻的區(qū)域。也就是說，形成了其中目標(biāo)像素p (x，y)的塊中的每個(gè)像素的亮度值Y (x，y)(幾乎)相同的區(qū)域，即，其中目標(biāo)像素p (x，y)的塊中的每個(gè)像素的亮度值Y(x，y)沒有(有很小)變化的區(qū)域。因此，均勻性檢測(cè)器42將目標(biāo)像素p(x，y)的空間方差varO的倒數(shù)1/varO檢測(cè)為目標(biāo)像素P(x，y)的均勻性f(x，y) ( = 1/varO)。在此情況下，隨著均勻性f (x，y)增加，對(duì)應(yīng)的目標(biāo)像素P (x，y)均勻。均勻性檢測(cè)器42確定為幀n上的每個(gè)像素p (x，y)檢測(cè)的均勻性f (x，y)是否大于或等于預(yù)定閾值。然后，基于所確定的結(jié)果，均勻性檢測(cè)器42將具有與大于或等于預(yù)定閾值的均勻性f(x，y)對(duì)應(yīng)的像素p(x，y)的均勻區(qū)域檢測(cè)為均勻區(qū)域D (x，y)，并將其提供給噪聲電平檢測(cè)器43。噪聲電平檢測(cè)器43在來自差異計(jì)算部分41的作為幀差異信號(hào)的多個(gè)差異值diffy (x, y)中、基于與來自均勻性檢測(cè)器42的均勻區(qū)域D(x, y)對(duì)應(yīng)的差異值diffy (x,y)，檢測(cè)幀n的噪聲電平。這里，噪聲電平表示在幀n的每個(gè)像素p (x，y)中產(chǎn)生的噪聲的統(tǒng)計(jì)量。應(yīng)注意，鑒于以下理由，噪聲電平檢測(cè)器43使用與均勻區(qū)域D (x，y)對(duì)應(yīng)的差異值diffy (x, y)來檢測(cè)噪聲電平。也就是說，主要由于巾貞上的對(duì)象的運(yùn)動(dòng)等，差異值diffy(x, y)隨著與巾貞n_l和中貞n對(duì)應(yīng)的像素的位移(dislocation)以及在幀上的像素中產(chǎn)生的噪聲而改變。
如上所述，噪聲電平檢測(cè)器43檢測(cè)表示在幀n上的每個(gè)像素p (x，y)中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量。因此，期望用于噪聲電平檢測(cè)的差異值diffy(x，y)滿足以下條件差異值diffy(X，y)不隨著對(duì)應(yīng)像素的位移而改變，而隨著在幀上的像素中產(chǎn)生的噪聲而改變。如上所述，均勻區(qū)域D (x，y)是其中該均勻區(qū)域D (x，y)所具有的每個(gè)像素的亮度值Y(x，y)(幾乎)相同的區(qū)域。因此，即使在均勻區(qū)域D(x，y)中出現(xiàn)位移，與均勻區(qū)域D(x, y)對(duì)應(yīng)的差異值diffy (x，y)具有很小變化，并且隨著在該幀的像素中產(chǎn)生的噪聲而改變，從而滿足了上述條件。因此，噪聲電平檢測(cè)器43基于與均勻區(qū)域D (x，y)對(duì)應(yīng)的差異值diffy (x，y)來檢測(cè)噪聲電平。也就是說，例如，噪聲電平檢測(cè)器43連續(xù)地關(guān)注幀n上的均勻區(qū)域D (x，y)所包括的每個(gè)像素P (x，y)d，并且按照以下表達(dá)式⑶計(jì)算所關(guān)注的目標(biāo)像素P(x，y)d的塊中的差異平均AveI。
* I|￥#1 = '顯'| Tl Cl ;f V X. V I…,3 這里，差異平均Avel表示與目標(biāo)像素p(x，y)d的塊所包括的每個(gè)像素對(duì)應(yīng)的差異{t diffy (x, y)的平均。噪聲電平檢測(cè)器43按照以下表達(dá)式(4)基于所計(jì)算的差異平均Avel和與目標(biāo)像素P (x，y) d的塊所包括的每個(gè)像素對(duì)應(yīng)的差異值diffy (x，y)，計(jì)算目標(biāo)像素p (x，y) d的時(shí)間方差varl。farl =這里，時(shí)間方差varl表示與目標(biāo)像素p (x, y) d對(duì)應(yīng)的差異值diffy (x, y)的方差。在此情況下，噪聲電平檢測(cè)器43計(jì)算均勻區(qū)域D(x，y)上的每個(gè)像素p(x，汄的時(shí)間方差varl,在所述均勻區(qū)域D (X, y)中，差異值diffy (x, y)僅隨著在該巾貞上的像素中產(chǎn)生的噪聲而改變。因此，時(shí)間方差varl表示在均勻區(qū)域D (x，y)上的每個(gè)像素p(x，y)d中產(chǎn)生的噪聲量。噪聲電平檢測(cè)器43關(guān)注在幀n上的均勻區(qū)域D(x，y)中包括的所有像素p(x，y)d，并且為每個(gè)像素P (x，y) d計(jì)算時(shí)間方差varl。然后，噪聲電平檢測(cè)器43基于為每個(gè)像素p(x, y)d所計(jì)算的時(shí)間方差varl,測(cè)量如圖2所示的分布圖。應(yīng)注意,在圖2中,水平軸表示時(shí)間方差varl，垂直軸表示像素p(x，y)d的像素?cái)?shù)量。噪聲電平檢測(cè)器43將所測(cè)量的分布圖的最大部分(最高頻率的時(shí)間方差varl)提供給運(yùn)動(dòng)電平檢測(cè)器44作為噪聲電平。運(yùn)動(dòng)電平檢測(cè)器44按照表達(dá)式(3)和(4)基于來自差異計(jì)算部分41的作為幀差異信號(hào)的差異值diffy (X, y),來計(jì)算巾貞n上的每個(gè)像素p(x, y)的時(shí)間方差varl。然后，運(yùn)動(dòng)電平檢測(cè)器44基于幀n上的每個(gè)像素p (x，y)的所計(jì)算的時(shí)間方差varl是否等于或小于來自噪聲電平檢測(cè)器43的噪聲電平，來檢測(cè)幀n上的靜止區(qū)域Ds (x,y) o應(yīng)注意,靜止區(qū)域Ds (x, y)表示其中該區(qū)域Ds (X, y)上的對(duì)象靜止(不運(yùn)動(dòng))的區(qū)域、以及其中對(duì)應(yīng)的差異值diffy (x，y)小于預(yù)定閾值的區(qū)域。這里，在靜止區(qū)域Ds (x，y)中，由于靜止區(qū)域Ds (x，y)上的對(duì)象靜止，因此差異值diffy (x, y)由于噪聲而增加,而不是隨著對(duì)象的運(yùn)動(dòng)而增加。因此，靜止區(qū)域Ds(x，y)上的像素p(x，y)的時(shí)間方差varl等于或小于表示在該 幀n上的每個(gè)像素p (x，y)中產(chǎn)生的統(tǒng)計(jì)噪聲量的噪聲電平。此外,在巾貞n上的運(yùn)動(dòng)區(qū)域中，差異值diffy (X, y)由于該運(yùn)動(dòng)區(qū)域上的對(duì)象的運(yùn)動(dòng)以及在該像素中產(chǎn)生的噪聲而增加。應(yīng)注意，運(yùn)動(dòng)區(qū)域表示其中該區(qū)域上的對(duì)象運(yùn)動(dòng)的區(qū)域、以及其中對(duì)應(yīng)的差異值diffy (x，y)大于或等于預(yù)定閾值的區(qū)域。因此，運(yùn)動(dòng)區(qū)域上的像素p (x，y)的時(shí)間方差varl大于表示在該幀n上的每個(gè)像素P(x，y)中產(chǎn)生的統(tǒng)計(jì)噪聲量的噪聲電平。相應(yīng)地，如上所述，運(yùn)動(dòng)電平檢測(cè)器44基于在該幀n上的每個(gè)像素p (x, y)的所計(jì)算的時(shí)間方差varl是否等于或小于來自噪聲電平檢測(cè)器43的噪聲電平，來檢測(cè)幀n上的靜止區(qū)域Ds (X, y)。運(yùn)動(dòng)電平檢測(cè)器44將(示出)所檢測(cè)到的靜止區(qū)域Ds (x，y)(的信息)提供給噪聲屬性檢測(cè)器45。此外，例如，如圖3所示，運(yùn)動(dòng)電平檢測(cè)器44將幀n上的每個(gè)像素p(x，y)的時(shí)間方差varl除以最大時(shí)間方差max (varl)(通過最大時(shí)間方差max (varl),將巾貞n上的每個(gè)像素P(x，y)的時(shí)間方差varl歸一化)，檢測(cè)每個(gè)像素的運(yùn)動(dòng)電平，并且將其提供給混合部分48。應(yīng)注意，如圖3所示，當(dāng)在時(shí)間方差varl為噪聲電平的情況下運(yùn)動(dòng)電平為0. 5時(shí)，與等于或小于0. 5的運(yùn)動(dòng)電平對(duì)應(yīng)的像素p (X, y)是靜止區(qū)域Ds(x, y)上的像素p(x, y),而與大于0. 5的運(yùn)動(dòng)電平對(duì)應(yīng)的像素p (x，y)是運(yùn)動(dòng)區(qū)域上的像素p (x，y)。噪聲屬性檢測(cè)器45在來自差異計(jì)算部分41的作為幀差異信號(hào)的多個(gè)差異值diffy(x，y)中、基于與來自運(yùn)動(dòng)電平檢測(cè)器44的靜止區(qū)域Ds(x，y)對(duì)應(yīng)的差異值diffy (x，y)，檢測(cè)表示在靜止區(qū)域Ds (x，y)中產(chǎn)生的噪聲的屬性的噪聲屬性信息。這里，由于在幀n-1到幀n中靜止區(qū)域Ds(x，y)上的對(duì)象是靜止的(無運(yùn)動(dòng)的)，因此與靜止區(qū)域Ds (X, y)對(duì)應(yīng)的差異值diffy (x,y)僅根據(jù)在靜止區(qū)域Ds (x, y)上產(chǎn)生的噪聲而改變。因此，噪聲屬性檢測(cè)器45基于與靜止區(qū)域Ds (x，y)對(duì)應(yīng)的差異值diffy (x, y)來檢測(cè)噪聲屬性信息。將在后面參考圖4詳細(xì)描述噪聲屬性檢測(cè)器45。時(shí)間方向NR部分46基于來自差異計(jì)算部分41的作為幀差異信號(hào)的差異值diffy (x, y)以及來自噪聲屬性檢測(cè)器45的噪聲屬性信息，來計(jì)算校正量A，并將所計(jì)算的量提供給混合部分48。這里,校正量A是要加到巾貞n的亮度值Y (X, y)的負(fù)值{_Y(x,y)}上的值,用于在時(shí)間方向上去除在幀n上的靜止區(qū)域Ds (x，y)中產(chǎn)生的噪聲。后面將參考圖8和9詳細(xì)描述由時(shí)間方向NR部分46進(jìn)行的處理?？臻g方向NR部分47基于來自未示出的成像部分的幀n和來自噪聲電平檢測(cè)器43的噪聲電平來計(jì)算校正量B，并將所計(jì)算的量提供給混合部分48。這里，校正量B是要加到幀n的亮度值Y (x，y)的負(fù)值{_Y(x，y)}上的值，用于在空間方向上去除在幀n上的運(yùn)動(dòng)區(qū)域中產(chǎn)生的噪聲。后面將參考圖10和11詳細(xì)描述由空間方向NR部分47進(jìn)行的處理?；旌喜糠?8基于來自運(yùn)動(dòng)電平檢測(cè)器44的幀n上的每個(gè)像素的運(yùn)動(dòng)電平，對(duì)于 幀n上的每個(gè)像素，將來自時(shí)間方向NR部分46的校正量A和來自空間方向NR部分47的校正量B混合。也就是說，例如，混合部分48基于來自運(yùn)動(dòng)電平檢測(cè)器44的運(yùn)動(dòng)電平，確定與校正量A相乘的權(quán)重(I-a)和與校正量B相乘的權(quán)重a。但是,權(quán)重a是大于或等于零并且小于或等于一的值。然后，混合部分48以(I- a )對(duì)a的比率將校正量A和校正量B混合，并將混合后的結(jié)果{(1-cOXA+a XB}提供給校正部分49作為校正量C。后面將參考圖12和13詳細(xì)描述由混合部分48進(jìn)行的處理。校正部分49基于來自混合部分48的校正量C來校正來自未示出的成像部分的幀n,并將其提供至例如未示出的硬盤等以存儲(chǔ)。也就是說，例如，在來自未示出的成像部分的幀n的像素中，運(yùn)動(dòng)電平檢測(cè)器44從自混合部分48提供的幀n上的每個(gè)像素的校正量C( = (1-a ) XA+a XB)中減去對(duì)應(yīng)的亮度值Y (x，y)(加上亮度值{-Y (x，y)})。然后，通過該減法，校正部分49將以對(duì)于幀n上的每個(gè)像素獲得的值作為亮度值的幀提供至未示出的硬盤等作為校正后的幀以存儲(chǔ)。[噪聲屬性檢測(cè)器45的細(xì)節(jié)]接下來，圖4具體示出了噪聲屬性檢測(cè)器45的配置示例。噪聲屬性檢測(cè)器45包括頻帶分尚部分61和分布圖測(cè)量部分62-65。頻帶分離部分61將來自差異計(jì)算部分41的幀差異信號(hào)分離為不同頻率分量(例如，高頻分量、中/高頻分量、中/低頻分量、以及低頻分量)的功率電平。這里，對(duì)于作為幀差異信號(hào)的每個(gè)差異值diffy (x，y)計(jì)算功率電平，并且通過用于分離為預(yù)定頻率分量的濾波器系數(shù)與所述差異值diffy (x，y)的乘法加法運(yùn)算來計(jì)算所述功率電平。也就是說，例如，頻帶分離部分61連續(xù)地關(guān)注來自差異計(jì)算部分41的作為幀差異信號(hào)的差異值diffy (X, y)。在與幀差異信號(hào)對(duì)應(yīng)的不同幀中，頻帶分離部分61計(jì)算包括在以所關(guān)注的目標(biāo)差異值diffy(x，y)為中心的塊中的每個(gè)像素的差異值diffy(x，y)和用于分離高頻分量的濾波器系數(shù)w的乘法加法運(yùn)算。然后，頻帶分離部分61將通過乘法加法運(yùn)算獲得的差異值difTy(x，y)的高頻功率電平提供給分布圖測(cè)量部分62。相應(yīng)地,分布圖測(cè)量部分62從頻帶分尚部分61接收與幀差異信號(hào)對(duì)應(yīng)的每個(gè)差異值diffy (x，y)的高頻功率電平。對(duì)于與來自運(yùn)動(dòng)電平檢測(cè)器44的靜止區(qū)域Ds(x，y)對(duì)應(yīng)的每個(gè)差異值diffy (x，y)的聞?lì)l功率電平PL(x, y),分布圖測(cè)量部分62測(cè)量例如如圖5所不的分布的分布圖(聞?lì)l功率分布圖)。應(yīng)注意，在圖5中，水平軸表示高頻功率電平，垂直軸表示靜止區(qū)域Ds (X，y)上與高頻功率電平PL(x，y)對(duì)應(yīng)的像素?cái)?shù)量。這里,如上所述,與靜止區(qū)域Ds (X, y)對(duì)應(yīng)的每個(gè)差異值diffy (X, y)僅根據(jù)在靜止區(qū)域Ds(x，y)中產(chǎn)生的噪聲而改變。因此，高頻功率電平PL(x，y)表示在幀n上的靜止區(qū)域Ds (x，y)的高頻分量中產(chǎn)生的噪聲的高頻功率電平。因此，高頻功率分布圖表示在幀n上的靜止區(qū)域Ds (x，y)的高頻分量中產(chǎn)生的噪聲的高頻功率電平的分布。分布圖測(cè)量部分62基于高頻功率分布圖，將高頻功率電平的最大值提供給時(shí)間·方向NR部分46作為高頻噪聲功率的最大值。類似地，頻帶分離部分61對(duì)于與幀差異信號(hào)對(duì)應(yīng)的每個(gè)差異值diffy (x，y)計(jì)算中/高頻功率電平，并將其提供給分布圖測(cè)量部分63。此外，頻帶分離部分61對(duì)于與幀差異信號(hào)對(duì)應(yīng)的每個(gè)差異值diffy (x，y)計(jì)算中/低頻功率電平，并將其提供給分布圖測(cè)量部分64。此外，頻帶分離部分61對(duì)于與幀差異信號(hào)對(duì)應(yīng)的每個(gè)差異值diffy (x，y)計(jì)算低頻功率電平，并將其提供給分布圖測(cè)量部分65。如同分布圖測(cè)量部分62，分布圖測(cè)量部分63-65從運(yùn)動(dòng)電平檢測(cè)器44接收靜止區(qū)域，并且分布圖測(cè)量部分63-65進(jìn)行與分布圖測(cè)量部分62的處理相似的處理。也就是說，例如，分布圖測(cè)量部分63基于中/高頻功率分布圖，將中/高頻功率電平的最大值提供給時(shí)間方向NR部分46作為中/高頻噪聲功率的最大值。此外，分布圖測(cè)量部分64基于中/低頻功率分布圖，將中/低頻功率電平的最大值提供給時(shí)間方向NR部分46作為中/低頻噪聲功率的最大值。此外，分布圖測(cè)量部分65基于低頻功率分布圖，將低頻功率電平的最大值提供給時(shí)間方向NR部分46作為低頻噪聲功率的最大值。換句話說，高頻噪聲功率的最大值、中/高頻噪聲功率的最大值、中/低頻噪聲功率的最大值以及低頻噪聲功率的最大值分別被從分布圖測(cè)量部分62-65提供給時(shí)間方向NR部分46作為噪聲屬性信息。接下來，參考圖6A-6D以及7A-7D，將給出表示在靜止區(qū)域Ds(x，y)上產(chǎn)生的噪聲的屬性的高頻噪聲功率的最大值、中/高頻噪聲功率的最大值、中/低頻噪聲功率的最大值以及低頻噪聲功率的最大值的描述。圖6A-6D示出了未被運(yùn)動(dòng)畫面專家組(MPEG)壓縮等壓縮的幀n的噪聲屬性信息的示例。圖6A-6D示出了作為噪聲屬性信息的高頻噪聲功率的最大值、中/高頻噪聲功率的最大值、中/低頻噪聲功率的最大值以及低頻噪聲功率的最大值。如圖6A-6D所示，當(dāng)幀n未被MPEG壓縮等壓縮時(shí)，高頻噪聲功率的最大值、中/高頻噪聲功率的最大值、中/低頻噪聲功率的最大值以及低頻噪聲功率的最大值幾乎相等。也就是說，作為在幀n的靜止區(qū)域Ds (x，y)中產(chǎn)生的噪聲的屬性，在任何頻率分量中出現(xiàn)相同的噪聲。
圖7A-7D示出了被運(yùn)動(dòng)畫面專家組(MPEG)壓縮等壓縮的幀n的噪聲屬性信息的示例。圖7A-7D示出了作為噪聲屬性信息的高頻噪聲功率的最大值、中/高頻噪聲功率的最大值、中/低頻噪聲功率的最大值以及低頻噪聲功率的最大值。當(dāng)幀n被MPEG壓縮等壓縮時(shí)，頻率分量越高，量化越粗糙。因此，如圖7A-7D所示，顯然，隨著頻率分量越高，噪聲功率的最大值越小。也就是說，作為在幀n的靜止區(qū)域Ds (x，y)中產(chǎn)生的噪聲的屬性，認(rèn)識(shí)到隨著頻率分量越高，噪聲功率的最大值越小。[時(shí)間方向NR部分46的細(xì)節(jié)]接下來，圖8具體示出了時(shí)間方向NR部分46的配置示例。、
時(shí)間方向NR部分46包括頻帶分離部分81、校正部分82_85、以及頻帶合成部分86。如同頻帶分離部分61，頻帶分離部分81將來自差異計(jì)算部分41的幀差異信號(hào)分離為高頻功率電平、中/高頻功率電平、中/低頻功率電平、以及低頻功率電平。然后，頻帶分離部分81分別將高頻功率電平提供給校正部分82，將中/高頻功率電平提供給校正部分83，將中/低頻功率電平提供給校正部分84，以及將低頻功率電平提供給校正部分85。校正部分82從圖4中所示的分布圖測(cè)量部分62接收高頻噪聲功率的最大值。校正部分82對(duì)于來自頻帶分離部分81的高頻功率電平中的低于或等于來自分布圖測(cè)量部分62的高頻噪聲功率的最大值的高頻功率電平執(zhí)行噪聲去除處理。也就是說,高頻噪聲功率的最大值表示在幀n的靜止區(qū)域Ds (x，y)中產(chǎn)生的噪聲的高頻功率電平的最大值。因此，低于或等于高頻噪聲功率的最大值的高頻功率電平不是由像素運(yùn)動(dòng)引起的而是由噪聲引起的，其經(jīng)歷在時(shí)間方向上的噪聲去除處理。因此，例如，校正部分82在接近高頻噪聲功率的最大值時(shí)增加噪聲去除的量，并且在偏離高頻噪聲功率的最大值時(shí)降低噪聲去除的量。圖9示出了由校正部分82執(zhí)行的噪聲去除處理。在圖9中，函數(shù)101表示代表去除噪聲的程度的去除量，函數(shù)102表示通過根據(jù)該去除量校正從校正部分82輸入的高頻功率電平而獲得的校正后的高頻功率電平的輸出。正如函數(shù)102那樣，校正部分82向頻帶合成部分86提供通過在接近高頻噪聲功率的最大值時(shí)大幅校正來自頻帶分離部分81的高頻功率電平而獲得的高頻校正功率電平。應(yīng)注意，校正部分83-85進(jìn)行與校正部分82相似的處理。也就是說，例如，校正部分83對(duì)于來自頻帶分離部分81的中/高頻功率電平中的低于或等于來自分布圖測(cè)量部分63的中/高頻噪聲功率的最大值的中/高頻功率電平執(zhí)行與校正部分82的噪聲去除處理相似的噪聲去除處理，并將作為結(jié)果的中/高頻校正功率電平提供給頻帶合成部分86。此外，例如，校正部分84對(duì)于來自頻帶分離部分81的中/低頻功率電平中的低于或等于來自分布圖測(cè)量部分64的中/低頻噪聲功率的最大值的中/低頻功率電平執(zhí)行與校正部分82的噪聲去除處理相似的噪聲去除處理，并將作為結(jié)果的中/低頻校正功率電平提供給頻帶合成部分86。此外，例如，校正部分85對(duì)于來自頻帶分離部分81的低頻功率電平中的低于或等于來自分布圖測(cè)量部分65的低頻噪聲功率的最大值的低頻功率電平執(zhí)行與校正部分82的噪聲去除處理相似的噪聲去除處理，并將作為結(jié)果的低頻校正功率電平提供給頻帶合成部分86。頻帶合成部分86將來自校正部分82的高頻校正功率電平、來自校正部分83的中/高頻校正功率電平、來自校正部分84的中/低頻校正功率電平以及來自校正部分85的低頻校正功率電平組合，并將作為結(jié)果的校正量A提供給混合部分48。校正量A是為幀n的每個(gè)像素計(jì)算的。[空間方向NR部分47的細(xì)節(jié)]
圖10具體示出了空間方向NR部分47的配置示例?？臻g方向NR部分47包括印silon計(jì)算部分121、垂直處理部分122、以及水平處理部分123。如圖11所示，印silon計(jì)算部分121基于來自噪聲電平檢測(cè)器43的噪聲電平來計(jì)算用于印silon濾波器的值e (印silon)，并將該值提供給垂直處理部分122和水平處理部分123。垂直處理部分122在垂直方向上使用epsilon濾波器來對(duì)來自未示出的成像部分的幀n執(zhí)行濾波處理。也就是說，例如，垂直處理部分122關(guān)注于來自未示出的成像部分的幀n的每個(gè)像素，并計(jì)算所關(guān)注的像素和在垂直方向上相鄰的像素之間的像素值的差異的絕對(duì)值。然后，當(dāng)所計(jì)算的差異的絕對(duì)值不大于或等于來自epsilon計(jì)算部分121的值e時(shí)，垂直處理部分122使用低通濾波器對(duì)于幀n上的目標(biāo)像素執(zhí)行濾波處理。應(yīng)注意，當(dāng)所計(jì)算的差異的絕對(duì)值大于或等于來自印silon計(jì)算部分121的值e時(shí)，垂直處理部分122不執(zhí)行濾波處理。垂直處理部分122關(guān)注于幀n上的所有像素，并且依序地將處理后的幀n提供給水平處理部分123。水平處理部分123在水平方向上使用epsilon濾波器來對(duì)來自垂直處理部分122的幀n執(zhí)行濾波處理。也就是說，例如，水平處理部分123關(guān)注于來自垂直處理部分122的幀n的每個(gè)像素，并計(jì)算所關(guān)注的像素和在水平方向上相鄰的像素之間的像素值的差異的絕對(duì)值。然后，當(dāng)所計(jì)算的差異的絕對(duì)值不大于或等于來自epsilon計(jì)算部分121的值e時(shí)，水平處理部分123使用低通濾波器對(duì)于幀n上的目標(biāo)像素執(zhí)行濾波處理。應(yīng)注意，當(dāng)所計(jì)算的差異的絕對(duì)值大于或等于來自印silon計(jì)算部分121的值e時(shí)，水平處理部分123不執(zhí)行濾波處理。水平處理部分123關(guān)注于幀n上的所有像素，并且依序地將處理后的幀n上的每個(gè)像素的亮度值提供給混合部分48作為用于幀n的每個(gè)像素的校正量B。[混合部分48的細(xì)節(jié)]圖12具體示出了混合部分48的配置示例?；旌喜糠?8包括權(quán)重計(jì)算部分141、相減部分142、相乘部分143、相乘部分144、以及相加部分145。對(duì)于每個(gè)像素，權(quán)重計(jì)算部分141基于來自計(jì)算運(yùn)動(dòng)電平檢測(cè)器44的用于幀n的每個(gè)像素的運(yùn)動(dòng)電平來計(jì)算與亮度值Y (x，y)相乘的校正量B的權(quán)重a，并將所計(jì)算的結(jié)果提供給相減部分142和相乘部分143。相減部分142從預(yù)先存儲(chǔ)值I中減去從權(quán)重計(jì)算部分141獲得的權(quán)重a，并將作為結(jié)果的權(quán)重(1-a)提供給相乘部分144。相乘部分143將從權(quán)重計(jì)算部分141獲得的權(quán)重a與來自空間方向NR部分47的校正量B相乘，并將相乘的結(jié)果(a XB)提供給相加部分145。相乘部分144將從相減部分142獲得的權(quán)重(1-a)與來自時(shí)間方向NR部分46的校正量A相乘，并將相乘的結(jié)果{(l-a)XA}提供給相加部分145。相加部分145將從相乘部分143獲得的相乘結(jié)果(a XB)和從相乘部分144獲得的相乘結(jié)果{(l-a)XA}相加，并將相加的結(jié)果{(1-a ) XA+a XB}提供給校正部分49作為校正量C。也就是說，如圖13所示，混合部分48根據(jù)幀n的每個(gè)像素的運(yùn)動(dòng)電平來確定校正量B的權(quán)重a。[圖像處理裝置21的操作的解釋]接下來，參考圖14的流程圖，將描述由圖像處理裝置21進(jìn)行的圖像處理。在提供包括通過未示出的成像部分進(jìn)行成像而獲取的運(yùn)動(dòng)圖像的幀n時(shí)，圖像處理開始。在步驟S21，差異計(jì)算部分41從自未示出的成像部分輸入的幀n上的亮度值Y (x,y)中減去巾貞n-1上的亮度值Y(x, y)',并將作為結(jié)果的差異值diffy (x, y)通過時(shí)間方向NR部分46提供給噪聲電平檢測(cè)器43作為幀差異信號(hào)。在步驟S22，均勻性檢測(cè)器42關(guān)注從未示出的成像部分輸入的幀n上的每個(gè)像素p(x, y)，并且按照表達(dá)式⑴和⑵計(jì)算表示所關(guān)注的目標(biāo)像素p (x，y)的亮度值Y(x，y)的方差的空間方差varO。此外，均勻性檢測(cè)器42關(guān)注于幀n上的所有像素p (x，y)，并基于為幀n上的每個(gè)像素P (X, y)所計(jì)算的空間方差varO來依序檢測(cè)每個(gè)像素p (x, y)的均勻性f (x, y)。然后，均勻性檢測(cè)器42基于為幀n上的每個(gè)像素p (x，y)檢測(cè)的均勻性f(x，y)來檢測(cè)幀n上的均勻區(qū)域D (x，y)，并將其提供給噪聲電平檢測(cè)器43。在步驟S23，噪聲電平檢測(cè)器43在來自差異計(jì)算部分41的作為幀差異信號(hào)的多個(gè)差異值diffy (x，y)中、基于與來自均勻性檢測(cè)器42的均勻區(qū)域D(x，y)對(duì)應(yīng)的差異值diffy (X, y),按照表達(dá)式(3)和⑷來計(jì)算表示與均勻區(qū)域D (x,y)對(duì)應(yīng)的差異值diffy (x,y)的方差的時(shí)間方差varl。然后，如圖2所示，噪聲電平檢測(cè)器43基于所計(jì)算的時(shí)間方差varl的分布來檢測(cè)幀n的噪聲電平，并將其提供給運(yùn)動(dòng)電平檢測(cè)器44和空間方向NR部分47。在步驟S24，運(yùn)動(dòng)電平檢測(cè)器44按照表達(dá)式(3)和(4)基于來自差異計(jì)算部分41的作為幀差異信號(hào)的差異值diffy (x，y)，來計(jì)算幀n上的每個(gè)像素p(x，y)的時(shí)間方差varl o然后，運(yùn)動(dòng)電平檢測(cè)器44基于幀n上的每個(gè)像素p(x，y)的所計(jì)算的時(shí)間方差varl是否等于或小于從噪聲電平檢測(cè)器43提供的噪聲電平，來檢測(cè)幀n上的靜止區(qū)域Ds (x，y)，并將其提供給噪聲屬性檢測(cè)器45。在步驟S25，如圖3所示，運(yùn)動(dòng)電平檢測(cè)器44將幀n上的每個(gè)像素p(x，y)的時(shí)間方差varl除以最大時(shí)間方差max(varl)(通過最大時(shí)間方差max(varl),將巾貞n上的每個(gè)像素P(x，y)的時(shí)間方差varl歸一化)，檢測(cè)每個(gè)像素的運(yùn)動(dòng)電平，并且將其提供給混合部分48。在步驟S26，噪聲屬性檢測(cè)器45在來自差異計(jì)算部分41的作為幀差異信號(hào)的多個(gè)差異值diffy(x，y)中、基于與來自運(yùn)動(dòng)電平檢測(cè)器44的靜止區(qū)域Ds (x，y)對(duì)應(yīng)的差異值diffy (x, y),檢測(cè)靜止區(qū)域Ds(x, y)的噪聲屬性信息,并將其提供給時(shí)間方向NR部分46。
在步驟S27，時(shí)間方向NR部分46基于來自差異計(jì)算部分41的作為幀差異信號(hào)的差異值diffy (x，y)以及來自噪聲屬性檢測(cè)器45的噪聲屬性信息，來計(jì)算校正量A，并將所計(jì)算的量提供給混合部分48。在步驟S28，空間方向NR部分47基于來自未示出的成像部分的幀n和來自噪聲電平檢測(cè)器43的噪聲電平來計(jì)算校正量B，并將所計(jì)算的量提供給混合部分48。在步驟S29，混合部分48基于來自運(yùn)動(dòng)電平檢測(cè)器44的幀n上的每個(gè)像素的運(yùn)動(dòng)電平，對(duì)于幀n上的每個(gè)像素，將來自時(shí)間方向NR部分46的校正量A和來自空間方向NR部分47的校正量B以預(yù)定比率混合，并將通過混合結(jié)果獲得的校正量C提供給校正部分49。
在步驟S30，校正部分49基于來自混合部 分48的校正量C來校正來自未示出的成像部分的幀n，并將其提供至例如未示出的硬盤等以存儲(chǔ)。在來自未示出的成像部分的所有幀n被處理之后，圖像處理完成。如上所述，根據(jù)圖像處理，由于取決于噪聲電平來檢測(cè)靜止區(qū)域，因此可以精確地檢測(cè)靜止區(qū)域而與在該幀中產(chǎn)生多少噪聲無關(guān)。此外，運(yùn)動(dòng)電平檢測(cè)器44可以基于幀n上的每個(gè)像素p(x，y)的時(shí)間方差varl是否等于或小于來自噪聲電平檢測(cè)器43的噪聲電平，一起檢測(cè)靜止區(qū)域Ds (x，y)和運(yùn)動(dòng)區(qū)域，或者取代檢測(cè)靜止區(qū)域Ds (x，y)而檢測(cè)運(yùn)動(dòng)區(qū)域。在此情況下，同樣可以精確地檢測(cè)運(yùn)動(dòng)區(qū)域而與在幀n中產(chǎn)生多少噪聲無關(guān)。因此，由于可以精確地檢測(cè)幀n上的靜止區(qū)域和運(yùn)動(dòng)區(qū)域，因此可以適當(dāng)?shù)貜撵o止區(qū)域和運(yùn)動(dòng)區(qū)域中去除噪聲。相應(yīng)地，例如，可以防止通過在時(shí)間方向上錯(cuò)誤地執(zhí)行從運(yùn)動(dòng)區(qū)域中去除噪聲而引起的運(yùn)動(dòng)模糊等。此外，根據(jù)圖像處理，在差異值diffy (x，y)僅由于噪聲而改變的情況下從靜止區(qū)域中檢測(cè)噪聲屬性信息。因此，例如，與其中在差異值diffy (x，y)由于對(duì)象運(yùn)動(dòng)和噪聲而改變的情況下從運(yùn)動(dòng)區(qū)域中檢測(cè)噪聲屬性信息的情況相比，可以更精確地檢測(cè)噪聲屬性信
肩、O因此，例如，可以精確地去除各種噪聲，諸如，在模擬數(shù)字(AD)轉(zhuǎn)換期間由于采樣誤差而產(chǎn)生的傳輸噪聲、由于調(diào)諧器等而產(chǎn)生的弱電場(chǎng)噪聲、由于照相機(jī)的成像期間而產(chǎn)生的傳感器噪聲、由于MPEG壓縮的劣化而產(chǎn)生的噪聲、以及由于通過按照預(yù)定尺寸縮放幀造成的頻率降級(jí)而產(chǎn)生的噪聲。2.第二實(shí)施例[圖像處理裝置161的配置示例]
圖15示出了根據(jù)第二實(shí)施例的圖像處理裝置161的配置示例。在圖像處理裝置161中，向以與圖I所示的圖像處理裝置121相同的方式形成的組件給出相同的標(biāo)記符號(hào)，因此下面將適當(dāng)?shù)厥÷云浣忉尅Ｒ簿褪钦f，除了替代圖I中的時(shí)間方向NR部分46到校正部分49地提供MC型NR部分181之外，以與圖像處理裝置121相同的方式形成圖像處理裝置161。MC型NR部分181執(zhí)行運(yùn)動(dòng)補(bǔ)償(motion compensation, MC型)噪聲去除(降噪)。也就是說，例如，MC型NR部分181基于來自未示出的成像部分的幀n-1和幀n、來自噪聲電平檢測(cè)器43的噪聲電平、來自運(yùn)動(dòng)電平檢測(cè)器44的每個(gè)像素的運(yùn)動(dòng)電平、以及來自噪聲屬性檢測(cè)器45的噪聲屬性信息來去除在幀n中產(chǎn)生的噪聲，并將去除了噪聲的幀n提供至未示出的硬盤等以存儲(chǔ)。
具體地，例如，當(dāng)來自噪聲電平檢測(cè)器43的噪聲電平低于預(yù)定閾值時(shí)，MC型NR部分181確定幀n具有很少噪聲。當(dāng)幀n具有很少噪聲時(shí)，與如在第一實(shí)施例中所述地檢測(cè)靜止區(qū)域等的情況相t匕，通過使用運(yùn)動(dòng)向量檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域的精度增加。因此，在此情況下，例如，MC型NR部分181將來自未示出的成像部分的幀n分離為多個(gè)塊。此外，MC型NR部分181基于來自未示出的成像部分的幀n-1和幀n，對(duì)于幀n上的所述多個(gè)塊中的每一個(gè)檢測(cè)表示塊運(yùn)動(dòng)的運(yùn)動(dòng)向量。然后，MC型NR部分181基于所述多個(gè)塊中的每個(gè)塊的運(yùn)動(dòng)向量，來檢測(cè)每個(gè)塊是靜止區(qū)域還是運(yùn)動(dòng)區(qū)域。MC型NR部分181對(duì)于被檢測(cè)為運(yùn)動(dòng)區(qū)域的塊執(zhí)行在空間方向上的噪聲去除處理，且強(qiáng)度對(duì)應(yīng)于來自噪聲電平檢測(cè)器43的噪聲電平。此外，對(duì)于每個(gè)頻率分量，MC型NR部分181對(duì)于被檢測(cè)為靜止區(qū)域的塊執(zhí)行在時(shí)間方向上的噪聲去除處理，且強(qiáng)度對(duì)應(yīng)于來自噪聲屬性檢測(cè)器45的噪聲屬性信息。此外，例如，當(dāng)來自噪聲電平檢測(cè)器43的噪聲電平大于或等于預(yù)定閾值時(shí)，MC型NR部分181確定幀n具有很多噪聲。當(dāng)幀n具有很多噪聲時(shí)，運(yùn)動(dòng)向量可能被錯(cuò)誤地檢測(cè)，從而MC型NR部分181通過進(jìn)行與圖I中的時(shí)間方向NR部分46到校正部分49的處理相似的處理來去除幀n上的噪聲。在具有該結(jié)構(gòu)的MC型NR部分181中，由于可以精確地檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域，因此可以移除噪聲從而顯著地降低運(yùn)動(dòng)模糊。此外，在幀n具有很多噪聲時(shí)，MC型NR部分181進(jìn)行與圖I中的時(shí)間方向NR部分46到校正部分49的處理相似的處理，從而可以防止(抑制)由于在塊上產(chǎn)生的噪聲而弓I起的對(duì)運(yùn)動(dòng)向量的錯(cuò)誤檢測(cè)。因此，例如，MC型NR部分181可以防止以下問題，諸如在由于對(duì)運(yùn)動(dòng)向量的錯(cuò)誤檢測(cè)而難以適當(dāng)?shù)貜撵o止區(qū)域和運(yùn)動(dòng)區(qū)域中去除噪聲時(shí)產(chǎn)生的噪聲突發(fā)和水平行的降級(jí)。在此情況下，噪聲突發(fā)意味著在幀n上產(chǎn)生的噪聲重復(fù)地停止和開始的現(xiàn)象。水平行的降級(jí)意味著在幀n上的塊中存在的水平行的輪廓混亂的現(xiàn)象。3.修改
在第一和第二實(shí)施例中，通過在差異計(jì)算部分41中從幀n的亮度值Y (x，y)中減去中貞n-1的亮度值Y (X, y)'來計(jì)算差異值diffy (X, y)。然而,計(jì)算差異值diffy (x, y)的方法不限于上述方法。也就是說，例如，在差異計(jì)算部分41中，可以通過從幀n的亮度值Y(x，y)中減去中貞n+1的亮度值Y (X, y)"來計(jì)算差異值diffy (x, y)。該技術(shù)可以被如下地配置。(I)圖像處理裝置，包括均勻性檢測(cè)器，被配置為基于構(gòu)成輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域；差異計(jì)算部分，被配置為計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異；噪聲電平檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差，檢測(cè)用于指示構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及運(yùn)動(dòng)檢測(cè)器，被配置為基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中對(duì)象是運(yùn)動(dòng)的區(qū)域。(2)根據(jù)第(I)項(xiàng)的圖像處理裝置，還包括噪聲屬性檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的靜止區(qū)域的每個(gè)像素對(duì)應(yīng)的差異，檢測(cè)用于指示在靜止區(qū)域中產(chǎn)生的噪聲的屬性的噪聲屬性信息。(3)根據(jù)第(2)項(xiàng)的圖像處理裝置，其中，所述噪聲屬性檢測(cè)器對(duì)通過將與構(gòu)成靜止區(qū)域的每個(gè)像素對(duì)應(yīng)的差異分離為預(yù)定的頻率分量而獲得的多個(gè)功率電平的最大值進(jìn)行檢測(cè)，作為所述噪聲屬性信息，所述最大值是為每個(gè)頻率分量獲得的。(4)根據(jù)第(2)或(3)項(xiàng)的圖像處理裝置，還包括降噪部分，被配置為基于所述噪聲屬性信息和所述噪聲電平中的至少一個(gè)，來降低在第一圖像中產(chǎn)生的噪聲。(5)根據(jù)第(4)項(xiàng)的圖像處理裝置，其中，所述降噪部分還包括第一校正量計(jì)算部分，被配置為基于所述噪聲屬性信息來計(jì)算用于降低在靜止區(qū)域中產(chǎn)生的噪聲的第一校正量；第二校正量計(jì)算部分，被配置為基于所述噪聲電平來計(jì)算用于降低在運(yùn)動(dòng)區(qū)域中產(chǎn)生的噪聲的第二校正量；混合部分，被配置為混合第一校正量和第二校正量；以及校正部分，被配置為基于通過在混合部分中混合而獲得的第三校正量來校正第一圖像的每個(gè)像素的像素值。(6)根據(jù)第(I)項(xiàng)的圖像處理裝置，其中，所述噪聲電平檢測(cè)器將與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差中最頻的方差檢測(cè)作為噪聲電平。應(yīng)注意，上面描述的處理序列可以由硬件執(zhí)行或者可以由軟件執(zhí)行。當(dāng)所述處理序列由軟件執(zhí)行時(shí)，構(gòu)成軟件的程序例如從程序記錄介質(zhì)中被安裝到被并入專用硬件中的計(jì)算機(jī)中、或者被安裝到能夠安裝各種程序以執(zhí)行各種功能的通用計(jì)算機(jī)中。[計(jì)算機(jī)的配置示例]圖16是示出用于利用程序?qū)嵤┥厦婷枋龅奶幚硇蛄械挠?jì)算機(jī)的硬件的配置示例的框圖。中央處理單元(CPU) 201根據(jù)在只讀存儲(chǔ)器(ROM) 202或存儲(chǔ)部分208中存儲(chǔ)的程序來運(yùn)行各種處理。要由CPU 201運(yùn)行的程序、數(shù)據(jù)等被適當(dāng)?shù)卮鎯?chǔ)在隨機(jī)存取存儲(chǔ)器(RAM) 203 中。CPU 201, ROM 202 和 RAM 203 通過總線 204 彼此連接。、
而且，輸入/輸出接口 205通過總線204與CPU 201連接。包括鍵盤、鼠標(biāo)、麥克風(fēng)等的輸入部分206以及包括顯示單元、揚(yáng)聲器等的輸出部分207連接到輸入/輸出接口205。CPU 201根據(jù)從輸入部分206輸入的指令運(yùn)行各種處理。然后，CPU 201將處理結(jié)果輸出到輸出部分207。與輸入/輸出接口 205連接的存儲(chǔ)部分208包括例如硬盤，并存儲(chǔ)要由CPU 201運(yùn)行的程序和各種數(shù)據(jù)。通信部分209通過網(wǎng)絡(luò)或諸如局域網(wǎng)之類的網(wǎng)絡(luò)和與其連接的外
部裝置通信?？梢酝ㄟ^通信部分209獲得程序并將其存儲(chǔ)至存儲(chǔ)部分208中。驅(qū)動(dòng)器210與輸入/輸出接口 205連接。當(dāng)可移除介質(zhì)211 (諸如磁盤、光盤、磁 光盤、或半導(dǎo)體存儲(chǔ)體)被裝載到驅(qū)動(dòng)器210中時(shí)，驅(qū)動(dòng)器210驅(qū)動(dòng)可移動(dòng)介質(zhì)211。由此，驅(qū)動(dòng)器210獲得記錄在可移動(dòng)介質(zhì)211上的程序、數(shù)據(jù)等。根據(jù)實(shí)際需要，所獲取的程序或數(shù)據(jù)被轉(zhuǎn)移并存儲(chǔ)至存儲(chǔ)部分208中。在其上記錄(存儲(chǔ))要被安裝到計(jì)算機(jī)中或者被至于可執(zhí)行狀況的程序的程序記錄介質(zhì)可以是例如如圖16所示的以包裝介質(zhì)形式的可移除介質(zhì)211，所述包裝介質(zhì)是從磁盤(包括軟盤)、光盤(包括⑶_R0M(壓縮只讀盤存儲(chǔ)器)和DVD(數(shù)字多用途盤))、磁光盤(包括MD (迷你盤))、或半導(dǎo)體存儲(chǔ)器?；蛘撸绦蛴涗浗橘|(zhì)可以被形成為ROM 202、在存儲(chǔ)部分208中包括的硬盤、或其中暫時(shí)地或永久地存儲(chǔ)程序的類似物。根據(jù)實(shí)際需要，通過通信部分209(其是諸如路由器和調(diào)制解調(diào)器之類的接口)，使用諸如局域網(wǎng)、網(wǎng)絡(luò)或數(shù)字衛(wèi)星廣播之類的有線或無線通信介質(zhì)，實(shí)施將程序記錄至程序記錄介質(zhì)中或記錄在程序記錄介質(zhì)上。應(yīng)注意，在本說明書中，描述上面描述的處理序列的步驟可以但是不一定按照如上所述的順序以時(shí)間序列被處理，并且可以包括并行地或者單獨(dú)地運(yùn)行而沒有按照時(shí)間序列被處理的處理。此外，本公開的實(shí)施例不限于上述第一和第二實(shí)施例，而是可以在不偏離本公開的精神和范圍的情況下作出各種變更和修改。本公開包含與在2011年4月27日向日本專利局提交的日本優(yōu)先專利申請(qǐng)JP2011-099539中公開的主題相關(guān)的主題，通過引用將其全部?jī)?nèi)容并入于此。
權(quán)利要求
1.一種圖像處理裝置，包括 均勻性檢測(cè)器，被配置為基于構(gòu)成輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域； 差異計(jì)算部分，被配置為計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異； 噪聲電平檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素相對(duì)應(yīng)的差異的方差，檢測(cè)用于指示在構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及 運(yùn)動(dòng)檢測(cè)器，被配置為基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中該對(duì)象是運(yùn)動(dòng)的區(qū)域。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括 噪聲屬性檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的靜止區(qū)域的每個(gè)像素對(duì)應(yīng)的差異，檢測(cè)用于指示在靜止區(qū)域中產(chǎn)生的噪聲的屬性的噪聲屬性信息。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 所述噪聲屬性檢測(cè)器對(duì)通過將與構(gòu)成靜止區(qū)域的每個(gè)像素對(duì)應(yīng)的差異分離為預(yù)定的頻率分量而獲得的多個(gè)功率電平的最大值進(jìn)行檢測(cè)，作為所述噪聲屬性信息，所述最大值是為每個(gè)頻率分量獲得的。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括 降噪部分，被配置為基于所述噪聲屬性信息和所述噪聲電平中的至少一個(gè)，來降低在第一圖像中產(chǎn)生的噪聲。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中 所述降噪部分包括 第一校正量計(jì)算部分，被配置為基于所述噪聲屬性信息來計(jì)算用于降低在靜止區(qū)域中產(chǎn)生的噪聲的第一校正量； 第二校正量計(jì)算部分，被配置為基于所述噪聲電平來計(jì)算用于降低在運(yùn)動(dòng)區(qū)域中產(chǎn)生的噪聲的第二校正量； 混合部分，被配置為混合第一校正量和第二校正量；以及 校正部分，被配置為基于通過在混合部分中混合而獲得的第三校正量來校正第一圖像的每個(gè)像素的像素值。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述噪聲電平檢測(cè)器將與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素對(duì)應(yīng)的差異的方差中最頻的方差檢測(cè)作為所述噪聲電平。
7.一種用于被配置為處理要輸入的圖像的圖像處理裝置的圖像處理方法，所述方法包括通過所述圖像處理裝置， 基于構(gòu)成輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域； 計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異;基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素相對(duì)應(yīng)的差異的方差，檢測(cè)用于指示在構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及 基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中該對(duì)象是運(yùn)動(dòng)的區(qū)域。
8.一種使得計(jì)算機(jī)用作以下功能的程序 均勻性檢測(cè)器，被配置為基于構(gòu)成輸入的在第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域； 差異計(jì)算部分，被配置為計(jì)算第一圖像和第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異； 噪聲電平檢測(cè)器，被配置為基于與構(gòu)成第一圖像上的均勻區(qū)域的每個(gè)像素相對(duì)應(yīng)的差異的方差，檢測(cè)用于指示構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平；以及 運(yùn)動(dòng)檢測(cè)器，被配置為基于與構(gòu)成第一圖像的每個(gè)像素對(duì)應(yīng)的差異的方差與噪聲電平之間的比較結(jié)果，檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中該對(duì)象是運(yùn)動(dòng)的區(qū)域。
全文摘要
提供了一種圖像處理裝置、圖像處理方法以及程序。該圖像處理裝置包括均勻性檢測(cè)器、差異計(jì)算部分、噪聲電平檢測(cè)器、以及運(yùn)動(dòng)檢測(cè)器。均勻性檢測(cè)器基于構(gòu)成輸入的第一圖像的像素的像素值的方差，來檢測(cè)其中第一圖像上的像素的像素值是均勻的均勻區(qū)域。差異計(jì)算部分計(jì)算第一圖像和在第一圖像之前或之后連續(xù)的第二圖像的對(duì)應(yīng)像素的像素值之間的差異。噪聲電平檢測(cè)器基于該差異的方差，檢測(cè)用于指示在構(gòu)成第一圖像的每個(gè)像素中產(chǎn)生的噪聲的統(tǒng)計(jì)噪聲量的噪聲電平。運(yùn)動(dòng)檢測(cè)器檢測(cè)靜止區(qū)域和運(yùn)動(dòng)區(qū)域中的至少一個(gè)，所述靜止區(qū)域指示其中第一圖像上的對(duì)象是靜止的區(qū)域，所述運(yùn)動(dòng)區(qū)域指示其中該對(duì)象是運(yùn)動(dòng)的區(qū)域。
文檔編號(hào)H04N5/14GK102761681SQ201210118978
公開日2012年10月31日 申請(qǐng)日期2012年4月20日 優(yōu)先權(quán)日2011年4月27日
發(fā)明者內(nèi)田真樹, 青山幸治 申請(qǐng)人:索尼公司