本公開涉及用于處理圖像的方法和裝置，并且更具體地，涉及從多個輸入圖像生成具有改善的圖像質(zhì)量的輸出圖像的、用于處理圖像的方法和裝置。

背景技術：

在諸如照明相對低或背光的黑暗環(huán)境的較差圖像捕捉環(huán)境中通過使用諸如數(shù)碼相機的圖像捕捉裝置來捕捉圖像的情況下，可能發(fā)生圖像質(zhì)量劣化。例如，在為確保足夠的曝光時間而設定長曝光時間并執(zhí)行捕捉的情況下，可能發(fā)生由于長快門速度、圖像捕捉裝置的晃動或?qū)ο蟮囊苿右鸬倪\動模糊(motionblur)現(xiàn)象。此外，在將相機的靈敏度設定為高靈敏度并執(zhí)行捕捉的情況下，暗圖像與噪聲分量一同被放大，使得在整個圖像上可能出現(xiàn)大量的噪聲。

為了解決在這樣的低照明環(huán)境中捕捉的圖像的圖像質(zhì)量劣化問題，已經(jīng)開發(fā)了基于一個合成圖像片(sheet)移除運動模糊的技術、高性能噪聲移除技術等。近來，正在開發(fā)用于混合和處理多個圖像而非僅一個圖像片的技術。

技術實現(xiàn)要素：

[技術問題]

提供了一種用于處理圖像的方法和裝置，其在通過使用多個圖像生成具有改善的圖像質(zhì)量的輸出圖像時，通過減少確定相似性所需的操作量和存儲器移動量來提高噪聲移除速度。

提供了一種非暫態(tài)計算機可讀記錄介質(zhì)，其上記錄有用于在計算機上執(zhí)行根據(jù)示例實施例的處理圖像的方法的程序。通過示例實施例實現(xiàn)的技術目標不限于以上目的，并且可以從下面的示例實施例中推斷出其它技術目標。

附加方面將在以下描述中部分地闡述，并且部分地將從描述中顯而易見，或者可以通過實踐所提供的示例實施例而了解。

[技術的解決方案]

根據(jù)示例實施例的方面，一種從圖像移除噪聲的圖像處理方法，所述方法包括：獲取用于標準圖像的標準區(qū)域的標準表示值和用于參考圖像的參考區(qū)域的參考表示值，并且基于所述標準表示值和所述參考表示值獲取包括關于所述標準圖像和所述參考圖像具有不同分辨率的多個分層圖像的分層圖像結構；從所述分層圖像獲取所述用于標準圖像的標準區(qū)域的標準表示值和所述用于參考圖像的參考區(qū)域的參考表示值；從所述標準表示值和所述參考表示值確定所述標準區(qū)域和所述參考區(qū)域之間的相似性；以及依據(jù)所確定的相似性通過對所述標準圖像和所述參考圖像應用濾波來移除噪聲。

所述標準表示值從所述標準區(qū)域內(nèi)的像素的像素值獲取，并且所述參考表示值從所述參考區(qū)域內(nèi)的像素的像素值獲取。

每個標準表示值是所述標準區(qū)域內(nèi)的像素值的平均值或加權平均值，并且每個參考表示值是所述參考區(qū)域內(nèi)的像素值的平均值或加權平均值。

所述方法還可以包括：獲取包括所述標準圖像的像素和所述參考圖像的像素之間的運動矢量的運動信息，所述運動矢量依據(jù)將所述標準圖像的分層圖像與所述參考圖像的分層圖像相比較的結果而計算。

所述相似性的確定可以包括：基于所述運動信息，通過將所述標準區(qū)域的標準表示值和與所述標準表示值相匹配的所述參考區(qū)域的參考表示值相比較，來確定所述相似性。

所述相似性的確定可以包括：通過將所述標準表示值和所述參考表示值之間的差的絕對值與預先確定的閾值相比較，來確定所述相似性。

所述噪聲的移除可以包括：當確定所述標準圖像的標準區(qū)域相似于所述參考圖像的參考區(qū)域時，依據(jù)所述標準圖像的標準區(qū)域和所述參考圖像的參考區(qū)域之間的相似性將權重添加到所述參考圖像的參考區(qū)域，并且應用時間濾波以計算所述標準區(qū)域和所述參考區(qū)域的加權平均；以及當確定所述標準圖像的標準區(qū)域與所述參考圖像的參考區(qū)域不相似時，不應用所述濾波。

所述方法可以包括：對所述分層圖像結構的最高層的分層圖像至最低層的分層圖像，順序地執(zhí)行所述標準表示值和所述參考表示值的獲取、所述相似性的確定、以及所述噪聲的移除。

根據(jù)另一示例實施例的方面，一種非暫態(tài)計算機可讀記錄介質(zhì)，在其上記錄有用于執(zhí)行圖像處理方法的程序。

根據(jù)另一示例實施例的方面，一種用于從圖像移除噪聲的圖像處理裝置包括：分級圖像結構獲取單元，用于獲取用于標準圖像的標準區(qū)域的標準表示值和用于參考圖像的參考區(qū)域的參考表示值，并且基于所述標準表示值和所述參考表示值獲取包括關于所述標準圖像和所述參考圖像具有不同分辨率的多個分層圖像的分層圖像結構；表示值獲取單元，用于從所述分層圖像獲取所述用于標準圖像的標準區(qū)域的標準表示值和所述用于參考圖像的參考區(qū)域的參考表示值；相似性確定單元，用于從所述標準表示值和所述參考表示值確定所述標準區(qū)域和所述參考區(qū)域之間的相似性；以及噪聲移除單元，用于依據(jù)所確定的相似性通過對所述標準圖像和所述參考圖像應用濾波來移除噪聲。

所述分層圖像結構獲取單元從所述標準區(qū)域內(nèi)的像素的像素值獲取所述標準表示值，并且從所述參考區(qū)域內(nèi)的像素的像素值獲取所述參考表示值。

所述分層圖像結構獲取單元使用每個標準表示值作為所述標準區(qū)域內(nèi)的像素值的平均值或加權平均值，并且使用每個參考表示值作為所述參考區(qū)域內(nèi)的像素值的平均值或加權平均值。

所述圖像處理裝置還可以包括：運動信息獲取單元，用于獲取包括所述標準圖像的像素和所述參考圖像的像素之間的運動矢量的運動信息，所述運動矢量依據(jù)將所述標準圖像的分層圖像與所述參考圖像的分層圖像相比較的結果而計算。

所述相似性確定單元可以基于所述運動信息，通過將所述標準區(qū)域的標準表示值和與所述標準表示值相匹配的所述參考區(qū)域的參考表示值相比較，來確定所述相似性。

所述相似性確定單元可以通過將所述標準表示值和所述參考表示值之間的差的絕對值與預先確定的閾值相比較，來確定所述相似性。

當確定所述標準圖像的標準區(qū)域相似于所述參考圖像的參考區(qū)域時，所述噪聲移除單元可以對所述標準圖像的標準區(qū)域與所述參考圖像的參考區(qū)域應用時間濾波，以及當確定所述標準圖像的標準區(qū)域與所述參考圖像的參考區(qū)域不相似時，不應用所述時間濾波。

所述圖像處理裝置可以通過對所述分層圖像結構的最高層的分層圖像至最低層的分層圖像，順序地執(zhí)行獲取所述標準表示值和所述參考表示值的所述表示值獲取單元的操作、確定所述相似性的所述相似性確定單元的操作、以及移除所述噪聲的所述噪聲移除單元的操作，來獲取輸出圖像。

[有益效果]

根據(jù)本申請中公開的方法和裝置，通過減少操作量和存儲器移動量而提高了噪聲移除速度。

附圖說明

從以下結合附圖對示例實施例的描述中，這些和/或其它方面將變得顯而易見并且更容易理解，附圖中：

圖1是用于說明從多個輸入圖像生成輸出圖像的圖像處理裝置的框圖；

圖2是示出根據(jù)示例實施例的圖像處理裝置的配置的框圖；

圖3是用于說明根據(jù)示例實施例的分層圖像結構的圖；

圖4是示出根據(jù)示例實施例的針對每個圖像通道而獲取的分層圖像結構的圖；

圖5是示出獲取累積圖像1d曲線的示例實施例的圖；

圖6是示出估計運動信息的示例實施例的圖；

圖7是示出基于較高層的運動信息估計較低層的運動信息的示例實施例的圖；

圖8是示出在計算相似性期間直接比較標準圖像和參考圖像的情況下對輸入圖像進行圖像處理的方法的示意圖；

圖9是示出在相似性計算期間將在獲取分層圖像結構時同時獲取的標準表示值和參考表示值作比較的情況下對輸入圖像進行圖像處理的方法的示意圖；

圖10是用于說明基于分層圖像結構執(zhí)行圖像處理的操作的框圖；

圖11是說明根據(jù)示例實施例的圖像處理方法的流程圖。

最佳實施方式

根據(jù)示例實施例的方面，一種從圖像中移除噪聲的圖像處理方法，所述方法包括：獲取標準圖像的標準區(qū)域的標準表示值和參考圖像的參考區(qū)域的參考表示值，并且基于標準表示值和參考表示值獲取包括關于標準圖像和參考圖像的具有不同分辨率的多個分層圖像的分層圖像結構；從分層圖像中獲取標準圖像的標準區(qū)域的標準表示值和參考圖像的參考區(qū)域的參考表示值；從標準表示值和參考表示值中確定標準區(qū)域和參考區(qū)域之間的相似性；以及依據(jù)確定的相似性、通過對標準圖像和參考圖像應用濾波來移除噪聲。

根據(jù)另一示例實施例的方面，一種用于從圖像中移除噪聲的圖像處理裝置，所述裝置包括：分級圖像結構獲取單元，用于獲取標準圖像的標準區(qū)域的標準表示值和參考圖像的參考區(qū)域的參考表示值，并且基于標準表示值和參考表示值獲取包括關于標準圖像和參考圖像的具有不同分辨率的多個分層圖像的分層圖像結構；表示值獲取單元，用于從分層圖像獲取標準圖像的標準區(qū)域的標準表示值和參考圖像的參考區(qū)域的參考表示值；相似性確定單元，用于從標準表示值和參考表示值中確定標準區(qū)域和參考區(qū)域之間的相似性；以及噪聲移除單元，用于依據(jù)確定的相似性對標準圖像和參考圖像應用時間濾波來移除噪聲。

具體實施方式

僅在描述性意義上而非出于限制的目的參照附圖來詳細描述本發(fā)明構思的示例實施例。應當理解，僅出于實施的目的而非用于限制本發(fā)明構思的精神和范圍來提供以下描述的示例實施例。應當理解，本領域普通技術人員從詳細描述和示例實施例中容易推斷出的特征或方面屬于由所附的權利要求限定的范圍。

圖1是用于說明從多個輸入圖像110生成輸出圖像的圖像處理裝置100的框圖。

輸入圖像110表示針對相同對象以時間間隔連續(xù)捕捉的或同時捕捉的圖像?？梢詫⑤斎雸D像110中的一個設置為標準圖像112，并且可以將其余輸入圖像110設置為第一參考圖像114至第n參考圖像114-n。第一參考圖像114至第n參考圖像114-n可以是如圖1所示的“示的個圖像，并且在此情況下，“況下可以是等于或大于1的整數(shù)。

標準圖像112表示在由圖像處理裝置100執(zhí)行的圖像處理中充當標準的圖像，并且第一參考圖像114至第n參考圖像114-n表示用于該圖像處理的其余圖像。例如，標準圖像112可以是針對相同對象的捕捉圖像當中首先被捕捉的圖像，并且參考圖像114可以是在標準圖像112之后被捕捉的圖像。標準圖像112與參考圖像114之間的區(qū)別不限于以上示例實施例，并且圖像處理裝置100可以從多個圖像當中任意地或根據(jù)預定標準來確定標準圖像112。參考圖像可以是至少一個圖像，并且為了便于描述，本說明書僅描述了具有一個參考圖像114的情況。

圖像處理裝置100可以生成通過使用標準圖像112和參考圖像114作為輸入而被圖像處理的輸出圖像120。在以短曝光時間捕捉圖像的情況下，由于圖像捕捉裝置(諸如相機)的移動和對象的移動而引起的圖像質(zhì)量劣化可以包含在標準圖像112和參考圖像114中，并且圖像處理裝置100可以移除這樣的圖像質(zhì)量劣化并且生成圖像質(zhì)量提升的輸出圖像120。例如，圖像處理裝置100可以通過執(zhí)行圖像處理(諸如移除噪聲、銳化或?qū)Ρ榷忍岣?來生成高質(zhì)量輸出圖像120。

隨著可由圖像處理裝置100(諸如數(shù)字相機)的圖像傳感器處理的分辨率增加，輸入圖像110的分辨率也增加。為了在對高分辨率的輸入圖像110進行圖像處理時有效利用存儲器空間，輸入圖像110可以被分割為尺寸小于整個圖像的尺寸的圖像區(qū)域并被處理。圖像處理裝置100可以估計輸入圖像之間的全局運動信息，并且基于全局運動信息執(zhí)行基于平鋪(tile)圖像的圖像處理。

圖2是示出根據(jù)示例實施例的圖像處理裝置200的配置的框圖。

圖像處理裝置200可以與圖1的圖像處理裝置100相同。圖像處理裝置200可以包括分層(hierarchical)圖像結構獲取單元210、運動信息獲取單元220、表示值獲取單元230、相似性確定單元240和噪聲移除單元250。

圖像處理裝置200可以獲取輸入圖像110。圖像處理裝置200可以區(qū)分標準圖像112和輸入圖像110。如果標準圖像112未被預先確定，則圖像處理裝置200可以從輸入圖像110中確定標準圖像112。

分層圖像結構獲取單元210可以獲取每個輸入圖像110的分層圖像結構。形成分層圖像結構的層級數(shù)可以是兩個或更多個。可以依據(jù)輸入圖像110的分辨率來確定形成分層圖像結構的層級數(shù)。輸入圖像110的分層圖像結構可以具有相同的層級數(shù)。圖3和圖4示出了下面描述的分層圖像結構的示例實施例。

圖3是用于說明根據(jù)示例實施例的分層圖像結構310的圖。

圖3的圖310示出了具有三層分層結構的分層圖像結構310，并且圖3的圖320以圖的形式表示分層圖像結構310。為了便于描述，圖3假定圖310是拉普拉斯圖像金字塔，并且標準圖像和參考圖像的尺寸是(水平長度h，垂直長度w)＝(h×w)。

在分層圖像結構310是拉普拉斯圖像金字塔的情況下，最高層(層級＝3)的金字塔圖像可以具有低頻帶分量，并且隨著層級變低，金字塔圖像可以具有較高頻帶分量。因此，最低層(層級＝1)可以具有最高頻帶分量。并且，如果參考圖像的尺寸為(h×w)，則“層級＝1”處的圖像的尺寸為(h×w)，“層級＝2”處的圖像的尺寸為(h/2×w/2)，并且“層級＝3”處的圖像的尺寸為(h/4×w/4)。

通過將高斯平滑(gaussiansmoothing)應用到“層級＝1”處的圖像，可以獲取高斯圖像金字塔中“層級＝2”處的圖像。高斯平滑表示進行以下操作的圖像處理：獲取預定區(qū)域中的像素的平均值或加權平均值，將獲取的值確定為表示值，并且將具有表示值的像素處理為預定區(qū)域的像素的表示像素。例如，可以獲取在“層級＝1”處的圖像中具有特定尺寸為2×2的區(qū)域內(nèi)的像素的平均值。而且，該平均值可被確定為該特定區(qū)域內(nèi)的像素的表示值。而且，“層級＝2”處的圖像的像素當中與該具有特定尺寸為2×2的區(qū)域內(nèi)的像素相對應的像素具有與該具有特定尺寸為2×2的區(qū)域內(nèi)的像素的表示值相同的值。類似地，該圖像處理可以同樣地應用于“層級＝1”處的圖像中具有尺寸為2×2的另一區(qū)域內(nèi)的像素，以及應用于“層級＝2”處的圖像的與該像素相對應的像素。

圖像處理裝置200可以對分層圖像結構310的最高層到最低層執(zhí)行一系列圖像處理，并且將相關層級處的處理結果應用到下一個較低層的圖像處理。

圖4是示出根據(jù)示例實施例的針對每個圖像通道而獲取的分層圖像結構的圖。

圖4以圖的形式表示具有三層分層結構的分層圖像結構。圖像處理裝置可以為每個圖像通道獲取分層圖像結構，該每個圖像通道配置了標準圖像和參考圖像。例如，在標準圖像和參考圖像具有ycbcr的顏色空間的情況下，圖像處理裝置可以使用針對標準圖像和參考圖像的每個圖像通道所配置的分層圖像結構。標準圖像可以具有y通道的分層圖像結構410、cb通道的分層圖像結構420和cr通道的分層圖像結構430。參考圖像可以具有y通道的分層圖像結構440、cb通道的分層圖像結構450以及cr通道的分層圖像結構460。

圖像處理裝置可以將圖像通道之一的圖像處理結果應用于其余圖像通道的圖像處理。例如，圖像處理裝置可以將y通道的分層圖像結構410和440處的圖像處理結果應用于cb通道的分層圖像結構420和450處的圖像處理。

如果標準圖像和參考圖像具有ycbcr444類型，則圖像處理裝置可以將在y通道的圖像處理過程期間得到的運動的幅度直接應用于cb通道和cr的圖像處理過程。在標準圖像和參考圖像具有ycbcr422類型的情況下，圖像處理裝置可以調(diào)整在y通道的圖像處理過程期間得到的運動的幅度，并且將調(diào)整的幅度應用于cb通道和cr通道的圖像處理過程。例如，在亮度通道(y通道)的圖像尺寸為(水平長度h，垂直長度w)并且色度通道(cb通道和cr通道)的圖像尺寸為(水平長度h/2，垂直長度w)的情況下，圖像處理裝置可以將在亮度通道的圖像處理過程期間得到的運動的幅度當中的垂直方向上的運動的幅度直接應用于色度通道，并且將水平方向上的運動的幅度減半并將其應用于色度通道。

再次參考圖2，分層圖像結構獲取單元210可以通過將前一層的圖像處理結果反映在配置了較高層圖像至較低層圖像的分層圖像結構的相應層的圖像中，來確定當前層的分層圖像信息。在最高層的情況下，由于不存在前一較高層，因此可以直接使用該最高層的分層圖像信息。在非最高層的情況下，可以通過將在前一較高層處處理的結果圖像信息和圖像處理前的分層圖像信息之間的差分圖像在當前層級方向上投影并反射到該當前層的分層圖像信息，來確定當前層的新的分層圖像信息。

運動信息獲取單元220可以估計表示參考圖像114相對于標準圖像112的運動程度的運動信息。運動信息可以包括存在于標準圖像112和參考圖像114之間的運動矢量，并且可以包括全局運動矢量或局部運動矢量的信息，或者包括全局運動矢量和局部運動矢量兩者的信息。全局運動矢量表示參考圖像114或參考圖像114的參考區(qū)域相對于標準圖像112或標準圖像112的標準區(qū)域所相對具有的位置差的程度。該運動信息從標準圖像112和參考圖像114的較高層估計，并且在較高層處估計的運動信息被用于估計標準圖像112和參考圖像114的較低層的運動信息。更具體地，當在較低層估計表示參考圖像114相對于標準圖像112的運動程度的運動信息時，在較高層處估計的運動信息可被用于設置參考圖像114內(nèi)部的探索區(qū)域。由于運動信息獲取單元220如上所述對較高層至較低層順序地執(zhí)行運動信息估計，所以運動信息獲取單元220不探索參考圖像114的整個區(qū)域來估計運動信息，由此迅速地且有效地估計運動信息。

全局運動信息獲取單元220可以獲取包括標準圖像112的每列和每行的累積像素值的水平方向的累積圖像1d曲線和垂直方向的累積圖像1d曲線，并且獲取包括參考圖像114的每列和每行的累積像素值的水平方向的累積圖像1d曲線和垂直方向的累積圖像1d曲線。以下參考圖5描述累積圖像1d曲線。

圖5是示出獲取累積圖像1d曲線的示例實施例的圖。

圖5示出了圖像處理裝置獲取累積圖像1d曲線以估計運動信息的示例。圖像處理裝置可以通過對于標準圖像和參考圖像兩者使用相同的方法來獲取累積圖像1d曲線。以下參考圖5描述獲取參考圖像510的累積圖像1d曲線的過程。

圖像處理裝置可以在參考圖像510的水平方向(x方向)上移動的同時對位于任意列上的所有圖像像素的像素值求和。圖像處理裝置可以通過將求和結果顯示為1d曲線上的高度值來獲取水平方向上的累積圖像1d曲線520。

而且，圖像處理裝置可以在參考圖像510的垂直方向(y方向)上移動的同時對位于任意行的所有圖像像素的像素值進行求和。同樣地，圖像處理裝置可以通過將求和結果顯示為1d曲線上的高度值來獲取垂直方向上的累積圖像1d曲線530。

經(jīng)由以上過程獲取的水平和垂直方向上的累積圖像1d曲線520和530可以表示每個水平方向和每個垂直方向的累積像素值。例如，在水平方向上的累積圖像1d曲線520上的任意位置處的曲線值可以表示包含在參考圖像510中的相關位置的列中的像素值的累積值。

再次參考圖2，運動信息獲取單元220可以通過比較通過連接標準圖像112的每列的累積像素值所獲取的水平方向上的累積圖像1d曲線和通過連接參考圖像114的每列的累積像素值所獲取的水平方向上的累積圖像1d曲線之間的圖案、再通過比較通過連接標準圖像112的每行的累積像素值所獲取的垂直方向上的累積圖像1d曲線和通過連接參考圖像114的每行的累積像素值所獲取的垂直方向上的累積圖像1d曲線之間的圖案，來估計運動信息。

全局運動信息獲取單元220可以基于標準圖像112的水平方向上的累積圖像1d曲線中的累積像素值來設置探索區(qū)域，并且在探索區(qū)域內(nèi)檢測其中標準圖像112的水平方向上的累積像素值和參考圖像114的水平方向上的累積像素值之間的互相關為最大化的相對位置。運動信息獲取單元220可以通過使用互相關為最大化的相對位置，來估計參考圖像114在水平方向上的運動。

全局運動信息獲取單元220可以通過基于標準圖像112的垂直方向上的累積圖像1d曲線中的累積像素值設置探索區(qū)域、并且在探索區(qū)域內(nèi)檢測其中標準圖像112的垂直方向上的累積像素值和參考圖像114的垂直方向上的累積像素值之間的互相關為最大化的相對位置，來估計參考圖像114在垂直方向上的運動。運動信息獲取單元220可以使用包括歸一化互相關(ncc)技術的各種技術來估計互相關。以下參考圖6描述運動信息估計。

圖6是示出估計運動信息的示例實施例的圖。圖6示出了其中圖像處理裝置100的運動信息獲取單元220通過比較標準圖像112和參考圖像114的水平方向上的累積圖像1d曲線610和620之間的圖案、并且比較標準圖像112和參考圖像114的垂直方向上的累積圖像1d曲線650和660之間的圖案，來估計第一運動信息的示例實施例。

圖6a示出了水平方向上的標準圖像112的累積圖像1d曲線610和參考圖像114的累積圖像1d曲線620。運動信息獲取單元220可以基于標準圖像112的累積圖像1d曲線610來設置預定的探索區(qū)域630。例如，運動信息獲取單元220可以基于標準圖像112的累積圖像1d曲線610上的最大點、最小點、拐點等設置探索區(qū)域630。

運動信息獲取單元220可以檢測其中標準圖像112的累積圖像1d曲線610和參考圖像114的累積圖像1d曲線620之間的互相關為最大化的相對位置。在檢測到的相對位置處，標準圖像112的累積圖像1d曲線610和參考圖像114的累積圖像1d曲線620可以具有最大相似性。運動信息獲取單元220可以基于互相關為最大化的相對位置，來估計水平方向上的運動的幅度(mx)640。

圖6b中，運動信息獲取單元220可以設置探索區(qū)域670，并且基于在探測區(qū)域670中其中垂直方向上標準圖像112的累積圖像1d曲線650和參考圖像114的累積圖像1d曲線660之間的互相關為最大化的相對位置、對于垂直方向上標準圖像112的累積圖像1d曲線650和參考圖像114的累積圖像1d曲線660通過使用與圖6a中執(zhí)行的相同方法來估計垂直方向上的運動的幅度(my)680。

在標準圖像112和參考圖像114之間的全局運動是平移運動的情況下，圖像處理裝置100的運動信息獲取單元220可以基于水平方向上的運動的幅度(mx)640和垂直方向的運動的幅度(my)680，來估計第一運動信息。

運動信息獲取單元220可以設置多個運動探索區(qū)域用于估計標準圖像112和參考圖像114的運動，以便處理擴展的運動模型和平移運動。運動信息獲取單元220可以通過比較所設置的多個運動探索區(qū)域中標準圖像112的累積像素值和參考圖像114的累積像素值之間的每個水平方向和每個垂直方向，來估計第一運動信息。運動信息獲取單元220可以估計每個運動探索區(qū)域中的平移運動的運動程度，并且通過分析該估計的結果來估計擴展的運動模型的運動(諸如參考圖像114的旋轉(zhuǎn))。例如，在運動探索區(qū)域已被設置在輸入圖像的上下左右的情況下，運動信息獲取單元220可以估計參考圖像114從相應的運動探索區(qū)域的位置相比于標準圖像112運動的運動程度。運動信息獲取單元220可以通過分析四個運動探索區(qū)域中的運動程度，來估計參考圖像114的旋轉(zhuǎn)運動。

運動信息獲取單元220可以更新表示參考圖像114相對于標準圖像112的運動程度的運動信息。運動信息獲取單元220可以對于標準圖像112的分層圖像結構中和參考圖像114的分層圖像結構中的相同層級的圖像而估計或更新運動信息。例如，對于分層圖像結構中的每個層級的圖像，運動信息獲取單元220可以通過類似于運動信息獲取單元220已執(zhí)行的用于估計較高層中的運動信息的方法的方法，來估計較低分層中的運動信息。

在標準圖像112和參考圖像114中的每個的分層圖像結構中，運動信息獲取單元220可以估計相同層級的圖像的運動信息。運動信息獲取單元220可以比較通過連接標準圖像112的每列的累積像素值所獲取的水平方向上的累積圖像1d曲線與通過連接參考圖像114的每列的累積像素值所獲取的水平方向上的累積圖像1d曲線之間的圖案。類似地，運動信息獲取單元220可以比較通過連接標準圖像112的每行的累積像素值所獲取的垂直方向上的累積圖像1d曲線與通過連接參考圖像114的每行的累積像素值所獲取的垂直方向上的累積圖像1d曲線之間的圖案。而且，運動信息獲取單元220可以基于水平方向上的1d曲線之間的圖案的比較的結果和垂直方向上的1d曲線之間的圖案的比較的結果，來估計運動信息。但是，運動信息獲取單元220可以使用在較高層處估計的運動信息作為基本信息，并且使用該基本信息作為用于估計在較低層處估計的運動信息的初始值。也就是說，運動信息獲取單元220可以基于從在較高層處估計的運動信息得到的運動初始值來設置探索區(qū)域。因此，運動信息獲取單元220可以減少參考圖像114中的探索區(qū)域，并且更準確地估計運動。

圖7是示出基于較高層的運動信息來估計較低層的運動信息的示例實施例的圖。

圖7示出了其中對于標準圖像112和參考圖像114的每個的分層圖像結構中相同層的圖像，圖像處理裝置100的運動信息獲取單元220通過比較標準圖像112和參考圖像114的水平方向上的累積圖像1d曲線之間的圖案、并且比較標準圖像112和參考圖像114的垂直方向上中的累積圖像1d曲線之間的圖案，來估計較低層的運動信息的示例實施例。

圖7a示出標準圖像112在水平方向上的累積圖像1d曲線710和參考圖像114在水平方向上的累積圖像1d曲線720。運動信息獲取單元220可以基于標準圖像112的累積圖像1d曲線710來設置預定的探索區(qū)域730。在這種情況下，運動信息獲取單元220可以基于從較高層中的運動信息得到的運動初始值來設置探索區(qū)域。例如，在估計水平方向上的運動的情況下，運動信息獲取單元220可以基于從第一運動信息得到的水平方向上的運動初始值(mx')740，來設置探索區(qū)域730的中心位置750。運動信息獲取單元220可以通過使用探索區(qū)域730中標準圖像112的累積圖像1d曲線710與參考圖像114的累積圖像1d曲線720之間的互相關為最大化的相對位置，來估計水平方向上的運動的幅度(dmx)745。

圖7b中，對于垂直方向上標準圖像112的累積圖像1d曲線760和參考圖像114的累積圖像1d曲線770，運動信息獲取單元220可以基于從較高層中的運動信息得到的垂直方向上的運動初始值(my')785來設置探索區(qū)域780的中心位置795，并且基于探索區(qū)域780中的垂直方向上標準圖像112的圖像1d曲線760和參考圖像114的累積圖像1d曲線770之間互相關為最大化的相對位置來估計垂直方向上的運動的幅度(dmy)790。

運動信息獲取單元220可以基于從較高層中的運動信息得到的水平方向上的運動初始值(mx')740、從較高層中的運動信息得到的垂直方向上的運動初始值(my')785、水平方向上的運動幅度(dmx)745以及垂直方向上的運動幅度(dmy)790，來估計較低層處的運動信息。例如，可以通過使用以下等式表示包含在較低層中運動信息中的水平方向和垂直方向上的最終運動的幅度mx和my。

等式1

mx＝mx'+dmx

等式2

my＝my'+dmy

局部運動信息可以以塊為基礎進行探索。標準圖像被分成各種尺寸的塊，并且然后從目標圖像中找到與標準圖像的塊最相似的塊。在這種情況下，對于找出最相似的塊的方法，可以使用兩個塊的像素的差和(sad)或均方差和(sse)等。像全局運動探索一樣，為了減少計算量，以塊為基礎的探索可以提前預測運動信息，并且然后限制信息探索區(qū)域以僅對有限的鄰近區(qū)域進行探索。以塊為基礎的探索可以利用較高層的相關位置塊的運動信息等。

再次參考圖2，相似性確定單元240基于由運動信息獲取單元220估計的運動信息，來確定標準圖像的標準區(qū)域和參考圖像的參考區(qū)域之間的相似性。相似性確定單元240可以通過使用運動信息，將通過將標準圖像分割成預定尺寸所獲取的標準區(qū)域和通過將參考圖像分割成預定尺寸所獲取的參考區(qū)域進行匹配。相似性確定單元240可以在確定相似性時使用表示標準區(qū)域和參考區(qū)域的標準表示值和參考表示值。表示值獲取單元230可以通過使用各種方法來獲取標準表示值和參考表示值。取決于確定相似性的方法，相似性確定的操作速度和存儲器移動量可以提高。因此，通過將傳統(tǒng)相似性確定方法與由示例實施例所提出的相似性確定方法進行比較，來說明相似性確定的操作速度和存儲器移動量是否提高。

圖8和圖9分別示出了傳統(tǒng)相似性確定方法和由示例實施例提出的相似性確定方法。參考圖8和圖9描述在確定相似性時本發(fā)明構思的特征和效果。

圖8是示出在確定相似性時直接比較標準圖像和參考圖像的情況下的輸入圖像的相似性確定方法的示意圖。

輸入圖像810包括標準圖像812和參考圖像814。圖8的標準圖像812和參考圖像814分別表示一個層次的圖像，該一個層次的運動信息已在圖1的標準圖像112和參考圖像114的分層圖像結構當中確定。

在將標準圖像812與參考圖像814進行比較之前，圖像匹配單元820通過使用標準圖像812和參考圖像814之間的運動信息，來檢測參考圖像814的與標準圖像812的每個標準區(qū)域相對應的每個參考區(qū)域。而且，圖像匹配單元820通過使用互相對應的標準區(qū)域和參考區(qū)域，將標準圖像812和參考圖像814相匹配。

相似性確定單元830通過將標準圖像812的標準區(qū)域與參考圖像814的對應于相應標準區(qū)域的參考區(qū)域進行比較，來確定相似性。相似性確定單元830可以包括圖像減法單元832，其通過計算標準區(qū)域和對應于該標準區(qū)域的參考區(qū)域的像素之間亮度差或色差分量的絕對值來獲取相減圖像，并且包括低通濾波器834，其根據(jù)從圖像減法單元832獲取的相減圖像確定相似性。

例如，在通過使用標準區(qū)域的每個像素的亮度分量來確定相似性的情況下，圖像減法單元832獲取標準區(qū)域的每個像素的亮度分量和對應于該標準區(qū)域的參考區(qū)域的每個像素的亮度分量。而且，圖像減法單元832獲取所獲取的像素的亮度分量之間的差的絕對值。并且，圖像減法單元832獲取具有像素的亮度分量之間的差的絕對值作為每個像素的亮度分量的相減圖像。

低通濾波器834可以通過將高斯平滑濾波器應用到由圖像減法單元832獲取的相減圖像，來獲取相減圖像的平均值或加權平均值。并且，平均值或加權平均值可被確定為相似性。

噪聲移除單元840基于由相似性確定單元830確定的相似性，來移除輸入圖像810的噪聲。

圖9是示出將在相似性確定期間將在獲取分層圖像結構時同時所獲取的標準表示值和參考表示值進行比較的情況下的輸入圖像的相似性確定方法的示意圖。

輸入圖像910與圖8的輸入圖像810相同。

表示值獲取單元920可以從圖2的分層圖像結構獲取單元210中獲取標準表示值912和參考表示值914，用于相似性確定單元930的確定。表示值獲取單元920表示圖2的表示值獲取單元230。圖2的分層圖像結構獲取單元210在從較低分層圖像獲取較高分層圖像時，獲取標準圖像和參考圖像的表示值。

例如，如圖3所示，在“層級＝1”處的圖像的尺寸為(h×w)、“層級＝2”處的圖像的尺寸為(h/2×w/2)、以及“層級＝3”處的圖像的尺寸為(h/4×w/4)的情況下，表示值獲取單元920可以將“層級＝1”處的圖像分割成具有2×2尺寸的區(qū)域，以便從“層級＝1”處的圖像獲取“層級＝2”處的圖像。在這種情況下，表示值獲取單元920可以獲取包含在來自相應區(qū)域的四個像素中的亮度分量的平均值。平均值可以是形成“層級＝2”處的圖像的像素的亮度分量的值?？梢詫⑵骄荡_定為具有尺寸為2×2的區(qū)域的表示值，其中該平均值已從該具有尺寸為2×2的區(qū)域中得到。同樣地，從“層級＝1”處的圖像獲取“層級＝2”處的圖像的過程期間執(zhí)行的方法也可以應用到從“層級＝2”處的圖像獲取“層級＝3”處的圖像的過程。

對于另一示例，在獲取“層級＝3”處的圖像的過程期間獲取的“層級＝2”處的圖像的具有尺寸為2×2的區(qū)域的表示值可以是“層級＝1”處的圖像的具有尺寸為4×4的區(qū)域的表示值。

相似性確定單元930通過使用表示標準區(qū)域的標準表示值912和表示對應于標準區(qū)域的參考區(qū)域的參考表示值914來確定標準區(qū)域是否相似于參考區(qū)域，而不是比較標準區(qū)域和對應于該標準區(qū)域的參考區(qū)域。相似性確定單元930表示圖2的相似性確定單元240。相似性確定單元930可以包括計算由表示值獲取單元920獲取的標準表示值912和參考表示值914之間的差的絕對值的表示值減法單元932。

表示值減法單元932計算由表示值獲取單元920獲取的標準表示值912和參考表示值914之間的差的絕對值。所計算的絕對值可被確定為相似性。

噪聲移除單元940基于由相似性確定單元930確定的相似性，來移除輸入圖像910的噪聲。

等式3

similarity＝gaussiansmoothing(absolutedifferences(frame0,frame1))

等式4

similarity＝absolutedifferences(gaussiansmoothing(frame0),gaussiansmoothing(frame1))

基于等式3和等式4，描述圖8的相似性確定方法和圖9的相似性確定方法之間的差異。等式3和等式4的相似性表示相似程度。gaussiansmoothing表示通過使用高斯平滑濾波器來獲取圖像的像素的每個分量的平均值或加權平均值的函數(shù)。absolutedifferences表示獲取變量之間的差的絕對值的函數(shù)。frame0和frame1分別表示輸入到gaussiansmoothing或absolutedifferences的標準圖像和參考圖像。

圖8的相似性確定方法通過使用等式3確定相似性，并且圖9的相似性確定方法通過使用等式4確定相似性。在圖8的相似性確定方法和圖9的相似性確定方法中，由于gaussiansmoothing函數(shù)和absolutedifferences函數(shù)的應用順序不同，所以即使當使用相同的標準區(qū)域和參考區(qū)域用作輸入時，也可以輸出不同值的相似性。但是，由于運動信息獲取單元220將標準區(qū)域和彼此對應的參考區(qū)域進行比較，所以輸出不同值的相似性的概率非常低。因此，由圖8的相似性確定方法輸出的相似性和由圖9的相似性確定方法輸出的相似性幾乎相同。

而且，也可以以混合形式使用圖8的相似性確定方法和圖9的相似性確定方法。圖9的相似性計算的結果不同于根據(jù)等式3和等式4的差的相似性計算的結果。在大多數(shù)情況下，通過使用運動信息獲取單元220計算出幾乎相同的相似性，但在非常極端的情況下，可能發(fā)生錯誤。特別有問題的情況是在圖12所示的兩個圖像的特定部分中，相同方向上的像素值的梯度彼此相反的情況。如本領域普通技術人員所理解的，運動信息獲取單元220在大多數(shù)捕捉中選擇上述兩個塊是困難的。但是，在捕捉操作期間發(fā)生諸如高速移動相機的異常操作的情況下，捕捉的圖像變得非常不同。在這種情況下，當計算相關塊的相似性時，可以基于由運動信息獲取單元220計算的兩個塊的差信息(例如，sad，sse等)來選擇圖8的方法或圖9的方法。例如，當sad值與其它塊的運動信息獲取結果相比非常大時，相關情況被確定為上述極端情況，并且按圖8計算相似性。當sad值相似于其它塊的運動信息獲取結果時，可以根據(jù)示例實施例按圖9計算相似性。

基于等式3和等式4，描述圖8的相似性確定方法和圖9的相似性確定方法的計算量的差異。圖8的方法獲取標準區(qū)域的像素與互相對應的參考區(qū)域的像素之間的差的絕對值，計算所獲取的絕對值的平均值或加權平均值，并且將該平均值或加權平均值定義為表示值。也就是說，等式3的gaussiansmoothing和absolutedifferences二者均在相似性確定操作中被執(zhí)行。

但是，圖9的方法僅執(zhí)行以下操作：獲取由分層圖像結構獲取單元210預先獲取的標準區(qū)域的標準表示值和參考區(qū)域的參考表示值，并且計算標準表示值和參考表示值之間的差的絕對值。也就是說，在相似性確定操作中僅執(zhí)行等式4的absolutedifferences。并且，由于gaussiansmoothing再次利用由分層圖像結構獲取單元210獲取的值，所以計算量減少。因此，圖9的相似性確定方法的計算量顯著地小于圖8的相似性確定方法的計算量。

類似地，即使在存儲器移動的量的方面，圖9的相似性確定方法比圖8的相似性確定方法更有利。由于圖8的相似性確定方法使用整個標準圖像和整個參考圖像作為輸入，而圖9的相似性確定方法僅使用相應標準區(qū)域的標準表示值并且僅使用相應參考區(qū)域的參考表示值，所以圖9的相似性確定方法的存儲器傳輸?shù)牧扛　?/p>

當將上述內(nèi)容放在一起時，顯示出圖9的相似性確定方法與圖8的相似性確定方法相比，具有顯著地減少計算量和存儲器移動量而沒有性能劣化的效果。由于計算量和存儲器移動量減少，所以整個圖像處理過程變得快速，并且可以有效地管理存儲器。

參考圖2，噪聲移除單元250依據(jù)由相似性確定單元240確定的相似性來移除圖像的噪聲。噪聲移除單元250可以通過使用時間(temporalfilter)濾波器移除噪聲。時間濾波器表示獲取標準區(qū)域和與該標準區(qū)域?qū)牟⑶椅挥谂c該標準區(qū)域的時間點不同的時間點的參考區(qū)域的平均值或加權平均值、并且移除噪聲的濾波器。噪聲移除單元250的時間濾波器可以利用參考區(qū)域的取決于標準區(qū)域和參考區(qū)域之間的相似性的不同權重、通過獲取標準區(qū)域和參考區(qū)域的加權平均值來移除噪聲。在參考圖像不是一個而是兩個或更多個的情況下，噪聲移除單元250可以取決于參考圖像和標準圖像之間的相似性、以每個參考圖像的不同權重來應用時間濾波器。

僅出于描述的方便，圖像處理裝置100已被分割為五個分區(qū)，包括分層圖像結構獲取單元210、運動信息獲取單元220、表示值獲取單元230、相似性確定單元240和噪聲移除單元250，并且圖像處理裝置100可以具有不同種類的分區(qū)。

圖10是用于說明基于分層圖像結構執(zhí)行圖像處理的操作的框圖。

圖像處理裝置可以估計圖像分層結構中的最高層(層級＝3)的圖像(低頻帶圖像)1005相對于標準圖像的運動，執(zhí)行圖像處理以獲取結果圖像(低頻帶圖像)1010，并且將結果圖像1010應用到當前層級。圖像處理裝置可以獲取其圖像尺寸已被放大的輸出圖像1020，以便將在最高層處獲取的結果圖像1010應用到下一層。

圖像處理裝置可以通過將最高層處被放大的輸出圖像1020應用于中間層級(層級＝2)的圖像(高頻帶圖像)1015，來獲取新的輸入圖像(低頻帶圖像)1025。最高層的運動估計信息和結果圖像1010的圖像處理結果可被應用于在中間層級處獲取的新輸入圖像1025。例如，由于金字塔圖像結構中較低層的圖像尺寸比較高層的圖像尺寸大2倍，所以圖像處理裝置可以將在較高層處估計的運動估計值放大兩倍，并且使用放大的運動估計值作為較低層的運動初始值。類似于在最高層中執(zhí)行的操作，圖像處理裝置可以估計新輸入圖像1025相對于標準圖像的運動，并且執(zhí)行圖像處理以獲取結果圖像(低頻帶圖像)1030。圖像處理裝置可以將結果圖像1030應用到作為當前層的中間層，并且獲取其圖像尺寸已被放大的輸出圖像(低頻帶圖像)1040，以便將獲取的結果圖像1030應用于下一層。

圖像處理裝置可以通過將在中間層處被放大的輸出圖像1040應用于最低層(層級＝1)的圖像(高頻帶圖像)1035，來獲取新輸入圖像(低頻帶圖像)1045。中間層的運動估計信息和結果圖像1030的圖像處理結果可被應用到最低層處獲取的新輸入圖像1045。例如，由于金字塔圖像結構中較低層的圖像尺寸比較高層的圖像尺寸大2倍，所以圖像處理裝置可以將在中間層處估計的運動估計值放大兩倍，并且使用放大的運動估計值作為最低層處的運動初始值。

類似于在中間層中執(zhí)行的操作，圖像處理裝置可以估計新輸入圖像1045相對于標準圖像的運動，并且執(zhí)行圖像處理以獲取結果圖像(低頻帶圖像)1050。經(jīng)由以上過程獲取的結果圖像1050可以是一個參考圖像的最終結果圖像。當獲取了一個參考圖像的最終結果圖像時，圖像處理裝置可以對下一個參考圖像重復執(zhí)行以上過程。

圖11是根據(jù)示例實施例的圖像處理方法的操作的流程圖。

在s1110中，對于標準圖像和參考圖像，獲取各自包括“n”個層的分層圖像的分層圖像結構。參考圖像可以是多個連續(xù)捕捉的圖像。在獲取分層圖像結構的同時，可以從分層圖像中一起獲取標準圖像的標準區(qū)域的標準表示值和參考圖像的參考區(qū)域的參考表示值。在這種情況下，標準表示值和參考表示值不被刪除，而是存儲在存儲器中。

在s1120中，圖像處理從作為最高層的層“n”開始。在這種情況下，成為圖像處理的對象的層可以被定義為層“n”。因此，層“n”初始被確定為層“n”。

在s1130中，從層“n”的分層圖像中獲取標準圖像的相應標準區(qū)域的標準表示值和參考圖像的相應參考區(qū)域的參考表示值。

在s1140中，獲取包括依據(jù)標準圖像的層“n”的分層圖像和參考圖像的層“n”的分層圖像之間的比較的結果而計算的標準圖像的像素和參考圖像的像素之間的運動矢量的運動信息。

在s1150中，基于運動信息，從彼此相匹配的標準圖像的標準區(qū)域的標準表示值和參考圖像的參考區(qū)域的參考表示值，確定標準圖像的標準區(qū)域和參考圖像的參考區(qū)域之間的相似性。從標準區(qū)域內(nèi)的像素的像素值獲取標準表示值，并且從參考區(qū)域內(nèi)的像素的像素值獲取參考表示值。在這種情況下，像素值表示像素的亮度或色差分量的值。標準表示值可以是標準區(qū)域內(nèi)的像素值的平均值或加權平均值。類似地，參考表示值可以是參考區(qū)域內(nèi)的像素值的平均值或加權平均值。可以通過將標準表示值和參考表示值之間的差的絕對值與預先確定的閾值進行比較，來確定相似性。

在s1160中，依據(jù)所確定的相似性，對于層“n”，通過將時間濾波器應用到標準圖像和參考圖像來移除噪聲。可以通過將相似性與預先確定的閾值進行比較，來確定是否執(zhí)行時間濾波?？梢砸罁?jù)相似性的大小、通過向參考圖像的參考區(qū)域添加權重，來執(zhí)行時間濾波。

在s1170中，當層“n”是作為最低層的層“1”時，在完成了對于層“n”的噪聲移除之后，結束圖像處理方法。

在s1180中，當層“n”不是層1時，層“n”的下一個較低層被新確定為層“n”。然后，對新確定的層重復執(zhí)行s1130至s1170。

因此，表示值獲取單元、相似性確定單元和噪聲移除單元在分層圖像結構的最高層的分層圖像上順序地執(zhí)行，并且以上構成單元的功能在一較低層的分層圖像上被重復執(zhí)行，并且重復該操作，直到以上構成單元的功能在最低層的分層圖像上執(zhí)行，從而可以獲取輸出圖像。

同時，根據(jù)示例實施例的圖像處理方法可以被記錄為可在計算機上運行的程序，并且可被實現(xiàn)在通用數(shù)字計算機上，該通用數(shù)字計算機通過使用非暫態(tài)計算機可讀記錄介質(zhì)來操作程序。非暫態(tài)計算機可讀記錄介質(zhì)包括諸如磁存儲介質(zhì)(例如，rom、軟盤、硬盤等)和光學記錄介質(zhì)(例如，cd-rom、dvd等)的存儲介質(zhì)。

至此，已經(jīng)描述了本發(fā)明構思的示例實施例。本領域普通技術人員將理解，在不脫離本發(fā)明構思的基本特征的情況下，可以對其在形式和細節(jié)上進行各種改變。因此，應當理解，本文描述的示例實施例應僅在描述性意義上考慮，而非出于限制的目的。應當理解，本發(fā)明構思的范圍由所附權利要求限定，而不是以上描述，并且其等同物內(nèi)的所有差異都包含在本發(fā)明構思中。