圖像處理裝置和圖像處理方法
【專利摘要】本發(fā)明提供一種防止色邊界部(邊緣)的滲色等不良情況且降低圖像噪聲的技術(shù)。在包括實際空間濾波處理步驟(S10)和顏色空間濾波處理步驟(S20)的圖像處理方法中，在實際空間濾波處理步驟(S10)中進行基于實際空間中的距離的濾波處理，在顏色空間濾波處理步驟(S20)中進行基于實際空間中的距離的濾波處理。實際空間濾波處理步驟(S10)基于邊緣保存型的濾波處理，顏色空間濾波處理步驟(S20)中使用的關(guān)注像素的像素數(shù)據(jù)是在實際空間濾波處理步驟(S10)中算出的像素數(shù)據(jù)。
【專利說明】圖像處理裝置和圖像處理方法

【技術(shù)領域】
[0001] 本發(fā)明涉及圖像處理裝置和圖像處理方法，特別是涉及能夠保存圖像的邊緣且降 低噪聲的技術(shù)。

【背景技術(shù)】
[0002] 在相機等攝像裝置的領域中，在經(jīng)由攝像元件（CXD、CMOS等）而獲取的數(shù)字圖像 數(shù)據(jù)中有時包含噪聲成分，提出了將該噪聲成分除去的各種各樣的方法。
[0003] 例如，專利文獻1公開了對RGB的彩色圖像實施噪聲降低處理的圖像處理裝置。在 該圖像處理裝置中，算出關(guān)注像素與其周邊像素的RGB顏色空間上的距離，并根據(jù)顏色空 間上的距離算出相對于各周邊像素的加權(quán)系數(shù)，對包括關(guān)注像素的周邊像素的圖像數(shù)據(jù)進 行加權(quán)平均處理而算出關(guān)注像素的像素值。
[0004] 另外專利文獻2公開了從圖像除去噪聲的畫質(zhì)改善裝置。在該圖像改善裝置中， 對圖像數(shù)據(jù)中的色信道間的共分散數(shù)據(jù)進行計算，利用該共分散數(shù)據(jù)和預定噪聲的色信道 間的共分散數(shù)據(jù)，導出與沒有因為噪聲而變差的原圖像的k維顏色空間中的平均平方誤差 最小的濾波器，利用該導出的濾波器進行噪聲降低處理。
[0005] 另外，在專利文獻3中公開了利用在基準值緩存器中記錄的基準值進行噪聲除去 的圖像處理裝置。在該圖像處理裝置中，通過對輸入像素值的加權(quán)運算而決定輸出像素值。
[0006] 專利文獻
[0007] 專利文獻1 :日本特開2007 - 288439號公報
[0008] 專利文獻2 :日本特開2002 - 222416號公報
[0009] 專利文獻3 :日本特開平10 - 112803號公報


【發(fā)明內(nèi)容】

[0010] 發(fā)明要解決的課題
[0011] 如上述那樣，雖然提出了與噪聲的降低/除去相關(guān)的各種方法，但是在基于各方 法的噪聲降低的效果方面存在離散，在噪聲等級比較大（高）的情況下等，未必能夠得到良 好的噪聲降低效果。
[0012] 例如，在專利文獻1中公開了在進行了低通濾波處理后算出顏色空間上的距離的 圖像處理方法，然而僅單純地實施低通濾波，關(guān)于噪聲降低的效果比較有效，但是有時邊緣 的保存性會變差。特別是在噪聲等級較大的情況下，有時在圖像的色邊界部分中會發(fā)生滲 色（模糊）、色空缺等不良情況。
[0013] 另外，在專利文獻2的圖像改善裝置中，在圖像數(shù)據(jù)中包含等級較大的噪聲的情 況下，圖像信號成分和噪聲成分的分離性能也會變差。其結(jié)果為，在使用專利文獻2的圖像 改善裝置的情況下，會殘留較強的噪聲，另外存在在色邊界部分產(chǎn)生滲色的憂慮。
[0014] 另外在專利文獻3的圖像處理裝置中，僅基于輸入像素值和基準值進行加權(quán)的平 均化，因此能夠達到的噪聲降低的效果本來就較低。
[0015] 因此，希望提出如下那樣的新型技術(shù)方案：即使在圖像數(shù)據(jù)中包含等級較大的噪 聲成分的情況下，也能夠防止色邊界部分的滲色等而保持圖像本來的邊緣（邊界部）清晰 度，并將圖像噪聲有效地除去。
[0016] 本發(fā)明鑒于上述的情形而提出，目的在于提供一種防止?jié)B色等不良情況且降低圖 像噪聲的技術(shù)。
[0017] 用于解決課題的手段
[0018] 本發(fā)明的一方式涉及一種圖像處理裝置，對由多個像素的像素數(shù)據(jù)的集合構(gòu)成的 圖像數(shù)據(jù)進行處理，該圖像處理裝置具備：實際空間濾波處理部，在所輸入的圖像數(shù)據(jù)中， 基于多個像素中的關(guān)注像素與配置于該關(guān)注像素的周邊的周邊像素的實際空間中的距離 算出對各周邊像素的實際空間加權(quán)系數(shù)，使用該實際空間加權(quán)系數(shù)對關(guān)注像素的像素數(shù)據(jù) 和周邊像素的像素數(shù)據(jù)進行加權(quán)平均而算出關(guān)注像素的像素數(shù)據(jù)；及顏色空間濾波處理 部，基于多個像素中的關(guān)注像素與配置于該關(guān)注像素的周邊的周邊像素的顏色空間中的距 離而算出對各周邊像素的顏色空間加權(quán)系數(shù)，使用該顏色空間加權(quán)系數(shù)對關(guān)注像素的像素 數(shù)據(jù)和周邊像素的像素數(shù)據(jù)進行加權(quán)平均而算出關(guān)注像素的像素數(shù)據(jù)，實際空間濾波處理 部所進行的實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的加權(quán)平均基于邊緣保存型的濾波處理， 顏色空間濾波處理部中使用的像素數(shù)據(jù)中的至少關(guān)注像素的像素數(shù)據(jù)是由實際空間濾波 處理部算出的像素數(shù)據(jù)。
[0019] 根據(jù)本方式，能夠在前級進行基于邊緣保存型的濾波處理的實際空間濾波處理， 在后級進行顏色空間濾波處理。因此，能夠在通過邊緣保存型的濾波處理防止?jié)B色等不良 情況并對邊緣（色邊界部分）良好地進行了保存的狀態(tài)下，通過顏色空間濾波處理降低圖 像噪聲。
[0020] 另外，在此所說的"實際空間"表示基于圖像數(shù)據(jù)上的像素配置關(guān)系的空間，所謂 "實際空間中的距離"是反映圖像數(shù)據(jù)的多個像素間的實際距離的指標，直接或間接地表示 處理對象的像素（關(guān)注像素）與其他周邊的像素（周邊像素）的距離。因此，能夠?qū)D像上 的像素間的實際距離直接地稱作"實際空間中的距離"，也能夠?qū)⑹褂帽硎鞠袼亻g的實際距 離的其他指標（參數(shù)）而間接地表示像素間的實際距離的參數(shù)稱作"實際空間中的距離"。 例如，能夠以像素為單位表示實際空間中的距離，與關(guān)注像素相鄰的周邊像素相對于關(guān)注 像素能夠表現(xiàn)為具有"相當于一個像素"的實際空間中的距離。
[0021] 另外，在此所謂的"顏色空間"，是立體地記述的顏色的空間，作為代表性的顏色空 間能夠列舉出基于"R/G/B"、"Y/Cb/Cr"的顏色空間。另外，所謂"顏色空間中的距離"，是反 映以圖像數(shù)據(jù)的多個像素間的顏色為基準的分離度的指標，直接或間接地表示處理對象的 像素（關(guān)注像素）和其他周邊的像素（周邊像素）的與顏色相關(guān)的近似度。因此，能夠?qū)?顏色空間上中的距離直接地稱作"顏色空間上的距離"，也能夠?qū)⑹褂帽硎绢伾臻g上的距 離的其他指標（參數(shù)）而間接地表示像素間的顏色的近似度/分離度的參數(shù)稱作"顏色空 間上的距離"。例如，也可以是，關(guān)于規(guī)定顏色空間的要素（RGB顏色空間中的R/G/B各要素、 YCbCr顏色空間中的Y/Cb/Cr各要素），求出關(guān)注像素的像素數(shù)據(jù)與周邊像素的像素數(shù)據(jù)之 差的絕對值的平方的總和，將該總和的平方根表現(xiàn)為"顏色空間上的距離"。另外，也可以 將對應規(guī)定顏色空間的每個要素進行了加權(quán)后的參數(shù)表現(xiàn)為"顏色空間上的距離"。另外， 也可以不對關(guān)注像素的像素數(shù)據(jù)與周邊像素的像素數(shù)據(jù)之差的絕對值進行平方，而將在規(guī) 定顏色空間的要素間原樣相加后的參數(shù)表現(xiàn)為"顏色空間上的距離"。另外，也可以是，對 應規(guī)定顏色空間的每個要素，求出關(guān)注像素的像素數(shù)據(jù)與周邊像素的像素數(shù)據(jù)之差的絕對 值，不對該差的絕對值進行平方，而對應規(guī)定顏色空間的每個要素進行差的絕對值的加權(quán)， 將使在規(guī)定顏色空間的要素間進行了加權(quán)后的差的絕對值相加后的參數(shù)表現(xiàn)為"顏色空間 上的距離"。此外，也可以是，將對這些顏色空間上的距離乘以預定的系數(shù)而得到的值（加 權(quán)后的值）表現(xiàn)為"顏色空間上的距離"。
[0022] 另外，在此所謂的"邊緣保存型的濾波處理"表示對圖像的邊緣（色邊界部分）良 好地進行保持的濾波處理。例如，如果關(guān)注像素與周邊像素的像素數(shù)據(jù)之差的絕對值是預 定的閾值以內(nèi)，則在該集合的范圍內(nèi)算出圖像數(shù)據(jù)（本例中為色差數(shù)據(jù)）的平均值的處理 包含于在此所說的"邊緣保存型的濾波處理"。另外，能夠?qū)D像的邊緣（色邊界部分）良 好地進行保持的其他處理也可以包含于"邊緣保存型的濾波處理"。
[0023] 優(yōu)選為，圖像數(shù)據(jù)包含與顏色相關(guān)的圖像數(shù)據(jù)，實際空間濾波處理部對與顏色相 關(guān)的圖像數(shù)據(jù)，基于邊緣保存型的濾波處理來進行實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的 加權(quán)平均。
[0024] 根據(jù)本方式，由于對與顏色相關(guān)的圖像數(shù)據(jù)實施邊緣保存型的實際空間濾波處 理，因此能夠在防止?jié)B色等且對邊緣良好地進行了保持的狀態(tài)下降低圖像噪聲。另外，作為 在此所謂的"與顏色相關(guān)的圖像數(shù)據(jù)"，例如能夠使用RGB的圖像數(shù)據(jù)。
[0025] 優(yōu)選為，圖像數(shù)據(jù)包含與亮度相關(guān)的圖像數(shù)據(jù)和與色差相關(guān)的圖像數(shù)據(jù)，實際空 間濾波處理部對與亮度相關(guān)的圖像數(shù)據(jù)和與色差相關(guān)的圖像數(shù)據(jù)中的至少與色差相關(guān)的 圖像數(shù)據(jù)，基于邊緣保存型的濾波處理來進行實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的加權(quán) 平均。
[0026] 根據(jù)本方式，由于至少對與色差相關(guān)的圖像數(shù)據(jù)實施邊緣保存型的實際空間濾波 處理，因此能夠在防止?jié)B色等且對邊緣良好地進行了保持的狀態(tài)下降低圖像噪聲。另外，作 為在此所說的"與色差相關(guān)的圖像數(shù)據(jù)"，例如能夠使用Cr/Cb的圖像數(shù)據(jù)。
[0027] 優(yōu)選為，顏色空間濾波處理部為了求出關(guān)注像素與周邊像素的顏色空間中的距離 而使用的像素數(shù)據(jù)中，關(guān)注像素的像素數(shù)據(jù)是實際空間濾波處理部所算出的像素數(shù)據(jù)，周 邊像素的像素數(shù)據(jù)是構(gòu)成向?qū)嶋H空間濾波處理部輸入之前的圖像數(shù)據(jù)的像素數(shù)據(jù)。
[0028] 根據(jù)本方式，顏色空間濾波處理部基于接受了實際空間濾波處理后的關(guān)注像素的 像素數(shù)據(jù)和沒有接受實際空間濾波處理的周邊像素的像素數(shù)據(jù)，求出關(guān)注像素與周邊像素 的顏色空間中的距離。在該情況下，也能夠在防止了滲色等不良情況且對邊緣（色邊界部 分）良好地進行了保存的狀態(tài)下，通過顏色空間濾波處理降低圖像噪聲。
[0029] 優(yōu)選為，顏色空間濾波處理部為了基于顏色空間加權(quán)系數(shù)的加權(quán)平均而使用的像 素數(shù)據(jù)中，關(guān)注像素的像素數(shù)據(jù)是實際空間濾波處理部所算出的像素數(shù)據(jù)，周邊像素的像 素數(shù)據(jù)是構(gòu)成向?qū)嶋H空間濾波處理部輸入之前的圖像數(shù)據(jù)的像素數(shù)據(jù)。
[0030] 根據(jù)本方式，顏色空間濾波處理部基于接受了實際空間濾波處理后的關(guān)注像素的 像素數(shù)據(jù)和沒有接受實際空間濾波處理的周邊像素的像素數(shù)據(jù)，進行基于顏色空間加權(quán)系 數(shù)的加權(quán)平均運算。在該情況下，也能夠在防止?jié)B色等不良情況且對邊緣（色邊界部分） 良好地進行了保存的狀態(tài)下通過顏色空間濾波處理降低圖像噪聲。
[0031] 優(yōu)選為，顏色空間濾波處理部使用實際空間濾波處理部所算出的像素數(shù)據(jù)，求出 關(guān)注像素與周邊像素的顏色空間中的距離而進行基于顏色空間加權(quán)系數(shù)的加權(quán)平均。
[0032] 根據(jù)本方式，由于基于接受了實際空間濾波處理后的關(guān)注像素的像素數(shù)據(jù)和周邊 像素的像素數(shù)據(jù)進行顏色空間濾波處理部中的顏色空間濾波處理，因此能夠非常有效地進 行邊緣保存和噪聲降低。
[0033] 優(yōu)選為，成為在實際空間濾波處理部和顏色空間濾波處理部的各濾波處理部中使 用的像素數(shù)據(jù)的對象的周邊像素與成為在實際空間濾波處理部和顏色空間濾波處理部的 各濾波處理部中使用的像素數(shù)據(jù)的對象的關(guān)注像素和其他周邊像素中的至少任一像素相 鄰。
[0034] 根據(jù)本方式，基于彼此相鄰的關(guān)注像素和周邊像素的像素數(shù)據(jù)進行實際空間濾波 處理和顏色空間濾波處理。通過使用相鄰像素的像素數(shù)據(jù)，能夠簡單且有效地進行實際空 間濾波處理和顏色空間濾波處理。
[0035] 優(yōu)選為，成為在顏色空間濾波處理部中使用的像素數(shù)據(jù)的對象的周邊像素與成為 在顏色空間濾波處理部中使用的像素數(shù)據(jù)的對象的關(guān)注像素和其他周邊像素均不相鄰。
[0036] 根據(jù)本方式，基于彼此分離配置的關(guān)注像素和周邊像素的像素數(shù)據(jù)而進行顏色空 間濾波處理。通過使用分離配置的像素的像素數(shù)據(jù)，能夠活用比較廣范圍的像素的像素數(shù) 據(jù)。
[0037] 優(yōu)選為，顏色空間基于RGB。
[0038] 根據(jù)本方式，能夠基于RGB顏色空間中的距離進行顏色空間濾波處理。
[0039] 優(yōu)選為，顏色空間基于亮度和色差。
[0040] 根據(jù)本方式，能夠基于亮度/色差（Y/Cb/Cr等）顏色空間中的距離進行顏色空間 濾波處理。
[0041] 優(yōu)選為，實際空間濾波處理部被輸入與亮度相關(guān)的圖像數(shù)據(jù)和與色差相關(guān)的圖像 數(shù)據(jù)，對與亮度相關(guān)的圖像數(shù)據(jù)和與色差相關(guān)的圖像數(shù)據(jù)分別進行實際空間加權(quán)系數(shù)的計 算和加權(quán)平均而算出像素數(shù)據(jù)，顏色空間濾波處理部被輸入與亮度相關(guān)的圖像數(shù)據(jù)和與色 差相關(guān)的圖像數(shù)據(jù)，使用該與亮度相關(guān)的圖像數(shù)據(jù)，對與色差相關(guān)的圖像數(shù)據(jù)進行顏色空 間加權(quán)系數(shù)的計算和加權(quán)平均而算出像素數(shù)據(jù)，圖像處理裝置輸出基于在實際空間濾波處 理部中算出的像素數(shù)據(jù)的與亮度相關(guān)的圖像數(shù)據(jù)和基于在顏色空間濾波處理部中算出的 像素數(shù)據(jù)的與色差相關(guān)的圖像數(shù)據(jù)。
[0042] 根據(jù)本方式，若將與亮度和色差相關(guān)的圖像數(shù)據(jù)輸入到實際空間濾波處理部，則 將在實際空間濾波處理部中進行了圖像處理后的與亮度數(shù)據(jù)相關(guān)的圖像數(shù)據(jù)從圖像處理 裝置輸出，另外，將在實際空間濾波處理部和顏色空間濾波處理部中進行了圖像處理后的 與色差相關(guān)的圖像數(shù)據(jù)從圖像處理裝置輸出。由此，能夠在防止?jié)B色等且對圖像邊緣良好 地進行了保存的狀態(tài)下，得到降低了圖像噪聲的圖像數(shù)據(jù)。
[0043] 本發(fā)明的其他方式涉及圖像處理方法，對由多個像素的像素數(shù)據(jù)的集合構(gòu)成的圖 像數(shù)據(jù)進行處理，該圖像處理方法具備：實際空間濾波處理步驟，在所輸入的圖像數(shù)據(jù)中， 基于多個像素中的關(guān)注像素與配置于該關(guān)注像素的周邊的周邊像素的實際空間中的距離 算出對各周邊像素的實際空間加權(quán)系數(shù)，使用該實際空間加權(quán)系數(shù)對關(guān)注像素的像素數(shù)據(jù) 和周邊像素的像素數(shù)據(jù)進行加權(quán)平均而算出關(guān)注像素的像素數(shù)據(jù)；及顏色空間濾波處理步 驟，基于多個像素中的關(guān)注像素與配置于該關(guān)注像素的周邊的周邊像素的顏色空間中的距 離而算出對各周邊像素的顏色空間加權(quán)系數(shù)，使用該顏色空間加權(quán)系數(shù)對關(guān)注像素的像素 數(shù)據(jù)和周邊像素的像素數(shù)據(jù)進行加權(quán)平均而算出關(guān)注像素的像素數(shù)據(jù)，實際空間濾波處理 步驟中所進行的實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的加權(quán)平均基于邊緣保存型的濾波 處理，顏色空間濾波處理步驟中使用的像素數(shù)據(jù)中的至少關(guān)注像素的像素數(shù)據(jù)是在實際空 間濾波處理步驟中算出的像素數(shù)據(jù)。
[0044] 發(fā)明效果
[0045] 根據(jù)本發(fā)明，在實際空間濾波處理中，實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的加 權(quán)平均包括"邊緣保存型的濾波處理"，因此能夠?qū)D像的邊界部（邊緣部）良好地進行保 存并進行實際空間濾波處理。由此，能夠基于以良好的狀態(tài)保存了圖像邊界部的圖像數(shù)據(jù) 而進行顏色空間濾波處理，因此能夠防止?jié)B色等不良情況且有效地降低圖像噪聲。

【專利附圖】

【附圖說明】
[0046] 圖1是表示將本發(fā)明適用于攝像裝置（數(shù)碼相機）的一例的功能框圖。
[0047] 圖2是表示圖像處理部中的數(shù)字處理的一例的功能框圖。
[0048] 圖3是表示噪聲降低處理的流程的框圖。
[0049] 圖4是表示多個像素的配置例的示意圖。
[0050] 圖5A例示在實際空間濾波處理中使用的實際空間濾波器，并表示將水平一維7抽 頭濾波器和垂直一維7抽頭濾波器組合而成的分離型的實際空間濾波器。
[0051] 圖5B表示在實際空間濾波處理中使用的實際空間濾波器，表示由水平垂直方向 的7X7抽頭濾波器構(gòu)成的行列型（二維）實際空間濾波器。
[0052] 圖6A是表示基于顏色空間中的距離的噪聲降低處理的一例的概念圖。
[0053] 圖6B是表示基于顏色空間中的距離的噪聲降低處理的一例的概念圖。
[0054] 圖6C是表示基于顏色空間中的距離的噪聲降低處理的一例的概念圖。
[0055] 圖6D是表示基于顏色空間中的距離的噪聲降低處理的一例的概念圖。
[0056] 圖7是表示實際空間濾波處理和顏色空間濾波處理的關(guān)系的圖。
[0057] 圖8是表示顏色空間濾波用濾波系數(shù)的計算的流程的圖。
[0058] 圖9是表示顏色空間上的距離和加權(quán)系數(shù)的關(guān)系的坐標圖的一例。
[0059] 圖10是表示顏色空間濾波處理部中的關(guān)注像素和周邊像素的其他配置例的圖。
[0060] 圖11是智能手機的外觀圖。
[0061] 圖12是表示智能手機的結(jié)構(gòu)的框圖。

【具體實施方式】
[0062] 以下，參照附圖對本發(fā)明的實施方式進行說明。另外，下述的結(jié)構(gòu)不過是例示，各 結(jié)構(gòu)能夠由任意的硬件、軟件或者兩者的組合適當實現(xiàn)。
[0063] 本發(fā)明涉及防止色邊界部中的滲色等且降低圖像噪聲的技術(shù)，可以適用于能夠進 行從圖像數(shù)據(jù)將噪聲降低/除去的處理的全部設備類。因此，例如即使利用相機等攝像裝 置、與攝像裝置連接的計算機、或者安裝于計算機的軟件（用于使計算機執(zhí)行以下的處理 工序（步驟）的程序）也能夠?qū)崿F(xiàn)本發(fā)明。該軟件（程序等）也可以記錄于ROM等計算機 能夠讀取的非暫時性的記錄介質(zhì)（non - transitory computer - readable medium:非易 失性計算機可讀介質(zhì)）。
[0064] 圖1是表示將本發(fā)明適用于攝像裝置（數(shù)碼相機）的一例的功能框圖，特別是表 示與噪聲降低處理（噪聲降低處理）相關(guān)的模塊的圖。
[0065] 攝像裝置10具備相互連接的攝像部11、圖像處理部（圖像處理裝置）22、控制部 14、存儲器15、顯示部（液晶顯示器等）16、操作部17和信號輸入輸出I/F(接口）18。
[0066] 攝像部11是通過被攝體的攝像來獲取攝像數(shù)據(jù)（圖像數(shù)據(jù)）的部位，包含透鏡12 和攝像元件（CCD、CMOS等）13等而構(gòu)成。攝像元件13具有將多個受光元件以像素為單位 二維配置的結(jié)構(gòu)。
[0067] 圖像處理部22對在攝像部11中攝像獲取的圖像數(shù)據(jù)進行用于提高畫質(zhì)的圖像處 理、圖像數(shù)據(jù)的壓縮處理。在本例中特別是，除了進行WB(白平衡）調(diào)整處理等各種處理的 圖像處理電路24外，還在圖像處理部22設置將圖像數(shù)據(jù)所包含的圖像噪聲降低/除去的 噪聲降低處理部25。噪聲降低處理部25具有對圖像數(shù)據(jù)進行實際空間濾波處理的實際空 間濾波處理部26和進行顏色空間濾波處理的顏色空間濾波處理部27。
[0068] 對于圖像處理部22中的圖像處理的詳細情況留作后述，但是，在本例中，首先進 行實際空間濾波處理作為顏色空間濾波處理的前級的預濾波處理，在該實際空間濾波處理 后進行顏色空間濾波處理。在想要單純地僅以實際空間濾波進行色差噪聲的降低的情況 下，存在在顏色的邊界產(chǎn)生滲色（模糊）、色空缺的憂慮。另一方面，在單純地在顏色空間上 進行濾波處理而實現(xiàn)色差噪聲的降低的情況下，如果想要抑制滲色、色空缺，則重要的噪聲 降低的程度會變?nèi)?。例如，在對象像素包含較強的噪聲成分的情況下，對象像素與周邊像素 的顏色空間上的距離較大，因此即使在顏色空間上進行濾波處理也無法充分地降低噪聲成 分，有可能會作為圖像噪聲而殘留。
[0069] 因此，在以下的實施方式中，首先，通過在前級中進行實際空間濾波處理，而將強 度較強的噪聲成分除去。由此，能夠增大后級的顏色空間濾波處理的噪聲降低效果，并且也 能夠得到僅在實際空間濾波處理中無法得到的滲色、色空缺的抑制這一效果。
[0070] 對于包含實際空間濾波處理和顏色空間濾波處理的圖像處理方法的詳細情況留 作后述（參照圖3等）。
[0071] 圖1所示的存儲器15是對圖像數(shù)據(jù)、使用于各種處理的程序、數(shù)據(jù)進行保存的數(shù) 據(jù)保存區(qū)域，另外，作為為了在各種處理時的運算等而使用的緩存器區(qū)域也能夠活用。
[0072] 顯示部16和操作部17構(gòu)成用戶接口。顯示部16向用戶提示各種顯示，用戶能夠 經(jīng)由操作部17發(fā)送各種操作指示信號。因此，用戶能夠一邊對顯示部16所示的信息進行 確認一邊經(jīng)由操作部17向控制部14發(fā)送操作指示信號，并對攝像部11、圖像處理部22、存 儲器15、顯示部16、信號輸入輸出I/F18等中的各種處理進行控制。
[0073] 信號輸入輸出I/F18構(gòu)成攝像裝置10和外部設備類之間的數(shù)據(jù)輸入輸出接口。因 此，由攝像部11攝像獲取的圖像數(shù)據(jù)（RAW數(shù)據(jù)、圖像處理后的圖像數(shù)據(jù)等）能夠經(jīng)由信號 輸入輸出I/F18而輸出到外部設備類。
[0074] 控制部14是對構(gòu)成攝像裝置10的各種設備類集中地進行控制的部位，由CPU(中 央處理裝置）、其他周邊電路構(gòu)成。因此，能夠通過控制部14對攝像部11的攝像處理、圖像 處理部22的圖像處理、對存儲器15的寫入處理/讀出處理、顯示部16中的顯示處理、來自 操作部17的操作信號的處理、經(jīng)由信號輸入輸出I/F18的輸入輸出處理等各種處理集中地 進行控制。
[0075] 接下來，對圖像處理部22中的具體的圖像處理例進行說明。
[0076] 圖2是表示圖像處理部22中的數(shù)字處理的一例的功能框圖。
[0077] 由攝像部11攝像生成的攝像數(shù)據(jù)（RAW數(shù)據(jù)）包含例如14位的R(紅）、G (綠）、 B(藍）的顏色數(shù)據(jù)以R、G、B的點順序施加到圖像處理部22的線性前處理部31。R、G、B的 RAW數(shù)據(jù)由線性前處理部31進行偏置調(diào)整、16位化、陰影校正這樣的對線性數(shù)據(jù)的前處理。
[0078] 從線性前處理部31輸出的R、G、B數(shù)據(jù)被輸出到白平衡（WB)校正部32。WB校正 部32在對每個R、G、B數(shù)據(jù)乘以白平衡校正用的增益值Rg、Gg、Bg，從而進行白平衡校正。 在此，白平衡校正用的增益值Rg、Gg、Bg設定為對RAW數(shù)據(jù)進行解析、例如對光源種類（太 陽光、熒光燈、鎢燈泡等）進行確定并與該光源種類對應而預先存儲的增益值Rg、Gg、Bg，或 者設定為與在進行白平衡校正的菜單畫面上手動選擇的光源種類、色溫對應的增益值Rg、 Gg>Bg〇
[0079] 從WB校正部32輸出的R、G、B數(shù)據(jù)提供給曝光校正部33。曝光校正部33根據(jù)基 于手動的曝光校正值（例如一 3EV?+3EV)的指示輸入而對普通曝光（不進行曝光校正的 情況下的曝光）將曝光校正為不足（減感處理），或校正為過度（增感處理）。
[0080] 從曝光校正部33輸出的R、G、B數(shù)據(jù)被輸出到伽馬（Y)校正部34,在此，將線性 數(shù)據(jù)轉(zhuǎn)換為sRGB、AdobeRBG、scRGB這樣的顏色空間的灰度數(shù)據(jù)。被伽馬校正后的R、G、B 數(shù)據(jù)被輸出到去馬賽克算法處理部（去馬賽克算法處理部）35。
[0081] 去馬賽克算法處理部35進行對與攝像元件中的濾色器的排列相伴的R、G、B數(shù)據(jù) 的空間性的偏差進行插值而以去馬賽克算法的方式對R、G、B數(shù)據(jù)進行轉(zhuǎn)換的處理，并將去 馬賽克算法（去馬賽克算法）后的R、G、B數(shù)據(jù)輸出到RGB/YC轉(zhuǎn)換部36。
[0082] RGB/YC轉(zhuǎn)換部36將R、G、B數(shù)據(jù)轉(zhuǎn)換為亮度數(shù)據(jù)（亮度信號）Y、色差數(shù)據(jù)（色差 信號）Cr、Cb，并將亮度數(shù)據(jù)Y輸出到輪廓校正部37,將色差數(shù)據(jù)Cr、Cb輸出到色調(diào)校正部 38。輪廓校正部37進行對亮度數(shù)據(jù)Y的輪廓部（亮度變化較大的部分）進行強調(diào)的處理。 色調(diào)校正部38進行所輸入的色差數(shù)據(jù)Cr、Cb與2行X2列的顏色校正矩陣系數(shù)的矩陣運 算，進行實現(xiàn)良好的顏色再現(xiàn)性的顏色校正。顏色校正矩陣系數(shù)根據(jù)來自用戶的顏色校正 的指示輸入而適當變更。
[0083] 壓縮圖像處理部39是基于壓縮參數(shù)對圖像數(shù)據(jù)進行壓縮的圖像處理部。本例的 壓縮圖像處理部39基于輪廓校正后的亮度數(shù)據(jù)Y和色調(diào)校正后的色差數(shù)據(jù)Cr、Cb而進行 壓縮處理，生成JPEG格式等的壓縮圖像數(shù)據(jù)。
[0084] 在圖像處理部22中進行了各種圖像處理和圖像壓縮處理后的壓縮圖像數(shù)據(jù)由控 制部14進行輸出控制，存儲于存儲器15,或者在顯示部16顯示縮小圖像，或者經(jīng)由信號輸 入輸出I/F18而輸出到外部。
[0085] 另外，這些線性前處理部31、WB校正部32、曝光校正部33、γ校正部34、去馬賽克 算法處理部35、RGB/YC轉(zhuǎn)換部36、輪廓校正部37、色調(diào)校正部38、壓縮圖像處理部39由圖 1的圖像處理電路24構(gòu)成。
[0086] 在本例中，除了上述的各種圖像處理之外，還以適當?shù)臅r機進行噪聲降低處理部 25的噪聲降低處理。進行噪聲降低處理的時機不特別被限定，但是優(yōu)選為，對被實施了去 馬賽克算法處理前的各種處理后的數(shù)據(jù)進行噪聲降低處理，能夠以去馬賽克算法處理（去 馬賽克算法處理部35)后且圖像壓縮處理（壓縮圖像處理部39)前的任意時機（例如，"去 馬賽克算法處理和RGB/YC轉(zhuǎn)換處理之間"、"RGB/YC轉(zhuǎn)換處理和輪廓校正處理/色調(diào)校正 處理之間"、"輪廓校正處理/色調(diào)校正處理和圖像壓縮處理之間"等），進行噪聲降低處理。 特別是，在進行基于亮度數(shù)據(jù)的輪廓校正處理（輪廓校正部37)、基于色差數(shù)據(jù)的色調(diào)校正 (色調(diào)校正部38)等的情況下，有可能通過這些處理對噪聲進行強調(diào)，因此優(yōu)選為在這些處 理前進行噪聲降低處理。
[0087] <噪聲降低處理>
[0088] 接下來，對噪聲降低處理進行說明。
[0089] 圖3是表示噪聲降低處理的流程的框圖。本例的噪聲降低處理包括：前級的實際 空間濾波處理部26的實際空間濾波處理（圖3的S10 :實際空間濾波處理步驟）和后級 的顏色空間濾波處理部27的顏色空間濾波處理（S20 :顏色空間濾波處理步驟）。
[0090] 實際空間濾波處理是如下那樣的處理：在所輸入的圖像數(shù)據(jù)中，基于多個像素中 的關(guān)注像素與配置于該關(guān)注像素的周邊的周邊像素的"實際空間中的距離"，算出對關(guān)注像 素和各周邊像素的實際空間加權(quán)系數(shù)，使用該實際空間加權(quán)系數(shù)對關(guān)注像素的像素數(shù)據(jù)和 周邊像素的像素數(shù)據(jù)進行加權(quán)平均，從而算出關(guān)注像素的像素數(shù)據(jù)。
[0091] 另一方面，顏色空間濾波處理是如下那樣的處理：基于多個像素中的關(guān)注像素與 配置于該關(guān)注像素的周邊的周邊像素的"顏色空間中的距離"，算出對關(guān)注像素和各周邊像 素的顏色空間加權(quán)系數(shù)，使用該顏色空間加權(quán)系數(shù)對關(guān)注像素的像素數(shù)據(jù)和周邊像素的像 素數(shù)據(jù)進行加權(quán)平均，從而算出關(guān)注像素的圖像數(shù)據(jù)。
[0092] 因此，輸入到噪聲降低處理部25的圖像數(shù)據(jù)在接受了基于實際空間中的距離的 實際空間濾波處理后，接受基于顏色空間中的距離的顏色空間濾波處理，由此以圖像噪聲 被降低的狀態(tài)從噪聲降低處理部25輸出。
[0093] 另外，向噪聲降低處理部25輸入之前的圖像數(shù)據(jù)和從噪聲降低處理部25輸出后 的圖像數(shù)據(jù)被存儲保存在存儲器15。
[0094] <實際空間濾波處理>
[0095] 接下來，對實際空間濾波處理的詳細情況進行說明。
[0096] 在此，所謂的"實際空間中的距離"是反映圖像數(shù)據(jù)的多個像素間的圖像中的實際 距離的指標，直接或間接地表示處理對象的像素（關(guān)注像素）與其他周邊的像素（周邊像 素）的距離。因此，也能夠?qū)⑾袼亻g的實際距離直接地稱作"實際空間中的距離"，也能夠?qū)?使用表示像素間的實際距離的其他指標（參數(shù)）而間接地表示像素間的實際距離的參數(shù)稱 作"實際空間中的距離"。
[0097] 圖4是表示多個像素的配置例的示意圖。圖像數(shù)據(jù)由多個像素的像素數(shù)據(jù)的集合 構(gòu)成，該圖像數(shù)據(jù)（各像素數(shù)據(jù)）在實際空間濾波處理部26中進行圖像處理。
[0098] 關(guān)于實際空間濾波處理部26中成為處理的基準的"實際空間中的距離"，例如在 圖4中以"50A"表示關(guān)注像素的情況下，關(guān)注像素50A與圖4的"周邊像素50B"的實際空 間中的距離與"3像素"相當，關(guān)注像素50A與圖4的"周邊像素50C"的實際空間中的距離 與"5像素"相當。
[0099] 另外，例如圖4的"周邊像素50D"與關(guān)注像素50A的距離嚴格地說與"（32+32) 1/2 像素"相當。其中，周邊像素50D配置在相對于關(guān)注像素在水平方向和垂直方向上錯開3像 素的位置，因此也可以設為，對該周邊像素50D進行與相對于關(guān)注像素的實際空間中的距 離相當于"3像素"的其他周邊像素（例如像素50B)同樣的加權(quán)處理。如此，不必一定使用 嚴格的"實際空間中的距離"，也可以間接地使用"實際空間中的距離"而決定實際空間加權(quán) 系數(shù)。
[0100] 接下來，對于實際空間濾波處理的具體例，說明處理對象的圖像數(shù)據(jù)包含由RGB/ YC轉(zhuǎn)換處理（參照圖2的RGB/YC轉(zhuǎn)換部36)得到的與亮度相關(guān)的圖像數(shù)據(jù)（亮度數(shù)據(jù)Y) 和與色差相關(guān)的圖像數(shù)據(jù)（色差數(shù)據(jù)Cr、Cb)的情況。
[0101] 實際空間濾波處理部26對所輸入的亮度數(shù)據(jù)和色差數(shù)據(jù)分別進行實際空間加權(quán) 系數(shù)的計算和加權(quán)平均而算出像素數(shù)據(jù)。
[0102] 本例的實際空間濾波處理部26所進行的實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的 加權(quán)平均包含邊緣保存型的濾波處理，特別是對與色差相關(guān)的圖像數(shù)據(jù)，基于邊緣保存型 的濾波處理而進行實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的加權(quán)平均。
[0103] 圖5A和圖5B是例示在實際空間濾波處理中使用的實際空間濾波器的圖。圖5A 表示將水平一維7抽頭濾波器和垂直一維7抽頭濾波器組合而成的分離型的實際空間濾波 器，圖5B表示由水平垂直方向的7X7抽頭濾波器形成的行列型（二維）實際空間濾波器。
[0104] 這些實際空間濾波器中，圖5B所示的實際空間濾波器構(gòu)成邊緣保存型的濾波器。 艮P，在使用圖5B所示的實際空間濾波器的情況下，如果關(guān)注像素（本像素）與周邊像素的 像素數(shù)據(jù)之差的絕對值處于預定的閾值以內(nèi)，則在該集合的范圍內(nèi)算出圖像數(shù)據(jù)（本例中 為色差數(shù)據(jù)）的平均值。因此，與關(guān)注像素的像素數(shù)據(jù)之差的絕對值具有"處于預定的閾值 以內(nèi)的像素數(shù)據(jù)"的周邊像素成為關(guān)注像素的像素數(shù)據(jù)的實際空間濾波處理中的使用對象 像素，但是與關(guān)注像素的像素數(shù)據(jù)之差的絕對值具有"超過預定的閾值的像素數(shù)據(jù)"的周邊 像素從關(guān)注像素的像素數(shù)據(jù)的實際空間濾波處理中的使用對象像素被除去。
[0105] 若使用邊緣保存型的濾波器，則與使用單純的實際空間濾波器的情況相比，即使 在關(guān)注像素和/或周邊像素的像素數(shù)據(jù)包含脈沖強的噪聲的情況下，也能夠有效地抑制色 邊界處的滲色、色空缺的發(fā)生并能夠良好地降低噪聲。特別是，通過將邊緣保存型的實際空 間濾波器進行的實際空間濾波處理與后級的顏色空間濾波處理組合，能夠協(xié)同地降低高靈 敏度攝影時較多地發(fā)生的顏色噪聲，并且也能夠?qū)D像所包含的邊緣（色邊界部分）良好 地進行保存。
[0106] 在本例中，對亮度數(shù)據(jù)使用圖5A所示的分離型的實際空間濾波器，對色差數(shù)據(jù)使 用圖5B所示的行列型的實際空間濾波器。
[0107] 例如，在將圖5A所示的分離型的實際空間濾波器適用于亮度數(shù)據(jù)的情況下，對處 理對象的關(guān)注像素和周邊像素進行基于圖5A所示的加權(quán)系數(shù)（實際空間加權(quán)系數(shù)：實際空 間濾波系數(shù)）的加權(quán)平均運算。即，關(guān)于水平方向，將對關(guān)注像素的加權(quán)系數(shù)設定為"4"，將 對與相對于關(guān)注像素錯開1像素量的位置相鄰的周邊像素的加權(quán)系數(shù)設定為"3"，將對相 對于關(guān)注像素在水平方向上錯開2像素量的位置的周邊像素的加權(quán)系數(shù)設定為"2"，將對 相對于關(guān)注像素在水平方向上錯開2像素量的位置的周邊像素的加權(quán)系數(shù)設定為" 1"。將 使這些加權(quán)系數(shù)與對應的像素的亮度數(shù)據(jù)（像素值）之積除以加權(quán)系數(shù)的總和而得到的值 作為關(guān)注像素的亮度數(shù)據(jù)（像素值）而分配。同樣地，關(guān)于垂直方向也進行對關(guān)注像素和 周邊像素的加權(quán)系數(shù)的計算和加權(quán)平均的計算，并作為關(guān)注像素的亮度數(shù)據(jù)（像素值）而 分配。對亮度數(shù)據(jù)的實際空間濾波處理的使邊緣（邊界部）明確的效果較高。
[0108] 通過組合水平一維濾波器和垂直一維濾波器的兩濾波器的運算，能夠使運算處理 電路的結(jié)構(gòu)比較簡單，另一方面，能夠?qū)嵸|(zhì)地關(guān)于包含關(guān)注像素的水平垂直方向（二維）而 進行實際空間濾波處理。
[0109] 另一方面，在將圖5B所示的行列型的實際空間濾波器適用于色差數(shù)據(jù)的情況下， 對處理對象的關(guān)注像素和周邊像素進行基于圖5B所示的加權(quán)系數(shù)（顏色空間加權(quán)系數(shù)：濾 波系數(shù)）的加權(quán)平均運算。在圖5B所示的例子中，對包含關(guān)注像素的MXM像素（本例中 為M = 7)的全部將加權(quán)系數(shù)設定為"1"，將使這些加權(quán)系數(shù)與對應的像素的色差數(shù)據(jù)（像 素值）之積除以加權(quán)系數(shù)的總和而得到的值作為關(guān)注像素的色差數(shù)據(jù)（像素值）而分配。 [0110] 特別是，在本例中，構(gòu)成圖5B所示的實際空間濾波器作為上述的邊緣保存型的濾 波器，如果關(guān)注像素（本像素）與周邊像素的差的絕對值處于預定的閾值以內(nèi)，則在該集合 的范圍內(nèi)算出圖像數(shù)據(jù)（本例中為色差數(shù)據(jù)）的平均值。
[0111] 實際空間濾波處理部26 -邊依次切換關(guān)注像素，一邊將使用了上述的圖5A和圖 5B所示的濾波器的實際空間濾波處理適用于全部像素的亮度數(shù)據(jù)和色差數(shù)據(jù)。由此，能夠 算出實施了實際空間濾波處理后的圖像數(shù)據(jù)（亮度數(shù)據(jù)和色差數(shù)據(jù)）。從實際空間濾波處 理部26輸出的圖像數(shù)據(jù)（亮度數(shù)據(jù)和色差數(shù)據(jù)）被發(fā)送到后級的顏色空間濾波處理部27， 另外也可以保存于存儲器15。
[0112] 另外，上述的實際空間濾波處理不過是例示，也可以在實際空間濾波處理部26中 進行基于實際空間中的距離的其他處理。例如圖5A和圖5B所示的實際空間濾波器的濾波 系數(shù)不過是一例，也可以根據(jù)其他圖像處理、圖像數(shù)據(jù)的攝影條件（ISO感光度、白平衡校 正值等）等而將其他濾波系數(shù)適當分配于關(guān)注像素和周邊像素的各像素。另外，圖5A和圖 5B所示的實際空間濾波器使用包含關(guān)注像素的7X7像素的像素值，但是也可以使用更多 或更少像素數(shù)的像素值。
[0113] 另外，在上述的例子中說明了僅對色差數(shù)據(jù)適用邊緣保存型的實際空間濾波器的 例子，但是只要是至少對色差數(shù)據(jù)基于邊緣保存型的濾波處理進行實際空間加權(quán)系數(shù)的計 算和加權(quán)平均即可。因此，即使對亮度數(shù)據(jù)也可以適用圖5B所示那樣的邊緣保存型的實際 空間濾波器。
[0114] <顏色空間濾波處理>
[0115] 接下來，對顏色空間濾波處理的具體例進行說明。
[0116] 在本例中，使用了基于亮度（Y)和色差（Cb/Cr)的顏色空間并輸入到顏色空間濾 波處理部27的處理對象的圖像數(shù)據(jù)包括亮度數(shù)據(jù)和色差數(shù)據(jù)。顏色空間濾波處理部27被 輸入亮度數(shù)據(jù)和色差數(shù)據(jù)，并使用亮度數(shù)據(jù)，對色差數(shù)據(jù)進行顏色空間加權(quán)系數(shù)的計算和 加權(quán)平均而算出像素數(shù)據(jù)。
[0117] 即，顏色空間濾波處理部27使用實際空間濾波處理部26所算出的像素數(shù)據(jù)（亮 度數(shù)據(jù)、色差數(shù)據(jù)）作為"為了求出關(guān)注像素與周邊像素的顏色空間中的距離而使用的像 素數(shù)據(jù)"和"為了基于顏色空間加權(quán)系數(shù)的加權(quán)平均而使用的像素數(shù)據(jù)"。實際空間濾波 處理部26所算出的像素數(shù)據(jù)（亮度數(shù)據(jù)、色差數(shù)據(jù)）可以從實際空間濾波處理部26直接 發(fā)送到顏色空間濾波處理部27,也可以從保存有實際空間濾波處理后的圖像數(shù)據(jù)的存儲器 15由顏色空間濾波處理部27、控制部14讀出而輸入到顏色空間濾波處理部27。
[0118] 首先，參照圖6A至圖6D對顏色空間濾波處理的概念進行說明。
[0119] 圖6A至圖6D是表示基于顏色空間中的距離的噪聲降低處理的一例的概念圖。在 圖6A至圖6D中，示出了從Y(亮度）、Cb/Cr (色差）的彩色圖像取出任意的處理范圍（在 圖6A中，包含中央的關(guān)注像素和其周圍的周邊像素的5X5像素的范圍）的圖像數(shù)據(jù)（像 素數(shù)據(jù)）的情況。
[0120] 圖6B表示將該取出的處理范圍的全部像素（5X5像素）繪制在Y/Cb/Cr顏色空 間上的一例。
[0121] 假設，若所取出的處理范圍是平坦的圖像（各像素的亮度、色調(diào)、色度分別相同）， 則顏色空間上繪制的數(shù)據(jù)離散為近似于正態(tài)分布的形狀。若將該離散假想為噪聲，則減小 離散能夠降低噪聲。由于噪聲在顏色空間中具有近似于正態(tài)分布的離散，因此在離散的中 心處數(shù)據(jù)的密度最高，越從離散的中心遠離則數(shù)據(jù)的密度越低。
[0122] 據(jù)此，將所取出的處理范圍的中心像素設為關(guān)注像素（對象像素），計算關(guān)注像素 與處理范圍內(nèi)的全部像素（也包括關(guān)注像素）的顏色空間上的距離（參照圖6C)。
[0123] 并且，認為越是顏色空間上的距離接近于關(guān)注像素的周邊像素則越有用，從而越 增大對該周邊像素的像素數(shù)據(jù)的加權(quán)。如此，對全部像素（5X5像素）的各像素求出與顏 色空間中的距離對應的加權(quán)系數(shù)（顏色空間加權(quán)系數(shù)：顏色空間濾波系數(shù)），并使用所求出 的加權(quán)系數(shù)對全部像素（5X5像素）的圖像數(shù)據(jù)（像素數(shù)據(jù)）進行加權(quán)平均，從而算出關(guān) 注像素的圖像數(shù)據(jù)。
[0124] 由此，能夠使關(guān)注像素的圖像數(shù)據(jù)接近于顏色空間中密度較高的一方。通過將這 種顏色空間濾波處理同樣地適用于全部像素，能夠減小顏色空間中的圖像整體的離散，從 而降低噪聲（圖6D)。
[0125] 另外，在上述處理范圍處于邊緣上的情況下，在顏色空間上繪制的圖像數(shù)據(jù)被分 為多個像素組（多個集群）。在關(guān)注像素屬于某個像素組的情況下，構(gòu)成該像素組的像素與 關(guān)注像素的距離較近，因此加權(quán)系數(shù)變大，構(gòu)成其他像素組的像素距關(guān)注像素的距離較遠， 因此加權(quán)系數(shù)變小。其結(jié)果為，被加權(quán)平均后的關(guān)注像素的圖像數(shù)據(jù)（像素數(shù)據(jù)）不被平 滑，邊緣被良好地保持。
[0126] 例如高靈敏度攝影時等，圖像噪聲較多地發(fā)生，因此以顏色空間中的離散較大的 狀態(tài)分布各像素數(shù)據(jù)，圖6A至圖6D表示如上述那樣使關(guān)注像素接近于出現(xiàn)頻率較高的方 向，從而能夠抑制整體的離散而進行噪聲降低。
[0127] 接下來，對顏色空間濾波處理的具體的處理例進行說明。
[0128] 圖7是表示實際空間濾波處理和顏色空間濾波處理的關(guān)系的圖，圖8是表示顏色 空間濾波用濾波系數(shù)的計算的流程的圖。
[0129] 輸入圖像數(shù)據(jù)（亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、Cr)在實際空間濾波處理部26中接受 實際空間濾波處理（圖7的S10)，并輸出到顏色空間濾波處理部27。
[0130] 在顏色空間濾波處理部27中進行顏色空間濾波處理（S20)。具體來說，根據(jù)輸入 到顏色空間濾波處理部27的圖像數(shù)據(jù)（亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、Cr)算出顏色空間濾波 用濾波系數(shù)（S21)，使用該顏色空間濾波用濾波系數(shù)而進行顏色空間上的濾波系數(shù)的加權(quán) 平均處理（S22)。
[0131] 顏色空間濾波用濾波系數(shù)的計算的步驟（S21)包括對亮度數(shù)據(jù)和色差數(shù)據(jù)分別 算出顏色空間上的距離的工序（圖8的S211)、算出與亮度數(shù)據(jù)和色差數(shù)據(jù)相關(guān)的顏色空間 上的距離的加權(quán)和的工序（S212)及求出和與亮度數(shù)據(jù)和色差數(shù)據(jù)相關(guān)的顏色空間上的距 離的加權(quán)和對應的加權(quán)（顏色空間濾波用濾波系數(shù)）的工序（S213)。
[0132] 對于這些S211?S233的一例，參照以下的式⑴?（4)進行說明。
[0133] <式（1) >
[0134] dy = I本像素的Y數(shù)據(jù)像素值一周邊像素的Y數(shù)據(jù)像素值I X系數(shù)A
[0135] <式（2) >
[0136] deb = I本像素的Cb數(shù)據(jù)像素值一周邊像素的Cb數(shù)據(jù)像素值I X系數(shù)B
[0137] <式⑶ >
[0138] = I本像素的Cr數(shù)據(jù)像素值一周邊像素的Cr數(shù)據(jù)像素值I X系數(shù)C
[0139] <式（4) >
[0140] Dc=系數(shù) XX(dy+dcb+dcr)
[0141] 與亮度數(shù)據(jù)和色差數(shù)據(jù)的各數(shù)據(jù)相關(guān)而算出顏色空間上的距離的工序（S211)由 顏色空間濾波處理部27的距離計算電路進行。具體來說，使用以關(guān)注像素為中心的預定的 處理區(qū)域（從圖6A到圖6D中為5X5像素的處理區(qū)域）的Y/Cb/Cr的圖像數(shù)據(jù)，利用上述 式（1)?式（3)算出關(guān)注像素與其周邊像素的Y/Cb/Cr顏色空間上的距離d y、
[0142] S卩，關(guān)于Y/Cb/Cr的圖像數(shù)據(jù)的各圖像數(shù)據(jù)，求出關(guān)注像素（本像素）的像素數(shù) 據(jù)與周邊像素的像素數(shù)據(jù)之差的絕對值（差的絕對值：顏色空間上的距離），對Y圖像數(shù)據(jù) (亮度數(shù)據(jù)）的差的絕對值乘以系數(shù)A而求出與Y相關(guān)的顏色空間上的距離d y，對Cb圖像 數(shù)據(jù)（色差數(shù)據(jù)）的差的絕對值乘以系數(shù)B而求出與Cb相關(guān)的顏色空間上的距離cU，對 Cr圖像數(shù)據(jù)（色差數(shù)據(jù)）的差的絕對值乘以系數(shù)C而求出與Cr相關(guān)的顏色空間上的距離 d cr 〇
[0143] 并且，距離計算電路利用上述式（4)算出與亮度數(shù)據(jù)和色差數(shù)據(jù)相關(guān)的顏色空間 上的距離的加權(quán)和（S212)。即，求出與Y/Cb/Cr的圖像數(shù)據(jù)的各圖像數(shù)據(jù)相關(guān)而算出的Y/ Cb/Cr顏色空間上的距離d y、cU、dra的和，對該和乘以系數(shù)X，而求出相對于周邊像素的關(guān)注 像素的Y/Cb/Cr顏色空間上的距離Dc。
[0144] 另外，在上式⑴?式⑷中使用的系數(shù)A、B、C和X是對各像素數(shù)據(jù)的加權(quán)進行 決定的值，可以設為基于具體的裝置、攝影環(huán)境等而分別確定的設計值。例如，在顏色空間 濾波處理中，在重視Y(亮度）的影響的情況下，式（1)中的系數(shù)A的值相對變大，另外，在 重視Cb(色差）的影響的情況下，式（2)中的系數(shù)B的值相對變大，另外，在重視Cr(色差） 的影響的情況下，式（3)中的系數(shù)C的值相對變大。另外，重視顏色空間濾波處理中的、這 些圖像數(shù)據(jù)（亮度數(shù)據(jù)/色差數(shù)據(jù)）整體的影響的情況下，式（4)中的系數(shù)X的值相對變 大。另一方面，在降低各像素數(shù)據(jù)的加權(quán)的影響的情況下，這些系數(shù)A、B、C和X中的對應的 系數(shù)相對變小。
[0145] 并且，在顏色空間濾波處理部27的加權(quán)系數(shù)計算電路中進行求出與和亮度數(shù)據(jù) 及色差數(shù)據(jù)相關(guān)的顏色空間上的距離的加權(quán)和Dc對應的加權(quán)（顏色空間濾波用濾波系數(shù)） 的工序（S213)。
[0146] 圖9是表示顏色空間上的距離和加權(quán)系數(shù)的關(guān)系的坐標圖的一例，X軸表示顏色 空間上的距離（評價值：基于式（4)的計算結(jié)果Dc)，Y軸表示顏色空間濾波用的濾波系數(shù) (對象像素的加權(quán)）。
[0147] 如圖9所示，加權(quán)系數(shù)計算電路中，以與關(guān)注像素的顏色空間上的距離較近的周 邊像素的加權(quán)系數(shù)（顏色空間濾波用濾波系數(shù)）變大的方式，并且以距離較遠的周邊像素 的加權(quán)系數(shù)變小的方式，導出加權(quán)系數(shù)。另外，在求出本像素的加權(quán)系數(shù)的情況下，通過上 式（1)?式（4)算出的顏色空間上的距離d y、cU、dra、D。均被視為"0"，對本像素分配最大 的加權(quán)系數(shù)。另外，也可以是，將對本像素分配的加權(quán)系數(shù)設為"〇"，根據(jù)本像素以外的周邊 像素的像素數(shù)據(jù)決定本像素的像素值。
[0148] 可以設為，加權(quán)系數(shù)計算電路對圖9的坐標圖所示那樣的"顏色空間上的距離（評 價值）一加權(quán)系數(shù)（濾波系數(shù)）"的函數(shù)進行存儲，在該函數(shù)中代入顏色空間上的距離而算 出加權(quán)系數(shù)，也可以設為，具備對圖9的坐標圖所示的輸入輸出關(guān)系進行了存儲的查詢表 (LUT)，從該LUT讀出與顏色空間上的距離對應的加權(quán)系數(shù)。
[0149] 這些一系列的過程對作為對象的關(guān)注像素和周邊像素的全部像素（從圖6A至圖 6D中為5X 5像素）的各像素而進行，算出對關(guān)注像素和各周邊像素的顏色空間濾波用的濾 波系數(shù)。
[0150] 顏色空間濾波處理部27的加權(quán)平均處理電路使用所算出的顏色空間濾波用濾波 系數(shù)，而對色差（CbXr)數(shù)據(jù)進行基于顏色空間上的濾波系數(shù)的加權(quán)平均處理（S22)。艮P， 加權(quán)平均處理電路使用由加權(quán)系數(shù)計算電路算出的關(guān)注像素和周邊像素的加權(quán)系數(shù)而對 各像素的圖像數(shù)據(jù)（色差像素值）進行加權(quán)平均，算出關(guān)注像素的噪聲除去處理后的像素 值。將關(guān)注像素的圖像上的位置設為（x，y)，如圖6A至圖6D所示將5X5像素設為顏色空 間濾波處理的對象像素的情況下，加權(quán)平均處理電路進行下式的運算。
[0151] <式（5) >
[0152] 「數(shù)學式11

【權(quán)利要求】
1. 一種圖像處理裝置，對由多個像素的像素數(shù)據(jù)的集合構(gòu)成的圖像數(shù)據(jù)進行處理，所 述圖像處理裝置具備： 實際空間濾波處理部，在所輸入的圖像數(shù)據(jù)中，基于所述多個像素中的關(guān)注像素與配 置于該關(guān)注像素的周邊的周邊像素的實際空間中的距離算出對各周邊像素的實際空間加 權(quán)系數(shù)，使用該實際空間加權(quán)系數(shù)對所述關(guān)注像素的像素數(shù)據(jù)和所述周邊像素的像素數(shù)據(jù) 進行加權(quán)平均而算出所述關(guān)注像素的像素數(shù)據(jù)；及 顏色空間濾波處理部，基于所述多個像素中的關(guān)注像素與配置于該關(guān)注像素的周邊的 周邊像素的顏色空間中的距離算出對各周邊像素的顏色空間加權(quán)系數(shù)，使用該顏色空間加 權(quán)系數(shù)對所述關(guān)注像素的像素數(shù)據(jù)和所述周邊像素的像素數(shù)據(jù)進行加權(quán)平均而算出所述 關(guān)注像素的像素數(shù)據(jù)， 所述實際空間濾波處理部所進行的所述實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的所述 加權(quán)平均基于邊緣保存型的濾波處理， 所述顏色空間濾波處理部中使用的所述像素數(shù)據(jù)中的至少所述關(guān)注像素的像素數(shù)據(jù) 是由所述實際空間濾波處理部算出的所述像素數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像數(shù)據(jù)包含與顏色相關(guān)的圖像數(shù)據(jù)， 所述實際空間濾波處理部對所述與顏色相關(guān)的圖像數(shù)據(jù)，基于邊緣保存型的濾波處理 來進行所述實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的所述加權(quán)平均。
3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像數(shù)據(jù)包含與亮度相關(guān)的圖像數(shù)據(jù)和與色差相關(guān)的圖像數(shù)據(jù)， 所述實際空間濾波處理部對所述與亮度相關(guān)的圖像數(shù)據(jù)和所述與色差相關(guān)的圖像數(shù) 據(jù)中的至少所述與色差相關(guān)的圖像數(shù)據(jù)，基于邊緣保存型的濾波處理來進行所述實際空間 加權(quán)系數(shù)的計算和像素數(shù)據(jù)的所述加權(quán)平均。
4. 根據(jù)權(quán)利要求1?3中任一項所述的圖像處理裝置，其中， 所述顏色空間濾波處理部為了求出所述關(guān)注像素與所述周邊像素的顏色空間中的距 離而使用的所述像素數(shù)據(jù)中，所述關(guān)注像素的像素數(shù)據(jù)是所述實際空間濾波處理部所算出 的所述像素數(shù)據(jù)，所述周邊像素的像素數(shù)據(jù)是構(gòu)成向所述實際空間濾波處理部輸入之前的 圖像數(shù)據(jù)的像素數(shù)據(jù)。
5. 根據(jù)權(quán)利要求1?4中任一項所述的圖像處理裝置，其中， 所述顏色空間濾波處理部為了基于所述顏色空間加權(quán)系數(shù)的所述加權(quán)平均而使用的 像素數(shù)據(jù)中，所述關(guān)注像素的像素數(shù)據(jù)是所述實際空間濾波處理部所算出的所述像素數(shù) 據(jù)，所述周邊像素的像素數(shù)據(jù)是構(gòu)成向所述實際空間濾波處理部輸入之前的圖像數(shù)據(jù)的像 素數(shù)據(jù)。
6. 根據(jù)權(quán)利要求1?3中任一項所述的圖像處理裝置，其中， 所述顏色空間濾波處理部使用所述實際空間濾波處理部所算出的所述像素數(shù)據(jù)，求出 所述關(guān)注像素與所述周邊像素的所述顏色空間中的距離而進行基于所述顏色空間加權(quán)系 數(shù)的所述加權(quán)平均。
7. 根據(jù)權(quán)利要求1?6中任一項所述的圖像處理裝置，其中， 成為在所述實際空間濾波處理部和所述顏色空間濾波處理部的各濾波處理部中使用 的所述像素數(shù)據(jù)的對象的所述周邊像素與成為在所述實際空間濾波處理部和所述顏色空 間濾波處理部的各濾波處理部中使用的所述像素數(shù)據(jù)的對象的所述關(guān)注像素和其他周邊 像素中的至少任一像素相鄰。
8. 根據(jù)權(quán)利要求1?6中任一項所述的圖像處理裝置，其中， 成為在所述顏色空間濾波處理部中使用的所述像素數(shù)據(jù)的對象的所述周邊像素與成 為在所述顏色空間濾波處理部中使用的所述像素數(shù)據(jù)的對象的所述關(guān)注像素和其他周邊 像素均不相鄰。
9. 根據(jù)權(quán)利要求1?8中任一項所述的圖像處理裝置，其中， 所述顏色空間基于RGB。
10. 根據(jù)權(quán)利要求1?8中任一項所述的圖像處理裝置，其中， 所述顏色空間基于亮度和色差。
11. 根據(jù)權(quán)利要求10所述的圖像處理裝置，其中， 所述實際空間濾波處理部被輸入與亮度相關(guān)的圖像數(shù)據(jù)和與色差相關(guān)的圖像數(shù)據(jù)，對 所述與亮度相關(guān)的圖像數(shù)據(jù)和所述與色差相關(guān)的圖像數(shù)據(jù)分別進行所述實際空間加權(quán)系 數(shù)的計算和所述加權(quán)平均而算出像素數(shù)據(jù)， 所述顏色空間濾波處理部被輸入所述與亮度相關(guān)的圖像數(shù)據(jù)和所述與色差相關(guān)的圖 像數(shù)據(jù)，使用該與亮度相關(guān)的圖像數(shù)據(jù)，對所述與色差相關(guān)的圖像數(shù)據(jù)進行所述顏色空間 加權(quán)系數(shù)的計算和所述加權(quán)平均而算出像素數(shù)據(jù)， 輸出基于在所述實際空間濾波處理部中算出的所述像素數(shù)據(jù)的與亮度相關(guān)的圖像數(shù) 據(jù)和基于在所述顏色空間濾波處理部中算出的像素數(shù)據(jù)的與色差相關(guān)的圖像數(shù)據(jù)。
12. -種圖像處理方法，對由多個像素的像素數(shù)據(jù)的集合構(gòu)成的圖像數(shù)據(jù)進行處理，所 述圖像處理方法具備： 實際空間濾波處理步驟，在所輸入的圖像數(shù)據(jù)中，基于所述多個像素中的關(guān)注像素與 配置于該關(guān)注像素的周邊的周邊像素的實際空間中的距離算出對各周邊像素的實際空間 加權(quán)系數(shù)，使用該實際空間加權(quán)系數(shù)對所述關(guān)注像素的像素數(shù)據(jù)和所述周邊像素的像素數(shù) 據(jù)進行加權(quán)平均而算出所述關(guān)注像素的像素數(shù)據(jù)；及 顏色空間濾波處理步驟，基于所述多個像素中的關(guān)注像素與配置于該關(guān)注像素的周邊 的周邊像素的顏色空間中的距離而算出對各周邊像素的顏色空間加權(quán)系數(shù)，使用該顏色空 間加權(quán)系數(shù)對所述關(guān)注像素的像素數(shù)據(jù)和所述周邊像素的像素數(shù)據(jù)進行加權(quán)平均而算出 所述關(guān)注像素的像素數(shù)據(jù)， 所述實際空間濾波處理步驟中所進行的所述實際空間加權(quán)系數(shù)的計算和像素數(shù)據(jù)的 所述加權(quán)平均基于邊緣保存型的濾波處理， 所述顏色空間濾波處理步驟中使用的所述像素數(shù)據(jù)中的至少所述關(guān)注像素的像素數(shù) 據(jù)是在所述實際空間濾波處理步驟中算出的所述像素數(shù)據(jù)。
【文檔編號】G06T5/00GK104380727SQ201380031160
【公開日】2015年2月25日 申請日期:2013年4月24日 優(yōu)先權(quán)日:2012年6月12日
【發(fā)明者】長谷川亮, 田中誠二 申請人:富士膠片株式會社