本發(fā)明涉及一種圖像處理裝置、濾波器獲取裝置、圖像處理方法、濾波器獲取方法、程序及記錄介質(zhì)，尤其涉及一種圖像濾波處理及在圖像濾波處理中可使用的濾波器的獲取方法。

背景技術(shù)：

提出有用于改善畫質(zhì)的濾波處理或用于賦予特殊的視覺效果的濾波處理等各種圖像濾波處理技術(shù)。已知有使用濾波器來復(fù)原原來的圖像的點(diǎn)像復(fù)原處理，所述濾波器是根據(jù)表示例如由攝影透鏡的像差等引起的像劣化特性的點(diǎn)擴(kuò)散函數(shù)(點(diǎn)像分布函數(shù)(psf：pointspreadfunction))而確定的。

例如，專利文獻(xiàn)1公開一種圖像處理方法，該方法的目的為抑制伴隨圖像恢復(fù)處理而產(chǎn)生的噪聲放大、振鈴及偽色等弊端。根據(jù)該圖像處理方法，生成振幅分量及相位分量已被恢復(fù)的第1圖像，另一方面，生成只有相位分量被恢復(fù)的第2圖像。而且，第1圖像及第2圖像的差分信息根據(jù)恢復(fù)強(qiáng)度調(diào)整系數(shù)與第2圖像合成，由此生成恢復(fù)調(diào)整圖像。

另外，專利文獻(xiàn)2公開一種圖像處理方法，該方法的目的為抑制恢復(fù)圖像中的噪聲放大，同時降低彗形像差、倍率色像差等非對稱像差，并且提高清晰度。根據(jù)該圖像處理方法，使用用于減少圖像的相位劣化分量的圖像恢復(fù)濾波器來進(jìn)行只恢復(fù)相位劣化分量的處理。另外，對于伴隨噪聲放大而進(jìn)行的振幅校正進(jìn)行考慮了邊緣部的邊緣強(qiáng)調(diào)處理。

以往技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2011-124692號公報

專利文獻(xiàn)2：日本特開2011-123589號公報

非專利文獻(xiàn)

非專利文獻(xiàn)1：j.a.fessleranda.o.hero，“space-alternatinggeneralizedexpectation-maximizationalgorithm，”ieeetransactionsonsignalprocessing，vol.17，no.10，pp.2664-2677，1994.

非專利文獻(xiàn)2：b.h.fleury，m.tschudin，r.heddergott，d.dahlhaus，andk.i.pedersen，“channelparameterestimationinmobileradioenvironmentsusingthesagealgorithm，”ieeej.selectedareasincommunications，vol.17，no.3，pp.434-449，mar.1999.

非專利文獻(xiàn)3：y.pati，r.rezaiifar，p.krishnaprasad，“orthogonalmatchingpursuit：recursivefunctionapproximationwithapplicationtowaveletdecomposition”，inasilomarconf.onsignals，systemsandcomput.，1993.

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的技術(shù)課題

若在如上述那樣的圖像濾波處理中所使用的濾波器的種類及數(shù)量增加，則整個濾波器的數(shù)據(jù)量顯著增大，從而需要確保龐大的存儲區(qū)域(rom：readonlymemory)

即，圖像濾波處理中所使用的濾波器根據(jù)多個條件而被確定時，必要的濾波器的數(shù)據(jù)量以指數(shù)函數(shù)的比例增加。例如，攝影光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)根據(jù)光圈值(f值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類型、成像元件的傳感器sn比(signal-noiseratio)、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件而發(fā)生變化。然而，若對于各攝影條件的所有組合準(zhǔn)備特有的濾波器，則這些濾波器所需的整個數(shù)據(jù)量變得龐大。

并且，考慮到特定的各向異性或頻率特性的圖像濾波處理中，導(dǎo)致所需的濾波器的圖形數(shù)量增加。進(jìn)而根據(jù)像素位置改變所使用的濾波器(濾波器系數(shù))時，濾波器的數(shù)據(jù)量根據(jù)處理對象的圖像的像素?cái)?shù)而增加。

理想的是，優(yōu)選預(yù)先準(zhǔn)備與所有條件的組合相關(guān)的濾波器而預(yù)先存儲于存儲器。然而，由于需要確保龐大的存儲容量，并且需要準(zhǔn)備昂貴的存儲器，因此從實(shí)際構(gòu)建圖像處理系統(tǒng)的觀點(diǎn)考慮，預(yù)先準(zhǔn)備并存儲對應(yīng)于所有條件的濾波器并不一定優(yōu)選。

并且，在使用多個濾波器進(jìn)行的圖像濾波處理中，存在用于確定濾波器系數(shù)的計(jì)算量增大的問題。例如，通過抽頭數(shù)量受限的fir(finiteimpulseresponse)濾波器來實(shí)現(xiàn)在圖像濾波處理中使用的濾波器時，分配到各抽頭的濾波器系數(shù)的運(yùn)算所需的計(jì)算量增大。

例如，在根據(jù)點(diǎn)擴(kuò)散函數(shù)生成濾波器的情況中，能夠根據(jù)將點(diǎn)擴(kuò)散函數(shù)(psf)進(jìn)行博立葉變換而得的光學(xué)傳遞函數(shù)(otf：opticaltransferfunction)來計(jì)算維納(wiener)濾波器。對濾波器的抽頭數(shù)量沒有限制時，可通過具有任意的抽頭數(shù)量的濾波器實(shí)現(xiàn)通過該維納濾波器的博立葉逆變換而獲得的所希望的頻率特性。

然而，實(shí)際可使用的硬件受到限制時，濾波器的抽頭數(shù)量也受到限制。在濾波器的抽頭數(shù)量受限的條件下，為了計(jì)算具有所希望的頻率特性的抽頭系數(shù)，需要解決非線性最優(yōu)化問題，因此需要非常多的計(jì)算量。

因此，在獲取點(diǎn)擴(kuò)散函數(shù)等的像劣化特性之后立即進(jìn)行圖像濾波處理時，為了計(jì)算實(shí)際所使用的抽頭系數(shù)而需要確保大量的計(jì)算資源。然而，從實(shí)際構(gòu)建圖像處理系統(tǒng)的觀點(diǎn)出發(fā)，事先確保這種計(jì)算資源并不一定優(yōu)選。

本發(fā)明是鑒于上述情況而完成的，其目的在于提供一種能夠兼顧高精度的濾波處理和所需的存儲容量的降低化的圖像處理方法。

并且，其目的在于提供一種能夠獲取在這種濾波處理中可優(yōu)選使用的濾波器的濾波器獲取方法。

用于解決技術(shù)課題的手段

本發(fā)明的一形態(tài)涉及一種圖像處理裝置，其具備濾波處理部，所述濾波處理部通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，濾波處理部在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器而獲取濾波器應(yīng)用處理數(shù)據(jù)，并對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益而獲取增益應(yīng)用處理數(shù)據(jù)，且由增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性而獲取。

根據(jù)本形態(tài)，多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性來獲取。如此進(jìn)行增益調(diào)整，由此可降低各濾波處理中應(yīng)用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，并且可進(jìn)行高精度的濾波處理。

另外，“頻率特性”為與頻率相關(guān)的特性，且表示處理后的圖像數(shù)據(jù)的每頻率成分的振幅與處理前的圖像數(shù)據(jù)的每頻率成分的振幅的比(＝處理后的圖像數(shù)據(jù)的每頻率成分的振幅/處理前的圖像數(shù)據(jù)的每頻率成分的振幅)，并表示與頻率對應(yīng)的響應(yīng)。

優(yōu)選圖像濾波處理的作為目標(biāo)的頻率特性為基于光學(xué)特性的頻率特性。

根據(jù)本形態(tài)，能夠進(jìn)行基于光學(xué)特性的圖像濾波處理。

作為在此所說的“光學(xué)特性”優(yōu)選為了攝影獲取成為圖像濾波處理的對象的原圖像數(shù)據(jù)而使用的攝影光學(xué)系統(tǒng)的光學(xué)特性。例如，能夠?qū)⒒邳c(diǎn)擴(kuò)散函數(shù)psf或光學(xué)傳遞函數(shù)otf(包括mtf：modulationtransferfunction及ptf：phasetransferfunction)的特性設(shè)為“光學(xué)特性”，并且可通過使用利用了維納濾波器等的任意基準(zhǔn)的反向?yàn)V波器(inversefilter)設(shè)計(jì)方法來表示“圖像濾波處理的作為目標(biāo)的頻率特性”。

優(yōu)選的是，圖像處理裝置還具備增益候補(bǔ)數(shù)據(jù)存儲部及增益確定部，所述增益候補(bǔ)數(shù)據(jù)存儲部存儲將在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益的候補(bǔ)數(shù)據(jù)與增益選定條件建立關(guān)聯(lián)而得的增益表信息，所述增益確定部參考增益表信息并將與圖像濾波處理的作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件建立關(guān)聯(lián)的候補(bǔ)數(shù)據(jù)作為在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益而確定，濾波處理部在多次濾波處理的每一次處理中將增益確定部所確定的增益應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)來獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，能夠從增益的候補(bǔ)數(shù)據(jù)中簡單地確定應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。

另外，“增益表信息”的形式只要是將增益的候補(bǔ)數(shù)據(jù)與增益選定條件適當(dāng)?shù)亟㈥P(guān)聯(lián)的形式，則并無特別限定。并且，“增益選定條件”能夠設(shè)為與圖像濾波處理的作為目標(biāo)的頻率特性相關(guān)聯(lián)的任意的條件。例如，圖像濾波處理的作為目標(biāo)的頻率特性基于點(diǎn)擴(kuò)散函數(shù)時，可采用選自可影響該點(diǎn)擴(kuò)散函數(shù)的因素(例如，光圈值(f值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件的傳感器sn比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等)中的一個或多個條件數(shù)據(jù)而作為增益選定條件。

優(yōu)選的是，圖像處理裝置還具備增益獲取部，所述增益獲取部獲取表示與圖像濾波處理的作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件的數(shù)據(jù)，并根據(jù)表示增益選定條件的數(shù)據(jù)確定圖像濾波處理的作為目標(biāo)的頻率特性，且根據(jù)所確定的作為目標(biāo)的頻率特性獲取多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。

根據(jù)本形態(tài)，根據(jù)表示增益選定條件的數(shù)據(jù)確定圖像濾波處理的作為目標(biāo)的頻率特性，并獲取應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。。

優(yōu)選的是，增益通過相對于圖像濾波處理的作為目標(biāo)的頻率特性，根據(jù)多次濾波處理的每一次處理的頻率特性使用最小二乘法來擬合圖像濾波處理的頻率特性而獲取。

根據(jù)本形態(tài)，能夠根據(jù)最小二乘法高精度地獲取用于實(shí)現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性的增益。

優(yōu)選在最小二乘法中根據(jù)頻率進(jìn)行加權(quán)。

尤其，優(yōu)選在最小二乘法中頻率特性的近似誤差評價函數(shù)根據(jù)頻率進(jìn)行加權(quán)。在此所說的近似誤差評價函數(shù)為表示近似程度(即誤差程度)的評價的函數(shù)，例如能夠使用后述的“基于加權(quán)最小二乘準(zhǔn)則的類函數(shù)(jlms[g])”作為近似誤差評價函數(shù)。根據(jù)本形態(tài)，通過增加受到重視的頻帶的權(quán)重，并減小未受到重視的頻帶的權(quán)重，從而能夠高精度地獲取對應(yīng)于實(shí)際要求的增益。

優(yōu)選在最小二乘法中將低頻帶中的加權(quán)設(shè)定為大于高頻帶中的加權(quán)。

根據(jù)本形態(tài)，能夠獲取高精度地實(shí)現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性中尤其低頻帶中的頻率特性的增益。在人類的視覺特性方面，低頻成分比高頻成分更容易被感知，因此增大低頻帶的加權(quán)來獲取增益，從而能夠通過圖像濾波處理生成可見性優(yōu)異的處理圖像數(shù)據(jù)。

在此所說的“低頻帶”優(yōu)選根據(jù)實(shí)際所要求的畫質(zhì)特性而確定，例如，能夠在采樣頻率的1/4(＝0.25fs＝奈奎斯特頻率的1/2)以下的范圍內(nèi)設(shè)定“低頻帶”。

優(yōu)選在最小二乘法中根據(jù)獲取原圖像數(shù)據(jù)時的攝影條件將高頻帶中的加權(quán)設(shè)定為大于低頻帶中的加權(quán)。

根據(jù)本形態(tài)，根據(jù)獲取原圖像數(shù)據(jù)時的攝影條件，能夠獲取高精度地實(shí)現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性中尤其高頻帶中的頻率特性的增益。通常，高頻帶中的mtf劣化較大而攝像系統(tǒng)的噪聲較多時，有時噪聲因圖像濾波處理而被放大且畫質(zhì)惡化。因此在預(yù)計(jì)高頻帶中sn比較差的攝影條件下所獲取的原圖像數(shù)據(jù)的圖像濾波處理中，有時優(yōu)選作為“近似于圖像濾波處理的作為目標(biāo)的頻率特性”的精度，使高頻成分優(yōu)先于低頻成分。

在此所說的“高頻帶”優(yōu)選根據(jù)實(shí)際要求的畫質(zhì)特性來確定，并能夠根據(jù)所設(shè)想的噪聲的頻率特性，例如在大于采樣頻率的1/4(＝0.25fs)且1/2(＝0.5fs)以下的范圍內(nèi)設(shè)定“高頻帶”。

并且，“獲取原圖像數(shù)據(jù)時的攝影條件”根據(jù)可影響噪聲的任意因素來確定。例如，可將選自獲取原圖像數(shù)據(jù)時所使用的攝影光學(xué)系統(tǒng)的設(shè)定條件或被攝體本身的狀態(tài)條件(場景條件)等中的1個或多個條件設(shè)為“獲取原圖像數(shù)據(jù)時的攝影條件”。

優(yōu)選最小二乘法中的加權(quán)根據(jù)原圖像數(shù)據(jù)中的像素位置來確定。

根據(jù)本形態(tài)，能夠根據(jù)原圖像數(shù)據(jù)中的像素位置來改變最小二乘法中的加權(quán)，并能夠進(jìn)行與像素位置相應(yīng)的圖像濾波處理。例如在要求清晰的畫質(zhì)的像素位置中可將高頻帶的加權(quán)設(shè)為大于低頻帶的加權(quán)，在要求可見性優(yōu)異的畫質(zhì)的像素位置中可將低頻帶的加權(quán)設(shè)為大于高頻帶的加權(quán)。

優(yōu)選的是，在最小二乘法中，在原圖像數(shù)據(jù)的距離圖像中心為第1距離以下的像素位置，高頻帶中的加權(quán)大于原圖像數(shù)據(jù)的距離圖像中心比第1距離遠(yuǎn)的像素位置。

根據(jù)本形態(tài)，能夠獲取相較于圖像周邊部在圖像中央部高頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)優(yōu)選適用于例如在圖像中央部配置主要被攝體的情況等，在圖像中央部要求清晰度的情況。

在此所說的“第1距離”并無特別限定，可根據(jù)重視高頻帶的圖像范圍而適當(dāng)?shù)卦O(shè)定。

優(yōu)選的是，在最小二乘法中，在原圖像數(shù)據(jù)的距離圖像中心比第2距離更遠(yuǎn)的像素位置，低頻帶中的加權(quán)大于原圖像數(shù)據(jù)的距離圖像中心為第2距離以下的像素位置。

根據(jù)本形態(tài)，能夠獲取相較于圖像中央部在圖像周邊部低頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)可優(yōu)選適用于例如在圖像周邊部可配置觀察對象的被攝體的情況等、在圖像周邊部要求優(yōu)異的可見性的情況。

在此所說的“第2距離”并無特別限定，可根據(jù)重視低頻帶的圖像范圍而適當(dāng)?shù)卦O(shè)定。

優(yōu)選的是，濾波處理部在圖像濾波處理的作為目標(biāo)的頻率特性中處理圖像數(shù)據(jù)相對于原圖像數(shù)據(jù)的比例小于1的頻率中，在多次濾波處理的每一次處理中，使用使濾波處理數(shù)據(jù)與處理對象數(shù)據(jù)相等的濾波器。

若使用值過小的數(shù)據(jù)進(jìn)行圖像濾波處理，則處理后的數(shù)據(jù)中不僅容易混入噪聲，而且有時這種噪聲被放大，結(jié)果有時導(dǎo)致畫質(zhì)劣化。根據(jù)本形態(tài)，通過使用將濾波處理數(shù)據(jù)設(shè)為與處理對象數(shù)據(jù)相等的濾波器，能夠有效地防止這種噪聲混入及噪聲放大。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次的濾波處理中，使用根據(jù)通過拍攝獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的特性而確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進(jìn)行一次基于光學(xué)系統(tǒng)的特性的濾波處理。

優(yōu)選的是，根據(jù)光學(xué)系統(tǒng)的特性確定的濾波器為根據(jù)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)確定的濾波器。

根據(jù)本形態(tài)，至少進(jìn)行一次基于光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的濾波處理。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次的濾波處理中，利用與通過攝影獲取原圖像數(shù)據(jù)時所使用的光學(xué)系統(tǒng)的特性無關(guān)地被確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進(jìn)行一次與光學(xué)系統(tǒng)的特性無關(guān)的濾波處理。

優(yōu)選的是，與光學(xué)系統(tǒng)的特性無關(guān)地被確定的濾波器是輪廓增強(qiáng)濾波器。

根據(jù)本形態(tài)，至少進(jìn)行一次與輪廓增強(qiáng)(邊緣增強(qiáng))相關(guān)的濾波處理。另外，輪廓增強(qiáng)濾波器可具有對應(yīng)于處理對象數(shù)據(jù)中的像素位置的頻率特性，也可以具有處理不依賴于對象數(shù)據(jù)中的像素位置的共同的頻率特性。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次濾波處理中，利用具有處理對象數(shù)據(jù)中的對應(yīng)于像素位置的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進(jìn)行一次具有處理對象數(shù)據(jù)中的對應(yīng)于像素位置的頻率特性的濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部將在第1濾波處理中所獲取的濾波處理數(shù)據(jù)用作第2濾波處理中的處理對象數(shù)據(jù)。

根據(jù)本形態(tài)，連續(xù)地進(jìn)行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理及第2濾波處理中將相同的數(shù)據(jù)用作處理對象數(shù)據(jù)，根據(jù)在第1濾波處理中所獲取的濾波處理數(shù)據(jù)和在第2濾波處理中所獲取的濾波處理數(shù)據(jù)來獲取處理圖像數(shù)據(jù)。

根據(jù)本形態(tài)，可并行地進(jìn)行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：第1濾波器應(yīng)用部，對第1濾波處理的處理對象數(shù)據(jù)應(yīng)用第1濾波處理用的濾波器并獲取濾波器應(yīng)用處理數(shù)據(jù)；第1增益應(yīng)用部，對第1濾波處理的濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用第1濾波處理用增益并獲取增益應(yīng)用處理數(shù)據(jù)；第2濾波器應(yīng)用部，對第2濾波處理的處理對象數(shù)據(jù)應(yīng)用第2濾波處理用濾波器并獲取濾波器應(yīng)用處理數(shù)據(jù)；及第2增益應(yīng)用部，對第2濾波處理的濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用第2濾波處理用增益并獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過“濾波器應(yīng)用部(第1濾波器應(yīng)用部及第2濾波器應(yīng)用部)”及“增益應(yīng)用部(第1增益應(yīng)用部及第2增益應(yīng)用部)”來進(jìn)行第1濾波處理及第2濾波處理，處理流程變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：濾波器應(yīng)用部，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)；及增益應(yīng)用部，對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，濾波器應(yīng)用部在第1濾波處理中使用第1濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，增益應(yīng)用部在第1濾波處理中使用第1濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過相同的“濾波器應(yīng)用部”及“增益應(yīng)用部”來進(jìn)行第1濾波處理及第2濾波處理，從而硬件結(jié)構(gòu)(電路結(jié)構(gòu))變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，由于使用根據(jù)圖像濾波處理的多種頻率特性的平均及方差而確定的基準(zhǔn)濾波器及方差濾波器，因此能夠平均地高精度地進(jìn)行欲應(yīng)用的圖像濾波處理。

另外，方差濾波器只要直接或間接地與圖像濾波處理的多種頻率特性的方差相應(yīng)即可，例如可根據(jù)由方差導(dǎo)出的標(biāo)準(zhǔn)偏差而確定方差濾波器，也可除了方差之外根據(jù)其他因素(例如平均等)而確定方差濾波器。

本發(fā)明的其他形態(tài)涉及一種濾波器獲取裝置，其具備濾波器計(jì)算部，所述濾波器計(jì)算部根據(jù)多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器，并且根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個方差濾波器。

根據(jù)本形態(tài)，能夠獲取可穩(wěn)定且高精度地進(jìn)行圖像濾波處理的基準(zhǔn)濾波器及方差濾波器。以這種方式獲取的基準(zhǔn)濾波器及方差濾波器可在多次濾波處理的每一次處理中優(yōu)選使用。

優(yōu)選的是，濾波器計(jì)算部根據(jù)分類到多個濾波器組的多種圖像濾波處理的頻率特性中多個濾波器組的每一個所包含的多種圖像濾波處理的頻率特性獲取與多個濾波器組的每一個相關(guān)的基準(zhǔn)濾波器及至少一個方差濾波器。

根據(jù)本形態(tài)，即使在多種圖像濾波處理的頻率特性的偏差比較大的情況下，多種圖像濾波處理的頻率特性被分類到多個濾波器組，按每個濾波器組獲取基準(zhǔn)濾波器及方差濾波器。由此，能夠提供可高精度地實(shí)現(xiàn)多種圖像濾波處理的頻率特性的每一特性的濾波器。

另外，將多種圖像濾波處理的頻率特性分類到多個濾波器組的方法并無特別限定，例如能夠根據(jù)圖像濾波處理的頻率特性的相似性進(jìn)行分類。在此所說的“相似性”可由用戶適當(dāng)?shù)剡M(jìn)行判斷，也可通過根據(jù)特定的基準(zhǔn)自動分析圖像濾波處理的頻率特性來獲取。

優(yōu)選的是，濾波器獲取裝置還具備以混合正態(tài)分布為基準(zhǔn)將多種圖像濾波處理的頻率特性分類到多個濾波器組的濾波器組分類部。

根據(jù)本形態(tài)，以混合正態(tài)分布為基準(zhǔn)高精度地被分類到濾波器組。

優(yōu)選的是，濾波器計(jì)算部獲取具有多個抽頭且對各抽頭分配有系數(shù)的基準(zhǔn)濾波器，并且獲取具有多個抽頭且對各抽頭分配有系數(shù)的至少一個方差濾波器。

根據(jù)本形態(tài)，能夠由多個抽頭(抽頭系數(shù))構(gòu)成基準(zhǔn)濾波器及方差濾波器的每一個。

優(yōu)選的是，濾波器計(jì)算部根據(jù)偏差分布函數(shù)計(jì)算分配到至少一個方差濾波器的各抽頭的系數(shù)，所述偏差分布函數(shù)表示多種圖像濾波處理的頻率特性的方差且根據(jù)分配到基準(zhǔn)濾波器的各抽頭的系數(shù)而確定。

根據(jù)本形態(tài)，能夠根據(jù)表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)高精度地計(jì)算分配到方差濾波器的各抽頭的系數(shù)。

優(yōu)選的是，就濾波器計(jì)算部而言，在將i設(shè)為2以上的整數(shù)時，獲取第1個到第i個方差濾波器，并由根據(jù)分配到基準(zhǔn)濾波器的各抽頭的系數(shù)而確定的偏差分布函數(shù)計(jì)算分配到第1個方差濾波器的各抽頭的系數(shù)，在將j設(shè)為2以上且i以下的整數(shù)時，由根據(jù)分配到基準(zhǔn)濾波器的各抽頭的系數(shù)和分配到第1個到第j-1個方差濾波器的每一個的各抽頭的系數(shù)而確定的偏差分布函數(shù)計(jì)算分配到第j個方差濾波器的各抽頭的系數(shù)。

根據(jù)本形態(tài)，能夠由根據(jù)基準(zhǔn)濾波器和其他方差濾波器(第1～第j-1個方差濾波器)而確定的偏差分布函數(shù)高精度地計(jì)算分配到某一方差濾波器(第j個方差濾波器)的各抽頭的系數(shù)。

優(yōu)選的是，濾波器計(jì)算部根據(jù)偏差分布函數(shù)來更新分配到基準(zhǔn)濾波器及至少一個方差濾波器中的至少任一個的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)且為根據(jù)分配到基準(zhǔn)濾波器及至少一個方差濾波器的每一個的各抽頭的系數(shù)而確定的偏差分布函數(shù)。

根據(jù)本形態(tài)，更新分配到基準(zhǔn)濾波器及至少一個方差濾波器中的至少任一個的各抽頭的系數(shù)，而能夠提高濾波器的精度。

優(yōu)選的是，濾波器計(jì)算部根據(jù)sage算法或omp算法來計(jì)算分配到基準(zhǔn)濾波器及至少一個方差濾波器的每一個的各抽頭的系數(shù)。

根據(jù)本形態(tài)，能夠根據(jù)sage(spacealternativegeneralizedexpectation)算法或omp(orthogonalmatchingpursuit)算法高精度地計(jì)算分配到各抽頭的系數(shù)。

本發(fā)明的其他形態(tài)涉及一種圖像處理方法，所述方法通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，所述圖像處理方法中，在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性而獲取。

本發(fā)明的其他形態(tài)涉及一種濾波器獲取方法，所述方法根據(jù)多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器，并且根據(jù)多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個方差濾波器。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計(jì)算機(jī)實(shí)現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計(jì)算機(jī)執(zhí)行以下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性而獲取。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計(jì)算機(jī)執(zhí)行如下步驟：根據(jù)多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器的步驟；及根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個方差濾波器的步驟。

本發(fā)明的其他形態(tài)涉及一種計(jì)算機(jī)可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計(jì)算機(jī)實(shí)現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計(jì)算機(jī)執(zhí)行如下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性而獲取。

本發(fā)明的其他形態(tài)涉及一種計(jì)算機(jī)可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計(jì)算機(jī)執(zhí)行如下步驟：根據(jù)多種濾波處理的頻率特性獲取根據(jù)多種濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器的步驟；及根據(jù)多種濾波處理的頻率特性獲取根據(jù)多種濾波處理的頻率特性的方差而確定的至少一個方差濾波器的步驟。

發(fā)明效果

根據(jù)本發(fā)明，能夠根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。由此，能夠減小在各濾波處理中應(yīng)用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，并且能夠進(jìn)行高精度的濾波處理。

并且，根據(jù)本發(fā)明，能夠獲取根據(jù)多種圖像濾波處理的頻率特性的平均及方差而確定的基準(zhǔn)濾波器及方差濾波器。通過使用以這種方式獲取的基準(zhǔn)濾波器及方差濾波器進(jìn)行濾波器應(yīng)用處理，從而能夠平均地高精度地進(jìn)行圖像濾波處理。

附圖說明

圖1是表示與計(jì)算機(jī)連接的數(shù)碼相機(jī)的框圖。

圖2是表示主體控制器的結(jié)構(gòu)例的框圖。

圖3是表示圖像處理部的功能結(jié)構(gòu)的一例的框圖。

圖4是表示圖像處理部的功能結(jié)構(gòu)的其他例子的框圖。

圖5是表示圖像處理部的功能結(jié)構(gòu)的其他例子的框圖。

圖6是圖像濾波處理的概念圖。

圖7是第n濾波處理(其中“n”為1以上且n以下的整數(shù))的概念圖。

圖8是表示濾波處理部的電路結(jié)構(gòu)的一例的圖。

圖9是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖10是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖11是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖12是表示增益獲取部的功能結(jié)構(gòu)的一例的框圖。

圖13是表示濾波器獲取裝置的功能結(jié)構(gòu)的一例的框圖。

圖14是表示濾波器計(jì)算部的功能結(jié)構(gòu)的一例的框圖。

圖15是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖16是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖17是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應(yīng)。

圖18是概略表示圖17所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率，縱軸表示方差。

圖19(a)～圖19(c)是概略表示根據(jù)圖17所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖19(a)表示“φ0”，圖19(b)表示“φ1”，圖19(c)表示“φ2”。

圖20(a)～圖20(b)表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部所進(jìn)行的圖像濾波處理(第1濾波處理～第3濾波處理)相關(guān)的頻率特性(參考圖20(a))及增益例(參考圖20(b))。

圖21是表示根據(jù)單峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部的功能結(jié)構(gòu)的一例的框圖。

圖22是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應(yīng)。

圖23(a)～圖23(b)是概略表示圖22所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖23(a)表示分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性數(shù)據(jù)的方差，圖23(b)表示分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性數(shù)據(jù)的方差。

圖24(a)～圖24(c)是概略表示根據(jù)分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖24(a)表示“φ0”，圖24(b)表示“φ1”，圖24(c)表示“φ2”。

圖25(a)～圖25(c)是概略表示根據(jù)分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖25(a)表示“φ0”，圖25(b)表示“φ1”，圖25(c)表示“φ2”。

圖26(a)～圖26(b)表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部所進(jìn)行的圖像濾波處理(第1濾波處理～第3濾波處理)相關(guān)的頻率特性(參考圖26(a))及增益例(參考圖26(b))。

圖27是表示根據(jù)多峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部的功能結(jié)構(gòu)的一例的框圖。

圖28是通過濾波器組分類部分類到多個濾波器組的多種圖像濾波處理的概念圖。

圖29是表示具備edof光學(xué)系統(tǒng)的攝像模塊的一形態(tài)的框圖。

圖30是表示edof光學(xué)系統(tǒng)的一例的圖。

圖31是表示基于圖29所示的復(fù)原處理塊的復(fù)原處理流程的一例的圖。

圖32(a)～圖32(b)是表示經(jīng)由edof光學(xué)系統(tǒng)而獲取的圖像的復(fù)原例的圖，圖32(a)表示復(fù)原處理前的模糊的圖像，圖32(b)表示復(fù)原處理后的模糊已被消除的圖像(點(diǎn)像)。

圖33是表示智能手機(jī)的外觀的圖。

圖34是表示圖33所示的智能手機(jī)的結(jié)構(gòu)的框圖。

具體實(shí)施方式

參考附圖對本發(fā)明的實(shí)施方式進(jìn)行說明。在以下的實(shí)施方式中，作為一例，對將本發(fā)明應(yīng)用于可與計(jì)算機(jī)(pc：個人計(jì)算機(jī))連接的數(shù)碼相機(jī)(攝像裝置)的情況進(jìn)行說明。

圖1是表示連接于計(jì)算機(jī)92的數(shù)碼相機(jī)10的框圖。

本例的數(shù)碼相機(jī)10具有可替換的透鏡單元12及具備成像元件26的相機(jī)主體14，透鏡單元12與相機(jī)主體14經(jīng)由透鏡單元12的透鏡單元輸入輸出部22和相機(jī)主體14的相機(jī)主體輸入輸出部30而電性連接。

透鏡單元12具備包括透鏡16和光圈17的光學(xué)系統(tǒng)及控制該光學(xué)系統(tǒng)的光學(xué)系統(tǒng)操作部18。光學(xué)系統(tǒng)操作部18包括連接于透鏡單元輸入輸出部22的透鏡單元控制器20、存儲光學(xué)系統(tǒng)信息等各種信息的透鏡單元存儲部21及對光學(xué)系統(tǒng)進(jìn)行操作的致動器(省略圖示)。透鏡單元控制器20根據(jù)從相機(jī)主體14經(jīng)由透鏡單元輸入輸出部22發(fā)送過來的控制信號，并經(jīng)由致動器控制光學(xué)系統(tǒng)，進(jìn)行例如基于透鏡移動的聚焦控制或變焦控制及光圈17的光圈量控制等。并且，透鏡單元控制器20根據(jù)從相機(jī)主體14經(jīng)由透鏡單元輸入輸出部22發(fā)送過來的控制信號，讀出存儲于透鏡單元存儲部21的各種信息而發(fā)送到相機(jī)主體14(主體控制器28)。

相機(jī)主體14的成像元件26具有聚光用微型透鏡、r(紅)g(綠)b(藍(lán))等的濾色器及由cmos(complementarymetaloxidesemiconductor)或ccd(chargecoupleddevice)等構(gòu)成的圖像傳感器(光電二極管)。該成像元件26將經(jīng)由透鏡單元12的光學(xué)系統(tǒng)(透鏡16及光圈17等)照射的被攝體像的光轉(zhuǎn)換為電信號，并將圖像信號(圖像數(shù)據(jù))發(fā)送到主體控制器28。

關(guān)于主體控制器28，其詳細(xì)內(nèi)容將在后面進(jìn)行敘述(參考圖2)，其具有作為設(shè)備控制部的功能及作為圖像處理部(圖像處理裝置)的功能，所述設(shè)備控制部集中地控制數(shù)碼相機(jī)10的各部，所述圖像處理部進(jìn)行從成像元件26發(fā)送過來的圖像數(shù)據(jù)的圖像處理。

數(shù)碼相機(jī)10還具備進(jìn)行拍攝等時所需的其他設(shè)備類(釋放按鈕等)，這些設(shè)備類的一部分構(gòu)成可通過用戶進(jìn)行確認(rèn)及操作的用戶界面29。圖1所示的例子中，在相機(jī)主體14設(shè)置有用戶界面29，但用戶界面29可配置于透鏡單元12和/或相機(jī)主體14。用戶能夠經(jīng)由用戶界面29進(jìn)行用于攝影等的各種設(shè)定(ev值(exposurevalue)等)的確定及變更、攝影命令及實(shí)時預(yù)覽圖像和攝影圖像的確認(rèn)等。用戶界面29連接于主體控制器28，由用戶確定并變更的各種設(shè)定及各種命令被反映到主體控制器28中的各種處理。

在主體控制器28中經(jīng)圖像處理的圖像數(shù)據(jù)存儲于設(shè)置在相機(jī)主體14的主體存儲部31，根據(jù)需要，經(jīng)由輸入輸出接口32發(fā)送到計(jì)算機(jī)92等外部設(shè)備類。主體存儲部31由任意的存儲器設(shè)備構(gòu)成，可優(yōu)選使用存儲器卡等可更換的存儲器。從主體控制器28輸出的圖像數(shù)據(jù)的格式并無特別限定，主體控制器28能夠生成并輸出具有raw、jpeg(jointphotographicexpertsgroup)和/或tiff(taggedimagefileformat)等格式的圖像數(shù)據(jù)。并且，主體控制器28如所謂的exif(exchangeableimagefileformat)那樣，將標(biāo)題信息(攝影信息(攝影日期和時間、機(jī)種、像素?cái)?shù)、光圈值等)等)、主圖像數(shù)據(jù)及縮略圖圖像數(shù)據(jù)等多個關(guān)聯(lián)數(shù)據(jù)彼此建立關(guān)聯(lián)而構(gòu)成為一個圖像文件，并可輸出該圖像文件。

計(jì)算機(jī)92經(jīng)由相機(jī)主體14的輸入輸出接口32及計(jì)算機(jī)輸入輸出部93而與數(shù)碼相機(jī)10連接，并接收從相機(jī)主體14發(fā)送過來的圖像數(shù)據(jù)等數(shù)據(jù)類。計(jì)算機(jī)控制器94集中地控制計(jì)算機(jī)92，對來自數(shù)碼相機(jī)10的圖像數(shù)據(jù)進(jìn)行圖像處理，并且控制與經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)96而連接于計(jì)算機(jī)輸入輸出部93的服務(wù)器97等的通信。計(jì)算機(jī)92具有顯示器95，計(jì)算機(jī)控制器94中的處理內(nèi)容等根據(jù)需要而顯示于顯示器95。用戶通過一邊確認(rèn)顯示器95的顯示一邊對鍵盤等輸入機(jī)構(gòu)(省略圖示)進(jìn)行操作，能夠?qū)τ?jì)算機(jī)控制器94輸入數(shù)據(jù)或指令。由此，用戶能夠?qū)τ?jì)算機(jī)92或連接于計(jì)算機(jī)92的設(shè)備類(數(shù)碼相機(jī)10及服務(wù)器97等)進(jìn)行控制。

服務(wù)器97具有服務(wù)器輸入輸出部98及服務(wù)器控制器99。服務(wù)器輸入輸出部98構(gòu)成與計(jì)算機(jī)92等的外部設(shè)備類的收發(fā)連接部，并經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)96而與計(jì)算機(jī)92的計(jì)算機(jī)輸入輸出部93連接。服務(wù)器控制器99根據(jù)來自計(jì)算機(jī)92的控制命令信號，與計(jì)算機(jī)控制器94協(xié)作，根據(jù)需要在與計(jì)算機(jī)控制器94之間進(jìn)行數(shù)據(jù)類的收發(fā)，進(jìn)行運(yùn)算處理并將其運(yùn)算結(jié)果發(fā)送到計(jì)算機(jī)92。

各控制器(透鏡單元控制器20、主體控制器28、計(jì)算機(jī)控制器94及服務(wù)器控制器99)具有控制處理所需的電路類，例如具備運(yùn)算處理電路(cpu(centralprocessingunit)等)或存儲器等。并且，數(shù)碼相機(jī)10、計(jì)算機(jī)92及服務(wù)器97之間的通信既可以是有限通信，也可以是無線通信。并且，也可一體構(gòu)成計(jì)算機(jī)92及服務(wù)器97，并且也可省略計(jì)算機(jī)92和/或服務(wù)器97。并且，也可以是，使數(shù)碼相機(jī)10具有與服務(wù)器97的通信功能，并在數(shù)碼相機(jī)10與服務(wù)器97之間直接進(jìn)行數(shù)據(jù)類的收發(fā)。

圖2是表示主體控制器28的結(jié)構(gòu)例的框圖。主體控制器28具有設(shè)備控制部34和圖像處理部(圖像處理裝置)35，并且集中地控制相機(jī)主體14。

設(shè)備控制部34適當(dāng)?shù)乜刂茢?shù)碼相機(jī)10所具備的各種設(shè)備類，例如控制成像元件26來控制來自成像元件26的圖像信號(圖像數(shù)據(jù))的輸出，生成用于控制透鏡單元12的控制信號并經(jīng)由相機(jī)主體輸入輸出部30發(fā)送到透鏡單元12(透鏡單元控制器20)，將圖像處理前后的圖像數(shù)據(jù)(raw數(shù)據(jù)及jpeg數(shù)據(jù)等)存儲于主體存儲部31，并對經(jīng)由輸入輸出接口32而連接的外部設(shè)備類(計(jì)算機(jī)92等)發(fā)送圖像處理前后的圖像數(shù)據(jù)(raw數(shù)據(jù)及jpeg數(shù)據(jù)等)。并且，設(shè)備控制部34適當(dāng)?shù)乜刂骑@示部(evf：flectronicviewfinder、背面液晶顯示部：用戶界面29)等，數(shù)碼相機(jī)10所具備的各種設(shè)備類。

另一方面，圖像處理部35對從成像元件26輸出的圖像信號進(jìn)行對應(yīng)于需要而進(jìn)行任意的圖像處理。例如，在圖像處理部35中能夠適當(dāng)?shù)剡M(jìn)行傳感器校正處理、去馬賽克(同步化)處理、像素插值處理、顏色校正處理(偏移校正處理、白平衡處理、顏色矩陣處理及伽馬轉(zhuǎn)換處理等)、rgb圖像處理(銳度處理、色調(diào)校正處理、曝光校正處理及輪廓校正處理等)、rgb/ycrcb轉(zhuǎn)換處理及圖像壓縮處理等各種圖像處理。

圖3是表示圖像處理部35的功能結(jié)構(gòu)的一例的框圖。

圖像處理部35具備通過對原圖像數(shù)據(jù)d1進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)d2的濾波處理部41。并且，本例的圖像處理部35除了濾波處理部41之外還具備增益確定部43、增益候補(bǔ)數(shù)據(jù)存儲部44、預(yù)處理部40及后處理部42。

濾波處理部41在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對該濾波器應(yīng)用處理數(shù)據(jù)利用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從該增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)。

增益候補(bǔ)數(shù)據(jù)存儲部44存儲“增益表信息”，所述“增益表信息”是將在濾波處理部41中的多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益的候補(bǔ)數(shù)據(jù)與增益選定條件建立關(guān)聯(lián)而得到。包括增益的候補(bǔ)數(shù)據(jù)的該增益表信息通過增益獲取部45根據(jù)增益選定條件而預(yù)先獲取并存儲于增益候補(bǔ)數(shù)據(jù)存儲部44。針對與增益選定條件相對應(yīng)的增益(候補(bǔ)數(shù)據(jù))的獲取方法的具體例將在后面進(jìn)行敘述。

增益確定部43參考存儲于增益候補(bǔ)數(shù)據(jù)存儲部44的增益表信息，將與作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件建立關(guān)聯(lián)的候補(bǔ)數(shù)據(jù)，作為在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益而確定，并發(fā)送到濾波處理部41。本例的增益確定部43獲取與作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件，并從增益候補(bǔ)數(shù)據(jù)存儲部44讀出與該增益選定條件建立有對應(yīng)關(guān)聯(lián)的候補(bǔ)數(shù)據(jù)，作為應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益發(fā)送到濾波處理部41。另外，基于增益確定部43的“與作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件”的獲取方法并無特別限定，增益確定部43例如可根據(jù)主體控制器28的未圖示的存儲器中所保持的攝影條件信息獲取“與作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件”。

濾波處理部41在多次濾波處理的每一次處理中，將增益確定部43所確定的增益應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)來獲取增益應(yīng)用處理數(shù)據(jù)。

圖像處理部35中，還可進(jìn)行上述圖像濾波處理以外的圖像處理。圖像濾波處理以外的各種圖像處理既可在設(shè)置于濾波處理部41的前級的預(yù)處理部40中進(jìn)行，也可在設(shè)置于濾波處理部41的后級的后處理部42中進(jìn)行。即，將接受在預(yù)處理部40中進(jìn)行的各種圖像處理而得到的數(shù)據(jù)作為原圖像數(shù)據(jù)d1進(jìn)行濾波處理部41中的圖像濾波處理，并且，在后處理部42中對接受濾波處理部41中的圖像濾波處理而得到的處理圖像數(shù)據(jù)d2進(jìn)行各種圖像處理。

此外，在本例中，將從預(yù)處理部40輸入到濾波處理部41的圖像數(shù)據(jù)稱為“原圖像數(shù)據(jù)d1”，將從濾波處理部41輸出到后處理部42的圖像數(shù)據(jù)稱為“處理圖像數(shù)據(jù)d2”

圖4是表示圖像處理部35的功能結(jié)構(gòu)的其他例子的框圖。

在圖3所示的例子中，參考預(yù)先存儲于增益候補(bǔ)數(shù)據(jù)存儲部44的增益表信息獲取在濾波處理中所使用的增益，但在圖4所示的例子中，不預(yù)先獲取并存儲增益表信息(增益的候補(bǔ)數(shù)據(jù))，而執(zhí)行濾波處理并獲取增益。即，在圖4所示的例子中，增益獲取部45與濾波處理部41連接，在濾波處理部41中進(jìn)行的多次濾波處理中所使用的增益從增益獲取部45被直接供給到濾波處理部41。增益獲取部45獲取表示與圖像濾波處理的作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件的數(shù)據(jù)，并根據(jù)該表示增益選定條件的數(shù)據(jù)確定圖像濾波處理的作為目標(biāo)的頻率特性，根據(jù)所確定的該“圖像濾波處理的作為目標(biāo)的頻率特性”獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益，并將該所獲取的增益供給到濾波處理部41。

該增益獲取部45可如圖4所示那樣作為圖像處理部35的一部分而設(shè)置，也可如圖5所示那樣作為與圖像處理部35分體的處理部而設(shè)置。

另外，在圖4及圖5所示的例子中，上述圖像濾波處理以外的圖像處理既可在設(shè)置于濾波處理部41的前級的預(yù)處理部40進(jìn)行，也可在設(shè)置于濾波處理部41的后級的后處理部42進(jìn)行。

接著，對在濾波處理部41中進(jìn)行的圖像濾波處理(多次濾波處理)的具體例進(jìn)行說明。

圖6是圖像濾波處理p的概念圖。本例的圖像濾波處理p包括多次濾波處理(第1濾波處理f1～第n濾波處理fn(其中“n”為2以上的整數(shù)))。通過該“包括多次濾波處理的圖像濾波處理p”，由原圖像數(shù)據(jù)d1生成處理圖像數(shù)據(jù)d2。

圖7是第n濾波處理fn(其中“n”為1以上且n以下的整數(shù))的概念圖。圖像濾波處理p的各濾波處理(第n濾波處理fn)包括濾波器應(yīng)用處理pf及增益應(yīng)用處理pg。濾波器應(yīng)用處理pf為對處理對象數(shù)據(jù)d3應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)d4的處理，增益應(yīng)用處理pg為對濾波器應(yīng)用處理數(shù)據(jù)d4應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)d5的處理。

在通過濾波處理部41進(jìn)行的圖像濾波處理p所包括的多次濾波處理(第1濾波處理f1～第n濾波處理fn)的每一次處理中，濾波器應(yīng)用處理pf中應(yīng)用于處理對象數(shù)據(jù)d3的濾波器并無特別限定。

例如，濾波處理部41在多次濾波處理(第1濾波處理f1～第n濾波處理fn)中的至少任一次濾波處理中，可使用根據(jù)通過拍攝獲取原圖像數(shù)據(jù)d1時所使用的光學(xué)系統(tǒng)(透鏡16及光圈17等)的特性而確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)d4。

作為這種“根據(jù)光學(xué)系統(tǒng)的特性而確定的濾波器”，例如能夠優(yōu)選使用根據(jù)光學(xué)系統(tǒng)(透鏡16及光圈17等)的點(diǎn)擴(kuò)散函數(shù)等的光學(xué)特性而確定的濾波器。濾波處理部41可在多次濾波處理(第1濾波處理f1～第n濾波處理fn)中使用多個濾波器，所述多個濾波器為基于光學(xué)系統(tǒng)(透鏡16及光圈17等)的點(diǎn)擴(kuò)散函數(shù)的多個濾波器，且為通過改變影響點(diǎn)擴(kuò)散函數(shù)的特性的因素而得到的多個濾波器。作為影響點(diǎn)擴(kuò)散函數(shù)的特性的因素，例如可舉出光圈值(f值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件26的傳感器sn比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件。根據(jù)這些因素中一個或多個因素的特性數(shù)據(jù)不同的點(diǎn)擴(kuò)散函數(shù)所導(dǎo)出的濾波器可在各濾波器應(yīng)用處理pf中使用。

另外，“根據(jù)光學(xué)系統(tǒng)的特性而確定的濾波器”并不限于基于點(diǎn)擴(kuò)散函數(shù)的濾波器，可將輪廓增強(qiáng)濾波器或其他濾波器用作“根據(jù)光學(xué)系統(tǒng)的特性而確定的濾波器”。即使在為基于點(diǎn)擴(kuò)散函數(shù)的濾波器以外的濾波器(輪廓增強(qiáng)濾波器等)的情況下，也可根據(jù)各種條件(例如上述光圈值(f值)等各種因素)調(diào)整濾波器(輪廓增強(qiáng)濾波器等)，也可在各濾波器應(yīng)用處理pf中使用具有基于根據(jù)各種條件(例如上述光圈值(f值)等各種因素)而改變的光學(xué)特性而被調(diào)整的濾波器系數(shù)(抽頭系數(shù))的輪廓增強(qiáng)濾波器等濾波器。

并且，濾波處理部41在多次濾波處理(第1濾波處理f1～第n濾波處理fn)中的至少任一次濾波處理中，可使用與通過攝影獲取原圖像數(shù)據(jù)d1時所使用的光學(xué)系統(tǒng)(透鏡16及光圈17等)的特性無關(guān)地被確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)d4。作為這種“與光學(xué)系統(tǒng)的特性無關(guān)地被確定的濾波器”，例如能夠優(yōu)選使用輪廓增強(qiáng)濾波器。

并且，在濾波器應(yīng)用處理pf中所使用的濾波器可根據(jù)處理對象數(shù)據(jù)d3的像素位置而改變。濾波處理部41在多次濾波處理(第1濾波處理f1～第n濾波處理fn)中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)d3中的像素位置相對應(yīng)的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)i)4。并且，無論處理對象數(shù)據(jù)d3的像素位置如何，相同的濾波器可應(yīng)用于處理對象數(shù)據(jù)d3。濾波處理部41在多次濾波處理中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)d3中像素位置無關(guān)的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)d4。

另一方面，在圖像濾波處理p中的多次濾波處理(第1濾波處理f1～第n濾波處理fn)的每一次處理中，在增益應(yīng)用處理pg中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)d4的增益根據(jù)圖像濾波處理p的作為目標(biāo)的頻率特性來獲取。該圖像濾波處理p的作為目標(biāo)的頻率特性可設(shè)定為基于光學(xué)特性的頻率特性。例如，通過基于由攝影獲取原圖像數(shù)據(jù)d1時所使用的光學(xué)系統(tǒng)(透鏡16及光圈17等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性，能夠顯示出圖像濾波處理p的作為目標(biāo)的頻率特性，并能夠使用利用了維納濾波器等的任意的基準(zhǔn)的反向?yàn)V波器設(shè)計(jì)方法。對該增益的獲取方法的詳細(xì)內(nèi)容將在后面進(jìn)行敘述。

另外，圖像濾波處理p的作為目標(biāo)的頻率特性并不限于基于光學(xué)系統(tǒng)(透鏡16及光圈17等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性，能夠?qū)⒏鶕?jù)光學(xué)系統(tǒng)(透鏡16及光圈17等)的攝影條件(上述光圈值(f值)等各種因素)導(dǎo)出的各種頻率特性設(shè)為“圖像濾波處理p的作為目標(biāo)的頻率特性”。因此，例如“根據(jù)光圈值(f值)而峰值不同的頻率特性”也可設(shè)定為“圖像濾波處理p的作為目標(biāo)的頻率特性”。

接著，對進(jìn)行圖像濾波處理p(多次濾波處理)的電路結(jié)構(gòu)例進(jìn)行說明。

構(gòu)成圖像濾波處理p的濾波處理(第1濾波處理f1～第n濾波處理fn)的數(shù)n優(yōu)選小于通過如以往的方法根據(jù)因素設(shè)計(jì)濾波器時的濾波器的總數(shù)m。以優(yōu)選為m的50％以下，進(jìn)一步優(yōu)選為30％以下，進(jìn)一步優(yōu)選為10％以下的方式設(shè)定構(gòu)成圖像濾波處理p的濾波處理的數(shù)n。其中，對于構(gòu)成圖像濾波處理p的濾波處理的數(shù)n，多次濾波處理中所使用的濾波器中抽頭數(shù)量最大的濾波器的抽頭數(shù)量(最大抽頭數(shù)量)成為上限。這是因?yàn)?，若為濾波器的抽頭數(shù)量以上，則無法增加濾波器的種類。

另外，構(gòu)成圖像濾波處理p的濾波處理的數(shù)n優(yōu)選為10以下，進(jìn)一步優(yōu)選為6以下，進(jìn)一步優(yōu)選為4以下，但濾波處理的數(shù)n的具體的數(shù)值例并不限于這些。并且，構(gòu)成圖像濾波處理p的多次濾波處理(濾波處理部41)中所使用的多個濾波器的抽頭數(shù)量在濾波器之間可相同也可不同。

在以下與圖8～圖11相關(guān)的說明中，為了方便，假設(shè)“n＝2”，對濾波處理部41中所進(jìn)行的多次濾波處理由第1濾波處理f1及第2濾波處理f2構(gòu)成的情況進(jìn)行說明。其中，“n”為3以上的整數(shù)，在濾波處理部41進(jìn)行3次以上的濾波處理的情況下，也可通過相同的設(shè)計(jì)方法實(shí)現(xiàn)濾波處理部41。

圖8是表示濾波處理部41的電路結(jié)構(gòu)的一例的圖。圖8中示出有串聯(lián)連接進(jìn)行第1濾波處理f1～第n濾波處理fn(其中，本例中“n＝2”)的每一次處理的電路的情況的一例。

本例的濾波處理部41將在第1濾波處理f1中獲取的濾波處理數(shù)據(jù)d6-1用作第2濾波處理f2中的處理對象數(shù)據(jù)d3-2。即，濾波處理部41具有第1濾波器應(yīng)用部48-1、第1增益應(yīng)用部49-1及第1處理數(shù)據(jù)計(jì)算部50-1，且通過它們進(jìn)行第1濾波處理f1。并且，濾波處理部41具有第2濾波器應(yīng)用部48-2、第2增益應(yīng)用部49-2及第2處理數(shù)據(jù)計(jì)算部50-2，且通過它們進(jìn)行第2濾波處理f2。

第1濾波器應(yīng)用部48-1對第1濾波處理f1的處理對象數(shù)據(jù)d3-1應(yīng)用第1濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)d4-1。第1增益應(yīng)用部49-1對從第1濾波器應(yīng)用部48-1輸出的濾波器應(yīng)用處理數(shù)據(jù)d4-1應(yīng)用第1濾波處理用增益g0來獲取增益應(yīng)用處理數(shù)據(jù)d5-1。同樣地，第2濾波器應(yīng)用部48-2對第2濾波處理f2的處理對象數(shù)據(jù)d3-2應(yīng)用第2濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)d4-2。第2增益應(yīng)用部49-2對從第2濾波器應(yīng)用部48-2輸出的濾波器應(yīng)用處理數(shù)據(jù)d4-2應(yīng)用第2濾波處理用增益g1來獲取增益應(yīng)用處理數(shù)據(jù)d5-2。

另外，在各濾波處理中所使用的濾波器既可以由各濾波器應(yīng)用部48(第1濾波器應(yīng)用部48-1及第2濾波器應(yīng)用部48-2)保持，也可以存儲于未圖示的存儲器而由各濾波器應(yīng)用部48適當(dāng)?shù)刈x出。并且，在各濾波處理中所使用的增益可通過圖3所示的增益確定部43或圖4及圖5所示的增益獲取部45供給到各增益應(yīng)用部49(第1增益應(yīng)用部49-1及第2增益應(yīng)用部49-2)。

并且，本例的濾波處理部41還具有將處理對象數(shù)據(jù)d3與增益應(yīng)用處理數(shù)據(jù)d5相加并輸出濾波處理數(shù)據(jù)d6的第1處理數(shù)據(jù)計(jì)算部50-1及第2處理數(shù)據(jù)計(jì)算部50-2。即，第1處理數(shù)據(jù)計(jì)算部50-1對從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)d5-1加上處理對象數(shù)據(jù)d3-1并輸出濾波處理數(shù)據(jù)d6-1。同樣地，第2處理數(shù)據(jù)計(jì)算部50-2對從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)d5-2加上處理對象數(shù)據(jù)d3-2并輸出濾波處理數(shù)據(jù)d6-2。

另外，在通過第1濾波處理f1及第2濾波處理f2構(gòu)成圖像濾波處理p的本例中，第1濾波處理f1中的處理對象數(shù)據(jù)d3-1為原圖像數(shù)據(jù)d1，第2濾波處理f2中的濾波處理數(shù)據(jù)d6-2成為處理圖像數(shù)據(jù)d2。

圖9是表示濾波處理部41的電路結(jié)構(gòu)的其他例子的圖。圖9中示出有并聯(lián)連接進(jìn)行第1濾波處理f1～第n濾波處理fn(其中，本例中“n＝2”)的每一次處理的電路的情況的一例。

本例中，串聯(lián)連接與第1濾波處理f1相關(guān)的第1濾波器應(yīng)用部48-1和第1增益應(yīng)用部49-1，且串聯(lián)連接與第2濾波處理f2相關(guān)的第2濾波器應(yīng)用部48-2和第2增益應(yīng)用部49-2。并且，并聯(lián)連接“與第1濾波處理f1相關(guān)的第1濾波器應(yīng)用部48-1及第1增益應(yīng)用部49-1”與“與第2濾波處理f2相關(guān)的第2濾波器應(yīng)用部48-2及第2增益應(yīng)用部49-2”。并且，濾波處理部41具有將從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)d5-1與從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)d5-2相加的加法器52。另外，設(shè)置有通過將加算數(shù)據(jù)d7和處理對象數(shù)據(jù)d3相加來獲取處理圖像數(shù)據(jù)d2的處理圖像數(shù)據(jù)計(jì)算部51，所述加算數(shù)據(jù)d7通過與在所有濾波處理(本例中為第1濾波處理f1及第2濾波處理f2)中所獲取的增益應(yīng)用處理數(shù)據(jù)d5(濾波處理數(shù)據(jù)d6)相加而獲得。

具有該圖9所示的電路結(jié)構(gòu)的本例的濾波處理部41在第1濾波處理f1及第2濾波處理f2中使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)d1)來作為處理對象數(shù)據(jù)d3。并且，濾波處理部41根據(jù)在第1濾波處理f1中獲取的濾波處理數(shù)據(jù)d6-1和在第2濾波處理f2中獲取的濾波處理數(shù)據(jù)d6-2來獲取處理圖像數(shù)據(jù)d2。另外，本例中，從各濾波處理的增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)d5成為在各濾波處理中獲得的濾波處理數(shù)據(jù)d6。

圖10是表示濾波處理部41的電路結(jié)構(gòu)的其他例子的圖。圖10中示出有并聯(lián)連接進(jìn)行第1濾波處理f1～第n濾波處理fn(其中，本例中“n＝2”)的每一次處理的電路的其他例子。

本例中，與圖9所示的例子同樣地，串聯(lián)連接與第1濾波處理f1相關(guān)的第1濾波器應(yīng)用部48-1和第1增益應(yīng)用部49-1，且串聯(lián)連接與第2濾波處理f2相關(guān)的第2濾波器應(yīng)用部48-2和第2增益應(yīng)用部49-2。并且，并聯(lián)連接“與第1濾波處理f1相關(guān)的第1濾波器應(yīng)用部48-1及第1增益應(yīng)用部49-1”與“與第2濾波處理f2相關(guān)的第2濾波器應(yīng)用部48-2及第2增益應(yīng)用部49-2”。因此，本例的濾波處理部41在第1濾波處理f1及第2濾波處理f2中也使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)d1)來作為處理對象數(shù)據(jù)d3。

其中，在本例中，通過處理圖像數(shù)據(jù)計(jì)算部51加算所有濾波處理(本例中為第1濾波處理f1及第2濾波處理f2)中所獲取的增益應(yīng)用處理數(shù)據(jù)d5(濾波處理數(shù)據(jù)d6)，從而獲取處理圖像數(shù)據(jù)d2。即，濾波處理部41通過在處理圖像數(shù)據(jù)計(jì)算部51中將在第1濾波處理f1中獲取的濾波處理數(shù)據(jù)d6-1與在第2濾波處理f2中獲取的濾波處理數(shù)據(jù)d6-2相加來獲取處理圖像數(shù)據(jù)d2。另外，在本例中，從各濾波處理的增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)d5成為在各濾波處理中所獲得的濾波處理數(shù)據(jù)d6。

并且，本例的圖像濾波處理p(第1濾波處理f1～第n濾波處理fn)為了防止處理對象圖像的亮度(dc(directcurrent)成分)發(fā)生變化，優(yōu)選頻率(ω)為0時的濾波器響應(yīng)被設(shè)定為1且設(shè)定為(φn(0)＝1)，且關(guān)于任意的增益，亮度被調(diào)整為恒定。

在上述圖8～圖10所示的例子中，在多次濾波處理的每一次處理中設(shè)置獨(dú)立的“濾波器應(yīng)用部48及增益應(yīng)用部49”，但也可通過共同的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行多次濾波處理。

圖11是表示濾波處理部41的電路結(jié)構(gòu)的另一例子的圖。圖11中示出有通過單一的濾波器應(yīng)用部48及單一的增益應(yīng)用部49進(jìn)行多次濾波處理的電路結(jié)構(gòu)的例子。圖11所示的電路結(jié)構(gòu)例在濾波器應(yīng)用處理pf及增益應(yīng)用處理pg中發(fā)揮與上述圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)等效的功能，但在通過單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行多次濾波處理的方面與圖8所示的電路結(jié)構(gòu)不同。

即，本例的濾波處理部41具有：濾波器應(yīng)用部48，對處理對象數(shù)據(jù)d3應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)d4；及增益應(yīng)用部49，對濾波器應(yīng)用處理數(shù)據(jù)d4應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)d5。并且，濾波處理部41具有：處理數(shù)據(jù)計(jì)算部50，將增益應(yīng)用處理數(shù)據(jù)d5與處理對象數(shù)據(jù)d3相加而獲取濾波處理數(shù)據(jù)d6；及反復(fù)運(yùn)算判定部54，判定是否反復(fù)濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50中的運(yùn)算處理。

反復(fù)運(yùn)算判定部54判定通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50進(jìn)行的濾波處理的次數(shù)是否達(dá)到預(yù)先確定的n次(本例中“n＝2”)。當(dāng)通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50進(jìn)行的濾波處理的次數(shù)未達(dá)到n次時，反復(fù)運(yùn)算判定部54對從處理數(shù)據(jù)計(jì)算部50輸出的濾波處理數(shù)據(jù)d6進(jìn)行反饋。若濾波處理數(shù)據(jù)d6被反饋，則濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50將所反饋的濾波處理數(shù)據(jù)d6作為新的處理對象數(shù)據(jù)d3反復(fù)一系列的處理。當(dāng)通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50進(jìn)行的濾波處理的次數(shù)達(dá)到n次時，反復(fù)運(yùn)算判定部54將從處理數(shù)據(jù)計(jì)算部50最終輸出的濾波處理數(shù)據(jù)d6作為處理圖像數(shù)據(jù)d2來輸出。

在本例中，濾波器應(yīng)用部48中所使用的濾波器hn從濾波器供給部56被供給到濾波器應(yīng)用部48，增益應(yīng)用部49中所使用的增益gn從增益供給部55被供給到增益應(yīng)用部49。即，“在第n次濾波處理(其中“1≤n≤n”)中所使用的濾波器hn-1及增益gn-1的信息”在濾波器供給部56及增益供給部55中被保持，或者被未圖示的存儲器所保持。濾波器供給部56及增益供給部55，從反復(fù)運(yùn)算判定部54發(fā)送“接著在濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50中進(jìn)行的濾波處理為第n次”這樣的信息，并根據(jù)來自該反復(fù)運(yùn)算判定部54的信息對濾波器應(yīng)用部48及增益應(yīng)用部49供給濾波器hn-1及增益gn-1。

因此，圖11所示的濾波器應(yīng)用部48在第1濾波處理f1中使用第1濾波處理用濾波器h0獲取濾波器應(yīng)用處理數(shù)據(jù)d4，并在第2濾波處理f2中使用第2濾波處理用濾波器h1獲取濾波器應(yīng)用處理數(shù)據(jù)d4。并且，增益應(yīng)用部49在第1濾波處理f1中使用第1濾波處理用增益g0獲取增益應(yīng)用處理數(shù)據(jù)d5，并在第2濾波處理f2中使用第2濾波處理用增益g1獲取增益應(yīng)用處理數(shù)據(jù)d5。

另外，關(guān)于對增益應(yīng)用部49供給增益的增益供給部55，當(dāng)圖像處理部35具有圖3所示的系統(tǒng)結(jié)構(gòu)時由增益確定部43構(gòu)成，并且當(dāng)圖像處理部35具有圖4或圖5所示的系統(tǒng)結(jié)構(gòu)時由增益獲取部45構(gòu)成。

上述圖8～圖11所示的電路結(jié)構(gòu)僅為一例，進(jìn)行多次濾波處理的濾波處理部41可由各種電路結(jié)構(gòu)實(shí)現(xiàn)，并且具體的電路結(jié)構(gòu)并無特別限定。

例如，圖11中示出有通過單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行與圖8所示的串聯(lián)連接類型同等的濾波處理(圖像濾波處理p)的電路結(jié)構(gòu)例，但同樣地，也可通過具有單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”的電路結(jié)構(gòu)進(jìn)行與圖9或圖10所示的并聯(lián)連接類型同等的濾波處理(圖像濾波處理p)。

并且，在圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)中，可省略第1處理數(shù)據(jù)計(jì)算部50-1及第2處理數(shù)據(jù)計(jì)算部50-2。即，可將從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)d5-1設(shè)為第1濾波處理f1的濾波處理數(shù)據(jù)d6-1及第2濾波處理f2的處理對象數(shù)據(jù)d3-2，也可將從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)d5-2設(shè)為第2濾波處理f2的濾波處理數(shù)據(jù)d6-2及處理圖像數(shù)據(jù)d2。同樣地，在圖11所示的電路結(jié)構(gòu)中可省略處理數(shù)據(jù)計(jì)算部50，也可將從增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)d5設(shè)為濾波處理數(shù)據(jù)d6。

<增益確定方法>

接著，對在增益應(yīng)用部49(第1增益應(yīng)用部49-1～第n增益應(yīng)用部49-n)中所使用的增益的確定方法進(jìn)行說明。

圖12是表示增益獲取部45的功能結(jié)構(gòu)的一例的框圖。本例的增益獲取部45具有增益選定條件獲取部60、目標(biāo)頻率特性獲取部61及應(yīng)用增益計(jì)算部62。

增益選定條件獲取部60獲取表示與圖像濾波處理p的作為目標(biāo)的頻率特性相關(guān)聯(lián)的增益選定條件的數(shù)據(jù)。作為該表示增益選定條件的數(shù)據(jù)，可優(yōu)選使用表示可影響圖像濾波處理p的作為目標(biāo)的頻率特性的各種因素的特性數(shù)據(jù)。因此，圖像濾波處理p的作為目標(biāo)的頻率特性為“基于通過攝影獲取原圖像數(shù)據(jù)d1時所使用的光學(xué)系統(tǒng)(透鏡16及光圈17等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性”時，可獲取與影響該點(diǎn)擴(kuò)散函數(shù)的各種因素(例如用于獲取原圖像數(shù)據(jù)d1的攝影時的光圈值(f值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件26的傳感器sn比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個體差等攝影條件)相關(guān)的特性數(shù)據(jù)作為“表示增益選定條件的數(shù)據(jù)”。

目標(biāo)頻率特性獲取部61根據(jù)增益選定條件獲取部60所獲取的“表示增益選定條件的數(shù)據(jù)”確定圖像濾波處理p的作為目標(biāo)的頻率特性。例如，目標(biāo)頻率特性獲取部61可根據(jù)表示光圈值(f值)等的增益選定條件的數(shù)據(jù)確定基于與該增益選定條件相關(guān)聯(lián)的點(diǎn)擴(kuò)散函數(shù)的“圖像濾波處理p的作為目標(biāo)的頻率特性”。

應(yīng)用增益計(jì)算部62根據(jù)目標(biāo)頻率特性獲取部61所確定的“圖像濾波處理p的作為目標(biāo)的頻率特性”，獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。通過應(yīng)用增益計(jì)算部62獲取增益的方法并沒有特別限定，例如能夠通過最小二乘法來計(jì)算增益。即，增益應(yīng)用計(jì)算部62可通過相對于目標(biāo)頻率特性獲取部61所確定的“圖像濾波處理p的作為目標(biāo)的頻率特性”，根據(jù)多次濾波處理的每一次處理的頻率特性并使用最小二乘法擬合圖像濾波處理p的頻率特性，從而獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)d4的增益。

<增益系數(shù)(增益值矢量)的計(jì)算方法>

以下，對上述增益獲取部45(尤其應(yīng)用增益計(jì)算部62)中的運(yùn)算處理的具體的流程進(jìn)行說明。作為一例，主要對濾波處理部41具有圖10所示的電路結(jié)構(gòu)的情況進(jìn)行說明，但對于濾波處理部41具有其他電路結(jié)構(gòu)(參考圖8～圖9及圖11)的情況也可通過同樣的運(yùn)算處理計(jì)算增益。

以下的方法采用根據(jù)頻率及圖像內(nèi)的位置(像素位置)的每一個進(jìn)行加權(quán)的最小二乘基準(zhǔn)，并以使通過濾波處理部41進(jìn)行的圖像濾波處理p整體的頻率特性接近作為目標(biāo)的所希望的頻率特性的方式求出增益。

在圖10所示的電路結(jié)構(gòu)中，由“φn-1(ω)”表示進(jìn)行第n濾波處理fn(其中“1≤n≤n”)的濾波器應(yīng)用部48-n中所使用的濾波器的頻率特性，并且若由“gn-1”表示增益應(yīng)用部49-n中所使用的增益，則第n濾波處理fn的頻率特性由“gn-1φn-1(ω)”來表示。因此，若由“f(ω)”表示濾波處理部41所進(jìn)行的圖像濾波處理p(第1濾波處理f1～第n濾波處理fn)整體的頻率特性，則“f(ω)＝g0φ0(ω)……+gn-1φn-1(ω)(其中“n”為2以上的整數(shù))”成立。

另外，在圖8及圖11所示的電路結(jié)構(gòu)中，若由“1+gn-1(ψn-1(ω)-1)”表示第n濾波處理fn整體的頻率特性，則在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φn-1(ω)由“φn-1(ω)＝ψn-1(ω)-1”來表示，圖像濾波處理p整體的頻率特性f(ω)由“f(ω)＝(1+g0φ0(ω))……×(1+gn-1φn-1(ω))”來表示。并且，在圖9所示的電路結(jié)構(gòu)中，圖像濾波處理p整體的頻率特性f(ω)由“f(ω)＝1+g0φ0(ω)……+gn-1φn-1(ω)”來表示。

因此，下述與圖10的電路結(jié)構(gòu)相關(guān)的說明中，通過將圖10的電路結(jié)構(gòu)的頻率特性“f(ω)＝g0φ0(ω)……+gn-1φn-1(ω)”應(yīng)用于頻率特性“f(ω)＝1+g0φ0(ω)……+gn-1φn-1(ω)”，從而也能夠應(yīng)用于圖9所示的電路結(jié)構(gòu)。例如，將圖9的電路結(jié)構(gòu)的上述頻率特性f(ω)中的“1+g0φ0(ω)”作為“圖10的電路結(jié)構(gòu)的上述頻率特性f(ω)中的“g0φ0(ω)””進(jìn)行處理，從而與圖10的電路結(jié)構(gòu)相關(guān)的下述說明還可應(yīng)用到圖9所示的電路結(jié)構(gòu)。同樣地，與圖10的電路結(jié)構(gòu)相關(guān)的下述說明中，通過將圖10的電路結(jié)構(gòu)的頻率特性“f(ω)＝g0φ0(ω)……+gn-1φn-1(ω)”應(yīng)用到“f(ω)＝(1+g0φ0(ω))……×(1+gn-1φn-1(ω))”，從而還可應(yīng)用到圖8及圖11所示的電路結(jié)構(gòu)。另外，在該情況下，通過利用對數(shù)化處理，從而圖8及圖11所示的電路結(jié)構(gòu)的頻率特性f(ω)的積的運(yùn)算式被轉(zhuǎn)換為和的運(yùn)算式，可容易地將與圖10的電路結(jié)構(gòu)相關(guān)的下述說明應(yīng)用到圖8及圖11所示的電路結(jié)構(gòu)。

在此，假設(shè)第n濾波處理fn的濾波器應(yīng)用部48-n中所使用的濾波器為基于以拍攝獲取原圖像數(shù)據(jù)d1時所使用的光學(xué)系統(tǒng)(透鏡16及光圈17等)的點(diǎn)擴(kuò)散函數(shù)的圖像復(fù)原用濾波器。基于點(diǎn)擴(kuò)散函數(shù)的圖像復(fù)原用濾波器，如下所述，針對頻率ω具有二維自由度，并且針對圖像內(nèi)位置(像素位置)r具有二維自由度，因此成為具有總計(jì)“4自由度”的頻率特性。

[數(shù)式1]

ω∈r²

r∈r²

r²：二維實(shí)數(shù)列矢量空間

若使用這種頻率矢量ω及圖像內(nèi)位置矢量r，則能夠由“φn-1(ω，r)”表示在第n濾波處理fn的濾波器應(yīng)用部48-n中所使用的濾波器的頻率特性。通過關(guān)于針對頻率為nω個且針對圖像內(nèi)位置為nr個的采樣點(diǎn)進(jìn)行濾波器的頻率特性φn(ω，r)的離散化來獲得下述矢量φn。

[數(shù)式2]

cⁿ：n維復(fù)數(shù)列矢量空間

kronecker積

ej：nω維列矢量空間的標(biāo)準(zhǔn)基底

e′k：nr維列矢量空間的標(biāo)準(zhǔn)基底

另外，頻率“ωj”及圖像內(nèi)位置“rk”可由下述式表示，“ωj”表示與頻率相關(guān)的nω個采樣點(diǎn)，“rk”表示與圖像內(nèi)位置相關(guān)的nr個采樣點(diǎn)。

[數(shù)式3]

由在多次濾波處理(第1濾波處理f1～第n濾波處理fn)中所使用的增益構(gòu)成的增益矢量(增益組)g由下述式表示。

[數(shù)式4]

g＝[g0g1…gn-1]^t

t：轉(zhuǎn)置(transpose)

設(shè)定有由上述式表示的增益的圖像濾波處理p整體(整個濾波處理部41)的頻率特性「f(ω，r|g)」在圖10所示的電路結(jié)構(gòu)中，由下述式表示。

[數(shù)式5]

另一方面，欲實(shí)現(xiàn)的“圖像濾波處理p的作為目標(biāo)的頻率特性“d(ω，r)””可通過任意的方法來確定，其確定方法并無特別限定。通常，基于點(diǎn)擴(kuò)散函數(shù)的復(fù)原濾波器能夠通過卷積型濾波器適當(dāng)?shù)貙?shí)現(xiàn)。作為確定基于點(diǎn)擴(kuò)散函數(shù)的濾波器的頻率特性的方法有各種方法，例如廣泛使用考慮到攝影光學(xué)系統(tǒng)的sn比的維納濾波器。維納濾波器能夠通過下述式并根據(jù)點(diǎn)擴(kuò)散函數(shù)的光學(xué)傳遞函數(shù)(otf)及sn比的信息表示濾波器的頻率特性。因此，可根據(jù)該維納濾波器確定欲實(shí)現(xiàn)的圖像濾波處理p的作為目標(biāo)的頻率特性“d(ω，r)”。

[數(shù)式6]

h(ω，r)：光學(xué)系統(tǒng)的otf

h^*(ω，r)：光學(xué)系統(tǒng)的otf的復(fù)共軛

snr(ω，r)：攝像系統(tǒng)的sn比

由“f(ω，r|g)”表示圖像濾波處理p整體的頻率特性，由“d(ω，r)”表示欲實(shí)現(xiàn)的圖像濾波處理p的作為目標(biāo)的頻率特性，由“w(ω，r)”表示近似加權(quán)函數(shù)。此時，能夠?qū)τ上率鍪奖硎镜幕诩訖?quán)最小二乘準(zhǔn)則的類函數(shù)“jlms[g]”進(jìn)行最小化的增益矢量設(shè)為圖像濾波處理p中的表示最佳頻率特性的增益矢量。

[數(shù)式7]

jlms[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

若通過頻率及圖像內(nèi)位置的采樣點(diǎn)對上述式進(jìn)行離散化，則可獲得下述式。

[數(shù)式8]

jlms[g]＝||w^1/2(ag-d)||²

其中

w＝diag[w]

a＝[φ0φl…φn-1]

上述式中“diag”表示將參數(shù)矢量設(shè)為對角元素的對角矩陣，上述式的“w”及“d”以與“矢量φn”相關(guān)的上述方法相同的方式分別將“w(ω，r)”及“d(ω，r)”矢量化。

根據(jù)上述式，增益矢量的最優(yōu)解gopt由下述式來表示。

[數(shù)式9]

h：伴隨矩陣(hermitiantranspose)

如果近似加權(quán)函數(shù)及各濾波器的頻率特性(濾波器系數(shù))被確定，則上述式中的“(a^hwa)^-1a^hw”的部分由可預(yù)先計(jì)算的矩陣表示。如此，增益矢量的最優(yōu)解gopt能夠通過對根據(jù)表示個別的像劣化特性的點(diǎn)擴(kuò)散函數(shù)而獲取的濾波器特性應(yīng)用矩陣的運(yùn)算來計(jì)算。

另外，當(dāng)濾波處理部41采用圖10所示的電路結(jié)構(gòu)時，優(yōu)選除了上述條件之外，還可應(yīng)用為了防止圖像的dc成分(亮度)的改變而將dc成分的放大率(增益)設(shè)為1.0倍這樣的約束條件。具體而言，按照下述式獲取增益矢量的最優(yōu)解gopt的情況相當(dāng)于“將dc成分的放大率設(shè)為1.0倍而未改變圖像整體的亮度”的情況。

[數(shù)式10]

上述式能夠作為qp(quadraticprogramming)問題進(jìn)行處理，“n”較小時，能夠以較小的計(jì)算量解決。并且，如作為一例以下述式表示那樣，通過對各濾波器的dc成分的放大率設(shè)置限制，能夠排除dc成分的放大率的限制(約束條件)。

[數(shù)式11]

φ0(0)＝1，φi(0)＝0(1≤i＜n)

<加權(quán)的設(shè)計(jì)>

上述最小二乘法中，如由“w(ω，r)”所表示那樣，根據(jù)頻率及圖像內(nèi)位置(像素位置)的每一個對頻率特性的近似精度進(jìn)行加權(quán)。例如，根據(jù)上述近似誤差評價函數(shù)jlms[g]進(jìn)行基于最小二乘法的頻率特性的近似時，其近似誤差評價函數(shù)jlms[g]根據(jù)頻率和圖像內(nèi)位置(像素位置)進(jìn)行加權(quán)。通過調(diào)整該加權(quán)能夠控制畫質(zhì)。即，通過最小二乘法而近似于圖像濾波處理p的作為目標(biāo)的頻率特性時，通過對特定的頻率或特定的像素位置調(diào)整加權(quán)，能夠在最小二乘法中提高與特定的頻率或特定的像素位置相關(guān)的近似精度，并且能夠控制畫質(zhì)。

例如，上述最小二乘法中，可將低頻帶中的加權(quán)設(shè)定為大于高頻帶中的加權(quán)。通常，在人類的視覺特性上，低頻成分比高頻成分更容易被感知，因此作為“近似于圖像濾波處理p的作為目標(biāo)的頻率特性”的精度使低頻成分優(yōu)先于高頻成分，從而能夠高精度地處理低頻成分。

另外，在此所說的“低頻帶(低頻成分)”及“高頻帶(高頻成分)”表示相對頻率范圍(頻帶)。例如，可將采樣頻率的1/4(＝0.25fs)以下的范圍視為“低頻帶(低頻成分)”，并且將大于0.25fs且為0.5fs以下范圍視為“高頻帶(高頻成分)”。

并且，在上述最小二乘法中，可根據(jù)獲取原圖像數(shù)據(jù)d1時的攝影條件，將高頻帶中的加權(quán)設(shè)定為大于低頻帶中的加權(quán)。通常，噪聲較多時，若濾波器的高頻特性差，則會導(dǎo)致噪聲放大。因此，在可預(yù)想到噪聲較多的攝影條件下獲取的原圖像數(shù)據(jù)d1的圖像濾波處理p中，有時優(yōu)選作為“近似于圖像濾波處理p的作為目標(biāo)的頻率特性”的精度而使高頻成分優(yōu)先于低頻成分。

另外，在此所說的“獲取原圖像數(shù)據(jù)d1時的攝影條件”并無特別限定。能夠?qū)⒖捎绊懺肼暳康娜我獾囊蛩卦O(shè)為攝影條件，例如可采用光圈值(f值)或成像元件26的攝影感度來作為可影響噪聲量的“獲取原圖像數(shù)據(jù)d1時的攝影條件”。

并且，上述最小二乘法中的加權(quán)可根據(jù)原圖像數(shù)據(jù)d1中的像素位置來確定。例如，當(dāng)通過使用一般用戶所使用的通常的數(shù)碼相機(jī)進(jìn)行拍攝而獲取原圖像數(shù)據(jù)d1時，通常主要被攝體配置于圖像中央部，因此有重視圖像中央部的像素位置的高頻成分的傾向。另一方面，在監(jiān)控?cái)z像機(jī)等中攝影范圍的邊界附近的圖像的重要性較高時，有重視圖像周邊部的像素位置的高頻成分的傾向。如此，有時根據(jù)原圖像數(shù)據(jù)d1中的像素位置而重要度不同，并且可根據(jù)攝像裝置的種類或攝影圖像的用途(產(chǎn)品)來確定加權(quán)較高的像素位置(被優(yōu)先的像素位置)。

例如，在一般用戶所使用的數(shù)碼相機(jī)10所具備的光學(xué)系統(tǒng)中，中央部具有通常分辨率較高且不依賴于頻率的優(yōu)異的分辨特性，周邊部有分辨性能下降的傾向。因此，在通過使用圖1所示的數(shù)碼相機(jī)10進(jìn)行拍攝而獲取的原圖像數(shù)據(jù)d1的圖像濾波處理p中，在圖像中央部增加高頻帶的加權(quán)，在圖像周邊部增加低頻帶的加權(quán)，從而能夠進(jìn)行與光學(xué)特性相應(yīng)的畫質(zhì)改善。即，在上述最小二乘法中，在原圖像數(shù)據(jù)d1的距離圖像中心為第1距離以下的像素位置(低像高的像素位置)，可將高頻帶中的加權(quán)設(shè)為大于原圖像數(shù)據(jù)d1的距離圖像中心比第1距離遠(yuǎn)的像素位置(高像高的像素位置)。并且，在上述最小二乘法中，在原圖像數(shù)據(jù)d1的距離圖像中心比第2距離遠(yuǎn)的像素位置(高像高的像素位置)，可將低頻帶中的加權(quán)設(shè)為大于原圖像數(shù)據(jù)d1的距離圖像中心為第2距離以下的像素位置(低像高的像素位置)。

另外，在此所說的“高頻帶”優(yōu)選包含于大于0.25fs且為0.5fs以下的范圍，“低頻帶”優(yōu)選包含于0.25fs以下的范圍。并且，在此所說的“第1距離”與“第2距離”既可相同，也可不同。

<濾波器的頻率特性不包括頻率衰減時的設(shè)計(jì)>

通過具有如圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41進(jìn)行多次濾波處理時，優(yōu)選根據(jù)在各濾波器應(yīng)用部48中應(yīng)用于處理對象數(shù)據(jù)d3的濾波器的頻率特性是否具有頻率衰減來設(shè)計(jì)控制方法。頻率衰減在“由光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)表示的點(diǎn)像的擴(kuò)散(模糊)的程度較大”且“sn比較低”時尤其有效地發(fā)揮作用，并且?guī)硪种聘哳l帶中的噪聲成分的效果。

例如，在各濾波器應(yīng)用部48中所使用的濾波器無需具有頻率衰減效果時，能夠根據(jù)下述式設(shè)定圖10所示的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φn(ω)。

[數(shù)式12]

上述式表示當(dāng)在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φn(ω)滿足“|φn(ω)|＞1”時，使用具有本來的頻率特性φn(ω)的濾波器，且當(dāng)滿足“|φn(ω)|≤1”時，使用成為“頻率特性(響應(yīng))＝1”的濾波器。

另外，各濾波器應(yīng)用部48中所使用的濾波器無需具有頻率衰減效果時，圖8～圖9及圖11所示的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φn(ω)例如能夠根據(jù)下述式來設(shè)定。

[數(shù)式13]

并且，構(gòu)成濾波處理部41的電路結(jié)構(gòu)為如圖8所示的串聯(lián)連接類型時，圖像濾波處理p整體的頻率特性根據(jù)在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性的積來表現(xiàn)。為了與“并聯(lián)連接類型的圖像濾波處理p整體的頻率特性”同樣地處理該“串聯(lián)連接類型的圖像濾波處理p整體的頻率特性”，優(yōu)選通過將在串聯(lián)連接類型的圖像濾波處理p中所使用的所有濾波器的頻率特性對數(shù)化而將“積”的問題轉(zhuǎn)換為“和”的問題。此時，通過與具有并聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41相關(guān)的增益矢量的最優(yōu)解gopt的計(jì)算方法相同的運(yùn)算處理，能夠計(jì)算與具有串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41相關(guān)的增益矢量的最優(yōu)解gopt。另外，在濾波器的頻率特性不包括衰減特性的情況中，通過上述對數(shù)化，濾波器的頻率特性不會成為較大的負(fù)值，能夠利用下述式進(jìn)行復(fù)數(shù)的對數(shù)化。

[數(shù)式14]

logz＝log|z|+j(∠z+2nπ)

z：復(fù)數(shù)(＝x+jy＝rce^jθ)

j：虛數(shù)單位

rc：絕對值

x＝rccosθ

y＝rcsinθ

θ：偏角(＝∠z)

<濾波器的頻率特性包括頻率衰減時的設(shè)計(jì)>

例如，在具有如圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41中，各濾波器應(yīng)用部48中所使用的濾波器的頻率特性包括頻率衰減時，優(yōu)選注意以下方面。即，頻率放大率接近0倍時，對數(shù)化后的值成為較大的負(fù)值，因此在進(jìn)行對數(shù)化處理之后以最小二乘準(zhǔn)則進(jìn)行頻率特性的擬合的情況等，可能導(dǎo)致其較大的負(fù)值支配頻率特性近似的基準(zhǔn)。因此，優(yōu)選在對數(shù)化時以預(yù)先確定的最小負(fù)值進(jìn)行剪輯(clipping)，或者實(shí)行較小地調(diào)節(jié)容易引起頻率衰減的頻帶的加權(quán)等對策。

例如，通過剪輯進(jìn)行對應(yīng)時，濾波處理部41在圖像濾波處理p的作為目標(biāo)的頻率特性中處理圖像數(shù)據(jù)d2與原圖像數(shù)據(jù)d1的比例小于1的頻率中，在多次濾波處理的每一次處理中優(yōu)選使用將濾波處理數(shù)據(jù)d6設(shè)為與濾波器應(yīng)用處理數(shù)據(jù)d4相等的濾波器。

通過以如上所述的方法確定且調(diào)整各濾波處理中所使用的增益，與例如關(guān)于攝影條件的所有組合保持基于點(diǎn)擴(kuò)散函數(shù)的濾波器(濾波器系數(shù))的情況相比，能夠顯著減少應(yīng)保持的參數(shù)個數(shù)。并且，在通常的方法中，若如點(diǎn)擴(kuò)散函數(shù)那樣的像劣化特性不是已知的，則難以適當(dāng)?shù)剡M(jìn)行濾波器設(shè)計(jì)(濾波器系數(shù)設(shè)計(jì))，但根據(jù)本實(shí)施方式，在掌握各像劣化特性之前，可預(yù)先結(jié)束需要較多的計(jì)算量的有限抽頭長度的fir濾波器的設(shè)計(jì)。此時，能夠在獲取具體的像劣化特性之后通過簡單的計(jì)算來計(jì)算最佳的增益矢量。

<濾波器的設(shè)計(jì)方法>

接著，對在各濾波器應(yīng)用部48中使用的濾波器的設(shè)計(jì)方法的具體例進(jìn)行說明。

圖13是表示濾波器獲取裝置64的功能結(jié)構(gòu)的一例的框圖。

進(jìn)行在各濾波器應(yīng)用部48中所使用的濾波器的設(shè)計(jì)及獲取的濾波器獲取裝置64具有濾波器計(jì)算部65。本例的濾波器計(jì)算部65獲取根據(jù)多種圖像濾波處理(第1圖像濾波處理p1～第k圖像濾波處理pk(其中“k”為2以上的整數(shù)))的頻率特性數(shù)據(jù)，并輸出包括基準(zhǔn)濾波器hb及方差濾波器hv的多個濾波器。即，濾波器計(jì)算部65根據(jù)多種圖像濾波處理p1～pk的頻率特性來獲取根據(jù)多種圖像濾波處理p1～pk的頻率特性的平均而確定的基準(zhǔn)濾波器hb。并且，濾波器計(jì)算部65根據(jù)多種圖像濾波處理p1～pk的頻率特性獲取根據(jù)多種圖像濾波處理p1～pk的頻率特性的方差而確定的至少一個方差濾波器hv。

圖14是表示濾波器計(jì)算部65的功能結(jié)構(gòu)的一例的框圖。

本例的濾波器計(jì)算部65具有平均計(jì)算部66、方差計(jì)算部67及濾波器特性獲取部68。平均計(jì)算部66由多種圖像濾波處理p1～pk的頻率特性數(shù)據(jù)計(jì)算多種圖像濾波處理p1～pk的頻率特性的平均。方差計(jì)算部67由多種圖像濾波處理p1～pk的頻率特性數(shù)據(jù)計(jì)算多種圖像濾波處理p1～pk的頻率特性的方差。濾波器特性獲取部68根據(jù)由平均計(jì)算部66計(jì)算出的多種圖像濾波處理p1～pk的頻率特性的平均來計(jì)算基準(zhǔn)濾波器hb。并且，濾波器特性獲取部68根據(jù)由平均計(jì)算部66計(jì)算出的多種圖像濾波處理p1～pk的頻率特性的平均和由方差計(jì)算部67計(jì)算出的多種圖像濾波處理p1～pk的頻率特性的方差來計(jì)算方差濾波器hv。

<多種圖像濾波處理的頻率特性>

在此所說的“多種圖像濾波處理p1～pk”的每一個處理的頻率特性構(gòu)成“圖像濾波處理p的作為目標(biāo)的頻率特性”，例如通過基于拍攝時所使用的光學(xué)系統(tǒng)的光學(xué)特性的頻率特性而確定。

例如，“多種圖像濾波處理p1～pk的頻率特性”為基于光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的頻率特性時，若攝影條件發(fā)生變化則點(diǎn)擴(kuò)散函數(shù)發(fā)生變動，因此能夠根據(jù)不同攝影條件下的多種點(diǎn)擴(kuò)散函數(shù)的頻率特性確定“多種圖像濾波處理p1～pk的頻率特性”。該“多種點(diǎn)擴(kuò)散函數(shù)”可通過任意方法獲取，也可根據(jù)實(shí)測值獲取，還可根據(jù)估計(jì)值獲取?！岸喾N圖像濾波處理p1～pk的頻率特性”可使用所獲取的多種點(diǎn)擴(kuò)散函數(shù)并根據(jù)維納濾波器等的任意的設(shè)計(jì)基準(zhǔn)來計(jì)算。

該“多種圖像濾波處理p1～pk的頻率特性”能夠通過任意裝置獲取，例如，既可以在濾波器獲取裝置64中獲取，也可通過其他裝置獲取，還可通過濾波器獲取裝置64的濾波器計(jì)算部65從未圖示的存儲器讀出而獲取。

<多種圖像濾波處理的頻率特性的偏差>

多種圖像濾波處理的頻率特性的偏差可根據(jù)單峰型分布來表現(xiàn)，也可根據(jù)多峰型分布來表現(xiàn)。

圖15是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。圖16是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

基于圖15所示的單峰型分布的偏差表現(xiàn)方法為通過一個多維復(fù)數(shù)正態(tài)分布(參考圖15的“偏差分布g”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。另一方面，基于多峰型分布的表現(xiàn)方法為通過多個多維復(fù)數(shù)正態(tài)分布(參考圖16的“第1偏差分布g1”及“第2偏差分布g2”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。

圖15中示出有通過第1濾波處理f1的濾波器的頻率特性φ0、第2濾波處理f2的濾波器的頻率特性φ1及第3濾波處理f3的濾波器的頻率特性φ2表現(xiàn)多種圖像濾波處理的頻率特性的偏差分布g的情況。并且，圖16中示出有通過第1濾波處理f1的濾波器的頻率特性(φ0⁽¹⁾、φ0⁽²⁾)、第2濾波處理f2的濾波器的頻率特性(φ1⁽¹⁾、φ1⁽²⁾)及第3濾波處理f3的濾波器的頻率特性(φ2⁽¹⁾、φ2⁽²⁾)表現(xiàn)構(gòu)成多種圖像濾波處理的頻率特性的偏差分布g的第1偏差分布g1及第2偏差分布g2的每一個的情況。另外，圖15及圖16中圖示有作為一例以濾波處理部41具有圖10所示的電路結(jié)構(gòu)的情況為前提的濾波器的頻率特性φ0～φ2。

多種圖像濾波處理的頻率特性的偏差具有例如如圖15所示那樣的橢圓形狀的偏差分布g時，為了通過多個濾波處理(圖15所示的例子中為第1濾波處理f1～第3濾波處理f3)高精度地實(shí)現(xiàn)各圖像濾波處理，優(yōu)選根據(jù)偏差分布g的中心、長軸及短軸確定各濾波處理的頻率特性φ0、φ1、φ2。同樣地，多種圖像濾波處理的頻率特性的偏差具有例如如圖16所示那樣的橢圓形狀的第1偏差分布g1及第2偏差分布g2時，為了通過多個濾波處理(圖16所示的例子中為第1濾波處理f1～第3濾波處理f3)高精度地顯示第1偏差分布g1及第2偏差分布g2所包括的各圖像濾波處理，優(yōu)選關(guān)于第1偏差分布g1及第2偏差分布g2的每一個，根據(jù)中心、長軸及短軸確定各濾波處理的頻率特性φ0⁽¹⁾、φ1⁽¹⁾、φ2⁽¹⁾、φ0⁽²⁾、φ1⁽²⁾、φ2⁽²⁾。

<單峰型分布>

接著，對將多種圖像濾波處理的頻率特性的偏差視為單峰型分布時(參考圖15)的、濾波器及增益的設(shè)計(jì)方法例進(jìn)行說明。

以下的方法有關(guān)一種在實(shí)際獲取任意個數(shù)的多種圖像濾波處理的頻率特性的偏差樣品時，求出能夠高精度地補(bǔ)償其圖像濾波處理的頻率特性的偏差的所希望個數(shù)的基底濾波器(fir濾波器)的頻率特性的方法。并且，對將單峰型分布設(shè)為多維復(fù)數(shù)正態(tài)分布來進(jìn)行模型化并進(jìn)行ml(maximumlikelihood)推定的情況進(jìn)行說明。

單峰型分布的偏差分布g可根據(jù)多維復(fù)數(shù)正態(tài)分布來表現(xiàn)，其多維復(fù)數(shù)正態(tài)分布通過協(xié)方差矩陣被賦予特征，并通過下式獲得。

[數(shù)式15]

在上述式中，“βi”表示通過根據(jù)頻率(ω)及位置(r)對關(guān)于多種圖像濾波處理的每一個處理個別地獲取的頻率特性β(ω，r)進(jìn)行離散化而獲得的矢量，“np”表示多種圖像濾波處理的數(shù)量。因此，上述式的“ψ0”表示多種圖像濾波處理的頻率特性的平均(平均矩陣)，上述式的“r0”表示多種圖像濾波處理的頻率特性的方差(協(xié)方差矩陣)。

通過按照下述式進(jìn)行由上述式所表示的協(xié)方差矩陣的特征值分解，能夠獲得特征矢量ψi(其中“i”為1以上且np以下的整數(shù))。

[數(shù)式16]

根據(jù)karhunen-loeve展開，為了通過維度m的線性子空間使偏差分布平均地近似，最佳為使用通過從特征值較大的開始依次通過m個相對應(yīng)的特征矢量ψi(其中“i”為1以上且m以下的整數(shù))展開的子空間。

因此，用于高精度地重現(xiàn)具有單峰型的偏差分布g的多種圖像濾波處理的每一個處理的頻率特性的濾波處理的濾波器的最佳頻率特性φ0～φn-1能夠根據(jù)下述式來獲取。

[數(shù)式17]

另外，第1濾波處理f1的濾波器的頻率特性φ0如上所述相當(dāng)于多種圖像濾波處理的頻率特性的分布的中心，因此從對分布中心進(jìn)行固定而使處理穩(wěn)定化的觀點(diǎn)考慮，優(yōu)選第1濾波處理f1中的增益固定為“1.0”。對于其他濾波處理中的增益，例如能夠通過上述加權(quán)最小二乘準(zhǔn)則來求出最佳值。

圖l7是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應(yīng)。在此所說的響應(yīng)是各圖像濾波處理前后的頻率分量的比(＝處理后的頻率分量/處理前數(shù)據(jù)的頻率分量)，“響應(yīng)＝1”表示數(shù)據(jù)在圖像濾波處理的前后相同。

圖17中示出有4種圖像濾波處理(第1圖像濾波處理p1、第2圖像濾波處理p2、第3圖像濾波處理p3及第4圖像濾波處理p4)的頻率特性。這些4種圖像濾波處理p1～p4分別表示不同的頻率特性，但頻率(ω)為“0”時的響應(yīng)均表示“1”。

圖18是概略表示圖17所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖18并不一定是在嚴(yán)格意義上表示圖17所示的多種圖像濾波處理p1～p4的頻率特性的方差的圖。

圖17所示的4種圖像濾波處理p1～p4，在頻率(ω)為“0”時的響應(yīng)均為“1”，因此頻率(ω)為“0”時的方差均為“0”。在圖18所示的例子中，關(guān)于多種圖像濾波處理p1～p4的頻率特性，顯示出“表示第一大的偏差的成分(參考圖18的符號“h1”)”及“表示第二大的偏差的成分(參考圖18的符號“h2”)”。

圖19(a)～圖19(c)是概略表示根據(jù)圖17所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖19(a)表示“φ0”，圖19(b)表示“φ1”，圖19(c)表示“φ2”。

如上所述，在第1濾波處理f1中所使用的濾波器的頻率特性φ0優(yōu)選根據(jù)多種圖像濾波處理p1～p4的頻率特性的分布中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選從圖18所示的多種圖像濾波處理p1～p4的頻率特性的偏差(方差)較大的成分依次確定。因此，在第2濾波處理f2中所使用的濾波器的頻率特性φ1優(yōu)選根據(jù)多種圖像濾波處理p1～p4的頻率特性的偏差最大的成分(參考圖18的“h1”)而確定。同樣地，在第3濾波處理f3中所使用的濾波器的頻率特性φ2優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖18的“h2”)而確定。

另外，上述例與圖像濾波處理p包括第1濾波處理f1～第3濾波處理f3的情況有關(guān)，但圖像濾波處理p既可由兩種濾波處理構(gòu)成，也可由4種以上的濾波處理構(gòu)成。例如，由第1濾波處理f1及第2濾波處理f2構(gòu)成圖像濾波處理p時，能夠根據(jù)上述“φ0”(參考圖19(a))確定在第1濾波處理f1中所使用的濾波器的頻率特性，并能夠根據(jù)上述“φ1”(參考圖19(b))確定在第2濾波處理f2中所使用的濾波器的頻率特性。

圖20(a)～圖20(b)表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部41所進(jìn)行的圖像濾波處理p(第1濾波處理f1～第3濾波處理f3)相關(guān)的頻率特性f(ω)(參考圖20(a))及增益例(參考圖20(b))。

如上所述，從對多種圖像濾波處理的頻率特性的分布中心進(jìn)行固定而使處理穩(wěn)定化的觀點(diǎn)考慮，優(yōu)選第1濾波處理f1中的增益g0固定為“1.0”。因此，圖20(b)中例示有增益g0～g2，所述增益g0～g2在對具有圖10所示的電路結(jié)構(gòu)的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器進(jìn)行固定，并且將第1濾波處理f1中的增益g0固定為“1.0”時，用于通過如圖20(a)所示的整個系統(tǒng)的頻率特性高精度地實(shí)現(xiàn)圖17所示的圖像濾波處理p1～p4的每一個處理的頻率特性。

如圖20(b)所示，根據(jù)上述例，能夠?qū)⒍喾N圖像濾波處理p1～p4的頻率特性的數(shù)據(jù)壓縮到3個濾波器的頻率特性φ0～φ2(抽頭系數(shù))和12個增益(將g0固定為“1.0”時是8個增益)。

如此，本例的濾波處理部41在第1濾波處理f1中，作為“濾波器的頻率特性φ0”使用根據(jù)多種圖像濾波處理p1～p4的頻率特性的平均而確定的基準(zhǔn)濾波器hb的頻率特性來獲取濾波器應(yīng)用處理數(shù)據(jù)d4-1，在第2濾波處理f2及第3濾波處理f3中，作為“濾波器的頻率特性φ1”及“濾波器的頻率特性φ2”使用根據(jù)多種圖像濾波處理p1～p4的頻率特性的方差而確定的兩個方差濾波器hv的頻率特性來獲取濾波器應(yīng)用處理數(shù)據(jù)d4-2、d4-3。

圖21是表示根據(jù)單峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部65的功能結(jié)構(gòu)的一例的框圖。為了由以頻率空間所表示的濾波器特性計(jì)算以實(shí)際空間所表示的濾波器系數(shù)，本例的濾波器計(jì)算部65除了上述平均計(jì)算部66、方差計(jì)算部67及濾波器特性獲取部68(參考圖14)之外還具有抽頭系數(shù)運(yùn)算部69。

該濾波器計(jì)算部65的抽頭系數(shù)運(yùn)算部69獲取具有多個抽頭且對各抽頭分配系數(shù)的基準(zhǔn)濾波器hb，并且獲取具有多個抽頭且對各抽頭分配系數(shù)的至少一個方差濾波器hv?！皩Ω鞒轭^分配系數(shù)的方法”并無特別限定，抽頭系數(shù)運(yùn)算部69(濾波器計(jì)算部65)例如能夠根據(jù)后述的sage算法或omp算法計(jì)算分配到基準(zhǔn)濾波器hb及至少一個方差濾波器hv的每一個濾波器的各抽頭的系數(shù)。

<多峰型分布>

接著，對將多種圖像濾波處理的頻率特性的偏差作為多峰型分布來處理時(參考圖16)的濾波器及增益的設(shè)計(jì)方法例進(jìn)行說明。

在圖16所示的例子中，在將整體作為一個分布(單峰型分布)處理時，多種圖像濾波處理的頻率特性的偏差分布能夠由圖16所示的“偏差分布g”表示，但近似精度變差。另一方面，將多種圖像濾波處理的頻率特性的偏差分布通過圖16的“第1偏差分布g1”及“第2偏差分布g2”進(jìn)行分離來表示，并將“第1偏差分布g1”及“第2偏差分布g2”的每一個作為獨(dú)立的多維復(fù)數(shù)正態(tài)分布(多峰型分布)進(jìn)行處理，從而能夠提高近似精度。作為該多峰型分布中的ml推定的參數(shù)推定算法，例如能夠優(yōu)選利用基于em(expectationmaximization)算法的混合正態(tài)分布的推定，并能夠進(jìn)行有效的參數(shù)推定。

基于多峰型分布的濾波器的確定方法基本上能夠以與基于上述單峰型分布的濾波器確定方法相同的方法進(jìn)行。即，將多種圖像濾波處理的頻率特性分類到構(gòu)成多峰型分布的多個分布(圖16所示的例子中為第1偏差分布g1及第2偏差分布g2)，關(guān)于各分布，能夠以與上述單峰型分布的“偏差分布g”相同的步驟求出濾波器。

圖22是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應(yīng)。

圖22中示出有6種圖像濾波處理(第1圖像濾波處理p1、第2圖像濾波處理p2、第3圖像濾波處理p3、第4圖像濾波處理p4、第5圖像濾波處理p5及第6圖像濾波處理p6)的頻率特性。這些6種圖像濾波處理p1～p6分別表示不同的頻率特性，但頻率(ω)為“0”時的響應(yīng)均表示“1”。

在圖22所示的例子中，例如能夠?qū)ⅰ暗?圖像濾波處理p1的頻率特性數(shù)據(jù)、第2圖像濾波處理p2的頻率特性數(shù)據(jù)及第3圖像濾波處理p3的頻率特性數(shù)據(jù)”分類到第1偏差分布g1，并將“第4圖像濾波處理p4的頻率特性數(shù)據(jù)、第5圖像濾波處理p5的頻率特性數(shù)據(jù)及第6圖像濾波處理p6的頻率特性數(shù)據(jù)”分類到第2偏差分布g2。

圖23(a)～圖23(b)是概略表示圖22所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖23(a)表示分類到第1偏差分布g1的第1圖像濾波處理p1～第3圖像濾波處理p3的頻率特性數(shù)據(jù)的方差，圖23(b)表示分類到第2偏差分布g2的第4圖像濾波處理p4～第6圖像濾波處理p6的頻率特性數(shù)據(jù)的方差。圖23(a)及圖23(b)的橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖23(a)及圖23(b)不一定是在嚴(yán)格意義上表示圖22所示的多種圖像濾波處理p1～p6的頻率特性的方差。

圖22所示的6種圖像濾波處理p1～p6的頻率特性，頻率(ω)為“0”時的響應(yīng)均為“1”，因此頻率(ω)為“0”時的方差均成為“0”。如圖23(a)及圖23(b)所示，關(guān)于第1偏差分布g1及第2偏差分布g2的每一個的“圖像濾波處理的頻率特性的方差”，顯示“表示最大偏差的成分(參考圖23(a)及圖23(b)的“h1”)”及“表示第二大偏差的成分(參考圖23(a)及圖23(b)的“h2”)”。

圖24(a)～圖24(b)是概略表示根據(jù)分類到第1偏差分布g1的第1圖像濾波處理p1～第3圖像濾波處理p3的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖24(a)表示“φ0”，圖24(b)表示“φ1”，圖24(c)表示“φ2”。圖25(a)～圖25(c)是概略表示根據(jù)分類到第2偏差分布g2的第4圖像濾波處理p4～第6圖像濾波處理p6的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖25(a)表示“φ0”，圖25(b)表示“φ1”，圖25(c)表示“φ2”。

如上所述，優(yōu)選在第1濾波處理f1中所使用的濾波器的頻率特性φ0根據(jù)多種圖像濾波處理的頻率特性的分布中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選根據(jù)圖23(a)和圖23(b)的每一個所示的多種圖像濾波處理的頻率特性的偏差(方差)較大的成分而確定。因此，在第2濾波處理f2中所使用的濾波器的頻率特性φ1優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差最大的成分(參考圖23(a)及圖23(b)的“h1”)而確定。同樣地，在第3濾波處理f3中所使用的濾波器的頻率特性φ2優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖23(a)及圖23(b)的“h2”)而確定。

圖26(a)～圖26(b)表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部41所進(jìn)行的圖像濾波處理p(第1濾波處理f1～第3濾波處理f3)相關(guān)的頻率特性f(ω)(參考圖26(a))及增益例(參考圖26(b))。在與圖26(a)所示的多峰型分布相關(guān)的頻率特性f(ω)中，“φ0⁽ⁱ⁾(ω)”表示在第1濾波處理f1的第1濾波器應(yīng)用部48-1中所使用的濾波器的頻率特性，“g0”表示在第1濾波處理f1的第1增益應(yīng)用部49-1中所使用的增益。并且，“φ1⁽ⁱ⁾(ω)”表示在第2濾波處理f2的第2濾波器應(yīng)用部48-2中所使用的濾波器的頻率特性，“g1”表示在第2濾波處理f2的第2增益應(yīng)用部49-2中所使用的增益。并且“φ2⁽ⁱ⁾(ω)”表示在第3濾波處理f3的第3濾波器應(yīng)用部48-3中所使用的濾波器的頻率特性，“g2”表示在第3濾波處理f3的第3增益應(yīng)用部49-3中所使用的增益。

各濾波器的頻率特性φ1⁽ⁱ⁾(ω)～φ3⁽ⁱ⁾(ω)中的符號“i”表示簇索引，所述簇索引表示按照多峰型分布進(jìn)行分類的組。例如，分類到第1偏差分布g1的第1圖像濾波處理p1～第3圖像濾波處理p3中，能夠如圖26(b)所示那樣分配“1”作為簇索引i。另一方面，分類到第2偏差分布g2的第4圖像濾波處理p4～第6圖像濾波處理p6中，能夠如圖26(b)所示那樣分配“2”作為簇索引i。

另外，圖26(b)中例示有增益g0～g2，所述增益g0～g2在對具有圖10所示的電路結(jié)構(gòu)的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器進(jìn)行固定，并且將在第1濾波處理f1中所使用的增益g0固定為“1.0”時，用于通過圖26(a)所示的整個系統(tǒng)的頻率特性高精度地實(shí)現(xiàn)圖22所示的圖像濾波處理p1～p6的每一個處理的頻率特性。

如圖26(b)所示，根據(jù)上述例子，能夠?qū)⒍喾N圖像濾波處理p1～p6的頻率特性的數(shù)據(jù)壓縮為6個濾波器頻率特性φ0⁽¹⁾～φ2⁽¹⁾、φ0⁽²⁾～φ2⁽²⁾(抽頭系數(shù))和18個增益(將g0固定為“1.0”時是12個增益)。

如此，根據(jù)基于多峰型分布的濾波器的確定方法，需要與構(gòu)成多峰型分布的組(圖16所示的例子中為第1偏差分布g1及第2偏差分布g2)的個數(shù)相應(yīng)的濾波器組。因此，在利用多峰型分布時，與利用單峰型分布時相比，需要預(yù)先存儲于存儲器的濾波器的數(shù)量增加，所需的存儲容量也增大。并且，為了將各濾波器與所分類的組建立關(guān)聯(lián)，如上述簇索引那樣的相關(guān)信息也需要預(yù)先存儲于存儲器。

圖27是表示根據(jù)多峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部65的功能結(jié)構(gòu)的一例的框圖。本例的濾波器計(jì)算部65為了將圖像濾波處理的多種頻率特性分類到構(gòu)成多峰型分布的多個組，除了上述平均計(jì)算部66、方差計(jì)算部67、濾波器特性獲取部68及抽頭系數(shù)運(yùn)算部69(參考圖21)之外還具有濾波器組分類部70。

本例的濾波器組分類部70以混合正態(tài)分布為基準(zhǔn)，將多種圖像濾波處理(圖22所示的例子中為第1圖像濾波處理p1～第6圖像濾波處理p6)的頻率特性分類到多個濾波器組(圖16所示的例子中為第1偏差分布g1及第2偏差分布g2)。

圖28是通過濾波器組分類部70分類到多個濾波器組的多種圖像濾波處理(頻率特性)的概念圖。濾波器組分類部70對多種圖像濾波處理的頻率特性數(shù)據(jù)的相似性進(jìn)行分析，并將各圖像濾波處理的頻率特性分類到對應(yīng)的濾波器組。在上述例中，通過濾波器組分類部70，第1圖像濾波處理p1～第3圖像濾波處理p3被分類到第1偏差分布g1的濾波器組，第4圖像濾波處理p4～第6圖像濾波處理p6被分類到第2偏差分布g2的濾波器組。

構(gòu)成濾波器計(jì)算部65的其他平均計(jì)算部66、方差計(jì)算部67、濾波器特性獲取部68及抽頭系數(shù)運(yùn)算部69根據(jù)分類到多個濾波器組的多種圖像濾波處理的頻率特性中多個濾波器組的每一個所包括的多種圖像濾波處理的頻率特性獲取與多個濾波器組的每一個相關(guān)的基準(zhǔn)濾波器hb及至少一個方差濾波器hv。

根據(jù)上述例，在多種圖像濾波處理的頻率特性的偏差的分布為已知的情況下，能夠高精度地設(shè)計(jì)用于覆蓋該偏差的最佳的濾波器。尤其，通過根據(jù)多種圖像濾波處理的頻率特性的偏差的分布選擇單峰型分布及多峰型分布中合適的分布類型，能夠獲取可高精度地重現(xiàn)作為目標(biāo)的圖像濾波處理的頻率特性的濾波器(濾波器系數(shù))及增益。

如上所述，根據(jù)本實(shí)施方式，能夠減少濾波器數(shù)(數(shù)據(jù)量)，并能夠避免保持與所有條件有關(guān)的fir濾波器(濾波器系數(shù))，而能夠平均地進(jìn)行使用了良好的濾波器的圖像濾波處理。

<fir濾波器的設(shè)計(jì)>

接著，對抽頭數(shù)量設(shè)置限制的fir濾波器的設(shè)計(jì)方法進(jìn)行說明。

通過利用上述方法靈活地調(diào)整濾波器的頻率特性，能夠設(shè)計(jì)用于有效地覆蓋多種圖像濾波處理的頻率特性的偏差的最佳的濾波器。然而，通過對抽頭數(shù)量設(shè)定限制的fir濾波器實(shí)現(xiàn)實(shí)際使用的濾波器時，難以理想地獲得所希望的頻率特性。

通常，以較少的抽頭數(shù)量實(shí)現(xiàn)陡峭的頻率特性是非常困難。尤其與較小的特征值對應(yīng)的特征矢量傾向于具有陡峭的鋸齒形狀。因此，即使通過上述方法獲取濾波器的理想的頻率特性，在沒有充分準(zhǔn)備實(shí)際所使用的濾波器的抽頭數(shù)量的情況下，也難以充分覆蓋多種圖像濾波處理的頻率特性的偏差。

該問題與如下問題類似，即關(guān)于基底為非線性且參數(shù)化的函數(shù)，以通過盡量較少的數(shù)量的基底的線性和使一定矢量近似為目的確定基底的參數(shù)。提出有用于解決這種問題的各種方法。例如sage算法為在電波傳播中的來波分析等中所使用的算法，并且為根據(jù)em算法的構(gòu)思以使殘差最小的方式逐個求出基底的方法。并且，omp算法為在壓縮感知(compressedsensing)的領(lǐng)域使用過完備庫(overcompletedictionary)求出稀疏的系數(shù)矢量時所使用的算法。omp的方法本身并不是求出參數(shù)化的基底的方法，但通過將選自omp中的庫(dictionary)的情況設(shè)定改變?yōu)檫x擇接近于參數(shù)化的基底函數(shù)的基底函數(shù)的情況設(shè)定，由此能夠?qū)mp的方法應(yīng)用于fir濾波器的設(shè)計(jì)。

對sage算法及omp算法的具體運(yùn)算方法例將在后面說明，濾波器計(jì)算部65的抽頭系數(shù)運(yùn)算部69(參考圖21及圖27)能夠根據(jù)這些算法由偏差分布函數(shù)計(jì)算分配到至少一個方差濾波器hv的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且為根據(jù)分配到基準(zhǔn)濾波器hb的各抽頭的系數(shù)而確定的偏差分布函數(shù)(參考后述協(xié)方差矩陣“ri”)。

根據(jù)后述sage算法及omp算法，濾波器計(jì)算部65的抽頭系數(shù)運(yùn)算部69在將“i”設(shè)為2以上的整數(shù)時，獲取第1個至第i個方差濾波器hv，并由根據(jù)分配到基準(zhǔn)濾波器hb的各抽頭的系數(shù)而確定的偏差分布函數(shù)計(jì)算分配到第1個方差濾波器hv的各抽頭的系數(shù)。并且，濾波器計(jì)算部65的抽頭系數(shù)運(yùn)算部69在將“j”設(shè)為2以上且i以下的整數(shù)時，由偏差分布函數(shù)計(jì)算分配到第j個方差濾波器hv的各抽頭的系數(shù)，所述偏差分布函數(shù)根據(jù)分配到基準(zhǔn)濾波器hb的各抽頭的系數(shù)和分配到第1個至第j-1個方差濾波器hv的每一個濾波器的各抽頭的系數(shù)而確定。

在sage算法中，濾波器計(jì)算部65的抽頭系數(shù)運(yùn)算部69進(jìn)一步根據(jù)偏差分布函數(shù)(參考后述協(xié)方差矩陣“qj”)來更新分配到基準(zhǔn)濾波器hb及至少一個方差濾波器hv中的至少任一個的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且表示根據(jù)分配到基準(zhǔn)濾波器hb及至少一個方差濾波器hv的每一個濾波器的各抽頭的系數(shù)而確定的殘差成分。

另外，sage算法及omp算法在各種文獻(xiàn)中被進(jìn)行說明，例如可參考非專利文獻(xiàn)1、非專利文獻(xiàn)2及非專利文獻(xiàn)3。其中，sage算法及omp算法這兩者均以矢量的基底分解為目的，原本就不是處理濾波器設(shè)計(jì)中的子空間近似，因此需要對計(jì)算式適當(dāng)?shù)丶右孕薷摹?/p>

<應(yīng)用了omp算法的最佳濾波器組的計(jì)算>

以下對基于omp算法的濾波器設(shè)計(jì)的一例進(jìn)行說明。下述各步驟的處理基本上在濾波器計(jì)算部65(抽頭系數(shù)運(yùn)算部69)中進(jìn)行，但各步驟的處理的一部分或全部可在其他部中進(jìn)行。

以下對以單峰型分布為前提的情況進(jìn)行說明。另外，關(guān)于以多峰型分布為前提的情況，如上所述能夠應(yīng)用以單峰型分布為前提的情況。即，通過將多個濾波器組(圖16所示的例子中為第1偏差分布g1及第2偏差分布g2)的每一個濾波器作為單峰型分布的偏差分布g進(jìn)行處理，由此還能夠?qū)?yīng)以多峰型分布為前提的情況。

·步驟1

首先，通過任意方法獲取最接近由上述“ψ0”所表示的多種圖像濾波處理的頻率特性的平均(中心值)的fir濾波器的抽頭系數(shù)。并且，將通過該抽頭系數(shù)實(shí)際實(shí)現(xiàn)的濾波器的頻率特性作為“在第1濾波處理f1中所使用的濾波器的頻率特性φ0”。

·步驟2

根據(jù)下述式計(jì)算將上述“在第1濾波處理f1中實(shí)際使用的濾波器的頻率特性φ0”假設(shè)為多種圖像濾波處理的頻率特性的平均(中心值)時的協(xié)方差矩陣r0。

[數(shù)式18]

·步驟3

如下述式所示，協(xié)方差矩陣r0被設(shè)定為協(xié)方差矩陣r1，參數(shù)“i”被設(shè)定為“1”。

[數(shù)式19]

ri＝r0

i←1

·步驟4

與協(xié)方差矩陣ri的最大的特征值對應(yīng)的特征矢量ψi通過上述方法求出。

·步驟5

最接近特征矢量ψi的頻率特性的fir濾波器的抽頭系數(shù)通過任意方法來獲取，并通過該抽頭系數(shù)而實(shí)際實(shí)現(xiàn)的濾波器的頻率特性被設(shè)定為“φi”。具有該頻率特性φi的濾波器與在第“i+1”濾波處理中所使用的濾波器相對應(yīng)，若例如為“i＝1”，則求出在第2濾波處理f2中所使用的濾波器的頻率特性φ2。與該“φi+1”相關(guān)的濾波器的抽頭系數(shù)存儲于未圖示的存儲器。

·步驟6

將已經(jīng)求出的“φ1～φi”作為基底，從協(xié)方差矩陣排除可通過該基底的展開子空間表現(xiàn)的成分，并計(jì)算殘差。例如，若將“i”設(shè)為3以上的整數(shù)而定義為“φi＝[φ1φ2……φi]”，則在以“φi⁺”表示φi的moore-penrose廣義逆時，由“φiφi⁺”來表示對span{φ1，φ2，……，φi}的正投影矩陣。若使用該正投影矩陣φiφi⁺，則協(xié)方差矩陣“ri+1”由下述式所表示。

[數(shù)式20]

1：單位矩陣

·步驟7

如下述式那樣重新設(shè)定“i”作為“i＝i+1”，反復(fù)“步驟4”～“步驟7”直至成為“i＝n-1”。以這種方法求出濾波器的頻率特性φ1～φn-1。

[數(shù)式21]

i←i+1

<應(yīng)用了sage算法的最佳濾波器組的計(jì)算>

接著，對基于sage算法的濾波器設(shè)計(jì)的一例進(jìn)行說明。以下對以單峰型分布為前提的情況進(jìn)行說明，但在對以多峰型分布為前提的情況也可應(yīng)用本例的方面與上述omp算法相同。

sage算法在以下兩個方面與omp算法不同：是基于只選擇進(jìn)行上述步驟6中的協(xié)方差矩陣的殘差的更新的基底(fir濾波器)的減法運(yùn)算的算法；在暫時求出所有基底之后也對各基底繼續(xù)單獨(dú)進(jìn)行更新。

更具體而言，上述omp算法的步驟1～步驟5在sage算法中也同樣地進(jìn)行。其中，在上述omp算法的步驟6中所使用的協(xié)方差矩陣“ri+1”在sage算法中通過下述式求出。

[數(shù)式22]

ri+1＝(i-φiφi^h)ri(i-φiφi^h)^h

上述omp算法的步驟7在sage算法中也同樣地進(jìn)行。其中，sage算法中，在步驟7之后進(jìn)行下述步驟8～步驟12。

·步驟8

如由下述式所表示那樣，參數(shù)“j”被設(shè)定為初始值“1”。

[數(shù)式23]

j←1

·步驟9

如由下述式所表示那樣，從協(xié)方差矩陣排除可由排除了第j個基底而得的基底的展開子空間表現(xiàn)的成分，并計(jì)算殘差。

[數(shù)式24]

ψj＝[φ1φ2…φj-1φj+1…φn-1]

·步驟10

與表示由上述式所表示的殘差成分的協(xié)方差矩陣qj的最大特征值對應(yīng)的特征矢量ψj可根據(jù)上述方法求出。

·步驟11

最接近特征矢量ψj的頻率特性的fir濾波器的抽頭系數(shù)通過任意的方法獲取，通過該抽頭系數(shù)實(shí)際實(shí)現(xiàn)的濾波器的頻率特性被設(shè)定為“φj”。由此，在第“j+1”濾波處理中所使用的濾波器的頻率特性φj(抽頭系數(shù))被更新，并存儲于未圖示的存儲器。

·步驟12

由下述式定義的整體的近似誤差“jtotal”在特定的目標(biāo)范圍內(nèi)，或者循環(huán)次數(shù)(計(jì)算時間)達(dá)到特定的上限為止，如由下述式所表示那樣改變參數(shù)“j”的同時反復(fù)進(jìn)行“步驟9”～“步驟12”。

[數(shù)式25]

φall＝[φ1φ2…φn-1]

tr：trace(對角和)

通過利用上述sage算法或omp算法，只要能夠掌握多種圖像濾波處理的頻率特性的偏差(例如平均及方差)，就能夠高精度地設(shè)計(jì)fir濾波器的抽頭系數(shù)。并且，在掌握個別的具體的圖像濾波處理的頻率特性之前，能夠確定在圖像濾波處理(多個濾波處理)中可實(shí)際使用的濾波器的抽頭系數(shù)。

<其他變形例>

上述各功能結(jié)構(gòu)可通過任意的硬件、軟件或兩者的組合實(shí)現(xiàn)。例如，對使計(jì)算機(jī)執(zhí)行上述各裝置及處理部中的圖像處理方法(圖像處理步驟及功能)、增益獲取方法(增益獲取處理步驟及功能)及濾波器獲取方法(濾波器獲取處理步驟及功能)的程序、記錄了該程序的計(jì)算機(jī)可讀取的記錄介質(zhì)(非暫時記錄介質(zhì))、或者可安裝該程序的計(jì)算機(jī)也能夠應(yīng)用本發(fā)明。

并且，圖像濾波處理(多次濾波處理)的目的也并無特別限定，在各濾波處理(各濾波器應(yīng)用部48)中，可使用以改善畫質(zhì)為目的的基于點(diǎn)擴(kuò)散函數(shù)的復(fù)原濾波器或輪廓增強(qiáng)濾波器、以賦予特殊效果為目的的藝術(shù)濾波器或模糊濾波器等各種濾波器。

<對edof系統(tǒng)的應(yīng)用例>

例如，對于針對通過具有被放大的景深(焦深)(edof：extendeddepthoffield(focus))的光學(xué)系統(tǒng)(攝影透鏡等)拍攝獲取的圖像數(shù)據(jù)(原圖像數(shù)據(jù)d1)的復(fù)原處理，也能夠應(yīng)用本發(fā)明所涉及的圖像濾波處理。針對通過edof光學(xué)系統(tǒng)在景深(焦深)被放大的狀態(tài)下拍攝獲取的模糊圖像的圖像數(shù)據(jù)進(jìn)行復(fù)原處理，從而能夠在廣范圍內(nèi)復(fù)原生成對焦?fàn)顟B(tài)的高分辨率的圖像數(shù)據(jù)。此時使用復(fù)原濾波器進(jìn)行復(fù)原處理，所述復(fù)原濾波器為基于edof光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)(psf、otf、mtf、ptf等)的復(fù)原濾波器，并且具有設(shè)定成能夠在被放大的景深(焦深)的范圍內(nèi)進(jìn)行良好的圖像復(fù)原的具有濾波器系數(shù)的復(fù)原濾波器。

以下對與經(jīng)由edof光學(xué)系統(tǒng)攝影獲取的圖像數(shù)據(jù)的復(fù)原相關(guān)的系統(tǒng)(edof系統(tǒng))的一例進(jìn)行說明。另外，在以下所示的例子中，對針對由去馬賽克處理后的圖像數(shù)據(jù)(rgb數(shù)據(jù))獲得的亮度信號(y數(shù)據(jù))進(jìn)行復(fù)原處理的例子進(jìn)行說明，但進(jìn)行復(fù)原處理的時機(jī)并無特別限定，例如可對“去馬賽克處理前的圖像數(shù)據(jù)(馬賽克圖像數(shù)據(jù))”或“去馬賽克處理后且亮度信號轉(zhuǎn)換處理前的圖像數(shù)據(jù)(去馬賽克圖像數(shù)據(jù))”進(jìn)行復(fù)原處理。

圖29是表示具備edof光學(xué)系統(tǒng)的攝像模塊101的一方式的框圖。本例的攝像模塊(數(shù)碼相機(jī)等)101包含edof光學(xué)系統(tǒng)(透鏡單元)110、成像元件112、ad轉(zhuǎn)換部114及復(fù)原處理塊(圖像處理部35)120。

圖30是表示edof光學(xué)系統(tǒng)110的一例的圖。本例的edof光學(xué)系統(tǒng)110具有單焦點(diǎn)的被固定的攝影透鏡110a及配置于光瞳位置的濾光器111。濾光器111調(diào)制相位，并以獲得被放大的景深(焦深)(edof)的方式將edof光學(xué)系統(tǒng)110(攝影透鏡110a)edof化。如此，攝影透鏡110a和濾光器111構(gòu)成調(diào)制相位來擴(kuò)大景深的透鏡部。

另外，edof光學(xué)系統(tǒng)110根據(jù)需要包含其他構(gòu)成要件，例如在濾光器111附近配設(shè)有光圈(省略圖示)。并且，濾光器111可以是一個，也可以組合多個。并且，濾光器111僅僅是光學(xué)相位調(diào)制機(jī)構(gòu)的一例，還可以通過其他機(jī)構(gòu)實(shí)現(xiàn)edof光學(xué)系統(tǒng)110(攝影透鏡110a)的edof化。例如，可通過以具有與本例的濾光器111相同功能的方式進(jìn)行透鏡設(shè)計(jì)而得的攝影透鏡110a實(shí)現(xiàn)edof光學(xué)系統(tǒng)110的edof化代替濾光器111的設(shè)置。

即，能夠通過使對成像元件112的受光面的成像的波面發(fā)生變化的各種機(jī)構(gòu)，實(shí)現(xiàn)edof光學(xué)系統(tǒng)110的edof化。例如，可將“厚度發(fā)生變化的光學(xué)元件”、“折射率發(fā)生變化的光學(xué)元件(折射率分布型波面調(diào)制透鏡等)”、“通過對透鏡表面進(jìn)行編碼等而厚度或折射率發(fā)生變化的光學(xué)元件(在波面調(diào)制混合式透鏡、透鏡面上作為相位面而形成的光學(xué)元件等)”、“能夠調(diào)制光的相位分布的液晶元件(液晶空間相位調(diào)制元件等)”用作edof光學(xué)系統(tǒng)110的edof化機(jī)構(gòu)。如此，不僅能夠?qū)赏ㄟ^光波面調(diào)制元件(濾光器111(相位板))形成規(guī)則地分散而得的圖像的情況應(yīng)用本發(fā)明，而且能夠?qū)刹皇褂霉獠嬲{(diào)制元件而通過攝影透鏡110a本身形成與使用光波面調(diào)制元件時相同的分散圖像的情況應(yīng)用本發(fā)明。

圖30所示的edof光學(xué)系統(tǒng)110可以省略機(jī)械地進(jìn)行調(diào)焦的調(diào)焦機(jī)構(gòu)，因此能夠?qū)崿F(xiàn)小型化，可優(yōu)選搭載于帶相機(jī)的移動電話或移動信息終端。

通過被edof化的edof光學(xué)系統(tǒng)110之后的光學(xué)像成像于圖29所示的成像元件112，在此轉(zhuǎn)換成電信號。

成像元件112由以規(guī)定的圖案排列(拜耳排列、g條紋r/g全方格、x-trans排列或蜂窩排列等)配置成矩陣狀的多個像素構(gòu)成，各像素包含微透鏡、濾色器(本例中為rgb濾色器)及光電二極管而構(gòu)成。經(jīng)由edof光學(xué)系統(tǒng)110入射到成像元件112的受光面的光學(xué)像通過排列于該受光面的各光電二極管而轉(zhuǎn)換成與入射光量相應(yīng)的量的信號電荷。并且，積蓄在各光電二極管的r、g、b的信號電荷作為每個像素的電壓信號(圖像信號)被依次輸出。

ad轉(zhuǎn)換部114將從成像元件112按每個像素被輸出的模擬r、g、b圖像信號轉(zhuǎn)換成數(shù)字rgb圖像信號。通過ad轉(zhuǎn)換部114轉(zhuǎn)換成數(shù)字圖像信號的數(shù)字圖像信號被加入到復(fù)原處理塊120。

復(fù)原處理塊120例如包括黑電平調(diào)整部122、白平衡增益部123、伽馬處理部124、去馬賽克處理部125、rgb/ycrcb轉(zhuǎn)換部126及y信號復(fù)原處理部127。

黑電平調(diào)整部122對從ad轉(zhuǎn)換部114輸出的數(shù)字圖像信號實(shí)施黑電平調(diào)整。在黑電平調(diào)整中，可采用公知的方法。例如，在著眼于某一有效光電轉(zhuǎn)換元件的情況下，求出與在包括該有效光電轉(zhuǎn)換元件的光電轉(zhuǎn)換元件行中所包含的多個0b光電轉(zhuǎn)換元件的每一個對應(yīng)的暗電流量獲取用信號的平均值，從與該有效光電轉(zhuǎn)換元件對應(yīng)的暗電流量獲取用信號減去該平均值，從而進(jìn)行黑電平調(diào)整。

白平衡增益部123進(jìn)行與在調(diào)整了黑電平數(shù)據(jù)的數(shù)字圖像信號中所包含的rgb各顏色信號的白平衡增益對應(yīng)的增益調(diào)整。

伽馬處理部124進(jìn)行執(zhí)行半色調(diào)等的灰度校正的伽馬校正，使得白平衡調(diào)整后的r、g、b圖像信號成為期望的伽馬特性。

去馬賽克處理部125對伽馬校正后的r、g、b圖像信號施加去馬賽克處理。具體而言，去馬賽克處理部125通過對r、g、b的圖像信號施加顏色插值處理，生成從攝像元件112的各受光像素輸出的一組圖像信號(r信號、g信號、b信號)。即，雖然在顏色去馬賽克處理前，來自各受光像素的像素信號是r、g、b的圖像信號中的任一個圖像信號，但在顏色去馬賽克處理后，輸出與各受光像素對應(yīng)的r、g、b信號的3個像素信號的組。

rgb/ycrcb轉(zhuǎn)換部126將經(jīng)去馬賽克處理的每個像素的r、g、b信號轉(zhuǎn)換為亮度信號y和色差信號cr、cb，并輸出每個像素的亮度信號y及色差信號cr、cb。

y信號復(fù)原處理部127根據(jù)預(yù)先存儲的復(fù)原濾波器，對來自rgb/ycrcb轉(zhuǎn)換部126的亮度信號y進(jìn)行復(fù)原處理。復(fù)原濾波器例如包括具有7×7的核尺寸的反卷積核(與m＝7、n＝7的抽頭數(shù)量對應(yīng))和與該反卷積核對應(yīng)的運(yùn)算系數(shù)(與復(fù)原增益數(shù)據(jù)、濾波系數(shù)對應(yīng))，使用于光學(xué)濾波器111的相位調(diào)制量的反卷積處理(反卷積運(yùn)算處理)。另外，復(fù)原濾波器將與光學(xué)濾波器111對應(yīng)的部分存儲到未圖示的存儲器(例如，附隨地設(shè)有y信號復(fù)原處理部127的存儲器)中。此外，反卷積核的核尺寸并不限于7×7。另外，y信號復(fù)原處理部127具有上述圖像處理部35中的銳化處理的功能。

接著，對基于復(fù)原處理塊120的復(fù)原處理進(jìn)行說明。圖31是表示基于圖29所示的復(fù)原處理塊120的復(fù)原處理流程的一例的圖。

在黑電平調(diào)整部122的一個輸入中，由ad轉(zhuǎn)換部114被施加數(shù)字圖像信號，在其他輸入中被施加黑電平數(shù)據(jù)，黑電平調(diào)整部122根據(jù)數(shù)字圖像信號減去黑電平數(shù)據(jù)，并將減去了黑電平數(shù)據(jù)的數(shù)字圖像信號輸出到白平衡增益部123(步驟s11)。由此，在數(shù)字圖像信號中不包括黑電平成分，表示黑電平的數(shù)字圖像信號成為0。

對進(jìn)行黑電平調(diào)整后的圖像數(shù)據(jù)依次實(shí)施通過白平衡增益部123、伽馬處理部124進(jìn)行的處理(步驟s12及步驟s13)。

被伽馬校正的r、g、b信號在去馬賽克處理部125中進(jìn)行去馬賽克處理之后，在rgb/ycrcb轉(zhuǎn)換部126中轉(zhuǎn)換為亮度信號y和色差信號cr、cb(步驟s14)。

y信號復(fù)原處理部127進(jìn)行對亮度信號y應(yīng)用edof光學(xué)系統(tǒng)110的光學(xué)濾波器111的相位調(diào)制量的反卷積處理的復(fù)原處理(步驟s15)。即，y信號復(fù)原處理部127進(jìn)行與以任意的處理對象的像素為中心的規(guī)定單位的像素組對應(yīng)的亮度信號(在此為7×7像素的亮度信號)和預(yù)先存儲在存儲器等中的復(fù)原濾波器(7×7的反卷積核和其運(yùn)算系數(shù))的反卷積處理(反卷積運(yùn)算處理)。y信號復(fù)原處理部127通過以覆蓋攝像面的整個區(qū)域的方式反復(fù)該預(yù)定單位的每個像素組的反卷積處理，從而進(jìn)行去除圖像整體的像模糊的復(fù)原處理。復(fù)原濾波器根據(jù)實(shí)施反卷積處理的像素組的中心的位置而確定。即，對接近的像素組應(yīng)用共同的復(fù)原濾波器。進(jìn)一步為了簡化復(fù)原處理，優(yōu)選對所有像素組應(yīng)用共同的復(fù)原濾波器。

如圖32(a)所示，通過edof光學(xué)系統(tǒng)110之后的亮度信號的點(diǎn)像(光學(xué)像)作為較大的點(diǎn)像(模糊的圖像)成像于成像元件112，但通過y信號復(fù)原處理部127中的反卷積處理而復(fù)原為如圖32(b)所示那樣較小的點(diǎn)像(高分辨率的圖像)。

如上所述，通過對去馬賽克處理后的亮度信號應(yīng)用復(fù)原處理，無需按rgb不同而具有復(fù)原處理的參數(shù)，能夠使復(fù)原處理高速化。此外，由于不是將與位于分散的位置的r、g、b的像素對應(yīng)的r、g、b的圖像信號分別匯集為一個單位而進(jìn)行反卷積處理，而是將接近的像素的亮度信號彼此以預(yù)定的單位匯集，對該單位應(yīng)用共同的復(fù)原濾波器而進(jìn)行反卷積處理，所以復(fù)原處理的精度提高。另外，關(guān)于色差信號cr、cb，在基于肉眼的視覺特性上，即使在復(fù)原處理中不提高分辨率，在畫質(zhì)上也被允許。此外，在以如jpeg這樣的壓縮形式來記錄圖像的情況下，色差信號以比亮度信號高的壓縮率被壓縮，所以缺少在復(fù)原處理中提高分辨率的必要性。這樣一來，能夠兼顧復(fù)原精度的提高和處理的簡化及高速化。

對于如以上進(jìn)行說明那樣的edof系統(tǒng)的復(fù)原處理，也能夠應(yīng)用上述實(shí)施方式所涉及的圖像濾波處理。

并且，能夠應(yīng)用本發(fā)明的方式并不限定于數(shù)碼相機(jī)及計(jì)算機(jī)(服務(wù)器)，除了以攝像為主要功能的相機(jī)類之外，對于除了攝像功能以外還具備攝像以外的其他功能(通話功能、通信功能、其他計(jì)算機(jī)功能)的移動設(shè)備類，也能夠應(yīng)用本發(fā)明。作為能夠應(yīng)用本發(fā)明的其他方式，例如可舉出具有相機(jī)功能的移動電話和智能手機(jī)、pda(personaldigitalassistants)、便攜式游戲機(jī)。以下，對能夠應(yīng)用本發(fā)明的智能手機(jī)的一例進(jìn)行說明。

<對智能手機(jī)的應(yīng)用例>

圖33是表示智能手機(jī)201的外觀的圖。圖33所示的智能手機(jī)201具有平板狀框體202，在框體202的一側(cè)面具備作為顯示部的顯示面板221與作為輸入部的操作面板222成為一體的顯示輸入部220。并且，這種框體202具備揚(yáng)聲器231、麥克風(fēng)232、操作部240及相機(jī)部241。另外，框體202的結(jié)構(gòu)并不限定于此，例如能夠采用顯示部與輸入部獨(dú)立的結(jié)構(gòu)，或者采用具有折疊結(jié)構(gòu)或滑動機(jī)構(gòu)的結(jié)構(gòu)。

圖34是表示圖33所示的智能手機(jī)201的結(jié)構(gòu)的框圖。如圖34所示，作為智能手機(jī)的主要構(gòu)成要件，具備無線通信部210、顯示輸入部220、通話部230、操作部240、相機(jī)部241、存儲部250、外部輸入輸出部260、gps(globalpositioningsystem)接收部270、動作傳感器部280、電源部290及主控制部200(包括上述主體控制器28)。并且，作為智能手機(jī)201的主要功能，具備經(jīng)由基站裝置bs和移動通信網(wǎng)nw進(jìn)行移動無線通信的無線通信功能。

無線通信部210根據(jù)主控制部200的命令，對容納于移動通信網(wǎng)nw的基站裝置bs進(jìn)行無線通信。使用該無線通信，進(jìn)行語音數(shù)據(jù)、圖像數(shù)據(jù)等各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的收發(fā)、web數(shù)據(jù)或流數(shù)據(jù)等的接收。

顯示輸入部220是通過主控制部200的控制，顯示圖像(靜態(tài)圖像及動態(tài)圖像)和文字信息等來視覺性地向用戶傳遞信息，并且檢測用戶對所顯示的信息的操作的所謂的觸控面板，具備顯示面板221及操作面板222。

顯示面板221是將lcd(liquidcrystaldisplay)、oeld(organicelectro-luminescencedisplay)等用作顯示設(shè)備的裝置。操作面板222是以能夠視覺辨認(rèn)顯示于顯示面板221的顯示面上的圖像的方式載置，并檢測通過用戶的手指或觸控筆操作的一個或多個坐標(biāo)的設(shè)備。若通過用戶的手指或觸控筆操作該設(shè)備，則將因操作而產(chǎn)生的檢測信號輸出至主控制部200。接著，主控制部200根據(jù)所接收的檢測信號檢測顯示面板221上的操作位置(坐標(biāo))。

如圖33所示，作為本發(fā)明的攝像裝置的一實(shí)施方式來例示的智能手機(jī)201的顯示面板221與操作面板222成為一體而構(gòu)成顯示輸入部220，但配置成操作面板222完全覆蓋顯示面板221。采用該配置時，操作面板222可以對顯示面板221以外的區(qū)域也具備檢測用戶操作的功能。換言之，操作面板222可具備針對與顯示面板221重疊的重疊部分的檢測區(qū)域(以下，稱為顯示區(qū)域)和針對除此以外的不與顯示面板221重疊的外緣部分的檢測區(qū)域(以下，稱為非顯示區(qū)域)。

另外，可使顯示區(qū)域的大小與顯示面板221的大小完全一致，但無需一定使兩者一致。并且，操作面板222可具備外緣部分和除此以外的內(nèi)側(cè)部分這兩個感應(yīng)區(qū)域。而且，外緣部分的寬度根據(jù)框體202的大小等而適當(dāng)設(shè)計(jì)。此外，作為在操作面板222中所采用的位置檢測方式，可舉出矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式、靜電電容方式等，可采用任意方式。

通話部230具備揚(yáng)聲器231和麥克風(fēng)232，所述通話部將通過麥克風(fēng)232輸入的用戶的語音轉(zhuǎn)換成能夠在主控制部200中處理的語音數(shù)據(jù)來輸出至主控制部200，或者對通過無線通信部210或外部輸入輸出部260接收的語音數(shù)據(jù)進(jìn)行解碼而從揚(yáng)聲器231輸出。并且，如圖33所示，例如能夠?qū)P(yáng)聲器231搭載于與設(shè)置有顯示輸入部220的面相同的面，將麥克風(fēng)232搭載于框體202的側(cè)面。

操作部240為使用鍵開關(guān)等的硬件鍵，且接收來自用戶的命令。例如，如圖33所示，操作部240搭載于智能手機(jī)201的框體202的側(cè)面，且是若被手指等按下則開啟，若將手指移開則通過彈簧等的復(fù)原力而成為關(guān)閉狀態(tài)的按鈕式開關(guān)。

存儲部250存儲主控制部200的控制程序和控制數(shù)據(jù)、應(yīng)用軟件、將通信對象的名稱和電話號碼等建立關(guān)聯(lián)的地址數(shù)據(jù)、所收發(fā)的電子郵件的數(shù)據(jù)、通過web瀏覽下載的web數(shù)據(jù)和已下載的內(nèi)容數(shù)據(jù)，并且暫時存儲流數(shù)據(jù)等。并且，存儲部250由智能手機(jī)內(nèi)置的內(nèi)部存儲部251和具有裝卸自如的外部存儲器插槽的外部存儲部252構(gòu)成。另外，構(gòu)成存儲部250的各個內(nèi)部存儲部251與外部存儲部252各自通過使用閃存類型(flashmemorytype)、硬盤類型(harddisktype)、微型多媒體卡類型(multimediacardmicrotype)、卡類型的存儲器(例如，microsd(注冊商標(biāo))存儲器等)、ram(randomaccessmemory)或rom(readonlymemory)等存儲介質(zhì)來實(shí)現(xiàn)。

外部輸入輸出部260發(fā)揮與連結(jié)于智能手機(jī)201的所有外部設(shè)備的接口的作用，并用于通過通信等(例如，通用串行總線(usb)、ieee1394等)或網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、無線lan、藍(lán)牙(bluetooth(注冊商標(biāo)))、rfid(radiofrequencyidentification)、紅外線通信(infrareddataassociation：irda)(注冊商標(biāo))、uwb(ultrawideband)(注冊商標(biāo))或紫蜂(zigbee)(注冊商標(biāo))等)直接或間接地與其他外部設(shè)備連接。

作為與智能手機(jī)201連結(jié)的外部設(shè)備，例如有：有/無線頭戴式耳機(jī)、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡插槽連接的存儲卡(memorycard)或sim(subscriberidentitymodulecard)/uim(useridentitymodulecard)卡、經(jīng)由音頻/視頻i/o(input/output)端子連接的外部音頻/視頻設(shè)備、無線連接的外部音頻/視頻設(shè)備、有/無線連接的智能手機(jī)、有/無線連接的個人計(jì)算機(jī)、有/無線連接的pda、有/無線連接的耳機(jī)等。外部輸入輸出部能夠?qū)倪@種外部設(shè)備接收到傳送的數(shù)據(jù)傳遞至智能手機(jī)201內(nèi)部的各構(gòu)成要件或?qū)⒅悄苁謾C(jī)201內(nèi)部的數(shù)據(jù)傳送至外部設(shè)備。

gps接收部270按照主控制部200的命令，接收從gps衛(wèi)星st1～stn發(fā)送的gps信號，執(zhí)行基于所接收的多個gps信號的測位運(yùn)算處理，檢測智能手機(jī)201的包括緯度、經(jīng)度、高度的位置。gps接收部270在能夠從無線通信部210或外部輸入輸出部260(例如無線lan)獲取位置信息時，還能夠利用該位置信息檢測位置。

動作傳感器部280例如具備3軸加速度傳感器等，根據(jù)主控制部200的命令，檢測智能手機(jī)201的物理動作。通過檢測智能手機(jī)201的物理動作，可檢測智能手機(jī)201的移動方向或加速度。該檢測結(jié)果被輸出至主控制部200。

電源部290按照主控制部200的命令，向智能手機(jī)201的各部供給積蓄在電池(未圖示)中的電力。

主控制部200具備微處理器，并根據(jù)存儲部250所存儲的控制程序或控制數(shù)據(jù)進(jìn)行動作，集中控制智能手機(jī)201的各部。并且，主控制部200為了通過無線通信部210進(jìn)行語音通信或數(shù)據(jù)通信，具備控制通信系統(tǒng)的各部的移動通信控制功能及應(yīng)用處理功能。

應(yīng)用處理功能通過主控制部200根據(jù)存儲部250所存儲的應(yīng)用軟件進(jìn)行動作來實(shí)現(xiàn)。作為應(yīng)用處理功能，例如有控制外部輸入輸出部260來與對象設(shè)備進(jìn)行數(shù)據(jù)通信的紅外線通信功能、進(jìn)行電子郵件的收發(fā)的電子郵件功能、瀏覽web頁的web瀏覽功能等。

并且，主控制部200具備根據(jù)接收數(shù)據(jù)或所下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜態(tài)圖像或動態(tài)圖像的數(shù)據(jù))而在顯示輸入部220顯示影像等圖像處理功能。圖像處理功能是指主控制部200對上述圖像數(shù)據(jù)進(jìn)行解碼，對該解碼結(jié)果實(shí)施圖像處理并將圖像顯示于顯示輸入部220的功能。

而且，主控制部200執(zhí)行對顯示面板221的顯示控制和檢測通過操作部240、操作面板222進(jìn)行的用戶操作的操作檢測控制。

通過執(zhí)行顯示控制，主控制部200顯示用于啟動應(yīng)用軟件的圖標(biāo)或滾動條等軟件鍵，或者顯示用于創(chuàng)建電子郵件的窗口。另外，滾動條是指用于針對無法完全落入顯示面板221的顯示區(qū)域的較大圖像等，接收使圖像的顯示部分移動的命令的軟件鍵。

并且，通過執(zhí)行操作檢測控制，主控制部200檢測通過操作部240進(jìn)行的用戶操作，或者通過操作面板222接收對上述圖標(biāo)的操作或?qū)ι鲜龃翱诘妮斎霗诘淖址妮斎?，或者接收通過滾動條進(jìn)行的顯示圖像的滾動請求。

而且，通過執(zhí)行操作檢測控制，主控制部200具備判定對操作面板222進(jìn)行操作的位置是與顯示面板221重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板221重疊的外緣部分(非顯示區(qū)域)，并控制操作面板222的感應(yīng)區(qū)域或軟件鍵的顯示位置的觸控面板控制功能。

并且，主控制部200還能夠檢測對操作面板222的手勢操作，并根據(jù)檢測出的手勢操作執(zhí)行預(yù)先設(shè)定的功能。所謂手勢操作表示并非以往的單純的觸控操作，而是通過手指等描繪軌跡、或者同時確定多個位置或者組合這些來對多個位置中至少一個描繪軌跡的操作。

相機(jī)部241是使用cmos或ccd等成像元件進(jìn)行電子攝影的數(shù)碼相機(jī)。并且，相機(jī)部241能夠通過主控制部200的控制，將通過拍攝獲得的圖像數(shù)據(jù)轉(zhuǎn)換成例如jpeg等的被壓縮的圖像數(shù)據(jù)，并記錄于存儲部250，或者能夠通過外部輸入輸出部260和無線通信部210輸出。在圖33所示的智能手機(jī)201中，相機(jī)部241搭載于與顯示輸入部220相同的面，但相機(jī)部241的搭載位置并不限于此，還可搭載于顯示輸入部220的背面，或者也可以搭載有多個相機(jī)部241。另外，搭載有多個相機(jī)部241時，還能夠切換供于拍攝的相機(jī)部241來單獨(dú)進(jìn)行拍攝、或者同時使用多個相機(jī)部241來進(jìn)行拍攝。

并且，相機(jī)部241能夠利用于智能手機(jī)201的各種功能中。例如，能夠在顯示面板221顯示由相機(jī)部241獲取的圖像，或者能夠作為操作面板222的操作輸入之一而利用相機(jī)部241的圖像。并且，當(dāng)gps接收部270檢測位置時，還能夠參考來自相機(jī)部241的圖像來檢測位置。而且，還能夠參考來自相機(jī)部241的圖像，不使用3軸加速度傳感器或者與3軸加速度傳感器并用來判斷智能手機(jī)201的相機(jī)部241的光軸方向，或判斷當(dāng)前的使用環(huán)境。當(dāng)然，還能夠在應(yīng)用軟件內(nèi)利用來自相機(jī)部241的圖像。

另外，能夠在靜態(tài)圖像或動態(tài)圖像的圖像數(shù)據(jù)上附加通過gps接收部270獲取的位置信息、通過麥克風(fēng)232獲取的語音信息(也可通過主控制部等進(jìn)行語音文本轉(zhuǎn)換而成為文本信息)、通過動作傳感器部280獲取的姿勢信息等來記錄于存儲部250，或者還能夠通過外部輸入輸出部260或無線通信部210輸出。

上述圖像處理部35(濾波處理部41)例如可通過主控制部200來實(shí)現(xiàn)。

本發(fā)明并不限定于上述實(shí)施方式，當(dāng)然也能夠在不脫離本發(fā)明的宗旨的范圍內(nèi)進(jìn)行各種變形。

符號說明

10-數(shù)碼相機(jī)，12-透鏡單元，14-相機(jī)主體，16-透鏡，17-光圈，18-光學(xué)系統(tǒng)操作部，20-透鏡單元控制器，21-透鏡單元存儲部，22-透鏡單元輸入輸出部，26-成像元件，28-主體控制器，29-用戶界面，30-相機(jī)主體輸入輸出部，31-主體存儲部，32-輸入輸出接口，34-設(shè)備控制部，35-圖像處理部，40-預(yù)處理部，41-濾波處理部，42-后處理部，43-增益確定部，44-增益候補(bǔ)數(shù)據(jù)存儲部，45-增益獲取部，48-濾波器應(yīng)用部，49-增益應(yīng)用部，50-處理數(shù)據(jù)計(jì)算部，51-處理圖像數(shù)據(jù)計(jì)算部，52-加法器，54-反復(fù)運(yùn)算判定部，55-增益供給部，56-濾波器供給部，60-增益選定條件獲取部，61-目標(biāo)頻率特性獲取部，62-應(yīng)用增益計(jì)算部，64-濾波器獲取裝置，65-濾波器計(jì)算部，66-平均計(jì)算部，67-方差計(jì)算部，68-濾波器特性獲取部，69-抽頭系數(shù)運(yùn)算部，70-濾波器組分類部，92-計(jì)算機(jī)，93-計(jì)算機(jī)輸入輸出部，94-計(jì)算機(jī)控制器，95-顯示器，96-網(wǎng)絡(luò)，97-服務(wù)器，98-服務(wù)器輸入輸出部，99-服務(wù)器控制器，101-攝像模塊，110-edof光學(xué)系統(tǒng)，110a-攝影透鏡，111-濾光器，112-成像元件，114-ad轉(zhuǎn)換部，120-復(fù)原處理塊，122-黑電平調(diào)整部，123-白平衡增益部，124-伽馬處理部，125-去馬賽克處理部，126-ycrcb轉(zhuǎn)換部，127-y信號復(fù)原處理部，200-主控制部，201-智能手機(jī)，202-框體，210-無線通信部，220-顯示輸入部，221-顯示面板，222-操作面板，230-通話部，231-揚(yáng)聲器，232-麥克風(fēng)，240-操作部，241-相機(jī)部，250-存儲部，251-內(nèi)部存儲部，252-外部存儲部，260-外部輸入輸出部，270-gps接收部，280-動作傳感器部，290-電源部。