復(fù)原濾波器生成裝置以及方法、圖像處理裝置以及方法、攝像裝置、程序以及記錄介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及生成復(fù)原濾波器的復(fù)原濾波器生成裝置以及方法、使用該復(fù)原濾波器 進(jìn)行復(fù)原處理的圖像處理裝置以及方法、具備該圖像處理裝置的攝像裝置、以及用于生成 復(fù)原濾波器的程序以及記錄介質(zhì)，該復(fù)原濾波器用于進(jìn)行對(duì)于基于多個(gè)顏色的每個(gè)顏色的 圖像數(shù)據(jù)而生成的亮度系圖像數(shù)據(jù)的復(fù)原處理。
【背景技術(shù)】
[0002] 存在在通過數(shù)碼相機(jī)等的攝像裝置拍攝被攝體而得到的圖像中，產(chǎn)生由光學(xué)系統(tǒng) (攝影透鏡等）的各種像差所引起的圖像劣化的情況。由該像差所引起的圖像劣化能夠通 過點(diǎn)像分布函數(shù)（PSF:Point Spread Function)等而表現(xiàn)。因此，基于PSF等的光學(xué)系統(tǒng) 的劣化特性而生成復(fù)原濾波器，使用該復(fù)原濾波器對(duì)圖像數(shù)據(jù)實(shí)施點(diǎn)像復(fù)原處理（復(fù)原處 理），能夠降低圖像劣化。
[0003] 專利文獻(xiàn)1 (尤其，參照段落0043-0048)公開了如下發(fā)明：從自攝像設(shè)備輸入的 圖像數(shù)據(jù)分離亮度分量Y，使用該亮度分量Y( = WrXR+WgXG+WbXB)中的R、G、B的系數(shù) (Wr，Wg，Wb)，合成R、G、B各顏色的點(diǎn)像分布函數(shù)（PSFr，PSFg，PSFb)，從而取得亮度分量的 點(diǎn)像分布函數(shù)PSFy ( = Wr X PSFr+WgX PSFg+Wb X PSFb)，基于該亮度分量的點(diǎn)像分布函數(shù) PSFy而計(jì)算對(duì)于亮度分量Y的校正系數(shù)。
[0004] 專利文獻(xiàn)2公開了如下發(fā)明：在選擇了振幅特性作為復(fù)原濾波器的調(diào)整參數(shù)的情 況下，根據(jù)用戶通過調(diào)整桿進(jìn)行了調(diào)整的量，變更復(fù)原濾波器的增益（振幅特性），在選擇 了相位特性作為調(diào)整參數(shù)的情況下，根據(jù)用戶通過調(diào)整桿進(jìn)行了調(diào)整的量，變更復(fù)原濾波 器的相位角（相位特性）。
[0005] 專利文獻(xiàn)3公開了如下發(fā)明：通過相對(duì)的平行移動(dòng)而降低點(diǎn)像分布函數(shù)的顏色分 量間的差異（色差），并基于該點(diǎn)像分布函數(shù)而生成復(fù)原濾波器。
[0006] 現(xiàn)有技術(shù)文獻(xiàn)
[0007] 專利文獻(xiàn)
[0008] 專利文獻(xiàn)1 :特開2010-140442號(hào)公報(bào)
[0009] 專利文獻(xiàn)2 :特開2011-193277號(hào)公報(bào)
[0010] 專利文獻(xiàn)3 :特開2012-129932號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0011] 發(fā)明要解決的課題
[0012] 專利文獻(xiàn)1中記載的發(fā)明存在如下問題：由于只對(duì)校正對(duì)象的圖像數(shù)據(jù)的亮度分 量進(jìn)行校正，所以雖然在全部顏色中能夠?qū)、G、B的相位偏移量平均地恢復(fù)，但在特定的 波長(zhǎng)的顏色中發(fā)生相位偏移的過度恢復(fù)（過校正）。尤其，在對(duì)亮度系圖像數(shù)據(jù)進(jìn)行相位校 正的情況下，與對(duì)多個(gè)顏色（R，G，B)的各顏色的圖像數(shù)據(jù)（R圖像數(shù)據(jù)、G圖像數(shù)據(jù)、B圖像 數(shù)據(jù)）單獨(dú)進(jìn)行相位校正的情況不同地，容易產(chǎn)生相位的過校正。若相位成為過校正，則有 時(shí)產(chǎn)生假象（Artifact)，畫質(zhì)反而會(huì)劣化。
[0013]專利文獻(xiàn)2中記載的發(fā)明存在如下問題：雖然能夠通過用戶輸入而對(duì)復(fù)原濾波器 的振幅特性（調(diào)制特性）和相位特性單獨(dú)進(jìn)行調(diào)整，但會(huì)發(fā)生過校正。
[0014]專利文獻(xiàn)3中記載的發(fā)明存在如下問題：雖然能夠生成對(duì)于色差校正后的圖像數(shù) 據(jù)的復(fù)原濾波器，但會(huì)發(fā)生過校正。
[0015] 本發(fā)明的目的在于，提供一種復(fù)原濾波器生成裝置以及方法、圖像處理裝置以及 方法、攝像裝置、以及程序以及記錄介質(zhì)，其在對(duì)亮度系圖像數(shù)據(jù)進(jìn)行復(fù)原處理的情況下， 能夠防止作為相位偏移的過度恢復(fù)的過校正。
[0016]用于解決課題的手段
[0017] 為了實(shí)現(xiàn)上述的目的，本發(fā)明的一個(gè)方式提供一種復(fù)原濾波器生成裝置，生成用 于對(duì)亮度系圖像數(shù)據(jù)進(jìn)行復(fù)原處理的復(fù)原濾波器，該亮度系圖像數(shù)據(jù)是基于由具有光學(xué)系 統(tǒng)的攝像單元所得到的多個(gè)顏色的每個(gè)顏色的圖像數(shù)據(jù)而生成的與亮度有關(guān)的圖像數(shù)據(jù)， 所述復(fù)原濾波器生成裝置包括：信息取得單元，按多個(gè)顏色的每個(gè)顏色取得與光學(xué)系統(tǒng)中 的點(diǎn)像分布對(duì)應(yīng)的傳遞函數(shù)信息；以及復(fù)原濾波器生成單元，基于由信息取得單元所取得 的傳遞函數(shù)信息而生成復(fù)原濾波器，并且，生成根據(jù)多個(gè)顏色中的單色的傳遞函數(shù)信息而 進(jìn)行亮度系圖像數(shù)據(jù)的相位校正的復(fù)原濾波器。
[0018] 作為由信息取得單元所取得的"傳遞函數(shù)信息"，例舉如下：PSF(Point Spread Function :也稱為"點(diǎn)像分布函數(shù)"或者"點(diǎn)擴(kuò)散函數(shù)；對(duì)PSF進(jìn)行傅里葉變換而得到 的 OTF (Optical Transfer Function:也稱為"光學(xué)傳遞函數(shù)"）；PTF (Phase Transfer Function :也稱為"相位傳遞函數(shù)"）；MTF(調(diào)制傳遞函數(shù)（Modulation Transfer Function))。此外，"傳遞函數(shù)信息"并不限定于直接表示"相位偏移量"的信息。也可以通 過對(duì)"傳遞函數(shù)信息"進(jìn)行特定的運(yùn)算處理而計(jì)算"相位偏移量"。即，"傳遞函數(shù)信息"包 括間接表示"相位偏移量"的信息。
[0019]在復(fù)原濾波器生成單元中的"生成根據(jù)多個(gè)顏色中的單色的傳遞函數(shù)信息而進(jìn)行 亮度系圖像數(shù)據(jù)的相位校正的復(fù)原濾波器"這樣的復(fù)原濾波器生成處理中，包括：第一，在 一張亮度系圖像數(shù)據(jù)的整體（一個(gè)圖像面的整體）中，只使用多個(gè)顏色中的單色的傳遞函 數(shù)信息的情況；第二，按一張亮度系圖像數(shù)據(jù)（一個(gè)圖像面的整體）的每個(gè)位置，從多個(gè)顏 色的每個(gè)顏色的傳遞函數(shù)信息中選擇單色的傳遞函數(shù)信息的情況。
[0020] 根據(jù)本發(fā)明的一個(gè)方式，由于生成根據(jù)多個(gè)顏色中的單色的傳遞函數(shù)信息而進(jìn)行 亮度系圖像數(shù)據(jù)的相位校正的復(fù)原濾波器，所以與對(duì)多個(gè)顏色的每個(gè)顏色的圖像數(shù)據(jù)單獨(dú) 進(jìn)行相位校正的情況相比，運(yùn)算負(fù)荷減輕，且能夠防止作為相位偏移的過度恢復(fù)的過校正。
[0021] 在本發(fā)明的一個(gè)方式中，復(fù)原濾波器生成單元從根據(jù)多個(gè)顏色的每個(gè)顏色的傳遞 函數(shù)信息而分別得到的多個(gè)顏色的每個(gè)顏色的相位偏移量中，選擇絕對(duì)值最小的單色的相 位偏移量，生成以與所選擇的單色的相位偏移量對(duì)應(yīng)的相位校正量來對(duì)亮度系圖像數(shù)據(jù)的 相位偏移進(jìn)行校正的復(fù)原濾波器。由此，即使是在相位偏移量的絕對(duì)值成為最小的顏色因 每個(gè)光學(xué)系統(tǒng)而異的情況下，也能夠通過復(fù)原濾波器可靠地防止過校正。
[0022] 在本發(fā)明的一個(gè)方式中，復(fù)原濾波器生成單元按圖像面內(nèi)的每個(gè)位置選擇單色的 相位偏移量，生成根據(jù)單色的相位偏移量來對(duì)亮度系圖像數(shù)據(jù)的相位偏移進(jìn)行校正的復(fù)原 濾波器。由此，即使是在相位偏移量的絕對(duì)值成為最小的顏色因亮度系圖像數(shù)據(jù)中的每個(gè) 位置而異的情況下，也能夠可靠地防止過校正。此外，即使是在將PSF(點(diǎn)擴(kuò)散函數(shù)（Point Spread Function))用作傳遞函數(shù)信息的情況下，也能夠可靠地防止過校正。
[0023] 在本發(fā)明的一個(gè)方式中，復(fù)原濾波器生成單元按每個(gè)空間頻率選擇單色的相位偏 移量，生成根據(jù)單色的相位偏移量來對(duì)亮度系圖像數(shù)據(jù)的相位偏移進(jìn)行校正的復(fù)原濾波 器。由此，即使是在相位偏移量的絕對(duì)值成為最小的顏色因每個(gè)空間頻率而異的情況下，也 能夠可靠地防止過校正。此外，即使是在將依賴頻率而定義的PTF(相位傳遞函數(shù)（Phase Transfer Function))用作傳遞函數(shù)信息的情況下，也能夠可靠地防止過校正。
[0024] 在本發(fā)明的一個(gè)方式中，復(fù)原濾波器生成單元在多個(gè)顏色中相位偏移量的符號(hào)不 同的情況下，將對(duì)于亮度系圖像數(shù)據(jù)的相位校正量設(shè)定為零，在多個(gè)顏色的全部中相位偏 移量的符號(hào)相同的情況下，選擇絕對(duì)值最小的單色的相位偏移量，采用與單色的相位偏移 量對(duì)應(yīng)的相位校正量，生成復(fù)原濾波器。由此，即使是在多個(gè)顏色中相位偏移量的符號(hào)不同 的情況下，也能夠可靠地防止過校正。
[0025] 在本發(fā)明的一個(gè)方式中，復(fù)原濾波器生成單元包括運(yùn)算部，該運(yùn)算部將復(fù)原濾波 器的抽頭數(shù)作為輸入?yún)?shù)，且按每個(gè)空間頻率，將復(fù)原濾波器的相位校正量的絕對(duì)值作為 光學(xué)系統(tǒng)中的相位偏移量的絕對(duì)值以下而運(yùn)算復(fù)原濾波器的濾波器系數(shù)。這樣，由于將復(fù) 原濾波器的濾波器系數(shù)通過"將復(fù)原濾波器的抽頭數(shù)作為輸入?yún)?shù)"且"將復(fù)原濾波器的相 位校正量的絕對(duì)值作為光學(xué)系統(tǒng)中的相位偏移量的絕對(duì)值以下"的運(yùn)算而求出，所以能夠 生成能夠可靠地防止由存在抽頭數(shù)限制所引起的過校正的復(fù)原濾波器。
[0026] 在本發(fā)明的一個(gè)方式中，多個(gè)顏色中的一個(gè)顏色為綠色（G)，信息取得單元取得多 個(gè)顏色中的至少綠色（G)的傳遞函數(shù)信息，復(fù)原濾波器生成單元生成以與綠色（G)的傳遞 函數(shù)信息對(duì)應(yīng)的相位校正量來對(duì)亮度系圖像數(shù)據(jù)的相位偏移進(jìn)行校正的復(fù)原濾波器。這 樣，由于只基于綠色（G)的傳遞函數(shù)信息而生成復(fù)原濾波器，所以能夠生成在綠色中能夠 可靠地防止過校正的復(fù)原濾波器，且能夠生成在其他的顏色中過校正的發(fā)生概率也少的復(fù) 原濾波器。一般對(duì)亮度系圖像數(shù)據(jù)貢獻(xiàn)最多的顏色為綠色（G)，所以一般以該綠色（G)的模 糊最少的方式設(shè)計(jì)光學(xué)系統(tǒng)。在這樣的情況下，通過生成進(jìn)行與綠色（G)單色的傳遞函數(shù) 信息對(duì)應(yīng)的相位校正的復(fù)原濾波器，關(guān)于紅色（R)以及藍(lán)色（B)，也能夠防止相位校正的過 校正。即，能夠非常容易地生成在多個(gè)顏色中的任一個(gè)顏色中過校正都少的復(fù)原濾波器。
[0027] 在本發(fā)明的一個(gè)方式中，包括切換單元，該切換單元切換是否使復(fù)原濾波器進(jìn)行 對(duì)于亮度系圖像數(shù)據(jù)的相位校正，復(fù)原濾波器生成單元在使復(fù)原濾波器不進(jìn)行相位校正的 情況下，將傳遞函數(shù)信息在多個(gè)顏色間混合，基于在多個(gè)顏色間混合的傳遞函數(shù)信息，生成 對(duì)亮度系圖像數(shù)據(jù)不改變相位分量而進(jìn)行點(diǎn)像復(fù)原處理的復(fù)原濾波器。由此，能夠切換是 否使復(fù)原濾波器進(jìn)行對(duì)于亮度系圖像數(shù)據(jù)的相位校正，在不進(jìn)行相位校正的情況下，不需 要對(duì)于相位校正所引起的過校正的對(duì)應(yīng)。因此，基于在多個(gè)顏色間混合的傳遞函數(shù)信息，生 成對(duì)亮度系圖像數(shù)據(jù)不改變相位分量而進(jìn)行點(diǎn)像復(fù)原處理的復(fù)原濾波器，能夠生成提供良 好的畫質(zhì)的復(fù)原濾波器。
[0028] 此外，本發(fā)明的其他方式提供一種復(fù)原濾波器生成裝置，生成用于對(duì)亮度系圖像 數(shù)據(jù)進(jìn)行復(fù)原處理的復(fù)原濾波器，該亮度系圖像數(shù)據(jù)是基于由具有光學(xué)系統(tǒng)的攝像單元所 得到的多個(gè)顏色的每個(gè)顏色的圖像數(shù)據(jù)而生成的與亮度有關(guān)的圖像數(shù)據(jù)，所述復(fù)原濾波器 生成裝置包括：信息取得單元，按多個(gè)顏色的每個(gè)顏色取得與光學(xué)系統(tǒng)中的點(diǎn)像分布對(duì)應(yīng) 的傳遞函數(shù)信息；以及復(fù)原濾波器生成單元，基于由信息取得單元所取得的傳遞函數(shù)信息 而生成復(fù)原濾波器，復(fù)原濾波器生成單元將傳遞函數(shù)信息在多個(gè)顏色間混合，基于在該多 個(gè)顏色間混合而得到的傳遞函數(shù)信息，生成用于對(duì)亮度系圖像數(shù)據(jù)不改變相位分量而進(jìn)行 復(fù)原處理的復(fù)原濾波器。根據(jù)本方式，由于不需要對(duì)于相位校正所引起的過校正的對(duì)應(yīng)，基 于在多個(gè)顏色間混合的傳遞函數(shù)信息，生成對(duì)亮度系圖像數(shù)據(jù)不改變相位分量而進(jìn)行點(diǎn)像 復(fù)原處理的復(fù)原濾波器，能夠生成提供良好的畫質(zhì)的復(fù)原濾波器。
[0029] 在本發(fā)明的一個(gè)方式中，信息取得單元通過對(duì)光學(xué)系統(tǒng)中的多個(gè)顏色的每個(gè)顏色 的點(diǎn)像分布函數(shù)分別進(jìn)行傅里葉變換，取得光學(xué)系統(tǒng)中的多個(gè)顏色的每個(gè)顏色的光學(xué)傳遞 函數(shù)，在使復(fù)原濾波器不進(jìn)行相位校正的情況下，復(fù)原濾波器生成單元將作為各顏色的光 學(xué)傳遞函數(shù)的振幅分量的各顏色的調(diào)制傳遞函數(shù)在多個(gè)顏色之間混合，基于在多個(gè)顏色之 間混合而得到的調(diào)制傳遞函數(shù)，生成對(duì)亮度系圖像數(shù)據(jù)不改變相位分量而進(jìn)行復(fù)原處理的 復(fù)原濾波器。
[0030] 在本發(fā)明的一個(gè)方式中，信息取得單元取得表示在生成亮度系圖像數(shù)據(jù)前是否對(duì) 多個(gè)顏色的每個(gè)顏色的圖像數(shù)據(jù)實(shí)施倍率色差校正的倍率色差校正信息，在基于倍率色差 校正信息而檢測(cè)出實(shí)施倍率色差校正的情況下，復(fù)原濾波器生成單元對(duì)由信息取得單元所 取得的各顏色的傳遞函數(shù)信息進(jìn)行倍率色差校正中的校正量的坐標(biāo)移動(dòng)處理，將進(jìn)行了坐 標(biāo)移動(dòng)處理之后的各顏色的傳遞函數(shù)信息在多個(gè)顏色間混合。由此，能夠生成即使是在對(duì) 多個(gè)顏色的顏色間的位置偏移（倍率色差）進(jìn)行校正的情況下，也能夠可靠地防止過校正 的復(fù)原濾波器。
[0031] 在本發(fā)明的一個(gè)方式中，光學(xué)系統(tǒng)具有透鏡部，該透鏡部對(duì)相位進(jìn)行調(diào)制而使景 深擴(kuò)大。
[0032] 此外，本發(fā)明的其他方式提供一種圖像處理裝置，包括：圖像數(shù)據(jù)取得單元，取得 亮度系圖像數(shù)據(jù)，該亮度系圖像數(shù)據(jù)是基于由具有光學(xué)系統(tǒng)的攝像單元所得到的多個(gè)顏色 的每個(gè)顏色的圖像數(shù)據(jù)而生成的與亮度有關(guān)的圖像數(shù)據(jù)；復(fù)原濾波器存儲(chǔ)單元，存儲(chǔ)由上 述的復(fù)原濾波器生成裝置所生成的復(fù)原濾波器；以及復(fù)原處理單元，對(duì)由圖像數(shù)據(jù)取得單 元所取得的亮度系圖像數(shù)據(jù)，使用在復(fù)原濾波器存儲(chǔ)單元中存儲(chǔ)的復(fù)原濾波器而實(shí)施復(fù)原 處理。
[0033] 此外，本發(fā)明的其他方式提供一種圖像處理裝置，包括復(fù)原濾波器生成裝置。
[0034] 此外，本發(fā)明的其他方式提供一種攝像裝置，包括：攝像單元，具有光學(xué)系統(tǒng)，且輸 出多個(gè)顏色的每個(gè)顏色的圖像數(shù)據(jù)；以及圖像處理裝置。
[0035] 此外，本發(fā)明的其他方式提供一種復(fù)原濾波器生成方法，生成用于對(duì)亮度系圖像 數(shù)據(jù)進(jìn)行復(fù)原處理的復(fù)原濾波器，該亮度系圖像數(shù)據(jù)是基于由具有光學(xué)系統(tǒng)的攝像單元所 得到的多個(gè)顏色的每個(gè)顏色的圖像數(shù)據(jù)而生成的與亮度有關(guān)的圖像數(shù)據(jù)，其中，所述復(fù)原 濾波器生成方法包括以下步驟：信息取得步驟，按多個(gè)顏色的每個(gè)顏色取得與光學(xué)系統(tǒng)中 的點(diǎn)像分布對(duì)應(yīng)的傳遞函數(shù)信息；以及復(fù)原濾波器生成步驟，基于通過信息取得步驟而取 得的傳遞函數(shù)信息而生成復(fù)原濾波器，并且，生成根據(jù)多個(gè)顏色中的單色的傳遞函數(shù)信息 而進(jìn)行亮度系圖像數(shù)據(jù)的相位校正的復(fù)原濾波器。
[0036] 此外，本發(fā)明的其他方式提供一種圖像處理方法，包括以下步驟：圖像數(shù)據(jù)取得步 驟，取得亮度系圖像數(shù)據(jù)，該亮度系圖像數(shù)據(jù)作為是由具有光學(xué)系統(tǒng)的攝像單元所得到的 多個(gè)顏色的每個(gè)顏色的圖像數(shù)據(jù)而生成的與亮度有關(guān)的圖像數(shù)據(jù)；以及復(fù)原處理步驟，使 用所生成的復(fù)原濾波器，對(duì)在圖像數(shù)據(jù)取得步驟中取得的亮度系圖像數(shù)據(jù)實(shí)施復(fù)原處理。
[0037] 此外，本發(fā)明的其他方式提供一種程序，用于生成用于對(duì)亮度系圖像數(shù)據(jù)進(jìn)行復(fù) 原處理的復(fù)原濾波器，該亮度系圖像數(shù)據(jù)是基于由具有光學(xué)系統(tǒng)的攝像單元所得到的多個(gè) 顏色的每個(gè)顏色的圖像數(shù)據(jù)而生成的與亮度有關(guān)的圖像數(shù)據(jù)，所述程序用于使計(jì)算機(jī)執(zhí)行 如下步驟：信息取得步驟，按多個(gè)顏色的每個(gè)顏色取得與光學(xué)系統(tǒng)中的點(diǎn)像分布對(duì)應(yīng)的傳 遞函數(shù)信息；以及復(fù)原濾波器生成步驟，基于通過信息取得步驟而取得的傳遞函數(shù)信息而 生成復(fù)原濾波器，并且，生成根據(jù)多個(gè)顏色中的單色的傳遞函數(shù)信息而進(jìn)行亮度系圖像數(shù) 據(jù)的相位校正的復(fù)原濾波器。
[0038] 發(fā)明效果
[0039] 根據(jù)本發(fā)明，在通過進(jìn)行亮度系圖像數(shù)據(jù)的相位校正而比按每個(gè)顏色進(jìn)行相位校 正時(shí)減輕運(yùn)算負(fù)荷的情況下，能夠防止作為相位偏移的過度恢復(fù)的過校正。
【附圖說明】<