圖像拾取裝置、圖像處理裝置、圖像處理方法和非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及能夠根據(jù)原始圖像產(chǎn)生恢復(fù)圖像的圖像拾取裝置和圖像處理裝置。
【背景技術(shù)】
[0002] 由圖像拾取裝置獲得的原始圖像由于其中包含的圖像模糊分量而劣化，這些圖像 模糊分量是由在圖像拾取光學(xué)系統(tǒng)中發(fā)生的不利影響所引起的。這些不利影響包括各種類 型的像差，諸如球面像差、彗形像差、場(chǎng)彎曲、像散以及光衍射。由這些類型的像差所引起的 這種圖像模糊成分的存在指的是，當(dāng)從一點(diǎn)發(fā)射的光束不遭受任何像差或者衍射時(shí)，該光 束不能會(huì)聚到另一點(diǎn)，而是細(xì)微地圍繞該另一點(diǎn)擴(kuò)散。這種細(xì)微擴(kuò)散分布被以點(diǎn)擴(kuò)散函數(shù) (PSF)表示。
[0003] 通過(guò)PSF的傅里葉變換獲得的光學(xué)傳遞函數(shù)（0TF)是關(guān)于像差的頻率分量信息并 且被以復(fù)數(shù)表示。分別地，0TF的絕對(duì)值（即，幅度分量）被稱為"調(diào)制傳遞函數(shù)"(MTF)，并 且相位分量被稱為"相位傳遞函數(shù)"（PTF)。調(diào)制分量MTF和相位分量PTF分別是由像差所 引起的圖像劣化的幅度分量以及相位分量的頻率特性，并且被以下面的表達(dá)式表示，其中 相位分量被定義為相位角。
[0004]PTF=tarT1(Im(OTF)/Re(0TF))
[0005] 在這個(gè)表達(dá)式中，符號(hào)Re(0TF)和Im(OTF)分別表示0TF的實(shí)部和虛部。如上所 述，因?yàn)閳D像拾取光學(xué)系統(tǒng)的0TF使得圖像的幅度分量和相位分量劣化，所以，如在彗形像 差的情況下所見(jiàn)的，對(duì)象的每個(gè)點(diǎn)在劣化圖像中不對(duì)稱地模糊。在形成圖像的位置由于取 決于每個(gè)光波長(zhǎng)的形成比率的差異而偏移，并且例如根據(jù)圖像拾取裝置的譜特性所形成的 圖像被獲得作為RGB顏色分量的情況下，發(fā)生放大倍率的色差。這指的是R、G和B分量的 成像位置彼此偏移，導(dǎo)致取決于波長(zhǎng)的每個(gè)顏色分量的成像位置偏移，即，由于相移導(dǎo)致的 圖像擴(kuò)散。
[0006] 作為校正幅度分量MTF和相位分量PTF的劣化的方法，已知使用關(guān)于圖像拾取光 學(xué)系統(tǒng)的0TF的信息進(jìn)行校正。該方法一般被稱為圖像恢復(fù)或者圖像重構(gòu)。相應(yīng)地，其中通 過(guò)使用關(guān)于圖像拾取光學(xué)系統(tǒng)的0TF的信息來(lái)校正劣化的拍攝的圖像的處理在下文中被 稱為"圖像恢復(fù)處理"。作為一種圖像恢復(fù)方法，已知相對(duì)于輸入圖像將光學(xué)傳遞函數(shù)（0TF) 的逆特性與圖像恢復(fù)濾波器進(jìn)行卷積的方法，在后面將描述該方法。
[0007] 對(duì)恢復(fù)圖像的有效使用需要獲得關(guān)于圖像拾取光學(xué)系統(tǒng)的0TF更準(zhǔn)確的信息。典 型的圖像拾取光學(xué)系統(tǒng)的0TF根據(jù)像高（圖像中的位置）而極大地不同。另外，因?yàn)?TF 是由復(fù)數(shù)表示的二維數(shù)據(jù)，所以0TF具有實(shí)部與虛部。當(dāng)將針對(duì)包括三種顏色分量（即，紅 (R)、綠（G)和藍(lán)（B))的彩色圖像執(zhí)行圖像恢復(fù)處理時(shí)，由以下表達(dá)式表示具有單個(gè)像高的 0TF數(shù)據(jù)：垂直方向的抽頭數(shù)X水平方向的抽頭數(shù)X2(實(shí)部/虛部）X3 (RGB)。在該表達(dá) 式中，"抽頭數(shù)"指的是0TF數(shù)據(jù)的垂直和水平尺寸。針對(duì)包括像高、F數(shù)（光圈值）、變焦 (焦距）和物距的圖像拾取條件的所有項(xiàng)目而保持的這些抽頭數(shù)導(dǎo)致大的數(shù)據(jù)量。為了改 變?nèi)Q于圖像中的位置的恢復(fù)特性，希望不是以批方式在頻空間中執(zhí)行圖像恢復(fù)處理，而 是在切換恢復(fù)濾波器的同時(shí)在實(shí)空間中執(zhí)行圖像恢復(fù)處理。
[0008]圖像模糊的一個(gè)原因是取決于圖像拾取光學(xué)系統(tǒng)的F數(shù)的光的衍射現(xiàn)象。在示出 了衍射界限曲線的圖9中，水平軸和垂直軸分別指示空間頻率和MTF。如圖9所示，F(xiàn)數(shù)指 示越深的顏色，截止頻率向越低的頻率側(cè)偏移。例如，具有4ym像素尺寸的圖像拾取元件 的奈奎斯特頻率是1251ineS/mm。因此，當(dāng)F數(shù)，例如F2. 8,指示亮色時(shí)，由這種衍射現(xiàn)象所 引起的不利影響的程度是小的。相反，當(dāng)F數(shù)，例如F16或者F32指示暗色時(shí)，這種不利影 響的程度是大的。因?yàn)槿缤癫畹那闆r，可以用0TF或者PSF來(lái)表示衍射現(xiàn)象，所以上述圖 像恢復(fù)處理可以校正由衍射引起的模糊。
[0009]PTL1公開(kāi)了在保持被轉(zhuǎn)換為系數(shù)的用于圖像恢復(fù)的0TF的同時(shí)，根據(jù)圖像拾取 裝置的各種圖像拾取條件來(lái)執(zhí)行圖像恢復(fù)處理的方法。
[0010] 參考文獻(xiàn)列表
[0011] 專利文獻(xiàn)
[0012] [PTL1]日本專利公開(kāi)No. 2012-73691

【發(fā)明內(nèi)容】

[0013] 技術(shù)問(wèn)題
[0014] 然而，0TF根據(jù)光圈值、物距和變焦鏡頭的焦距而不同。此外，0TF還根據(jù)畫面中的 像高而不同。這些事實(shí)導(dǎo)致相當(dāng)大量的全高清晰度0TF數(shù)據(jù)。
[0015] 類似地，針對(duì)單個(gè)圖像執(zhí)行的圖像恢復(fù)處理帶來(lái)了大的計(jì)算量。這是因?yàn)槭褂昧?根據(jù)每個(gè)像高而調(diào)整的〇TF。PTL1中公開(kāi)的方法通過(guò)保持被轉(zhuǎn)換為系數(shù)的用于圖像恢復(fù) 的0TF來(lái)減小數(shù)據(jù)量。然而，需要數(shù)據(jù)量和計(jì)算量的進(jìn)一步減少，因?yàn)樗鼈冇绊憟D像拾取裝 置的圖像處理電路的運(yùn)算速度和圖像拾取裝置的存儲(chǔ)器的成本。
[0016] 因此，本發(fā)明提供了圖像拾取裝置、圖像處理裝置、圖像處理方法和非暫時(shí)性計(jì)算 機(jī)可讀存儲(chǔ)介質(zhì)，其能夠在減少數(shù)據(jù)量和計(jì)算量的同時(shí)執(zhí)行高度準(zhǔn)確的圖像恢復(fù)處理。
[0017] 問(wèn)題的解決方案
[0018] 作為本發(fā)明的一個(gè)方面的圖像拾取裝置能夠根據(jù)原始圖像產(chǎn)生恢復(fù)圖像，并且包 括圖像拾取元件，被配置為對(duì)經(jīng)由圖像拾取光學(xué)系統(tǒng)形成的對(duì)象圖像進(jìn)行光電轉(zhuǎn)換以獲得 原始圖像；存儲(chǔ)單元，被配置為存儲(chǔ)第一光學(xué)傳遞函數(shù)和圖像恢復(fù)濾波器，第一光學(xué)傳遞函 數(shù)根據(jù)圖像拾取條件和原始圖像中的位置而不同，圖像恢復(fù)濾波器的二維濾波器值的分布 相對(duì)于原始圖像中的位置恒定并且根據(jù)光圈值或者被設(shè)計(jì)為產(chǎn)生第二光學(xué)傳遞函數(shù)的函 數(shù)而不同；數(shù)據(jù)獲得單元，被配置為當(dāng)所述光圈值小于預(yù)定值時(shí)獲得第一光學(xué)傳遞函數(shù)，以 及當(dāng)所述光圈值不小于所述預(yù)定值時(shí)獲得所述圖像恢復(fù)濾波器或者基于被設(shè)計(jì)為產(chǎn)生第 二光學(xué)傳遞函數(shù)的函數(shù)而產(chǎn)生的第二光學(xué)傳遞函數(shù)；濾波器產(chǎn)生單元，被配置為當(dāng)所述數(shù) 據(jù)獲得單元獲得第一光學(xué)傳遞函數(shù)或者第二光學(xué)傳遞函數(shù)時(shí)，基于第一光學(xué)傳遞函數(shù)或者 第二光學(xué)傳遞函數(shù)產(chǎn)生圖像恢復(fù)濾波器；和圖像處理單元，被配置為通過(guò)使用存儲(chǔ)在所述 存儲(chǔ)單元中的圖像恢復(fù)濾波器或者由所述濾波器產(chǎn)生單元產(chǎn)生的圖像恢復(fù)濾波器，根據(jù)原 始圖像產(chǎn)生恢復(fù)圖像。
[0019] 作為本發(fā)明的另一方面的圖像處理裝置能夠根據(jù)原始圖像產(chǎn)生恢復(fù)圖像，并且包 括獲得單元，被配置為獲得原始圖像和原始圖像的圖像拾取條件；存儲(chǔ)單元，被配置為存儲(chǔ) 第一光學(xué)傳遞函數(shù)和圖像恢復(fù)濾波器，第一光學(xué)傳遞函數(shù)根據(jù)圖像拾取條件并且根據(jù)原始 圖像中的位置而不同，并且圖像恢復(fù)濾波器的二維濾波器值的分布相對(duì)于原始圖像中的位 置是恒定的并且根據(jù)光圈值或者被設(shè)計(jì)為產(chǎn)生第二光學(xué)傳遞函數(shù)的函數(shù)而不同；數(shù)據(jù)獲得 單元，被配置為當(dāng)所述光圈值小于預(yù)定值時(shí)獲得第一光學(xué)傳遞函數(shù)，并且當(dāng)所述光圈值不 小于所述預(yù)定值時(shí)，獲得所述圖像恢復(fù)濾波器或者基于被設(shè)計(jì)為產(chǎn)生所述第二光學(xué)傳遞函 數(shù)的函數(shù)而產(chǎn)生的第二光學(xué)傳遞函數(shù)；濾波器產(chǎn)生單元，被配置為當(dāng)所述數(shù)據(jù)獲得單元獲 得第一光學(xué)傳遞函數(shù)或者第二光學(xué)傳遞函數(shù)時(shí)，基于第一光學(xué)傳遞函數(shù)或者第二光學(xué)傳遞 函數(shù)，產(chǎn)生圖像恢復(fù)濾波器；和圖像處理單元，被配置為通過(guò)使用存儲(chǔ)在所述存儲(chǔ)單元中的 圖像恢復(fù)濾波器或者由所述濾波器產(chǎn)生單元產(chǎn)生的圖像恢復(fù)濾波器，根據(jù)原始圖像產(chǎn)生恢 復(fù)圖像。
[0020] 作為本發(fā)明的另一方面的圖像處理方法是一種根據(jù)原始圖像產(chǎn)生恢復(fù)圖像的方 法，并且包括步驟：獲得原始圖像和原始圖像的圖像拾取條件，從存儲(chǔ)單元獲得第一光學(xué) 傳遞函數(shù)，所述存儲(chǔ)單元存儲(chǔ)當(dāng)所述圖像拾取條件的光圈值小于預(yù)定值時(shí)將被使用的第一 光學(xué)傳遞函數(shù)，第一光學(xué)傳遞函數(shù)根據(jù)圖像拾取條件以及原始圖像中的位置而不同，并且 所述存儲(chǔ)單元存儲(chǔ)當(dāng)所述光圈值不小于所述預(yù)定值時(shí)將被使用的圖像恢復(fù)濾波器，圖像恢 復(fù)濾波器的二維濾波器值的分布相對(duì)于原始圖像中的位置是恒定的并且根據(jù)光圈值或者 被設(shè)計(jì)為產(chǎn)生第二光學(xué)傳遞函數(shù)的函數(shù)而不同，當(dāng)所述光圈值不小于所述預(yù)定值時(shí)，從所 述存儲(chǔ)單元獲得所述圖像恢復(fù)濾波器或者基于被設(shè)計(jì)為產(chǎn)生第二光學(xué)傳遞函數(shù)的函數(shù)而 產(chǎn)生的第二光學(xué)傳遞函數(shù)，當(dāng)數(shù)據(jù)獲得單元獲得第一光學(xué)傳遞函數(shù)或者第二光學(xué)傳遞函數(shù) 時(shí)，基于第一光學(xué)傳遞函數(shù)或者第二光學(xué)傳遞函數(shù)產(chǎn)生圖像恢復(fù)濾波器，以及通過(guò)使用存 儲(chǔ)在所述存儲(chǔ)單元中的圖像恢復(fù)濾波器或者由濾波器產(chǎn)生單元產(chǎn)生的圖像恢復(fù)濾波器，根 據(jù)所述原始圖像產(chǎn)生恢復(fù)圖像。
[0021] 作為本發(fā)明的另一方面的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)圖像處理程序，以便 根據(jù)原始圖像產(chǎn)生恢復(fù)圖像，并且所述圖像處理程序被配置為使得信息處理裝置執(zhí)行步 驟：獲得原始圖像和原始圖像的圖像拾取條件，從存儲(chǔ)單元獲得第一光學(xué)傳遞函數(shù)，所述存 儲(chǔ)單元存儲(chǔ)當(dāng)所述圖像拾取條件的光圈值小于預(yù)定值時(shí)將被使用的第一光學(xué)傳遞函數(shù)，第 一光學(xué)傳遞函數(shù)根據(jù)圖像拾取條件并且根據(jù)原始圖像中的位置而不同，并且所述存儲(chǔ)單元 存儲(chǔ)當(dāng)所述光圈值不小于所述預(yù)定值時(shí)將被使用的圖像恢復(fù)濾波器，圖像恢復(fù)濾波器的二 維濾波器值的分布相對(duì)于原始圖像中的位置是恒定的并且根據(jù)光圈值或者被設(shè)計(jì)為產(chǎn)生 第二光學(xué)傳遞函數(shù)的函數(shù)而不同，當(dāng)所述光圈值不小于預(yù)定值時(shí)，從所述存儲(chǔ)單元獲得所 述圖像恢復(fù)濾波器或者基于被設(shè)計(jì)為產(chǎn)生第二光學(xué)傳遞函數(shù)的函數(shù)而產(chǎn)生的第二光學(xué)傳 遞函數(shù)，當(dāng)數(shù)據(jù)獲得單元獲得第一光學(xué)傳遞函數(shù)或者第二光學(xué)傳遞函數(shù)時(shí)，基于第一光學(xué) 傳遞函數(shù)或者第二光學(xué)傳遞函數(shù)產(chǎn)生圖像恢復(fù)濾波器，以及通過(guò)使用存儲(chǔ)在所述存儲(chǔ)單元 中的圖像恢復(fù)濾波器或者由濾波器產(chǎn)生單元產(chǎn)生的圖像恢復(fù)濾波器，根據(jù)所述原始圖像產(chǎn) 生恢復(fù)圖像。
[0022] 作為本發(fā)明的另一方面的圖像拾取裝置能夠根據(jù)原始圖像產(chǎn)生恢復(fù)圖像，并且包 括圖像拾取元件，被配置為對(duì)經(jīng)由圖像拾取光學(xué)系統(tǒng)形成的對(duì)象圖像進(jìn)行光電轉(zhuǎn)換以便獲 得原始圖像；存儲(chǔ)單元，被配置為存儲(chǔ)多個(gè)圖像恢復(fù)濾波器，所述圖像恢復(fù)濾波器的二維濾 波器值的分布根據(jù)光圈值而不同；確定單元，被配置為確定拍攝原始圖像時(shí)設(shè)置的光圈值 是否不小于預(yù)定值；和圖像處理單元，被配置為當(dāng)所述光圈值不小于所述預(yù)定值時(shí)根據(jù)光 圈值從圖像恢復(fù)濾波器選擇圖像恢復(fù)濾波器，以便通過(guò)使用選擇的圖像恢復(fù)濾波器，根據(jù) 原始圖像產(chǎn)生恢復(fù)圖像。
[0023] 作為本發(fā)明的另一方面的圖像處理裝置能夠根據(jù)原始圖像產(chǎn)生恢復(fù)圖像，并且包 括獲得單元，被配置為獲得原始圖像和拍攝所述原始圖像時(shí)設(shè)置的光圈值；存儲(chǔ)單元，被配 置為存儲(chǔ)多個(gè)圖像恢復(fù)濾波器，所述圖像恢復(fù)濾波器的二維濾波器值的分布根據(jù)光圈值而 不同；確定單元，被配置為確定拍攝原始圖像時(shí)設(shè)置的光圈值是否不小于一個(gè)預(yù)定值；和 圖像處理單元，被配置為當(dāng)所述光圈值不小于所述預(yù)定值時(shí)根據(jù)光圈值從圖像恢復(fù)濾波器 選擇圖像恢復(fù)濾波器，以便通過(guò)使用選擇的圖像恢復(fù)濾波器根據(jù)原始圖像產(chǎn)生恢復(fù)圖像。
[0024] 作為本發(fā)明的另一方面的圖像處理方法是一種根據(jù)原始圖像產(chǎn)生恢復(fù)圖像的方 法，并且包括步驟：獲得原始圖像和拍攝原始圖像時(shí)設(shè)置的光圈值，確定所述光圈值是否不 小于一個(gè)預(yù)定值，以及當(dāng)所述光圈值不小于所述預(yù)定值時(shí)，從根據(jù)光圈值而不同的多個(gè)圖 像恢復(fù)濾波器中選擇對(duì)應(yīng)于所述光圈值的圖像恢復(fù)濾波器，并且通過(guò)使用選擇的圖像恢復(fù) 濾波器，根據(jù)所述原始圖像產(chǎn)生恢復(fù)圖像。
[0025] 作為本發(fā)明的另一方面的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)圖像處理程序，以便 根據(jù)原始圖像產(chǎn)生恢復(fù)圖像，并且所述圖像處理程序被配置為使得信息處理裝置執(zhí)行：獲 得原始圖像和當(dāng)拍攝所述原始圖像時(shí)設(shè)置的光圈值，確定所述光圈值是否不小于一個(gè)預(yù)定 值，當(dāng)所述光圈值不小于所述預(yù)定值時(shí)，從根據(jù)光圈值而不同的多個(gè)圖像恢復(fù)濾波器中選 擇對(duì)應(yīng)于所述光圈值的圖像恢復(fù)濾波器，和通過(guò)使用選擇的圖像恢復(fù)濾波器，根據(jù)所述原 始圖像產(chǎn)生恢復(fù)圖像。
[0026] 作為本發(fā)明的另一方面的圖像拾取裝置能夠通過(guò)相對(duì)于原始圖像使用圖像恢復(fù) 濾波器來(lái)產(chǎn)生恢復(fù)圖像，并且包括圖像拾取元件，被配置為對(duì)經(jīng)由圖像拾取光學(xué)系統(tǒng)形成 的對(duì)象圖像進(jìn)行光電轉(zhuǎn)換來(lái)獲得原始圖像；確定單元，被配置為確定拍攝所述原始圖像時(shí) 設(shè)置的光圈值是否不小于一個(gè)預(yù)定值；存儲(chǔ)單元，被配置為存儲(chǔ)對(duì)應(yīng)于光圈值而準(zhǔn)備的多 個(gè)圖像恢復(fù)濾波器；選擇單元，被配置為當(dāng)拍攝原始圖像時(shí)設(shè)置的光圈值不小于所述預(yù)定 值時(shí)，從圖像恢復(fù)濾波器中選擇對(duì)應(yīng)于所述光圈值的圖像恢復(fù)濾波器；和圖