進(jìn)行圖像恢復(fù)處理的圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及進(jìn)行圖像恢復(fù)處理的圖像處理設(shè)備和圖像處理方法，尤其涉及用于校正劣化圖像的處理。
【背景技術(shù)】
[0002]通常，在通過使用諸如數(shù)字照相機(jī)等的攝像設(shè)備拍攝被攝體來獲得圖像的情況下，該圖像例如由于攝像光學(xué)系統(tǒng)的像差而大幅劣化(即，圖像變模糊)。圖像的模糊通常是由攝像光學(xué)系統(tǒng)的球面像差、彗星像差、像場彎曲或像散像差等所引起的。在無任何衍射影響的消球差狀態(tài)中，來自被攝體的一點(diǎn)的光束在攝像裝置的攝像面上再次收斂于一點(diǎn)。另一方面，如果存在任何上述像差，則應(yīng)當(dāng)在攝像面上再次收斂于一點(diǎn)的光發(fā)散而導(dǎo)致在如此形成的圖像上產(chǎn)生模糊成分。
[0003]圖像上產(chǎn)生的模糊成分是通過點(diǎn)擴(kuò)散函數(shù)(PSF)光學(xué)地進(jìn)行定義的。盡管失焦的圖像也變模糊，但這里，將即使在圖像聚焦的情況下攝像光學(xué)系統(tǒng)的像差所引起的圖像的模糊也稱為“模糊”。關(guān)于彩色圖像上的滲色，可以將由攝像光學(xué)系統(tǒng)的軸向色像差、顏色的球面像差和顏色的彗星像差所引起的滲色稱為依賴于光的波長的不同方式的模糊。此外，關(guān)于圖像的水平方向上的顏色偏移，可以將攝像光學(xué)系統(tǒng)的倍率色像差(lateralchromatic aberrat1n)所引起的顏色偏移稱為由依賴于光的波長的不同的攝像倍率所弓I起的位置偏移或相位偏移。
[0004]通過對(duì)上述PSF進(jìn)行傅立葉變換所獲得的光學(xué)傳遞函數(shù)(OTF)是像差的頻率成分，并且由復(fù)數(shù)來表示。將光學(xué)傳遞函數(shù)(OTF)(以下將“光學(xué)傳遞函數(shù)”適當(dāng)簡稱為“0TF”)的絕對(duì)值、即振幅成分稱為調(diào)制傳遞函數(shù)(MTF)，并且將相位成分稱為相位傳遞函數(shù)(PTF) ο
[0005]這些MTF和PTF分別是像差所引起的圖像的劣化的振幅成分和相位成分的頻率特性。通過以下的等式(I)來將相位成分表示為相位角。注意，Re (OTF)和Im(OTF)分別表示OTF的實(shí)部和虛部:
[0006]PTF = tan 1 {Im (OTF) /Re (OTF)}...(I)
[0007]攝像光學(xué)系統(tǒng)中的OTF使圖像的振幅成分和相位成分劣化，因而在劣化圖像中，例如在由彗星像差引起劣化的情況下，被攝體的各點(diǎn)以非對(duì)稱的方式變模糊。此外，在由倍率色像差引起劣化的情況下，成像位置由于光學(xué)波長之間不同的成像倍率而偏移，并且在根據(jù)從被攝體所反射的光的光譜特性而接收到光作為RGB顏色成分的情況下，這導(dǎo)致在這些顏色成分之間產(chǎn)生不同的圖像倍率。
[0008]這導(dǎo)致不僅在紅色、綠色和藍(lán)色(RGB)的成分之間產(chǎn)生成像位置的偏移，而且在各顏色成分中在各波長之間也產(chǎn)生成像位置的偏移。也就是說，圖像因相位偏移而發(fā)散。確切地說，倍率色像差不會(huì)產(chǎn)生簡單的平行顏色偏移。然而，除非另外說明，否則以下將假定顏色偏移具有與倍率色像差相同的含義來進(jìn)行說明。
[0009]作為校正振幅(MTF)的劣化和相位(PTF)的劣化的方法，例如，已知有使用攝像光學(xué)系統(tǒng)的OTF來校正劣化的方法。將該方法稱為圖像恢復(fù)或圖像復(fù)原。在以下說明中，將用于使用攝像光學(xué)系統(tǒng)的OTF來校正圖像的劣化的處理稱為圖像恢復(fù)處理或簡稱為恢復(fù)處理。
[0010]現(xiàn)在將說明圖像恢復(fù)處理的概述。假定利用g(x，y)表示劣化圖像、利用f (X，y)表示原始圖像，并且利用h(x，y)表示通過對(duì)OTF進(jìn)行逆傅立葉變換所獲得的PSF。在這種情況下，以下等式⑵成立。注意，*表示卷積，并且(x，y)表示圖像上的坐標(biāo)。
[0011]g(x,y) = h(x,y)*f(x,y)…(2)
[0012]在通過傅立葉變換將等式(2)轉(zhuǎn)換成基于頻率的形式的情況下，如通過以下的等式(3)所示，這樣給出了針對(duì)各頻率的積的形式。注意，H表示PSF的傅立葉變換的結(jié)果、即0TF，并且G和F分別表示劣化圖像g和原始圖像f的傅立葉變換的結(jié)果。(U，V)的值表示二維頻率面上的點(diǎn)的坐標(biāo)、g卩頻率。
[0013]G (U，V) =H (U，V).F (u, v) …(3)
[0014]為了根據(jù)通過拍攝所獲得的劣化圖像獲得原始圖像，如通過以下的等式(4)所示，僅需將等式⑶的兩側(cè)除以H。
[0015]G (u, v) /H (u, v) = F (u, v)...(4)
[0016]通過對(duì)等式(4)中的F(u，v)進(jìn)行逆傅立葉變換而返回至實(shí)面，可以獲得原始圖像f(x, y)作為恢復(fù)圖像。
[0017]這里，在假定利用R來表示通過對(duì)等式(4)中的1/H進(jìn)行逆傅立葉變換所得到的結(jié)果的情況下，通過在實(shí)面上對(duì)圖像進(jìn)行卷積處理，如通過以下的等式(5)所示，可以同樣獲得原始圖像。
[0018]g(x, y)*R(x, y) = f (x, y)…(5)
[0019]將等式(5)中的R(x，y)稱為圖像恢復(fù)濾波器。實(shí)際圖像具有噪聲成分，因而如果如上所述使用通過OTF的倒數(shù)所生成的圖像恢復(fù)濾波器，則噪聲成分連同劣化圖像一起被放大，結(jié)果無法獲得良好圖像。
[0020]為了防止噪聲成分被放大，例如，提出了如Wiener濾波器那樣、用于根據(jù)圖像和噪聲之間的強(qiáng)度比來抑制圖像中的高頻成分的恢復(fù)率的方法。此外，作為用于校正圖像中的由滲色成分所引起的劣化的方法，提出了用于通過對(duì)上述模糊成分進(jìn)行校正以使得模糊量針對(duì)圖像的各顏色成分變均勻來校正滲色成分的方法。
[0021]OTF根據(jù)諸如變焦位置的狀態(tài)和光圈直徑的狀態(tài)等的拍攝狀態(tài)而改變。因此，還要求圖像恢復(fù)處理中所使用的圖像恢復(fù)濾波器根據(jù)拍攝狀態(tài)而改變。例如，在用于觀察生物體內(nèi)部的內(nèi)窺鏡中，提出了用于使用與熒光波長相對(duì)應(yīng)的PSF來在攝像部的聚焦范圍外的范圍中消除圖像模糊的方法(參見日本特開平10-165365)。在該方法中，由于熒光微弱，因此需要F值小的物鏡光學(xué)系統(tǒng)。然而，如果使用F值小的物鏡光學(xué)系統(tǒng)，則焦深變淺，因而通過針對(duì)被攝體失焦的范圍進(jìn)行圖像恢復(fù)處理來獲得聚焦圖像。
[0022]如上所述，對(duì)通過拍攝所獲得的圖像進(jìn)行圖像恢復(fù)處理，以由此校正上述的各種類型的像差，由此可以提高圖像質(zhì)量。然而，在進(jìn)行拍攝時(shí)，拍攝狀態(tài)和圖像恢復(fù)濾波器的狀態(tài)并非始終最佳地一致。例如，在拍攝三維被攝體的情況下，發(fā)生這種問題。
[0023]在攝像設(shè)備中，通過使用自動(dòng)調(diào)焦或手動(dòng)調(diào)焦聚焦于被攝體空間的一個(gè)面來進(jìn)行拍攝。如此，在被攝體為三維的情況下，被攝體距離根據(jù)視角而不同。聚焦物體以相對(duì)清晰的狀態(tài)被拍攝，但失焦物體伴隨有依賴于距離的模糊量而被拍攝。在僅針對(duì)聚焦點(diǎn)獲取到與被攝體距離有關(guān)的信息的情況下，選擇或生成最適合該被攝體距離中的各視角的圖像恢復(fù)濾波器以供使用。
[0024]在經(jīng)過圖像恢復(fù)處理之后的圖像中，圖像恢復(fù)濾波器最適合聚焦物體，因而可以獲得期望的銳度。另一方面，圖像恢復(fù)濾波器不是最適合失焦物體，因而盡管獲得了某種程度的恢復(fù)效果，但圖像仍模糊。
[0025]另一方面，傳統(tǒng)上，已知如下:依賴于被攝體距離的模糊程度在表現(xiàn)被攝體的三維感或與背景隔離地表現(xiàn)所觀看物體方面產(chǎn)生良好效果。例如，通過使用景深淺的遠(yuǎn)攝透鏡，以主被攝體聚焦但背景有意變模糊的方式來表現(xiàn)圖像。在這種情況下，同樣在經(jīng)過圖像恢復(fù)處理之后的圖像中，期望使聚焦物體變清晰，但失焦物體仍保持模糊，并且通過使用上述的圖像恢復(fù)方法來進(jìn)行模糊表現(xiàn)。
[0026]然而，如果使用并非最適合失焦物體的距離的圖像恢復(fù)濾波器來對(duì)失焦物體進(jìn)行圖像恢復(fù)處理，則在圖像上有時(shí)發(fā)生著色。注意，術(shù)語“著色”是指:由于失焦物體的邊緣部上的各顏色成分之間的模糊關(guān)系在執(zhí)行圖像恢復(fù)處理之前和之后有所不同，因此在經(jīng)過圖像恢復(fù)處理之后的圖像上產(chǎn)生顏色未包括在被攝體中的缺陷。
[0027]此外，這種著色有時(shí)不僅僅發(fā)生在三維被攝體的拍攝中。更具體地，如果例如由于攝像光學(xué)系統(tǒng)的制造偏差或拍攝時(shí)的光源光譜的變化因而實(shí)際拍攝狀態(tài)中的像差狀態(tài)和圖像恢復(fù)濾波器作為對(duì)象的像差狀態(tài)不同，則發(fā)生著色，而與被攝體是否聚焦無關(guān)。
[0028]作為抑制上述著色的方法，例如，提出了用于基于進(jìn)行了圖像恢復(fù)處理之前的圖像中的顏色信息來校正進(jìn)行了圖像恢復(fù)處理之后的圖像的顏色的方法。在該方法中，針對(duì)圖像的各像素判斷由圖像恢復(fù)處理所引起的顏色的變化，由此抑制由圖像恢復(fù)處理所引起的著色。
[0029]例如，提出了用于在經(jīng)過圖像恢復(fù)處理之后的圖像中的色差變得大于進(jìn)行圖像恢復(fù)處理之前的色差的情況下對(duì)信號(hào)值進(jìn)行校正以減少色差量的方法(例如，參見日本特開2010-86138)。
[0030]如上所述，通過對(duì)拍攝所獲得的圖像進(jìn)行圖像恢復(fù)處理以減輕例如在失焦物體的圖像上發(fā)生的著色、并且校正各種類型的像差，可以提高圖像質(zhì)量。
[0031]然而，在進(jìn)行拍攝時(shí)，在攝像裝置所進(jìn)行的光電轉(zhuǎn)換期間產(chǎn)生噪聲，由此在圖像中包含噪聲成分。通常，攝像裝置的感光度被設(shè)置得越高，該噪聲越大。在根據(jù)恢復(fù)處理之前和之后的色差來對(duì)包含光電轉(zhuǎn)換期間所產(chǎn)生的大量噪聲的圖像進(jìn)行著色抑制處理的情況下，圖像的被攝體的色感有時(shí)改變或不準(zhǔn)確。
[0032]圖20A?20E是用于說明在包含攝像裝置所進(jìn)行的光電轉(zhuǎn)換期間所產(chǎn)生的噪聲的圖像中在經(jīng)過恢復(fù)處理之前和之后沿一條線的G信號(hào)和R信號(hào)的像素值以及G信號(hào)和R信號(hào)之間的色差的圖。圖20A示出恢復(fù)處理之前的像素值的變化，而圖20B示出恢復(fù)處理之后的像素值的變化。圖20C示出恢復(fù)處理之前的色差的變化，而圖20D示出恢復(fù)處理之后的色差的變化。此外，圖20E示出恢復(fù)處理之前和之后的色差的比較。
[0033]在該示例中，盡管被攝體的亮度和顏色的變化小，但如圖20A所示，像素值由于圖像恢復(fù)處理之前所產(chǎn)生的噪聲而改變。如上所述，期望通過考慮到噪聲的放大來形成圖像恢復(fù)處理中所使用的圖像恢復(fù)濾波器。
[0034]然而，難以將因攝像光學(xué)系統(tǒng)的像差而發(fā)生劣化的劣化圖像與噪聲成分完全分開，因而噪聲因圖像恢復(fù)處理而被放大。也就是說，如圖20B所示，在圖像恢復(fù)處理之后，像素值的變化沒有減小。注意，在圖20B中，“R”表示應(yīng)用圖像恢復(fù)濾波器之后的R信號(hào)值，并且“R’”表示進(jìn)行了用于抑制著色的校正的信號(hào)值。
[0035]圖20C示出圖像恢復(fù)處理之前的色差，并且這里色差是指G信號(hào)和R信號(hào)之間的差(R-G)。圖20D示出圖像恢復(fù)處理之后的色差，其中“Cr”表示應(yīng)用圖像恢復(fù)濾波器之后的色差，并且“Cr’ ”表示進(jìn)行了用于抑制著色的校正的色差。在該示例中，針對(duì)相比圖像恢復(fù)處理之前、在經(jīng)過圖像恢復(fù)處理之后色差變大的像素對(duì)R信號(hào)進(jìn)行校正，使得減小了色差量。
[0036]圖20E示出以在圖像恢復(fù)