使用顏色相關(guān)波前編碼擴(kuò)展透鏡系統(tǒng)中景深的系統(tǒng)和方法
【專利摘要】用于生成具有擴(kuò)展景深的圖像的光學(xué)系統(tǒng)。該系統(tǒng)包括：相位掩模和有色波前編碼透鏡。有色波前編碼透鏡通過在由透鏡創(chuàng)建的圖像中生成指定色差來提供光的軸向色分離。相位掩模驅(qū)使光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)在遠(yuǎn)離像平面的指定范圍內(nèi)保持基本恒定，并且系統(tǒng)的光學(xué)傳遞函數(shù)在至少一個(gè)感興趣的光譜通帶內(nèi)不包含零值?？梢栽趫D像上執(zhí)行數(shù)字處理以通過反轉(zhuǎn)由相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成最終圖像。
【專利說明】使用顏色相關(guān)波前編碼擴(kuò)展透鏡系統(tǒng)中景深的系統(tǒng)和方法
[0001]相關(guān)申請
[0002]名為“Extended Depth Of Field Optical System (擴(kuò)展景深光學(xué)系統(tǒng))”的第7，218，448號(hào)美國專利通過引用包括在本文中。
【背景技術(shù)】
[0003]典型的相機(jī)具有有限的景深(焦深)。景深取決于相機(jī)的光圈，而較小的光圈獲得相對較大的景深(例如，針孔相機(jī)提供無窮的景深)。然而，大光圈和大景深是同時(shí)所被希望的。對于該問題的一個(gè)通用方法是“波前編碼”，“波前編碼”提供具有擴(kuò)展景深(EDoF)的圖像。在這個(gè)基本方法中，所希望的是進(jìn)一步擴(kuò)展透鏡系統(tǒng)的景深以改善相機(jī)性能。

【發(fā)明內(nèi)容】

[0004]本發(fā)明使用相位掩模(獨(dú)立的相位掩?；蛘哒现连F(xiàn)有透鏡元件中的相位掩模)，以顏色相關(guān)方式對圖像波前編碼，從而使用對于各個(gè)顏色通道(R、G和B)獨(dú)立的不同光學(xué)傳遞函數(shù)(0TF)生成軸向分離的圖像，并且單獨(dú)的顏色通道的0TF展現(xiàn)擴(kuò)展景深并且在有限的空間頻率范圍內(nèi)不包含零值。
[0005]在一個(gè)實(shí)施方式中，只有單一的顏色通道與單一的反褶積濾光片進(jìn)行處理，代替單獨(dú)的顏色通道的獨(dú)立處理。在該實(shí)施方式中，所用信號(hào)處理是RGB顏色空間指YUV顏色空間的圖像轉(zhuǎn)換，使用預(yù)先測量的點(diǎn)擴(kuò)散函數(shù)或取自模型的點(diǎn)擴(kuò)散函數(shù)的Y通道的反褶積，然后轉(zhuǎn)換回RGB顏色空間。U通道和Y通道未處理。
【專利附圖】

【附圖說明】
[0006]圖1A是示出本系統(tǒng)的一個(gè)實(shí)施方式的示例性部件的視圖；
[0007]圖1B是示出示例性集成掩模/透鏡的視圖；
[0008]圖2是示出在一個(gè)實(shí)施方式中通過本系統(tǒng)執(zhí)行的示例性步驟的流程圖；
[0009]圖3是示出使用波前編碼的圖像處理中執(zhí)行的示例性步驟的視圖；
[0010]圖4是示出示例性色差透鏡的結(jié)合后的EDoF的視圖；
[0011]圖5A是示出現(xiàn)有技術(shù)的拜耳馬賽克圖案的視圖；以及
[0012]圖5B是示出根據(jù)本系統(tǒng)修改的拜耳馬賽克圖案的視圖；以及
[0013]圖5C是包括單元陣列的彩色濾光片馬賽克的示例性視圖。
【具體實(shí)施方式】
[0014]圖1A是示出用于提供擴(kuò)展景深(EDoF)的本光學(xué)系統(tǒng)100的視圖。如圖1A所示，在示例性實(shí)施方式中，本系統(tǒng)100包括:顏色相關(guān)波前編碼透鏡系統(tǒng)104，顏色相關(guān)波前編碼透鏡系統(tǒng)104包括相位掩模101 (或內(nèi)嵌有相位掩模功能的現(xiàn)有透鏡元件(例如，透鏡103? ;以及成像透鏡(或復(fù)合透鏡組件)103，用于將從物體接收到的光107聚焦到像平面127中。光學(xué)系統(tǒng)100還包括:圖像傳感器105 (例如，電荷耦合器件“CXD”或者互補(bǔ)金屬氧化物半導(dǎo)體器件“CMOS”)，圖像傳感器105的一個(gè)表面與像平面127相鄰，以捕捉入射在像平面處的光的電表示。系統(tǒng)100還包括:處理器110，具有關(guān)聯(lián)存儲(chǔ)器115，存儲(chǔ)器115中存儲(chǔ)有圖像處理算法118和由傳感器105捕捉到的數(shù)字圖像120。
[0015]傳感器105具有覆蓋彩色濾光片馬賽克117，覆蓋彩色濾光片馬賽克117可以具有拜耳圖案或其他馬賽克圖案，如將在下面就圖5描述的圖案。彩色濾光片馬賽克117由此向傳感器105的特定群組的像素提供，以便以感興趣的不同光譜通帶操作，其中各個(gè)感興趣的光譜通帶由通過濾光片馬賽克117的類似元件傳遞至其相應(yīng)像素的波長范圍構(gòu)成。傳感器105提供有限的空間頻率范圍內(nèi)的輸出，也就是說，由傳感器的像素到像素間距最終限制的空間頻率范圍，但也可以被定義成比由像素到像素間距限制的范圍小的空間頻率。
[0016]本透鏡系統(tǒng)104并入有色波前編碼元件或透鏡，103，以通過將透鏡103設(shè)計(jì)成提供預(yù)定量的色差而實(shí)現(xiàn)軸向色分離，而同時(shí)，至少一個(gè)顏色通道的光學(xué)傳遞函數(shù)(0TF)在擴(kuò)展焦深內(nèi)的一定范圍的空間頻率上不包含零值。透鏡103由此在下文中稱為“有色波前編碼透鏡”。
[0017]集成掩模/透鏡
[0018]圖1B是示出示例性集成掩模/透鏡106的視圖。在一個(gè)實(shí)施方式中，如圖1B所示，透鏡系統(tǒng)104包括:波前編碼相位掩模，與有色波前編碼透鏡集成，以形成專門設(shè)計(jì)成提供有色波前編碼功能的單一的集成相位掩模/有色波前編碼透鏡106。本文中描述的各個(gè)實(shí)施方式將波前編碼與色差結(jié)合以提供EDoF，并且是在下面描述的波前編碼成像技術(shù)的實(shí)現(xiàn)。
[0019]通過波前編碼成像
[0020]波前編碼以這樣的方式對基于傳感器的光學(xué)系統(tǒng)進(jìn)行修改，S卩，以便保持將在光學(xué)像差(如散焦)的存在下形成的圖像的某些方面。當(dāng)最終(例如，人眼可見)圖像是所希望的，則可以采用信號(hào)處理以對形成在傳感器上的中間圖像解碼。信號(hào)處理是通過相位掩模(如元件101)的使用由系統(tǒng)光學(xué)器件壓印在波前上的編碼所確定的。該信號(hào)處理顧及由傳感器的像素陣列的寬度、高度和間距提供的空間結(jié)合。使用波前編碼的系統(tǒng)中的最終圖像是對波前編碼的光學(xué)器件和對中間圖像解碼以形成最終圖像的信號(hào)處理的結(jié)合的結(jié)果。
[0021]更具體地，在波前編碼中，對于透鏡的合適的光學(xué)傳遞函數(shù)通過特殊設(shè)計(jì)的相位掩模(波前編碼元件)的使用而創(chuàng)建，以產(chǎn)生具有可操作信息(如景深)的圖像的點(diǎn)擴(kuò)散函數(shù)。相位掩模使光學(xué)傳遞函數(shù)在遠(yuǎn)離透鏡的在焦位置或像平面的一些范圍內(nèi)保持基本恒定。相位掩模被構(gòu)建和定位以改變光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)，從而使得改變后的光學(xué)傳遞函數(shù)在比由未改變的光學(xué)傳遞函數(shù)所提供的更大的物距范圍上基本不受物體與透鏡之間的未知距離的影響。在更大的物距范圍上的0TF的不敏感性意味著產(chǎn)生的圖像不受這種距離范圍的影響，也就是說，系統(tǒng)的景深增加。然而，增加后的景深通常導(dǎo)致調(diào)制傳遞函數(shù)(MTF)的下降，數(shù)學(xué)上定義為0TF的模量，并且與空間頻率范圍上的圖像的對比度對應(yīng)。MTF更高，則給定空間頻率處的對比度更高。
[0022]可以使用數(shù)字處理以撤銷掩模的MTF下降，由此使圖像的對比度恢復(fù)，而改變后的0TF意味著圖像在擴(kuò)展景深上保持聚焦。在存儲(chǔ)圖像上執(zhí)行景深后處理以通過撤銷由相位掩模導(dǎo)致的MTF下降使圖像恢復(fù)，從而除去掩模(除了增加的景深以外)的效果。
[0023]用于擴(kuò)展光學(xué)系統(tǒng)的景深的相位掩模101可以通過檢查幾個(gè)候選掩模函數(shù)的模糊函數(shù)而構(gòu)建，以確定哪個(gè)特定掩模函數(shù)具有在物距的預(yù)定或指定范圍上最接近恒定的光學(xué)傳遞函數(shù)，并且制造具有該特定候選的掩模函數(shù)的掩模。例如，指定范圍可以是正常景深的1.001倍，或者正常景深的2或更多倍。
[0024]本方法采用相位掩模(例如，圖1A中的相位掩模101)以點(diǎn)擴(kuò)散函數(shù)(PSF)容許離焦的方式對非相干成像系統(tǒng)(例如，波前編碼透鏡系統(tǒng)104)進(jìn)行修改，而光學(xué)傳遞函數(shù)(0TF)在感興趣的光譜通帶內(nèi)(例如，光學(xué)系統(tǒng)的各個(gè)顏色通道內(nèi))不具有零值區(qū)域，由此允許數(shù)字處理被用于使采樣的中間圖像的對比度恢復(fù)。
[0025]此外，因?yàn)?TF容許離焦，相同的數(shù)字處理使圖像的對比度恢復(fù)以用于更寬范圍的離焦。該結(jié)合后的光學(xué)數(shù)字系統(tǒng)產(chǎn)生相當(dāng)于衍射限的PSF但在焦點(diǎn)的更大得多區(qū)域上的PSF。本文中使用術(shù)語“波前編碼”以描述修改非相干光學(xué)系統(tǒng)和接收到的非相干波前的一般處理，該處理是通過相位掩模對非相干光學(xué)系統(tǒng)和接收到的非相干波前進(jìn)行修改，以相比于不具有相位掩模的未修改的0TF使得改變后的0TF不受物距的影響，并且不會(huì)將零值引入到0TF中。通過僅修改接收到的波前的相位，具體波前編碼技術(shù)允許在沒有光損失的情況下實(shí)現(xiàn)EDoF。
[0026]在本文所不的各個(gè)實(shí)施方式中，透鏡系統(tǒng)104包括相位掩模，相位掩模取EDoF表面的形式，例如，立方體。
[0027]下面的方程式1，描述立方體相位掩模的形式:
[0028]方稈式1
[0029]z=a (x3+y3)
[0030]其中α是用于控制波前調(diào)制的上限量的度量常數(shù)，1和7是垂直于光學(xué)軸線的空間坐標(biāo)。
[0031]如果具有通過方程式1數(shù)學(xué)描述的形式的光學(xué)表面被置于透鏡系統(tǒng)(如圖1Α中所示的波前編碼透鏡系統(tǒng)104)的孔徑光闌中，或者如果該形式是與靠近孔徑光闌的透鏡結(jié)合以生成如圖1Β中所示的集成掩模/透鏡元件106，則可以擴(kuò)展透鏡系統(tǒng)的焦深。相位掩模的各個(gè)類型具有操作范圍，在該操作范圍上具有擴(kuò)展景深。在描述簡單的立方體相位系統(tǒng)的方程式1上，該范圍是由α值確定。
[0032]可以通過反褶積濾光片的使用來移除相位掩模的效果，反褶積濾光片適用于由波前編碼透鏡系統(tǒng)104形成的中間圖像。通常情況下，反褶積濾光片是通過數(shù)字信號(hào)處理算法實(shí)施的，數(shù)字信號(hào)處理算法提供光學(xué)系統(tǒng)MTF的逆變。例如，可以使用維納濾光片(Wiener filter) [Fales et.al., ^Wiener restoration of sampled imagedata: end-to-end analysis (采樣圖像數(shù)據(jù)的維納恢復(fù):端至端分析)〃J.0pt.Soc.Am.A, vol.5，n0.3，pp.300-314 (1988)]。在本系統(tǒng)中，反裙積/過濾是通過一個(gè)或多個(gè)圖像處理算法118執(zhí)行的。
[0033]基于具體應(yīng)用，相位掩模101的不同形式或集成后的相位掩模/透鏡106可以根據(jù)本光學(xué)系統(tǒng)實(shí)施。
[0034]圖2是示出通過在示例性實(shí)施方式中的本系統(tǒng)執(zhí)行的步驟的流程圖。如圖2所示，在步驟205處，來自待成像場景的光107通過透鏡組件104，在透鏡組件104中相位掩模101生成具有波前編碼的中間圖像212，中間圖像212在步驟210處被傳感器105記錄。
[0035]波前編碼以這樣的方式對基于傳感器的光學(xué)系統(tǒng)進(jìn)行修改，即，以便保持將在光學(xué)像差(如散焦)的存在下形成的圖像的某些方面?？梢圆捎眯盘?hào)處理以對形成在傳感器上的中間圖像解碼。當(dāng)使用時(shí)，信號(hào)處理是通過編碼確定的，編碼通過相位掩模(如圖1A中的相位掩模101)的使用而由系統(tǒng)光學(xué)器件壓印在波前上。具有波前編碼的系統(tǒng)中的最終圖像是對波前編碼的光學(xué)器件和對中間圖像解碼以形成最終圖像的信號(hào)處理的結(jié)合后的結(jié)果。
[0036]在本系統(tǒng)中，對于透鏡的合適的光學(xué)傳遞函數(shù)是通過特殊設(shè)計(jì)的相位掩模101的使用而創(chuàng)建，以產(chǎn)生具有可操作信息(如景深)的圖像的點(diǎn)擴(kuò)散函數(shù)。透鏡系統(tǒng)104形成具有用于各個(gè)對應(yīng)顏色通道R、G和B的單獨(dú)的光學(xué)傳遞函數(shù)的三個(gè)軸向分離的圖像(例如，如圖4所示，圖像401、402和403，將在下面描述)。除了顏色通道之間的軸向色分離以外，各個(gè)顏色通道的0TF也示出了波前編碼特征。
[0037]在步驟215處執(zhí)行的數(shù)字處理可以反轉(zhuǎn)相位掩模101的光學(xué)傳遞函數(shù)-修改效果，因而在增加后的景深上導(dǎo)致在焦圖像的分辨率以生成EDoF圖像222。在一個(gè)實(shí)施方式中，在R、G和B通道信息上執(zhí)行景深后處理。在該特定實(shí)施方式中，在步驟215處，然后使用由算法118實(shí)施的濾光片重建中間圖像230中具有波前編碼的R、G和B通道。然后，在步驟235處，結(jié)合R’、G’和B’通道以生成跨越R、G和B圖像的結(jié)合景深的、具有EDoF的最終圖像。
[0038]圖3是示出在可選實(shí)施方式中圖2的步驟215中執(zhí)行的處理的示例性細(xì)節(jié)的視圖。在該實(shí)施方式中，在存儲(chǔ)的Y通道信息上執(zhí)行景深后處理以通過反轉(zhuǎn)由掩模101完成的光學(xué)傳遞變化使圖像恢復(fù)。如圖3所示，在步驟310處，在對圖像的處理中，圖像先從RGB顏色空間轉(zhuǎn)變至YUV顏色空間。在YUV顏色空間中，亮度被表示為Y，并且U和V是有色(彩色)分量。Y’是Y通道被處理后(過濾或反褶積)的版本。
[0039]在具有波前編碼的單色透鏡中，對于三種顏色(R、G、B)中每個(gè)的調(diào)制傳遞函數(shù)(MTF)非常接近，然而，通過本有色波前編碼透鏡103，對于三種顏色的MTF截然不同。白光MTF是類似的這一事實(shí)是對本發(fā)明的操作有利的。透鏡101故意具有一些量的軸向色差，這是每個(gè)透鏡都展現(xiàn)出的。通常，透鏡設(shè)計(jì)使軸向色最小化，除了沒有對零軸向色的優(yōu)化以夕卜，設(shè)計(jì)具有軸向色的方法與用于其他透鏡的方法相同，對透鏡103進(jìn)行對非零量的軸向色的優(yōu)化。更具體地，透鏡103設(shè)計(jì)成具有一些預(yù)定、或者指定量的色差，一些預(yù)定、或者指定量的色差是所需景深擴(kuò)展的量的函數(shù)；例如，指定色差可以是通過指定擴(kuò)展景深內(nèi)感興趣的空間頻率處最小MTF的要求而確定的。例如，為了獲得最大擴(kuò)展景深，可以增加相鄰顏色通道之間的軸向色分離，直至兩個(gè)通過焦點(diǎn)的MTF之間的交叉點(diǎn)滿足特定成像應(yīng)用的最小MTF要求。在一些機(jī)器視覺應(yīng)用中，在感興趣的空間頻率處典型的最小MTF要求是約
0.2。
[0040]在YUV顏色空間中，Y通道(亮度通道)本質(zhì)上是白光通道，并且是三種顏色通道R、G和B的組合。在步驟315處，Y通道通過設(shè)計(jì)成將MTF增益回衍射極限(diffraction-limited-like)響應(yīng)的反裙積濾光片過濾，從而創(chuàng)建Y’通道。在本系統(tǒng)中，在步驟320處，U通道和V通道(有色通道)未處理(步驟317)并且與處理后的Y’通道重組，以產(chǎn)生Y’ UV圖像。然后，在步驟325處，圖像被轉(zhuǎn)換回至RGB顏色空間，以生成具有擴(kuò)展景深的最終R’G’B’圖像222。因?yàn)橹挥衁通道被處理，所以在該實(shí)施方式中只有白光MTF被關(guān)注。
[0041]圖4是示出示例性透鏡系統(tǒng)104的產(chǎn)物EDoF414的視圖400。如圖4所示，可以通過結(jié)合圖像的R、G和B通道擴(kuò)展成像透鏡的景深，通過合適的有色波前編碼透鏡103旋繞。在提供紅色、綠色和藍(lán)色圖像分量(411+412+413)的連續(xù)的在焦圖像的最高公共通焦MTF處(由箭頭415表示)處，透鏡的連續(xù)的在焦景深由此擴(kuò)展至最近在焦藍(lán)色圖像分量411處的物距411’與最遠(yuǎn)在焦紅色圖像分量413處的物距413’之間的范圍414。
[0042]如圖4所示，通過對通過焦點(diǎn)MTF的R、G和B進(jìn)行分離，通過焦點(diǎn)MTF的平均(在所有波長或顏色上的平均)在距離411+412+413上幾乎恒定。因?yàn)槠骄鵐TF與圖像的亮度通道對應(yīng)，所以在整體411+412+413范圍上可以通過對于落入任意焦點(diǎn)平面上的物體的反褶積，恢復(fù)亮度通道中的清晰圖像(具有高M(jìn)TF的圖像)。即使是在有色通道相對模糊(即，它們具有低MTF)的情況下，因?yàn)槿搜蹖α炼韧ǖ乐械腗TF是最敏感的，所以該圖像也將對觀眾呈現(xiàn)得清晰。
[0043]此外，因?yàn)槠骄腗TF在該范圍上幾乎恒定，所以無論物體落入到哪個(gè)焦平面中，用于在亮度通道中恢復(fù)清晰圖像的反褶積濾光片都相同，因此可以通過單一線性過濾操作完成整體銳化操作。在傳統(tǒng)的透鏡中，通過焦點(diǎn)MTF的R、G和B將幾乎彼此重疊，使得通過焦點(diǎn)MTF的平均基本上只沿著由箭頭412表示的距離上擴(kuò)展。
[0044]具有白光像素的傳感器濾光片馬賽克
[0045]圖5A是示出具有現(xiàn)有技術(shù)的拜耳馬賽克圖案的單一四像素濾光片單元500的視圖。圖5B是示出根據(jù)本示例性實(shí)施方式修改的拜耳馬賽克圖案中的一個(gè)單元501的示例性視圖，圖5C是包括單元陣列501的彩色濾光片馬賽克117 (圖1)的示例性視圖。在本實(shí)施方式中，本透鏡系統(tǒng)100使用包括具有“白光像素”513的濾光片馬賽克501的傳感器陣列105，“白光像素”513代替拜耳圖案的各個(gè)單元中的綠色像素中一個(gè)(例如，像素511)。
[0046]在本實(shí)施方式中，傳感器105包括:具有彩色濾光片馬賽克117的傳感器陣列，彩色濾光片馬賽克117包括RGBW濾光片(紅色、綠色、藍(lán)色和“白光”或透明)圖案，其中每個(gè)圖案被置于圖像傳感器105的相應(yīng)像素(或像素傳感器)上以過濾/捕捉顏色信息。如圖5A所示，通常，各個(gè)單元的拜耳圖案包括:兩個(gè)綠色像素510/511、一個(gè)紅色像素508和一個(gè)藍(lán)色像素509。在本實(shí)施方式中，如圖5B所示，對應(yīng)的拜耳馬賽克的各個(gè)單元501中的綠色像素中一個(gè)(510或511)被“白光像素”513 (即，不具有彩色濾光片的像素)代替，以提供增加的光收集和增加的信噪比，按照圖3的實(shí)施方式，如果不對單獨(dú)的顏色通道進(jìn)行處理，則這將是可能的。特征的組合
[0047]在不背離本發(fā)明范圍的情況下，上述特征以及下面所聲稱的特征可以以多種方式組合。下面的示例示出可能的組合:
[0048](a)用于生成具有擴(kuò)展景深的圖像的光學(xué)系統(tǒng)可以包括:有色波前編碼透鏡，通過在經(jīng)由有色波前編碼透鏡創(chuàng)建的圖像中生成指定色差來提供透射過有色波前編碼透鏡的光的軸向色分離。在至少一個(gè)感興趣的光譜通帶內(nèi)，光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)展現(xiàn)擴(kuò)展景深并且在有限的空間頻率范圍內(nèi)不包含零值。
[0049](b)在表示為(a)的光學(xué)系統(tǒng)中，指定色差可以是通過指定擴(kuò)展焦深內(nèi)感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)(MTF)要求而確定的。
[0050](c)在表示為(a)或(b)的光學(xué)系統(tǒng)中，可以存在有三個(gè)感興趣的光譜通帶，分別與光學(xué)系統(tǒng)的各顏色通道對應(yīng)。
[0051](d)在表不為(a)至(c)的光學(xué)系統(tǒng)中任意一種光學(xué)系統(tǒng)中，有限的空間頻率范圍的最大空間頻率可以小于由系統(tǒng)的傳感器的像素到像素間距限制的空間頻率。
[0052](e)表不為(a)至(d)的光學(xué)系統(tǒng)中任意一種光學(xué)系統(tǒng)可以包括:相位掩模，相位掩模改變光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)，以使得由此改變后的光學(xué)傳遞函數(shù)在比由未改變的光學(xué)傳遞函數(shù)提供的物距范圍更大的物距范圍上基本不受物體與透鏡之間的距離的影響。可以在圖像上執(zhí)行數(shù)字處理以通過反轉(zhuǎn)由相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成具有擴(kuò)展景深的處理后的圖像。
[0053](f) 一種用于生成具有擴(kuò)展景深的圖像的光學(xué)系統(tǒng)可以包括:有色波前編碼透鏡和相位掩模，其中透射過光學(xué)系統(tǒng)的光聚焦到像平面中。有色波前編碼透鏡通過在入射在像平面上的中間圖像中提供指定色差來提供軸向色分離。相位掩模使光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)在遠(yuǎn)離像平面的指定范圍內(nèi)保持基本恒定。在至少一個(gè)感興趣的光譜通帶內(nèi)，光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)展現(xiàn)擴(kuò)展景深并且在有限的空間頻率范圍內(nèi)不包含零值。
[0054](g)在表示為(f)的光學(xué)系統(tǒng)中，指定色差可以是通過指定擴(kuò)展焦深內(nèi)感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)(MTF)要求而確定的。
[0055](h)在表示為(f)或(g)的光學(xué)系統(tǒng)中，可以通過圖像傳感器捕捉中間圖像以生成中間圖像的電表示。
[0056](i)在表不為(f)至(h)的光學(xué)系統(tǒng)中任意一種光學(xué)系統(tǒng)中，可以在中間圖像的電表示上執(zhí)行數(shù)字處理，以通過反轉(zhuǎn)由相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成最終圖像。
[0057]( j )在表示為(f )至(i )的光學(xué)系統(tǒng)中任意一種光學(xué)系統(tǒng)中，感興趣的光譜通帶可以是透射過光學(xué)系統(tǒng)的光的至少一個(gè)帶寬。
[0058](k)表示為(f)至(j)的光學(xué)系統(tǒng)中任意一種光學(xué)系統(tǒng)還可以包括:圖像傳感器，用于捕捉入射在像平面處的光的電表示。傳感器可以覆蓋有包括多個(gè)單元的彩色濾光片馬賽克，多個(gè)單元中每個(gè)包含一個(gè)紅色濾光片、一個(gè)綠色濾光片、一個(gè)藍(lán)色濾光片和一個(gè)透明濾光片。濾光片中每個(gè)可以被定位在圖像傳感器的相應(yīng)像素上。
[0059](1) 一種用于展現(xiàn)擴(kuò)展景深的光學(xué)系統(tǒng)可以包括:顏色相關(guān)波前編碼透鏡系統(tǒng)，顏色相關(guān)波前編碼透鏡系統(tǒng)包括有色波前編碼透鏡和相位掩模，其中透鏡系統(tǒng)將透射過透鏡系統(tǒng)的光聚焦到像平面中；圖像傳感器，用于捕捉入射在像平面處的光的電表示；以及處理器，具有存儲(chǔ)有圖像處理算法的關(guān)聯(lián)存儲(chǔ)器。有色波前編碼透鏡可以設(shè)計(jì)成在形成在傳感器上的中間圖像中提供指定色差。中間圖像可以通過使用算法由處理器隨后處理，以生成具有擴(kuò)展景深的最終圖像。
[0060](m)在表示為(1)的光學(xué)系統(tǒng)中，相位掩模可以使光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)在遠(yuǎn)離在焦位置的指定范圍內(nèi)保持基本恒定，并且可以在存儲(chǔ)的圖像上執(zhí)行數(shù)字處理以通過反轉(zhuǎn)由相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成最終圖像。
[0061](η)在表示為(1)或(m)的光學(xué)系統(tǒng)中，在提供紅色圖像分量、綠色圖像分量和藍(lán)色圖像分量的連續(xù)的在焦圖像的最高公共的通焦調(diào)制傳遞函數(shù)處，透鏡系統(tǒng)的連續(xù)的在焦景深可以被擴(kuò)展至最近在焦藍(lán)色圖像分量處的物距與最遠(yuǎn)在焦紅色圖像分量處的物距之間的范圍。
[0062](ο)在表不為(1)至(η)的光學(xué)系統(tǒng)中任意一種光學(xué)系統(tǒng)中，顏色相關(guān)波前編碼透鏡系統(tǒng)可以是通過將相位掩模和有色波前編碼透鏡結(jié)合成單一單元而形成的。[0063](p)在表不為(1)至(ο)的光學(xué)系統(tǒng)中任意一種光學(xué)系統(tǒng)中，圖像傳感器可以覆蓋有包括多個(gè)單元的彩色濾光片馬賽克，多個(gè)單元中每個(gè)包含一個(gè)紅色濾光片、一個(gè)綠色濾光片、一個(gè)藍(lán)色濾光片和一個(gè)透明濾光片。濾光片中每個(gè)可以被定位在圖像傳感器的相應(yīng)像素上。
[0064](q) 一種用于生成具有擴(kuò)展景深的圖像的方法可以包括:光學(xué)耦合相位掩模和有色波前編碼透鏡以形成光學(xué)系統(tǒng)，該光學(xué)系統(tǒng)將透射過其的光聚焦到圖像中。有色波前編碼透鏡可以通過在圖像中生成指定色差來提供透射過有色波前編碼透鏡的光的軸向色分離。光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)可以在感興趣的光譜通帶內(nèi)不包含零值。
[0065](r)在表示為(q)的方法中，指定色差可以是通過指定擴(kuò)展焦深內(nèi)感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)要求而確定的。
[0066](s)在表示為(q)或(r)的方法中，透射過光學(xué)系統(tǒng)的光可以被聚焦到像平面中。相位掩?？梢允构鈱W(xué)系統(tǒng)的光學(xué)傳遞函數(shù)在遠(yuǎn)離像平面的指定范圍內(nèi)保持基本恒定。
[0067](t)在表示為(q)至(s)的方法中任意一種方法中，光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)可以在透射過光學(xué)系統(tǒng)的光的至少一個(gè)帶寬內(nèi)不包含零值。
[0068](U)在表示為(q)至(s)的方法中任意一種方法中，可以在圖像上執(zhí)行數(shù)字處理以通過反轉(zhuǎn)由相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成具有擴(kuò)展景深的處理后的圖像。
[0069](v) —種用于增加光學(xué)系統(tǒng)的景深以將從物體接收到的光聚焦到像平面中的方法，其中光學(xué)系統(tǒng)通過未改變的光學(xué)傳遞函數(shù)特征化并且包括用于存儲(chǔ)入射在像平面處的光的表示的圖像傳感器，該方法可以包括:構(gòu)建光學(xué)相位掩模，光學(xué)相位掩模包括景深增加特征以生成光學(xué)系統(tǒng)的改變后的光學(xué)傳遞函數(shù)，以使得改變后的光學(xué)傳遞函數(shù)在比由未改變的光學(xué)傳遞函數(shù)提供的物距更大的物距的指定范圍上基本不受物體與透鏡之間的距離的影響。該方法還可以包括:構(gòu)建有色波前編碼透鏡，有色波前編碼透鏡通過在入射在像平面上的中間圖像中提供指定色差來提供透射過有色波前編碼透鏡的光的軸向色分離；將光學(xué)掩模和有色波前編碼透鏡置于物體與傳感器之間；以及提供中間圖像的景深后處理，以由此反轉(zhuǎn)由光學(xué)掩模和有色波前編碼透鏡生成的調(diào)制傳遞函數(shù)的下降。
[0070](w)在表示為(V)的方法中，指定色差可以是通過指定擴(kuò)展焦深內(nèi)感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)要求而確定的。
[0071](x)在表示為(v)或(w)的方法中，掩模構(gòu)建步驟可以包括:檢查多個(gè)候選掩模函數(shù)的模糊函數(shù)以確定哪個(gè)特定掩模函數(shù)具有在物距的指定范圍上最接近恒定的光學(xué)傳遞函數(shù)，并且構(gòu)建具有特定掩模函數(shù)的光學(xué)掩模。
[0072]已對本發(fā)明進(jìn)行了詳細(xì)描述并且參照了本發(fā)明的【具體實(shí)施方式】，應(yīng)當(dāng)注意的是，在不背離在所附權(quán)利要求書中限定的本發(fā)明的范圍的情況下能夠進(jìn)行修改和變形。因此，可以預(yù)期的是本發(fā)明不受限于本發(fā)明的具體公開的方面。
【權(quán)利要求】
1.一種用于生成具有擴(kuò)展景深的圖像的光學(xué)系統(tǒng)，包括:有色波前編碼透鏡，通過在經(jīng)由所述有色波前編碼透鏡創(chuàng)建的圖像中生成指定色差來提供透射過所述有色波前編碼透鏡的光的軸向色分離；其中在至少一個(gè)感興趣的光譜通帶內(nèi)，所述光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)展現(xiàn)擴(kuò)展景深并且在有限的空間頻率范圍內(nèi)不包含零值。
2.如權(quán)利要求1所述的光學(xué)系統(tǒng)，其中所述指定色差是通過指定擴(kuò)展焦深內(nèi)所述感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)(MTF)要求而確定的。
3.如權(quán)利要求1所述的光學(xué)系統(tǒng)，其中存在有三個(gè)所述感興趣的光譜通帶，分別包括所述光學(xué)系統(tǒng)的各顏色通道。
4.如權(quán)利要求1所述的光學(xué)系統(tǒng)，其中所述有限的空間頻率范圍的最大空間頻率小于由所述系統(tǒng)的傳感器的像素到像素間距限制的空間頻率。
5.如權(quán)利要求1所述的光學(xué)系統(tǒng)，包括:相位掩模，所述相位掩模改變所述光學(xué)系統(tǒng)的所述光學(xué)傳遞函數(shù)，以使得由此改變后的所述光學(xué)傳遞函數(shù)在比由未改變的所述光學(xué)傳遞函數(shù)提供的物距范圍更大的物距范圍上基本不受物體與所述透鏡之間的距離的影響；其中在所述圖像上執(zhí)行數(shù)字處理以通過反轉(zhuǎn)由所述相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成具有所述擴(kuò)展景深的處理后的圖像。
6.一種用于生成具有擴(kuò)展景深的圖像的光學(xué)系統(tǒng)，包括:有色波前編碼透鏡和相位掩模，其中透射過所述光學(xué)系統(tǒng)的光聚焦到像平面中；其中所述有色波前編碼透鏡通過在入射在所述像平面上的中間圖像中提供指定色差來提供軸向色分離；其中所述相位掩模使所述光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)在遠(yuǎn)離所述像平面的指定范圍內(nèi)保持基本恒定；以及其中在至少一個(gè)感興趣的光譜通帶內(nèi)，所述光學(xué)系統(tǒng)的所述光學(xué)傳遞函數(shù)展現(xiàn)擴(kuò)展景深并且在有限的空間頻率范圍內(nèi)不包含零值。
7.如權(quán)利要求6所述的光學(xué)系統(tǒng)，其中所述指定色差是通過指定擴(kuò)展焦深內(nèi)感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)(MTF)要求而確定的。
8.如權(quán)利要求6所述的光學(xué)系統(tǒng)，其中通過圖像傳感器捕捉所述中間圖像以生成所述中間圖像的電表示。
9.如權(quán)利要求8所述的光學(xué)系統(tǒng)，其中在所述中間圖像的所述電表示上執(zhí)行數(shù)字處理，以通過反轉(zhuǎn)由所述相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成所述最終圖像。
10.如權(quán)利要求6所述的光學(xué)系統(tǒng)，其中所述感興趣的光譜通帶是透射過所述光學(xué)系統(tǒng)的光的至少一個(gè)帶寬。
11.如權(quán)利要求6所述的光學(xué)系統(tǒng),還包括:圖像傳感器，用于捕捉入射在所述像平面處的光的電表示，其中所述傳感器覆蓋有包括多個(gè)單元的彩色濾光片馬賽克，所述多個(gè)單元中每個(gè)包含一個(gè)紅色濾光片、一個(gè)綠色濾光片、一個(gè)藍(lán)色濾光片和一個(gè)透明濾光片，其中所述濾光片中每個(gè)被定位在所述圖像傳感器的相應(yīng)像素上。
12.一種用于展現(xiàn)擴(kuò)展景深的光學(xué)系統(tǒng)，包括:顏色相關(guān)波前編碼透鏡系統(tǒng)，所述顏色相關(guān)波前編碼透鏡系統(tǒng)包括有色波前編碼透鏡和相位掩模，其中所述透鏡系統(tǒng)將透射過所述透鏡系統(tǒng)的光聚焦到像平面中；圖像傳感器，用于捕捉入射在所述像平面處的光的電表示；以及處理器，具有存儲(chǔ)有圖像處理算法的關(guān)聯(lián)存儲(chǔ)器；其中所述有色波前編碼透鏡設(shè)計(jì)成在形成在所述傳感器上的中間圖像中提供指定色差;并且其中所述中間圖像通過使用所述算法由所述處理器隨后處理，以生成具有所述擴(kuò)展景深的最終圖像。
13.如權(quán)利要求12所述的光學(xué)系統(tǒng)，其中所述相位掩模使所述光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)在遠(yuǎn)離在焦位置的指定范圍內(nèi)保持基本恒定，并且在所存儲(chǔ)的圖像上執(zhí)行所述數(shù)字處理以通過反轉(zhuǎn)由所述相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成所述最終圖像。
14.如權(quán)利要求12所述的光學(xué)系統(tǒng)，其中在提供所述紅色圖像分量、綠色圖像分量和藍(lán)色圖像分量的連續(xù)的在焦圖像的最高公共通焦調(diào)制傳遞函數(shù)處，所述透鏡系統(tǒng)的連續(xù)的在焦景深被擴(kuò)展至最近在焦藍(lán)色圖像分量處的物距與最遠(yuǎn)在焦紅色圖像分量處的物距之間的范圍。
15.如權(quán)利要求12所述的光學(xué)系統(tǒng)，其中所述顏色相關(guān)波前編碼透鏡系統(tǒng)是通過將所述相位掩模和所述有色波前編碼透鏡整合成單一單元而形成的。
16.如權(quán)利要求12所述的光學(xué)系統(tǒng)，其中所述圖像傳感器覆蓋有包括多個(gè)單元的彩色濾光片馬賽克，所述多個(gè)單元中每個(gè)包含一個(gè)紅色濾光片、一個(gè)綠色濾光片、一個(gè)藍(lán)色濾光片和一個(gè)透明濾光片，其中 所述濾光片中每個(gè)被定位在所述圖像傳感器的相應(yīng)像素上。
17.一種用于生成具有擴(kuò)展景深的圖像的方法，包括:光學(xué)耦合相位掩模和有色波前編碼透鏡以形成光學(xué)系統(tǒng)，所述光學(xué)系統(tǒng)將從其透射過的光聚焦到所述圖像中；其中所述有色波前編碼透鏡通過在所述圖像中生成指定色差來提供透射過所述有色波前編碼透鏡的光的軸向色分離；以及其中所述光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)在感興趣的光譜通帶內(nèi)不包含零值。
18.如權(quán)利要求17所述的方法，其中所述指定色差是通過指定擴(kuò)展焦深內(nèi)感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)要求而確定的。
19.如權(quán)利要求17所述的方法，其中透射過所述光學(xué)系統(tǒng)的光被聚焦到像平面中；并且其中所述相位掩模使所述光學(xué)系統(tǒng)的所述光學(xué)傳遞函數(shù)在遠(yuǎn)離所述像平面的指定范圍內(nèi)保持基本恒定。
20.如權(quán)利要求17所述的方法，其中所述光學(xué)系統(tǒng)的所述光學(xué)傳遞函數(shù)在透射過所述光學(xué)系統(tǒng)的光的至少一個(gè)帶寬內(nèi)不包含零值。
21.如權(quán)利要求17所述的方法，其中在所述圖像上執(zhí)行數(shù)字處理以通過反轉(zhuǎn)由所述相位掩模生成的調(diào)制傳遞函數(shù)的下降來生成具有所述擴(kuò)展景深的處理后的圖像。
22.—種用于增加光學(xué)系統(tǒng)的景深以將從物體接收到的光聚焦到像平面中的方法，其中所述光學(xué)系統(tǒng)通過未改變的光學(xué)傳遞函數(shù)特征化并且包括用于存儲(chǔ)入射在所述像平面的光的表示的圖像傳感器，所述方法包括:構(gòu)建光學(xué)相位掩模，所述光學(xué)相位掩模包括景深-增加特征以生成所述光學(xué)系統(tǒng)的改變后的光學(xué)傳遞函數(shù)，以使得所述改變后的光學(xué)傳遞函數(shù)在比由所述未改變的光學(xué)傳遞函數(shù)提供的物距更大的物距的指定范圍上基本不受所述物體與所述透鏡之間的距離的影響；構(gòu)建有色波前編碼透鏡，所述有色波前編碼透鏡通過在入射在所述像平面上的中間圖像中提供指定色差來提供透射過所述有色波前編碼透鏡的光的軸向色分離；將所述光學(xué)掩模和所述有色波前編碼透鏡置于所述物體與所述傳感器之間；以及提供所述中間圖像的景深后處理，以由此反轉(zhuǎn)由所述光學(xué)掩模和所述有色波前編碼透鏡生成的調(diào)制傳遞函數(shù)的下降。
23.如權(quán)利要求22所述的方法，其中所述指定色差是通過指定擴(kuò)展焦深內(nèi)感興趣的空間頻率處的最小調(diào)制傳遞函數(shù)要求而確定的。
24.如權(quán)利要求22所述的方法，其中所述掩模構(gòu)建步驟包括:檢查多個(gè)候選掩模函數(shù)的模糊函數(shù)以確定哪個(gè)特定掩模函數(shù)具有在物距的指定范圍上最接近恒定的光學(xué)傳遞函數(shù)， 以及構(gòu)建具有所述特定掩模函數(shù)的所述光學(xué)掩模。
【文檔編號(hào)】H04N5/225GK103703413SQ201280037446
【公開日】2014年4月2日 申請日期:2012年5月31日 優(yōu)先權(quán)日:2011年5月31日
【發(fā)明者】高路, 亞當(dāng)·道格拉斯·格林加德 申請人:全視技術(shù)有限公司