專利名稱：紅外成像系統(tǒng)和操作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及紅外成像技術(shù)的領(lǐng)域。一種實(shí)施例涉及成像系統(tǒng)，該系統(tǒng)包括具有縱向色差的、未完全受到色彩校正的透鏡單元，并包括用于進(jìn)行捕獲后的數(shù)字式圖像處理的圖像處理單元。另ー實(shí)施例涉及對具有紅外成像系統(tǒng)的電子設(shè)備進(jìn)行操作的方法，該系統(tǒng)包括具有縱向色差的、未完全受到色彩校正的透鏡單元。
背景技術(shù)：
Jeong-Ho Lyu 等人在"IR/Color Composite Image Sensor withVIP (Vertically Integrated Photodiode Structure) " , Proceedings of 2007International Image Sensors Workshop, Pages 267-270, 2007 中描述了一種具有紅外敏感光電ニ極管的圖像傳感器，這些光電ニ極管在襯底中埋在傳統(tǒng)的光電ニ極管下方。通過這種圖像傳感器，不再需要IR(紅外)截止濾波器。US2007/0145273A1涉及紅外彩色相機(jī)，在這些相機(jī)中，可見的和非可見的光譜能量選擇性地經(jīng)過色彩濾波器陣列。非可見的光譜能量的空間分布被映射到經(jīng)校正的彩色圖像中可見光譜能量的空間分布。F. Guichard 等人在〃 Extended Depth-of-Field using Sharpness Transportacross Colour Channels" , SPIE, Proceedings of Electronic Imaging, 2009 中涉及到ー種以延伸的視場深度(depth of field)獲得圖像的方法，在該方法中，對于給定的物距，RGB圖像的至少ー個(gè)色彩平面包含準(zhǔn)焦(in-focus)場景信息。Oliver Cossairt等人在"Spectral Focal Sweep Extendea Depth of Field from Chromatic Aberrations",IEEE International Conference on Computational Photography (ICCP), March 2010中提供了一種光譜焦點(diǎn)掃描相機(jī)，該相機(jī)對用具有大的縱向色差的透鏡獲得的ニ進(jìn)制圖像展開卷積，從而以經(jīng)擴(kuò)展的視場深度恢復(fù)圖像。Shen. C. H和Chen, HH在"Robustlocus measure for 丄ow—contrast images" ， International Conference on しonsumerElectronics (ICCE)，2006中提出了使用離散余弦變換能量措施來評(píng)估焦點(diǎn)和銳度(sharpness) 1目息。Manu Parmar 和 Brian Wandell 在'，Interleaved Imaging An Imaging SystemDesign Inspired by Rod-Con Vision" , Proceedings of SPIE, 2009 中提出了一種成像架構(gòu)，該架構(gòu)由高靈敏度単色像素組來獲得灰度圖像并由低靈敏度三色像素組來獲得彩色圖像。在低光照情況下，輸出圖像的空間信息主要是從灰度圖像導(dǎo)出，而在高靈敏度像素已飽和的適光(photopic)條件下,輸出圖像只由彩色圖像導(dǎo)出。在過渡光(mesopic)條件下，輸出圖像由彩色和灰度圖像這二者導(dǎo)出，其中，通過使用距離函數(shù)和相似度函數(shù)把相鄰像素值考慮在內(nèi)，來更新每個(gè)像素值。相似度函數(shù)提供了既來自各個(gè)色彩圖像又來自灰度圖像的信息，其中，灰度信息的權(quán)重是由相鄰像素(當(dāng)前正在評(píng)估該像素的距離和相似度)周圍的圖像片中已飽和的像素的一部分來確定的。Josep Garcia 等人在〃 Chromatic aberration and depth extraction ",Proceedings of 15th International Conference on Pattern Recognition,Pages762-765, 2000中描述了 ー種方法，用于提取由色差造成的深度信息以導(dǎo)出自動(dòng)聚焦信息 ° S. Chung 等人在"Removing Chromatic Aberration by Digital ImageProcessing " ，Optical Engineering, Vol. 49 (6), June 2010 中提出了通過對不表現(xiàn)出色差的那些邊緣的色彩行為進(jìn)行分析以評(píng)估對于色差信號(hào)的范圍限制，來消除色差。違反了范圍限制條件的像素值被識(shí)別成由色差造成的彩色條紋，并由被允許的值來代替。Anat Levin 人在"丄mage ana depth from a conventional camera with a coaedaperture " , ACM Transactions on Graphics-Proceedings of ACM SIGGRAPH 2007,Volume 26，Issue 3，July2007中描述了使用經(jīng)過編碼的孔徑并利用與孔徑形狀有關(guān)的信息來獲得深度信息
發(fā)明內(nèi)容

本發(fā)明的ー個(gè)目的是提供一種增強(qiáng)的紅外成像系統(tǒng)，用于對圖像成分中的至少ー種(例如對于紅外圖像成分)獲得擴(kuò)展的視場深度。該目的是通過獨(dú)立權(quán)利要求的主題來實(shí)現(xiàn)的。從屬權(quán)利要求中分別限定了進(jìn)ー步的實(shí)施例。通過下文結(jié)合附圖對實(shí)施例進(jìn)行的說明，可以更加了解本發(fā)明的細(xì)節(jié)和優(yōu)點(diǎn)。各個(gè)實(shí)施例的特征可以組合，除非它們彼此排斥。


圖IA是根據(jù)本發(fā)明ー種實(shí)施例的成像系統(tǒng)的示意性框圖，該系統(tǒng)包括具有縱向色差的、未受到色彩校正的透鏡單元。圖IB示出了用于理解圖IA的成像系統(tǒng)工作原理的調(diào)制傳遞函數(shù)。圖IC示出了用于理解圖IA的圖像處理單元工作原理的濾波器和調(diào)制傳遞函數(shù)。圖2A是根據(jù)本發(fā)明ー種實(shí)施例的成像系統(tǒng)的成像単元的示意性剖視圖。圖2B是根據(jù)關(guān)于具有僅ー個(gè)傳感器平面的成像傳感器単元的實(shí)施例的成像単元的示意性剖視圖。圖2C是根據(jù)一種實(shí)施例的彩色濾波器単元的示意性平面圖。圖2D是關(guān)于包括相位元件的成像系統(tǒng)的實(shí)施例的成像系統(tǒng)的成像単元的示意性首1J視圖。圖2E是關(guān)于包括雙折射元件的成像系統(tǒng)的實(shí)施例的成像系統(tǒng)的成像単元的示意性首1]視圖。圖2F是根據(jù)本發(fā)明ー種實(shí)施例的雙折射元件的示意性俯視圖。圖2G是根據(jù)一種實(shí)施例(關(guān)于包括孔徑元件的成像系統(tǒng)的實(shí)施例)的成像単元的示意性剖視圖。圖2H是根據(jù)本發(fā)明ー種實(shí)施例的孔徑元件的示意性俯視圖。圖3A是根據(jù)一種實(shí)施例的成像處理單元的示意性框圖，該實(shí)施例在每個(gè)圖像信號(hào)路徑中都提供逆濾波器。圖3B示出的示意示了圖3A的圖像處理單元的功能。圖4A是根據(jù)一種實(shí)施例的圖像處理單元的示意性框圖，該實(shí)施例提供了對于圖像信號(hào)的加權(quán)總和信號(hào)有效的逆濾波器。
圖4B示出的示意示了圖4A的圖像處理單元的功能。圖5A是根據(jù)一種實(shí)施例的圖像處理單元的示意性框圖，該實(shí)施例在每個(gè)圖像信號(hào)路徑中提供了逆濾波器，并在成像系統(tǒng)中提供了相位元件。圖5B示出的示意示了圖5A的圖像處理單元的功能。圖6是根據(jù)一種實(shí)施例的圖像處理單元的示意性框圖，該實(shí)施例在成像系統(tǒng)中提供了孔徑元件。圖I是根據(jù)關(guān)于對紅外傳感器延伸視場深度的實(shí)施例對具有成像系統(tǒng)的電子設(shè)備進(jìn)行操作的方法的簡化流程圖。
具體實(shí)施例方式為了簡化對本文的閱讀，作為約定，我們將把可見和紅外(IR)輻射光譜的任何子范圍稱為“色彩”。尤其是，我們將把IR也稱為ー種色彩，盡管這種命名方式從人類視覺的角度來看是不正確的。例如，僅透射IR光譜范圍中的輻射的濾波器也將被稱為“色彩濾波
典”
O圖I示出了具有成像單元100的成像系統(tǒng)400。成像系統(tǒng)400可以是移動(dòng)相機(jī)系統(tǒng)或靜止相機(jī)系統(tǒng)(例如監(jiān)視(surveillance)相機(jī)系統(tǒng)、用于診斷或外科手術(shù)方法的相機(jī)、制造エ藝控制系統(tǒng)中嵌入的相機(jī)、數(shù)字式顯微鏡、數(shù)字式望遠(yuǎn)鏡、或者針對消費(fèi)應(yīng)用和專業(yè)應(yīng)用的靜態(tài)照相機(jī)和視頻攝像機(jī)、以及為進(jìn)行遙控或游戲應(yīng)用而對手勢或姿勢進(jìn)行檢測的相機(jī))的一部分。根據(jù)其他實(shí)施例，該成像系統(tǒng)一體集成在包括相機(jī)系統(tǒng)的手持式設(shè)備中，該設(shè)備例如蜂窩電話、個(gè)人數(shù)字助理、或者音樂播放器。成像単元100包括孔徑單元110，孔徑單元被布置成使得經(jīng)過孔徑單元110的孔徑的輻射經(jīng)過透鏡単元120并入射到成像傳感器単元140上?？讖絾卧?10也可以位于透鏡單元120內(nèi)部，尤其是在透鏡單元120的光瞳平面(pupil plane)的位置處。透鏡單元120可以是單透鏡、微透鏡陣列、或者包括多個(gè)透鏡的透鏡組件。透鏡單元120以縱向色差為特征，成像単元100不包含對該縱向(軸向)色差進(jìn)行補(bǔ)償以生成受到色彩校正的圖像的元件。例如，透鏡單元120是由色散材料(例如玻璃或塑料)形成的復(fù)合透鏡，在該材料中，折射率是以入射光的波長為變量的函數(shù)，使得焦距作為以波長為變量的函數(shù)而變化。例如，透鏡單元120把紅外輻射成像在第一焦平面Fik中，把可見的紅色光成像在焦平面Fk中，把緑色光成像在焦平面Ftj中，并把藍(lán)色光成像在焦平面Fb中。根據(jù)ー種實(shí)施例，透鏡單元120可以包括補(bǔ)償元件，該元件對于球差和/或與視場有關(guān)的相差進(jìn)行補(bǔ)償，使得透鏡單元120不表現(xiàn)出(或者僅表現(xiàn)出可忽略的量)球差和與視場有關(guān)的相差。成像傳感器單元140包括多個(gè)像素傳感器，其中，每個(gè)像素傳感器包含光電傳感器，光電傳感器用于把光電信號(hào)從入射輻射轉(zhuǎn)換成電子信號(hào)。成像傳感器単元140以數(shù)字化的形式輸出圖像信號(hào)，該圖像信號(hào)包含成像傳感器単元140的全部像素傳感器的像素值。成像単元100可以提供灰度圖像和紅外圖像。根據(jù)其他實(shí)施例，色彩濾波器単元130可以被布置在透鏡單元120與成像傳感器單元140之間。色彩濾波器單元130可以包括多個(gè)色彩濾波器部分，其中，每個(gè)色彩濾波器部分具有濾波器色彩，例如藍(lán)色、紅色、綠色、白色或IR(紅外)。每個(gè)色彩濾波器部分可以被賦予僅ー個(gè)像素傳感器，使得每個(gè)像素傳感器接收特定色彩的圖像信息。成像傳感器単元140輸出兩個(gè)、三個(gè)、四個(gè)或更多個(gè)不同的子圖像，其中，每個(gè)子圖像包含關(guān)于輸入輻射的具體頻率范圍的圖像信息，至少ー個(gè)子圖像描述了被成像場景的紅外部分。成像傳感器単元140從被成像場景捕獲第一圖像信號(hào)以及至少ー個(gè)第二圖像信號(hào)，第一圖像信號(hào)信號(hào)描述的圖像由紅外頻率范圍組成，或者包含紅外頻率范圍的至少ー部分，第二圖像信號(hào)描述包含可見光或由可見光組成的第二圖像。成像傳感器単元140可以捕獲ー個(gè)、兩個(gè)、三個(gè)或者更多個(gè)未受到色彩校正的第二圖像，這些第二圖像具有不同的光譜內(nèi)容或組分。例如，第二圖像可以包括使用濾波器色彩“紅色”的“紅色”圖像、使用濾波器色彩“藍(lán)色”的“藍(lán)色”圖像、以及使用濾波器色彩“緑色”的“緑色”圖像。第二圖像信號(hào)也可以描述具有重疊光譜內(nèi)容的圖像。例如，成像傳感器単元140可以包括寬敏感帶的像素傳感器，這些傳感器被賦予寬帶色彩濾波器部分，濾波器色彩“白色”對于整個(gè)可見光譜近似透明。下文中，第一和第二圖像信號(hào)被稱為第一和第二色彩平面 ，或者第一和第二圖像。這些第二圖像中的ー個(gè)可以是灰度圖像，包含了整個(gè)可見光譜范圍上的信息。成像系統(tǒng)還包括光學(xué)元件150，該元件通過使第一圖像的視場深度延伸的方式來對由第一圖像信號(hào)描述的第一圖像的第一 MTF(調(diào)制傳遞函數(shù))進(jìn)行操縱。例如，光學(xué)元件150把賦予第一圖像的MTF曲線抬升。根據(jù)ー種實(shí)施例，光學(xué)元件150被設(shè)計(jì)成把被賦予第一圖像的MTF曲線的值偏移到更高的值(把MTF曲線“抬升”)，使得表現(xiàn)出零值的最低空間頻率接近或者超過乃奎斯特頻率極限。光學(xué)兀件150被布置在成像系統(tǒng)的光路中。通常,光學(xué)兀件150通過把對于第一圖像的第一MTF對比度(contrast)抬升,反過來也對于被賦予可見光譜的這些第二圖像中的至少ー個(gè)圖像降低了第二 MTF對比度。根據(jù)ー種實(shí)施例，光學(xué)元件150被涉及來操縱第ー圖像，使得從零直至乃奎斯特頻率極限的頻率范圍中，第二 MTF對比度都不表現(xiàn)出零值。圖像處理單元200接收第一和第二圖像信號(hào)，并且例如基于第一和第二圖像信號(hào)來計(jì)算經(jīng)修改的輸出圖像信號(hào)，其中，輸出圖像信號(hào)包含了與被成像場景有關(guān)的信息，并且，與在沒有光學(xué)元件150的情況下生成的第一圖像信號(hào)或至少ー個(gè)第二圖像信號(hào)的視場深度相比，對于紅外和/或可見范圍展現(xiàn)出經(jīng)擴(kuò)展的視場深度。根據(jù)ー種實(shí)施例，圖像處理単元200通過逆濾波處理，來對第一圖像信號(hào)和/或至少ー個(gè)第二圖像信號(hào)中的調(diào)制傳遞函數(shù)對比度進(jìn)行放大。圖IB在左側(cè)ー欄示出了在沒有光學(xué)元件的成像系統(tǒng)中對于綠色(G)和紅外(IR)輻射的典型調(diào)制傳遞函數(shù)，并在右側(cè)ー欄視場了使用上述光學(xué)元件150獲得的對于綠色(G)和紅外(IR)輻射的典型調(diào)制傳遞函數(shù)。光學(xué)元件150増大了對于紅外圖像的MTF的值，使得在零與乃奎斯特頻率極限之間的頻率范圍內(nèi)不出現(xiàn)零值。進(jìn)而，對于綠色圖像的MTF的值可以被降低，其中，這種降低使得對于綠色圖像的MTF仍然在零與乃奎斯特頻率之間的頻率范圍內(nèi)不表現(xiàn)出零。只要MTF曲線不在某個(gè)頻率處變成零，高于該頻率的圖像信號(hào)就不會(huì)全部丟失，圖像信息就可以用合適的圖像處理技術(shù)(例如逆濾波)來恢復(fù)。逆濾波處理把MTF對比度放大，但是同時(shí)也把圖像中存在的噪聲放大。根據(jù)ー種實(shí)施例，對圖像中的噪聲水平進(jìn)行測量，并且，與包含較高噪聲水平的圖像相比，對于低噪聲圖像施加較高的濾波器増益。成像系統(tǒng)可以被設(shè)計(jì)成在包括紅外通道在內(nèi)的全部的色彩通道中具有低的MTF，但是在這些色彩通道的任一者中，在零與乃奎斯特頻率極限之間的頻率范圍中都沒有零MTF。光學(xué)元件150被用來使MTF偏移，使它們滿足這些要求。如圖IC所示，圖像處理單元200可以把光學(xué)元件150對于其他色彩通道可能具有的不利效果衰減。根據(jù)所示的實(shí)施例，圖像處理單元200通過逆濾波器對于各個(gè)色彩通道施加逆濾波。根據(jù)另ー實(shí)施例，圖像處理單元200可以對于全部色彩通道一起施加ー個(gè)共用的逆濾波器。每個(gè)逆濾波器可以是空間可變的(space-variant)，以對這些MTF的位置依賴關(guān)系進(jìn)行平衡(例如相對于圖像中心的距離)。如圖IA進(jìn)ー步示出的，經(jīng)修改的圖像可以被儲(chǔ)存在成像 系統(tǒng)400的非易失性存儲(chǔ)器310中，例如作為代表彩色圖像的ー組數(shù)字式值，或者作為兩組數(shù)字式值，其中第一組可以代表與被捕獲的圖像的紅外內(nèi)容有關(guān)的灰度圖像而第二組可以代表深度圖。非易失性存儲(chǔ)器310可以是相機(jī)系統(tǒng)的存儲(chǔ)卡。替代地或者另外地，經(jīng)修改的圖像可以被顯示在成像系統(tǒng)400的顯示設(shè)備上，或者可以通過有線或無線通信通道而輸出到與成像系統(tǒng)400相連的另一系統(tǒng)，可以被提供給處理系統(tǒng)或處理應(yīng)用以對紅外圖像中包含的信息進(jìn)行進(jìn)ー步處理。圖2A涉及根據(jù)ー種實(shí)施例的成像單元100的示意圖剖視圖。成像單元100可以包括孔徑單元110，其中，在曝光周期中，對場景或物體的圖像進(jìn)行描述的輻射經(jīng)過孔徑單元Iio的孔徑115以及透鏡單元120，并入射到成像傳感器単元140上。成像傳感器単元140包括第一像素傳感器組143和第二像素傳感器組145。根據(jù)ー種實(shí)施例,第一像素傳感器組143被布置在第一傳感器平面中，第二像素傳感器組145被布置在第二傳感器平面中，該平面與第一傳感器平面隔開，例如隔開約500nm至3000nm。根據(jù)另ー實(shí)施例，第一和第二傳感器平面是共面的。每個(gè)像素傳感器包含光電傳感器，光電傳感器把光電信號(hào)從入射輻射轉(zhuǎn)換到電子信號(hào)。這些像素傳感器可以被形成在半導(dǎo)體襯底中。例如，成像傳感器単元140可以具有垂直集成(vertically integrated)光電ニ極管結(jié)構(gòu),其中，深光電ニ極管在襯底部分中形成于表面光電ニ極管下方幾微米處，表面光電ニ極管被形成為與半導(dǎo)體襯底的襯底表面相鄰?？梢姽庠诎雽?dǎo)體襯底的表面部分被吸收，而紅外輻射較深地穿透到半導(dǎo)體襯底中。結(jié)果，深光電ニ極管只接收紅外輻射。在另ー示例中，成像傳感器単元140可以具有橫向集成(lateral integrated)光電ニ極管結(jié)構(gòu)，多個(gè)光電ニ極管布置成陣列。成像單元100可以包括色彩濾波器單元130，色彩濾波器單元可以被布置成與成像傳感器単元140緊密接觸。色彩濾波器単元130可以包括多個(gè)色彩濾波器部分135，其中，每個(gè)色彩濾波器部分135具有濾波器色彩，例如緑色、紅色、藍(lán)色、品紅(magenta)、黃色、白色或IR。每個(gè)色彩濾波器部分135被賦予僅一個(gè)像素傳感器145，使得第二像素傳感器組145的每個(gè)像素傳感器接收特定色彩的圖像信息。例如，色彩濾波器部分135可以被按照行列布置成矩陣狀。被賦予不同濾波器色彩的色彩濾波器部分135可以沿著行方向和列方向規(guī)則地交替。例如，形成2X2矩陣的每四個(gè)色彩濾波器部分135可以被布置成形成Bayer馬賽克圖案，其中，具有濾波器色彩“緑色”的色彩濾波器部分135被布置在2X2矩陣的第一對角線上，而具有濾波器色彩“紅色”的ー個(gè)色彩濾波器部分135和具有濾波器色彩“藍(lán)色”的ー個(gè)色彩濾波器部分135被布置在2X2矩陣的另ー對角線上。通過Bayer馬賽克圖案，對于濾波器色彩“綠色”的采樣率是濾波器色彩“紅色”和“藍(lán)色”的采樣率的兩倍以把下述情況考慮在內(nèi)對于人眼而言，綠色攜帶了大多數(shù)亮度(luminance)信息。根據(jù)另一實(shí)施例，色彩濾波器部分135可以被布置成形成RGBE馬賽克圖案(其中“翠綠(Emerald)”作為第四濾波器色彩)、CYYM馬賽克圖案(具有一個(gè)青色、兩個(gè)黃色和一個(gè)品紅色濾波器部分135)、或者CYGM馬賽克圖案(具有一個(gè)青色、一個(gè)黃色、一個(gè)綠色和一個(gè)品紅色濾波器部分135)，濾波器部分135被布置成2X2的單位矩陣，色彩濾波器單元130中重復(fù)地布置多個(gè)單位矩陣。根據(jù)另一實(shí)施例，色彩濾波器單元130包括單位矩陣的馬賽克圖案，單位矩陣具有三種不同濾波器色彩的三個(gè)色彩濾波器部分以及不具有色彩濾波特性、并對于可見光譜內(nèi)的全部色彩透明的一個(gè)透明濾波器部分。這些透明的和彩色的濾波器部分135可以被布置成形成例如RGBW馬賽克圖案，例如4X4或者2X4的RGBW馬賽克圖案。
紅外輻射可以在各個(gè)色彩濾波器部分135之間對于紅外輻射透明的部分133中經(jīng)過色彩濾波器單元130。根據(jù)一種實(shí)施例，色彩濾波器130包含至少一個(gè)對于紅外輻射透明的色彩濾波器部分類型。例如，色彩濾波器130是RGBIR濾波器，其中，每個(gè)2 X 2的單位矩陣包含一個(gè)紅色、一個(gè)綠色、一個(gè)藍(lán)色和一個(gè)紅外色彩濾波器部分135，并且多個(gè)單位矩陣被規(guī)則地布置以形成馬賽克圖案。根據(jù)其他實(shí)施例，色彩濾波器單元130不包括被賦予深光電二極管的部分，因?yàn)樯蕿V波器部分135可以對于紅外輻射的一部分頻率范圍透明。透鏡單元120可以由物鏡實(shí)現(xiàn)，包括幾個(gè)單獨(dú)的透鏡，適于把物空間的物體成像到傳感器平面。由于色差，每個(gè)彩色圖像藍(lán)色、綠色、紅色和紅外將聚焦在處于不同距離的另一焦平面中。在關(guān)于具有兩個(gè)或更多個(gè)傳感器平面的成像傳感器單元的實(shí)施例中，針對紅外輻射的第一焦平面與被賦予可見光的任何第二焦平面之間的距離不與第一、第二傳感器平面之間的垂直距離相匹配。結(jié)果，在此情況下，當(dāng)紅外圖像和針對可見光的圖像都被同時(shí)捕獲時(shí)，第一和第二圖像中的至少一者也嚴(yán)重地離焦(out of focus)。成像傳感器單元140輸出第一圖像和至少一個(gè)第二圖像，第一圖像針對被成像場景的紅外內(nèi)容，第二圖像在可見光譜范圍中描述被成像場景。光學(xué)元件150被布置在光路中。光學(xué)元件150對第一圖像的MTF進(jìn)行修改以獲得具有延伸的視場深度的第一圖像。圖2B關(guān)于根據(jù)具有僅一個(gè)傳感器平面的實(shí)施例的成像單元100的示意性剖視圖。成像單元100可以包括孔徑單元110，其中，在曝光期間，對場景或物體的圖像進(jìn)行描述的輻射經(jīng)過孔徑單元Iio的孔徑115和透鏡單元120，并入射到成像傳感器單元140上。成像傳感器單兀140包括像素傳感器組146。根據(jù)一種實(shí)施例,像素傳感器組146被布置在一個(gè)共用的傳感器平面中。光學(xué)元件150對第一圖像的MTF進(jìn)行修改以獲得具有延伸的視場深度的第一圖像。圖2C涉及另一實(shí)施例，其中，色彩濾波器單元130的色彩濾波器部分135可以形成以“紅外”作為第四濾波器色彩并布置成2X2單位矩陣的R-G-B-IR馬賽克圖案。這四種色彩R、G、B和IR可以在2X2單位矩陣內(nèi)按照任何排列方式布置。色彩濾波器單元130可以被集成到圖2B的成像單元100中。在圖2D的成像單元100中，光學(xué)元件是相位元件152,該元件適于針對包括透鏡單元120和相位元件152的成像系統(tǒng)100獲得或者近似深度不變(depth-invariant)的PSF (點(diǎn)擴(kuò)散函數(shù))。用通過施加幾乎深度不變的PSF而設(shè)計(jì)的逆濾波器來對被成像信號(hào)進(jìn)行卷積造成了近似于全準(zhǔn)焦的圖像。對成像系統(tǒng)100的PSF進(jìn)行調(diào)諧，使該P(yáng)SF在足夠大的視場深度上是不變的，這種情況能夠減小透鏡單元120的縱向色差以及第一圖像和第二圖像之間的焦點(diǎn)偏移的效果。也可以不用相位元件152，而是用雙折射元件153或者孔徑濾波器兀件154。圖2E涉及ー種實(shí)施例,其中，光學(xué)元件是雙折射元件153,該元件在成像單元100的光路中布置在透鏡單元120的光瞳平面中。雙折射元件153被設(shè)計(jì)成對被賦予第一圖像的第一調(diào)制傳遞函數(shù)進(jìn)行修改，以擴(kuò)展第一圖像的視場深度，其中，被賦予第一圖像信號(hào)和/或至少ー個(gè)第二圖像信號(hào)的調(diào)制傳遞函數(shù)在直至乃奎斯特頻率極限的頻率范圍中沒有零值。雙折射元件153可以包括雙折射材料，例如液晶聚合物層。液晶聚合物層可以被形成在載體襯底上。液晶的單軸(uniaxial)軸線的方向大致平 行于雙折射元件153的表面,其中，雙折射元件153被布置成使表面與成像單元100的光路正交。在表面中，單軸軸線的方向?qū)τ谡麄€(gè)所述雙折射元件153而言是變化的。也可以使用相位元件152或者孔徑濾波器元件154而不使用雙折射元件153。圖2F圖示了圖2E的雙折射元件153的一種實(shí)施例。根據(jù)該實(shí)施例,雙折射元件153被劃分成多個(gè)區(qū)153a、153b、153c，其中，在這些區(qū)153a、153b和153c中的至少兩個(gè)區(qū)中，單軸軸線的方向彼此不同。區(qū)153a、153b、153c可以呈現(xiàn)不同的集合形狀。根據(jù)ー種實(shí)施例，這些區(qū)中除了ー個(gè)之外的區(qū)153b、153c是同心的環(huán)形，圍繞著圓形的中心區(qū)153a。除了圖2D的相位元件152,或者代替該元件，圖2G的成像系統(tǒng)包括孔徑元件154?？讖皆?53可以是支撐著圖案的載體，該圖案具有不同透射性的結(jié)構(gòu)。孔徑元件154可以用來對被賦予第一圖像的第一調(diào)制傳遞函數(shù)進(jìn)行修改，以延伸第一圖像的視場深度，其中，被賦予第一圖像信號(hào)和/或至少ー個(gè)第二圖像信號(hào)的調(diào)制傳遞函數(shù)在直至乃奎斯特頻率極限的頻率范圍中沒有零值?？讖皆?54可以被布置在成像單元100的透鏡單元120的光瞳平面中。圖2H示出了孔徑元件154的細(xì)節(jié)。根據(jù)ー種實(shí)施例，孔徑元件154的圖案包括透明結(jié)構(gòu)154a和不透明結(jié)構(gòu)154b。根據(jù)另ー實(shí)施例，這些結(jié)構(gòu)中的至少ー些結(jié)構(gòu)是板透明的，透射率在0%與100%之間。這些結(jié)構(gòu)可以呈現(xiàn)任何集合形狀，并且可以布置成適于以所需方式對MTF進(jìn)行修改的任何順序。根據(jù)ー種實(shí)施例，這些部分的透射率取決于光的波長。圖3A示出了使用第一圖像信號(hào)IR和至少ー個(gè)第二圖像信號(hào)中包含的信息的圖像處理單元200，第一圖像信號(hào)代表了包含紅外輻射的頻率范圍中的圖像場景，第二圖像信號(hào)例如是代表包含紅色光的頻率范圍中的圖像場景的第二圖像信號(hào)R、代表包含緑色光的頻率范圍中的圖像場景的另一第二圖像信號(hào)G、以及代表包含藍(lán)色光的頻率范圍中的圖像場景的另一第二圖像信號(hào)B。圖像處理單元200包括逆濾波器單元205。每個(gè)逆濾波器單元205被賦予由成像単元100輸出的圖像信號(hào)中的ー個(gè)信號(hào)。每個(gè)逆濾波器単元205是線性空間濾波器，其濾波器函數(shù)是針對相應(yīng)圖像信號(hào)的模糊(blurring)函數(shù)的頻率響應(yīng)的逆。由于么個(gè)圖像信號(hào)受到另一散焦(defocus)，所以這些逆濾波器単元205代表不同的濾波器函數(shù)。圖3B在左側(cè)示出了光學(xué)MTF (調(diào)制傳遞函數(shù))的示意圖，這些光學(xué)MTBF代表了用基于RGBIR成像傳感器的成像系統(tǒng)獲得的被成像場景的圖像信號(hào)R、G、B、IR。該圖在中間那欄示意性地圖示了對于逆濾波器単元205事先已知的逆濾波器函數(shù)。該圖在右側(cè)示出了所得的光學(xué)-數(shù)字式MTF曲線。根據(jù)圖4A的實(shí)施例，圖像處理單元200通過從第一和第二圖像信號(hào)生成強(qiáng)度信號(hào)，來使用第一圖像信號(hào)和所述至少一個(gè)第二圖像信號(hào)中包含的信息。圖像處理單元200可以包括加權(quán)單元208，用于以預(yù)定的系數(shù)CB、CK、Ce、CIK對各個(gè)圖像信號(hào)進(jìn)行加權(quán)。求和單元203可以把經(jīng)過加權(quán)的圖像信號(hào)疊加或相加，以獲得強(qiáng)度信號(hào)。逆濾波器單元205向強(qiáng)度信號(hào)施加用于強(qiáng)度信號(hào)的預(yù)定逆濾波器函數(shù)。這些系數(shù)和/或逆濾波器函數(shù)可以從透鏡數(shù)據(jù)事先計(jì)算出來。圖4B在左側(cè)示出了從使用基于RGBIR成像傳感器的成像系統(tǒng)獲得的被成像場景導(dǎo)出的強(qiáng)度信號(hào)的MTF的示意圖。該圖在中間示意性地圖示了用于逆濾波器單元205的事先已知的/自適應(yīng)的逆濾波器函數(shù)。該圖在右側(cè)示出了所得的用于強(qiáng) 度信號(hào)的光學(xué)-數(shù)字式MTF曲線。由于不處理色度，所以這種途徑與使用各個(gè)逆濾波器函數(shù)的那些實(shí)施例相比，不易受到的彩色噪聲增強(qiáng)的影向。圖5A涉及在圖2D和圖2E所示的成像系統(tǒng)的光路中使用相位元件或雙折射元件以在某個(gè)范圍上獲得深度不變的PSF的實(shí)施例。圖像處理單元200包括逆濾波器單元205，其中，每個(gè)逆濾波器單元205向由成像單元100輸出的相應(yīng)圖像信號(hào)施加相同的逆濾波器函數(shù)。逆濾波器函數(shù)是基于對于包含相位元件或雙折射元件的圖像系統(tǒng)所獲得的PSF而設(shè)計(jì)的，使得獲得全準(zhǔn)焦的圖像。圖5B在左側(cè)示出了示意圖，這些光學(xué)MTF代表了用基于RGBIR成像傳感器但沒有任何相位元件的成像系統(tǒng)獲得的被成像場景的圖像信號(hào)R、G、B、IR。第二欄的示意圖示意性地圖示了使用相位元件所得的MTF。在沒有相位元件的情況下，針對綠色平面的MTF曲線在很寬的空間頻率范圍上具有顯著的幅度，而全部的其他MTF曲線迅速下降到零。結(jié)果，只有對于綠色色彩的圖像信號(hào)會(huì)聚焦在傳感器平面中，而其他色彩會(huì)聚焦在其他焦平面不同距離處。相位元件的效果是略微降低了對于綠色色彩的MTF，同時(shí)顯著把其他色彩的MTF曲線抬升到零以上。如第三欄所示，各個(gè)逆濾波器函數(shù)由逆濾波器單元205施加于各個(gè)圖像信號(hào)，以事先目標(biāo)光學(xué)-數(shù)字式MTF曲線。該圖在右側(cè)示出了在成像處理單元200的輸出處所得的光學(xué)-數(shù)字式MTF曲線。圖6涉及一種具有圖像處理單元200的實(shí)施例,該單元包括計(jì)算單元209,計(jì)算單元被配置成基于圖2G所示的孔徑元件的孔徑形狀來計(jì)算全準(zhǔn)焦圖像。在上述各個(gè)實(shí)施例中，圖像處理單元200的全部元件可以僅由硬件實(shí)現(xiàn)(例如以集成電路、FPGA(現(xiàn)場可編程門陣列)、ASIC(專用集成電路)的方式)，僅由軟件實(shí)現(xiàn)(例如可以在計(jì)算機(jī)程序中或者微控制器存儲(chǔ)器中實(shí)現(xiàn))、或者由硬件和軟件要素組合實(shí)現(xiàn)。根據(jù)一種實(shí)施例，圖像處理單元200被集成在集成電路中。圖7涉及對電子設(shè)備進(jìn)行操作的方法，該電子設(shè)備具有表現(xiàn)出縱向色差的成像系統(tǒng)。通過使用布置在成像單元的光路中的光學(xué)元件，被賦予第一圖像的第一調(diào)制傳遞函數(shù)受到操縱以擴(kuò)展第一圖像的視場深度(702)，其中第一圖像在包含了紅外范圍的第一頻率范圍中描述被成像場景。從被成像場景生成第一圖像信號(hào)以及至少一個(gè)第二圖像信號(hào)(704)，其中第一圖像信號(hào)描述第一圖像，第二圖像信號(hào)在包含了可見范圍的第二頻率范圍中對被成像場景進(jìn)行成像。圖像信號(hào)處理提供了輸出圖像信號(hào)，該信號(hào)包含了紅外和/或可見頻率范圍中與被成像場景有關(guān)的信息。
根據(jù)一種實(shí)施例，圖像信號(hào)處理通過逆濾波處理來對第一圖像信號(hào)和/或至少一個(gè)第二圖像信號(hào)中的調(diào)制傳遞函數(shù)進(jìn)行放大，以補(bǔ)償光學(xué)元件對第二圖像的不利效果。在被成像場景對于第一頻率范圍被聚焦在第一焦平面處并對于第二頻率范圍被聚焦在第二焦平面處的情況下，輸出圖像信號(hào)的經(jīng)延伸的視場深度可以對于由第一、第二焦平面之間的距離所造成的焦點(diǎn)偏移進(jìn)行補(bǔ)償。在針對RGBIR傳感器的傳統(tǒng)途徑中，這些傳感器對于同一場景同時(shí)地提供可見范圍中的傳統(tǒng)圖像以及IR圖像，IR圖像嚴(yán)重地離焦；本發(fā)明的途徑提供了全準(zhǔn)焦方式的成像或以經(jīng)延伸的視場深度進(jìn)行成像，以校正對于紅外輻射以及可見范圍中的輻射的離焦模糊問題。這種成像系統(tǒng)能夠在沒有任何復(fù)消色差(apochromati c)鏡頭的情況下實(shí)現(xiàn)。
權(quán)利要求
1.一種成像系統(tǒng)，包括 成像單元(100)，其包括 透鏡單元(120)，其表現(xiàn)出縱向色差， 成像傳感器單元(140)，其被配置成從被成像場景生成第一圖像信號(hào)和至少一個(gè)第二圖像信號(hào)，所述第一圖像信號(hào)在包含紅外范圍的第一頻率范圍中對所述被成像場景進(jìn)行成像，所述第二圖像信號(hào)在包含可見范圍的第二頻率范圍中對所述被成像場景進(jìn)行成像，和 光學(xué)元件(150)，其被配置成對被賦予所述第一圖像信號(hào)的第一調(diào)制傳遞函數(shù)進(jìn)行操縱，以延伸所述第一圖像信號(hào)的視場深度，以及 圖像處理單元(200)，其被配置成計(jì)算輸出圖像信號(hào)，所述輸出圖像信號(hào)包含所述紅外范圍和/或所述可見范圍中與所述被成像場景有關(guān)的信息。
2.根據(jù)權(quán)利要求I所述的成像系統(tǒng)，其中， 所述光學(xué)元件(150)被配置成對被賦予所述第一圖像信號(hào)的第一調(diào)制傳遞函數(shù)和/或被賦予所述至少一個(gè)第二圖像信號(hào)的第二調(diào)制傳遞函數(shù)進(jìn)行操縱，使得全部的調(diào)制傳遞函數(shù)在直至目標(biāo)頻率極限的頻率范圍內(nèi)沒有零值。
3.根據(jù)權(quán)利要求I所述的成像系統(tǒng),其中， 所述圖像處理單元(200)被配置成通過逆濾波處理來放大所述第一圖像信號(hào)和/或至少一個(gè)第二圖像信號(hào)的調(diào)制傳遞函數(shù)。
4.根據(jù)權(quán)利要求I所述的成像系統(tǒng),其中， 所述圖像處理單元(200)包括至少一個(gè)逆濾波器單元(205)，所述逆濾波器單元被配置成用濾波器函數(shù)對所述第一圖像信號(hào)和所述第二圖像信號(hào)中的至少一項(xiàng)進(jìn)行濾波，所述濾波器函數(shù)表示對所述成像單元(100)進(jìn)行描述的點(diǎn)擴(kuò)散函數(shù)的逆。
5.根據(jù)權(quán)利要求4所述的成像系統(tǒng)，其中， 所述至少一個(gè)逆濾波器單元(205)被配置成施加下述空間濾波器函數(shù)該函數(shù)的頻率響應(yīng)是對所述成像單元(100)的成像特性進(jìn)行描述的模糊函數(shù)的頻率響應(yīng)的逆。
6.根據(jù)權(quán)利要求I所述的成像系統(tǒng),其中， 所述圖像處理單元(200)包括多于一個(gè)逆濾波器單元，每個(gè)逆濾波器單元被賦予所述第一圖像信號(hào)和第二圖像信號(hào)中的一項(xiàng)。
7.根據(jù)權(quán)利要求I所述的成像系統(tǒng),其中， 所述圖像處理單元(200)包括一個(gè)逆濾波器單元，所述逆濾波器單元被配置成對于把所述第一圖像信號(hào)和第二圖像信號(hào)以預(yù)定權(quán)重進(jìn)行疊加所獲得的強(qiáng)度信號(hào)施壓逆濾波器函數(shù)。
8.根據(jù)權(quán)利要求4所述的成像系統(tǒng)，其中， 相應(yīng)的逆濾波器函數(shù)是對空間變量調(diào)制傳遞函數(shù)進(jìn)行補(bǔ)償?shù)目臻g變量逆濾波器函數(shù)。
9.根據(jù)權(quán)利要求I所述的成像系統(tǒng)，其中， 所述光學(xué)元件(150)在所述成像單元(100)的光路中被布置在所述透鏡單元(120)的光瞳平面中，所述光學(xué)元件(150)被配置成對所述透鏡單元(120)的點(diǎn)擴(kuò)散函數(shù)的深度變動(dòng)進(jìn)行補(bǔ)償，以在所述第一頻率范圍和第二頻率范圍中對于所述成像單元(100)實(shí)現(xiàn)深度不變的點(diǎn)擴(kuò)散譜。
10.根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其中，所述光學(xué)元件(150)是相位元件(152)或包括相位元件。
11.根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其中， 所述光學(xué)元件(150)是雙折射元件(153)或包括雙折射元件。
12.根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其中， 所述光學(xué)元件(150)是孔徑元件(154)或包括孔徑元件。
13.根據(jù)權(quán)利要求I所述的成像系統(tǒng),其中， 所述光學(xué)元件(150)在所述成像單元(100)的光路中被布置在所述透鏡單元(120)的光瞳平面中，所述光學(xué)元件(150)還被配置成使得被賦予所述第一圖像信號(hào)的第一調(diào)制傳遞函數(shù)和/或被賦予所述至少一個(gè)第二圖像信號(hào)的第二調(diào)制傳遞函數(shù)在直至目標(biāo)頻率極限的頻率范圍內(nèi)沒有零值。
14.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中， 所述光學(xué)元件(150)是相位元件(152)或包括相位元件。
15.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中， 所述光學(xué)元件(150)是雙折射元件(153)或包括雙折射元件。
16.根據(jù)權(quán)利要求13所述的成像系統(tǒng)，其中， 所述光學(xué)元件(150)是孔徑元件(154)或包括孔徑元件。
17.根據(jù)權(quán)利要求15所述的成像系統(tǒng)，其中， 所述雙折射元件(153)包括液晶聚合物層，所述液晶的單軸軸線方向大致平行于所述雙折射元件(153)的表面，所述雙折射元件被布置成使所述表面與所述光路正交，其中，所述表面中的所述單軸軸線的方向?qū)τ谡麄€(gè)所述雙折射元件(153)而言是變化的。
18.根據(jù)權(quán)利要求17所述的成像系統(tǒng)，其中， 所述雙折射元件(153)被劃分成多個(gè)區(qū)(153a、153b、153c);在至少兩個(gè)所述區(qū)(153a、153b、153c)中，所述單軸軸線的方向彼此不同。
19.根據(jù)權(quán)利要求I所述的成像系統(tǒng),其中， 所述光學(xué)元件(150)是布置在所述成像單元(100)的光路中并且具有圖案的孔徑元件(154)，或者包括該孔徑元件；所述圖案包括光譜透射性不同的多個(gè)部分(154a、154b)。
20.一種電子設(shè)備，包括根據(jù)前述權(quán)利要求中任一項(xiàng)所述的成像系統(tǒng)。
21.根據(jù)權(quán)利要求20所述的電子設(shè)備，其中，所述電子設(shè)備是從包含下列成員的組中選擇的一種相機(jī)系統(tǒng)、數(shù)字式望遠(yuǎn)鏡、數(shù)字式顯微鏡、監(jiān)視相機(jī)、診斷系統(tǒng)、外科手術(shù)系統(tǒng)、手持式通信設(shè)備、個(gè)人數(shù)字助理、蜂窩電話、靜態(tài)照相機(jī)或視頻攝像機(jī)、以及為進(jìn)行遙控或游戲應(yīng)用而對手勢或姿勢進(jìn)行檢測的相機(jī)。
22.一種集成電路，包括 圖像處理單元(200)，其被配置成基于第一圖像信號(hào)以及至少一個(gè)第二圖像信號(hào)，或者基于第一圖像信號(hào)以及圖案形狀，來計(jì)算輸出圖像信號(hào)，所述圖案包括透明部分和不透明部分， 所述第一圖像信號(hào)在包含紅外輻射的第一頻率范圍中對被成像場景進(jìn)行成像， 所述第二圖像信號(hào)在包含可見光的第二頻率范圍中對所述被成像場景進(jìn)行成像， 所述第一圖像信號(hào)和所述第二圖像信號(hào)是從成像單元(100)的成像傳感器單元(140)獲得的，所述成像單元包括表現(xiàn)出縱向色差的透鏡單元(120)，所述圖案被施加在所述成像單元(100)的光路中，并且 所述輸出信號(hào)包含紅外頻率范圍中與所述被成像場景有關(guān)的信息，其中，所述圖像處理單元(200)被配置成通過逆濾波處理來對所述第一圖像信號(hào)和/或至少一個(gè)第二圖像信號(hào)中的調(diào)制傳遞函數(shù)對比度進(jìn)行放大。
23.—種對電子設(shè)備進(jìn)行操作的方法，所述電子設(shè)備包括表現(xiàn)出縱向色差的成像單元(100),所述方法包括 通過使用所述成像單元(100)的光路中布置的光學(xué)元件(150)，來對被賦予第一圖像的第一調(diào)制傳遞函數(shù)進(jìn)行操縱以延伸第一圖像信號(hào)的視場深度，所述第一圖像在包含紅外范圍的第一頻率范圍中對被成像場景進(jìn)行成像， 從被成像場景生成第一圖像信號(hào)和至少一個(gè)第二圖像信號(hào)，所述第一圖像信號(hào)描述所述第一圖像，所述第二圖像信號(hào)在包含可見范圍的第二頻率范圍中對所述被成像場景進(jìn)行成像，以及 計(jì)算輸出圖像信號(hào)，所述輸出圖像信號(hào)包含所述紅外范圍和/或可見范圍中與所述被成像場景有關(guān)的信息。
24.根據(jù)權(quán)利要求23所述的方法，其中， 用所述光學(xué)元件(150)進(jìn)行操縱的步驟包括對被賦予所述第一圖像信號(hào)的第一調(diào)制傳遞函數(shù)和/或被賦予所述至少一個(gè)第二圖像信號(hào)的第二調(diào)制傳遞函數(shù)進(jìn)行操縱，使得全部傳遞函數(shù)對比度在直至目標(biāo)頻率極限的頻率范圍中沒有零值。
25.根據(jù)權(quán)利要求23所述的方法，其中， 計(jì)算所述輸出圖像信號(hào)的步驟包括通過逆濾波處理對所述第一圖像信號(hào)和/或至少一個(gè)第二圖像信號(hào)中的調(diào)制傳遞函數(shù)進(jìn)行放大。
全文摘要
本發(fā)明涉及紅外成像系統(tǒng)和操作方法。透鏡單元(120)表現(xiàn)出縱向色差，并在第一焦平面中將被成像場景聚焦成針對紅外范圍的第一圖像，在第二焦平面中將其聚焦成針對可見范圍的第二圖像。光學(xué)元件(150)對被賦予第一和第二圖像的調(diào)制傳遞函數(shù)進(jìn)行操縱以延伸視場深度。圖像處理單元(200)可以放大第一和第二圖像中的調(diào)制傳遞函數(shù)對比度。更改焦平面之間的焦點(diǎn)偏移可以得到補(bǔ)償。在針對RGBIR傳感器的傳統(tǒng)途徑中，對于同一場景同時(shí)提供傳統(tǒng)圖像和紅外圖像，紅外圖像嚴(yán)重離焦；本發(fā)明的途徑提供了以延伸的視場深度進(jìn)行成像，以校正對于紅外輻射的離焦問題?？梢栽跊]有任何復(fù)消色差鏡頭的情況下實(shí)現(xiàn)成像系統(tǒng)。
文檔編號(hào)G02B27/46GK102768412SQ201210137558
公開日2012年11月7日 申請日期2012年4月25日 優(yōu)先權(quán)日2011年5月2日
發(fā)明者克利斯汀·昂魯, 穆罕默德·西迪奎, 穆罕默德·阿蒂夫, 馬庫斯·凱姆 申請人:索尼公司