專利名稱：用于多孔徑成像的閃光系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及處理多孔徑像數(shù)據(jù)，尤其是，雖然不是專門地，涉及用于形成情景的像的方法和系統(tǒng)，以及使用該方法的計算機程序產(chǎn)品。
背景技術(shù)：
目前，照相機中使用的所有光學(xué)系統(tǒng)中存在的限制，是在孔徑與景深(DOF)之間的權(quán)衡?？讖酱_決定進入照相機的光量，而DOF確定在像被捕獲時，離焦點對準的照相機的距離范圍?？讖皆綄挻?更多的光被接收)，DOF受到的限制也越大。在許多應(yīng)用中，孔徑與DOF之間的權(quán)衡是顯而易見的。例如，大多數(shù)移動電話有固定焦距透鏡，因此只有在有限范圍內(nèi)的對象是焦點對準的。它還在照相機的孔徑設(shè)定上設(shè)置制約，該照相機必須有相對小的孔徑，以確保盡量多的物體是焦點對準的。這種權(quán)衡降低照相機的性能，在低光情況下通常使快門速度降低4或8倍。此外，在低光應(yīng)用中，要求寬大的孔徑，這導(dǎo)致DOF的損失。在有物體離照相機不同距離的照片中，即使用調(diào)焦的透鏡，還是有一些物體是焦點沒有對準的。寬大孔徑透鏡對光學(xué)性能要求更大的精密度，從而是昂貴的?，F(xiàn)有技術(shù)中增大DOF的技術(shù)是大家知道的。一種被稱作“焦距迭層”的技術(shù)，組合在隨后的時間點和在不同的焦距上捕獲的多個像，以便產(chǎn)生比任何一個個別源像有更大景深DOF的合成像。焦距迭層的實施，要求照相機電子裝置的適應(yīng)和大體上的(非線性)處理，以及相對大量的像數(shù)據(jù)的像分析。此外，因為焦距迭層要求在隨后的時間瞬間捕獲多個像，所以該技術(shù)對運動影像模糊(motion blur)是敏感的。

另一種解決途徑由Green 等人在論文 “Mult1-aperture photography”，ACMTransaction on Graphics, 26 (3), July2007,pp.68:1-68:7 中描述。在該文章中，作者建議使用的增大DOF的系統(tǒng)，是用不同的孔徑大小同時捕獲多個像。該系統(tǒng)使用把孔徑分解為中央圓盤和一組同心環(huán)的孔徑分解反射鏡。然而，該孔徑分解反射鏡制作復(fù)雜并產(chǎn)生高的光學(xué)像差。此外，這種孔徑分解反射鏡在照相機中的實施，要求需要精確對準的相對復(fù)雜的光學(xué)系統(tǒng)。因此，在現(xiàn)有技術(shù)中需要一種簡單和廉價的方法和系統(tǒng)，用于改進成像系統(tǒng)中的景深。有國際專利申請?zhí)朠CT/EP2009/050502 和 PCT/EP2009/060936 的 PCT 申請，描述
通過使用組合彩色和紅外成像技術(shù)二者的光學(xué)系統(tǒng)，使固定焦距透鏡成像系統(tǒng)的景深擴展的方式，這些專利申請通過引用被合并于此。適合在彩色和紅外光譜二者中成像的像傳感器，以及波長選擇多孔徑的孔徑的組合使用，允許有固定焦距透鏡的數(shù)字照相機，以簡單和合算的方式，使景深擴展和ISO速度增加。它要求已知的數(shù)字成像系統(tǒng)較少的適應(yīng)，從而使該過程特別適合于大規(guī)模生產(chǎn)。再者，有國際專利申請?zhí)朠CT/EP2010/052151 和 PCT/EP2010/052154 的 PCT 申請，描述通過多孔徑成像系統(tǒng)的使用，產(chǎn)生深度映射的方式，這些專利申請也通過引用合并于此。雖然多孔徑成像系統(tǒng)的使用，給出大體上優(yōu)于已知數(shù)字成像系統(tǒng)的優(yōu)點，但本領(lǐng)域還需要可以提供有更進一步增強功能的多孔徑成像系統(tǒng)的方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的，是降低或消除至少一種現(xiàn)有技術(shù)中已知的缺點。本發(fā)明的第一方面，涉及一種用于形成情景的像的方法。該方法包含步驟:通過使用至少第一孔徑把像傳感器對來自電磁波(EM)頻譜的第一部分輻射曝光，并且使用有與第一孔徑不同大小的至少第二孔徑，對來自EM頻譜的第二部分輻射曝光，捕獲該情景的第一像；以及在由來自EM頻譜的第一部分輻射產(chǎn)生的第一像的像數(shù)據(jù)的基礎(chǔ)上，和在由來自EM頻譜的第二部分輻射產(chǎn)生的第一像的像數(shù)據(jù)的基礎(chǔ)上，形成該情景的像。與捕獲該第一像的同時，該情景被用來自EM頻譜的第二部分輻射照明。按本文的使用，“用輻射照明該情景”是指用光學(xué)波長的EM輻射(如，紅外的、可見的或紫外的輻射)照明該情景。此外，按本文的使用，“用輻射照明該情景同時捕獲該像”是指照明動作至少與一部分使像傳感器對輻射曝光的動作重合。照明的持續(xù)時間能夠小于像傳感器對輻射曝光的持續(xù)時間。通過用來自兩個不同孔徑的輻射曝光像傳感器，該光學(xué)系統(tǒng)的DOF能夠以非常簡單的方式被改進。該方法允許固定焦距透鏡有相對寬大的孔徑，因此有效地在低光情況下操作，同時提供導(dǎo)致更清晰照片的更大D0F。此外，該方法有效地增加透鏡的光學(xué)性能，降低要求達到相同性能的透鏡的成·本。本發(fā)明的第二方面，涉及用于形成情景的像的多孔徑成像系統(tǒng)。該系統(tǒng)包含:閃光、像傳感器、波長選擇多孔徑、以及處理模塊。該波長選擇多孔徑被配置成通過使用至少第一孔徑把該像傳感器對來自EM頻譜的第一部分輻射曝光，并且使用有與第一孔徑不同大小的至少第二孔徑，對來自EM頻譜的第二部分輻射曝光，捕獲第一像。該處理模塊被配置成在由來自EM頻譜的第一部分輻射產(chǎn)生的第一像的像數(shù)據(jù)基礎(chǔ)上，和在由來自EM頻譜的第二部分輻射產(chǎn)生的第一像的像數(shù)據(jù)基礎(chǔ)上，形成該情景的像。該閃光被配置成用來自EM頻譜的第二部分輻射照明該情景同時捕獲該第一像。權(quán)利要求2_5、11和12提供用于設(shè)定照明參數(shù)的各種不同的優(yōu)勢實施例。該照明參數(shù)可以包含，例如用來自EM頻譜的第二部分輻射照明該情景的強度和/或持續(xù)時間。權(quán)利要求6允許當(dāng)EM頻譜的第二部分中的輻射水平達到預(yù)定閾值時，中斷照明。這個閾值可以包含，例如達到某個絕對值或相對于來自EM頻譜的第一部分的輻射達到某個水平的EM頻譜的第二部分中輻射的強度。權(quán)利要求7提供像傳感器的單次曝光，允許有效捕獲小孔徑和大孔徑像信息兩者，因而降低運動影像模糊的效應(yīng)，這種效應(yīng)在使用類似于焦距迭層的常用技術(shù)時出現(xiàn)。權(quán)利要求8提供一個實施例，在該實施例中，清晰的像信息能夠容易經(jīng)過由小孔徑像數(shù)據(jù)產(chǎn)生的高頻信息被獲取。權(quán)利要求9提供，電磁波頻譜的第一部分可以與可見光譜的至少一部分相關(guān)聯(lián)，和/或電磁波頻譜的所述第二部分可以與不可見光譜，最好是紅外光譜的至少一部分相關(guān)聯(lián)。紅外光譜的使用，允許像傳感器的靈敏度的有效利用，從而允許信噪比的明顯改進。
對光學(xué)系統(tǒng)中使用的該類型像傳感器和/或光學(xué)透鏡系統(tǒng)，該孔徑系統(tǒng)的光學(xué)特征能夠容易被修改和優(yōu)化。一個實施例可以采用硅像傳感器對紅外輻射的靈敏度。本發(fā)明的更多方面，涉及閃光控制器，用于在如上所述的多孔徑成像系統(tǒng)中使用。本發(fā)明的更多方面，涉及數(shù)字照相機系統(tǒng)，最好是用于在移動終端中使用的數(shù)字照相機系統(tǒng)，包括如上所述的多孔徑成像系統(tǒng)，并涉及用于處理像數(shù)據(jù)的計算機程序產(chǎn)品，其中所述計算機程序產(chǎn)品包括軟件代碼部分，該軟件代碼部分被配置成當(dāng)在計算機系統(tǒng)的存儲器中運行時，執(zhí)行如上所述的方法。本發(fā)明將參照附圖進一步說明，這些圖將示意地展示按照本發(fā)明的實施例。應(yīng)當(dāng)理解，本發(fā)明無論如何不受這些具體實施例的限制。


圖1畫出按照本發(fā)明一個實施例的多孔徑成像系統(tǒng)。圖2畫出數(shù)字照相機的彩色響應(yīng)。圖3畫出熱反射鏡濾波器的響應(yīng)和硅的響應(yīng)。圖4畫出使用多孔徑系統(tǒng)的示意光學(xué)系統(tǒng)。圖5畫出一種像處理方法，供與按照本發(fā)明一個實施例的多孔徑成像系統(tǒng)一道使用。圖6A畫出按照本發(fā)明一個實施例的用于確定深度函數(shù)的方法。圖6B畫出深度函 數(shù)的示意圖，以及畫出作為距離函數(shù)的高頻彩色和紅外信息的曲線圖。圖7畫出按照本發(fā)明一個實施例的用于產(chǎn)生深度映射的方法。圖8畫出按照本發(fā)明一個實施例的用于獲得立體觀察的方法。圖9畫出按照本發(fā)明一個實施例的用于控制景深的方法。圖10畫出按照本發(fā)明一個實施例的用于控制焦點的方法。圖11畫出按照本發(fā)明另一個實施例的使用多孔徑系統(tǒng)的光學(xué)系統(tǒng)。圖12畫出按照本發(fā)明另一個實施例的用于確定深度函數(shù)的方法。圖13畫出按照本發(fā)明另一個實施例的用于控制景深的方法。圖14畫出用于在多孔徑成像系統(tǒng)中使用的多孔徑系統(tǒng)。圖15畫出按照本發(fā)明另一個實施例的多孔徑成像系統(tǒng)。圖16畫出一種像處理方法，供與按照本發(fā)明一個實施例有閃光的多孔徑成像系
統(tǒng)一道使用。圖17畫出一種像處理方法，供與按照本發(fā)明另一個實施例有閃光的多孔徑成像系統(tǒng)一道使用。
具體實施例方式圖1畫出按照本發(fā)明一個實施例的多孔徑成像系統(tǒng)100。該成像系統(tǒng)可以是數(shù)字照相機的一部分，或者被集成在移動電話、網(wǎng)絡(luò)攝像頭、生物傳感器、像掃描器、或要求像捕獲功能的任何其他多媒體裝置中。圖1所示系統(tǒng)包括像傳感器102、用于使情景中的物體聚焦到該像傳感器的成像平面上的透鏡系統(tǒng)104、快門106和孔徑系統(tǒng)108，該孔徑系統(tǒng)108包括預(yù)定數(shù)量的孔徑，以便允許EM頻譜的第一部分，如可見部分的光(電磁輻射)，以及該EM頻譜的至少第二部分，如不可見部分，諸如電磁波(EM)頻譜的紅外部分，按受控方式進入該成像系統(tǒng)。該多孔徑系統(tǒng)108，下文將更詳細討論，被配置成控制像傳感器對EM頻譜的可見部分，以及任選地不可見部分，如紅外部分的光曝光。尤其是，該多孔徑系統(tǒng)可以定義第一大小的至少第一孔徑，用于用EM頻譜的第一部分曝光像傳感器，以及第二大小的至少第二孔徑，用于用EM頻譜的第二部分曝光像傳感器。例如，在一個實施例中，EM頻譜的第一部分可以涉及彩色光譜，而該第二部分涉及紅外光譜。在另一個實施例中，該多孔徑系統(tǒng)可以包括預(yù)定數(shù)量的孔徑，各被設(shè)計成使像傳感器對EM頻譜的預(yù)定范圍內(nèi)的輻射曝光。像傳感器對EM輻射的曝光，受快門106和該多孔徑系統(tǒng)108的孔徑控制。當(dāng)快門被打開時，該孔徑系統(tǒng)控制使像傳感器102曝光的光量和光的準直程度。該快門可以是機械快門，要不然，該快門可以是被集成在像傳感器中的電子快門。該像傳感器包括形成兩維像素陣列的光電部位(像素)的行和列。該像傳感器可以是CMOS (互補型金屬氧化物半導(dǎo)體)有源像素傳感器，或CCD (電荷耦合器件)像傳感器。要不然，該像傳感器可以涉及其他Si (如，a-Si)、II1-V (如，GaAs)、或基于導(dǎo)電聚合物的像傳感器結(jié)構(gòu)。當(dāng)光被透鏡系統(tǒng)投射到該像傳感器上時，每一像素產(chǎn)生與入射到該像素上的電磁輻射(能量)成比例的電信號。為了獲得被投射到像傳感器成像平面上的像的彩色信息和分離像的彩色分量，通常彩色濾波器陣列120 (CFA)被置于透鏡與像傳感器之間。該彩色濾波器陣列可以與像傳感器集成，以便使像傳感器的每一像素有對應(yīng)的像素濾波器。每一彩色濾波器適合使預(yù)定彩色頻帶通過，進入該像素。常常是紅色、綠色和藍色(RGB)濾波器的組合被使用，然而，其他濾波器方案也是可能的，如，CYGM (青色、黃色、綠色、品紅色)，RGBE(紅色、綠色、藍色、鮮綠色)，等等。被曝光像傳感器的每一像素，產(chǎn)生與通過與該像素相關(guān)聯(lián)的彩色濾波器的電磁輻射成比例的電信號。該像素陣列因而產(chǎn)生代表通過彩色濾波器陣列的電磁能量(輻射)空間分布的像數(shù)據(jù)(幀)。從各像 素接收的信號，可以用一個或多個片上放大器放大。在一個實施例中，像傳感器的每一彩色通道可以用分開的放大器放大，從而允許分開地控制不同彩色的ISO速度。此外，像素信號可以被抽樣、被量化和被一個或多個模數(shù)(A/D)變換器110變換為數(shù)字格式的字，該模數(shù)變換器可以被集成在像傳感器的芯片上。該數(shù)字化像數(shù)據(jù)被耦合到像傳感器的數(shù)字信號處理器112 (DSP)處理，該數(shù)字信號處理器被配置成實行熟知的信號處理功能，諸如內(nèi)插、濾波、白平衡、亮度校正、數(shù)據(jù)壓縮技術(shù)(如，MPEG或JPEG類型的技術(shù))。該DSP被耦合到中央處理器114、用于存儲被捕獲像的存儲存儲器116、以及程序存儲器118，諸如EEPROM或另一種類型的非易失性存儲器，這種非易失性存儲器包括一個或多個軟件程序，供該DSP處理像數(shù)據(jù)使用，或供中央處理器管理成像系統(tǒng)的操作使用。此外，該DSP可以包括一種或多種信號處理功能124，被配置成用于獲得與由多孔徑成像系統(tǒng)捕獲的像相關(guān)聯(lián)的深度信息。這些信號處理功能可以提供有擴展的成像功能的固定透鏡多孔徑成像系統(tǒng)，該擴展的成像功能包含可變DOF和焦點控制及立體的3D像觀察能力。與這些信號處理功能相關(guān)聯(lián)的細節(jié)和優(yōu)點，將在下文更詳細討論。如上所述，成像系統(tǒng)的靈敏度通過使用紅外成像功能而被擴展。為此，該透鏡系統(tǒng)可以被配置成允許可見光和紅外輻射或至少部分紅外輻射二者進入成像系統(tǒng)。透鏡系統(tǒng)前面的濾波器被配置成允許至少部分紅外輻射進入成像系統(tǒng)。尤其是，這些濾波器不包括紅外阻擋濾波器，通常稱為熱反射鏡濾波器，被用在常用的彩色成像照相機中，用于阻擋紅外輻射進入照相機。因此，進入多孔徑成像系統(tǒng)的EM輻射122可以由此包括與EM頻譜的可見和紅外部分相關(guān)聯(lián)的兩種輻射，從而允許像傳感器的光電響應(yīng)擴展到紅外光譜。紅外阻擋濾波器(的缺失)對常用CFA彩色像傳感器的效應(yīng)，在圖2-3中示出。在圖2A和2B中，曲線202代表沒有紅外阻擋濾波器(熱反射鏡濾波器)的數(shù)字照相機的典型彩色響應(yīng)。曲線圖A更詳細地示出使用熱反射鏡濾波器的效應(yīng)。熱反射鏡濾波器210的響應(yīng)把像傳感器的光譜響應(yīng)限制于可見光譜，從而大體上限制像傳感器總的靈敏度。如果把該熱反射鏡濾波器拿走，一些紅外輻射將通過彩色像素濾波器。這一效應(yīng)由曲線圖B畫出，曲線圖B示出包括藍色像素濾波器204、綠色像素濾波器206、和紅色像素濾波器208的常用彩色像素的光電響應(yīng)。彩色像素濾波器，尤其是紅色像素濾波器，可以(部分地)透射紅外輻射，因此一部分像素信號可以被歸因于紅外輻射。這些紅外貢獻可以使色平衡畸變，導(dǎo)致包括所謂偽彩色的像。圖3畫出熱反射鏡濾波器302的響應(yīng)和硅304(即，數(shù)字照相機中使用的像傳感器的主要半導(dǎo)體部件)的響應(yīng)。這些響應(yīng)清楚表明，硅像傳感器對紅外輻射的靈敏度大約比它對可見光的靈敏度高4倍。為了利用由如圖2和3所示像傳感器提供的光譜靈敏度，圖1成像系統(tǒng)中的像傳感器102，可以是常用的像傳感器。在常用的RGB傳感器中，紅外輻射主要由紅色像素感測。在這樣的情形下，DSP可以處理該紅色像素信號，以便提取其中的低噪聲紅外信息。該處理將在下文更詳細描述。換種方式，該像傳感器可以被特別配置成使至少一部分紅外光譜成像。該像傳感器可以包括，例如一個或多個紅外(I)像素連同彩色像素，從而允許該像傳感器產(chǎn)生RGB彩色像和相對低噪聲的紅外像。

紅外像素可以通過用濾波器材料覆蓋光電部位實現(xiàn)，該材料大體上阻擋可見光而大體上透射紅外輻射，最好是在約700到IlOOnm范圍內(nèi)的紅外輻射。該紅外透射像素濾波器可以設(shè)在紅外/彩色濾波器陣列(ICFA)中。該紅外/彩色濾波器陣列可以用熟知的對在光譜紅外頻帶中的波長有高透射率的濾波器材料，例如由Brewer Science以商標“DARC400”出售的黑色聚酰亞胺材料實現(xiàn)。實現(xiàn)這種濾波器的方法在US2009/0159799中描述。ICFA可以包含像素，如2 X 2個像素的塊，其中每一塊包括紅色、綠色、藍色和紅外像素。當(dāng)被曝光時，這種像ICFA彩色像傳感器，可以產(chǎn)生包括RGB彩色信息和紅外信息二者的原始馬賽克像。在用熟知的消馬賽克算法處理該原始馬賽克像之后，RGB彩色像和紅外像可以被獲得。這種ICFA像彩色傳感器對紅外輻射的靈敏度，可以通過增加塊中紅外像素的數(shù)量而增加。在一種配置(未畫出)中，該像傳感器濾波器陣列可以例如包括16個像素的塊，其中包括4個彩色像素RGGB和12個紅外像素。代替ICFA像彩色傳感器，在另一個實施例中，該像傳感器可以涉及光電部位(photo-site)的陣列，其中每一光電部位包括本領(lǐng)域熟知的許多迭層的光電二極管。最好是，這樣迭層的光電部位包括至少4個迭層的光電二極管，它們分別對至少基色RGB和紅外有響應(yīng)。這些迭層的光電二極管可以被集成在像傳感器的硅基片中。該多孔徑系統(tǒng)，如多孔徑光闌，可以用于改進照相機的景深(D0F)。該多孔徑系統(tǒng)400的原理在圖4示出。當(dāng)像被捕獲時，該DOF確定焦點對準的離開照相機的距離范圍。在該范圍內(nèi)，物體是可接受地清晰的。對適度大的距離和給定像格式，DOF由透鏡的焦距N、與透鏡開孔(孔徑)相關(guān)聯(lián)的f 數(shù)、以及物體到照相機距離s確定。孔徑越寬大(更多的光被接收)，DOF受到的限制越大?？梢姾图t外光譜能量，可以經(jīng)由多孔徑系統(tǒng)進入成像系統(tǒng)。在一個實施例中，該多孔徑系統(tǒng)可以包括有預(yù)定直徑Dl的圓孔402的濾波器涂覆的透明基片。該濾波器涂層404可以透射可見輻射并反射和/或吸收紅外輻射。不透明蓋406可以包括具有直徑D2的圓的開孔，D2大于孔402的直徑Dl。該蓋可以包括反射紅外和可見輻射二者的薄膜涂層，要不然，該蓋可以是用于夾持和定位光學(xué)系統(tǒng)中的基片的不透明夾持器的一部分。這樣，該多孔徑系統(tǒng)包括多個波長選擇孔徑，允許控制像傳感器對EM頻譜的不同部分的光譜能量的曝光。通過該孔徑系統(tǒng)的可見和紅外光譜能量，其后被透鏡412投射到像傳感器的成像平面414上，該像傳感器包括用于獲得與可見光譜能量相關(guān)聯(lián)的像數(shù)據(jù)的像素，以及用于獲得與不可見(紅外)光譜能量相關(guān)聯(lián)的像數(shù)據(jù)的像素。像傳感器的像素由此可以接收第一(相對地)寬大孔徑像信號416與第二小孔徑像信號418的疊加，像信號416與具有有限D(zhuǎn)OF的可見光譜能量相關(guān)聯(lián)，像信號418與具有大的DOF的紅外光譜能量相關(guān)聯(lián)。接近透鏡焦平面N的物體420，被可見輻射以相對小的散焦模糊投射到像平面上，而位于離焦平面更遠的物體422，被紅外輻射以相對小的散焦模糊投射到像平面上。因此，與包括單個孔徑的常用成像系統(tǒng)相反，雙孔徑或更多孔徑的成像系統(tǒng)，使用包括兩個或更多不同大小孔徑的孔徑系統(tǒng)，用于控制曝光像傳感器的頻譜的不同頻帶中輻射的量和準直。DSP可以被配置成處理被捕獲的彩色和紅外信號。圖5畫出典型的像處理步驟500，供與多孔徑成像系統(tǒng)一道使用。在該例子中，該多孔徑成像系統(tǒng)包括，例如使用Bayer彩色濾波器陣列的常用彩色 像傳感器。在這種情形下，主要是紅色像素濾波器把紅外輻射傳輸?shù)较駛鞲衅鳌１徊东@像幀中紅色彩色像素數(shù)據(jù)，包括高幅度可見紅色信號和清晰的、低幅度的不可見紅外信號。該紅外分量可以比可見紅色分量低8到16倍。此外，使用熟知的彩色平衡技術(shù)，紅色平衡可以被調(diào)整，以補償因紅外輻射的存在而產(chǎn)生的輕微畸變。在其他變型中，其中紅外像可以通過I像素直接獲得的RGBI像傳感器，可以被使用。在第一步驟502中，Bayer濾波的原始像數(shù)據(jù)被捕獲。其后，DSP可以提取也包括紅外信息的紅色彩色像數(shù)據(jù)(步驟504)。其后，DSP可以從該紅色像數(shù)據(jù)中提取與紅外像相關(guān)聯(lián)的清晰度信息，并使用該清晰度信息增強彩色像。一種在空間域中提取清晰度信息的途徑，可以通過對紅色像數(shù)據(jù)應(yīng)用高通濾波器達到。高通濾波器可以保留紅色像內(nèi)高頻信息(高頻分量)，同時降低低頻信息(低頻分量)。高通濾波器的核可以被設(shè)計成增加中心像素相對于鄰域像素的亮度。該核陣列常常在它的中心含有單一正值，該單一正值完全被負值包圍。高通濾波器的3X3核的簡單的非限制性例子，看來可以類似于:1-1/9 -1/9 -1/9|-1/9 8/9 -1/9
1-1/9 -1/9 -1/9因此，使紅色像數(shù)據(jù)通過高通濾波器(步驟506)，以便提取與紅外像信號相關(guān)聯(lián)的高頻分量(即，清晰度信息)。因為紅外孔徑的相對小的大小產(chǎn)生相對小的紅外像信號，所以已濾波的高頻分量按可見光孔徑對紅外孔徑的比值的比例被放大(步驟508)。紅外孔徑相對小的大小的效應(yīng)，由如下事實部分地補償:由紅色像素捕獲的紅外輻射頻帶約比紅色輻射的頻帶寬大4倍(通常的數(shù)字紅外照相機比可見光照相機更靈敏4倍)。在一個實施例中，紅外孔徑相對小的大小的效應(yīng)，還可以在原始像數(shù)據(jù)被捕獲時，通過用紅外閃光照明被成像的物體加以補償(閃光在下面結(jié)合圖15-17更詳細描述)。在放大之后，從紅外像信號導(dǎo)出的被放大的高頻分量，被添加到(與之混合的)Bayer濾波的原始像數(shù)據(jù)的每一彩色分量中(步驟510)。這樣，紅外像數(shù)據(jù)的清晰度信息被添加到彩色像中。其后，組合的像數(shù)據(jù)可以用本領(lǐng)域熟知的消馬賽克算法，變換為全RGB彩色像(步驟512)。在變型(未畫出)中，該Bayer濾波的原始像數(shù)據(jù)，首先被消馬賽克成為RGB彩色像，并在隨后通過添加(混合)與放大的高頻分量組合。圖5畫出的方法允許該多孔徑成像系統(tǒng)有寬大的孔徑，用于在較低光情況中有效的操作，同時有導(dǎo)致更清晰照片的更大D0F。此外，該方法有效地增加透鏡的光學(xué)性能，降低透鏡為達到相同性能所需的成本。該多孔徑成像系統(tǒng)由此允許簡單的移動電話照相機有典型的7的f 數(shù)(如7mm的焦距N和Imm的直徑)，以便通過第二孔徑改進它的D0F，該第二孔徑具有，例如在對直徑
0.5mm的14,直到對直徑等于或小于0.2mm的70或更大值之間的變化的f數(shù)，其中該f數(shù)由焦距f 與孔徑的有效直徑的比值定義?？扇〉膶嵤┓桨赴@樣的光學(xué)系統(tǒng)，這些光學(xué)系統(tǒng)包括:用于增加近的物體的清晰度的對可見輻射的約2到4的f 數(shù)，和用于增加遠的物體的清晰度的對紅外輻射的約16到22的f數(shù)二者的組合。由多孔徑成像系統(tǒng)提供的在DOF和ISO速度方面的改進，在有關(guān)申請PCT/EP2009/050502和PCT/EP2009/060936中更詳細被描述。此外，如參考圖1_5描述的多孔徑成像系統(tǒng)，可以被用于產(chǎn)生與單幅被捕獲像相關(guān)聯(lián)的深度信息。尤其是，多孔徑成像系統(tǒng)的DSP可以包括至少一個深度函數(shù)，該深度函數(shù)取決于光學(xué)系統(tǒng)的參數(shù)，且在一個實施例中，該深度函數(shù)可以事先由制造商確定并存儲在照相機的存儲器中，供數(shù)字像處理功能使用。像可以含有被定位在離照相機透鏡不同距離上的物體，因此，更接近照相機焦平面的物體將比遠離該焦平面的物體更清晰。深度函數(shù)可以使與成像在像中不同區(qū)域的物體相關(guān)聯(lián)的清晰度信息，與涉及這些物體被從照相機移開的距離的信息相聯(lián)系。在一個實施例中，深度函數(shù)R可以包含對離照相機透鏡不同距離上的物體，確定它們的彩色像分量與紅外像分量的清晰度的比值。在另一個實施例中，深度函數(shù)D可以包含高通濾波的紅外像的自相關(guān)分析。這些實施例在下文參考圖6-14更詳細描述。在第一實施例中，深度函數(shù)R可以由彩色像中清晰度信息與紅外像中清晰度信息的比值定義。在此，清晰度參數(shù)可以涉及所謂的彌散圓，它對應(yīng)于由像傳感器測量的物空間中被不清晰地成像的點的模糊光斑直徑。代表散焦模糊的模糊盤直徑，對焦平面中的點是非常小的，而當(dāng) 在物空間中從該平面移向前景或背景時，逐漸增長。只要該模糊盤小于最大可接受彌散圓c，可以認為足夠清晰并是DOF范圍的一部分。根據(jù)已知的DOF公式，在物體的深度，即它的離開照相機的距離S，與該物體在照相機中的模糊量(即清晰度)之間，存在直接關(guān)系。因此，在多孔徑成像系統(tǒng)中，彩色像的RGB分量的清晰度相對于紅外像中IR分量的清晰度的增加或下降，取決于被成像物體離透鏡的距離。例如，如果透鏡被聚焦在3米，RGB分量和IR分量二者的清晰度可以相同。反之，由于對I米距離的物體，用于紅外像的小的孔徑，RGB分量的清晰度可以顯著小于紅外分量的那些清晰度。這種依賴性可以被用于估計物體離照相機透鏡的距離。尤其是，如果透鏡被設(shè)定在大(“無窮遠”)焦距點(該點可以稱為該多孔徑系統(tǒng)的超焦距H)，則照相機可以確定像中彩色和紅外分量同等清晰的點。像中的這些點對應(yīng)于被定位在離照相機相對大距離(通常是背景)上的物體。對位于遠離超焦距H的物體，紅外分量和彩色分量之間清晰度的相對差值，將作為物體和透鏡之間距離s的函數(shù)而增加。彩色像中清晰度信息和一個光斑上(如，一個或一組像素)測量的紅外信息中清晰度信息之間的比值，后文將稱之為深度函數(shù)R (S)。深度函數(shù)R(S)可以通過對在離照相機透鏡不同距離s上的一個或多個測試物體，測量清晰度比值而獲得，其中該清晰度由相應(yīng)像中的高頻分量確定。圖6A畫出按照本發(fā)明一個實施例的與深度函數(shù)的確定相關(guān)聯(lián)的流程圖600。在第一步驟602中，測試物體可以至少被定位在離照相機超焦距H上。其后，像數(shù)據(jù)用該多孔徑成像系統(tǒng)捕獲。然后，與彩色像和紅外信息相關(guān)聯(lián)的清晰度信息，從被捕獲的數(shù)據(jù)提取(步驟606-608)。清晰度信息R (H)之間的比值，隨后被存儲在存儲器中(步驟610)。然后，該測試物體被從超焦距H移開距離A，而R在該距離上被確定。重復(fù)該過程，直至對直到接近照相機透鏡的所有距離，R都被確定為止(步驟612)。這些值可以被存儲進存儲器中。插值可以被使用，以便獲得連續(xù)深度函數(shù)R(2)(步聚614)。在一個實施例中，R可以被定義為像中特定光斑上測量的高頻紅外分量的絕對值Dir和高頻彩色分量的絕對值Dral之間的比值。在另一個實施例中，特定區(qū)域中紅外和彩色分量之間的差值可以被計算。然后，在該區(qū)域中差值之和，可以被取作該距離的測量。圖6B畫出作為距離的函數(shù)的Detjl和Db的曲線(曲線圖A)以及作為距離的函數(shù)的R=Dir/Dcol的曲線(曲線圖B)。在曲線圖A中示出，圍繞焦距N，高頻彩色分量有最高值，而遠離該焦距，高頻彩色分量作為模糊效應(yīng)的結(jié)果迅速下降。此外，作為相對小的紅外孔徑的結(jié)果，高頻紅外分量將在遠離焦點N的大距離上，有相對高的值。曲線圖B畫出得到的被定義為DJDral之間比值的深度函數(shù)R，表明，對大體上大于焦距N的距離，清晰度信息被包括在高頻紅外像數(shù)據(jù)中。深度函數(shù)R(S)可以事先由制造商獲得，并可以存儲在照相機的存儲器中，在那里它可以被DSP在用于處理被該多孔徑成像系統(tǒng)捕獲的像的一種或多種后處理功能中使用。在一個實施例中，該后處理功能之一，可以涉及與由多孔徑成像系統(tǒng)捕獲的單幅像相關(guān)聯(lián)的深度映射(cbpth map)的產(chǎn)生。圖7畫出按照本發(fā)明一個實施例的用于產(chǎn)生這樣的深度映射的過程示意圖。在多孔徑成像系統(tǒng)中的像傳感器同時在一幀像幀中捕獲可見和紅外像信號二者(步驟702)之后，DSP可以用例如熟知的消馬賽克算法，把被捕獲的原始馬賽克像中的彩色和紅外像素信號分開(步驟704)。其后，該DSP可以對彩色像數(shù)據(jù)(如RGB像)和紅 外像數(shù)據(jù)使用高通濾波器，以便獲得兩種像數(shù)據(jù)的高頻分量(步驟706)。
其后，DSP可以使距離與每一像素p(i，j)或一組像素關(guān)聯(lián)。為此，DSP可以對每一像素P (i, j)確定高頻紅外分量和高頻彩色分量之間的清晰度比值R (i，j)，R (i，j)=Dir(i, j)/Dcol (i，j)(步驟708)。然后，在深度函數(shù)R (s)，尤其是逆深度函數(shù)R' (R)的基礎(chǔ)上，DSP可以使每一像素上被測量的清晰度比值R (i，j)與到照相機透鏡的距離s (i，j)關(guān)聯(lián)(步驟710)。該過程將產(chǎn)生距離映射，其中該映射中每一距離值與像中某一像素相關(guān)聯(lián)。由此產(chǎn)生的映射可以被存儲在照相機的存儲器中(步驟712)。把距離賦予每一像素，可能要求大量數(shù)據(jù)處理。為了降低計算的量，在一種變型中,在第一步驟中,像中的邊緣可以用熟知的邊緣檢測算法被檢測。其后，圍繞這些邊緣的區(qū)域可以被用作樣本區(qū)域，以便用這些區(qū)域中的清晰度比值R，確定離照相機透鏡的距離。該變型提供的優(yōu)點是，它要求較少的計算。因此，在被多孔徑照相機系統(tǒng)捕獲的像，即像素幀{p (i，j) }的基礎(chǔ)上，該包括深度函數(shù)的數(shù)字成像處理器，可以確定相關(guān)聯(lián)的深度映射Is (i，j)}。對像素幀中每一像素，該深度映射包括相關(guān)聯(lián)的距離值。該深度映射可以通過對每一像素P (i，j)計算相關(guān)聯(lián)的深度值s (i，j)而被確定。換種方式，該深度映射可以通過使深度值與像中各組像素相關(guān)聯(lián)而被確定。該深度映射可以與被捕獲的像一道，按任何合適的數(shù)據(jù)格式，被存儲在照相機的存儲器中。該過程不限于參考圖7所描述的步驟。各種變型是可能的，并不違背本發(fā)明。例如，高通濾波的步驟可以在消馬賽克步驟之前施行。在這種情況下，高頻彩色像是通過對高通濾波的像數(shù)據(jù)進行消馬賽克獲得的。此外，在清晰度信息的基礎(chǔ)上確定距離的其他途徑也是可能的，并不違背本發(fā)明。例如，代替使用例如高通濾波器分析空間域中的清晰度信息(即，邊緣信息)，該清晰度信息也可以在頻率域中被分析。例如在一個實施例中，為了獲得清晰度信息，可以使用運行離散傅里葉變換(DFT)。該DFT可以被用于計算彩色像和紅外像二者的傅里葉系數(shù)。這些系數(shù)，尤其是高頻系數(shù)的分析，可以提供距離的指示。

例如在一個實施例中，與彩色像和紅外像中特定區(qū)域相關(guān)聯(lián)的高頻DFT系數(shù)之間的絕對差值，可以被用作距離的指示。在又一個實施例中，傅里葉分量可以被用于分析與紅外和彩色信號相關(guān)聯(lián)的截止頻率。例如，如果在像的特定區(qū)域中，紅外像信號的截止頻率大于彩色像信號的截止頻率，那么該差值可以提供距離的指示。在該深度映射的基礎(chǔ)上，各種各樣的像處理功能被實現(xiàn)。圖8畫出按照本發(fā)明一個實施例的用于獲得立體觀察的方案800。在位于離物體P的距離為s的原來照相機位置Ctl的基礎(chǔ)上，兩個虛擬照相機位置C1和C2 (—個用于左眼，一個用于右眼)可以被定義。這些虛擬的照相機位置的每一個，被對稱地相對于原來照相機位置移過距離_t/2和+t/2。給定焦距N、C0, Cp C2、t和s之間的幾何關(guān)系，要求產(chǎn)生與兩個虛擬照相機位置相關(guān)聯(lián)的兩個位移的“虛擬”像的像素位移量，可以由表達式:P1=P0-(t*N)/ (2s)和 P1=P0+(t*N)/ (2s)確定。由此，在這些表達式和深度映射中的距離信息s (i, j)的基礎(chǔ)上，該像處理功能可以對原來像中每一像素P。(i，j)，計算與第一和第二虛擬像相關(guān)聯(lián)的像素P1 (1，」)和卩2(i，j)(步驟802-806)。這樣，原來像中每一像素P。(i，j)可以按照上述表達式被位移，產(chǎn)生適合供立體觀察的兩個位移的像{Pl (i，j) }和{p2 (i，j) }。圖9畫出按照一個實施例的又一種像處理功能900。該功能允許在多孔徑成像系統(tǒng)中DOF的受控降低。因為多孔徑成像系統(tǒng)使用固定透鏡和固定多孔徑系統(tǒng)，所以該光學(xué)系統(tǒng)以該光學(xué)系統(tǒng)的固定的(改進的)DOF提交像。然而，在某些情況下，它可以被要求有可變的DOF。在第一步驟902中，像數(shù)據(jù)與關(guān)聯(lián)的深度映射可以被產(chǎn)生。其后，該功能可以允許特定距離s'的選擇(步驟904)，該特定距離s'可以被用作截止距離，在此之后，在高頻紅外分量的基礎(chǔ)上清晰度增強應(yīng)當(dāng)被放棄。使用深度映射，DSP可以識別像中與物體到照相機距離大于被選定距離s'相關(guān)聯(lián)的第一區(qū)域(步驟906)，以及與物體到照相機距離小于被選定距離s'相關(guān)聯(lián)的第二區(qū)域。其后，DSP可以檢索高頻紅外像并按照掩蔽函數(shù)(maskingfunction)，設(shè)定被識別的第一區(qū)域中的高頻紅外分量為某一值(步驟910)。然后，這樣被修改的高頻紅外像可以按類似圖5所示方式與RGB像混合。照此，RGB像可以被獲得，其中，像中物體離開照相機透鏡的距離直到距離s'，都被用從該高頻紅外分量獲得的清晰度信息增強。如此，該DOF可以按受控方式被降低?？梢哉J為，各種變型是可能的，并不違背本發(fā)明。例如代替單一距離，距離范圍[sl，s2]可以被該多孔徑系統(tǒng)的用戶選擇。像中物體可以與離開照相機的距離相聯(lián)系。其后，DSP可以確定哪個物體區(qū)域被定位在該范圍內(nèi)。這些區(qū)域其后被高頻分量中的清晰度信息增強。再一種像處理功能可以涉及控制照相機的焦點。該功能示意地在圖10畫出。在該實施例中，(虛擬 )的焦距N'可以被選擇(步驟1004)。使用該深度映射，像中與該選定的焦距相關(guān)聯(lián)的區(qū)域，可以被確定(步驟1006)。其后，DSP可以產(chǎn)生高頻紅外像(步驟1008)并按照掩蔽函數(shù)把被識別區(qū)域之外的所有高頻分量設(shè)定為某一值(步驟1010)。如此被修改的高頻紅外像可以與RGB像混合(步驟1012)，從而只增強像中與焦距N'相關(guān)聯(lián)的區(qū)域中的清晰度。這樣，像中焦點可以按可控方式被改變。控制焦距的更多的變型，可以包含多焦距N'、N''等等的選擇。對這些被選定距離的每一個，紅外像中關(guān)聯(lián)的高頻分量可以被確定。高頻紅外像的后來修改和按參考圖10所述類似方式與彩色像的混合，可以產(chǎn)生使例如在2米處的物體是焦點對準的，在3米處的物體是焦點沒有對準的，而在4米處的物體是焦點對準的像。在再另一個實施例中，參考圖9和10所述焦點控制，可以應(yīng)用于像中一個或多個特定區(qū)域。為此，用戶或DSP可以選擇像中需要焦點控制的一個或多個特定區(qū)域。在又另一個實施例中，距離函數(shù)R (S)和/或深度映射，可以被用于使用熟知的像處理功能(如，濾波、混合、平衡等等)處理所述捕獲的像，其中與該功能相關(guān)聯(lián)的一個或多個像處理功能參數(shù)，取決于深度信息。例如，在一個實施例中，該深度信息可以被用于控制截止頻率和/或高通濾波器的滾降，該高通濾波器被用于產(chǎn)生高頻紅外像。當(dāng)彩色像和紅外中清晰度信息對像的某一區(qū)域是大體上類似時，要求紅外像的較小的清晰度信息(即高頻紅外分量)。因此，在這種情形下，有非常高截止頻率的高通濾波器可以被使用。相反，當(dāng)彩色像和紅外像中清晰度信息不同時，有較低截止頻率的高通濾波器可以被使用，由此彩色像中的模糊可以被紅外像中清晰度信息補償。照此，在整個像或像的特定部分中，高通濾波器的滾降和/或截止頻率，可以按照彩色像和紅外像中清晰度信息中的差值被調(diào)整。
深度映射的產(chǎn)生和在該深度映射基礎(chǔ)上像處理功能的實施，不受上面的實施例的限制。圖11畫出按照再一個實施例的用于產(chǎn)生深度信息的多孔徑成像系統(tǒng)1100的示意圖。在該實施例中，深度信息是通過使用修改的多孔徑配置獲得的。代替例如如圖4所示的在中心的一個紅外孔徑，圖11中的多孔徑1101包括多個(即兩個或更多)小的紅外孔徑1102、1104，在形成更大彩色孔徑1106的光闌的邊緣(或沿周邊)。這些多個小的孔徑，大體上比圖4中所示的單個紅外孔徑更小，從而提供的效應(yīng)是，焦點對準的物體1108作為清晰的單幅紅外像1112被成像到成像平面1110上。相反，焦點沒有對準的物體1114，作為兩個紅外像1116、1118被成像到成像平面上。與第一紅外孔徑1102相關(guān)聯(lián)的第一紅外像1116，相對于與第二紅外孔徑相關(guān)聯(lián)的第二紅外像1118，被移過特定距離A。代替通常與焦點沒有對準透鏡相關(guān)聯(lián)的連續(xù)模糊的像，包括多個小的紅外孔徑的多孔徑，允許離散的、清晰的像的形成。當(dāng)與單個紅外孔徑比較時，多個紅外孔徑的使用，允許更小孔徑的使用，從而達到景深的進一步增強。物體離焦越遠，距離A越大。因此，該兩個被成像的紅外像之間的位移A，是物體和照相機透鏡之間距離的函數(shù)，并可以被用于確定深度函數(shù)A (S)。深度函數(shù)A (S)可以通過使測試物體在離照相機透鏡多個距離上成像，并在這些不同距離上測量A而被確定。A (S)可以存儲在照相機的存儲器中，在那里它可以被DSP在一種或多種后處理功能中使用，如在下文更詳細的討論。在一個實施例中，一種后處理功能，可以涉及與由多孔徑成像系統(tǒng)捕獲的單幅像相關(guān)聯(lián)的深度信息的產(chǎn)生，該多孔徑成像系統(tǒng)包括離散的多個孔徑，如參考圖11所描述。在一幀像幀中同時捕獲可見和紅外像信號二者之后，DSP可以用例如熟知的消馬賽克算法，把被捕獲的原始馬賽克像中的彩色和紅外像素信號分離。DSP可以在后來對該紅外像數(shù)據(jù)使用高通濾波器，以便獲得紅外像數(shù)據(jù)的高頻分量，該紅外像數(shù)據(jù)可以包括物體是焦點對準的區(qū)域和物體是焦點沒有對準的區(qū)域。再者，DSP可以用自相關(guān)函數(shù)從高頻紅外像數(shù)據(jù)導(dǎo)出深度信息。該過程在圖12示意地畫出。當(dāng)取高頻紅外像1204 (—部分)的自相關(guān)函數(shù)1202時，單個峰值1206將出現(xiàn)在焦點對準的被成像物體1208的高頻`邊緣處。相反，自相關(guān)函數(shù)將在焦點沒有對準的被成像物體1212的高頻邊緣處產(chǎn)生雙峰值1210。這里，峰值之間的位移代表兩個高頻紅外像之間的位移A，該位移A依賴于被成像物體和照相機透鏡之間的距離S。因此，高頻紅外像1204 (—部分)的自相關(guān)函數(shù)，將在高頻紅外像中物體是焦點沒有對準的地方包括雙峰值，且其中雙峰值之間的距離提供距離測量(即，離開焦距的距離)。再有，該自相關(guān)函數(shù)將在像中物體是焦點對準的地方包括單個峰值。DSP可以通過使用預(yù)定的深度函數(shù)A (S)把雙峰值之間的距離與某一距離關(guān)聯(lián)，處理該自相關(guān)函數(shù)，并把其中的信息變換為與“真實距離”相關(guān)聯(lián)的深度映射。使用該深度映射，如上面參考圖8-10所描述的類似的功能，如，立體觀察、DOF和焦點的控制，可以被實行。例如，A (S)或深度映射，可以被用于在被與特定選擇的照相機到物體距離相關(guān)聯(lián)的紅外像中，選擇高頻分量。某些像處理功能可以通過分析高頻紅外像的自相關(guān)函數(shù)獲得。例如，圖13畫出過程1300，其中通過把自相關(guān)函數(shù)中峰的寬度與某一閾值寬度比較，降低D0F。在第一步驟1302中，用如圖11所示的多孔徑成像系統(tǒng)捕獲像，彩色和紅外像數(shù)據(jù)被提取(步驟1304)，以及高頻紅外像數(shù)據(jù)被產(chǎn)生(步驟1306)。其后，高頻紅外像數(shù)據(jù)的自相關(guān)函數(shù)被計算(步驟1308)。進而，閾值寬度w被選定(步驟1310)。如果與某個被成像物體相關(guān)聯(lián)的自相關(guān)函數(shù)中的峰，比該閾值寬度更窄，則該自相關(guān)函數(shù)中與該峰相關(guān)聯(lián)的高頻紅外分量被選定用于與彩色像數(shù)據(jù)組合。如果與某個被成像物體的邊緣相關(guān)聯(lián)的自相關(guān)函數(shù)中的峰或兩個峰之間的距離，比該閾值寬度更寬，則該自相關(guān)函數(shù)中與該峰相關(guān)聯(lián)的高頻分量，按照掩蔽函數(shù)被設(shè)定(步驟1312-1314)。其后，如此被修改的高頻紅外像，被使用標準的像處理技術(shù)處理，以便消除由多孔徑引入的位移A，于是它可以與彩色像數(shù)據(jù)混合(步驟1316)?；旌现螅薪档虳OF的彩色像被形成。該過程允許通過選擇預(yù)定的閾值寬度，控制D0F。圖14畫出多孔徑的兩個非限制性例子1402、1410，供如上所述多孔徑成像系統(tǒng)使用。第一多孔徑1402可以包括有兩個不同薄膜濾波器的透明基片:第一圓形薄膜濾波器1404，在基片的中央，形成透射EM頻譜第一頻帶中輻射的第一孔徑；以及第二薄膜濾波器1406，圍繞該第一濾波器形成(如，按同心環(huán))，透射EM頻譜第二頻帶中輻射。該第一濾波器可以被配置成透射可見和紅外輻射二者，而該第二濾波器可以被配置成反射紅外輻射和透射可見輻射。外同心環(huán)的外直徑，可以由不透明孔徑夾持器1408中的開孔定義，或者換種方式，由淀積在基片上的不透明薄膜層1408中的開孔定義，該不透明薄膜層阻擋紅外和可見輻射二者。熟練技術(shù)人員應(yīng)當(dāng)清楚，形成薄膜多孔徑背后的原理，可以容易推廣到包括三個或更多孔徑的多孔徑。其中每一孔徑透射與EM頻譜中特定頻帶相關(guān)聯(lián)的輻射。 在一個實施例中，該第二薄膜濾波器可以涉及反射紅外光譜中的輻射并透射可見光譜中的輻射的二向色濾波器。也稱為干涉濾波器的二向色濾波器是本領(lǐng)域熟知的，并通常包括具體厚度的許多薄膜介質(zhì)層，這些薄膜介質(zhì)層被配置成反射紅外輻射(如，具有在約750到1250納米之間波長的輻射)并透射光譜的可見部分中的輻射。第二多孔徑1410可以在參考圖11所描述的多孔徑系統(tǒng)中使用。在該變型中，該多孔徑包括相對大的第一孔徑1412，定義為不透明孔徑夾持器1414中的開孔，或者換種方式，由淀積在透明基片上的不透明薄膜層中定義的開孔定義，其中該不透明薄膜層阻擋紅外和可見輻射二者。在該相對大的第一孔徑中，多個小的紅外孔徑1416-1422被定義為形成在第一孔徑內(nèi)的薄膜熱反射鏡濾波器1424中的開孔。圖15畫出按照本發(fā)明另一個實施例的多孔徑成像系統(tǒng)1500。該成像系統(tǒng)1500包含透鏡系統(tǒng)104、孔徑系統(tǒng)108、快門106、彩色濾波器陣列120、像傳感器102、模數(shù)轉(zhuǎn)換器110、DSP112、中央處理器114、存儲存儲器116、以及程序存儲器118，大體上如包含在如圖1所描述的成像系統(tǒng)100中的那些。該成像系統(tǒng)1500被配置成至少發(fā)揮如上面結(jié)合圖1-14所描述的功能。為了簡化起見，這些討論在此不重復(fù)。該成像系統(tǒng)1500與成像系統(tǒng)100的不同在于，系統(tǒng)1500還包含閃光1520。如本文前面的描述，同時通過使用至少第一孔徑把像傳感器102對與電磁波頻譜的至少第一部分相關(guān)聯(lián)的光譜能量曝光，和使用至少第二孔徑，對與電磁波頻譜的至少第二部分相關(guān)聯(lián)的光譜能量曝光，捕獲與一個或多個物體相關(guān)聯(lián)的像數(shù)據(jù)。在這種情況下，在像被捕獲的同時，閃光1520可以被配置成用與電磁波頻譜第二部分相關(guān)聯(lián)的輻射，照明要被成像的物體。換句話說，閃光1520可以被配置成，除了情景(環(huán)境或背景輻射)中可能已經(jīng)存在的這種輻射以外，還提供與電磁波頻譜第二部分相關(guān)聯(lián)的輻射。在利用閃光捕獲該像之后，上面結(jié)合圖1-14描述的各種各樣技術(shù)，可以被應(yīng)用于處理該像數(shù)據(jù)。該閃光功能，在其中電磁波頻譜的第二部分中的背景輻射是低的的設(shè)定中，和/或在其中第二孔徑遠小于第一孔徑的設(shè)定中特別有用。在像被捕獲的同時沒有閃光1520提供物體的照明，則到達被配置成檢測電磁波頻譜第二部分中輻射的傳感器的信號，可能太小，以致難于正確地被檢測和被分析。為了提供附加照明的目的，閃光1520可以包含合適的輻射源，舉例說，諸如二極管激光器、發(fā)光二極管、或其他的光源。任選地，該閃光1520還可以包含合適的光學(xué)裝置，舉例說，諸如漫射器或衍射式光學(xué)元件(圖15中沒有畫出)，用于在閃光1520提供的照明中建立需要的圖形(如，散斑圖形)。如圖15所示，在一個實施例中，該閃光1520可以受DSP112控制。在其他實施例中，該閃光1520可以受中央處理器114或受圖15沒有示出的另一個分開的控制器控制。用于控制閃光1520的某些技術(shù)，現(xiàn)在將聯(lián)系使可見光而不是紅外輻射通過的第一孔徑，以及使紅外輻射通過的第二孔徑的相關(guān)情形描述。在這樣的實施例中，閃光1520將用紅外輻射照明要被成像的物體。當(dāng)然，類似的技術(shù)應(yīng)當(dāng)適用于不同輻射頻帶。一般說來，閃光1520可以被配置成不僅在EM頻譜的第二部分，而且也在EM頻譜的其他部分提供照明。例如，閃光1520可以被配置成提供寬頻帶照明，該寬頻帶照明包含例如在紅外和RGB光譜兩者中的福射。在一個實施例中，紅外閃光參數(shù)(舉例說，諸如閃光強度、閃光的持續(xù)時間、閃光的波長范圍或其派生者中的一種或多種)可以被預(yù)先確定并存儲在存儲器中。在這樣的實施例中，該DSP112可以被配置成從該存儲器獲得閃光參數(shù)并在像正被捕獲時，指令該閃光1520按照獲得的閃光參數(shù)操作。在另一個實施例中，該DSP112可以被配置成訪問指示目前照明條件的信息，并按照目前照明條件，設(shè)定閃光參數(shù)或調(diào)整已有閃光參數(shù)。例如，在其中環(huán)境紅外輻射強度相對于RGB是高的照明條件中，該閃光1520可以被關(guān)閉，同時捕獲像。然而，在其中環(huán)境紅外輻射強度低的條件(無·論是否相對于RGB，舉例說，諸如相對于某一預(yù)定絕對閾值)中，該DSPl 12可以指令閃光1520照明要被捕獲的物體，同時像被捕獲。該DSPl 12可以把閃光參數(shù)設(shè)定為例如與照明條件匹配。在又另一個實施例中，該DSP112可以被配置成控制閃光1520，如圖16的方法1600所示。在第一步驟1602中，利用關(guān)閉閃光1520捕獲像數(shù)據(jù)。其后，類似于上面所述方法700的步驟704，該DSP112可以提取彩色像數(shù)據(jù)和紅外像數(shù)據(jù)(步驟1604)。其后，在步驟1606，基于被提取的彩色像數(shù)據(jù)和紅外像數(shù)據(jù)，該DSP112可以確定彩色光強度和紅外強度(或其派生者)之間的比值。下一步，在步驟1608，該DSPl 12可以基于該確定的比值，設(shè)定/調(diào)整閃光參數(shù)。該比值例如可以允許DSP112確定背景紅外輻射的水平和確定閃光1520照明的合適強度和持續(xù)時間是多少。在最后的步驟1610中，利用閃光再次捕獲像數(shù)據(jù)，同時DSP112按照步驟1608設(shè)定的閃光參數(shù)，指令閃光1520操作。在另一實施例中，DSP112可以指令閃光1520照明情景，同時用按照上述任一方法設(shè)定的照明強度捕獲像。當(dāng)閃光1520正在照明情景時，該DSP112可以被配置成從像傳感器接收信息，該信息指示進入的紅外輻射的入射，舉例說，諸如接收的紅外輻射強度。然后，在像的捕獲同時閃光正在照明該情景期間，DSPl 12連續(xù)確定飽和是否已經(jīng)達到。一旦DSPl 12確定飽和已經(jīng)達到，DSP112可以指令閃光1520關(guān)閉。在一些實施例中，提供該照明的閃光1520的持續(xù)時間，可以比用于捕獲像的曝光時間短得多。例如，閃光1520可以被配置成提供1/1000秒的照明，而曝光可以是1/60秒。本領(lǐng)域熟練技術(shù)人員可以預(yù)見，在其他實施例中，DSP112可以基于其他條件，控制閃光1520的照明強度和/或持續(xù)時間。在上述的實施例中，紅外輻射強度的強度還可以被專用的紅外像素測量，而不是通過處理整個像的像數(shù)據(jù)。在再另一個實施例中，DSP112可以被配置成如圖17的方法1700所示，控制閃光1520。在第一步驟1702中，利用關(guān)閉閃光1520捕獲像數(shù)據(jù)。其后，使用上面描述的方法，DSPl 12可以產(chǎn)生深度映射(步驟1704)，下一步，在步驟1706中，DSPl 12可以基于產(chǎn)生的深度映射，設(shè)定/調(diào)整閃光參數(shù)。如本文前面的描述，該深度映射提供情景內(nèi)物體離成像系統(tǒng)的距離。常用的手動閃光，要求攝影者估計物體離閃光的距離，然后基于該距離設(shè)定孔徑和/或閃光的持續(xù)時間。通過訪問深度映射，DSP112可以被配置成自動地設(shè)定孔徑和/或閃光發(fā)光的持續(xù)時間。在最后步驟1708中，利用閃光再次捕獲像數(shù)據(jù)，同時DSP112按照步驟1706中設(shè)定的閃光參數(shù)，指令閃光1520操作。在各個不同實施例中，紅外閃光可以按類似于常用可見(RGB)閃光的方式起作用。然而，使用紅外閃光，給出諸多優(yōu)于使用RGB閃光的優(yōu)點。一個優(yōu)點是，當(dāng)像被拍攝時，紅外閃光是不可見的。該優(yōu)點可以在某些情況下有較少的干擾(如，當(dāng)在音樂會上拍攝照片時)。另一個優(yōu)點是，它能夠通過把產(chǎn)生閃光的波長的頻帶約束在特別有限的一組中，降低使閃光發(fā)光所消耗的能量。該優(yōu)點在其中能源節(jié)約是重要的應(yīng)用(如，移動電話)中，可能是特別關(guān)切的。紅外閃光的再另一個優(yōu)點是，使用紅外閃光，允許避免常用閃光常有的、過于接近閃光的物體變得過曝光而離得遠的物體欠曝光的效應(yīng)。使用紅外閃光給出在離照相機所有距離上正確的曝光。所有上面關(guān)于捕獲像的討論，同樣可應(yīng)用于捕獲視頻數(shù)據(jù)，因為視頻是這種像的連續(xù)。本發(fā)明的實施例可以作為程序產(chǎn)品被實施，供與計算機系統(tǒng)一道使用。該程序產(chǎn)品的程序，定義實施例的功能(包含本文描述的方法)，并能夠被包含在各種各樣計算機可讀存儲媒體上。說明性的計算機可讀存儲媒體，包含但不限于:(i)不可寫入存儲媒體(如，計算機內(nèi)的只讀存儲器裝置，諸如可由CD-ROM驅(qū)動器讀取的CD-ROM盤，快速擦寫存儲器，ROM芯片，或任何類型的固態(tài)非易失性半導(dǎo)體存儲器)，其上的信息被永久存儲；和(ii)可寫入存儲媒體(如，盤驅(qū)動器或硬盤驅(qū)動器內(nèi)的軟盤，或任何類型的固態(tài)隨機存取半導(dǎo)體存儲器)，其上存儲可變信息。應(yīng)當(dāng)理解，有關(guān)任一實施例中描述的任何特征可以被單獨使用，也可以與任何其他實施例的一個或 多個特征組合使用，或與任何其他實施例的任何組合使用。此外，本發(fā)明不限于上面描述的實施例，其可以在所附權(quán)利要求書的范圍內(nèi)變化。
權(quán)利要求
1.形成情景的像的方法，該方法包含步驟: -通過使用至少第一孔徑把像傳感器對來自電磁波(EM)頻譜的第一部分的輻射曝光，并使用有與第一孔徑不同大小的至少第二孔徑，對來自EM頻譜的第二部分的輻射曝光，捕獲該情景的第一像； -在由來自EM頻譜的第一部分的輻射產(chǎn)生的第一像的像數(shù)據(jù)基礎(chǔ)上，并且在由來自EM頻譜的第二部分的輻射產(chǎn)生的第一像的像數(shù)據(jù)基礎(chǔ)上，形成該情景的像。
-其中，與捕獲該第一像同時，該情景被來自EM頻譜的第二部分的輻射照明。
2.按照權(quán)利要求1的方法，其中該情景按照預(yù)定的一個或多個照明參數(shù)被用來自EM頻譜的第二部分的輻射照明，且其中在捕獲該第一像之前，該一個或多個照明參數(shù)通過如下被預(yù)定: -在情景沒有被用來自EM頻譜的第二部分的輻射照明的情況下，通過使用至少第一孔徑把像傳感器對來自EM頻譜的第一部分的輻射曝光，并且使用至少第二孔徑，對來自EM頻譜的第二部分的輻射曝光，捕獲該情景的第二像， -產(chǎn)生與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)， -基于與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)，確定與EM頻譜的第一部分相關(guān)聯(lián)的頻譜能量強度或其派生者和與EM頻譜的第二部分相關(guān)聯(lián)的頻譜能量強度或其派生者之間的比值，以及 -基于該確定的比值，設(shè)定該一個或多個照明參數(shù)。
3.按照權(quán)利要求1的方法，其中該情景按照預(yù)定的一個或多個照明參數(shù)，被用來自EM頻譜的第二部分的輻射照明，且其中在捕獲該第一像之前，該一個或多個照明參數(shù)通過如下被預(yù)定: -在情景沒有被用來自EM頻譜的第二部分的輻射照明的情況下，通過使用至少第一孔徑把像傳感器對來自EM頻譜的第一部分的輻射曝光，并且使用至少第二孔徑，對來自EM頻譜的第二部分的輻射曝光，捕獲第二像， -產(chǎn)生與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)， -在與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)的基礎(chǔ)上，產(chǎn)生與被捕獲的第二像相關(guān)聯(lián)的深度信息，和 -基于該產(chǎn)生的深度信息，設(shè)定該一個或多個照明參數(shù)。
4.按照權(quán)利要求3的方法，其中該深度信息是在與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)的至少一個區(qū)域中的第一清晰度信息和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)的至少一個區(qū)域中的第二清晰度信息的基礎(chǔ)上被產(chǎn)生。
5.按照權(quán)利要求3的方法，其中該深度信息是在與EM頻譜第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)中位移信息的基礎(chǔ)上被產(chǎn)生，最好是在與和EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)相關(guān)聯(lián)的高頻像數(shù)據(jù)的自相關(guān)函數(shù)中的位移信息的基礎(chǔ)上被產(chǎn)生。
6.按照前面權(quán)利要求任一項的方法，還包括步驟: -在捕獲第一像 同時該情景被用來自EM頻譜的第二部分的輻射照明期間，確定與EM頻譜的第二部分相關(guān)聯(lián)的頻譜能量強度或其派生者是否已經(jīng)達到預(yù)定的閾值，和-一經(jīng)這樣的確定，就中斷用EM頻譜的第二部分的輻射對該情景的照明。
7.按照前面權(quán)利要求任一項的方法，其中該像傳感器同時對來自第一和第二孔徑的輻射曝光。
8.按照前面權(quán)利要求任一項的方法，該方法還包括步驟: -把與EM頻譜的第一部分相關(guān)聯(lián)的第一像的像數(shù)據(jù)施加到高通濾波器； -把與EM頻譜的第一部分相關(guān)聯(lián)的第一像的像數(shù)據(jù)的濾出的高頻分量添加到與EM頻譜的第二部分相關(guān)聯(lián)的第一像的像數(shù)據(jù)中。
9.按照前面權(quán)利要求任一項的方法，其中該EM頻譜的第一部分包括可見光譜的至少一部分，而該EM頻譜的第二部分包括不可見光譜，最好是紅外光譜，的至少一部分。
10.一種用于形成情景的像的多孔徑成像系統(tǒng)，包括: 閃光； 成像傳感器； 波長選擇多孔徑，被配置成通過使用至少第一孔徑把該像傳感器對來自電磁波(EM)頻譜的第一部分的輻射曝光，并且使用有與第一孔徑不同大小的至少第二孔徑，對來自EM頻譜的第二部分的輻射曝光，捕獲第一像；和 處理模塊，被配置成在由來自EM頻譜的第一部分的輻射產(chǎn)生的第一像的像數(shù)據(jù)基礎(chǔ)上并且在由來自EM頻譜的第二部分的 輻射產(chǎn)生的第一像的像數(shù)據(jù)基礎(chǔ)上，形成該情景的像， 其中，在捕獲該第一像的同時，該閃光被配置成用來自EM頻譜的第二部分的輻射，照明該情景。
11.按照權(quán)利要求10的系統(tǒng)，其中該閃光被配置成按照預(yù)定的一個或多個照明參數(shù)用來自EM頻譜的第二部分的輻射照明該情景，且其中在捕獲該第一像之前，該一個或多個照明參數(shù)通過如下被預(yù)定: -在情景沒有被用來自EM頻譜的第二部分的輻射照明的情況下，該波長選擇多孔徑通過使用至少第一孔徑把像傳感器對來自EM頻譜的第一部分的輻射曝光，并且使用至少第二孔徑，對來自EM頻譜的第二部分的輻射曝光，捕獲該情景的第二像， -該處理模塊產(chǎn)生與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)， -基于與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)，該處理模塊確定與EM頻譜的第一部分相關(guān)聯(lián)的頻譜能量或其派生者和與EM頻譜的第二部分相關(guān)聯(lián)的頻譜能量的強度或其派生者之間的比值，以及-該處理模塊基于該確定的比值，設(shè)定該一個或多個照明參數(shù)。
12.按照權(quán)利要求10的系統(tǒng)，其中該閃光被配置成按照預(yù)定的一個或多個照明參數(shù)用來自EM頻譜的第二部分的輻射照明該情景，且其中在捕獲該第一像之前，該一個或多個照明參數(shù)通過如下被預(yù)定: -在情景沒有被用來自EM頻譜的第二部分的輻射照明的情況下，該波長選擇多孔徑通過使用至少第一孔徑把像傳感器對來自EM頻譜的第一部分的輻射曝光，并且使用至少第二孔徑，對來自EM頻譜的第二部分的輻射曝光，捕獲第二像， -該處理模塊產(chǎn)生與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)， -該處理模塊在與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)的基礎(chǔ)上，產(chǎn)生與被捕獲的第二像相關(guān)聯(lián)的深度信息，和-該處理模塊基于該產(chǎn)生的深度信息，設(shè)定該一個或多個照明參數(shù)。
13.一種閃光控制器，用于在按照權(quán)利要求11或12的多孔徑成像系統(tǒng)中，該控制器包括: -輸入，用于接收與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)；以及-處理單元，用于: O基于與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)，確定與EM頻譜的第一部分相關(guān)聯(lián)的頻譜能量的強度或其派生者和與EM頻譜第二部分相關(guān)聯(lián)的頻譜能量的強度或其派生者之間的比值，并基于該確定的比值，設(shè)定該一個或多個照明參數(shù)，或 O在與EM頻譜的第一部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)和與EM頻譜的第二部分相關(guān)聯(lián)的第二像的像數(shù)據(jù)的基礎(chǔ)上，產(chǎn)生與被捕獲的第二像相關(guān)聯(lián)的深度信息，并基于該產(chǎn)生的深度信息，設(shè)定該一個或多個照明參數(shù)。
14.一種數(shù)字照相機，最好是用于在移動終端中使用的數(shù)字照相機，包括按照權(quán)利要求11-12任一項的多孔徑成像系統(tǒng)。
15.計算機程序產(chǎn)品， 用于處理像數(shù)據(jù)，所述計算機程序產(chǎn)品包括軟件代碼部分，該軟件代碼部分被配置成當(dāng)在計算機系統(tǒng)的存儲器中運行時，執(zhí)行按照權(quán)利要求1-9任一項的方法步驟。
全文摘要
用于多孔徑成像的閃光系統(tǒng)。一種用于形成情景的像的方法和系統(tǒng)被提供。該方法包含通過使用一個孔徑把像傳感器對來自EM頻譜的一部分的輻射曝光，并且使用有與該第一孔徑不同大小的另一個孔徑，對來自EM頻譜的另一部分的輻射曝光，捕獲該情景的像。與捕獲該像的同時，該情景被用來自EM頻譜的第二部分的輻射照明。然后，在由來自EM頻譜的第一部分的輻射產(chǎn)生的像數(shù)據(jù)和由來自EM頻譜的第二部分的輻射產(chǎn)生的像數(shù)據(jù)的基礎(chǔ)上，形成該像。
文檔編號H04N5/235GK103250405SQ201080068706
公開日2013年8月14日 申請日期2010年7月16日 優(yōu)先權(quán)日2010年7月16日
發(fā)明者A·A·瓦杰斯 申請人:雙光圈股份有限公司