專利名稱：成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用微透鏡陣列的成像裝置。
背景技術(shù)：
至今，已經(jīng)提出并開發(fā)了多種成像裝置。提出的某些成像裝置被設(shè)計(jì)為在輸出數(shù) 據(jù)之前，對(duì)作為成像結(jié)果獲得的圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理。例如，PCT專利公開第06/039486號(hào)手冊(cè)以及Ren. Ng.及其他七人(“使用手持全 光相機(jī)的光場(chǎng)攝影(Light Field Photography witha Hand-Held Plenoptic Camera) ”， Stanford Tech Report CTSR2005-02)提出了一種基于所謂“光場(chǎng)攝影”方法的成像裝置。 該成像裝置包括成像透鏡、微透鏡陣列、成像元件以及圖像處理部。成像透鏡具有在中央處 具有單個(gè)孔徑的孔徑光闌。由于這種構(gòu)成，從成像元件中獲得的圖像數(shù)據(jù)除了包括光接收 面上的光強(qiáng)度分布信息之外，還包括關(guān)于光傳播方向的信息。圖像處理部能夠從任意視點(diǎn) 或方向(下文中，簡(jiǎn)稱為視場(chǎng))重建觀察圖像。

發(fā)明內(nèi)容
順便提及，微透鏡陣列包括多個(gè)微透鏡。將成像元件的多個(gè)像素分配給每個(gè)微透 鏡。如果使用以上方法，則重建圖像的像素?cái)?shù)等于微透鏡陣列的微透鏡數(shù)。其原因在于重 建的圖像的二維坐標(biāo)信息由微透鏡陣列的坐標(biāo)確定。結(jié)果，通過(guò)使成像元件的總像素?cái)?shù)除 以分配給每個(gè)微透鏡的像素?cái)?shù)來(lái)計(jì)算在重建的圖像的二維坐標(biāo)中的像素?cái)?shù)。另一方面，分 配給每個(gè)微透鏡的像素?cái)?shù)等于光線角度信息的分辨率，并且確定了重建圖像的任意視場(chǎng)中 的分辨率，即，根據(jù)有多少視點(diǎn)或方向來(lái)重建圖像。因此，任意視場(chǎng)中的分辨率和二維坐標(biāo) 系中的像素?cái)?shù)之間具有此消彼長(zhǎng)的關(guān)系。這里，如果使用以上方法，則圖像數(shù)據(jù)除了包括光強(qiáng)度分布信息之外，還包括關(guān)于 光傳播方向的信息。因此，應(yīng)該需要分別描述每條光線。然而，通過(guò)這種方法，當(dāng)在向著成 像元件傳播的已通過(guò)主透鏡的孔徑光闌的光線會(huì)聚時(shí)，每個(gè)微透鏡的在成像元件上形成的 每個(gè)圖像(通過(guò)主透鏡的孔徑光闌投影的圖像，例如，圓形圖像)的位置根據(jù)主光線的角度 而改變。即，每個(gè)微透鏡與由此產(chǎn)生的圖像之間的位置關(guān)系根據(jù)主光線的角度變化。如果 微透鏡與微透鏡的間距為光接收像素之間的間距的整數(shù)倍，則每個(gè)微透鏡產(chǎn)生的圖像相對(duì) 于光接收像素的位置發(fā)生改變。結(jié)果，不能生成以上方法特有的重聚焦圖像、任意視點(diǎn)圖像 以及其他重建圖像。鑒于上述，當(dāng)以包含關(guān)于光的傳播方向的信息的方式獲得圖像數(shù)據(jù)時(shí)，本發(fā)明需 要生成正確的重建圖像。
根據(jù)本發(fā)明實(shí)施方式的一種成像裝置包括成像透鏡、成像元件以及微透鏡陣列 部。成像透鏡具有孔徑光闌。成像元件基于接收的光獲得圖像數(shù)據(jù)。微透鏡陣列部設(shè)置在 成像透鏡與成像元件之間的成像透鏡的焦平面上。微透鏡陣列部包括以每個(gè)微透鏡與成像 元件的多個(gè)成像像素相關(guān)聯(lián)的方式配置的多個(gè)微透鏡。此外，根據(jù)成像元件上來(lái)自成像透 鏡的圖像的像高(圖像高度)，將微透鏡陣列的微透鏡的配置從等距離配置校正至非線性 配置。在根據(jù)本發(fā)明實(shí)施方式的成像裝置中，在微透鏡陣列上形成由成像透鏡生成的對(duì) 象的圖像。隨后，隨著已經(jīng)進(jìn)入微透鏡陣列的入射光線到達(dá)成像元件并被與每個(gè)微透鏡相 關(guān)聯(lián)的多個(gè)成像像素接收，獲得包括光線傳播方向的圖像數(shù)據(jù)。這里，根據(jù)成像元件上來(lái)自 成像透鏡的圖像的像高，將微透鏡陣列的微透鏡配置從等距離配置校正至非線性配置。結(jié) 果，例如，即使到達(dá)成像元件的主光線的傾角隨著像高非線性地改變(例如，具有短焦距的 光學(xué)系統(tǒng)和不滿足正弦條件的透鏡的成像裝置)，也能夠在從成像元件獲得的圖像數(shù)據(jù)中 避免成像元件的光接收表面上的像高偏差。在根據(jù)本發(fā)明實(shí)施方式的成像裝置中，根據(jù)成像元件上來(lái)自成像透鏡的圖像的像 高，將微透鏡陣列的微透鏡配置從等距離配置校正至非線性配置。這樣能夠在從成像元件 獲得的圖像數(shù)據(jù)中避免成像元件的光接收表面上的像高偏差。因此，當(dāng)以包括關(guān)于光線傳 播方向的信息的方式獲得圖像數(shù)據(jù)時(shí)，能夠使用圖像數(shù)據(jù)生成正確的重建圖像。


圖1是示出了根據(jù)本發(fā)明實(shí)施方式的成像裝置的整體構(gòu)成的示圖；圖2是示出了圖1中所示的孔徑光闌的概略構(gòu)成的平面圖；圖3是示出了圖1中所示的微透鏡陣列的概略構(gòu)成的平面圖；圖4是示出了圖1中所示的微透鏡陣列的詳細(xì)構(gòu)成實(shí)例的平面圖；圖5是示出了在成像元件的光接收表面上配置的濾色片的概略構(gòu)成的平面圖；圖6是示出了圖1中所示的圖像處理部的構(gòu)成實(shí)例的功能框圖；圖7A和圖7B是用于描述在微透鏡陣列和成像元件中的成像模式的平面圖；圖8是用于描述由圖像處理部執(zhí)行的圖像處理的實(shí)例的示意性透視圖；圖9是用于描述由圖像處理部執(zhí)行的重聚焦(refocus)運(yùn)算操作的示意性截面 圖；圖10是示出了在重聚焦運(yùn)算操作中的重聚焦平面的設(shè)定位置的實(shí)例的示意性截 面圖；圖11是示出了在重聚焦運(yùn)算操作中的重聚焦平面的設(shè)定位置的另一個(gè)實(shí)例的示 意性截面圖；圖12是示出了圖10中所示的重聚焦運(yùn)算操作中的排序的實(shí)例的示意性平面圖；圖13是示出了圖11中所示的重聚焦運(yùn)算操作中的排序的另一個(gè)實(shí)例的示意性平 面圖；圖14是用于描述在根據(jù)比較例的成像裝置中的像高偏差的示圖；圖15是用于描述像高偏差的細(xì)節(jié)和像高偏差校正的概略的示意圖；圖16A和圖16B是用于描述圖15中所示的像高偏差校正的細(xì)節(jié)(校正至非線性配置)的示意圖；圖17是示出了像高偏差與主光線角之間的關(guān)系的實(shí)例(非線性特性)的特性圖； 以及圖18是示出了像高偏差與微透鏡位置的偏移之間的關(guān)系的實(shí)例(非線性特性)的特性圖。
具體實(shí)施例方式下面，將參照附圖給出本發(fā)明實(shí)施方式的詳細(xì)描述。應(yīng)注意，將以如下順序進(jìn)行描 述1.實(shí)施方式(將微透鏡的配置校正至非線性配置，以避免像高偏差)2.修改例<1.實(shí)施方式〉[成像裝置的整體構(gòu)成的實(shí)例]圖1是示出了根據(jù)本發(fā)明實(shí)施方式的成像裝置(成像裝置1)的整體構(gòu)成的示圖。 成像裝置1被設(shè)計(jì)為拍攝被攝物2的圖像，并輸出圖像數(shù)據(jù)Dout。從被攝物2側(cè)起，該成像 裝置1包括成像透鏡11、孔徑光闌10、微透鏡陣列12以及成像元件13。該成像裝置1還包 括圖像處理部14、成像元件驅(qū)動(dòng)部15以及控制部16。成像透鏡11為主透鏡，用于拍攝被攝物圖像，并且包括例如在攝像機(jī)或照相機(jī)中 使用的一般的成像透鏡。孔徑光闌10為成像透鏡11的光學(xué)孔徑光闌?？讖焦怅@10具有圖2中所示的圓 形開口部10A。盡管稍后將描述其細(xì)節(jié)，但是所有通過(guò)孔徑光闌10的光線都保持關(guān)于其傳 播方向的信息。應(yīng)注意，以彼此相距距離L來(lái)配置孔徑光闌10和微透鏡陣列12。微透鏡陣列12具有如圖3所示的以矩陣形式(微透鏡12-1之間的間距pl2) 二 維配置的多個(gè)微透鏡12-1。微透鏡陣列12配置在成像透鏡11的成像平面上(圖1中的參 考標(biāo)號(hào)fl表示成像透鏡的焦距)。在平面圖中每個(gè)微透鏡12-1為圓形，并且包括例如固 體、液晶、液體或衍射透鏡。此外，例如，如圖4中的箭頭所示，根據(jù)成像元件13上來(lái)自成像透鏡11的圖像的 像高y，將微透鏡陣列12的微透鏡12-1的配置從等距離配置校正至非線性配置。即，微透 鏡12-1之間的間距pl2從微透鏡陣列12的中央向周圍以非線性方式改變。盡管稍后將描 述其細(xì)節(jié)，但是在使對(duì)應(yīng)于像高y(后述的像高偏差量+ Δ)的像高偏差抵消的方向上，將微 透鏡12-1的配置校正至非線性配置。此外，用于微透鏡12-1的非線性配置的校正量(后 述的校正量(-Δ)的絕對(duì)值)的增加率隨著像高y的增加而逐漸減少。更具體地，通過(guò)下 面給出的等式來(lái)表示校正量(-Δ)的絕對(duì)值。這里，f2表示微透鏡12-1的焦距，并且θ為 經(jīng)由孔徑光闌10和微透鏡12-1到達(dá)成像元件13的主光線(后述的主光線L0)的入射角。 結(jié)果，盡管稍后將描述其細(xì)節(jié)，但是可以在從成像元件13獲得的圖像數(shù)據(jù)(后述的圖像數(shù) 據(jù)DO)中避免成像元件13的光接收表面(在微透鏡陣列12側(cè)的表面)上的像高偏差。Δ = f2 X tan θ......(11)成像元件13被設(shè)計(jì)為接收來(lái)自微透鏡陣列12的光并獲得圖像數(shù)據(jù)DO。將該成像 元件13配置在微透鏡陣列12的焦平面上。成像元件13包括諸如以矩陣形式二維配置的CCD(電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)成像元件的多個(gè)二維成像元件。在如上所述構(gòu)成的成像元件13的光接收表面(微透鏡陣列12側(cè)的表面)上以矩陣形式二維配置MXN(M和N 整數(shù))個(gè)成像像素(后述的像素P)。將微透鏡陣列12的微 透鏡12-1中的一個(gè)分配給多個(gè)像素P。例如，在光接收表面上的像素P的數(shù)量為MXN = 3720X2520 = 9374400。這里，分配給每個(gè)微透鏡12_1的像素?cái)?shù)(mXn)與重建圖像的任 意視場(chǎng)中的分辨率相關(guān)。結(jié)果，重建圖像的任意視場(chǎng)中的分辨率隨著值m和η的增加而改 進(jìn)。另一方面，(M/m)和(Ν/η)與重建圖像的像素?cái)?shù)(分辨率)有關(guān)。結(jié)果，重建圖像的像 素?cái)?shù)隨著值(M/m)和(Ν/η)的增加而增加。因此，重建圖像的任意視場(chǎng)中的分辨率與這樣 的圖像的像素?cái)?shù)之間具有此消彼長(zhǎng)的關(guān)系。在成像元件13的光接收表面上二維配置濾色片17。如圖5所示，在每個(gè)像素P上 設(shè)置一個(gè)該濾色片17 (未在圖1中示出)。這些濾色片17通過(guò)以1 2 1的比率配置三 原色(即，紅色(R)、綠色(G)以及藍(lán)色(B))的濾色片(紅色濾色片17R、綠色濾色片17G 以及藍(lán)色濾色片17Β)以棋盤形式(checkered pattern)來(lái)配置。即，該濾色片17為拜耳 形式(Bayer pattern)的原色濾色片。由于在成像元件13的光接收表面上設(shè)置的濾色片 17，從成像元件13獲得的圖像數(shù)據(jù)DO提供了具有與濾色片17的顏色相關(guān)的多種顏色(在 該情況下為三原色)的像素?cái)?shù)據(jù)(彩色像素?cái)?shù)據(jù))。圖像處理部14對(duì)從成像元件13獲得的圖像數(shù)據(jù)DO進(jìn)行后述的預(yù)定圖像處理(包 括排序處理(sorting，整理處理)的圖像處理)，并輸出經(jīng)處理的圖像數(shù)據(jù)Dout。更具體 地，例如，可以通過(guò)基于所謂的“光場(chǎng)攝影”方法執(zhí)行重聚焦運(yùn)算操作來(lái)合成設(shè)定在任意焦 點(diǎn)處的圖像(基于圖像數(shù)據(jù)Dout的重建圖像)。應(yīng)注意，稍后將描述圖像處理部14的詳細(xì) 構(gòu)成和重聚焦運(yùn)算操作的細(xì)節(jié)。成像元件驅(qū)動(dòng)部15驅(qū)動(dòng)成像元件13，并控制其光接收操作。控制部16控制圖像處理部14和成像元件驅(qū)動(dòng)部15的操作。例如，該控制部16 包括微型計(jì)算機(jī)。[圖像處理部的詳細(xì)構(gòu)成實(shí)例]接下來(lái)，將參照?qǐng)D6描述圖像處理部14的詳細(xì)構(gòu)成。圖6示出了圖像處理部14 的功能組塊的構(gòu)成。圖像處理部14包括缺陷校正部141、鉗位(clamping)處理部142、插值處理部 143、排序處理部144、降噪部145、邊緣增強(qiáng)部146、白平衡調(diào)節(jié)部147以及伽馬校正部148。缺陷校正部141校正圖像數(shù)據(jù)DO中諸如曝光不足的缺陷(由于成像元件13自身 異常引起的缺陷)。鉗位處理部142設(shè)定圖像數(shù)據(jù)(其缺陷已經(jīng)由缺陷校正部141校正) 中的每個(gè)像素?cái)?shù)據(jù)的黑色電平(執(zhí)行鉗位處理)。插值處理部143對(duì)從鉗位部處理142提供的圖像數(shù)據(jù)執(zhí)行用于一般的拜耳形式的 諸如去馬賽克處理的插值處理，因此生成經(jīng)插值后的圖像數(shù)據(jù)D1。排序處理部144對(duì)從插值部143提供的圖像數(shù)據(jù)Dl執(zhí)行預(yù)定的排序處理(像素 數(shù)據(jù)的排序處理)，因此生成圖像數(shù)據(jù)D2。例如，這種排序處理允許設(shè)定在任意焦點(diǎn)處的重 建圖像的合成。應(yīng)注意，稍后將詳細(xì)描述由排序處理部144執(zhí)行的排序處理。降噪部145降低來(lái)自排序處理部144所提供的圖像數(shù)據(jù)D2的噪聲(例如，在黑暗 場(chǎng)所或靈敏度不足的場(chǎng)所進(jìn)行圖像拍攝期間產(chǎn)生的噪聲)。邊緣增強(qiáng)部146執(zhí)行邊緣增強(qiáng)，用于增強(qiáng)從降噪部145所提供的圖像數(shù)據(jù)的邊緣。白平衡調(diào)節(jié)部147對(duì)從邊緣增強(qiáng)部146提供的圖像數(shù)據(jù)(包含相等數(shù)目的紅色、 綠色以及藍(lán)色像素?cái)?shù)據(jù)的圖像數(shù)據(jù))執(zhí)行以下處理。即，該白平衡調(diào)節(jié)部147執(zhí)行顏色平 衡調(diào)節(jié)(白平衡調(diào)節(jié))，以調(diào)節(jié)由濾色片17的透射特性、設(shè)備與設(shè)備之間的差異(包括成像 元件13的光譜靈敏度)、照明條件以及其他條件引起的不正確的顏色平衡。伽馬校正部148對(duì)從白平衡調(diào)節(jié)部147提供的圖像數(shù)據(jù)執(zhí)行預(yù)定的伽馬校正，從 而生成圖像數(shù)據(jù)Dout。[成像裝置的作用和效果]以下將描述根據(jù)本實(shí)施方式的成像裝置1的作用和效果。(基本操作)在成像裝置1中，如圖7A所示，以與微透鏡12-1匹配的形狀(圓形)在微透鏡陣 列12上形成由成像透鏡11拍攝的被攝物2的圖像。已經(jīng)進(jìn)入微透鏡陣列12的入射光線 經(jīng)由該微透鏡陣列12到達(dá)成像元件13，并且被光接收區(qū)13-1 (孔徑光闌10的圓形形狀投 影到其上)接收。這允許成像元件13獲得圖像數(shù)據(jù)DO。此時(shí)，根據(jù)入射在微透鏡陣列12 上的光線的入射方向，在成像元件13的不同位置處接收這些光線。更具體地，這些光線的 入射方向由分配給每個(gè)微透鏡12-1的像素P的位置確定。應(yīng)注意，配置有分配給每個(gè)微透 鏡12-1的像素P的區(qū)域(重建圖像區(qū)13D)相當(dāng)于重建圖像的一個(gè)像素。接下來(lái)，將成像元件13獲得的圖像數(shù)據(jù)DO提供給圖像處理部14。在該圖像處理 部14中，對(duì)圖像數(shù)據(jù)DO進(jìn)行預(yù)定的圖像處理(例如，上述的重聚焦運(yùn)算操作)。結(jié)果，經(jīng)處 理的圖像數(shù)據(jù)Dout作為輸出數(shù)據(jù)(重建圖像的圖像數(shù)據(jù))從成像裝置1輸出。(重聚焦運(yùn)算操作)此處，下面將參照?qǐng)D8至圖13描述由圖像處理部14執(zhí)行的圖像處理操作(重聚 焦運(yùn)算操作)的實(shí)例。首先，考慮兩個(gè)直角坐標(biāo)系，如圖8所示，在成像透鏡11的表面上的一個(gè)(u，v)和 在成像元件13的成像表面上的另一個(gè)(x，y)。用F表示成像透鏡11的表面與成像元件13 的成像表面之間的距離。在這種情況下，能夠通過(guò)四維函數(shù)LF(x，y，u，v)表示通過(guò)成像透 鏡11和成像元件13的光線L1。結(jié)果，不僅光線的位置信息而且其傳播方向都記錄在成像 元件13上。即，光線的入射方向由分配給每個(gè)微透鏡12-1的多個(gè)像素P的配置而確定。此外，考慮在如圖9所示的這個(gè)條件下設(shè)定成像透鏡表面110、成像表面130以及 重聚焦平面120之間的位置關(guān)系的情況(設(shè)定使F' = a F的重聚焦平面120的位置的情 況)。在這種情況下，當(dāng)光線通過(guò)重聚焦平面120的坐標(biāo)(s，t)時(shí)，通過(guò)以下示出的等式12 來(lái)表示在成像表面130上光線的檢測(cè)強(qiáng)度Lf,。此外，通過(guò)關(guān)于透鏡半徑對(duì)檢測(cè)強(qiáng)度Lf,進(jìn) 行積分來(lái)找出重聚焦平面120上的圖像^ (s，t)。結(jié)果，通過(guò)以下示出的等式13來(lái)表示 圖像Ef, (s，t)。因此，通過(guò)使用等式13執(zhí)行重聚焦運(yùn)算操作基于圖像數(shù)據(jù)Dout來(lái)重建設(shè) 定在任意焦點(diǎn)處(重聚焦平面120)的圖像。[式1] ......(12) ...... (13)更具體地，如圖6所示，圖像處理部14首先在缺陷校正部141對(duì)從成像元件13提 供的圖像數(shù)據(jù)DO執(zhí)行缺陷校正，隨后，由鉗位處理部142進(jìn)行鉗位處理，并由插值處理部 143進(jìn)行插值處理。然后，排序處理部144對(duì)圖像數(shù)據(jù)D1執(zhí)行排序處理，從而從圖像數(shù)據(jù) D1生成圖像數(shù)據(jù)D2。這里，為了在由圖像處理部14執(zhí)行的重聚焦運(yùn)算操作中生成具有比在圖像拍攝 期間定位的焦點(diǎn)(微透鏡陣列12的位置)更向后(更遠(yuǎn)離)的重定位的焦點(diǎn)的重建圖像， 執(zhí)行以下排序處理。更具體地，例如，以如圖10所示的選擇性提取光線的方式來(lái)執(zhí)行排序 處理。即，在成像透鏡11與微透鏡陣列12之間形成具有比在圖像拍攝期間定位的焦點(diǎn)更 向后的定位的焦點(diǎn)的被攝物的圖像。因此，光線會(huì)聚一次并隨后再次發(fā)散，根據(jù)其傳播方向 而通過(guò)不同的微透鏡12-1，并最終到達(dá)成像元件13。因此，例如，如圖12所示，以從彼此不 同的多個(gè)重建圖像區(qū)13D中選擇性地提取與這些光線相關(guān)聯(lián)的像素?cái)?shù)據(jù)D10的方式來(lái)對(duì)像 素?cái)?shù)據(jù)進(jìn)行排序處理。另一方面，為了生成具有比在圖像拍攝期間定位的焦點(diǎn)更向前(更接近)的重定 位的焦點(diǎn)的重建圖像，執(zhí)行以下排序處理。更具體地，例如，如圖11所示，以選擇性提取光 線的方式來(lái)執(zhí)行排序處理。即，比微透鏡陣列12更向后地形成具有比在圖像拍攝期間定位 的焦點(diǎn)更向前的定位的焦點(diǎn)的被攝物的圖像。結(jié)果，光線沒有在成像裝置1內(nèi)形成任何圖 像。相反，光線根據(jù)其傳播方向通過(guò)不同的微透鏡12-1，并最終到達(dá)成像元件13。因此，例 如，如圖13所示，以從彼此不同的多個(gè)重建圖像區(qū)13D中選擇性地抽出與這些光線相關(guān)聯(lián) 的像素?cái)?shù)據(jù)D10的方式來(lái)對(duì)像素?cái)?shù)據(jù)進(jìn)行排序處理。接下來(lái)，降噪部145降低如上所述已排序的圖像數(shù)據(jù)D2中的噪聲，隨后，由邊緣增 強(qiáng)部146進(jìn)行邊緣增強(qiáng)，并且由白平衡調(diào)節(jié)部147進(jìn)行顏色平衡調(diào)節(jié)。這提供了顏色平衡 得以調(diào)節(jié)的圖像數(shù)據(jù)。此后，伽馬校正部148對(duì)從白平衡調(diào)節(jié)部147提供的圖像數(shù)據(jù)執(zhí)行 伽馬校正。結(jié)果，所得數(shù)據(jù)作為圖像數(shù)據(jù)Dout從圖像處理部14中輸出。這允許基于圖像 數(shù)據(jù)Dout重建設(shè)定在任意焦點(diǎn)(重聚焦平面120)處的圖像。(特征作用)接下來(lái)，將通過(guò)與比較例進(jìn)行比較的方式，參照?qǐng)D14至圖18，詳細(xì)描述成像裝置1 的特征作用。這里，圖14示出了根據(jù)比較例的成像裝置(具有微透鏡12-1的位置沒有校 正至上述非線性配置的微透鏡陣列102的成像裝置)的主要組件。更具體地，圖14示出了 出現(xiàn)像高偏差(后述的像高偏差量(+A) >0)時(shí)根據(jù)比較例的成像裝置如何拍攝圖像。(比較例)首先，例如，如圖14所示，如果通過(guò)成像透鏡11 ( S卩，主透鏡)的孔徑光闌10的 所有光線的主光線L0相對(duì)于光軸相是傾斜的，則發(fā)生依賴于主光線L0的角度的像高偏差
8A (像高偏差量(+A))。S卩，如圖14中的箭頭所示，以與微透鏡12-1匹配的形狀(圓形) 在成像元件13上形成的圖像從參考標(biāo)號(hào)P1表示的位置移動(dòng)至參考標(biāo)號(hào)P2表示的位置。更具體地，如圖15所示，由于在成像元件13的光接收表面(微透鏡陣列12側(cè)的 表面)上的像高偏差量(+A)(點(diǎn)Pd與Pe之間的距離)，產(chǎn)生像高偏差(參照?qǐng)D15中的虛 線箭頭)。通過(guò)以下示出的等式14和15表示該像高偏差量(+A)。在這些等式中，a表示 光軸與主光線L0之間的傾角，y表示成像元件13上的由主光線L0形成的像高(點(diǎn)Pc與 Pe之間的距離)，并且L表示孔徑光闌10與微透鏡陣列12之間的距離(點(diǎn)Pa與Pb之間 的距離)。此外，f2表示微透鏡12-1的焦距(點(diǎn)Pb與Pc之間的距離)，并且9表示主光 線L0經(jīng)由孔徑光闌10和微透鏡12-1到達(dá)成像元件13的傾角(這里，0 = a )。tana = {(y- A ) /L}} = ( A /f 2)......(14)A = [ {(y- A ) X f 2} /L] = f 2 X tan 0......(15)因此，在根據(jù)比較例的成像裝置中，由于光線在通過(guò)孔徑光闌10后向成像元件13 會(huì)聚，所以在成像元件13上形成的每個(gè)單位圖像的位置根據(jù)主光線L0的角度e (a)而改 變。如本實(shí)施方式中一樣，沒有將微透鏡陣列102的微透鏡102-1校正至非線性位置，導(dǎo)致 了由以上示出的等式15表示的像高偏差量A引起的像高偏差。換句話說(shuō)，即使通過(guò)成像 元件13獲得的圖像數(shù)據(jù)DO如上所述地除了包括光強(qiáng)度分布信息之外，還包括關(guān)于光傳播 方向的信息，那么，微透鏡12-1的單位圖像的位置也從成像元件13的像素P偏離。結(jié)果， 圖像處理部14可能無(wú)法產(chǎn)生諸如重聚焦或任意視點(diǎn)圖像的重建圖像。(本實(shí)施方式)相反，在根據(jù)本實(shí)施方式的成像裝置1中，例如，如圖4和圖15所示，根據(jù)成像元 件13上來(lái)自成像透鏡11的圖像的像高y，將微透鏡陣列12的微透鏡12-1從等距離位置校 正至非線性位置。更具體地，將微透鏡12-1的位置從點(diǎn)PfO校正至點(diǎn)Pf(校正量-A)，使 得如圖15中的實(shí)箭頭所示，抵消了對(duì)應(yīng)于像高y的像高偏差A(yù)。這樣能夠在從成像元件 13獲得的圖像數(shù)據(jù)DO中避免在成像單元13的光接收表面(在微透鏡陣列12側(cè)的表面) 上的像高偏差(由像高偏差量(+A)引起的偏差)。然而，應(yīng)注意，到達(dá)成像元件13的主光線L0的傾角0可能不是一直如圖15和圖 16A所示地隨著像高y而線性地改變(當(dāng)0 = a時(shí)；例如，具有小光學(xué)系統(tǒng)的成像裝置)。 即，例如，主光線L0的傾角0可能如圖16B和圖17所示地隨著像高y非線性地改變(當(dāng)不 必0 = a時(shí)；例如，具有短焦距的光學(xué)系統(tǒng)以及透鏡不滿足正弦條件的成像裝置)。更具 體地，在圖17中，隨著像高y的增加，主光線的角度0不是線性地改變，而是逐漸減小(參 照?qǐng)D17中的箭頭)。結(jié)果，e < a。因此，在成像裝置1中，例如，如圖4和圖16B所示，根據(jù)成像元件13上來(lái)自成像 透鏡11的圖像的像高y，將微透鏡陣列12的微透鏡12-1的配置從等距離配置校正至非線 性配置。更具體地，例如，如圖18中的箭頭和等式11所示，微透鏡12-1的非線性配置的校 正量(校正量(-A)的絕對(duì)值)的增加率隨著像高y的增加而逐漸減小。這樣，即使例如 在如圖16B和圖17所示(即使主光線的角度0隨著像高y非線性地改變)的情況下，也 能夠在從成像元件13獲得的圖像數(shù)據(jù)DO中避免成像元件12的光接收表面上的像高偏差。如上所述，在本實(shí)施方式中，根據(jù)成像元件13上來(lái)自成像透鏡11的圖像的像高y， 將微透鏡陣列12的微透鏡12-1的配置從等距離配置校正至非線性配置。這樣能夠在從成像元件13獲得的圖像數(shù)據(jù)DO中避免在成像元件13的光接收表面上的像高偏差。當(dāng)以包 括關(guān)于光線傳播方向的信息的方式獲得圖像數(shù)據(jù)時(shí)，這允許圖像處理部14使用圖像數(shù)據(jù) DO生成正確的重建圖像。此外，例如，因?yàn)閮H通過(guò)設(shè)定微透鏡12-1的位置就實(shí)現(xiàn)了像高校正，所以在圖像 處理部14中不需要設(shè)置用于校正像高的像高校正部。因此，只要在設(shè)計(jì)微透鏡陣列12的 微透鏡12-1之間的間距時(shí)預(yù)期了孔徑光闌10不會(huì)發(fā)生位移，就可以容易地生成正確的重 建圖像。<2 修改例〉盡管參照實(shí)施方式進(jìn)行了描述，但是本發(fā)明不限于該實(shí)施方式，而可以進(jìn)行各種 方式的修改。例如，已經(jīng)描述了作為本實(shí)施方式的成像裝置的一個(gè)組件的圖像處理部14。然 而，在成像裝置中并不是必須設(shè)置該圖像處理部。更具體地，可以在與成像裝置分離的諸如 PC(個(gè)人計(jì)算機(jī))的裝置中設(shè)置圖像處理部，從而能夠?qū)某上裱b置獲得的圖像數(shù)據(jù)傳送 至用于圖像處理的PC。此外，將孔徑光闌10配置在本實(shí)施方式中的成像透鏡的成像側(cè)(出射側(cè))。然而， 本發(fā)明不限于這種構(gòu)成，孔徑光闌10也可以設(shè)置在成像透鏡的被攝物側(cè)(入射側(cè))。此外，在本實(shí)施方式中例舉了用棋盤形式以1 2 1的比率配置的三原色(即， 紅色(R)、綠色(G)以及藍(lán)色(B))的拜耳形式的濾色片作為實(shí)例而進(jìn)行了描述。然而，本發(fā) 明不限于此。即，也可以使用諸如補(bǔ)色的其他形式的濾色片。其中，這種補(bǔ)色濾色片可以是 用棋盤形式以1 1 1 1的比率配置的黃色(Y)、品紅色(M)、青色(C)以及綠色(G) 的四種補(bǔ)色濾色片。另外，例舉了去馬賽克作為對(duì)圖像數(shù)據(jù)中的像素?cái)?shù)據(jù)執(zhí)行的插值處理的實(shí)例。然 而，也可以執(zhí)行其他插值處理。另外，在本實(shí)施方式中，描述了重聚焦運(yùn)算操作，作為包括由圖像處理部14執(zhí)行 的排序處理的圖像處理的實(shí)例。然而，包括排序處理的圖像處理不限于此。即，也可以使用 散焦或景深(cbpth offield)調(diào)節(jié)。此外，例如，可以從多個(gè)圖像區(qū)(各圖像區(qū)是為各個(gè)微 透鏡形成的一個(gè)圖像區(qū))的相同位置處的像素中提取并且合成像素?cái)?shù)據(jù)，以生成多個(gè)任意 視點(diǎn)的圖像。使用這樣的多個(gè)視差圖像，可以基于視差圖像之間的相位差來(lái)計(jì)算距成像物 體的距離，或通過(guò)顯示多個(gè)視差圖像來(lái)實(shí)現(xiàn)立體視覺。應(yīng)該了解，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，根據(jù)設(shè)計(jì)要求和其他因素，本發(fā)明可以有 各種修改、組合、子組合和變化，均應(yīng)包含在所附權(quán)利要求或其等同物的范圍之內(nèi)。
權(quán)利要求
一種成像裝置，包括成像透鏡，具有孔徑光闌；成像元件，用于基于接收的光獲得圖像數(shù)據(jù)；以及微透鏡陣列，設(shè)置在所述成像透鏡與所述成像元件之間的成像透鏡的焦平面上，所述微透鏡陣列包括以每個(gè)微透鏡與所述成像元件的多個(gè)成像像素相關(guān)聯(lián)的方式配置的多個(gè)微透鏡，其中根據(jù)所述成像元件上來(lái)自所述成像透鏡的圖像的像高，將所述微透鏡陣列的所述微透鏡的配置從等距離配置校正至非線性配置。
2.根據(jù)權(quán)利要求1所述的成像裝置，其中在使對(duì)應(yīng)于所述像高的像高偏差抵消的方向上，將所述微透鏡的配置校正至非線性配置。
3.根據(jù)權(quán)利要求2所述的成像裝置，其中所述微透鏡的非線性配置的校正量的增加率隨著所述像高的增加而逐漸減小。
4.根據(jù)權(quán)利要求1所述的成像裝置，包括圖像處理部，用于對(duì)從所述成像元件獲得的所述圖像數(shù)據(jù)進(jìn)行預(yù)定的圖像處理，以生 成重建圖像。
5.根據(jù)權(quán)利要求4所述的成像裝置，其中所述圖像處理部基于所述圖像數(shù)據(jù)生成重聚焦圖像，即，設(shè)定在任意焦點(diǎn)處的圖像。
6.根據(jù)權(quán)利要求4所述的成像裝置，其中所述圖像處理部基于所述圖像數(shù)據(jù)，從在多個(gè)圖像區(qū)的相同位置處的像素提取并且合 成像素?cái)?shù)據(jù)，以生成作為所述重建圖像的多個(gè)任意視點(diǎn)圖像，各所述圖像區(qū)是為各個(gè)微透 鏡形成的一個(gè)圖像區(qū)。
全文摘要
本發(fā)明公開了一種成像裝置，包括成像透鏡，具有孔徑光闌；成像元件，用于基于接收的光獲得圖像數(shù)據(jù)；以及微透鏡陣列，設(shè)置在成像透鏡與成像元件之間的成像透鏡的焦平面上，微透鏡陣列包括以每個(gè)微透鏡與成像元件的多個(gè)成像像素相關(guān)聯(lián)的方式配置的多個(gè)微透鏡，其中，根據(jù)來(lái)自成像元件的成像透鏡的圖像的像高，將微透鏡陣列的微透鏡的配置從等距離配置校正至非線性配置。
文檔編號(hào)H04N5/335GK101867707SQ201010148169
公開日2010年10月20日 申請(qǐng)日期2010年4月9日 優(yōu)先權(quán)日2009年4月16日
發(fā)明者山本健二, 市村功, 早坂健吾, 木島公一朗 申請(qǐng)人:索尼公司