本申請(qǐng)涉及同時(shí)獲得圖像和縱深信息的單眼三維攝像技術(shù)。

背景技術(shù)：
近年來(lái)，利用了CCD或CMOS等固體攝像元件(以下稱(chēng)為“攝像元件”)的數(shù)碼相機(jī)或數(shù)字電影的高功能化、高性能化備受矚目。尤其是，通過(guò)半導(dǎo)體制造技術(shù)的進(jìn)步，攝像元件中的像素構(gòu)造的微細(xì)化也在發(fā)展。其結(jié)果，實(shí)現(xiàn)了攝像元件的像素及驅(qū)動(dòng)電路的高集成化。因此，僅僅數(shù)年，攝像元件的像素?cái)?shù)就從100萬(wàn)像素左右顯著地增加到1000萬(wàn)像素以上。進(jìn)而，通過(guò)攝像得到的圖像的質(zhì)量也得到了飛躍的提高。另一方面，對(duì)于顯示裝置而言，借助薄型的由液晶或等離子構(gòu)成的顯示器，不占地方且分辨率高，因此能夠顯示高對(duì)比度，實(shí)現(xiàn)了高性能。這種影像的高品質(zhì)化的趨勢(shì)正從二維圖像向三維圖像擴(kuò)展。最近，正在開(kāi)始開(kāi)發(fā)一種雖需要偏振眼鏡但畫(huà)質(zhì)高的三維顯示裝置。對(duì)于三維攝像技術(shù)而言，作為具有簡(jiǎn)單構(gòu)成的代表性的方式，有如下方式：利用由2臺(tái)照相機(jī)構(gòu)成的攝像系統(tǒng)來(lái)分別獲取右眼用的圖像以及左眼用的圖像。在這種所謂的雙眼攝像方式中，由于利用2臺(tái)照相機(jī)，故攝像裝置變得大型，成本也會(huì)升高。因而，正在研究利用一臺(tái)照相機(jī)來(lái)獲取具有視差的多個(gè)圖像(以下有時(shí)稱(chēng)作“多視點(diǎn)圖像”)的方式(單眼攝像方式)。例如，在專(zhuān)利文獻(xiàn)1、2中公開(kāi)了利用透過(guò)軸的方向相互正交的2片偏振板和旋轉(zhuǎn)的偏振濾光器來(lái)獲取多視點(diǎn)圖像的方式。此外，在專(zhuān)利文獻(xiàn)3～5中公開(kāi)了利用設(shè)有多個(gè)濾色器的光圈(光束限制板)來(lái)獲取多視點(diǎn)圖像的方式。上述的專(zhuān)利文獻(xiàn)1～5所公開(kāi)的方式在主要通過(guò)單眼照相機(jī)生成多視點(diǎn)圖像之際被利用。另一方面，也存在利用具備多個(gè)顯微透鏡(microlens)的單眼照相機(jī)來(lái)獲取縱深信息，并基于該信息自由地改變獲取后的圖像的焦點(diǎn)位置的技術(shù)。這種技術(shù)被稱(chēng)作光場(chǎng)攝影(lightfieldphotography)，利用該光場(chǎng)攝影的單眼照相機(jī)被稱(chēng)作光場(chǎng)照相機(jī)。在光場(chǎng)照相機(jī)中，在攝像元件上配置多個(gè)顯微透鏡。各顯微透鏡被配置成覆蓋多個(gè)像素。在攝像之后，根據(jù)獲取到的圖像信息來(lái)計(jì)算出與入射光的方向相關(guān)的信息，由此能夠推測(cè)被攝體的縱深。這種照相機(jī)已被公開(kāi)在例如非專(zhuān)利文獻(xiàn)1中。在專(zhuān)利文獻(xiàn)6中公開(kāi)了利用兩個(gè)攝像系統(tǒng)來(lái)提高分辨率的技術(shù)。在該技術(shù)中，利用具有將入射光分割為兩部分并將分割后的各入射光在空間上各錯(cuò)開(kāi)1/2間距來(lái)排列的顯微透鏡組的攝像系統(tǒng)來(lái)進(jìn)行攝像，然后合成獲取到的圖像，從而提高分辨率。此外，在專(zhuān)利文獻(xiàn)7中公開(kāi)了利用一個(gè)攝像系統(tǒng)來(lái)切換通常攝像模式和基于光場(chǎng)攝影的模式的技術(shù)。根據(jù)該技術(shù)，利用焦點(diǎn)距離隨著施加電壓而變化的顯微透鏡，顯微透鏡的焦點(diǎn)距離在前者模式下被設(shè)定成無(wú)限大，在后者模式下被設(shè)定成規(guī)定的距離。根據(jù)這種機(jī)構(gòu)，能夠獲得分辨率高的圖像和縱深信息。在先技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)1：日本特開(kāi)昭62-291292號(hào)公報(bào)專(zhuān)利文獻(xiàn)2：日本特開(kāi)昭62-217790號(hào)公報(bào)專(zhuān)利文獻(xiàn)3：日本特開(kāi)2002-344999號(hào)公報(bào)專(zhuān)利文獻(xiàn)4：日本特開(kāi)2009-276294號(hào)公報(bào)專(zhuān)利文獻(xiàn)5：日本特開(kāi)2003-134533號(hào)公報(bào)專(zhuān)利文獻(xiàn)6：日本特開(kāi)平11-98532號(hào)公報(bào)專(zhuān)利文獻(xiàn)7：日本特開(kāi)2008-167395號(hào)公報(bào)非專(zhuān)利文獻(xiàn)非專(zhuān)利文獻(xiàn)1：RenNg，etal，“LightFieldPhotographywithaHand-heldPlenopticCamera”，StanfordTechReportCTSR2005-02

技術(shù)實(shí)現(xiàn)要素：
(發(fā)明要解決的課題)在光場(chǎng)照相機(jī)中，雖然能夠獲得縱深信息，但是卻存在圖像的分辨率會(huì)降低的問(wèn)題。為了解決該問(wèn)題，如上述的專(zhuān)利文獻(xiàn)6、7的技術(shù)那樣需要改良光學(xué)系統(tǒng)，但是即使在改良后，也需要兩個(gè)攝像系統(tǒng)，因而存在無(wú)法同時(shí)獲得無(wú)分辨率降低的圖像和縱深信息的問(wèn)題。本發(fā)明的實(shí)施方式提供一種利用不同于現(xiàn)有技術(shù)的光學(xué)系統(tǒng)以及信號(hào)處理，能夠同時(shí)獲取無(wú)分辨率降低的圖像和縱深信息的攝像技術(shù)。(用于解決課題的技術(shù)方案)為了解決上述課題，本發(fā)明的一方式的光場(chǎng)照相機(jī)具備：光學(xué)系統(tǒng)；攝像元件，被配置成接受通過(guò)所述光學(xué)系統(tǒng)形成的像；圖像處理部，基于從所述攝像元件輸出的信號(hào)，生成圖像信息；和控制部，對(duì)所述攝像元件的動(dòng)作進(jìn)行控制。所述攝像元件具有：光電變換層，具有多個(gè)感光單元；反射層，反射透過(guò)了所述光電變換層的光；顯微鏡頭層，具有配置在所述光電變換層與所述反射層之間的多個(gè)顯微透鏡；和透過(guò)光控制層，被配置在所述光電變換層與所述反射層之間，基于來(lái)自所述控制部的指示，改變光透過(guò)率。所述顯微鏡頭層構(gòu)成為：透過(guò)所述多個(gè)感光單元所包含的一個(gè)感光單元后被所述反射層反射的光，再次入射到所述感光單元。所述控制部控制所述攝像元件，以使在將所述透過(guò)光控制層的光透過(guò)率設(shè)為第1值的狀態(tài)下進(jìn)行第1攝像，在將所述透過(guò)光控制層的光透過(guò)率設(shè)為與所述第1值不同的第2值的狀態(tài)下進(jìn)行第2攝像。所述圖像處理部進(jìn)行包括所述攝像元件通過(guò)所述第1攝像而生成的第1信號(hào)、與所述攝像元件通過(guò)所述第2攝像而生成的第2信號(hào)之間的差分在內(nèi)的運(yùn)算，由此生成所述圖像信息。本發(fā)明的其他方式的攝像元件具有：光電變換層，具有多個(gè)感光單元；反射層，反射透過(guò)了所述光電變換層的光；顯微鏡頭層，具有配置在所述光電變換層與所述反射層之間的多個(gè)顯微透鏡；和透過(guò)光控制層，被配置在所述光電變換層與所述反射層之間，能夠改變光透過(guò)率。所述顯微鏡頭層被配置成：透過(guò)所述多個(gè)感光單元所包含的一個(gè)感光單元后被所述反射層反射的光，再次入射到所述感光單元。上述的一般且特定的方式可利用系統(tǒng)、方法以及計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)，或者可利用系統(tǒng)、方法以及計(jì)算機(jī)程序的組合來(lái)實(shí)現(xiàn)。(發(fā)明效果)根據(jù)本發(fā)明的一方式，能夠同時(shí)獲取無(wú)分辨率降低的通常圖像和縱深信息。附圖說(shuō)明圖1是表示例示性實(shí)施方式1中的攝像裝置的示意結(jié)構(gòu)的圖。圖2是表示例示性實(shí)施方式1中的光學(xué)鏡頭、透光板、以及攝像元件的配置關(guān)系的示意圖。圖3是例示性實(shí)施方式1中的攝像元件的剖視圖。圖4是表示例示性實(shí)施方式1中的感光單元的排列例的圖。圖5是表示例示性實(shí)施方式1中的攝像以及信號(hào)處理的流程的圖。具體實(shí)施方式本發(fā)明的例示性實(shí)施方式的概要如下所述。(1)本發(fā)明的一方式的光場(chǎng)照相機(jī)，具備：光學(xué)系統(tǒng)；攝像元件，被配置成接受通過(guò)所述光學(xué)系統(tǒng)形成的像；圖像處理部，基于從所述攝像元件輸出的信號(hào)，生成圖像信息；和控制部，對(duì)所述攝像元件的動(dòng)作進(jìn)行控制。所述攝像元件具有：光電變換層，具有多個(gè)感光單元；反射層，反射透過(guò)了所述光電變換層的光；顯微鏡頭層，具有配置在所述光電變換層與所述反射層之間的多個(gè)顯微透鏡；和透過(guò)光控制層，被配置在所述光電變換層與所述反射層之間，基于來(lái)自所述控制部的指示來(lái)改變光透過(guò)率。所述顯微鏡頭層構(gòu)成為：透過(guò)所述多個(gè)感光單元所包含的一個(gè)感光單元后被所述反射層反射的光，再次入射到所述感光單元。所述控制部控制所述攝像元件，以使在將所述透過(guò)光控制層的光透過(guò)率設(shè)為第1值的狀態(tài)下進(jìn)行第1攝像，在將所述透過(guò)光控制層的光透過(guò)率設(shè)為與所述第1值不同的第2值的狀態(tài)下進(jìn)行第2攝像。所述圖像處理部進(jìn)行包括所述攝像元件通過(guò)所述第1攝像而生成的第1信號(hào)、與所述攝像元件通過(guò)所述第2攝像而生成的第2信號(hào)之間的差分在內(nèi)的運(yùn)算，由此生成所述圖像信息。(2)在某一實(shí)施方式中，所述圖像處理部基于所述第1信號(hào)與所述第2信號(hào)之間的差分信號(hào)，計(jì)算出被攝體的縱深信息。(3)在某一實(shí)施方式中，所述圖像處理部使用通過(guò)所述顯微鏡頭層而形成在所述光電變換層上的多個(gè)部分圖像的信號(hào)，生成所述縱深信息。(4)在某一實(shí)施方式中，所述圖像處理部基于所述第1信號(hào)和所述第2信號(hào)，生成通常圖像。(5)在某實(shí)施方式中，所述攝像元件在所述光電變換層與所述顯微鏡頭層之間具有布線層。(6)本發(fā)明的其他方式的攝像元件，具有：光電變換層，具有多個(gè)感光單元；反射層，反射透過(guò)了所述光電變換層的光；顯微鏡頭層，具有配置在所述光電變換層與所述反射層之間的多個(gè)顯微透鏡；和透過(guò)光控制層，被配置在所述光電變換層與所述反射層之間，能夠改變光透過(guò)率。所述顯微鏡頭層被配置成：透過(guò)所述多個(gè)感光單元所包含的一個(gè)感光單元后被所述反射層反射的光，再次入射到所述感光單元。以下，參照附圖，對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。在以下的說(shuō)明中，對(duì)于在多個(gè)圖中相同或者對(duì)應(yīng)的要素賦予同一符號(hào)。在以下的說(shuō)明中，有時(shí)將表示圖像的信號(hào)或者信息僅稱(chēng)作“圖像”。(實(shí)施方式1)首先，對(duì)本發(fā)明的第1實(shí)施方式的攝像裝置進(jìn)行說(shuō)明。圖1是表示本實(shí)施方式中的光場(chǎng)型攝像裝置(以下簡(jiǎn)稱(chēng)為“攝像裝置”)的示意結(jié)構(gòu)的框圖。本實(shí)施方式的攝像裝置是數(shù)字式的電子照相機(jī)，具備攝像部100、和基于由攝像部100生成的信號(hào)來(lái)生成表示圖像的信號(hào)(圖像信號(hào))的信號(hào)處理部200。攝像部100具備：固體攝像元件2(以下簡(jiǎn)稱(chēng)為“攝像元件”)，包括光電變換部1，所述光電變換部1具備排列在攝像面上的多個(gè)感光單元；光學(xué)鏡頭3(成像部)，用于在攝像元件2的光電變換部1上形成像；和紅外截止濾光器(infraredcut-offfilter)4。攝像部100還具備：信號(hào)產(chǎn)生/接收部5，產(chǎn)生用于驅(qū)動(dòng)攝像元件2的基本信號(hào)，并且接收來(lái)自攝像元件2的輸出信號(hào)后送出至信號(hào)處理部200；和元件驅(qū)動(dòng)部6，基于由信號(hào)產(chǎn)生/接收部5生成的基本信號(hào)來(lái)驅(qū)動(dòng)攝像元件2。攝像元件2典型的是CMOS傳感器，通過(guò)公知的半導(dǎo)體制造技術(shù)來(lái)制造。信號(hào)產(chǎn)生/接收部5以及元件驅(qū)動(dòng)部6例如由CMOS驅(qū)動(dòng)器等LSI構(gòu)成。在本實(shí)施方式中，信號(hào)產(chǎn)生/接收部5以及元件驅(qū)動(dòng)部6具有控制部的功能。各感光單元典型的是光電二極管，輸出與通過(guò)光電變換所接受的光相應(yīng)的光電變換信號(hào)。信號(hào)處理部200具備：圖像處理部7，對(duì)從攝像部100輸出的信號(hào)進(jìn)行處理，生成無(wú)分辨率降低的圖像和縱深信息；存儲(chǔ)器30，保存在圖像信號(hào)的生成中所利用的各種數(shù)據(jù)；和圖像接口(IF)部8，將所生成的無(wú)分辨率降低的圖像以及縱深信息送出至外部。圖像處理部7可通過(guò)公知的數(shù)字信號(hào)處理器(DSP)等硬件、與執(zhí)行包括圖像信號(hào)生成處理在內(nèi)的圖像處理的軟件的組合來(lái)適當(dāng)?shù)貙?shí)現(xiàn)。或者，圖像處理部7也可由專(zhuān)用的硬件構(gòu)成。存儲(chǔ)器30可由DRAM或SRAM等公知的半導(dǎo)體存儲(chǔ)器來(lái)構(gòu)成。存儲(chǔ)器30記錄從攝像部100獲得的信號(hào)，并且暫時(shí)記錄由圖像處理部7所生成的圖像數(shù)據(jù)或被壓縮的圖像數(shù)據(jù)。這些圖像數(shù)據(jù)經(jīng)由圖像接口部8而被送出至未圖示的記錄介質(zhì)或顯示部等。另外，雖然本實(shí)施方式的攝像裝置可具備電子快門(mén)、取景器、電源(電池)、閃光燈等公知的構(gòu)成要素，但它們的說(shuō)明對(duì)于本實(shí)施方式的理解來(lái)說(shuō)并不是特別需要的，因此省略。此外，上述的構(gòu)成只是一例，在本實(shí)施方式中，除攝像元件2、圖像處理部7以外的構(gòu)成要素可以適當(dāng)?shù)亟M合公知的要素來(lái)加以利用。根據(jù)以上的構(gòu)成，入射光通過(guò)光學(xué)鏡頭3、紅外截止濾光器4后在攝像元件2的光電變換部1中被成像、以及被進(jìn)行光電變換。通過(guò)光電變換生成的光電變換信號(hào)經(jīng)由信號(hào)產(chǎn)生/接收部5而被發(fā)送至存儲(chǔ)器30，并被蓄積在存儲(chǔ)器30中。圖像處理部7利用蓄積在存儲(chǔ)器30中的光電變換信號(hào)來(lái)生成無(wú)分辨率降低的圖像和縱深信息。所生成的無(wú)分辨率降低的圖像和縱深信息經(jīng)由圖像接口部8而被送出至外部。圖2是示意性表示攝像部100中的光學(xué)鏡頭3、攝像元件2及其內(nèi)部的光電變換部1的配置關(guān)系的圖。在圖2中，省略了除光學(xué)鏡頭3、攝像元件2以及光電變換部1以外的構(gòu)成要素。此外，在圖2中，各要素被簡(jiǎn)單描繪，這些要素的尺寸、形狀、以及要素之間的距離不一定反映實(shí)際的情況。例如，雖然光學(xué)鏡頭3可以是由多個(gè)透鏡組構(gòu)成的透鏡單元，但是在圖2中為了便于說(shuō)明，描繪成了單一透鏡。在以下的說(shuō)明中，使用圖中所示的xy坐標(biāo)。圖3是表示本實(shí)施方式中的攝像元件2的剖面的一部分的圖。在本實(shí)施方式中，作為攝像元件2，利用所謂的背面照射型的CMOS圖像傳感器。包括光學(xué)系統(tǒng)(顯微透鏡陣列)的光電變換部1通過(guò)粘結(jié)層2b而被粘結(jié)在固定基板2a上。如圖3所示，光電變換部1具有：光電變換層，具有多個(gè)感光單元1d；顯微鏡頭層，具有規(guī)則地排列的多個(gè)顯微透鏡1a；透過(guò)光控制層1b，包括用于控制透過(guò)光量的液晶；和反射層1c，是反射光的部件。光電變換部1還具有：使光透過(guò)的半導(dǎo)體層1e、1g、和布線層1f。透過(guò)光控制層1b基于從元件驅(qū)動(dòng)部6輸出的控制信號(hào)，改變液晶分子的取向，從而能夠?qū)崿F(xiàn)至少兩種不同的光透過(guò)率的狀態(tài)。如后述，在透過(guò)光控制層1b的光透過(guò)率的值為第1值時(shí)進(jìn)行第一次攝像，在透過(guò)光控制層1b的光透過(guò)率的值為第2值時(shí)進(jìn)行第二次攝像。這些攝像的控制是由元件驅(qū)動(dòng)部6進(jìn)行的。圖像處理部7基于通過(guò)兩次攝像而獲取到的光電變換信號(hào)，生成表示圖像的信號(hào)。圖4是表示多個(gè)感光單元1d的排列例的俯視圖。如圖所示，多個(gè)感光單元1d在攝像面上被排列成二維狀。在圖示的例子中，雖然多個(gè)感光單元1d被排列成正方形柵格狀，但是也可以是其他排列。例如，也可以是以圖4的紙面垂直方向作為旋轉(zhuǎn)軸旋轉(zhuǎn)了45度后的斜交型排列。根據(jù)以上的構(gòu)成，入射光透過(guò)鏡頭3以及紅外截止濾光器4后入射到攝像元件2的光電變換部1，由多個(gè)感光單元1d對(duì)其進(jìn)行光電變換。其中，在本實(shí)施方式中，并非所有入射光均被進(jìn)行光電變換。根據(jù)構(gòu)成半導(dǎo)體層1e以及感光單元1d的一般材料、即硅的波長(zhǎng)選擇性，藍(lán)色系統(tǒng)(短波長(zhǎng))的光被較好地吸收，越是紅色系統(tǒng)(長(zhǎng)波長(zhǎng))的光，則光吸收率越低。因而，紅色系統(tǒng)的光的一部分透過(guò)感光單元1d。透過(guò)了感光單元1d的光通過(guò)顯微透鏡1a以及透過(guò)光控制層1b，被反射層1c反射。被反射層1c反射后的光透過(guò)透過(guò)光控制層1b以及顯微透鏡1a后再次被感光單元1d進(jìn)行光電變換。這樣，在本實(shí)施方式中，入射光的一部分首先被感光單元1d進(jìn)行光電變換。然后，沒(méi)有被進(jìn)行光電變換而透過(guò)了感光單元1d的光，透過(guò)顯微透鏡1a以及透過(guò)光控制層1b后被反射層1c反射，再次返回感光單元1d，被進(jìn)行光電變換。其結(jié)果，感光單元1d在一次攝像中進(jìn)行兩次光電變換。這樣，在本實(shí)施方式中，調(diào)整顯微鏡頭層的特性以及配置，以使在攝像時(shí)透過(guò)了一個(gè)感光單元1d的光被反射層1c反射后再次入射到感光單元1d。根據(jù)該構(gòu)成，通過(guò)后述的處理可以同時(shí)獲得高分辨率的通常圖像和縱深信息。另外，對(duì)于攝像元件2所包含的所有感光單元1d而言，雖然理想的是實(shí)現(xiàn)上述構(gòu)成，但是由于設(shè)計(jì)誤差等其他問(wèn)題，也存在無(wú)法實(shí)現(xiàn)上述構(gòu)成的感光單元1d。以下，對(duì)本實(shí)施方式中的攝像以及圖像處理進(jìn)行更詳細(xì)地說(shuō)明。來(lái)自被攝體的光通過(guò)光學(xué)鏡頭3、紅外截止濾光器4后在攝像元件2的光電變換部1上被成像。在本實(shí)施方式中，元件驅(qū)動(dòng)部6對(duì)透過(guò)光控制層1b進(jìn)行控制，由此改變透過(guò)光控制層1b的透過(guò)光量而進(jìn)行兩次攝像。在此，將通過(guò)鏡頭3以及紅外截止濾光器4而入射的光的光量設(shè)為L(zhǎng)a，將在透過(guò)光控制層1b中使透過(guò)光反復(fù)透過(guò)時(shí)的透過(guò)率設(shè)為k，將反射層1c中的光的反射率設(shè)為100％，將透過(guò)感光單元1d的光的量設(shè)為L(zhǎng)b。此外，假設(shè)僅對(duì)來(lái)自鏡頭3側(cè)的入射光以及來(lái)自顯微透鏡1a側(cè)的反射光進(jìn)行感光單元1d所進(jìn)行的光電變換。首先，在第一次攝像中，將透過(guò)光控制層1b中的透過(guò)率k設(shè)為小于50％的值k1，來(lái)進(jìn)行攝像。于是，在感光單元1d中，由(La+k1·Lb)表示的量的光被進(jìn)行光電變換。接下來(lái)，將透過(guò)光控制層1b中的透過(guò)率k設(shè)為大于50％的值k2，來(lái)進(jìn)行第二次攝像。于是，在感光單元中，由(La+k2·Lb)表示的量的光被進(jìn)行光電變換。即，若分別將通過(guò)第一次攝像獲得的光電變換信號(hào)表示為G(1)，將通過(guò)第二次攝像獲得的光電變換信號(hào)表示為G(2)，將與光量La、Lb對(duì)應(yīng)的信號(hào)量表示為L(zhǎng)as、Lbs，則能夠分別用以下的式1以及式2表示G(1)以及G(2)。(式1)G(1)＝Las+k1·Lbs(式2)G(2)＝Las+k2·Lbs另外，在本實(shí)施方式中，雖然假定了拍攝靜止圖像的情況，但是也可適用于運(yùn)動(dòng)圖像的攝像。在拍攝運(yùn)動(dòng)圖像的情況下，只要以將被攝體看成靜止?fàn)顟B(tài)的方式高速地進(jìn)行兩次攝像即可。上述的兩次攝像的結(jié)果，第一次攝像與第二次攝像之間的光量差可由Lb(k2-k1)表示。即，通過(guò)第一次攝像獲得的光電變換信號(hào)G(1)與通過(guò)第二次攝像獲得的光電變換信號(hào)G(2)之間的差分信號(hào)G(2)-G(1)，如以下的式3所述那樣與Lbs成正比。(式3)G(2)-G(1)＝(k2-k1)Lbs由于信號(hào)Lbs與光量Lb成比例，因此根據(jù)式3所示的差分信號(hào)，可獲得表示來(lái)自顯微透鏡1a側(cè)的光量的信號(hào)Lb、即圖像信息。如果獲得了來(lái)自顯微透鏡1a側(cè)的圖像信息，則因?yàn)橥高^(guò)率k1、k2已知，所以也能獲得來(lái)自鏡頭3以及紅外截止濾光器4側(cè)的圖像信息。例如，通過(guò)k2·G(1)-k1·G(2)除以(k2-k1)，從而可獲得Las。由于該信號(hào)Las表示光量La，因此可知通過(guò)該構(gòu)成可獲得來(lái)自紅外截止濾光器4側(cè)的圖像信息。關(guān)于來(lái)自鏡頭3以及紅外截止濾光器4側(cè)的光信息而言，特別是由于沒(méi)有分辨率的劣化，因此攝像元件2的像素?cái)?shù)(感光單元數(shù))越多，則可獲得分辨率越高的高分辨率圖像。另一方面，來(lái)自顯微透鏡1a側(cè)的圖像信息相當(dāng)于從所謂的光場(chǎng)照相機(jī)獲得的圖像信息。即，由于是分辨率相對(duì)低，但卻是由顯微透鏡陣列獲得的圖像信息，因此能夠計(jì)算出縱深。如以上所述，根據(jù)本實(shí)施方式，能夠同時(shí)獲得通常的無(wú)分辨率降低的圖像、和分辨率低但能計(jì)算出縱深的圖像。接著，參照?qǐng)D5，關(guān)于攝像以及信號(hào)處理說(shuō)明具體處理流程的例子。作為第1步驟，將透過(guò)光控制層1b的透過(guò)率k設(shè)定為小于50％的值k1，進(jìn)行第一次攝像(S10)。在此，通過(guò)拍攝獲得的光電變換信號(hào)G(1)從攝像元件2經(jīng)由信號(hào)產(chǎn)生/接收部5而被傳送至存儲(chǔ)器30。作為第2步驟，將透過(guò)光控制層1b的透過(guò)率k設(shè)定為大于50％的值k2，進(jìn)行第二次攝像(S12)。通過(guò)拍攝獲得的光電變換信號(hào)G(2)也從攝像元件2經(jīng)由信號(hào)產(chǎn)生/接收部5而被傳送至存儲(chǔ)器30。作為第3步驟，圖像處理部7進(jìn)行差分信號(hào)(G(2)-G(1))除以(k2-k1)的除法運(yùn)算，并將其結(jié)果設(shè)為G(3)(S14)。即，圖像處理部7進(jìn)行以下的式4所示的運(yùn)算。(式4)G(3)＝(G(2)-G(1))/(k2-k1)＝Lbs作為第4步驟，圖像處理部7如以下的式5所示那樣進(jìn)行(G(1)-k1G(3))的運(yùn)算，生成信號(hào)G(4)(S16)?；蛘?，也可如以下的式6所示那樣進(jìn)行(G(2)-k2G(3))的運(yùn)算，生成信號(hào)G(5)。(式5)G(4)＝G(1)-k1·G(3)＝(Las+k1Lbs)-k1Lbs＝Las(式6)G(5)＝G(2)-k2G(3)＝(Las+k2Lbs)-k2Lbs＝Las作為第5步驟，圖像處理部7利用圖像G(3)，進(jìn)行與公知的光場(chǎng)照相機(jī)所執(zhí)行的處理相同的處理，從而計(jì)算出縱深信息(S18)。即，利用由各顯微透鏡而形成在光電變換層上的多個(gè)部分圖像來(lái)進(jìn)行三角測(cè)量，計(jì)算出縱深。另外，省略說(shuō)明公知的光場(chǎng)照相機(jī)所執(zhí)行的處理的詳細(xì)內(nèi)容。作為最后的步驟，經(jīng)由圖像接口部8輸出計(jì)算出的信號(hào)G(4)或信號(hào)G(5)、和縱深信息(S20)。如以上所述，根據(jù)本實(shí)施方式，在攝像元件2中，在入射光入射的方向上依次形成感光單元組1d、顯微透鏡陣列1a、透過(guò)光控制層以及反射層。來(lái)自鏡頭3的入射光直接入射到攝像元件2的感光單元組，并且透過(guò)了感光單元組1d的光經(jīng)由顯微透鏡陣列1a以及透過(guò)光控制層1b而被反射層1c反射之后再次入射到感光單元組。通過(guò)改變透過(guò)光控制層1b的透過(guò)率來(lái)進(jìn)行兩次拍攝，從而具有如下效果：通過(guò)包括像素信號(hào)間的差分在內(nèi)的簡(jiǎn)單運(yùn)算處理能夠計(jì)算出無(wú)分辨率劣化的圖像和縱深信息。另外，在本實(shí)施方式中，在攝像元件2中，在入射光入射的方向上依次形成有感光單元組1d、顯微透鏡陣列1a、透過(guò)光控制層1b以及反射層1c，但是并不限于該構(gòu)成。只要透過(guò)光控制層1b被配置在感光單元組1d與反射層1c之間即可。此外，在上述的說(shuō)明中，假設(shè)了透過(guò)光控制層1b包括液晶，但是并不限于這種構(gòu)成，只要是能控制透過(guò)光量的介質(zhì)或構(gòu)造即可。此外，關(guān)于兩次攝像，雖然假設(shè)了在由透過(guò)光控制層1b調(diào)整透過(guò)光量時(shí)將光透過(guò)率設(shè)為小于50％的k1和大于50％的k2，但是并不限于此，只要兩者不是相同的透過(guò)率即可。除此之外，在本實(shí)施方式中，對(duì)沒(méi)有實(shí)施彩色化的攝像元件2進(jìn)行了說(shuō)明，但是本申請(qǐng)的技術(shù)也能適用于在感光單元組1d的上部配置了分色濾光器的彩色攝像元件。此時(shí)，雖然只能利用透過(guò)了紅色系統(tǒng)的分色濾光器的光，但是通過(guò)來(lái)自顯微透鏡側(cè)的反射光可獲得縱深信息，進(jìn)而也可獲得無(wú)分辨率降低的彩色圖像。對(duì)于顯微透鏡陣列1a而言，也無(wú)需是孔徑或焦點(diǎn)距離等光學(xué)特性完全相同的透鏡。例如，也可由光學(xué)特性不同的多種透鏡構(gòu)成，也可利用可改變光學(xué)特性的液體透鏡。在以上的實(shí)施方式中，假設(shè)了內(nèi)置于攝像裝置中的圖像處理部7進(jìn)行圖像處理，但是也可使獨(dú)立于攝像裝置的其他裝置執(zhí)行該圖像處理。例如，將通過(guò)具有上述的各實(shí)施方式中的攝像部100的攝像裝置而獲取到的信號(hào)輸入至其他裝置(圖像處理裝置)，使內(nèi)置于該圖像處理裝置中的計(jì)算機(jī)執(zhí)行規(guī)定上述信號(hào)運(yùn)算處理的程序，也能獲得同樣的效果。(產(chǎn)業(yè)上的可利用性)本申請(qǐng)的技術(shù)對(duì)于利用了固體攝像元件的所有照相機(jī)來(lái)說(shuō)都是有效的。例如，能夠利用于數(shù)碼相機(jī)或數(shù)碼攝像機(jī)等民用照相機(jī)、或工業(yè)用固體監(jiān)視照相機(jī)等中。符號(hào)說(shuō)明1攝像元件的包括光學(xué)系統(tǒng)的光電變換部1a顯微透鏡1b透過(guò)光控制層1c反射層1d感光單元1e半導(dǎo)體層1f布線層2固體攝像元件2a固定基板2b粘結(jié)層3鏡頭4紅外截止濾光器5信號(hào)產(chǎn)生/接收部6元件驅(qū)動(dòng)部7圖像處理部8接口部10感光單元30存儲(chǔ)器100攝像部200信號(hào)處理部