專利名稱：三維攝像裝置以及圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成具有視差的多個(gè)圖像的単眼三維攝像技木。
背景技術(shù)：
近年來，使用CXD和CMOS等固體攝像元件(以下，有時(shí)稱為“攝像元件”)的數(shù)字照相機(jī)和數(shù)字錄像機(jī)的高功能化、高性能化令人感到驚奇。特別是，由于半導(dǎo)體制造技術(shù)的進(jìn)步，推進(jìn)了固體攝像元件中的像素構(gòu)造的精細(xì)化。其結(jié)果是，能夠?qū)崿F(xiàn)固體攝像元件的像素以及驅(qū)動(dòng)電路的高集成化。由此，僅僅幾年間，攝像元件的像素?cái)?shù)就從100萬像素左右顯著増加到1000萬像素以上。進(jìn)ー步地，通過攝像而得到的圖像的質(zhì)量也飛躍提高。另一方面，關(guān)于顯示裝置，利用薄型的液晶和等離子體的顯示器，能夠不分場所地以高分辨率進(jìn)行高對(duì)比度的顯示，從而實(shí)現(xiàn)較高的性能。這樣的影像的高品質(zhì)化的發(fā)展正從ニ維圖像擴(kuò)展到三維圖像。近來，雖然需要偏光眼鏡，但是也正在開始開發(fā)高畫質(zhì)的三維顯示裝置。
關(guān)于三維攝像技木，作為具有簡單構(gòu)成的代表性技木，有使用由2個(gè)照相機(jī)構(gòu)成的攝像系統(tǒng)，分別獲取右眼用的圖像以及左眼用的圖像的技木。在這樣的所謂2眼攝像方式中，由于使用2個(gè)照相機(jī)，所以攝像裝置會(huì)大型化，成本也變高。因此，正在研究使用I個(gè)照相機(jī)獲取具有視差的多個(gè)圖像的方式。例如，專利文獻(xiàn)I公開了使用濾色片來同時(shí)獲取具有視差的2個(gè)圖像的技木。圖11是示意性地表示使用該技術(shù)的攝像系統(tǒng)的圖。該技術(shù)的攝像系統(tǒng)包括透鏡3、透鏡光圈19、光束限制板20、感光膜21，其中，光束限制板20配置有透射波長區(qū)域不同的2個(gè)濾色片20a、20b。這里，濾色片20a、20b例如是分別透射紅色系統(tǒng)、藍(lán)色系統(tǒng)的光的濾光片。通過以上的構(gòu)成，入射光從透鏡3、透鏡光圈19、以及光束限制板20透射后在感光膜21上成像。此時(shí)，在光束限制板20中的2個(gè)濾色片20a、20b中，分別只有紅色系統(tǒng)、藍(lán)色系統(tǒng)的光透射。其結(jié)果，在感光膜上形成基于分別透射過這2個(gè)濾色片的光的品紅色系統(tǒng)的顏色的像。這里，由于濾色片20a、20b的位置不同，所以在感光膜上形成的像中產(chǎn)生視差。這里，如果根據(jù)感光膜來制作照片，使用分別粘貼了紅色濾光片以及藍(lán)色濾光片作為右眼用以及左眼用的眼鏡，則能夠看到有進(jìn)深感的圖像。這樣，根據(jù)專利文獻(xiàn)I公開的技木，能夠使用2個(gè)濾色片來制作具有視差的圖像。專利文獻(xiàn)I中公開的技術(shù)是在感光膜上成像并制作具有視差的多個(gè)圖像的技木，另ー方面，專利文獻(xiàn)2中公開了將具有視差的圖像轉(zhuǎn)換為電信號(hào)后獲取的技木。圖12是示意性表示該技術(shù)中的光束限制板的圖。在該技術(shù)中，使用如下光束限制板22，該光束限制板22在與攝像光學(xué)系統(tǒng)的光軸垂直的平面上，設(shè)置有透射紅色光的R區(qū)域22R、透射緑色光的G區(qū)域22G、透射藍(lán)色光的B區(qū)域22B。通過由具有紅色用的R像素、緑色用的G像素、藍(lán)色用的B像素的照相機(jī)攝像元件來接受透射過這些區(qū)域的光，能夠獲取透射過各區(qū)域的光所形成的圖像。此外，在專利文獻(xiàn)3中，也公開了使用與圖12的構(gòu)成相同的構(gòu)成來獲取具有視差的多個(gè)圖像的技木。圖13是示意性表示專利文獻(xiàn)3所公開的光束限制板的圖。該技術(shù)也能夠通過使入射光透射設(shè)置在光束限制板23中的R區(qū)域23R、G區(qū)域23G、B區(qū)域23B來制作具有視差的圖像。根據(jù)上述專利文獻(xiàn)I 3所公開的技術(shù)，通過在光束限制板配置R、G、B各色濾色片，能夠生成具有視差的圖像。但是，由于使用了光束限制板，所以入射光量會(huì)減少。此外，要提高視差效果就需要在相互分離的位置配置R、G、B的各色濾色片，并減小它們的面積，這樣，入射光量會(huì)進(jìn)一步減少。相對(duì)于以上的技術(shù)，在專利文獻(xiàn)4中公開有以下技術(shù)，S卩，能夠使用配置有R、G、B的各色濾色片的光圈，來得到具有視差的多個(gè)圖像和在光量方面沒有問題的通常圖像。在該技術(shù)中，在關(guān)閉光圈的狀態(tài)下接受僅僅透射R、G、B的各色濾色片的光，在打開光圈的狀態(tài)下從光路中取下RGB的濾色片區(qū)域，所以能夠完全接受入射光。由此，能夠在關(guān)閉光圈的狀態(tài)下獲取具有視差的圖像，并在打開光圈的狀態(tài)下獲取光利用率高的通常圖像。在先技術(shù)文獻(xiàn)

專利文獻(xiàn)專利文獻(xiàn)I JP特開平2-171737號(hào)公報(bào)專利文獻(xiàn)2 JP特開2002-344999號(hào)公報(bào)專利文獻(xiàn)3 JP特開2009-276294號(hào)公報(bào)專利文獻(xiàn)4 JP特開2003-134533號(hào)公報(bào)發(fā)明要解決的課題根據(jù)以往技術(shù)，能夠獲取具有視差的多個(gè)圖像，但是由于在光束限制板中使用濾色片，所以攝像元件的受光量會(huì)減少。為了充分確保入射光量，需要使用通過機(jī)械驅(qū)動(dòng)從光路中取下濾色片的機(jī)構(gòu)來獲取光利用率較高的通常圖像。但是，在使用了機(jī)械驅(qū)動(dòng)的技術(shù)中，存在導(dǎo)致裝置的大型化以及高成本化的問題。

發(fā)明內(nèi)容
本發(fā)明提供一種不進(jìn)行機(jī)械驅(qū)動(dòng)就能夠生成光利用率高，且對(duì)于哪個(gè)顏色成分都具有視差的多個(gè)圖像的三維攝像技術(shù)。用于解決課題的手段本發(fā)明的三維攝像裝置包括光透射部，其具有透射波長區(qū)域互不相同的η個(gè)(η為2以上的整數(shù))透射區(qū)域，各透射區(qū)域使第一波長區(qū)域的光透射；固體攝像元件，該固體攝像元件具有光感測單元陣列，并且是為了接受透射過上述光透射部的光而配置的固體攝像元件，上述光感測單元陣列具有多個(gè)單位塊，各單位塊包括η個(gè)光感測單元，該η個(gè)光感測單元中包括輸出與上述第一波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)的第一光感測單元，上述η個(gè)光感測單元中的每一個(gè)光感測單元輸出與互不相同的波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)；光學(xué)系統(tǒng)，其在上述固體攝像元件的攝像面上形成像；以及信號(hào)處理部，其通過使用在從上述第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)上乘以第一系數(shù)后得到的信號(hào)、和從剩余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)，來生成表示入射到上述光透射部的各區(qū)域中的光的量的信號(hào)，從而生成至少2個(gè)具有視差的圖像數(shù)據(jù)，其中，上述第一系數(shù)是O以上且不足I的實(shí)數(shù)。在某實(shí)施方式中，η = 3，包含在上述光透射部中的上述η個(gè)透射區(qū)域中的I個(gè)透射區(qū)域?yàn)橥该鲄^(qū)域，剰余的2個(gè)透射區(qū)域是使藍(lán)緑色的波長區(qū)域的光透射的區(qū)域、使品紅色的波長區(qū)域的光透射的區(qū)域、以及使黃色的波長區(qū)域的光透射的區(qū)域之中的2個(gè)區(qū)域。在某實(shí)施方式中，上述η個(gè)透射區(qū)域中的2個(gè)透射區(qū)域是使藍(lán)綠色的波長區(qū)域的光透射的區(qū)域、以及使黃色的波長區(qū)域的光透射的區(qū)域，上述第一波長區(qū)域是與綠色對(duì)應(yīng)的波長區(qū)域。在某實(shí)施方式中，上述第一系數(shù)的值按每個(gè)單位塊來決定。在某實(shí)施方式中，上述第一系數(shù)的值基于從包含在各單位塊中的上述第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)、和從剩余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)之和之間的比率來決定。在某實(shí)施方式中，上述信號(hào)處理部使用將在從上述第一光感測單兀輸出的光電轉(zhuǎn)換信號(hào)上乘以第二系數(shù)后得到的信號(hào)加在從上述剰余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)中的每ー個(gè)光電轉(zhuǎn)換信號(hào)上后得到的信號(hào)，來生成表示入射到上述光透射部的各區(qū)域中的 光的量的信號(hào)，其中，上述第二系數(shù)是比O大且I以下的實(shí)數(shù)。在某實(shí)施方式中，上述第二系數(shù)的值基于上述第一系數(shù)的值來決定。在某實(shí)施方式中，在設(shè)上述第一系數(shù)的值為k，設(shè)上述第二系數(shù)的值為k’吋，k’ =
I-ko本發(fā)明的圖像處理裝置是對(duì)通過三維攝像裝置獲取到的信號(hào)進(jìn)行處理的圖像處理裝置，其中，該三維攝像裝置包括光透射部，其具有透射波長區(qū)域互不相同的η個(gè)(η為2以上的整數(shù))透射區(qū)域，各透射區(qū)域使第一波長區(qū)域的光透射；固體攝像元件，該固體攝像元件具有光感測單元陣列，并且是為了接受透射過上述光透射部的光而配置的固體攝像元件，上述光感測單元陣列具有多個(gè)單位塊，各單位塊包括η個(gè)光感測單元，該η個(gè)光感測単元包括輸出與上述第一波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)的第一光感測單元，上述N個(gè)光感測單元中的每ー個(gè)光感測單元輸出與互不相同的波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)；以及光學(xué)系統(tǒng)，其在上述固體攝像元件的攝像面上形成像；該圖像處理裝置通過使用在從上述第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)上乘以第一系數(shù)后得到的信號(hào)、和從剩余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)，來生成表示入射到上述光透射部的各區(qū)域中的光的量的信號(hào)，從而生成至少2個(gè)具有視差的圖像數(shù)據(jù)，其中，上述第一系數(shù)是O以上且不足I的實(shí)數(shù)。發(fā)明效果根據(jù)本發(fā)明，不進(jìn)行機(jī)械驅(qū)動(dòng)，使用具有濾色片的攝像元件，就能夠得到光利用率高，且對(duì)于哪個(gè)顏色成分都具有視差的多個(gè)圖像。


圖I是表示實(shí)施方式I的攝像裝置的整體構(gòu)成的框圖。圖2是表示實(shí)施方式I的透光板、光學(xué)系統(tǒng)、以及攝像元件的概略構(gòu)成的示意圖。圖3是表示實(shí)施方式I的透光板的透射區(qū)域的配置的圖。圖4是表示實(shí)施方式I的攝像元件的像素構(gòu)成的圖。圖5是表示通過實(shí)施方式I的攝像裝置用第一方法生成的圖像的圖。圖6是表示通過實(shí)施方式I的攝像裝置使G成分的量減少而生成的圖像的圖。
圖7是表示實(shí)施方式I的圖像生成部的處理的流程的圖。圖8是表示通過實(shí)施方式I的攝像裝置提高靈敏度而生成的圖像的圖。圖9是表示具有η個(gè)透射區(qū)域的光透射部的一例的圖。圖10是表示各單位塊中的η個(gè)光感測單元的配置的一例的圖。圖11是專利文獻(xiàn)I的攝像系統(tǒng)的示意圖。圖12是專利文獻(xiàn)2的光束限制板的示意圖。圖13是專利文獻(xiàn)3的光束限制板的示意圖。
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施方式。在以下的說明中對(duì)于公共的要素附加相 同的符號(hào)。另外，在本說明書中，有時(shí)將表示圖像的信號(hào)或者信息簡單稱為“圖像”。(實(shí)施方式I)圖I是表示本發(fā)明的第一實(shí)施方式的三維攝像裝置(以下，稱為“攝像裝置”)的整體構(gòu)成的框圖。本實(shí)施方式的攝像裝置是數(shù)字式的電子照相機(jī)，包括攝像部100、和基于來自攝像部100的信號(hào)來生成表示圖像的信號(hào)(圖像信號(hào))的信號(hào)處理部200。本實(shí)施方式的攝像裝置也可以具備不只拍攝靜止圖像還拍攝運(yùn)動(dòng)圖像的功能。攝像部100包括攝像元件(圖像傳感器)1，其具備排列在攝像面上的多個(gè)光感測單元；透光板(光透射部)2，其具有透射波長區(qū)域互不相同的3個(gè)透射區(qū)域并使入射光透射；光學(xué)透鏡3，其用于在攝像元件I的攝像面上形成像；和紅外截止濾光片4。攝像部100還包括信號(hào)產(chǎn)生/接收部5，其產(chǎn)生用于驅(qū)動(dòng)攝像元件I的基本信號(hào)，并且接收來自攝像元件I的輸出信號(hào)，并將其發(fā)送至信號(hào)處理部200 ;和元件驅(qū)動(dòng)部6，其基于由信號(hào)產(chǎn)生/接收部5產(chǎn)生的基本信號(hào)來驅(qū)動(dòng)攝像元件I。攝像元件I典型為CXD或CMOS傳感器，通過公知的半導(dǎo)體制造技術(shù)來制造。信號(hào)產(chǎn)生/接收部5以及元件驅(qū)動(dòng)部30例如由CCD驅(qū)動(dòng)器等LSI構(gòu)成。信號(hào)處理部200包括圖像生成部7，其對(duì)從攝像部100輸出的信號(hào)進(jìn)行處理并生成圖像信號(hào)；存儲(chǔ)器30，其保存在圖像信號(hào)的生成中使用的各種數(shù)據(jù)；和接ロ(IF)部8，其將生成的圖像信號(hào)送出至外部。此外，信號(hào)處理部200包括視差推定部40，其推定由圖像生成部7生成的多個(gè)圖像之間的視差；和距離信息生成部50，其基于推定出的視差來生成被攝體的距離信息。圖像生成部7、視差推定部40、距離信息生成部50優(yōu)選通過公知的數(shù)字信號(hào)處理處理器(DSP)等硬件和用于執(zhí)行包括后述的圖像信號(hào)生成處理、視差推定處理、距離信息生成處理在內(nèi)的圖像處理的軟件的組合來實(shí)現(xiàn)。存儲(chǔ)器30由DRAM等構(gòu)成。存儲(chǔ)器30記錄從攝像部100得到的信號(hào)，并且暫時(shí)記錄由圖像生成部7生成的圖像數(shù)據(jù)、和壓縮后的圖像數(shù)據(jù)。這些圖像數(shù)據(jù)經(jīng)由接ロ部8送出至未圖示的記錄介質(zhì)或顯示部等。另外，本實(shí)施方式的攝像裝置包括電子快門、取景器、電源(電池)、閃光燈等公知的構(gòu)成要素，這些說明不是理解本發(fā)明所必需的，所以省略。接著，參照?qǐng)D2 4來更詳細(xì)地說明攝像部100的構(gòu)成。圖2是示意性表示攝像部100中的透光板2、透鏡3、以及攝像元件I的配置關(guān)系的圖。另外，在圖2中，省略除透光板2、透鏡3、以及攝像元件I以外的構(gòu)成要素。透光板2具有透射波長區(qū)域互不相同的3個(gè)透射區(qū)域C1、C2、C3，使入射光透射。透鏡3是公知的透鏡，對(duì)透射過透光板2的光進(jìn)行集光，在攝像元件I的攝像面Ia進(jìn)行成像。另外，在以下的說明中，在與攝像面Ia平行的平面中，設(shè)從區(qū)域Cl朝向C2的方向?yàn)閄方向，設(shè)與X方向垂直的方向?yàn)镮方向。圖2所示的各構(gòu)成要素的配置關(guān)系只是一例，本發(fā)明不限于這樣的配置關(guān)系。例如，透鏡3只要能在攝像面Ia形成像，也可以配置為比透光板2更遠(yuǎn)離攝像元件I。此外，透鏡3是由多個(gè)透鏡組構(gòu)成的透鏡單元，可以在它們之間配置透光板2。此外，透鏡3和透光板2并不必需是獨(dú)立的構(gòu)成要素，兩者可以作為一體化的I個(gè)光學(xué)元件來構(gòu)成。進(jìn)一步地，透光板2和攝像元件I的攝像面不必平行配置。例如，通過在兩者之間配置反射鏡和棱鏡等反射光的光學(xué)元件，也能夠構(gòu)成為透光板2和攝像元件I的攝像面位于相互交叉的平面上。圖3是本實(shí)施方式的透光板2的正面圖。本實(shí)施方式的透光板2的形狀與透鏡3相同，是圓形，但是也可以是其他形狀。在區(qū)域Cl中，配置使藍(lán)綠色(Cy)的波長區(qū)域(綠色以及藍(lán)色的波長區(qū)域)的光透射的濾色片(Cy濾光片)。在區(qū)域C2中配置使黃色(Ye) 的波長區(qū)域(紅色以及綠色的波長區(qū)域)的光透射的濾色片(Ye濾光片)。另外，本實(shí)施方式的區(qū)域Cl以及C2只要是構(gòu)成為分別使Cy以及Ye的波長區(qū)域的光透射，而不使其他波長區(qū)域的光透射，就不限于濾色片，可以是由任何部件構(gòu)成。例如，可以是由使一部分波長區(qū)域的光透射，而反射其他波長區(qū)域的光的分色鏡(dichroicmirror)等光學(xué)元件構(gòu)成。這里，區(qū)域Cl以及區(qū)域C2在x方向上相離而配置。區(qū)域Cl和區(qū)域C2之間的距離L按照根據(jù)透鏡3的尺寸使獲取到的圖像具有適當(dāng)?shù)囊暡畹姆绞絹砼渲?。距離L例如設(shè)定為數(shù)mm 數(shù)cm。此外，透光板2的其他區(qū)域C3是由使包含在白色光(W)中的整個(gè)波長區(qū)域的可見光透射的透明部件形成的透明區(qū)域。透明部件只要是以較高的透射率使光透射的部件就可以是任意的部件。在本實(shí)施方式中設(shè)計(jì)為，區(qū)域Cl以及區(qū)域C2的面積相等，區(qū)域C3的面積比區(qū)域Cl、C2的面積大。在圖2所示的攝像元件I的攝像面Ia中，形成按照二維形狀排列多個(gè)光感測單元而形成的光感測單元陣列以及與光感測單元陣列相對(duì)配置的濾色片陣列。光感測單元陣列以及濾色片陣列分割為多個(gè)單位塊，各單位塊包括4個(gè)光感測單元以及與它們相對(duì)的4個(gè)濾色片。各光感測單元典型的為光電二極管，通過光電轉(zhuǎn)換來輸出與各個(gè)受光量相應(yīng)的電信號(hào)(以下，稱為“光電轉(zhuǎn)換信號(hào)”或“像素信號(hào)”)。此外，各濾色片使用公知的顏料等來制作，設(shè)計(jì)為選擇性地使特定的波長區(qū)域的光透射。圖4是示意性表示光感測單元陣列以及濾色片陣列的一部分的圖。在攝像面Ia上按照矩陣狀來排列大量光感測單元120以及與它們一對(duì)一相對(duì)的濾色片110。在本實(shí)施方式中，相鄰的4個(gè)光感測單元120構(gòu)成I個(gè)單位塊。在各單位塊中，在第一行第一列配置使紅色(R)的波長區(qū)域的光透射的濾色片(R濾光片)。在第一行第二列以及第二行第一列配置使綠色(G)的波長區(qū)域的光透射的濾色片(G濾光片)。在第二行二列配置使藍(lán)色(B)的波長區(qū)域的光透射的濾色片(B濾光片)。這樣，本實(shí)施方式的濾色片110的排列是以2行2列為基礎(chǔ)的公知的Bayer (拜耳)排列。另外，光感測單元120以及濾色片110的排列不必是Bayer排列，可以是公知的任意排列。通過以上構(gòu)成，在曝光中入射到攝像裝置的光通過透光板2、透鏡3、紅外截止濾光片4、濾色片110后入射到光感測單元120。各光感測單元120接受透射過透光板2的區(qū)域Cl、C2、C3中的每一個(gè)后的光中通過相對(duì)的濾色片的光，并輸出與接受到的光的量(強(qiáng)度)相應(yīng)的光電轉(zhuǎn)換信號(hào)。由各光感測單元輸出的光電轉(zhuǎn)換信號(hào)通過信號(hào)產(chǎn)生/接收部5后送出至信號(hào)處理部200。信號(hào)處理部200中的圖像生成部7基于從攝像部100送出的信號(hào)來生成右眼用圖像、左眼用圖像、以及彩色圖像。另外，本實(shí)施方式的攝像元件I通過上述濾色片陣列來進(jìn)行顏色分離，在本發(fā)明中也可以利用不使用濾色片陣列的攝像元件。例如，能夠利用在特表2002-513145號(hào)公報(bào)中公開的具有三重阱構(gòu)造的攝像元件。這樣，只要各單位塊包括用于檢測紅色的波長區(qū)域的光的R檢測單元、用于檢測綠色的波長區(qū)域的光的G檢測單元、以及用于檢測藍(lán)色的波長區(qū)域的光的B檢測單元就可以利用任意的攝像元件。此外，在本實(shí)施方式中，I個(gè)光感測單元檢測紅色、綠色、藍(lán)色任意一種波長區(qū)域的光，但是也可以將I個(gè)光感測單元檢測的波長區(qū)域進(jìn)一步進(jìn)行細(xì)分。例如，也可以將紅色光的波長區(qū)域Ar分割為3個(gè)波長區(qū)域Arl、Ar2、Ar3，設(shè)置分別與Arl、Ar2、入r3相對(duì)應(yīng)的3個(gè)光感測單元。在該情況下，能夠?qū)?個(gè)光感測單元的像素信號(hào)的合計(jì)作為與紅色光對(duì)應(yīng)的信號(hào)來進(jìn)行處理。 以下，說明從各光感測單元輸出的光電轉(zhuǎn)換信號(hào)。首先，將相當(dāng)于入射到透光板2的區(qū)域C1、C2、C3的光的強(qiáng)度的信號(hào)分別添加下標(biāo)“i”而表示為Cil、Ci2、Ci3。此外，設(shè)將透光板2中的透明區(qū)域C3、透鏡3、以及紅外截止濾光片4合并后的分光透射率為Tw，設(shè)Cy濾光片的分光透射率為Tcy，設(shè)Ye濾光片的分光透射率為Tye。同樣地，將R、G、B各濾色片的分光透射率分別表示為Tr、Tg、Tb。這里，Tw、TCy、Tye、Tr、Tg、Tb是依賴于入射的光的波長、的函數(shù)。將表示透射R、G、B濾色片后由相對(duì)的光感測單元接受的光的強(qiáng)度的信號(hào)分別附加下標(biāo)“s”而表示為Rs、Gs、Bs。此外，用記號(hào)E表示可見光的波長區(qū)域的分光透射率的積分運(yùn)算。例如，將針對(duì)波長 ' 的積分運(yùn)算/ TwTcyTrd A等表示為E TwTcyTr等。這里，積分是針對(duì)可見光的整個(gè)波長區(qū)域進(jìn)行的。這樣，Rs與將Cil E TwTcyTr,Ci2 E TwTyeTr,以及Ci3 E TwTr相加后得到的結(jié)果成比例。Gs與將Cil E TwTcyTg, Ci2 E TwTyeTg,以及Ci3 E TwTg相加后得到的結(jié)果成比例。Bs與將Cil E TwTcyTb, Ci2 E TwTyeTb、以及Ci3 E TwTb相加后得到的結(jié)果成比例。設(shè)這些關(guān)系中的比例系數(shù)為1，則Rs、Gs、Bs能夠由以下式子I 3來表不。(式I) Rs = Cil E TwTcyTr+Ci2 E TwTyeTr+Ci3 E TwTr(式2) Gs = Cil E TwTcyTg+Ci2 E TwTyeTg+Ci3 E TwTg(式3) Bs = Cil E TwTcyTb+Ci2 E TwTyeTb+Ci3 E TwTb在式子I 3 中，E TwTcyTr、E TwTyeTr、E TwTr 分別用 Mxll、Mxl2、Mxl3 來表不，E TwTcyTg> E TwTyeTg> E TwTg 分別用 Mx21、Mx22、Mx23 來表不，E TwTcyTb> E TwTyeTb、E TwTb分別用Mx31、Mx32、Mx33來表示。這樣，Rs、Gs、Bs和CiI、Ci2、Ci3的關(guān)系能夠使用矩陣用以下的式子4來表示。[數(shù)I](式4)f姻I Md 2 MxnVCfO
Os = Mx21 Mxll Mx23 02^Bsj ^￥x31 MxJl M^JxD'這里，設(shè)式子4中由要素Mxll Mx33構(gòu)成的矩陣的逆矩陣的要素分別為iMll iM33，則式子4能夠變形為下面的式子5。即，能夠使用光電轉(zhuǎn)換信號(hào)Rs、Gs、Bs來表示對(duì)入射到區(qū)域C1、C2、C3中的光的強(qiáng)度進(jìn)行表示的信號(hào)。[數(shù)2](式5)
rOl) (iMll i M12 iMUVRs^02 = IM 21 IM 22 iM23 Gs (C 句瞧 rM33jUJ圖像生成部7(圖I)執(zhí)行基于式子5的信號(hào)運(yùn)算，按每個(gè)單位塊來生成信號(hào)Cil、Ci2、Ci3。這樣按每個(gè)單位塊來生成的信號(hào)Cil、Ci2、Ci3表示由入射到區(qū)域Cl、C2、C3每一個(gè)中的光形成的3個(gè)圖像。特別，由信號(hào)Cil、Ci2表示的圖像相當(dāng)于從位于X方向上相離開的位置的區(qū)域Cl、C2觀察各個(gè)被攝體時(shí)的圖像，因此能夠作為左眼用圖像以及右眼用圖像來進(jìn)行處理。即，由信號(hào)Cil、Ci2表示的2個(gè)圖像具有與區(qū)域Cl、C2的距離相應(yīng)的視差。因此，從這些圖像能夠得到表示被攝體的進(jìn)深的信息。通過以上處理得到的圖像信號(hào)Cil、Ci2、Ci3雖然使用光電轉(zhuǎn)換信號(hào)Rs、Gs、Bs來表示，但是這些不是彩色圖像，而是相當(dāng)于濃淡圖像(黑白圖像)。為了不得到濃淡圖像而得到彩色圖像，不進(jìn)行上述信號(hào)運(yùn)算處理，而是根據(jù)得到的各光電轉(zhuǎn)換信號(hào)來進(jìn)行通常的Bayer排列的彩色處理即可。此時(shí)，通過配置在透光板2上的Cy濾光片、Ye濾光片會(huì)產(chǎn)生入射光的損失和色溫偏差，但是由于這些濾色片的光透射率較高，所以能夠比現(xiàn)有技術(shù)減少入射光的損失。此外，即使產(chǎn)生整體的顏色的偏差，也能夠通過白平衡的調(diào)整來應(yīng)對(duì)。這樣，根據(jù)本實(shí)施方式的攝像裝置，能夠得到光利用率較高且良好的彩色圖像。另外，在得到彩色圖像時(shí)，不根據(jù)各光電轉(zhuǎn)換信號(hào)來進(jìn)行通常的Bayer排列的彩色處理，僅利用式子4的Ci3的項(xiàng)就可以得到彩色信息。即，在基于式子5，求出Ci3后，通過將Mxl3XCi3作為R的光量，將Mx23XCi3作為G的光量，將Mx33XCi3作為B的光量，也能夠得到彩色圖像。雖然能夠通過以上處理得到具有視差的2個(gè)圖像，但是在來自被攝體的反射光中包含大量綠色光的情況下，存在不能正確得到視差信息的課題。在本實(shí)施方式中，在透光板2的透射區(qū)域中使用Cy濾光片、Ye濾光片、以及透明部件。這些透射區(qū)域，在Cy濾光片、Ye濾光片、以及透明部件任一個(gè)中都使綠色光(雖然也依賴于所利用的濾色片，但是一般指490 575nm附近的波長成分)透射。由此，入射到攝像元件I的綠色光成為分別透射Cy、Ye、透明的各透射區(qū)域后的綠色光的重合。因此，檢測綠色光的光感測單元不能選擇性地接受作為生成具有視差的多個(gè)圖像的前提條件而從多個(gè)方向入射的光中的任意一種。圖5表示通過上述處理而生成的3個(gè)圖像的例子。圖5的上面部分按照濃淡方式來表示拍攝到的圖像。圖5的中間部分以及下面部分表示基于各個(gè)圖像信號(hào)Cil以及Ci2而生成的具有視差的2個(gè)圖像。在各圖像的背景中，配置比色圖表(顏色比較表)。圖5上面部分的箭頭表示比色圖表中的一部分的劃分區(qū)是哪種顏色。將圖5中間部分和下面部分相比較可知，圖5中間部分的背景比圖5下面部分的背景更靠左邊。但是，在由箭頭表示的綠色區(qū)域(反射綠色的波長區(qū)域的光的區(qū)域)中，沒有視差，因此在視覺方面圖5中間部分和下面部分沒有差異，明亮度也相同。因此，在本實(shí)施方式中，在對(duì)視差的計(jì)算沒有幫助的信號(hào)Gs比對(duì)視差的計(jì)算有幫助的信號(hào)Rs以及Bs更大的區(qū)域中，通過減少在視差計(jì)算中利用的Gs的量，來進(jìn)行具有無不適感的視差的圖像的生成。具體來說，通過使得到的信號(hào)Gs為k倍(k為0以上不足I的實(shí)數(shù))，來減少表示入射到各透射區(qū)域中的光的量的信號(hào)中所包含的綠色成分的量。這樣，上述式子4、5分別替換為以下的式子6、7。[數(shù)3](式6)
權(quán)利要求
1.ー種三維攝像裝置，包括 光透射部，其具有透射波長區(qū)域互不相同的η個(gè)透射區(qū)域，各透射區(qū)域使第一波長區(qū)域的光透射，其中，η為2以上的整數(shù)； 固體攝像元件，該固體攝像元件具有光感測單元陣列，并且是為了接受透射過上述光透射部的光而配置的固體攝像元件，上述光感測單元陣列具有多個(gè)單位塊，各單位塊包括η個(gè)光感測單元，該η個(gè)光感測單元中包括輸出與上述第一波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)的第一光感測單兀，上述η個(gè)光感測單兀中的姆ー個(gè)光感測單兀輸出與互不相同的波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)； 光學(xué)系統(tǒng)，其在上述固體攝像元件的攝像面上形成像；以及 信號(hào)處理部，其通過使用在從上述第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)上乘以第一系數(shù)后得到的信號(hào)、和從剩余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)，來生成表示入射到上述光透射部的各區(qū)域中的光的量的信號(hào)，從而生成至少2個(gè)具有視差的圖像數(shù)據(jù)，其中，上述第一系數(shù)是O以上且不足I的實(shí)數(shù)。
2.根據(jù)權(quán)利要求I所述的三維攝像裝置，其中， η = 3，包含在上述光透射部中的上述η個(gè)透射區(qū)域中的I個(gè)透射區(qū)域?yàn)橥该鲄^(qū)域，剩余的2個(gè)透射區(qū)域是使藍(lán)緑色的波長區(qū)域的光透射的區(qū)域、使品紅色的波長區(qū)域的光透射的區(qū)域、以及使黃色的波長區(qū)域的光透射的區(qū)域之中的2個(gè)區(qū)域。
3.根據(jù)權(quán)利要求2所述的三維攝像裝置，其中， 上述η個(gè)透射區(qū)域中的2個(gè)透射區(qū)域是使藍(lán)緑色的波長區(qū)域的光透射的區(qū)域、以及使黃色的波長區(qū)域的光透射的區(qū)域， 上述第一波長區(qū)域是與綠色對(duì)應(yīng)的波長區(qū)域。
4.根據(jù)權(quán)利要求I 3中任一項(xiàng)所述的三維攝像裝置，其中， 上述第一系數(shù)的值按每個(gè)單位塊來決定。
5.根據(jù)權(quán)利要求I 4中任一項(xiàng)所述的三維攝像裝置，其中， 上述第一系數(shù)的值基于從包含在各單位塊中的上述第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)、和從剩余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)之和之間的比率來決定。
6.根據(jù)權(quán)利要求I 5中任一項(xiàng)所述的三維攝像裝置，其中， 上述信號(hào)處理部使用將在從上述第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)上乘以第二系數(shù)后得到的信號(hào)加在從上述剰余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)中的每ー個(gè)光電轉(zhuǎn)換信號(hào)上后得到的信號(hào)，來生成表示入射到上述光透射部的各區(qū)域中的光的量的信號(hào)，其中，上述第二系數(shù)是比O大且I以下的實(shí)數(shù)。
7.根據(jù)權(quán)利要求6所述的三維攝像裝置，其中， 上述第二系數(shù)的值基于上述第一系數(shù)的值來決定。
8.根據(jù)權(quán)利要求7所述的三維攝像裝置，其中， 在設(shè)上述第一系數(shù)的值為k，設(shè)上述第二系數(shù)的值為k’吋，k’ = 1-k。
9.ー種圖像處理裝置，是對(duì)通過三維攝像裝置獲取到的信號(hào)進(jìn)行處理的圖像處理裝置，其中，該三維攝像裝置包括 光透射部，其具有透射波長區(qū)域互不相同的η個(gè)透射區(qū)域，各透射區(qū)域使第一波長區(qū)域的光透射，其中，η為2以上的整數(shù)；固體攝像元件，該固體攝像元件具有光感測單元陣列，并且是為了接受透射過上述光透射部的光而配置的固體攝像元件，上述光感測單元陣列具有多個(gè)單位塊，各單位塊包括η個(gè)光感測單元，該η個(gè)光感測單元中包括輸出與上述第一波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)的第一光感測單兀，上述N個(gè)光感測單兀中的姆ー個(gè)光感測單兀輸出與互不相同的波長區(qū)域的光的量相應(yīng)的 光電轉(zhuǎn)換信號(hào)；以及 光學(xué)系統(tǒng)，其在上述固體攝像元件的攝像面上形成像， 該圖像處理裝置通過使用在從上述第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)上乘以第一系數(shù)后得到的信號(hào)、和從剩余的光感測單元輸出的光電轉(zhuǎn)換信號(hào)，來生成表示入射到上述光透射部的各區(qū)域中的光的量的信號(hào)，從而生成至少2個(gè)具有視差的圖像數(shù)據(jù)，其中，上述第一系數(shù)是O以上且不足I的實(shí)數(shù)。
全文摘要
一種三維攝像裝置，包括光透射部(2)，具有透射波長區(qū)域互不相同的n個(gè)(n為2以上的整數(shù))透射區(qū)域，各透射區(qū)域使第一波長區(qū)域的光透射；固體攝像元件(1)，具有分割為多個(gè)單位塊的光感測單元陣列，為了接受透射過光透射部(2)的光而配置；光學(xué)系統(tǒng)(3)，在固體攝像元件(1)的攝像面(1a)上形成像；信號(hào)處理部(200)，對(duì)從固體攝像元件(1)輸出的信號(hào)進(jìn)行處理。各單位塊包括n個(gè)光感測單元，該n個(gè)光感測單元中包括輸出與第一波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)的第一光感測單元。各光感測單元輸出與互不相同的波長區(qū)域的光的量相應(yīng)的光電轉(zhuǎn)換信號(hào)。信號(hào)處理部(200)使用在從第一光感測單元輸出的光電轉(zhuǎn)換信號(hào)上乘以作為0以上且不足1的實(shí)數(shù)的第一系數(shù)后得到的信號(hào)生成至少2個(gè)具有視差的圖像數(shù)據(jù)。
文檔編號(hào)H04N13/02GK102687514SQ20118000504
公開日2012年9月19日 申請(qǐng)日期2011年8月19日 優(yōu)先權(quán)日2010年10月21日
發(fā)明者平本政夫, 石井育規(guī) 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社