專利名稱：三維攝像裝置、圖像處理裝置、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本申請涉及獲取具有視差的多個圖像的單眼三維攝像技術(shù)。
背景技術(shù)：
近年來，利用了 CXD或CMOS等固體攝像元件(以下有時稱為“攝像元件”。)的數(shù)碼相機或數(shù)碼電影的高功能化、高性能化備受關(guān)注。尤其是，由于半導(dǎo)體制造技術(shù)的進(jìn)步，固體攝像元件中的像素構(gòu)造的微細(xì)化也在發(fā)展之中。結(jié)果，實現(xiàn)了固體攝像元件的像素及驅(qū)動電路的高集成化。為此，僅僅數(shù)年攝像元件的像素數(shù)就從100萬像素左右顯著地增加到1000萬像素以上。進(jìn)而，由攝像而得到的圖像的質(zhì)量也飛躍地提高。另一方面，對于顯示裝置而言，借助薄型的由液晶或等離子構(gòu)成的顯示器，不占地方且高分辨率，從而高對比度的顯示成為可能，實現(xiàn)了較高的性能。這種影像的高品質(zhì)化的趨勢正從二維圖像向三維、圖像擴(kuò)展。最近，正在開始開發(fā)一種雖需要偏振眼鏡但高畫質(zhì)的三維顯示裝置。對于三維攝像技術(shù)而言，作為具有簡單構(gòu)成的代表性技術(shù)，有如下技術(shù)利用由2臺照相機構(gòu)成的攝像系統(tǒng)來分別獲取右眼用的圖像及左眼用的圖像。在這種所謂的雙眼攝像方式中，由于利用的是2臺照相機，故攝像裝置變得大型，成本也會升高。因而，正在研究利用一臺照相機來獲取具有視差的多個圖像(以下有時稱為“多視點圖像”。)的方式(單眼攝像方式)。例如，在專利文獻(xiàn)I中公開了利用濾色器來同時獲取具有視差的2個圖像的方式。圖16是示意地表示基于該方式的攝像系統(tǒng)的圖。該技術(shù)中的攝像系統(tǒng)具備鏡頭3、鏡頭光圈19、配置有透過波段不同的2個濾色器20a、20b的光束限制板20、以及感光薄膜(sensitive film) 21。在此,濾色器20a、20b例如是分別使紅色系、藍(lán)色系的光透過的濾光器。根據(jù)以上的構(gòu)成，入射光透過鏡頭3、鏡頭光圈19及光束限制板20并在感光薄膜21上成像。此時，在光束限制板20中的2個濾色器20a、20b中，分別僅透過紅色系、藍(lán)色系的光。結(jié)果，在感光薄膜21上形成了由分別透過這2個濾色器后的光形成的品紅色系的顏色成分的像。在此，因為濾色器20a、20b的位置不同，所以在感光薄膜21上形成的像會產(chǎn)生視差。在此，若根據(jù)感光薄膜來制作照片并使用將紅色薄膜及藍(lán)色薄膜分別作為右眼用及左眼用而粘貼的眼鏡，則可以觀看具有縱深感的圖像。這樣，根據(jù)專利文獻(xiàn)I所公開的技術(shù)，可以使用2個濾色器來制作多視點圖像。專利文獻(xiàn)I所公開的技術(shù)可在感光薄膜上成像并制作具有視差的多個圖像，而在專利文獻(xiàn)2中公開了將具有視差的圖像變換為電信號之后來獲取的技術(shù)。圖17是示意地表示該技術(shù)中的光束限制板22的圖。在該技術(shù)中，利用的是在與攝像光學(xué)系統(tǒng)的光軸垂直的平面上設(shè)置了透過紅色光的R區(qū)域22R、透過綠色光的G區(qū)域22G、透過藍(lán)色光的B區(qū)域22B的光束限制板22。通過利用具有探測紅色光的R像素、探測綠色光的G像素、探測藍(lán)色光的B像素的彩色攝像元件來接受透過了這些區(qū)域的光，從而可獲取由透過了各區(qū)域的光形成的圖像。再有，在專利文獻(xiàn)3中也公開了利用與圖17構(gòu)成同樣的構(gòu)成來獲取具有視差的多個圖像的技術(shù)。圖18是示意地表示專利文獻(xiàn)3所公開的光束限制板23的圖。即便在該技術(shù)中，也可以通過使入射光透過被設(shè)于光束限制板23上的R區(qū)域23R、G區(qū)域23G、B區(qū)域 23B來制作具有視差的多個圖像。
專利文獻(xiàn)4也同樣地公開了利用相對于光軸對稱地配置且顏色相互不同的一對濾光器來生成具有視差的多個圖像的技術(shù)。作為一對濾光器而利用紅色的濾光器及藍(lán)色的濾光器，由此探測紅色光的R像素觀測透過了紅色濾光器的光，探測藍(lán)色光的B像素觀測透過了藍(lán)色濾光器的光。因為紅色濾光器和藍(lán)色濾光器的位置不同，所以R像素所接受的光的入射方向和B像素所接受的光的入射方向相互不同。結(jié)果，用R像素觀測到的圖像和用B 像素觀測到的圖像成為視點相互不同的圖像。通過按每個像素從這些圖像中求取對應(yīng)點， 從而可以算出視差量。根據(jù)算出的視差量和照相機的焦點距離信息，求取從照相機到被攝體為止的距離。
專利文獻(xiàn)5公開了從利用安裝有口徑尺寸相互不同的2個濾色器(例如，紅與藍(lán)) 的光圈、或者顏色不同的2個濾色器相對于光軸被安裝在左右對稱的位置上的光圈而獲取到的2個圖像中求取被攝體的距離信息的技術(shù)。在該技術(shù)中，在觀測分別透過了口徑尺寸相互不同的紅色及藍(lán)色濾色器之后的光的情況下，按每種顏色觀測到的模糊的程度會有所不同。因而，與紅色及藍(lán)色濾色器分別對應(yīng)的2個圖像成為模糊的程度根據(jù)被攝體的距離有所不同的圖像。通過從這些圖像中求取對應(yīng)點并對模糊的程度進(jìn)行比較，從而獲得從照相機到被攝體為止的距離信息。另一方面，在觀測分別透過了相對于光軸被安裝在左右對稱的位置上的顏色不同的2個濾色器之后的光的情況下，按每種顏色觀測到的入射光的方向會有所不同。因而，與紅色及藍(lán)色濾色器分別對應(yīng)的2個圖像就成為具有視差的圖像。通過從這些圖像中求取對應(yīng)點并求取對應(yīng)點間的距離，從而獲得從照相機到被攝體為止的距離信息。
根據(jù)上述專利文獻(xiàn)I 5所公開的技術(shù)，通過在光束限制板或者光圈配置RGB系的濾色器，從而可以生成具有視差的多個圖像。然而，由于利用RGB系的濾色器，故入射光量大幅度減少。再有，為了增大視差量，需要將多個濾色器配置到相互分隔開的位置上并縮小這些濾色器的面積。但是，若縮小濾色器的面積，則入射光量會進(jìn)一步減少。
與以上的現(xiàn)有技術(shù)相對，在專利文獻(xiàn)6中公開了可以利用配置有RGB的多個濾色器的光圈來獲得具有視差的多個圖像和光量上不存在問題的通常圖像的技術(shù)。根據(jù)該技術(shù)，攝像元件在閉合了光圈的狀態(tài)下僅接受透過了 RGB的濾色器的光，而在打開了光圈的狀態(tài)下由于RGB的濾色器區(qū)域被從光路中剔除，故可以接受全部入射光。由此，在閉合了光圈的狀態(tài)下可獲取多視點圖像，在打開了光圈的狀態(tài)下可以獲取光利用率高的通常圖像。
在先技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)I JP特開平2-171737號公報
專利文獻(xiàn)2 JP特開2002-344999號公報
專利文獻(xiàn)3 JP特開2009-276294號公報
專利文獻(xiàn)4 JP特開2010-38788號公報
專利文獻(xiàn)5 JP特開2010-79298號公報
專利文獻(xiàn)6 JP特開2003-134533號公報

發(fā)明內(nèi)容
-發(fā)明所要解決的技術(shù)問題-根據(jù)專利文獻(xiàn)I 5所公開的技術(shù)，雖然可以獲取多視點圖像，但由于利用的是原色(RGB系)的濾色器，故攝像元件的受光量大幅度減少。另一方面，根據(jù)專利文獻(xiàn)6所公開的技術(shù)，利用借助機械式驅(qū)動而將濾色器從光路中剔除的機構(gòu)，可以獲取光利用率高的通常圖像。然而，即便在該技術(shù)中為了獲取多視點圖像也會利用原色的濾色器，因此無法獲得光利用率高的多視點圖像。再有，在該技術(shù)中還存在導(dǎo)致裝置的大型化及高成本化的課題。本發(fā)明的實施方式提供一種不進(jìn)行機械式驅(qū)動就能獲取光利用率高的多視點圖像的攝像技術(shù)。-用于解決技術(shù)問題的技術(shù)方案-
為了解決上述課題，本發(fā)明的一形態(tài)涉及的三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個(m為2以上的整數(shù))透過區(qū)域；攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括η個(η為m以上的整數(shù))光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器；成像部，其在所述攝像元件的攝像面上形成像；以及圖像處理部，其通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm矩陣，并基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像。上述的一般且特定的形態(tài)可利用系統(tǒng)、方法及計算機程序來安裝，或者可利用系統(tǒng)、方法及計算機程序的組合來實現(xiàn)。-發(fā)明效果-根據(jù)本發(fā)明的實施方式，不進(jìn)行機械式驅(qū)動就能夠獲取光利用率比現(xiàn)有技術(shù)還高的多視點圖像。


圖I是表示實施方式I中的整體構(gòu)成的框圖。圖2是表示實施方式I中的透光板、光學(xué)系統(tǒng)及攝像元件的概略構(gòu)成的示意圖。圖3是表示實施方式I中的透光板的透過區(qū)域的配置的圖。圖4是表示實施方式I中的攝像元件的透過濾光器的基本構(gòu)成的圖。圖5是表示透光板中的透過濾光器的分光透過率(spectraltrasmissionfactor)的例子的圖。圖6是表示攝像元件中的透過濾光器的分光透過率的例子的圖。圖7是表示透光板中的透過濾光器的分光透過率的其他例子的圖。圖8是表示攝像元件中的透過濾光器的分光透過率的其他例子的圖。圖9是示意地表示2個向量的例子的圖。圖10是表示輸入圖像及多視點圖像的例子的圖。
圖11
圖12
圖13
圖14
圖15
圖16
圖17
圖18是表示使Θ變化時的矩陣式、相關(guān)值及可靠度的變化的圖表。是表示實施方式I中的處理步驟的例子的流程圖。是通過實施方式I中的處理而生成的多視點圖像的例子。是表示具有m個透過區(qū)域的透光板的一例的圖。是表示攝像元件的各單位要素中的η個透過濾光器的配置的一例的圖。 是專利文獻(xiàn)I中的攝像系統(tǒng)的構(gòu)成圖。是專利文獻(xiàn)2中的光束限制板的外觀圖。是專利文獻(xiàn)3中的光束限制板的外觀圖。
具體實施方式
(I)本發(fā)明的一形態(tài)涉及的三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個(m為2以上的整數(shù))透過區(qū)域；攝像元件，其是被配置為接受透過了所述 m個透過區(qū)域的光的攝像元件，該攝像元件排列有多個單位要素，這多個單位要素各自包括 η個(η為m以上的整數(shù))光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器；成像部，其在所述攝像元件的攝像面上形成像；以及圖像處理部，其通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm 矩陣，并基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像。
(2)在某一實施方式中，所述圖像處理部通過使所述m個列向量的至少2個向量間的角度增加而使所述nXm矩陣的矩陣式增加。
(3)在項目(I)或者(2)所述的三維攝像裝置的某一形態(tài)中，所述圖像處理部按照所述多視點圖像間的相關(guān)值變得比預(yù)先確定的閾值小的方式使所述角度變化。
(4)在項目(I) (3)中任一項所述的三維攝像裝置的某一形態(tài)中，所述圖像處理部按照所述nXm矩陣的矩陣式變得比預(yù)先確定的閾值大的方式使所述角度增加。
(5)在項目(I) (4)中任一項所述的三維攝像裝置的某一形態(tài)中，所述圖像處理部使所述m個列向量之中的向量間角度最小的2個列向量間的角度增加。
(6)在項目(I) (5)中任一項所述的三維攝像裝置的某一形態(tài)中，所述圖像處理部求取所述m個列向量所包含的任意2個列向量間的角度，通過使所述角度按從小到大的順序增加而使所述nXm矩陣的矩陣式增加。
(7)在項目⑴ (6)中任一項所述的三維攝像裝置的某一形態(tài)中，m = 2, η = 2。
(8)本發(fā)明的一形態(tài)涉及的圖像處理裝置基于由三維攝像裝置獲取到的信號來生成多視點圖像。所述三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個 (m為2以上的整數(shù))透過區(qū)域；攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光， 該攝像元件排列有多個單位要素，這多個單位要素各自包括η個(η為m以上的整數(shù))光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器； 以及成像部，其在所述攝像元件的攝像面上形成像。所述圖像處理裝置通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm矩陣，并基于修正后的所述 nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像。
(9)本發(fā)明的一形態(tài)涉及的圖像處理方法是基于由三維攝像裝置獲取到的信號來生成多視點圖像的圖像處理方法，該三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個(m為2以上的整數(shù))透過區(qū)域；攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括η個(η為m以上的整數(shù))光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的 η個透過濾光器；以及成像部，其在所述攝像元件的攝像面上形成像。所述圖像處理方法包括通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的η X m矩陣中的m個列向量的至少2個向量間的角度變化來修正所述η X m矩陣的步驟；以及基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像的步驟。
(10)本發(fā)明的一形態(tài)涉及的圖像處理程序是用于基于由三維攝像裝置獲取到的信號來生成多視點圖像的圖像處理程序，其中該三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個(m為2以上的整數(shù))透過區(qū)域；攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括η 個(η為m以上的整數(shù))光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器；以及成像部，其在所述攝像元件的攝像面上形成像。所述圖像處理程序使計算機執(zhí)行通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm矩陣的步驟；以及基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像的步驟。
以下，參照附圖，對本發(fā)明的具體實施方式
進(jìn)行說明。在以下的說明中，對于共同或者對應(yīng)的要素賦予同一符號。其中，在本說明書中有時將表示圖像的信號或者信息僅稱為“圖像”。
(實施方式I)
圖I是表示本發(fā)明第I實施方式中的攝像裝置的整體構(gòu)成的框圖。本實施方式的攝像裝置是數(shù)字式的電子照相機，具備攝像部100、和基于從攝像部100輸出的信號來生成表示圖像的信號(圖像信號)的信號處理部200。
攝像部100包括具備排列在攝像面上的多個光感知單元(像素)的固體攝像元件1(以下僅稱為“攝像元件”。);具有透過率的波長依賴性(分光透過率)相互不同的2 個透過區(qū)域的透光板(光透過部)2 ;用于在攝像元件I的攝像面上形成像的光學(xué)鏡頭3 ;以及紅外截止濾光器4。攝像部100還包括產(chǎn)生用于驅(qū)動攝像元件I的基本信號、并且接收來自攝像元件I的輸出信號后向信號處理部200送出的信號產(chǎn)生/接收部5 ;以及基于由信號產(chǎn)生/接收部5產(chǎn)生的基本信號來驅(qū)動攝像元件I的元件驅(qū)動部6。攝像元件I典型的是CCD或者CMOS傳感器，可利用公知的半導(dǎo)體制造技術(shù)來制造。信號產(chǎn)生/接收部5及元件驅(qū)動部30例如由CXD驅(qū)動器等的LSI構(gòu)成。
信號處理部200具備對從攝像部100輸出的信號進(jìn)行處理來生成圖像信號的圖像信號生成部7 ;保存在圖像信號的生成中所利用的各種數(shù)據(jù)的存儲器30 ;以及將所生成的圖像信號向外部送出的接口(IF)部8。圖像信號生成部7可利用公知的數(shù)字信號處理用處理器(DSP)等硬件、和執(zhí)行包括圖像信號生成處理在內(nèi)的圖像處理的軟件的組合而適宜地實現(xiàn)。存儲器30由DRAM等構(gòu)成。存儲器30記錄從攝像部100獲得的信號，并且暫時記錄由圖像信號生成部7生成的圖像數(shù)據(jù)或壓縮后的圖像數(shù)據(jù)。這些圖像數(shù)據(jù)經(jīng)由接口部8而向未圖示的記錄介質(zhì)或顯示部等送出。另外，本實施方式的攝像裝置也可以具備電子快門、取景器、電源(電池)、閃光燈等公知的構(gòu)成要素，但這些的說明對于本發(fā)明的理解來說并不是特別需要的，因此省略。接著，參照圖2 4，更詳細(xì)地說明攝像部100的構(gòu)成。圖2是示意地表示攝像部100中的透光板2、光學(xué)鏡頭3及攝像元件I的配置關(guān)系 的圖。另外，在圖2中省略了透光板2、光學(xué)鏡頭3及攝像元件I以外的構(gòu)成要素。透光板2具有分光透過率相互不同的2個透過區(qū)域C1、C2，使入射光透過。光學(xué)鏡頭3是公知的鏡頭，對透過了透光板2之后的光進(jìn)行聚光，并在攝像元件I的攝像面Ia上成像。在透光板2中，透過區(qū)域C1、C2以外的區(qū)域由遮光性部件形成，構(gòu)成為光不會通過透光板2的透過區(qū)域C1、C2以外的區(qū)域。在以下的說明中，如圖2所示，利用將從區(qū)域Cl朝向C2的方向設(shè)為X方向、在與攝像面Ia平行的平面上將與X方向垂直的方向設(shè)為y方向的坐標(biāo)。其中，圖2所示的各構(gòu)成要素的配置關(guān)系終究只是一例而已，本發(fā)明并未限于這種配置關(guān)系。例如，鏡頭3只要在攝像面Ia上可形成像，也可以配置得比透光板2更遠(yuǎn)離攝像元件I。再有，也可以將鏡頭3與透光板2構(gòu)成為一體。圖3是本實施方式中的透光板2的主視圖。本實施方式中的透光板2的形狀和鏡頭3的形狀同樣，是圓形的，也可以是其他形狀。在區(qū)域Cl及C2中配置有對于可見光W的波段所包含的任意波長的光而言使其至少一部分透過的透過濾光器。雖然透過濾光器都使可見光的波段所包含的任意波長的光透過，但由于這些濾光器的分光透過率是不同的，因此在相同的光通過了區(qū)域Cl的情況下和通過了區(qū)域C2的情況下，透過光的明亮度(亮度)相互不同。關(guān)于各透過區(qū)域的分光透過率的細(xì)節(jié)見后述。各透過濾光器只要具有以所期望的透過率使光透過的功能，則由任何部件構(gòu)成都可以。各透過濾光器例如能由玻璃、塑料、玻璃紙等構(gòu)成。再有，在本實施方式中，雖然在透過區(qū)域C1、C2中配置有分光透過率相互不同的透過濾光器，但只要是具有所期望的分光透過率的部件，則各區(qū)域由任何部件構(gòu)成都可以。例如，在使一個透過區(qū)域透明的情況下，也可以用空氣來替代該區(qū)域。區(qū)域Cl及區(qū)域C2在X方向上隔開恒定的距離L而配置。距離L根據(jù)鏡頭3的尺寸而被決定為所獲取的圖像具有適當(dāng)?shù)囊暡?。距離L例如能設(shè)定為幾_ 幾cm。如圖3所示，透過區(qū)域C1、C2優(yōu)選相對于光軸左右(X方向)對稱地配置且具有同一面積。根據(jù)該構(gòu)成，入射到左右各區(qū)域C1、C2的光的量大致相等。另外，透過區(qū)域C1、C2的配置并不限于圖3所示的配置，能根據(jù)用途而適當(dāng)?shù)貨Q定。例如，在想獲取上下(y方向)的視差信息的情況下，也可將透過區(qū)域C1、C2排列在y方向上。再有，在透過區(qū)域C1、C2的透過率之差較大的情況下，由于觀測到的像素值之差增大，故所獲取的2個圖像的明亮度會產(chǎn)生差異。因而，在透過區(qū)域C1、C2的透過率之差較大的情況下，也可以按照所獲取的2個圖像的明亮度接近的方式來調(diào)整區(qū)域Cl、C2的面積。
在圖2所示的攝像元件I的攝像面Ia上形成有排列為二維狀的光感知單元陣列及與光感知單元陣列對置配置的透過濾光器陣列。光感知單元陣列及透過濾光器陣列由多個單位要素構(gòu)成。在本實施方式中，各單位要素包括2個光感知單元及與這些光感知單元對置的2個透過濾光器。各光感知單元典型的包括光電二極管，通過光電變換而輸出與各自的受光量相應(yīng)的電信號(稱為“光電變換信號”或者“像素信號”。)。各透過濾光器利用公知的顏料或電介質(zhì)多層膜等來制作，被設(shè)計為對于可見光的波段所包含的任意波長的光而言使至少一部分透過。
圖4是示意地表示本實施方式中的透過濾光器陣列的一部分的俯視圖。如圖所示，在攝像面Ia上多個透過濾光器110排列成矩陣狀。如上所述，在I個單位要素中包含接近的2個透過濾光器110及與這些透過濾光器110對置的2個光感知單元120。各單位要素所具有的2個透過濾光器Dl、D2均使可見光的波段所包含的任意波長的光透過，但透過率的波長依賴性相互不同。
此外，在圖4所示的例子中，雖然在橫向(X方向)上排列2個光感知單元，但光感知單元120的排列是何種排列都可以。例如，也可以在縱向(y方向)上排列，還可以傾斜地排列。再有，I個單位要素所包含的光感知單元120的個數(shù)不限于2個，也可以是3個以上。進(jìn)而，光感知單元120及透過濾光器110無需沿著X方向及y方向排列，也可以相對于 X方向及y方向傾斜地排列。
接著，簡單地說明本實施方式中的透過區(qū)域C1、C2、及透過濾光器D1、D2的分光透過率的例子。圖5是表示透光板2中的透過區(qū)域Cl、C2的分光透過率的例子的圖，圖6是表示攝像元件I的透過濾光器Dl、D2的分光透過率的例子的圖。在該例子中，在可見光的波段 (約400nm 約700nm)中以大致100%的矩形波這樣的波形來表示區(qū)域Cl的分光透過率Tcl，在可見光的波段中以cos曲線這樣的波形來表示區(qū)域C2的分光透過率Tc2。另一方面，以矩形波這樣的波形來表示透過濾光器Dl的分光透過率Tdl，以sin曲線這樣的波形來表示透過濾光器D2的分光透過率Td2。在該例子中，由于Tcl及Tdl無論在哪個波長下其透過率都大致為100%，故幾乎沒有光的衰減，可獲得良好的靈敏度特性。
各濾光器不限于圖5、圖6所不的例子,只要設(shè)計為Tcl與Tc2相互不同、Tdl與 Td2相互不同即可。例如，如圖7、圖8所示，也可以按照用矩形波或三角函數(shù)以外的波形來表示Tcl、Tc2、Tdl、Td2的方式，來構(gòu)成各透過區(qū)域及各透過濾光器。再有，也可以設(shè)計為 TcU Tc2、Tdl、Td2完全地截止可見光所包含的一部分波段的光。其中，從提高光的利用率的觀點來看，優(yōu)選被截止的波段極少，作為整體而言透過率越高則越優(yōu)選。
根據(jù)以上的構(gòu)成，在曝光中入射到攝像裝置的光通過透光板2、鏡頭3、紅外截止濾光器4、透過濾光器110而向光感知單元120入射。各光感知單元接受透過透光板2的區(qū)域Cl、C2各自之后的光中的、通過了對置的透過濾光器的光，并輸出與所接受到的光的量相應(yīng)的光電變換信號。由各光感知單元輸出的光電變換信號通過信號產(chǎn)生/接收部5后向信號處理部200送出。信號處理部200中的圖像信號生成部7基于從攝像部100送出的信號來生成多視點圖像。
以下，對從各光感知單元輸出的光電變換信號進(jìn)行說明。在假定為透過區(qū)域Cl、 C2及透過濾光器Dl、D2的透過率對于任何波長而言都是100%的情況下，用Cil示出表示通過區(qū)域Cl后入射到所關(guān)注的I個像素中的光的強度的信號、用Ci2示出表示通過區(qū)域10C2后入射到所關(guān)注的I個像素中的光的強度的信號。再有，作為前提，假定為同一強度的光入射到I個單位要素所包含的各光感知單元中且入射的光全部是可見光。為了使說明簡單，故忽略入射到區(qū)域C1、C2的光的強度的波長依賴性。即，假定為被攝體是無彩色的。還有，將鏡頭3及紅外截止濾光器4合計在一起的分光透過率設(shè)為Tw，將區(qū)域Cl的分光透過率設(shè)為Tcl，將區(qū)域C2的分光透過率設(shè)為Tc2。同樣地，將攝像元件I中的透過濾光器D1、D2的分光透過率分別表示為Tdl、Td2。在此，由于Tw、TcU Tc2、TdU Td2是依賴于入射的光的波長λ的函數(shù)，故分別表示為Tw ( λ )、Tcl ( λ )、Tc2 ( λ )、Tdl ( λ )、Td2 ( λ )。將表示透過了透過濾光器Dl、D2之后并被對置的光感知單元接受的光的強度的信號分別表示為dl、d2。再有，用記號Σ來表示可見光波段中的分光透過率的積分運算。例如，假設(shè)將與波長λ相關(guān)的積分運算/ Τ (λ)Tcl ( λ )Tdl ( λ )cU等表示為Σ TwTclTdl等。在此，假設(shè)在可見光的整個波段內(nèi)進(jìn)行積分。如此，dl與將Cil Σ TwTclTdU Ci2 Σ TwTc2Td2合計后的結(jié)果成比例。同樣地，d2與將Cil Σ TwTclTd2,Ci2 Σ TwTc2Td2合計后的結(jié)果成比例。如果將這些關(guān)系中的比例系數(shù)設(shè)、為1，則dl、d2分別可以用以下的式1、2來表示。(式l)dl = Cil Σ TwTclTdl+Ci2 Σ TwTc2Tdl(式2)d2 = Cil Σ TwTclTd2+Ci2 Σ TwTc2Td2在式1、2 中，假設(shè)將Σ TwTclTdUE TwTc2TdU Σ TwTclTd2,E TwTc2Td2 分別表示為Mxll、Mxl2、Mx21、Mx22。如此，利用矩陣，可以由以下的式3來表示式I。[數(shù)I]
、( \Λ (MxU AM 2 丫 0+1)(式3) — \Mx2l Mxll\fi2j在此，若將式3中的要素Mxll Μχ22組成的矩陣的逆矩陣的要素設(shè)為iMll iM22，則式3可變形為下式4。即，可以將表示入射到區(qū)域Cl、C2的光的強度的信號Cil、Ci2利用光電變換信號dl、d2來表示。[數(shù)2]
(CU Λ (iMxll iMxnYdl'](式 4) ^ =
^0'2 J [iMx2\ iMxll )\d2j通過基于式4的運算，可以將表示各像素的入射光量的信號dl、d2(觀測像素值)變換為分別入射到透過區(qū)域C1、C2的光的強度信號Cil、Ci2。圖I所示的圖像信號生成部7執(zhí)行基于式4的信號運算，按每個單位要素來生成信號Cil、Ci2。按每個單位要素所生成的信號Cil、Ci2表示由分別入射到透過區(qū)域Cl、C2的光所形成的2個圖像。S卩，這2個圖像成為由透過區(qū)域Cl、C2的位置差異引起的具有視差的多視點圖像。因此，通過進(jìn)行基于式4的運算，從而可以生成與透過區(qū)域Cl、C2的位置對應(yīng)的多視點圖像。然而，在實際的拍攝環(huán)境中，由于攝像元件I及透光板2中的各透過濾光器的個體差或計測誤差，難以正確地獲取各透過濾光器的分光透過率。在無法正確地計測分光透過率特性的情況下，式3中的矩陣的各要素包括誤差。若將各要素的誤差分別表示為Mxll'、MxW、Mx21'、Mx22'，則式3可變形為以下的式5。[數(shù)3]
(式 5)
權(quán)利要求
1.一種三維攝像裝置，其具備光透過部，其具有分光透過率特性相互不同的m個透過區(qū)域，其中m為2以上的整數(shù)； 攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括η個光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器，其中η為m以上的整數(shù)；成像部，其在所述攝像元件的攝像面上形成像；以及圖像處理部，其通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm矩陣，并基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像。
2.根據(jù)權(quán)利要求I所述的三維攝像裝置，其中，所述圖像處理部通過使所述m個列向量的至少2個向量間的角度增加而使所述η X m 矩陣的矩陣式增加。
3.根據(jù)權(quán)利要求I或者2所述的三維攝像裝置，其中，所述圖像處理部按照所述多視點圖像間的相關(guān)值變得比預(yù)先確定的閾值小的方式使所述角度變化。
4.根據(jù)權(quán)利要求I 3中任一項所述的三維攝像裝置，其中，所述圖像處理部按照所述nXm矩陣的矩陣式變得比預(yù)先確定的閾值大的方式使所述角度增加。
5.根據(jù)權(quán)利要求I 4中任一項所述的三維攝像裝置，其中，所述圖像處理部使所述m個列向量之中的向量間角度最小的2個列向量間的角度增加。
6.根據(jù)權(quán)利要求I 5中任一項所述的三維攝像裝置，其中，所述圖像處理部求取所述m個列向量所包含的任意2個列向量間的角度，通過使所述角度按從小到大的順序增加而使所述nXm矩陣的矩陣式增加。
7.根據(jù)權(quán)利要求I 6中任一項所述的三維攝像裝置，其中， m = 2，η = 2。
8.一種圖像處理裝置，其基于由三維攝像裝置獲取到的信號來生成多視點圖像，該三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個透過區(qū)域，其中m為2以上的整數(shù)； 攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括η個光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器，其中η為m以上的整數(shù)；以及成像部，其在所述攝像元件的攝像面上形成像，所述圖像處理裝置通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm矩陣，并基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η 個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像。
9.一種圖像處理方法，其基于由三維攝像裝置獲取到的信號來生成多視點圖像，該三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個透過區(qū)域，其中m為2以上的整數(shù)；攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括η個光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器，其中η為m以上的整數(shù)；以及成像部，其在所述攝像元件的攝像面上形成像，所述圖像處理方法包括通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm矩陣的步驟；以及基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像的步驟。
10.一種圖像處理程序，其用于基于由三維攝像裝置獲取到的信號來生成多視點圖像， 該三維攝像裝置具備光透過部，其具有分光透過率特性相互不同的m個透過區(qū)域，其中m為2以上的整數(shù)；攝像元件，其被配置為接受透過了所述m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括η個光感知單元、及與所述η個光感知單元對置配置且分光透過率特性相互不同的η個透過濾光器，其中η為m以上的整數(shù)；以及成像部，其在所述攝像元件的攝像面上形成像，所述圖像處理程序使計算機執(zhí)行通過使由所述m個透過區(qū)域的分光透過率特性及所述η個透過濾光器的分光透過率特性所規(guī)定的nXm矩陣中的m個列向量的至少2個向量間的角度變化來修正所述nXm矩陣的步驟；以及基于修正后的所述nXm矩陣、及從所述η個光感知單元輸出的η個光電變換信號來生成由入射到所述m個透過區(qū)域的至少2個區(qū)域的光所形成的多視點圖像的步驟。
全文摘要
本發(fā)明提供一種三維攝像裝置、圖像處理裝置、圖像處理方法及程序。該三維攝像裝置具備光透過部(2)，其具有分光透過率特性相互不同的m個(m為2以上的整數(shù))透過區(qū)域；攝像元件(1)，其被配置為接受透過了m個透過區(qū)域的光，該攝像元件排列有多個單位要素，這多個單位要素各自包括n個(n為m以上的整數(shù))光感知單元、及與n個光感知單元對置配置且分光透過率特性相互不同的n個透過濾光器；以及圖像處理部。圖像處理部利用通過使由m個透過區(qū)域的分光透過率特性及n個透過濾光器的分光透過率特性所規(guī)定的n×m矩陣中的m個列向量的至少兩個向量間的角度變化從而進(jìn)行了修正的矩陣，生成多視點圖像。
文檔編號H04N5/225GK102986236SQ201280001830
公開日2013年3月20日 申請日期2012年5月9日 優(yōu)先權(quán)日2011年5月19日
發(fā)明者石井育規(guī), 平本政夫 申請人:松下電器產(chǎn)業(yè)株式會社