圖像處理裝置、圖像處理方法及程序的制作方法
【專利摘要】如果要取得分別是彩色圖像的視差圖像，就必須要準(zhǔn)備用于拍攝各個(gè)視差圖像的復(fù)雜的攝影光學(xué)系統(tǒng)和拍攝元件。為此，提供一種圖像處理裝置，包括：圖像取得部，用于取得原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括：具有構(gòu)成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的視差的像素值的像素；以及圖像生成部，用于從所述原始圖像數(shù)據(jù)生成：由具有所述原色的像素值的像素構(gòu)成的原色圖像數(shù)據(jù)、以及由具有所述視差的像素值的像素構(gòu)成的視差圖像數(shù)據(jù)。
【專利說明】圖像處理裝置、圖像處理方法及程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理裝置、圖像處理方法及程序。
【背景技術(shù)】
[0002]已知一種立體拍攝裝置，使用兩個(gè)攝影光學(xué)系統(tǒng)拍攝由右眼用圖像和左眼用圖像構(gòu)成的立體圖像。這種立體拍攝裝置通過相隔一定的間隔設(shè)置兩個(gè)攝影光學(xué)系統(tǒng)，使得在對(duì)同一被拍物進(jìn)行拍攝得到的兩個(gè)圖像上產(chǎn)生視差。
[0003]現(xiàn)有技術(shù)文獻(xiàn):
[0004]專利文獻(xiàn)1:日本特開平8-47001號(hào)公報(bào)
【發(fā)明內(nèi)容】

[0005]發(fā)明要解決的問題:
[0006]如果要取得分別是彩色圖像的視差圖像，就必須要準(zhǔn)備用于拍攝各個(gè)視差圖像的復(fù)雜的攝影光學(xué)系統(tǒng)和拍攝元件。
[0007]解決問題的方案:
[0008]在本發(fā)明的第一方式中提供圖像處理裝置，該圖像處理裝置包括:圖像取得部，用于取得原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括:具有構(gòu)成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示被拍物的像的視差的像素值的像素；以及圖像生成部，用于從原始圖像數(shù)據(jù)生成:由具有原色的像素值的像素構(gòu)成的原色圖像數(shù)據(jù)、以及由具有視差的像素值的像素構(gòu)成的視差圖像數(shù)據(jù)。
[0009]在本發(fā)明的第二方式中提供一種圖像處理方法，該圖像處理方法包括:圖像取得步驟，取得原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括:具有構(gòu)成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示被拍物的像的視差的像素值的像素；以及圖像生成步驟，從原始圖像數(shù)據(jù)生成:由具有原色的像素值的像素構(gòu)成的原色圖像數(shù)據(jù)，以及由具有視差的像素值的像素構(gòu)成的視差圖像數(shù)據(jù)。
[0010]在本發(fā)明的第三方式中提供一種控制計(jì)算機(jī)的程序，該程序使計(jì)算執(zhí)行:圖像取得步驟，取得原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括:具有構(gòu)成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示被拍物的像的視差的像素值的像素；以及圖像生成步驟，從原始圖像數(shù)據(jù)生成:由具有原色的像素值的像素構(gòu)成的原色圖像數(shù)據(jù)，以及由具有視差的像素值的像素構(gòu)成的視差圖像數(shù)據(jù)。
[0011]另外，上述
【發(fā)明內(nèi)容】
并未列舉出本發(fā)明的全部可能特征。這些所述特征組的子組合也有可能構(gòu)成發(fā)明。
【專利附圖】

【附圖說明】
[0012]圖1為本發(fā)明實(shí)施方式所述數(shù)碼相機(jī)的結(jié)構(gòu)說明圖。
[0013]圖2為表示本發(fā)明實(shí)施方式所述拍攝元件的截面示意圖。[0014]圖3為將拍攝元件的一部分放大表示后的樣子的示意圖。
[0015]圖4為說明視差像素與被拍物的關(guān)系的概念圖。
[0016]圖5為說明生成視差圖像的處理的概念圖。
[0017]圖6為表不重復(fù)圖案的另一例的圖。
[0018]圖7為表示二維重復(fù)圖案的例子的圖。
[0019]圖8為開口部的另一形狀的說明圖。
[0020]圖9為拜耳陣列的說明圖。
[0021]圖10為關(guān)于對(duì)拜耳陣列分配視差像素，有兩種視差像素時(shí)的變例的說明圖。
[0022]圖11為表示變例的一例的圖。
[0023]圖12為表示另一變例的一例的圖。
[0024]圖13為表不又一變例的一例的圖。
[0025]圖14為說明另一彩色濾光片陣列的圖。
[0026]圖15為表示W(wǎng)像素與視差像素的陣列的一例的圖。
[0027]圖16為表示數(shù)碼相機(jī)10的動(dòng)作的一例的流程圖。
[0028]圖17表示由數(shù)碼相機(jī)10處理的圖像數(shù)據(jù)的一例。
[0029]圖18表示步驟S14中的像素值的插值的一例。
[0030]圖19表示新的RAW圖像數(shù)據(jù)集合306。
[0031]圖20示意性地表示由保存控制部238保存的RAW圖像數(shù)據(jù)集合306的數(shù)據(jù)結(jié)構(gòu)。
[0032]圖21表示轉(zhuǎn)換成RLt圖像數(shù)據(jù)的例子。
[0033]圖22表示新的RAW圖像數(shù)據(jù)集合312。
[0034]圖23表示由步驟S18生成的另一 RAW圖像數(shù)據(jù)集合314的例子。
[0035]圖24表示另一重復(fù)圖案的RAW原始圖像數(shù)據(jù)與RAW圖像數(shù)據(jù)集合330的關(guān)系。
[0036]圖25為使用由圖1?圖24生成的RAW圖像數(shù)據(jù)集合300等的例子的流程圖。
【具體實(shí)施方式】
[0037]以下通過發(fā)明實(shí)施方式對(duì)本發(fā)明進(jìn)行說明，但以下實(shí)施方式并非對(duì)權(quán)利要求書所涉及的發(fā)明進(jìn)行限定。并且，實(shí)施方式中說明的特征組合也并非全部為本發(fā)明的必要特征。
[0038]本實(shí)施方式所述數(shù)碼相機(jī)作為拍攝裝置的一個(gè)實(shí)施方式，通過一次拍攝生成多個(gè)視點(diǎn)數(shù)的圖像，保存為圖像數(shù)據(jù)集合。將視點(diǎn)各不相同的各個(gè)圖像稱為視差圖像。
[0039]圖1為本發(fā)明實(shí)施方式所述數(shù)碼相機(jī)10的結(jié)構(gòu)說明圖。數(shù)碼相機(jī)10包括作為攝影光學(xué)系統(tǒng)的攝影鏡頭20，將沿光軸21入射的被拍物光束引導(dǎo)至拍攝元件100。攝影鏡頭20也可以是相對(duì)于數(shù)碼相機(jī)10能夠裝卸的更換式鏡頭。數(shù)碼相機(jī)10包括:拍攝元件100、控制部201、A/D轉(zhuǎn)換電路202、存儲(chǔ)器203、驅(qū)動(dòng)部204、圖像處理部205、存儲(chǔ)卡IF(InterFace，接口)207、操作部208、顯示部209、LCD驅(qū)動(dòng)電路210、AF傳感器21及保存控制部238。
[0040]另外，如圖所示，將朝向拍攝元件100的與光軸21平行的方向定為+Z軸方向，將在與z軸垂直的平面中朝向紙面近前一側(cè)的方向定為+X軸方向，將紙面的上方向定為+Y軸方向。與拍攝中的構(gòu)圖關(guān)系為，X軸成為水平方向，Y軸成為垂直方向。在之后的幾個(gè)圖中，以圖1的座標(biāo)軸為基準(zhǔn)表示座標(biāo)軸，以便能理解各個(gè)圖的朝向。[0041]攝影鏡頭20由多個(gè)光學(xué)透鏡組構(gòu)成，使被拍物光束在其焦點(diǎn)面附近成像。另外，在圖1中，為了便于說明攝影鏡頭20，以設(shè)置在光瞳附近的一片假想透鏡代表性地進(jìn)行表示。拍攝元件100設(shè)置于攝影鏡頭20的焦點(diǎn)面附近。拍攝元件100為二維地排列有多個(gè)光電轉(zhuǎn)換元件的例如CO)(電荷藕合器件，Charge Coupled Device)、CMOS (互補(bǔ)金屬氧化物半導(dǎo)體，Complementary Metal Oxide Semiconductor)傳感器等圖形傳感器。拍攝兀件100由驅(qū)動(dòng)部204進(jìn)行定時(shí)控制，將受光面上成像的被拍物的像轉(zhuǎn)換成圖像信號(hào)并輸出給A/D轉(zhuǎn)換電路202。
[0042]A/D轉(zhuǎn)換電路202將由拍攝元件100輸出的圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并作為RAW原始圖像數(shù)據(jù)輸出給存儲(chǔ)器203。圖像處理部205將存儲(chǔ)器203作為工作空間來進(jìn)行各種圖像處理，生成圖像數(shù)據(jù)。具體地，圖像處理部205具有:取得由A/D轉(zhuǎn)換電路202輸出的RAff原始圖像數(shù)據(jù)的圖像取得部231、從RAW原始圖像數(shù)據(jù)生成RAW原色圖像數(shù)據(jù)及RAW視差圖像數(shù)據(jù)的圖像生成部232、將RAW原色圖像數(shù)據(jù)及RAW視差圖像數(shù)據(jù)轉(zhuǎn)換成RAW視差原色彩色圖像數(shù)據(jù)等的圖像轉(zhuǎn)換部233。關(guān)于各個(gè)處理的詳細(xì)情況，將在以后的描述。
[0043]圖像處理部205除此之外還承擔(dān)依照被選的圖像格式調(diào)整圖像數(shù)據(jù)等一般的圖像處理功能。所生成的圖像數(shù)據(jù)由IXD驅(qū)動(dòng)電路210轉(zhuǎn)換成顯示信號(hào)，由顯示部209進(jìn)行顯示。并且上述各種圖像數(shù)據(jù)由保存控制部238記錄在裝設(shè)于存儲(chǔ)卡IF207上的存儲(chǔ)卡220中。
[0044]AF傳感器211是對(duì)被拍物空間設(shè)定有多個(gè)測(cè)距點(diǎn)的相位差傳感器，在各個(gè)測(cè)距點(diǎn)處檢測(cè)出被拍物的像的散焦量。一系列的拍攝過程是從操作部208接收到用戶的操作并向控制部201輸出操作信號(hào)開始的。拍攝過程中附帶的AF (Auto Focus，自動(dòng)對(duì)焦)，AE(Automatic Exposure,自動(dòng)曝光)等的各種動(dòng)作由控制部201控制執(zhí)行。例如,控制部201解析AF傳感器211的檢測(cè)信號(hào)，執(zhí)行使構(gòu)成攝影鏡頭20 —部分的聚焦透鏡移動(dòng)的對(duì)焦控制。
[0045]以下對(duì)拍攝元件100的結(jié)構(gòu)進(jìn)行詳細(xì)說明。圖2為表示本發(fā)明實(shí)施方式所述拍攝元件的截面示意圖。圖2(a)為將彩色濾光片102與開口掩模103分體構(gòu)成的拍攝元件100的截面示意圖。另外，圖2 (b)為作為拍攝元件100的變形例，具有將彩色濾光片部122與開口掩模部123 —體構(gòu)成的屏幕濾波器121的拍攝元件120的截面示意圖。
[0046]如圖2(a)所示，拍攝元件100被構(gòu)成為從被拍物側(cè)開始依次排列有微型透鏡101、彩色濾光片102、開口掩模103、布線層105及光電轉(zhuǎn)換元件108。光電轉(zhuǎn)換元件108由用于將入射光轉(zhuǎn)換為電信號(hào)的光電二極管構(gòu)成。光電轉(zhuǎn)換兀件108在基板109的表面以二維方式排列有多個(gè)。
[0047]由光電轉(zhuǎn)換元件108轉(zhuǎn)換的圖像信號(hào)以及控制光電轉(zhuǎn)換元件108的控制信號(hào)等通過布線層105上設(shè)置的布線106進(jìn)行收發(fā)。而且,具有與各個(gè)光電轉(zhuǎn)換兀件108 對(duì)應(yīng)設(shè)置且二維重復(fù)排列的開口部104的開口掩模103與布線層相接觸地設(shè)置。如后所述，使開口部104相對(duì)于各個(gè)相應(yīng)的光電轉(zhuǎn)換元件108偏移，并嚴(yán)格地確定了相對(duì)位置。通過具有該開口部104的開口掩模103的作用，在光電轉(zhuǎn)換元件108所接收的被拍物光束上產(chǎn)生視差，詳細(xì)內(nèi)容將在后續(xù)內(nèi)容進(jìn)行說明。
[0048]另一方面，在不產(chǎn)生視差的光電轉(zhuǎn)換元件108上不存在開口掩模103。換言之，設(shè)置的開口掩模103所具有的開口部104并不限制向相應(yīng)的光電轉(zhuǎn)換元件108入射的被拍物光束，即，使全部有效光束均穿過。雖然沒有產(chǎn)生視差，但由于通過布線106所形成的開口107實(shí)質(zhì)上規(guī)定了入射的被拍物光束，因此可以將布線106看作是使不產(chǎn)生視差的全部有效光束穿過的開口掩模。開口掩模103可以分別對(duì)應(yīng)于各個(gè)光電轉(zhuǎn)換元件108獨(dú)立排列，也可以與彩色濾光片102的制造過程相同，對(duì)應(yīng)于多個(gè)光電轉(zhuǎn)換元件108統(tǒng)一形成。
[0049]彩色濾光片102設(shè)置于開口掩模103上。彩色濾光片102是分別與各個(gè)光電轉(zhuǎn)換元件108 —一對(duì)應(yīng)設(shè)置、通過對(duì)各個(gè)光電轉(zhuǎn)換元件108進(jìn)行著色而使指定波段透過的濾光片。為了輸出彩色圖像，排列至少三種彼此不同的彩色濾光片即可。這些彩色濾光片可以說是用于生成彩色圖像的原色濾光片。原色濾光片的組合例如為:使紅色波段透過的紅濾光片、使綠色波段透過的綠濾光片以及使藍(lán)色波段透過的藍(lán)濾光片。如后所述，這些彩色濾光片對(duì)應(yīng)于光電轉(zhuǎn)換元件108以網(wǎng)格狀排列。彩色濾光片不僅可以是原色RGB的組合，也可以是YeCyMg的補(bǔ)色濾光片的組合。
[0050]微型透鏡101設(shè)置于彩色濾光片102上。微型透鏡101是用于將入射的被拍物光束更多地引導(dǎo)至光電轉(zhuǎn)換元件108的聚光透鏡。微型透鏡101分別與光電轉(zhuǎn)換元件108
對(duì)應(yīng)設(shè)置。微型透鏡101優(yōu)選考慮攝影鏡頭20的光瞳中心與光電轉(zhuǎn)換兀件108的相對(duì)位置關(guān)系來移動(dòng)其光軸，以使更多的被拍物光束被引導(dǎo)至光電轉(zhuǎn)換元件108。進(jìn)一步地，可以與開口掩模103的開口部104的位置共同調(diào)整設(shè)置位置，以使后述指定的被拍物光束更多地入射。
[0051]如此，將與各個(gè)光電轉(zhuǎn)換元件108——對(duì)應(yīng)設(shè)置的開口掩模103、彩色濾光片102及微型透鏡101的一個(gè)單位稱為像素。具體地，將設(shè)置有產(chǎn)生視差的開口掩模103的像素稱為視差像素，將沒有設(shè)置產(chǎn)生視差的開口掩模103的像素稱為無視差像素。例如，當(dāng)拍攝元件100的有效像素區(qū)域?yàn)?4_X16mm左右時(shí)，像素?cái)?shù)達(dá)到1200萬個(gè)左右。
[0052]另外，當(dāng)采用集光效率、光電轉(zhuǎn)換效率較好的圖形傳感器時(shí)，也可以不設(shè)置微型透鏡101。另外，當(dāng)采用背面照射型圖形傳感器時(shí)，布線層105設(shè)置于光電轉(zhuǎn)換元件108的相對(duì)側(cè)。
[0053]在彩色濾光片102與開口掩模103的組合中存在各種變例。在圖2 Ca)中，如果使開口掩模103的開口部104具有顏色成分，則可以將彩色濾光片102與開口掩模103 —體成形。并且，當(dāng)將指定像素作為取得被拍物亮度信息的像素時(shí)，在該像素中也可以不設(shè)置相應(yīng)彩色濾光片102?；蛘?，也可以排列未施加著色的透明濾光片，以使可見光的幾乎全部波段透過。
[0054]在將取得亮度信息的像素作為視差像素時(shí)，即將視差圖像至少暫時(shí)作為單色圖像進(jìn)行輸出時(shí)，可以采用如圖2 (b)所示的拍攝元件120的結(jié)構(gòu)。即可以將屏幕濾波器121設(shè)置于微型透鏡101與布線層105之間，該屏幕濾波器121由發(fā)揮彩色濾光片功能的彩色濾光片部122以及具有開口部104的開口掩模部123 —體構(gòu)成。
[0055]屏幕濾波器121被形成為在彩色濾光片部122處被實(shí)施了例如藍(lán)綠紅的著色，在開口掩模部123處除開口部104以外的掩模部分被實(shí)施了黑色的著色。由于采用屏幕濾波器121的拍攝元件120與拍攝元件100相比，從微型透鏡101到光電轉(zhuǎn)換元件108的距離較短，因此被拍物光束的集光效率較高。
[0056]以下說明開口掩模103的開口部104與所產(chǎn)生的視差的關(guān)系。圖3為將拍攝元件100的一部分放大顯示后的樣子的示意圖。此處，為了簡化說明，此處暫不考慮有關(guān)彩色濾光片102的配色，后續(xù)內(nèi)容再進(jìn)行說明。在未提及彩色濾光片102的配色的以下說明中，可以認(rèn)為是僅集成了具有同色(包含為透明的情形)的彩色濾光片102的視差像素的圖形傳感器。因此，以下所說明的重復(fù)圖案也可以被認(rèn)為是同色的彩色濾光片102中的相鄰像素。
[0057]如圖3所示，開口掩模103的開口部104相對(duì)于各個(gè)像素相對(duì)偏移設(shè)置。而且，在相鄰像素的彼此之間，各個(gè)開口部104設(shè)置于彼此錯(cuò)位的位置。
[0058]在圖中的例子中，作為開口部104相對(duì)于各個(gè)像素的位置，準(zhǔn)備有沿X軸方向彼此偏移的六種開口掩模103。而且，在整個(gè)拍攝元件100中二維地且周期性地排列有光電轉(zhuǎn)換元件組，該光電轉(zhuǎn)換元件組以分別具有從-X側(cè)往+X側(cè)逐漸偏移的開口掩模103的六個(gè)視差像素為一組。也就是說，拍攝元件100是由包含一組光電轉(zhuǎn)換元件組的重復(fù)圖案110周期性地鋪展而成。
[0059]圖4為說明視差像素與被拍物的關(guān)系的概念圖。具體地，圖4(a)表示在拍攝元件100中在與攝影光軸21相垂直的中心處排列的重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組，圖4 (b)示意性地表示在周圍部分排列的重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組。圖4 (a)、圖4 (b)中的被拍物30位于相對(duì)于攝影鏡頭20的聚焦位置。圖4 (c)與圖4 (a)相對(duì)應(yīng)地示意性地表示出當(dāng)捕捉相對(duì)于攝影鏡頭20位于非聚焦位置的被拍物31時(shí)的關(guān)系。
[0060]首先說明由攝影鏡頭20捕捉處于聚焦?fàn)顟B(tài)下的被拍物30時(shí)，視差像素與被拍物的關(guān)系。被拍物光束穿過攝影鏡頭20的光瞳被引導(dǎo)至拍攝元件100，但對(duì)被拍物光束透過的整個(gè)截面區(qū)域規(guī)定了六個(gè)部分區(qū)域Pa?Pf。而且，從放大圖中可以看出，例如構(gòu)成重復(fù)圖案110t、I IOu的光電轉(zhuǎn)換元件組的-X側(cè)端部的像素中，對(duì)開口掩模103的開口部104f的位置進(jìn)行了設(shè)定，以使只有從部分區(qū)域Pf射出的被拍物光束才能到達(dá)光電轉(zhuǎn)換元件108。同樣地，對(duì)于從此往+X側(cè)端部的像素，也分別設(shè)定了開口部104e與部分區(qū)域Pe對(duì)應(yīng)的位置、開口部104d與部分區(qū)域Pd對(duì)應(yīng)的位置、開口部104c與部分區(qū)域Pc對(duì)應(yīng)的位置、開口部104b與部分區(qū)域Pb對(duì)應(yīng)的位置、開口部104a與部分區(qū)域Pa對(duì)應(yīng)的位置。
[0061]換言之，例如根據(jù)由部分區(qū)域Pf與-X側(cè)端部像素的相對(duì)位置關(guān)系定義的、從部分區(qū)域Pf射出的被拍物光束的主光線Rf的傾斜來設(shè)定開口部104f的位置。然后，當(dāng)光電轉(zhuǎn)換元件108經(jīng)開口部104f接收到來自于位于聚焦位置的被拍物30的被拍物光束時(shí)，如虛線所示，該被拍物光束在光電轉(zhuǎn)換元件108上成像。同樣地，也可以說是對(duì)于從此往+X側(cè)端部的像素，分別根據(jù)主光線Re的傾斜設(shè)定開口部104e的位置、根據(jù)主光線Rd的傾斜設(shè)定開口部104d的位置、根據(jù)主光線Re的傾斜設(shè)定開口部104c的位置、根據(jù)主光線Rb的傾斜設(shè)定開口部104b的位置、根據(jù)主光線Ra的傾斜設(shè)定開口部104a的位置。
[0062]如圖4 (a)所示，在位于聚焦位置的被拍物30中，從與光軸21相交叉的被拍物30上的微小區(qū)域Ot放射的光束穿過攝影鏡頭20的光瞳到達(dá)構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件群的各個(gè)像素。即，構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各個(gè)像素分別透過六個(gè)部分區(qū)域Pa?Pf接收到從一個(gè)微小區(qū)域Ot放射的光束。微小區(qū)域Ot具有與構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各個(gè)像素的錯(cuò)位相對(duì)應(yīng)程度的大小，但實(shí)質(zhì)上能夠近似于大致同一物點(diǎn)。同樣地，如圖4 (b)所示，在位于聚焦位置的被拍物30中，從離開光軸21的被拍物30上的微小區(qū)域Ou放射的光束穿過攝影鏡頭20的光瞳到達(dá)構(gòu)成重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組的各個(gè)像素。即，構(gòu)成重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組的各個(gè)像素分別透過六個(gè)部分區(qū)域Pa?Pf接收到從一個(gè)微小區(qū)域Ou放射的光束。微小區(qū)域Ou也與微小區(qū)域Ot相同，具有與構(gòu)成重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組的各個(gè)像素的錯(cuò)位相對(duì)應(yīng)程度的大小，但實(shí)質(zhì)上能夠近似于大致同一物點(diǎn)。
[0063]也就是說，只要被拍物30位于聚焦位置，對(duì)應(yīng)于拍攝元件100上的重復(fù)圖案110的位置，光電轉(zhuǎn)換元件組所捕捉到的微小區(qū)域各不相同，且構(gòu)成光電轉(zhuǎn)換元件組的各像素透過彼此不同的部分區(qū)域捕捉同一微小區(qū)域。而且，在各個(gè)重復(fù)圖案110中，相應(yīng)像素彼此之間接收來自于同一部分區(qū)域的被拍物光束。也就是說，在圖中，例如重復(fù)圖案IlOtUlOu的各個(gè)-X側(cè)端部像素均接收來自于同一部分區(qū)域Pf的被拍物光束。
[0064]在與攝影光軸21相垂直的中心處排列的重復(fù)圖案IlOt中的、供-X側(cè)端部像素接收來自于部分區(qū)域Pf的被拍物光束的開口部104f的位置與在周圍部分排列的重復(fù)圖案IlOu中的、供-X側(cè)端部像素接收來自于部分區(qū)域Pf的被拍物光束的開口部104f的位置嚴(yán)格來講是不同的。然而，從功能的角度來看，在用于接收來自于部分區(qū)域Pf的被拍物光束的開口掩模這一點(diǎn)上，可以將他們作為同一種類開口掩模處理。因此，在圖4的例子中，可以說在拍攝元件100上排列的各個(gè)視差像素具有六種開口掩模之一。
[0065]以下說明由攝影鏡頭20捕捉處于非聚焦?fàn)顟B(tài)的被拍物31時(shí)，視差像素與被拍物的關(guān)系。在此情形中，來自于位于非聚焦位置的被拍物31的被拍物光束也透過攝影鏡頭20的光瞳的六個(gè)部分區(qū)域Pa?Pf到達(dá)拍攝元件100。然而，來自于處于非聚焦位置的被拍物31的被拍物光束并不在光電轉(zhuǎn)換元件108上成像，而是在其他位置成像。例如，如圖4 (c)所示，當(dāng)被拍物31位于比被拍物30更加遠(yuǎn)離拍攝元件100的位置時(shí)，被拍物光束與光電轉(zhuǎn)換元件108相比在更靠近被拍物31側(cè)成像。相反，當(dāng)被拍物31位于比被拍物30更接近拍攝元件100的位置時(shí)，被拍物光束與光電轉(zhuǎn)換元件108相比在被拍物31的相對(duì)側(cè)成像。
[0066]因此，在位于非聚焦位置的被拍物31中，從微小區(qū)域0t’放射的被拍物光束透過六個(gè)部分區(qū)域Pa?Pf中的任意一個(gè)，從而到達(dá)不同組的重復(fù)圖案110中的相應(yīng)像素。例如，如圖4 (c)的放大圖所示，透過部分區(qū)域Pd的被拍物光束作為主光線Rd’入射到重復(fù)圖案110t’中包含的具有開口部104d的光電轉(zhuǎn)換元件108。而且，即使是從微小區(qū)域0t’放射的被拍物光束，透過其他部分區(qū)域的被拍物光束也不會(huì)入射到重復(fù)圖案110t’中包含的光電轉(zhuǎn)換元件108，而是入射到其他重復(fù)圖案中具有相應(yīng)開口部的光電轉(zhuǎn)換元件108。換言之，到達(dá)構(gòu)成重復(fù)圖案110t’的各光電轉(zhuǎn)換元件108的被拍物光束是從被拍物31中互不相同的微小區(qū)域放射的被拍物光束。也就是說，以Rd’為主光線的被拍物光束入射到與開口部104d對(duì)應(yīng)的108，以Ra+、Rb+、Re+、Re+、Rf+為主光線的被拍物光束入射到與其他開口部對(duì)應(yīng)的光電轉(zhuǎn)換元件108，這些被拍物光束都是從被拍物31中互不相同的微小區(qū)域放射的被拍物光束。這種關(guān)系在圖4 (b)中排列在周圍部分的重復(fù)圖案IlOu中也是一樣的。
[0067]這樣一來，當(dāng)把拍攝元件100作為一個(gè)整體時(shí)，例如，由與開口部104a對(duì)應(yīng)的光電轉(zhuǎn)換元件108捕捉到的被拍物的像A和由與開口部104d對(duì)應(yīng)的光電轉(zhuǎn)換元件108捕捉到的被拍物的像D，如果是針對(duì)位于聚焦位置的被拍物的像，就不會(huì)彼此錯(cuò)位，而如果是針對(duì)位于非聚焦位置的被拍物的像，則會(huì)產(chǎn)生錯(cuò)位。而且，該錯(cuò)位根據(jù)位于非聚焦位置的被拍物相對(duì)于聚焦位置朝哪一側(cè)以何種程度錯(cuò)位，或者根據(jù)部分區(qū)域Pa與部分區(qū)域Pd的距離來確定方向和量。也就是說，被拍物的像A與被拍物的像D彼此成為視差像。該關(guān)系對(duì)于其他開口部也是相同的，因此對(duì)應(yīng)于開口部104a?104f形成六個(gè)視差像。另外，將部分區(qū)域Pa?Pf的排列方向稱為視差方向。在本例的情形中為X軸方向。[0068]因此，在如此構(gòu)成的各個(gè)重復(fù)圖案110中，收集彼此對(duì)應(yīng)的像素的輸出便得到視差圖像。也就是說，接收到從六個(gè)部分區(qū)域Pa?Pf中的指定部分區(qū)域射出的被拍物光束的像素所進(jìn)行的輸出形成了視差圖像。據(jù)此，由一個(gè)攝影鏡頭20便能夠拍攝出視差圖像而不需要復(fù)雜的光學(xué)系統(tǒng)。
[0069]圖5為說明生成視差圖像的處理的概念圖。圖中從紙面左列開始依次顯示:對(duì)開口部104f對(duì)應(yīng)的視差像素的輸出進(jìn)行收集而生成的視差圖像數(shù)據(jù)Im_f的生成樣子、由開口部104e的輸出形成的視差圖像數(shù)據(jù)Im_e的生成樣子、由開口部104d的輸出形成的視差圖像數(shù)據(jù)Im_d的生成樣子、由開口部104c的輸出形成的視差圖像數(shù)據(jù)Im_c的生成樣子、由開口部104b的輸出形成的視差圖像數(shù)據(jù)Im_b的生成樣子、由開口部104a的輸出形成的視差圖像數(shù)據(jù)Im_a的生成樣子。首先，對(duì)開口部104f的輸出形成的視差圖像數(shù)據(jù)Im_f的生成樣子進(jìn)行說明。
[0070]由以六個(gè)視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案110排列在X軸方向上。因此，具有開口部104f的視差像素在拍攝元件100上沿X軸方向相隔6個(gè)像素，且沿Y軸方向連續(xù)存在。這些像素如上所述分別接收來自于各個(gè)不同微小區(qū)域的被拍物光束。因此，對(duì)這些視差像素的輸出進(jìn)行匯集排列后便得到X軸方向、即水平視差圖像。
[0071]然而，由于本實(shí)施方式中的拍攝元件100的各像素為正方像素，僅進(jìn)行單純的匯集會(huì)造成X軸方向的像素?cái)?shù)縮減到1/6，從而生成沿Y軸方向縱長形的圖像數(shù)據(jù)。因此，通過實(shí)施插值處理在X軸方向變?yōu)榱兜南袼財(cái)?shù)，從而生成視差圖像數(shù)據(jù)Im_f作為原始長寬比的圖像。然而，由于當(dāng)初在插值處理前的視差圖像數(shù)據(jù)是在X軸方向上縮減到1/6的圖像，因此，X軸方向上的分辨率比Y軸方向上的分辨率低。也就是說，所生成的視差圖像數(shù)據(jù)的數(shù)量與分辨率呈相反關(guān)系。
[0072]同樣地得到視差圖像數(shù)據(jù)Im_e?視差圖像數(shù)據(jù)Im_a。S卩，數(shù)碼相機(jī)10能夠生成在X軸方向上具有視差的六個(gè)視點(diǎn)的水平視差圖像。
[0073]雖然在上述例子中說明了將X軸方向作為重復(fù)圖案110進(jìn)行周期性排列的例子，但重復(fù)圖案110并不限于此。圖6為顯示除重復(fù)圖案110以外的另一例子的圖。
[0074]圖6 (a)為將Y軸方向的六個(gè)像素作為重復(fù)圖案110的例子。然而，對(duì)各個(gè)開口部104進(jìn)行定位，以便從+Y側(cè)端部的視差像素往-Y側(cè)、從-X側(cè)往+X側(cè)逐漸偏移。根據(jù)這樣排列而成的重復(fù)圖案110也能夠生成在X軸方向上賦予視差的六個(gè)視點(diǎn)的視差圖像。此時(shí)，與圖3的重復(fù)圖案110相比，可以稱為是維持了 X軸方向上的分辨率的重復(fù)圖案，而不犧牲Y軸方向上的分辨率。
[0075]圖6 (b)為將在相對(duì)于XY平面內(nèi)的X軸傾斜的方向上相鄰的六個(gè)像素作為重復(fù)圖案110的例子。將各個(gè)開口部104定位為從-X側(cè)且+Y側(cè)端部的視差像素往+X側(cè)且-Y偵U、從-X側(cè)往+X側(cè)逐漸偏移。根據(jù)這樣排列而成的重復(fù)圖案110也能夠生成在X軸方向上賦予視差的六個(gè)視點(diǎn)的水平視差圖像。此時(shí)的重復(fù)圖案與圖3的重復(fù)圖案110相比，在將Y軸方向上的分辨率及X軸方向上的分辨率維持一定程度的同時(shí)，增加了視差圖像的數(shù)量。
[0076]將圖3的重復(fù)圖案110及圖6 (a)和圖6 (b)的重復(fù)圖案110分別進(jìn)行比較，在都生成六個(gè)視點(diǎn)的視差圖像時(shí)，可以認(rèn)為區(qū)別在于:相對(duì)于根據(jù)整個(gè)非視差圖像輸出一幅圖像時(shí)的分辨率是否犧牲了 Y軸方向和X軸方向中的某一方向上的分辨率。當(dāng)為圖3的重復(fù)圖案110時(shí)，是使X軸方向上的分辨率為1/6的結(jié)構(gòu)。當(dāng)為圖6 (a)的重復(fù)圖案110時(shí)，是使Y軸方向上的分辨率變?yōu)?/6的結(jié)構(gòu)。另外，當(dāng)為圖6 (b)的重復(fù)圖案110時(shí)，是使Y軸方向變?yōu)?/3、使X軸方向變?yōu)?/2的結(jié)構(gòu)。在任一情形中均被構(gòu)成為，在一個(gè)圖案內(nèi)，對(duì)應(yīng)于各個(gè)像素逐一設(shè)置開口部104a?104f，從各個(gè)所對(duì)應(yīng)的部分區(qū)域Pa?Pf的任意一個(gè)接收到被拍物光束，從而使任意重復(fù)圖案HO都能有同等的視差量。
[0077]雖然在上述例子中針對(duì)生成在水平方向上賦予視差的視差圖像的情形進(jìn)行了說明，但當(dāng)然地，既可以生成在垂直方向上賦予視差的視差圖像，也可以生成在水平垂直的二維方向上賦予視差的視差圖像。圖7為顯示二維重復(fù)圖案110的例子的圖。
[0078]根據(jù)圖7所示例子，以Y軸六個(gè)像素X軸6個(gè)像素共36個(gè)像素為一組的光電轉(zhuǎn)換元件組形成重復(fù)圖案110。預(yù)先準(zhǔn)備有開口部104相對(duì)于各個(gè)像素的位置彼此沿Y軸X軸方向偏移的36種開口掩模103。具體地，各開口部104在從重復(fù)圖案110的+Y側(cè)端部的像素到-Y側(cè)端部的像素中被定位為從+Y側(cè)往-Y側(cè)逐漸偏移的同時(shí)，在從-X側(cè)端部的像素到+X側(cè)的像素中被定位為從-X側(cè)往+X側(cè)逐漸偏移。
[0079]具有這種重復(fù)圖案110的拍攝元件100能夠輸出沿垂直方向及水平方向均賦予視差的36個(gè)視點(diǎn)的視差圖像。當(dāng)然并不僅限于圖7所示例子，也可以對(duì)重復(fù)圖案110進(jìn)行設(shè)定以便輸出各種各樣視點(diǎn)數(shù)的視差圖像。
[0080]在以上說明中，采用矩形作為開口部104的形狀。尤其是在沿水平方向上賦予視差的排列中，通過使作為偏移方向的X軸方向的幅度比不偏移的Y軸方向的幅度更大，以確保引導(dǎo)至光電轉(zhuǎn)換元件108的光量。然而，開口部104的形狀并不限定于矩形。
[0081]圖8為開口部104的另一形狀的說明圖。在圖中，以圓形作為開口部104的形狀。當(dāng)設(shè)為圓形時(shí)，根據(jù)與作為半球形狀的微型透鏡101的相對(duì)關(guān)系，能夠防止不希望的被拍物光束成為雜散光而入射到光電轉(zhuǎn)換元件108。
[0082]以下說明彩色濾光片102和視差圖像。圖9為拜耳陣列的說明圖。如圖所示，拜耳陣列所指的陣列是將綠色濾光片分配給-X側(cè)且+Y側(cè)和+X側(cè)且-Y側(cè)的兩個(gè)像素，將紅色濾光片分配給-X側(cè)且-Y側(cè)的一個(gè)像素，將藍(lán)色濾光片分配給+X側(cè)且+Y側(cè)的一個(gè)像素。此處，將分配有綠色濾光片的-X側(cè)且+Y側(cè)像素作為Gb像素、將同樣分配有綠色濾光片的+X側(cè)且-Y側(cè)像素作為Gr像素。另外,將分配有紅色濾光片的像素作為R像素、將分配有藍(lán)色濾光片的像素作為B像素。并且，將排列有Gb像素和B像素的X軸方向作為Gb行，將排列有R像素和Gr像素的X軸方向作為Gr行。并且，將排列有Gb像素和R像素的Y軸方向作為Gb列，將排列有B像素和Gr像素的縱方向作為Gr列。
[0083]針對(duì)于這種彩色濾光片102的排列，可以通過對(duì)視差像素和無視差像素以怎樣的周期分配哪種顏色的像素的方式來設(shè)定龐大數(shù)量的重復(fù)圖案110。通過收集無視差像素的輸出便能夠生成與通常的攝影圖像相同的無視差的攝影圖像數(shù)據(jù)。因此，只要相對(duì)地增加無視差像素的比例，便能夠輸出分辨率較高的2D圖像。此時(shí)，由于視差像素的比例相對(duì)變小，因此使得由多個(gè)視差圖像構(gòu)成的3D圖像的立體信息減少。相反，如果增加視差像素的比例，雖然能增加3D圖像的立體信息，但由于無視差像素相對(duì)減少，因此會(huì)輸出分辨率較低的2D圖像。
[0084]在這種權(quán)衡關(guān)系中，根據(jù)將哪個(gè)像素作為視差像素或作為無視差像素來設(shè)定具有各種特征的重復(fù)圖案110。圖10為關(guān)于對(duì)拜耳陣列分配視差像素，有兩種視差像素時(shí)的變例的說明圖。此時(shí)的視差像素假設(shè)為開口部104從中心往-X側(cè)偏心的視差Lt像素，以及同樣地往+X側(cè)偏心的視差Rt像素。也就是說，從這種視差像素輸出的兩個(gè)視點(diǎn)的視差圖像實(shí)現(xiàn)了所謂的立體視圖。
[0085]針對(duì)各個(gè)重復(fù)圖案的特征說明如圖所示。例如，如果分配很多無視差像素，就會(huì)成為高分辨率的2D圖像數(shù)據(jù)，如果針對(duì)任意的RGB像素都進(jìn)行平均分配，則會(huì)成為色位移較小的高畫質(zhì)的2D圖像數(shù)據(jù)。另一方面，如果分配很多視差像素的話，則會(huì)成為立體信息較多的3D圖像數(shù)據(jù)，如果針對(duì)任意的RGB像素都進(jìn)行平均分配，則在成為3D圖像的同時(shí)，還得到高品質(zhì)的彩色圖像數(shù)據(jù)。
[0086]以下就幾個(gè)變例進(jìn)行說明。圖11為顯示變例的一例的圖。圖11的變例相當(dāng)于圖10中的A-1類重復(fù)圖案。
[0087]在圖中所示例子中，與拜耳陣列同樣將四個(gè)像素作為重復(fù)圖案110。R像素和B像素為無視差像素，在Gb像素分配視差Lt像素，在Gr像素分配視差Rt像素。此時(shí)確定開口部104，以便當(dāng)被拍物位于聚焦位置時(shí)，同一重復(fù)圖案110中包含的視差Lt像素和視差Rt像素接收到從同一微小區(qū)域射出的光束。
[0088]在圖中所示的例子中，由于將作為靈敏度高的綠色像素的Gb像素和Gr像素用作視差像素，因此有望得到對(duì)比度較高的視差圖像。另外，由于同樣地將綠色像素的Gb像素和Gr像素用作視差像素，因此易于從這兩個(gè)輸出轉(zhuǎn)換運(yùn)算成無視差輸出，從而能夠與作為無視差像素的R像素和B像素的輸出一起生成高畫質(zhì)的2D圖像數(shù)據(jù)。
[0089]圖12為顯示另一變例的一例的圖。圖12的變例相當(dāng)于圖10中的B_1類重復(fù)圖案。
[0090]在圖中所示的例子中，將沿X軸方向的連續(xù)兩組四個(gè)拜耳陣列像素共計(jì)八個(gè)像素作為重復(fù)圖案110。在這八個(gè)像素中，在-X側(cè)的Gb像素分配視差Lt像素，在+X側(cè)的Gb像素分配視差Rt像素。在這種排列中，通過將Gr像素作為無視差像素，與圖10的例子相比，有望得到更高畫質(zhì)的2D圖像。
[0091]圖13為顯示又一變例的一例的圖。圖13的變例相當(dāng)于圖10中的D-1類重復(fù)圖案。
[0092]在圖中所示的例子中，將沿X軸方向的連續(xù)兩組四個(gè)拜耳陣列像素共計(jì)八個(gè)像素作為重復(fù)圖案110。在這八個(gè)像素中，在-X側(cè)的Gb像素分配視差Lt像素，在+X側(cè)的Gb像素分配視差Rt像素。進(jìn)一步地，在-X側(cè)的R像素分配視差Lt像素，在+X側(cè)的R像素分配視差Rt像素。進(jìn)一步地，在-X側(cè)的B像素分配視差Lt像素，在+X側(cè)的B像素分配視差Rt像素。在兩個(gè)Gr像素分配無視差像素。
[0093]當(dāng)被拍物位于聚焦位置時(shí)，分配給兩個(gè)Gb像素的視差Lt像素和視差Rt像素接收從一個(gè)微小區(qū)域放射的光束。另外，分配給兩個(gè)R像素的視差Lt像素和視差Rt像素接收從與Gb像素對(duì)應(yīng)的微小區(qū)域不同的一個(gè)微小區(qū)域放射的光束，分配給兩個(gè)B像素的視差Lt像素和視差Rt像素接收從與Gb像素及R像素對(duì)應(yīng)的微小區(qū)域不同的一個(gè)微小區(qū)域放射的光束。因此，與圖12所示例子相比，3D圖像的立體信息在Y軸方向上變?yōu)槿?。而且，由于能夠得到RGB的三色輸出，因此作為彩色圖像的3D圖像具有高品質(zhì)。
[0094]另外，如上所述，當(dāng)視差像素的種類為兩種時(shí)可以得到兩個(gè)視點(diǎn)的視差圖像，當(dāng)然視差像素的種類可以配合于想要輸出的視差圖像數(shù)，采用如圖3、圖7、圖8等所說明的那樣的各種數(shù)量。即便視點(diǎn)數(shù)增加，也能夠形成各種重復(fù)圖案110。因此能夠?qū)?yīng)于規(guī)格、目的等選擇相應(yīng)的重復(fù)圖案110。
[0095]雖然在上述例子中對(duì)采用拜耳陣列作為彩色濾光片陣列的情形進(jìn)行了說明，當(dāng)然采用其他彩色濾光片陣列也是無妨的。此時(shí)，構(gòu)成一組光電轉(zhuǎn)換元件組的各個(gè)視差像素具有朝向互不相同的部分區(qū)域的開口部104的開口掩模103即可。
[0096]因此，拍攝元件100包括:將入射光光電轉(zhuǎn)換為電信號(hào)的二維排列的光電轉(zhuǎn)換元件108、與光電轉(zhuǎn)換元件108的至少一部分分別一對(duì)一對(duì)應(yīng)設(shè)置的開口掩模103、與光電轉(zhuǎn)換元件108的至少一部分分別一對(duì)一對(duì)應(yīng)設(shè)置的彩色濾光片102，在相鄰的η個(gè)(η為3以上的整數(shù))光電轉(zhuǎn)換元件108中，與至少兩個(gè)(也可以為三個(gè)以上)對(duì)應(yīng)設(shè)置的各個(gè)開口掩模103的開口部104被定位為，包含在由使互不相同波段透過的至少兩種彩色濾光片102構(gòu)成的彩色濾光片圖案的一圖案內(nèi)，并使來自于入射光截面區(qū)域內(nèi)的互不相同部分區(qū)域的光束分別通過，將以η個(gè)光電轉(zhuǎn)換元件108為一組的光電轉(zhuǎn)換元件組進(jìn)行周期性排列即可。
[0097]圖14為說明另一彩色濾光片陣列的圖。如圖示所示，另一彩色濾光片陣列是在圖9所示的拜耳陣列的Gr像素分配綠色濾光片從而成為G像素進(jìn)行保持、另一方面在Gb像素不分配彩色濾光片從而變?yōu)閃像素的陣列。另外，如上所述，也可以排列有未施加著色的透明濾光片，以使可見光的幾乎整個(gè)波段均透過W像素。
[0098]如果采用這種包含W像素的彩色濾光片陣列，雖然拍攝元件輸出的色彩信息的精度會(huì)略微下降，但W像素所接收到的光量會(huì)比設(shè)置了彩色濾光片的情形更多，因此能夠得到高精度的亮度信息。對(duì)W像素的輸出進(jìn)行匯集便能夠形成單色圖像。
[0099]當(dāng)采用包含W像素的彩色濾光片陣列時(shí)，視差像素與無視差像素的重復(fù)圖案110存在進(jìn)一步的變例。例如，即使是在較暗的環(huán)境下拍攝到的圖像，與從彩色像素輸出的圖像相比，從W像素輸出的圖像使被拍物的像的對(duì)比度更高。因此，如果向W像素分配視差像素，則在多個(gè)視差圖像之間進(jìn)行插值處理時(shí)，可望得到高精度的運(yùn)算結(jié)果。如后所述，插值處理作為取得視差像素量的處理的一環(huán)來執(zhí)行。因此，在對(duì)2D圖像的分辨率及視差圖像畫質(zhì)的影響的基礎(chǔ)上，進(jìn)一步考慮對(duì)所提取的其他信息帶來的利弊，來設(shè)定視差像素與無視差像素的重復(fù)圖案110。
[0100]圖15為顯示當(dāng)采用圖14所示另一彩色濾光片陣列時(shí)，W像素與視差像素的陣列的一例的圖。圖15的變例由于與拜耳陣列中的圖12所示的B-1類重復(fù)圖案相類似，因此此處記為B’-l。在圖中所示例子中，將沿X軸方向連續(xù)的兩組另一彩色濾光片陣列的四個(gè)像素共計(jì)八個(gè)像素作為重復(fù)圖案110。在八個(gè)像素中，在-X側(cè)的W像素分配視差Lt像素，在+X側(cè)的W像素分配視差Rt像素。在這種陣列中，拍攝元件100將視差圖像作為單色圖像輸出，并將2D圖像作為彩色圖像輸出。
[0101]此時(shí)，拍攝元件100包括:將入射光光電轉(zhuǎn)換為電信號(hào)的二維排列的光電轉(zhuǎn)換元件108、分別與光電轉(zhuǎn)換元件108的至少一部分一一對(duì)應(yīng)設(shè)置的開口掩模103、分別與光電轉(zhuǎn)換元件108的至少一部分——對(duì)應(yīng)設(shè)置的彩色濾光片102，對(duì)在相鄰的η個(gè)(η為4以上的整數(shù))光電轉(zhuǎn)換元件108中與至少兩個(gè)對(duì)應(yīng)設(shè)置的各個(gè)開口掩模103的開口部104進(jìn)行定位，以使該開口部104不包含在由使互不相同波段透過的至少三種彩色濾光片102構(gòu)成的彩色濾光片圖案的一圖案內(nèi)，并且來自于入射光的截面區(qū)域內(nèi)的互不相同部分區(qū)域的光束分別穿過，以η個(gè)光電轉(zhuǎn)換元件108為一組的光電轉(zhuǎn)換元件組周期性排列即可。[0102]圖16為顯示數(shù)碼相機(jī)10的動(dòng)作的一例的流程圖。圖16的流程圖在從拍攝元件100取得拍攝圖像時(shí)開始。
[0103]圖像取得部231取得由A/D轉(zhuǎn)換電路202對(duì)拍攝元件100的信號(hào)進(jìn)行轉(zhuǎn)換后得到的RAW原始圖像數(shù)據(jù)(SlO)。此處，RAW原始圖像數(shù)據(jù)的一例為在將來自于拍攝元件100的信號(hào)進(jìn)行A/D轉(zhuǎn)換后，針對(duì)空缺像素進(jìn)行去馬賽克處理之前的數(shù)據(jù)。RAW原始圖像數(shù)據(jù)并不限于此，也可以為在A/D轉(zhuǎn)換后進(jìn)行某些校正、可逆性壓縮等可逆性圖像處理后的圖像數(shù)據(jù)。
[0104]圖17表示由數(shù)碼相機(jī)10處理的圖像數(shù)據(jù)的一例。圖17中的最上段示出了 RAW原始圖像數(shù)據(jù)的一例。在圖17中例示了來自于圖11所示圖案(A-1)的拍攝元件100的輸出。圖17所示RAW原始圖像數(shù)據(jù)包括:表示構(gòu)成被拍物的色彩的R色的像素值的R像素、具有B色像素值的B像素、以及表示將G色與視差信息進(jìn)行復(fù)用的像素值的Gb像素及Gr像素。RAW原始圖像數(shù)據(jù)可以是對(duì)同一場(chǎng)景進(jìn)行一次拍攝后生成的。
[0105]然后，圖像生成部232將RAW原始圖像數(shù)據(jù)的像素分離，生成由具有原色像素值的像素構(gòu)成的RAW原色圖像數(shù)據(jù)組302以及由具有視差像素值的像素構(gòu)成的RAW視差圖像數(shù)據(jù)組304(S12)。例如，在圖17中，圖像生成部232從RAW原始圖像數(shù)據(jù)中抽出R像素生成RO圖像數(shù)據(jù)。此處，由于在RAW原始圖像數(shù)據(jù)中包含有不具有R色像素值的像素，例如B像素，因此在RO圖像數(shù)據(jù)中，與B像素對(duì)應(yīng)的像素的像素值處于空缺狀態(tài)。同樣地，圖像生成部232從RAW原始圖像數(shù)據(jù)中抽出B像素生成BO圖像數(shù)據(jù)。
[0106]進(jìn)一步地，圖像生成部232從RAW原始圖像數(shù)據(jù)中抽出Gb像素及Gr像素生成GO圖像數(shù)據(jù)。此處，Gb像素具有將表示G色的信息與表示Lt視差的信息進(jìn)行復(fù)用的像素值。此處，作為一例，圖像生成部232將Gb像素的像素值及Gr像素的像素值原封不動(dòng)地用作這些像素中的G色信息，生成GO像素?cái)?shù)據(jù)。作為另一例，也可以參照Gb像素周圍的像素的像素值來校正該Gb像素的像素值而生成GO圖像數(shù)據(jù)，但該校正最好是可逆性的，以避免信息劣化。同樣地，圖像生成部232從RAW原始圖像數(shù)據(jù)中抽出Gb像素生成Lt圖像數(shù)據(jù)并抽出Gr像素生成Rt圖像。
[0107]通過以上所示，生成了與RGB三原色相對(duì)應(yīng)的RO圖像數(shù)據(jù)、GO圖像數(shù)據(jù)和BO圖像數(shù)據(jù)，以及與X軸方向上的二視差相對(duì)應(yīng)的LtO圖像數(shù)據(jù)和RtO圖像數(shù)據(jù)。此處，RO圖像數(shù)據(jù)、GO圖像數(shù)據(jù)及BO圖像數(shù)據(jù)的組為RAW原色圖像數(shù)據(jù)組302的一例，LtO圖像數(shù)據(jù)及RtO圖像數(shù)據(jù)的組為RAW視差圖像數(shù)據(jù)組304的一例。進(jìn)一步地，通過這些RAW原色圖像數(shù)據(jù)組302及RAW視差圖像數(shù)據(jù)組304構(gòu)成RAW圖像數(shù)據(jù)集合300。
[0108]圖像生成部232對(duì)上述RAW原色圖像數(shù)據(jù)組302及RAW視差圖像數(shù)據(jù)組304中不具有像素值的像素內(nèi)插像素值(S14)。
[0109]圖18表示步驟S14中內(nèi)插像素值的一例。在圖18中，使用RO圖像數(shù)據(jù)中具有像素值的像素的像素值，在不具有像素值的像素中內(nèi)插像素值。例如，將與X軸方向、Y軸方向、或者X軸方向及Y軸方向最鄰近且具有像素值的像素進(jìn)行平均作為內(nèi)插用的像素值。此夕卜，也可以對(duì)除最鄰近以外的像素進(jìn)行加權(quán)平均，或者也可以參照其他RAW原色圖像數(shù)據(jù)的像素等。也可以使用被稱為去馬賽克處理的方法。
[0110]圖19表示新的RAW圖像數(shù)據(jù)集合306。如圖19所示，通過上述動(dòng)作，圖像生成部232對(duì)RAW原始圖像數(shù)據(jù)中不具有原色像素值的像素內(nèi)插原色像素值，生成與構(gòu)成色彩的多個(gè)原色相對(duì)應(yīng)的RAW原色圖像數(shù)據(jù)組308。同樣地，圖像生成部232對(duì)RAW原始圖像數(shù)據(jù)中不具有視差像素值的像素內(nèi)插視差像素值，生成與視差個(gè)數(shù)相對(duì)應(yīng)的RAW視差圖像數(shù)據(jù)組310。RAff原色圖像數(shù)據(jù)組308及RAW視差圖像數(shù)據(jù)組310構(gòu)成新的RAW圖像數(shù)據(jù)集合306。
[0111]控制部201判斷是否被要求對(duì)RAW圖像數(shù)據(jù)集合306進(jìn)行轉(zhuǎn)換以生成新的RAW圖像數(shù)據(jù)集合(S16)。該轉(zhuǎn)換有時(shí)是由固件等要求的，有時(shí)是由用戶要求的。該要求的有無被保存在存儲(chǔ)器203中，控制部201通過參照存儲(chǔ)器203來判斷有無要求。
[0112]當(dāng)步驟S16中不要求進(jìn)行轉(zhuǎn)換時(shí)(S16:否)，保存控制部238將RAW圖像數(shù)據(jù)集合306保存在存儲(chǔ)卡220中(S20)。此時(shí)，例如，保存控制部238將RAW圖像數(shù)據(jù)集合306的整體作為一個(gè)文件賦予文件名進(jìn)行保存。
[0113]圖20示意性地表示了由保存控制部238所保存的RAW圖像數(shù)據(jù)集合306的數(shù)據(jù)結(jié)構(gòu)。圖20所示數(shù)據(jù)具有文件頭250和數(shù)據(jù)本體256。文件頭250包括與文件相關(guān)的文件信息數(shù)據(jù)252以及指定RAW原始圖像數(shù)據(jù)中的重復(fù)圖案的信息數(shù)據(jù)254。
[0114]與文件相關(guān)的信息包括:RAW圖像數(shù)據(jù)集合中的視差數(shù)、原色數(shù)、集合內(nèi)的圖像枚數(shù)、該數(shù)據(jù)本體256的圖像數(shù)據(jù)的記載順序。在圖20所示例子中，對(duì)應(yīng)于圖17?圖19所示例子，寫入視差數(shù)“ 2 ”、原色數(shù)“ 3 ”、圖像枚數(shù)“ 5 ”、圖像順序“RN、GN、BN、Lt、Rt ”。
[0115]指定重復(fù)圖案的信息包括:從構(gòu)成RAW原始圖像數(shù)據(jù)的像素中選出的一個(gè)指定關(guān)注像素的位置即關(guān)注位置、用于指定該關(guān)注像素的像素值表示哪種原色及視差的關(guān)注信息、具有原色像素值的像素的排列周期即原色周期、以及具有視差像素值的像素的排列的視差周期。圖20所示例子中將(0，0)指定為關(guān)注位置。進(jìn)一步地，對(duì)應(yīng)于圖17所示例子，寫入原色信息“G”及視差信息“Lt”作為該關(guān)注信息。進(jìn)一步地，寫入“GB”和其下段的“RG”作為原色周期，并寫入“LtN”及其下段“NRt”作為視差周期。據(jù)此，例如由于(0，0)處的像素的原色信息為“G”，y=0處的原色排列周期為“GB”，因此RAW原始圖像數(shù)據(jù)的位置(2，O)處的像素的原色信息被指定為“G”。如上所述，通過指定上述重復(fù)圖案的信息，能夠指定RAW原始圖像數(shù)據(jù)中的任意位置(n，m)處的像素的像素值表示哪種原色及視差。
[0116]另外，指定重復(fù)圖案的信息并不僅限于圖20所示信息。作為另一例，為各個(gè)重復(fù)圖案預(yù)先分配ID，將該ID寫入文件頭中，據(jù)此來指定RAW原始圖像數(shù)據(jù)的重復(fù)圖案也是可以的。
[0117]在圖20所示數(shù)據(jù)本體中，關(guān)于五個(gè)圖像數(shù)據(jù)，將像素值與像素位置相對(duì)應(yīng)地進(jìn)行保存。另外，數(shù)據(jù)的存儲(chǔ)方法并不限于圖20所示方法。例如，通過編碼等進(jìn)行數(shù)據(jù)壓縮并存儲(chǔ)也是可以的。在此情形中，壓縮最好為可逆性的操作。
[0118]另外，圖20所示數(shù)據(jù)可以為整體上不依賴于顯示裝置的獨(dú)自格式。S卩，可以為當(dāng)被顯示時(shí)以基于顯像程序的顯像為前提的數(shù)據(jù)。因此，圖20所示數(shù)據(jù)雖然對(duì)來自于A/D轉(zhuǎn)換電路202的RAW原始圖像數(shù)據(jù)進(jìn)行了插值等處理，但從在壓縮轉(zhuǎn)換為基于顯像程序的JPEG等通用格式之前這一點(diǎn)來看，為中間數(shù)據(jù)。
[0119]在圖16所示步驟S16中，當(dāng)要求進(jìn)行圖像數(shù)據(jù)的轉(zhuǎn)換時(shí)(S16:是)，圖像轉(zhuǎn)換部233將RAW圖像數(shù)據(jù)集合306轉(zhuǎn)換為另一 RAW圖像數(shù)據(jù)集合(S18)。另一 RAW圖像數(shù)據(jù)集合的例子為由一個(gè)圖像數(shù)據(jù)具有一種原色和一種視差像素值的像素構(gòu)成的圖像數(shù)據(jù)的組。作為一例，關(guān)于RGB原色及LtRt視差，進(jìn)一步說明了由表示一個(gè)像素的像素值為原色R和視差Lt的像素構(gòu)成的RLt圖像數(shù)據(jù)。
[0120]圖21表示轉(zhuǎn)換為RLt圖像數(shù)據(jù)的例子。在圖21中，從圖19所示RAW圖像數(shù)據(jù)集合306中的RN圖像數(shù)據(jù)和Lt圖像數(shù)據(jù)生成RLt圖像數(shù)據(jù)。此時(shí)，例如，將RN圖像數(shù)據(jù)的像素的像素值與Lt圖像數(shù)據(jù)中相同位置的像素的像素值的運(yùn)算值作為RLt圖像數(shù)據(jù)中相應(yīng)位置處的像素的像素值。也可以進(jìn)行其他運(yùn)算操作。
[0121]通過進(jìn)行相同的轉(zhuǎn)換，生成原色數(shù)X視差數(shù)的圖像數(shù)據(jù)的組。如圖22所示，通過該轉(zhuǎn)換從RAW圖像數(shù)據(jù)集合306生成了新的RAW圖像數(shù)據(jù)集合312。
[0122]新的RAW圖像數(shù)據(jù)集合312使用例如圖20所示的數(shù)據(jù)結(jié)構(gòu)作為一個(gè)文件通過保存控制部238保存于存儲(chǔ)卡220中(S20)。至此該流程圖結(jié)束。
[0123]以上根據(jù)圖16?圖22的實(shí)施方式將依賴于拍攝元件100的重復(fù)圖案而將原色信息和視差信息復(fù)用的RAW原始圖像數(shù)據(jù)分離成各原色信息與各視差信息相分離的RAW圖像數(shù)據(jù)，因此能夠使此后的圖像數(shù)據(jù)處理變得容易。另外，當(dāng)使用可逆性操作時(shí)，在分離后的RAW圖像數(shù)據(jù)集合中也能夠減少圖像的劣化。另外，圖16所示動(dòng)作可以作為固件程序保存在數(shù)碼相機(jī)10的程序存儲(chǔ)器中，讀出該程序以執(zhí)行上述動(dòng)作。
[0124]另外，在圖16所示流程圖中，在步驟S14中進(jìn)行了像素值的內(nèi)插，但也可以省略該步驟而前進(jìn)到步驟S20。此時(shí)，圖17所示RAW圖像數(shù)據(jù)集合300被保存在存儲(chǔ)卡220中。
[0125]圖23表示通過步驟S18生成的另一 RAW圖像數(shù)據(jù)集合314的例子。圖23所示RAff圖像數(shù)據(jù)集合314具有作為RAWYC圖像數(shù)據(jù)組316的、表示亮度的YN圖像數(shù)據(jù)及表示色差的CN圖像數(shù)據(jù)。YN圖像數(shù)據(jù)及CN圖像數(shù)據(jù)是通過將RAW原色圖像數(shù)據(jù)組308中相同位置處的像素的RGB像素值轉(zhuǎn)換為YC像素值而得到的。例如，通過Y=0.3R+0.59G+0.11B、Cr=R-Y, Cb=B-Y將RGB轉(zhuǎn)換為YCrCb。將Y值作為YN圖像數(shù)據(jù)的像素值，將Cr值及Cb值作為CN圖像數(shù)據(jù)的像素值。據(jù)此，CN圖像數(shù)據(jù)的一個(gè)像素成為(Cr，Cb)的二維值。
[0126]根據(jù)圖23所示RAW圖像數(shù)據(jù)集合314，比使用RGB時(shí)的數(shù)據(jù)量更少。進(jìn)一步地，由于能夠相對(duì)于亮度Y和色差C獨(dú)立地控制數(shù)據(jù)壓縮等，因此能夠提高數(shù)據(jù)量的控制自由度。另外，在上述實(shí)施例中，雖然從RAW原色圖像數(shù)據(jù)組308生成了 YN圖像數(shù)據(jù)及CN圖像數(shù)據(jù)，但取而代之地也可以從圖17所示RAW原色圖像數(shù)據(jù)組302生成YN圖像數(shù)據(jù)及CN圖像數(shù)據(jù)。
[0127]進(jìn)一步地，圖像轉(zhuǎn)換部233從圖23所示RAWYC圖像數(shù)據(jù)組316和RAW視差圖像數(shù)據(jù)組310可以生成:表示各像素的像素值為亮度Y和視差Lt的YLt圖像數(shù)據(jù)、表示各像素的像素值為亮度Y和視差Rt的YRt圖像數(shù)據(jù)、表示各像素的像素值為色差C和視差Lt的CLt圖像數(shù)據(jù)、表示各像素的像素值為色差C和視差Rt的CRt圖像數(shù)據(jù)。從而能夠得到比圖23所示RAW圖像數(shù)據(jù)集合314進(jìn)一步壓縮了數(shù)據(jù)量的RAW圖像數(shù)據(jù)集合。另外，該RAW圖像數(shù)據(jù)集合也可以從RAW圖像數(shù)據(jù)集合306生成。
[0128]圖24表示另一重復(fù)圖案的RAW原始圖像數(shù)據(jù)與RAW圖像數(shù)據(jù)集合330的關(guān)系。圖24表示圖15所示重復(fù)圖案(B’-l)的RAW原始圖像數(shù)據(jù)。圖24所示RAW原始圖像數(shù)據(jù)的各個(gè)像素是原色信息或視差信息之一，但作為整個(gè)RAW原始圖像數(shù)據(jù)，原色信息與視差信息是被復(fù)用的。
[0129]針對(duì)圖24的RAW原始圖像數(shù)據(jù)，在步驟S12中也可以與圖17所示例子相同，將原色信息與視差信息相分離，生成RAW原色圖像數(shù)據(jù)組332及RAW視差圖像數(shù)據(jù)組334。進(jìn)一步地，在步驟S14中，也可以對(duì)像素進(jìn)行插值來生成新的RAW圖像數(shù)據(jù)集合。
[0130]同樣地，從基于圖10所示的各個(gè)重復(fù)圖案進(jìn)行拍攝而得到的RAW圖像數(shù)據(jù)能夠得到由RAW原色圖像數(shù)據(jù)組和RAW視差圖像數(shù)據(jù)組構(gòu)成的RAW圖像數(shù)據(jù)。尤其是當(dāng)視差數(shù)多于兩個(gè)時(shí)，也可以通過相同的動(dòng)作來得到RAW原色圖像數(shù)據(jù)組和RAW視差圖像數(shù)據(jù)組。
[0131]另外，在圖16?圖24所示實(shí)施方式中，保存控制部238將RAW圖像數(shù)據(jù)集合作為一個(gè)文件進(jìn)行保存，但保存方法并不限于此。作為其他例子，保存控制部238也可以將RAW圖像數(shù)據(jù)集合中包含的各個(gè)圖像數(shù)據(jù)組作為一個(gè)文件進(jìn)行保存。此時(shí)，在各個(gè)文件中也可以附加有圖20的文件頭信息。另外，也可以代替在文件頭中附加信息的方式，而是將圖20所示文件信息及重復(fù)圖案信息附加為圖像數(shù)據(jù)文件額外的附加文件進(jìn)行保存。
[0132]圖25為表示使用根據(jù)圖1?圖24生成的RAW圖像數(shù)據(jù)集合300等的例子的流程圖。圖25的流程圖是當(dāng)用戶使用PC等要求使圖像顯示在指定的顯示裝置上時(shí)開始的。
[0133]首先，根據(jù)用戶的選擇，PC讀出預(yù)先拷貝到硬盤等中的一RAW圖像數(shù)據(jù)集合300等(S50)。例如，當(dāng)用戶選擇RAW圖像數(shù)據(jù)集合312時(shí)，PC將其讀出。
[0134]然后，PC使用顯像程序?qū)⒆x出的RAW圖像數(shù)據(jù)集合312進(jìn)行顯像(S52)并進(jìn)行顯示(S54)。例如，顯示裝置顯示右眼用圖像和左眼用圖像從而能夠?qū)崿F(xiàn)立體視效，當(dāng)對(duì)各個(gè)圖像數(shù)據(jù)使用JPEG時(shí)，PC從RAW圖像數(shù)據(jù)集合312生成右眼用JPEG圖像及左眼用JPEG圖像。
[0135]此時(shí)，PC也可以自動(dòng)地或根據(jù)用戶請(qǐng)求對(duì)這些JPEG圖像加入校正和視覺效果。在此情形下，由于原始數(shù)據(jù)是與來自于拍攝元件的RAW原始圖像數(shù)據(jù)接近的RAW圖像數(shù)據(jù)集合，因此也能夠顯示出劣化較少的圖像。另外，也可以代替取得RAW原始圖像數(shù)據(jù)生成原色圖像數(shù)據(jù)組及視差圖像數(shù)據(jù)組的方式，而采用與圖?圖24相同的方法從對(duì)來自于拍攝元件100的數(shù)據(jù)進(jìn)行非可逆性處理后得到的原始圖像數(shù)據(jù)生成原色圖像數(shù)據(jù)組及視差圖像數(shù)據(jù)組。
[0136]以上，使用實(shí)施方式對(duì)本發(fā)明進(jìn)行了說明，但本發(fā)明的技術(shù)范圍不限于上述實(shí)施方式所記載的范圍。另外，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，在上述實(shí)施方式的基礎(chǔ)上可加以各種變更或改進(jìn)。此外，由權(quán)利要求的記載可知，這種加以各種變更或改進(jìn)的實(shí)施方式也包含在本發(fā)明的技術(shù)范圍內(nèi)。
[0137]應(yīng)當(dāng)注意的是，權(quán)利要求書、說明書及附圖中所示的裝置、系統(tǒng)、程序以及方法中的動(dòng)作、順序、步驟及階段等各個(gè)處理的執(zhí)行順序，只要沒有特別明示“更早”、“早于”等，或者只要前面處理的輸出并不用在后面的處理中，則可以以任意順序?qū)崿F(xiàn)。關(guān)于權(quán)利要求書、說明書及附圖中的動(dòng)作流程，為方便起見而使用“首先”、“然后”等進(jìn)行了說明，但并不意味著必須按照這樣的順序?qū)嵤?br> [0138]附圖標(biāo)記說明
[0139]10數(shù)碼相機(jī)、20攝影鏡頭、21光軸、30被拍物、100拍攝元件、101微型透鏡、102彩色濾光片、103開口掩模、104開口部、105布線層、106布線、107開口、108光電轉(zhuǎn)換元件、109基板、110重復(fù)圖案、120拍攝元件、121屏幕濾波器、122彩色濾光片部、123開口掩模部、201控制部、202A/D轉(zhuǎn)換電路、203存儲(chǔ)器、204驅(qū)動(dòng)部、205圖像處理部、207存儲(chǔ)卡IF、208操作部、209顯示部、210LCD驅(qū)動(dòng)電路、211AF傳感器、220存儲(chǔ)卡、231圖像取得部、232圖像生成部、233圖像轉(zhuǎn)換部、238保存控制部、300RAW圖像數(shù)據(jù)集合、302RAW原色圖像數(shù)據(jù)組、304RAW視差圖像數(shù)據(jù)組、306RAW圖像數(shù)據(jù)集合、308RAW原色圖像數(shù)據(jù)組、310RAW視差圖像數(shù)據(jù)組、312RAW圖像數(shù)據(jù)集合、314RAW圖像數(shù)據(jù)集合、316RAWYC圖像數(shù)據(jù)組、330RAW圖像數(shù)據(jù)集合、332RAW原色圖像數(shù)據(jù)組、334RAW視差圖像數(shù)據(jù)組。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 圖像取得部，用于取得原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括:具有構(gòu)成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的視差的像素值的像素；以及 圖像生成部，用于從所述原始圖像數(shù)據(jù)生成:由具有所述原色的像素值的像素構(gòu)成的原色圖像數(shù)據(jù)、以及由具有所述視差的像素值的像素構(gòu)成的視差圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像生成部對(duì)所述原始圖像數(shù)據(jù)中不具有所述視差的像素值的像素內(nèi)插所述視差的像素值，生成與視差個(gè)數(shù)相對(duì)應(yīng)的所述視差圖像數(shù)據(jù)的組。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中，所述圖像生成部對(duì)所述原始圖像數(shù)據(jù)中不具有所述原色的像素值的像素內(nèi)插所述原色的像素值，生成與構(gòu)成色彩的多個(gè)原色相對(duì)應(yīng)的所述原色圖像數(shù)據(jù)的組。
4.根據(jù)權(quán)利要求1~3中任一所述的圖像處理裝置，其中，所述圖像生成部通過可逆性操作從所述原始圖像數(shù)據(jù)生成所述原色圖像數(shù)據(jù)及所述視差圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求1~4中任一項(xiàng)所述的圖像處理裝置，其中進(jìn)一步包括:保存控制部，用于將所述原色圖像數(shù)據(jù)及所述視差圖像數(shù)據(jù)保存在存儲(chǔ)裝置中。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述保存控制部將所述原色圖像數(shù)據(jù)及所述視差圖像數(shù)據(jù)保存為一個(gè)文件。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述保存控制部將使所述原始圖像數(shù)據(jù)中包含的所述像素與所述像素的像素值所表示的信息相對(duì)應(yīng)的附加信息附加于所述一個(gè)文件中進(jìn)行保存。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述保存控制部包含以下內(nèi)容作為所述附加信息: 對(duì)指定的關(guān)注像素的位置進(jìn)行指定的信息； 對(duì)所述關(guān)注像素的像素值表示哪種原色及視差進(jìn)行指定的信息； 具有原色的像素值的像素的排列周期；以及 具有視差的像素值的像素的排列周期。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像生成部基于與構(gòu)成色彩的多個(gè)原色相對(duì)應(yīng)的所述原色圖像數(shù)據(jù)的組中的像素的像素值以及與對(duì)應(yīng)于視差個(gè)數(shù)的多個(gè)視差信息相對(duì)應(yīng)的所述視差圖像數(shù)據(jù)的組中的像素的像素值，按照與視差及原色的個(gè)數(shù)相對(duì)應(yīng)的組，生成由具有任一視差中的任一原色的像素值的像素構(gòu)成的視差原色圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中進(jìn)一步包括:保存控制部，用于將所述視差原色圖像數(shù)據(jù)的組保存在存儲(chǔ)裝置中。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，所述保存控制部將所述視差原色圖像數(shù)據(jù)的組保存為一個(gè)文件。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，所述保存控制部將使所述原始圖像數(shù)據(jù)中包含的所述像素與所述像素的像素值所表示的信息相對(duì)應(yīng)的附加信息附加于所述一個(gè)文件中進(jìn)行保存。
13.根據(jù)權(quán)利要求 12所述的圖像處理裝置，其中，所述保存控制部包括如下內(nèi)容作為所述附加信息: 對(duì)指定的關(guān)注像素的位置進(jìn)行指定的信息； 對(duì)所述關(guān)注像素的像素值表示哪種原色及視差進(jìn)行指定的信息； 具有原色的像素值的像素的排列周期；以及 具有視差的像素值的像素的排列周期。
14.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像生成部將與構(gòu)成色彩的多個(gè)原色信息相對(duì)應(yīng)的所述原色圖像數(shù)據(jù)的組中的像素的像素值轉(zhuǎn)換為表示亮度信息的像素值及表示色差信息的像素值，生成亮度圖像數(shù)據(jù)及色差圖像數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其中進(jìn)一步包括:保存控制部，用于將所述亮度圖像數(shù)據(jù)、所述色差圖像數(shù)據(jù)及所述視差圖像數(shù)據(jù)保存在存儲(chǔ)裝置中。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中，所述保存控制部將所述亮度圖像數(shù)據(jù)、所述色差圖像數(shù)據(jù)及所述視差圖像數(shù)據(jù)保存為一個(gè)文件。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中，所述保存控制部將使所述原始圖像數(shù)據(jù)中包含的所述像素與所述像素的像素值所表示的信息相對(duì)應(yīng)的附加信息附加于所述一個(gè)文件中進(jìn)行保存。
18.根據(jù)權(quán)利要求17所述的圖像處理裝置，其中，所述保存控制部包括如下內(nèi)容作為所述附加信息: 對(duì)指定的關(guān)注像素的位置進(jìn)行指定的信息；` 對(duì)所述關(guān)注像素的像素值表示哪種原色及視差進(jìn)行指定的信息； 具有原色的像素值的像素的排列周期；以及 具有視差的像素值的像素的排列周期。
19.根據(jù)權(quán)利要求1~18中任一項(xiàng)所述的圖像處理裝置，其中，所述圖像取得部取得對(duì)來自于拍攝元件的圖像數(shù)據(jù)進(jìn)行可逆性圖像處理后得到的RAW圖像數(shù)據(jù)作為所述原始圖像數(shù)據(jù)。
20.一種圖像處理方法，其中，包括: 圖像取得步驟，取得原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括:具有構(gòu)成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的視差的像素值的像素；以及 圖像生成步驟，從所述原始圖像數(shù)據(jù)生成:由具有所述原色的像素值的像素構(gòu)成的原色圖像數(shù)據(jù)、以及由具有所述視差的像素值的像素構(gòu)成的視差圖像數(shù)據(jù)。
21.—種控制計(jì)算機(jī)的程序，使所述計(jì)算執(zhí)行: 圖像取得步驟，取得原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括:具有構(gòu)成被拍物的像的色彩的至少任一原色的像素值的像素、以及具有至少表示所述被拍物的像的視差的像素值的像素；以及 圖像生成步驟，從所述原始圖像數(shù)據(jù)生成:由具有所述原色的像素值的像素構(gòu)成的原色圖像數(shù)據(jù)、以及由具有所述視差的像素值的像素構(gòu)成的視差圖像數(shù)據(jù)。
【文檔編號(hào)】H04N9/07GK103688536SQ201280034591
【公開日】2014年3月26日 申請(qǐng)日期:2012年5月30日 優(yōu)先權(quán)日:2011年5月30日
【發(fā)明者】芝崎清茂, 森晉, 浜島宗樹 申請(qǐng)人:株式會(huì)社尼康