圖像處理設(shè)備、圖像處理方法、程序和具有該圖像處理設(shè)備的攝像設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種圖像處理設(shè)備、圖像處理方法、程序和具有該圖像處理設(shè)備的攝 像設(shè)備，尤其設(shè)及用于對視差圖像或用于重調(diào)焦的圖像數(shù)據(jù)進(jìn)行處理的圖像處理設(shè)備、圖 像處理方法和程序，W及具有該圖像處理設(shè)備的攝像設(shè)備。
【背景技術(shù)】
[0002] 提出了該樣一種攝像設(shè)備，其中，該攝像設(shè)備將攝像鏡頭的出射光瞳分割成多個(gè) 區(qū)域，并且可W同時(shí)拍攝與分割的光瞳區(qū)域相對應(yīng)的多個(gè)視差圖像。
[0003] P化1公開了一種具有二維攝像元件的攝像設(shè)備，其中，在該二維攝像元件中，一 個(gè)像素對應(yīng)于一個(gè)微透鏡，并且像素由多個(gè)分割的光電轉(zhuǎn)換單元形成。分割的光電轉(zhuǎn)換單 元配置成通過一個(gè)微透鏡接收來自攝像鏡頭的出射光瞳的不同的部分光瞳區(qū)域的光，并且 進(jìn)行光瞳分割。根據(jù)通過對分割的光電轉(zhuǎn)換單元中的每一個(gè)所接收到的被攝體光進(jìn)行光電 轉(zhuǎn)換所生成的圖像信號，可W形成與分割的部分光瞳區(qū)域相對應(yīng)的多個(gè)視差圖像。FTL 2公 開了該樣一種技術(shù)；通過對從分割的光電轉(zhuǎn)換單元所輸出的所有圖像信號進(jìn)行逐像素相加 來生成攝像圖像。
[0004] 多個(gè)拍攝的視差圖像相當(dāng)于用作光強(qiáng)度的空間分布信息和角度分布信息的光場 (L巧數(shù)據(jù)。NPL 1公開了該樣一種重調(diào)焦技術(shù)，該技術(shù)通過使用所獲取的LF數(shù)據(jù)在不同于 攝像平面的虛擬聚焦平面上形成圖像來在攝像之后改變攝像圖像的聚焦位置。
[00化]義獻(xiàn)列表
[OOOd 專利義獻(xiàn)
[0007] ?化 1:美國專利 4410804
[000引 ？化2:日本特開2001-083407
[0009] 非專利義獻(xiàn)
[0010] NPL 1:Stanford Tech R巧ort CTSR 2005-02, 1(2005)

【發(fā)明內(nèi)容】

[0011] 巧術(shù)問顆
[0012] 然而，存在下面的問題；由于LF數(shù)據(jù)由多個(gè)視差圖像構(gòu)成、并且除光強(qiáng)度的空間 分布信息W外，還包含每一像素的角度分布信息，因而數(shù)據(jù)量大。
[0013] 考慮到上述問題做出本發(fā)明，并且本發(fā)明的目地是提供一種可W保持必要信息、 并且抑制LF數(shù)據(jù)的數(shù)據(jù)量的圖像處理設(shè)備和方法。
[0014] 間願(yuàn)的解決方秦
[0015] 根據(jù)本發(fā)明，提供一種圖像處理設(shè)備，其用于對通過攝像元件所獲取的子像素的 攝像信號進(jìn)行處理，并且生成通過所述攝像元件所拍攝的攝像圖像的圖像數(shù)據(jù)，其中，所述 攝像元件通過排列多個(gè)像素來構(gòu)成，所述多個(gè)像素中的每一個(gè)像素由用于接收穿過調(diào)焦光 學(xué)系統(tǒng)的不同部分光瞳區(qū)域的光的多個(gè)子像素構(gòu)成，所述圖像處理設(shè)備包括；區(qū)域設(shè)置單 元，用于在所述攝像圖像上設(shè)置至少一個(gè)區(qū)域；相加處理單元，用于對所設(shè)置的區(qū)域的子像 素的攝像信號進(jìn)行相加處理；圖像處理單元，用于基于所述區(qū)域設(shè)置單元所設(shè)置的區(qū)域的 子像素的攝像信號來獲得聚焦信息，控制所述區(qū)域設(shè)置單元W基于所獲得的聚焦信息設(shè)置 第一區(qū)域和不同于所述第一區(qū)域的第二區(qū)域，并且控制所述相加處理單元W對所設(shè)置的第 一區(qū)域和第二區(qū)域的子像素的攝像信號進(jìn)行不同程度的相加處理，從而生成第一圖像數(shù)據(jù) 和第二圖像數(shù)據(jù)作為拍攝圖像的圖像數(shù)據(jù)。
[001 d 發(fā)巧的優(yōu)點(diǎn)效果
[0017] 根據(jù)本發(fā)明的圖像處理設(shè)備，可W在保持必要信息的同時(shí)，抑制LF數(shù)據(jù)的數(shù)據(jù) 量。
[0018] 通過W下參考附圖對典型實(shí)施例的說明，本發(fā)明的其它特征將顯而易見。
【附圖說明】
[0019] 圖1是應(yīng)用根據(jù)本發(fā)明實(shí)施例的圖像處理的攝像設(shè)備的框圖。
[0020] 圖2是示意性示出根據(jù)本發(fā)明實(shí)施例的攝像元件中的像素陣列的圖。
[0021] 圖3A和3B是示出根據(jù)本發(fā)明實(shí)施例的攝像元件的像素結(jié)構(gòu)的圖。
[0022] 圖4A、4B、4C和4D是示出在光學(xué)上大體相當(dāng)于根據(jù)本發(fā)明實(shí)施例的攝像元件的像 素結(jié)構(gòu)的像素結(jié)構(gòu)的圖。
[0023] 圖5是概念性示出根據(jù)本發(fā)明實(shí)施例的攝像元件中的像素和光瞳分割之間的關(guān) 系的圖。
[0024] 圖6是概念性示出根據(jù)本發(fā)明實(shí)施例的攝像元件和光瞳分割之間的關(guān)系的圖。
[0025] 圖7是概念性示出根據(jù)本發(fā)明實(shí)施例的攝像元件中的視差圖像之間的圖像移位 量和離焦量的圖。
[0026] 圖8是概念性示出根據(jù)本發(fā)明實(shí)施例的攝像元件中的子像素和可W獲取的角度 信息之間的關(guān)系的圖。
[0027] 圖9A和9B是概念性示出根據(jù)本發(fā)明實(shí)施例的攝像元件中的重調(diào)焦處理的圖。 [002引圖10是示出根據(jù)本發(fā)明第一實(shí)施例的圖像處理操作的流程圖的圖。
[0029] 圖11是示意性示出根據(jù)本發(fā)明第一實(shí)施例的圖像處理操作的流程的圖。
[0030] 圖12是示出根據(jù)本發(fā)明實(shí)施例的攝像元件的讀出電路的圖。
[0031] 圖13是示出根據(jù)本發(fā)明第一實(shí)施例的記錄數(shù)據(jù)的結(jié)構(gòu)的圖。
[0032] 圖14是示出本發(fā)明第一實(shí)施例中的第一區(qū)域和第二區(qū)域的另一設(shè)置例子的圖。
[0033] 圖15是示出根據(jù)本發(fā)明第二實(shí)施例的圖像處理操作的流程圖的圖。
[0034] 圖16是示意性示出根據(jù)本發(fā)明第二實(shí)施例的圖像處理操作的流程的圖。
【具體實(shí)施方式】
[0035] 下面基于附圖詳細(xì)說明本發(fā)明的典型實(shí)施例。
[003引 連施例1
[0037] 圖1是示出用作應(yīng)用根據(jù)本發(fā)明的圖像處理設(shè)備和方法的攝像設(shè)備的照相機(jī)的 結(jié)構(gòu)的框圖。該攝像設(shè)備具有如稍后所述的可W獲取LF數(shù)據(jù)的攝像元件。
[003引在該圖中，第一透鏡組101配置在調(diào)焦光學(xué)系統(tǒng)前面，并且保持為可在光軸方向 上前后移動(dòng)。光圈快口 102通過調(diào)節(jié)開口直徑，進(jìn)行攝像時(shí)的光量調(diào)節(jié)，并且還具有作為用 于對靜止圖像的攝像時(shí)的曝光時(shí)間進(jìn)行調(diào)節(jié)的快口的功能。設(shè)置有第二透鏡組103。光圈 快口 102和第二透鏡組103在光軸方向上整體前后移動(dòng)，從而通過與第一透鏡組101的向 后/向前操作的聯(lián)動(dòng)來實(shí)現(xiàn)變倍效果（縮放功能）。
[0039] 第=透鏡組105通過在光軸方向上的向后/向前運(yùn)動(dòng)來進(jìn)行焦點(diǎn)調(diào)節(jié)。光學(xué)低通 濾波器106是用于降低攝像圖像的偽色和摩爾紋的光學(xué)元件。攝像元件107由二維CMOS 光電傳感器和外圍電路構(gòu)成，并且被配置在調(diào)焦光學(xué)系統(tǒng)的調(diào)焦平面上。
[0040] 為了進(jìn)行變倍操作，變焦致動(dòng)器111轉(zhuǎn)動(dòng)凸輪筒（未示出），并且在光軸方向上前 后驅(qū)動(dòng)第一透鏡組101或者第=透鏡組105。為了調(diào)節(jié)攝像光量，光圈快口致動(dòng)器112控制 光圈快口 102的開口直徑，并且控制靜止圖像的攝像時(shí)的曝光時(shí)間。為了進(jìn)行焦點(diǎn)調(diào)節(jié)，調(diào) 焦致動(dòng)器114在光軸方向上前后驅(qū)動(dòng)第=透鏡組105。
[0041] 盡管優(yōu)選將使用氣氣管的閃光照明設(shè)備作為用于在攝像時(shí)照明被攝體的電子閃 光燈115,但是可W使用具有連續(xù)發(fā)光LED的照明設(shè)備。AF輔助光單元116通過光投影透 鏡將具有預(yù)定開口圖案的掩模的圖像投影至視野，從而提高對暗被攝體或者低對比度被攝 體的焦點(diǎn)檢測能力。
[0042] 設(shè)置在照相機(jī)中的CPU 121進(jìn)行對照相機(jī)機(jī)體的各種類型的控制。CPU 121具有 算術(shù)運(yùn)算單元、ROM、RAM、A/D轉(zhuǎn)換器、D/A轉(zhuǎn)換器和通信接口電路等。CPU 121裝載并執(zhí)行 存儲在ROM中的預(yù)定程序，從而驅(qū)動(dòng)和控制對于照相機(jī)所設(shè)置的各種類型的電路、并且實(shí) 現(xiàn)AF、攝像、圖像處理和諸如記錄等的一系列操作。因此，CPU 121是構(gòu)成根據(jù)本發(fā)明的圖 像處理設(shè)備的單元，并且進(jìn)行圖像處理設(shè)備中的圖像處理控制。
[0043] 電子閃光燈控制單元122與攝像操作同步控制照明單元115的on/off。輔助光驅(qū) 動(dòng)單元123與焦點(diǎn)檢測操作同步控制AF輔助光單元116的on/off。攝像元件驅(qū)動(dòng)單元124 控制攝像元件107的攝像操作，對所獲取的攝像信號進(jìn)行A/D轉(zhuǎn)換，并且發(fā)送至CPU 121。 圖像處理單元125對通過攝像元件107所獲取的圖像信號執(zhí)行諸如伽馬轉(zhuǎn)換、顏色插值和 JPEG壓縮等的處理。
[0044] 調(diào)焦驅(qū)動(dòng)單元126基于焦點(diǎn)檢測結(jié)果驅(qū)動(dòng)調(diào)焦致動(dòng)器114,并且在光軸方向上前 后驅(qū)動(dòng)第=透鏡組105 W進(jìn)行焦點(diǎn)調(diào)節(jié)。光圈快口驅(qū)動(dòng)單元128驅(qū)動(dòng)光圈快口致動(dòng)器112， 并且控制光圈快口 102的開口。變焦驅(qū)動(dòng)單元129根據(jù)拍攝者的變焦操作，驅(qū)動(dòng)變焦致動(dòng) 器 111。
[0045] 諸如LCD等的顯示單元131顯示與照相機(jī)的攝像模式有關(guān)的信息、攝像之前的預(yù) 覽圖像、攝像之后用于確認(rèn)的圖像和焦點(diǎn)檢測時(shí)的聚焦?fàn)顟B(tài)顯示圖像等。操作開關(guān)組132 由電源開關(guān)、釋放（攝像觸發(fā)器）開關(guān)、變焦操作開關(guān)和攝像模式選擇開關(guān)等構(gòu)成。通過記 錄單元134, W預(yù)定記錄格式將攝像圖像記錄在可拆卸的閃速存儲器133中。
[0046] 接著說明對于攝像設(shè)備所設(shè)置的攝像元件107。
[0047] 圖2示意性示出根據(jù)本實(shí)施例的攝像元件107的像素陣列和子像素陣列。
[0048] 圖2通過（4行X4列）的范圍示出根據(jù)本實(shí)施例的二維CMOS傳感器（攝像元 件）的像素陣列。由于根據(jù)本實(shí)施例的攝像元件的每一像素被分成（4X4)子像素，因而圖 2示出在考慮子像素陣列時(shí)的（16行X 16列的）子像素的范圍。實(shí)際攝像元件不局限于圖 2所示的像素陣列（4行X4列）（16行X 16列的子像素陣列），但是可WW在光接收平面 上配置許多像素的方式來構(gòu)成，從而使得能夠拍攝被攝體圖像。通過假定下面的攝像元件 來說明本實(shí)施例：在該攝像元件中，像素周期AX等于9.2ym、并且有效像素的數(shù)量Nu等 于10. 14百萬像素（=橫向上的3900列X垂直方向上的2600行），而子像素周期A X等 于2. 3 y m，并且有效子像素的數(shù)量N等于162百萬像素（=橫向上的15600列X垂直方向 上的10400行）。
[0049] 在本實(shí)施例中，在圖2所示的（2行X2列）的像素組200中，分別將具有R(紅 色）光譜靈敏度的像素200R配置在左上位置處，將具有G (綠色）光譜靈敏度的像素200G 配置在右上位置和左下位置處，并且將具有B (藍(lán)色）光譜靈敏度的像素200B配置在右下 位置處。此外，在每一像素中，二維配置Ne XNe (4行X4列）的子像素201~216。
[0050] 圖3A示出在攝像元件的光接收側(cè)（+Z偵。觀看的情況下，圖2所示的攝像元件的 一個(gè)像素200G的平面圖。圖3B示出在一y側(cè)觀看的情況下，沿圖3A中的線3B-3B所截取 的橫斷面圖。
[0化