圖像處理裝置和圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對利用一部分像素作為相位差方式的焦點(diǎn)檢測元件來檢測焦點(diǎn)狀態(tài) 的攝像元件的像素輸出進(jìn)行處理的圖像處理裝置和圖像處理方法。
【背景技術(shù)】
[0002] 例如在日本特許第3592147號公報(bào)中提出了與利用攝像元件的一部分像素作為 焦點(diǎn)檢測元件來檢測焦點(diǎn)狀態(tài)的攝像裝置有關(guān)的技術(shù)。在日本特許第3592147號公報(bào)中， 將攝像元件的一部分像素設(shè)定為相位差檢測像素，使穿過相對于攝影鏡頭的光軸中心對稱 的不同瞳區(qū)域后的被攝體光束在多個(gè)相位差檢測像素中成像，通過檢測該被攝體光束之間 的相位差，檢測攝影鏡頭的焦點(diǎn)狀態(tài)。
[0003] 這里，關(guān)于相位差檢測像素，例如一部分區(qū)域被遮光，以使得能夠接收穿過攝影鏡 頭的不同瞳區(qū)域后的被攝體光束的一方。因此，相位差檢測像素成為無法直接作為圖像使 用的缺陷像素。因此，在日本特開2010-062640號公報(bào)所公開的攝像裝置中，通過對相位差 檢測像素的像素輸出進(jìn)行增益調(diào)整或使用周邊像素進(jìn)行插值，能夠用于記錄和顯示。
[0004] 但是，除了入射光的角度、相位差檢測像素中形成的遮光膜的位置以外，入射到相 位差檢測像素的光的量還根據(jù)像高而不同。進(jìn)而，入射到相位差檢測像素的光的角度根據(jù) 攝影鏡頭等光學(xué)系統(tǒng)的制造偏差和配置在攝像元件的前表面的微鏡頭的制造偏差而不同。 為了提高增益調(diào)整的精度，期望正確檢測每個(gè)相位差檢測像素的光量的降低量，根據(jù)檢測 到的降低量來設(shè)定增益調(diào)整量。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明是鑒于所述情況而完成的，其目的在于，提供在對來自具有相位差檢測像 素的攝像元件的像素輸出進(jìn)行處理的攝像裝置中能夠進(jìn)一步抑制由于相位差檢測像素而 引起的畫質(zhì)降低的圖像處理裝置和圖像處理方法。
[0006] 本發(fā)明的第1方式的圖像處理裝置對來自具有攝像像素和相位差檢測像素的攝 像元件的像素輸出進(jìn)行處理，其中，該圖像處理裝置具有：像素混合部，其對多個(gè)所述像素 輸出進(jìn)行混合；以及圖像處理部，其使用每個(gè)所述混合后的像素輸出的所述相位差檢測像 素的每個(gè)開口朝向的像素輸出的混入數(shù)和所述攝像像素的像素輸出的混入數(shù)中的任意一 個(gè)以上的信息，對像素輸出進(jìn)行校正以消除由于所述相位差檢測像素而引起的畫質(zhì)劣化。
[0007] 本發(fā)明的第2方式的圖像處理方法對來自具有攝像像素和相位差檢測像素的攝 像元件的像素輸出進(jìn)行處理，其中，該圖像處理方法包括以下步驟：對多個(gè)所述像素輸出進(jìn) 行混合；以及使用每個(gè)所述混合后的像素輸出的所述相位差檢測像素的每個(gè)開口朝向的像 素輸出的混入數(shù)和所述攝像像素的像素輸出的混入數(shù)中的任意一個(gè)以上的信息，對像素輸 出進(jìn)行校正以消除由于所述相位差檢測像素而引起的畫質(zhì)劣化。
[0008] 根據(jù)本發(fā)明，能夠提供在對來自具有相位差檢測像素的攝像元件的像素輸出進(jìn)行 處理的攝像裝置中能夠進(jìn)一步抑制由于相位差檢測像素而引起的畫質(zhì)降低的圖像處理裝 置和圖像處理方法。
[0009] 本發(fā)明的優(yōu)點(diǎn)將在以下的說明中闡述，部分的優(yōu)點(diǎn)將通過說明變得清楚，或者可 以通過本發(fā)明的實(shí)踐而得知?？梢酝ㄟ^以下特別指出的手段和組合實(shí)現(xiàn)和獲得本發(fā)明的優(yōu) 點(diǎn)。
【附圖說明】
[0010] 圖1是示出作為本發(fā)明的一個(gè)實(shí)施方式的攝像裝置的一例的數(shù)字照相機(jī)的結(jié)構(gòu) 的框圖。
[0011] 圖2是示出攝像元件的像素排列的例子的圖。
[0012] 圖3是示出圖像處理部的詳細(xì)結(jié)構(gòu)的圖。
[0013] 圖4A是示出增益量估計(jì)部的結(jié)構(gòu)的圖。
[0014] 圖4B是示出增益校正部的結(jié)構(gòu)的圖。
[0015] 圖5A是示出攝像像素21a中的像的成像狀態(tài)的圖。
[0016] 圖5B是示出相位差檢測像素21b中的像的成像狀態(tài)的圖。
[0017] 圖6是示出攝像裝置的動態(tài)圖像記錄處理的流程圖。
[0018] 圖7A是示出2X2像素混合讀出前的像素配置的圖。
[0019] 圖7B是示出2X2像素混合讀出后的像素配置的圖。
[0020] 圖8A是示出3X3像素混合讀出前的像素配置的圖。
[0021] 圖8B是示出3X3像素混合讀出后的像素配置的圖。
【具體實(shí)施方式】
[0022] 下面，參照附圖對本發(fā)明的實(shí)施方式進(jìn)行說明。
[0023] 圖1是示出作為本發(fā)明的一個(gè)實(shí)施方式的攝像裝置的一例的數(shù)字照相機(jī)（以下簡 稱為照相機(jī)）的結(jié)構(gòu)的框圖。這里，在圖1中，帶箭頭的實(shí)線表示數(shù)據(jù)流，帶箭頭的虛線表 示控制信號流。
[0024] 圖1所示的照相機(jī)1具有攝影鏡頭11、光圈13、機(jī)械快門15、驅(qū)動部17、操作部 19、攝像元件21、攝像控制電路23、A-AMP 25、模擬數(shù)字轉(zhuǎn)換部（ADC) 27、CPU 29、圖像處理 部31、焦點(diǎn)檢測電路33、視頻編碼器35、顯示部37、總線39、DRAM(Dynamic Random Access Memory :動態(tài)隨機(jī)存取存儲器）41、ROM (Read Only Memory :只讀存儲器）43、記錄介質(zhì)45。
[0025] 攝影鏡頭11是用于在攝像元件21上形成來自被攝體100的像的攝影光學(xué)系統(tǒng)。 攝影鏡頭11具有用于調(diào)節(jié)對焦位置的對焦鏡頭，并且也可以構(gòu)成為變焦鏡頭。光圈13配 置在攝影鏡頭11的光軸上，構(gòu)成為其口徑可變。光圈13限制穿過攝影鏡頭11的來自被攝 體100的光束的量。機(jī)械快門15構(gòu)成為開閉自如。機(jī)械快門15對來自被攝體100的被攝 體光束入射到攝像元件21的入射時(shí)間（攝像元件21的曝光時(shí)間）進(jìn)行調(diào)節(jié)。作為機(jī)械快 門15,可以采用公知的焦面快門、鏡頭快門等。驅(qū)動部17根據(jù)來自CPU 29的控制信號進(jìn)行 攝影鏡頭11、光圈13和機(jī)械快門15的驅(qū)動的控制。
[0026] 操作部19包含電源按鈕、釋放按鈕、動態(tài)圖像按鈕、再現(xiàn)按鈕、菜單按鈕這樣的各 種操作按鈕和觸摸面板等各種操作部件。該操作部19檢測各種操作部件的操作狀態(tài)，將表 示檢測結(jié)果的信號輸出到CPU 29。這里，通過本實(shí)施方式的操作部19,能夠選擇照相機(jī)1 的拍攝模式。即，用戶通過對操作部19進(jìn)行操作，能夠從靜態(tài)圖像拍攝模式和動態(tài)圖像拍 攝模式中選擇照相機(jī)1的拍攝模式。靜態(tài)圖像拍攝模式是用于拍攝靜態(tài)圖像的拍攝模式， 動態(tài)圖像拍攝模式是用于拍攝動態(tài)圖像的拍攝模式。
[0027] 攝像元件21配置在攝影鏡頭11的光軸上的機(jī)械快門15的后方且通過攝影鏡頭 11使被攝體光束成像的位置。攝像元件21構(gòu)成為二維配置有構(gòu)成像素的光電二極管。這 里，本實(shí)施方式中的攝像元件21具有用于取得記錄和顯示用的圖像的攝像像素和用于進(jìn) 行焦點(diǎn)檢測的相位差檢測像素。
[0028] 構(gòu)成攝像元件21的光電二極管生成與受光量對應(yīng)的電荷。光電二極管產(chǎn)生的電 荷蓄積在與各光電二極管連接的電容器中。該電容器中蓄積的電荷被作為圖像信號讀出。 本實(shí)施方式中的攝像元件21具有多個(gè)不同的電荷的讀出方式。根據(jù)來自攝像控制電路23 的控制信號讀出攝像元件21中蓄積的電荷。
[0029] 并且，在構(gòu)成像素的光電二極管的前表面配置有例如拜耳排列的彩色濾鏡。拜耳 排列在水平方向上具有交替配置R像素和G (Gr)像素的行和交替配置G (Gb)像素和B像素 的行。
[0030] 作為像素混合部發(fā)揮功能的攝像控制電路23根據(jù)來自CPU 29的控制信號設(shè)定攝 像元件21的驅(qū)動模式，根據(jù)與所設(shè)定的驅(qū)動模式對應(yīng)的讀出方式進(jìn)行來自攝像元件21的 圖像信號的讀出。例如，在實(shí)時(shí)取景顯示時(shí)和動態(tài)圖像記錄時(shí)這樣的來自攝像元件21的像 素?cái)?shù)據(jù)的讀出要求實(shí)時(shí)性的驅(qū)動模式的情況下，為了能夠高速進(jìn)行像素?cái)?shù)據(jù)的讀出，混合 讀出來自多個(gè)相同顏色像素的像素?cái)?shù)據(jù)或間疏讀出特定像素的像素?cái)?shù)據(jù)。另一方面，例如 在靜態(tài)圖像的記錄時(shí)這樣的與實(shí)時(shí)性相比更加要求畫質(zhì)的驅(qū)動模式的情況下，不進(jìn)行混合 讀出或間疏讀出，通過讀出全部像素的像素?cái)?shù)據(jù)來維持分辨率。
[0031] A-AMP 25根據(jù)攝像控制電路23的控制，對從攝像元件21中讀出的圖像信號進(jìn)行 放大。與攝像元件21、攝像控制電路23、A-AMP 25-起作為攝像部發(fā)揮功能的ADC 27將 從A-AMP 25輸出的圖像信號轉(zhuǎn)換為數(shù)字形式的圖像信號（像素?cái)?shù)據(jù)）。下面，在本說明書 中，將多個(gè)像素?cái)?shù)據(jù)的集合記載為攝像數(shù)據(jù)。
[0032] CPU 29根據(jù)ROM 43中存儲的程序進(jìn)行照相機(jī)1的整體控制。圖像處理部31對攝 像數(shù)據(jù)實(shí)施各種圖像處理而生成圖像數(shù)據(jù)。例如，在靜態(tài)圖像的記錄時(shí)，圖像處理部31實(shí) 施靜態(tài)圖像記錄用的圖像處理而生成靜態(tài)圖像數(shù)據(jù)。同樣，在動態(tài)圖像的記錄時(shí)，圖像處理 部31實(shí)施動態(tài)圖像記錄用的圖