本發(fā)明涉及使用相位差像素輸出進行測距運算的攝像裝置和攝像方法。

背景技術(shù)：

公知有如下方法：使用配置在攝像面上的相位差像素的相位差像素輸出進行測距運算，根據(jù)該測距運算的結(jié)果來檢測焦點。在測距運算中，相對于傳感器輸出范圍，在相位差像素輸出較小的情況下，運算誤差增大，由此，測距性能降低。因此，需要確保一定的相位差像素輸出。

但是，一般情況下，與顯示或記錄用的記錄像素輸出相比，相位差像素輸出是一半以下的程度。因此，為了以記錄像素輸出程度確保相位差像素輸出而提出各種方法。

例如，在日本特許第5319347號公報中，在1幀內(nèi)獨立進行像素生成用的攝像行的電荷的蓄積控制和具有相位差像素的焦點檢測行的電荷的蓄積控制。

并且，在日本特許第5565105號公報中，進行在由攝像元件生成的像素數(shù)據(jù)中的、最新的像素數(shù)據(jù)所包含的最新的焦點檢測數(shù)據(jù)中加上至少一個焦點檢測數(shù)據(jù)的相加處理，計算相加焦點檢測數(shù)據(jù)。

在上述日本特許第5319347號公報中，針對相位差像素，能夠確保充分的蓄積時間，但是，針對攝像面內(nèi)的相位差像素，在相同的蓄積時間內(nèi)蓄積電荷。因此，可能產(chǎn)生由于基于相位差像素的特性導(dǎo)致的輸出電平之差而引起的泛白(飽和)或泛黑(輸出不足)的區(qū)域。并且，在日本特許第5565105號公報中，在相加數(shù)據(jù)的最大值超過閾值之前反復(fù)進行相加處理，所以，針對取最大值的相位差像素以外的相位差像素，無法確保充分的輸出電平，可能無法確保測距性能。

并且，還考慮在不同幀中提取相位差像素輸出和記錄像素輸出的方法，但是，根據(jù)該方法，顯示或記錄用的幀離散，可能無法保證顯示或記錄用的數(shù)據(jù)品質(zhì)。

技術(shù)實現(xiàn)要素：

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供能夠保證顯示或記錄用的數(shù)據(jù)品質(zhì)、并且能夠確保測距性能的攝像裝置和攝像方法。

為了實現(xiàn)上述目的，本發(fā)明的第1方式的攝像裝置具有：攝像元件，其具有多個記錄像素和對各所述記錄像素中的受光部的開口的一部分進行了遮蔽的多個相位差像素；相位差像素提取部，其按照所述攝像元件的攝像動作的每幀，讀出針對各所述相位差像素在相同的蓄積時間內(nèi)執(zhí)行蓄積動作而得到的相位差像素數(shù)據(jù)；相位差像素運算部，其針對所讀出的每幀的相位差像素數(shù)據(jù)，對當前幀和過去幀中的同一坐標的相位差像素數(shù)據(jù)進行相加；判定部，其根據(jù)各所述相位差像素的特性和與所述相位差像素對應(yīng)的相位差像素數(shù)據(jù)，判定是否根據(jù)相加后的所述相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作；以及測距運算處理部，其在所述判定的結(jié)果為判定為根據(jù)相加后的所述相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下，應(yīng)用由所述相加單元進行相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作，在所述判定的結(jié)果為不根據(jù)相加后的所述相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下，應(yīng)用所述當前幀的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。

根據(jù)本發(fā)明，能夠提供能夠保證顯示或記錄用的數(shù)據(jù)品質(zhì)、并且能夠確保測距性能的攝像裝置。

附圖說明

圖1是示出本發(fā)明的第1實施方式的攝像裝置的功能結(jié)構(gòu)的一例的框圖。

圖2是示出第1實施方式中的攝像元件的像素排列的一例的示意圖。

圖3是示出第1實施方式中的從正面觀察的受光部的示意圖。

圖4是示出第1實施方式中的測距運算部的功能結(jié)構(gòu)的一例的框圖。

圖5是示出第1實施方式中的像素數(shù)據(jù)加工部的功能結(jié)構(gòu)的一例的框圖。

圖6是用于說明第1實施方式中的存儲了像素數(shù)據(jù)的存儲區(qū)域的一例的示意圖。

圖7是用于說明第1實施方式中的存儲了像素數(shù)據(jù)的存儲區(qū)域的一例的示意圖。

圖8是示出第1實施方式中的攝像裝置的動作的一例的流程圖。

圖9是示出第1實施方式中的攝像裝置的動作的一例的時序圖。

圖10是示出第1實施方式中的相加運算的一例的示意圖。

圖11是示出第1實施方式中的相加運算的一例的示意圖。

圖12是示出第1實施方式中的攝像裝置的動作的一例的時序圖。

圖13是示出第1實施方式中的光學濾波器的分光特性的一例的示意圖。

圖14是示出本發(fā)明的第2實施方式的動作的一例的流程圖。

圖15是示出第2實施方式中的基于像高導(dǎo)致的輸出電平的差異的示意圖。

圖16是示出第2實施方式中的相關(guān)運算的一例的示意圖。

圖17是示出第2實施方式中的光源的輸出變動與測距區(qū)中的蓄積動作和輸出掃描的時序圖之間的關(guān)系的示意圖。

圖18是示出第2實施方式中的測距區(qū)中的T/B像素的輸出電平的變化的一例的示意圖。

圖19是示出能夠應(yīng)用于本發(fā)明的各實施方式的讀出方式的一例的示意圖。

標號說明

1：照相機；11：鏡頭；12：鏡頭驅(qū)動部；13：攝像元件；14：攝像元件移位部；15：攝像元件驅(qū)動部；16：CPU；17：存儲部；18：顯示部；19記錄部；20：操作部；21：測距運算部；22：曝光運算部；23：閃爍運算部；24：圖像處理部；25：數(shù)據(jù)/控制總線；211：相位差像素提取部；212：像素數(shù)據(jù)加工部；213：測距運算處理部；214：相位差像素幀存儲器；1001：記錄像素；1002r、1002l、1002t、1002b：相位差像素；1003：微鏡頭；1004：受光區(qū)域；2011：水平同步信號；2012：垂直同步信號；2013、2014、2015：存儲區(qū)域；2016、2017、2018：像素排列；2019、2020、2021：相位差像素排列的存儲區(qū)域；2121：判定部；2122：相位差像素運算部；2123、2125、2127：SEL；2124：加減處理部；2126：乘除處理部；2141：R開口像素保持部；2142：L開口像素保持部；2143：T開口像素保持部；2144：B開口像素保持部；3001：G濾波器分光特性；3002：B濾波器分光特性；3003：R濾波器分光特性；4001：記錄像素配置區(qū)域；4002：相位差像素配置區(qū)域；4003：記錄像素數(shù)據(jù)輸出；4004l：左開口相位差像素數(shù)據(jù)輸出；4004r：右開口相位差像素數(shù)據(jù)輸出；4005l：校正后左開口相位差像素數(shù)據(jù)輸出；4005r：校正后右開口相位差像素數(shù)據(jù)輸出；5001：光源輸出；5002、5003：像素配置區(qū)域。

具體實施方式

下面，參照附圖對與本發(fā)明有關(guān)的各實施方式進行說明。

[第1實施方式]

圖1是示出作為本發(fā)明的各實施方式的攝像裝置的一例的數(shù)字照相機(以下簡稱為照相機。)的結(jié)構(gòu)的框圖。圖1所示的照相機1具有鏡頭11、鏡頭驅(qū)動部12、攝像元件13、攝像元件移位部14、攝像元件驅(qū)動部15、CPU(Central Processing Unit)16、存儲部17、顯示部18、記錄部19、操作部20、測距運算部21、曝光運算部22、閃爍運算部23、圖像處理部24、數(shù)據(jù)/控制總線25。另外，第1實施方式所使用的攝像裝置1能夠以硬件結(jié)構(gòu)、或硬件資源與軟件的組合結(jié)構(gòu)的任意形式來實施。如圖1所示，組合結(jié)構(gòu)的軟件預(yù)先從網(wǎng)絡(luò)或非暫時的計算機可讀取的存儲介質(zhì)(non-transitory computer-readable storage medium)M1安裝在攝像裝置1中。安裝在該攝像裝置1中的軟件例如使用用于在測距運算部21中實現(xiàn)攝像裝置1的功能的程序。

鏡頭11是用于使來自未圖示的被攝體的像在攝像元件13的受光面上成像的光學系統(tǒng)。該鏡頭11具有對焦鏡頭和變焦鏡頭等多個鏡頭以及光圈。

鏡頭驅(qū)動部12根據(jù)來自CPU16的控制信號進行鏡頭11的焦點調(diào)節(jié)、光圈的開口直徑控制等。

攝像元件13構(gòu)成為二維配置構(gòu)成像素的光電二極管(以下稱為受光部。)。構(gòu)成攝像元件13的受光部生成與由微鏡頭會聚的光的受光量對應(yīng)的電荷。受光部中產(chǎn)生的電荷蓄積在與各受光部連接的電容器中。該電容器中蓄積的電荷通過攝像元件驅(qū)動部15而作為像素信號進行輸出。像素信號在通過未圖示的攝像電路進行了噪聲降低處理和增益調(diào)整等處理后，作為數(shù)字形式的圖像信號(以下稱為像素數(shù)據(jù)。)進行輸出。這里，優(yōu)選攝像元件13具有電子快門功能。電子快門功能是指根據(jù)曝光運算部22的運算結(jié)果以電子的方式對攝像元件13的曝光時間進行控制的功能。作為電子快門，根據(jù)后述攝像元件13的驅(qū)動方式，可以應(yīng)用滾動快門或全局快門等各種電子快門。

并且，在構(gòu)成像素的受光部的前表面配置有拜耳排列的濾色器。拜耳排列具有在水平方向上交替配置R像素和G(Gr)像素的行以及交替配置G(Gb)像素和B像素的行。另外，濾色器的配置不限于拜耳排列，也可以適當應(yīng)用基于補色濾波器(綠：G、黃：Y、品紅：Mg、青：Cy)等其他光學濾波器的不同排列等。

這里，作為能夠?qū)嵤┫辔徊預(yù)F(Auto Focus)的結(jié)構(gòu)，本實施方式中的攝像元 件13具有用于取得記錄或顯示用的攝像圖像的多個記錄像素(通常像素或攝像用像素)以及用于進行焦點檢測的多個相位差像素(焦點檢測用像素)。圖2是示出本實施方式中的攝像元件13的像素排列的圖。如圖2所示，相位差像素1002r、1002l、1002t、1002b相對于記錄像素1001以離散的方式進行配置。相位差像素1002r、1002l、1002t、1002b和記錄像素1001構(gòu)成為，微鏡頭的聚光率以及從微鏡頭到受光部的距離相同。相位差像素1002r、1002l、1002t、1002b構(gòu)成為，通過與記錄像素1001相比錯開受光部的開口的位置、或錯開光軸中心和開口中心，在物理上對受光部的一部分進行遮蔽。相位差像素1002r、1002l、1002t、1002b的遮光區(qū)域的朝向根據(jù)是檢測被攝體的縱線還是檢測被攝體的橫線而不同。根據(jù)該檢測方向，相位差像素分別在左右方向(R/L)、上下方向(T/B)上開口。在圖2中，向左方向開口的相位差像素1002l和向右方向開口的相位差像素1002r在相同顏色像素(圖2中為Gr像素)上沿著垂直方向(圖2中分開3個像素)配置。并且，向上方向開口的相位差像素1002t和向下方向開口的相位差像素1002b在相同顏色像素(圖2中為B像素)上沿著水平方向(圖2中分開3個像素)配置。

并且，如圖3所示，相位差像素構(gòu)成為，在散焦量較大的情況下和散焦量較小的情況下的任意狀況下均能夠進行測距。具體而言，針對各遮光朝向分別配置開口率不同的像素。圖3是從正面觀察受光部的情況下的示意圖，圓形部表示微鏡頭1003，四方形部表示受光部的受光區(qū)域1004。另外，受光區(qū)域的陰影區(qū)域表示被遮光。這里，圖3(A)示出小散焦用的遮光率較小的右側(cè)開口像素，圖3(B)示出大散焦用的遮光率較大的右側(cè)開口像素。這樣，由于相位差像素的入射光量被限制，所以，像素數(shù)據(jù)的輸出電平衰減。例如，當設(shè)遮光面積比為50％時，相位差像素數(shù)據(jù)(焦點檢測用像素數(shù)據(jù))的輸出電平衰減到飽和曝光時的記錄像素數(shù)據(jù)(攝像用像素數(shù)據(jù))的輸出電平的1/14～1/20程度。

另外，在本實施方式中，對應(yīng)用CMOS(Complementary Metal Oxide Semiconductor)方式作為攝像元件驅(qū)動部15的驅(qū)動方式的例子進行了說明，但是不限于CMOS方式，也可以適當應(yīng)用CCD(Charge Coupled Device)方式。

攝像元件移位部14根據(jù)來自CPU16的控制信號，使攝像元件13在與其受光面平行的平面內(nèi)物理移動，對手抖等進行校正。

攝像元件驅(qū)動部15根據(jù)來自CPU16的控制信號進行驅(qū)動，讀出攝像元件13中 蓄積的電荷作為像素信號。讀出的像素信號被轉(zhuǎn)換為數(shù)字形式的像素數(shù)據(jù)，經(jīng)由數(shù)據(jù)/控制總線25發(fā)送到存儲部17并進行存儲。

在本實施方式中的基于攝像元件驅(qū)動部15的電荷的讀出方式中，按照攝像元件13的攝像動作的每幀，針對各相位差像素在相同的蓄積時間內(nèi)執(zhí)行蓄積動作，得到像素數(shù)據(jù)。

CPU16對基于鏡頭驅(qū)動部12的鏡頭11的驅(qū)動控制、以及基于攝像元件移位部14和攝像元件驅(qū)動部15的攝像元件13的驅(qū)動控制等照相機1的各種順序(sequence)進行總括控制。CPU16經(jīng)由數(shù)據(jù)/控制總線25而與存儲部17、顯示部18、存儲部19、操作部20、測距運算部21、曝光運算部22、閃爍運算部23和圖像處理部24相互連接，能夠進行控制指令的發(fā)送和數(shù)據(jù)等的授受。

存儲部17是能夠從各部進行讀取/寫入的存儲介質(zhì)，作為用于暫時存儲照相機1內(nèi)部產(chǎn)生的各種數(shù)據(jù)的作業(yè)存儲器進行動作。存儲部17例如存儲通過攝像元件驅(qū)動部15從攝像元件13中讀出的像素數(shù)據(jù)。

顯示部18例如是液晶顯示器，顯示基于通過圖像處理部24進行處理后的圖像數(shù)據(jù)的靜態(tài)圖像、動態(tài)圖像和顯示圖像等各種圖像。

記錄部19例如是相對于照相機1拆裝自如的存儲卡，記錄包含通過圖像處理部24進行壓縮后的圖像數(shù)據(jù)的圖像文件等。

操作部20例如是電源按鈕、快門按鈕、再現(xiàn)按鈕、各種輸入鍵等操作部件。并且，操作部20也可以包括用于設(shè)定供測距運算部21執(zhí)行焦點檢測動作的焦點檢測區(qū)的操作部件。當由拍攝者進行了操作部20的操作后，CPU16執(zhí)行與該操作對應(yīng)的順序。

如圖4所示，測距運算部21具有相位差像素提取部211、像素數(shù)據(jù)加工部212、測距運算處理部213、相位差像素幀存儲器214。測距運算部21具有如下功能：根據(jù)來自CPU16的控制信號讀出每幀的相位差像素數(shù)據(jù)，根據(jù)該每幀的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。測距運算部21的功能結(jié)構(gòu)在后面詳細敘述。

曝光運算部22根據(jù)來自操作部20的輸入等，計算攝像元件13的曝光量。曝光運算部22將該計算結(jié)果經(jīng)由CPU16發(fā)送到攝像元件驅(qū)動部15。

閃爍運算部23讀出存儲部17中存儲的記錄像素數(shù)據(jù)，根據(jù)該記錄像素數(shù)據(jù)來檢測閃爍。閃爍運算部23檢測到閃爍時，運算用于消除該閃爍的控制信息，將該運算 結(jié)果經(jīng)由CPU16發(fā)送到攝像元件驅(qū)動部15。

圖像處理部24讀出存儲部17中存儲的記錄像素數(shù)據(jù)，根據(jù)該記錄像素數(shù)據(jù)實施各種圖像處理而生成圖像數(shù)據(jù)。例如，圖像處理部24在靜態(tài)圖像記錄時實施靜態(tài)圖像記錄用的圖像處理而生成靜態(tài)圖像數(shù)據(jù)。同樣，圖像處理部24在動態(tài)圖像記錄時實施動態(tài)圖像記錄用的圖像處理而生成動態(tài)圖像數(shù)據(jù)。進而，圖像處理部24在實時取景顯示時實施顯示用的圖像處理而生成顯示用圖像數(shù)據(jù)。

接著，參照圖4對測距運算部21的功能結(jié)構(gòu)進行說明。相位差像素提取部211按照攝像動作的每幀，讀出針對各相位差像素在相同的蓄積時間內(nèi)執(zhí)行蓄積動作而得到的相位差像素數(shù)據(jù)。相位差像素提取部211通過按照開口方向等的每個條件以光柵順序讀出相位差像素數(shù)據(jù)，在幀間保持坐標的對應(yīng)關(guān)系并抑制為最小限度的存儲器尺寸來進行讀出。因此，相位差像素提取部211還能夠相關(guān)聯(lián)地讀出所讀出的每幀的相位差像素數(shù)據(jù)的相位差像素特性。相位差像素提取部211將所讀出的每幀的相位差像素數(shù)據(jù)發(fā)送到像素數(shù)據(jù)加工部212，寫入相位差像素幀存儲器214中。另外，相位差像素提取部211也可以直接接收由攝像元件驅(qū)動部15讀出的像素數(shù)據(jù)，從該接收到的像素數(shù)據(jù)中讀出相位差像素數(shù)據(jù)。

像素數(shù)據(jù)加工部212具有判定部2121和相位差像素運算部2122。像素數(shù)據(jù)加工部212以光柵順序從相位差像素提取部211接收當前幀的相位差像素數(shù)據(jù)，從相位差像素幀存儲器214接收對應(yīng)的過去幀的相位差像素數(shù)據(jù)。像素數(shù)據(jù)加工部212通過對當前幀和過去幀的相位差像素數(shù)據(jù)進行加工，生成適用于焦點檢測動作的相位差像素數(shù)據(jù)，將其發(fā)送到測距運算處理部213。

判定部2121以光柵順序接收到當前幀的相位差像素數(shù)據(jù)后，根據(jù)各相位差像素的特性和與各相位差像素對應(yīng)的相位差像素數(shù)據(jù)，判定是否根據(jù)相位差像素運算部2122的運算結(jié)果來執(zhí)行焦點檢測動作。這里的運算是當前幀和過去幀的相位差像素數(shù)據(jù)的相加。判定部2121在判定結(jié)果為判定為根據(jù)相加結(jié)果來執(zhí)行焦點檢測動作的情況下，例如，決定包含由相位差像素運算部2122進行相加后的過去幀的幀數(shù)在內(nèi)的運算信息。判定部2121將運算信息和當前幀的相位差像素數(shù)據(jù)發(fā)送到相位差像素運算部2122。并且，判定部2121在判定為不根據(jù)相加結(jié)果來執(zhí)行焦點檢測動作的情況下，將當前幀的相位差像素數(shù)據(jù)發(fā)送到相位差像素幀存儲器214。

相位差像素運算部2122以光柵順序接收到運算信息和當前幀的相位差像素數(shù)據(jù) 后，根據(jù)該運算信息內(nèi)的幀數(shù)，從相位差像素幀存儲器214接收運算所使用的數(shù)量的過去幀的對應(yīng)的相位差像素數(shù)據(jù)。相位差像素運算部2122針對由相位差像素提取部211讀出的每幀的相位差像素數(shù)據(jù)，對當前幀和過去幀中的同一坐標的焦點檢測數(shù)據(jù)進行相加。相位差像素運算部2122將相加后的相位差像素數(shù)據(jù)發(fā)送到相位差像素幀存儲器214。

另外，相位差像素運算部2122也可以具有減法、乘法、除法的功能，也可以根據(jù)判定部2121的判定結(jié)果而復(fù)合地執(zhí)行各種運算。該情況下，判定部2121生成的運算信息還包括相加運算以外的運算的有無、表示執(zhí)行多個運算的順序的運算式等。例如，設(shè)過去幀的幀數(shù)為“1”、運算式為“(當前幀+過去幀)/2”的運算信息表示當前幀與1幀的過去幀的相加平均。另外，乘法的功能例如用于對相位差像素數(shù)據(jù)進行增益放大的情況。并且，相減的功能例如用于通過對幀間的輸出差進行評價來估計被攝體在幀間移動的程度的情況。

另外，如圖5所示，像素數(shù)據(jù)加工部212內(nèi)的具體結(jié)構(gòu)也可以構(gòu)成為具有SEL(選擇器)2123、2125、2127、加減處理部2124、乘除處理部2126。這里，各SEL2123、2125、2127可以具有與上述判定部2121相同的功能，加減處理部2124和乘除處理部2126可以具有與上述相位差像素運算部2122相同的功能。例如，SEL2123在從相位差像素提取部211接收到各相位差像素數(shù)據(jù)后，判定是否執(zhí)行相加運算和/或相減運算。SEL2123將判定為執(zhí)行相加運算和/或相減運算的相位差像素數(shù)據(jù)發(fā)送到加減處理部2124，在否的情況下將其發(fā)送到SEL2125。加減處理部2124在從SEL2123接收到相位差像素數(shù)據(jù)后，讀出過去幀中的同一坐標的相位差像素數(shù)據(jù)，執(zhí)行相加運算和/或相減運算。加減處理部2124將執(zhí)行運算后的相位差像素數(shù)據(jù)發(fā)送到SEL2125。SEL2125接收到相位差像素數(shù)據(jù)后，判定是否執(zhí)行相乘運算和/或相除運算。SEL2125將判定為執(zhí)行相乘運算和/或相除運算的相位差像素數(shù)據(jù)發(fā)送到乘除處理部2126，在否的情況下將其發(fā)送到SEL2127。乘除處理部2126從SEL2125接收到相位差像素數(shù)據(jù)后，讀出過去幀中的同一坐標的相位差像素數(shù)據(jù)，執(zhí)行相乘運算和/或相除運算。乘除處理部2126將執(zhí)行運算后的相位差像素數(shù)據(jù)發(fā)送到SEL2127。SEL2127接收到相位差像素數(shù)據(jù)后，判定是否根據(jù)該相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。SEL2127在判定為執(zhí)行焦點檢測動作的情況下，將該相位差像素數(shù)據(jù)發(fā)送到相位差像素幀存儲器214。

這里，返回圖4的說明。當基于像素數(shù)據(jù)加工部212的判定和運算結(jié)束后，測距運算處理部213讀出從像素數(shù)據(jù)加工部212寫入到相位差像素幀存儲器214中的加工后的相位差像素數(shù)據(jù)。在判定部2121的判定結(jié)果為判定為根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下，測距運算處理部213應(yīng)用由相位差像素運算部2122進行相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。并且，在判定部2121的判定結(jié)果為判定為不根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下，測距運算處理部213應(yīng)用該當前幀的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。測距運算處理部213將焦點檢測動作的執(zhí)行結(jié)果發(fā)送到CPU16。

這里，通過檢測基于R/L開口像素和T/B開口像素的像素數(shù)據(jù)的對兒之間產(chǎn)生的相位差，執(zhí)行本實施方式中的測距運算處理。但是，關(guān)于檢測到的相位差，在R/L、T/B的任意情況下，均不僅使用各一個像素的對兒之間的相位差，還使用測距區(qū)內(nèi)等規(guī)定范圍內(nèi)的多個像素的對兒之間的相位差的平均值。

相位差像素幀存儲器214是能夠從各部211、212、213進行讀出/寫入的存儲器，具有R開口像素保持部2141、L開口像素保持部2142、T開口像素保持部2143、B開口像素保持部2144。各開口像素保持部2141-2144以幀單位，與坐標信息對應(yīng)地存儲按照開口方向等的每個條件以光柵順序由相位差像素提取部211進行分類并讀出的相位差像素數(shù)據(jù)。即，R開口像素保持部2141存儲右開口像素，L開口像素保持部2142存儲左開口像素，T開口像素保持部2143存儲上開口像素，B開口像素保持部2144存儲下開口像素的相位差像素數(shù)據(jù)。并且，各開口像素保持部2141-2144也可以存儲由相位差像素提取部211根據(jù)遮光率的差異等其他相位差像素特性進一步進行分類后的相位差像素數(shù)據(jù)。相位差像素幀存儲器214根據(jù)相位差像素運算部2122的請求而讀出過去幀的相位差像素數(shù)據(jù)，將其發(fā)送到相位差像素運算部2122。相位差像素幀存儲器214存儲從像素數(shù)據(jù)加工部212發(fā)送的加工后的相位差像素數(shù)據(jù)，根據(jù)來自測距運算處理部213的請求將其發(fā)送到測距運算處理部213。另外，相位差像素幀存儲器214不限于測距運算部21內(nèi)，也可以一并設(shè)置在存儲部17內(nèi)。

這里，圖6和圖7示出存儲本實施方式中讀出的像素數(shù)據(jù)的存儲器內(nèi)的存儲區(qū)域的例子。在圖6的例子中，關(guān)于某幀的像素數(shù)據(jù)，不區(qū)分記錄像素和相位差像素，以水平同步信號2011為觸發(fā)，從配置在第1行的像素的像素數(shù)據(jù)起依次按照每1行從攝像元件13中讀出并依次寫入到存儲區(qū)域中。并且，關(guān)于下一幀的像素數(shù)據(jù)，以垂 直同步信號2012為觸發(fā)，再次從第1行起依次按照每1行從攝像元件13中讀出并寫入到存儲區(qū)域中。在圖6中，存儲區(qū)域2013示出被分配了與像素排列的行和列對應(yīng)的坐標的區(qū)域。這里，存儲區(qū)域2013的左端和上端所示的編號分別對應(yīng)于像素排列的行編號和列編號。示出存儲區(qū)域2013內(nèi)的空白的存儲區(qū)域2013a是記錄像素數(shù)據(jù)的存儲區(qū)域。并且，示出標注了L、R、T、B等文字的存儲區(qū)域2013b分別是在左右上下方向上開口的相位差像素數(shù)據(jù)的存儲區(qū)域。在存儲區(qū)域2013內(nèi)，以垂直同步信號2012為觸發(fā)開始進行1幀的像素數(shù)據(jù)的存儲，以水平同步信號2011為觸發(fā)按照每1行存儲像素數(shù)據(jù)。相位差像素數(shù)據(jù)也可以還與各相位差像素被遮光的左右上下(L、R、T、B)的朝向、遮光率、光學濾波器的種類等相位差像素特性相關(guān)聯(lián)而存儲在存儲區(qū)域2013b中。

在圖7中，示出在存儲區(qū)域2014、2015中分開存儲記錄像素數(shù)據(jù)和相位差像素數(shù)據(jù)的例子。在圖7的例子中，關(guān)于某幀的像素數(shù)據(jù)，在水平期間的前半部分中，僅從記錄像素的像素數(shù)據(jù)讀出并依次寫入到存儲區(qū)域中。并且，在圖7的例子中，關(guān)于某幀的像素數(shù)據(jù)，在水平期間的后半部分中，僅從相位差像素的像素數(shù)據(jù)讀出并依次寫入到存儲區(qū)域中。在圖7中，與圖6同樣，示出存儲區(qū)域2014a是存儲記錄像素數(shù)據(jù)的區(qū)域。另一方面，示出存儲區(qū)域2014b不是存儲相位差像素數(shù)據(jù)的區(qū)域、而是存儲通過周圍相鄰的相同顏色像素的記錄像素數(shù)據(jù)進行插值后的值X(n)作為記錄像素數(shù)據(jù)的區(qū)域。相位差像素數(shù)據(jù)在水平期間的前半部分中例如暫時保持在設(shè)于攝像元件13中的行存儲器中。在同一行的記錄像素數(shù)據(jù)存儲在存儲區(qū)域2014中之后，讀出行存儲器中保持的相位差像素數(shù)據(jù)，將其存儲在存儲區(qū)域2015b中。在存儲相位差像素數(shù)據(jù)的區(qū)域以外的存儲區(qū)域2015a中存儲偽數(shù)據(jù)D。無論哪種情況下，本實施方式中讀出的像素數(shù)據(jù)與像素排列的坐標對應(yīng)地進行存儲。并且，該像素排列的坐標還與相位差像素數(shù)據(jù)的遮光朝向、遮光率、光學濾波器的種類這樣的相位差像素特性相關(guān)聯(lián)地進行存儲。

接著，如上所述對本實施方式的攝像裝置的具體動作進行說明。圖8是示出基于攝像裝置的焦點檢測動作的處理的流程圖。圖8中的各處理主要由測距運算部21和圖像處理部24來執(zhí)行。并且，圖8例如在靜態(tài)圖像拍攝模式中使操作部20的快門按鈕成為半按狀態(tài)的情況下開始，但是，也可以在動態(tài)圖像拍攝時或?qū)崟r取景時開始。另外，伴隨圖8中的各處理，作為一例，照相機1按照圖9所示的時序圖進行動作。 即，下面設(shè)為照相機1按照CMOS傳感器方式對攝像元件驅(qū)動部15進行驅(qū)動、通過滾動讀出而從攝像元件13中蓄積的電荷中讀出像素數(shù)據(jù)來進行說明。

首先，CPU16將圖9(A)所示的垂直同步信號和圖9(B)所示的水平同步信號發(fā)送到攝像元件驅(qū)動部15。

接著，如圖9(C)所示，攝像元件驅(qū)動部15執(zhí)行攝像元件13中的電荷的蓄積和像素數(shù)據(jù)的輸出掃描。具體而言，攝像元件驅(qū)動部15從時刻T0起進行電子快門的控制。攝像元件13的受光部通過該控制，從配置在攝像元件13上的像素的上部到下部依次逐行錯開時間并在一定時間內(nèi)進行曝光。攝像元件驅(qū)動部15在曝光結(jié)束后的時刻T1開始進行像素數(shù)據(jù)的輸出。這里，在圖9中，相位差像素配置在配置有記錄像素的范圍中的、除了受光面的上下端以外的范圍內(nèi)。因此，如圖9(D)所示，在時刻T1～時刻T4的期間內(nèi)輸出記錄像素數(shù)據(jù)F1，如圖9(E)所示，在時刻T2～時刻T3的期間內(nèi)輸出相位差像素數(shù)據(jù)Z1。照相機1按照每幀反復(fù)執(zhí)行這種時刻T0～時刻T4中的一連串動作，依次輸出幀編號n中的記錄像素數(shù)據(jù)Fn和相位差像素數(shù)據(jù)Zn。

相位差像素提取部211按照攝像元件13的攝像動作的每幀，讀出針對各相位差像素在相同的蓄積時間內(nèi)執(zhí)行蓄積動作而得到的相位差像素數(shù)據(jù)(ST110)。在圖9中，相位差像素提取部211讀出幀編號“1”中輸出的相位差像素數(shù)據(jù)Z1，將其存儲在相位差像素幀存儲器214中，并且發(fā)送到像素數(shù)據(jù)加工部212。此時，在相位差像素幀存儲器214中，至少存儲有幀編號“0”的相位差像素數(shù)據(jù)Z0作為過去幀的像素數(shù)據(jù)。

判定部2121根據(jù)各相位差像素的特性和與各相位差像素對應(yīng)的相位差像素數(shù)據(jù)，判定是否根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作(ST120)。

具體而言，判定部2121在判定為根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下(ST120；是)，將當前幀的相位差像素數(shù)據(jù)Z1發(fā)送到相位差像素運算部2122。相位差像素運算部2122從相位差像素幀存儲器214接收過去幀的相位差像素數(shù)據(jù)，對各幀間的同一坐標的相位差像素數(shù)據(jù)進行相加(ST130)。相位差像素運算部2122將該相加后的相位差像素數(shù)據(jù)發(fā)送到相位差像素幀存儲器214。另一方面，判定部2121在判定為不根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下(ST120；否)，將當前幀的相位差像素數(shù)據(jù)發(fā)送到相位差像素幀存儲器214。像素數(shù) 據(jù)加工部212反復(fù)執(zhí)行步驟ST120-ST130，直到針對全部相位差像素執(zhí)行步驟ST120-130為止(ST140)。

另外，在圖9的例子中，假設(shè)判定部2121針對全部相位差像素數(shù)據(jù)判定為進行相加的情況。因此，如圖9(F)所示，相位差像素運算部2122對相位差像素數(shù)據(jù)Z1和1幀前的相位差像素數(shù)據(jù)Z0進行相加，生成相位差像素數(shù)據(jù)S1。

這里，關(guān)于圖9所示的相加運算的例子，當在攝像元件13的像素排列上進行考慮時，如圖10所示，針對配置在同一坐標上的相位差像素的像素數(shù)據(jù)彼此執(zhí)行相加運算。這里，各像素排列2016-2018的相位差像素數(shù)據(jù)的數(shù)值分別表示幀編號“0”、幀編號“1”、以及對幀編號“0”和幀編號“1”進行相加運算的情況下的值。并且，示出各像素排列2016-2018上的空白的區(qū)域是記錄像素，示出標注數(shù)值的區(qū)域是輸出該數(shù)值的相位差像素數(shù)據(jù)的相位差像素。另外，在實際的相加運算時，如圖11所示，相位差像素提取部211在以光柵順序或開口朝向順序等規(guī)定順序重新排列的狀態(tài)下，僅從存儲區(qū)域中讀出相位差像素數(shù)據(jù)。這里，各存儲區(qū)域2019-2021的數(shù)值分別表示幀編號“0”、幀編號“1”、以及對幀編號“0”和幀編號“1”進行相加運算的情況下的值。并且，根據(jù)需要，所讀出的相位差像素數(shù)據(jù)還與遮光朝向、遮光率、光學濾波器的種類這樣的相位差像素特性進行關(guān)聯(lián)。因此，相位差像素運算部2122能夠保證與預(yù)定的相位差像素的坐標配置、開口朝向、遮光率、以及光學濾波器類別等相位差像素特性之間的對應(yīng)關(guān)系，能夠在最小限度的存儲器區(qū)域內(nèi)執(zhí)行幀間的運算。

測距運算處理部213從相位差像素幀存儲器214中讀出加工后的相位差像素數(shù)據(jù)。測距運算處理部213根據(jù)該加工后的相位差像素數(shù)據(jù)，在判定為根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的相位差像素中應(yīng)用相加后的相位差像素數(shù)據(jù)。并且，測距運算處理部213在判定為不根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的相位差像素中應(yīng)用當前幀的相位差像素數(shù)據(jù)，最終執(zhí)行焦點檢測動作(ST150)。

圖像處理部24接收執(zhí)行焦點檢測動作的幀中輸出的記錄像素數(shù)據(jù)，實施圖像處理而生成圖像數(shù)據(jù)。顯示部18例如在液晶顯示器中顯示所生成的圖像數(shù)據(jù)(ST160)。

并且，CPU16根據(jù)與由測距運算處理部213檢測到的焦點有關(guān)的信息，對鏡頭驅(qū)動部12發(fā)送控制信號，在以后的幀中執(zhí)行焦點調(diào)節(jié)控制。并且，CPU16對攝像元件驅(qū)動部15發(fā)送控制信號，進行控制以使得輸出焦點調(diào)節(jié)后的記錄像素數(shù)據(jù)。圖像處理部24接收進行了焦點調(diào)節(jié)后的記錄像素數(shù)據(jù)，實施圖像處理而生成圖像數(shù)據(jù)。 顯示部18例如在液晶顯示器中顯示進行焦點調(diào)節(jié)后的圖像數(shù)據(jù)。

接著，對上述步驟ST120-ST150中的與相位差像素的特性和對應(yīng)于該相位差像素的相位差像素數(shù)據(jù)對應(yīng)的判定動作和運算動作進行詳細說明。

判定部2121也可以根據(jù)各相位差像素數(shù)據(jù)的大小來執(zhí)行判定動作。具體而言，判定部2121在當前幀的相位差像素數(shù)據(jù)小于規(guī)定閾值的情況下，判定為根據(jù)與過去幀中的同一坐標的相位差像素數(shù)據(jù)進行相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。并且，判定部2121也可以根據(jù)當前幀的相位差像素數(shù)據(jù)的大小來決定要相加的過去幀的幀數(shù)。例如，在當前幀的相位差像素數(shù)據(jù)的大小為期望值的1/3左右的情況下，作為運算信息，判定部2121將過去幀的幀數(shù)設(shè)定為“2”，將其發(fā)送到相位差像素運算部2122。圖12是進行過去的2幀與當前幀的相加的情況下的時序圖，圖12(A)-(E)與圖9(A)-(E)相同。該情況下，如圖12(F)所示，在當前幀的幀編號為“2”時，相位差像素運算部2122將過去2幀中的相位差像素數(shù)據(jù)Z0、Z1與當前幀的相位差像素數(shù)據(jù)Z2進行相加，計算相位差像素數(shù)據(jù)S1。

并且，判定部2121也可以在當前幀的相位差像素數(shù)據(jù)為規(guī)定閾值以上的情況下，判定為不針對該相位差像素數(shù)據(jù)執(zhí)行相加運算。并且，判定部2121也可以在相位差像素數(shù)據(jù)為飽和附近的情況下，判定為在預(yù)先進行相除后執(zhí)行幀相加。

并且，作為各相位差像素的特性，判定部2121也可以根據(jù)各相位差像素的遮光率的特性來執(zhí)行判定動作。一般而言，在相位差像素的遮光率較小的情況下，被遮蔽的光為少量，所以，得到能夠確保測距精度的程度的相位差像素數(shù)據(jù)的輸出。另一方面，在遮光率較大的情況下，到達受光部的光被大幅遮蔽，所以，有時無法得到充分的輸出。因此，判定部2121在與判定對象的相位差像素數(shù)據(jù)對應(yīng)的相位差像素的遮光率較大的情況下，判定為根據(jù)與過去幀中的同一坐標的相位差像素數(shù)據(jù)進行相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。另一方面，在遮光率較小的情況下，判定部2121也可以判定為不對相位差像素數(shù)據(jù)進行相加，以噪聲去除為目的，也可以判定為根據(jù)相加平均來執(zhí)行焦點檢測動作。

并且，判定部2121也可以根據(jù)配置在各相位差像素的受光部的前表面上的光學濾波器的特性來執(zhí)行判定動作。如圖13所示，各相位差像素配置有根據(jù)波段而具有不同分光特性的G、B、R濾波器。G濾波器分光特性3001透射比較寬的波段。因此，在配置有G濾波器的相位差像素中，即使來自被攝體的反射光為藍、紅成分，也得 到能夠確保測距精度的程度的相位差像素數(shù)據(jù)。另一方面，B濾波器分光特性3002的紅成分等長波段的透射率較低，所以，在配置有B濾波器的相位差像素中，在長波長區(qū)域的被攝體的情況下，有時無法得到充分的輸出。同樣，R濾波器分光特性3003的藍成分等短波段的透射率較低，所以，在配置有R濾波器的相位差像素中，在短波長區(qū)域的被攝體的情況下，有時無法得到充分的輸出。因此，判定部2121針對配置有G濾波器的相位差像素數(shù)據(jù)判定為不進行相加，針對配置有B、R濾波器的相位差像素數(shù)據(jù)判定為進行相加。并且，判定部2121也可以按照光學濾波器的每個種類計算相位差像素數(shù)據(jù)的平均值，在該平均值小于規(guī)定閾值的情況下，判定為使用相加幀的相位差數(shù)據(jù)進行測距運算。并且，判定部2121也可以從存儲部17中讀出當前幀的記錄像素數(shù)據(jù)，根據(jù)該記錄像素數(shù)據(jù)中的R、G、B的輸出電平來判定是否進行相加運算。

如以上說明的那樣，在第1實施方式中，相位差像素提取部211按照攝像動作的每幀，讀出針對各相位差像素在相同的蓄積時間內(nèi)執(zhí)行蓄積動作而得到的相位差像素數(shù)據(jù)。判定部2121根據(jù)上述各相位差像素的特性和與上述各相位差像素對應(yīng)的相位差像素數(shù)據(jù)，判斷是否根據(jù)針對當前幀和過去幀中的同一坐標進行相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。由此，能夠提高測距運算的準確度，而不用對輸出記錄像素和相位差像素的像素數(shù)據(jù)的幀進行分離。因此，能夠執(zhí)行焦點檢測動作而不損害記錄像素輸出的連續(xù)性。并且，在如動態(tài)圖像模式那樣需要連續(xù)輸出基于記錄像素的幀的情況下，也不需要延長相位差像素讀出幀以在相位差像素的蓄積時間內(nèi)進行工作，能夠進行順暢的顯示。而且，不用設(shè)置僅相位差像素部獨立的電子快門電路，就能夠提高測距運算的準確度。因此，通過抑制由于攝像電路的復(fù)雜化、開口率的降低、追加電路的寄生電容增加等而導(dǎo)致的像素的讀出響應(yīng)降低，能夠防止輸出階梯差或殘像等相對于相鄰像素的性能劣化。并且，由于能夠針對幀內(nèi)的相位差像素單獨判斷是否進行相加，所以，能夠消除泛白或泛黑的相位差像素輸出。并且，能夠消除由于濾波器結(jié)構(gòu)成為與記錄像素不同的結(jié)構(gòu)而導(dǎo)致的聚光率的惡化、由于感光度過高而導(dǎo)致的針對相鄰記錄像素的泄漏這樣的副作用。

并且，判定部2121根據(jù)各相位差像素數(shù)據(jù)的輸出，判定是否根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。由此，即使是輸出較低的相位差像素數(shù)據(jù)，也能夠確保測距運算所需要的充分的輸出。特別是如實時取景、動態(tài)圖像時等那樣進行伴隨 傳感器的高速化而降低傳感器輸出的灰度的運用的情況下，通過對多個過去幀的輸出進行相加，也能夠抑制測距運算誤差。

并且，判定部2121根據(jù)各相位差像素的遮光率的特性，判定是否根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。由此，在入射光量被大幅限制的相位差像素和入射光量不太被限制的相位差像素中，能夠不使測距運算誤差產(chǎn)生差異。

并且，判定部2121根據(jù)配置在各相位差像素的受光部的前表面上的光學特性濾波器的特性，判定是否根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。由此，與根據(jù)被攝體的反射光的波段而產(chǎn)生的相位差像素數(shù)據(jù)的衰減無關(guān)，能夠確保測距運算精度。并且，不用為了得到相位差像素數(shù)據(jù)的輸出而配置濾色器，不用配置透明濾波器的結(jié)構(gòu)，就能夠確保測距運算精度。

并且，圖像處理部24讀出由測距運算部21執(zhí)行焦點檢測動作而得到的幀中的記錄像素數(shù)據(jù)，生成圖像數(shù)據(jù)。顯示部18根據(jù)所生成的圖像數(shù)據(jù)來執(zhí)行顯示動作。由此，能夠提供能夠保證顯示或記錄用的數(shù)據(jù)品質(zhì)、并且能夠確保測距性能的攝像裝置。

[第2實施方式]

接著，對本發(fā)明的第2實施方式進行說明。在上述第1實施方式中，根據(jù)相位差像素數(shù)據(jù)的大小、相位差像素的遮光率、光學濾波器的特性等相位差像素特性的差異這樣的能夠在攝像元件整個區(qū)域內(nèi)應(yīng)用的條件，判定是否執(zhí)行幀相加。但是，在實際執(zhí)行焦點檢測動作時，還考慮通過進一步限定執(zhí)行焦點檢測的區(qū)域來執(zhí)行更加精確的焦點檢測的情況。第2實施方式是如下的例子：在上述第1實施方式的基礎(chǔ)上，在進一步設(shè)定執(zhí)行焦點檢測動作的測距區(qū)的情況下，針對該設(shè)定的測距區(qū)內(nèi)的相位差像素判定是否執(zhí)行幀相加。這里，除了測距區(qū)的設(shè)定動作和判定動作以外，第2實施方式與第1實施方式相同。因此，省略照相機的結(jié)構(gòu)、與上述第1實施方式不同的動作以外的動作的說明。

圖14是示出第2實施方式中的基于攝像裝置的焦點檢測動作的流程圖。首先，操作部20接受來自用戶的操作，設(shè)定執(zhí)行焦點檢測動作的測距區(qū)(ST210)。操作部20將與該設(shè)定的測距區(qū)有關(guān)的信息發(fā)送到CPU16。CPU16根據(jù)所設(shè)定的測距區(qū)來執(zhí)行焦點檢測動作的動作順序。

CPU16將基于曝光運算部22的運算結(jié)果的控制信號發(fā)送到攝像元件驅(qū)動部15。攝像元件13和攝像元件驅(qū)動部15執(zhí)行攝像元件13中的基于曝光的電荷的蓄積和像 素數(shù)據(jù)的輸出掃描。

相位差像素提取部211按照攝像元件13的攝像動作的每幀，讀出針對各相位差像素在相同的蓄積時間內(nèi)執(zhí)行蓄積動作而得到的相位差像素數(shù)據(jù)(ST220)。判定部2121根據(jù)各相位差像素的特性和與各相位差像素對應(yīng)的相位差像素數(shù)據(jù)，判定是否根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作。并且，判定部2121根據(jù)包含相位差像素的焦點檢測區(qū)，判定是否根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作(ST230)。

具體而言，判定部2121在判定為根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下(ST230；是)，將當前幀的相位差像素數(shù)據(jù)Z1發(fā)送到相位差像素運算部2122。相位差像素運算部2122從相位差像素幀存儲器214接收過去幀的相位差像素數(shù)據(jù)，對各幀間的同一坐標的相位差像素數(shù)據(jù)進行相加(ST240)。相位差像素運算部2122將該相加后的相位差像素數(shù)據(jù)發(fā)送到相位差像素幀存儲器214。另一方面，判定部2121在判定為不根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的情況下(ST230；否)，將當前幀的相位差像素數(shù)據(jù)發(fā)送到相位差像素幀存儲器214。像素數(shù)據(jù)加工部212反復(fù)執(zhí)行步驟ST230-ST240，直到針對測距區(qū)內(nèi)的全部相位差像素執(zhí)行步驟ST230-240為止(ST250)。

測距運算處理部213從相位差像素幀存儲器214中讀出加工后的相位差像素數(shù)據(jù)。測距運算處理部213根據(jù)該加工后的相位差像素數(shù)據(jù)，在判定為根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的相位差像素中應(yīng)用相加后的相位差像素數(shù)據(jù)。并且，測距運算處理部213在判定為不根據(jù)相加后的相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作的相位差像素中應(yīng)用當前幀的相位差像素數(shù)據(jù)，執(zhí)行焦點檢測動作(ST260)。

圖像處理部24接收執(zhí)行焦點檢測動作的幀中輸出的記錄像素數(shù)據(jù)，實施圖像處理而生成圖像數(shù)據(jù)。顯示部18例如在液晶顯示器中顯示所生成的圖像數(shù)據(jù)(ST270)。

并且，CPU16根據(jù)與由測距運算處理部213檢測到的焦點有關(guān)的信息，對鏡頭驅(qū)動部12發(fā)送控制信號，在以后的幀中執(zhí)行焦點調(diào)節(jié)控制。并且，CPU16對攝像元件驅(qū)動部15發(fā)送控制信號，進行控制以使得輸出焦點調(diào)節(jié)后的記錄像素數(shù)據(jù)。圖像處理部24接收進行焦點調(diào)節(jié)后的記錄像素數(shù)據(jù)，實施圖像處理而生成圖像數(shù)據(jù)。顯示部18在液晶顯示器中顯示進行焦點調(diào)節(jié)后的圖像數(shù)據(jù)。

接著，對上述步驟ST230-ST260中的基于執(zhí)行焦點檢測動作的測距區(qū)的判定動 作和運算動作進行詳細說明。

判定部2121也可以根據(jù)包含相位差像素的測距區(qū)(焦點檢測區(qū))來執(zhí)行判定動作。具體而言，判定部2121可以根據(jù)測距區(qū)內(nèi)的各相位差像素的像高來執(zhí)行判定動作。

圖15是示出攝像元件13與像高的相關(guān)關(guān)系的一例的圖。圖15(A)示出如下狀況：設(shè)區(qū)域D為光軸中心相當區(qū)域，根據(jù)與光軸之間的距離(像高)，在水平方向上如區(qū)域A-G那樣劃分記錄像素配置區(qū)域4001內(nèi)的相位差像素配置區(qū)域4002。這里，在設(shè)像高為橫軸的情況下，區(qū)域A-G中的記錄像素數(shù)據(jù)和相位差像素數(shù)據(jù)的輸出電平如圖15(B)那樣表示。即，關(guān)于記錄像素數(shù)據(jù)輸出4003，由于微鏡頭的入射角特性、光瞳位置等鏡頭特性參數(shù)，從光軸分開距離的區(qū)域A和G與接近光軸的區(qū)域D相比，輸出電平降低。另一方面，關(guān)于相位差像素數(shù)據(jù)，輸出電平的變化狀況根據(jù)開口朝向而不同。即，關(guān)于右開口相位差像素數(shù)據(jù)輸出4004r，在左側(cè)的區(qū)域A中，輸出電平降低，關(guān)于左開口相位差像素數(shù)據(jù)輸出4004l，在右側(cè)的區(qū)域G中，輸出電平降低。這樣，關(guān)于相同像高處的相位差像素，在其開口朝向中，輸出電平的大小產(chǎn)生差異。在測距運算中，如圖15(C)所示，在執(zhí)行相關(guān)運算時，通過增益放大等對R/L、T/B的對兒中的相位差像素數(shù)據(jù)的輸出差進行校正。在圖15(C)的例子中，右開口相位差像素數(shù)據(jù)輸出4004r和左開口相位差像素數(shù)據(jù)輸出4004l的像素數(shù)據(jù)輸出被均勻化，成為校正后右開口相位差像素數(shù)據(jù)輸出4005r和校正后左開口相位差像素數(shù)據(jù)輸出5005l。但是，如上所述在輸出電平產(chǎn)生較大差異的情況下，根據(jù)增益放大，無法正確地執(zhí)行輸出差的校正，其結(jié)果，成為測距精度降低的要因。

因此，判定部2121根據(jù)包含執(zhí)行焦點檢測動作的對象的測距區(qū)的像高區(qū)域，根據(jù)與預(yù)先存儲的各像高的輸出相對比有關(guān)的信息，判定是否使R/L或T/B的輸出電平均勻化。判定部2121在判定為使輸出電平均勻化的情況下，判定為按照每幀對R/L或T/B的相位差像素中的輸出較低的像素數(shù)據(jù)進行相加。并且，判定部2121也可以判定為針對輸出較高的像素數(shù)據(jù)按照每幀進行相加后計算平均值。

并且，判定部2121也可以根據(jù)測距區(qū)內(nèi)的垂直開始坐標和垂直結(jié)束坐標之間的掃描時間以及蓄積時間來執(zhí)行判定動作。

圖16是示出配置在受光面上的相位差像素的開口朝向與相關(guān)運算時取得相關(guān)的焦點檢測像素數(shù)據(jù)之間的關(guān)系的一例的圖。在圖16中，將在左右上下配置開口相位 差像素的區(qū)域的像素數(shù)據(jù)分別表示為L、R、T、B。這里，在圖16的例子中，針對在行方向(垂直方向)上計算出的相位差像素數(shù)據(jù)(T1，B1)、(T2，B2)、(T3，B3)、(T4，B4)執(zhí)行基于T/B像素的相關(guān)運算。這樣，在T/B像素中執(zhí)行相關(guān)運算的情況下，在不同時間段內(nèi)曝光的相位差像素彼此之間執(zhí)行相關(guān)運算。因此，在光源的輸出存在時間變動的情況下，各相位差像素數(shù)據(jù)間的輸出產(chǎn)生差異。測距運算處理部213應(yīng)用這種相位差像素數(shù)據(jù)來執(zhí)行焦點檢測動作時，可能將基于光源的時間變化的輸出變動誤識別為被攝體成分。

另一方面，針對在列方向(水平方向)上計算出的相位差像素數(shù)據(jù)(R1，L1)、(R2，L2)、(R3，L3)、(R4，L4)執(zhí)行基于R/L像素的相關(guān)運算。因此，在R/L像素中執(zhí)行相關(guān)運算的情況下，在相同時間內(nèi)曝光的相位差像素彼此之間執(zhí)行相關(guān)運算，所以，在光源的輸出存在時間變動的情況下，各相位差像素數(shù)據(jù)間的輸出的差異也較小。

這樣，例如在由于以閃爍等為代表的光源的閃光而使光源的明暗變動的情況下，該閃爍成分可能主要影響T/B方向開口像素的測距運算。并且，例如，夜景或彩飾等LED(Light Emitting Diode)光源包含100Hz等的閃爍成分，而且局部地存在光源，所以，有時無法判斷基于閃爍運算部23的閃爍檢測本身。

這里，作為對由于閃爍成分而使測距區(qū)內(nèi)的相位差像素輸出變動的狀況進行說明的一例，圖17、18示出從測距區(qū)的垂直掃描開始到垂直掃描結(jié)束的掃描時間和蓄積時間的關(guān)系以及與時間變動的光源輸出之間的關(guān)系。圖17(A)、(B)是示出在行方向上分布的多個測距區(qū)(H1-H5或H’1-H’3)中的蓄積和輸出掃描的時序圖，是示出與光源輸出5001的時間變動之間的關(guān)系的示意圖。光源輸出5001的時間變動示出亮度周期性地變化。并且，圖18是示出圖17(B)的測距區(qū)內(nèi)的T/B方向開口像素中蓄積的光源輸出5001變動的狀況的示意圖。另外，圖18內(nèi)的各像素配置區(qū)域5002、5003表示相鄰的幀中的包含測距區(qū)H’1的行。另外，在圖18中，用空白示出在光源輸出5001較強的時間段內(nèi)蓄積電荷的行，用陰影示出在光源輸出5001較弱的時間段內(nèi)蓄積電荷的行。

在圖17(A)中的測距區(qū)H1中，在時刻T10-T30執(zhí)行上部(垂直開始坐標)的行的蓄積，在時刻T20-T40執(zhí)行下部(垂直結(jié)束坐標)的行的蓄積。這里，關(guān)于時刻T10-T30和時刻T20-T40中的光源輸出5001的變動，大半部分的時間段重復(fù)，均持 續(xù)進行較高的輸出。

另一方面，在圖17(B)中的測距區(qū)H’1中，在時刻T’10-T’30執(zhí)行垂直開始坐標的行的蓄積，在時刻T’20-T’40執(zhí)行垂直結(jié)束坐標的行的蓄積。并且，在下一幀中，在時刻T’50-T’70執(zhí)行垂直開始坐標的行的蓄積，在時刻T’60-T’80執(zhí)行垂直結(jié)束坐標的行的蓄積。這里，關(guān)于時刻T’10-T’30中的光源輸出5001的變動，持續(xù)進行比較弱的輸出。因此，圖18的像素配置區(qū)域5002中的垂直開始坐標的行在光源輸出5001較弱的時間段內(nèi)蓄積電荷。另一方面，關(guān)于時刻T’20-T’40中的光源輸出5001的變動，持續(xù)進行比較強的輸出。因此，圖18的像素配置區(qū)域5002中的垂直結(jié)束坐標的行在光源輸出5001較強的時間段內(nèi)蓄積電荷。這種情況下，測距區(qū)H’1內(nèi)的T/B像素輸出受到閃爍成分的影響，相關(guān)運算時的精度劣化。這是因為，進行測距區(qū)H’1內(nèi)的相位差像素配置行數(shù)的讀出所需要的時間T’30-T’40與蓄積時間T’10-T’30相同或比其更長。

這種閃爍成分的影響表現(xiàn)為按照多個幀中的每個幀而變動。例如，在圖18中，關(guān)于時刻T’50-T’70中的光源輸出5001的變動，持續(xù)進行比較強的輸出。因此，圖18的下一幀的像素配置區(qū)域5003中的垂直開始坐標的行在光源輸出5001較強的時間段內(nèi)蓄積電荷。另一方面，關(guān)于時刻T’60-T’80中的光源輸出5001的變動，持續(xù)進行比較弱的輸出。因此，圖18的下一幀的像素配置區(qū)域5003中的垂直結(jié)束坐標的行在光源輸出5001較強的時間段內(nèi)蓄積電荷。即，通過按照每幀進行相加或相加平均，能夠使由于閃爍成分而產(chǎn)生的測距區(qū)內(nèi)的每行的相位差像素數(shù)據(jù)的變動平滑。

因此，判定部2121在以下所示的條件式成立的情況下，判定為按照每幀對T/B的相位差像素的像素數(shù)據(jù)進行相加，由此使閃爍成分的影響平滑。

(進行測距區(qū)內(nèi)的相位差像素配置行數(shù)的讀出所需要的時間)≧蓄積時間

并且，判定部2121也可以在上述條件式成立的情況下，在按照每幀對T/B的相位差像素的像素數(shù)據(jù)進行相加后，通過除以相加后的幀數(shù)而計算相加平均來進行判定。

如以上說明的那樣，在第2實施方式中，設(shè)定執(zhí)行焦點檢測動作的焦點檢測區(qū)，根據(jù)包含各相位差像素的上述設(shè)定的焦點檢測區(qū)進行判定。由此，由于根據(jù)所設(shè)定的焦點檢測區(qū)的像高來判定是否進行相加處理，所以，除了第1實施方式的效果以外，還能夠?qū)Ω鶕?jù)像高而變動的輸出電平進行校正。因此，能夠提供能夠保證顯示或記錄 用的數(shù)據(jù)品質(zhì)、并且能夠確保測距性能的攝像裝置。

具體而言，在測距運算中，對R/L、T/B的成對兒的相位差像素數(shù)據(jù)的輸出差進行校正，執(zhí)行R/L、T/B間的相關(guān)運算。但是，在相位差像素中，根據(jù)所設(shè)定的測距區(qū)的像高以及該測距區(qū)內(nèi)的相位差像素的開口朝向，R/L或T/B間的輸出不均勻，所以，測距運算的精度劣化。在現(xiàn)有技術(shù)中，為了使輸出均勻，對R/L或T/B間的相位差像素數(shù)據(jù)中的一方附加增益。因此，在現(xiàn)有技術(shù)中，在輸出較低的像高區(qū)域中，由于附加增益而使數(shù)據(jù)變得離散，可能對測距運算精度造成影響。并且，在現(xiàn)有技術(shù)中，還存在數(shù)據(jù)內(nèi)的噪聲也由于增益而被放大這樣的影響。與此相對，在第2實施方式中，針對由于開口朝向而導(dǎo)致的輸出的不均勻，按照每個相位差像素來判定是否進行相加，由此，輸出較低的像高區(qū)域按照每幀對輸出進行相加，從而能夠確保輸出電平。并且，由于在幀間對輸出進行相加，所以，能夠減輕噪聲的影響，并且能夠使R/L或T/B間的輸出均勻。

并且，根據(jù)上述設(shè)定的焦點檢測區(qū)內(nèi)的垂直開始坐標和垂直結(jié)束坐標之間的掃描時間以及蓄積時間進行判定。由此，在滾動快門控制中按照每1行執(zhí)行復(fù)位處理、讀出處理的情況下，能夠減少T/B像素中產(chǎn)生的閃爍的影響。并且，在全局快門控制中，也能夠減小由于幀間可能產(chǎn)生的閃爍的影響而導(dǎo)致的輸出電平的變動。

以上根據(jù)各實施方式說明了本發(fā)明，但是，本發(fā)明不限于上述各實施方式，能夠在本發(fā)明的主旨范圍內(nèi)進行各種變形和應(yīng)用。

例如，本發(fā)明的各實施方式中的電荷的讀出方式不限于上述例子，還可以適當應(yīng)用如圖19(A)所示對記錄像素輸出和相位差像素輸出的幀進行分離的方式、如圖19(B)所示設(shè)置僅相位差像素獨立的電子快門的方式。

并且，本發(fā)明的各實施方式中的判定動作也可以預(yù)先決定要相加的幀數(shù)，以減少運算量的增加。具體而言，判定部2121也可以通過使要相加的幀數(shù)成為2的冪乘來減少運算量的增加。

并且，也可以考慮被攝體在幀間移動的情況來執(zhí)行本發(fā)明的各實施方式中的判定動作。例如，在幀間對同一被攝體進行攝像而得到的相位差像素數(shù)據(jù)的坐標不同的情況下，像素數(shù)據(jù)加工部212也可以針對對同一被攝體進行攝像而得到的相位差像素數(shù)據(jù)彼此執(zhí)行運算。具體而言，判定部2121在判定為執(zhí)行焦點檢測動作的情況下，也可以計算當前幀與過去幀之間的被攝體的偏移量。判定部2121也可以根據(jù)計算出的 幀間的被攝體的偏移量，決定在幀間具有相同特征的相位差像素的對應(yīng)關(guān)系。相位差像素運算部2122也可以根據(jù)該決定的對應(yīng)關(guān)系來執(zhí)行相加運算。

并且，第1實施方式中示出的判定動作和第2實施方式中示出的判定動作不限于分別單獨實施的情況，也可以任意組合實施。具體而言，判定部2121也可以復(fù)合地執(zhí)行基于相位差像素數(shù)據(jù)的輸出、遮光率的特性、光學濾波器的特性、測距區(qū)、垂直開始坐標和垂直結(jié)束坐標之間的掃描時間和蓄積時間的判定。相位差像素運算部2122也可以根據(jù)該復(fù)合執(zhí)行的判定結(jié)果而執(zhí)行至少包含相加的運算，測距運算處理部213也可以應(yīng)用該運算結(jié)果，最終執(zhí)行焦點檢測動作。

并且，通過上述各實施方式所公開的多個結(jié)構(gòu)要素的適當組合，能夠形成各種發(fā)明。例如，可以從各實施方式所示的全部結(jié)構(gòu)要素中刪除若干個結(jié)構(gòu)要素。進而，可以適當組合不同實施方式的結(jié)構(gòu)要素。