專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，更具體地講，涉及對(duì)色彩信息進(jìn)行插值的圖像處理設(shè)備和圖像處理方法以及使得計(jì)算機(jī)執(zhí)行該方法的程序。
背景技術(shù)：
最近，使用成像器件對(duì)例如人的物體進(jìn)行成像以產(chǎn)生成像圖像并且記錄產(chǎn)生的成像圖像的成像設(shè)備(例如，數(shù)字相機(jī))已經(jīng)得到廣泛應(yīng)用。以拜爾陣列形式布置在布置于光接收表面中的像素中的彩色濾光器的成像器件已經(jīng)得到廣泛應(yīng)用。最近，在多功能和高分辨率的成像設(shè)備以后，已經(jīng)考慮這樣一種成像器件在布置在成像器件中的像素中布置除用于產(chǎn)生圖像的像素以外的像素，或著布置利用除用于拜爾陣列的彩色濾光器(R、G和B)之外的彩色濾光器的像素。例如，考慮這樣一種成像器件，其中用于產(chǎn)生圖像的現(xiàn)有像素(圖像產(chǎn)生像素)和用于多功能的新像素布置在同一成像器件內(nèi)。例如，已經(jīng)提出了包括這種成像器件的成像設(shè)備，例如像素(相差檢測(cè)像素)對(duì)通過成像透鏡的光進(jìn)行光瞳分割的成像設(shè)備(例如，日本未審專利申請(qǐng)公布No. 2009-145401)。這個(gè)成像設(shè)備對(duì)由光接收部件接收的一半被攝體光進(jìn)行遮蔽并且提供用于執(zhí)行光瞳分割以形成一對(duì)圖像的相差檢測(cè)像素并且測(cè)量形成的圖像之間的間隙以計(jì)算聚焦偏離。這個(gè)成像設(shè)備基于計(jì)算的聚焦偏離計(jì)算成像透鏡的移動(dòng)量并且基于計(jì)算的移動(dòng)量調(diào)整成像透鏡的位置，從而執(zhí)行聚焦控制。

發(fā)明內(nèi)容
在上述的現(xiàn)有技術(shù)中，由于相差檢測(cè)像素和圖像產(chǎn)生像素包括在一個(gè)成像器件中，所以不需要單獨(dú)地向成像設(shè)備提供包括用于聚焦檢測(cè)的成像器件和用于成像圖像的成像器件的兩個(gè)成像器件。在上述的現(xiàn)有技術(shù)中，如果對(duì)由成像器件產(chǎn)生的圖像數(shù)據(jù)執(zhí)行插值處理，則使用圖像產(chǎn)生像素的像素值對(duì)相差檢測(cè)像素和圖像產(chǎn)生像素的色彩信息進(jìn)行插值(去馬賽克處理)。因此，與對(duì)由不包括相差檢測(cè)像素而僅僅包括圖像產(chǎn)生像素的成像器件產(chǎn)生的圖像數(shù)據(jù)執(zhí)行插值處理的情況相比較，用于插值處理的像素值的比率下降。在對(duì)由包括相差檢測(cè)像素和圖像產(chǎn)生像素的成像器件產(chǎn)生的圖像數(shù)據(jù)執(zhí)行插值處理的情況下，防止由于用于插值處理的像素值的比率的下降導(dǎo)致的圖像數(shù)據(jù)的圖像質(zhì)量下降是重要的。鑒于這些情況提供本發(fā)明，希望可以提高圖像數(shù)據(jù)的圖像質(zhì)量。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備、圖像處理方法和使得計(jì)算機(jī)執(zhí)行該方法的程序，其中，該圖像處理設(shè)備包括估計(jì)單元，被構(gòu)造為基于作為由成像器件產(chǎn)生的圖像數(shù)據(jù)的、包括確定像素值和圖像產(chǎn)生像素值的圖像數(shù)據(jù)的確定像素值來估計(jì)與成像器件的相差檢測(cè)像素的位置對(duì)應(yīng)的圖像產(chǎn)生像素值，其中所述成像器件包括用于產(chǎn)生用于進(jìn)行聚焦確定的確定像素值的相差檢測(cè)像素和用于產(chǎn)生用于產(chǎn)生圖像的圖像產(chǎn)生像素值的圖像產(chǎn)生像素；以及插值單元，被構(gòu)造為基于估計(jì)的圖像產(chǎn)生像素值和由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的各像素的圖像產(chǎn)生像素值進(jìn)行插值。因此，可以使用由相差檢測(cè)像素產(chǎn)生的確定像素值執(zhí)行圖像產(chǎn)生像素值的插值處理。圖像處理設(shè)備還可以包括距離信息產(chǎn)生單元，該距離信息產(chǎn)生單元被構(gòu)造為根據(jù)基于每個(gè)相差檢測(cè)像素的確定像素值計(jì)算的散焦量產(chǎn)生距離信息，插值單元基于估計(jì)的圖像產(chǎn)生像素值、距離信息以及由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的像素的圖像產(chǎn)生像素值進(jìn)行插值。因此，可以使用由距離信息產(chǎn)生單元產(chǎn)生的距離信息執(zhí)行圖像產(chǎn)生像素值的插值處理。在這種情況下，插值單元可以使用要進(jìn)行插值的像素作為基準(zhǔn)像素來設(shè)置要成為基準(zhǔn)像素的插值的色彩作為目標(biāo)色彩，如果使用距離信息插值基準(zhǔn)像素的圖像產(chǎn)生像素值則基于相差檢測(cè)像素的距離信息計(jì)算圖像產(chǎn)生像素的距離信息，設(shè)置位于距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的像素中的、保持與目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值的像素作為目標(biāo)像素，在基于距離信息通過目標(biāo)像素的距離信息指定的距離內(nèi)檢測(cè)距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的目標(biāo)像素，并且通過將與檢測(cè)的目標(biāo)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值的均值設(shè)置到與要進(jìn)行插值的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值來對(duì)圖像產(chǎn)生像素值進(jìn)行插值。因此，可以基于距離信息在通過目標(biāo)像素的距離信息指定的距離內(nèi)檢測(cè)靠近基準(zhǔn)像素的目標(biāo)像素并且通過將與檢測(cè)的目標(biāo)像素的目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值的均值設(shè)置成與要進(jìn)行插值的像素的目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值對(duì)圖像產(chǎn)生像素值進(jìn)行插值。在這種情況下，插值單元可以建立通過目標(biāo)像素的距離信息指定的距離的像素的次數(shù)分布，設(shè)置次數(shù)分布的次數(shù)屬于最大類的距離作為基準(zhǔn)，檢測(cè)與距離基準(zhǔn)預(yù)定范圍內(nèi)的距離對(duì)應(yīng)的目標(biāo)像素，并且設(shè)置與檢測(cè)的目標(biāo)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值的均值作為與要進(jìn)行插值的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值。因此，可以通過次數(shù)分布(柱狀圖)檢測(cè)目標(biāo)像素。相差檢測(cè)像素可以包括用于對(duì)被攝體光進(jìn)行聚焦的微透鏡、用于通過接收被攝體光產(chǎn)生圖像產(chǎn)生像素值的光接收部件和位于微透鏡與光接收部件之間以部分遮蔽被攝體光的遮光單元，以及估計(jì)單元基于由要進(jìn)行估計(jì)的相差檢測(cè)像素產(chǎn)生的確定像素值和由與要進(jìn)行估計(jì)的相差檢測(cè)像素相鄰的相差檢測(cè)像素產(chǎn)生的確定像素值計(jì)算與由要進(jìn)行估計(jì)的相差檢測(cè)像素的遮光單元遮蔽的光相關(guān)的像素值，并且基于計(jì)算的像素值和要進(jìn)行估計(jì)的相差檢測(cè)像素的確定像素值估計(jì)相差檢測(cè)像素的位置的圖像產(chǎn)生像素值。因此，可以計(jì)算與由相差檢測(cè)像素遮光單元遮蔽的光有關(guān)的像素值并且基于計(jì)算的像素值和要進(jìn)行估計(jì)的相差檢測(cè)像素的確定像素值估計(jì)相差檢測(cè)像素的位置的圖像產(chǎn)生像素值。在這種情況下，圖像產(chǎn)生像素可以包括由用于對(duì)指示紅色的波長(zhǎng)區(qū)域之外的光進(jìn)行遮蔽的紅色濾光器覆蓋的紅色像素、由用于對(duì)指示藍(lán)色的波長(zhǎng)區(qū)域之外的光進(jìn)行遮蔽的藍(lán)色濾光器覆蓋的藍(lán)色像素和由用于對(duì)指示綠色的波長(zhǎng)區(qū)域之外的光進(jìn)行遮蔽的綠色濾光器覆蓋的綠色像素，相差檢測(cè)像素由透射可見光區(qū)域的光的白色濾光器或透明層進(jìn)行覆蓋，以及估計(jì)單元估計(jì)與白色相關(guān)的圖像產(chǎn)生像素作為相差檢測(cè)像素的位置的圖像產(chǎn)生像素值。因此，可以估計(jì)與白色有關(guān)的圖像產(chǎn)生像素值作為相差檢測(cè)像素的位置的圖像產(chǎn)生像素值。插值單元可以使用要進(jìn)行插值的像素作為基準(zhǔn)像素將要成為基準(zhǔn)像素的插值的色彩設(shè)置成目標(biāo)色彩，對(duì)與構(gòu)成圖像數(shù)據(jù)的像素的圖像產(chǎn)生像素值的白色相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值，并且然后基于與位于距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值、與由同作為要進(jìn)行插值作為位于距離基準(zhǔn)像素預(yù)定范圍內(nèi)的像素的像素相同的濾光器覆蓋的像素的白色相關(guān)的圖像產(chǎn)生像素值和與基準(zhǔn)像素的白色相關(guān)的圖像產(chǎn)生像素值，對(duì)與基準(zhǔn)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。因此，可以基于與位于距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的像素的目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值、與由與要進(jìn)行插值的像素相同濾光器覆蓋作為位于距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的像素的像素的白色有關(guān)的圖像產(chǎn)生像素值和與基準(zhǔn)像素的白色有關(guān)的圖像產(chǎn)生像素值對(duì)與基準(zhǔn)像素的目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。插值單元可以與基于與位于距離基準(zhǔn)像素預(yù)定范圍內(nèi)的像素的白色相關(guān)的圖像產(chǎn)生像素值計(jì)算的白色相關(guān)的圖像產(chǎn)生像素值的低頻分量、與基于與由位于距離基準(zhǔn)像素預(yù)定范圍內(nèi)的目標(biāo)色彩的濾光器覆蓋的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值計(jì)算的目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值的低頻分量和與基準(zhǔn)像素的白色有關(guān)的圖像產(chǎn)生像素值，對(duì)與基準(zhǔn)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。因此，可以基于與目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值的低頻分量和與基準(zhǔn)像素的白色有關(guān)的圖像產(chǎn)生像素值對(duì)與基準(zhǔn)像素的目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。在成像器件中，在與特定方向正交的正交方向上交替布置通過在該特定方向上布置圖像產(chǎn)生像素而構(gòu)造的第一行和通過在該特定方向上布置相差檢測(cè)像素而構(gòu)造的第二行，以及插值單元基于與從與在基準(zhǔn)像素的正交方向上位于預(yù)定范圍內(nèi)的相差檢測(cè)像素的白色相關(guān)的圖像產(chǎn)生像素值計(jì)算的白色相關(guān)的圖像產(chǎn)生像素值的低頻分量和與從與位于預(yù)定范圍內(nèi)的綠色像素的綠色相關(guān)的圖像產(chǎn)生像素值計(jì)算的白色相關(guān)的圖像產(chǎn)生像素值的低頻分量以及與基準(zhǔn)像素的綠色相關(guān)的圖像產(chǎn)生像素值，對(duì)與綠色像素的白色相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。因此，可以對(duì)由通過在特定方向上布置圖像產(chǎn)生像素構(gòu)建的第一行和通過在特定方向上布置相差檢測(cè)像素的第二行在與特定方向正交的正交方向上進(jìn)行交替布置的成像器件產(chǎn)生的圖像數(shù)據(jù)的圖像產(chǎn)生像素值進(jìn)行插值。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備，包括距離信息產(chǎn)生單元，被構(gòu)造為基于針對(duì)每個(gè)相差檢測(cè)像素計(jì)算的散焦量產(chǎn)生距離信息，其中基于作為由成像器件產(chǎn)生的圖像數(shù)據(jù)的、包括確定像素值和圖像產(chǎn)生像素值的圖像數(shù)據(jù)的確定像素值來計(jì)算所述散焦量，所述成像器件包括用于產(chǎn)生用于進(jìn)行聚焦確定的確定像素值的相差檢測(cè)像素和用于產(chǎn)生用于產(chǎn)生圖像的圖像產(chǎn)生像素值的圖像產(chǎn)生像素，以及插值單元，該插值單元被構(gòu)造為基于產(chǎn)生的距離信息和由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的像素之中的要進(jìn)行插值的像素的圖像產(chǎn)生像素值進(jìn)行插值。因此，可以使用由距離信息產(chǎn)生單元產(chǎn)生的距離信息執(zhí)行圖像產(chǎn)生像素值的插值處理。根據(jù)本發(fā)明的實(shí)施例，可以獲得優(yōu)良效果(例如，提高圖像數(shù)據(jù)的圖像質(zhì)量)。


圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的成像系統(tǒng)的內(nèi)部結(jié)構(gòu)的例子的示意圖。圖2是示出根據(jù)本發(fā)明的第一實(shí)施例的成像系統(tǒng)的成像設(shè)備的功能結(jié)構(gòu)的例子的框圖。圖3是示出根據(jù)本發(fā)明的第一實(shí)施例的去馬賽克單元的功能結(jié)構(gòu)的例子的框圖。
圖4是示出包括在根據(jù)本發(fā)明的第一實(shí)施例的成像器件內(nèi)的像素的布置的例子的示意圖。圖5A和圖5B是示出根據(jù)本發(fā)明的第一實(shí)施例的圖像產(chǎn)生像素的例子和相差檢測(cè)像素的例子的示意性截面圖。圖6A到圖6F是示出根據(jù)本發(fā)明的第一實(shí)施例的由相差檢測(cè)像素W值計(jì)算單元執(zhí)行的相差像素W值的計(jì)算的例子的示意圖。圖7A到圖7C是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素W計(jì)算單元執(zhí)行的R像素和B像素的W值的計(jì)算的例子的示意圖。圖8A和圖8B是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素G計(jì)算單元執(zhí)行的R像素和B像素的W值的計(jì)算的例子的示意圖。圖9A和圖9B是示出由根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備的去馬賽克單元執(zhí)行的使用W值的去馬賽克處理的例子和現(xiàn)有技術(shù)的成像設(shè)備的去馬賽克處理的例子的示意圖。圖IOA和圖IOB是示出根據(jù)本發(fā)明的第一實(shí)施例的由成像設(shè)備的去馬賽克單元執(zhí)行的使用距離信息的去馬賽克處理的例子和現(xiàn)有技術(shù)的成像設(shè)備的去馬賽克處理的例子的示意圖。圖11是示出由根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備執(zhí)行的成像過程的例子的流程圖。圖12是示出根據(jù)本發(fā)明的第一實(shí)施例的成像處理操作的去馬賽克處理(步驟S930)的處理過程的例子的流程圖。圖13是示出根據(jù)本發(fā)明的第一實(shí)施例的由相差檢測(cè)像素W值計(jì)算單元執(zhí)行的相差檢測(cè)像素W值計(jì)算處理(步驟S940)的處理過程的例子的流程圖。圖14是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素W值計(jì)算單元執(zhí)行的圖像產(chǎn)生像素W值計(jì)算處理(步驟S950)的處理過程的例子的流程圖。圖15是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素G值計(jì)算單元和相差檢測(cè)像素G值計(jì)算單元執(zhí)行的G值計(jì)算處理(步驟S960)的處理過程的例子的流程圖。圖16是示出根據(jù)本發(fā)明的第一實(shí)施例的由R值計(jì)算單元執(zhí)行的R值計(jì)算處理(步驟S970)的處理過程的例子的流程圖。圖17是示出根據(jù)本發(fā)明的第一實(shí)施例的由B值計(jì)算單元執(zhí)行的B值計(jì)算處理(步驟S980)的處理過程的例子的流程圖。圖18是示出根據(jù)本發(fā)明的第二實(shí)施例的去馬賽克單元的功能結(jié)構(gòu)的例子的框圖。圖19A和圖19B是示出根據(jù)本發(fā)明的第二實(shí)施例的由G像素W值計(jì)算單元執(zhí)行的G像素的W值的計(jì)算的例子的示意圖。圖20是示出根據(jù)本發(fā)明的第二實(shí)施例的由G像素W值計(jì)算單元和R和B像素W值計(jì)算單元執(zhí)行的圖像產(chǎn)生像素W值計(jì)算處理(步驟S991)的處理過程的例子的流程圖。圖21是示出根據(jù)本發(fā)明的第二實(shí)施例的由R和B像素G值計(jì)算單元和相差檢測(cè)像素G值計(jì)算單元執(zhí)行的G值計(jì)算處理(步驟S995)的處理過程的例子的流程圖。圖22是示出布置在兩列內(nèi)的圖像產(chǎn)生像素和布置在兩列內(nèi)的相差檢測(cè)像素進(jìn)行交替布置的成像器件的像素的布置的例子作為本發(fā)明的第一實(shí)施例的變型例子的示意圖。圖23是示出布置了每個(gè)均具有G濾光器的相差檢測(cè)像素的成像器件的像素的布置的例子作為本發(fā)明的第一實(shí)施例的變型例子的示意圖。
具體實(shí)施例方式將在下文中描述本發(fā)明的實(shí)施方式(下文稱作實(shí)施例)。將按照下面順序進(jìn)行描述。1.第一實(shí)施例(成像控制使用相差檢測(cè)像素的亮度值的去馬賽克處理的例子)2.第二實(shí)施例(成像控制從G值與W值之間的相關(guān)性計(jì)算G像素的W值的例子)3.變型例子1.第一實(shí)施例成像系統(tǒng)的內(nèi)部結(jié)構(gòu)例子圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的成像系統(tǒng)10的內(nèi)部結(jié)構(gòu)的例子的示意圖。這個(gè)成像系統(tǒng)10包括成像設(shè)備100和可交換鏡頭170。此外，在本發(fā)明的第一實(shí)施例中，成像系統(tǒng)10是用于通過成像形成圖像的單鏡頭反光相機(jī)，其中，透鏡可交換。在圖1中，為了便于進(jìn)行描述，將省去當(dāng)通過成像形成圖像時(shí)較少使用的內(nèi)部結(jié)構(gòu)(例如，閃光燈的結(jié)構(gòu))。在圖1中，為了便于進(jìn)行描述，關(guān)于鏡頭的驅(qū)動(dòng)僅僅示出了涉及聚焦透鏡的驅(qū)動(dòng)的結(jié)構(gòu)，而省去了涉及縮放透鏡的驅(qū)動(dòng)的結(jié)構(gòu)。成像設(shè)備100對(duì)物體進(jìn)行成像，產(chǎn)生圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))，并且記錄產(chǎn)生的圖像數(shù)據(jù)作為圖像內(nèi)容(靜止圖像內(nèi)容或者運(yùn)動(dòng)圖像內(nèi)容)。在下文中將主要描述記錄靜止圖像內(nèi)容(靜止圖像文件)作為圖像內(nèi)容(圖像文件)的例子。這個(gè)成像設(shè)備100包括快門單元112、成像器件113、模擬前端(AFE) 114、校正電路115、相差計(jì)算電路150、白平衡(WB)電路116和γ校正電路117。成像設(shè)備100包括去馬賽克單元140、圖像存儲(chǔ)器119、電池121、電源電路122、通信接口(I/F)123、卡I/F IM和記憶卡125。此外，成像設(shè)備100包括視頻隨機(jī)訪問存儲(chǔ)器(VRAM) 126、液晶顯示器(LCD) 127、操作單元128、快門驅(qū)動(dòng)控制單元131和快門驅(qū)動(dòng)電機(jī)(Ml) 132。成像設(shè)備100包括光圈驅(qū)動(dòng)控制單元133、聚焦驅(qū)動(dòng)控制單元134、主控制單元136和連接端子161到163?？扉T單元112通過幕簾體打開和關(guān)閉從被攝體入射到成像器件113的入射光的光路，該幕簾體在所有方向上進(jìn)行移動(dòng)并且由快門驅(qū)動(dòng)電機(jī)(Ml) 132進(jìn)行驅(qū)動(dòng)。在光路打開的情況下，快門單元112將來自被攝體的入射光提供給成像器件113。成像器件113將來自被攝體的入射光光電轉(zhuǎn)換成電信號(hào)，接收來自被攝體的入射光，并且產(chǎn)生模擬電信號(hào)。例如，成像器件113由互補(bǔ)金屬氧化物半導(dǎo)體(CM0Q傳感器和電荷耦合器件(CCD)傳感器實(shí)現(xiàn)。在成像器件113中，布置了產(chǎn)生用于基于從被攝體接收的光產(chǎn)生成像圖像的信號(hào)的像素(圖像產(chǎn)生像素)以及用于產(chǎn)生用于執(zhí)行相差檢測(cè)的信號(hào)的相差檢測(cè)像素。在成像器件113中，作為圖像產(chǎn)生像素，布置了通過透射紅(R)光的濾光器接收紅光的像素(R像素)和通過透射綠(G)光的濾光器接收綠光的像素(G像素)。此外，在成像器件113中，除了 R像素和G像素以外，作為圖像產(chǎn)生像素還布置了通過透射藍(lán)(B)光的濾光器接收藍(lán)光的像素(B像素)。將參照?qǐng)D4描述成像器件113。成像器件113向AFE 114提供通過光電轉(zhuǎn)換產(chǎn)生的電信號(hào)(模擬圖像信號(hào))。AFE 114對(duì)從成像器件113提供的模擬圖像信號(hào)執(zhí)行預(yù)定的信號(hào)處理并且例如對(duì)該模擬圖像信號(hào)執(zhí)行信號(hào)處理(例如，去噪和信號(hào)放大)。AFE 114將經(jīng)歷過信號(hào)處理的圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并且產(chǎn)生數(shù)字圖像信號(hào)。AFE 114基于從主控制單元136提供的基準(zhǔn)時(shí)鐘產(chǎn)生用于成像器件113的成像操作的定時(shí)脈沖，并且將產(chǎn)生的定時(shí)脈沖提供給成像器件113。AFE 114將產(chǎn)生的數(shù)字圖像信號(hào)(像素值)提供給校正電路115。校正電路115對(duì)從AFE 114提供的圖像信號(hào)執(zhí)行預(yù)定的信號(hào)處理并且校正圖像信號(hào)。例如，校正電路115執(zhí)行黑電平校正、缺陷校正、暗影校正、混合色彩校正、等等。這里，黑電平校正是通過從每個(gè)像素值減去在通常遮擋的區(qū)域的像素中產(chǎn)生的像素值調(diào)整黑電平從而使得如果接收的光量是“0”則像素值變成“0”的處理。缺陷校正是根據(jù)沒有在成像器件113中正常發(fā)揮功能的像素(缺陷像素)的周圍像素的像素值估計(jì)并校正該缺陷像素的像素值的處理。暗影校正是通過向整個(gè)圖像的像素值應(yīng)用根據(jù)圖像高度的增益校正由于像素位置從成像器件113的中心向外圍部分偏離導(dǎo)致的亮度惡化(暗影)的處理。混合色彩校正是通過估計(jì)混合色彩的增量并且執(zhí)行相減校正由于光從相鄰像素泄漏導(dǎo)致的像素值的增加(混合色彩)的處理。校正電路115將經(jīng)歷過這些校正處理的圖像信號(hào)之中的由相差檢測(cè)像素產(chǎn)生的圖像信號(hào)提供給相差計(jì)算電路150。校正電路115將圖像信號(hào)(由相差檢測(cè)像素和圖像產(chǎn)生像素產(chǎn)生的圖像信號(hào))提供給WB電路116。WB電路116基于預(yù)定基準(zhǔn)色彩(即白色)執(zhí)行校正成像圖像的色彩平衡的處理(所謂的白平衡校正)。WB電路116將經(jīng)歷過白平衡校正的圖像信號(hào)提供給γ校正電路117。γ校正電路117校正經(jīng)歷過白平衡校正的圖像數(shù)據(jù)的灰階屬性。更具體地講，Y校正電路117使用預(yù)定的伽馬校正表對(duì)由每個(gè)像素產(chǎn)生的像素值執(zhí)行非線性轉(zhuǎn)換(所謂的Y校正)。Y校正電路117將經(jīng)歷過Y校正的圖像信號(hào)提供給去馬賽克單元140。相差計(jì)算電路150基于從校正電路115提供的由相差檢測(cè)像素產(chǎn)生的圖像信號(hào)、使用相差檢測(cè)方法檢測(cè)聚焦的偏離。相差計(jì)算電路150執(zhí)行聚焦的物體的聚焦的偏移的計(jì)算以自動(dòng)聚焦(AF)，并且向主控制單元136提供關(guān)于檢測(cè)的聚焦的信息。針對(duì)相差檢測(cè)像素的每個(gè)像素，相差計(jì)算單元150檢測(cè)一對(duì)相差檢測(cè)像素的聚焦的偏移并且將關(guān)于檢測(cè)的聚焦的信息提供給去馬賽克單元140。去馬賽克單元140執(zhí)行去馬賽克處理(插值處理)從而使得在每個(gè)像素位置處校準(zhǔn)R、G和B的所有通道。去馬賽克單元140基于由相差檢測(cè)像素產(chǎn)生的圖像信號(hào)、由圖像產(chǎn)生像素(R像素、G像素和B像素)產(chǎn)生的圖像信號(hào)以及關(guān)于聚焦的信息執(zhí)行去馬賽克處理。去馬賽克單元140將經(jīng)歷過去馬賽克處理的圖像信號(hào)提供給圖像存儲(chǔ)器119。圖像存儲(chǔ)器119臨時(shí)保持從去馬賽克單元140提供的圖像信號(hào)。圖像存儲(chǔ)器119用作用于根據(jù)來自主控制單元136的控制信號(hào)對(duì)圖像執(zhí)行預(yù)定處理的工作區(qū)域。圖像存儲(chǔ)器119臨時(shí)保持從記憶卡125讀取的圖像信號(hào)。電池121向操作成像系統(tǒng)10供電并且例如包括例如鎳氫可再充電電池的二次電池。電池121向電源電路122供電。電源電路122將從電池121提供的電力轉(zhuǎn)換成用于操作成像系統(tǒng)10的每個(gè)單元的電壓。例如，在主控制單元136以5V電壓進(jìn)行操作的情況下，電源電路122產(chǎn)生5V電壓并且將產(chǎn)生的電壓提供給主控制單元136。電源電路122將產(chǎn)生的電壓提供給成像系統(tǒng)10的每個(gè)單元。在圖1中，部分省去了從電源電路122到每個(gè)單元的電源線。通信I/F 123是用于在外部裝置與主控制單元136之間進(jìn)行數(shù)據(jù)傳輸?shù)慕涌??？↖/F 124是用于在記憶卡125與主控制單元136之間進(jìn)行數(shù)據(jù)傳輸?shù)慕涌?。記憶?25是用于保持圖像信號(hào)的存儲(chǔ)介質(zhì)并且保持通過卡I/F1M提供的數(shù)據(jù)。VRAM 1 是用于臨時(shí)保持在IXD 127上顯示的圖像的緩沖器存儲(chǔ)器并且向IXD127提供保持的圖像。IXD 127在主控制單元136的控制之下顯示圖像并且IXD 127例如包括彩色液晶面板。IXD 127顯示成像圖像、記錄圖像、模式設(shè)置屏幕、等等。例如，當(dāng)按下快門按鈕(未示出)時(shí)，操作單元1 接收用戶操作并且將按壓信號(hào)提供給主控制單元136。操作單元1 將涉及用戶操作的信號(hào)提供給主控制單元136?？扉T驅(qū)動(dòng)控制單元131基于從主控制單元136提供的快門控制信號(hào)產(chǎn)生用于驅(qū)動(dòng)快門驅(qū)動(dòng)電機(jī)(Ml) 132的驅(qū)動(dòng)信號(hào)并且將產(chǎn)生的驅(qū)動(dòng)信號(hào)提供給快門驅(qū)動(dòng)電機(jī)(Ml) 132。快門驅(qū)動(dòng)電機(jī)(Ml) 132是基于從快門驅(qū)動(dòng)控制單元131提供的驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)快門單元112的電機(jī)。光圈驅(qū)動(dòng)控制單元133基于從主控制單元136提供的關(guān)于光圈的信息產(chǎn)生用于控制光圈的驅(qū)動(dòng)的信號(hào)(光圈驅(qū)動(dòng)控制信號(hào))并且通過連接端子161將產(chǎn)生的光圈驅(qū)動(dòng)信號(hào)提供給可交換鏡頭170。主控制單元136控制成像設(shè)備100的每個(gè)單元的操作并且例如包括具有用于存儲(chǔ)控制程序的ROM的宏計(jì)算機(jī)。聚焦驅(qū)動(dòng)控制單元134基于從主控制單元136提供的關(guān)于聚焦的信息產(chǎn)生指示透鏡的驅(qū)動(dòng)量的驅(qū)動(dòng)量信號(hào)。聚焦驅(qū)動(dòng)控制單元134通過連接端子163向可交換鏡頭170提供產(chǎn)生的驅(qū)動(dòng)量信號(hào)。可交換鏡頭170包括多個(gè)透鏡，對(duì)由成像設(shè)備100成像的圖像的光進(jìn)行聚焦并且使用聚焦的光在成像表面上形成圖像?？山粨Q鏡頭170包括光圈驅(qū)動(dòng)機(jī)構(gòu)181、光圈驅(qū)動(dòng)電機(jī)(Μ； ) 182、透鏡位置檢測(cè)單元183、透鏡驅(qū)動(dòng)機(jī)構(gòu)184、透鏡驅(qū)動(dòng)電機(jī)(M4) 185和鏡頭筒190。鏡頭筒190包括光圈191和透鏡組194。在透鏡組194中，為了便于描述，僅僅示出了縮放透鏡192和聚焦透鏡193。光圈驅(qū)動(dòng)機(jī)構(gòu)181基于通過連接端子161提供的光圈驅(qū)動(dòng)控制信號(hào)產(chǎn)生用于驅(qū)動(dòng)光圈驅(qū)動(dòng)電機(jī)(Μ； ) 182的驅(qū)動(dòng)信號(hào)。光圈驅(qū)動(dòng)機(jī)構(gòu)181將產(chǎn)生的驅(qū)動(dòng)信號(hào)提供給光圈驅(qū)動(dòng)電機(jī)(M3)182。光圈驅(qū)動(dòng)電機(jī)(M3) 182是基于從光圈驅(qū)動(dòng)機(jī)構(gòu)181提供的驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)光圈191的電機(jī)。光圈驅(qū)動(dòng)電機(jī)(M3) 182通過驅(qū)動(dòng)光圈191改變光圈191的光圈直徑。透鏡位置檢測(cè)單元183檢測(cè)透鏡組194的縮放透鏡192和聚焦透鏡193的位置。透鏡位置檢測(cè)單元183通過連接端子162將關(guān)于檢測(cè)的位置的信息(透鏡位置信息)提供給成像設(shè)備100。透鏡驅(qū)動(dòng)機(jī)構(gòu)184基于通過連接端子163提供的驅(qū)動(dòng)量信號(hào)產(chǎn)生用于驅(qū)動(dòng)透鏡驅(qū)動(dòng)電機(jī)(M4)185的驅(qū)動(dòng)信號(hào)。透鏡驅(qū)動(dòng)機(jī)構(gòu)184將產(chǎn)生的驅(qū)動(dòng)信號(hào)提供給透鏡驅(qū)動(dòng)電機(jī)(M4)185。透鏡驅(qū)動(dòng)電機(jī)(M4) 185是基于從透鏡驅(qū)動(dòng)機(jī)構(gòu)184提供的驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)聚焦透鏡193的電機(jī)。透鏡驅(qū)動(dòng)電機(jī)(M4) 185通過驅(qū)動(dòng)聚焦透鏡193來調(diào)整聚焦。鏡頭筒190是安裝構(gòu)成可交換鏡頭170的透鏡組194的各個(gè)透鏡的部分。光圈191是調(diào)整從被攝體入射到成像設(shè)備100的入射光的量的遮光材料?？s放透鏡192在鏡頭筒190中在光軸方向上進(jìn)行移動(dòng)以改變焦距并且調(diào)整包括在成像圖像中的被攝體的放大率。聚焦透鏡193在鏡頭筒190中在光軸方向上進(jìn)行移動(dòng)以調(diào)節(jié)聚焦。成像系統(tǒng)的功能結(jié)構(gòu)例子圖2是示出根據(jù)本發(fā)明的第一實(shí)施例的成像系統(tǒng)10的成像設(shè)備100的功能結(jié)構(gòu)的例子的框圖。在該附圖中，將描述每個(gè)相關(guān)結(jié)構(gòu)直到產(chǎn)生在成像器件產(chǎn)生圖像信號(hào)以后顯影得到圖像。成像設(shè)備100包括成像器件210、模擬信號(hào)處理單元220、A/D轉(zhuǎn)換器230、黑電平處理單元對(duì)0、圖像校正單元250和距離信息計(jì)算單元沈0。成像設(shè)備100包括WB處理單元270、γ校正單元275、去馬賽克單元300、圖像處理單元沘0、顯示單元281和記錄單元282。成像器件210將來自被攝體的入射光光電轉(zhuǎn)換成電信號(hào)以產(chǎn)生圖像信號(hào)。成像器件210將由布置在成像器件210中的圖像產(chǎn)生像素和相差檢測(cè)像素產(chǎn)生的模擬圖像信號(hào)提供給模擬信號(hào)處理單元220。成像器件210對(duì)應(yīng)于圖1所示的成像器件113。模擬信號(hào)處理單元220對(duì)從成像器件210提供的模擬圖像信號(hào)執(zhí)行預(yù)定的模擬信號(hào)過程。例如，通過相關(guān)雙采樣(CDQ電路、自動(dòng)增益控制(AGC)電路、箝位電路等等實(shí)現(xiàn)模擬信號(hào)處理單元220。也就是說，模擬信號(hào)處理單元220執(zhí)行模擬圖像信號(hào)的去噪、信號(hào)放大等等。模擬信號(hào)處理單元220將經(jīng)歷過信號(hào)處理的模擬圖像信號(hào)提供給A/D轉(zhuǎn)換器230。模擬信號(hào)處理單元220對(duì)應(yīng)于圖1所示的AFE 114。A/D轉(zhuǎn)換器230將從模擬信號(hào)處理單元220提供的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)(像素值)。也就是說，A/D轉(zhuǎn)換器230將每個(gè)像素的連續(xù)量的信號(hào)改變成由數(shù)值指示的信號(hào)。A/D轉(zhuǎn)換器230將轉(zhuǎn)換后的數(shù)字圖像信號(hào)提供給黑電平處理單元MO。A/D轉(zhuǎn)換器230對(duì)應(yīng)于圖1所示的AFE 114。黑電平處理單元240對(duì)從A/D轉(zhuǎn)換器230提供的像素值執(zhí)行黑電平校正。黑電平處理單元240將經(jīng)歷過黑電平校正的圖像信號(hào)提供給圖像校正單元250。黑電平處理單元240對(duì)應(yīng)于圖1所示的校正電路115。圖像校正單元250對(duì)從黑電平處理單元240提供的圖像信號(hào)執(zhí)行檢測(cè)(例如，缺陷校正、暗影校正和混合色彩校正)。圖像校正單元250將由經(jīng)歷過校正的圖像信號(hào)中由相差檢測(cè)像素產(chǎn)生的圖像信號(hào)提供到距離信息計(jì)算單元沈0。圖像校正單元250將經(jīng)歷過校正的圖像信號(hào)(兩種像素(圖像產(chǎn)生像素和相差檢測(cè)像素)的信號(hào)的圖像信號(hào))提供給WB處理單元270。圖像校正單元250對(duì)應(yīng)于圖1所示的校正電路115。距離信息計(jì)算單元260基于從圖像校正單元250提供的相差檢測(cè)像素的圖像信號(hào)計(jì)算距離信息，即關(guān)于布置相差檢測(cè)像素的位置的聚焦的偏移的信息。針對(duì)每對(duì)相差檢測(cè)像素，距離信息計(jì)算單元260檢測(cè)布置一對(duì)相差檢測(cè)像素的位置的聚焦的偏移(散焦量)。距離信息計(jì)算單元260通過信號(hào)線261將關(guān)于檢測(cè)的聚焦的偏移的信息(例如，通過像素的數(shù)目指示一對(duì)圖像的偏移量的值)提供給去馬賽克單元300作為距離信息。距離信息計(jì)算單元260檢測(cè)聚焦的物體的聚焦的偏移并且通過信號(hào)線沈2將檢測(cè)到的聚焦的偏移提供給主控制單元136。此外，距離信息計(jì)算單元260對(duì)應(yīng)于圖1所示的相差計(jì)算電路150。距離信息計(jì)算單元260對(duì)應(yīng)于距離信息產(chǎn)生單元。WB處理單元270對(duì)從圖像校正單元250提供的圖像信號(hào)執(zhí)行白平衡校正。例如，WB處理單元270從圖像產(chǎn)生像素(R像素、G像素和B像素)的圖像信號(hào)中指定估計(jì)為原始白色的部分從而計(jì)算校正增益并且調(diào)整(校正)相差檢測(cè)像素、R像素、G像素和B像素的圖像信號(hào)的電平平衡。WB處理單元270將校正后的圖像信號(hào)提供給γ校正單元275。WB處理單元270對(duì)應(yīng)于圖1所示的WB電路116。γ校正單元275對(duì)從WB處理單元270提供的圖像信號(hào)執(zhí)行Y校正。Y校正單元275對(duì)相差檢測(cè)像素、R像素、G像素和B像素的圖像信號(hào)執(zhí)行γ校正并且通過信號(hào)線290將伽馬校正后的圖像信號(hào)(圖像數(shù)據(jù))提供給去馬賽克單元300。γ校正單元275對(duì)應(yīng)于圖1所示的Y校正電路117。去馬賽克單元300基于從γ校正單元275提供的圖像信號(hào)(圖像數(shù)據(jù))和從距離信息計(jì)算單元260提供的距離信息執(zhí)行去馬賽克處理(插值處理)從而使得在每個(gè)像素位置處校準(zhǔn)R、G和B的所有通道。也就是說，通過經(jīng)由去馬賽克單元300的去馬賽克處理，各像素的各位置的所有色彩(R、G和B)被校準(zhǔn)以顯影圖像。去馬賽克單元300通過信號(hào)線301將經(jīng)歷過去馬賽克處理的圖像數(shù)據(jù)(RGB圖像)提供給圖像處理單元觀0。將參照?qǐng)D3詳細(xì)描述去馬賽克單元300。圖像處理單元280基于從去馬賽克單元300提供的RGB圖像產(chǎn)生給用戶觀看的顯示圖像數(shù)據(jù)并且將記錄圖像數(shù)據(jù)記錄在記錄介質(zhì)上。圖像處理單元280根據(jù)顯示單元的分辨率減小RGB圖像以產(chǎn)生顯示圖像數(shù)據(jù)并且將產(chǎn)生的顯示圖像數(shù)據(jù)提供給顯示單元281.圖像處理單元280對(duì)根據(jù)記錄方法記錄在記錄單元282中的RGB圖像進(jìn)行壓縮以產(chǎn)生記錄圖像并且將產(chǎn)生的記錄圖像數(shù)據(jù)提供給記錄單元觀2。圖像處理單元280對(duì)應(yīng)于圖1所示的主控制單元136。顯示單元281基于從圖像處理單元280提供的顯示圖像數(shù)據(jù)顯示圖像。例如，通過彩色液晶面板實(shí)現(xiàn)顯示單元觀1。顯示單元281對(duì)應(yīng)于圖1所示的IXD 127。記錄單元282記錄從圖像處理單元280提供的記錄圖像數(shù)據(jù)作為圖像內(nèi)容(圖像文件)。例如，作為記錄單元觀2，可以使用可移動(dòng)記錄介質(zhì)(一種或多種記錄介質(zhì))，例如，諸如數(shù)字多功能盤(DVD)的盤或諸如記憶卡的半導(dǎo)體存儲(chǔ)器。該記錄介質(zhì)可以安裝在成像設(shè)備100中并且可以從成像設(shè)備100進(jìn)行拆卸。記錄單元282對(duì)應(yīng)于圖1所示的記憶卡1邪。去馬賽克單元的功能結(jié)構(gòu)例子圖3是示出根據(jù)本發(fā)明的第一實(shí)施例的去馬賽克單元300的功能結(jié)構(gòu)的例子的框圖。去馬賽克單元300包括相差檢測(cè)像素W值計(jì)算單元310、B像素W值計(jì)算單元330、G值計(jì)算單元340、R值計(jì)算單元360、B值計(jì)算單元370和圖像合成單元380。
相差檢測(cè)像素W值計(jì)算單元310基于圖像數(shù)據(jù)的每個(gè)相差檢測(cè)像素的圖像信號(hào)(確定的像素值)計(jì)算每個(gè)相差檢測(cè)像素的白色(W)的像素值(W值)。W值指示由包括透射可見光波長(zhǎng)區(qū)域的所有光的濾光器的圖像產(chǎn)生像素(稱作白色(W)像素)產(chǎn)生的像素值。例如，包括這種濾光器的W像素是不包括濾光器(包括透明層以替代濾光器層)的圖像產(chǎn)生像素、包括吸收其它波長(zhǎng)的光的濾光器(白色濾光器)的圖像產(chǎn)生像素、等等。也就是說，在假設(shè)W像素(接收可見光波長(zhǎng)區(qū)域的所有光的圖像產(chǎn)生像素)布置在相差檢測(cè)像素的位置處的情況下，相差檢測(cè)像素W值計(jì)算單元310根據(jù)相差檢測(cè)像素的像素值估計(jì)假設(shè)的位置的像素值(W值)。然后，產(chǎn)生在假設(shè)包括具有與相差檢測(cè)像素相同顏色的濾光器的圖像產(chǎn)生像素布置在每個(gè)相差檢測(cè)像素的位置處的情況下由圖像產(chǎn)生像素產(chǎn)生的像素值(圖像產(chǎn)生像素值)。相差檢測(cè)像素W值計(jì)算單元310將相差檢測(cè)像素的計(jì)算的W值(下文中，稱作相差檢測(cè)像素W值)提供給R和B像素W值計(jì)算單元330。將參照?qǐng)D6A到圖6F描述由相差檢測(cè)像素W值計(jì)算單元310執(zhí)行的相差檢測(cè)像素W值的計(jì)算。相差檢測(cè)像素W值計(jì)算單元310是估計(jì)單元的例子。R和B像素W值計(jì)算單元330基于從相差檢測(cè)像素W值計(jì)算單元310提供的相差檢測(cè)像素W值和通過信號(hào)線261從距離信息計(jì)算單元260提供的距離信息計(jì)算圖像產(chǎn)生像素的R像素和B像素的W值。也就是說，在假設(shè)W像素布置在R像素和B像素的位置處的情況下，R和B像素W值計(jì)算單元330根據(jù)相差檢測(cè)像素W值和距離信息估計(jì)像素值(W值)。R和B像素W值計(jì)算單元330在以要進(jìn)行計(jì)算的像素(基準(zhǔn)像素)為中心的預(yù)定范圍內(nèi)的相差檢測(cè)像素(目標(biāo)像素)之中檢測(cè)在由距離信息指定的距離內(nèi)靠近基準(zhǔn)像素的目標(biāo)像素。R和B像素W值計(jì)算單元330將檢測(cè)的像素的W值(與目標(biāo)顏色有關(guān)的像素值)的均值設(shè)置到基準(zhǔn)像素的W值。如果通過柱狀圖(次數(shù)分布)檢測(cè)靠近基準(zhǔn)像素的目標(biāo)像素，則目標(biāo)像素對(duì)應(yīng)于距離使用次數(shù)屬于最大類的距離作為基準(zhǔn)的基準(zhǔn)的預(yù)定范圍(預(yù)定閾值內(nèi))的距離。R和B像素W值計(jì)算單元330將計(jì)算的R像素的W值(R像素W值)和B像素的W值(B像素W值)提供給G值計(jì)算單元340的R和B像素G值計(jì)算單元341。將參照?qǐng)D7A到圖7C描述由R和B像素W值計(jì)算330執(zhí)行的R像素W值和B像素W值的計(jì)算。G值計(jì)算單元340計(jì)算(插值)G像素之外的像素中的關(guān)于G色彩的像素值(G值)。這里，G值是指示由RGB表達(dá)的色彩空間中的G的灰階的值并且是由通過透射綠(G)光的濾光器接收綠光的像素(G像素)產(chǎn)生的像素值。也就是說，在假設(shè)G像素布置在相差檢測(cè)像素、R像素和B像素的位置處的情況下，G值計(jì)算單元340估計(jì)假設(shè)的位置的G值。G值計(jì)算單元340包括R和B像素G值計(jì)算單元341和相差檢測(cè)像素G值計(jì)算單元342。R和B像素G值計(jì)算單元341基于通過信號(hào)線四0的G線294提供的G像素的G值(G像素G值)和從R和B像素W值計(jì)算單元330提供的R像素W值和B像素W值計(jì)算R像素的G值和B像素的G值。R和B像素G值計(jì)算單元341基于W值和G值之間的相關(guān)性以及要進(jìn)行計(jì)算的像素的W值計(jì)算R像素的G值(R像素G值)和B像素的G值(B像素G值)。也就是說，在R和B像素G值計(jì)算單元341中，W值用作用于產(chǎn)生構(gòu)建圖像的像素值(圖像產(chǎn)生像素值)的像素值。R和B像素G值計(jì)算單元341將計(jì)算的R像素G值和B像素G值提供給圖像合成單元380。將參照?qǐng)D8A和圖8B描述由R和B像素G值計(jì)算單元341執(zhí)行的R像素G值和B像素G值的計(jì)算。相差檢測(cè)像素G值計(jì)算單元342基于通過信號(hào)線四0的G線294提供的G像素的G值(G像素G值)和通過信號(hào)線261提供的距離信息計(jì)算相差檢測(cè)像素的G值(相差檢測(cè)像素G值)。相差檢測(cè)像素G值計(jì)算單元342從柱狀圖檢測(cè)在以要進(jìn)行計(jì)算的像素為中心的預(yù)定范圍內(nèi)具有高次數(shù)的距離位置的G像素并且將對(duì)應(yīng)G像素的G值(G像素G值)的均值設(shè)置到要進(jìn)行計(jì)算的相差檢測(cè)像素的G值。也就是說，與R和B像素W值計(jì)算單元330類似，相差檢測(cè)像素G值計(jì)算單元342通過使用柱狀圖的計(jì)算方法計(jì)算相差檢測(cè)像素G值。相差檢測(cè)像素G值計(jì)算單元342將計(jì)算的相差檢測(cè)像素G值提供給圖像合成單元380。R值計(jì)算單元360計(jì)算(插值)關(guān)于R像素以外的像素中的R色彩的像素值(R值)。這里，R值是指示由RGB表達(dá)的色彩空間中的R的灰階的值并且是由通過透射紅(R)光的彩色濾光器接收紅光的像素(R像素)產(chǎn)生的像素值。R值計(jì)算單元360基于通過信號(hào)線四0的R線293提供的R像素的R值(R像素R值)和通過信號(hào)線261提供的距離信息估計(jì)相差檢測(cè)像素的R值、G像素的R值和B像素的R值。與R和B像素W值計(jì)算單元330類似，R值計(jì)算單元360通過使用柱狀圖的計(jì)算方法計(jì)算各個(gè)像素的R值。R值計(jì)算單元360將計(jì)算的R值(相差檢測(cè)像素R值、G像素R值和B像素R值)提供給圖像合成單元 380。B值計(jì)算單元370計(jì)算(插值)關(guān)于B像素以外的像素中的B色彩的像素值(B值)。這里，B值是指示由RGB表達(dá)的色彩空間內(nèi)的B的灰階的值并且是由通過透射藍(lán)(B)光的彩色濾光器接收紅光的像素(B顯示)產(chǎn)生的像素值。B值計(jì)算單元370基于通過信號(hào)線四0的B線292提供的B像素的B值(B像素B值)和通過信號(hào)線261提供的距離信息估計(jì)相差檢測(cè)像素的B值、R像素的B值和G像素的B值。與R和B像素W值計(jì)算單元330類似，B值計(jì)算單元370通過使用柱狀圖的計(jì)算方法計(jì)算各個(gè)像素的B值。B值計(jì)算單元370將計(jì)算的B值(相差檢測(cè)像素B值、R像素B值和G像素B值)提供給圖像合成單元380。R和B像素W值計(jì)算單元330、R和B像素G值計(jì)算單元341、相差檢測(cè)像素G值計(jì)算單元342、R值計(jì)算單元360和B值計(jì)算單元370是插值單元的例子。圖像合成單元380合成RGB圖像。圖像合成單元380基于來自R線四3的R像素R值以及來自R值計(jì)算單元360的各個(gè)R值(相差檢測(cè)像素R值、G像素R值和B像素R值)合成RGB圖像的R分量的圖像數(shù)據(jù)。圖像合成單元380基于來自G線四4的G像素G值和來自R和B像素G值計(jì)算單元341和相差檢測(cè)像素G值計(jì)算單元342的各個(gè)G值(R像素G值、B像素G值和相差檢測(cè)像素G值)合成RGB圖像的G分量的圖像數(shù)據(jù)。圖像合成單元380基于來自B線四2的B像素B值和來自B值計(jì)算單元370的各個(gè)B值(相差檢測(cè)像素B值、R像素B值、G像素B值)合成RGB圖像的B分量的圖像數(shù)據(jù)。圖像合成單元380通過信號(hào)線301提供校準(zhǔn)了 RGB的圖像。成像器件中的像素的布置例子圖4是示出根據(jù)本發(fā)明的第一實(shí)施例的包括在成像器件210內(nèi)的像素的布置的例子的示意圖。在該附圖中，將使用垂直方向是Y軸而水平方向是X軸的XY軸進(jìn)行描述。在該附圖中，左下角是XY軸的原點(diǎn)，從底到頂?shù)姆较蚴荵軸的+側(cè)，從左到右的方向是X軸的+側(cè)。在該附圖中，成像器件210的特定方向(與成像圖像的水平方向(左右方向)對(duì)應(yīng)的方向)是X軸方向，與特定方向正交的正交方向(成像圖像的與垂直方向(上下方向)對(duì)應(yīng)的方向)是Y軸方向。成像器件210的信號(hào)讀取方向是X軸方向(以行為單位進(jìn)行讀取)。
在該附圖中，為了便于描述，將使用構(gòu)建成像設(shè)備210的像素的一些像素(16X16像素)的區(qū)域(區(qū)域410)給出描述。在成像器件210的像素的布置中，區(qū)域410中所示的像素布置是一個(gè)單位并且與這個(gè)單位對(duì)應(yīng)的像素布置(與區(qū)域410對(duì)應(yīng)的像素布置)是在X軸方向和Y軸方向上重復(fù)的布置。在該附圖中，一個(gè)像素由一個(gè)方塊進(jìn)行表示。圖像產(chǎn)生像素由包括指示內(nèi)部的彩色濾光器的符號(hào)R、G和B的方塊進(jìn)行表示。也就是說，圖像產(chǎn)生像素的R像素由附圖中的R像素411進(jìn)行表示，圖像產(chǎn)生像素的B像素由附圖中的B像素414進(jìn)行表示。關(guān)于G像素，包括R像素(R像素411)的行(線)的G像素由Gr像素(Gr像素412)進(jìn)行表示，包括B像素(B像素414)的行(線)的像素由( 像素(( 像素413)進(jìn)行表示。相差檢測(cè)像素由附加了白色橢圓形的灰色方塊進(jìn)行表示。此外，相差檢測(cè)像素的白色橢圓形指示入射光沒有被遮光層遮擋而是由光接收部件接收的一側(cè)(遮光層中存在開口的一側(cè))?，F(xiàn)在，將描述附圖中所示的相差檢測(cè)像素(相差檢測(cè)像素415到418)。相差檢測(cè)像素415是形成遮光層從而入射到相差檢測(cè)像素415的微透鏡的被攝體光之中的穿過出瞳的右半部分的被攝體光被遮蔽的相差檢測(cè)像素。也就是說，相差檢測(cè)像素415遮蔽分割成出瞳的右和左(X軸方向的+_側(cè))的光瞳的右半部分的光并且接收左半部分的光瞳分割光。相差檢測(cè)像素416是形成遮光層從而入射到相差檢測(cè)像素416的微透鏡的被攝體光之中的穿過出瞳的左半部分的被攝體光被遮蔽的相差檢測(cè)像素。也就是說，相差檢測(cè)像素416遮蔽分割成出瞳的右和左(X軸方向的+_側(cè))的光瞳的左半部分的光并且接收右半部分的光瞳分割光。相差檢測(cè)像素416與相差檢測(cè)像素415成對(duì)使用以形成一對(duì)圖像。相差檢測(cè)像素417是形成遮光層從而入射到相差檢測(cè)像素417的微透鏡的被攝體光之中的穿過出瞳的上半部分的被攝體光被遮蔽的相差檢測(cè)像素。也就是說，相差檢測(cè)像素417遮蔽分割成出瞳的上和下側(cè)(Y軸方向的+_側(cè))的光瞳的上半部分的光并且接收下半部分的光瞳分割光。相差檢測(cè)像素418是形成遮光層從而入射到相差檢測(cè)像素418的微透鏡的被攝體光之中的穿過出瞳的下半部分的被攝體光被遮蔽的相差檢測(cè)像素。也就是說，相差檢測(cè)像素418遮蔽分割成出瞳的上和下側(cè)(Y軸方向的+_側(cè))的光瞳的下半部分的光并且接收上半部分的光瞳分割光。相差檢測(cè)像素418與相差檢測(cè)像素417成對(duì)使用以形成一對(duì)圖像?，F(xiàn)在，將描述成像器件210的像素布置。在成像器件210中，布置圖像產(chǎn)生像素的行(線)和布置相差檢測(cè)像素的行(線)進(jìn)行交替布置。也就是說，如圖3所示，圖像產(chǎn)生像素、相差檢測(cè)像素、圖像產(chǎn)生像素、相差
檢測(cè)像素......交替地布置在y軸方向上。在成像器件210中，在僅僅除了布置相差檢測(cè)
像素的行以外的圖像產(chǎn)生像素的布置中，布置B像素和G像素的行以及布置R像素和G像素的行進(jìn)行交替布置以變成拜爾(Bayer)陣列。在成像器件210中，布置相差檢測(cè)像素415和相差檢測(cè)像素416的線和布置相差檢測(cè)像素417和相差檢測(cè)像素418的線進(jìn)行交替布置，其中，圖像產(chǎn)生像素的行插入到它們之間。也就是說，在相差檢測(cè)像素中，在相同方向(讀取方向(右和左))或與讀取方向正交的方向(上和下側(cè)))上分割的相差檢測(cè)像素光瞳以行為單位進(jìn)行布置。接下來，將參照?qǐng)D5A和圖5B描述根據(jù)本發(fā)明的第一實(shí)施例的圖像產(chǎn)生像素的截面結(jié)構(gòu)和相差檢測(cè)像素的截面結(jié)構(gòu)。圖像產(chǎn)生像素和相差檢測(cè)像素的結(jié)構(gòu)例子圖5A和圖5B是示出根據(jù)本發(fā)明的第一實(shí)施例的圖像產(chǎn)生像素的例子和相差檢測(cè)像素的例子的示意性截面圖。在圖5A中，示意性示出根據(jù)本發(fā)明的第一實(shí)施例的圖像產(chǎn)生像素的R像素(R像素411)的截面結(jié)構(gòu)。根據(jù)本發(fā)明的第一實(shí)施例的三種色彩(R像素、G像素和B像素)的圖像產(chǎn)生像素之間的差別僅僅是彩色濾光器的差別，并且由此，在圖5A中，將僅僅描述R像素(R像素411)的截面結(jié)構(gòu)。在圖5A和圖5B中，示出了左右方向是X軸方向而上下方向是ζ軸方向的截面結(jié)構(gòu)。在圖5A中，作為R像素411的截面結(jié)構(gòu)，示出了微透鏡421、R濾光器422、導(dǎo)線423、導(dǎo)線似4和光接收部件425。微透鏡421是用于將被攝體光聚焦到光接收部件425的透鏡。導(dǎo)線423和導(dǎo)線4M是用于連接R像素411內(nèi)的各個(gè)電路的導(dǎo)線。在圖5A中，在導(dǎo)線423和導(dǎo)線424中，三個(gè)導(dǎo)線以層狀布置在光軸上。導(dǎo)線423和導(dǎo)線似4被布置為不會(huì)妨礙光入射到光接收部件425。光接收部件425將接收的光(光電地)轉(zhuǎn)換成電信號(hào)以產(chǎn)生具有根據(jù)接收的光的量的強(qiáng)度的電信號(hào)。光接收部件425包括光電二極管(PD)。在圖5B中，示出了根據(jù)本發(fā)明的第一實(shí)施例的相差檢測(cè)像素之中的相差檢測(cè)像素416的截面結(jié)構(gòu)。相差檢測(cè)像素416到418之間的截面結(jié)構(gòu)的差別僅僅是變成遮光層的導(dǎo)線的布置方向的差別，并且由此，在圖5B中，將描述相差檢測(cè)像素416的截面結(jié)構(gòu)。在圖5B中，作為相差檢測(cè)像素416的截面結(jié)構(gòu)，示出了微透鏡421、光接收部件425、導(dǎo)線似6和導(dǎo)線427。微透鏡421和光接收部件425與圖5A的相同并且由此省去描述。導(dǎo)線4 和導(dǎo)線427是用于連接相差檢測(cè)像素416內(nèi)的各個(gè)電路的導(dǎo)線。在圖5B中，在導(dǎo)線似6和導(dǎo)線427中，三個(gè)導(dǎo)線以層狀布置在光軸上，這與圖5A的導(dǎo)線423和導(dǎo)線424類似。在導(dǎo)線427中，包括突出到光接收部件425的中心附近的一條導(dǎo)線。這個(gè)突出部分覆蓋光接收部件425與微透鏡421之間的光接收部件425的右半部分并且遮蔽穿過出瞳的左半部分的被攝體光。導(dǎo)線似6沒有布置在從微透鏡421到光接收部件425的被攝體光的光路上而是布置在光路的外圍上。在相差檢測(cè)像素416中，光接收部件425的一半由導(dǎo)線427進(jìn)行覆蓋。因此，在相差檢測(cè)像素416中，遮蔽了穿過微透鏡421的光的一半。由相差檢測(cè)像素W值計(jì)算單元執(zhí)行的相差檢測(cè)像素W值的計(jì)算的例子圖6A到圖6F是示出根據(jù)本發(fā)明的第一實(shí)施例的相差檢測(cè)像素W值計(jì)算單元310的計(jì)算的例子的示意圖。圖6A示意性示出了遮蔽分割成出瞳的右和左的光瞳的左半部分的光并且接收右半部分的光瞳分割光的相差檢測(cè)像素(相差檢測(cè)像素431)的W值的計(jì)算的例子。在相差檢測(cè)像素431的W值的計(jì)算中，相差檢測(cè)像素W值計(jì)算單元310首先計(jì)算與入射到由相差檢測(cè)像素431的遮光層遮蔽的區(qū)域的光(由遮光層進(jìn)行遮蔽并且沒有由光接收部件進(jìn)行接收的光)相關(guān)的像素值(遮光區(qū)域像素值)。相差檢測(cè)像素W值計(jì)算單元310將相差檢測(cè)像素431的像素值與計(jì)算的相差檢測(cè)像素431的遮光區(qū)域像素值進(jìn)行相加以計(jì)算相差檢測(cè)像素431的W值。例如，使用方程1計(jì)算相差檢測(cè)像素431的遮光區(qū)域像素值Gd431)。例如，使用方程2計(jì)算相差檢測(cè)像素431的W值(Wd431)。Sd431= (Id431 X 2+1磁 X 1)/3…(1)Wd431 = (Id43A431)/2…O)其中，Id431表示要計(jì)算其W值的相差檢測(cè)像素431的像素值。此外，I1^2表示最靠近相差檢測(cè)像素431的遮光區(qū)域的相差檢測(cè)像素432的像素值。在圖6A中，遮光區(qū)域像素值6D431)對(duì)應(yīng)于與由區(qū)域433接收的光相關(guān)的像素值。相差檢測(cè)像素431的W值(Wd431)對(duì)應(yīng)于與示意性示出相差檢測(cè)像素431作為W像素的W像素434相關(guān)的像素值。如方程1所示，基于包括要進(jìn)行計(jì)算的遮光區(qū)域的相差檢測(cè)像素的像素值(ID431)和靠近要進(jìn)行計(jì)算的遮光區(qū)域的相差檢測(cè)像素的像素值(Id432)計(jì)算遮光區(qū)域像素值(Sd431)。如方程1所示，像素值(Id431)和像素值(Id432)與權(quán)重系數(shù)(方程1的數(shù)值“2”和“1”)進(jìn)行相乘，所述權(quán)重系數(shù)用于給出根據(jù)要進(jìn)行計(jì)算的遮光區(qū)域與各個(gè)相差檢測(cè)像素的光接收位置(白橢圓形位置)之間的距離的權(quán)重。通過使用該權(quán)重系數(shù)進(jìn)行計(jì)算，可以提高計(jì)算精度。如方程2所示，通過包括將要進(jìn)行計(jì)算的遮光區(qū)域的相差檢測(cè)像素的像素值(Id431)與關(guān)于入射到要進(jìn)行計(jì)算的遮光區(qū)域的光的像素值(Sd431)進(jìn)行相加計(jì)算相差檢測(cè)像素的W值。W值是接收可見光區(qū)域的所有光的圖像產(chǎn)生像素的像素值的一個(gè)假設(shè)值，并且由此變得高于G值、R值和B值。如方程2所示，通過將通過將相差檢測(cè)像素的像素值(Id431)與遮光區(qū)域像素值(Sd431)相加獲得的值除以“2”，W值的灰階的范圍變得靠近G值的灰階的范圍。圖6B示意性示出了遮蔽分割成出瞳的右和左的光瞳的右半部分的光并且接收左半部分的光瞳分割光的相差檢測(cè)像素(相差檢測(cè)像素43 的W值的計(jì)算的例子。也就是說，圖6B示出了與在圖6A的計(jì)算方法中所示的相差檢測(cè)像素成對(duì)布置的相差檢測(cè)像素的W值的計(jì)算。例如，使用方程3計(jì)算相差檢測(cè)像素432的遮光區(qū)域像素值6D432)，這與相差檢測(cè)像素431的遮光區(qū)域像素值6D431)類似。例如，使用方程4計(jì)算相差檢測(cè)像素432的W值(Wd432)，這與相差檢測(cè)像素431的W值(Wd431)類似。Sd432 = (Id432 X 2+Id43i X 1) /3... (3)Wd432 = (Id432Wd432)/2…在圖6B中，遮光區(qū)域像素值(S432)對(duì)應(yīng)于關(guān)于由區(qū)域437接收的光的像素值。相差檢測(cè)像素432的W值(Wd432)對(duì)應(yīng)于關(guān)于示意性示出相差檢測(cè)像素432作為W像素的W像素438的像素值。圖6C示意性示出了遮蔽分割成出瞳的上和下側(cè)的光瞳的上半部分的光并且接收下半部分的光瞳分割光的相差檢測(cè)像素(相差檢測(cè)像素441)的W值的計(jì)算的例子。在相差檢測(cè)像素441的W值的計(jì)算中，與圖6A和圖6B所示的相差檢測(cè)像素431和432的W值的計(jì)算類似，首先，計(jì)算相差檢測(cè)像素441的遮光區(qū)域像素值。將相差檢測(cè)像素441的像素值與計(jì)算的遮光區(qū)域像素值進(jìn)行相加以計(jì)算相差檢測(cè)像素441的W值。例如，使用方程5計(jì)算相差檢測(cè)像素441的遮光區(qū)域像素值(Sd441)。例如，使用方程6計(jì)算相差檢測(cè)像素441的W值(Wd441)。Sd441 = (Id441 X 1+ID442 X 1) /2... (5)Wd441 = (ID441+SD441)/2... (6)其中，Id441表示要計(jì)算其W值的相差檢測(cè)像素441的像素值。此外，Id442表示最靠近相差檢測(cè)像素441的遮光區(qū)域的相差檢測(cè)像素(左和右)之間與相差檢測(cè)像素441成對(duì)使用的相差檢測(cè)像素442的像素值。在圖6C中，遮光區(qū)域像素值(S遍)對(duì)應(yīng)于關(guān)于由區(qū)域443接收的光的像素值。相差檢測(cè)像素441的W值(Wd441)對(duì)應(yīng)于關(guān)于示意性示出相差檢測(cè)像素441作為W像素的W像素444的像素值。如方程5所示，基于包括要進(jìn)行計(jì)算的遮光區(qū)域的相差檢測(cè)像素的像素值和靠近要進(jìn)行計(jì)算的遮光區(qū)域的相差檢測(cè)像素(成對(duì)的相差檢測(cè)像素)的像素值計(jì)算遮光區(qū)域像素值(Sd432)，這與圖6A的方程1類似。如方程5所示，由于相差檢測(cè)像素441和442的光接收位置距離要進(jìn)行計(jì)算的遮光區(qū)域相同，所以使用具有相同值的權(quán)重系數(shù)(“1”)。方程6與圖6A的方程2相同并且由此將省去對(duì)它進(jìn)行描述。圖6D示意性示出了遮蔽分割成出瞳的上和下側(cè)的光瞳的下半部分的光并且接收上半部分的光瞳分割光的相差檢測(cè)像素(相差檢測(cè)像素44 的W值的計(jì)算的例子。也就是說，圖6D示出了與在圖6C的計(jì)算方法中所示的相差檢測(cè)像素成對(duì)布置的相差檢測(cè)像素的W值的計(jì)算。計(jì)算相差檢測(cè)像素442的遮光區(qū)域像素值(Sd442)和W值(Wd442)的方法與圖6C的相差檢測(cè)像素441的計(jì)算方法相同。例如，使用方程7計(jì)算相差檢測(cè)像素442的遮光區(qū)域像素值(Sd442)。例如，使用方程8計(jì)算相差檢測(cè)像素442的W值(Wd442)。Sd442 = (Id442 X 1+ID441X 1) /2... (7)Wd442 = (ID442+SD442)/2... (8)在圖6D中，遮光區(qū)域像素值(Sd442)對(duì)應(yīng)于關(guān)于由區(qū)域447接收的光的像素值。相差檢測(cè)像素442的W值(Wd442)對(duì)應(yīng)于關(guān)于示意性示出相差檢測(cè)像素442作為W像素的W像素448的像素值。通過計(jì)算關(guān)于由遮光層遮蔽的光的像素值并且將計(jì)算的像素值與要進(jìn)行計(jì)算的相差檢測(cè)像素的像素值(確定的像素值)進(jìn)行相加計(jì)算相差檢測(cè)像素的W值。圖6E示意性示出了基于以行進(jìn)行布置的相差檢測(cè)像素的像素值來計(jì)算各個(gè)相差檢測(cè)像素的W值，在該行(行451)中相差檢測(cè)像素將出瞳進(jìn)行光瞳分割成右和左。圖6F示意性示出了基于以行進(jìn)行布置的相差檢測(cè)像素的像素值來計(jì)算各個(gè)相差檢測(cè)像素的W值，在該行(行461)中相差檢測(cè)像素將出瞳進(jìn)行光瞳分割成上和下。如圖6E和圖6F所述，由于相差檢測(cè)像素以行為單位進(jìn)行布置，所以相差檢測(cè)像素W值計(jì)算單元310以行為單位計(jì)算相差檢測(cè)像素的W值。由R和B像素W值計(jì)算單元執(zhí)行的R像素和B像素的W值的計(jì)算的例子圖7A到圖7C是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素W計(jì)算單元330執(zhí)行的R像素和B像素的W值的計(jì)算的例子的示意圖。由于計(jì)算R像素的W值的方法與計(jì)算B像素的W值的方法相同，所以將描述R像素的例子。圖7A示出了以要計(jì)算W值的R像素為中心的9X9像素。在圖7A中，由于通過相差檢測(cè)像素W值計(jì)算單元310計(jì)算相差檢測(cè)像素的W值，所以相差檢測(cè)像素由具有W符號(hào)的方塊(下文中稱作W像素)進(jìn)行表示。在圖7A中，要計(jì)算W值的R像素由灰色R像素(R像素471)進(jìn)行表示。在圖7A中，W像素由粗線包圍。圖7B示出了基于通過以當(dāng)R和B像素W計(jì)算單元330計(jì)算R像素的W值時(shí)要計(jì)算W值的R像素為中心的9X9像素中的相差檢測(cè)像素的距離信息指定的距離建立的柱狀圖。圖7B示出了將由距離信息指示的值分類成15個(gè)類并且對(duì)這15個(gè)類進(jìn)行合計(jì)的例子。也就是說，圖7B示出這樣一種柱狀圖，其中水平軸是指示分類成15個(gè)類的距離的軸，垂直軸是指示次數(shù)的軸，并且把要計(jì)算W值的R像素為中心的9X9像素內(nèi)的相差檢測(cè)像素的距離信息分類成15個(gè)類。圖7B示出了具有最高次數(shù)的類(類473)并且使用這個(gè)類的距離作為基準(zhǔn)的預(yù)定閾值(閾值472)。圖7C示意性示出了由R和B像素W計(jì)算單元330計(jì)算的R像素471的W值。在圖7C中，在對(duì)點(diǎn)進(jìn)行標(biāo)記的區(qū)域(W值476)中顯示了由R和B像素W計(jì)算單元330計(jì)算的R像素471的W值。示出了由成像器件210產(chǎn)生的R像素471的R值(R值475)?，F(xiàn)在，將描述由R和B像素W計(jì)算單元330執(zhí)行的R像素的W值的計(jì)算的流程。首先，R和B像素W計(jì)算單元330選擇相差檢測(cè)像素以計(jì)算R像素471的W值。使用基于在以要計(jì)算W值的R像素為中心的預(yù)定范圍(在該附圖中，示出了 9X9像素的例子)內(nèi)布置的相差檢測(cè)像素的距離信息建立的柱狀圖執(zhí)行這個(gè)選擇。在圖7A中，以9X9像素進(jìn)行布置的相差檢測(cè)像素顯示為由粗線包圍的W像素。在圖7B中，示出了基于相差檢測(cè)像素的距離信息建立的柱狀圖。R和B像素W計(jì)算單元330確定具有最高次數(shù)的類(47 并且使用這個(gè)類的距離作為基準(zhǔn)確定屬于預(yù)定閾值(閾值472)內(nèi)的距離的類。在圖7B中，通過灰色類顯示具有最高次數(shù)的類(47 和使用這個(gè)類為基準(zhǔn)對(duì)屬于預(yù)定閾值(閾值47 內(nèi)的距離的類。接下來，R和B像素W計(jì)算單元330計(jì)算屬于確定的類(圖7B的灰色類)的相差檢測(cè)像素的W值的均值并且將該均值設(shè)置成R像素471的W值。在圖7C中，計(jì)算的R像素471的W值被顯示為W值476。通過這種方法，R和B像素W計(jì)算單元330基于在以要進(jìn)行計(jì)算的R像素為中心的預(yù)定范圍內(nèi)布置的相差檢測(cè)像素的距離信息檢測(cè)在該距離(成像物與成像設(shè)備之間的距離)內(nèi)的靠近要進(jìn)行計(jì)算的R像素的相差檢測(cè)像素。檢測(cè)的相差檢測(cè)像素的W值的均值變成要進(jìn)行計(jì)算的R像素的W值。也就是說，通過使用距離信息識(shí)別成像物，R和B像素W計(jì)算單元330提高要進(jìn)行計(jì)算的R像素的W值的插值的精度。通過相差檢測(cè)像素的距離信息的值的最大值與最小值之間的差確定閾值472。例如，如果這個(gè)差較大，則閾值增大，如果差較小，則閾值下降。此外，還同樣地確定當(dāng)建立柱狀圖時(shí)的類的數(shù)目和類之間的距離間隙。可以從以要計(jì)算W值的像素為中心的預(yù)定范圍內(nèi)的像素的距離信息確定閾值、類的數(shù)目和類之間的距離間隙。柱狀圖是在由距離信息指定的距離內(nèi)檢測(cè)靠近要進(jìn)行計(jì)算的R像素的相差檢測(cè)像素的方法的例子并且本發(fā)明不限于此。例如，可以從與R像素相鄰的相差檢測(cè)像素的距離信息計(jì)算要進(jìn)行計(jì)算的R像素的距離信息并且可以檢測(cè)包括靠近計(jì)算的距離信息的距離信息的相差檢測(cè)像素。由R和B像素G計(jì)算單元執(zhí)行的R像素和B像素的G值的計(jì)算的例子圖8A和圖8B是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素G計(jì)算單元341執(zhí)行的R像素和B像素的W值的計(jì)算的例子的示意圖。由于計(jì)算R像素的G值的方法與計(jì)算B像素的G值的方法相同，所以現(xiàn)在將僅僅描述B像素的例子。圖8A示意性示出了布置了 B像素和G像素的一行中的9個(gè)像素。圖8A示出了在行方向上與要計(jì)算G值的B像素(B像素650)相鄰的9個(gè)像素。這9個(gè)像素(B像素610、630,650,670和690以及相差檢測(cè)像素620,640,660和680)是保持當(dāng)計(jì)算B像素650的W值時(shí)使用的像素值的像素。圖8B示出了由R和B像素G計(jì)算單元341執(zhí)行的B像素650的G值以及圖8A所示的9個(gè)像素的像素值的計(jì)算的例子。如在圖8B的一行內(nèi)布置的9個(gè)像素的內(nèi)部所示，當(dāng)R和B像素G計(jì)算單元341計(jì)算G值時(shí)，通過由成像器件210產(chǎn)生的B值和由R和B像素W值計(jì)算單元330計(jì)算的W值構(gòu)建B像素的像素值。通過由成像器件210產(chǎn)生的G值和由R和B像素W值計(jì)算單元330計(jì)算的W值構(gòu)建G (( )像素的像素值。在圖8B 中，B 像素(610、630、650、670 和 690)的 B 值由 B 值 613、633、653、573 和693進(jìn)行表示，B像素的W值由W值614、634、654、674和694進(jìn)行表示。在圖8B 中，Gb 像素(620、640、660 和 680)的 G 值由 G 值 621、641、661 和 681 進(jìn)行表示，Gb像素的W值由W值624、644、664和684進(jìn)行表示?，F(xiàn)在，將描述由R和B像素G計(jì)算單元341執(zhí)行的B像素650的G值的計(jì)算。在B像素650的G值的計(jì)算處理中，R和B像素G計(jì)算單元341基于G值與W值之間的高相關(guān)性和B像素650的W值計(jì)算G值。例如，使用方程9到11計(jì)算B像素650的G值(Gb65q)。Gb650 = (GnA1) X Wb650…(9)Gm = aX GG620+b X GG640+c X GG660+dX Gg680- (10)Wffl = eXffB610+fXffB650+gXffB690- (1 1)其中，Gg620是G像素620的G值。此外，Gg640是G像素640的G值，Gg660是G像素660的G值，Ge68tl是G像素680的G值。此外，Wb61q是B像素610的W值，Wb65q是B像素650的W值，Wb690是B像素690的W值。此外，a到g是權(quán)重系數(shù)。設(shè)置權(quán)重系數(shù)a到g以滿足方程12到14的關(guān)系。a+b+c+d = e+f+g ... (12)a = d < b = c ...(13)e = h < f ... (14)例如，根據(jù)要計(jì)算G值的像素的位置與保持每個(gè)像素值的像素的位置之間的關(guān)系設(shè)置權(quán)重系數(shù)a到g。也就是說，Gffl是通過使用B像素650的位置作為基準(zhǔn)應(yīng)用低通濾光器計(jì)算的G值的低頻分量。此外，Wm是通過使用B像素650的位置作為基準(zhǔn)應(yīng)用低通濾光器計(jì)算的W值的低頻分量。這里，假設(shè)權(quán)重系數(shù)a和d的值是“ 1 ”，權(quán)重系數(shù)b和c的值是“3”，權(quán)重系數(shù)e和h的值是“1”，并且權(quán)重系數(shù)f的值是“6”。在這種情況下，方程10和11變成方程15和16。Gffl= IXGG620+3 XGG640+3 XGG660+1 XGg680- (15)Wffl = lXffB610+6XffB650+lXffB690- (16)方程9的左側(cè)的Gm/Wm指示使用B像素650的位置作為基準(zhǔn)的G值的低頻分量與使用B像素650的位置作為基準(zhǔn)的W值的低頻分量之間的相關(guān)性。也就是說，如方程9所示，基于低頻分量與B像素650的W值之間的相關(guān)計(jì)算B像素650的G值。在圖8B中，B像素650的G值(Gb65q)對(duì)應(yīng)于箭頭下面所示的B像素650中所示的G值651(對(duì)點(diǎn)進(jìn)行標(biāo)記的區(qū)域)。當(dāng)計(jì)算G值(Gb65ci)時(shí)使用的像素值對(duì)應(yīng)于由布置在一行內(nèi)的9個(gè)像素的粗線包圍的像素值(W值614、6M和694以及G值621、641、661和681)。Gffl和Wm的計(jì)算僅僅是示例性的并且可以使用設(shè)置各種權(quán)重系數(shù)的其它方法(應(yīng)用低通濾光器的方法)。計(jì)算R像素和B像素的W值的方法不限于此，并且例如，如圖7A到圖7C所示，可以采用使用柱狀圖等等的計(jì)算方法?，F(xiàn)在，將簡(jiǎn)要描述相差檢測(cè)像素G值計(jì)算單元342、R值計(jì)算單元360和B值計(jì)算單元370的插值。相差檢測(cè)像素G值計(jì)算單元342、R值計(jì)算單元360和B值計(jì)算單元370執(zhí)行插值，這與圖7A到圖7C所示的由R和B像素W計(jì)算單元330執(zhí)行的R像素和B像素的W值的計(jì)算類似。也就是說，從與圖像產(chǎn)生像素相鄰的相差檢測(cè)像素的距離信息計(jì)算圖像產(chǎn)生像素的距離信息?；谟?jì)算的距離信息建立柱狀圖，從柱狀圖確定涉及像素值的像素，并且計(jì)算涉及的像素的插值的目標(biāo)色彩的像素值的均值，從而執(zhí)行插值。使用W值的去馬賽克處理的例子圖9A和圖9B是示出根據(jù)本發(fā)明的第一實(shí)施例的通過成像設(shè)備100的去馬賽克單元300執(zhí)行的使用W值的去馬賽克處理的例子和現(xiàn)有技術(shù)的成像設(shè)備的去馬賽克處理的例子的示意圖。在圖9A和圖9B中，為了便于描述，顯示并描述了 6X6像素的區(qū)域。圖9A示出了現(xiàn)有技術(shù)的成像設(shè)備的去馬賽克處理的例子。在圖9A中，為了便于描述，假設(shè)成像器件中的像素的布置與本發(fā)明的實(shí)施例的成像器件中的像素的布置相同。圖9A示出了指示成像器件中的像素的布置的區(qū)域(區(qū)域717)、指示用于去馬賽克處理的像素值的區(qū)域(區(qū)域718)以及指示去馬賽克處理的結(jié)果的區(qū)域(區(qū)域719)。在包括具有與本發(fā)明的實(shí)施例相同的像素的布置的成像器件(圖9A的區(qū)域717)的現(xiàn)有技術(shù)的成像設(shè)備中，僅僅使用由圖像產(chǎn)生像素產(chǎn)生的像素值執(zhí)行去馬賽克處理。由相差檢測(cè)像素產(chǎn)生的像素值僅僅用于檢測(cè)相差。也就是說，如區(qū)域718所示，在去馬賽克處理中，基于由圖像產(chǎn)生像素產(chǎn)生的像素值(由區(qū)域718的粗線包圍的18個(gè)像素的像素值)對(duì)圖像產(chǎn)生像素和相差檢測(cè)像素的各位置的色彩信息進(jìn)行插值(去馬賽克處理)。如區(qū)域719所示，即使當(dāng)僅僅使用由圖像產(chǎn)生像素產(chǎn)生的像素值執(zhí)行去馬賽克處理時(shí)仍能夠?qū)λ邢袼氐纳市畔?R值、G值和B值)進(jìn)行插值。然而，由于僅僅如區(qū)域718所示使用由圖像產(chǎn)生像素產(chǎn)生的像素值，所以用于插值的信息(像素值)的數(shù)目根據(jù)相差檢測(cè)像素的數(shù)目進(jìn)行下降。因此，如果相差檢測(cè)像素的數(shù)目變得等于圖像產(chǎn)生像素的數(shù)目的本發(fā)明的實(shí)施例的成像器件(成像器件210)的圖像數(shù)據(jù)經(jīng)歷去馬賽克處理，則用于插值的信息的數(shù)目下降并且由此出現(xiàn)去馬賽克處理的精度下降。圖9B示出了根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100中的去馬賽克處理的例子。圖9B示出了指示成像器件210中的像素的布置的區(qū)域(區(qū)域711)、指示用于去馬賽克處理的像素值的區(qū)域(區(qū)域712)和指示去馬賽克處理的結(jié)果的區(qū)域(區(qū)域713)。在區(qū)域712中，相差檢測(cè)像素的像素值由通過相差檢測(cè)像素W值計(jì)算單元310計(jì)算的W值進(jìn)行表示。在根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100中，計(jì)算相差檢測(cè)像素的像素值和相差檢測(cè)像素的W值并且使用計(jì)算的相差檢測(cè)像素的W值和由圖像產(chǎn)生像素產(chǎn)生的像素值執(zhí)行去馬賽克處理。也就是說，如區(qū)域712所示，在去馬賽克處理中，基于區(qū)域712中由粗線包圍的36個(gè)像素的像素值對(duì)圖像產(chǎn)生像素和相差檢測(cè)像素的位置的色彩信息進(jìn)行插值。在區(qū)域713中，對(duì)所有像素的色彩信息(R值、G值和B值)進(jìn)行插值。在根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100中，從相差檢測(cè)像素的像素值計(jì)算相差檢測(cè)像素的W值并且W值用于去馬賽克處理。因此，用于插值的信息的數(shù)目增加并且由此可以提高去馬賽克處理的精度。使用距離信息的去馬賽克處理的例子圖IOA和圖IOB是示出由根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100的去馬賽克單元300執(zhí)行的使用距離信息的去馬賽克處理的例子和現(xiàn)有技術(shù)的成像設(shè)備的去馬賽克處理的例子的示意圖。在現(xiàn)有技術(shù)的成像設(shè)備中，描述了與圖9A所示相同的設(shè)備。圖IOA示出了在由現(xiàn)有技術(shù)的成像設(shè)備執(zhí)行的去馬賽克處理以后的成像圖像(成像圖像729)。在成像圖像729中，對(duì)與成像設(shè)備具有不同距離的兩個(gè)樓進(jìn)行成像從而使得顯示了它們的一些部分彼此重疊。假設(shè)兩個(gè)樓的外墻具有類似色彩。在成像圖像729中，通過由虛線(虛線728)表示兩個(gè)樓之間的邊沿表示兩個(gè)樓之間的邊沿的崩潰。在現(xiàn)有技術(shù)的成像設(shè)備的去馬賽克處理中，基于布置在預(yù)定范圍內(nèi)的像素的像素值對(duì)色彩信息進(jìn)行插值。也就是說，沒有確定是否涉及像素值的像素是用于對(duì)與由將要進(jìn)行插值的像素成像的物體不同的物體進(jìn)行成像的像素。因此，在與具有相同色彩并且與成像設(shè)備具有不同距離的物體彼此相鄰的地點(diǎn)相鄰的像素(與成像圖像7 的兩個(gè)樓之間的邊沿相鄰的像素)中，錯(cuò)誤地確定相鄰物體是相同物體。因此，在現(xiàn)有技術(shù)的成像設(shè)備的去馬賽克處理中，插值精度會(huì)下降。圖IOB示出了在由根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100執(zhí)行的去馬賽克處理以后的成像圖像(成像圖像721)。假設(shè)圖IOB的被攝體與圖IOA的被攝體(兩個(gè)樓)相同。在成像圖像721中，通過用實(shí)線(線722)表示兩個(gè)樓之間的邊沿表達(dá)兩個(gè)樓之間的邊沿的銳度。在根據(jù)本發(fā)明的第一實(shí)施例的去馬賽克處理中，使用距離信息選擇涉及像素值的像素。也就是說，確定了是否涉及像素值的像素是用于對(duì)與由進(jìn)行插值的像素成像的物體不同的物體進(jìn)行成像的像素。通過參照對(duì)相同物體進(jìn)行成像的像素的像素值對(duì)要進(jìn)行插值的像素的像素值進(jìn)行插值。也就是說，在具有相同色彩并且與成像設(shè)備具有不同距離的物體彼此相鄰的地點(diǎn)的像素(與成像圖像721的兩個(gè)樓之間的邊沿相鄰的像素)中，使用距離信息識(shí)別由這些像素進(jìn)行成像的物體。通過參照用于對(duì)與進(jìn)行插值的像素相同的物體進(jìn)行成像的像素的像素值執(zhí)行像素值的插值。因此，具有相同色彩的物體彼此相鄰的地點(diǎn)的邊沿(線72 變得銳利(插值精度提高)。在根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100中，在去馬賽克處理中，可以通過使用距離信息選擇涉及像素值的像素提高去馬賽克處理的精度。成像設(shè)備的操作的例子接下來，將參照附圖描述根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100的操作。圖11是示出由根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100執(zhí)行的成像處理過程的流程圖。圖11示出了成像器件210對(duì)被攝體進(jìn)行成像并且通過成像得到的圖像保持在記錄單元觀2中的流程。首先，執(zhí)行使用成像器件210對(duì)被攝體進(jìn)行成像的成像處理(步驟S911)。然后，通過模擬信號(hào)處理單元220，執(zhí)行對(duì)通過成像器件210的成像產(chǎn)生的模擬圖像信號(hào)執(zhí)行預(yù)定模擬信號(hào)處理的模擬信號(hào)處理。然后，通過A/D轉(zhuǎn)換器230，通過A/D轉(zhuǎn)換處理，模擬信號(hào)處理單元220的模擬信號(hào)處理以后的模擬圖像信號(hào)通過A/D轉(zhuǎn)換處理被轉(zhuǎn)換成數(shù)字圖像信號(hào)(步驟S913)。接下來，通過黑電平處理單元對(duì)0，執(zhí)行校正由A/D轉(zhuǎn)換器230獲得的數(shù)字圖像信號(hào)的黑電平的黑電平校正處理。通過圖像校正單元250，對(duì)黑電平校正以后的圖像信號(hào)執(zhí)行進(jìn)行校正(例如，缺陷校正、暗影校正、混合色彩校正等等)的圖像校正處理(步驟S915)。然后，通過距離信息計(jì)算單元沈0，基于從圖像校正單元250提供的相差檢測(cè)像素的圖像信號(hào)執(zhí)行計(jì)算布置相差檢測(cè)像素的地點(diǎn)的距離信息的距離信息計(jì)算處理(步驟S916)。接下來，通過WB處理單元270，執(zhí)行校正從圖像校正單元250提供的圖像信號(hào)的白平衡(WB)的WB處理(步驟S917)。然后，通過Y校正單元275，對(duì)WB處理以后的圖像信號(hào)執(zhí)行、校正處理(步驟S918)。然后，通過去馬賽克單元300，基于、校正以后的圖像信號(hào)(圖像數(shù)據(jù))和距離信息執(zhí)行去馬賽克處理，從而使得R、G和B的所有通道在每個(gè)像素位置處被校準(zhǔn)(步驟S930)。將參照?qǐng)D12描述去馬賽克處理(步驟S930)。通過顯示單元觀1，顯示了在去馬賽克處理以后的成像圖像(步驟S919)。通過記錄單元觀2，記錄去馬賽克處理以后的成像圖像(步驟S921)。成像處理過程完成。圖12是示出根據(jù)本發(fā)明的第一實(shí)施例的成像處理操作的去馬賽克處理(步驟S930)的處理過程的流程圖。首先，通過相差檢測(cè)像素W值計(jì)算單元310，執(zhí)行計(jì)算相差檢測(cè)像素的W值(相差檢測(cè)像素W值)的相差檢測(cè)像素W值計(jì)算處理(步驟S940)。將參照?qǐng)D13描述相差檢測(cè)像素W值計(jì)算處理(步驟S940)。步驟S940是在估計(jì)處理過程的例子。接下來，通過R和B像素W值計(jì)算單元330，基于相差檢測(cè)像素W值和從距離信息計(jì)算單元260提供的距離信息執(zhí)行計(jì)算圖像產(chǎn)生像素之中的R像素和B像素的W值的圖像產(chǎn)生像素W值計(jì)算處理(步驟S950)。將參照?qǐng)D14描述圖像產(chǎn)生像素W值計(jì)算處理(步驟S950)。 通過R和B像素G值計(jì)算單元341和相差檢測(cè)像素G值計(jì)算單元342，執(zhí)行計(jì)算相差檢測(cè)像素、R像素和B像素的G值計(jì)算處理(步驟S960)。將參照?qǐng)D15描述G值計(jì)算處理(步驟S960)。然后，通過R值計(jì)算單元360，執(zhí)行計(jì)算相差檢測(cè)像素、G像素和B像素的R值的R值計(jì)算處理(步驟S970)。將參照?qǐng)D16描述R值計(jì)算處理(步驟S970)。接下來，通過B值計(jì)算單元370，執(zhí)行計(jì)算相差檢測(cè)像素、R像素和G像素的B值的B值計(jì)算處理(步驟S980)。將參照?qǐng)D17描述B值計(jì)算處理(步驟S980)。步驟S950、S960、S970和S980是插值處理的例子。通過圖像合成單元380，合成RGB圖像，輸出合成的圖像(步驟S931)，并且去馬賽克處理過程完成。圖13是示出根據(jù)本發(fā)明的第一實(shí)施例的由相差檢測(cè)像素W值計(jì)算單元310執(zhí)行的相差檢測(cè)像素W值計(jì)算處理(步驟S940)的處理過程的流程圖。首先，經(jīng)歷是否計(jì)算了它的W值的像素(要進(jìn)行確定的像素)的位置設(shè)置成確定的開始行的開始列的位置(步驟S941)。接下來，確定布置要進(jìn)行確定的像素的行(要進(jìn)行確定的行)是否是布置相差檢測(cè)像素的行(步驟S942)。如果確定要進(jìn)行確定的行是布置相差檢測(cè)像素的行(步驟S942)，則確定要進(jìn)行確定的像素是否是相差檢測(cè)像素(步驟S943)。如果確定要進(jìn)行確定的像素不是相差檢測(cè)像素(步驟S94!3)，則處理進(jìn)入步驟S946。如果確定要進(jìn)行確定的像素是相差檢測(cè)像素(步驟S94!3)，則計(jì)算包括在相差檢測(cè)像素內(nèi)的遮光區(qū)域的像素值(遮光區(qū)域像素值)(步驟S944)。例如，使用圖6A到圖6F所示的方程1、3、5和7計(jì)算遮光區(qū)域像素值。接下來，計(jì)算相差檢測(cè)像素的W值(步驟S945)。例如，使用圖6A到圖6F所示的方程2、4、6和8計(jì)算相差檢測(cè)像素的W值。然后，確定要進(jìn)行確定的像素的位置是否是要進(jìn)行確定的最后列(最終列)(步驟S946)。如果確定要進(jìn)行確定的像素的位置是最終列(步驟S946)，則處理進(jìn)入步驟S948。如果確定要進(jìn)行確定的像素的位置不是最終列(步驟S946)，則要進(jìn)行確定的像素的位置偏移一列(步驟S947)并且處理返回步驟S943。如果確定要進(jìn)行確定的行不是布置相差檢測(cè)像素的行(圖像產(chǎn)生像素的行)(步驟S942)，則確定要進(jìn)行確定的行是否是要進(jìn)行確定的最后行(最終行)(步驟S948)。如果確定要進(jìn)行確定的行不是最終行(步驟S948)，則把要進(jìn)行確定的像素的位置設(shè)置到在要進(jìn)行確定的行偏移一行以后的行的開始列的位置(步驟S949)并且處理返回到步驟S942以繼續(xù)進(jìn)行確定。如果確定要進(jìn)行確定的行是最終行(步驟S948)，則相差檢測(cè)像素W值計(jì)算處理過程完成。圖14是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素W值計(jì)算單元330執(zhí)行的圖像產(chǎn)生像素W值計(jì)算處理(步驟S950)的處理過程的流程圖。首先，經(jīng)歷過確定是否計(jì)算了它的W值的像素(要進(jìn)行確定的像素)的位置被設(shè)置到確定的開始列的開始行的位置(步驟S951)。接下來，確定要進(jìn)行確定的像素是否是相差檢測(cè)像素(步驟S952)。如果確定要進(jìn)行確定的像素是相差檢測(cè)像素(步驟S952)，則處理進(jìn)入步驟S956。如果確定要進(jìn)行確定的像素不是相差檢測(cè)像素(它是圖像產(chǎn)生像素)(步驟S952)，則確定要進(jìn)行確定的像素是否是G像素(步驟S953)。如果確定要進(jìn)行確定的像素是G像素(步驟S95!3)，則處理進(jìn)入步驟S956。如果確定要進(jìn)行確定的像素不是G像素(它是R像素或B像素)(步驟S953)，則基于使用距離信息的柱狀圖計(jì)算要進(jìn)行確定的像素(R像素和B像素)的W值(步驟S955)。例如，如參照?qǐng)D7A到圖7C描述那樣計(jì)算R像素或B像素的W值。接下來，確定要進(jìn)行確定的像素的位置是否是最后行(最終行)(步驟S956)。如果確定要進(jìn)行確定的像素的位置不是最終行(步驟S956)，則要進(jìn)行確定的像素的位置偏移一行(步驟S957)并且處理返回步驟S952。如果確定要進(jìn)行確定的像素的位置是最終行(步驟S956)，則確定布置要進(jìn)行確定的像素的列(要進(jìn)行確定的列)是否是要進(jìn)行確定的最后列(最終列)(步驟S958)。如果確定要進(jìn)行確定的列不是最終列(步驟S958)，則把要進(jìn)行確定的像素的位置設(shè)置到在要進(jìn)行確定的列偏移一列以后的列的開始行的位置(步驟S959)并且處理返回步驟S952以繼續(xù)進(jìn)行確定。如果確定要進(jìn)行確定的列是最終列(步驟S958)，則圖像產(chǎn)生像素W值計(jì)算處理過程結(jié)束。圖15是示出根據(jù)本發(fā)明的第一實(shí)施例的由R和B像素G值計(jì)算單元341和相差檢測(cè)像素G值計(jì)算單元342執(zhí)行的G值計(jì)算處理(步驟S960)的處理過程的流程圖。首先，經(jīng)歷是否計(jì)算了它的G值的確定的像素(要進(jìn)行確定的像素)的位置設(shè)置到確定的開始行的開始列的位置(步驟S961)。接下來，確定要進(jìn)行確定的像素是否是G像素(步驟S962)。如果確定要進(jìn)行確定的像素是G像素(步驟S962)，則處理進(jìn)入步驟S966。如果確定要進(jìn)行確定的像素不是G像素(步驟S962)，則確定要進(jìn)行確定的像素是否是相差檢測(cè)像素(步驟S963)。如果確定要進(jìn)行確定的像素是相差檢測(cè)像素(步驟S963)，則設(shè)置圖像產(chǎn)生像素的距離信息并且然后，利用使用距離信息的柱狀圖計(jì)算要進(jìn)行確定的像素的G值(步驟S964)。在計(jì)算了 G值以后(步驟S964)，處理進(jìn)入步驟S966。如果確定要進(jìn)行確定的像素不是相差檢測(cè)像素(它是R像素或B像素)(步驟S963)，則使用W值與G值之間的相關(guān)性計(jì)算G值(步驟S965)。例如，使用圖8A和圖8B所示的方程9到14計(jì)算R像素或B像素的G值。接下來，確定要進(jìn)行確定的像素的位置是否是最后列(最終列)(步驟S966)。如果確定要進(jìn)行確定的像素的位置不是最終列(步驟S966)，則要進(jìn)行確定的像素的位置偏移一列(步驟S967)并且然后，處理返回步驟S962。如果確定要進(jìn)行確定的像素的位置是最終列(步驟S966)，則確定布置要進(jìn)行確定的像素的行(要進(jìn)行確定的行)是否是要進(jìn)行確定的最后行(最終行)(步驟S968)。如果確定要進(jìn)行確定的行不是最終行(步驟S968)，則把要進(jìn)行確定的像素的位置設(shè)置到在要進(jìn)行確定的行偏移一行以后的行的開始列的位置(步驟S969)并且處理返回到步驟S962以繼續(xù)進(jìn)行確定。如果確定要進(jìn)行確定的行是最終行(步驟S968)，則G值計(jì)算處理過程結(jié)束。圖16是示出根據(jù)本發(fā)明的第一實(shí)施例的由R值計(jì)算單元360執(zhí)行的R值計(jì)算處理(步驟S970)的處理過程的流程圖。處理過程的步驟S971、步驟S976到步驟S979分別對(duì)應(yīng)于圖15所示的步驟S961、步驟S966到步驟S969并且由此將省去對(duì)它們的描述。如果把要確定R值的像素的位置設(shè)置到開始行的開始列的位置(步驟S971)，則確定要進(jìn)行確定的像素是否是R像素(步驟S972)。如果確定要進(jìn)行確定的像素是R像素(步驟S972)，則處理進(jìn)入步驟S976。如果確定要進(jìn)行確定的像素不是R像素(步驟S97》，則設(shè)置圖像產(chǎn)生像素的距離信息并且利用使用距離信息的柱狀圖計(jì)算要進(jìn)行確定的像素(相差檢測(cè)像素、G像素或B像素)的R值(步驟S97!3)。在計(jì)算了 R值以后(步驟S97!3)，處理進(jìn)入步驟S976。例如，如參照?qǐng)D7A到圖7C所述，計(jì)算R值。圖17是示出根據(jù)本發(fā)明的第一實(shí)施例的由B值計(jì)算單元370執(zhí)行的B值計(jì)算處理(步驟S980)的處理過程的流程圖。處理過程的步驟S981、步驟S986到步驟S989分別對(duì)應(yīng)于圖15所示的步驟S961、步驟S966到步驟S969并且由此將省去對(duì)它們的描述。如果把要確定B值的像素的位置設(shè)置到開始行的開始列的位置(步驟S981)，則確定要進(jìn)行確定的像素是否是B像素(步驟S982)。如果確定要進(jìn)行確定的像素是B像素(步驟S98》，則處理進(jìn)入步驟S986。如果確定要進(jìn)行確定的像素不是B像素(步驟S98》，則設(shè)置圖像產(chǎn)生像素的距離信息并且然后利用使用距離信息的柱狀圖計(jì)算要進(jìn)行確定的像素(相差檢測(cè)像素、R像素或G像素)的B值(步驟S983)。在計(jì)算了 B值以后(步驟S983)，處理進(jìn)入步驟S986。例如，如參照?qǐng)D7A到圖7C所述計(jì)算B值。根據(jù)本發(fā)明的第一實(shí)施例，可以通過使用相差檢測(cè)像素的像素值和在去馬賽克處理中從相差檢測(cè)像素的像素值產(chǎn)生的距離信息提高圖像數(shù)據(jù)的圖像質(zhì)量。2.第二實(shí)施例盡管在第一實(shí)施例中描述了使用針對(duì)距離的柱狀圖計(jì)算相差檢測(cè)像素的G值的例子，但是本發(fā)明不限于此并且可以基于W值與G值之間的相關(guān)性執(zhí)行計(jì)算。即使在R值和B值中，可以基于W值與R值之間的相關(guān)性或W值與B值之間的相關(guān)性執(zhí)行計(jì)算，其精度低于W值與G值之間的相關(guān)性的精度(W值與G值之間的相關(guān)性最高)。在本發(fā)明的第二實(shí)施例中，將參照?qǐng)D18到圖21描述計(jì)算G像素的W值以及使用計(jì)算的G像素的W值計(jì)算相差檢測(cè)像素的G值的例子。去馬賽克單元的功能結(jié)構(gòu)例子圖18是示出根據(jù)本發(fā)明的第二實(shí)施例的去馬賽克單元800的功能結(jié)構(gòu)的例子的框圖。除了安裝去馬賽克單元800以替代圖2所示的根據(jù)本發(fā)明的第一實(shí)施例的成像設(shè)備100的去馬賽克單元300以外，根據(jù)本發(fā)明的第二實(shí)施例的成像設(shè)備的結(jié)構(gòu)與成像設(shè)備100的結(jié)構(gòu)相同?，F(xiàn)在將省去根據(jù)本發(fā)明的第二實(shí)施例的成像設(shè)備的結(jié)構(gòu)的描述。去馬賽克單元800包括相差檢測(cè)像素W值計(jì)算單元310、G像素W值計(jì)算單元820、R和B像素W值計(jì)算單元330、R和B像素G值計(jì)算單元341和相差檢測(cè)像素G值計(jì)算單元842。去馬賽克單元300包括R值計(jì)算單元360、B值計(jì)算單元370和圖像合成單元380。除了包括相差檢測(cè)像素G值計(jì)算單元842以替代圖3所示的去馬賽克單元300的相差檢測(cè)像素G值計(jì)算單元342以及新包括G像素W值計(jì)算單元820以外，去馬賽克單元800的結(jié)構(gòu)與去馬賽克單元300的結(jié)構(gòu)相同。因此，將僅僅描述G像素W值計(jì)算單元820和相差檢測(cè)像素G值計(jì)算單元842。G像素W值計(jì)算單元820基于從相差檢測(cè)像素W值計(jì)算單元310提供的相差檢測(cè)像素W值和通過信號(hào)線290的G線294提供的G像素的G值(G像素G值)計(jì)算G像素的W值(G像素W值)。G像素W值計(jì)算單元820將計(jì)算的G像素W值提供給相差檢測(cè)像素G值計(jì)算單元842。將參照?qǐng)D19A和圖19B描述由G像素W值計(jì)算單元820執(zhí)行的G像素W值的計(jì)算。相差檢測(cè)像素G值計(jì)算單元842基于通過信號(hào)線四0的G線294提供的G像素的G值(G像素G值)和從G像素W值計(jì)算單元820提供的G像素W值計(jì)算相差檢測(cè)像素G值。相差檢測(cè)像素G值計(jì)算單元842基于W值與G值之間的相關(guān)性計(jì)算相差檢測(cè)像素G值。相差檢測(cè)像素G值計(jì)算單元842將計(jì)算的相差檢測(cè)像素G值提供給圖像合成單元380。由G像素W值計(jì)算單元820執(zhí)行的G像素的W值的計(jì)算的例子。圖19A和圖19B是示出根據(jù)本發(fā)明的第二實(shí)施例的由G像素W值計(jì)算單元820執(zhí)行的G像素的W值的計(jì)算的例子的示意圖。圖19A示意性示出了布置B像素、Gr像素(在該附圖中，稱作G像素)和相差檢測(cè)像素的一列中的9個(gè)像素。圖19A示出了在列方向上與要計(jì)算其W值的G像素(G像素550)相鄰的9個(gè)像素。9個(gè)像素(G像素510、550和590、B像素530和570以及相差檢測(cè)像素520、M0、560和580)是當(dāng)計(jì)算G像素550的W值時(shí)保持使用的像素值的像素。圖19B示出了由G像素W值計(jì)算單元820執(zhí)行的G像素的W值以及圖19A所示的9個(gè)像素的像素值的計(jì)算的例子。如在圖19B的一列中布置的9個(gè)像素的內(nèi)部所示，當(dāng)G像素W值計(jì)算單元820計(jì)算W值時(shí)，通過G值構(gòu)建G像素的像素值并且通過B值構(gòu)建B像素的像素值。通過由相差檢測(cè)像素W值計(jì)算單元310計(jì)算的W值構(gòu)建相差檢測(cè)像素的像素值。在圖19B中，G像素(G像素510、550和580)的G值由G值511、551和591進(jìn)行表示，B像素(B像素530和550)的B值由B值533和573進(jìn)行表示。相差檢測(cè)像素(相差檢測(cè)像素520,540,560和580)的W值由W值524544、564和584進(jìn)行表示。現(xiàn)在，將描述由G像素W值計(jì)算單元820執(zhí)行的G像素550的W值的計(jì)算。在G像素550的W值的計(jì)算中，G像素W值計(jì)算單元820基于G值與W值之間的相關(guān)性以及G像素550的G值計(jì)算W值。例如，使用方程17-19計(jì)算G像素550的W值(Wg550)。Wg550 = (Wm/Gm)XGG550…(17)Wffl = aXWff520+b XWff540+c XWff560+dXWff580- (18)Gffl = eXGG510+fXGG550+gXGG590- (19)其中，Gg550是G像素550的G值。此外，Gg510是G像素510的G值，Gg590是G像素590的G值。此外，Ww52tl是相差檢測(cè)像素(稱作W像素)520的W值，Ww54tl是W像素MO的W值，Wff560是W像素560的W值，Wff580是W像素580的W值。此外，a到g是權(quán)重系數(shù)并且與參照?qǐng)D8A和圖8B描述的相同并且由此將省去對(duì)它們的描述。此外，Wm是通過使用G像素550的位置作為基準(zhǔn)應(yīng)用低通濾光器計(jì)算的W值的低頻分量，類似的是，Gm是通過使用G像素550的位置作為基準(zhǔn)應(yīng)用低通濾光器計(jì)算的G值的低頻分量。也就是說，方程17到方程19是用于使用G值的低頻分量與W值的低頻分量之間的相關(guān)性計(jì)算W值的方程，這與圖8A和圖8B中所示的方程9到方程11類似。如方程17所示，基于G值與W值之間的低頻分量的相關(guān)性和G像素550的G值計(jì)算G像素550的W值。在圖19B中，G像素550的W值(We55tl)對(duì)應(yīng)于在箭頭的右側(cè)所示的G像素550中所示的W值554(對(duì)點(diǎn)進(jìn)行標(biāo)記的區(qū)域)。當(dāng)計(jì)算W值(We55tl)時(shí)使用的像素值對(duì)應(yīng)于由布置在一列內(nèi)的9個(gè)像素的粗線包圍的像素值(G值511、551和591以及W值524、M4、564和 584)。在G像素W值計(jì)算單元820中，基于G值與W值之間的低頻分量的相關(guān)性以及G像素550的G值計(jì)算G像素W值。如圖19A和圖19B所示，相差檢測(cè)像素G值計(jì)算單元842基于G值與W值之間的低頻分量的相關(guān)性以及相差檢測(cè)像素的W值計(jì)算相差檢測(cè)像素G值。在相差檢測(cè)像素G值計(jì)算單元842中，使用與列方向上與要進(jìn)行計(jì)算的相差檢測(cè)像素相鄰的像素的布置對(duì)應(yīng)的低通濾光器。成像設(shè)備的操作的例子接下來，將參照附圖描述根據(jù)本發(fā)明的第二實(shí)施例的去馬賽克單元800的操作。圖20是示出根據(jù)本發(fā)明的第二實(shí)施例的由G像素W值計(jì)算單元820和R和B像素W值計(jì)算單元330執(zhí)行的圖像產(chǎn)生像素W值計(jì)算處理(步驟S991)的處理過程的流程圖。這個(gè)處理過程是圖14的變型例子并且與之不同之處在于由G像素W值計(jì)算單元820計(jì)算G像素的W值。由于其它部分與圖14相同，所以與圖14的共同部分由相同標(biāo)號(hào)進(jìn)行指示并且將部分省去對(duì)它們的描述。如果確定要進(jìn)行確定的像素是G像素(步驟S95!3)，則通過G像素W值計(jì)算單元820，使用W值與G值之間的相關(guān)性計(jì)算G像素的W值(步驟S99》并且然后處理進(jìn)入步驟S956。圖21是示出根據(jù)本發(fā)明的第二實(shí)施例的由R和B像素G值計(jì)算單元341和相差檢測(cè)像素G值計(jì)算單元842執(zhí)行的G值計(jì)算處理(步驟S995)的處理過程的流程圖。這個(gè)處理過程是圖15的變型例子并且與之不同之處在于由相差檢測(cè)像素G值計(jì)算單元842計(jì)算相差檢測(cè)像素的G值。由于其它部分與圖15相同，所以與圖15共同部分由相同標(biāo)號(hào)進(jìn)行指示并且將部分省去對(duì)它們的描述。如果確定要進(jìn)行確定的像素不是G像素(步驟S962)，則使用W值與G值之間的相關(guān)性計(jì)算G值(步驟S99》并且然后處理進(jìn)入步驟S966。例如，使用圖8A和圖8B所示的方程9到14計(jì)算R像素或B像素的G值。例如，使用在列方向上與要計(jì)算其G值的相差檢測(cè)像素相鄰的圖像產(chǎn)生像素的G值和W值計(jì)算相差檢測(cè)像素的G值，這與圖19的方程17到19類似。根據(jù)本發(fā)明的第二實(shí)施例，與本發(fā)明的第一實(shí)施例類似，即使當(dāng)基于G值與W值之間的低頻分量的相關(guān)性和G像素550的G值計(jì)算G像素W值時(shí)仍能夠提高圖像數(shù)據(jù)的圖像質(zhì)量。
3.變型例子在本發(fā)明的第一和第二實(shí)施例中，假設(shè)在如圖4所示的成像器件的像素的布置中，布置圖像產(chǎn)生像素的行和布置相差檢測(cè)像素的行交替布置。然而，本發(fā)明不限于此并且可應(yīng)用到使用具有其它像素布置的成像器件的情況，這與本發(fā)明的第一和第二實(shí)施例類似。本發(fā)明甚至可應(yīng)用到彩色濾光器像素被包括在相差檢測(cè)像素內(nèi)的情況，與本發(fā)明的第一和第二實(shí)施例類似。在圖22中，將描述布置在兩列中的圖像產(chǎn)生像素與布置在兩列中的相差檢測(cè)像素進(jìn)行交替布置的成像器件的例子。在圖23中，將描述相差檢測(cè)像素均包括透射綠(G)光的彩色濾光器(G濾光器)的成像器件的例子。成像器件中的像素的布置的例子圖22是示出布置在兩列內(nèi)的圖像產(chǎn)生像素與布置在兩列內(nèi)的相差檢測(cè)像素進(jìn)行交替布置的成像器件的像素的布置的例子作為本發(fā)明的第一實(shí)施例的變型例子的示意圖。圖22對(duì)應(yīng)于示出根據(jù)本發(fā)明的第一實(shí)施例的成像器件210的像素的布置的圖4。也就是說，圖22示出了構(gòu)建根據(jù)本發(fā)明的第三實(shí)施例的成像器件的像素之中的一些像素(16X16像素)的區(qū)域(區(qū)域860)。如區(qū)域860中所示，在本發(fā)明的第一實(shí)施例的變型例子中，布置圖像產(chǎn)生像素的兩列和布置相差檢測(cè)像素的兩列進(jìn)行交替布置。也就是說，如圖22所示，在X軸方向上，交替布置圖像產(chǎn)生像素、圖像產(chǎn)生像素、相差檢測(cè)像素、相差檢測(cè)像素、圖像產(chǎn)生像素、圖像產(chǎn)生像素、相差檢測(cè)像素、相差檢測(cè)像素.......在這種像素布置中，R和B像素G值計(jì)算單元341使用在列方向上與要計(jì)算其G值的像素相鄰的像素的W值和G值計(jì)算G值(例如，圖19所示的計(jì)算)。因此，可以執(zhí)行去馬賽克處理，這與本發(fā)明的第一實(shí)施例類似。圖23是示出相差檢測(cè)像素均包括G濾光器的成像器件的像素的布置的例子作為本發(fā)明的第一實(shí)施例的變型例子的示意圖。與圖22類似，圖23對(duì)應(yīng)于示出根據(jù)本發(fā)明的第一實(shí)施例的成像器件210的像素的布置的圖4。在圖23所示的區(qū)域870中，示出了各自包括G濾光器的相差檢測(cè)像素(相差檢測(cè)像素875到878)。在這種像素布置中，與圖6A到圖6F所示的方程1到方程8類似，通過計(jì)算與遮光區(qū)域?qū)?yīng)的像素值并且將計(jì)算的像素值與相差檢測(cè)像素的像素值進(jìn)行相加計(jì)算相差檢測(cè)像素的G值。由于計(jì)算G值替代W值，方程2、4、6和8中的除以“2”變得不必要。從基于距離信息的柱狀圖計(jì)算R像素和B像素的G值。從基于距離信息的柱狀圖計(jì)算R值和B值，這與本發(fā)明的第一實(shí)施例類似。因此，可以執(zhí)行去馬賽克處理，這與本發(fā)明的第一實(shí)施例類似。在本發(fā)明的實(shí)施例中，通過使用相差檢測(cè)像素的像素值執(zhí)行去馬賽克處理，可以提高圖像數(shù)據(jù)的圖像質(zhì)量。也就是說，在本發(fā)明的實(shí)施例中，通過從相差檢測(cè)像素的像素值計(jì)算W值并且使用W值執(zhí)行去馬賽克處理，可以增加當(dāng)執(zhí)行去馬賽克處理時(shí)涉及的像素值的數(shù)目并且提高分辨率或者提高插值精度。通過從相差檢測(cè)像素的像素值計(jì)算距離信息并且使用距離信息執(zhí)行去馬賽克處理從而在識(shí)別具有相同色彩并且具有不同距離的物體的同時(shí)執(zhí)行插值，可以提高插值精度。
通常，包括W濾光器的圖像產(chǎn)生像素(W像素)易于飽和。因此，包括W像素的成像設(shè)備包括用于W像素的曝光控制電路。在本發(fā)明的實(shí)施例中，通過從光瞳分割的光的一部分被遮蔽的相差檢測(cè)像素的像素值估計(jì)W值，即使當(dāng)沒有包括曝光控制電路時(shí)也幾乎不會(huì)出現(xiàn)飽和(最多可以累積光接收部件的光接收表面的飽和量的兩倍)。通過從相差檢測(cè)像素的像素值估計(jì)W值并且在去馬賽克處理中使用W值，可以提高信號(hào)/噪聲(S/N)比率。盡管描述了包括在圖像產(chǎn)生像素中的彩色濾光器是具有三原色(RGB)的彩色濾光器的情況，但是本發(fā)明不限于此。例如，本發(fā)明還可以同樣應(yīng)用到具有互補(bǔ)色彩的彩色濾光器被包括在圖像產(chǎn)生像素內(nèi)的情況。盡管描述了相差檢測(cè)像素接收光瞳分割成兩個(gè)部分的光的部分的情況，但是本發(fā)明不限于此。例如，本發(fā)明的實(shí)施例可應(yīng)用到包括兩個(gè)光接收部件并且相差檢測(cè)像素能夠通過光接收部件接收光瞳分割光的情況，從而提高圖像數(shù)據(jù)的圖像質(zhì)量。盡管在本發(fā)明的實(shí)施例中作為例子描述成像設(shè)備，但是本發(fā)明不限于此。例如，成像設(shè)備的外部設(shè)備(例如，個(gè)人計(jì)算機(jī))可以基于記錄的RWA數(shù)據(jù)執(zhí)行根據(jù)本發(fā)明的第一實(shí)施例的處理。本發(fā)明的實(shí)施例是用于實(shí)施本發(fā)明的例子。如在本發(fā)明的實(shí)施例中所述，本發(fā)明的實(shí)施例的內(nèi)容對(duì)應(yīng)于權(quán)利要求的特定內(nèi)容。類似的是，權(quán)利要求的特定內(nèi)容對(duì)應(yīng)于具有相同名稱的本發(fā)明的實(shí)施例的內(nèi)容。本發(fā)明不限于這些實(shí)施例并且可以在不脫離本發(fā)明的范圍的情況下實(shí)現(xiàn)實(shí)施例的各種變型。在本發(fā)明的實(shí)施例中描述的處理過程可以是具有一系列過程的方法、用于執(zhí)行這一系列過程的程序或者用于存儲(chǔ)該程序的記錄介質(zhì)。作為記錄介質(zhì)，例如，可以使用緊湊盤(CD)、迷你盤(MD)、數(shù)字多功能盤(DVD)、記憶卡、藍(lán)光盤(注冊(cè)商標(biāo))等等。本申請(qǐng)包含與在于2010年12月20日提交到日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-282524中公開的主題有關(guān)的主題，該日本優(yōu)先權(quán)專利申請(qǐng)的全部?jī)?nèi)容以引用方式并入本文。本領(lǐng)域技術(shù)人員應(yīng)該明白，可以根據(jù)設(shè)計(jì)要求和其它因素構(gòu)思各種變型、組合、子組合和變更，只要它們位于權(quán)利要求或它們的等同物的范圍內(nèi)即可。
權(quán)利要求
1.一種圖像處理設(shè)備，包括估計(jì)單元，被構(gòu)造為基于作為由成像器件產(chǎn)生的圖像數(shù)據(jù)的、包括確定像素值和圖像產(chǎn)生像素值的圖像數(shù)據(jù)的確定像素值來估計(jì)與成像器件的相差檢測(cè)像素的位置對(duì)應(yīng)的圖像產(chǎn)生像素值，其中所述成像器件包括用于產(chǎn)生用于進(jìn)行聚焦確定的確定像素值的相差檢測(cè)像素和用于產(chǎn)生用于產(chǎn)生圖像的圖像產(chǎn)生像素值的圖像產(chǎn)生像素；以及插值單元，被構(gòu)造為基于估計(jì)的圖像產(chǎn)生像素值和由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的各像素的圖像產(chǎn)生像素值進(jìn)行插值。
2.根據(jù)權(quán)利要求1的圖像處理設(shè)備，還包括距離信息產(chǎn)生單元，該距離信息產(chǎn)生單元被構(gòu)造為根據(jù)基于每個(gè)相差檢測(cè)像素的確定像素值計(jì)算的散焦量產(chǎn)生距離信息，其中，插值單元基于估計(jì)的圖像產(chǎn)生像素值、距離信息以及由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的像素的圖像產(chǎn)生像素值進(jìn)行插值。
3.根據(jù)權(quán)利要求2的圖像處理設(shè)備，其中，插值單元使用要進(jìn)行插值的像素作為基準(zhǔn)像素來設(shè)置要成為基準(zhǔn)像素的插值的色彩作為目標(biāo)色彩，如果使用距離信息插值基準(zhǔn)像素的圖像產(chǎn)生像素值則基于相差檢測(cè)像素的距離信息計(jì)算圖像產(chǎn)生像素的距離信息，設(shè)置位于距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的像素中的、保持與目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值的像素作為目標(biāo)像素，在基于距離信息通過目標(biāo)像素的距離信息指定的距離內(nèi)檢測(cè)距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的目標(biāo)像素，并且通過將與檢測(cè)的目標(biāo)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值的均值設(shè)置到與要進(jìn)行插值的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值來對(duì)圖像產(chǎn)生像素值進(jìn)行插值。
4.根據(jù)權(quán)利要求3的圖像處理設(shè)備，其中，插值單元建立通過目標(biāo)像素的距離信息指定的距離的像素的次數(shù)分布，設(shè)置次數(shù)分布的次數(shù)屬于最大類的距離作為基準(zhǔn)，檢測(cè)與距離基準(zhǔn)預(yù)定范圍內(nèi)的距離對(duì)應(yīng)的目標(biāo)像素，并且設(shè)置與檢測(cè)的目標(biāo)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值的均值作為與要進(jìn)行插值的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值。
5.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中，相差檢測(cè)像素包括用于對(duì)被攝體光進(jìn)行聚焦的微透鏡、用于通過接收被攝體光產(chǎn)生圖像產(chǎn)生像素值的光接收部件和位于微透鏡與光接收部件之間以部分遮蔽被攝體光的遮光單元，以及估計(jì)單元基于由要進(jìn)行估計(jì)的相差檢測(cè)像素產(chǎn)生的確定像素值和由與要進(jìn)行估計(jì)的相差檢測(cè)像素相鄰的相差檢測(cè)像素產(chǎn)生的確定像素值計(jì)算與由要進(jìn)行估計(jì)的相差檢測(cè)像素的遮光單元遮蔽的光相關(guān)的像素值，并且基于計(jì)算的像素值和要進(jìn)行估計(jì)的相差檢測(cè)像素的確定像素值估計(jì)相差檢測(cè)像素的位置的圖像產(chǎn)生像素值。
6.根據(jù)權(quán)利要求5的圖像處理設(shè)備，其中，圖像產(chǎn)生像素包括由用于對(duì)指示紅色的波長(zhǎng)區(qū)域之外的光進(jìn)行遮蔽的紅色濾光器覆蓋的紅色像素、由用于對(duì)指示藍(lán)色的波長(zhǎng)區(qū)域之外的光進(jìn)行遮蔽的藍(lán)色濾光器覆蓋的藍(lán)色像素和由用于對(duì)指示綠色的波長(zhǎng)區(qū)域之外的光進(jìn)行遮蔽的綠色濾光器覆蓋的綠色像素，相差檢測(cè)像素由透射可見光區(qū)域的光的白色濾光器或透明層進(jìn)行覆蓋，以及估計(jì)單元估計(jì)與白色相關(guān)的圖像產(chǎn)生像素作為相差檢測(cè)像素的位置的圖像產(chǎn)生像素值。
7.根據(jù)權(quán)利要求6的圖像處理設(shè)備，其中，插值單元使用要進(jìn)行插值的像素作為基準(zhǔn)像素將要成為基準(zhǔn)像素的插值的色彩設(shè)置成目標(biāo)色彩，對(duì)與構(gòu)成圖像數(shù)據(jù)的像素的圖像產(chǎn)生像素值的白色相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值，并且然后基于與位于距離基準(zhǔn)像素的預(yù)定范圍內(nèi)的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值、與由同作為要進(jìn)行插值作為位于距離基準(zhǔn)像素預(yù)定范圍內(nèi)的像素的像素相同的濾光器覆蓋的像素的白色相關(guān)的圖像產(chǎn)生像素值和與基準(zhǔn)像素的白色相關(guān)的圖像產(chǎn)生像素值，對(duì)與基準(zhǔn)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。
8.根據(jù)權(quán)利要求7的圖像處理設(shè)備，其中，插值單元基于與基于與位于距離基準(zhǔn)像素預(yù)定范圍內(nèi)的像素的白色相關(guān)的圖像產(chǎn)生像素值計(jì)算的白色相關(guān)的圖像產(chǎn)生像素值的低頻分量、與基于與由位于距離基準(zhǔn)像素預(yù)定范圍內(nèi)的目標(biāo)色彩的濾光器覆蓋的像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值計(jì)算的目標(biāo)色彩有關(guān)的圖像產(chǎn)生像素值的低頻分量和與基準(zhǔn)像素的白色有關(guān)的圖像產(chǎn)生像素值，對(duì)與基準(zhǔn)像素的目標(biāo)色彩相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。
9.根據(jù)權(quán)利要求7的圖像處理設(shè)備，其中，在成像器件中，在與特定方向正交的正交方向上交替布置通過在該特定方向上布置圖像產(chǎn)生像素而構(gòu)造的第一行和通過在該特定方向上布置相差檢測(cè)像素而構(gòu)造的第二行，以及插值單元基于與從與在基準(zhǔn)像素的正交方向上位于預(yù)定范圍內(nèi)的相差檢測(cè)像素的白色相關(guān)的圖像產(chǎn)生像素值計(jì)算的白色相關(guān)的圖像產(chǎn)生像素值的低頻分量和與從與位于預(yù)定范圍內(nèi)的綠色像素的綠色相關(guān)的圖像產(chǎn)生像素值計(jì)算的白色相關(guān)的圖像產(chǎn)生像素值的低頻分量以及與基準(zhǔn)像素的綠色相關(guān)的圖像產(chǎn)生像素值，對(duì)與綠色像素的白色相關(guān)的圖像產(chǎn)生像素值進(jìn)行插值。
10.一種圖像處理設(shè)備，包括距離信息產(chǎn)生單元，被構(gòu)造為基于針對(duì)每個(gè)相差檢測(cè)像素計(jì)算的散焦量產(chǎn)生距離信息，其中基于作為由成像器件產(chǎn)生的圖像數(shù)據(jù)的、包括確定像素值和圖像產(chǎn)生像素值的圖像數(shù)據(jù)的確定像素值來計(jì)算所述散焦量，所述成像器件包括用于產(chǎn)生用于進(jìn)行聚焦確定的確定像素值的相差檢測(cè)像素和用于產(chǎn)生用于產(chǎn)生圖像的圖像產(chǎn)生像素值的圖像產(chǎn)生像素，以及插值單元，該插值單元被構(gòu)造為基于產(chǎn)生的距離信息和由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的像素之中的要進(jìn)行插值的像素的圖像產(chǎn)生像素值進(jìn)行插值。
11.一種圖像處理方法，包括基于作為由成像器件產(chǎn)生的圖像數(shù)據(jù)的、包括確定像素值和圖像產(chǎn)生像素值的圖像數(shù)據(jù)的確定像素值來估計(jì)與成像器件的相差檢測(cè)像素的位置對(duì)應(yīng)的圖像產(chǎn)生像素值，其中所述成像器件包括用于產(chǎn)生用于進(jìn)行聚焦確定的確定像素值的相差檢測(cè)像素和用于產(chǎn)生用于產(chǎn)生圖像的圖像產(chǎn)生像素值的圖像產(chǎn)生像素；以及基于估計(jì)的圖像產(chǎn)生像素值和由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的像素的圖像產(chǎn)生像素值進(jìn)行插值。
12.一種使得計(jì)算機(jī)執(zhí)行如下方法的程序，基于作為由成像器件產(chǎn)生的圖像數(shù)據(jù)的、包括確定像素值和圖像產(chǎn)生像素值的圖像數(shù)據(jù)的確定像素值來估計(jì)與成像器件的相差檢測(cè)像素的位置對(duì)應(yīng)的圖像產(chǎn)生像素值，其中所述成像器件包括用于產(chǎn)生用于進(jìn)行聚焦確定的確定像素值的相差檢測(cè)像素和用于產(chǎn)生用于產(chǎn)生圖像的圖像產(chǎn)生像素值的圖像產(chǎn)生像素；以及基于估計(jì)的圖像產(chǎn)生像素值和由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)成圖像數(shù)據(jù)的像素的圖像產(chǎn)生像素值進(jìn)行插值。
全文摘要
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和程序。一種圖像處理設(shè)備，包括距離信息產(chǎn)生單元，被構(gòu)造為基于針對(duì)每個(gè)相差檢測(cè)像素基于作為由包括用于產(chǎn)生用于進(jìn)行聚焦確定的確定像素值的相差檢測(cè)像素和用于產(chǎn)生用于產(chǎn)生圖像的圖像產(chǎn)生像素值的圖像產(chǎn)生像素的程序裝置產(chǎn)生的圖像數(shù)據(jù)的包括確定像素值和圖像產(chǎn)生像素值的圖像數(shù)據(jù)的確定像素值計(jì)算的散焦量產(chǎn)生距離信息；以及插值單元，被構(gòu)造為基于產(chǎn)生的距離信息和由圖像產(chǎn)生像素產(chǎn)生的圖像產(chǎn)生像素值對(duì)構(gòu)建圖像數(shù)據(jù)的像素之中的要進(jìn)行插值的像素的圖像產(chǎn)生像素值進(jìn)行插值。
文檔編號(hào)H04N9/04GK102572272SQ20111041570
公開日2012年7月11日 申請(qǐng)日期2011年12月13日 優(yōu)先權(quán)日2010年12月20日
發(fā)明者原彰宏 申請(qǐng)人:索尼公司